KR102272874B1 - 조명 패턴을 겪은 물체의 이미지 취득을 최적화하기 위한 방법 및 장치 - Google Patents

조명 패턴을 겪은 물체의 이미지 취득을 최적화하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR102272874B1
KR102272874B1 KR1020190112580A KR20190112580A KR102272874B1 KR 102272874 B1 KR102272874 B1 KR 102272874B1 KR 1020190112580 A KR1020190112580 A KR 1020190112580A KR 20190112580 A KR20190112580 A KR 20190112580A KR 102272874 B1 KR102272874 B1 KR 102272874B1
Authority
KR
South Korea
Prior art keywords
parameters
projector
adjustable
images
determining
Prior art date
Application number
KR1020190112580A
Other languages
English (en)
Other versions
KR20200030017A (ko
Inventor
로버트 울프
토마스 페니
마르쿠스 그로쎄
Original Assignee
코그넥스코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코그넥스코오포레이션 filed Critical 코그넥스코오포레이션
Publication of KR20200030017A publication Critical patent/KR20200030017A/ko
Priority to KR1020210084614A priority Critical patent/KR102405118B1/ko
Application granted granted Critical
Publication of KR102272874B1 publication Critical patent/KR102272874B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B5/00—Measuring arrangements characterised by the use of mechanical techniques
    • G01B5/0011—Arrangements for eliminating or compensation of measuring errors due to temperature or weight
    • G01B5/0014—Arrangements for eliminating or compensation of measuring errors due to temperature or weight due to temperature
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/142—Adjusting of projection optics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H04N5/2258—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Exposure Control For Cameras (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 명세서에 설명된 기법들은 이미지 취득을 위한 파라미터들을 결정하도록 구성된 방법, 장치, 및 컴퓨터 판독가능 매체에 관한 것이다. 하나 이상의 이미지 센서는 각각 장면의 이미지들의 세트를 캡처하도록 배열되고, 각각의 이미지 센서는 조정가능한 이미징 파라미터들의 세트를 포함한다. 프로젝터는 장면 상에 움직이는 패턴을 투사하도록 구성되고, 여기서 프로젝터는 조정가능한 프로젝터 파라미터들의 세트를 포함한다. 조정가능한 프로젝터 파라미터들의 세트 및 조정가능한 이미징 파라미터들의 세트는, 이미지들의 세트에 기초하여 생성된 3D 데이터에서의 노이즈를 감소시키기 위해, 하나 이상의 제약의 세트에 기초하여 결정된다.

Description

조명 패턴을 겪은 물체의 이미지 취득을 최적화하기 위한 방법 및 장치{METHODS AND APPARATUS FOR OPTIMIZING IMAGE ACQUISITION OF OBJECTS SUBJECT TO ILLUMINATION PATTERNS}
본 명세서에 설명된 기법들은 일반적으로 랜덤화된 조명 패턴들을 겪은 물체들의 이미지들의 취득을 위한 최적의 파라미터들을 결정하는 것을 포함하여, 머신 비전을 위한 이미지 취득을 최적화하기 위한 방법들 및 장치에 관한 것이다.
진보된 머신 비전 시스템들 및 이들의 기저 소프트웨어의 사용은, 의료 응용들을 포함하여, 다양한 제조 및 품질관리 프로세스들에서 점점 더 이용되고 있다. 머신 비전은 대량 생산 제품 및 주문 제작 제품 둘 다의 생산에서 더 빠르고, 더 정확하고, 반복 가능한 결과들이 획득되는 것을 가능하게 한다. 전형적인 머신 비전 시스템들은 관심 영역으로 지향되는 하나 이상의 카메라, 관심 영역에 적절한 조명을 지향시키는 조명원, 이미지들을 캡처 및 송신하는 프레임 그래버/이미지 처리 요소들, 머신 비전 소프트웨어 애플리케이션을 실행하기 위한 컴퓨터 또는 온보드 처리 디바이스, 및 캡처된 이미지들을 조작하기 위한 사용자 인터페이스를 포함한다.
3D 비전 시스템의 한 형태는 2개의 카메라 간에 1 내지 수 인치의 기준선과 나란한 관계로 배열된 적어도 2개의 카메라를 이용하는 스테레오 카메라들에 기초한다. 스테레오-비전 기반 시스템들은 일반적으로 에피폴라 지오메트리(epipolar geometry) 및 이미지 보정(image rectification)에 기초한다. 이들은 상관 기반 방법들을 이용하거나 또는 완화 기법들과 조합하여 2개 이상의 카메라로부터의 보정된 이미지들에서의 대응을 찾을 수 있다. 그러나, 종래의 스테레오 비전 시스템들은 물체들 및/또는 장면들의 정확한 3차원 데이터 재구성들을 생성하는 그들의 능력이 제한된다.
개시된 주제에 따르면, 3D 처리를 위한 이미지들을 취득하기 위한 머신 비전 시스템 파라미터들(예를 들어, 카메라들 및/또는 프로젝터들/조명기들의 파라미터들을 포함함)을 최적화하기 위한 장치, 시스템, 및 방법이 제공된다. 이 시스템은 다양한 제약들을 시행하면서, 이미지들의 전체 시퀀스를 취득하기 위해 사용되는 최소 프레임 시간을 결정하기 위해 다양한 파라미터들을 최적화하도록 구성될 수 있다. 일부 실시예들에서, 제약들은, 시스템이 3D 재구성을 위해 충분한 정보를 갖는 이미지들을 취득하도록, 시스템의 기계적 제한들에 부합하도록, 그리고/또는 조명 전력 제한들을 시행하도록(예를 들어, 과열, 시스템에 대한 손상, 오퍼레이터들에 대한 상해, 및/또는 등등을 피하기 위해) 하는 방식으로 파라미터들이 구성되도록 설계된다.
일부 양태들은 이미지 취득을 위한 파라미터들을 결정하기 위한 시스템에 관한 것이다. 시스템은 하나 이상의 이미지 센서를 포함하고, 각각의 이미지 센서는 장면의 이미지들의 세트를 캡처하도록 배열되고, 각각의 이미지 센서는 조정가능한 이미징 파라미터들의 세트를 포함한다. 시스템은 장면 상에 움직이는 패턴을 투사하도록 구성된 프로젝터를 포함하고, 여기서 프로젝터는 조정가능한 프로젝터 파라미터들의 세트를 포함한다. 시스템은 상기 하나 이상의 이미지 센서 및 상기 프로젝터와 통신하는 프로세서를 포함하고, 상기 프로세서는 상기 이미지들의 세트에 기초하여 생성된 3D 데이터에서의 노이즈를 감소시키기 위해, 하나 이상의 제약의 세트에 기초하여, 상기 조정가능한 프로젝터 파라미터들의 세트 및 상기 조정가능한 이미징 파라미터들의 세트를 결정하도록 구성된다.
일부 예에서, 상기 조정가능한 이미징 파라미터들의 세트는 상기 이미지들의 세트 내의 각각의 이미지에 대한 각각의 프레임의 지속기간을 지시하는 프레임 시간을 포함하고, 상기 조정가능한 프로젝터 파라미터들의 세트는 상기 패턴이 상기 장면 상에서 움직이는 속도를 포함하고, 상기 조정가능한 프로젝터 파라미터들의 세트 및 상기 조정가능한 이미징 파라미터들의 세트를 결정하는 것은 상기 프레임 시간을 최소화하는 모션 속도를 결정하는 것을 포함한다. 상기 프로세서는 상기 하나 이상의 이미지 센서의 시야를 판독하는 데 필요한 최소 시간에 기초하여 상기 프레임 시간을 조정하도록 추가로 구성될 수 있다. 상기 프로세서는 최소 프레임 간 거리와 최대 모터 속도의 조합에 기초하여 상기 프레임 시간을 조정하도록 추가로 구성될 수 있다. 상기 프로세서는 상기 프로젝터의 조명기의 최대 노출 시의 노출 시간에 기초하여 상기 프레임 시간을 조정하도록 추가로 구성될 수 있다. 상기 프로세서는 상기 하나 이상의 이미지 센서의 노출 시간, 및 조명 파라미터들의 세트에 기초하여 상기 프레임 시간을 조정하도록 추가로 구성될 수 있다. 상기 조명 파라미터들의 세트는 노출 동안의 조명기 전력, 상기 조명기의 최대 평균 전력, 최대 조명기 전력, 피크 조명기 전력이 풀 파워로 설정될 때 상기 조명기의 최대 평균 전력, 또는 이들의 일부 조합 중 하나 이상을 포함할 수 있다.
일부 예에서, 상기 조정가능한 프로젝터 파라미터들의 세트 및 상기 조정가능한 이미징 파라미터들의 세트를 결정하는 것은 상기 조정가능한 프로젝터 파라미터들의 세트 및 상기 조정가능한 이미징 파라미터들의 세트에 대한 초기 동작 파라미터들의 세트를 결정하는 것, 상기 초기 파라미터들의 세트 내의 하나 이상의 파라미터가 상기 하나 이상의 제약의 열적 제약을 위반하는 것으로 결정하는 것, 및 상기 열적 제약을 준수하도록 상기 하나 이상의 파라미터를 조정하는 것을 포함할 수 있다. 상기 열적 제약에 준수하도록 상기 하나 이상의 파라미터를 조정하는 것은 사용자 동작 선호도를 결정하는 것, 및 상기 사용자 동작 선호도에 기초하여 상기 열적 제약을 준수하도록 상기 하나 이상의 파라미터를 조정하는 것을 포함할 수 있다. 상기 사용자 동작 선호도는 낮은 레이턴시 설정을 포함할 수 있고, 상기 하나 이상의 파라미터를 조정하는 것은 연속적인 이미지 시퀀스들 사이에 지연을 추가하는 것을 포함한다. 상기 사용자 동작 선호도는 플래시 금지(no flash) 설정을 포함할 수 있고, 상기 하나 이상의 파라미터를 조정하는 것은 상기 하나 이상의 이미지 센서의 프레임 시간을 증가시키는 것, 상기 패턴이 상기 장면 상에서 움직이는 속도를 감소시키기 위해 상기 프로젝터의 속도를 감소시키는 것, 또는 이들의 일부 조합을 포함한다.
일부 양태들은 이미지 취득을 위한 파라미터들을 결정하기 위한 컴퓨터화된 방법에 관한 것이다. 이 방법은 프로세서에 의해 실행되고 상기 프로세서는 하나 이상의 제약의 세트를 저장하고, 상기 하나 이상이 제약의 세트에 기초하여 상기 프로세서와 통신하는 하나 이상의 이미지 센서 각각에 대한 조정가능한 이미징 파라미터들의 세트 - 각각의 이미지 센서는 장면의 이미지들의 세트를 캡처하도록 배열됨 -, 및 상기 장면 상에 움직이는 패턴을 투사하도록 구성된 프로젝터에 대한 조정가능한 프로젝터 파라미터들의 세트를 결정하도록 구성되고, 상기 조정가능한 프로젝터 파라미터들의 세트 및 상기 조정가능한 이미징 파라미터들의 세트는 상기 이미지들의 세트에 기초하여 생성된 3D 데이터에서의 노이즈를 감소시킨다.
일부 예에서, 상기 조정가능한 이미징 파라미터들의 세트는 상기 이미지들의 세트 내의 각각의 이미지에 대한 각각의 프레임의 지속기간을 지시하는 프레임 시간을 포함하고, 상기 조정가능한 프로젝터 파라미터들의 세트는 상기 패턴이 상기 장면 상에서 움직이는 속도를 포함하고, 상기 조정가능한 프로젝터 파라미터들의 세트 및 상기 조정가능한 이미징 파라미터들의 세트를 결정하는 것은 상기 프레임 시간을 최소화하는 모션 속도를 결정하는 것을 포함한다. 상기 방법은 상기 하나 이상의 이미지 센서의 시야를 판독하는 데 필요한 최소 시간에 기초하여 상기 프레임 시간을 조정하는 단계를 포함할 수 있다. 상기 방법은 최소 프레임 간 거리와 최대 모터 속도의 조합에 기초하여 상기 프레임 시간을 조정하는 단계를 포함할 수 있다. 상기 방법은 상기 프로젝터의 조명기의 최대 노출 시의 노출 시간에 기초하여 상기 프레임 시간을 조정하는 단계를 포함할 수 있다.
일부 예에서, 상기 조정가능한 프로젝터 파라미터들의 세트 및 상기 조정가능한 이미징 파라미터들의 세트를 결정하는 것은 상기 조정가능한 프로젝터 파라미터들의 세트 및 상기 조정가능한 이미징 파라미터들의 세트에 대한 초기 동작 파라미터들의 세트를 결정하는 것, 상기 초기 파라미터들의 세트 내의 하나 이상의 파라미터가 상기 하나 이상의 제약의 열적 제약을 위반하는 것으로 결정하는 것, 및 상기 열적 제약을 준수하도록 상기 하나 이상의 파라미터를 조정하는 것을 포함할 수 있다.
일부 양태들은 프로세서 실행가능 명령어들을 저장하는 적어도 하나의 비일시적 컴퓨터 판독가능 저장 매체에 관한 것으로, 상기 프로세서 실행가능 명령어들은, 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때, 상기 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금 하나 이상의 제약의 세트를 저장하고, 상기 하나 이상이 제약의 세트에 기초하여 상기 프로세서와 통신하는 하나 이상의 이미지 센서 각각에 대한 조정가능한 이미징 파라미터들의 세트 - 각각의 이미지 센서는 장면의 이미지들의 세트를 캡처하도록 배열됨 -, 및 상기 장면 상에 움직이는 패턴을 투사하도록 구성된 프로젝터에 대한 조정가능한 프로젝터 파라미터들의 세트를 결정하는 동작들을 수행하게 하고, 상기 조정가능한 프로젝터 파라미터들의 세트 및 상기 조정가능한 이미징 파라미터들의 세트는 상기 이미지들의 세트에 기초하여 생성된 3D 데이터에서의 노이즈를 감소시킨다.
일부 예에서, 상기 조정가능한 이미징 파라미터들의 세트는 상기 이미지들의 세트 내의 각각의 이미지에 대한 각각의 프레임의 지속기간을 지시하는 프레임 시간을 포함하고, 상기 조정가능한 프로젝터 파라미터들의 세트는 상기 패턴이 상기 장면 상에서 움직이는 속도를 포함하고, 상기 조정가능한 프로젝터 파라미터들의 세트 및 상기 조정가능한 이미징 파라미터들의 세트를 결정하는 것은 상기 프레임 시간을 최소화하는 모션 속도를 결정하는 것을 포함한다. 상기 조정가능한 프로젝터 파라미터들의 세트 및 상기 조정가능한 이미징 파라미터들의 세트를 결정하는 것은 상기 조정가능한 프로젝터 파라미터들의 세트 및 상기 조정가능한 이미징 파라미터들의 세트에 대한 초기 동작 파라미터들의 세트를 결정하는 것, 상기 초기 파라미터들의 세트 내의 하나 이상의 파라미터가 상기 하나 이상의 제약의 열적 제약을 위반하는 것으로 결정하는 것, 및 상기 열적 제약을 준수하도록 상기 하나 이상의 파라미터를 조정하는 것을 포함할 수 있다.
이와 같이, 다음에 오는 상세한 설명이 더 잘 이해될 수 있도록 하기 위해, 그리고 본 기술분야에 대한 본 기여가 더 잘 인정될 수 있도록 하기 위해, 개시된 주제의 특징들이 다소 광범위하게 개요화되었다. 물론, 이하에 설명되고 본 명세서에 첨부된 청구항들의 주제를 형성할 개시된 주제의 추가적인 특징들이 있다. 본 명세서에서 이용되는 어법 및 용어는 설명을 위한 것이고 제한하는 것으로 간주되어서는 안 된다는 것을 이해해야 한다.
도면들에서, 다양한 도면들에 예시되는 각각의 동일하거나 거의 동일한 컴포넌트는 유사한 참조 문자로 표현된다. 명료성을 위해, 모든 도면에서 모든 컴포넌트가 라벨링되지는 않을 수 있다. 도면들은 반드시 축척대로 그려진 것은 아니며, 대신에 본 명세서에 설명된 기법들 및 디바이스들의 다양한 양태들을 예시하는 것에 역점을 둔다.
도 1은 일부 실시예들에 따른, 프로젝터 및 2개의 카메라가 스테레오 이미지 대응을 생성하기 위해 일관된 방식으로 장면의 이미지들을 캡처하도록 배열되는 예시적인 실시예를 도시한다.
도 2는 일부 실시예들에 따른, 예시적인 프로젝터 컴포넌트들을 도시한다.
도 3은 일부 실시예들에 따른, 일련의 투사된 광 패턴들 중 하나에 대응하는 스테레오 이미지들의 예시적인 쌍을 도시한다.
도 4는 일부 실시예들에 따른, 장면의 스테레오 이미지들의 예시적인 쌍을 도시한다.
도 5는 일부 실시예들에 따른, 장면 상에 투사된 일련의 광 패턴들에 대응하는 스테레오-시간 이미지 시퀀스들의 예시적인 쌍을 도시한다.
도 6a 및 도 6b는 일부 실시예들에 따른, 비전 시스템의 동작 파라미터들을 결정하기 위한 예시적인 방법들을 도시한다.
도 7 내지 도 9는 일부 실시예들에 따른, 상이한 동작 파라미터들을 사용하여 캡처된 예시적인 이미지들을 도시한다.
본 명세서에서 논의되는 기법들은 카메라들(예를 들어, 프레임 시간, 노출 시간 등) 및/또는 패턴 프로젝터(예를 들어, 조명기의 파라미터들, 패턴의 속도 등)와 관련된 파라미터들과 같은 스테레오 비전 시스템의 동작 파라미터들을 분석하기 위해 사용될 수 있다. 본 발명자들은 비전 시스템에 대한 구성가능한 파라미터들이 시스템에 대한 최적의 설정들을 찾기 위한 복잡한 고려사항들을 생성할 수 있다는 것을 알아냈다. 본 발명자들은 또한 머신 비전 시스템들이 일부 파라미터들이 사용자 구성가능하게 할 수 있는 반면, 다른 파라미터들은 사용자에 의해 조정가능하지 않을 수 있고, 이는 사용자가 이용 가능한 파라미터들을 제어하고 충분한 노이즈 레벨들을 갖는 이미지들을 달성하는 것을 어렵게 만들 수 있다는 것을 알아냈다. 본 발명자들은 또한 열적 고려사항들 및/또는 시스템의 무결성을 보존하도록 설계된 다른 고려사항들과 같은, 다른 고려사항들이 동작 파라미터들과 관련될 수 있다는 것을 알아냈다. 본 발명자들은 시스템 동작 파라미터들을 분석하고 시스템에 대한 최적 동작 파라미터들을 결정하는 머신 비전 시스템들에 대한 기술적 개선들을 개발하였다. 이 기법들은 사용자 구성가능 파라미터들 및 비-사용자 구성가능 파라미터들(예를 들어, 사용자 구성가능 파라미터들의 세트의 사용자 구성에 기초하여) 둘 다를 자동으로 분석하고 조정하는 것을 포함할 수 있다. 이 기법들은 동작 동안 시스템 무결성을 보존하기 위해 시스템이 시스템의 열적 한도 및/또는 다른 동작 제약들을 준수하도록 보장하기 위해 다양한 제약들을 동작 파라미터들에 적용하는 것을 포함할 수 있다.
다음 설명에서는, 개시된 주제의 철저한 이해를 제공하기 위해, 개시된 주제의 시스템들 및 방법들 및 그러한 시스템들 및 방법들이 동작할 수 있는 환경 등에 관한 다수의 특정 상세가 제시된다. 또한, 아래에 제공되는 예들은 예시적인 것이고, 개시된 주제의 범위 내에 있는 다른 시스템들 및 방법들이 있다고 고려된다는 것이 이해될 것이다.
도 1은 스테레오 이미지 대응을 생성하기 위해 일관된 방식으로 물체 또는 장면(102)의 이미지들을 캡처하도록 배열되는 프로젝터(104) 및 2개의 카메라(106A, 106B)(집합적으로, 카메라들(106))을 갖는 머신 비전 시스템의 예시적인 실시예(100)를 도시한다. 일부 실시예들에서, 프로젝터(104)는 다수의 카메라(106)를 사용하여 캡처된 물체의 이미지 시퀀스들을 시간적으로 코딩하기 위해 이용된다. 예를 들어, 프로젝터(104)는 물체 상에 회전 패턴을 투사할 수 있고, 각각의 카메라는 물체의 12-16개의 이미지(또는 일부 다른 수의 이미지)를 포함하는 이미지 시퀀스를 캡처할 수 있다. 각각의 이미지는 이미지를 구성하는 픽셀들의 세트를 포함한다. 일부 실시예들에서, 광 패턴은, 패턴이 물체 또는 장면 위에서 회전하도록(예를 들어, 패턴 자체가 시계방향 또는 반시계방향으로 회전하지 않고) 수평 및/또는 수직 방향들로 시프트할 수 있다.
카메라들(106) 각각은 전하 결합 소자(CCD) 이미지 센서, 상보성 금속 산화물 반도체(CMOS) 이미지 센서, 또는 다른 적합한 이미지 센서를 포함할 수 있다. 일부 실시예들에서, 카메라들(106) 각각은 롤링 셔터, 글로벌 셔터, 또는 다른 적합한 셔터 타입을 가질 수 있다. 일부 실시예들에서, 카메라들(106) 각각은 GigE Vision 인터페이스, USB(Universal Serial Bus) 인터페이스, 동축 인터페이스, FIREWIRE 인터페이스, 또는 다른 적합한 인터페이스를 가질 수 있다. 일부 실시예들에서, 카메라들(106) 각각은 하나 이상의 스마트 기능을 가질 수 있다. 일부 실시예들에서, 카메라들(106) 각각은 C-마운트 렌즈, F-마운트 렌즈, S-마운트 렌즈, 또는 다른 적합한 렌즈 타입을 가질 수 있다. 일부 실시예들에서, 카메라들(106) 각각은 프로젝터의 스펙트럼 범위 밖의 환경 광을 차단하기 위해 프로젝터, 예를 들어, 프로젝터(104)에 적응된 스펙트럼 필터를 가질 수 있다.
카메라들/이미지 센서들에 적용될 수 있는 일부 일반적인 파라미터들이 존재한다. 본 명세서에서 논의된 예들은 이미지 센서들에 관하여 설명되지만, 이 기법들은 그렇게 제한되지 않고 다른 타입들의 카메라들 및 이미징 디바이스들에 적용될 수 있다. 이미지 센서의 노출 시간은 광이 센서 위에 떨어지는 시간을 지칭하고, 특정 시간 기간에 걸쳐 적분되어 전하 이미지와 같은 신호를 형성할 수 있다. 일부 이미지 센서들은 (예를 들어, 전통적인 카메라와 같이) 노출 시간을 제어하기 위해 센서로부터의 광을 차단하는 물리적 셔터를 갖지 않을 수 있다. 따라서, 일부 이미지 센서들은 모든 픽셀들을 동시에 노출시키는 글로벌 셔터 모드, 또는 각각의 행이 이전 행의 노출의 시작으로부터 지연 후에 노출되도록 롤링 기반으로 행들을 노출시키는 롤링 셔터 모드를 사용할 수 있다. 일부 실시예들에서, 시스템은, 노출 시간의 끝에서 이미지 센서가 특정 노출 기간의 전하 이미지를 생성하기 위해 정보를 적분하는 것을 효과적으로 중단하도록, 센서에서 수신된 광의 적분을 시작하고 중단하는 때를 계속 추적할 수 있다. 일부 실시예들에서, 이미지 센서는 센서의 감광 노드들 각각으로부터 전하 신호를 전송함으로써 전하 이미지를 생성할 수 있다(예를 들어, 이미지 센서는 광을 차단하기 위해 센서들을 차폐하는 임의의 기계적 또는 광학적 메커니즘들을 갖지 않을 수 있으므로).
이미지 센서는 판독 시간을 가질 수 있고, 그 동안 이미지 센서는 저장된 전하 이미지를 통해, 한 번에 하나의 라인씩 스캐닝하고, 전하를 신호로 변환하고, 신호를 디지털 방식으로 출력한다. 일부 실시예들에서, 시스템은 판독이 노출과 동시에 수행되도록 구성될 수 있다. 예를 들어, 정확하게 타이밍되면, 이미지 센서는 다음 프레임 N+1을 노출시키면서 프레임 N을 판독할 수 있다. 일부 실시예들에서, 셔터 동작(예를 들어, 글로벌 또는 롤링 셔터)은, 예를 들어, 판독을 방해하지 않는 방식으로 프레임 노출이 타이밍될 수 있도록, 노출을 종료하고 전하 정보를 프레임 메모리로 전송할 수 있다. 예를 들어, 이미지 센서가 판독을 수행하는 데 4ms 걸리지만, 이미지 센서가 1ms의 노출만을 수행하도록 구성되어 있다면, 이미지 센서는 (4ms) 판독 시간에 3ms가 될 때까지 노출을 수행하기 위해 대기하도록 구성될 수 있다.
일부 이미지 센서들에 대해, 프레임 시간은 이미지 센서가 프레임들의 시퀀스를 전달하도록 구성될 때 하나의 프레임으로부터 다음 프레임까지의 간격을 지칭한다. 동시 노출 및 판독을 갖는 센서들에 대해, 최소 프레임 시간은 대략 노출 시간 및 판독 시간 중 더 큰 것에 기초할 수 있다. 일부 실시예들에서, 프레임 시간은 ms 단위로 측정된다. 일부 실시예들에서, 특정 프레임 시간에서 순식간에 달성가능한 프레임들의 수를 반영하기 위해, 프레임 레이트는 1 초/최소 프레임 시간이다. 프레임 레이트는 Hz 단위로 측정될 수 있다. 이미지 센서는 최대 프레임 레이트보다 더 느리게 작동하도록 구성될 수 있다. 예를 들어, 본 명세서에서 논의된 바와 같이 패턴을 투사하는 시스템을 사용할 때, 열적 이유들 때문에(예를 들어, 프로젝터에서 소산되는 전력으로 인해, 과열을 피하기 위해, 이미지 센서에 대한 잠재적 손상을 피하기 위해, 등등), 이미지에서 얼마나 빨리 패턴이 움직일 수 있는지에 대한 제한 때문에, 및/또는 등등 때문에 최대 프레임 레이트보다 더 느리게 작동하도록 이미지 센서를 구성하는 것이 바람직할 수 있다.
일부 시스템들은 사용자가 이미지 센서의 하나 이상의 파라미터를 특정하는 것을 허용할 수 있다. 예를 들어, 시스템은 사용자가 노출 시간, 관심 영역(예를 들어, 이미저 픽셀들의 직사각형과 같은 픽셀들의 서브세트), 디지타이저 스팬 및 정밀도, 해상도(예를 들어, 전체 해상도, 서브샘플링, 또는 X, Y 또는 양쪽 차원들에서의 비닝), 및/또는 등등을 특정하는 것을 허용할 수 있다. 프레임 시간과 같은 일부 파라미터들은 사용자 구성가능하지 않을 수 있는데, 그 이유는 사용자가 그 파라미터들에 대한 적절한 동작 값을 선택하는 것이 어려울 수 있기 때문이다.
일부 실시예들에서, 일부 이미징 파라미터들은 3D 재구성 프로세스에 관련될 수 있다. 예를 들어, 본 명세서에서 논의되는 바와 같이, 일부 3D 이미징 시스템들은 상이한 카메라들의 시퀀스들에 걸친 대응들을 검색하고, 궁극적으로 3D 데이터를 결정하기 위해 사용되는 이미지들의 시퀀스들을 캡처하도록 구성된다. 따라서, 일부 시스템들은 시퀀스들 사이의 최소 간격, 시퀀스 내의 이미지들의 수, 연속적인 시퀀스들 사이의 지연, 및/또는 등등과 같은, 이미지 시퀀스들에 관련된 파라미터들을 포함할 수 있다.
도 2는 일부 실시예들에 따른, 프로젝터의 예시적인 컴포넌트들을 도시한다. 도 2는 프로젝터 컴포넌트들의 다음 2개의 뷰를 도시한다: 프로젝터 컴포넌트들 위로부터의 대각선 뷰인 뷰 1(202), 및 슬라이드(206)가 보이도록, 약간 회전되는 위로부터의 프로젝터 컴포넌트들의 뷰인 뷰 2(204). 컴포넌트들은 슬라이드(206)를 x 방향으로 선형으로 이동시키는 제1 컴포넌트(210), 및 슬라이드(206)를 y 방향으로 선형으로 이동시키는 제2 컴포넌트(212)(예를 들어, 선형 베어링들)를 이용하여 슬라이드(206)를 제어가능하게 이동시키는 데 사용되는 모터(208)를 포함한다. 모터(208)는, 모터(208) 사이에 배치되고 볼 베어링 연결(216)을 통해 회전 가능하게 장착되는 피스(214)를 회전시킨다. 피스(214)는 편심 형상을 가지며, 따라서 모터가 피스(214)의 샤프트(214A), 및 축에서 벗어난 방식으로 샤프트에 결합되는 더 큰 부분(214B)을 회전시킴에 따라, 따라서 모터(208)가 샤프트(214A)를 회전시킴에 따라 더 큰 부분(214B)에 의해 야기되는 변동은 제1 및 제2 컴포넌트들(210 및 212)로 하여금 협력하여 슬라이드(206)를 회전시키지 않는 방식으로 X 및 Y 축들을 따라 슬라이드(206)를 시프트시키게 한다. 프로젝터의 컴포넌트들은 베이스플레이트(218)에 장착되고 베이스플레이트에 의해 지지된다.
일부 실시예들에서, 프로젝터는 다양한 파라미터들 및/또는 제약들을 포함할 수 있다. 일부 실시예들에서, 파라미터들 또는 제약들은 모터 속도, 마스크의 원하는 움직임의 양, 프로젝터 조명기(예를 들어, LED 조명기)에 관련된 파라미터들, 및/또는 등등에 기초할 수 있다. 예를 들어, 일부 파라미터들은 최대 및/또는 최소 모터 속도와 같은 모터 속도와 관련될 수 있다. 최대 모터 속도는 모터가 원하는 정확도(예를 들어, +/-20%)로 제어되는 동안 초당 millirev(millirevs per second) 단위(예를 들어, 6000millirev/sec)로 획득할 수 있는 최대 속도를 특정할 수 있다. 최소 모터 속도는 모터가 원하는 정확도(예를 들어 +/-20%)로 제어되는 동안 작동할 수 있는 최소 속도를 특정할 수 있다.
다른 예로서, 일부 파라미터들은 시퀀스 모션 및 프레임 모션과 같은 마스크의 모션과 관련될 수 있다. 시퀀스 모션은 이미지들의 완전한 시퀀스에 걸쳐 원하는 양의 마스크 모션을 특정할 수 있다. 시퀀스 모션은 이미지 픽셀들의 단위로 특정될 수 있다(예를 들어, 180 픽셀, 240 픽셀, 300 픽셀, 및/또는 등등). 일부 실시예들에서, 시퀀스 모션은 모터 회전수로 특정될 수 있다. 프레임 모션은 하나의 완전한 프레임 시간 동안 원하는 모션의 양을 특정할 수 있다(예를 들어, 하나의 프레임의 시작으로부터 다음 프레임의 시작까지). 프레임 모션은 이미지 픽셀들의 단위로 특정될 수 있다(예를 들어, 5 픽셀, 10 픽셀, 15 픽셀, 및/또는 등등). 일부 실시예들에서, 3D 재구성을 위한 이미지들의 시퀀스를 취득할 때 시퀀스 모션 제약이 사용된다. 일부 실시예들에서, 단일 프레임들을 취득할 때(예를 들어, 테스트 목적들을 위해) 프레임 모션 제약이 사용된다. 일부 실시예들에서, 프로젝터 파라미터들 및/또는 제약들은 제조자에 의해 설정될 수 있고, 따라서 사용자에 의해 조정되지 않을 수 있다.
일부 프로젝터 파라미터들은 마스크를 조명하고 결과적인 패턴을 장면 상에 투사하기 위해 사용되는 조명기의 조명 강도에 기초할 수 있다. 예시적인 LED 조명기 동작 파라미터들은 최대 LED 입력 전력, 최대 연속 전력, 피크 펄스 전력이 풀 파워(100%)로 설정될 때 최대 평균 전력, 최대 피크 전력 지속기간(예를 들어, 풀 파워(100%)를 사용할 때 최대 지속기간), 및/또는 등등을 포함할 수 있다. 방사 출력 전력은 입력 전력의 0.3배로서 근사화되어 LED들에서 소산되는 열 전력은 입력 전력의 대략 0.7배인 것을 암시할 수 있다. LED 조명기들은 종종 냉각 디바이스, 예컨대 팬 냉각식 히트싱크 및/또는 수동 히트싱크를 갖는다. LED 조명기가 어떻게 냉각되는지에 따라, 그것은 조명기의 동작 파라미터들을 변경할 수 있다. 시스템은 팬이 검출되었는지 그리고 적절히 작동하고 있는지를 계속 추적할 수 있다. 팬 냉각식 히트싱크를 갖는 LED 조명기 및 수동 히트싱크를 갖는 LED 조명기를 위한 LED 조명기 파라미터들의 예시적인 세트가 아래에 제공된다:
Figure 112019102008858-pat00001
도 3은 일련의 투사된 광 패턴들 중 하나에 대응하는 스테레오 이미지들(300 및 350)의 예시적인 쌍을 도시한다. 예를 들어, 프로젝터(104)는 물체 상에 광 패턴을 투사할 수 있고, 카메라들(106)은 스테레오 이미지들(300 및 350)을 캡처할 수 있다. 일부 실시예들에서, 2개의 카메라로부터의 스테레오 이미지 시퀀스들로부터 3차원 데이터를 재구성하기 위해, 픽셀들(302 및 352)과 같은 픽셀들의 대응하는 쌍들이 각각의 카메라로부터의 이미지들 사이에서 발견될 필요가 있을 수 있다.
일반적인 문제로서, 일부 3D 접근법들은 이미지들(300 및 350)의 좌측/우측 특징들을 매칭시킨다. 일부 실시예들에서, 매칭을 수행하기 위해 이미지들 사이의 차이들을 결정하기 위해 예리한 에지들이 사용될 수 있다. 그러나, 매끄러운 표면들(예를 들어, 마킹들 및/또는 갑작스러운 각도들이 없는 표면들)은 이미지들(300 및 350)에 도시된 원과 같은 충분한 정보를 반환하지 않을 수 있다. 본 명세서에서 논의된 패턴 투사 기법은 좌측/우측 이미지 특징들을 매칭시키기에 충분한 정보를 갖는 이미지들의 시퀀스를 캡처하기 위해 사용될 수 있고, 따라서 픽셀 값들의 시간 시퀀스는 시간 경과에 따른 밝기를 보여주어 매칭 픽셀들의 가능한 경로들을 따라 고유 서명을 생성한다. 따라서, 예를 들어, 패턴은, 달리 스테레오 이미지 대응 검색을 수행하기 위해 물체가 장면에서 충분한 자연 발생 특징들을 갖지 않더라도 대응 검색을 수행하기에 충분한 정보를 제공할 수 있다.
도 4는 2개의 이미지(400 및 450)에서 투사된 패턴의 동일한 부분을 나타내는, 대응하는 픽셀들(402 및 452)을 갖는 스테레오 이미지들(400 및 450)(및 연관된 픽셀들)의 예시적인 쌍을 도시한다. 예를 들어, 위에서 논의된 바와 같이, 프로젝터(104)는 장면 상에 광 패턴을 투사할 수 있고, 카메라(106)는 스테레오 이미지들(400 및 450)을 캡처할 수 있다. 캡처된 스테레오 이미지들(400 및 450)은 2개의 픽셀에 걸친 대응들을 식별하기 위해 사용될 수 있다. 일부 실시예들에서, 시간 경과에 따라 캡처된 스테레오 이미지의 시퀀스들은 대응을 식별하기 위해 사용된다.
도 4에 도시된 스테레오 이미지들의 단일 쌍으로부터 후속하여, 도 5는, 프로젝터(104)가 시간 경과에 따라 장면 상에 상이한 광 패턴들을 연속적으로 투사할 때, 카메라들(106)은 대응하는 시간 픽셀들(502 및 552)을 갖는 스테레오-시간 이미지 시퀀스들(500 및 550)을 캡처할 수 있다는 것을 보여준다. 카메라들(106) 각각은 시간 경과에 따라 이미지들 1, 2, 3, 4, ... N의 시퀀스들을 캡처할 수 있다. 시간 픽셀들(502 및 552)은 각각 스테레오-시간 이미지 시퀀스들(500 및 550)에 걸쳐 픽셀들 (i,j) 및 (i',j')에 기초한다. 시간 경과에 따라, 각각의 시간 픽셀은 그레이 값들의 순서화된 리스트: G_i_j_t를 포함하고, 여기서 t는 이산 시간 인스턴스들 1, 2, 3, 4, ... N을 나타낸다. 장면에서 생성된 변화하는 조명 강도들에 기초하여, 시스템은 카메라들 사이의 대응들을 구할 수 있다. 일부 실시예들에서, 마스크/패턴의 거의 임의의 모션으로 3D 데이터가 생성될 수 있다.
3D 이미징 기법들은 대응 검색을 개선하기 위해 움직이는 패턴을 사용할 수 있지만, 다양한 파라미터들은 이미지들의 노이즈 레벨에 영향을 미칠 수 있으며, 이는 차례로 대응 검색 및 최종 3D 데이터 및 연관된 노이즈에 영향을 미칠 것이다. 일부 실시예들에서, 3D 데이터의 정밀도(예를 들어, 3D 데이터의 노이즈)는 프로젝터 및/또는 카메라 파라미터들에 기초하여 영향을 받을 수 있다. 예를 들어, 3D 데이터는 노출 시간, 프레임 시간 및 조명기 강도 중 하나 이상과 조합하여 마스크의 움직임에 기초하여 영향을 받을 수 있다. 본 명세서에서의 기법들은 프로젝터 및/또는 카메라들에 대한 것을 포함하여, 시스템에 대한 최적의 파라미터들을 결정하기 위해 사용될 수 있다. 예를 들어, 기법들은 이미지 센서 노출 시간 및/또는 프레임 레이트와 같은 다른 시스템 파라미터들뿐만 아니라, 조명기 강도와 같은 다른 프로젝터 파라미터들에 기초하여, 마스크 모션과 같은, 프로젝터에 관련된 파라미터들을 결정할 수 있다.
이미지 센서(들) 및/또는 프로젝터의 다양한 파라미터들 중 하나 이상은 조정될 수 있다(예를 들어, 사용자에 의해 그리고/또는 사용자에게 출하되기 전에 공장-설정에 의해). 본 명세서에서 논의된 바와 같이, 파라미터들 중 일부는 사용자 구성가능할 수 있는 반면, 사용자는 다른 파라미터들을 구성하지 못할 수 있다. 예를 들어, 물체로부터 얼마나 많은 신호가 수집되는지를 제어하기 위해 파라미터들이 조정될 수 있다. 수집된 신호의 양은, 물체가 얼마나 어두운지 또는 밝은지, 물체가 카메라로부터 얼마나 멀리 떨어져 있는지, 물체를 조명하고 있는 LED들이 얼마나 강력한지, 렌즈의 f-수(예를 들어, 동공의 입구 직경의 직경에 대한 시스템의 초점 거리의 비율), 및/또는 센서의 응답도와 같은 다수의 인자에 의해 영향을 받을 수 있다. 일반적인 문제로서, 양호한 신호를 갖는 이미지를 취득하도록, 카메라 및 프로젝터를 포함하는, 시스템을 구성하는 것이 바람직할 수 있다. 예를 들어, 이미지가 너무 어둡다면, 값들이 구별불가능할 수 있는 반면, 이미지가 너무 밝다면, 센서는 포화되었다.
도 6a는 일부 실시예들에 따른, 카메라들 및/또는 프로젝터를 포함하는, 시스템을 구성하기 위한 예시적인 컴퓨터화된 방법(600)을 도시한다. 도 6b와 관련하여 논의된 방법(600) 및 방법(650)을 포함하여, 본 명세서에서 논의된 기법들은 임의의 적합한 컴퓨팅 시스템(예를 들어, 범용 컴퓨팅 디바이스(CPU), 그래픽 처리 유닛(GPU), 필드 프로그래머블 게이트 어레이 디바이스(FPGA), 주문형 집적 회로 디바이스(ASIC), ARM 기반 디바이스, 또는 다른 적합한 컴퓨팅 시스템) 상에서 수행될 수 있는데, 본 명세서에 설명된 기술의 양태들은 이 점에서 제한되지 않는다. 컴퓨팅 디바이스는 카메라(들) 및 프로젝터(들), 및 또는 카메라들(예를 들어, 스마트 카메라들)의 부분들에 연결된 컴퓨팅 디바이스일 수 있다. 일반적인 문제로서, 시스템은 프로젝터에 의해 처리를 위해 센서들로부터 충분한 이미지들을 획득하기에 충분한 패턴을 생성하는 방식으로 프로젝터 및 센서들을 제어하도록 구성된다.
단계 602에서, 컴퓨팅 디바이스는 카메라들(예를 들어, 도 1의 카메라들(106))의 세트로부터 각각의 카메라로부터 이미지들의 시퀀스를 수신한다. 단계 604에서, 컴퓨팅 디바이스는 이미지들의 시퀀스들에 기초하여 3D 데이터를 생성한다. 본 명세서에서 논의되는 바와 같이, 3D 생성 프로세스는 3D 데이터를 생성하기 위해 이미지들의 시퀀스들 사이의 대응들을 찾는 것을 포함할 수 있다. 단계 606에서, 시스템은 3D 데이터에 기초하여 시스템의 동작 파라미터들에 대한 하나 이상의 업데이트를 결정한다. 예를 들어, 본 명세서에서 더 논의되는 바와 같이, 시스템은 카메라들 및/또는 프로젝터의 동작 파라미터들을 조정할 수 있다. 일부 실시예들에서, 시스템은 3D 데이터를 생성하지 않고 동작 파라미터들을 조정할 수 있다. 예를 들어, 시스템은 사용자 구성가능 파라미터들에 대한 변경들을 분석하여 파라미터들이 적절한 설정들을 초래하지 않을 것인지 그리고/또는 시스템 제약들을 위반할 것인지를 결정할 수 있다. 예를 들어, 시스템은 아래에 더 논의되는 도 6b에 도시된 방법(650)을 실행할 수 있다. 단계 608에서, 시스템은 동작 파라미터들이 추가 개선을 필요로 하는지를 결정한다. 예를 들어, 동작 파라미터들이 노이즈 임계값 아래의 3D 데이터의 노이즈 레벨을 달성하지 못했다면, 방법은 단계 606에 기초하여 업데이트된 파라미터들을 사용하여 다시 단계 602로 진행할 수 있다. 그렇지 않으면, 방법은 단계 610으로 진행하여 동작 파라미터들을 설정한다.
단계 606을 참조하면, 일부 실시예들에서, 시스템은 3D가 노이즈를 포함한다고 결정할 수 있다. 예를 들어, 일부 실시예들에서, 시스템은 3D 데이터를 분석하여, 예컨대 누락 픽셀들이 있는 곳(예를 들어, 3D 범위가 재구성될 수 없는 곳)에 유의함으로써, 그리고 누락 픽셀들의 영역들을 최소화하기 위해 파라미터들을 조정함으로써 노이즈를 결정할 수 있다. 본 명세서에서 논의되는 바와 같이, 이 기법들은, 예를 들어, 노출 시간 및/또는 프로젝터 밝기를 조정함으로써, 전체 노출을 조정하는 것을 포함할 수 있다.
도 6a의 방법(600)은 시스템의 구성을 결정하기 위해(예를 들어, 단계 608을 통해) 어떻게 시스템이 피드백을 사용하도록 구성될 수 있는지에 대한 예를 도시한다. 피드백에 의한 이러한 잠재적으로 반복적인 프로세스는 단지 예시적인 목적으로 설명된 것이고, 제한하려고 의도된 것은 아니다. 예를 들어, 일부 실시예들에서, 이 기법들은 제약들의 세트(예를 들어, 패턴 모션 제약들, 열적 제약들)를 도출하고 반복적인 프로세스를 사용하지 않고 해당 제약들을 충족시키는 취득 파라미터들의 세트를 생성할 수 있다.
도 6b는 일부 실시예들에 따른, 카메라들 및/또는 프로젝터의 것들을 포함하는, 파라미터들의 구성을 체크하기 위한 예시적인 컴퓨터화된 방법(650)을 도시한다. 위에서 논의된 바와 같이, 방법(650)은 3D 데이터의 노이즈를 분석하는 것의 일부로서(예를 들어, 단계 606의 일부로서) 그리고/또는 3D 데이터를 생성하지 않고 실행될 수 있다. 단계 652에서, 컴퓨팅 디바이스는 카메라(들) 및/또는 프로젝터(들)의 동작 파라미터들의 세트를 결정한다. 단계 654에서, 컴퓨팅 디바이스는 카메라(들)의 열적 제약들의 세트에 기초하여 동작 파라미터들의 세트 내의 동작 파라미터들 중 임의의 것이 조정을 요구하는지를 결정한다. 아니라면, 방법은 단계 656으로 진행하고, 컴퓨팅 디바이스는 동작 파라미터들의 세트를 유지한다. 그렇다면, 방법은 단계 658로 진행하고, 컴퓨팅 디바이스는 열적 제약들의 세트를 준수하기 위해 동작 파라미터들의 세트 내의 동작 파라미터들 중 하나 이상을 조정한다.
본 명세서에서 상세히 논의되는 바와 같이, 시스템에 대해 이미지 취득 시퀀스가 설정될 때, 시스템은 초기 동작 파라미터들의 특정 세트를 결정할 수 있다. 일부 실시예들에서, 시스템은 초기에 시스템 파라미터들에 기초하여 프레임 시간을 설정한다. 예를 들어, 시스템은 프레임 시간을 시야를 판독하는 데 필요한 최소 시간으로 설정할 수 있다. 단계 654와 관련하여 아래에 더 논의되는 바와 같이, 시스템은 그 후 다양한 제약들에 대해 초기 동작 파라미터들의 세트를 평가한다. 제약들은 물리적 시스템 제약들(예를 들어, 모터 속도, 조명기 전력 등), 열적 제약들과 같은 다른 제약들, 및/또는 등등을 포함할 수 있다.
단계 652를 참조하면, 시스템은 센서 하드웨어 파라미터들을 결정할 수 있다(예를 들어, 동작 파라미터들을 계산하는 데 사용하기 위해). 예를 들어, 시스템은 노출 제한된 시간, 판독 제한된 시간, 및/또는 최소 프레임 시간을 결정할 수 있다. 최소 프레임 시간은 노출 제한된 시간 및 판독 제한된 시간 중 최대치에 기초하여 계산될 수 있다. 노출 제한된 시간은 노출 시간과 작은 일정한 오버헤드(예를 들어, 하나의 노출 종료와 다음 노출 시작 사이의 최소 간격을 달성하기 위해 사용될 수 있는 것)를 더한 합에 기초하여 계산될 수 있다. 판독 제한된 시간은 센서에 의해 지원되는 모드(들)에 따라 센서에 대해 달라질 수 있다. 예를 들어, 센서는 전체 해상도 모드에 대한 그리고 서브샘플링 모드(예를 들어, 2x2 비닝 모드)에 대한 프레임 판독 시간을 가질 수 있다. 서브샘플링 모드는, 예를 들어, 다른 것들을 무시하면서, 픽셀들 중 단지 일부에 대한 값들을 출력할 수 있다. 예를 들어, 2x2 비닝 모드는 관심 영역을 2x2 픽셀 청크들로 분할하고, 다른 3개의 픽셀은 무시하고, 각각의 청크의 좌측 상부 픽셀만을 출력할 수 있다. 다른 예로서, 2x2 비닝 모드는 관심 영역을 2x2 픽셀 청크들로 분할하고, 각각의 청크에 대해 하나의 값(예를 들어, 청크 내의 4개의 픽셀의 합)만을 출력할 수 있다.
일부 예에서, 판독 영역은 모드에 따라 조정될 수 있다. 예를 들어, 일부 센서들에 대해, 판독 영역은 전체 해상도 모드에서의 전체 센서 크기보다 작게 조정되고 대응하여 판독 제한된 프레임 시간이 감소될 수 있다(예를 들어, 속도를 증가시키기 위해). 다른 예로서, 일부 센서들에 대해, 비닝 모드는 제한된 판독 영역을 지원하지 않을 수 있다.
일부 실시예들에서, 위에서 논의된 바와 같이, 사용자는 프로젝터 및/또는 이미지 센서들의 파라미터(들)에 대한 제어를 가질 수 있는 반면, 다른 파라미터들은 사용자에 의해 조정가능하지 않다. 예를 들어, 사용자는 카메라(들)의 노출 시간 및 프로젝터의 조명 강도를 제어할 수 있다. 일반적인 문제로서, 이들 2개의 파라미터의 곱은 최종 이미지를 제어하는 것으로 간주될 수 있는데, 그 이유는, 예를 들어, 4ms 노출 시간에 대한 25% 강도는 그레이스케일의 밝기에 관하여, 2ms 노출 시간에 대한 50% 강도와 동일한 이미지를 달성할 수 있기 때문이다. 그러나, 이는 항상 그렇지는 않을 수도 있다. 예를 들어, 시야 내에 움직이는 물체들이 있거나, 또는 본 명세서에서 논의되는 바와 같은 움직이는 마스크/패턴이 있다면, 4ms 노출 시간에 비해 2ms 노출 시간에 대해 작동 사이에 차이가 있을 수 있다(예를 들어, 4ms 노출 시간이 블러를 야기할 수 있기 때문에).
일부 실시예들에서, 시스템은 시스템의 동작 파라미터들을 결정할 수 있다. 시스템은 최적의 이미지 취득을 제공하기 위해(예를 들어, 것은 모션 블러를 핸들링하고, 프로젝터의 물리적 제한들을 준수하기 위해, 등), 사용자 특정 설정들 및/또는 다른 시스템 파라미터들을 확인 및/또는 조정할 수 있다. 예를 들어, 시스템은 처리를 위해 충분한 명료성으로 이미지 취득을 달성하기 위해 충족될 필요가 있는 하나 이상의 제약에 기초하여 동작 파라미터들을 평가할 수 있다. 일부 실시예들에서, 시스템은 투사된 패턴의 모션의 최소량에 관련된 제약을 결정할 수 있다. 예를 들어, 일부 고려사항들은 패턴이 프레임들 사이에서 움직이기 위한 최소량, 패턴이 전체 이미지 시퀀스에 걸쳐 움직일 최소량, 및/또는 둘 다를 포함할 수 있다. 예를 들어, 개별 프레임들에 걸쳐서든 및/또는 시퀀스에 걸쳐서든, 패턴이 충분히 움직이지 않으면, 이미지들은 대응 검색에 대한 고유 서명 정보를 캡처하기에 충분한 패턴의 움직임을 캡처하지 못하도록 서로 너무 근접할 수 있다. 따라서, 시스템은 전체 시퀀스 전체에 걸쳐 그리고/또는 개별 프레임들에 걸쳐를 포함하여, 패턴이 얼마나 많이 움직여야 하는지에 대한 최소 임계값으로 설정하도록 구성될 수 있다.
일부 실시예들에서, 시스템은 이미지들의 시퀀스 동안 이미지들 내의 투사된 패턴의 겉보기 모션의 최소량을 설정할 수 있는 시퀀스 모션 제약을 결정할 수 있으며, 따라서 이미지들은 서로로부터 충분히 상이하여 양호한 깊이 추출을 위해 시퀀스에서 충분한 정보를 제공할 것이다. 위에서 논의된 바와 같이, 일부 실시예들에서 프로젝터는 패턴을 움직여 그것이 동일한 배향을 유지하게 한다(예를 들어, 패턴이 렌즈의 초점면 내에 남아 있고, 시야로 투사된 2mm 직경 원에서 움직이도록). 일부 실시예들에서, 시퀀스 모션은 초당 모터 회전수에 관하여 표현될 수 있다(예를 들어, 패턴은 "X" rps로 원형 호에서 움직인다). 일부 실시예들에서, 시퀀스 모션은 패턴이 전체 이미지 시퀀스에 걸쳐 전체적으로 움직이는 특정 수의 픽셀들에 관하여 표현될 수 있다. 예를 들어, 패턴이 특징적 공간 주파수에 따라 매끄럽게 달라지는 방식으로 투사되기 때문에, 시스템은 이미지 픽셀들의 평균 변화가 재구성 프로세스에 유용한 새로운 정보에 기여하고, 전체 이미지 시퀀스에 걸쳐 해당 움직임을 추론하기에 충분할 정도로 이미지 내의 패턴의 움직임의 특정 수의 픽셀들이 필요하다고 결정할 수 있다. 예를 들어, 흑색으로부터 백색으로 이동하는 데 열(10)개의 픽셀이 필요하다면, 다음 이미지가 재구성에 추가하기에 충분한 새로운 정보를 갖기에 충분할 정도로 패턴을 변경하기 위해서는, 더 적은, 아마도 다섯(5)개 가량의 픽셀이 필요할 수 있다. 이 수는 전체 시퀀스에 걸친 움직임의 양을 특정하기 위해 추론될 수 있다.
일부 실시예들에서, 제약들은 단일 노출의 시간 동안 너무 멀리 움직이지 않도록 패턴을 제어할 수 있다(예를 들어, 너무 많은 움직임은 블러를 생성할 수 있고, 따라서 이미지들의 패턴들이 시퀀스에 걸쳐 구별불가능하게 되기 시작할 수 있기 때문에). 예를 들어, 시스템은 임의의 단일 이미지에서 과도한 블러를 피하기 위해 노출 동안 원하는 모션의 양을 설정할 수 있는 프레임 노출 비율(FER) 제약을 결정할 수 있다. 예를 들어, FER은 노출 시간에 대한 프레임 기간의 최소 비율을 특정할 수 있다. FER은 또한 범위들 및/또는 최소 및 최대 값을 사용하여 특정될 수 있다. 예를 들어, FER은 최소 값, 디폴트 값, 및 최대 값으로 설정될 수 있다. 일부 실시예들에서, FER 제약은 모션의 최대량을 설정한다. 일부 실시예들에서, FER 제약은, 시스템이 노출 동안 모션의 백분율보다 더 많은 것이 발생할 것을 원하지 않는다는 것을 특정하기 위해, 프레임에 필요한 모션의 계산된 최소량에 기초하여 결정될 수 있다.
일부 실시예들에서, 시스템은 FER 제약을 이용하여 판독 시간을 결정할 수 있다. 예를 들어, 2의 FER은 각각의 프레임의 판독 시간이 노출 시간의 길이의 2배의 최소인 것으로 특정할 수 있다. 시스템이 FER을 준수할 필요가 없었다면, 시스템은 노출 시간 및 판독 시간에 의해서만 제한되는 프레임 레이트로 실행된다. 일부 실시예들에서, FER은 판독 시간에 의해 허용되는 것과 달리 비교되는 것보다 프레임 시간을 연장하도록 시스템을 구성한다. 예를 들어, 4ms 판독 시간 및 1ms 노출 시간과 함께, 해당 구성에서의 시스템은 2의 FER을 충족시킨다. 사용자가 노출 시간을 올리기 시작할 때(예를 들어, 더 밝은 이미지를 획득하기 위해), 시스템은 2ms까지 노출 시간을 올리고도 여전히 4ms의 동일한 판독 시간을 갖고 2의 FER을 충족시킬 수 있다. 일단 시스템이 2ms를 초과하도록 노출 시간을 설정하면, 시스템은 또한 2.0의 FER을 유지하기 위해 프레임 시간도 증가시키도록 구성될 수 있다. 예를 들어, 시스템이 양호한 노출을 위해 노출 시간을 3ms로 설정하면, 2.0의 FER을 충족시키기 위해 시스템은 또한 최소 프레임 시간을 6ms(즉, 3ms의 노출 시간의 두(2)배)로 설정할 수 있다. 시스템이 4ms로 데이터를 판독할 수 있고 따라서 3ms의 노출 시간을 유지할 수 있더라도, FER은 시스템으로 하여금 일부 여분의 유휴 시간을 추가하고 매 6ms마다 하나의 프레임만을 취득하게 할 수 있다.
일부 실시예들에서, 프로젝터의 속도는 블러를 제어하도록 조정될 수 있다. 위에서 논의된 바와 같이, 프로젝터는 특정 범위의 모터 속도들을 가질 수 있고, 따라서 시스템은 범위 내에서 모터 속도를 설정하고 매끄러운 패턴 모션을 달성할 수 있다(예를 들어, 모터가 범위 밖의 속도들에서 패턴을 매끄럽게 움직이지 못할 수 있는 경우). 시스템은 이미저 설정들을 조정할 때 모터 속도를 고려할 수 있고, 및/또는 그 반대도 가능하다. 예를 들어, 매우 빠른 프레임 시간들(예를 들어, 시스템이 이미지의 중심 부분만을 처리할 수 있고, 따라서 취득된 데이터의 1/4과 같은 감소된 양의 데이터만을 판독할 수 있는 경우)에 대해, 시스템은 시스템이 빠른 프레임 시간 내에 필요한 패턴 모션 거리를 취득하도록 충분히 빠르게 패턴을 움직이기 위해 모터 속도를 증가시킬 수 있다. 프레임 속도가 증가함에 따라, 시스템은 프레임 시간이 너무 높게 증가하는 것을 방지하기 위해 모터 속도에 대한 제한들을 사용할 수 있다(예를 들어, 특정 프레임 시간에 대해, 모터가 충분히 빠르게 움직이지 못하고도 여전히 패턴의 매끄러운 움직임을 제공할 수 있도록).
따라서, 본 명세서에서 논의된 바와 같이, 이미저 파라미터들 및/또는 프로젝터 파라미터들을 포함하는 시스템 파라미터들에 제약들이 가해질 수 있다. 시스템은 시스템의 하나 이상의 동작 파라미터들을 선택하기 위해, 예를 들어, 특정 이미지 품질들을 제공하기 위해, 투사된 마스크 패턴을 제어하기 위해, 및/또는 등등을 위해 결정된 제약들(예를 들어, 시퀀스 모션 및/또는 프레임 노출 비율 제약들)을 사용할 수 있다. 일부 실시예들에서, 제약들은 시스템으로 하여금 시스템에서 사용하기 위해 달리 허용될 수 있는 특정 파라미터(들)를 감소시키게 할 수 있다. 예를 들어, 시스템은 센서 제한들에 의해 결정된 최소 프레임 시간보다 긴 프레임 시간과 같은, 센서(들)에 대한 프레임 시간을 선택할 수 있다. 예를 들어, FER 제약은 이미지들 내에서 그리고/또는 이미지들에 걸쳐 패턴의 블러를 균형잡기 위한 카메라 설정들을 결정하기 위해 사용될 수 있다. 다른 예로서, 시스템은 최대 모터 속도를 사용하지 않더라도 프로젝터의 기계적 시스템의 유효 동작 범위 내에 있는 모터(예를 들어, 도 2의 모터(208))에 대한 모터 속도를 선택할 수 있다. 예를 들어, 시스템이 노출 시간을 증가시키고 있는 경우, 이미지들의 시퀀스에 걸쳐 특정 양의 패턴 모션을 유지하기 위해, 시스템은 모터 속도를 감소시켜 패턴을 더 느리게 움직일 수 있다(예를 들어, 패턴은 블러를 감소시키기 위해 더 긴 노출 시간 동안 덜 움직인다).
단계 654를 참조하면, 정상 동작 동안 센서들 각각은 단일 3D 이미지들을 생성하기 위해 사용되는 위에서 논의된 바와 같은 이미지들의 시퀀스(예를 들어, 12개 내지 48개의 이미지)를 취득한다. 이들 이미지를 캡처할 때, 프로젝터 내의 LED 조명기는 슬라이드(206)로부터 장면 상으로 패턴을 투사하기 위해 턴온된다. LED들이 열적 고려사항들을 생성하기 때문에, 일부 실시예들에서, 시스템은 하나 이상의 열적 제약의 세트와 대조하여 단계 652에서 결정된 동작 파라미터들의 세트를 체크할 수 있다. 본 명세서에서 논의되는 바와 같이, 조명기의 동작 파라미터들은 최대 전력, 최대 연속 전력, 피크 전력에서의 최대 평균 전력, 및/또는 최대 전력 지속기간과 같은 다양한 파라미터들을 포함할 수 있다. 일부 실시예들에서, LED 조명기의 동작 파라미터들은 사용자 조정가능하지 않다. 예를 들어, LED 조명기 파라미터들은 제조 프로세스에서 조정될 수 있지만(예를 들어, 이들이 너무 느슨하거나 너무 제한적이라고 결정된다면), 일단 배치되면 달리 조정가능하지 않다. 단계 652와 관련하여 본 명세서에서 논의된 바와 같이, 시스템은 사용자로 하여금 노출 시간 및/또는 LED 밝기 설정(예를 들어, 효과적으로 사용할 최대 전력의 백분율임)과 같은 이미저의 특정 파라미터들을 제어하는 것을 허용할 수 있다. 단계 654에서, 시스템은 전력 제약들 중 임의의 것이 사용자의 원하는 설정들에 기초하여 위반될 것인지(예를 들어, 시스템이 사용자의 원하는 프레임 레이트에서 시퀀스들의 연속적인 스트림을 행하는지)를 결정한다. 방법은 그에 따라 단계 656 또는 658로 진행하고, 이에 대해서는 본 명세서에서 더 논의된다.
일부 실시예들에서, 상이한 시스템 컴포넌트들에 대해 상이한 열적 고려사항들이 존재할 수 있다. 예를 들어, LED 조명기는 150 C 동작 온도들을 견딜 수 있지만, 그러한 온도에서 동작하는 것은 이미지 센서들이 고장나게 할 수 있고(예를 들어, 이미지 센서들이 단지 60-70 C까지만 동작할 수 있기 때문에), 그리고/또는 특정 응용들에 대해서는 안전하지 않을 수 있는데, 그 이유는 누군가가 이미징 박스를 터치하기에는 박스가 너무 뜨거워질 수 있기 때문이다. 일부 실시예들에서, 낮은 장기간 전력 제약과 같은 장기간 제약이 설정될 수 있다. 예를 들어, 특정 설정들에 대해 LED 조명기는 문제 없이 동작할 수 있지만, LED 조명기는 너무 긴 기간 동안(예를 들어, 1초 이상의 직선 조명에 대해) 온인 채로 남겨진다면 타버릴 수 있다.
일부 실시예들에서, 시스템은 단계 654를 실행할 때 다른 시스템 파라미터들을 체크할 수 있다. 예를 들어, 시스템은 사용자가 단계 654-658에 영향을 미칠 수 있는 동작 선호도를 특정하게 할 수 있다. 일부 실시예들에서, 사용자는, 사용자가 높은 프레임 레이트를 이용하여 이미지들의 시퀀스를 취득하기를 선호하는지(예를 들어, 원하는 만큼 높은 프레임 레이트로, 그리고 따라서 시퀀스를 가능한 빨리 캡처하기 위해), 또는 사용자가 프레임 레이트를 느리게 하는 것을 잘 받아들이는지를 특정할 수 있는, 취득 타이밍을 구성할 수 있다. 일부 실시예들에서, 사용자의 선호도들은 시스템이 LED 조명기에 의해 야기되는 임의의 인지가능한 플래시를 갖는지에 영향을 미칠 수 있다. 예를 들어, 취득 타이밍은 개별 이미지 시퀀스들을 가능한 빨리 캡처하기 위해 낮은 레이턴시 설정으로 설정될 수 있다. 일부 실시예들에서, 단계 658과 관련하여 논의된 바와 같이 열적 한도를 시행하기 위해 필요한 임의의 여분의 시간이 시퀀스의 끝에 추가될 수 있고, 이는 빠른 시퀀스 취득을 허용할 수 있지만, 아래에 논의된 바와 같이, 시퀀스 취득 사이에 인지가능한 정지를 야기할 수 있다. 다른 예로서, 취득 타이밍은 조명의 임의의 사용자 인지가능 플래싱을 피하기 위해 플래시 금지 설정으로 설정될 수 있다. 일부 실시예들에서, 본 명세서에서 더 논의되는 바와 같이 다른 파라미터들이 조정될 수 있고, 예를 들어, 이는 시퀀스 취득 시간을 느리게 할 수 있지만 열적 제약들을 준수할 수 있다.
단계 654를 더 참조하면, 시스템은 캘리브레이션 단계를 수행할 수 있다. 예를 들어, 캘리브레이션 동안 센서들은 조명 없이 이미지들을 취득하도록 구성될 수 있다(예를 들어, "오프" 상태의 프로젝터의 LED 조명기로). 그러한 캘리브레이션 이미지들에 대해, 시스템은, LED 조명기가 "오프"이기 때문에 단계 654에서 논의된 바와 같이 열적 제약들을 체크할 필요가 없다. 예를 들어, 프레임 시간은 열적 제약들의 고려 없이, 센서 하드웨어 제한들에 의해 설정된 최소치일 수 있다. 시스템은, 예를 들어, 센서 상의 2D 좌표로부터 시스템의 측정 용적 내의 3D 물리 좌표로 변환을 생성하기 위해 캘리브레이션 단계를 수행할 수 있다.
단계 666을 참조하면, 일부 실시예들에서 단계 654에서 시스템은 결정된 프레임 레이트에서의 시퀀스들 중 어느 것도 열적 제약을 위반하지 않을 것이라고 결정할 수 있고, 따라서 단계 666에서 시스템은 동작 파라미터를 유지한다. 일부 실시예들에서, 개별 이미지 시퀀스들은 열적 제약들을 위반하지 않을 수 있지만, 시간 경과에 따라 시퀀스들은 시스템에 손상을 야기할 수 있다. 예를 들어, LED 조명기(예를 들어, 팬 냉각식 히트싱크가 없는 LED 조명기)에 따라, LED 조명기가 50% 전력으로 그리고 50% 프레임 시간 동안 온이면, LED 조명기는 즉시 과열되지 않을 수 있지만, 시간 경과에 따라 설정들은 결국 시스템의 과열을 야기할 수 있다. 일부 실시예들에서, 시스템은 예컨대 장기간 과열로부터 시스템을 보호하기 위해 동작 파라미터들이 조정될 필요가 있는지를 결정한다.
일부 실시예들에서, 시스템이 파라미터들을 조정할 필요가 있는 경우에 시스템은 사용자 구성가능 파라미터들을 고려할 수 있다. 예를 들어, 본 명세서에서 논의된 바와 같이, 시스템은 취득 타이밍이 낮은 레이턴시 설정으로 설정되는 것으로 결정할 수 있고, 따라서 사용자는 개별 시퀀스들을 가능한 빨리 취득하기를 선호한다. 시스템은 프레임 레이트를 변경되지 않은 채로 유지할 수 있고, 다음 시퀀스가 트리거될 수 있기 전에 각각의 시퀀스의 끝에서 LED 조명기가 "오프" 될 수 있는 여분의 기간을 추가할 수 있다. 본 명세서에서 논의된 바와 같이, 시퀀스 캡처들 사이에 추가적인 지연을 추가하는 것은 연속적인 시퀀스들을 취득할 때 조명기의 인지가능한 플래싱을 야기할 수 있다. 일부 실시예들에서, 추가적인 지연의 이점은 시퀀스 캡처들 사이의 지연보다 클 수 있다(예를 들어, 인지가능한 플래싱을 포함함). 빠른 시퀀스 취득은, 예를 들어, 산업 상황들에서 바람직할 수 있다. 예를 들어, 로봇이 부품을 움직이면, 가능한 빨리 그 움직인 부품에 관한 정보를 획득하는 것이 바람직할 수 있다. 시퀀스 취득 사이의 지연이 있을 수 있지만, 그러한 지연은 무시할 수 있는데, 그 이유는 일단 3D 계산이 이루어지면, 로봇이 다음 계산을 수행하기 위해 이동하는 데 시간이 걸릴 수 있기 때문이다. 따라서, 그러한 고속 시퀀스 취득은 시스템이 3D 계산들을, 계산들 사이의 지연과 함께, 가능한 빠르게 수행하게 할 수 있다.
단계 658을 참조하면, 이미지 시퀀스가 열적 제약들을 위반할 경우, 컴퓨팅 디바이스는 열적 제약들의 세트를 준수하기 위해 동작 파라미터들의 세트 내의 동작 파라미터들 중 하나 이상을 조정한다(예를 들어, 단지 단일 이미지 시퀀스만이 열적 제약들을 위반하는 경우를 포함함). 일부 실시예들에서, 시스템은 사용자 구성가능 파라미터들을 고려함으로써 동작 파라미터들 중 하나 이상을 조정하기로 결정할 수 있다. 예를 들어, 본 명세서에서 논의된 바와 같이, 시스템은 취득 타이밍이 플래시 금지 설정으로 설정되어 있다고 결정할 수 있다. 일부 실시예들에서, 시스템은, 예를 들어, 동작 파라미터들을 조정하기 위해 프레임 시간을 증가시킬 수 있다. 일부 실시예들에서, 시스템은 시퀀스 모션 제약을 유지하기 위해, 필요에 따라, 회전자 속도를 감소시킬 수 있다. 프레임 시간 및/또는 회전자 속도를 포함하는 동작 파라미터들을 조정하는 것은 단계 656과 대체로 동일한 시퀀스 사이클 레이트를 달성할 수 있지만, 일련의 이미지들의 취득의 트리거로부터 시퀀스의 취득의 완료까지 레이턴시가 더 길 수 있다. 일부 실시예들에서, 시스템은 프레임 레이트로 LED 조명기를 펄스화할 수 있고, 이는 LED 조명기의 인지가능한 플래싱을 피할 정도로 충분히 높을 수 있다. 동작 파라미터들의 그러한 수정들은 사용자가 시스템 조명을 인지할 응용들에 대해 유익할 수 있다. 예를 들어, 그러한 수정들은 사람들이 이미징에 노출될 의료 응용들 및/또는 산업 응용들에 대해서와 같이, 사람들을 수반하는 이미징에 적합할 수 있다(예를 들어, 그렇지 않으면 지속적으로 인지가능한 플래싱을 피하기 위해 시라우딩(shrouding)을 요구할 수 있다). 예를 들어, 시스템이 4ms마다 1ms 동안 플래시하도록 구성되는 경우, 그러한 구성은 인간의 눈에 의해 일정한 밝기로서 인지될 것인 반면, 50ms 동안의 일정한 강한 조명과 후속하는 150ms의 오프 기간은 강한 5Hz 플래싱으로서 인지될 것이다.
일부 실시예들에서, 프레임 시간은 파라미터들을 조정하기 위해 연장될 수 있다. 시스템은 파라미터들을 어떻게 조정할지를 결정하기 위해 특정 프로젝터 설정들에 기초하여 시퀀스의 노출 시간을 분석할 수 있다. 예를 들어, 시스템은 LED 조명기 설정과 이미지 시퀀스에 필요한 노출 시간의 총량의 곱이 최대 피크 지속기간과 최대 전력의 곱보다 큰지를 결정할 수 있다. 더 크다면, 시스템은 시퀀스 동안 열적 한도가 초과될 수 있다고 결정할 수 있다. 시스템은 프레임 시간을 연장함으로써 프레임마다 평균 열적 한도를 시행할 수 있다.
일부 실시예들에서, 파라미터들은 3D 비전 시스템의 적용에 따라 조정될 수 있다. 일부 실시예들에서, 파라미터들은 초당 취득될 수 있는 최상의 품질 이미지들의 최대 수를 보장하도록 조정될 수 있다. 예를 들어, 이것은 로봇 가이던스 또는 고속 머신 배치를 위해 바람직할 수 있다. 일부 실시예들에서, 특정 품질(예를 들어, 반드시 최상의 달성가능한 품질일 필요는 없음)을 갖는 초당 특정 수의 이미지들을 획득하는 것이 바람직할 수 있다. 예를 들어, 의료용 이미징 응용을 위한 특정 수의 이미지를 취득하는 것이 바람직할 수 있다.
다시 단계 606을 참조하면, 일부 실시예들에서 이 기법들은 재구성된 3D 데이터에 기초하여 경험적으로 파라미터들을 조정할 수 있다. 예를 들어, 기법들은 3D 재구성 정확도를 측정함으로써 경험적으로 최적 파라미터들(예를 들어, 노출 시간, 프레임 시간, 등등)을 결정할 수 있다. 예를 들어, 시스템은 사용자가 이미저의 프레임 시간 및 프로젝터가 장면 위에서 패턴을 움직이는 속도를 조정할 수 있도록 구성될 수 있다. 시스템은 프레임 시간을 최소화하는 모션 속도를 결정함으로써 프로젝터 파라미터들 및/또는 이미징 파라미터들의 세트를 결정할 수 있다. 일부 실시예들에서, 시스템은 하나 이상의 이미지 센서의 시야를 판독하는 데 필요한 최소 시간에 기초하여 프레임 시간을 조정할 수 있다. 일부 실시예들에서, 시스템은 최소 프레임 간 거리와 최대 모터 속도의 조합에 기초하여 프레임 시간을 조정할 수 있다. 예를 들어, 시스템은 시스템에 의해 달리 사용될 것보다 더 긴 프레임 시간으로 프레임 시간을 조정할 수 있다. 일부 실시예들에서, 시스템은 LED 조명기의 최대 노출에서 노출 시간에 기초하여 프레임 시간을 조정할 수 있다. 예를 들어, 시스템은 모터 속도를 감소시키고 프레임 시간을 시스템에 의해 달리 사용될 것보다 더 길게 증가시킬 수 있다(예를 들어, 감소된 모터 속도에 대해 조정하기 위해). 일부 실시예들에서, 시스템은 이미지 센서들의 노출 시간 및 조명 파라미터들의 세트(예를 들어, 본 명세서에서 논의되는 LED 조명기의 파라미터들)에 기초하여 프레임 시간을 조정할 수 있다.
일부 실시예들에서, 시스템은, 단일 트리거 이벤트에 의해 상이한 취득 파라미터들이 명령되도록 하여, 다수의 순차적 취득 시퀀스(예를 들어, 2개 이상)를 허용하도록 구성될 수 있다. 예를 들어, HDR(High Dynamic Range)이미징을 허용하기 위해 순차적 시퀀스들에 대해 상이한 파라미터들을 특정하는 것이 바람직할 수 있다. 일부 실시예들에서, 시스템은 시퀀스들을 독립적으로 최적화하도록 구성될 수 있다. 예를 들어, 각각의 시퀀스는 상이한 모터 속도들로 구성될 수 있다. 일부 실시예들에서, 순차적 이미지 시퀀스들에 대한 상이한 모터 속도들은 모터가 속도를 변경하는 동안 시퀀스들 간의 짧은 정지를 야기할 수 있다. 일부 실시예들에서, 시스템은 수용 가능한 이미지들을 제공하는 양쪽 시퀀스들에 대해 동일한 모터 속도를 결정하도록 구성될 수 있다. 일부 실시예들에서, 동일한 모터 속도를 이용하는 것은 시퀀스들 사이의 정지를 피할 수 있다.
일부 실시예들에서, 시스템은 일반적인 설정이 조정될 수 있도록 구성될 수 있으며, 이는 결국 제약들의 세트(예를 들어, 프로젝터 및/또는 카메라 둘 다의 제약들)를 조정한다. 예를 들어, 단일 설정은 노출 시간 및 LED 조명기 전력 둘 다를 조정하여 통합된 노출을 제공할 수 있다. 일부 실시예들에서, 설정은 사용자에 의해 조정될 수 있다. 일부 실시예들에서, 설정은 자동 노출 제어 알고리즘(예를 들어, 원하는 이미지 그레이 스케일 응답을 제공하도록 설계됨)에 의해 조정될 수 있다.
따라서, 단계 654-658을 일반적으로 참조하면, 시스템은 동작 파라미터들을 조정하거나 조정하지 않을 수 있다. 예를 들어, 시스템이 모터 및/또는 프레임 시간 파라미터들이 열적 한도를 위반하지 않고 연속적인 시스템 동작을 허용할 것이라고 결정하면, 시스템은 구성된 바와 같이(예를 들어, 최대 프레임 레이트로) 연속적으로 실행될 수 있다. 다른 예로서, 시스템이 열적 한도들이 그 레이트에서 단일 이미지 시퀀스조차도 취득하는 것을 막는다고 결정하면, 시스템은 프레임 시간을 증가시켜야 한다. 추가 예로서, 시스템이 열적 한도들이 구성된 레이트로 단일 시퀀스를 허용할 것이지만, 열적 한도들이 연속적인 동작으로 위반될 것이라고 결정하면, 시스템은 동작 파라미터들을 조정할 수 있다(예를 들어, 프레임 시간을 증가시킬지(예를 들어, 인지가능한 플래시가 없도록), 또는 프레임 시간을 조정되지 않은 채로 남겨두고, 또한 본 명세서에서 더 논의되는 바와 같이, (예를 들어, 낮은 레이턴시에 대해) 시퀀스들 사이에서 조명기 오프 시간을 추가할지에 관한 사용자 특정 설정들에 따라).
2개의 예시적인 비제한적인 예가 아래에 제공된다. 예들은 결정된 프레임 시간 및 시퀀스 시간을 제공하며, 이는 시스템이 프레임 카운트(예를 들어, 각각의 시퀀스에 대해 취득된 프레임들의 수), 원시 LED 밝기, 노출 시간, 및 취득 모드(이 예에서는, 본 명세서에서 논의되는 낮은 레이턴시)에 대해 특정된 파라미터들에 기초하여 결정한다.
예 1:
프레임 카운트 = 24
LED 원시 밝기 = 255(최대 전력의 100%)
노출 시간 = 1msec
취득 모드 = 낮은 레이턴시
팬이 존재하지 않음
프레임 시간 = 3.6msec(판독 레이트에 의해 제한됨)
시퀀스 동안의 평균 전력은 대략 27W이다(96W*28% 듀티 사이클, 여기서 듀티 사이클은 1msec 온, 2.6msec 오프이다). 12W 팬이 없는 연속 전력 제한을 충족시키기 위해, 각각의 시퀀스의 끝에서 추가의 조명기 오프 시간이 요구된다.
시퀀스 시간 = 213msec(시퀀스 캡처를 수행하기 위한 트리거로부터 시퀀스 캡처를 완료하기까지의 88msec 레이턴시, 및 다음 트리거가 수락될 수 있을 때까지의 125msec 조명기 오프 시간).
예 2:
프레임 카운트 = 24
LED 원시 밝기 = 255(최대 전력의 100%)
노출 시간 = 1msec
취득 모드 = 플래시 금지
팬이 존재하지 않음
이 경우 LED 듀티 사이클이 시퀀스 동안 12%로 떨어지도록 프레임 시간이 연장된다. 이것은 12% 열적 한도에서 연속 동작을 허용한다.
프레임 시간 = 8.8msec
시퀀스 시간 = 211msec(8.8msec 프레임 시간*24개 프레임)
도 7 내지 도 9는 각각 이미지 쌍들(700 및 750, 800 및 850, 및 900 및 950)의 예들을 도시한다. 이미지들(700, 800 및 900)은 제1 카메라에 의해 연속적으로 취득된 이미지들이고, 이미지들(750, 850 및 950)은 제2 카메라에 의해 동일한 장면 및 패턴의 연속적으로 취득된 이미지들이다. 일반적인 문제로서, 이들 이미지 시퀀스는 제1 카메라에 의해 캡처된 패턴과 제2 카메라에 의해 캡처된 패턴 사이의 일부 공간 시프트를 도시하고, 또한 이미지 쌍들에 걸친 시간 경과에 따른 패턴의 움직임을 나타낸다. 특히, 제1 카메라에 의해 캡처된 이미지들(700, 800 및 900)은 이미지들에서 물체(706)를 따라 수직으로 이어지는, 물체(706)의 제1 및 제2 윤곽들(702 및 704)의 제1 관점을 나타낸다. 제2 카메라에 의해 캡처된 이미지(750, 850 및 950)는 제1 및 제2 윤곽들(702 및 704)의 상이한 공간적 관점을 나타낸다. 예를 들어, 이미지 쌍들을 비교할 때, 이미지들 내의 760으로 지시된 패턴의 원형 부분은 이미지들(700, 800 및 900)에서는 윤곽(702) 쪽으로 더 향해 있어, 이미지들(750, 850 및 950)에서 윤곽(704) 쪽으로 더 향해 있는 것과 비교된다(예를 들어, 윤곽들(702, 704)은 페이지로부터 "바깥쪽으로 " 돌출하는 수직 컴포넌트를 포함하기 때문에, 제1 카메라는 좌측 밴티지 포인트로부터 물체(706)를 보고 있는 반면 제2 카메라는 우측 밴티지 포인트로부터 물체(706)를 보고 있다). 또한, 이미지 시퀀스들을 비교할 때, 패턴은 도 7, 도 8 및 도 9 각각에서 이미지 쌍들에 의해 캡처된 각각의 시간 순간에 패턴의 작은 시프트로 볼 수 있는 바와 같이, 우측에서 좌측으로 이미지 쌍들에 걸쳐 시간 경과에 따라 움직인다(예를 들어, 부분(760)은 이미지(700)에서 윤곽(702)을 오버레이하는 것처럼 보이지 않는 반면, 이미지(900)에서 윤곽(702)을 오버레이하는 것처럼 보인다).
본 명세서에 설명된 원리들에 따라 동작하는 기법들은 임의의 적합한 방식으로 구현될 수 있다. 위 흐름도들의 처리 및 결정 블록들은 이들 다양한 프로세스들을 수행하는 알고리즘들에 포함될 수 있는 단계들 및 동작들을 나타낸다. 이들 프로세스들부터 도출된 알고리즘들은 하나 이상의 단일 또는 다목적 프로세서들과 통합되어 이들의 동작을 지시하는 소프트웨어로서 구현될 수 있고, DSP(Digital Signal Processing) 회로 또는 ASIC(Application-Specific Integrated Circuit)와 같은 기능적으로 등가인 회로들로서 구현될 수 있거나, 또는 임의의 다른 적합한 방식으로 구현될 수 있다. 본 명세서에 포함된 흐름도들은 임의의 특정한 회로의 또는 임의의 특정한 프로그래밍 언어의 구문 또는 동작 또는 프로그래밍 언어의 타입을 묘사하지 않는다는 점이 인정되어야 한다. 오히려, 흐름도들은 본 기술분야의 통상의 기술자가 본 명세서에 설명된 기법들의 타입들을 수행하는 특정 장치의 처리를 수행하기 위해 회로들을 제조하거나 컴퓨터 소프트웨어 알고리즘들을 구현하기 위해 사용할 수 있는 기능 정보를 예시하고 있다. 본 명세서에서 달리 지시되지 않는 한, 각각의 흐름도에서 설명된 단계들 및/또는 동작들의 특정 시퀀스는 구현될 수 있고 본 명세서에 설명된 원리들의 구현들 및 실시예들에서 달라질 수 있는 알고리즘들의 예시하는 것에 불과하다는 점도 인정되어야 한다.
따라서, 일부 실시예들에서, 본 명세서에 설명된 기법들은 애플리케이션 소프트웨어, 시스템 소프트웨어, 펌웨어, 미들웨어, 임베디드 코드, 또는 임의의 다른 적합한 타입의 컴퓨터 코드로서 구현되는 것을 포함하여 소프트웨어로서 구현되는 컴퓨터 실행가능 명령어들로 구현될 수 있다. 그러한 컴퓨터 실행가능 명령어들은 다수의 적합한 프로그래밍 언어들 및/또는 프로그래밍 또는 스크립팅 툴들 중 임의의 것을 이용하여 작성될 수 있고, 또한 프레임워크 또는 가상 머신 상에서 실행되는 실행가능 기계어 코드 또는 중간 코드로서 컴파일될 수 있다.
본 명세서에 설명된 기법들이 컴퓨터 실행가능 명령어들로서 구현될 때, 이들 컴퓨터 실행가능 명령어들은, 각각이 이들 기법에 따라 동작하는 알고리즘들의 실행을 완성하기 위해 하나 이상의 동작을 제공하는 다수의 기능 설비로서 구현되는 것을 포함하여 임의의 적합한 방식으로 구현될 수 있다. 그러나 인스턴스화된 "기능 설비(functional facility)"는, 하나 이상의 컴퓨터와 통합되어 그에 의해 실행될 때, 하나 이상의 컴퓨터로 하여금 특정 동작 역할을 수행하게 하는 컴퓨터 시스템의 구조적 컴포넌트이다. 기능 설비는 전체 소프트웨어 요소 또는 그의 일부분일 수 있다. 예를 들어, 기능 설비는 프로세스의 함수로서, 또는 개별 프로세스로서, 또는 임의의 다른 적합한 처리의 유닛으로서 구현될 수 있다. 본 명세서에 설명된 기법들이 다수의 기능 설비로서 구현되는 경우, 각각의 기능 설비는 그 자신의 방식으로 구현될 수 있다; 모두가 동일한 방식으로 구현될 필요는 없다. 또한, 이들 기능 설비는 병렬로 그리고/또는 직렬로 적절하게 실행될 수 있고, 그들이 실행하고 있는 컴퓨터(들) 상의 공유 메모리를 사용하여, 메시지 전달 프로토콜을 사용하여, 또는 임의의 다른 적합한 방식으로 서로 간에 정보를 전달할 수 있다.
일반적으로, 기능 설비는 특정 작업을 수행하거나 특정 추상 데이터 타입들을 구현하는 루틴, 프로그램, 물체, 컴포넌트, 데이터 구조 등을 포함한다. 전형적으로, 기능 설비들의 기능성은 그들이 동작하는 시스템들에서 원하는 대로 조합 또는 분산될 수 있다. 일부 구현들에서, 본 명세서의 기법들을 수행하는 하나 이상의 기능 설비는 함께 완전한 소프트웨어 패키지를 형성할 수 있다. 대안적인 실시예들에서, 이들 기능 설비는 소프트웨어 프로그램 애플리케이션을 구현하기 위해 다른 관련되지 않은 기능 설비들 및/또는 프로세스들과 상호작용하도록 적응될 수 있다.
하나 이상의 작업을 수행하기 위한 일부 예시적인 기능 설비들이 본 명세서에 설명되었다. 그러나, 설명된 작업들의 기능 설비들 및 분할은 본 명세서에 설명된 예시적인 기법들을 구현할 수 있는 기능 설비들의 타입을 예시하는 것에 불과하고, 실시예들은 임의의 특정 수, 분할, 또는 타입의 기능 설비들로 구현되는 것으로 제한되지 않는다는 점이 인정되어야 한다. 일부 구현들에서, 모든 기능성은 단일 기능 설비에서 구현될 수 있다. 일부 구현들에서, 본 명세서에 설명된 기능 설비들 중 일부는 다른 것들과 함께 또는 다른 것들과 별개로 구현될 수 있거나(즉, 단일 유닛 또는 별개 유닛들로서), 또는 이들 기능 설비의 일부는 구현되지 않을 수 있다는 점도 인정되어야 한다.
본 명세서에 설명된 기술들을 구현하는 컴퓨터 실행가능 명령어들은(하나 이상의 기능 설비로서 또는 임의의 다른 방식으로 구현될 때), 일부 실시예들에서, 하나 이상의 컴퓨터 판독가능 매체 상에 인코딩되어 매체에 기능성을 제공할 수 있다. 컴퓨터 판독가능 매체는 하드 디스크 드라이브와 같은 자기 매체, CD(Compact Disk) 또는 DVD(Digital Versatile Disk)와 같은 광학 매체, 영구 또는 비영구적 솔리드-스테이트 메모리(예를 들어, 플래시 메모리, 자기 RAM 등), 또는 임의의 다른 적합한 저장 매체를 포함한다. 그러한 컴퓨터 판독가능 매체는 임의의 적합한 방식으로 구현될 수 있다. 본 명세서에서 사용된, "컴퓨터 판독가능 매체"("컴퓨터 판독가능 저장 매체"라고도 불림)는 유형의 저장 매체를 지칭한다. 유형의 저장 매체는 비일시적이고 적어도 하나의 물리적, 구조적 컴포넌트를 갖는다. 본 명세서에서 사용된, "컴퓨터 판독가능 매체"에서, 적어도 하나의 물리적, 구조적 컴포넌트는 내장된 정보를 갖는 매체를 생성하는 프로세스, 그 위에 정보를 기록하는 프로세스, 또는 정보로 매체를 인코딩하는 임의의 다른 프로세스 동안에 일부 방식으로 변경될 수 있는 적어도 하나의 물리적 속성을 갖는다. 예를 들어, 기록 프로세스 동안 컴퓨터 판독가능 매체의 물리적 구조의 일부분의 자화 상태가 변경될 수 있다.
또한, 위에 설명된 일부 기법들은 이들 기법에 의한 사용을 위해 특정 방식들로 정보(예를 들어, 데이터 및/또는 명령어들)를 저장하는 동작들을 포함한다. 이들 기법들의 일부 구현들―예컨대 기법들이 컴퓨터 실행가능 명령어들로서 구현되는 구현들―에서 정보는 컴퓨터 판독가능 저장 매체 상에 인코딩될 수 있다. 이 정보를 저장하기 위한 유리한 포맷으로서 특정 구조들이 본 명세서에 설명되는 경우, 이들 구조는 저장 매체 상에 인코딩될 때 정보의 물리적인 조직을 부여하기 위해 사용될 수 있다. 이들 유리한 구조는 그 후 정보와 상호작용하는 하나 이상의 프로세서의 동작들에 영향을 미치는 것에 의해 기능성을 저장 매체에 제공할 수 있다; 예를 들어, 프로세서(들)에 의해 수행되는 컴퓨터 동작들의 효율을 증가시킴으로써.
이 기법들이 컴퓨터 실행가능 명령어들로서 구현될 수 있는 전부는 아니지만 일부 구현들에서, 이들 명령어는 임의의 적합한 컴퓨터 시스템에서 동작하는 하나 이상의 적합한 컴퓨팅 디바이스(들) 상에서 실행될 수 있거나, 하나 이상의 컴퓨팅 디바이스(또는 하나 이상의 컴퓨팅 디바이스의 하나 이상의 프로세서)가 컴퓨터 실행가능 명령어들을 실행하도록 프로그래밍될 수 있다. 컴퓨팅 디바이스 또는 프로세서는 명령어들이 컴퓨팅 디바이스 또는 프로세서에 의해 액세스 가능한 방식으로, 예컨대 데이터 저장소(예를 들어, 온-칩 캐시 또는 명령어 레지스터, 버스를 통해 액세스 가능한 컴퓨터 판독가능 저장 매체, 하나 이상의 네트워크를 통해 액세스 가능하고 디바이스/프로세서에 의해 액세스 가능한 컴퓨터 판독가능 저장 매체 등)에 저장될 때 명령어들을 실행하도록 프로그래밍될 수 있다. 이들 컴퓨터 실행가능 명령어들을 포함하는 기능 설비들은 단일의 다목적 프로그램 가능한 디지털 컴퓨팅 디바이스, 처리 능력을 공유하고 본 명세서에 설명된 기법들을 공동으로 수행하는 2개 이상의 다목적 컴퓨팅 디바이스의 협력 시스템, 본 명세서에 설명된 기법들을 실행하는 데 전용되는 단일 컴퓨팅 디바이스 또는 컴퓨팅 디바이스의 협력 시스템(공동 위치 또는 지리적으로 분산됨), 본 명세서에 설명된 기법들을 수행하기 위한 하나 이상의 FPGA(Field-Programmable Gate Array), 또는 임의의 다른 적합한 시스템과 통합되고 그의 동작을 지시할 수 있다.
컴퓨팅 디바이스는 적어도 하나의 프로세서, 네트워크 어댑터, 및 컴퓨터 판독가능 저장 매체를 포함할 수 있다. 컴퓨팅 디바이스는, 예를 들어, 데스크톱 또는 랩톱 개인용 컴퓨터, PDA(personal digital assistant), 스마트 모바일 폰, 서버, 또는 임의의 다른 적합한 컴퓨팅 디바이스일 수 있다. 네트워크 어댑터는 컴퓨팅 디바이스가 임의의 적합한 컴퓨팅 네트워크를 통해 임의의 다른 적합한 컴퓨팅 디바이스와 유선 및/또는 무선으로 통신하는 것을 가능하게 하는 임의의 적합한 하드웨어 및/또는 소프트웨어일 수 있다. 컴퓨팅 네트워크는 무선 액세스 포인트들, 스위치들, 라우터들, 게이트웨이들, 및/또는 다른 네트워킹 장비뿐만 아니라 인터넷을 포함하는 2개 이상의 컴퓨터 사이에서 데이터를 교환하기 위한 임의의 적합한 유선 및/또는 무선 통신 매체 또는 매체들을 포함할 수 있다. 컴퓨터 판독가능 매체는 처리될 데이터 및/또는 프로세서에 의해 실행될 명령어들을 저장하도록 적응될 수 있다. 프로세서는 데이터의 처리 및 명령어들의 실행을 가능하게 한다. 데이터 및 명령어들은 컴퓨터 판독가능 저장 매체 상에 저장될 수 있다.
컴퓨팅 디바이스는 또한 입력 및 출력 디바이스들을 포함하는 하나 이상의 컴포넌트 및 주변기기를 가질 수 있다. 이들 디바이스는, 특히, 사용자 인터페이스를 제시하기 위해 사용될 수 있다. 사용자 인터페이스를 제공하기 위해 사용될 수 있는 출력 디바이스의 예들은 출력의 시각적 프레젠테이션을 위한 프린터 또는 디스플레이 스크린 및 출력의 가청 프레젠테이션을 위한 스피커 또는 다른 사운드 생성 디바이스를 포함한다. 사용자 인터페이스를 위해 사용될 수 있는 입력 디바이스들의 예들은 키보드들, 및 마우스들, 터치 패드들, 및 디지털화 태블릿들과 같은 포인팅 디바이스들을 포함한다. 다른 예로서, 컴퓨팅 디바이스는 음성 인식을 통해 또는 다른 가청 포맷으로 입력 정보를 수신할 수 있다.
기법들이 회로 및/또는 컴퓨터 실행가능 명령어들로 구현되는 실시예들이 설명되었다. 일부 실시예들은 적어도 하나의 예가 제공된 방법의 형태일 수 있다는 점이 인정되어야 한다. 방법의 일부로서 수행되는 동작들은 임의의 적합한 방식으로 순서화될 수 있다. 따라서, 예시적인 실시예들에서 순차적인 동작들로서 도시되더라도, 일부 동작들을 동시에 수행하는 것을 포함할 수 있는, 예시된 것과는 상이한 순서로 동작들이 수행되는 실시예들이 구성될 수 있다.
위에 설명된 실시예들의 다양한 양태들은 단독으로, 조합하여, 또는 전술한 것에서 설명된 실시예들에서 구체적으로 논의되지 않은 다양한 배열로 사용될 수도 있고, 따라서, 전술한 설명에서 제시되거나 도면에 예시된 컴포넌트들의 상세 및 배열로 그 응용이 제한되지 않는다. 예를 들어, 일 실시예에서 설명된 양태들은 다른 실시예들에서 설명된 양태들과 임의의 방식으로 조합될 수 있다.
청구항 요소를 수정하기 위해 청구항들에서 "제1", "제2", "제3" 등과 같은 서수 용어들의 사용은 그 자체로 하나의 청구항 요소의 다른 청구항 요소에 대한 임의의 우선순위, 선행, 또는 순서 또는 방법의 동작들이 수행되는 시간적 순서를 의미하지 않고, 특정 명칭을 갖는 하나의 청구항 요소를 동일 명칭(서수 용어의 사용이 없다면)을 갖는 다른 요소와 구별하여 청구항 요소들을 구별하기 위한 라벨들로서 사용되는 것에 불과하다.
또한, 본 명세서에서 사용되는 어법 및 용어는 설명을 위한 것이고 제한하는 것으로 간주되어서는 안 된다. 본 명세서에서 "포함하는(including)", "포함하는(comprising), "갖는(having), "함유하는(containing)", "수반하는(involving)" 및 그의 변형들의 사용은 그 후에 열거된 항목 및 그의 등가물뿐만 아니라 추가의 항목을 포함하도록 의도된 것이다.
"예시적인"이라는 단어는 본 명세서에서 예, 사례, 또는 예시로서 역할을 하는 것을 의미하기 위해 사용된다. 따라서, 예시적인 것으로 본 명세서에 설명되는 임의의 실시예, 구현, 프로세스, 특징 등은 예시적인 예인 것으로 이해되어야 하고, 달리 지시되지 않는 한, 선호되는 또는 유리한 예인 것으로 이해되어서는 안 된다.
이와 같이 적어도 하나의 실시예의 여러 양태들을 설명하였지만, 다양한 변경들, 수정들, 및 개선들이 본 기술분야의 통상의 기술자들에게 쉽게 떠오를 것이라는 점이 인정되어야 한다. 그러한 변경들, 수정들, 및 개선들은 본 개시내용의 일부인 것으로 의도되고, 본 명세서에 설명된 원리들의 사상 및 범위 내에 있는 것으로 의도된다. 따라서, 전술한 설명 및 도면들은 단지 예로서 제시된 것이다.

Claims (20)

  1. 이미지 취득을 위한 파라미터들을 결정하기 위한 시스템으로서, 이 시스템은:
    하나 이상의 이미지 센서 - 각각의 이미지 센서는:
    장면의 이미지들의 세트를 캡처하도록 배열되고;
    각각의 이미지 센서는 조정가능한 이미징 파라미터들의 세트를 포함함 -;
    장면 상에 움직이는 패턴을 투사하도록 구성된 프로젝터 - 상기 프로젝터는 조정가능한 프로젝터 파라미터들의 세트를 포함함 -; 및
    상기 하나 이상의 이미지 센서 및 상기 프로젝터와 통신하는 프로세서
    를 포함하고, 상기 프로세서는 상기 프로젝터와 연관된 하나 이상의 동작 또는 열적 제약의 세트에 기초하여,
    상기 프로젝터가 상기 장면 상에 상기 움직이는 패턴을 투사하도록 제어하기 위한 조정가능한 프로젝터 파라미터들의 세트, 및
    상기 하나 이상의 이미지 센서가 상기 장면 상의 상기 움직이는 패턴의 이미지들의 세트를 캡처하도록 제어하기 위한 조정가능한 이미징 파라미터들의 세트를 결정하도록 구성되고,
    상기 조정가능한 프로젝터 파라미터들의 세트 및 상기 조정가능한 이미징 파라미터들의 세트는 노이즈 임계치 미만의 상기 이미지들의 세트에 기초하여 생성된 3D 데이터에서의 노이즈 레벨을 감소시키도록 결정되고, 그렇지 않으면 상기 3D 데이터의 일부는 노이즈로 인해 하나 이상의 누락된 픽셀들을 포함하는, 시스템.
  2. 제1항에 있어서,
    상기 조정가능한 이미징 파라미터들의 세트는 상기 이미지들의 세트 내의 각각의 이미지에 대한 각각의 프레임의 지속기간을 지시하는 프레임 시간을 포함하고;
    상기 조정가능한 프로젝터 파라미터들의 세트는 상기 패턴이 상기 장면 상에서 움직이는 속도를 포함하고;
    상기 조정가능한 프로젝터 파라미터들의 세트 및 상기 조정가능한 이미징 파라미터들의 세트를 결정하는 것은 상기 프레임 시간을 최소화하는 모션 속도를 결정하는 것을 포함하는, 시스템.
  3. 제2항에 있어서, 상기 프로세서는:
    a) 상기 하나 이상의 이미지 센서의 시야를 판독하는 데 필요한 최소 시간; 또는
    b) 최소 프레임 간 거리와 최대 모터 속도의 조합; 또는
    c) 상기 프로젝터의 조명기의 최대 노출 시의 노출 시간; 또는
    d) 상기 하나 이상의 이미지 센서의 노출 시간 및 조명 파라미터들의 세트에 기초하여 상기 프레임 시간을 조정하도록 추가로 구성되는, 시스템.
  4. 제3항에 있어서, 상기 조명 파라미터들의 세트는 노출 동안의 조명기 전력, 상기 조명기의 최대 평균 전력, 최대 조명기 전력, 피크 조명기 전력이 풀 파워로 설정될 때 상기 조명기의 최대 평균 전력, 또는 이들의 일부 조합 중 하나 이상을 포함하는, 시스템.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 조정가능한 프로젝터 파라미터들의 세트 및 상기 조정가능한 이미징 파라미터들의 세트를 결정하는 것은:
    상기 조정가능한 프로젝터 파라미터들의 세트 및 상기 조정가능한 이미징 파라미터들의 세트에 대한 초기 동작 파라미터들의 세트를 결정하는 것;
    상기 초기 동작 파라미터들의 세트 내의 하나 이상의 파라미터가 상기 하나 이상의 동작 또는 열적 제약의 열적 제약을 위반하는 것으로 결정하는 것; 및
    상기 열적 제약을 준수하도록 상기 하나 이상의 파라미터를 조정하는 것을 포함하는, 시스템.
  6. 제5항에 있어서, 상기 열적 제약을 준수하도록 상기 하나 이상의 파라미터를 조정하는 것은:
    사용자 동작 선호도를 결정하는 것; 및
    상기 사용자 동작 선호도에 기초하여 상기 열적 제약을 준수하도록 상기 하나 이상의 파라미터를 조정하는 것을 포함하는, 시스템.
  7. 제6항에 있어서,
    상기 사용자 동작 선호도는 낮은 레이턴시 설정을 포함하고;
    상기 하나 이상의 파라미터를 조정하는 것은 연속적인 이미지 시퀀스들 사이에 지연을 추가하는 것을 포함하는, 시스템.
  8. 제6항에 있어서,
    상기 사용자 동작 선호도는 플래시 금지(no flash) 설정을 포함하고;
    상기 하나 이상의 파라미터를 조정하는 것은 상기 하나 이상의 이미지 센서의 프레임 시간을 증가시키는 것, 상기 패턴이 상기 장면 상에서 움직이는 속도를 감소시키기 위해 상기 프로젝터의 속도를 감소시키는 것, 또는 이들의 일부 조합을 포함하는, 시스템.
  9. 이미지 취득을 위한 파라미터들을 결정하기 위한 컴퓨터화된 방법으로서, 이 방법은 프로세서에 의해 실행되고, 상기 프로세서는:
    프로젝터와 연관된 하나 이상의 동적 또는 열적 제약의 세트를 저장하고;
    상기 하나 이상의 동적 또는 열적 제약의 세트에 기초하여:
    상기 프로세서와 통신하는 하나 이상의 이미지 센서 각각에 대한 조정가능한 이미징 파라미터들의 세트 - 각각의 이미지 센서는 장면 상의 움직이는 패턴의 이미지들의 세트를 캡처하도록 배열됨 -; 및
    상기 장면 상에 상기 움직이는 패턴을 투사하도록 구성된 상기 프로젝터에 대한 조정가능한 프로젝터 파라미터들의 세트를 결정하도록 구성되고;
    상기 조정가능한 프로젝터 파라미터들의 세트 및 상기 조정가능한 이미징 파라미터들의 세트는 노이즈 임계치 미만의 상기 이미지들의 세트에 기초하여 생성된 3D 데이터에서의 노이즈 레벨을 감소시키도록 결정되고, 그렇지 않으면 상기 3D 데이터의 일부는 노이즈로 인해 하나 이상의 누락된 픽셀들을 포함하는, 방법.
  10. 제9항에 있어서,
    상기 조정가능한 이미징 파라미터들의 세트는 상기 이미지들의 세트 내의 각각의 이미지에 대한 각각의 프레임의 지속기간을 지시하는 프레임 시간을 포함하고;
    상기 조정가능한 프로젝터 파라미터들의 세트는 상기 패턴이 상기 장면 상에서 움직이는 속도를 포함하고;
    상기 조정가능한 프로젝터 파라미터들의 세트 및 상기 조정가능한 이미징 파라미터들의 세트를 결정하는 것은 상기 프레임 시간을 최소화하는 모션 속도를 결정하는 것을 포함하는, 방법.
  11. 제10항에 있어서,
    a) 상기 하나 이상의 이미지 센서의 시야를 판독하는 데 필요한 최소 시간; 또는
    b) 최소 프레임 간 거리와 최대 모터 속도의 조합; 또는
    c) 상기 프로젝터의 조명기의 최대 노출 시의 노출 시간
    에 기초하여 상기 프레임 시간을 조정하는 단계 추가로 포함하는, 방법.
  12. 제9항 내지 제11항 중 어느 한 항에 있어서, 상기 조정가능한 프로젝터 파라미터들의 세트 및 상기 조정가능한 이미징 파라미터들의 세트를 결정하는 것은:
    상기 조정가능한 프로젝터 파라미터들의 세트 및 상기 조정가능한 이미징 파라미터들의 세트에 대한 초기 동작 파라미터들의 세트를 결정하는 것;
    상기 초기 동작 파라미터들의 세트 내의 하나 이상의 파라미터가 상기 하나 이상의 동작 또는 열적 제약의 열적 제약을 위반하는 것으로 결정하는 것; 및
    상기 열적 제약을 준수하도록 상기 하나 이상의 파라미터를 조정하는 것을 포함하는, 방법.
  13. 프로세서 실행가능 명령어들을 저장하는 적어도 하나의 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 프로세서 실행가능 명령어들은 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때, 상기 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금:
    프로젝터와 연관된 하나 이상의 동작 또는 열적 제약의 세트를 저장하고;
    상기 하나 이상의 동작 또는 열적 제약의 세트에 기초하여:
    상기 프로세서와 통신하는 하나 이상의 이미지 센서 각각에 대한 조정가능한 이미징 파라미터들의 세트 - 각각의 이미지 센서는 장면 상의 움직이는 패턴의 이미지들의 세트를 캡처하도록 배열됨 -; 및
    상기 장면 상에 상기 움직이는 패턴을 투사하도록 구성된 상기 프로젝터에 대한 조정가능한 프로젝터 파라미터들의 세트를 결정하는 동작들을 수행하게 하고;
    상기 조정가능한 프로젝터 파라미터들의 세트 및 상기 조정가능한 이미징 파라미터들의 세트는 노이즈 임계치 미만의 상기 이미지들의 세트에 기초하여 생성된 3D 데이터에서의 노이즈 레벨을 감소시키도록 결정되고, 그렇지 않으면 상기 3D 데이터의 일부는 노이즈로 인해 하나 이상의 누락된 픽셀들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  14. 제13항에 있어서,
    상기 조정가능한 이미징 파라미터들의 세트는 상기 이미지들의 세트 내의 각각의 이미지에 대한 각각의 프레임의 지속기간을 지시하는 프레임 시간을 포함하고;
    상기 조정가능한 프로젝터 파라미터들의 세트는 상기 패턴이 상기 장면 상에서 움직이는 속도를 포함하고;
    상기 조정가능한 프로젝터 파라미터들의 세트 및 상기 조정가능한 이미징 파라미터들의 세트를 결정하는 것은 상기 프레임 시간을 최소화하는 모션 속도를 결정하는 것을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  15. 제13항 또는 제14항에 있어서, 상기 조정가능한 프로젝터 파라미터들의 세트 및 상기 조정가능한 이미징 파라미터들의 세트를 결정하는 것은:
    상기 조정가능한 프로젝터 파라미터들의 세트 및 상기 조정가능한 이미징 파라미터들의 세트에 대한 초기 동작 파라미터들의 세트를 결정하는 것;
    상기 초기 동작 파라미터들의 세트 내의 하나 이상의 파라미터가 상기 하나 이상의 동작 또는 열적 제약의 열적 제약을 위반하는 것으로 결정하는 것; 및
    상기 열적 제약을 준수하도록 상기 하나 이상의 파라미터를 조정하는 것을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020190112580A 2018-09-11 2019-09-11 조명 패턴을 겪은 물체의 이미지 취득을 최적화하기 위한 방법 및 장치 KR102272874B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210084614A KR102405118B1 (ko) 2018-09-11 2021-06-29 조명 패턴을 겪은 물체의 이미지 취득을 최적화하기 위한 방법 및 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/127,732 US10791277B2 (en) 2018-09-11 2018-09-11 Methods and apparatus for optimizing image acquisition of objects subject to illumination patterns
US16/127,732 2018-09-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210084614A Division KR102405118B1 (ko) 2018-09-11 2021-06-29 조명 패턴을 겪은 물체의 이미지 취득을 최적화하기 위한 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200030017A KR20200030017A (ko) 2020-03-19
KR102272874B1 true KR102272874B1 (ko) 2021-07-05

Family

ID=67928658

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020190112580A KR102272874B1 (ko) 2018-09-11 2019-09-11 조명 패턴을 겪은 물체의 이미지 취득을 최적화하기 위한 방법 및 장치
KR1020210084614A KR102405118B1 (ko) 2018-09-11 2021-06-29 조명 패턴을 겪은 물체의 이미지 취득을 최적화하기 위한 방법 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210084614A KR102405118B1 (ko) 2018-09-11 2021-06-29 조명 패턴을 겪은 물체의 이미지 취득을 최적화하기 위한 방법 및 장치

Country Status (5)

Country Link
US (2) US10791277B2 (ko)
EP (2) EP3623745B1 (ko)
JP (2) JP7170607B2 (ko)
KR (2) KR102272874B1 (ko)
CN (1) CN110891170B (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10791277B2 (en) 2018-09-11 2020-09-29 Cognex Corporation Methods and apparatus for optimizing image acquisition of objects subject to illumination patterns
GB2584907A (en) * 2019-06-21 2020-12-23 Zivid As Method for determining one or more groups of exposure settings to use in a 3D image acquisition process
US11206372B1 (en) * 2021-01-27 2021-12-21 Ampula Inc. Projection-type video conference system
CN113340235B (zh) * 2021-04-27 2022-08-12 成都飞机工业（集团）有限责任公司 基于动态投影的投影系统及相位移动图案生成方法
US11688101B2 (en) * 2021-05-18 2023-06-27 Snap Inc. Intrinsic parameters estimation in visual tracking systems
CN116033263B (zh) * 2022-12-29 2024-08-27 易思维(杭州)科技股份有限公司 一种投图设备响应时间的获取方法及其应用

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140307057A1 (en) 2013-04-15 2014-10-16 Microsoft Corporation Super-resolving depth map by moving pattern projector
US20160360074A1 (en) * 2015-06-02 2016-12-08 Intel Corporation Method and system of adaptable exposure control and light projection for cameras
US20170079724A1 (en) * 2012-10-29 2017-03-23 7D Surgical Inc. Integrated illumination and optical surface topology detection system and methods of use thereof
WO2018042481A1 (ja) 2016-08-29 2018-03-08 株式会社日立製作所 撮影装置及び撮影方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4402400B2 (ja) * 2003-08-28 2010-01-20 オリンパス株式会社 物体認識装置
JP4910507B2 (ja) * 2006-06-29 2012-04-04 コニカミノルタホールディングス株式会社 顔認証システム及び顔認証方法
JP5076595B2 (ja) * 2007-03-30 2012-11-21 株式会社ニコン プロジェクタ付きカメラ
EP2425215B1 (en) * 2009-05-01 2015-06-24 Texas Tech University System Remote contactless stereoscopic mass estimation system
EP2527784A1 (de) 2011-05-19 2012-11-28 Hexagon Technology Center GmbH Optisches Messverfahren und Messsystem zum Bestimmen von 3D-Koordinaten auf einer Messobjekt-Oberfläche
JP2014032159A (ja) * 2012-08-06 2014-02-20 Canon Inc 投影撮像システム及び投影撮像システムの制御方法
US9350921B2 (en) * 2013-06-06 2016-05-24 Mitutoyo Corporation Structured illumination projection with enhanced exposure control
WO2015134961A1 (en) * 2014-03-07 2015-09-11 Brown University Method and system for unsynchronized structured lighting
JP2016011930A (ja) * 2014-06-30 2016-01-21 株式会社ニコン 三次元データの連結方法、測定方法、測定装置、構造物製造方法、構造物製造システム、及び形状測定プログラム
CN104732539A (zh) * 2015-03-27 2015-06-24 华中科技大学 一种投影仪标定方法
US9964402B2 (en) * 2015-04-24 2018-05-08 Faro Technologies, Inc. Two-camera triangulation scanner with detachable coupling mechanism
US10455216B2 (en) * 2015-08-19 2019-10-22 Faro Technologies, Inc. Three-dimensional imager
CN109690240B (zh) 2016-06-20 2022-01-25 康耐视公司 用于将在时间上可变的光学图样投射到三维待测物体上的设备
CN108027238B (zh) * 2016-09-01 2022-06-14 索尼半导体解决方案公司 成像装置
US10962790B2 (en) * 2017-09-05 2021-03-30 Facebook Technologies, Llc Depth measurement using a pulsed structured light projector
US10791277B2 (en) 2018-09-11 2020-09-29 Cognex Corporation Methods and apparatus for optimizing image acquisition of objects subject to illumination patterns

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170079724A1 (en) * 2012-10-29 2017-03-23 7D Surgical Inc. Integrated illumination and optical surface topology detection system and methods of use thereof
US20140307057A1 (en) 2013-04-15 2014-10-16 Microsoft Corporation Super-resolving depth map by moving pattern projector
US20160360074A1 (en) * 2015-06-02 2016-12-08 Intel Corporation Method and system of adaptable exposure control and light projection for cameras
WO2018042481A1 (ja) 2016-08-29 2018-03-08 株式会社日立製作所 撮影装置及び撮影方法

Also Published As

Publication number Publication date
KR20210084382A (ko) 2021-07-07
US20200084384A1 (en) 2020-03-12
JP2023017885A (ja) 2023-02-07
KR102405118B1 (ko) 2022-06-07
US10791277B2 (en) 2020-09-29
US11240435B2 (en) 2022-02-01
JP2020078050A (ja) 2020-05-21
CN110891170B (zh) 2021-11-05
KR20200030017A (ko) 2020-03-19
EP3623745A1 (en) 2020-03-18
EP4075091A1 (en) 2022-10-19
CN110891170A (zh) 2020-03-17
EP3623745B1 (en) 2022-05-04
JP7170607B2 (ja) 2022-11-14
US20210092300A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
KR102272874B1 (ko) 조명 패턴을 겪은 물체의 이미지 취득을 최적화하기 위한 방법 및 장치
TWI721290B (zh) 使用反射光源的智能物體追蹤
US11503228B2 (en) Image processing method, image processing apparatus and computer readable storage medium
US9961258B2 (en) Illumination system synchronized with image sensor
EP2824923B1 (en) Apparatus, system and method for projecting images onto predefined portions of objects
US20170366801A1 (en) Depth image provision apparatus and method
US9049369B2 (en) Apparatus, system and method for projecting images onto predefined portions of objects
KR102492821B1 (ko) 감소된 왜곡을 갖는 물체의 3차원 재구성을 생성하기 위한 방법 및 장치
TW201802562A (zh) 閃光燈模組、具有閃光燈模組的電子裝置及控制方法
JP2016181068A (ja) 学習サンプル撮影装置
KR102613032B1 (ko) 사용자의 시야 영역에 매칭되는 뎁스맵을 바탕으로 양안 렌더링을 제공하는 전자 장치의 제어 방법
WO2022188733A1 (en) Scenario triggering and interaction based on target positioning and identification
ES2849273T3 (es) Sistema y procedimiento de captura y generación de imágenes 3D

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant