KR102207768B1 - 이동 패턴 프로젝터에 의한 초고해상도 깊이 맵 - Google Patents

이동 패턴 프로젝터에 의한 초고해상도 깊이 맵 Download PDF

Info

Publication number
KR102207768B1
KR102207768B1 KR1020157032633A KR20157032633A KR102207768B1 KR 102207768 B1 KR102207768 B1 KR 102207768B1 KR 1020157032633 A KR1020157032633 A KR 1020157032633A KR 20157032633 A KR20157032633 A KR 20157032633A KR 102207768 B1 KR102207768 B1 KR 102207768B1
Authority
KR
South Korea
Prior art keywords
images
depth
projector
scene
data
Prior art date
Application number
KR1020157032633A
Other languages
English (en)
Other versions
KR20150140838A (ko
Inventor
싱 빙 강
샤흐람 이자디
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20150140838A publication Critical patent/KR20150140838A/ko
Application granted granted Critical
Publication of KR102207768B1 publication Critical patent/KR102207768B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/30—Auxiliary operations or equipment
    • B29C64/386—Data acquisition or data processing for additive manufacturing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4205—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/44—Grating systems; Zone plate systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1876—Diffractive Fresnel lenses; Zone plates; Kinoforms
    • G02B5/189—Structurally combined with optical elements not having diffractive power
    • G02B5/1895—Structurally combined with optical elements not having diffractive power such optical elements having dioptric power
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3024—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a central processing unit [CPU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0207—Addressing or allocation; Relocation with multidimensional access, e.g. row/column, matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/0292—User address space allocation, e.g. contiguous or non contiguous base addressing using tables or multilevel address translation means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/3004—Arrangements for executing specific machine instructions to perform operations on memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/3004—Arrangements for executing specific machine instructions to perform operations on memory
    • G06F9/30043—LOAD or STORE instructions; Clear instruction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30098—Register arrangements
    • G06F9/3012—Organisation of register space, e.g. banked or distributed register file
    • G06F9/30123—Organisation of register space, e.g. banked or distributed register file according to context, e.g. thread buffers
    • G06F9/30127—Register windows
    • G06K9/00536—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • H04N5/2256—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H04N5/332—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4233—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Materials Engineering (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Mechanical Engineering (AREA)
  • Manufacturing & Machinery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Electromagnetism (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Lenses (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Power Engineering (AREA)
  • Measurement Of Optical Distance (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Color Television Image Signal Generators (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)

Abstract

본 개시는 장면 내에 이동 광 패턴을 투영하기 위해 프로젝터 또는 프로젝터 컴포넌트를 이동시키는 것에 기초하는 능동 깊이 감지에 관한 것이다. 예를 들어 스테레오 카메라 시스템에 의해, 프레임들의 세트에 걸쳐 캡쳐되는 이동 광 패턴을 통해, 그리고 각각의 스테레오 프레임 내의 서브픽셀 위치들에서 광 강도를 추정하는 것에 의해, 원래 카메라 해상도에 의해 캡쳐되는 것보다 높은 해상도의 서브픽셀 레벨 깊이 정보가 계산될 수 있다.

Description

이동 패턴 프로젝터에 의한 초고해상도 깊이 맵{SUPER-RESOLVING DEPTH MAP BY MOVING PATTERN PROJECTOR}
본 발명은 이동 패턴 프로젝터에 의한 초고해상도 깊이 맵에 관한 것이다.
능동 거리계들(rangefinders) 또는 능동 스테레오 시스템들에 의해 이용되는 것과 같은 능동 깊이 감지(active depth sensing)에서, 프로젝터는 감지 중인 영역을 조명하기 위해 도트들 또는 라인들과 같은 광의 패턴들을 투영한다. 다음으로, 투영된 패턴들은 카메라/센서(스테레오 시스템들 내에서는 두 개 이상)에 의해 캡쳐되며, 이미지(또는 이미지들)은 깊이 맵 또는 그와 유사한 것을 계산하기 위해 처리된다.
예를 들어, 스테레오 시스템들에서, 스테레오 카메라들은 상이한 시점들(view points)로부터 두 개의 이미지를 캡쳐한다. 다음으로, 예를 들어, 이미지들의 스테레오 쌍으로 깊이 추정을 수행하는 방식 중 하나는 이미지들 사이의 대응관계를 찾는 것, 예를 들어 하나의 이미지 내의 각각의 투영되고 감지된 도트를 패치 매칭을 통한 다른 이미지 내의 대응 도트와 상호관련시키는 것이다. 예를 들어, 본래(원래(native)) 카메라 해상도에서의 조밀한(dense) 깊이 맵은 영역 매칭(area matching)(예를 들어, 크기 5×5의 윈도우)에 의해 획득될 수 있다. 일단 매칭되고 나면, 이미지들 내의 투영된 패턴들은 서로 상호관련될 수 있고, 상호관련된 도트들의 하나 이상의 피쳐(feature)(예를 들어, 그들의 강도를 포함함) 사이의 디스패리티들은 그 특정 도트 쌍까지의 깊이를 추정하기 위해 이용된다.
그러나, 깊이 맵의 해상도는 카메라 해상도에 의해 제한된다.
본 개요는 이하의 상세한 설명에서 더 기술되는 대표적인 개념들 중 선택된 것들은 단순한 형태로 소개하기 위해 제공된다. 본 개요는 청구되는 발명의 주제의 핵심적인 특징 또는 본질적인 특징을 식별하도록 의도된 것이 아니며, 청구되는 발명의 주제의 범위를 제한하는 어떠한 방식으로도 사용되도록 의도되지 않는다.
간략하게는, 본원에 기술되는 발명의 주제의 다양한 양태들 중 하나 이상은 장면 내에 광 패턴을 투영하기 위해 프로젝터 또는 프로젝터 컴포넌트를 이동시키는 것에 관한 것이다. 이동은 광 패턴을 시간에 걸쳐 장면에 대해 이동시킨다. 상이한 시간들에서 캡쳐되는 장면의 이미지들이 깊이 감지를 위해 이용된다.
하나 이상의 양태는 원래의 센서 해상도보다 높은 해상도를 갖는 깊이 맵을 계산하는 것에 관한 것이다. 이동 광 패턴이 장면 내에 투영되고, 하나 이상의 센서를 포함하는 센서 세트는 상이한 시간들에서 복수의 이미지들을 캡쳐한다. 이미지들을 처리함으로써, 어느 서브픽셀 위치들이 이동 광 패턴에 대응하는 경로 내에 있었는지에 기초하여, 서브픽셀들에 대한 계산된 깊이 데이터가 획득된다. 계산된 깊이 데이터가 획득되지 않은 임의의 서브픽셀들에 대한 깊이 데이터는 추정된다. 각각의 서브픽셀에 대한 깊이 데이터를 포함하는 깊이 맵이 출력된다.
하나 이상의 양태에서, 프로젝터는 광 패턴을 장면을 향해 투영하도록 구성되고, 센서 세트는 장면으로부터 반사된 광 패턴으로부터의 광을 감지한다. 프로젝터에 연결된 모션 메커니즘은 시간에 걸쳐 광 패턴을 이동시킨다. 이미지 처리 서브시스템은 이미지들 내에서 광 패턴이 이동한 시간에 걸쳐 캡쳐된 이미지들을 처리하여 깊이 맵을 계산한다.
다른 이점들은 이하의 상세한 설명을 첨부 도면들과 함께 읽으면 더 명확해질 수 있다.
본 발명은 예시로서 도시되며, 유사한 참조 번호들이 유사한 구성요소들을 나타내는 첨부 도면들 내로 제한되지 않는다.
도 1은 하나 이상의 예시적인 구현에 따라, 카메라 해상도보다 높은 해상도에서 깊이 맵을 계산하기 위해 이용될 수 있는 예시적인 컴포넌트들을 나타내는 블록도이다.
도 2는 하나 이상의 예시적인 구현에 따라, 이동 도트들을 장면 내로 투영하는 것의 예시를 나타낸다.
도 3은 하나 이상의 예시적인 구현에 따라, 투영된 도트들이 예시적인 이미지 픽셀 그리드 내에서 어떻게 캡쳐될 수 있는지를 나타낸다.
도 4는 하나 이상의 예시적인 구현에 따라, 투영된 도트의 위치 및 대응하는 깊이를 서브픽셀 레벨에서 결정하기 위해 도트 강도가 어떻게 이용될 수 있는지를 나타낸다.
도 5는 하나 이상의 예시적인 구현에 따라, 서브픽셀 위치들에서의 도트 강도를 결정하기 위해, 투영된 도트의 위치가 프로젝터의 이동을 통해 시간에 걸쳐 어떻게 이동하는지를 나타낸다.
도 6은 하나 이상의 예시적인 구현에 따라, 상이한 시간들에서 캡쳐된 도트 피쳐 데이터 또는 깊이 데이터가 어떻게 병합된 데이터로 결합될 수 있는지를 나타낸다.
도 7은 하나 이상의 예시적인 구현에 따라, 초고해상도 깊이 맵을 얻기 위해 취해질 수 있는 예시적인 단계들을 표현하는 흐름도이다.
도 8은 본원에 기술된 다양한 실시예들의 하나 이상의 양태가 구현될 수 있는 제한이 아닌 예시적인 컴퓨팅 시스템 또는 운영 환경을 게이밍 시스템의 형태로 표현한 블록도이다.
본원에 설명되는 기술의 다양한 양태들은 일반적으로, 프로젝터를 소형 압전 모터에 연결하는 것에 의해 이동되는 것과 같이, 이동식(예를 들어, 약간 진동하는) 패턴 프로젝터를 이용하여 깊이 맵의 원래 해상도를 증가시키는 것에 관한 것이다. 일련의 프레임들에 걸쳐서 이미지들 내의 피쳐들의 경로를 추적하고, 카메라들에 걸쳐서(또는 프로젝터로부터 카메라까지) 패턴들을 연관시킴으로써, 더 높은 해상도의 깊이 정보가 달성될 수 있다.
기술은 매칭을 위한 텍스쳐를 제공하고, 그에 의해 깊이 추정을 제공하기 위해, IR 프로젝터와 함께 한 쌍의 IR 카메라가 이용되는 것과 같은 능동 스테레오 시스템의 맥락에서 이용될 수 있다. 기술은 반복가능한(예를 들어, 도트 패턴을 위한 피크 검출기를 포함하는) 정확한 2차원(2D) 피쳐 검출기에 기반을 둘 수 있다. 패턴 프로젝터를 진동시킴으로써, 2D 피쳐들은 다수의 서브픽셀 위치를 커버하고, 그것들은 시스템의 원래 해상도의 업샘플링된 버전을 재구성하기 위해 이용된다.
본원의 예시들 중 어느 것도 제한이 아니라는 점을 이해해야 한다. 그러한 것으로서, 본 발명은 본원에 기술된 임의의 특정한 실시예들, 양태들, 개념들, 구조들, 기능성들 또는 예시들에 한정되지 않는다. 오히려, 본원에 설명된 실시예들, 양태들, 개념들, 구조들, 기능성들 또는 예시들 중 어느 것도 제한이 아니며, 본 발명은 일반적으로 능동 깊이 감지 및 이미지 처리에서 혜택 및 이점을 제공하는 다양한 방식들로 이용될 수 있다.
도 1은 이미지 캡쳐 시스템 또는 서브시스템(104)의 스테레오 카메라들(102 및 103)이 시간 동기화된 이미지들을 캡쳐하는(예를 들어, 카메라들이 "젠록됨(genlocked)") 예시적인 시스템을 보여준다. 일 구현에서, 카메라들은 적외선(IR) 이미지들을 캡쳐하는데, 왜냐하면 IR은 (예를 들어, 화상 회의 및 객체 모델링 애플리케이션들에서 가치있는) 장면의 가시적 외양에 영향을 주지 않기 때문이다. 쉽게 알 수 있는 바와 같이, 스튜디오 환경과 같은 일부 시나리오들에서, 둘 이상의 IR 깊이 감지 카메라가 존재할 수 있다. 또한, 주어진 시스템 내에 RBG 카메라와 같은 하나 이상의 다른 카메라가 존재할 수 있고, 그러한 다른 카메라들은 예를 들어 상이한 스테레오 이미지들에서 도트 쌍들을 상호관련시키는 것을 돕기 위해 이용될 수 있다.
도 1에서, 다른 스폿 형상들 및/또는 패턴 타입들이 이용될 수 있긴 하지만, 스폿들(예를 들어, 도트들)의 패턴 또는 라인 패턴과 같은 IR 패턴을 장면 상에 투영하는 프로젝터(106)가 도시되어 있다. 간단히 하기 위해, 이하에서는 일반적으로 도트들이 기술된다. 장면을 비교적 많은 수의 분산된 적외선 도트로 조명함으로써, 카메라들(102 및 103)은 적외선 이미지 데이터의 일부로서 텍스쳐 데이터를 캡쳐한다.
도 2는 이러한 투영 개념을 예시화한다. 스테레오 카메라들(102 및 103) 사이에서 원으로서 표현된 프로젝터(106)는 도트 패턴을 장면(222) 상에 투영한다. 카메라들(102 및 103)은 도트들이 장면(222) 및 (아마도) 배경 내의 객체 표면들로부터 반사될 때 그것들을 캡쳐한다. 일반적으로, 캡쳐된 도트들의 하나 이상의 피쳐는 반사 표면까지의 거리를 나타낸다. 도 2는 비례에 맞도록 의도되지 않으며, 임의의 크기, 거리, 도트 분포 패턴, 도트 밀도 등을 시사하도록 의도되지 않는다는 점에 유의해야 한다.
하나 이상의 실시예에서, 프로젝터(106)는 카메라들(102 및 103)이 캡쳐하는 장면(222)보다 약간 큰 영역에 도트들을 투영하도록 구성될 수 있는데, 왜냐하면 본원에 기술되는 바와 같이, 도트들은 정지되어 있지 않고, 그에 의해, 한 시각에서는 장면 내로 투영되지 않은 일부 도트들이 다른 시각에서는 장면 내로 투영될 수 있기 때문이다. 더 구체적으로, 프로젝터는 프로젝터(106)를 진동시키는 소형 모터와 같은 모션 메커니즘(114)에 기계적으로 연결되어, 도트 패턴들을 시간에 걸쳐 경로 내에서 이동시킨다. 도 1에서, 프로젝터(106)는 이미지 캡쳐 시스템 또는 서브시스템으로부터 물리적으로 분리될 수 있고, 그에 의해 진동은 또한 카메라들(102 및 103)을 떨리게 하지 않는다. 동일한 디바이스 내에 있는 경우, 카메라들이 과도하게 흔들리지 않도록 위치결정하는 것 및/또는 진동 흡수 재료 및 그와 유사한 것을 이용하는 것에 의한 것과 같이, 프로젝터의 이동이 약화될 수 있다.
하나의 대안적인 구현에서, 프로젝터(106) 또는 그것의 컴포넌트 부품(예를 들어, 적외선 레이저 광을 도트 패턴으로 회절시키는 회절 광학 요소)을 흔들기 보다는, 프로젝터(106)는 진동되거나 다르게 이동되는 미러 시스템 내로 투영할 수 있다. 이러한 방식으로, 훨씬 더 가볍고/거나 접근가능할 수 있고, 따라서 프로젝터 또는 그것의 서브컴포넌트보다 진동하기가 더 쉬운 거울 또는 그와 유사한 것이 이용될 수 있다. 하나의 거울이든 그보다 많은 거울이든 간에, 이용될 수 있는 임의의 그러한 미러링 시스템은 그것이 프로젝터에 광학적으로만 연결되고 물리적으로는 연결되지 않더라도, 프로젝터의 컴포넌트/부분으로 고려된다는 점에 유의해야 한다. 따라서, 여기에서 이용될 때, "프로젝터" 또는 "프로젝터 컴포넌트"를 이동/진동시키는 것은 광 패턴을 반사 투영하는 거울(또는 복수의 거울)을 이동시키는 것과 동일하다.
프로젝터(106)의 위치는 카메라 밖일 수도 있고(예를 들어, 도 1), 카메라들 사이일 수도 있고(도 2), 카메라들 중 하나 또는 둘 다의 위 또는 아래와 같은 다른 위치일 수 있다는 점에 유의해야 한다. 본원의 예시들은 카메라들 및/또는 프로젝터가 서로에 대해 위치되는 장소를 어떤 식으로든 제한하지 않으며, 마찬가지로, 카메라들은 서로에 대해 상이한 위치들에 배치될 수 있다.
도 1로 되돌아가면, 하나의 구현에서, 예시적인 이미지 캡쳐 시스템 또는 서브시스템(104)은 카메라 인터페이스(110)를 통해 카메라들(102 및 103)의 동작을 제어하는 컨트롤러(108)를 포함한다. 예시화된 컨트롤러는 프로젝터 인터페이스(112)를 통해 프로젝터 이동(예를 들어, 진동)을 유도하는 모션 메커니즘(114) 및/또는 프로젝터(106)의 동작을 또한 제어한다. 예를 들어, 카메라들(102 및 103)은 컨트롤러 신호(또는 각각의 카메라에 대한 상이한 신호들)에 의한 것과 같이, 동시에 스테레오 이미지들을 캡쳐하도록 동기화된다(젠록된다). 프로젝터(106)는 턴온 또는 오프되거나, 펄스화되거나, 다르게는 예를 들어 상이한 출력 패턴들을 제공하기 위해 제어가능하게 변경되는 하나 이상의 파라미터를 가질 수 있다. 모션 메커니즘(114)은 턴온 또는 오프될 수 있거나, 다르게는 주파수, 듀티사이클, (예를 들어, 도트들을 더 작은 또는 더 큰 경로들 내에서 이동시키기 위한) 진폭 등을 변경하기 위해 제어가능하게 변경되는 하나 이상의 파라미터를 가질 수 있다.
카메라들(102) 및 103)에 의해 캡쳐되는 이미지들은 이미지 처리 시스템 또는 서브시스템(118)에 제공된다. 일부 구현들에서, 이미지 처리 시스템(118), 및 이미지 캡쳐 시스템 또는 서브시스템(104), 또는 그것의 부분들은 단일 디바이스로 결합될 수 있다. 예를 들어, 홈 엔터테인먼트 디바이스는 도 1에 도시된 컴포넌트들 전부(뿐만아니라 도시되지 않은 다른 것들)를 포함할 수 있다. 다른 구현들에서, 모션 메커니즘을 구비하는 카메라들 및 프로젝터와 같은 이미지 캡쳐 시스템 또는 서브시스템(104)의 부분들(또는 전부)은 게이밍 콘솔, 개인용 컴퓨터, 모바일 디바이스, 전용 처리 디바이스 및/또는 그와 유사한 것에 연결되는 별개의 디바이스일 수 있다. 실제로, 이하에서는, 이미지들을 깊이 데이터로 처리하기 위해 이용될 수 있는 하나의 환경으로서 게이밍 콘솔이 예시화된다.
이미지 처리 시스템 또는 서브시스템(118)은 프로세서(120), 및 하나 이상의 이미지 처리 알고리즘(124)을 포함하는 메모리(122)를 포함한다. 본래의 카메라 해상도에서의 조밀한 깊이 맵(126)은 영역 기반 매칭을 통해 획득될 수 있는 한편, 반-조밀한(semi-dense) 깊이 맵(128)은 피쳐들(예컨대, 도트들 및/또는 라인들)을 매칭함으로써 추출될 수 있다.
본원에는 카메라들의 원래 해상도보다 높은 해상도를 갖는 깊이 맵을 포함하는 "초고해상도(super-resolved)" 깊이 맵(130)을 제공하기 위해 이동 투영 패턴을 활용하는 알고리즘(도 6) 또는 그와 유사한 것이 기술된다. 도 1에는, 사용자가 초고해상도 깊이 맵을 이용하는 애플리케이션 또는 그와 유사한 것과 상호작용하기에 적합한 대로, 키보드, 게임 컨트롤러, 디스플레이, 포인팅 디바이스, 음성 명령들을 위한 마이크로폰 및/또는 그와 유사한 것을 접속하기 위한 것과 같은, 이미지 처리 시스템 또는 서브시스템(118)에의 인터페이스(132)가 또한 도시되어 있다.
미국 특허 출원 공개 제20130100256호에 설명되어 있는 것과 같이 알려져 있는 바대로, 상이한 도트들 또는 다른 투영된 요소들은 캡쳐될 때, 프로젝터로부터 반사 표면들까지의 거리 및/또는 카메라로부터 반사 표면들까지의 거리에 의존하여, 강도(휘도)를 포함하는 상이한 피쳐들을 갖는다. 또한, 알려져 있는 바와 같이, (예를 들어, 젠록된 스테레오 카메라들로) 동시에 촬영되는 상이한 이미지들 내의 도트들은 동일한 순간에 캡쳐되는 동일한 장면의 RGB 이미지들 사이의 작은 (예를 들어, RGB) 패치들을 매칭하는 것 등에 의해, 서로와 상호관련될 수 있다.
따라서, 캡쳐된 이미지들을 이용하면, 알려진 알고리즘들은 각각의 이미지에 대한 개별의 깊이 관련 피쳐들(깊이 맵들), 및 그러한 이미지들 사이의 차이들을 유지하는 디스패리티 맵을 결정할 수 있다. 디스패리티 맵은 임의의 피쳐들(예를 들어, 강도)의 디스패리티에 기초하여 깊이 맵으로 처리될 수 있다.
도 3은 일부 더 큰 예시 이미지의 일부분으로부터의 픽셀들의 작은(7×7) 그리드(330)를 보여준다. 도 3에 개괄적으로 나타나 있는 바와 같이, 동심원들은 장면에 투영된 캡쳐되는 도트들을 표현한다. 각각의 도트에 대한 상이한 강도들을 표현하기 위해, 원이 작을수록 강도가 더 크다. 따라서, 도트의 중심이 가장 큰 강도를 갖는다. 도 3에서, 블록(332)(강도 분포를 이용하는 영역 기반 스테레오)은 예를 들어 원래 카메라 해상도에서의 조밀한 깊이 맵(332)을 제공한다. 또한, 도 3에서, 원들의 상이한 직경들은 강도의 변화들을 시사할 뿐이며; 원들 및 그리드 정사각형들의 크기는 임의의 특정한 스케일, 해상도 또는 그와 유사한 것을 의미하도록 의도되지 않으며, 임의의 특정한 강도 값 또는 상대적 강도 값들을 의미하도록 의도되지도 않는다. 또한, 도트들의 밀도 및/또는 그들의 크기들 또는 분포는 임의의 실제 밀도 및/또는 분포를 표현하도록 의도되지 않지만; 그러한 도트들의 밀도, 분포 및 크기들은 통상적으로 모든 픽셀이 도트에 의해서 또는 심지어는 도트의 일부분에 의해서 조명되도록 하는 것은 아니라는 점에 유의해야 한다.
도 3에서 볼 수 있는 바와 같이, 이러한 도트 패턴을 위한 피쳐는 도트 피크 강도 위치이다. 이것은 서브픽셀 정확도 이내로 추정될 수 있다. 더 구체적으로는, 도 4에 나타나 있는 바와 같이, X형상 십자가들은 추정된 도트 중심들을 표현하며, 픽셀들은 점선에 의해 서브픽셀들로 나누어지고, 그에 의해 더 미세한 그리드(440)를 제공한다. 각각의 추정된 중심은 한 서브픽셀에 대응한다. 예시화된 그리드(예를 들어, 그리드는 더 큰 이미지의 일부일 수 있음) 외부의 몇몇 추가 픽셀들의 중심들도 나타나 있으며, 도 5를 참조하여 아래에 설명될 것이다.
도 4는 해상도를 두 배로 하기 위해 픽셀들을 2×2 서브픽셀들로 세분한다는 점에 유의해야 한다. 그러나, 두 배의 서브픽셀 해상도 대신에, 픽셀들을 예를 들어 각각 9개의 서브픽셀, 각각 16개의 서브픽셀 등과 같이 더 세분함으로써 훨씬 더 높은 해상도가 획득될 수 있다(정사각형이 아닌 세분화도 물론 이용될 수 있다).
(임의의 기간에 걸친 도 4의 그리드(440)에 대응하는 그리드(550)를 나타내는) 도 5에 도시된 바와 같이, 중심을 보여주기 위해 X형상 십자가에 의해 표현되는 도트들은 프로젝터를 이동시킴으로써, 예를 들어 도 1 및 도 2의 모션 메커니즘(114)을 통해 프로젝터(106)를 진동시킴으로써 이동될 수 있다. 이러한 예시에서의 도트/피쳐 이동은 점선들에 의해 표현되는 피쳐 경로들을 따른다.
이미지 프레임들의 시퀀스(세트) 내에서 캡쳐될 때, 시간에 걸친 이동 때문에, 해당 도트의 이동이 없는 경우에 비해 (프레임들의 세트에 걸쳐) 훨씬 더 많은 서브픽셀들이 임의의 주어진 투영된 도트에 의해 조명된다. 도 5의 경로들은 도트들을 캡쳐하는 임의의 프레임 레이트, 또는 프로젝터를 진동시키는 임의의 주파수를 의미하도록 의도되는 것이 아니며, 일반적으로 이동 및 프레임 레이트는 경로의 전부는 아닐지라도 대부분이 조우(encounter)되는 각각의 서브픽셀에 대해 캡쳐되게 하는 것일 수 있다는 점에 유의해야 한다. 또한, 이동을 통해, 처음에는 예시화된 그리드 내에 있지 않았지만 근처에 있던 도트들이 일부 지점에서 그리드 내로 투영될 수 있는 한편, (예를 들어, 더 큰 이미지 내의 다른 서브픽셀들을 조명하기 위해) 그리드 내에 있던 것들 중 일부는 일부 지점에서 그리드를 떠난다는 점에 유의해야 한다.
위에서 언급된 바와 같이, 의도적으로 (도 2에 예시되어 있는 바와 같이) 장면보다 약간 큰 도트 패턴을 투영하는 것이 유리할 수 있다. 예를 들어, 그리드가 더 큰 이미지의 코너를 표현하거나 더 큰 이미지의 에지를 따르는 것을 고찰해본다. 투영된 도트 패턴 영역이 장면보다 약간 더 큰 경우, 시간에 걸쳐, 이동이 이전에 장면 외부에 있던(그리고, 정지해있다면 계속하여 장면에서 벗어나 있었을) 도트들로 일부 서브픽셀들을 조명하는 것을 볼 수 있다.
일반적으로, 이동은 주어진 구현에 대하여 일반적으로 임의적/예측불가능하다. 그럼에도 불구하고, 이동의 양 및 진동 주파수는 이미지들을 캡쳐하는 프레임 레이트 및/또는 도트 밀도에 대하여 제어될 수 있고(또는 고정 시스템 내에서 보정될 수 있고), 그에 의해 도트들을 이동시키는 것의 혜택이 획득되고 최적에 가깝게 되며, 예를 들어, 피쳐 경로는 최대한 많은 서브픽셀을 횡단하게 되고, 프레임 레이트는 횡단의 전부 또는 대부분이 캡쳐되게 하는 것이게 된다.
쉽게 알 수 있는 바와 같이, 정지 장면(또는 카메라 프레임 레이트 및 진동 주파수에 비해 느린 이동을 갖는 장면)을 위한 초고해상도의 깊이는 시간에 걸쳐 촬영된 이미지들의 세트로부터 계산된 깊이/디스패리티 맵들을 결합함으로써 결정될 수 있다. 일부 깊이 데이터가 여전히 누락되어 있을 수 있지만(예를 들어, 픽셀(555) 전체가 도트 중심에 의해 터치되지 않았으며, 도 5에 표현된 다른 픽셀들 및 서브픽셀들도 터치되지 않음), 서브픽셀들에 대해 캡쳐된 피쳐 데이터의 양은 이동이 없는 경우보다 상당히 더 크다. 사실, 도트 이동의 혜택은 픽셀들을 서브픽셀 레벨로 분할하지 않고서도 보여질 수 있다.
도트 밀도를 효과적으로 증가시키기 위해 이미지들을 결합하는 것이 도 6에 표현되어 있는데, 여기에서는 두 개의 그리드(프레임)(662 및 664)의 피쳐들(또는 계산된 깊이 데이터)은 병합된 그리드(668)로 결합될 수 있다(블록(666)). 상이한 이미지 프레임들의 피쳐 디스크립터들이 결합/병합될 수 있거나, 피쳐 디스크립터들에 대해 깊이 값들이 먼저 계산되고, 깊이 값들이 결합/병합될 수 있다는 점에 유의해야 한다. 또한, 도 6에서, 이미지 프레임들이 반드시 연속적이지는 않으며(연속적일 수는 있음); 도트들은 카메라 프레임 레이트의 속도에 대한 이동의 속도에 의존하여, 두 개의 연속적인 이미지에서 도시된 만큼 이동되지 않았을 수 있다는 점에 유의해야 한다.
어느 경우에서든, 예시적인 프레임(662) 내에서 7개의 서브픽셀이 캡쳐된 피쳐 경로 내에 있고(또는 깊이 데이터를 가짐), 다른 프레임, 예를 들어 나중의 프레임(664)에서 9개의 서브픽셀이 캡쳐된 피쳐 경로 내에 있는 것이 보인다(일부 추가의 서브픽셀들은 그리드(664)의 외부로부터 내부로 이동됨).
그리드들(662 및 664)을 결합하면, 시간에 걸쳐 조명된 16개의 서브픽셀을 갖는 병합된 그리드(668)가 결과로서 나온다. 쉽게 알 수 있는 바와 같이, 2개의 프레임(662 및 664)이 원리를 설명하지만, 통상적으로는, 초고해상도 깊이 맵이 요구되기 전에 얼마나 많은 프레임이 캡쳐될 수 있는지에 의존하는 임의의 실질적인 수까지, 2개보다 많은 이미지가 결합된다. 따라서, 커버리지/병합된 도트 밀도가 상당히 증가될 수 있다.
시간에 걸친 이미지 프레임들의 주어진 세트에 대하여, 피쳐 경로가 더 높은 해상도의 서브픽셀을 통과하는 곳에서는 어디에서든, 그 서브픽셀에 대하여 깊이가 직접 계산된다. 경로 내에 있지 않은 각각의 서브픽셀에 대하여, 그 서브픽셀에 대한 깊이를 추정하기 위해 본래의 해상도에서의 스테레오 캡쳐로부터의 깊이 정보 및/또는 거의 초고해상도의 서브픽셀 깊이로부터의 깊이 정보가 결합될 수 있다. 이것을 달성할 수 있는 간단한 방식은 예를 들어 초고해상도 깊이 정보에만 기초하는 푸쉬/풀 보간(push/pull interpolation)을 통하는 것이며, 이것은 픽셀 처리의 다른 영역들에서 공지된 기술이다. 그러나, 훨씬 적은 누락 정보가 추정(예를 들어, 보간)될 필요가 있다는 점에 유의해야 한다.
상술한 설명은 정지 장면들(또는 프레임 레이트 및 피쳐 경로에 대하여 느린 깊이 변화를 갖는 장면들)에 적용가능하다. 이동 객체들을 갖는 장면에 대하여, 예를 들어 변형가능 ICP 솔루션[deformable ICP(iterative closest point) solutions]과 같은 알려진 기술들을 이용하여, 상이한 시간 프레임들에 걸쳐 정보를 전달하기 위해 추적이 수행될 수 있다. 장면을 대신하여, 또는 장면에 더하여, 프로젝터 및 카메라가 깊이를 변경하기 위해 이동될 수 있으며, 예를 들어 이미지 캡쳐 시스템 또는 서브시스템이 카메라 달리(camera dolly)에 장착된 로봇에 부착될 수 있는 등이다.
도 7은 본원에 설명된 개념들 중 일부를 흐름도의 예시적인 단계들을 이용하여 요약하는데, 그것은 프로젝터가 제어되는 단계(702)에서 시작하며, 이는 프로젝터를 턴온하는 것/절전 모드로부터 해제하는 정도로 단순한 것이거나, 시나리오/카메라 레이트를 조절하기 위한 것과 같이, 도트 패턴 분포, 밀도, 커버리지 영역을 조절하는 것, 및/또는 모터 진동 주파수, 듀티 싸이클 및/또는 진폭을 조절하는 것과 같이 더 복잡한 동작일 수 있다.
단계(704)는 이미지 또는 이미지들을 캡쳐한다. 단순화 하기 위해, 이하의 도 7의 설명에서는 스테레오 이미지들이 이용된다. 처리가 프레임 레이트보다 빠를 가능성이 크므로, 단계(704)에는 프레임 레이트 지연이 내재해 있을 수 있으며; 일부 처리 또는 예비처리가 이미지 캡쳐와 병렬로 발생할 수 있다.
단계(706)는 초고해상도 계산을 트리거하는 일부 기준이 만족되는지를 평가한다. 예를 들어, (주어진 프레임 레이트를 갖는 시간의 양에 대응하는) 프레임의 일부 개수가 초고해상도 계산을 트리거할 수 있다. 일반적으로, 피쳐 경로는 일부 시간에서 완료될 것이고, 반드시 정확하게는 아니더라도, 동일 서브픽셀들에 대한 반복을 시작할 것이며; 이러한 완료 시간은 트리거 시간을 결정하기 위해 이용될 수 있다. 대안적으로, 예를 들어 충분히 높은 퍼센티지에서 서브픽셀들을 히트하는 피쳐 경로와 관련하여 적절한 커버리지 영역이 이용될 수 있는지를 결정하기 위해, 기존 이미지들 상에서 일부량의 이미지 처리가 행해질 수 있다. 이러한 대안이 이용된다면, 경로가 지나치게 많은 반복으로 인해 충분한 커버리지에 도달하는 데에 지나치게 오래 걸리게 하는 것인 경우에서, 프레임들의 시간 또는 개수는 2차 트리거로서 이용될 수 있다.
또한, 그러한 이미지 예비처리는 프로젝터 또는 프로젝터 이동을 일부 방식으로 변경시키기 위해 이용될 수 있다. 예를 들어, 패턴이 원하는 커버리지를 제공하고 있지 않은 경우, 패턴 밀도가 증가될 수 있고(고정되지 않은 경우), 진동 주파수, 듀티 사이클 및/또는 진폭이 변경될 수 있는 등이다. (리사주 도형들(Lissajous figures)에 의해 예시화된 것과 같이) 진동 유도된 피쳐 경로들의 형상을 변경하기 위해서도 물론, 둘 이상의 모터(예를 들어, 압전 모터)의 사용이 이용될 수 있다는 점에 유의해야 한다.
단계(706)로 되돌아가서, 트리거되지 않은 경우, 단계(710)를 통해, 예를 들어 캡쳐되고 처리된 최종 이미지들에 기초하여 원래 해상도에서 종래의 길이 맵이 추정되고 출력될 수 있다. 다음으로, 프로세스는 단계(704)로 되돌아가서 다음의 이미지 세트를 캡쳐한다. 위에서 설명된 바와 같이, 예를 들어 피쳐 경로들이 충분한 서브픽셀 커버리지를 달성하고 있지 않는 것 때문에, 프로젝터/이동에 대한 변경이 가능하고 적절하다면, 대안적으로 단계(702)로 되돌아가는 것이 가능하다.
단계(706)에서 초고해상도 계산이 트리거되는 경우, 단계(712)는 피쳐 경로에 의해 도달되는 만큼의 많은 서브픽셀에 대한 피쳐 데이터를 획득하기 위해 이미지들을 결합한다. 서브픽셀 추정 및 이미지들/깊이들의 결합의 부분은 트리거된 때에만 진행 중인 것이 아니라 각각의 새로운 이미지가 캡쳐될 때에 진행 중일 수 있으며(예를 들어, 단계(712)의 적어도 일부가 단계(706) 이전에 수행될 수 있음), 그에 의해 단계(712)는 초고해상도의 깊이 맵을 완성하기 위해 최근의 이미지 세트/깊이 데이터를 처리 및 결합하기만 하면 된다. 서브픽셀이 1회 보다 많이 도달되는 충돌의 경우에서(예를 들어, 도 5의 서브픽셀(557)), 가장 최근의 피쳐 디스크립터(들)가 이용될 수 있다는 점에 유의해야 한다. 대안적으로, 다른 충돌 해결이 이용될 수 있는데, 예를 들어 더 잡음이 있는 값으로 보이는 것을 폐기하는 것, 평균을 내는 것 등이 대신 이용될 수 있다.
단계(714)에서, 임의의 누락 서브픽셀들은 예를 들어 보간을 통해 추정된다. 초고해상도 깊이 맵이 단계(716)에서 출력되고, 프로세스가 반복된다.
본원의 예시들은 일반적으로 스테레오 카메라 시스템에 관한 것이지만, 싱글 카메라도 마찬가지로 본원에 설명된 기술의 혜택을 받을 수 있다는 점에 유의해야 한다. 실제로, 싱글 카메라 및 투영된 광을 통해 획득된 깊이 맵들이 잘 알려져 있으며; 마찬가지로 프로젝터를 진동시키는 것은 더 많은 픽셀들 또는 서브픽셀들이 조명되는 것을 가능하게 하여, 더 정확한 원래 해상도의 깊이 맵들 또는 초고해상도의 깊이 맵들을 제공한다. 또한, TOF 깊이 감지(time-of-flight depth sensing)는 광원을 진동시킴으로써 객체의 더 많은 부분이 조명되게 하는 것에 의해 혜택을 얻을 수 있다.
예시적인 운영 환경
위에서 설명된 구현 및 그것의 대안들은 게이밍 시스템, 개인용 컴퓨터, 태블릿, DVR, 셋탑박스, 스마트폰 및/또는 그와 유사한 것을 포함하는 임의의 적절한 컴퓨팅 디바이스에서 구현될 수 있음을 쉽게 알 수 있다. 그러한 디바이스들 다수가 함께 연결될 때, 그러한 디바이스들의 결합들 또한 가능하다. 설명을 목적으로, 이하에서는 (미디어를 포함하는) 게이밍 시스템이 하나의 예시적인 운영 환경으로서 설명된다.
도 8은 예시적인 게이밍 및 미디어 시스템(800)의 기능적 블록도이고, 기능 컴포넌트들을 더 상세하게 보여준다. 콘솔(801)은 중앙 처리 유닛(CPU)(802), 및 플래시 ROM(Read Only Memory)(804), RAM(Random Access Memory)(806), 하드 디스크 드라이브(808) 및 이동식 미디어 드라이브(809)를 포함하는 다양한 타입의 메모리에 대한 프로세서 액세스를 용이하게 하는 메모리 컨트롤러(803)를 갖는다. 일 구현에서, CPU(802)는 데이터를 임시 저장하고, 그에 의해 하드 드라이브에 행해지는 메모리 액세스 싸이클의 수를 감소시키며, 따라서 처리 속도 및 처리량을 개선하기 위해, 레벨 1 캐시(810) 및 레벨 2 캐시(812)를 포함한다.
CPU(802), 메모리 컨트롤러(803) 및 다양한 메모리 디바이스들은 하나 이상의 버스(도시되지 않음)를 통해 상호접속된다. 이러한 구현에서 이용되는 버스의 상세는 본원에 논의되는 관심의 주제를 이해하는 것에 구체적으로 관련이 없다. 그러나, 그러한 버스는 직렬 및 병렬 버스, 메모리 버스, 주변 버스, 및 다양한 버스 아키텍쳐들 중 임의의 것을 이용하는 프로세서 또는 로컬 버스를 포함할 수 있음을 이해할 것이다. 예시로서, 그러한 아키텍쳐들은 ISA(Industry Standard Architecture) 버스, MCA(Micro Channel Architecture) 버스, EISA(Enhanced ISA (EISA) 버스, VESA(Video Electronics Standards Association) 로컬 버스, 및 메자닌 버스(Mezzanine bus)라고도 지칭되는 PCI(Peripheral Component Interconnects) 버스를 포함할 수 있다.
일 구현에서, CPU(802), 메모리 컨트롤러(803), ROM(804), 및 RAM(806)은 공통 모듈(814)로 통합된다. 이러한 구현에서, ROM(804)은 PCI(Peripheral Component Interconnect) 버스 또는 그와 유사한 것, 및 ROM 버스 또는 그와 유사한 것(어느 것도 도시되어 있지 않음)을 통해 메모리 컨트롤러(803)에 접속된 플래시 ROM으로서 구성된다. RAM(806)은 별도의 버스들(도시되지 않음)을 통해 메모리 컨트롤러(803)에 의해 독립적으로 제어되는 복수의 DDR SDRAM(Double Data Rate Synchronous Dynamic RAM) 모듈로서 구성될 수 있다. 하드 디스크 드라이브(808) 및 이동식 미디어 드라이브(809)는 PCI 버스 및 ATA(AT Attachment) 버스(816)를 통해 메모리 컨트롤러(803)에 접속된 것으로 도시되어 있다. 그러나, 다른 구현들에서는, 상이한 타입들의 전용 데이터 버스 구조들이 또한 대안으로 적용될 수 있다.
3차원 그래픽 처리 유닛(820) 및 비디오 인코더(822)는 고속 및 고해상도(예를 들어, 고선명) 그래픽 처리를 위한 비디오 처리 파이프라인을 형성한다. 데이터는 디지털 비디오 버스(도시되지 않음)를 통해 그래픽 처리 유닛(820)으로부터 비디오 인코더(822)에 운반된다. 오디오 처리 유닛(824) 및 오디오 코덱(코더/디코더)(826)은 다양한 디지털 오디오 포맷의 멀티채널 오디오 처리를 위한 대응 오디오 처리 파이프라인을 형성한다. 오디오 데이터는 통신 링크(도시되지 않음)를 통해 오디오 처리 유닛(824) 및 오디오 코덱(826) 사이에서 운반된다. 비디오 및 오디오 처리 파이프라인은 텔레비젼 또는 다른 디스플레이/스피커에의 전송을 위해 데이터를 A/V(audio/video) 포트(828)에 출력한다. 도시된 구현에서, 비디오 및 오디오 처리 컴포넌트들(820, 822, 824, 826 및 828)은 모듈(814) 상에 장착된다.
도 8은 USB 호스트 컨트롤러(830), 및 유선 및/또는 무선 컴포넌트들을 포함할 수 있는 네트워크 인터페이스(NW I/F)(832)를 포함하는 모듈(814)을 보여준다. USB 호스트 컨트롤러(830)는 버스(예를 들어, PCI 버스)를 통해 CPU(802) 및 메모리 컨트롤러(803)와 통신하고 주변 컨트롤러들(834)을 위한 호스트로서 동작하는 것으로 도시된다. 네트워크 인터페이스(832)는 네트워크(예를 들어, 인터넷, 홈 네트워크 등)에의 액세스를 제공하며, 이더넷 카드 또는 인터페이스 모듈, 모뎀, 블루투스 모듈, 케이블 모뎀 및 그와 유사한 것을 포함하는 광범위하게 다양한 유선 또는 무선 인터페이스 컴포넌트들 중 임의의 것일 수 있다.
도 8에 도시된 예시적인 구현에서, 콘솔(801)은 4개의 게임 컨트롤러(841(1)-841(4))를 지원하기 위한 컨트롤러 지원 서브어셈블리(840)를 포함한다. 컨트롤러 지원 서브어셈블리(840)는 예를 들어 미디어 및 게임 컨트롤러와 같은 외부 컨트롤 디바이스와의 유선 및/또는 무선 동작을 지원하는 데에 필요한 임의의 하드웨어 및 소프트웨어 컴포넌트들을 포함한다. 전방 패널 I/O 서브어셈블리(842)는 전원 버튼(843), 이젝트 버튼(844)은 물론, 임의의 다른 버튼들 및 임의의 LED(발광 다이오드) 또는 콘솔(801)의 외부 표면에 노출된 다른 인디케이터들의 다수의 기능을 지원한다. 서브어셈블리들(840 및 842)은 하나 이상의 케이블 어셈블리들(846) 또는 그와 유사한 것을 통해 모듈(814)과 통신한다. 다른 구현들에서, 콘솔(801)은 추가의 컨트롤러 서브어셈블리들을 포함할 수 있다. 도시된 구현은 또한 모듈(814)에 전해질 수 있는 (예를 들어 원격 제어기(849)로부터의) 신호들을 송신 및 수신하도록 구성된 광학 I/O 인터페이스(848)를 보여준다.
메모리 유닛들(MU)(850(1) 및 850(2))은 각각 MU 포트들 "A"(852(1)) 및 "B"(852(2))에 접속가능한 것으로 도시되어 있다. 각각의 MU(850)는 게임, 게임 파라미터, 및 다른 데이터가 저장될 수 있는 추가의 저장소를 제공한다. 일부 구현들에서, 다른 데이터는 디지털 게임 컴포넌트, 실행가능한 게이밍 애플리케이션, 게이밍 애플리케이션을 확장하기 위한 명령어 세트, 및 미디어 파일 중 하나 이상을 포함할 수 있다. 콘솔(801)에 삽입된 때, 각각의 MU(850)는 메모리 컨트롤러(803)에 의해 액세스될 수 있다.
시스템 전력 공급 모듈(854)은 게이밍 시스템(800)의 컴포넌트들에 전력을 제공한다. 팬(856)은 콘솔(801) 내의 회로망을 냉각한다.
머신 명령어들을 포함하는 애플리케이션(860)은 통상적으로 하드 디스크 드라이브(808)에 저장된다. 콘솔(801)의 전원이 켜지면, 애플리케이션(860)의 다양한 부분들이 CPU(802)에서의 실행을 위해 RAM(806) 및/또는 캐시들(810 및 812)에 로딩된다. 일반적으로, 애플리케이션(860)은 디스플레이(예를 들어, 고선명 모니터)에서의 표시를 위한 대화 화면들의 제어, 사용자 입력에 기초한 트랜잭션의 제어, 및 콘솔(801)과 외부 접속 디바이스들 사이의 데이터 전송 및 수신의 제어와 같은 다양한 디스플레이 기능들을 수행하기 위한 하나 이상의 프로그램 모듈을 포함할 수 있다.
게이밍 시스템(800)은 고선명 모니터, 텔레비젼, 비디오 프로젝터, 또는 다른 디스플레이 디바이스에 시스템을 접속함으로써 독립실행형 시스템으로서 작동될 수 있다. 이러한 독립 실행 모드에서, 게이밍 시스템(800)은 한 명 이상의 플레이어가 게임을 플레이하거나, 예를 들어 영화를 보거나 음악을 듣는 것에 의해 디지털 미디어를 즐길 수 있게 해 준다. 그러나, 네트워크 인터페이스(832)를 통해 이용가능하게 되는 광대역 접속성의 통합으로, 게이밍 시스템(800)은 더 큰 네트워크 게이밍 커뮤니티 또는 시스템 내에서의 참여 컴포넌트로서 더 작동될 수 있다.
결론
본 발명은 다양한 수정 및 대안적인 구성들을 허용하는 한편, 그것의 일부 예시된 실시예들이 도면들에 보여지고 위에서 상세하게 설명되었다. 그러나, 본 발명을 개시된 특정한 형태로 제한하려는 의도는 없으며, 반대로 본 발명의 취지 및 범위 내에 드는 모든 수정, 대안적인 구성, 및 등가물들을 포함하도록 의도된다는 점을 이해해야 한다.

Claims (20)

  1. 센서 세트의 각 센서의 해상도보다 높은 해상도를 갖는 깊이 맵을 계산하는 방법에 있어서,
    프로젝터를 진동시키는 단계와,
    상기 프로젝터가 진동하는 동안에, 복수의 도트(dot)들을 포함하는 광의 패턴을 장면(scene)에 투영(project)하는 단계 - 상기 광의 패턴은 상기 진동에 기초하여 이동함 - 와,
    상기 프로젝터가 진동하는 동안에 상기 센서 세트를 통해 상이한 시간에 복수의 이미지들을 캡쳐하는 단계 - 상기 센서 세트는 적어도 2개의 동기화된 센서들을 포함하고, 상기 진동의 주파수는 상기 복수의 이미지들을 캡쳐하는 프레임 레이트 및 상기 복수의 도트들의 밀도에 관련된 것임 - 와,
    어느 서브-픽셀 위치들이 상기 이동하는 광의 패턴에 대응하는 경로에 있었는지에 기초하여 서브-픽셀들에 대한 계산된 깊이 데이터를 획득하기 위해 상기 이미지들 중 적어도 일부를 처리하는 단계와,
    계산된 깊이 데이터가 획득되지 않은 임의의 서브-픽셀들에 대한 깊이 데이터를 추정하는 단계와,
    각 서브-픽셀에 대한 깊이 데이터를 포함하는 깊이 맵을 출력하는 단계
    를 포함하는 깊이 맵을 계산하는 방법.
  2. 제1항에 있어서, 상기 센서 세트는 복수의 스테레오 카메라들을 포함하고, 상기 계산된 깊이 데이터를 획득하기 위해 상기 이미지들 중 적어도 일부를 처리하는 단계는, 스테레오 이미지들 간의 차이들을 나타내는 디스패리티(disparity) 데이터를 사용하는 단계를 포함하는 것인 깊이 맵을 계산하는 방법.
  3. 제1항에 있어서, 상기 이동하는 광의 패턴을 투영하는 단계는, 상기 복수의 도트들을 상기 장면에 투영하는 단계를 포함하는 것인 깊이 맵을 계산하는 방법.
  4. 제1항에 있어서, 상기 이동하는 광의 패턴을 투영하는 단계는, 라인 패턴, 컬러 코드들, 코너들, 또는 다른 구별되는(distinct) 형상들 중 적어도 하나를 상기 장면에 투영하는 단계를 더 포함하는 것인 깊이 맵을 계산하는 방법.
  5. 제1항에 있어서, 상기 이미지들 중 적어도 일부를 처리하는 단계는 상기 이미지들로부터 피쳐 데이터를 추출하는 단계를 포함하는 것인 깊이 맵을 계산하는 방법.
  6. 제1항에 있어서, 상기 깊이 데이터를 추정하는 단계는 푸시-풀 보간(push-pull interpolation) 방법을 통해 서브-픽셀 데이터를 보간하는 단계를 포함하는 것인 깊이 맵을 계산하는 방법.
  7. 제1항에 있어서, 상기 깊이 데이터를 추정하는 단계는 원래의(native) 또는 더 낮은 해상도 맵에 대응하는 다른 서브-픽셀 깊이 값들 또는 피쳐 값들에 적어도 부분적으로 기초하여 서브-픽셀 데이터를 보간하는 단계를 포함하는 것인 깊이 맵을 계산하는 방법.
  8. 제1항에 있어서, 상기 진동에 기인한 상기 장면내로의 이동을 제공하기 위해, 상기 장면 외부에 상기 이동하는 광의 패턴의 일부를 투영하는 단계를 더 포함하는 깊이 맵을 계산하는 방법.
  9. 시스템에 있어서,
    프로젝터가 진동하는 동안에 장면을 향하여 복수의 도트들을 포함하는 광 패턴을 진동 및 투영하도록 구성된 상기 프로젝터와,
    상기 프로젝터가 진동하는 동안에 상기 장면으로부터 반사되는 상기 광 패턴으로부터의 광을 감지하도록 구성된 적어도 2개의 동기화된 센서들을 포함하는 센서 세트와,
    상기 프로젝터가 진동하는 동안에 시간에 따라 상기 광 패턴을 이동시키도록 상기 프로젝터에 연결된 모션 디바이스와,
    상기 프로젝터가 진동하는 동안에 시간에 따라 캡쳐된 복수의 이미지들을 처리하기 위한 이미지 프로세서 - 상기 광 패턴은 깊이 맵을 계산하기 위해 상기 복수의 이미지들 내에서 이동됨 -
    를 포함하며,
    상기 진동의 주파수는 상기 복수의 이미지들을 캡쳐하는 프레임 레이트 및 상기 복수의 도트들의 밀도에 관련된 것인 시스템.
  10. 제9항에 있어서, 상기 이미지 프로세서는 상기 센서 세트의 원래 해상도보다 높은 서브-픽셀 해상도에서 상기 깊이 맵을 계산하도록 구성되는 것인 시스템.
  11. 제9항에 있어서, 상기 모션 디바이스는 적어도 하나의 모터를 포함하는 것인 시스템.
  12. 제9항에 있어서, 상기 센서 세트 및 상기 프로젝터는 단일 디바이스로 통합되는 것인 시스템.
  13. 방법에 있어서,
    복수의 도트들을 포함하는 광 패턴을 장면에 투영하기 위해 프로젝터 또는 프로젝터 컴포넌트로부터 투영된 광 패턴을 진동시키는 단계와,
    상기 광 패턴이 진동하는 동안에 센서 세트를 통해 상이한 시간에 상기 장면의 복수의 이미지들을 캡쳐하는 단계 - 상기 진동의 주파수는 상기 복수의 이미지들을 캡쳐하는 프레임 레이트 및 상기 복수의 도트들의 밀도와 관련된 것임 - 와,
    깊이 감지를 위해 상이한 시간에 캡쳐된 장면의 이미지들을 사용함으로써 계산된 깊이 데이터를 획득하기 위해 상기 복수의 이미지들 중 적어도 일부를 처리하는 단계와,
    푸시 풀 보간 알고리즘을 수행함으로써 계산된 깊이 데이터가 획득되지 않은 임의의 픽셀들에 대한 깊이 데이터를 추정하는 단계
    를 포함하는 방법.
  14. 제13항에 있어서, 서브-픽셀 레벨 깊이 맵을 계산하기 위해 상기 이미지들에 대응하는 서브-픽셀 레벨 데이터를 결합하는 것을 포함하여, 상기 깊이 감지에 기초하여 깊이 맵을 계산하는 단계를 더 포함하는 방법.
  15. 제14항에 있어서, 상기 이미지들로부터 직접 획득할 수 없는 데이터에 대해 상기 서브-픽셀 레벨 데이터의 일부분을 추정하는 단계를 더 포함하는 방법.
  16. 제13항에 있어서, 상기 센서 세트는 복수의 젠록된(genlocked) 스테레오 카메라들을 포함하고, 깊이 감지를 위해 상이한 시간에 캡쳐된 장면의 이미지들을 사용하는 것은, 상기 복수의 젠록된 스테레오 카메라들에 의해 캡쳐된 스테레오 이미지들 간의 차이들을 나타내는 디스패리티 데이터를 사용하는 것을 포함하는 것인 방법.
  17. 제13항에 있어서, 상기 깊이 데이터를 추정하는 단계는 푸시-풀 보간 방법을 통해 서브-픽셀 데이터를 보간하는 단계를 포함하는 방법.
  18. 제13항에 있어서, 상기 광 패턴을 진동시키는 단계는, 상기 광 패턴을, 진동되는 거울(mirror)에 투영하는 단계를 포함하는 방법.
  19. 제13항에 있어서, 상기 진동에 기인한 상기 장면내로의 이동을 제공하기 위해, 상기 장면의 외부에 상기 광 패턴의 일부를 투영하는 단계를 더 포함하는 방법.
  20. 제13항에 있어서, 상기 깊이 데이터를 추정하는 단계는, 원래의 또는 더 낮은 해상도 맵에 대응하는 다른 서브-픽셀 깊이 값들 또는 피쳐 값들에 적어도 부분적으로 기초하여 서브-픽셀 데이터를 보간하는 단계를 포함하는 방법.
KR1020157032633A 2013-04-15 2014-04-14 이동 패턴 프로젝터에 의한 초고해상도 깊이 맵 KR102207768B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361812232P 2013-04-15 2013-04-15
US61/812,232 2013-04-15
US13/924,485 US9922249B2 (en) 2013-04-15 2013-06-21 Super-resolving depth map by moving pattern projector
US13/924,485 2013-06-21
PCT/US2014/033911 WO2014172223A1 (en) 2013-04-15 2014-04-14 Super-resolving depth map by moving pattern projector

Publications (2)

Publication Number Publication Date
KR20150140838A KR20150140838A (ko) 2015-12-16
KR102207768B1 true KR102207768B1 (ko) 2021-01-25

Family

ID=51686521

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020157032651A KR102130187B1 (ko) 2013-04-15 2014-04-14 위성 디바이스 또는 디바이스들을 갖는 능동 스테레오
KR1020157032633A KR102207768B1 (ko) 2013-04-15 2014-04-14 이동 패턴 프로젝터에 의한 초고해상도 깊이 맵

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020157032651A KR102130187B1 (ko) 2013-04-15 2014-04-14 위성 디바이스 또는 디바이스들을 갖는 능동 스테레오

Country Status (11)

Country Link
US (14) US20140307055A1 (ko)
EP (9) EP2987138B1 (ko)
JP (1) JP6469080B2 (ko)
KR (2) KR102130187B1 (ko)
CN (8) CN105229412B (ko)
AU (1) AU2014254219B2 (ko)
BR (1) BR112015025819A8 (ko)
CA (1) CA2907895C (ko)
MX (1) MX357307B (ko)
RU (1) RU2663329C2 (ko)
WO (8) WO2014172229A1 (ko)

Families Citing this family (182)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120072245A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 스테레오 영상 정합 장치 및 방법
WO2013138148A1 (en) * 2012-03-13 2013-09-19 Dolby Laboratories Licensing Corporation Lighting system and method for image and object enhancement
EP2700920B1 (en) 2012-08-23 2016-06-22 ams AG Light sensor system and method for processing light sensor signals
US20140307055A1 (en) * 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
US9467680B2 (en) 2013-12-12 2016-10-11 Intel Corporation Calibration of a three-dimensional acquisition system
CN105829829B (zh) * 2013-12-27 2019-08-23 索尼公司 图像处理装置和图像处理方法
US9720506B2 (en) * 2014-01-14 2017-08-01 Microsoft Technology Licensing, Llc 3D silhouette sensing system
CN105939837B (zh) * 2014-01-16 2019-05-10 惠普发展公司，有限责任合伙企业 对用于增材制造系统的切片数据进行处理
US11265534B2 (en) * 2014-02-08 2022-03-01 Microsoft Technology Licensing, Llc Environment-dependent active illumination for stereo matching
US9842424B2 (en) * 2014-02-10 2017-12-12 Pixar Volume rendering using adaptive buckets
US20170078649A1 (en) 2014-03-07 2017-03-16 Brown University Method and system for unsynchronized structured lighting
US20150266235A1 (en) * 2014-03-19 2015-09-24 Autodesk, Inc. Systems and methods for improved 3d printing
US9674493B2 (en) * 2014-03-24 2017-06-06 Omnivision Technologies, Inc. Color image sensor with metal mesh to detect infrared light
WO2015152829A1 (en) * 2014-04-03 2015-10-08 Heptagon Micro Optics Pte. Ltd. Structured-stereo imaging assembly including separate imagers for different wavelengths
GB201407270D0 (en) * 2014-04-24 2014-06-11 Cathx Res Ltd 3D data in underwater surveys
US9823842B2 (en) 2014-05-12 2017-11-21 The Research Foundation For The State University Of New York Gang migration of virtual machines using cluster-wide deduplication
US9533449B2 (en) 2014-06-19 2017-01-03 Autodesk, Inc. Material deposition systems with four or more axes
US10252466B2 (en) * 2014-07-28 2019-04-09 Massachusetts Institute Of Technology Systems and methods of machine vision assisted additive fabrication
US10612914B2 (en) * 2014-08-08 2020-04-07 Cemb S.P.A. Vehicle equipment with scanning system for contactless measurement
US10455212B1 (en) * 2014-08-25 2019-10-22 X Development Llc Projected pattern motion/vibration for depth sensing
JP6397698B2 (ja) * 2014-08-28 2018-09-26 任天堂株式会社 情報処理端末、情報処理プログラム、情報処理端末システム、および情報処理方法
US9507995B2 (en) * 2014-08-29 2016-11-29 X Development Llc Combination of stereo and structured-light processing
DE102014113389A1 (de) * 2014-09-17 2016-03-17 Pilz Gmbh & Co. Kg Verfahren und Vorrichtung zum Identifizieren von Strukturelementen eines projizierten Strukturmusters in Kamerabildern
EP3018587B1 (en) * 2014-11-05 2018-08-29 Renesas Electronics Europe GmbH Memory access unit
EP3043159B1 (en) * 2015-01-08 2019-12-18 ams AG Method for processing light sensor signals and light sensor system
JPWO2016098400A1 (ja) * 2014-12-15 2017-09-21 ソニー株式会社 撮像装置組立体、３次元形状測定装置及び動き検出装置
EP3040941B1 (en) * 2014-12-29 2017-08-02 Dassault Systèmes Method for calibrating a depth camera
DE102015202182A1 (de) * 2015-02-06 2016-08-11 Siemens Aktiengesellschaft Vorrichtung und Verfahren zur sequentiellen, diffraktiven Musterprojektion
US11562286B2 (en) * 2015-02-06 2023-01-24 Box, Inc. Method and system for implementing machine learning analysis of documents for classifying documents by associating label values to the documents
US9699394B2 (en) 2015-03-09 2017-07-04 Microsoft Technology Licensing, Llc Filter arrangement for image sensor
JP6484071B2 (ja) * 2015-03-10 2019-03-13 アルプスアルパイン株式会社 物体検出装置
CN106032059B (zh) * 2015-03-13 2019-11-26 三纬国际立体列印科技股份有限公司 立体打印方法与立体打印装置
KR102238794B1 (ko) * 2015-03-25 2021-04-09 한국전자통신연구원 영상 촬영 장치의 촬영 속도 증가 방법
JP6244061B2 (ja) 2015-03-30 2017-12-06 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
EP3081384B1 (en) * 2015-04-17 2019-11-13 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
CN108307675B (zh) 2015-04-19 2020-12-25 快图有限公司 用于vr/ar应用中的深度增强的多基线相机阵列系统架构
US9751263B2 (en) * 2015-04-20 2017-09-05 Xerox Corporation Injection molding to finish parts printed with a three-dimensional object printer
WO2016187330A1 (en) 2015-05-18 2016-11-24 Lasermotive, Inc. Diffusion safety system
US9683834B2 (en) * 2015-05-27 2017-06-20 Intel Corporation Adaptable depth sensing system
US9495584B1 (en) * 2015-06-05 2016-11-15 Digital Signal Corporation System and method for facial recognition using images captured from a target illuminated with infrared light
US11054664B2 (en) * 2015-06-18 2021-07-06 Apple Inc. Monitoring DOE performance using software scene evaluation
US9824278B2 (en) * 2015-06-24 2017-11-21 Netflix, Inc. Determining native resolutions of video sequences
CA2991811A1 (en) * 2015-07-13 2017-01-19 Koninklijke Philips N.V. Method and apparatus for determining a depth map for an image
WO2017014691A1 (en) * 2015-07-17 2017-01-26 Heptagon Micro Optics Pte. Ltd. Generating a distance map based on captured images of a scene
US10699476B2 (en) 2015-08-06 2020-06-30 Ams Sensors Singapore Pte. Ltd. Generating a merged, fused three-dimensional point cloud based on captured images of a scene
TWI744245B (zh) 2015-08-19 2021-11-01 新加坡商海特根微光學公司 產生具有減少過度平滑之視差圖
CN106550228B (zh) * 2015-09-16 2019-10-15 上海图檬信息科技有限公司 获取三维场景的深度图的设备
US20170116779A1 (en) * 2015-10-26 2017-04-27 Microsoft Technology Licensing, Llc Volumetric representation of objects
US10554956B2 (en) 2015-10-29 2020-02-04 Dell Products, Lp Depth masks for image segmentation for depth-based computational photography
US10021371B2 (en) 2015-11-24 2018-07-10 Dell Products, Lp Method and apparatus for gross-level user and input detection using similar or dissimilar camera pair
KR102323217B1 (ko) * 2015-12-21 2021-11-08 삼성전자주식회사 매크로 픽셀의 노이즈를 제어하는 뎁스 센서, 3차원 카메라 및 제어 방법
US9800795B2 (en) 2015-12-21 2017-10-24 Intel Corporation Auto range control for active illumination depth camera
US10761497B2 (en) 2016-01-14 2020-09-01 Microsoft Technology Licensing, Llc Printing 3D objects with automatic dimensional accuracy compensation
CN106980630B (zh) * 2016-01-19 2020-03-10 菜鸟智能物流控股有限公司 一种数据旋转展示方法及装置
BR112018016726B1 (pt) * 2016-02-18 2023-03-14 Apple Inc Método de processamento de imagem para realidade mista e dispositivo usado na cabeça
WO2017149932A1 (ja) * 2016-03-03 2017-09-08 ソニー株式会社 医療用画像処理装置、システム、方法及びプログラム
DE102016106121A1 (de) 2016-04-04 2017-10-05 Carl Zeiss Ag Verfahren und Vorrichtung zum Bestimmen von Parametern zur Brillenanpassung
WO2017193013A1 (en) * 2016-05-06 2017-11-09 Zhang, Yunbo Determining manufacturable models
WO2017212509A1 (ja) * 2016-06-08 2017-12-14 パナソニックＩｐマネジメント株式会社 投影システム
US10659764B2 (en) 2016-06-20 2020-05-19 Intel Corporation Depth image provision apparatus and method
US10609359B2 (en) * 2016-06-22 2020-03-31 Intel Corporation Depth image provision apparatus and method
US10638060B2 (en) * 2016-06-28 2020-04-28 Intel Corporation Color correction of RGBIR sensor stream based on resolution recovery of RGB and IR channels
CN106210568A (zh) * 2016-07-15 2016-12-07 深圳奥比中光科技有限公司 图像处理方法以及装置
US10241244B2 (en) 2016-07-29 2019-03-26 Lumentum Operations Llc Thin film total internal reflection diffraction grating for single polarization or dual polarization
CN106204414A (zh) * 2016-08-05 2016-12-07 蓝普金睛（北京）科技有限公司 一种动态图像缓存的方法及系统
US10192311B2 (en) * 2016-08-05 2019-01-29 Qualcomm Incorporated Methods and apparatus for codeword boundary detection for generating depth maps
CN106375740B (zh) * 2016-09-28 2018-02-06 华为技术有限公司 生成rgb图像的方法、装置和系统
CN106447588A (zh) * 2016-09-30 2017-02-22 天津大学 菲涅耳变换域混沌双随机相位编码光学图像加密方法
JP6645394B2 (ja) * 2016-10-03 2020-02-14 株式会社デンソー 画像センサ
WO2018169587A2 (en) 2016-12-16 2018-09-20 Massachusetts Institute Of Technology Adaptive material deposition for additive manufacturing
WO2018123801A1 (ja) * 2016-12-28 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置
US10372974B2 (en) * 2017-01-11 2019-08-06 Microsoft Technology Licensing, Llc 3D imaging recognition by stereo matching of RGB and infrared images
CN108399633A (zh) * 2017-02-06 2018-08-14 罗伯团队家居有限公司 用于立体视觉的方法和装置
CN106908391A (zh) * 2017-02-10 2017-06-30 广东欧珀移动通信有限公司 终端中盖板玻璃颜色识别方法和装置
CN106909320B (zh) * 2017-02-20 2020-01-21 北京中科睿芯科技有限公司 一种多维数据扩充传输的方法、装置以及系统
WO2018154965A1 (ja) * 2017-02-24 2018-08-30 ソニー株式会社 画像処理装置及び撮像装置
US11181886B2 (en) * 2017-04-24 2021-11-23 Autodesk, Inc. Closed-loop robotic deposition of material
US10955814B2 (en) 2017-04-24 2021-03-23 Autodesk, Inc. Closed-loop robotic deposition of material
CN107084686B (zh) * 2017-04-26 2019-04-30 西安交通大学 一种无运动部件的动态多光刀扫描测量方法
WO2018219442A1 (en) * 2017-05-31 2018-12-06 Hewlett-Packard Development Company, L.P. Deriving topology information of a scene
US20180347967A1 (en) * 2017-06-01 2018-12-06 RGBDsense Information Technology Ltd. Method and apparatus for generating a random coding pattern for coding structured light
US10817493B2 (en) 2017-07-07 2020-10-27 Raytheon Company Data interpolation
KR102346031B1 (ko) 2017-07-25 2022-01-03 삼성디스플레이 주식회사 표시 장치 및 이의 구동 방법
KR102402477B1 (ko) * 2017-08-04 2022-05-27 엘지이노텍 주식회사 ToF 모듈
US10586342B2 (en) * 2017-08-31 2020-03-10 Facebook Technologies, Llc Shifting diffractive optical element for adjustable depth sensing resolution
US20190072771A1 (en) * 2017-09-05 2019-03-07 Facebook Technologies, Llc Depth measurement using multiple pulsed structured light projectors
US10962790B2 (en) 2017-09-05 2021-03-30 Facebook Technologies, Llc Depth measurement using a pulsed structured light projector
DE102017215850B4 (de) 2017-09-08 2019-12-24 Robert Bosch Gmbh Verfahren zur Herstellung eines diffraktiven optischen Elements, LIDAR-System mit einem diffraktiven optischen Element und Kraftfahrzeug mit einem LIDAR-System
CN107884066A (zh) * 2017-09-29 2018-04-06 深圳奥比中光科技有限公司 基于泛光功能的光传感器及其3d成像装置
US10310281B1 (en) * 2017-12-05 2019-06-04 K Laser Technology, Inc. Optical projector with off-axis diffractive element
US10545457B2 (en) 2017-12-05 2020-01-28 K Laser Technology, Inc. Optical projector with off-axis diffractive element and conjugate images
CN109889799B (zh) * 2017-12-06 2020-08-25 西安交通大学 基于rgbir摄像头的单目结构光深度感知方法及装置
US10628952B2 (en) 2017-12-11 2020-04-21 Google Llc Dual-band stereo depth sensing system
US11227371B2 (en) * 2017-12-14 2022-01-18 Nec Corporation Image processing device, image processing method, and image processing program
DE102017222708A1 (de) * 2017-12-14 2019-06-19 Conti Temic Microelectronic Gmbh 3D-Umfelderfassung mittels Projektor und Kameramodulen
JP6939501B2 (ja) * 2017-12-15 2021-09-22 オムロン株式会社 画像処理システム、画像処理プログラム、および画像処理方法
CN108133494A (zh) * 2018-01-17 2018-06-08 南京华捷艾米软件科技有限公司 利用rgb-ir同时生成深度图和彩色图的系统和方法
DE102019000272B4 (de) * 2018-01-19 2023-11-16 Cognex Corporation System zum bilden einer homogenisierten beleuchtungslinie, die als eine linie mit geringem speckle bildlich erfasst werden kann
US10317684B1 (en) 2018-01-24 2019-06-11 K Laser Technology, Inc. Optical projector with on axis hologram and multiple beam splitter
CN108319437B (zh) * 2018-02-28 2019-01-11 上海熙香艺享电子商务有限公司 内容大数据密集程度分析平台
CN108490632B (zh) * 2018-03-12 2020-01-10 Oppo广东移动通信有限公司 激光投射模组、深度相机和电子装置
WO2019182881A1 (en) * 2018-03-20 2019-09-26 Magik Eye Inc. Distance measurement using projection patterns of varying densities
US10643341B2 (en) 2018-03-22 2020-05-05 Microsoft Technology Licensing, Llc Replicated dot maps for simplified depth computation using machine learning
US10565720B2 (en) 2018-03-27 2020-02-18 Microsoft Technology Licensing, Llc External IR illuminator enabling improved head tracking and surface reconstruction for virtual reality
US10771766B2 (en) * 2018-03-30 2020-09-08 Mediatek Inc. Method and apparatus for active stereo vision
CN108564613A (zh) * 2018-04-12 2018-09-21 维沃移动通信有限公司 一种深度数据获取方法及移动终端
CN112236289B (zh) 2018-05-22 2023-02-21 曼特尔公司 用于自动工具路径生成的方法和系统
US10878590B2 (en) * 2018-05-25 2020-12-29 Microsoft Technology Licensing, Llc Fusing disparity proposals in stereo matching
CN108917640A (zh) * 2018-06-06 2018-11-30 佛山科学技术学院 一种激光盲孔深度检测方法及其系统
FI128523B (en) * 2018-06-07 2020-07-15 Ladimo Oy Modeling of topography of a 3D surface
JP7297891B2 (ja) 2018-07-19 2023-06-26 アクティブ サージカル， インコーポレイテッド 自動化された外科手術ロボットのためのビジョンシステム内の深度のマルチモード感知のためのシステムおよび方法
US11067820B2 (en) 2018-07-31 2021-07-20 Himax Technologies Limited Structured light projector and three-dimensional image sensing module
CN109102540B (zh) * 2018-08-16 2022-01-28 杭州电子科技大学 基于fpga的标记面积块下限分离分道方法
TWI676781B (zh) * 2018-08-17 2019-11-11 鑑微科技股份有限公司 三維掃描系統
US10761337B2 (en) * 2018-08-24 2020-09-01 Himax Technologies Limited Projecting apparatus for spreading non-diffracted light
JP6907277B2 (ja) * 2018-08-30 2021-07-21 コグネックス・コーポレイション 歪みが低減された物体の３次元再構成を生成するための方法及び装置
US11039122B2 (en) * 2018-09-04 2021-06-15 Google Llc Dark flash photography with a stereo camera
CN109146953B (zh) * 2018-09-11 2021-12-10 杭州电子科技大学 基于fpga的标记面积块上限分离分道方法
US10791277B2 (en) * 2018-09-11 2020-09-29 Cognex Corporation Methods and apparatus for optimizing image acquisition of objects subject to illumination patterns
US20200082160A1 (en) * 2018-09-12 2020-03-12 Kneron (Taiwan) Co., Ltd. Face recognition module with artificial intelligence models
KR102562360B1 (ko) * 2018-10-05 2023-08-02 엘지이노텍 주식회사 깊이 정보를 획득하는 방법 및 카메라 모듈
CN109532021B (zh) * 2018-10-10 2020-08-25 浙江大学 基于结构光线性异常点的3d打印熔积缺陷逐层检测方法
US11480793B2 (en) * 2018-10-24 2022-10-25 Google Llc Systems, devices, and methods for aligning a lens in a laser projector
JP7146576B2 (ja) * 2018-10-29 2022-10-04 芝浦機械株式会社 積層造形装置、積層造形方法、及びプログラム
WO2020091764A1 (en) 2018-10-31 2020-05-07 Hewlett-Packard Development Company, L.P. Recovering perspective distortions
US11024037B2 (en) 2018-11-15 2021-06-01 Samsung Electronics Co., Ltd. Foreground-background-aware atrous multiscale network for disparity estimation
US10628968B1 (en) * 2018-12-05 2020-04-21 Toyota Research Institute, Inc. Systems and methods of calibrating a depth-IR image offset
CN109798838B (zh) * 2018-12-19 2020-10-27 西安交通大学 一种基于激光散斑投射的ToF深度传感器及其测距方法
CN109741386B (zh) * 2018-12-26 2020-07-31 豪威科技(武汉)有限公司 立体视觉系统的增强方法及立体视觉系统
US10917568B2 (en) * 2018-12-28 2021-02-09 Microsoft Technology Licensing, Llc Low-power surface reconstruction
US11333895B1 (en) 2019-01-11 2022-05-17 Facebook Technologies, Llc Systems and methods for structured light projector operational safety
JP7211835B2 (ja) * 2019-02-04 2023-01-24 ｉ－ＰＲＯ株式会社 撮像システムおよび同期制御方法
CN110087057B (zh) * 2019-03-11 2021-10-12 歌尔股份有限公司 一种投影仪的深度图像获取方法和装置
US20200292297A1 (en) * 2019-03-15 2020-09-17 Faro Technologies, Inc. Three-dimensional measurement device
JP2022526626A (ja) 2019-04-08 2022-05-25 アクティブ サージカル， インコーポレイテッド 医療撮像のためのシステムおよび方法
US11039118B2 (en) 2019-04-17 2021-06-15 XRSpace CO., LTD. Interactive image processing system using infrared cameras
EP3731175A1 (en) * 2019-04-26 2020-10-28 XRSpace CO., LTD. Interactive image processing system using infrared cameras
CN110111390A (zh) * 2019-05-15 2019-08-09 湖南科技大学 基于双目视觉光流跟踪的薄壁件全向振动测量方法及系统
CN110012206A (zh) * 2019-05-24 2019-07-12 Oppo广东移动通信有限公司 图像获取方法、图像获取装置、电子设备和可读存储介质
CN110209363A (zh) * 2019-05-30 2019-09-06 大连理工大学 基于遗传算法的智能3d打印路径规划方法
WO2021035094A1 (en) 2019-08-21 2021-02-25 Activ Surgical, Inc. Systems and methods for medical imaging
CN110524874B (zh) * 2019-08-23 2022-03-08 源秩科技（上海）有限公司 光固化3d打印装置及其打印方法
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
CN112559037B (zh) * 2019-09-25 2024-04-12 阿里巴巴集团控股有限公司 一种指令执行方法、单元、装置及系统
KR20230004423A (ko) 2019-10-07 2023-01-06 보스턴 폴라리메트릭스, 인크. 편광을 사용한 표면 법선 감지 시스템 및 방법
US11796829B1 (en) * 2019-10-31 2023-10-24 Meta Platforms Technologies, Llc In-field illuminator for eye depth sensing
US10890839B1 (en) * 2019-11-06 2021-01-12 Himax Technologies Limited Structured light imaging device
WO2021108002A1 (en) 2019-11-30 2021-06-03 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
CN113009705A (zh) * 2019-12-19 2021-06-22 苏州苏大维格科技集团股份有限公司 一种消除零级衍射影响的结构光组件
US11132804B2 (en) * 2020-01-07 2021-09-28 Himax Technologies Limited Hybrid depth estimation system
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
KR20220133973A (ko) 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
JP7346703B2 (ja) * 2020-02-28 2023-09-19 富士フイルム株式会社 撮像システム、撮像システムの制御方法、及びプログラム
CN113365035B (zh) * 2020-03-04 2022-10-21 合肥君正科技有限公司 一种图像色彩还原的校准系统
US11503266B2 (en) * 2020-03-06 2022-11-15 Samsung Electronics Co., Ltd. Super-resolution depth map generation for multi-camera or other environments
CN111246073B (zh) * 2020-03-23 2022-03-25 维沃移动通信有限公司 成像装置、方法及电子设备
EP4144085A4 (en) 2020-04-30 2023-10-25 Siemens Healthcare Diagnostics, Inc. APPARATUS, METHOD FOR CALIBRATING AN APPARATUS AND ASSOCIATED DEVICE
CN111678457B (zh) * 2020-05-08 2021-10-01 西安交通大学 一种OLED透明屏下ToF装置及测距方法
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
CN111787084A (zh) * 2020-06-23 2020-10-16 杭州数澜科技有限公司 一种圈选对象的方法和装置
KR20220033924A (ko) 2020-09-10 2022-03-17 삼성전자주식회사 증강 현실 장치 및 그 제어 방법
CN114268774A (zh) * 2020-09-16 2022-04-01 Oppo广东移动通信有限公司 图像采集方法、图像传感器、装置、设备以及存储介质
US11657529B2 (en) * 2020-10-12 2023-05-23 Black Sesame Technologies Inc. Multiple camera system with flash for depth map generation
DE102020133085A1 (de) 2020-12-11 2022-06-15 Dürr Assembly Products GmbH Verfahren zur Vermessung der Kotflügelkante eines Fahrzeugs in einem Prüfstand
CN112959661B (zh) * 2021-01-26 2024-02-02 深圳市创必得科技有限公司 Lcd光固化3d打印均光优化补偿方法及装置
WO2022164720A1 (en) * 2021-01-29 2022-08-04 Essentium, Inc. Contour smoothing for material extrusion three-dimensionally printed parts
CN112859330A (zh) * 2021-02-18 2021-05-28 嘉兴驭光光电科技有限公司 投射星空效果的衍射光学元件及设计方法、光学投影装置以及包括其的车辆
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US12069227B2 (en) 2021-03-10 2024-08-20 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US12067746B2 (en) 2021-05-07 2024-08-20 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects
US11636623B2 (en) * 2021-06-28 2023-04-25 Motional Ad Llc Systems and methods for camera alignment using pre-distorted targets
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
EP4380780A1 (en) * 2021-08-06 2024-06-12 PPG Industries Ohio Inc. System and method for 3d printing a non-planar surface
US11852439B2 (en) * 2021-11-24 2023-12-26 Wrap Technologies, Inc. Systems and methods for generating optical beam arrays
CN116800947A (zh) * 2022-03-16 2023-09-22 安霸国际有限合伙企业 用于大规模生产过程的快速rgb-ir校准验证
KR20230174621A (ko) * 2022-06-21 2023-12-28 삼성전자주식회사 깊이 맵 생성을 위한 전자 장치 및 그 동작 방법
US20240040268A1 (en) * 2022-07-29 2024-02-01 Texas Instruments Incorporated Rgb-ir pixel pattern conversion via conversion engine
US11972504B2 (en) * 2022-08-10 2024-04-30 Zhejiang Lab Method and system for overlapping sliding window segmentation of image based on FPGA
KR102674408B1 (ko) * 2022-12-28 2024-06-12 에이아이다이콤 (주) 비 접촉식 의료 영상 제어 시스템
CN116448250A (zh) * 2023-06-14 2023-07-18 国网山西省电力公司超高压变电分公司 一种电力设备红外热成像辅助定位装置及辅助定位方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010504522A (ja) * 2006-09-21 2010-02-12 トムソン ライセンシング ３次元モデル取得のための方法及びシステム

Family Cites Families (154)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3938102A (en) 1974-08-19 1976-02-10 International Business Machines Corporation Method and apparatus for accessing horizontal sequences and rectangular sub-arrays from an array stored in a modified word organized random access memory system
EP0085210A1 (en) 1982-01-29 1983-08-10 International Business Machines Corporation Image processing system
US5351152A (en) 1991-07-23 1994-09-27 The Board Of Governers Of Wayne State University Direct-view stereoscopic confocal microscope
US5471326A (en) 1993-04-30 1995-11-28 Northrop Grumman Corporation Holographic laser scanner and rangefinder
US5586200A (en) 1994-01-07 1996-12-17 Panasonic Technologies, Inc. Segmentation based image compression system
US5739906A (en) 1996-06-07 1998-04-14 The United States Of America As Represented By The Secretary Of Commerce Interferometric thickness variation test method for windows and silicon wafers using a diverging wavefront
US6105139A (en) 1998-06-03 2000-08-15 Nec Usa, Inc. Controller-based power management for low-power sequential circuits
TW495749B (en) 1998-08-03 2002-07-21 Matsushita Electric Ind Co Ltd Optical head
JP3450792B2 (ja) 1999-03-25 2003-09-29 キヤノン株式会社 奥行き画像計測装置及び方法、並びに複合現実感提示システム
US6751344B1 (en) 1999-05-28 2004-06-15 Champion Orthotic Investments, Inc. Enhanced projector system for machine vision
GB0008303D0 (en) 2000-04-06 2000-05-24 British Aerospace Measurement system and method
US6826299B2 (en) 2000-07-31 2004-11-30 Geodetic Services, Inc. Photogrammetric image correlation and measurement system and method
US6850872B1 (en) 2000-08-30 2005-02-01 Microsoft Corporation Facial image processing methods and systems
US7554737B2 (en) 2000-12-20 2009-06-30 Riake Corporation Illumination device and method using adaptable source and output format
US6895115B2 (en) 2001-04-23 2005-05-17 The United States Of America As Represented By The United States National Aeronautics And Space Administration Method for implementation of recursive hierarchical segmentation on parallel computers
CN1298175C (zh) 2001-07-06 2007-01-31 以克斯普雷有限公司 图像投影装置和方法
JP4635392B2 (ja) 2001-08-09 2011-02-23 コニカミノルタホールディングス株式会社 ３次元物体の表面形状モデリング装置、および、プログラム
US6940538B2 (en) 2001-08-29 2005-09-06 Sony Corporation Extracting a depth map from known camera and model tracking data
RU2237284C2 (ru) 2001-11-27 2004-09-27 Самсунг Электроникс Ко., Лтд. Способ генерирования структуры узлов, предназначенных для представления трехмерных объектов с использованием изображений с глубиной
US7762964B2 (en) 2001-12-10 2010-07-27 Candela Corporation Method and apparatus for improving safety during exposure to a monochromatic light source
JP4075418B2 (ja) 2002-03-15 2008-04-16 ソニー株式会社 画像処理装置及び画像処理方法、印刷物製造装置及び印刷物製造方法、並びに印刷物製造システム
US6771271B2 (en) 2002-06-13 2004-08-03 Analog Devices, Inc. Apparatus and method of processing image data
US7399220B2 (en) 2002-08-02 2008-07-15 Kriesel Marshall S Apparatus and methods for the volumetric and dimensional measurement of livestock
CN1176351C (zh) 2002-10-09 2004-11-17 天津大学 动态多分辨率的三维数字成像的方法及装置
CN1186671C (zh) 2002-10-09 2005-01-26 天津大学 投影结构光的产生方法及装置
JP2004135209A (ja) 2002-10-15 2004-04-30 Hitachi Ltd 広視野高解像度映像の生成装置及び方法
GB2395261A (en) 2002-11-11 2004-05-19 Qinetiq Ltd Ranging apparatus
US7103212B2 (en) 2002-11-22 2006-09-05 Strider Labs, Inc. Acquisition of three-dimensional images by an active stereo technique using locally unique patterns
US7154157B2 (en) 2002-12-30 2006-12-26 Intel Corporation Stacked semiconductor radiation sensors having color component and infrared sensing capability
JP3938120B2 (ja) 2003-09-17 2007-06-27 ノーリツ鋼機株式会社 画像処理装置、方法、及びプログラム
FR2870621B1 (fr) 2004-05-21 2006-10-27 Inst Francais Du Petrole Methode pour generer un maillage hybride conforme en trois dimensions d'une formation heterogene traversee par une ou plusieurs discontinuites geometriques dans le but de realiser des simulations
JP4011039B2 (ja) 2004-05-31 2007-11-21 三菱電機株式会社 撮像装置及び信号処理方法
DE102004029552A1 (de) 2004-06-18 2006-01-05 Peter Mäckel Verfahren zur Sichtbarmachung und Messung von Verformungen von schwingenden Objekten mittels einer Kombination einer synchronisierten, stroboskopischen Bildaufzeichnung mit Bildkorrelationsverfahren
US7315383B1 (en) * 2004-07-09 2008-01-01 Mohsen Abdollahi Scanning 3D measurement technique using structured lighting and high-speed CMOS imager
US20080094406A1 (en) 2004-08-11 2008-04-24 Koninklijke Philips Electronics, N.V. Stripe-Based Image Data Storage
WO2006025271A1 (ja) 2004-09-03 2006-03-09 Konica Minolta Opto, Inc. カップリングレンズ及び光ピックアップ装置
JP4883517B2 (ja) 2004-11-19 2012-02-22 学校法人福岡工業大学 三次元計測装置および三次元計測方法並びに三次元計測プログラム
US7719533B2 (en) 2004-11-24 2010-05-18 General Electric Company Graph extraction labelling and visualization
US7367682B2 (en) 2004-12-07 2008-05-06 Symbol Technologies, Inc. Color image projection arrangement and method
JP2008537190A (ja) 2005-01-07 2008-09-11 ジェスチャー テック，インコーポレイテッド 赤外線パターンを照射することによる対象物の三次元像の生成
JP4506501B2 (ja) 2005-02-21 2010-07-21 株式会社日立製作所 画像合成装置及び撮像システム
US7512262B2 (en) 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
US7295771B2 (en) 2005-04-25 2007-11-13 Delphi Technologies, Inc. Method and apparatus for minimizing ambient illumination effects in a vision system
JP4577126B2 (ja) 2005-07-08 2010-11-10 オムロン株式会社 ステレオ対応づけのための投光パターンの生成装置及び生成方法
JP5001286B2 (ja) 2005-10-11 2012-08-15 プライム センス リミティド 対象物再構成方法およびシステム
US20070145273A1 (en) 2005-12-22 2007-06-28 Chang Edward T High-sensitivity infrared color camera
US7821552B2 (en) 2005-12-27 2010-10-26 Sanyo Electric Co., Ltd. Imaging apparatus provided with imaging device having sensitivity in visible and infrared regions
JP4466569B2 (ja) 2006-01-10 2010-05-26 株式会社豊田中央研究所 カラー画像再生装置
DE102006007170B4 (de) 2006-02-08 2009-06-10 Sirona Dental Systems Gmbh Verfahren und Anordnung zur schnellen und robusten chromatisch konfokalen 3D-Messtechnik
CN101501442B (zh) 2006-03-14 2014-03-19 普莱姆传感有限公司 三维传感的深度变化光场
JP5174684B2 (ja) 2006-03-14 2013-04-03 プライムセンス リミテッド スペックル・パターンを用いた三次元検出
US7970177B2 (en) 2006-03-23 2011-06-28 Tyzx, Inc. Enhancing stereo depth measurements with projected texture
GB0718706D0 (en) 2007-09-25 2007-11-07 Creative Physics Ltd Method and apparatus for reducing laser speckle
CN101443809A (zh) 2006-05-09 2009-05-27 皇家飞利浦电子股份有限公司 可编程数据处理电路
WO2008037282A1 (en) * 2006-09-28 2008-04-03 B.E.A. S.A. Sensor for presence detection
WO2008133650A2 (en) 2006-11-07 2008-11-06 Rudolph Technologies, Inc. Method and system for providing a high definition triangulation system
EP2084491A2 (en) 2006-11-21 2009-08-05 Mantisvision Ltd. 3d geometric modeling and 3d video content creation
US8090194B2 (en) 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
JP5129267B2 (ja) 2007-01-10 2013-01-30 スリーディー システムズ インコーポレーテッド 改良された色、物品性能及び使用の容易さ、を持つ３次元印刷材料システム
US8326020B2 (en) 2007-02-28 2012-12-04 Sungkyunkwan University Foundation Structural light based depth imaging method and system using signal separation coding, and error correction thereof
US7683962B2 (en) 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
FR2914422B1 (fr) 2007-03-28 2009-07-03 Soitec Silicon On Insulator Procede de detection de defauts de surface d'un substrat et dispositif mettant en oeuvre ledit procede.
AU2008244493A1 (en) 2007-04-23 2008-11-06 California Institute Of Technology Single-lens, single-aperture, single-sensor 3-D imaging device
JP2008288629A (ja) 2007-05-15 2008-11-27 Sony Corp 画像信号処理装置、撮像素子、および画像信号処理方法、並びにコンピュータ・プログラム
JP5018282B2 (ja) 2007-07-04 2012-09-05 マツダ株式会社 製品の３次元形状モデルデータ作成方法
WO2009018647A1 (en) 2007-08-08 2009-02-12 Tony Mayer Non-retro-reflective license plate imaging system
US7933056B2 (en) 2007-09-26 2011-04-26 Che-Chih Tsao Methods and systems of rapid focusing and zooming for volumetric 3D displays and cameras
US8662707B2 (en) 2007-10-02 2014-03-04 Doubleshot, Inc. Laser beam pattern projector
US8446470B2 (en) * 2007-10-04 2013-05-21 Magna Electronics, Inc. Combined RGB and IR imaging sensor
IL191615A (en) 2007-10-23 2015-05-31 Israel Aerospace Ind Ltd A method and system for producing tie points for use in stereo adjustment of stereoscopic images and a method for identifying differences in the landscape taken between two time points
US8384997B2 (en) 2008-01-21 2013-02-26 Primesense Ltd Optical pattern projection
US7958468B2 (en) 2008-02-21 2011-06-07 Oracle America, Inc. Unidirectional relabeling for subcircuit recognition
US8788990B2 (en) 2008-02-21 2014-07-22 Oracle America, Inc. Reuse of circuit labels in subcircuit recognition
US7861193B2 (en) 2008-02-21 2010-12-28 Oracle America, Inc. Reuse of circuit labels for verification of circuit recognition
US8368753B2 (en) 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
RU2510235C2 (ru) 2008-03-18 2014-03-27 Новадак Текнолоджиз Инк. Система визуализации для получения комбинированного изображения из полноцветного изображения в отраженном свете и изображение в ближней инфракрасной области
US8405727B2 (en) * 2008-05-01 2013-03-26 Apple Inc. Apparatus and method for calibrating image capture devices
NZ567986A (en) 2008-05-02 2010-08-27 Auckland Uniservices Ltd Real-time stereo image matching system
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5317169B2 (ja) 2008-06-13 2013-10-16 洋 川崎 画像処理装置、画像処理方法およびプログラム
JP4513905B2 (ja) 2008-06-27 2010-07-28 ソニー株式会社 信号処理装置、信号処理方法、プログラム及び記録媒体
KR101530930B1 (ko) 2008-08-19 2015-06-24 삼성전자주식회사 패턴투영장치, 이를 구비한 3차원 이미지 형성장치, 및 이에 사용되는 초점 가변 액체렌즈
US8442940B1 (en) 2008-11-18 2013-05-14 Semantic Research, Inc. Systems and methods for pairing of a semantic network and a natural language processing information extraction system
JP5430138B2 (ja) 2008-12-17 2014-02-26 株式会社トプコン 形状測定装置およびプログラム
CN101509764A (zh) 2009-02-27 2009-08-19 东南大学 一种快速获取物体三维形状的方法
DE102009001889A1 (de) 2009-03-26 2010-09-30 Robert Bosch Gmbh Lasermarkierung mit Koordinatensystem
US8823775B2 (en) 2009-04-30 2014-09-02 Board Of Regents, The University Of Texas System Body surface imaging
US9582889B2 (en) 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
US8204904B2 (en) 2009-09-30 2012-06-19 Yahoo! Inc. Network graph evolution rule generation
KR101173668B1 (ko) 2009-10-27 2012-08-20 서울대학교산학협력단 다중 공간 주파수를 이용한 3차원 물체의 깊이 측정 방법 및 그 장치
US9047674B2 (en) 2009-11-03 2015-06-02 Samsung Electronics Co., Ltd. Structured grids and graph traversal for image processing
KR101377325B1 (ko) 2009-12-21 2014-03-25 한국전자통신연구원 스테레오 영상, 다시점 영상 및 깊이 영상 획득 카메라 장치 및 그 제어 방법
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US20110222757A1 (en) 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
JP2011191221A (ja) 2010-03-16 2011-09-29 Sanyo Electric Co Ltd 物体検出装置および情報取得装置
US8619143B2 (en) 2010-03-19 2013-12-31 Pixim, Inc. Image sensor including color and infrared pixels
WO2011152634A2 (ko) 2010-05-29 2011-12-08 Lee Moon Key 모니터 기반 증강현실 시스템
US8670029B2 (en) 2010-06-16 2014-03-11 Microsoft Corporation Depth camera illuminator with superluminescent light-emitting diode
EP2400261A1 (de) 2010-06-21 2011-12-28 Leica Geosystems AG Optisches Messverfahren und Messsystem zum Bestimmen von 3D-Koordinaten auf einer Messobjekt-Oberfläche
GB2481459B (en) 2010-06-25 2017-05-03 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E V Capturing a surface structure of an object surface
US8357899B2 (en) 2010-07-30 2013-01-22 Aptina Imaging Corporation Color correction circuitry and methods for dual-band imaging systems
US9036158B2 (en) * 2010-08-11 2015-05-19 Apple Inc. Pattern projector
DE102010039246A1 (de) 2010-08-12 2012-02-16 Robert Bosch Gmbh Verfahren zum Kalibrieren eines Messsystems und Vorrichtung zum Durchführen des Verfahrens
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US8903119B2 (en) 2010-10-11 2014-12-02 Texas Instruments Incorporated Use of three-dimensional top-down views for business analytics
JP5787508B2 (ja) 2010-11-11 2015-09-30 キヤノン株式会社 回折光学素子及び光学系
US20120154397A1 (en) 2010-12-03 2012-06-21 Old Dominion University Research Foundation Method and system for generating mesh from images
KR101694292B1 (ko) 2010-12-17 2017-01-09 한국전자통신연구원 스테레오 영상 정합 장치 및 그 방법
CN102867328B (zh) 2011-01-27 2014-04-23 深圳泰山在线科技有限公司 一种物体表面重建的系统
US9247238B2 (en) 2011-01-31 2016-01-26 Microsoft Technology Licensing, Llc Reducing interference between multiple infra-red depth cameras
DE102011004663B4 (de) * 2011-02-24 2018-11-22 Robert Bosch Gmbh Vorrichtung zur Fahrzeugvermessung
KR101289595B1 (ko) 2011-02-28 2013-07-24 이경자 격자패턴투영장치
KR101792501B1 (ko) 2011-03-16 2017-11-21 한국전자통신연구원 특징기반의 스테레오 매칭 방법 및 장치
KR101801355B1 (ko) 2011-03-25 2017-11-24 엘지전자 주식회사 회절 소자와 광원을 이용한 대상물의 거리 인식 장치
US8718748B2 (en) 2011-03-29 2014-05-06 Kaliber Imaging Inc. System and methods for monitoring and assessing mobility
JP5979500B2 (ja) * 2011-04-07 2016-08-24 パナソニックＩｐマネジメント株式会社 立体撮像装置
CN102760234B (zh) 2011-04-14 2014-08-20 财团法人工业技术研究院 深度图像采集装置、系统及其方法
US8760499B2 (en) 2011-04-29 2014-06-24 Austin Russell Three-dimensional imager and projection device
WO2012151173A1 (en) 2011-05-02 2012-11-08 Faro Technologies, Inc. Three-dimensional scanner for hand-held phones
US9536312B2 (en) 2011-05-16 2017-01-03 Microsoft Corporation Depth reconstruction using plural depth capture units
US9245307B2 (en) * 2011-06-01 2016-01-26 Empire Technology Development Llc Structured light projection for motion detection in augmented reality
CN102831380A (zh) 2011-06-15 2012-12-19 康佳集团股份有限公司 一种基于深度图像感应的肢体动作识别方法及系统
US9530192B2 (en) 2011-06-30 2016-12-27 Kodak Alaris Inc. Method for determining stereo quality score and automatically improving the quality of stereo images
CN104024936A (zh) 2011-07-29 2014-09-03 惠普发展公司，有限责任合伙企业 投影捕获系统，程序和方法
US8867825B2 (en) 2011-08-30 2014-10-21 Thompson Licensing Method and apparatus for determining a similarity or dissimilarity measure
AU2012307095B2 (en) 2011-09-07 2017-03-30 Commonwealth Scientific And Industrial Research Organisation System and method for three-dimensional surface imaging
US9285871B2 (en) 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Personal audio/visual system for providing an adaptable augmented reality environment
US9248623B2 (en) 2011-10-14 2016-02-02 Makerbot Industries, Llc Grayscale rendering in 3D printing
US9098908B2 (en) 2011-10-21 2015-08-04 Microsoft Technology Licensing, Llc Generating a depth map
US20140098342A1 (en) 2011-11-04 2014-04-10 The General Hospital Corporation System and method for corneal irradiation
JP5910043B2 (ja) * 2011-12-02 2016-04-27 富士通株式会社 撮像装置、画像処理プログラム、画像処理方法、および画像処理装置
JP5898484B2 (ja) 2011-12-19 2016-04-06 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
CN102572485B (zh) 2012-02-02 2015-04-22 北京大学 一种自适应加权立体匹配算法、立体显示采集装置及系统
US20130229396A1 (en) * 2012-03-05 2013-09-05 Kenneth J. Huebner Surface aware, object aware, and image aware handheld projector
JP5994715B2 (ja) 2012-04-10 2016-09-21 パナソニックＩｐマネジメント株式会社 計算機ホログラム型表示装置
KR20130120730A (ko) 2012-04-26 2013-11-05 한국전자통신연구원 변이 공간 영상의 처리 방법
US9514522B2 (en) 2012-08-24 2016-12-06 Microsoft Technology Licensing, Llc Depth data processing and compression
US9332243B2 (en) 2012-10-17 2016-05-03 DotProduct LLC Handheld portable optical scanner and method of using
US10674135B2 (en) 2012-10-17 2020-06-02 DotProduct LLC Handheld portable optical scanner and method of using
US9117267B2 (en) 2012-10-18 2015-08-25 Google Inc. Systems and methods for marking images for three-dimensional image generation
US20140120319A1 (en) 2012-11-01 2014-05-01 Benjamin E. Joseph 3d mapping using structured light and formation of custom surface contours
KR20140075163A (ko) 2012-12-11 2014-06-19 한국전자통신연구원 구조광 방식을 활용한 패턴 프로젝팅 방법 및 장치
US10049281B2 (en) 2012-11-12 2018-08-14 Shopperception, Inc. Methods and systems for measuring human interaction
BR112015012073A2 (pt) * 2012-11-29 2017-07-11 Koninklijke Philips Nv dispositivo de laser para projetar um padrão de luz estruturada sobre uma cena, e uso de um dispositivo
DE202012104890U1 (de) * 2012-12-14 2013-03-05 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
US9298945B2 (en) 2012-12-26 2016-03-29 Elwha Llc Ad-hoc wireless sensor package
US9292927B2 (en) 2012-12-27 2016-03-22 Intel Corporation Adaptive support windows for stereoscopic image correlation
US9251590B2 (en) 2013-01-24 2016-02-02 Microsoft Technology Licensing, Llc Camera pose estimation for 3D reconstruction
US20140241612A1 (en) 2013-02-23 2014-08-28 Microsoft Corporation Real time stereo matching
US20140293011A1 (en) 2013-03-28 2014-10-02 Phasica, LLC Scanner System for Determining the Three Dimensional Shape of an Object and Method for Using
US9191643B2 (en) 2013-04-15 2015-11-17 Microsoft Technology Licensing, Llc Mixing infrared and color component data point clouds
US20140307055A1 (en) 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
US20140320605A1 (en) 2013-04-25 2014-10-30 Philip Martin Johnson Compound structured light projection system for 3-D surface profiling
CN103308517B (zh) 2013-05-21 2015-09-30 谢绍鹏 中药颜色客观化方法及中药图像获取装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010504522A (ja) * 2006-09-21 2010-02-12 トムソン ライセンシング ３次元モデル取得のための方法及びシステム

Also Published As

Publication number Publication date
CN105229696A (zh) 2016-01-06
EP2986935A1 (en) 2016-02-24
US9922249B2 (en) 2018-03-20
US9508003B2 (en) 2016-11-29
US20180173947A1 (en) 2018-06-21
CN105229411B (zh) 2019-09-03
US9760770B2 (en) 2017-09-12
CN105210112B (zh) 2019-08-30
US20140307953A1 (en) 2014-10-16
WO2014172276A1 (en) 2014-10-23
US10928189B2 (en) 2021-02-23
EP2987138A1 (en) 2016-02-24
MX2015014577A (es) 2017-02-15
US10816331B2 (en) 2020-10-27
US20140307057A1 (en) 2014-10-16
WO2014172227A1 (en) 2014-10-23
CN105247859B (zh) 2019-11-29
US20140307055A1 (en) 2014-10-16
EP2987132A1 (en) 2016-02-24
RU2015143654A (ru) 2017-04-28
KR20150140838A (ko) 2015-12-16
CN105210112A (zh) 2015-12-30
CA2907895A1 (en) 2014-10-23
US20180260623A1 (en) 2018-09-13
US20140309764A1 (en) 2014-10-16
US20230332886A1 (en) 2023-10-19
EP3757510B1 (en) 2022-06-29
EP2986931A1 (en) 2016-02-24
JP2016522889A (ja) 2016-08-04
US9928420B2 (en) 2018-03-27
US20140310496A1 (en) 2014-10-16
US20140307047A1 (en) 2014-10-16
CN105230003A (zh) 2016-01-06
US20150078672A1 (en) 2015-03-19
CN105308650B (zh) 2020-09-25
BR112015025819A8 (pt) 2019-12-24
CN105308650A (zh) 2016-02-03
CN105229412A (zh) 2016-01-06
EP2987323A1 (en) 2016-02-24
EP2987132B1 (en) 2017-11-01
CN105247859A (zh) 2016-01-13
WO2014172231A1 (en) 2014-10-23
AU2014254219B2 (en) 2017-07-27
EP2987323B1 (en) 2020-10-21
US10929658B2 (en) 2021-02-23
RU2663329C2 (ru) 2018-08-03
US20140307307A1 (en) 2014-10-16
US20140307058A1 (en) 2014-10-16
CA2907895C (en) 2020-10-27
CN105229411A (zh) 2016-01-06
CN105229412B (zh) 2018-12-07
US20140307098A1 (en) 2014-10-16
WO2014172221A1 (en) 2014-10-23
KR20150140841A (ko) 2015-12-16
CN105230003B (zh) 2019-07-16
EP3757510A1 (en) 2020-12-30
EP2986935B1 (en) 2021-03-31
EP2987320B1 (en) 2021-02-03
JP6469080B2 (ja) 2019-02-13
EP2986936A1 (en) 2016-02-24
EP2986936B1 (en) 2020-08-26
WO2014172228A1 (en) 2014-10-23
WO2014172222A1 (en) 2014-10-23
EP2987138B1 (en) 2021-09-22
US10268885B2 (en) 2019-04-23
EP2987320A1 (en) 2016-02-24
US20180218210A1 (en) 2018-08-02
KR102130187B1 (ko) 2020-07-03
WO2014172223A1 (en) 2014-10-23
US9697424B2 (en) 2017-07-04
US9959465B2 (en) 2018-05-01
EP2987131A1 (en) 2016-02-24
WO2014172229A1 (en) 2014-10-23
CN105143817A (zh) 2015-12-09
BR112015025819A2 (pt) 2017-07-25
MX357307B (es) 2018-07-04
AU2014254219A1 (en) 2015-10-22
CN105143817B (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
US10816331B2 (en) Super-resolving depth map by moving pattern projector
KR101879478B1 (ko) 레이저 깊이 지도 레인지를 확대하는 방법
US8660362B2 (en) Combined depth filtering and super resolution
CA2786439C (en) Depth camera compatibility
US9049428B2 (en) Image generation system, image generation method, and information storage medium
CA2786436C (en) Depth camera compatibility
US10101154B2 (en) System and method for enhanced signal to noise ratio performance of a depth camera system
US20170374331A1 (en) Auto keystone correction and auto focus adjustment
US20130207962A1 (en) User interactive kiosk with three-dimensional display
US9261974B2 (en) Apparatus and method for processing sensory effect of image data

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant