RU2663329C2 - Активная стереосистема с использованием сопутствующего устройства или устройств - Google Patents

Активная стереосистема с использованием сопутствующего устройства или устройств Download PDF

Info

Publication number
RU2663329C2
RU2663329C2 RU2015143654A RU2015143654A RU2663329C2 RU 2663329 C2 RU2663329 C2 RU 2663329C2 RU 2015143654 A RU2015143654 A RU 2015143654A RU 2015143654 A RU2015143654 A RU 2015143654A RU 2663329 C2 RU2663329 C2 RU 2663329C2
Authority
RU
Russia
Prior art keywords
image
computing device
orientation
data
companion
Prior art date
Application number
RU2015143654A
Other languages
English (en)
Other versions
RU2015143654A (ru
Inventor
Адам Г. КИРК
Оливер А. УАЙТ
Кристоф РЕМАНН
Шахрам ИЗАДИ
Original Assignee
МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи filed Critical МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи
Publication of RU2015143654A publication Critical patent/RU2015143654A/ru
Application granted granted Critical
Publication of RU2663329C2 publication Critical patent/RU2663329C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/30—Auxiliary operations or equipment
    • B29C64/386—Data acquisition or data processing for additive manufacturing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4205—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/44—Grating systems; Zone plate systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1876—Diffractive Fresnel lenses; Zone plates; Kinoforms
    • G02B5/189—Structurally combined with optical elements not having diffractive power
    • G02B5/1895—Structurally combined with optical elements not having diffractive power such optical elements having dioptric power
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3024—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a central processing unit [CPU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0207—Addressing or allocation; Relocation with multidimensional access, e.g. row/column, matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/0292—User address space allocation, e.g. contiguous or non contiguous base addressing using tables or multilevel address translation means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/3004—Arrangements for executing specific machine instructions to perform operations on memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/3004—Arrangements for executing specific machine instructions to perform operations on memory
    • G06F9/30043—LOAD or STORE instructions; Clear instruction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30098—Register arrangements
    • G06F9/3012—Organisation of register space, e.g. banked or distributed register file
    • G06F9/30123—Organisation of register space, e.g. banked or distributed register file according to context, e.g. thread buffers
    • G06F9/30127—Register windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4233—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Materials Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Manufacturing & Machinery (AREA)
  • Mechanical Engineering (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Lenses (AREA)
  • User Interface Of Digital Computer (AREA)
  • Power Engineering (AREA)
  • Image Analysis (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Measurement Of Optical Distance (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Color Television Image Signal Generators (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)

Abstract

Группа изобретений относится к технологиям обработки изображений. Техническим результатом является обеспечение получения более точной карты глубин. Предложен способ определения карты глубин. Способ содержит этап, на котором принимают связанные с изображением данные от первого устройства захвата изображений на сопутствующем вычислительном устройстве, причем связанные с изображением данные содержат сцену, подсвеченную проецируемым световым рисунком. Далее, согласно способу, принимают по меньшей мере одно изображение ориентации от второго устройства захвата изображений на сопутствующем вычислительном устройстве. Далее, принимают изображение, захваченное базовой станцией, при этом изображение содержит, по меньшей мере, часть подсвеченной сцены. Вычисляют карту глубин на основе, по меньшей мере отчасти, информации об ориентации сопутствующего вычислительного устройства и связанных с изображением данных. 3 н. и 17 з.п. ф-лы, 9 ил.

Description

УРОВЕНЬ ТЕХНИКИ
[0001] При активном зондировании глубины, как, например, используемом активными стереоскопическими системами, проектор проецирует рисунки света, такие как инфракрасные (ИК) точки или линии, чтобы подсветить зондируемую сцену. Следует отметить, что проектор может использовать лазер, который потребляет порядка 1 Вт мощности, а это значит, что проектор потребляет слишком много мощности, чтобы на практике встраиваться в небольшое сопутствующее устройство, такое как смартфон или планшет, и вместо этого, как правило, является частью устройства, подключенного к настенной розетке.
[0002] Проецируемые рисунки затем захватываются камерой/ датчиком (двумя или более в стереоскопических системах) с изображением (или изображениями), обрабатываемым для вычисления карты глубин или тому подобного. Например, в стереоскопических системах, стереоскопические камеры захватывают два изображения с разных точек обзора. Тогда, например, один из способов выполнить оценку глубины при наличии стереопары изображений состоит в том, чтобы найти соответствия между изображениями, например, чтобы соотнести проецируемые и воспринимаемые точки в левом изображении с аналогичными точками в правом изображении. После сопоставления, проецируемые рисунки в пределах изображений могут быть соотнесены друг с другом, и может использоваться триангуляция, возможно наряду с рассогласованиями между одной или более характеристиками соотнесенных точек (например, в том числе их интенсивностями), чтобы оценить глубину до объекта, засвеченного этой конкретной проецируемой точкой.
[0003] В большинстве сценариев камеры, которые захватывают стереоскопические изображения, выполняются с возможностью восприятия относительно большого пространства, такого как комната, которая может быть относительно большой. В результате объект на расстоянии, например, лицо, фигурирует только в относительно небольшом количестве элементов изображения в камере. Таким образом, недоступна достаточно детальная и/или точная оценка глубины, что необходимо для многих приложений, таких как распознавание лиц и т.д.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0004] Настоящий раздел «Сущность изобретения» приводится для того, чтобы в упрощенной форме представить подборку представительных концепций, которые ниже дополнительно описаны в разделе «Подробное описание изобретения». Этот раздел «Сущность изобретения» не предназначен для выявления ключевых признаков или основных признаков заявленного изобретения, а также не предназначен для использования каким-либо образом, чтобы ограничивать объем заявленного изобретения.
[0005] Вкратце, один или несколько различных аспектов изобретения, описанного в данном документе, направлены на использование информации от сопутствующего (например, мобильного) устройства, чтобы расширить данные о глубине, вычисленные другим устройством, таким как базовая станция. Один или несколько аспектов направлены на прием связанных с изображением данных от сопутствующего устройства на другом устройстве и расширение первого набора данных о глубине, основываясь, по меньшей мере, частично на связанных с изображением данных и информации об ориентации сопутствующего устройства.
[0006] В одном или нескольких аспектах базовая станция выполняется с возможностью определения информации об ориентации сопутствующего устройства и захвата одного или нескольких изображений. Базовая станция принимает связанные с изображением данные от сопутствующего устройства и вычисляет карту глубин, основываясь, по меньшей мере, частично на информации об ориентации и связанных с изображением данных.
[0007] Один или несколько аспектов направлены на прием связанных с изображением данных от сопутствующего устройства на базовой станции и захват активно подсвечиваемых стереоскопических изображений на базовой станции. Определяется информация об ориентации, соответствующая сопутствующему устройству. Активно подсвечиваемые стереоскопические изображения обрабатываются, чтобы определить карту глубин с ракурса базовой станции, которая расширяется информацией о глубине, соответствующей связанным с изображением данным.
[0008] Другие преимущества могут стать очевидными из последующего подробного описания в совокупности с чертежами.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0009] Настоящее изобретение иллюстрируется для примера и не ограничивается прилагаемыми чертежами, на которых одинаковые ссылочные позиции указывают на подобные элементы, и на которых:
[0010] Фиг. 1 является представлением базовой станции, которая проецирует световой рисунок в сцену, при этом сопутствующее устройство захватывает, по меньшей мере, часть сцены, в соответствии с одной или несколькими иллюстративными реализациями.
[0011] Фиг. 2 является структурной схемой, представляющей иллюстративные компоненты, которые могут использоваться, чтобы проецировать и захватывать изображения для обработки с преобразованием в данные о глубине, в соответствии с одной или несколькими иллюстративными реализациями.
[0012] Фиг. 3 является структурной схемой, представляющей иллюстративную обработку данных базовой станции и сопутствующих данных с преобразованием в данные о глубине, в соответствии с одной или несколькими иллюстративными реализациями.
[0013] Фиг. 4 является структурной схемой, представляющей иллюстративную обработку данных одного сопутствующего устройства и данных другого сопутствующего устройства с преобразованием в данные о глубине, в соответствии с одной или несколькими иллюстративными реализациями.
[0014] Фиг. 5 является представлением сопутствующего устройства, выполненного с возможностью передачи сигнала на базовую станцию, в соответствии с одной или несколькими иллюстративными реализациями.
[0015] Фиг. 6А и 6B являются представлениями методов, которыми данные о глубине могут быть определены благодаря одной камере сопутствующего устройства, в соответствии с одной или несколькими иллюстративными реализациями.
[0016] Фиг. 7 является блок-схемой последовательности операций, представляющей иллюстративные этапы получения связанных с изображением данных от сопутствующего устройства для использования при определении карты глубин, в соответствии с одной или несколькими иллюстративными реализациями.
[0017] Фиг. 8 является структурной схемой, представляющей не имеющую ограничительного характера иллюстративную вычислительную систему или операционную среду, в форме мобильного устройства, в которой могут быть реализованы один или несколько аспектов различных вариантов осуществления, описанных в данном документе.
ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
[0018] Различные аспекты технологии, описанной в данном документе, в целом направлены на использование сопутствующих (например, мобильных) устройств, таких как смартфоны и планшетные компьютеры, для сообщения информации на базовую станцию активной подсветки и от нее, например, для улучшения зондирования глубины, предоставления более детального изображения и/или оценки ориентации. В то же время сопутствующие устройства пользуются активной подсветкой от базовой станции для своего собственного активного зондирования, благодаря чему сопутствующим устройствам не нужно потреблять мощность батареи для проецирования светового рисунка.
[0019] В одном или нескольких альтернативных вариантах множественные сопутствующие устройства могут использовать проецируемый свет от внешнего источника для сообщения вычисленных данных изображения/глубины/положения от одного к другому. Глубина и другие полезные данные относительно сцены, таким образом, могут быть доступны устройствам без потребности в стационарной базовой станции.
[0020] Следует понимать, что ни один из примеров в данном документе не имеет ограничительного характера. К примеру, в то время как сопутствующие устройства, как правило, в данном документе иллюстрируются на примере мобильного устройства, вспомогательное устройство (или больше одного) может позиционироваться как «стационарный спутник», который может быть откалиброван с помощью базовой станции при необходимости. Это может использоваться, чтобы обеспечить камеру, которая находится ближе к некоторой значимой части сцены, например. Таким образом, как используется в данном документе, термин «сопутствующее» не обязательно должен подразумевать мобильное и может включать в себя любое вспомогательное устройство. В качестве другого примера, времяпролетные камеры могут использоваться для определения, по меньшей мере, некоторых данных. По существу, настоящее изобретение не ограничивается никакими конкретными вариантами осуществления, аспектами, концепциями, структурами, функциональными возможностями или примерами, описанными в данном документе. Наоборот, никакие из вариантов осуществления, аспектов, концепций, структур, функциональных возможностей или примеров, описанных в данном документе, не имеют ограничительного характера, и настоящее изобретение может быть использовано различными способами, которые обеспечивают достоинства и преимущества при активном зондировании глубины и захвате изображений и обработке в целом.
[0021] Фиг. 1 иллюстрирует на примере одну реализацию, в которой базовая станция 100 включает в себя стереоскопические (например, инфракрасные) камеры 101 и 102, которые захватывают изображения сцены 104 с разных ракурсов. Проектор 106 подсвечивает сцену 104 световым рисунком (например, порядка 100000 точек). Световой рисунок может быть псевдослучайным, и может быть сгенерирован в результате излучения лазерного света через дифракционный оптический элемент. Для краткости, точки/компоненты испускаемого рисунка, как правило, упоминаются в данном документе как точечные элементы, хотя вместо этого могут генерироваться и восприниматься линейные рисунки, подсветки других форм и т.д.
[0022] Камеры 102 и 103 захватывают точечные элементы по мере того, как они отражаются от поверхностей объектов в сцене 222 и (возможно) фона. В общем случае, точечные элементы, воспринимаемые одной камерой (например, 102), могут быть соотнесены с точечными элементами, воспринимаемыми другой камерой (например, 103), с помощью обработки 108 изображений (например, системы или подсистемы), тем самым предоставляя (например, с помощью триангуляции) расстояние до отражающей поверхности, на которую падал каждый точечный элемент. Обратим внимание на то, что Фиг. 1 не предполагает ни выполнения в масштабе, ни передачи каких-либо размеров, расстояния, рисунка распределения точечных элементов, плотности точечных элементов и так далее.
[0023] Базовая станция 100 также может включать в себя камеру без содержания ИК-излучения, например, камеру с фильтром, который блокирует рисунок активной подсветки и/или RGB камеру, которая захватывает видимый свет; если присутствуют обе, они могут быть объединены в одну камеру. Камера 112 на Фиг. 1 представляет любой из этих вариантов.
[0024] Как показано на Фиг. 1, одним из объектов, воспринимаемых в сцене 104, может быть сопутствующее устройство 110, такое как мобильный смартфон или планшетное вычислительное устройство. В то же время сопутствующее устройство 110 может воспринимать другие объекты в сцене, например, в том числе их глубину, например, с помощью стереоскопических ИК камер, которые воспринимают рисунок подсветки, а также, возможно, их изображения без содержания ИК-излучения и/или RGB изображения.
[0025] Фиг. 2 демонстрирует иллюстративную базовую станцию 100, в которой стереоскопические камеры 102 и 103 системы подсистемы 224 захвата изображений захватывают изображения, синхронизированные во времени (например, камеры «принудительно синхронизируются»). В одной из реализаций камеры захватывают инфракрасные (ИК) изображения, поскольку ИК-излучение не влияет на видимый образ (что очень выгодно, например, в видеоконференциях и приложениях моделирования объектов). Как можно легко понять, в некоторых сценариях, таких как студийная обстановка, могут присутствовать больше двух воспринимающих глубину ИК камер. Кроме того, в данной системе могут присутствовать одна или несколько других камер, такие как RGB камеры, и такие другие камеры могут использоваться, например, чтобы помогать совмещать изображения, соотносить пары точечных элементов в разных стереоскопических изображениях, и т.д.
[0026] На Фиг. 2, проектор 106 проецирует ИК рисунок на сцену. Благодаря подсвечиванию сцены относительно большим количеством распределенных инфракрасных точечных элементов, камеры 102 и 103 захватывают больше текстурных данных как части данных изображения в инфракрасной области спектра. Следует отметить, что размещение проектора 106 может быть вне камер (например, Фиг. 1), или между камерами (Фиг. 2) или в другом месте, таком как выше или ниже одной или обеих камер. Примеры в данном документе никоим образом не ограничивают того, где расположены камеры 102, 103 и/или проектор 106 относительно друг друга, и точно так же камеры могут быть помещены в разных позициях относительно друг друга.
[0027] В одной из реализаций иллюстративная система или подсистема 224 захвата изображений включает в себя управляющее устройство 228, которое через интерфейс 230 камеры управляет работой камер 102 и 103, и, при наличии, камеры 112. Приведенное в качестве примера управляющее устройство через интерфейс 232 проектора также управляет работой проектора 106. Например, камеры 102 и 103 синхронизируются (принудительно синхронизируются), чтобы захватывать стереоскопические изображения в одно и то же время, например, по сигналу от управляющего устройства (или по разным сигналам для каждой камеры). Проектор 106 может быть включенным или выключенным, работающим в прерывистом режиме, а также иметь иные один или несколько параметров с управляемыми изменениями, например.
[0028] Изображения, захваченные камерами 102 и 103 (и камерой 112, если имеется), предоставляются на систему или подсистему обработки 108 изображений, содержащую логические схемы, реализованные в аппаратных средствах и/или программном обеспечении (например, в форме машиночитаемых инструкций). В некоторых реализациях система 108 обработки изображений и система или подсистема 224 захвата изображений, или их части, могут быть объединены в одном устройстве. Например, устройство домашнего развлечения может включать в себя все компоненты, показанные на Фиг. 1 (а также и другие, не показанные). В других реализациях частично (или целиком) система или подсистема 224 захвата изображений, такая как камеры и проектор, может представлять собой отдельное устройство, которое подсоединяется к игровой приставке, персональному компьютеру, сопутствующему устройству, специализированному устройству обработки и/или тому подобному.
[0029] В одной или нескольких реализациях, система или подсистема 108 обработки изображений включает в себя обрабатывающее устройство (процессор) 240 и запоминающее устройство (память) 242, содержащее в себе один или несколько алгоритмов 244 обработки изображений. Одна или несколько карт 246 глубин могут быть получены с помощью алгоритмов 124, например, путем выделения совпадающих характеристик (например, точечных элементов и/или линий). Например, как известно, к примеру, описано в опубликованной заявке на патент США № 20130100256, разные точечные элементы или другие проецируемые элементы имеют разные характеристики при захвате, в том числе интенсивность (яркость), в зависимости от расстояния от проектора до отражающих поверхностей и/или расстояния от камеры до отражающих поверхностей. Как тоже известно, точечные элементы в разных изображениях, взятые в одно и то же время (например, в случае принудительно синхронизированных стереоскопических камер), могут быть соотнесены друг с другом, например, путем сопоставления небольших (например, RGB) участков между RGB изображениями одной и той же сцены, захваченной в один и тот же момент. Таким образом, для захваченных изображений, известные алгоритмы могут определить индивидуальные связанные с глубиной характеристики (карты глубин), путем сопоставления проецируемых световых компонентов (например, точечных элементов) в каждом изображении, используя триангуляцию/рассогласования определенных характеристик между сопоставленными точечными элементами для определения глубин. Это является одним из методов, которым может быть получена карта глубин с помощью обработки стереоскопических изображений.
[0030] Также на Фиг. 1 показаны один или несколько интерфейсов 132 базовой станции, например, для подключения клавиатуры, игрового контроллера, устройства отображения, координатно-указательного устройства, микрофона для речевых команд и/или тому подобного, при необходимости для пользователя взаимодействовать с приложением или тому подобным, которое использует карту глубин. По меньшей мере, один интерфейс 132 позволяет сопутствующему устройству 110 устанавливать связь (например, с помощью беспроводных технологий) с базовой станцией, как описывается в данном документе.
[0031] Одна или несколько реализаций содержат базовую станцию 100 в комнате, излучающую лазерный рисунок, чтобы вычислить глубину. Когда пользователь использует сопутствующее устройство 110, такое как смартфон или планшет, камера или стереоскопические камеры на сопутствующем устройстве 110 могут фиксировать излучаемый базовой станцией лазерный рисунок. Сопутствующее устройство 110, таким образом, может вычислить стереобазу, основываясь на этом внешне сгенерированном лазерном рисунке, а также сообщить информацию на базовую станцию 100.
[0032] Как описано в настоящем документе, данные от сопутствующего устройства могут использоваться для вычисления карты глубин с более высоким разрешением, чем может вычислить базовая станция; (заметим, что «более высокое разрешение», как используется в данном документе, не относится ни к одному из разрешений камер, а скорее к возможности захвата объекта с большим количеством элементов изображения, чем более отдаленной камерой на базовой станции, так как сопутствующее устройство находится ближе к объекту, например, к лицу пользователя). Помимо этого, может быть увеличено не только пространственное разрешение, но также и разрешение/точность по глубине. Информация изображения или данные, соответствующие этой информации (например, карта глубин, вычисленная в сопутствующем устройстве), могут быть переданы на базовый блок. Как используется в данном документе, «связанные с изображением данные» относятся к действительным данным изображения (одного или нескольких активно подсвечиваемых ИК и/или RGB изображений и/или изображений без содержания ИК-излучения и/или RGB изображений, в целом или частично), любым связанным с ними метаданным и/или любой соответствующей информации, полученной в результате обработки этих данных изображения, например, карте глубин. Таким образом, связанные с изображением данные могут быть сообщены на базовую станцию и от нее, и на сопутствующие устройства и от них.
[0033] Дополнительно, изображения и/или карты глубин, взятые на сопутствующем устройстве и на базовом блоке, могут быть соотнесены. Это обеспечивает оценку ориентации с шестью степенями свободы (6DoF) для местоположения мобильного блока относительно базового блока.
[0034] Оценка ориентации может быть определена путем совмещения изображений и/или путем сопоставления рисунков/соотнесения точечных элементов. В качестве примера, если сопутствующее устройство захватывает изображение, которое базовая станция тоже может воспринимать (например, пользователь или устройство не закрывают базовой станции «видимость» той же самой области), то элементы изображения (или соответствующие окружающие участки каждого элемента изображения) могут быть сопоставлены известными способами. Совмещение также может быть установлено путем приведения в соответствие данных о глубине, вычисленных со стороны базовой станции, с данными о глубине, вычисленными со стороны сопутствующего устройства. Ориентация сопутствующего устройства, таким образом, может быть оценена.
[0035] Это в общих чертах представлено на Фиг. 3, где базовая станция 300 проецирует световой рисунок от проектора 306, который воспринимается камерами 301 и 302 базовой станции, а также одной или несколькими камерами на сопутствующем устройстве 330 (может присутствовать более одного сопутствующего устройства). Камеры 301 и 302 обеспечивают изображения 332 базовой станции, которые подаются для обработки изображений вместе с данными 334 от сопутствующего устройства, которые могут представлять собой изображения или информацию, такую как карты глубин, полученные локально в результате обработки изображений на каждом сопутствующем устройстве.
[0036] Следует отметить, что, как обозначено пунктирными линиями от устройства 330, дополнительный (например, маломощный) проектор может быть включен в состав какого-то или всех из одного или нескольких сопутствующих устройств. Данные, проецируемые сопутствующим устройством, дополняют данные, проецируемые от базовой станции. Проектор в сопутствующем устройстве 330 может быть более низкой мощности, так как он ограничен по расстоянию, ограничен пространственно (например, очень разреженный рисунок, или сосредоточен лишь на небольшой области изображения) и/или ограничен по времени (например, излучает только через каждые несколько кадров).
[0037] Изображения 332 от базовой станции могут быть обработаны для определения ориентации/трехмерного расположения сопутствующего устройства 330. С учетом этой информации, обработка 308 изображений выводит данные 336 о глубине, которые могут быть обычными данными о глубине от собственных камер базовой станции, расширенными данными 334 от сопутствующего устройства. В общем случае, проецируемые точечные элементы, захваченные камерами базовой станции, могут соотноситься с точечными элементами, захваченными сопутствующим устройством, после корректировки для компенсации различий в размерах и т.п. из-за различий разрешений. Данные 338 об ориентации также могут выводиться, например, на другие сопутствующие устройства.
[0038] Следует отметить, что вместо предоставления сопутствующим устройством данных на базовую станцию для расширения ее данных изображения, базовая станция может отправлять приближенную карту глубин (вместе с ориентацией устройства) на сопутствующее устройство. Это может использоваться для повышения точности и/или уменьшения необходимых вычислений для собственной оценки глубины на стороне сопутствующего устройства.
[0039] Карта глубин базовой станции (а также RGB данные) может быть расширена путем понижающей передискретизации данных с более высоким разрешением до частичной карты глубин, которая объединяется с первоначальной картой глубин базовой станции в нужных координатах, после корректировки глубин для ориентации, чтобы повысить точность в этих координатах, например. Еще один метод, которым может быть расширена карта глубин на базовой станции, состоит в том, чтобы сохранять исходную карту глубин совместно с картой глубин более высокого разрешения (например, после корректировки глубин на основе ориентации), например. Таким образом, приложение, использующее карту глубин, может при необходимости «увеличить масштаб» до более детальных данных о глубине, например, если приложение должно быть не ограничено разрешением в элементах изображения исходной карты глубин.
[0040] Следует отметить, что некоторые мобильные устройства могут иметь фронтальную и тыловую камеры. Если это так, то одним из сценариев является использование камер для разных целей. Например, тыловая камера может использоваться, чтобы захватывать изображения для вычислений ориентации, тогда как фронтальная камера может захватывать изображения лица пользователя, например, что может использоваться для вычислений расширенных глубин.
[0041] Фиг. 4 демонстрирует другой альтернативный вариант, в котором множество сопутствующих устройств 440(1) - 440(n) выступают в роли одноранговых узлов и, как следствие, можно вычислить информацию о глубине для сцены без базовой станции. Тем не менее, так как сопутствующие устройства питаются от батареи, может задействоваться световой рисунок от внешнего проектора 406 (или больше одного). Следует отметить, что базовая станция, вообще говоря, представляет собой просто еще одно устройство, с той разницей, что, как правило, не является мобильным (устройство базовой станции может быть относительно компактным и портативным, но использует большой или стационарный источник энергии, и поэтому обычно не носится с собой, в отличие от планшетного устройства или смартфона).
[0042] Как показано на Фиг. 4, каждое из сопутствующих устройств 440(1)-440(n) обменивается своими данными с другими. Одно из устройств 440(2) показано как имеющее средство 408 обработки изображений, которое обрабатывает его собственные данные 442 изображений и данные 444 от других сопутствующих устройств, чтобы получить данные 446 о глубине, расширенные за счет данных одного или нескольких других сопутствующих устройств; следует понимать, что любое сопутствующее устройство может иметь подобные функциональные возможности обработки изображений и/или может принимать данные о глубине от другого сопутствующего устройства.
[0043] Согласно другому аспекту, Фиг. 5 демонстрирует сопутствующие устройства 550 и 552, выполненные с возможностью выдачи сигнала, например, чтобы быстро передавать идентификатор на базовую станцию 500 посредством инфракрасного света. Идентификатор может включать в себя информацию любого типа, включая тип устройства, функциональные возможности и т.д., или может быть использован для ее поиска. Сигнал также может помочь в более эффективном определении ориентации сопутствующего устройства.
[0044] Следует отметить, что вместо того, чтобы базовая станция идентифицировала сопутствующее устройство и/или оценивала его ориентацию, сопутствующие устройства могут идентифицировать базовую станцию, и оценивать свою собственную ориентацию, основываясь на этой информации. Это позволяет сопутствующему устройству определять свою ориентацию, не обязательно устанавливая связь с базовой станцией, что может быть полезным в некоторых ситуациях (например, при наличии относительно большого числа сопутствующих устройств).
[0045] Согласно другому аспекту, Фиг. 6A демонстрирует как сопутствующее устройство, перемещающееся в течение времени, может вычислить данные о глубине при помощи одной камеры. Поскольку точечные элементы неизменны, любое перемещение устройства изменяет позиции точечных элементов с предшествующего на новый ракурс камеры.
[0046] Фиг. 6B демонстрирует два проектора 606 и 607, воспринимаемых одной камерой на сопутствующем мобильном устройстве. Проецируемые рисунки могут быть разными, в результате чего сопутствующее устройство может отличать один источник от другого, или проекторы могут чередовать, какой из них осуществляет проецирование в данный момент времени, чтобы предоставить два разных ракурса на один и тот же зондируемый объект/сцену.
[0047] На самом деле, проектор может знать световой рисунок, а раз так, представляет собой, по сути, камеру обратного направления. А значит, один проектор и одна камера сопутствующего устройства могут использоваться для вычисления стереоскопических данных о глубине.
[0048] Фиг. 7 является упрощенной блок-схемой последовательности операций, представляющей иллюстративный набор этапов, которые могут быть совершены, чтобы получить расширенную информацию о глубине (а возможно, и другую информацию, такую как RGB изображения) с помощью сопутствующего устройства. Например, рассмотрим случай, когда прикладная программа, запущенная на базовой станции, или сопряженная с ней, хочет произвести детальное представление в увеличенном масштабе объекта, который находится относительно далеко от базовой станции, а приблизиться не очень легко или целесообразно. Хотя в нижеприведенных иллюстративных этапах описывается базовая станция, следует понимать, что другое мобильное устройство или набор устройств может использоваться вместо базовой станции.
[0049] На этапе 702 программа на базовой станции (или программа, связанная с ней), передает сообщение пользователю, давая указание пользователю направить сопутствующее устройство на объект, чтобы получить некоторые видеокадры в увеличенном масштабе. На этапе 704 пользователь делает это, в результате чего сопутствующее устройство начинает передавать данные (например, поток изображений или данные о глубине, полученные в результате их обработки) на базовую станцию. В каждом кадре, на этапе 706 базовая станция обрабатывает свои собственные захваченные изображения, чтобы определить ориентацию сопутствующей камеры и вычислить первоначальную карту глубин.
[0050] Этап 708 представляет собой прием данных от сопутствующего устройства; следует отметить, что, по меньшей мере, некоторые из этих этапов могут происходить параллельно и/или в ином порядке, например, некоторые или все данные могут быть приняты от сопутствующего устройства до, во время или после обработки на базовой станции. Дополнительно следует отметить, что вместо покадровой может использоваться какая-либо меньшая частота дискретизации, в зависимости от приложения.
[0051] Этап 710 представляет использование сопутствующих данных, чтобы расширить карту глубин более точными данными о глубине, например, и/или чтобы поддерживать отдельную карту глубин для захваченного объекта. Этап 712 повторяет технологический процесс, пока не наступит завершение, о чем пользователь уведомляется.
[0052] Пользователя можно попросить захватить видеоизображение объекта с разных направлений. Если проецируемый свет воспринимается сопутствующим устройством, пользователю можно дать указание повернуть объект так, чтобы разные части объекта были обращены к проектору в разное время (следует отметить, что пользователь не может видеть инфракрасный световой рисунок, а значит может не знать, что он проецируется, в связи с чем инструкция может состоять в том, чтобы повернуть объект в сторону устройства базовой станции). В качестве варианта, могут иметься множественные проекторы с разных направлений. Таким образом, может быть сгенерирована полная трехмерная сетка и т.п. объекта (с которой могут быть объединены данные RGB изображения), со значительно большей степенью детализации, чем способна захватить базовая станция.
[0053] Сопутствующее устройство и базовая станция (или другое мобильное устройство) могут работать совместно без вмешательства человека. Например, приложение на мобильном устройстве может обнаружить что-то представляющее интерес с помощью камеры устройства и сообщить данные изображения на базовую станцию. Периодически или по какому-то другому расписанию базовая станция может запрашивать одно или несколько изображений от сопутствующего устройства. Базовая станция (например, по указанию от приложения) может захотеть иметь улучшенное изображение того, на что (как известно из данных об ориентации) нацелена камера сопутствующего устройства. Например, это может исполняться для получения изображения с более высоким разрешением, когда это необходимо.
[0054] В качестве другого примера, данные от сопутствующего устройства могут использоваться, чтобы заменить данные в карте изображения, захваченной сопутствующим устройством или устройствами. В качестве конкретного примера рассмотрим случай, когда что-то блокирует нужную часть сцены с ракурса базовой станции, например, человек прошел перед интересующей частью сцены, которую сопутствующее устройство стремится захватить. С помощью сопутствующего устройства или набора сопутствующих устройств сцена может быть захвачена (под другим углом и, возможно, с другим разрешением), в результате чего глубины сцены (а также RGB данные или данные без содержания ИК-излучения) могут быть вычислены заново, как если бы человек не блокировал эту часть сцены.
ИЛЛЮСТРАТИВНАЯ РАБОЧАЯ СРЕДА
[0055] Фиг. 8 иллюстрирует пример подходящего мобильного устройства 800, на котором могут быть реализованы аспекты изобретения, описанного в данном документе. Мобильное устройство 800 является лишь одним примером устройства и не подразумевает предположения какого-либо ограничения в отношении области применения или функциональных характеристик аспектов изобретения, описанного в данном документе. Не следует истолковывать мобильное устройство 800 как имеющее какую-то зависимость или требование в части любого одного или комбинации компонентов, показанных в иллюстративном мобильном устройстве 800.
[0056] Со ссылкой на Фиг. 8, иллюстративное устройство для реализации аспектов изобретения, описанного в данном документе, включает в себя мобильное устройство 800. В некоторых вариантах осуществления, мобильное устройство 800 содержит сотовый телефон, переносное устройство, которое обеспечивает возможность голосовой связи с другими устройствами, какое-то другое устройство голосовой связи, и т.п. В этих вариантах осуществления мобильное устройство 800 может быть оснащено камерой для съемки, хотя это может и не требоваться в других вариантах осуществления. В других вариантах осуществления мобильное устройство 800 может содержать карманный персональный компьютер (КПК), переносное игровое устройство, компьютер типа «ноутбук», печатающее устройство, прибор, включающий в себя телевизионную приставку, центр воспроизведения аудиовизуальной информации, или другой прибор, другие мобильные устройства, и т.п. В дополнительных вариантах осуществления мобильное устройство 800 может содержать устройства, которые в общем смысле не считаются мобильными, такие как персональные компьютеры, обслуживающие узлы, и т.п.
[0057] Мобильное устройство может содержать переносной пульт дистанционного управления прибором или игрушкой, с дополнительной схемой для обеспечения управляющей логической схемы наряду со способом ввода данных на пульте дистанционного управления. Например, входной разъем или другой датчик приема данных может позволить изменить назначение устройства для передачи данных неуправляющего кода. Это может быть достигнуто без необходимости хранить значительный объем данных для передачи, например, устройство может выступать в роли ретранслятора данных для другого устройства (возможно, с некоторой буферизацией), такого как смартфон.
[0058] Компоненты мобильного устройства 800 могут включать в себя, но не ограничиваются этим, блок 805 обработки, системное запоминающее устройство 810, а также шину 815, которая соединяет различные системные компоненты, в том числе системное запоминающее устройство 810, с блоком 805 обработки. Шина 815 может включать в себя любой из нескольких типов шинных структур, в том числе шину запоминающего устройства, контроллер запоминающего устройства, периферийную шину, а также локальную шину, использующую любую из разнообразия шинных архитектур, и т.п. Шина 815 позволяет передавать данные между различными компонентами мобильного устройства 800.
[0059] Мобильное устройство 800 может включать в себя разнообразные машиночитаемые носители. Машиночитаемые носители могут быть любыми доступными носителями, к которым можно получить доступ при помощи мобильного устройства 800, и включают в себя как энергозависимые, так и энергонезависимые носители, как съемные, так и несъемные носители. В качестве примера, но не ограничения, машиночитаемые носители могут содержать компьютерные носители данных и средства связи. Компьютерные носители данных включают в себя энергозависимые и энергонезависимые, сменные и несъемные носители, реализованные любым способом или технологией для хранения информации, такой как машиночитаемые инструкции, структуры данных, программные модули или другие данные. Компьютерные носители данных включают в себя, но не ограничиваются этим, ОЗУ, ПЗУ, ЭСППЗУ, флэш-память или память, изготовленную по другой технологии, CD-ROM, цифровые универсальные диски (DVD) или другое хранилище на оптических дисках, магнитные кассеты, магнитную ленту, хранилище на магнитных дисках или другие магнитные устройства хранения данных, или любой другой носитель, который может использоваться для хранения нужной информации, и к которому можно получить доступ при помощи мобильного устройства 800.
[0060] Средства связи, как правило, воплощают машиночитаемые инструкции, структуры данных, программные модули или другие данные в модулированном сигнале данных, таком как несущая волна или иной транспортный механизм, и включают в себя любые средства доставки информации. Термин «модулированный сигнал данных» означает сигнал, у которого одна или несколько его характеристик установлены или изменены таким образом, чтобы кодировать информацию в сигнале. В качестве примера, но не ограничения, средства связи включают в себя проводные среды передачи данных, такие как проводная сеть или прямое проводное соединение, и беспроводные среды передачи данных, такие как акустические, РЧ, Bluetooth®, Беспроводной USB, инфракрасные, Wi-Fi, WiMAX и другие беспроводные среды передачи данных. Любые комбинации из вышеперечисленного тоже должны подпадать под определение машиночитаемых носителей.
[0061] Системное запоминающее устройство 810 включает в себя компьютерные носители данных в форме энергозависимого и/или энергонезависимого запоминающего устройства и может включать в себя постоянное запоминающее устройство (ПЗУ) и оперативное запоминающее устройство (ОЗУ). На мобильном устройстве, таком как сотовый телефон, код 820 операционной системы иногда вносится в ПЗУ, хотя в других вариантах осуществления это не требуется. Аналогично, приложения 825 часто помещаются в ОЗУ, хотя опять же, в других вариантах осуществления, приложения могут быть помещены в ПЗУ или в другое машиночитаемое запоминающее устройство. Динамическая область (HEAP) 830 обеспечивает запоминающее устройство для состояния, связанного с операционной системой 820 и прикладными программами 825. Например, операционная система 820 и прикладные программы 825 могут хранить переменные и структуры данных в динамической области 830 в процессе их работы.
[0062] Мобильное устройство 800 может также включать в себя другое съемное/несъемное, энергозависимое/энергонезависимое запоминающее устройство. В качестве примера Фиг. 8 иллюстрирует карту 835 флэш-памяти, накопитель 836 на жестких дисках, и карту 837 памяти. Накопитель 836 на жестких дисках может быть уменьшен в размерах, чтобы помещаться в гнездо для запоминающего устройства, например. Мобильное устройство 800 может взаимодействовать с этими типами энергонезависимого съемного запоминающего устройства через интерфейс 831 съемного запоминающего устройства или может соединяться через универсальную последовательную шину (USB), IEEE 8394, один или более проводной порт(ы) 840, или антенну(ы) 865. В этих вариантах осуществления съемные запоминающие устройства 835-437 могут взаимодействовать с мобильным устройством через модуль(и) 832 связи. В некоторых вариантах осуществления не все эти типы запоминающих устройств могут включаться в состав одного мобильного устройства. В других вариантах осуществления один или несколько этих и других типов съемных запоминающих устройств могут включаться в состав одного мобильного устройства.
[0063] В некоторых вариантах осуществления накопитель 836 на жестких дисках может соединяться таким образом, чтобы быть в меньшей степени съемным относительно мобильного устройства 800. Например, накопитель 836 на жестких дисках может соединяться с интерфейсом, таким как параллельный интерфейс обмена данными с накопителями информации (PATA), последовательный интерфейс обмена данными с накопителями информации (SATA), или иным, который может быть соединен с шиной 815. В таких вариантах осуществления извлечение накопителя на жестких дисках может предусматривать снятие крышки мобильного устройства 800 и извлечение винтов или других крепежных деталей, которые крепят накопитель 836 на жестких дисках, чтобы обеспечивать опору для конструктивных элементов в пределах мобильного устройства 800.
[0064] Съемные запоминающие устройства 835-437 и связанные с ними компьютерные носители данных, обсужденные выше и проиллюстрированные на Фиг. 8, обеспечивают хранение машиночитаемых инструкций, программных модулей, структур данных и других данных для мобильного устройства 800. Например, съемное запоминающее устройство или устройства 835-437 могут хранить изображения, полученные посредством мобильного устройства 800, голосовые записи, контактную информацию, программы, данные для программ и т.д.
[0065] Пользователь может вводить команды и информацию в мобильное устройство 800 через устройства ввода, такие как клавиатура 841 и микрофон 842. В некоторых вариантах осуществления устройство 843 отображения может быть чувствительным к прикосновению экраном и может позволять пользователю вводить команды и информацию на нем. Клавиатура 841 и устройство 843 отображения могут соединяться с блоком 805 обработки через интерфейс 850 ввода данных пользователем, который подсоединяется к шине 815, но может также соединяться при помощи других интерфейсных и шинных структур, таких как модуль(и) 832 связи и проводной порт(ы) 840. Обнаружение 852 движения может использоваться, чтобы определить жесты, сделанные с помощью устройства 800.
[0066] Пользователь может общаться с другими пользователями, говоря в микрофон 842 и с помощью текстовых сообщений, которые вводятся на клавиатуре 841 или чувствительном к прикосновению устройстве 843 отображения, например. Звуковой блок 855 может обеспечить электрические сигналы для приведения в действие динамика 844, а также приема и перевода в цифровую форму звуковых сигналов, принимаемых от микрофона 842.
[0067] Мобильное устройство 800 может включать в себя видеоблок 860, который обеспечивает сигналы для приведения в действие камеры 861. Видеоблок 860 может также принимать изображения, полученные с помощью камеры 861, и предоставлять эти изображения на блок 805 обработки и/или запоминающее устройство, входящие в состав мобильного устройства 800. Изображения, полученные с помощью камеры 861, могут содержать видеоизображение, одно или несколько изображений, которые не образуют видеоизображение, или какую-либо их комбинацию.
[0068] Модуль(и) 832 связи может предоставлять сигналы на одну или несколько антенну(ы) 865 и принимать сигналы от нее. Одна из антенн 865 может передавать и принимать сообщения для сотовой телефонной сети. Другая антенна может передавать и принимать сообщения Bluetooth®. Еще одна антенна (или общая антенна) может передавать и принимать сетевые сообщения через беспроводную сеть стандарта Ethernet.
[0069] Более того, антенна предоставляет основанную на местоположении информацию, например, сигналы GPS на интерфейс и механизм 872 GPS. В свою очередь, механизм 872 GPS делает доступными соответствующие данные GPS (например, время и координаты) для обработки.
[0070] В некоторых вариантах осуществления одна антенна может использоваться для передачи и/или приема сообщений более чем для одного типа сети. Например, одна антенна может передавать и принимать голосовые и пакетные сообщения.
[0071] При работе в сетевой среде, мобильное устройство 800 может соединяться с одним или несколькими удаленными устройствами. Удаленные устройства могут включать в себя персональный компьютер, обслуживающий узел, маршрутизатор, сетевой ПК, сотовый телефон, устройство воспроизведения аудиовизуальной информации, одноранговое устройство или другой общий сетевой узел, и обычно включают в себя многие или все элементы, описанные выше применительно к мобильному устройству 800.
[0072] Аспекты изобретения, описанного в данном документе, способны работать с многочисленными другими вычислительными системными средами или конфигурациями, общего назначения или специализированными. Примеры широко известных вычислительных систем, сред и/или конфигураций, которые могут подойти для использования с аспектами изобретения, описанного в данном документе, включают в себя, но не ограничиваются этим, персональные компьютеры, обслуживающие компьютеры, переносные или дорожные устройства, многопроцессорные системы, системы на базе микроконтроллеров, телевизионные приставки, программируемую бытовую электронику, сетевые ПК, миникомпьютеры, универсальные компьютеры, распределенные вычислительные среды, которые включают в себя любые из вышеупомянутых систем или устройств, и т.п.
[0073] Аспекты изобретения, описанного в данном документе, могут быть описаны в общем контексте исполняемых компьютером инструкций, таких как программные модули, исполняемые мобильным устройством. Как правило, программные модули включают в себя процедуры, программы, объекты, компоненты, структуры данных, и т.д., которые выполняют конкретные задачи или реализуют конкретные абстрактные типы данных. Аспекты изобретения, описанного в данном документе, также могут быть осуществлены на практике в распределенных вычислительных средах, где задачи выполняются удаленными устройствами обработки, которые связаны через сеть связи. В распределенной вычислительной среде программные модули могут быть расположены как на локальных, так и на удаленных компьютерных носителях данных, в том числе запоминающих устройствах хранения.
[0074] Кроме того, хотя термин обслуживающий узел может быть использован в данном документе, нужно отдавать себе отчет в том, что этот термин может также охватывать клиентский узел, набор из одного или нескольких процессов, распределенных по одному или нескольким компьютерам, одно или несколько автономных устройств хранения, набор из одного или нескольких других устройств, комбинации одного или более из вышеупомянутого, и т.п.
ЗАКЛЮЧЕНИЕ
[0075] Хотя настоящее изобретение и допускает различные модификации и альтернативные конструкции, некоторые освещенные его варианты осуществления продемонстрированы на чертежах и были подробно описаны выше. Однако следует понимать, что отсутствует цель ограничивать настоящее изобретение определенными раскрытыми формами, а наоборот, цель состоит в том, чтобы охватить все модификации, альтернативные конструкции и эквиваленты в рамках сущности и объема настоящего изобретения.

Claims (44)

1. Способ определения карты глубин, содержащий этапы, на которых:
принимают связанные с изображением данные от первого устройства захвата изображений на сопутствующем вычислительном устройстве, причем связанные с изображением данные содержат сцену, подсвеченную проецируемым световым рисунком;
принимают по меньшей мере одно изображение ориентации от второго устройства захвата изображений на сопутствующем вычислительном устройстве;
принимают изображение, захваченное базовой станцией, каковое изображение содержит, по меньшей мере, часть подсвеченной сцены;
выполняют одно из следующего:
прием информации об ориентации сопутствующего вычислительного устройства с использованием упомянутого по меньшей мере одного изображения ориентации, причем информация об ориентации определена сопутствующим вычислительным устройством, или
прием упомянутого по меньшей мере одного изображения ориентации от сопутствующего вычислительного устройства и определение информации об ориентации сопутствующего вычислительного устройства с использованием упомянутого по меньшей мере одного изображения ориентации; и
вычисляют карту глубин на основе, по меньшей мере отчасти, информации об ориентации сопутствующего вычислительного устройства и связанных с изображением данных.
2. Способ по п. 1, дополнительно содержащий этап, на котором расширяют набор данных о глубине, связанный с упомянутым изображением, на основе, по меньшей мере отчасти, информации об ориентации и связанных с изображением данных.
3. Способ по п. 1, в котором сопутствующее вычислительное устройство представляет собой мобильное устройство.
4. Способ по п. 2, в котором упомянутое расширение набора данных о глубине содержит этап, на котором заменяют, по меньшей мере, некоторые из данных о глубине в упомянутом наборе данных о глубине другими данными о глубине, соответствующими, по меньшей мере, части связанных с изображением данных.
5. Способ по п. 2, в котором упомянутое расширение набора данных о глубине содержит этап, на котором сохраняют первую карту глубин, соответствующую упомянутому набору данных о глубине, в привязке ко второй карте глубин, соответствующей связанным с изображением данным.
6. Способ по п. 1, дополнительно содержащий этапы, на которых принимают сигнал от сопутствующего вычислительного устройства и используют этот сигнал в определении информации об ориентации.
7. Способ по п. 1, дополнительно содержащий этап, на котором посылают в сопутствующее вычислительное устройство запрос предоставить связанные с изображением данные.
8. Способ по п. 7, дополнительно содержащий этап, на котором определят, когда посылать упомянутый запрос, на основе, по меньшей мере отчасти, информации об ориентации сопутствующего вычислительного устройства.
9. Способ по п. 1, дополнительно содержащий этап, на котором принимают по меньшей мере одно изображение, захваченное на сопутствующем вычислительном устройстве, каковое по меньшей мере одно изображение активно подсвечивается световым рисунком от проектора, отдельного от сопутствующего вычислительного устройства и базовой станции.
10. Способ по п. 1, дополнительно содержащий этап, на котором принимают, по меньшей мере, некоторые данные о глубине, вычисленные на сопутствующем вычислительном устройстве на основе по меньшей мере одного захваченного им изображения, каковые, по меньшей мере, некоторые данные о глубине являются, по меньшей мере, частью связанных с изображением данных.
11. Способ по п. 10, в котором упомянутые, по меньшей мере, некоторые данные о глубине вычисляются посредством обработки одного или более активно подсвечиваемых изображений, захваченных сопутствующим вычислительным устройством.
12. Способ по п. 10, в котором упомянутые, по меньшей мере, некоторые данные о глубине вычисляются посредством обработки одного или более активно подсвечиваемых стереоскопических изображений, захваченных сопутствующим вычислительным устройством, и, по меньшей мере, некоторой активной подсветки, испускаемой от сопутствующего вычислительного устройства.
13. Способ по п. 2, дополнительно содержащий этап, на котором выводят по меньшей мере одну карту глубин, соответствующую расширенному набору данных о глубине, на основе, по меньшей мере отчасти, связанных с изображением данных и информации об ориентации.
14. Способ по п. 1, дополнительно содержащий этап, на котором определяют, с использованием сопутствующего вычислительного устройства, информацию об ориентации сопутствующего вычислительного устройства с использованием упомянутого по меньшей мере одного изображения ориентации.
15. Способ по п. 1, в котором базовая станция определяет информацию об ориентации сопутствующего вычислительного устройства.
16. Система для определения карты глубин, содержащая:
проектор для проецирования светового рисунка в направлении сцены для создания подсвеченной сцены;
сопутствующее вычислительное устройство, содержащее первое устройство захвата изображений для захвата связанных с изображением данных подсвеченной сцены и второе устройство захвата изображений для захвата по меньшей мере одного изображения ориентации;
базовую станцию для захвата одного или более изображений подсвеченной сцены; и
процессор, выполненный с возможностью:
принимать эти одно или более изображений подсвеченной сцены;
принимать связанные с изображением данные от сопутствующего вычислительного устройства;
выполнять одно из следующего:
прием информации об ориентации сопутствующего вычислительного устройства с использованием упомянутого по меньшей мере одного изображения ориентации, причем информация об ориентации определяется сопутствующим вычислительным устройством, или
прием упомянутого по меньшей мере одного изображения ориентации от сопутствующего вычислительного устройства и определение информации об ориентации сопутствующего вычислительного устройства с использованием упомянутого по меньшей мере одного изображения ориентации; и
вычислять карту глубин на основе, по меньшей мере отчасти, информации об ориентации сопутствующего вычислительного устройства и связанных с изображением данных.
17. Система по п. 16, при этом упомянутые одно или более изображений, захваченных базовой станцией, содержат данные активно подсвечиваемых изображений, при этом карта глубин вычисляется на основе, по меньшей мере отчасти, информации об ориентации сопутствующего вычислительного устройства, связанных с изображением данных и данных активно подсвечиваемых изображений.
18. Система по п. 16, в которой процессор дополнительно выполнен с возможностью определять информацию об ориентации сопутствующего вычислительного устройства из упомянутых одного или более изображений подсвеченной сцены.
19. Система по п. 16, в которой сопутствующее вычислительное устройство выполнено с возможностью вычислять данные о глубине и сообщать данные о глубине на базовую станцию в качестве, по меньшей мере, части связанных с изображением данных.
20. Машиночитаемый носитель информации с машиноисполняемыми инструкциями, которые при их исполнении предписывают процессору выполнять операции, содержащие:
прием связанных с изображением данных от первого устройства захвата изображений на сопутствующем вычислительном устройстве, причем связанные с изображением данные содержат сцену, подсвеченную проецируемым световым рисунком;
прием по меньшей мере одного изображения ориентации от второго устройства захвата изображений на сопутствующем вычислительном устройстве;
прием изображения, захваченного базовой станцией, каковое изображение содержит, по меньшей мере, часть подсвеченной сцены;
выполнение одного из следующего:
прием информации об ориентации сопутствующего вычислительного устройства с использованием упомянутого по меньшей мере одного изображения ориентации, причем информация об ориентации определена сопутствующим вычислительным устройством, или
прием упомянутого по меньшей мере одного изображения ориентации от сопутствующего вычислительного устройства и определение информации об ориентации сопутствующего вычислительного устройства с использованием упомянутого по меньшей мере одного изображения ориентации; и
вычисление карты глубин на основе, по меньшей мере отчасти, информации об ориентации сопутствующего вычислительного устройства и связанных с изображением данных.
RU2015143654A 2013-04-15 2014-04-14 Активная стереосистема с использованием сопутствующего устройства или устройств RU2663329C2 (ru)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361812232P 2013-04-15 2013-04-15
US61/812,232 2013-04-15
US13/924,475 US9697424B2 (en) 2013-04-15 2013-06-21 Active stereo with satellite device or devices
US13/924,475 2013-06-21
PCT/US2014/033919 WO2014172231A1 (en) 2013-04-15 2014-04-14 Active stereo with satellite device or devices

Publications (2)

Publication Number Publication Date
RU2015143654A RU2015143654A (ru) 2017-04-28
RU2663329C2 true RU2663329C2 (ru) 2018-08-03

Family

ID=51686521

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2015143654A RU2663329C2 (ru) 2013-04-15 2014-04-14 Активная стереосистема с использованием сопутствующего устройства или устройств

Country Status (11)

Country Link
US (14) US20140307055A1 (ru)
EP (9) EP2987132B1 (ru)
JP (1) JP6469080B2 (ru)
KR (2) KR102207768B1 (ru)
CN (8) CN105308650B (ru)
AU (1) AU2014254219B2 (ru)
BR (1) BR112015025819A8 (ru)
CA (1) CA2907895C (ru)
MX (1) MX357307B (ru)
RU (1) RU2663329C2 (ru)
WO (8) WO2014172221A1 (ru)

Families Citing this family (178)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120072245A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 스테레오 영상 정합 장치 및 방법
JP6305941B2 (ja) * 2012-03-13 2018-04-04 ドルビー ラボラトリーズ ライセンシング コーポレイション オブジェクト向上のためのライティング・システムおよび方法
EP2700920B1 (en) 2012-08-23 2016-06-22 ams AG Light sensor system and method for processing light sensor signals
US20140307055A1 (en) 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
US9467680B2 (en) 2013-12-12 2016-10-11 Intel Corporation Calibration of a three-dimensional acquisition system
JP6447516B2 (ja) * 2013-12-27 2019-01-09 ソニー株式会社 画像処理装置、および画像処理方法
US9720506B2 (en) * 2014-01-14 2017-08-01 Microsoft Technology Licensing, Llc 3D silhouette sensing system
US10538074B2 (en) * 2014-01-16 2020-01-21 Hewlett-Packard Development Company, L.P. Processing slice data
US11265534B2 (en) * 2014-02-08 2022-03-01 Microsoft Technology Licensing, Llc Environment-dependent active illumination for stereo matching
US9842424B2 (en) * 2014-02-10 2017-12-12 Pixar Volume rendering using adaptive buckets
WO2015134961A1 (en) 2014-03-07 2015-09-11 Brown University Method and system for unsynchronized structured lighting
US20150266235A1 (en) * 2014-03-19 2015-09-24 Autodesk, Inc. Systems and methods for improved 3d printing
US9674493B2 (en) * 2014-03-24 2017-06-06 Omnivision Technologies, Inc. Color image sensor with metal mesh to detect infrared light
WO2015152829A1 (en) * 2014-04-03 2015-10-08 Heptagon Micro Optics Pte. Ltd. Structured-stereo imaging assembly including separate imagers for different wavelengths
GB201407270D0 (en) * 2014-04-24 2014-06-11 Cathx Res Ltd 3D data in underwater surveys
US9823842B2 (en) 2014-05-12 2017-11-21 The Research Foundation For The State University Of New York Gang migration of virtual machines using cluster-wide deduplication
US9533449B2 (en) 2014-06-19 2017-01-03 Autodesk, Inc. Material deposition systems with four or more axes
US10252466B2 (en) 2014-07-28 2019-04-09 Massachusetts Institute Of Technology Systems and methods of machine vision assisted additive fabrication
WO2016020073A1 (en) * 2014-08-08 2016-02-11 Cemb S.P.A. Vehicle equipment with scanning system for contactless measurement
US10455212B1 (en) * 2014-08-25 2019-10-22 X Development Llc Projected pattern motion/vibration for depth sensing
JP6397698B2 (ja) * 2014-08-28 2018-09-26 任天堂株式会社 情報処理端末、情報処理プログラム、情報処理端末システム、および情報処理方法
US9507995B2 (en) * 2014-08-29 2016-11-29 X Development Llc Combination of stereo and structured-light processing
DE102014113389A1 (de) * 2014-09-17 2016-03-17 Pilz Gmbh & Co. Kg Verfahren und Vorrichtung zum Identifizieren von Strukturelementen eines projizierten Strukturmusters in Kamerabildern
EP3018587B1 (en) * 2014-11-05 2018-08-29 Renesas Electronics Europe GmbH Memory access unit
EP3043159B1 (en) * 2015-01-08 2019-12-18 ams AG Method for processing light sensor signals and light sensor system
CN107003116A (zh) * 2014-12-15 2017-08-01 索尼公司 图像捕捉装置组件、三维形状测量装置和运动检测装置
EP3040941B1 (en) * 2014-12-29 2017-08-02 Dassault Systèmes Method for calibrating a depth camera
DE102015202182A1 (de) * 2015-02-06 2016-08-11 Siemens Aktiengesellschaft Vorrichtung und Verfahren zur sequentiellen, diffraktiven Musterprojektion
US11562286B2 (en) * 2015-02-06 2023-01-24 Box, Inc. Method and system for implementing machine learning analysis of documents for classifying documents by associating label values to the documents
US9699394B2 (en) 2015-03-09 2017-07-04 Microsoft Technology Licensing, Llc Filter arrangement for image sensor
JP6484071B2 (ja) * 2015-03-10 2019-03-13 アルプスアルパイン株式会社 物体検出装置
CN106032059B (zh) * 2015-03-13 2019-11-26 三纬国际立体列印科技股份有限公司 立体打印方法与立体打印装置
KR102238794B1 (ko) * 2015-03-25 2021-04-09 한국전자통신연구원 영상 촬영 장치의 촬영 속도 증가 방법
JP6244061B2 (ja) 2015-03-30 2017-12-06 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
EP3081384B1 (en) * 2015-04-17 2019-11-13 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
KR102483838B1 (ko) 2015-04-19 2023-01-02 포토내이션 리미티드 Vr/ar 응용에서 심도 증강을 위한 다중-기선 카메라 어레이 시스템 아키텍처
US9751263B2 (en) * 2015-04-20 2017-09-05 Xerox Corporation Injection molding to finish parts printed with a three-dimensional object printer
WO2016187328A1 (en) * 2015-05-18 2016-11-24 Lasermotive, Inc. Power beaming vcsel arrangement
US9683834B2 (en) * 2015-05-27 2017-06-20 Intel Corporation Adaptable depth sensing system
US9495584B1 (en) * 2015-06-05 2016-11-15 Digital Signal Corporation System and method for facial recognition using images captured from a target illuminated with infrared light
US11054664B2 (en) * 2015-06-18 2021-07-06 Apple Inc. Monitoring DOE performance using software scene evaluation
US9734409B2 (en) * 2015-06-24 2017-08-15 Netflix, Inc. Determining native resolutions of video sequences
US10607351B2 (en) * 2015-07-13 2020-03-31 Koninklijke Philips N.V. Method and apparatus for determining a depth map for an image
WO2017014691A1 (en) * 2015-07-17 2017-01-26 Heptagon Micro Optics Pte. Ltd. Generating a distance map based on captured images of a scene
US10699476B2 (en) 2015-08-06 2020-06-30 Ams Sensors Singapore Pte. Ltd. Generating a merged, fused three-dimensional point cloud based on captured images of a scene
WO2017030507A1 (en) 2015-08-19 2017-02-23 Heptagon Micro Optics Pte. Ltd. Generating a disparity map having reduced over-smoothing
CN106550228B (zh) * 2015-09-16 2019-10-15 上海图檬信息科技有限公司 获取三维场景的深度图的设备
US20170116779A1 (en) * 2015-10-26 2017-04-27 Microsoft Technology Licensing, Llc Volumetric representation of objects
US10554956B2 (en) 2015-10-29 2020-02-04 Dell Products, Lp Depth masks for image segmentation for depth-based computational photography
US10021371B2 (en) 2015-11-24 2018-07-10 Dell Products, Lp Method and apparatus for gross-level user and input detection using similar or dissimilar camera pair
US9800795B2 (en) * 2015-12-21 2017-10-24 Intel Corporation Auto range control for active illumination depth camera
KR102323217B1 (ko) * 2015-12-21 2021-11-08 삼성전자주식회사 매크로 픽셀의 노이즈를 제어하는 뎁스 센서, 3차원 카메라 및 제어 방법
US10761497B2 (en) 2016-01-14 2020-09-01 Microsoft Technology Licensing, Llc Printing 3D objects with automatic dimensional accuracy compensation
CN106980630B (zh) * 2016-01-19 2020-03-10 菜鸟智能物流控股有限公司 一种数据旋转展示方法及装置
KR20180101496A (ko) * 2016-02-18 2018-09-12 애플 인크. 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
EP3424403B1 (en) * 2016-03-03 2024-04-24 Sony Group Corporation Medical image processing device, system, method, and program
DE102016106121A1 (de) 2016-04-04 2017-10-05 Carl Zeiss Ag Verfahren und Vorrichtung zum Bestimmen von Parametern zur Brillenanpassung
WO2017193013A1 (en) * 2016-05-06 2017-11-09 Zhang, Yunbo Determining manufacturable models
EP3273685A1 (en) * 2016-06-08 2018-01-24 Panasonic Intellectual Property Management Co., Ltd. Projection system
US10659764B2 (en) 2016-06-20 2020-05-19 Intel Corporation Depth image provision apparatus and method
US10609359B2 (en) * 2016-06-22 2020-03-31 Intel Corporation Depth image provision apparatus and method
US10638060B2 (en) * 2016-06-28 2020-04-28 Intel Corporation Color correction of RGBIR sensor stream based on resolution recovery of RGB and IR channels
CN106210568A (zh) * 2016-07-15 2016-12-07 深圳奥比中光科技有限公司 图像处理方法以及装置
US10241244B2 (en) 2016-07-29 2019-03-26 Lumentum Operations Llc Thin film total internal reflection diffraction grating for single polarization or dual polarization
CN106204414A (zh) * 2016-08-05 2016-12-07 蓝普金睛（北京）科技有限公司 一种动态图像缓存的方法及系统
US10192311B2 (en) * 2016-08-05 2019-01-29 Qualcomm Incorporated Methods and apparatus for codeword boundary detection for generating depth maps
CN106375740B (zh) * 2016-09-28 2018-02-06 华为技术有限公司 生成rgb图像的方法、装置和系统
CN106447588A (zh) * 2016-09-30 2017-02-22 天津大学 菲涅耳变换域混沌双随机相位编码光学图像加密方法
JP6645394B2 (ja) * 2016-10-03 2020-02-14 株式会社デンソー 画像センサ
EP3554798B1 (en) 2016-12-16 2020-12-02 Massachusetts Institute of Technology Adaptive material deposition for additive manufacturing
WO2018123801A1 (ja) * 2016-12-28 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置
US10372974B2 (en) 2017-01-11 2019-08-06 Microsoft Technology Licensing, Llc 3D imaging recognition by stereo matching of RGB and infrared images
CN108399633A (zh) * 2017-02-06 2018-08-14 罗伯团队家居有限公司 用于立体视觉的方法和装置
CN106908391A (zh) * 2017-02-10 2017-06-30 广东欧珀移动通信有限公司 终端中盖板玻璃颜色识别方法和装置
CN106909320B (zh) * 2017-02-20 2020-01-21 北京中科睿芯科技有限公司 一种多维数据扩充传输的方法、装置以及系统
US10827129B2 (en) * 2017-02-24 2020-11-03 Sony Corporation Image processing apparatus and imaging apparatus
US10955814B2 (en) 2017-04-24 2021-03-23 Autodesk, Inc. Closed-loop robotic deposition of material
US11181886B2 (en) * 2017-04-24 2021-11-23 Autodesk, Inc. Closed-loop robotic deposition of material
CN107084686B (zh) * 2017-04-26 2019-04-30 西安交通大学 一种无运动部件的动态多光刀扫描测量方法
WO2018219442A1 (en) * 2017-05-31 2018-12-06 Hewlett-Packard Development Company, L.P. Deriving topology information of a scene
US20180347967A1 (en) * 2017-06-01 2018-12-06 RGBDsense Information Technology Ltd. Method and apparatus for generating a random coding pattern for coding structured light
US10817493B2 (en) 2017-07-07 2020-10-27 Raytheon Company Data interpolation
KR102346031B1 (ko) 2017-07-25 2022-01-03 삼성디스플레이 주식회사 표시 장치 및 이의 구동 방법
KR102402477B1 (ko) * 2017-08-04 2022-05-27 엘지이노텍 주식회사 ToF 모듈
US10586342B2 (en) * 2017-08-31 2020-03-10 Facebook Technologies, Llc Shifting diffractive optical element for adjustable depth sensing resolution
US20190072771A1 (en) * 2017-09-05 2019-03-07 Facebook Technologies, Llc Depth measurement using multiple pulsed structured light projectors
US10962790B2 (en) * 2017-09-05 2021-03-30 Facebook Technologies, Llc Depth measurement using a pulsed structured light projector
DE102017215850B4 (de) * 2017-09-08 2019-12-24 Robert Bosch Gmbh Verfahren zur Herstellung eines diffraktiven optischen Elements, LIDAR-System mit einem diffraktiven optischen Element und Kraftfahrzeug mit einem LIDAR-System
CN107884066A (zh) * 2017-09-29 2018-04-06 深圳奥比中光科技有限公司 基于泛光功能的光传感器及其3d成像装置
US10310281B1 (en) * 2017-12-05 2019-06-04 K Laser Technology, Inc. Optical projector with off-axis diffractive element
US10545457B2 (en) 2017-12-05 2020-01-28 K Laser Technology, Inc. Optical projector with off-axis diffractive element and conjugate images
CN109889799B (zh) * 2017-12-06 2020-08-25 西安交通大学 基于rgbir摄像头的单目结构光深度感知方法及装置
US10628952B2 (en) 2017-12-11 2020-04-21 Google Llc Dual-band stereo depth sensing system
JP6930605B2 (ja) * 2017-12-14 2021-09-01 日本電気株式会社 画像処理装置、画像処理方法および画像処理プログラム
DE102017222708A1 (de) * 2017-12-14 2019-06-19 Conti Temic Microelectronic Gmbh 3D-Umfelderfassung mittels Projektor und Kameramodulen
JP6939501B2 (ja) * 2017-12-15 2021-09-22 オムロン株式会社 画像処理システム、画像処理プログラム、および画像処理方法
CN108133494A (zh) * 2018-01-17 2018-06-08 南京华捷艾米软件科技有限公司 利用rgb-ir同时生成深度图和彩色图的系统和方法
DE102019000272B4 (de) 2018-01-19 2023-11-16 Cognex Corporation System zum bilden einer homogenisierten beleuchtungslinie, die als eine linie mit geringem speckle bildlich erfasst werden kann
US10317684B1 (en) 2018-01-24 2019-06-11 K Laser Technology, Inc. Optical projector with on axis hologram and multiple beam splitter
CN108319437B (zh) * 2018-02-28 2019-01-11 上海熙香艺享电子商务有限公司 内容大数据密集程度分析平台
CN108490632B (zh) * 2018-03-12 2020-01-10 Oppo广东移动通信有限公司 激光投射模组、深度相机和电子装置
KR20200123849A (ko) * 2018-03-20 2020-10-30 매직 아이 인코포레이티드 가변 밀도들의 투영 패턴을 사용하는 거리 측정
US10643341B2 (en) * 2018-03-22 2020-05-05 Microsoft Technology Licensing, Llc Replicated dot maps for simplified depth computation using machine learning
US10565720B2 (en) 2018-03-27 2020-02-18 Microsoft Technology Licensing, Llc External IR illuminator enabling improved head tracking and surface reconstruction for virtual reality
US10771766B2 (en) * 2018-03-30 2020-09-08 Mediatek Inc. Method and apparatus for active stereo vision
CN108564613A (zh) * 2018-04-12 2018-09-21 维沃移动通信有限公司 一种深度数据获取方法及移动终端
US10520923B2 (en) * 2018-05-22 2019-12-31 Mantle Inc. Method and system for automated toolpath generation
US10878590B2 (en) * 2018-05-25 2020-12-29 Microsoft Technology Licensing, Llc Fusing disparity proposals in stereo matching
CN108917640A (zh) * 2018-06-06 2018-11-30 佛山科学技术学院 一种激光盲孔深度检测方法及其系统
FI128523B (en) 2018-06-07 2020-07-15 Ladimo Oy Modeling of topography of a 3D surface
KR102545980B1 (ko) 2018-07-19 2023-06-21 액티브 서지컬, 인크. 자동화된 수술 로봇을 위한 비전 시스템에서 깊이의 다중 모달 감지를 위한 시스템 및 방법
US11067820B2 (en) 2018-07-31 2021-07-20 Himax Technologies Limited Structured light projector and three-dimensional image sensing module
CN109102540B (zh) * 2018-08-16 2022-01-28 杭州电子科技大学 基于fpga的标记面积块下限分离分道方法
TWI676781B (zh) * 2018-08-17 2019-11-11 鑑微科技股份有限公司 三維掃描系統
US10761337B2 (en) * 2018-08-24 2020-09-01 Himax Technologies Limited Projecting apparatus for spreading non-diffracted light
JP6907277B2 (ja) 2018-08-30 2021-07-21 コグネックス・コーポレイション 歪みが低減された物体の３次元再構成を生成するための方法及び装置
US11039122B2 (en) * 2018-09-04 2021-06-15 Google Llc Dark flash photography with a stereo camera
CN109146953B (zh) * 2018-09-11 2021-12-10 杭州电子科技大学 基于fpga的标记面积块上限分离分道方法
US10791277B2 (en) * 2018-09-11 2020-09-29 Cognex Corporation Methods and apparatus for optimizing image acquisition of objects subject to illumination patterns
US20200082160A1 (en) * 2018-09-12 2020-03-12 Kneron (Taiwan) Co., Ltd. Face recognition module with artificial intelligence models
KR102562360B1 (ko) * 2018-10-05 2023-08-02 엘지이노텍 주식회사 깊이 정보를 획득하는 방법 및 카메라 모듈
CN109532021B (zh) * 2018-10-10 2020-08-25 浙江大学 基于结构光线性异常点的3d打印熔积缺陷逐层检测方法
US11480793B2 (en) * 2018-10-24 2022-10-25 Google Llc Systems, devices, and methods for aligning a lens in a laser projector
JP7146576B2 (ja) * 2018-10-29 2022-10-04 芝浦機械株式会社 積層造形装置、積層造形方法、及びプログラム
WO2020091764A1 (en) 2018-10-31 2020-05-07 Hewlett-Packard Development Company, L.P. Recovering perspective distortions
US11024037B2 (en) 2018-11-15 2021-06-01 Samsung Electronics Co., Ltd. Foreground-background-aware atrous multiscale network for disparity estimation
US10628968B1 (en) * 2018-12-05 2020-04-21 Toyota Research Institute, Inc. Systems and methods of calibrating a depth-IR image offset
CN109798838B (zh) * 2018-12-19 2020-10-27 西安交通大学 一种基于激光散斑投射的ToF深度传感器及其测距方法
CN109741386B (zh) * 2018-12-26 2020-07-31 豪威科技(武汉)有限公司 立体视觉系统的增强方法及立体视觉系统
US10917568B2 (en) 2018-12-28 2021-02-09 Microsoft Technology Licensing, Llc Low-power surface reconstruction
US11333895B1 (en) 2019-01-11 2022-05-17 Facebook Technologies, Llc Systems and methods for structured light projector operational safety
JP7211835B2 (ja) * 2019-02-04 2023-01-24 ｉ－ＰＲＯ株式会社 撮像システムおよび同期制御方法
CN110087057B (zh) * 2019-03-11 2021-10-12 歌尔股份有限公司 一种投影仪的深度图像获取方法和装置
US20200292297A1 (en) * 2019-03-15 2020-09-17 Faro Technologies, Inc. Three-dimensional measurement device
JP2022526626A (ja) 2019-04-08 2022-05-25 アクティブ サージカル， インコーポレイテッド 医療撮像のためのシステムおよび方法
US11039118B2 (en) 2019-04-17 2021-06-15 XRSpace CO., LTD. Interactive image processing system using infrared cameras
EP3731175A1 (en) * 2019-04-26 2020-10-28 XRSpace CO., LTD. Interactive image processing system using infrared cameras
CN110111390A (zh) * 2019-05-15 2019-08-09 湖南科技大学 基于双目视觉光流跟踪的薄壁件全向振动测量方法及系统
CN110012206A (zh) * 2019-05-24 2019-07-12 Oppo广东移动通信有限公司 图像获取方法、图像获取装置、电子设备和可读存储介质
CN110209363A (zh) * 2019-05-30 2019-09-06 大连理工大学 基于遗传算法的智能3d打印路径规划方法
CN114599263A (zh) 2019-08-21 2022-06-07 艾科缇弗外科公司 用于医疗成像的系统和方法
CN110524874B (zh) * 2019-08-23 2022-03-08 源秩科技（上海）有限公司 光固化3d打印装置及其打印方法
KR102646521B1 (ko) 2019-09-17 2024-03-21 인트린식 이노베이션 엘엘씨 편광 큐를 이용한 표면 모델링 시스템 및 방법
CN112559037B (zh) * 2019-09-25 2024-04-12 阿里巴巴集团控股有限公司 一种指令执行方法、单元、装置及系统
EP4042101A4 (en) 2019-10-07 2023-11-22 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR DETECTING SURFACE NORMALS USING POLARIZATION
US11796829B1 (en) * 2019-10-31 2023-10-24 Meta Platforms Technologies, Llc In-field illuminator for eye depth sensing
US10890839B1 (en) * 2019-11-06 2021-01-12 Himax Technologies Limited Structured light imaging device
EP4066001A4 (en) 2019-11-30 2024-01-24 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR TRANSPARENT OBJECT SEGMENTATION USING POLARIZATION GUIDES
CN113009705A (zh) * 2019-12-19 2021-06-22 苏州苏大维格科技集团股份有限公司 一种消除零级衍射影响的结构光组件
US11132804B2 (en) * 2020-01-07 2021-09-28 Himax Technologies Limited Hybrid depth estimation system
JP7462769B2 (ja) 2020-01-29 2024-04-05 イントリンジック イノベーション エルエルシー 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法
WO2021154459A1 (en) 2020-01-30 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
JP7346703B2 (ja) * 2020-02-28 2023-09-19 富士フイルム株式会社 撮像システム、撮像システムの制御方法、及びプログラム
CN113365035B (zh) * 2020-03-04 2022-10-21 合肥君正科技有限公司 一种图像色彩还原的校准系统
US11503266B2 (en) * 2020-03-06 2022-11-15 Samsung Electronics Co., Ltd. Super-resolution depth map generation for multi-camera or other environments
CN111246073B (zh) * 2020-03-23 2022-03-25 维沃移动通信有限公司 成像装置、方法及电子设备
EP4144085A4 (en) 2020-04-30 2023-10-25 Siemens Healthcare Diagnostics, Inc. APPARATUS, METHOD FOR CALIBRATING AN APPARATUS AND ASSOCIATED DEVICE
CN111678457B (zh) * 2020-05-08 2021-10-01 西安交通大学 一种OLED透明屏下ToF装置及测距方法
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
CN111787084A (zh) * 2020-06-23 2020-10-16 杭州数澜科技有限公司 一种圈选对象的方法和装置
KR20220033924A (ko) 2020-09-10 2022-03-17 삼성전자주식회사 증강 현실 장치 및 그 제어 방법
CN114268774A (zh) * 2020-09-16 2022-04-01 Oppo广东移动通信有限公司 图像采集方法、图像传感器、装置、设备以及存储介质
US11657529B2 (en) * 2020-10-12 2023-05-23 Black Sesame Technologies Inc. Multiple camera system with flash for depth map generation
DE102020133085A1 (de) 2020-12-11 2022-06-15 Dürr Assembly Products GmbH Verfahren zur Vermessung der Kotflügelkante eines Fahrzeugs in einem Prüfstand
CN112959661B (zh) * 2021-01-26 2024-02-02 深圳市创必得科技有限公司 Lcd光固化3d打印均光优化补偿方法及装置
EP4281289A1 (en) * 2021-01-29 2023-11-29 Essentium IPCO, LLC Contour smoothing for material extrusion three-dimensionally printed parts
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11636623B2 (en) * 2021-06-28 2023-04-25 Motional Ad Llc Systems and methods for camera alignment using pre-distorted targets
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
WO2023015227A1 (en) * 2021-08-06 2023-02-09 Ppg Industries Ohio, Inc. System and method for 3d printing a non-planar surface
US11852439B2 (en) * 2021-11-24 2023-12-26 Wrap Technologies, Inc. Systems and methods for generating optical beam arrays
CN116800947A (zh) * 2022-03-16 2023-09-22 安霸国际有限合伙企业 用于大规模生产过程的快速rgb-ir校准验证
KR20230174621A (ko) * 2022-06-21 2023-12-28 삼성전자주식회사 깊이 맵 생성을 위한 전자 장치 및 그 동작 방법
US11972504B2 (en) * 2022-08-10 2024-04-30 Zhejiang Lab Method and system for overlapping sliding window segmentation of image based on FPGA
KR102674408B1 (ko) * 2022-12-28 2024-06-12 에이아이다이콤 (주) 비 접촉식 의료 영상 제어 시스템
CN116448250A (zh) * 2023-06-14 2023-07-18 国网山西省电力公司超高压变电分公司 一种电力设备红外热成像辅助定位装置及辅助定位方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030043270A1 (en) * 2001-08-29 2003-03-06 Rafey Richter A. Extracting a depth map from known camera and model tracking data
RU2237284C2 (ru) * 2001-11-27 2004-09-27 Самсунг Электроникс Ко., Лтд. Способ генерирования структуры узлов, предназначенных для представления трехмерных объектов с использованием изображений с глубиной
US20080130015A1 (en) * 2004-11-19 2008-06-05 School Juridical Person Of Fukuoka Kogyo Daigaku Three-Dimensional Measuring Apparatus, Three-Dimensional Measuring Method, And Three-Dimensional Measuring Program
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US20130100256A1 (en) * 2011-10-21 2013-04-25 Microsoft Corporation Generating a depth map

Family Cites Families (150)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3938102A (en) 1974-08-19 1976-02-10 International Business Machines Corporation Method and apparatus for accessing horizontal sequences and rectangular sub-arrays from an array stored in a modified word organized random access memory system
EP0085210A1 (en) 1982-01-29 1983-08-10 International Business Machines Corporation Image processing system
US5351152A (en) 1991-07-23 1994-09-27 The Board Of Governers Of Wayne State University Direct-view stereoscopic confocal microscope
US5471326A (en) 1993-04-30 1995-11-28 Northrop Grumman Corporation Holographic laser scanner and rangefinder
US5586200A (en) 1994-01-07 1996-12-17 Panasonic Technologies, Inc. Segmentation based image compression system
US5739906A (en) 1996-06-07 1998-04-14 The United States Of America As Represented By The Secretary Of Commerce Interferometric thickness variation test method for windows and silicon wafers using a diverging wavefront
US6105139A (en) 1998-06-03 2000-08-15 Nec Usa, Inc. Controller-based power management for low-power sequential circuits
TW495749B (en) 1998-08-03 2002-07-21 Matsushita Electric Ind Co Ltd Optical head
JP3450792B2 (ja) 1999-03-25 2003-09-29 キヤノン株式会社 奥行き画像計測装置及び方法、並びに複合現実感提示システム
US6751344B1 (en) 1999-05-28 2004-06-15 Champion Orthotic Investments, Inc. Enhanced projector system for machine vision
GB0008303D0 (en) 2000-04-06 2000-05-24 British Aerospace Measurement system and method
US6826299B2 (en) 2000-07-31 2004-11-30 Geodetic Services, Inc. Photogrammetric image correlation and measurement system and method
US6850872B1 (en) 2000-08-30 2005-02-01 Microsoft Corporation Facial image processing methods and systems
US7554737B2 (en) 2000-12-20 2009-06-30 Riake Corporation Illumination device and method using adaptable source and output format
US6895115B2 (en) 2001-04-23 2005-05-17 The United States Of America As Represented By The United States National Aeronautics And Space Administration Method for implementation of recursive hierarchical segmentation on parallel computers
IL159677A0 (en) 2001-07-06 2004-06-20 Explay Ltd An image projecting device and method
JP4635392B2 (ja) 2001-08-09 2011-02-23 コニカミノルタホールディングス株式会社 ３次元物体の表面形状モデリング装置、および、プログラム
US7762964B2 (en) 2001-12-10 2010-07-27 Candela Corporation Method and apparatus for improving safety during exposure to a monochromatic light source
JP4075418B2 (ja) 2002-03-15 2008-04-16 ソニー株式会社 画像処理装置及び画像処理方法、印刷物製造装置及び印刷物製造方法、並びに印刷物製造システム
US6771271B2 (en) 2002-06-13 2004-08-03 Analog Devices, Inc. Apparatus and method of processing image data
US7399220B2 (en) 2002-08-02 2008-07-15 Kriesel Marshall S Apparatus and methods for the volumetric and dimensional measurement of livestock
CN1176351C (zh) 2002-10-09 2004-11-17 天津大学 动态多分辨率的三维数字成像的方法及装置
CN1186671C (zh) 2002-10-09 2005-01-26 天津大学 投影结构光的产生方法及装置
JP2004135209A (ja) 2002-10-15 2004-04-30 Hitachi Ltd 広視野高解像度映像の生成装置及び方法
GB2395261A (en) 2002-11-11 2004-05-19 Qinetiq Ltd Ranging apparatus
US7103212B2 (en) 2002-11-22 2006-09-05 Strider Labs, Inc. Acquisition of three-dimensional images by an active stereo technique using locally unique patterns
US7154157B2 (en) 2002-12-30 2006-12-26 Intel Corporation Stacked semiconductor radiation sensors having color component and infrared sensing capability
JP3938120B2 (ja) 2003-09-17 2007-06-27 ノーリツ鋼機株式会社 画像処理装置、方法、及びプログラム
FR2870621B1 (fr) 2004-05-21 2006-10-27 Inst Francais Du Petrole Methode pour generer un maillage hybride conforme en trois dimensions d'une formation heterogene traversee par une ou plusieurs discontinuites geometriques dans le but de realiser des simulations
JP4011039B2 (ja) 2004-05-31 2007-11-21 三菱電機株式会社 撮像装置及び信号処理方法
DE102004029552A1 (de) 2004-06-18 2006-01-05 Peter Mäckel Verfahren zur Sichtbarmachung und Messung von Verformungen von schwingenden Objekten mittels einer Kombination einer synchronisierten, stroboskopischen Bildaufzeichnung mit Bildkorrelationsverfahren
US7315383B1 (en) * 2004-07-09 2008-01-01 Mohsen Abdollahi Scanning 3D measurement technique using structured lighting and high-speed CMOS imager
EP1779321A2 (en) 2004-08-11 2007-05-02 Koninklijke Philips Electronics N.V. Stripe-based image data storage
JPWO2006025271A1 (ja) 2004-09-03 2008-05-08 コニカミノルタオプト株式会社 カップリングレンズ及び光ピックアップ装置
US7719533B2 (en) 2004-11-24 2010-05-18 General Electric Company Graph extraction labelling and visualization
US7367682B2 (en) 2004-12-07 2008-05-06 Symbol Technologies, Inc. Color image projection arrangement and method
WO2006074310A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
JP4506501B2 (ja) 2005-02-21 2010-07-21 株式会社日立製作所 画像合成装置及び撮像システム
US7512262B2 (en) 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
US7295771B2 (en) 2005-04-25 2007-11-13 Delphi Technologies, Inc. Method and apparatus for minimizing ambient illumination effects in a vision system
JP4577126B2 (ja) 2005-07-08 2010-11-10 オムロン株式会社 ステレオ対応づけのための投光パターンの生成装置及び生成方法
WO2007105205A2 (en) 2006-03-14 2007-09-20 Prime Sense Ltd. Three-dimensional sensing using speckle patterns
CN101288105B (zh) 2005-10-11 2016-05-25 苹果公司 用于物体重现的方法和系统
US20070145273A1 (en) 2005-12-22 2007-06-28 Chang Edward T High-sensitivity infrared color camera
US7821552B2 (en) 2005-12-27 2010-10-26 Sanyo Electric Co., Ltd. Imaging apparatus provided with imaging device having sensitivity in visible and infrared regions
JP4466569B2 (ja) 2006-01-10 2010-05-26 株式会社豊田中央研究所 カラー画像再生装置
DE102006007170B4 (de) 2006-02-08 2009-06-10 Sirona Dental Systems Gmbh Verfahren und Anordnung zur schnellen und robusten chromatisch konfokalen 3D-Messtechnik
JP5592070B2 (ja) 2006-03-14 2014-09-17 プライム センス リミティド 三次元検知のために深度変化させる光照射野
US7970177B2 (en) 2006-03-23 2011-06-28 Tyzx, Inc. Enhancing stereo depth measurements with projected texture
GB0718706D0 (en) 2007-09-25 2007-11-07 Creative Physics Ltd Method and apparatus for reducing laser speckle
WO2007132399A1 (en) 2006-05-09 2007-11-22 Koninklijke Philips Electronics N.V. Programmable data processing circuit
CN101512599B (zh) 2006-09-21 2012-07-18 汤姆森特许公司 三维模型获取的方法和系统
EP2074603B1 (en) 2006-09-28 2012-05-02 Bea S.A. Sensor for presence detection
WO2008133650A2 (en) 2006-11-07 2008-11-06 Rudolph Technologies, Inc. Method and system for providing a high definition triangulation system
US8090194B2 (en) 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
WO2008062407A2 (en) 2006-11-21 2008-05-29 Mantisvision Ltd. 3d geometric modeling and 3d video content creation
US8167999B2 (en) 2007-01-10 2012-05-01 3D Systems, Inc. Three-dimensional printing material system with improved color, article performance, and ease of use
US20080278572A1 (en) 2007-04-23 2008-11-13 Morteza Gharib Aperture system with spatially-biased aperture shapes and positions (SBPSP) for static and dynamic 3-D defocusing-based imaging
US8326020B2 (en) * 2007-02-28 2012-12-04 Sungkyunkwan University Foundation Structural light based depth imaging method and system using signal separation coding, and error correction thereof
US7683962B2 (en) 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
FR2914422B1 (fr) 2007-03-28 2009-07-03 Soitec Silicon On Insulator Procede de detection de defauts de surface d'un substrat et dispositif mettant en oeuvre ledit procede.
JP2008288629A (ja) * 2007-05-15 2008-11-27 Sony Corp 画像信号処理装置、撮像素子、および画像信号処理方法、並びにコンピュータ・プログラム
JP5018282B2 (ja) 2007-07-04 2012-09-05 マツダ株式会社 製品の３次元形状モデルデータ作成方法
WO2009018647A1 (en) 2007-08-08 2009-02-12 Tony Mayer Non-retro-reflective license plate imaging system
US7933056B2 (en) 2007-09-26 2011-04-26 Che-Chih Tsao Methods and systems of rapid focusing and zooming for volumetric 3D displays and cameras
CN101878409A (zh) 2007-10-02 2010-11-03 双镜头公司 激光束图案投影仪
WO2009046268A1 (en) 2007-10-04 2009-04-09 Magna Electronics Combined rgb and ir imaging sensor
IL191615A (en) 2007-10-23 2015-05-31 Israel Aerospace Ind Ltd A method and system for producing tie points for use in stereo adjustment of stereoscopic images and a method for identifying differences in the landscape taken between two time points
US8384997B2 (en) 2008-01-21 2013-02-26 Primesense Ltd Optical pattern projection
US8788990B2 (en) 2008-02-21 2014-07-22 Oracle America, Inc. Reuse of circuit labels in subcircuit recognition
US7861193B2 (en) 2008-02-21 2010-12-28 Oracle America, Inc. Reuse of circuit labels for verification of circuit recognition
US7958468B2 (en) 2008-02-21 2011-06-07 Oracle America, Inc. Unidirectional relabeling for subcircuit recognition
US8368753B2 (en) 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
RU2510235C2 (ru) 2008-03-18 2014-03-27 Новадак Текнолоджиз Инк. Система визуализации для получения комбинированного изображения из полноцветного изображения в отраженном свете и изображение в ближней инфракрасной области
US8405727B2 (en) * 2008-05-01 2013-03-26 Apple Inc. Apparatus and method for calibrating image capture devices
NZ567986A (en) 2008-05-02 2010-08-27 Auckland Uniservices Ltd Real-time stereo image matching system
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5317169B2 (ja) 2008-06-13 2013-10-16 洋 川崎 画像処理装置、画像処理方法およびプログラム
JP4513905B2 (ja) 2008-06-27 2010-07-28 ソニー株式会社 信号処理装置、信号処理方法、プログラム及び記録媒体
KR101530930B1 (ko) 2008-08-19 2015-06-24 삼성전자주식회사 패턴투영장치, 이를 구비한 3차원 이미지 형성장치, 및 이에 사용되는 초점 가변 액체렌즈
US8442940B1 (en) 2008-11-18 2013-05-14 Semantic Research, Inc. Systems and methods for pairing of a semantic network and a natural language processing information extraction system
JP5430138B2 (ja) 2008-12-17 2014-02-26 株式会社トプコン 形状測定装置およびプログラム
CN101509764A (zh) 2009-02-27 2009-08-19 东南大学 一种快速获取物体三维形状的方法
DE102009001889A1 (de) 2009-03-26 2010-09-30 Robert Bosch Gmbh Lasermarkierung mit Koordinatensystem
US8823775B2 (en) 2009-04-30 2014-09-02 Board Of Regents, The University Of Texas System Body surface imaging
WO2011013079A1 (en) 2009-07-30 2011-02-03 Primesense Ltd. Depth mapping based on pattern matching and stereoscopic information
US8204904B2 (en) 2009-09-30 2012-06-19 Yahoo! Inc. Network graph evolution rule generation
KR101173668B1 (ko) 2009-10-27 2012-08-20 서울대학교산학협력단 다중 공간 주파수를 이용한 3차원 물체의 깊이 측정 방법 및 그 장치
US8630509B2 (en) 2009-11-03 2014-01-14 Samsung Electronics Co., Ltd. Structured grids for label propagation on a finite number of layers
KR101377325B1 (ko) 2009-12-21 2014-03-25 한국전자통신연구원 스테레오 영상, 다시점 영상 및 깊이 영상 획득 카메라 장치 및 그 제어 방법
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US20110222757A1 (en) 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
JP2011191221A (ja) 2010-03-16 2011-09-29 Sanyo Electric Co Ltd 物体検出装置および情報取得装置
US8619143B2 (en) 2010-03-19 2013-12-31 Pixim, Inc. Image sensor including color and infrared pixels
WO2011152634A2 (ko) 2010-05-29 2011-12-08 Lee Moon Key 모니터 기반 증강현실 시스템
US8670029B2 (en) 2010-06-16 2014-03-11 Microsoft Corporation Depth camera illuminator with superluminescent light-emitting diode
EP2400261A1 (de) 2010-06-21 2011-12-28 Leica Geosystems AG Optisches Messverfahren und Messsystem zum Bestimmen von 3D-Koordinaten auf einer Messobjekt-Oberfläche
GB2481459B (en) 2010-06-25 2017-05-03 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E V Capturing a surface structure of an object surface
US8357899B2 (en) 2010-07-30 2013-01-22 Aptina Imaging Corporation Color correction circuitry and methods for dual-band imaging systems
US9036158B2 (en) * 2010-08-11 2015-05-19 Apple Inc. Pattern projector
DE102010039246A1 (de) 2010-08-12 2012-02-16 Robert Bosch Gmbh Verfahren zum Kalibrieren eines Messsystems und Vorrichtung zum Durchführen des Verfahrens
US8903119B2 (en) 2010-10-11 2014-12-02 Texas Instruments Incorporated Use of three-dimensional top-down views for business analytics
JP5787508B2 (ja) 2010-11-11 2015-09-30 キヤノン株式会社 回折光学素子及び光学系
US20120154397A1 (en) 2010-12-03 2012-06-21 Old Dominion University Research Foundation Method and system for generating mesh from images
KR101694292B1 (ko) 2010-12-17 2017-01-09 한국전자통신연구원 스테레오 영상 정합 장치 및 그 방법
CN102867328B (zh) 2011-01-27 2014-04-23 深圳泰山在线科技有限公司 一种物体表面重建的系统
US9247238B2 (en) 2011-01-31 2016-01-26 Microsoft Technology Licensing, Llc Reducing interference between multiple infra-red depth cameras
DE102011004663B4 (de) * 2011-02-24 2018-11-22 Robert Bosch Gmbh Vorrichtung zur Fahrzeugvermessung
KR101289595B1 (ko) 2011-02-28 2013-07-24 이경자 격자패턴투영장치
KR101792501B1 (ko) 2011-03-16 2017-11-21 한국전자통신연구원 특징기반의 스테레오 매칭 방법 및 장치
KR101801355B1 (ko) 2011-03-25 2017-11-24 엘지전자 주식회사 회절 소자와 광원을 이용한 대상물의 거리 인식 장치
US8718748B2 (en) 2011-03-29 2014-05-06 Kaliber Imaging Inc. System and methods for monitoring and assessing mobility
CN103477186B (zh) 2011-04-07 2016-01-27 松下知识产权经营株式会社 立体摄像装置
CN102760234B (zh) 2011-04-14 2014-08-20 财团法人工业技术研究院 深度图像采集装置、系统及其方法
US8760499B2 (en) 2011-04-29 2014-06-24 Austin Russell Three-dimensional imager and projection device
WO2012151173A1 (en) 2011-05-02 2012-11-08 Faro Technologies, Inc. Three-dimensional scanner for hand-held phones
US9536312B2 (en) 2011-05-16 2017-01-03 Microsoft Corporation Depth reconstruction using plural depth capture units
KR101547740B1 (ko) * 2011-06-01 2015-08-26 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 증강 현실에서 모션 검출을 위한 구조화 광 투사
CN102831380A (zh) 2011-06-15 2012-12-19 康佳集团股份有限公司 一种基于深度图像感应的肢体动作识别方法及系统
US9530192B2 (en) 2011-06-30 2016-12-27 Kodak Alaris Inc. Method for determining stereo quality score and automatically improving the quality of stereo images
BR112014002186B1 (pt) 2011-07-29 2020-12-29 Hewlett-Packard Development Company, L.P sistema de projeção de captura, meio executável de processamento e método de colaboração em espaço de trabalho
US8867825B2 (en) 2011-08-30 2014-10-21 Thompson Licensing Method and apparatus for determining a similarity or dissimilarity measure
WO2013033787A1 (en) 2011-09-07 2013-03-14 Commonwealth Scientific And Industrial Research Organisation System and method for three-dimensional surface imaging
US9285871B2 (en) 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Personal audio/visual system for providing an adaptable augmented reality environment
US9248623B2 (en) 2011-10-14 2016-02-02 Makerbot Industries, Llc Grayscale rendering in 3D printing
US20140098342A1 (en) 2011-11-04 2014-04-10 The General Hospital Corporation System and method for corneal irradiation
JP5910043B2 (ja) * 2011-12-02 2016-04-27 富士通株式会社 撮像装置、画像処理プログラム、画像処理方法、および画像処理装置
JP5898484B2 (ja) 2011-12-19 2016-04-06 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
CN102572485B (zh) 2012-02-02 2015-04-22 北京大学 一种自适应加权立体匹配算法、立体显示采集装置及系统
US20130229396A1 (en) * 2012-03-05 2013-09-05 Kenneth J. Huebner Surface aware, object aware, and image aware handheld projector
JP5994715B2 (ja) 2012-04-10 2016-09-21 パナソニックＩｐマネジメント株式会社 計算機ホログラム型表示装置
KR20130120730A (ko) 2012-04-26 2013-11-05 한국전자통신연구원 변이 공간 영상의 처리 방법
US9514522B2 (en) 2012-08-24 2016-12-06 Microsoft Technology Licensing, Llc Depth data processing and compression
US10674135B2 (en) 2012-10-17 2020-06-02 DotProduct LLC Handheld portable optical scanner and method of using
US9332243B2 (en) 2012-10-17 2016-05-03 DotProduct LLC Handheld portable optical scanner and method of using
US9117267B2 (en) 2012-10-18 2015-08-25 Google Inc. Systems and methods for marking images for three-dimensional image generation
US20140120319A1 (en) 2012-11-01 2014-05-01 Benjamin E. Joseph 3d mapping using structured light and formation of custom surface contours
US10049281B2 (en) 2012-11-12 2018-08-14 Shopperception, Inc. Methods and systems for measuring human interaction
KR20140075163A (ko) 2012-12-11 2014-06-19 한국전자통신연구원 구조광 방식을 활용한 패턴 프로젝팅 방법 및 장치
WO2014083485A1 (en) * 2012-11-29 2014-06-05 Koninklijke Philips N.V. Laser device for projecting a structured light pattern onto a scene
DE202012104890U1 (de) 2012-12-14 2013-03-05 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
US9298945B2 (en) 2012-12-26 2016-03-29 Elwha Llc Ad-hoc wireless sensor package
US9292927B2 (en) 2012-12-27 2016-03-22 Intel Corporation Adaptive support windows for stereoscopic image correlation
US9251590B2 (en) 2013-01-24 2016-02-02 Microsoft Technology Licensing, Llc Camera pose estimation for 3D reconstruction
US20140241612A1 (en) 2013-02-23 2014-08-28 Microsoft Corporation Real time stereo matching
US20140293011A1 (en) * 2013-03-28 2014-10-02 Phasica, LLC Scanner System for Determining the Three Dimensional Shape of an Object and Method for Using
US9191643B2 (en) 2013-04-15 2015-11-17 Microsoft Technology Licensing, Llc Mixing infrared and color component data point clouds
US20140307055A1 (en) 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
US20140320605A1 (en) 2013-04-25 2014-10-30 Philip Martin Johnson Compound structured light projection system for 3-D surface profiling
CN103308517B (zh) 2013-05-21 2015-09-30 谢绍鹏 中药颜色客观化方法及中药图像获取装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030043270A1 (en) * 2001-08-29 2003-03-06 Rafey Richter A. Extracting a depth map from known camera and model tracking data
RU2237284C2 (ru) * 2001-11-27 2004-09-27 Самсунг Электроникс Ко., Лтд. Способ генерирования структуры узлов, предназначенных для представления трехмерных объектов с использованием изображений с глубиной
US20080130015A1 (en) * 2004-11-19 2008-06-05 School Juridical Person Of Fukuoka Kogyo Daigaku Three-Dimensional Measuring Apparatus, Three-Dimensional Measuring Method, And Three-Dimensional Measuring Program
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US20130100256A1 (en) * 2011-10-21 2013-04-25 Microsoft Corporation Generating a depth map

Also Published As

Publication number Publication date
US20140307307A1 (en) 2014-10-16
EP3757510A1 (en) 2020-12-30
CN105210112A (zh) 2015-12-30
KR20150140838A (ko) 2015-12-16
US9922249B2 (en) 2018-03-20
CN105229412B (zh) 2018-12-07
KR102130187B1 (ko) 2020-07-03
JP2016522889A (ja) 2016-08-04
EP2987320A1 (en) 2016-02-24
US9959465B2 (en) 2018-05-01
EP2986935A1 (en) 2016-02-24
CN105229411A (zh) 2016-01-06
US10929658B2 (en) 2021-02-23
US20140307058A1 (en) 2014-10-16
CN105229411B (zh) 2019-09-03
CN105210112B (zh) 2019-08-30
EP2987138A1 (en) 2016-02-24
CN105247859B (zh) 2019-11-29
EP2986936A1 (en) 2016-02-24
US20140307055A1 (en) 2014-10-16
WO2014172231A1 (en) 2014-10-23
EP2987138B1 (en) 2021-09-22
AU2014254219B2 (en) 2017-07-27
US20140307057A1 (en) 2014-10-16
US20230332886A1 (en) 2023-10-19
EP3757510B1 (en) 2022-06-29
US9697424B2 (en) 2017-07-04
CN105308650B (zh) 2020-09-25
WO2014172223A1 (en) 2014-10-23
WO2014172227A1 (en) 2014-10-23
KR102207768B1 (ko) 2021-01-25
US9928420B2 (en) 2018-03-27
CN105143817A (zh) 2015-12-09
US9760770B2 (en) 2017-09-12
CN105230003B (zh) 2019-07-16
US10816331B2 (en) 2020-10-27
CN105247859A (zh) 2016-01-13
BR112015025819A8 (pt) 2019-12-24
CA2907895C (en) 2020-10-27
CN105229412A (zh) 2016-01-06
EP2987323A1 (en) 2016-02-24
CN105230003A (zh) 2016-01-06
CN105308650A (zh) 2016-02-03
US20150078672A1 (en) 2015-03-19
BR112015025819A2 (pt) 2017-07-25
JP6469080B2 (ja) 2019-02-13
US20180260623A1 (en) 2018-09-13
AU2014254219A1 (en) 2015-10-22
RU2015143654A (ru) 2017-04-28
MX357307B (es) 2018-07-04
US10268885B2 (en) 2019-04-23
EP2986936B1 (en) 2020-08-26
CN105229696A (zh) 2016-01-06
WO2014172229A1 (en) 2014-10-23
CA2907895A1 (en) 2014-10-23
US20140307953A1 (en) 2014-10-16
US20140309764A1 (en) 2014-10-16
WO2014172221A1 (en) 2014-10-23
EP2987323B1 (en) 2020-10-21
US20140310496A1 (en) 2014-10-16
CN105143817B (zh) 2021-02-09
EP2987132A1 (en) 2016-02-24
EP2986935B1 (en) 2021-03-31
US10928189B2 (en) 2021-02-23
US20140307098A1 (en) 2014-10-16
EP2987131A1 (en) 2016-02-24
KR20150140841A (ko) 2015-12-16
WO2014172222A1 (en) 2014-10-23
WO2014172228A1 (en) 2014-10-23
EP2987320B1 (en) 2021-02-03
EP2986931A1 (en) 2016-02-24
WO2014172276A1 (en) 2014-10-23
US9508003B2 (en) 2016-11-29
MX2015014577A (es) 2017-02-15
US20180173947A1 (en) 2018-06-21
US20140307047A1 (en) 2014-10-16
US20180218210A1 (en) 2018-08-02
EP2987132B1 (en) 2017-11-01

Similar Documents

Publication Publication Date Title
RU2663329C2 (ru) Активная стереосистема с использованием сопутствующего устройства или устройств
US10038893B2 (en) Context-based depth sensor control
US10250789B2 (en) Electronic device with modulated light flash operation for rolling shutter image sensor
US9407837B2 (en) Depth sensor using modulated light projector and image sensor with color and IR sensing
US9142019B2 (en) System for 2D/3D spatial feature processing
TWI544781B (zh) 具有功率有效深度感測器運用之即時三維重建
EP2962460A1 (en) Electronic device with multiview image capture and depth sensing
US11736802B2 (en) Communication management apparatus, image communication system, communication management method, and recording medium
US10586394B2 (en) Augmented reality depth sensing using dual camera receiver
CN114862828A (zh) 光斑搜索方法装置、计算机可读介质和电子设备
CN112019660B (zh) 电子装置的控制方法及电子装置
US20220060672A1 (en) Video reproduction apparatus, reproduction method, and program
TWI748439B (zh) 一種基於共享地圖的定位方法及裝置、電子設備和電腦可讀儲存媒體
US20240107177A1 (en) Techniques for Correcting Images in Flash Photography

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20210415