RU2660596C2 - Смешивание инфракрасного облака точек данных и облака точек данных цветовых составляющих - Google Patents
Смешивание инфракрасного облака точек данных и облака точек данных цветовых составляющих Download PDFInfo
- Publication number
- RU2660596C2 RU2660596C2 RU2015143935A RU2015143935A RU2660596C2 RU 2660596 C2 RU2660596 C2 RU 2660596C2 RU 2015143935 A RU2015143935 A RU 2015143935A RU 2015143935 A RU2015143935 A RU 2015143935A RU 2660596 C2 RU2660596 C2 RU 2660596C2
- Authority
- RU
- Russia
- Prior art keywords
- data
- infrared
- rgb
- data points
- image
- Prior art date
Links
- 238000002156 mixing Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 abstract description 8
- 239000000126 substance Substances 0.000 abstract 1
- 238000004566 IR spectroscopy Methods 0.000 description 15
- 230000000875 corresponding effect Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000005055 memory storage Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/74—Circuits for processing colour signals for obtaining special effects
- H04N9/75—Chroma key
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
- G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
- G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Optics & Photonics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Изобретение относится к смешиванию инфракрасного облака точек данных и облака точек данных цветовых составляющих. Техническим результатом является обеспечение оценки данных глубины в областях, где инфракрасные данные являются разреженными. Способ содержит этапы, на которых: получают данные инфракрасного изображения, соответствующие плоскости инфракрасного изображения, имеющие инфракрасные точки данных; получают данные цветовых составляющих, соответствующие этой плоскости изображения, имеющие точки данных цветовых составляющих; определяют область в данных инфракрасного изображения, которая является разреженной областью в плане наличия в ней инфракрасных точек данных; и добавляют некоторые данные цветовых составляющих, соответствующие точкам данных цветовых составляющих, из области-аналога в данных цветовых составляющих в структуру данных, которая включает в себя инфракрасные точки данных и точки данных цветовых составляющих с ассоциированными значениями, из которых может быть определена глубина. 3 н. и 7 з.п. ф-лы, 8 ил.
Description
ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ
[0001] При активном восприятии глубины проектор проецирует шаблоны света, такие как инфракрасные (IR) пятна (dot), для освещения воспринимаемой области. Спроецированные шаблоны захватываются камерой/датчиком (двумя или более в стереосистемах), при этом изображение (изображения) обрабатываются для вычисления карты глубины или подобного, например, из расчета на кадр. Инфракрасное излучение является преимущественным, поскольку цветные (RGB) изображения приводят к очень зашумленным значениям глубины.
[0002] В стереосистемах, стереокамеры захватывают два изображения с разных точек зрения. Затем, например, один способ выполнения оценки глубины с помощью стереопары изображений состоит в нахождении соответствий между изображениями, например, для того чтобы соотнести каждое спроецированное и воспринятое IR пятно в одном изображении с IR пятном-аналогом в другом изображении. Как только сопоставлены, спроецированные шаблоны в изображениях могут быть соотнесены друг с другом и несоответствия между одним или более признаками соотнесенных пятен используются для оценки применительно к этой конкретной паре пятен. Например, плотная карта глубины с исходным (свойственным) разрешением камеры может быть получена посредством сопоставления зоны (например, через окно размером 5х5).
[0003] Тем не менее, не все поверхности очень хорошо отражают IR свет. В результате в любой части изображения, которая соответствует плохо отражающей IR поверхности, в целом отсутствуют достаточные IR данные (например, отраженные пятна) в стереоизображениях для соотнесения друг с другом, и, следовательно, отсутствуют данные глубины или данные глубины являются очень разреженными. Это создает проблему даже при одной двумерной карте глубины; в приложениях облака точек (point), таких как те, что используют данные глубины для построения сетчатого объекта (mesh), недостаток адекватных данных глубины в некоторых областях может быть даже более ощутимым.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0004] Данная сущность изобретения предоставлена, чтобы представить выбор показательных концепций в упрощенной форме, которые дополнительно описываются ниже в подробном описании. Данная сущность изобретения как не предназначена для того, чтобы идентифицировать ключевые признаки или неотъемлемые признаки заявленного предмета изобретения, так и не предназначена для того, чтобы использоваться любым образом, который будет ограничивать объем заявленного предмета изобретения.
[0005] Кратко, один или более различные аспекты описываемого в данном документе предмета изобретения направлены на использование данных цветовых составляющих (например, RGB), чтобы дополнять инфракрасные данные в областях, в которых инфракрасные данные являются разреженными. Один или более аспекты направлены на получение инфракрасных данных с инфракрасными точками данных и данных цветовых составляющих с точками данных цветовых составляющих, соответствующих плоскости изображения. После определения области в инфракрасных данных изображения, которая является разреженной областью, что касается наличия в ней инфракрасных точек данных, по меньшей мере, некоторые данные цветовых составляющих, соответствующие точкам данных цветовых составляющих, из области-аналога в данных изображения цветовых составляющих добавляются в структуру данных.
[0006] В одном или более аспектах компонент обработки изображения выполнен с возможностью приема инфракрасных изображений, захваченных по меньшей мере одной инфракрасной (IR) камерой, и красных, зеленых, синих (RGB) изображений-аналогов, захваченных по меньшей мере одной RGB камерой. Компонент смешивания, связанный с или встроенный в компонент обработки изображения, обрабатывает инфракрасные данные, соответствующие инфракрасному изображению, чтобы определять одну или более разреженные области в нем. Для каждой разреженной области компонент смешивания добавляет RGB данные, соответствующие области-аналогу в RGB изображении-аналоге, в структуру данных.
[0007] Один или более аспекты направлены на получение первых IR данных, соответствующих данным облака точек, спроецированным на первую плоскость изображения, и получение первых RGB данных, соответствующих данным облака точек, спроецированным на первую плоскость изображения. Определяется одна или более разреженные инфракрасные области в первых инфракрасных данных и одна или более области-аналоги для разреженных инфракрасных областей в первых RGB данных. По меньшей мере, некоторые RGB данные из одной или более областей-аналогов добавляются в структуру данных. Это может быть выполнено с помощью второго набора IR данных и RGB данных и т.д., чтобы добавить RGB данные в структуру данных в областях, где IR данные являются разреженными.
[0008] Прочие преимущества могут стать очевидными из нижеследующего подробного описания, рассматриваемого совместно с чертежами.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0009] Настоящее изобретение иллюстрируется в качестве примера и не ограничивается в сопроводительных чертежах, на которых подобные цифровые обозначения указывают сходные элементы, на которых:
[0010] Фиг. 1 является структурной схемой, представляющей собой примерные компоненты, которые могут быть использованы для дополнения разреженных инфракрасных данных RGB данным, в соответствии с одной или более примерными реализациями.
[0011] Фиг. 2 является представлением примера проецирования пятен в сцене, для получения IR данных в соответствии с одной или более примерными реализациями.
[0012] Фиг. 3 является представлением того, каким образом спроецированные пятна могут быть использованы в сценарии набора из нескольких камер, в соответствии с одной или более примерными реализациями.
[0013] Фиг. 4 является представлением того, каким образом обнаруженные инфракрасные данные могут быть разрежены в зоне, которая плохо отражает IR свет, в соответствии с одной или более примерными реализациями.
[0014] Фиг. 5 является представлением того, каким образом разреженные инфракрасные области могут быть определены из IR данных, в соответствии с одной или более примерными реализациями.
[0015] Фиг. 6 является представлением того, каким образом разреженные области могут быть изменены, в соответствии с одной или более примерными реализациями.
[0016] Фиг. 7 является блок-схемой, представляющей собой примерные этапы, которые могут быть предприняты, чтобы определить разреженные IR зоны и добавить данные из RGB областей-аналогов в структуру данных, как, например, для использования в качестве относящихся к глубине данных, в соответствии с одной или более примерными реализациями.
[0017] Фиг. 8 является структурной схемой, представляющей собой примерную не ограничивающую вычислительную систему или рабочую среду, в которой могут быть реализованы один или более различных описываемых в данном документе вариантов осуществления.
ПОДРОБНОЕ ОПИСАНИЕ
[0018] Различные аспекты описываемой в данном документе технологии в целом направлены на использование RGB данных для оценки данных глубины в областях, где инфракрасные данные являются разреженными. В одном аспекте плотность инфракрасных данных (например, точек, спроецированных из инфракрасного облака точек) оценивается в различных субчастях с тем, чтобы дополнить любую субчасть с низкой плотностью (основанную на IR) RGB данными. Таким образом, смешивание RGB и IR стереоточек, основанное на плотности, обеспечивает облако точек более полными данными глубины.
[0019] В одном аспекте плотность вычисляется по нескольким субчастям двумерной плоскости изображения, соответствующей проекции из инфракрасного облака точек на эту плоскость изображения. Субчасти могут быть скомпонованы в качестве сетки или подобного. Для любой ячейки сетки оценивается плотность инфракрасных точек, и если она слишком низкая, RGB данные точки для этой ячейки сетки сохраняются, в противном случае, RGB данные точки отвергаются. Процесс может быть повторен для такого количества наборов камер (контейнеров (pod)), которое было использовано при захвате данных облака точек в заданной конфигурации.
[0020] Следует понимать, что любые из примеров в данном документе не являются ограничивающими. Например, несмотря на то что в данном документе в качестве примера приводится трехмерное облако точек, захватываемое несколькими скомпонованными контейнерами, описываемая в данном документе технология может быть применена к по меньшей мере одной единичной двумерной карте глубины. Кроме того, несмотря на то что описываются RGB (красный, зеленый синий) данные цветовых составляющих, датчик RGB может быть замещен на или дополнен ультрафиолетовым датчиком для наполнения разреженных IR данных. Если так, то настоящее изобретение не ограничивается любыми конкретными вариантами осуществления, аспектами, концепциями, структурами, функциональными возможностями или примерами, описываемыми в данном документе. Наоборот, любые из вариантов осуществления, аспектов, концепций, структур, функциональных возможностей или примеров, описываемых в данном документе, являются не ограничивающими, и настоящее изобретение может быть использовано различными способами, которые обеспечивают выгоду и преимущества при активном восприятии глубины, обработке облаков точек и изображения в целом.
[0021] Фиг. 1 показывает примерную систему, в которой контейнер 100, содержащий стерео IR камеры 101 и 102, стерео RGB камеры 103 и 104 и проектор 106 (например, IR лазер, дифрагированный на несколько тысяч пятен) захватывает стерео IR изображения и RGB изображения. Отметим, что контейнер 100 является лишь одной примерной компоновкой и что в других компоновках камеры 101-104 могут быть скомпонованы в любой очередности относительно друг друга. Действительно, в одной реализации проектор расположен над камерами. Кроме того, любая из камер и/или проектор могут быть отделены друг от друга, вместо того чтобы являться частью любой конфигурации контейнера; контейнер не требуется. Таким образом, Фиг. 1 является только показывающей компоненты в целях объяснения и ни масштаб, ни относительные размеры, ни относительные положения, ни сочетания устройств внутри корпуса/устройства-контейнера и т.д. не должны подразумеваться из Фиг. 1.
[0022] В примере на Фиг. 1 контейнер 100 связан с (или объединен с) подсистемой 108 или системой захвата изображения. Как правило, управление камерами осуществляется, например, через интерфейс 110 камеры и контроллер 111, для захвата стереоизображений, синхронизированных по времени (например, камеры являются «с синхронизатором видеосигнала»). В одной реализации камеры 101 и 102 захватывают инфракрасные (IR) изображения 114, поскольку IR излучение является высокоэффективным при оценке глубины в меняющихся условиях света и не оказывает влияния на видимый внешний вид сцены. Кроме того, камеры 103 и 104 захватывают стерео RGB изображения 115. Как может быть легко понятно и как иллюстрируется ниже, в некоторых сценариях, таких как в студийной среде, могут присутствовать более чем один такой контейнер и подсистема/система захвата изображения.
[0023] На Фиг. 1 показан проектор 106, который проецирует IR шаблон на сцену, такой как шаблон бликов (spot) (например, пятен) или линейный шаблон, несмотря на то что могут быть использованы другие типы форм и/или шаблонов бликов. Для краткости, далее в целом описываются пятна. Посредством освещения сцены с помощью относительно большого количества распределенных инфракрасных пятен IR камеры 102 и 103 захватывают данные текстуры, как часть инфракрасных данных изображения. Отметим, что проектор 106 показан как связанный с контроллером 112 через интерфейс 116 проектора; любое такое управление может быть настолько простым, как включение и выключение проектора или использование энергосберегающих режимов, тем не менее, осуществимо более сложное управление, такое как пульсация, изменение распределения пятен, изменение интенсивности и/или подобное.
[0024] Фиг. 2 представляет в качестве примера данную концепцию проецирования. Проектор 106, представленный в качестве круга между стереокамерами 101-104, проецирует шаблон пятен на сцену 222. Камеры 101-104 захватывают пятна, по мере того как они отражаются от поверхностей объекта в сцене 222 и (возможно) фона. В целом несоответствие в изображениях, которые видят две камеры, является указывающим расстояние до отражающей поверхности. Отметим, что не подразумевается, что Фиг. 2 представлена в масштабе, как и не передает любые размеры, расстояние, шаблон распределения пятен, плотность пятен и т.д.
[0025] Возвращаясь к Фиг. 1, изображения, захваченные камерами 101-104, предоставляются подсистеме 118 или системе обработки изображения. В некоторых реализациях система 118 обработки изображения и подсистема 104 или система захвата изображения, или их части, могут быть объединены в единое устройство. Например, домашнее развлекательное устройство может включать в себя все компоненты, показанные на Фиг. 1 (как впрочем и другие не показанные). В других реализациях части (или вся) подсистема 104 или система захвата изображения, такие как камеры и проектор, могут быть отдельным устройством, которое связывается с игровой консолью, персональным компьютером, мобильным устройством, специализированным устройством обработки и/или подобным.
[0026] Подсистема 118 или система обработки изображения включает в себя процессор 120 и память 122, содержащую один или более алгоритм обработки изображения, включая алгоритм 124 IR/RGB смешивания, как описывается в данном документе. В целом алгоритм 124 IR/RGB смешивания выводит список 130 или другую подходящую структуру данных, которая включает в себя IR точки и RGB точки с ассоциированными значениями, по которым может быть определена глубина. Также на Фиг. 1 показан интерфейс 132 для подсистемы 118 или системы обработки изображения, как, например, для соединения клавиатуры, игрового контроллера, дисплея, координатно-указательного устройства, микрофона для речевых команд и/или подобного в соответствующих случаях для пользователя, чтобы взаимодействовать с приложением или подобным, которое использует смешенный IR/RGB список 130 точек.
[0027] Фиг. 3 показывает множество контейнеров 3001-3004, скомпонованных для захвата изображений объекта (например, человека) с разных ракурсов. Отметим, что несмотря на то что четыре контейнера изображено на Фиг. 3, следует понимать, что любое практическое количество может присутствовать в заданной конфигурации. Например, одна такая конфигурация использует девять контейнеров с двумя наборами из четырех контейнеров на разных высотах окружающих пространство плюс один контейнер над пространством.
[0028] В примере на Фиг. 3 IR и RGB данные изображения, захваченные от каждого из четырех (или более) контейнеров, формируют отдельные IR и RGB облака точек (IR-PC и RGB-PC, соответственно). Данные облака точек предоставляются алгоритму 124 IR/RGB смешивания облака точек для обработки, как описывается в данном документе.
[0029] Как в целом представлено на Фиг. 3, проекторы каждого контейнера проецируют шаблон света (IR пятна) на объект, например человека 330. Отраженный IR свет захватывается в каждом контейнере 3001-3004. Тем не менее, как проиллюстрировано на Фиг. 3 (а также в увеличенном виде на Фиг. 4), некоторые поверхности (соответствующие зоне 332) не отражают хорошо IR свет одним примером являются волосы человека, тем не менее многие материалы, ткани и подобное обладают плохими IR отражающими свойствами. Отметим, что пятна на Фиг. 3 и 4 служат лишь в целях иллюстрации и что распределение, общая плотность, размеры и т.д. не предназначены для того, чтобы передавать любую фактическую информацию о размерах, плотности и/или распределении.
[0030] Таким образом, присутствуют разреженные IR данные в зоне 332. Как описывается в данном документе, данный уровень разреженности обнаруживается в тех местах, где он присутствует в изображении, и RGB точки добавляются к областям, где IR точки являются разреженными.
[0031] С этой целью для заданного облака точек данные облака точек могут быть спроецированы на двумерную плоскость изображения с любого заданного ракурса. Таким образом, плоскость изображения для каждого контейнера имеет данные облака точек, спроецированные на нее, причем одна плоскость изображения для IR данных, а другая - для RGB данных. В качестве альтернативы (например, если облако точек отсутствует), каждый кадр IR данных и RGB данных захватывается в качестве двухмерных (2D) изображений на камерах, тем самым из захвата существуют данные плоскости изображения.
[0032] В любом случае, Фиг. 4 показывает то, каким образом 2D изображение 440 может быть разделено на сеткоподобные субчасти для определения плотности отраженных IR пятен, захваченных в нем. Как может быть видно из данного упрощенного примера, плотность является низкой в зоне 332, соответствующей поверхности, которая плохо отражает IR свет. Отметим, что размер сеток и количество сеток не предназначены передавать любой фактический размер, относительный размер, относительное количество и т.д.
[0033] В сущности, может быть использована любая методика для определения местоположения разреженности в подразделах массива, и она не обязательно должна быть основана на сетках, однако сетки обеспечивают простое решение. Например, один простой способ для обнаружения разреженности использует механизм, который считает точки в ячейках сетки. Например, если количество пятен в заданной ячейке сетки ниже порогового значения, тогда данная конкретная ячейка сетки считается разреженной. При таком решении RGB данные для данной сетки берутся с тем, чтобы дополнить разреженные IR данные, для использования по желанию (например, при обнаружении глубины).
[0034] Фиг. 5 показывает, по существу, тот же самый пример, что и на Фиг. 4, за исключением того, что ячейки сетки сдвинуты на основании максимизации разреженности (или, наоборот, максимизации плотности) или на основании некоторых других критериев. Посредством сдвига сеток (и/или растягивания их или укорачивания их по вертикали и/или расширения или сужения их по горизонтали) разные субчасти являются разреженными. Например, на Фиг. 5, присутствует шесть ячеек сетки (областей) рядом с зоной 332, которые вероятно должны быть обнаружены в качестве разреженных, против четырех таких ячеек сетки в примере на Фиг. 4. Отметим, что добавление RGB привносит некоторый шум в восприятие глубины, однако во многих случаях наличие данных глубины с некоторым шумом в области является улучшением в сравнении с отсутствием или наличием лишь очень разреженных данных глубины в этой области.
[0035] Фиг. 6 показывает другую альтернативу, при которой ячейкам сетки может быть произвольным образом выбран размер и/или компоновка, как, например, для увеличения или уменьшения количества добавляемых RGB точек. Например, то, что было единой ячейкой 444 сетки на Фиг. 4, делится на две меньшие ячейки 662 и 664 сетки на Фиг. 6. Это также представлено посредством более жирных линий вокруг этих ячеек, как впрочем и других более мелких ячеек на Фиг. 6. Отметим, что это может быть сделано во время подсчета, например, неразреженная но «едва-выше-пороговой-величины» ячейка может быть подразделена на субобласти для определения, является ли одна часть теперь разреженной, например, относительно уменьшенной пороговой величины, такой как половина пороговой величины, если зона ячейки сетки делиться пополам. Это имеет тенденцию к увеличению добавляемых RGB данных, поскольку иногда то, что было неразреженной ячейкой, может быть разделено на разреженную часть и неразреженную часть. И наоборот, чтобы уменьшить объем добавляемых RGB данных, разреженные, но «едва-ниже-пороговой-величины» ячейки могут быть подразделены для того, чтобы определить, является ли одна часть теперь неразреженной. Оба эти альтернативные варианты могут быть выполнены одновременно.
[0036] Фиг. 7 является блок-схемой, представляющей собой примерные этапы подходящего алгоритма IR-RGB смешивания. В целом алгоритм повторяется из расчета на контейнер (через этапы 702 и 718) для получения полного списка IR точек, дополненных RGB точками в областях, где IR является разреженным (как обнаруживается относительно любого контейнера).
[0037] Этап 702 выбирает контейнер, а этапы 704 и 706 получают 2D IR и RGB плоскости изображения для этого контейнера, например, через проекцию облака точек (или как захваченные на данном контейнере; отметим, что в целях определения плотности может быть использовано только одно из стереоизображений). Этап 708 делит каждое изображение на субчасти, например сетки. Сетки могут быть любого подходящего размера (например, шестнадцать-на-шестнадцать блоков).
[0038] Этап 710 выбирает сетку из IR плоскости изображения и считает в ней IR точки. Этап 712 определяет, является ли плотность сетки низкой, например, посредством оценки количества против пороговой величины. Пороговая величина может быть фиксированным количеством (например, десять), которое является логичным, оцененным или вычисленным для заданной конфигурации контейнеров, плотности шаблона проекции и расстояний до освещаемого объекта, или может меняться на основании статистических методик/анализа, как, например, усреднения и стандартного отклонения. Размер сетки и/или формы (например, квадратная, прямоугольная, треугольная, шестиугольная) и т.п. также могут варьироваться.
[0039] В любом случае, когда обнаруживается разреженная ячейка сетки или подобное на этапе 712, этап 714 добавляет RGB точки из ячейки-аналога сетки в RGB данных плоскости изображения в список или другую подходящую структуру данных. Если не разреженная, тогда достаточно IR данных присутствует в данной области для использования по желанию.
[0040] Этап 716 повторяет процесс для следующей сетки и т.д., до тех пор пока не будут обработаны все сетки. Этап 718 повторяет процесс для других контейнеров, до тех пор пока не будут обработаны все контейнеры.
[0041] Когда контейнеры были обработаны, RGB данные изображения присутствуют в списке или подобном. В списке могут присутствовать дубликаты, которые могут быть удалены через этап 720; (отметим, что в качестве альтернативы дубликаты могут не добавляться на этапе 714). Этап 722 добавляет IR точки (от всех контейнеров) в список, и процесс завершается. Теперь данный список содержит все IR точки плюс RGB точки, где IR данные были разреженными, для любого контейнера.
[0042] Отметим, что в альтернативных реализациях величина разреженности может быть фактором при добавлении RGB. Например, чем ближе IR счет к пороговой величине, тем меньше количество RGB точек, которые могут быть добавлены. Подобным образом, близость RGB точки к IR точки в пространстве координат может определять, добавлять ли данную точку.
[0043] Как может быть видно, описываемое является технологией, посредством которой изображение или облако точек с разреженными IR областями данных могут быть смешены с RGB данными в разреженных областях. Результирующие смешенные данные могут быть использованы для получения значений глубины там, где отсутствуют или присутствуют только разреженные IR области данных.
ПРИМЕРНАЯ РАБОЧАЯ СРЕДА
[0044] Фиг. 8 иллюстрирует пример подходящей вычислительной и сетевой среды 800, в которой относящиеся к компьютеру примеры и реализации, описываемые в данном документе, могут быть реализованы, например. Среда 800 вычислительной системы является лишь одним примером подходящей вычислительной среды и не предназначена для того, чтобы предложить любое ограничение как на объем использования, так и функциональность изобретения. Также вычислительная среда 800 не должна интерпретироваться как обладающая любой зависимостью или требованием касательно любого одного или сочетания компонентов, иллюстрируемых в примерной рабочей среде 800.
[0045] Изобретение является рабочим при многочисленных других общего назначения или специализированного назначения средах или конфигурациях вычислительной системы. Примеры общеизвестных вычислительных систем, сред и/или конфигураций, которые могут подходить для использования с изобретением, включают в себя, но не ограничиваются: персональные компьютеры, серверные компьютеры, переносные или портативные устройства, планшетные устройства, многопроцессорные системы, основанные на микропроцессоре системы, абонентские телевизионные приставки, программируемую потребительскую электронику, сетевые PC, миникомпьютеры, компьютеры класса мэйнфрейм, распределенные вычислительные среды, которые включают в себя любые из вышеприведенных систем или устройств, и подобное.
[0046] Изобретение может быть описано в общем контексте исполняемых компьютером инструкций, таких как программные модули, которые исполняются компьютером. В целом программные модули включают в себя подпрограммы, программы, объекты, компоненты, структуры данных и т.д., которые выполняют конкретные задачи или реализуют конкретные абстрактные типы данных. Изобретение также может быть реализовано на практике в распределенных вычислительных средах, в которых задачи выполняются посредством удаленных устройств обработки, которые связаны посредством сети связи. В распределенной вычислительной среде программные модули могут быть расположены в локальных и/или удаленных компьютерных запоминающих носителях информации, включающих в себя запоминающие устройства памяти.
[0047] Со ссылкой на Фиг. 8, примерная система для реализации различных аспектов изобретения может включать в себя вычислительное устройство общего назначения в виде компьютера 810. Компоненты компьютера 810 могут включать в себя, но не ограничиваются, блок 820 обработки, системную память 830 и системную шину 821, которая связывает различные компоненты системы, включая системную память, с блоком 820 обработки. Системная шина 821 может быть любой из нескольких типов структур шины, включающей в себя шину памяти и контроллер памяти, периферийную шину и локальную шину, используя любую из разнообразия архитектур шины. В качестве примера, а не ограничения, такие архитектуры включают в себя шину Архитектуры Промышленного Стандарта (ISA), шину Микроканальной Архитектуры, шину Улучшенной ISA (EISA), локальную шину Ассоциации по Стандартизации в Области Видеоэлектроники (VESA) и шину Межсоединения Периферийных Компонентов (PCI), также известную как шина второго уровня.
[0048] Компьютер 810, как правило, включает в себя разнообразные машиночитаемые носители информации. Машиночитаемые носители информации могут быть любыми доступными носителями информации, доступ к которым может быть осуществлен посредством компьютера 810, и включают в себя как энергозависимые, так и энергонезависимые носители информации, и съемные и несъемные носители информации. В качестве примера, а не ограничения, машиночитаемые носители информации могут быть выполнены в виде компьютерных запоминающих носителей информации и средств связи. Компьютерные запоминающие носители информации включают в себя энергозависимые и энергонезависимые, съемные и несъемные носители информации, реализованные любым способом или по любой технологии для хранения информации, такой как машиночитаемые инструкции, структуры данных, программные модули или другие данные. Компьютерные запоминающие носители информации включают в себя, но не ограничиваются, RAM, ROM, EEPROM, флэш-память или другую технологию памяти, CD-ROM, цифровые универсальные диски (DVD) или другие оптические дисковые хранилища, магнитные кассеты, магнитную ленту, магнитное дисковое хранилище или другие магнитные запоминающие устройства или любой другой носитель информации, который может быть использован для хранения требуемой информации и доступ к которому может быть осуществлен посредством компьютера 810. Среда связи, как правило, воплощает машиночитаемые инструкции, структуры данных, программные модули или другие данные в модулированном сигнале данных, таком как несущая волна или другой транспортный механизм, и включает в себя любые средства доставки информации. Понятие «модулированный сигнал данных» означает сигнал, который обладает одной или более своими характеристиками, установленными или измененными таким образом, чтобы кодировать информацию в сигнале. В качестве примера, а не ограничения, средства связи включают в себя проводные средства, такие как проводную сеть или непосредственное проводное соединение, и беспроводные средства, такие как акустические, RF, инфракрасные и другие беспроводные средства. Сочетание любого из вышеприведенного также может быть включено в объем машиночитаемых носителей информации.
[0049] Системная память 830 включает в себя компьютерные запоминающие носители информации в виде энергозависимой и/или энергонезависимой памяти, такой как постоянное запоминающее устройство 831 (ROM) и запоминающее устройство 832 с произвольной выборкой (RAM). Базовая система 833 ввода/вывода (BIOS), содержащая основные подпрограммы, которые способствуют переносу информации между элементами в компьютере 810, как, например, во время запуска, как правило, хранится в ROM 831. RAM 832, как правило, содержит данные и/или программные модули, которые являются непосредственно доступными и/или в настоящий момент выполняются в блоке 820 обработки. В качестве примера, а не ограничения, Фиг. 8 иллюстрирует операционную систему 834, прикладные программы 835, другие программные модули 836 и данные 837 программы.
[0050] Компьютер 810 также может включать в себя другие съемные/несъемные энергозависимые/энергонезависимые компьютерные запоминающие носители информации. Только в качестве примера, Фиг. 8 иллюстрирует накопитель 841 на жестком диске, который считывает с или записывает на несъемные энергонезависимые магнитные носители информации, накопитель 851 на магнитном диске, который считывает с и записывает на съемный, энергонезависимый магнитный диск 852, и накопитель 855 на оптическом диске, который считывает с или записывает на съемный энергонезависимый оптический диск 856, такой как CD-ROM или другие оптические носители информации. Другие съемные/несъемные энергозависимые/энергонезависимые компьютерные запоминающие носители информации, которые могут быть использованы в примерной рабочей среде, включают в себя, но не ограничиваются, кассеты с магнитной лентой, карты флэш-памяти, цифровые универсальные диски, цифровые видеоленты, твердотельное RAM, твердотельное ROM и подобное. Накопитель 842 на жестком диске, как правило, соединен с системной шиной 821 посредством интерфейса несъемной памяти, такого как интерфейс 840, а накопитель 851 на магнитном диске и накопитель 855 на оптическом диске, как правило, соединены с системной шиной 821 посредством интерфейса съемной памяти, такого как интерфейс 850.
[0051] Накопители и их ассоциированные компьютерные запоминающие носители информации, описанные выше и проиллюстрированные на Фиг. 8, обеспечивают хранилище машиночитаемых инструкций, структур данных, программных модулей и других данных для компьютера 810. На Фиг. 8, например, накопитель 841 на жестком диске иллюстрируется как хранящий операционную систему 844, прикладные программы 845, другие программные модули 846 и данные 847 программы. Отметим, что эти компоненты могут быть либо точно такими же, либо отличаться от операционной системы 834, прикладных программ 835, других программных модулей 836 и данных 837 программы. Операционной системе 844, прикладным программам 845, другим программным модулям 846 и данным 847 программы даны в данном документе другие номера с тем, чтобы проиллюстрировать то, что, по минимуму, они являются разными копиями. Пользователь может вводить команды и информацию в компьютер 810 посредством устройств ввода, таких как планшет или электронный цифровой планшет, 864, микрофон 863, клавиатура 862 и координатно-указательное устройство 861, обычно именуемое манипулятором типа мышь, шаровым манипулятором или сенсорной панелью. Другие устройства ввода, не показанные на Фиг. 8, могут включать в себя игровой манипулятор, игровую панель, спутниковую антенну, сканер или подобное. Эти и другие устройства ввода обычно соединяются с блоком 820 обработки посредством интерфейса 860 ввода пользователя, который связан с системной шиной, однако может быть соединен посредством другого интерфейса и структур шины, таких как параллельный порт, игровой порт или универсальная последовательная шина (USB). Монитор 891 или другой тип дисплейного устройства также соединен с системной шиной 821 через интерфейс, такой как видеоинтерфейс 890. Монитор 891 также может быть интегрирован с панелью сенсорного экрана или подобным. Отметим, что монитор и панель сенсорного экрана могут быть физически связаны с корпусом, в который заключено вычислительное устройство 810, как, например, в персональном компьютере планшетного типа. В дополнение, компьютеры, такие как вычислительное устройство 810, также могут включать в себя другие периферийные устройства вывода, такие как громкоговорители 895 и принтер 896, которые могут быть соединены посредством периферийного интерфейса 894 вывода или подобного.
[0052] Компьютер 810 может работать в сетевой среде, используя логические соединения с одним или более удаленными компьютерами, такими как удаленный компьютер 880. Удаленный компьютер 880 может быть персональным компьютером, сервером, маршрутизатором, сетевым PC, одноранговым устройством или другим общим сетевым узлом и, как правило, включает в себя многие или все элементы, описанные выше в отношении компьютера 810, несмотря на то что только запоминающее устройство 881 памяти было проиллюстрировано на Фиг. 8. Логические соединения, изображенные на Фиг. 8, включают в себя одну или более локальные сети 871 (LAN) и одну или более глобальные сети 873 (WAN), но также могут включать в себя другие сети. Такие сетевые среды являются обычным явлением в офисах, корпоративных компьютерных сетях, интрасетях и Интернете.
[0053] При использовании в LAN сетевой среде, компьютер 810 соединяется с LAN 871 посредством сетевого интерфейса или адаптера 870. При использовании в WAN сетевой среде компьютер 810, как правило, включает в себя модем 872 или другое средство для создания связи через WAN 873, такую как Интернет. Модем 872, который может быть внутренним или внешним, может быть соединен с системной шиной 821 через интерфейс 860 ввода пользователя или другой соответствующий механизм. Компонент 874 беспроводной сети, такой как содержащий интерфейс и антенну, может быть связан посредством подходящего устройства, такого как точка доступа или одноранговый компьютер, с WAN или LAN. В сетевой среде программные модули, изображенные как относящиеся к компьютеру 810, или их части могут храниться на удаленных запоминающих устройствах памяти. В качестве примера, а не ограничения, Фиг. 8 иллюстрирует удаленные прикладные программы 885, как размещенные на устройстве 881 памяти. Должно быть понятно, что показанные сетевые соединения являются примерами и другие средства создания линии связи между компьютерами могут быть использованы.
[0054] Вспомогательная подсистема 899 (например, для вспомогательного отображения контента) может быть соединена через интерфейс 860 пользователя с тем, чтобы обеспечить возможность предоставления пользователю данных, таких как содержимое программы, статус системы и уведомления событий, даже если главные части компьютерной системы находятся в состоянии низкого энергопотребления. Вспомогательная подсистема 899 может быть соединена с модемом 872 и/или сетевым интерфейсом 870 с тем, чтобы обеспечить возможность связи между этими системами, в то время как основной блок 820 обработки находится в состоянии низкого энергопотребления.
[0055] В качестве альтернативы или в дополнение, функциональные возможности, описываемые в данном документе, могут быть выполнены, по меньшей мере частично, посредством одного или более логических компонентов аппаратного обеспечения. Например, без ограничения, иллюстративные типы логических компонентов аппаратного обеспечения, которые могут быть использованы, включают в себя Программируемые Вентильные Матрицы (FPGA), Проблемно-ориентированные Интегральные Микросхемы (ASIC), Проблемно-ориентированные Стандартные продукты (ASSP), системы вида Система на кристалле (SOC), Комплексные Программируемые Логические Устройства (CPLD) и т.д.
ЗАКЛЮЧЕНИЕ
[0056] Несмотря на то что в отношении изобретения допустимы различные модификации и альтернативные конструкции, некоторые его иллюстрируемые варианты осуществления показаны на чертежах и были подробно описаны выше. Следует понимать, тем не менее, что отсутствует намерение ограничить изобретение конкретными раскрытыми формами, а наоборот, намерение состоит в охвате всех модификаций, альтернативных конструкций и эквивалентов, лежащих в рамках сущности и объема изобретения.
Claims (16)
1. Способ обработки данных инфракрасного изображения с использованием цветовых данных, содержащий этапы, на которых:
получают данные инфракрасного изображения, соответствующие плоскости инфракрасного изображения, имеющие инфракрасные точки данных;
получают данные цветовых составляющих, соответствующие этой плоскости изображения, имеющие точки данных цветовых составляющих;
определяют область в данных инфракрасного изображения, которая является разреженной областью в плане наличия в ней инфракрасных точек данных; и
добавляют, по меньшей мере, некоторые данные цветовых составляющих, соответствующие точкам данных цветовых составляющих, из области-аналога в данных цветовых составляющих в структуру данных, которая включает в себя инфракрасные точки данных и точки данных цветовых составляющих с ассоциированными значениями, из которых может быть определена глубина.
2. Способ по п. 1, в котором этап, на котором получают плоскость инфракрасного изображения, содержит этап, на котором проецируют данные инфракрасного изображения из облака точек.
3. Способ по п. 1, дополнительно содержащий этап, на котором делят упомянутую плоскость изображения на множество областей, включающее в себя одну область, которая содержит упомянутую разреженную область.
4. Способ по п. 1, в котором этап, на котором добавляют, по меньшей мере, некоторые данные цветовых составляющих, содержит этап, на котором добавляют объем данных цветовых составляющих на основе уровня разреженности упомянутой области.
5. Способ по п. 1, дополнительно содержащий этап, на котором делят упомянутую плоскость изображения на множество областей, включающее в себя одну область, которая содержит упомянутую разреженную область, при этом размер, по меньшей мере, некоторых из этих областей определяется на основе данных плотности.
6. Способ по п. 1, дополнительно содержащий этап, на котором используют инфракрасные точки данных и точки данных цветовых составляющих в упомянутой структуре данных для определения данных глубины.
7. Система для обработки данных инфракрасного изображения с использованием цветовых данных, содержащая:
компонент обработки изображения, причем компонент обработки изображения выполнен с возможностью принимать инфракрасные изображения, захваченные по меньшей мере одной инфракрасной (IR) камерой, и красные, зеленые, синие (RGB) изображения-аналоги, захваченные по меньшей мере одной RGB камерой; и
компонент смешивания, связанный с или встроенный в компонент обработки изображения, причем компонент смешивания выполнен с возможностью обработки данных инфракрасного изображения, соответствующих инфракрасному изображению, чтобы определять в них разреженную область и, для разреженной области, добавлять RGB данные, соответствующие области-аналогу в RGB изображении-аналоге, в структуру данных, которая включает в себя данные инфракрасного изображения и RGB данные с ассоциированными значениями, из которых может быть определена глубина.
8. Система по п. 7, в которой компонент обработки изображения выполнен с возможностью принимать данные инфракрасного изображения, соответствующие данным облака точек инфракрасного изображения, и RGB данные, соответствующие данным облака точек RGB, которые основаны на изображениях от множества наборов стереокамер.
9. Система по п. 7, в которой компонент смешивания выполнен с возможностью добавления RGB данных из по меньшей мере двух разных наборов RGB данных, полученных от двух разных наборов стереокамер.
10. Машиночитаемый носитель информации или логика с исполняемыми компьютером инструкциями, которыми при их исполнении выполняется способ по любому из пп. 1-6.
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361812233P | 2013-04-15 | 2013-04-15 | |
US61/812,233 | 2013-04-15 | ||
US13/913,454 | 2013-06-09 | ||
US13/913,454 US9191643B2 (en) | 2013-04-15 | 2013-06-09 | Mixing infrared and color component data point clouds |
PCT/US2014/033918 WO2014172230A1 (en) | 2013-04-15 | 2014-04-14 | Mixing infrared and color component data point clouds |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2015143935A RU2015143935A (ru) | 2017-04-19 |
RU2660596C2 true RU2660596C2 (ru) | 2018-07-06 |
Family
ID=51686526
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2015143935A RU2660596C2 (ru) | 2013-04-15 | 2014-04-14 | Смешивание инфракрасного облака точек данных и облака точек данных цветовых составляющих |
Country Status (11)
Country | Link |
---|---|
US (3) | US9191643B2 (ru) |
EP (2) | EP2987140B1 (ru) |
JP (1) | JP6562900B2 (ru) |
KR (1) | KR102171231B1 (ru) |
CN (2) | CN105706143B (ru) |
AU (1) | AU2014254218B2 (ru) |
BR (1) | BR112015025974B1 (ru) |
CA (1) | CA2908689C (ru) |
MX (1) | MX352449B (ru) |
RU (1) | RU2660596C2 (ru) |
WO (2) | WO2014172226A1 (ru) |
Families Citing this family (84)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9628722B2 (en) | 2010-03-30 | 2017-04-18 | Personify, Inc. | Systems and methods for embedding a foreground video into a background feed based on a control input |
US8649592B2 (en) | 2010-08-30 | 2014-02-11 | University Of Illinois At Urbana-Champaign | System for background subtraction with 3D camera |
US9213781B1 (en) | 2012-09-19 | 2015-12-15 | Placemeter LLC | System and method for processing image data |
US20140307055A1 (en) | 2013-04-15 | 2014-10-16 | Microsoft Corporation | Intensity-modulated light pattern for active stereo |
CN104427291B (zh) * | 2013-08-19 | 2018-09-28 | 华为技术有限公司 | 一种图像处理方法及设备 |
US20150186341A1 (en) * | 2013-12-26 | 2015-07-02 | Joao Redol | Automated unobtrusive scene sensitive information dynamic insertion into web-page image |
CN105829829B (zh) * | 2013-12-27 | 2019-08-23 | 索尼公司 | 图像处理装置和图像处理方法 |
US9386303B2 (en) * | 2013-12-31 | 2016-07-05 | Personify, Inc. | Transmitting video and sharing content via a network using multiple encoding techniques |
US9414016B2 (en) * | 2013-12-31 | 2016-08-09 | Personify, Inc. | System and methods for persona identification using combined probability maps |
US9485433B2 (en) | 2013-12-31 | 2016-11-01 | Personify, Inc. | Systems and methods for iterative adjustment of video-capture settings based on identified persona |
US9589359B2 (en) * | 2014-04-24 | 2017-03-07 | Intel Corporation | Structured stereo |
WO2015184440A2 (en) | 2014-05-30 | 2015-12-03 | Placemeter Inc. | System and method for activity monitoring using video data |
CN105469447A (zh) * | 2014-09-11 | 2016-04-06 | 富泰华工业(深圳)有限公司 | 点云边界直角边修补系统及方法 |
DE102014115292A1 (de) * | 2014-10-21 | 2016-04-21 | Connaught Electronics Ltd. | Verfahren zum Bereitstellen von Bilddateien von einem Kamerasystem, Kamerasystem und Kraftfahrzeug |
US10321100B2 (en) * | 2014-12-02 | 2019-06-11 | Ademco Inc. | System and method of foreground extraction for digital cameras |
US9519061B2 (en) * | 2014-12-26 | 2016-12-13 | Here Global B.V. | Geometric fingerprinting for localization of a device |
JP6642970B2 (ja) * | 2015-03-05 | 2020-02-12 | キヤノン株式会社 | 注目領域検出装置、注目領域検出方法及びプログラム |
WO2016152633A1 (ja) * | 2015-03-26 | 2016-09-29 | ソニー株式会社 | 画像処理システムおよび画像処理方法、並びにプログラム |
US11334751B2 (en) | 2015-04-21 | 2022-05-17 | Placemeter Inc. | Systems and methods for processing video data for activity monitoring |
US10043078B2 (en) * | 2015-04-21 | 2018-08-07 | Placemeter LLC | Virtual turnstile system and method |
US9563962B2 (en) | 2015-05-19 | 2017-02-07 | Personify, Inc. | Methods and systems for assigning pixels distance-cost values using a flood fill technique |
US9916668B2 (en) | 2015-05-19 | 2018-03-13 | Personify, Inc. | Methods and systems for identifying background in video data using geometric primitives |
CA2986182A1 (en) * | 2015-05-21 | 2016-11-24 | Koninklijke Philips N.V. | Method and apparatus for determining a depth map for an image |
EP3323106B1 (en) * | 2015-07-13 | 2020-10-28 | Koninklijke Philips N.V. | Method and apparatus for determining a depth map for an image |
US10206630B2 (en) | 2015-08-28 | 2019-02-19 | Foresite Healthcare, Llc | Systems for automatic assessment of fall risk |
US11864926B2 (en) | 2015-08-28 | 2024-01-09 | Foresite Healthcare, Llc | Systems and methods for detecting attempted bed exit |
US9607397B2 (en) | 2015-09-01 | 2017-03-28 | Personify, Inc. | Methods and systems for generating a user-hair-color model |
KR20240051334A (ko) * | 2016-02-18 | 2024-04-19 | 애플 인크. | 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이 |
US11100335B2 (en) | 2016-03-23 | 2021-08-24 | Placemeter, Inc. | Method for queue time estimation |
CN105827998A (zh) * | 2016-04-14 | 2016-08-03 | 广州市英途信息技术有限公司 | 一种抠像系统及抠像方法 |
JP6754610B2 (ja) * | 2016-05-18 | 2020-09-16 | 株式会社デンソーアイティーラボラトリ | 演算処理装置、演算処理方法、およびプログラム |
KR102537416B1 (ko) * | 2016-06-03 | 2023-05-26 | 우트쿠 부육사힌 | 3d 이미지를 캡처 및 생성하기 위한 시스템 및 방법 |
US9883155B2 (en) | 2016-06-14 | 2018-01-30 | Personify, Inc. | Methods and systems for combining foreground video and background video using chromatic matching |
US10453202B2 (en) * | 2016-06-28 | 2019-10-22 | Foresite Healthcare, Llc | Systems and methods for use in detecting falls utilizing thermal sensing |
CN106296728B (zh) * | 2016-07-27 | 2019-05-14 | 昆明理工大学 | 一种基于全卷积网络的非限制场景中运动目标快速分割方法 |
CN106200249A (zh) * | 2016-08-30 | 2016-12-07 | 辽宁中蓝电子科技有限公司 | 结构光和rgb传感器模组整体式集成系统3d相机 |
US10701244B2 (en) * | 2016-09-30 | 2020-06-30 | Microsoft Technology Licensing, Llc | Recolorization of infrared image streams |
US9881207B1 (en) | 2016-10-25 | 2018-01-30 | Personify, Inc. | Methods and systems for real-time user extraction using deep learning networks |
WO2018129104A1 (en) * | 2017-01-03 | 2018-07-12 | Owlii Inc. | Processing holographic videos |
US10943100B2 (en) | 2017-01-19 | 2021-03-09 | Mindmaze Holding Sa | Systems, methods, devices and apparatuses for detecting facial expression |
EP3571627A2 (en) | 2017-01-19 | 2019-11-27 | Mindmaze Holding S.A. | Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location including for at least one of a virtual and augmented reality system |
JP6814053B2 (ja) * | 2017-01-19 | 2021-01-13 | 株式会社日立エルジーデータストレージ | 物体位置検出装置 |
WO2018146558A2 (en) * | 2017-02-07 | 2018-08-16 | Mindmaze Holding Sa | Systems, methods and apparatuses for stereo vision and tracking |
US10924670B2 (en) | 2017-04-14 | 2021-02-16 | Yang Liu | System and apparatus for co-registration and correlation between multi-modal imagery and method for same |
CN107169995B (zh) * | 2017-05-05 | 2020-03-10 | 武汉理工大学 | 一种自适应的运动目标视觉检测方法 |
CN108961316B (zh) * | 2017-05-23 | 2022-05-31 | 华为技术有限公司 | 图像处理方法、装置及服务器 |
US10586383B2 (en) | 2017-06-20 | 2020-03-10 | Microsoft Technology Licensing, Llc | Three-dimensional object scan using data from infrared sensor |
US10560645B2 (en) | 2017-09-22 | 2020-02-11 | Feedback, LLC | Immersive video environment using near-infrared video compositing |
US10270986B2 (en) | 2017-09-22 | 2019-04-23 | Feedback, LLC | Near-infrared video compositing |
US10674096B2 (en) | 2017-09-22 | 2020-06-02 | Feedback, LLC | Near-infrared video compositing |
US10612912B1 (en) * | 2017-10-31 | 2020-04-07 | Facebook Technologies, Llc | Tileable structured light projection system |
US11004207B2 (en) * | 2017-12-06 | 2021-05-11 | Blueprint Reality Inc. | Multi-modal data fusion for scene segmentation |
CN109889799B (zh) * | 2017-12-06 | 2020-08-25 | 西安交通大学 | 基于rgbir摄像头的单目结构光深度感知方法及装置 |
US10783668B2 (en) | 2017-12-22 | 2020-09-22 | Samsung Electronics Co., Ltd. | Handling duplicate points in point cloud compression |
WO2019135246A1 (en) * | 2018-01-08 | 2019-07-11 | Foresight Automotive Ltd | A multi-spectral system for providing pre-collision alerts |
US11328533B1 (en) | 2018-01-09 | 2022-05-10 | Mindmaze Holding Sa | System, method and apparatus for detecting facial expression for motion capture |
EP3741113B1 (en) * | 2018-01-19 | 2022-03-16 | PCMS Holdings, Inc. | Multi-focal planes with varying positions |
US10803596B2 (en) * | 2018-01-29 | 2020-10-13 | HypeVR | Fully automated alpha matting for virtual reality systems |
CN108537814B (zh) | 2018-03-14 | 2019-09-03 | 浙江大学 | 一种基于ViBe的三维声纳点云图像分割方法 |
US10521926B1 (en) | 2018-03-21 | 2019-12-31 | Facebook Technologies, Llc | Tileable non-planar structured light patterns for wide field-of-view depth sensing |
CN108648225B (zh) | 2018-03-31 | 2022-08-02 | 奥比中光科技集团股份有限公司 | 目标图像获取系统与方法 |
WO2019196726A1 (zh) | 2018-04-10 | 2019-10-17 | Oppo广东移动通信有限公司 | 支架、输入输出组件和终端 |
CN108564613A (zh) * | 2018-04-12 | 2018-09-21 | 维沃移动通信有限公司 | 一种深度数据获取方法及移动终端 |
US11481915B2 (en) * | 2018-05-04 | 2022-10-25 | Packsize Llc | Systems and methods for three-dimensional data acquisition and processing under timing constraints |
WO2020010018A1 (en) | 2018-07-05 | 2020-01-09 | Pcms Holdings, Inc. | Method and system for near-eye focal plane overlays for 3d perception of content on 2d displays |
US10878577B2 (en) * | 2018-12-14 | 2020-12-29 | Canon Kabushiki Kaisha | Method, system and apparatus for segmenting an image of a scene |
DE112019006209T5 (de) * | 2018-12-14 | 2021-09-02 | Apple Inc. | Maschinenlernunterstützte Bildvorhersage |
JP7211835B2 (ja) * | 2019-02-04 | 2023-01-24 | i-PRO株式会社 | 撮像システムおよび同期制御方法 |
CN109949347B (zh) * | 2019-03-15 | 2021-09-17 | 百度在线网络技术(北京)有限公司 | 人体跟踪方法、装置、系统、电子设备和存储介质 |
US11493931B2 (en) * | 2019-05-14 | 2022-11-08 | Lg Electronics Inc. | Method of extracting feature from image using laser pattern and device and robot of extracting feature thereof |
JP2020204856A (ja) * | 2019-06-17 | 2020-12-24 | 株式会社バンダイナムコアミューズメント | 画像生成システム及びプログラム |
US11257238B2 (en) * | 2019-09-27 | 2022-02-22 | Sigma Technologies, S.L. | Unsupervised object sizing method for single camera viewing |
US11076111B1 (en) * | 2019-11-13 | 2021-07-27 | Twitch Interactive, Inc. | Smart color-based background replacement |
EP4055564A4 (en) * | 2019-12-13 | 2023-01-11 | Sony Group Corporation | MULTISPECTRAL VOLUMETRIC CAPTURE |
US12008743B2 (en) * | 2020-05-22 | 2024-06-11 | Robert Bosch Gmbh | Hazard detection ensemble architecture system and method |
JP7460282B2 (ja) * | 2020-07-02 | 2024-04-02 | アルプスアルパイン株式会社 | 障害物検出装置、障害物検出方法および障害物検出プログラム |
US11763570B2 (en) * | 2020-07-02 | 2023-09-19 | Alps Alpine Co., Ltd. | Obstacle detection device, obstacle detection method, and storage medium storing obstacle detection program |
JP2022085643A (ja) * | 2020-11-27 | 2022-06-08 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
US11574484B1 (en) * | 2021-01-13 | 2023-02-07 | Ambarella International Lp | High resolution infrared image generation using image data from an RGB-IR sensor and visible light interpolation |
US11800056B2 (en) | 2021-02-11 | 2023-10-24 | Logitech Europe S.A. | Smart webcam system |
US11800048B2 (en) | 2021-02-24 | 2023-10-24 | Logitech Europe S.A. | Image generating system with background replacement or modification capabilities |
CN113066115B (zh) * | 2021-04-28 | 2022-03-25 | 北京的卢深视科技有限公司 | 深度预测网络训练方法、装置、服务器和可读存储介质 |
CN113470049B (zh) * | 2021-07-06 | 2022-05-20 | 吉林省田车科技有限公司 | 一种基于结构化彩色点云分割的完整目标提取方法 |
KR102516008B1 (ko) | 2022-09-21 | 2023-03-30 | (주)이노시뮬레이션 | 포인트 클라우드 데이터를 이용한 복셀 다운 샘플링 방법 및 이를 실행하는 장치 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5812787A (en) * | 1995-06-30 | 1998-09-22 | Intel Corporation | Video coding scheme with foreground/background separation |
US20060039690A1 (en) * | 2004-08-16 | 2006-02-23 | Eran Steinberg | Foreground/background segmentation in digital images with differential exposure calculations |
RU2421933C2 (ru) * | 2009-03-24 | 2011-06-20 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Система и способ формирования и воспроизведения трехмерного видеоизображения |
WO2012041419A1 (en) * | 2010-10-01 | 2012-04-05 | Telefonica, S.A. | Method and system for images foreground segmentation in real-time |
WO2013056188A1 (en) * | 2011-10-13 | 2013-04-18 | Microsoft Corporation | Generating free viewpoint video using stereo imaging |
Family Cites Families (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030063185A1 (en) * | 2001-09-28 | 2003-04-03 | Bell Cynthia S. | Three-dimensional imaging with complementary color filter arrays |
US7227893B1 (en) * | 2002-08-22 | 2007-06-05 | Xlabs Holdings, Llc | Application-specific object-based segmentation and recognition system |
US20040169873A1 (en) * | 2003-02-28 | 2004-09-02 | Xerox Corporation | Automatic determination of custom parameters based on scanned image data |
GB0308943D0 (en) | 2003-04-17 | 2003-05-28 | Univ Dundee | A system for determining the body pose of a person from images |
US8330831B2 (en) | 2003-08-05 | 2012-12-11 | DigitalOptics Corporation Europe Limited | Method of gathering visual meta data using a reference image |
GB0326374D0 (en) * | 2003-11-12 | 2003-12-17 | British Telecomm | Object detection in images |
US7602942B2 (en) * | 2004-11-12 | 2009-10-13 | Honeywell International Inc. | Infrared and visible fusion face recognition system |
US7657126B2 (en) | 2005-05-09 | 2010-02-02 | Like.Com | System and method for search portions of objects in images and features thereof |
US7676081B2 (en) * | 2005-06-17 | 2010-03-09 | Microsoft Corporation | Image segmentation of foreground from background layers |
US7756325B2 (en) * | 2005-06-20 | 2010-07-13 | University Of Basel | Estimating 3D shape and texture of a 3D object based on a 2D image of the 3D object |
US7680314B2 (en) * | 2005-10-17 | 2010-03-16 | Siemens Medical Solutions Usa, Inc. | Devices, systems, and methods for improving image consistency |
US8848053B2 (en) * | 2006-03-28 | 2014-09-30 | Objectvideo, Inc. | Automatic extraction of secondary video streams |
US7885463B2 (en) * | 2006-03-30 | 2011-02-08 | Microsoft Corp. | Image segmentation using spatial-color Gaussian mixture models |
EP1862969A1 (en) * | 2006-06-02 | 2007-12-05 | Eidgenössische Technische Hochschule Zürich | Method and system for generating a representation of a dynamically changing 3D scene |
KR100829581B1 (ko) | 2006-11-28 | 2008-05-14 | 삼성전자주식회사 | 영상 처리 방법, 기록매체 및 장치 |
US20080181507A1 (en) * | 2007-01-29 | 2008-07-31 | Intellivision Technologies Corp. | Image manipulation for videos and still images |
JP2009199284A (ja) * | 2008-02-21 | 2009-09-03 | Univ Of Tokyo | 道路地物認識方法 |
US8249349B2 (en) | 2008-11-25 | 2012-08-21 | Microsoft Corporation | Labeling image elements |
US8681216B2 (en) | 2009-03-12 | 2014-03-25 | Hewlett-Packard Development Company, L.P. | Depth-sensing camera system |
US20100293179A1 (en) * | 2009-05-14 | 2010-11-18 | Microsoft Corporation | Identifying synonyms of entities using web search |
JP5322789B2 (ja) * | 2009-06-15 | 2013-10-23 | 三菱電機株式会社 | モデル生成装置、モデル生成方法、モデル生成プログラム、点群画像生成方法および点群画像生成プログラム |
US8537200B2 (en) | 2009-10-23 | 2013-09-17 | Qualcomm Incorporated | Depth map generation techniques for conversion of 2D video data to 3D video data |
US8355565B1 (en) | 2009-10-29 | 2013-01-15 | Hewlett-Packard Development Company, L.P. | Producing high quality depth maps |
RU2426172C1 (ru) * | 2010-01-21 | 2011-08-10 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине |
US8787663B2 (en) * | 2010-03-01 | 2014-07-22 | Primesense Ltd. | Tracking body parts by combined color image and depth processing |
US8520027B2 (en) * | 2010-05-14 | 2013-08-27 | Intuitive Surgical Operations, Inc. | Method and system of see-through console overlay |
US9858475B2 (en) * | 2010-05-14 | 2018-01-02 | Intuitive Surgical Operations, Inc. | Method and system of hand segmentation and overlay using depth data |
US8625897B2 (en) | 2010-05-28 | 2014-01-07 | Microsoft Corporation | Foreground and background image segmentation |
US9008457B2 (en) * | 2010-05-31 | 2015-04-14 | Pesonify, Inc. | Systems and methods for illumination correction of an image |
CN101882314B (zh) * | 2010-07-20 | 2012-06-20 | 上海交通大学 | 基于超完备稀疏表示的红外小目标检测方法 |
US8649592B2 (en) * | 2010-08-30 | 2014-02-11 | University Of Illinois At Urbana-Champaign | System for background subtraction with 3D camera |
US9247238B2 (en) | 2011-01-31 | 2016-01-26 | Microsoft Technology Licensing, Llc | Reducing interference between multiple infra-red depth cameras |
GB2490872B (en) | 2011-05-09 | 2015-07-29 | Toshiba Res Europ Ltd | Methods and systems for capturing 3d surface geometry |
US8823745B2 (en) * | 2011-06-02 | 2014-09-02 | Yoostar Entertainment Group, Inc. | Image processing based on depth information and color data of a scene |
US8824797B2 (en) * | 2011-10-03 | 2014-09-02 | Xerox Corporation | Graph-based segmentation integrating visible and NIR information |
US9098908B2 (en) | 2011-10-21 | 2015-08-04 | Microsoft Technology Licensing, Llc | Generating a depth map |
US9117281B2 (en) * | 2011-11-02 | 2015-08-25 | Microsoft Corporation | Surface segmentation from RGB and depth images |
US20130177296A1 (en) | 2011-11-15 | 2013-07-11 | Kevin A. Geisner | Generating metadata for user experiences |
US9171393B2 (en) | 2011-12-07 | 2015-10-27 | Microsoft Technology Licensing, Llc | Three-dimensional texture reprojection |
US9043186B2 (en) | 2011-12-08 | 2015-05-26 | Microsoft Technology Licensing, Llc | Surface normal computation on noisy sample of points |
US8971612B2 (en) | 2011-12-15 | 2015-03-03 | Microsoft Corporation | Learning image processing tasks from scene reconstructions |
US20130321564A1 (en) | 2012-05-31 | 2013-12-05 | Microsoft Corporation | Perspective-correct communication window with motion parallax |
US9846960B2 (en) | 2012-05-31 | 2017-12-19 | Microsoft Technology Licensing, Llc | Automated camera array calibration |
CN102799856A (zh) * | 2012-06-15 | 2012-11-28 | 天津大学 | 基于双通道红外信息融合的人体动作识别方法 |
CN102750533A (zh) * | 2012-07-05 | 2012-10-24 | 重庆大学 | 基于形态成份稀疏表示的红外小弱目标检测方法 |
US8831285B2 (en) * | 2012-07-26 | 2014-09-09 | Hewlett-Packard Development Company, L.P. | Detecting objects with a depth sensor |
CN103279987B (zh) | 2013-06-18 | 2016-05-18 | 厦门理工学院 | 基于Kinect的物体快速三维建模方法 |
-
2013
- 2013-06-09 US US13/913,454 patent/US9191643B2/en active Active
- 2013-06-14 US US13/918,747 patent/US20140307056A1/en not_active Abandoned
-
2014
- 2014-04-14 CA CA2908689A patent/CA2908689C/en active Active
- 2014-04-14 WO PCT/US2014/033914 patent/WO2014172226A1/en active Application Filing
- 2014-04-14 WO PCT/US2014/033918 patent/WO2014172230A1/en active Application Filing
- 2014-04-14 RU RU2015143935A patent/RU2660596C2/ru active
- 2014-04-14 CN CN201480034134.3A patent/CN105706143B/zh active Active
- 2014-04-14 AU AU2014254218A patent/AU2014254218B2/en active Active
- 2014-04-14 KR KR1020157032616A patent/KR102171231B1/ko active IP Right Grant
- 2014-04-14 EP EP14726821.3A patent/EP2987140B1/en active Active
- 2014-04-14 JP JP2016508992A patent/JP6562900B2/ja active Active
- 2014-04-14 EP EP14726262.0A patent/EP2987139A1/en not_active Withdrawn
- 2014-04-14 MX MX2015014570A patent/MX352449B/es active IP Right Grant
- 2014-04-14 BR BR112015025974-0A patent/BR112015025974B1/pt active IP Right Grant
- 2014-04-14 CN CN201480021522.8A patent/CN105229697B/zh active Active
-
2018
- 2018-12-07 US US16/214,027 patent/US11546567B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5812787A (en) * | 1995-06-30 | 1998-09-22 | Intel Corporation | Video coding scheme with foreground/background separation |
US20060039690A1 (en) * | 2004-08-16 | 2006-02-23 | Eran Steinberg | Foreground/background segmentation in digital images with differential exposure calculations |
RU2421933C2 (ru) * | 2009-03-24 | 2011-06-20 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Система и способ формирования и воспроизведения трехмерного видеоизображения |
WO2012041419A1 (en) * | 2010-10-01 | 2012-04-05 | Telefonica, S.A. | Method and system for images foreground segmentation in real-time |
WO2013056188A1 (en) * | 2011-10-13 | 2013-04-18 | Microsoft Corporation | Generating free viewpoint video using stereo imaging |
Also Published As
Publication number | Publication date |
---|---|
US9191643B2 (en) | 2015-11-17 |
MX352449B (es) | 2017-11-24 |
JP2016522923A (ja) | 2016-08-04 |
CA2908689C (en) | 2021-08-24 |
BR112015025974A2 (pt) | 2017-07-25 |
AU2014254218A1 (en) | 2015-10-29 |
EP2987140A1 (en) | 2016-02-24 |
US20140307056A1 (en) | 2014-10-16 |
WO2014172230A1 (en) | 2014-10-23 |
CN105706143B (zh) | 2019-02-22 |
WO2014172226A1 (en) | 2014-10-23 |
MX2015014570A (es) | 2016-06-29 |
US20190379873A1 (en) | 2019-12-12 |
RU2015143935A (ru) | 2017-04-19 |
BR112015025974A8 (pt) | 2020-01-14 |
AU2014254218A8 (en) | 2016-01-14 |
US20140307952A1 (en) | 2014-10-16 |
AU2014254218B2 (en) | 2017-05-25 |
CN105706143A (zh) | 2016-06-22 |
EP2987139A1 (en) | 2016-02-24 |
CA2908689A1 (en) | 2014-10-23 |
JP6562900B2 (ja) | 2019-08-21 |
KR20150143751A (ko) | 2015-12-23 |
EP2987140B1 (en) | 2018-12-05 |
CN105229697B (zh) | 2019-01-22 |
KR102171231B1 (ko) | 2020-10-28 |
BR112015025974B1 (pt) | 2022-01-25 |
CN105229697A (zh) | 2016-01-06 |
US11546567B2 (en) | 2023-01-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2660596C2 (ru) | Смешивание инфракрасного облака точек данных и облака точек данных цветовых составляющих | |
Kersten et al. | Image-based low-cost systems for automatic 3D recording and modelling of archaeological finds and objects | |
US8976168B2 (en) | Mesh generation from depth images | |
US9817159B2 (en) | Structured light pattern generation | |
MacDonald et al. | Polynomial texture mapping and 3d representations | |
US20150134303A1 (en) | Three-dimensional scanning system and method with hole-filling function for point cloud using contact probe | |
CN106327505B (zh) | 机器视觉处理系统、设备、方法及计算机可读存储介质 | |
US10902674B2 (en) | Creating a geometric mesh from depth data using an index indentifying unique vectors | |
CN104851127B (zh) | 一种基于交互的建筑物点云模型纹理映射方法及装置 | |
JP2015125685A (ja) | 空間構造推定装置、空間構造推定方法及び空間構造推定プログラム | |
KR20230013099A (ko) | 실시간 깊이 맵을 사용한 지오메트리 인식 증강 현실 효과 | |
JP2015210672A (ja) | 情報処理装置、制御方法、プログラム及び記録媒体 | |
US11763462B2 (en) | Mesh hole area detection | |
US11893744B2 (en) | Methods and apparatus for extracting profiles from three-dimensional images | |
US20180124381A1 (en) | Structured-light-based three-dimensional scanning method, apparatus and system thereof | |
JP6127399B2 (ja) | ステレオカメラ装置及びプログラム | |
TW201816725A (zh) | 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法 | |
TWI637145B (zh) | 基於結構光的三維掃描方法及其裝置與系統 | |
US9996969B2 (en) | Dynamically creating and presenting a three-dimensional (3D) view of a scene by combining color, brightness, and intensity from multiple scan data sources | |
WO2022193080A1 (zh) | 点云处理方法、装置及计算机可读存储介质 |