RU2660596C2 - Смешивание инфракрасного облака точек данных и облака точек данных цветовых составляющих - Google Patents

Смешивание инфракрасного облака точек данных и облака точек данных цветовых составляющих Download PDF

Info

Publication number
RU2660596C2
RU2660596C2 RU2015143935A RU2015143935A RU2660596C2 RU 2660596 C2 RU2660596 C2 RU 2660596C2 RU 2015143935 A RU2015143935 A RU 2015143935A RU 2015143935 A RU2015143935 A RU 2015143935A RU 2660596 C2 RU2660596 C2 RU 2660596C2
Authority
RU
Russia
Prior art keywords
data
infrared
rgb
data points
image
Prior art date
Application number
RU2015143935A
Other languages
English (en)
Other versions
RU2015143935A (ru
Inventor
Патрик Джон СВИНИ
Дэвид Ф. ХАРНЕТТ
Original Assignee
МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи filed Critical МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи
Publication of RU2015143935A publication Critical patent/RU2015143935A/ru
Application granted granted Critical
Publication of RU2660596C2 publication Critical patent/RU2660596C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/75—Chroma key
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

Изобретение относится к смешиванию инфракрасного облака точек данных и облака точек данных цветовых составляющих. Техническим результатом является обеспечение оценки данных глубины в областях, где инфракрасные данные являются разреженными. Способ содержит этапы, на которых: получают данные инфракрасного изображения, соответствующие плоскости инфракрасного изображения, имеющие инфракрасные точки данных; получают данные цветовых составляющих, соответствующие этой плоскости изображения, имеющие точки данных цветовых составляющих; определяют область в данных инфракрасного изображения, которая является разреженной областью в плане наличия в ней инфракрасных точек данных; и добавляют некоторые данные цветовых составляющих, соответствующие точкам данных цветовых составляющих, из области-аналога в данных цветовых составляющих в структуру данных, которая включает в себя инфракрасные точки данных и точки данных цветовых составляющих с ассоциированными значениями, из которых может быть определена глубина. 3 н. и 7 з.п. ф-лы, 8 ил.

Description

ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ
[0001] При активном восприятии глубины проектор проецирует шаблоны света, такие как инфракрасные (IR) пятна (dot), для освещения воспринимаемой области. Спроецированные шаблоны захватываются камерой/датчиком (двумя или более в стереосистемах), при этом изображение (изображения) обрабатываются для вычисления карты глубины или подобного, например, из расчета на кадр. Инфракрасное излучение является преимущественным, поскольку цветные (RGB) изображения приводят к очень зашумленным значениям глубины.
[0002] В стереосистемах, стереокамеры захватывают два изображения с разных точек зрения. Затем, например, один способ выполнения оценки глубины с помощью стереопары изображений состоит в нахождении соответствий между изображениями, например, для того чтобы соотнести каждое спроецированное и воспринятое IR пятно в одном изображении с IR пятном-аналогом в другом изображении. Как только сопоставлены, спроецированные шаблоны в изображениях могут быть соотнесены друг с другом и несоответствия между одним или более признаками соотнесенных пятен используются для оценки применительно к этой конкретной паре пятен. Например, плотная карта глубины с исходным (свойственным) разрешением камеры может быть получена посредством сопоставления зоны (например, через окно размером 5х5).
[0003] Тем не менее, не все поверхности очень хорошо отражают IR свет. В результате в любой части изображения, которая соответствует плохо отражающей IR поверхности, в целом отсутствуют достаточные IR данные (например, отраженные пятна) в стереоизображениях для соотнесения друг с другом, и, следовательно, отсутствуют данные глубины или данные глубины являются очень разреженными. Это создает проблему даже при одной двумерной карте глубины; в приложениях облака точек (point), таких как те, что используют данные глубины для построения сетчатого объекта (mesh), недостаток адекватных данных глубины в некоторых областях может быть даже более ощутимым.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0004] Данная сущность изобретения предоставлена, чтобы представить выбор показательных концепций в упрощенной форме, которые дополнительно описываются ниже в подробном описании. Данная сущность изобретения как не предназначена для того, чтобы идентифицировать ключевые признаки или неотъемлемые признаки заявленного предмета изобретения, так и не предназначена для того, чтобы использоваться любым образом, который будет ограничивать объем заявленного предмета изобретения.
[0005] Кратко, один или более различные аспекты описываемого в данном документе предмета изобретения направлены на использование данных цветовых составляющих (например, RGB), чтобы дополнять инфракрасные данные в областях, в которых инфракрасные данные являются разреженными. Один или более аспекты направлены на получение инфракрасных данных с инфракрасными точками данных и данных цветовых составляющих с точками данных цветовых составляющих, соответствующих плоскости изображения. После определения области в инфракрасных данных изображения, которая является разреженной областью, что касается наличия в ней инфракрасных точек данных, по меньшей мере, некоторые данные цветовых составляющих, соответствующие точкам данных цветовых составляющих, из области-аналога в данных изображения цветовых составляющих добавляются в структуру данных.
[0006] В одном или более аспектах компонент обработки изображения выполнен с возможностью приема инфракрасных изображений, захваченных по меньшей мере одной инфракрасной (IR) камерой, и красных, зеленых, синих (RGB) изображений-аналогов, захваченных по меньшей мере одной RGB камерой. Компонент смешивания, связанный с или встроенный в компонент обработки изображения, обрабатывает инфракрасные данные, соответствующие инфракрасному изображению, чтобы определять одну или более разреженные области в нем. Для каждой разреженной области компонент смешивания добавляет RGB данные, соответствующие области-аналогу в RGB изображении-аналоге, в структуру данных.
[0007] Один или более аспекты направлены на получение первых IR данных, соответствующих данным облака точек, спроецированным на первую плоскость изображения, и получение первых RGB данных, соответствующих данным облака точек, спроецированным на первую плоскость изображения. Определяется одна или более разреженные инфракрасные области в первых инфракрасных данных и одна или более области-аналоги для разреженных инфракрасных областей в первых RGB данных. По меньшей мере, некоторые RGB данные из одной или более областей-аналогов добавляются в структуру данных. Это может быть выполнено с помощью второго набора IR данных и RGB данных и т.д., чтобы добавить RGB данные в структуру данных в областях, где IR данные являются разреженными.
[0008] Прочие преимущества могут стать очевидными из нижеследующего подробного описания, рассматриваемого совместно с чертежами.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0009] Настоящее изобретение иллюстрируется в качестве примера и не ограничивается в сопроводительных чертежах, на которых подобные цифровые обозначения указывают сходные элементы, на которых:
[0010] Фиг. 1 является структурной схемой, представляющей собой примерные компоненты, которые могут быть использованы для дополнения разреженных инфракрасных данных RGB данным, в соответствии с одной или более примерными реализациями.
[0011] Фиг. 2 является представлением примера проецирования пятен в сцене, для получения IR данных в соответствии с одной или более примерными реализациями.
[0012] Фиг. 3 является представлением того, каким образом спроецированные пятна могут быть использованы в сценарии набора из нескольких камер, в соответствии с одной или более примерными реализациями.
[0013] Фиг. 4 является представлением того, каким образом обнаруженные инфракрасные данные могут быть разрежены в зоне, которая плохо отражает IR свет, в соответствии с одной или более примерными реализациями.
[0014] Фиг. 5 является представлением того, каким образом разреженные инфракрасные области могут быть определены из IR данных, в соответствии с одной или более примерными реализациями.
[0015] Фиг. 6 является представлением того, каким образом разреженные области могут быть изменены, в соответствии с одной или более примерными реализациями.
[0016] Фиг. 7 является блок-схемой, представляющей собой примерные этапы, которые могут быть предприняты, чтобы определить разреженные IR зоны и добавить данные из RGB областей-аналогов в структуру данных, как, например, для использования в качестве относящихся к глубине данных, в соответствии с одной или более примерными реализациями.
[0017] Фиг. 8 является структурной схемой, представляющей собой примерную не ограничивающую вычислительную систему или рабочую среду, в которой могут быть реализованы один или более различных описываемых в данном документе вариантов осуществления.
ПОДРОБНОЕ ОПИСАНИЕ
[0018] Различные аспекты описываемой в данном документе технологии в целом направлены на использование RGB данных для оценки данных глубины в областях, где инфракрасные данные являются разреженными. В одном аспекте плотность инфракрасных данных (например, точек, спроецированных из инфракрасного облака точек) оценивается в различных субчастях с тем, чтобы дополнить любую субчасть с низкой плотностью (основанную на IR) RGB данными. Таким образом, смешивание RGB и IR стереоточек, основанное на плотности, обеспечивает облако точек более полными данными глубины.
[0019] В одном аспекте плотность вычисляется по нескольким субчастям двумерной плоскости изображения, соответствующей проекции из инфракрасного облака точек на эту плоскость изображения. Субчасти могут быть скомпонованы в качестве сетки или подобного. Для любой ячейки сетки оценивается плотность инфракрасных точек, и если она слишком низкая, RGB данные точки для этой ячейки сетки сохраняются, в противном случае, RGB данные точки отвергаются. Процесс может быть повторен для такого количества наборов камер (контейнеров (pod)), которое было использовано при захвате данных облака точек в заданной конфигурации.
[0020] Следует понимать, что любые из примеров в данном документе не являются ограничивающими. Например, несмотря на то что в данном документе в качестве примера приводится трехмерное облако точек, захватываемое несколькими скомпонованными контейнерами, описываемая в данном документе технология может быть применена к по меньшей мере одной единичной двумерной карте глубины. Кроме того, несмотря на то что описываются RGB (красный, зеленый синий) данные цветовых составляющих, датчик RGB может быть замещен на или дополнен ультрафиолетовым датчиком для наполнения разреженных IR данных. Если так, то настоящее изобретение не ограничивается любыми конкретными вариантами осуществления, аспектами, концепциями, структурами, функциональными возможностями или примерами, описываемыми в данном документе. Наоборот, любые из вариантов осуществления, аспектов, концепций, структур, функциональных возможностей или примеров, описываемых в данном документе, являются не ограничивающими, и настоящее изобретение может быть использовано различными способами, которые обеспечивают выгоду и преимущества при активном восприятии глубины, обработке облаков точек и изображения в целом.
[0021] Фиг. 1 показывает примерную систему, в которой контейнер 100, содержащий стерео IR камеры 101 и 102, стерео RGB камеры 103 и 104 и проектор 106 (например, IR лазер, дифрагированный на несколько тысяч пятен) захватывает стерео IR изображения и RGB изображения. Отметим, что контейнер 100 является лишь одной примерной компоновкой и что в других компоновках камеры 101-104 могут быть скомпонованы в любой очередности относительно друг друга. Действительно, в одной реализации проектор расположен над камерами. Кроме того, любая из камер и/или проектор могут быть отделены друг от друга, вместо того чтобы являться частью любой конфигурации контейнера; контейнер не требуется. Таким образом, Фиг. 1 является только показывающей компоненты в целях объяснения и ни масштаб, ни относительные размеры, ни относительные положения, ни сочетания устройств внутри корпуса/устройства-контейнера и т.д. не должны подразумеваться из Фиг. 1.
[0022] В примере на Фиг. 1 контейнер 100 связан с (или объединен с) подсистемой 108 или системой захвата изображения. Как правило, управление камерами осуществляется, например, через интерфейс 110 камеры и контроллер 111, для захвата стереоизображений, синхронизированных по времени (например, камеры являются «с синхронизатором видеосигнала»). В одной реализации камеры 101 и 102 захватывают инфракрасные (IR) изображения 114, поскольку IR излучение является высокоэффективным при оценке глубины в меняющихся условиях света и не оказывает влияния на видимый внешний вид сцены. Кроме того, камеры 103 и 104 захватывают стерео RGB изображения 115. Как может быть легко понятно и как иллюстрируется ниже, в некоторых сценариях, таких как в студийной среде, могут присутствовать более чем один такой контейнер и подсистема/система захвата изображения.
[0023] На Фиг. 1 показан проектор 106, который проецирует IR шаблон на сцену, такой как шаблон бликов (spot) (например, пятен) или линейный шаблон, несмотря на то что могут быть использованы другие типы форм и/или шаблонов бликов. Для краткости, далее в целом описываются пятна. Посредством освещения сцены с помощью относительно большого количества распределенных инфракрасных пятен IR камеры 102 и 103 захватывают данные текстуры, как часть инфракрасных данных изображения. Отметим, что проектор 106 показан как связанный с контроллером 112 через интерфейс 116 проектора; любое такое управление может быть настолько простым, как включение и выключение проектора или использование энергосберегающих режимов, тем не менее, осуществимо более сложное управление, такое как пульсация, изменение распределения пятен, изменение интенсивности и/или подобное.
[0024] Фиг. 2 представляет в качестве примера данную концепцию проецирования. Проектор 106, представленный в качестве круга между стереокамерами 101-104, проецирует шаблон пятен на сцену 222. Камеры 101-104 захватывают пятна, по мере того как они отражаются от поверхностей объекта в сцене 222 и (возможно) фона. В целом несоответствие в изображениях, которые видят две камеры, является указывающим расстояние до отражающей поверхности. Отметим, что не подразумевается, что Фиг. 2 представлена в масштабе, как и не передает любые размеры, расстояние, шаблон распределения пятен, плотность пятен и т.д.
[0025] Возвращаясь к Фиг. 1, изображения, захваченные камерами 101-104, предоставляются подсистеме 118 или системе обработки изображения. В некоторых реализациях система 118 обработки изображения и подсистема 104 или система захвата изображения, или их части, могут быть объединены в единое устройство. Например, домашнее развлекательное устройство может включать в себя все компоненты, показанные на Фиг. 1 (как впрочем и другие не показанные). В других реализациях части (или вся) подсистема 104 или система захвата изображения, такие как камеры и проектор, могут быть отдельным устройством, которое связывается с игровой консолью, персональным компьютером, мобильным устройством, специализированным устройством обработки и/или подобным.
[0026] Подсистема 118 или система обработки изображения включает в себя процессор 120 и память 122, содержащую один или более алгоритм обработки изображения, включая алгоритм 124 IR/RGB смешивания, как описывается в данном документе. В целом алгоритм 124 IR/RGB смешивания выводит список 130 или другую подходящую структуру данных, которая включает в себя IR точки и RGB точки с ассоциированными значениями, по которым может быть определена глубина. Также на Фиг. 1 показан интерфейс 132 для подсистемы 118 или системы обработки изображения, как, например, для соединения клавиатуры, игрового контроллера, дисплея, координатно-указательного устройства, микрофона для речевых команд и/или подобного в соответствующих случаях для пользователя, чтобы взаимодействовать с приложением или подобным, которое использует смешенный IR/RGB список 130 точек.
[0027] Фиг. 3 показывает множество контейнеров 3001-3004, скомпонованных для захвата изображений объекта (например, человека) с разных ракурсов. Отметим, что несмотря на то что четыре контейнера изображено на Фиг. 3, следует понимать, что любое практическое количество может присутствовать в заданной конфигурации. Например, одна такая конфигурация использует девять контейнеров с двумя наборами из четырех контейнеров на разных высотах окружающих пространство плюс один контейнер над пространством.
[0028] В примере на Фиг. 3 IR и RGB данные изображения, захваченные от каждого из четырех (или более) контейнеров, формируют отдельные IR и RGB облака точек (IR-PC и RGB-PC, соответственно). Данные облака точек предоставляются алгоритму 124 IR/RGB смешивания облака точек для обработки, как описывается в данном документе.
[0029] Как в целом представлено на Фиг. 3, проекторы каждого контейнера проецируют шаблон света (IR пятна) на объект, например человека 330. Отраженный IR свет захватывается в каждом контейнере 3001-3004. Тем не менее, как проиллюстрировано на Фиг. 3 (а также в увеличенном виде на Фиг. 4), некоторые поверхности (соответствующие зоне 332) не отражают хорошо IR свет одним примером являются волосы человека, тем не менее многие материалы, ткани и подобное обладают плохими IR отражающими свойствами. Отметим, что пятна на Фиг. 3 и 4 служат лишь в целях иллюстрации и что распределение, общая плотность, размеры и т.д. не предназначены для того, чтобы передавать любую фактическую информацию о размерах, плотности и/или распределении.
[0030] Таким образом, присутствуют разреженные IR данные в зоне 332. Как описывается в данном документе, данный уровень разреженности обнаруживается в тех местах, где он присутствует в изображении, и RGB точки добавляются к областям, где IR точки являются разреженными.
[0031] С этой целью для заданного облака точек данные облака точек могут быть спроецированы на двумерную плоскость изображения с любого заданного ракурса. Таким образом, плоскость изображения для каждого контейнера имеет данные облака точек, спроецированные на нее, причем одна плоскость изображения для IR данных, а другая - для RGB данных. В качестве альтернативы (например, если облако точек отсутствует), каждый кадр IR данных и RGB данных захватывается в качестве двухмерных (2D) изображений на камерах, тем самым из захвата существуют данные плоскости изображения.
[0032] В любом случае, Фиг. 4 показывает то, каким образом 2D изображение 440 может быть разделено на сеткоподобные субчасти для определения плотности отраженных IR пятен, захваченных в нем. Как может быть видно из данного упрощенного примера, плотность является низкой в зоне 332, соответствующей поверхности, которая плохо отражает IR свет. Отметим, что размер сеток и количество сеток не предназначены передавать любой фактический размер, относительный размер, относительное количество и т.д.
[0033] В сущности, может быть использована любая методика для определения местоположения разреженности в подразделах массива, и она не обязательно должна быть основана на сетках, однако сетки обеспечивают простое решение. Например, один простой способ для обнаружения разреженности использует механизм, который считает точки в ячейках сетки. Например, если количество пятен в заданной ячейке сетки ниже порогового значения, тогда данная конкретная ячейка сетки считается разреженной. При таком решении RGB данные для данной сетки берутся с тем, чтобы дополнить разреженные IR данные, для использования по желанию (например, при обнаружении глубины).
[0034] Фиг. 5 показывает, по существу, тот же самый пример, что и на Фиг. 4, за исключением того, что ячейки сетки сдвинуты на основании максимизации разреженности (или, наоборот, максимизации плотности) или на основании некоторых других критериев. Посредством сдвига сеток (и/или растягивания их или укорачивания их по вертикали и/или расширения или сужения их по горизонтали) разные субчасти являются разреженными. Например, на Фиг. 5, присутствует шесть ячеек сетки (областей) рядом с зоной 332, которые вероятно должны быть обнаружены в качестве разреженных, против четырех таких ячеек сетки в примере на Фиг. 4. Отметим, что добавление RGB привносит некоторый шум в восприятие глубины, однако во многих случаях наличие данных глубины с некоторым шумом в области является улучшением в сравнении с отсутствием или наличием лишь очень разреженных данных глубины в этой области.
[0035] Фиг. 6 показывает другую альтернативу, при которой ячейкам сетки может быть произвольным образом выбран размер и/или компоновка, как, например, для увеличения или уменьшения количества добавляемых RGB точек. Например, то, что было единой ячейкой 444 сетки на Фиг. 4, делится на две меньшие ячейки 662 и 664 сетки на Фиг. 6. Это также представлено посредством более жирных линий вокруг этих ячеек, как впрочем и других более мелких ячеек на Фиг. 6. Отметим, что это может быть сделано во время подсчета, например, неразреженная но «едва-выше-пороговой-величины» ячейка может быть подразделена на субобласти для определения, является ли одна часть теперь разреженной, например, относительно уменьшенной пороговой величины, такой как половина пороговой величины, если зона ячейки сетки делиться пополам. Это имеет тенденцию к увеличению добавляемых RGB данных, поскольку иногда то, что было неразреженной ячейкой, может быть разделено на разреженную часть и неразреженную часть. И наоборот, чтобы уменьшить объем добавляемых RGB данных, разреженные, но «едва-ниже-пороговой-величины» ячейки могут быть подразделены для того, чтобы определить, является ли одна часть теперь неразреженной. Оба эти альтернативные варианты могут быть выполнены одновременно.
[0036] Фиг. 7 является блок-схемой, представляющей собой примерные этапы подходящего алгоритма IR-RGB смешивания. В целом алгоритм повторяется из расчета на контейнер (через этапы 702 и 718) для получения полного списка IR точек, дополненных RGB точками в областях, где IR является разреженным (как обнаруживается относительно любого контейнера).
[0037] Этап 702 выбирает контейнер, а этапы 704 и 706 получают 2D IR и RGB плоскости изображения для этого контейнера, например, через проекцию облака точек (или как захваченные на данном контейнере; отметим, что в целях определения плотности может быть использовано только одно из стереоизображений). Этап 708 делит каждое изображение на субчасти, например сетки. Сетки могут быть любого подходящего размера (например, шестнадцать-на-шестнадцать блоков).
[0038] Этап 710 выбирает сетку из IR плоскости изображения и считает в ней IR точки. Этап 712 определяет, является ли плотность сетки низкой, например, посредством оценки количества против пороговой величины. Пороговая величина может быть фиксированным количеством (например, десять), которое является логичным, оцененным или вычисленным для заданной конфигурации контейнеров, плотности шаблона проекции и расстояний до освещаемого объекта, или может меняться на основании статистических методик/анализа, как, например, усреднения и стандартного отклонения. Размер сетки и/или формы (например, квадратная, прямоугольная, треугольная, шестиугольная) и т.п. также могут варьироваться.
[0039] В любом случае, когда обнаруживается разреженная ячейка сетки или подобное на этапе 712, этап 714 добавляет RGB точки из ячейки-аналога сетки в RGB данных плоскости изображения в список или другую подходящую структуру данных. Если не разреженная, тогда достаточно IR данных присутствует в данной области для использования по желанию.
[0040] Этап 716 повторяет процесс для следующей сетки и т.д., до тех пор пока не будут обработаны все сетки. Этап 718 повторяет процесс для других контейнеров, до тех пор пока не будут обработаны все контейнеры.
[0041] Когда контейнеры были обработаны, RGB данные изображения присутствуют в списке или подобном. В списке могут присутствовать дубликаты, которые могут быть удалены через этап 720; (отметим, что в качестве альтернативы дубликаты могут не добавляться на этапе 714). Этап 722 добавляет IR точки (от всех контейнеров) в список, и процесс завершается. Теперь данный список содержит все IR точки плюс RGB точки, где IR данные были разреженными, для любого контейнера.
[0042] Отметим, что в альтернативных реализациях величина разреженности может быть фактором при добавлении RGB. Например, чем ближе IR счет к пороговой величине, тем меньше количество RGB точек, которые могут быть добавлены. Подобным образом, близость RGB точки к IR точки в пространстве координат может определять, добавлять ли данную точку.
[0043] Как может быть видно, описываемое является технологией, посредством которой изображение или облако точек с разреженными IR областями данных могут быть смешены с RGB данными в разреженных областях. Результирующие смешенные данные могут быть использованы для получения значений глубины там, где отсутствуют или присутствуют только разреженные IR области данных.
ПРИМЕРНАЯ РАБОЧАЯ СРЕДА
[0044] Фиг. 8 иллюстрирует пример подходящей вычислительной и сетевой среды 800, в которой относящиеся к компьютеру примеры и реализации, описываемые в данном документе, могут быть реализованы, например. Среда 800 вычислительной системы является лишь одним примером подходящей вычислительной среды и не предназначена для того, чтобы предложить любое ограничение как на объем использования, так и функциональность изобретения. Также вычислительная среда 800 не должна интерпретироваться как обладающая любой зависимостью или требованием касательно любого одного или сочетания компонентов, иллюстрируемых в примерной рабочей среде 800.
[0045] Изобретение является рабочим при многочисленных других общего назначения или специализированного назначения средах или конфигурациях вычислительной системы. Примеры общеизвестных вычислительных систем, сред и/или конфигураций, которые могут подходить для использования с изобретением, включают в себя, но не ограничиваются: персональные компьютеры, серверные компьютеры, переносные или портативные устройства, планшетные устройства, многопроцессорные системы, основанные на микропроцессоре системы, абонентские телевизионные приставки, программируемую потребительскую электронику, сетевые PC, миникомпьютеры, компьютеры класса мэйнфрейм, распределенные вычислительные среды, которые включают в себя любые из вышеприведенных систем или устройств, и подобное.
[0046] Изобретение может быть описано в общем контексте исполняемых компьютером инструкций, таких как программные модули, которые исполняются компьютером. В целом программные модули включают в себя подпрограммы, программы, объекты, компоненты, структуры данных и т.д., которые выполняют конкретные задачи или реализуют конкретные абстрактные типы данных. Изобретение также может быть реализовано на практике в распределенных вычислительных средах, в которых задачи выполняются посредством удаленных устройств обработки, которые связаны посредством сети связи. В распределенной вычислительной среде программные модули могут быть расположены в локальных и/или удаленных компьютерных запоминающих носителях информации, включающих в себя запоминающие устройства памяти.
[0047] Со ссылкой на Фиг. 8, примерная система для реализации различных аспектов изобретения может включать в себя вычислительное устройство общего назначения в виде компьютера 810. Компоненты компьютера 810 могут включать в себя, но не ограничиваются, блок 820 обработки, системную память 830 и системную шину 821, которая связывает различные компоненты системы, включая системную память, с блоком 820 обработки. Системная шина 821 может быть любой из нескольких типов структур шины, включающей в себя шину памяти и контроллер памяти, периферийную шину и локальную шину, используя любую из разнообразия архитектур шины. В качестве примера, а не ограничения, такие архитектуры включают в себя шину Архитектуры Промышленного Стандарта (ISA), шину Микроканальной Архитектуры, шину Улучшенной ISA (EISA), локальную шину Ассоциации по Стандартизации в Области Видеоэлектроники (VESA) и шину Межсоединения Периферийных Компонентов (PCI), также известную как шина второго уровня.
[0048] Компьютер 810, как правило, включает в себя разнообразные машиночитаемые носители информации. Машиночитаемые носители информации могут быть любыми доступными носителями информации, доступ к которым может быть осуществлен посредством компьютера 810, и включают в себя как энергозависимые, так и энергонезависимые носители информации, и съемные и несъемные носители информации. В качестве примера, а не ограничения, машиночитаемые носители информации могут быть выполнены в виде компьютерных запоминающих носителей информации и средств связи. Компьютерные запоминающие носители информации включают в себя энергозависимые и энергонезависимые, съемные и несъемные носители информации, реализованные любым способом или по любой технологии для хранения информации, такой как машиночитаемые инструкции, структуры данных, программные модули или другие данные. Компьютерные запоминающие носители информации включают в себя, но не ограничиваются, RAM, ROM, EEPROM, флэш-память или другую технологию памяти, CD-ROM, цифровые универсальные диски (DVD) или другие оптические дисковые хранилища, магнитные кассеты, магнитную ленту, магнитное дисковое хранилище или другие магнитные запоминающие устройства или любой другой носитель информации, который может быть использован для хранения требуемой информации и доступ к которому может быть осуществлен посредством компьютера 810. Среда связи, как правило, воплощает машиночитаемые инструкции, структуры данных, программные модули или другие данные в модулированном сигнале данных, таком как несущая волна или другой транспортный механизм, и включает в себя любые средства доставки информации. Понятие «модулированный сигнал данных» означает сигнал, который обладает одной или более своими характеристиками, установленными или измененными таким образом, чтобы кодировать информацию в сигнале. В качестве примера, а не ограничения, средства связи включают в себя проводные средства, такие как проводную сеть или непосредственное проводное соединение, и беспроводные средства, такие как акустические, RF, инфракрасные и другие беспроводные средства. Сочетание любого из вышеприведенного также может быть включено в объем машиночитаемых носителей информации.
[0049] Системная память 830 включает в себя компьютерные запоминающие носители информации в виде энергозависимой и/или энергонезависимой памяти, такой как постоянное запоминающее устройство 831 (ROM) и запоминающее устройство 832 с произвольной выборкой (RAM). Базовая система 833 ввода/вывода (BIOS), содержащая основные подпрограммы, которые способствуют переносу информации между элементами в компьютере 810, как, например, во время запуска, как правило, хранится в ROM 831. RAM 832, как правило, содержит данные и/или программные модули, которые являются непосредственно доступными и/или в настоящий момент выполняются в блоке 820 обработки. В качестве примера, а не ограничения, Фиг. 8 иллюстрирует операционную систему 834, прикладные программы 835, другие программные модули 836 и данные 837 программы.
[0050] Компьютер 810 также может включать в себя другие съемные/несъемные энергозависимые/энергонезависимые компьютерные запоминающие носители информации. Только в качестве примера, Фиг. 8 иллюстрирует накопитель 841 на жестком диске, который считывает с или записывает на несъемные энергонезависимые магнитные носители информации, накопитель 851 на магнитном диске, который считывает с и записывает на съемный, энергонезависимый магнитный диск 852, и накопитель 855 на оптическом диске, который считывает с или записывает на съемный энергонезависимый оптический диск 856, такой как CD-ROM или другие оптические носители информации. Другие съемные/несъемные энергозависимые/энергонезависимые компьютерные запоминающие носители информации, которые могут быть использованы в примерной рабочей среде, включают в себя, но не ограничиваются, кассеты с магнитной лентой, карты флэш-памяти, цифровые универсальные диски, цифровые видеоленты, твердотельное RAM, твердотельное ROM и подобное. Накопитель 842 на жестком диске, как правило, соединен с системной шиной 821 посредством интерфейса несъемной памяти, такого как интерфейс 840, а накопитель 851 на магнитном диске и накопитель 855 на оптическом диске, как правило, соединены с системной шиной 821 посредством интерфейса съемной памяти, такого как интерфейс 850.
[0051] Накопители и их ассоциированные компьютерные запоминающие носители информации, описанные выше и проиллюстрированные на Фиг. 8, обеспечивают хранилище машиночитаемых инструкций, структур данных, программных модулей и других данных для компьютера 810. На Фиг. 8, например, накопитель 841 на жестком диске иллюстрируется как хранящий операционную систему 844, прикладные программы 845, другие программные модули 846 и данные 847 программы. Отметим, что эти компоненты могут быть либо точно такими же, либо отличаться от операционной системы 834, прикладных программ 835, других программных модулей 836 и данных 837 программы. Операционной системе 844, прикладным программам 845, другим программным модулям 846 и данным 847 программы даны в данном документе другие номера с тем, чтобы проиллюстрировать то, что, по минимуму, они являются разными копиями. Пользователь может вводить команды и информацию в компьютер 810 посредством устройств ввода, таких как планшет или электронный цифровой планшет, 864, микрофон 863, клавиатура 862 и координатно-указательное устройство 861, обычно именуемое манипулятором типа мышь, шаровым манипулятором или сенсорной панелью. Другие устройства ввода, не показанные на Фиг. 8, могут включать в себя игровой манипулятор, игровую панель, спутниковую антенну, сканер или подобное. Эти и другие устройства ввода обычно соединяются с блоком 820 обработки посредством интерфейса 860 ввода пользователя, который связан с системной шиной, однако может быть соединен посредством другого интерфейса и структур шины, таких как параллельный порт, игровой порт или универсальная последовательная шина (USB). Монитор 891 или другой тип дисплейного устройства также соединен с системной шиной 821 через интерфейс, такой как видеоинтерфейс 890. Монитор 891 также может быть интегрирован с панелью сенсорного экрана или подобным. Отметим, что монитор и панель сенсорного экрана могут быть физически связаны с корпусом, в который заключено вычислительное устройство 810, как, например, в персональном компьютере планшетного типа. В дополнение, компьютеры, такие как вычислительное устройство 810, также могут включать в себя другие периферийные устройства вывода, такие как громкоговорители 895 и принтер 896, которые могут быть соединены посредством периферийного интерфейса 894 вывода или подобного.
[0052] Компьютер 810 может работать в сетевой среде, используя логические соединения с одним или более удаленными компьютерами, такими как удаленный компьютер 880. Удаленный компьютер 880 может быть персональным компьютером, сервером, маршрутизатором, сетевым PC, одноранговым устройством или другим общим сетевым узлом и, как правило, включает в себя многие или все элементы, описанные выше в отношении компьютера 810, несмотря на то что только запоминающее устройство 881 памяти было проиллюстрировано на Фиг. 8. Логические соединения, изображенные на Фиг. 8, включают в себя одну или более локальные сети 871 (LAN) и одну или более глобальные сети 873 (WAN), но также могут включать в себя другие сети. Такие сетевые среды являются обычным явлением в офисах, корпоративных компьютерных сетях, интрасетях и Интернете.
[0053] При использовании в LAN сетевой среде, компьютер 810 соединяется с LAN 871 посредством сетевого интерфейса или адаптера 870. При использовании в WAN сетевой среде компьютер 810, как правило, включает в себя модем 872 или другое средство для создания связи через WAN 873, такую как Интернет. Модем 872, который может быть внутренним или внешним, может быть соединен с системной шиной 821 через интерфейс 860 ввода пользователя или другой соответствующий механизм. Компонент 874 беспроводной сети, такой как содержащий интерфейс и антенну, может быть связан посредством подходящего устройства, такого как точка доступа или одноранговый компьютер, с WAN или LAN. В сетевой среде программные модули, изображенные как относящиеся к компьютеру 810, или их части могут храниться на удаленных запоминающих устройствах памяти. В качестве примера, а не ограничения, Фиг. 8 иллюстрирует удаленные прикладные программы 885, как размещенные на устройстве 881 памяти. Должно быть понятно, что показанные сетевые соединения являются примерами и другие средства создания линии связи между компьютерами могут быть использованы.
[0054] Вспомогательная подсистема 899 (например, для вспомогательного отображения контента) может быть соединена через интерфейс 860 пользователя с тем, чтобы обеспечить возможность предоставления пользователю данных, таких как содержимое программы, статус системы и уведомления событий, даже если главные части компьютерной системы находятся в состоянии низкого энергопотребления. Вспомогательная подсистема 899 может быть соединена с модемом 872 и/или сетевым интерфейсом 870 с тем, чтобы обеспечить возможность связи между этими системами, в то время как основной блок 820 обработки находится в состоянии низкого энергопотребления.
[0055] В качестве альтернативы или в дополнение, функциональные возможности, описываемые в данном документе, могут быть выполнены, по меньшей мере частично, посредством одного или более логических компонентов аппаратного обеспечения. Например, без ограничения, иллюстративные типы логических компонентов аппаратного обеспечения, которые могут быть использованы, включают в себя Программируемые Вентильные Матрицы (FPGA), Проблемно-ориентированные Интегральные Микросхемы (ASIC), Проблемно-ориентированные Стандартные продукты (ASSP), системы вида Система на кристалле (SOC), Комплексные Программируемые Логические Устройства (CPLD) и т.д.
ЗАКЛЮЧЕНИЕ
[0056] Несмотря на то что в отношении изобретения допустимы различные модификации и альтернативные конструкции, некоторые его иллюстрируемые варианты осуществления показаны на чертежах и были подробно описаны выше. Следует понимать, тем не менее, что отсутствует намерение ограничить изобретение конкретными раскрытыми формами, а наоборот, намерение состоит в охвате всех модификаций, альтернативных конструкций и эквивалентов, лежащих в рамках сущности и объема изобретения.

Claims (16)

1. Способ обработки данных инфракрасного изображения с использованием цветовых данных, содержащий этапы, на которых:
получают данные инфракрасного изображения, соответствующие плоскости инфракрасного изображения, имеющие инфракрасные точки данных;
получают данные цветовых составляющих, соответствующие этой плоскости изображения, имеющие точки данных цветовых составляющих;
определяют область в данных инфракрасного изображения, которая является разреженной областью в плане наличия в ней инфракрасных точек данных; и
добавляют, по меньшей мере, некоторые данные цветовых составляющих, соответствующие точкам данных цветовых составляющих, из области-аналога в данных цветовых составляющих в структуру данных, которая включает в себя инфракрасные точки данных и точки данных цветовых составляющих с ассоциированными значениями, из которых может быть определена глубина.
2. Способ по п. 1, в котором этап, на котором получают плоскость инфракрасного изображения, содержит этап, на котором проецируют данные инфракрасного изображения из облака точек.
3. Способ по п. 1, дополнительно содержащий этап, на котором делят упомянутую плоскость изображения на множество областей, включающее в себя одну область, которая содержит упомянутую разреженную область.
4. Способ по п. 1, в котором этап, на котором добавляют, по меньшей мере, некоторые данные цветовых составляющих, содержит этап, на котором добавляют объем данных цветовых составляющих на основе уровня разреженности упомянутой области.
5. Способ по п. 1, дополнительно содержащий этап, на котором делят упомянутую плоскость изображения на множество областей, включающее в себя одну область, которая содержит упомянутую разреженную область, при этом размер, по меньшей мере, некоторых из этих областей определяется на основе данных плотности.
6. Способ по п. 1, дополнительно содержащий этап, на котором используют инфракрасные точки данных и точки данных цветовых составляющих в упомянутой структуре данных для определения данных глубины.
7. Система для обработки данных инфракрасного изображения с использованием цветовых данных, содержащая:
компонент обработки изображения, причем компонент обработки изображения выполнен с возможностью принимать инфракрасные изображения, захваченные по меньшей мере одной инфракрасной (IR) камерой, и красные, зеленые, синие (RGB) изображения-аналоги, захваченные по меньшей мере одной RGB камерой; и
компонент смешивания, связанный с или встроенный в компонент обработки изображения, причем компонент смешивания выполнен с возможностью обработки данных инфракрасного изображения, соответствующих инфракрасному изображению, чтобы определять в них разреженную область и, для разреженной области, добавлять RGB данные, соответствующие области-аналогу в RGB изображении-аналоге, в структуру данных, которая включает в себя данные инфракрасного изображения и RGB данные с ассоциированными значениями, из которых может быть определена глубина.
8. Система по п. 7, в которой компонент обработки изображения выполнен с возможностью принимать данные инфракрасного изображения, соответствующие данным облака точек инфракрасного изображения, и RGB данные, соответствующие данным облака точек RGB, которые основаны на изображениях от множества наборов стереокамер.
9. Система по п. 7, в которой компонент смешивания выполнен с возможностью добавления RGB данных из по меньшей мере двух разных наборов RGB данных, полученных от двух разных наборов стереокамер.
10. Машиночитаемый носитель информации или логика с исполняемыми компьютером инструкциями, которыми при их исполнении выполняется способ по любому из пп. 1-6.
RU2015143935A 2013-04-15 2014-04-14 Смешивание инфракрасного облака точек данных и облака точек данных цветовых составляющих RU2660596C2 (ru)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361812233P 2013-04-15 2013-04-15
US61/812,233 2013-04-15
US13/913,454 US9191643B2 (en) 2013-04-15 2013-06-09 Mixing infrared and color component data point clouds
US13/913,454 2013-06-09
PCT/US2014/033918 WO2014172230A1 (en) 2013-04-15 2014-04-14 Mixing infrared and color component data point clouds

Publications (2)

Publication Number Publication Date
RU2015143935A RU2015143935A (ru) 2017-04-19
RU2660596C2 true RU2660596C2 (ru) 2018-07-06

Family

ID=51686526

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2015143935A RU2660596C2 (ru) 2013-04-15 2014-04-14 Смешивание инфракрасного облака точек данных и облака точек данных цветовых составляющих

Country Status (11)

Country Link
US (3) US9191643B2 (ru)
EP (2) EP2987140B1 (ru)
JP (1) JP6562900B2 (ru)
KR (1) KR102171231B1 (ru)
CN (2) CN105706143B (ru)
AU (1) AU2014254218B2 (ru)
BR (1) BR112015025974B1 (ru)
CA (1) CA2908689C (ru)
MX (1) MX352449B (ru)
RU (1) RU2660596C2 (ru)
WO (2) WO2014172230A1 (ru)

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9628722B2 (en) 2010-03-30 2017-04-18 Personify, Inc. Systems and methods for embedding a foreground video into a background feed based on a control input
US8649592B2 (en) 2010-08-30 2014-02-11 University Of Illinois At Urbana-Champaign System for background subtraction with 3D camera
US9213781B1 (en) 2012-09-19 2015-12-15 Placemeter LLC System and method for processing image data
US20140307055A1 (en) 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
CN104427291B (zh) * 2013-08-19 2018-09-28 华为技术有限公司 一种图像处理方法及设备
US20150186341A1 (en) * 2013-12-26 2015-07-02 Joao Redol Automated unobtrusive scene sensitive information dynamic insertion into web-page image
CN105829829B (zh) * 2013-12-27 2019-08-23 索尼公司 图像处理装置和图像处理方法
US9414016B2 (en) * 2013-12-31 2016-08-09 Personify, Inc. System and methods for persona identification using combined probability maps
US9485433B2 (en) 2013-12-31 2016-11-01 Personify, Inc. Systems and methods for iterative adjustment of video-capture settings based on identified persona
US9386303B2 (en) * 2013-12-31 2016-07-05 Personify, Inc. Transmitting video and sharing content via a network using multiple encoding techniques
US9589359B2 (en) * 2014-04-24 2017-03-07 Intel Corporation Structured stereo
US10432896B2 (en) * 2014-05-30 2019-10-01 Placemeter Inc. System and method for activity monitoring using video data
CN105469447A (zh) * 2014-09-11 2016-04-06 富泰华工业（深圳）有限公司 点云边界直角边修补系统及方法
DE102014115292A1 (de) * 2014-10-21 2016-04-21 Connaught Electronics Ltd. Verfahren zum Bereitstellen von Bilddateien von einem Kamerasystem, Kamerasystem und Kraftfahrzeug
US10321100B2 (en) * 2014-12-02 2019-06-11 Ademco Inc. System and method of foreground extraction for digital cameras
US9519061B2 (en) * 2014-12-26 2016-12-13 Here Global B.V. Geometric fingerprinting for localization of a device
JP6642970B2 (ja) * 2015-03-05 2020-02-12 キヤノン株式会社 注目領域検出装置、注目領域検出方法及びプログラム
WO2016152633A1 (ja) * 2015-03-26 2016-09-29 ソニー株式会社 画像処理システムおよび画像処理方法、並びにプログラム
US10043078B2 (en) * 2015-04-21 2018-08-07 Placemeter LLC Virtual turnstile system and method
US11334751B2 (en) 2015-04-21 2022-05-17 Placemeter Inc. Systems and methods for processing video data for activity monitoring
US9563962B2 (en) 2015-05-19 2017-02-07 Personify, Inc. Methods and systems for assigning pixels distance-cost values using a flood fill technique
US9916668B2 (en) 2015-05-19 2018-03-13 Personify, Inc. Methods and systems for identifying background in video data using geometric primitives
JP6715864B2 (ja) * 2015-05-21 2020-07-01 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 画像に対する深度マップを決定するための方法及び装置
US11138442B2 (en) 2015-06-01 2021-10-05 Placemeter, Inc. Robust, adaptive and efficient object detection, classification and tracking
RU2721177C2 (ru) * 2015-07-13 2020-05-18 Конинклейке Филипс Н.В. Способ и устройство для определения карты глубины для изображения
US11864926B2 (en) 2015-08-28 2024-01-09 Foresite Healthcare, Llc Systems and methods for detecting attempted bed exit
US10206630B2 (en) 2015-08-28 2019-02-19 Foresite Healthcare, Llc Systems for automatic assessment of fall risk
US9607397B2 (en) 2015-09-01 2017-03-28 Personify, Inc. Methods and systems for generating a user-hair-color model
JP6824279B2 (ja) * 2016-02-18 2021-02-03 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． インサイドアウト方式のポジション、ユーザボディ、及び環境トラッキングを伴うバーチャルリアリティ及びミックスドリアリティ用ヘッドマウントディスプレイ
CN105827998A (zh) * 2016-04-14 2016-08-03 广州市英途信息技术有限公司 一种抠像系统及抠像方法
JP6754610B2 (ja) * 2016-05-18 2020-09-16 株式会社デンソーアイティーラボラトリ 演算処理装置、演算処理方法、およびプログラム
US10917627B2 (en) * 2016-06-03 2021-02-09 Utku Buyuksahin System and a method for capturing and generating 3D image
US9883155B2 (en) 2016-06-14 2018-01-30 Personify, Inc. Methods and systems for combining foreground video and background video using chromatic matching
CA3030850C (en) * 2016-06-28 2023-12-05 Foresite Healthcare, Llc Systems and methods for use in detecting falls utilizing thermal sensing
CN106296728B (zh) * 2016-07-27 2019-05-14 昆明理工大学 一种基于全卷积网络的非限制场景中运动目标快速分割方法
CN106200249A (zh) * 2016-08-30 2016-12-07 辽宁中蓝电子科技有限公司 结构光和rgb传感器模组整体式集成系统3d相机
US10701244B2 (en) * 2016-09-30 2020-06-30 Microsoft Technology Licensing, Llc Recolorization of infrared image streams
US9881207B1 (en) 2016-10-25 2018-01-30 Personify, Inc. Methods and systems for real-time user extraction using deep learning networks
WO2018129104A1 (en) * 2017-01-03 2018-07-12 Owlii Inc. Processing holographic videos
JP6814053B2 (ja) * 2017-01-19 2021-01-13 株式会社日立エルジーデータストレージ 物体位置検出装置
EP3571627A2 (en) 2017-01-19 2019-11-27 Mindmaze Holding S.A. Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location including for at least one of a virtual and augmented reality system
US10943100B2 (en) 2017-01-19 2021-03-09 Mindmaze Holding Sa Systems, methods, devices and apparatuses for detecting facial expression
CN110892408A (zh) * 2017-02-07 2020-03-17 迈恩德玛泽控股股份有限公司 用于立体视觉和跟踪的系统、方法和装置
US10924670B2 (en) * 2017-04-14 2021-02-16 Yang Liu System and apparatus for co-registration and correlation between multi-modal imagery and method for same
CN107169995B (zh) * 2017-05-05 2020-03-10 武汉理工大学 一种自适应的运动目标视觉检测方法
CN108961316B (zh) * 2017-05-23 2022-05-31 华为技术有限公司 图像处理方法、装置及服务器
US10586383B2 (en) 2017-06-20 2020-03-10 Microsoft Technology Licensing, Llc Three-dimensional object scan using data from infrared sensor
US10560645B2 (en) 2017-09-22 2020-02-11 Feedback, LLC Immersive video environment using near-infrared video compositing
US10270986B2 (en) 2017-09-22 2019-04-23 Feedback, LLC Near-infrared video compositing
US10674096B2 (en) 2017-09-22 2020-06-02 Feedback, LLC Near-infrared video compositing
US10612912B1 (en) 2017-10-31 2020-04-07 Facebook Technologies, Llc Tileable structured light projection system
US11004207B2 (en) * 2017-12-06 2021-05-11 Blueprint Reality Inc. Multi-modal data fusion for scene segmentation
CN109889799B (zh) * 2017-12-06 2020-08-25 西安交通大学 基于rgbir摄像头的单目结构光深度感知方法及装置
US10783668B2 (en) 2017-12-22 2020-09-22 Samsung Electronics Co., Ltd. Handling duplicate points in point cloud compression
CN111727437A (zh) * 2018-01-08 2020-09-29 远见汽车有限公司 提供碰撞前预警的多光谱系统
US11328533B1 (en) 2018-01-09 2022-05-10 Mindmaze Holding Sa System, method and apparatus for detecting facial expression for motion capture
CN111869205B (zh) * 2018-01-19 2022-06-10 Pcms控股公司 具有变化位置的多焦平面
US10803596B2 (en) * 2018-01-29 2020-10-13 HypeVR Fully automated alpha matting for virtual reality systems
CN108537814B (zh) * 2018-03-14 2019-09-03 浙江大学 一种基于ViBe的三维声纳点云图像分割方法
US10521926B1 (en) 2018-03-21 2019-12-31 Facebook Technologies, Llc Tileable non-planar structured light patterns for wide field-of-view depth sensing
CN108648225B (zh) 2018-03-31 2022-08-02 奥比中光科技集团股份有限公司 目标图像获取系统与方法
US11330090B2 (en) 2018-04-10 2022-05-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Bracket, input/output assembly and terminal
CN108564613A (zh) * 2018-04-12 2018-09-21 维沃移动通信有限公司 一种深度数据获取方法及移动终端
US11481915B2 (en) * 2018-05-04 2022-10-25 Packsize Llc Systems and methods for three-dimensional data acquisition and processing under timing constraints
US10878577B2 (en) * 2018-12-14 2020-12-29 Canon Kabushiki Kaisha Method, system and apparatus for segmenting an image of a scene
CN112912896A (zh) * 2018-12-14 2021-06-04 苹果公司 机器学习辅助的图像预测
JP7211835B2 (ja) * 2019-02-04 2023-01-24 ｉ－ＰＲＯ株式会社 撮像システムおよび同期制御方法
CN109949347B (zh) * 2019-03-15 2021-09-17 百度在线网络技术（北京）有限公司 人体跟踪方法、装置、系统、电子设备和存储介质
WO2020230921A1 (ko) * 2019-05-14 2020-11-19 엘지전자 주식회사 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 방법 및 이를 적용한 식별장치와 로봇
JP2020204856A (ja) * 2019-06-17 2020-12-24 株式会社バンダイナムコアミューズメント 画像生成システム及びプログラム
EP4036860A1 (en) * 2019-09-27 2022-08-03 Sigma.Ai Sl Method for the unsupervised measurement of the dimensions of an object using a view obtained with a single camera
US11076111B1 (en) * 2019-11-13 2021-07-27 Twitch Interactive, Inc. Smart color-based background replacement
KR102657733B1 (ko) * 2019-12-13 2024-04-17 소니그룹주식회사 멀티-스펙트럼 체적계측 캡처
US11763570B2 (en) * 2020-07-02 2023-09-19 Alps Alpine Co., Ltd. Obstacle detection device, obstacle detection method, and storage medium storing obstacle detection program
JP7460282B2 (ja) 2020-07-02 2024-04-02 アルプスアルパイン株式会社 障害物検出装置、障害物検出方法および障害物検出プログラム
JP2022085643A (ja) * 2020-11-27 2022-06-08 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US11574484B1 (en) * 2021-01-13 2023-02-07 Ambarella International Lp High resolution infrared image generation using image data from an RGB-IR sensor and visible light interpolation
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) * 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities
CN113066115B (zh) * 2021-04-28 2022-03-25 北京的卢深视科技有限公司 深度预测网络训练方法、装置、服务器和可读存储介质
CN113470049B (zh) * 2021-07-06 2022-05-20 吉林省田车科技有限公司 一种基于结构化彩色点云分割的完整目标提取方法
KR102516008B1 (ko) 2022-09-21 2023-03-30 (주)이노시뮬레이션 포인트 클라우드 데이터를 이용한 복셀 다운 샘플링 방법 및 이를 실행하는 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5812787A (en) * 1995-06-30 1998-09-22 Intel Corporation Video coding scheme with foreground/background separation
US20060039690A1 (en) * 2004-08-16 2006-02-23 Eran Steinberg Foreground/background segmentation in digital images with differential exposure calculations
RU2421933C2 (ru) * 2009-03-24 2011-06-20 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Система и способ формирования и воспроизведения трехмерного видеоизображения
WO2012041419A1 (en) * 2010-10-01 2012-04-05 Telefonica, S.A. Method and system for images foreground segmentation in real-time
WO2013056188A1 (en) * 2011-10-13 2013-04-18 Microsoft Corporation Generating free viewpoint video using stereo imaging

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030063185A1 (en) * 2001-09-28 2003-04-03 Bell Cynthia S. Three-dimensional imaging with complementary color filter arrays
US7227893B1 (en) * 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
US20040169873A1 (en) * 2003-02-28 2004-09-02 Xerox Corporation Automatic determination of custom parameters based on scanned image data
GB0308943D0 (en) 2003-04-17 2003-05-28 Univ Dundee A system for determining the body pose of a person from images
US8330831B2 (en) 2003-08-05 2012-12-11 DigitalOptics Corporation Europe Limited Method of gathering visual meta data using a reference image
GB0326374D0 (en) * 2003-11-12 2003-12-17 British Telecomm Object detection in images
US7602942B2 (en) * 2004-11-12 2009-10-13 Honeywell International Inc. Infrared and visible fusion face recognition system
US7657126B2 (en) 2005-05-09 2010-02-02 Like.Com System and method for search portions of objects in images and features thereof
US7676081B2 (en) * 2005-06-17 2010-03-09 Microsoft Corporation Image segmentation of foreground from background layers
US7756325B2 (en) * 2005-06-20 2010-07-13 University Of Basel Estimating 3D shape and texture of a 3D object based on a 2D image of the 3D object
US7680314B2 (en) * 2005-10-17 2010-03-16 Siemens Medical Solutions Usa, Inc. Devices, systems, and methods for improving image consistency
US8848053B2 (en) * 2006-03-28 2014-09-30 Objectvideo, Inc. Automatic extraction of secondary video streams
US7885463B2 (en) * 2006-03-30 2011-02-08 Microsoft Corp. Image segmentation using spatial-color Gaussian mixture models
EP1862969A1 (en) * 2006-06-02 2007-12-05 Eidgenössische Technische Hochschule Zürich Method and system for generating a representation of a dynamically changing 3D scene
KR100829581B1 (ko) 2006-11-28 2008-05-14 삼성전자주식회사 영상 처리 방법, 기록매체 및 장치
US20080181507A1 (en) * 2007-01-29 2008-07-31 Intellivision Technologies Corp. Image manipulation for videos and still images
JP2009199284A (ja) * 2008-02-21 2009-09-03 Univ Of Tokyo 道路地物認識方法
US8249349B2 (en) 2008-11-25 2012-08-21 Microsoft Corporation Labeling image elements
WO2010104490A1 (en) 2009-03-12 2010-09-16 Hewlett-Packard Development Company, L.P. Depth-sensing camera system
US20100293179A1 (en) * 2009-05-14 2010-11-18 Microsoft Corporation Identifying synonyms of entities using web search
JP5322789B2 (ja) * 2009-06-15 2013-10-23 三菱電機株式会社 モデル生成装置、モデル生成方法、モデル生成プログラム、点群画像生成方法および点群画像生成プログラム
US8537200B2 (en) 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data
US8355565B1 (en) 2009-10-29 2013-01-15 Hewlett-Packard Development Company, L.P. Producing high quality depth maps
RU2426172C1 (ru) * 2010-01-21 2011-08-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US8520027B2 (en) * 2010-05-14 2013-08-27 Intuitive Surgical Operations, Inc. Method and system of see-through console overlay
US9858475B2 (en) * 2010-05-14 2018-01-02 Intuitive Surgical Operations, Inc. Method and system of hand segmentation and overlay using depth data
US8625897B2 (en) 2010-05-28 2014-01-07 Microsoft Corporation Foreground and background image segmentation
US9008457B2 (en) * 2010-05-31 2015-04-14 Pesonify, Inc. Systems and methods for illumination correction of an image
CN101882314B (zh) * 2010-07-20 2012-06-20 上海交通大学 基于超完备稀疏表示的红外小目标检测方法
US8649592B2 (en) * 2010-08-30 2014-02-11 University Of Illinois At Urbana-Champaign System for background subtraction with 3D camera
US9247238B2 (en) 2011-01-31 2016-01-26 Microsoft Technology Licensing, Llc Reducing interference between multiple infra-red depth cameras
GB2490872B (en) 2011-05-09 2015-07-29 Toshiba Res Europ Ltd Methods and systems for capturing 3d surface geometry
US8823745B2 (en) * 2011-06-02 2014-09-02 Yoostar Entertainment Group, Inc. Image processing based on depth information and color data of a scene
US8824797B2 (en) * 2011-10-03 2014-09-02 Xerox Corporation Graph-based segmentation integrating visible and NIR information
US9098908B2 (en) 2011-10-21 2015-08-04 Microsoft Technology Licensing, Llc Generating a depth map
US9117281B2 (en) * 2011-11-02 2015-08-25 Microsoft Corporation Surface segmentation from RGB and depth images
US20130177296A1 (en) 2011-11-15 2013-07-11 Kevin A. Geisner Generating metadata for user experiences
US9171393B2 (en) 2011-12-07 2015-10-27 Microsoft Technology Licensing, Llc Three-dimensional texture reprojection
US9043186B2 (en) 2011-12-08 2015-05-26 Microsoft Technology Licensing, Llc Surface normal computation on noisy sample of points
US8971612B2 (en) 2011-12-15 2015-03-03 Microsoft Corporation Learning image processing tasks from scene reconstructions
US9846960B2 (en) 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
US20130321564A1 (en) 2012-05-31 2013-12-05 Microsoft Corporation Perspective-correct communication window with motion parallax
CN102799856A (zh) * 2012-06-15 2012-11-28 天津大学 基于双通道红外信息融合的人体动作识别方法
CN102750533A (zh) * 2012-07-05 2012-10-24 重庆大学 基于形态成份稀疏表示的红外小弱目标检测方法
US8831285B2 (en) * 2012-07-26 2014-09-09 Hewlett-Packard Development Company, L.P. Detecting objects with a depth sensor
CN103279987B (zh) 2013-06-18 2016-05-18 厦门理工学院 基于Kinect的物体快速三维建模方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5812787A (en) * 1995-06-30 1998-09-22 Intel Corporation Video coding scheme with foreground/background separation
US20060039690A1 (en) * 2004-08-16 2006-02-23 Eran Steinberg Foreground/background segmentation in digital images with differential exposure calculations
RU2421933C2 (ru) * 2009-03-24 2011-06-20 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Система и способ формирования и воспроизведения трехмерного видеоизображения
WO2012041419A1 (en) * 2010-10-01 2012-04-05 Telefonica, S.A. Method and system for images foreground segmentation in real-time
WO2013056188A1 (en) * 2011-10-13 2013-04-18 Microsoft Corporation Generating free viewpoint video using stereo imaging

Also Published As

Publication number Publication date
EP2987140A1 (en) 2016-02-24
US11546567B2 (en) 2023-01-03
US20190379873A1 (en) 2019-12-12
BR112015025974A2 (pt) 2017-07-25
AU2014254218A8 (en) 2016-01-14
AU2014254218A1 (en) 2015-10-29
CN105229697B (zh) 2019-01-22
US20140307056A1 (en) 2014-10-16
WO2014172226A1 (en) 2014-10-23
KR102171231B1 (ko) 2020-10-28
CN105229697A (zh) 2016-01-06
AU2014254218B2 (en) 2017-05-25
CN105706143B (zh) 2019-02-22
BR112015025974A8 (pt) 2020-01-14
MX352449B (es) 2017-11-24
JP6562900B2 (ja) 2019-08-21
KR20150143751A (ko) 2015-12-23
EP2987140B1 (en) 2018-12-05
RU2015143935A (ru) 2017-04-19
CA2908689A1 (en) 2014-10-23
MX2015014570A (es) 2016-06-29
EP2987139A1 (en) 2016-02-24
BR112015025974B1 (pt) 2022-01-25
CA2908689C (en) 2021-08-24
CN105706143A (zh) 2016-06-22
US9191643B2 (en) 2015-11-17
US20140307952A1 (en) 2014-10-16
JP2016522923A (ja) 2016-08-04
WO2014172230A1 (en) 2014-10-23

Similar Documents

Publication Publication Date Title
RU2660596C2 (ru) Смешивание инфракрасного облака точек данных и облака точек данных цветовых составляющих
Kersten et al. Image-based low-cost systems for automatic 3D recording and modelling of archaeological finds and objects
US8976168B2 (en) Mesh generation from depth images
US9817159B2 (en) Structured light pattern generation
US20150134303A1 (en) Three-dimensional scanning system and method with hole-filling function for point cloud using contact probe
MacDonald et al. Polynomial texture mapping and 3d representations
CN106327505B (zh) 机器视觉处理系统、设备、方法及计算机可读存储介质
JP6185385B2 (ja) 空間構造推定装置、空間構造推定方法及び空間構造推定プログラム
CN104851127B (zh) 一种基于交互的建筑物点云模型纹理映射方法及装置
US10902674B2 (en) Creating a geometric mesh from depth data using an index indentifying unique vectors
JP6274962B2 (ja) 情報処理装置、制御方法、プログラム及び記録媒体
US11893744B2 (en) Methods and apparatus for extracting profiles from three-dimensional images
TWI595446B (zh) 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法
US20180124381A1 (en) Structured-light-based three-dimensional scanning method, apparatus and system thereof
KR20230013099A (ko) 실시간 깊이 맵을 사용한 지오메트리 인식 증강 현실 효과
TWI637145B (zh) 基於結構光的三維掃描方法及其裝置與系統
US9996969B2 (en) Dynamically creating and presenting a three-dimensional (3D) view of a scene by combining color, brightness, and intensity from multiple scan data sources
US11763462B2 (en) Mesh hole area detection
WO2022193080A1 (zh) 点云处理方法、装置及计算机可读存储介质