KR20150143751A - 적외선과 컬러 컴포넌트 데이터 포인트 클라우드들의 믹싱 - Google Patents

적외선과 컬러 컴포넌트 데이터 포인트 클라우드들의 믹싱 Download PDF

Info

Publication number
KR20150143751A
KR20150143751A KR1020157032616A KR20157032616A KR20150143751A KR 20150143751 A KR20150143751 A KR 20150143751A KR 1020157032616 A KR1020157032616 A KR 1020157032616A KR 20157032616 A KR20157032616 A KR 20157032616A KR 20150143751 A KR20150143751 A KR 20150143751A
Authority
KR
South Korea
Prior art keywords
data
infrared
rgb
sparse
image
Prior art date
Application number
KR1020157032616A
Other languages
English (en)
Other versions
KR102171231B1 (ko
Inventor
패트릭 존 스위니
데이비드 에프 하넷
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20150143751A publication Critical patent/KR20150143751A/ko
Application granted granted Critical
Publication of KR102171231B1 publication Critical patent/KR102171231B1/ko

Links

Images

Classifications

    • G06T7/0057—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/75—Chroma key
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G06T7/0055—
    • G06T7/0077—
    • G06T7/0081—
    • G06T7/0097—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • H04N13/0007—
    • H04N13/0271—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 개시는 적외선 데이터가 희박한 영역들에서 깊이 관련 데이터를 제공하기 위해 RGB 데이터를 적외선 데이터와 믹싱하는 것에 관한 것이다. 예를 들어, 포인트 클라우드 데이터에 대응하는 적외선 데이터는 그 내부의 희박한 영역들을 결정하기 위해 프로세싱된다. 임의의 이러한 희박한 영역들에 대해, RGB 데이터에서의 대응 영역에 대응하는 RGB 데이터가 데이터 구조에 추가된다. IR 데이터를 포함할 수 있거나 IR 데이터에 연결될 수 있는 데이터 구조는 예를 들어, 포인트 클라우드와 깊이 관련 데이터를 위해 사용될 수 있다.

Description

적외선과 컬러 컴포넌트 데이터 포인트 클라우드들의 믹싱{MIXING INFRARED AND COLOR COMPONENT DATA POINT CLOUDS}
액티브 깊이 센싱(active depth sensing)에서, 프로젝터는 센싱되는 영역을 조명하도록 적외선(infrared; IR) 도트들과 같은 광의 패턴들을 투영한다. 투영된 패턴들은 카메라/센서(스테레오 시스템들에서 2개 이상)에 의해 캡처되고, 이미지(또는 이미지들)는 예를 들어, 프레임마다 깊이 맵 등을 컴퓨팅하기 위해 프로세싱된다. 컬러[RGB(red, green, blue)] 이미지들이 매우 잡음이 있는 깊이 값들을 발생시키기 때문에 적외선이 바람직하다.
스테레오 시스템들에서, 스테레오 카메라들은 상이한 시점들로부터 2개의 이미지들을 캡처한다. 이어서, 예를 들어, 한 쌍의 스테레오 이미지로 깊이 추정을 수행하는 일 방식은 이미지들 사이의 대응점들을 찾는 것, 예를 들어, 하나의 이미지에서의 각 투영되고 센싱된 IR 도트를 다른 이미지에서의 대응 IR 도트와 연관시키는 것이다. 매칭되면, 이미지들 내의 투영된 패턴들은 서로 연관될 수 있고, 연관된 도트들의 하나 이상의 특징들 사이의 차이들이 그 특정 도트 쌍에 대한 깊이를 추정하는데 사용된다. 예를 들어, 본래의(네이티브) 카메라 해상도에서의 밀집(dense) 깊이 맵은 (예를 들어, 5x5 사이즈의 윈도우를 통해) 구역 매칭에 의해 획득될 수 있다.
그러나, 모든 표면들이 IR 광을 특히 잘 반사하는 것은 아니다. 그 결과, 불량한 반사 IR 표면에 대응하는 이미지의 임의의 부분에서, 서로 연관시키기 위한 스테레오 이미지들에서 일반적으로 IR 데이터(예를 들어, 반사된 도트들)가 충분하지 못하여서, 깊이 데이터가 없거나 깊이 데이터가 매우 희박하다. 이것은 단일 2차원(two dimensional; 2D) 깊이 맵에서 더욱 문제가 있고, 메쉬를 구성하기 위해 깊이 데이터를 사용하는 것들과 같은 포인트 클라우드 애플리케이션들에서, 특정 영역들에서의 적절한 깊이 데이터의 부족이 더욱 더 현저할 수 있다.
본 개요는 아래의 상세한 설명에서 더 설명되는 단순한 형태의 대표적인 개념들의 선택을 소개하기 위해 제공된다. 본 개요는 청구하는 발명내용의 중요한 특징들 또는 필수적인 특징들과 동일시하도록 의도되지 않고, 청구하는 발명내용의 범위를 제한할 수 있는 임의의 방식으로 사용되도록 의도되지도 않는다.
간략하게, 본원에서 설명되는 발명내용의 다양한 양태들 중 하나 이상은 적외선 데이터가 희박한 영역들에서의 적외선 데이터를 증가시키기 위해 컬러 컴포넌트(예를 들어, RGB) 데이터를 사용하는 것에 관한 것이다. 하나 이상의 양태들은 적외선 데이터 포인트들을 갖는 적외선 데이터 및 이미지 평면에 대응하는 컬러 컴포넌트 데이터 포인트들을 갖는 컬러 컴포넌트 데이터를 획득하는 것에 관한 것이다. 그 내부에 적외선 데이터 포인트들을 갖는 것에 관하여 희박한 영역인 적외선 이미지 데이터의 영역을 결정하면, 컬러 컴포넌트 이미지 데이터의 대응 영역으로부터의 컬러 컴포넌트 데이터 포인트들에 대응하는 적어도 일부의 컬러 컴포넌트 데이터가 데이터 구조에 추가된다.
하나 이상의 양태들에서, 이미지 프로세싱 컴포넌트는 적어도 하나의 적외선(IR) 카메라에 의해 캡처된 적외선 이미지들, 및 적어도 하나의 RGB 카메라에 의해 캡처된 대응 레드, 그린, 블루(RGB) 이미지들을 수신하도록 구성된다. 이미지 프로세싱 컴포넌트와 결합되거나 이미지 프로세싱 컴포넌트에 통합되는 믹싱 컴포넌트는 그 내부의 하나 이상의 희박한 영역들을 결정하기 위해 적외선 이미지에 대응하는 적외선 데이터를 프로세싱한다. 각 희박한 영역에 대해, 믹싱 컴포넌트는 대응 RGB 이미지에서의 대응 영역에 대응하는 RGB 데이터를 데이터 구조에 추가한다.
하나 이상의 양태들은 제 1 이미지 평면 상으로 투영된 포인트 클라우드 데이터에 대응하는 제 1 IR 데이터를 획득하고, 제 1 이미지 평면 상으로 투영된 포인트 클라우드 데이터에 대응하는 제 1 RGB 데이터를 획득하는 것에 관한 것이다. 제 1 적외선 데이터의 하나 이상의 희박한 적외선 영역들 및 제 1 RGB 데이터의 희박한 적외선 영역들의 하나 이상의 대응 영역들이 결정된다. 하나 이상의 대응 영역들로부터의 적어도 일부의 RGB 데이터가 데이터 구조에 추가된다. 이것은 RGB 데이터를 IR 데이터가 희박한 영역들의 데이터 구조에 추가하기 위해, IR 데이터 및 RGB 데이터의 제 2 세트 등에 관하여 수행될 수 있다.
다른 이점들은 도면들과 함께 취해질 때 아래의 상세한 설명으로부터 명백해질 수 있다.
본 발명은 동일한 참조 부호들이 유사한 엘리먼트들을 나타내는 첨부한 도면들에 예로서 도시되며 제한되지 않는다.
도 1은 하나 이상의 예시적인 구현예들에 따라, RGB 데이터로 희박한 적외선 데이터를 증가시키는데 사용될 수 있는 예시적인 컴포넌트들을 나타내는 블록도이다.
도 2는 하나 이상의 예시적인 구현예들에 따라 IR 데이터를 획득하기 위해, 도트들을 씬(scene)으로 투영하는 예의 대표도이다.
도 3은 하나 이상의 예시적인 구현예들에 따라, 투영된 도트들이 다수의 카메라 세트 시나리오에서 어떻게 사용될 수 있는지의 대표도이다.
도 4는 하나 이상의 예시적인 구현예들에 따라, 투영된 적외선 데이터가, IR 광을 불량하게 반사하는 구역에서 어떻게 희박할 수 있는지의 대표도이다.
도 5는 하나 이상의 예시적인 구현예들에 따라, 희박한 적외선 영역들이 IR 데이터로부터 어떻게 결정될 수 있는지의 대표도이다.
도 6은 하나 이상의 예시적인 구현예들에 따라, 희박한 영역들이 어떻게 변화될 수 있는지의 대표도이다.
도 7은 하나 이상의 예시적인 구현예들에 따라, 가령 깊이 관련 데이터로서 사용을 위한, 희박한 IR 영역들을 결정하고 대응 RGB 영역들로부터의 데이터를 데이터 구조에 추가하기 위해 취해질 수 있는 예시적인 단계들을 나타내는 흐름도이다.
도 8은 본원에서 설명되는 다양한 실시예들의 하나 이상의 양태들이 구현될 수 있는, 예시적이고 제한되지 않는 컴퓨팅 시스템 또는 동작 환경을 나타내는 블록도이다.
본원에서 설명되는 기술의 다양한 양태들은 일반적으로 적외선 데이터가 희박한 영역들에서 깊이 데이터 추정을 위해 RGB 데이터를 사용하는 것에 관한 것이다. 일 양태에서, 적외선 데이터(예를 들어, 적외선 포인트 클라우드로부터 투영된 포인트들)의 밀도(density)는 RGB 데이터로 (IR 기반의) 임의의 저밀도 서브파트(subpart)를 증가시키도록 다양한 서브파트들에서 평가된다. 이러한 방식으로, 밀도에 기반한 RGB와 IR 스테레오 포인트들의 믹싱은 더욱 완벽한 깊이 데이터를 갖는 포인트 클라우드를 제공한다.
일 양태에서, 밀도는 이미지 평면 상으로의 적외선 포인트 클라우드로부터의 투영에 대응하는 2차원 이미지 평면의 다수의 서브파트들에 걸쳐 컴퓨팅된다. 서브파트들은 그리드 등으로서 배열될 수 있다. 임의의 그리드 셀에 대해, IR 포인트 밀도가 평가되고, 너무 낮으면, 그 그리드 셀에 대한 RGB 포인트 데이터가 유지되고, 그렇지 않으면, RGB 포인트 데이터가 폐기된다. 프로세스는 소정의 구성으로 포인트 클라우드 데이터를 캡처하는데 사용되는 카메라들[포드들(pods)]의 다수의 세트들에 대해 반복될 수 있다.
본원의 예들 중 어느 것도 제한적이지 않다는 것을 이해해야 한다. 예를 들어, 다수의 배열된 포드들에 의해 캡처된 3차원 포인트 클라우드가 본원에 예시되는 한편, 본원에 설명되는 기술은 하나의 단일 2차원 깊이 맵에 적어도 적용될 수 있다. 또한, RGB(레드, 그린, 블루) 컬러 컴포넌트 데이터가 설명되는 한편, RGB 센서는 희박한 IR 데이터를 채우기 위해 자외선 센서로 대체될 수 있거나 자외선 센서로 증가될 수 있다. 이와 같이, 본 발명은 본원에 설명되는 임의의 특정한 실시예들, 양태들, 개념들, 구조들, 기능들 또는 예들에 제한되지 않는다. 오히려, 본원에 설명되는 실시예들, 양태들, 개념들, 구조들, 기능들 또는 예들 중 임의의 것은 비제한적이고, 본 발명은 일반적으로 액티브 깊이 센싱, 포인트 클라우드들 및 이미지 프로세싱에 이익들 및 이점들을 제공하는 다양한 방식으로 사용될 수 있다.
도 1은 스테레오 IR 카메라들(101 및 102), 스테레오 RGB 카메라들(103 및 104), 및 프로젝터(106)(예를 들어, 수천 도트들로 회절되는 IR 레이저)를 포함하는 포드(100)가 스테레오 IR 이미지들 및 RGB 이미지들을 캡처하는 예시적인 시스템을 도시한다. 포드(100)가 단지 하나의 예시적인 배열이고, 다른 배열들에서 카메라들(101 내지 104)이 서로에 대해 임의의 순서로 배열될 수 있다는 것에 유의한다. 실제로, 일 구현예에서, 프로젝터는 카메라들 위에 위치된다. 또한, 카메라들 및/또는 프로젝터 중 임의의 것이 임의의 포드 구성의 일부가 아닌 서로 분리될 수 있고, 포드가 필요하지 않을 수 있다. 따라서, 도 1은 설명의 목적을 위한 컴포넌트들만을 도시하고, 스케일, 상대적 치수들, 상대적 위치들, 하우징/포드 디바이스 내의 디바이스들의 조합들 등 중 어느 것도 도 1로부터 추론되어서는 안된다.
도 1의 예에서, 포드(100)는 이미지 캡처링 시스템 또는 서브시스템(108)과 결합된다(또는 그와 조합된다). 카메라들은 일반적으로, 시간적으로 동기화되는 스테레오 이미지들을 캡처하기 위해 예를 들어 카메라 인터페이스(110) 및 제어기(111)를 통해 제어된다[예를 들어, 카메라들은 "젠록(genlock)된다". 일 구현예에서, 광이 변화하는 조건들에서 적외선(IR)이 깊이 추정에 있어서 매우 효과적이며 씬의 가시적인 외관에 영향을 미치지 않으므로, 카메라들(101 및 102)은 적외선(IR) 이미지들(114)을 캡처한다. 또한, 카메라들(103 및 104)은 스테레오 RGB 이미지들(115)을 캡처한다. 쉽게 이해될 수 있고 아래에 예시된 바와 같이, 스튜디오 환경들과 같은 일부 시나리오들에서, 하나 이상의 이러한 포드 및 이미지 캡처링 시스템/서브시스템이 존재할 수 있다.
도 1에, 다른 스폿 형상들 및/또는 패턴 타입들이 사용될 수 있지만 스폿들(예를 들어, 도트들)의 패턴 또는 라인 패턴과 같은 IR 패턴을 씬 상에 투영하는 프로젝터(106)가 도시된다. 간략화의 목적을 위해, 도트들이 일반적으로 이하에 설명된다. 상대적으로 다수의 분포된 적외선 도트들로 씬을 조명함으로써, IR 카메라들(102 및 103)은 적외선 이미지 데이터의 일부로서 텍스처 데이터를 캡처한다. 프로젝터(106)가 프로젝터 인터페이스(116)를 통해 제어기(112)와 결합되는 것으로 도시되어 있고, 임의의 이러한 제어는 프로젝터를 턴 온 및 오프하거나 에너지 절약 모드들을 사용하는 것과 같이 단순할 수 있지만, 펄싱, 도트 분포 변경, 강도 변경 등과 같은 더욱 복잡한 제어가 실현가능하다.
도 2는 이러한 투영 개념을 예시한다. 스테레오 카메라들(101 내지 104) 사이에 원으로서 나타낸 프로젝터(106)는 씬(222) 상으로 도트 패턴을 투영한다. 카메라들(101 내지 104)은 도트들이 씬(222) 및 (가능하다면) 배경 내의 오브젝트 표면에서 반사되어 나올 때 도트들을 캡처한다. 일반적으로, 2개의 카메라들이 보는 이미지들에서의 차이는 반사 표면에 대한 거리를 나타낸다. 도 2가 축척대로이며, 임의의 사이즈들, 거리, 도트 분포 패턴, 도트 밀도 등을 수반하도록 의도되지 않는다는 것을 유의한다.
도 1로 돌아가서, 카메라들(101 내지 104)에 의해 캡처된 이미지들은 이미지 프로세싱 시스템 또는 서브시스템(118)에 제공된다. 일부 구현예들에서, 이미지 프로세싱 시스템(118) 및 이미지 캡처링 시스템 또는 서브시스템(104), 또는 그것의 일부가 단일 디바이스로 조합될 수 있다. 예를 들어, 홈 엔터테인먼트 디바이스가 (도시되지 않는 다른 컴포넌트들 뿐만 아니라) 도 1에 도시된 컴포넌트들 모두를 포함할 수 있다. 다른 구현예들에서, 카메라들 및 프로젝터와 같은 이미지 캡처링 시스템 또는 서브시스템(104)의 일부들(또는 모두)은 게임 콘솔, 개인 컴퓨터, 모바일 디바이스, 전용 프로세싱 디바이스 등과 결합하는 개별 디바이스일 수 있다.
이미지 프로세싱 시스템 또는 서브시스템(118)은 프로세서(120) 및 본원에서 설명되는 바와 같은 IR/RGB 믹싱 알고리즘(124)을 포함하는 하나 이상의 이미지 프로세싱 알고리즘들을 포함하는 메모리(122)를 포함한다. 일반적으로, IR/RGB 믹싱 알고리즘(124)은 깊이가 결정될 수 있는 연관된 값들을 갖는 IR 포인트들 및 RGB 포인트들을 포함하는 리스트(130) 또는 다른 적절한 데이터 구조를 출력한다. 믹싱된 IR/RGB 포인트 리스트(130)를 사용하는 애플리케이션 등과의 상호작용을 위해 사용자에게 적합한 것으로서 키보드, 게임 제어기, 디스플레이, 음성(speech) 커맨드들을 위한 포인팅 디바이스 마이크로폰 등을 연결하기 위한 것과 같은, 이미지 프로세싱 시스템 또는 서브시스템(118)에 대한 인터페이스(132)가 도 1에 또한 도시되어 있다.
도 3은 상이한 관점들로부터 오브젝트(예를 들어, 사람)의 이미지들을 캡처하기 위해 배열된 복수의 포드들(3001 내지 3004)을 도시한다. 4개의 이러한 포드들이 도 3에 도시되는 한편, 소정의 구성에서는 임의의 실용적인 갯수의 포드가 존재할 수 있다는 것이 이해될 것이다. 예를 들어, 하나의 이러한 구성은 9개의 포드들을 사용하고, 상이한 높이들의 4개의 포드들의 2개의 세트들이 공간을 둘러싸고 그에 더하여 하나의 포드가 그 공간 위에 있다.
도 3의 예에서, 4개(또는 그 이상의) 포드들 각각으로부터 캡처된 IR 및 RGB 이미지 데이터는 개별 IR 및 RGB 포인트 클라우드들(IR PC 및 RGB PC 각각)을 형성한다. 포인트 클라우드 데이터는 본원에서 설명되는 바와 같은 프로세싱을 위해 IR/RGB 포인트 클라우드 믹싱 알고리즘(124)에 이용가능하게 이루어진다.
도 3에 일반적으로 나타낸 바와 같이, 각 포드의 프로젝터들은 오브젝트, 예를 들어, 사람(30) 상으로 광 패턴(IR 도트들)을 투영한다. 반사된 IR 광은 각 포드(3001 내지 3004)에서 캡처된다. 그러나, 도 3에 (그리고 도 4에 또한 확대된 형태로) 예시된 바와 같이, [구역(332)에 대응하는] 일부 표면들은 IR 광을 잘 반사하지 않는다. 인간의 머리카락이 일 예이지만, 다수의 재료들, 직물들 등이 불량한 IR 반사 특성들을 갖는다. 도 3 및 도 4에서의 도트들은 단지 예시 목적이고, 분포, 전체 밀도, 사이즈들 등은 실제 사이즈들, 밀도 및/또는 분포 정보를 수반하도록 의도되지 않는다는 것에 유의한다.
따라서, 구역(332)에 희박한 IR 데이터가 존재한다. 본원에서 설명되는 바와 같이, 이미지 내에 존재하는 이러한 희박성의 레벨이 검출되고, RGB 포인트들은 IR 포인트들이 희박한 영역들에 추가된다.
이러한 목적으로, 포인트 클라우드를 고려하면, 포인트 클라우드 데이터는 임의의 소정 관점으로부터 2차원 이미지 평면 상으로 투영될 수 있다. 따라서, 각 포드에 대한 이미지 평면, IR 데이터에 대한 하나의 이미지 평면 및 RGB 데이터에 대한 다른 이미지 평면은 이미지 평면 상에 투영된 포인트 클라우드 데이터를 가질 수 있다. 대안적으로, (예를 들어, 포인트 클라우드가 없으면), IR 데이터 및 RGB 데이터의 각 프레임이 카메라들에서 2차원(2D) 이미지들로서 캡처되어, 이미지 평면 데이터가 이러한 캡처링으로부터 존재한다.
임의의 이벤트에 있어서, 도 4는 2D 이미지(440)가 그 안에 캡처되는 반사된 IR 도트들의 밀도를 결정하기 위한 그리드형 서브파트들로 어떻게 분리될 수 있는지를 도시한다. 이러한 단순화된 예로부터 알 수 있는 바와 같이, 밀도는 IR 광을 불량하게 반사하는 표면에 대응하는 구역(332)에서 낮다. 그리드들의 사이즈 및 그리드들의 갯수가 임의의 실제 사이즈, 상대적 사이즈, 상대적 갯수 등을 수반하도록 의도되지 않는다는 것에 유의한다.
어레이의 서브섹션들 내에 희박성을 위치시키는 가상적인 임의의 기술이 사용될 수 있고 그리드들에 기반할 필요 없지만, 그리드들은 간단한 솔루션을 제공한다. 예를 들어, 희박성을 검출하는 하나의 간단한 방식은 그리드 셀들에서 포인트들을 카운팅하는 카운팅 메커니즘을 사용한다. 예를 들어, 소정 그리드 셀에서의 도트들의 갯수가 문턱값 아래이면, 그 특정한 그리드 셀은 희박한 것으로 고려된다. 이러한 상황에서, 그 그리드에 대한 RGB 데이터는 (예를 들어, 깊이 검출에서) 원하는 바와 같은 사용을 위해 희박한 IR 데이터를 증가시키도록 유지된다.
도 5는 그리드 셀들이 최대 희박성(또는 반대로 최대 밀도)에 기반하거나 일부 다른 기준에 기반하여 시프트되는 것을 제외하고 도 4와 본질적으로 동일한 예를 도시한다. 그리드들을 시프트하고, (그리고/또는 그리드들을 수직으로 연장하거나 단축하고 그리고/또는 그리드들을 수평으로 확장하거나 좁힘으로써), 상이한 서브파트들이 희박하다. 예를 들어, 도 4의 예에서의 4개의 그러한 그리드 셀들 에 비해, 도 5에서는, 희박한 것으로 결정될 가능성이 있는 구역(332) 근방에 6개의 그리드 셀들(영역들)이 존재한다. RGB를 추가하는 것이 깊이 센싱에 약간의 잡음을 추가하지만, 영역 내에 약간의 잡음을 갖는 깊이 데이터를 갖는 많은 경우에, 그 영역에서 깊이 데이터를 갖지 않거나 단지 매우 희박한 깊이 데이터만을 갖는 것 이상의 향상이라는 것에 유의한다.
도 6은 그리드 셀들이 예를 들어, 추가되는 RGB 포인트들의 갯수를 증가시키거나 감소시키기 위해 임의적으로 사이징되고 및/또는 배열될 수 있는 다른 대안을 도시한다. 예를 들어, 도 4에서의 단일의 그리드 셀(444)이 도 6에서의 2개의 더 작은 그리드 셀들(662 및 664)로 분할된다. 이것은 도 6에서의 다른 더 작은 셀들 뿐만아니라 이들 셀들 주위의 더 굵은 선들에 의해 또한 표현된다. 이것은 카운팅 동안 행해질 수 있고, 예를 들어, 희박하지 않지만 "문턱값 바로 위(just above the threshold)" 셀이 그리드 셀의 구역이 절반으로 분할되는 경우에 일 부분이 예를 들어, 문턱값의 절반과 같이 감소된 문턱값에 대하여 이제 희박한지를 결정하기 위해 서브-영역들로 세분될 수 있다는 것에 유의한다. 이것은 때때로, 희박하지 않은 셀이 희박한 부분 및 희박하지 않은 부분으로 분할될 수 있기 때문에 추가된 RGB 데이터를 증가시키는 경향이 있다. 반대로, 추가된 RGB 데이터의 양을 감소시키기 위해, 희박하지만 "문턱값 바로 아래의" 셀들이 일 부분이 이제 희박하지 않은지를 결정하기 위해 세분될 수 있다. 이들 대안들 모두는 동시에 행해질 수 있다.
도 7은 적합한 IR-RGB 믹싱 알고리즘의 예시적인 단계들을 나타내는 흐름도이다. 일반적으로, 알고리즘은 IR이 (임의의 포드에 대해 검출될 때) 희박한 영역들에서, RGB 포인트들로 증가된 IR 포인트들의 포괄적인 리스트를 획득하기 위해 [단계들(702 및 718)을 통해] 포드마다 반복된다.
단계(702)는 포드를 선택하고, 단계들(704 및 706)은 예를 들어, 포인트 클라우드 투영를 통해(또는 그 포드에서 캡처된 것으로서; 밀도를 결정하기 위해 스테레오 이미지들 중 하나만이 사용될 수 있다는 것에 유의) 그 포드에 대한 2D IR 및 RGB 이미지 평면들을 획득한다. 단계(708)는 각 이미지를 서브파트들, 예를 들어, 그리드들로 분할한다. 그리드들은 임의의 적합한 사이즈(예를 들어, 16x16 블록들)일 수 있다.
단계(710)는 IR 이미지 평면으로부터 그리드를 선택하고, 그 안의 IR 포인트들을 카운팅한다. 단계(712)는 예를 들어, 문턱값에 대한 카운트를 평가함으로써 그리드 밀도가 낮은지를 결정한다. 문턱값은 포드들의 소정의 구성, 투영 패턴 밀도, 및 조명된 오브젝트에 대한 거리들에 대해 합리적인 추정되거나 컴퓨팅된 고정된 수(예를 들어, 10)일 수 있거나, 평균화 및 표준 편차와 같은 통계적 기법/분석에 기반하여 변화될 수 있다. 그리드 사이즈 및/또는 형상들(예를 들어, 정사각형들, 직사각형들, 삼각형들, 육각형들) 등이 변화될 수 있다.
임의의 이벤트에서, 희박한 그리드 셀 등이 단계(712)에서 검출될 때, 단계(714)는 RGB 이미지 평면 데이터에서의 대응 그리드 셀로부터의 RGB 포인트들을 리스트 또는 다른 적절한 데이터 구조에 추가한다. 희박하지 않으면, 충분한 IR 데이터가 원하는 바와 같은 사용을 위해 그 영역에 존재한다.
단계(716)는 모든 그리드들이 프로세싱될 때까지, 다음 그리드에 대한 프로세스를 반복한다. 단계(718)는 모든 포드들이 프로세싱될 때까지 다른 포드들에 대한 프로세스를 반복한다.
포드들이 프로세싱되었을 때, RGB 이미지 데이터는 리스트 등에 있다. 리스트에는 중복들이 존재할 수 있고, 이는 단계(720)를 통해 제거될 수 있다[대안적으로는, 중복들은 단계(714)에서 추가되지 않을 수 있다]. 단계(722)는 (모든 포드들로부터의) IR 포인트들을 리스트에 추가하고, 프로세스가 종료된다. 리스트는 이제, IR 포인트들과 IR 데이터가 임의의 포드에 대해 희박한 RGB 포인트들의 합 모두를 포함한다.
대안적인 구현예들에서, 희박성의 양이 RGB를 추가하는 요소(factor)가 될 수 있다는 것에 유의한다. 예를 들어, IR 카운트가 문턱값에 근접하면, 추가될 수 있는 RGB 포인트들의 수가 적다. 유사하게, 좌표 공간에서 IR 포인트에 대한 RGB 포인트의 근접성은 그 포인트를 추가할지를 결정할 수 있다.
알 수 있는 바와 같이, 희박한 IR 데이터 영역들을 갖는 이미지 또는 포인트 클라우드가 희박한 영역들에서 RGB 데이터와 믹싱될 수 있는 기법이 설명된다. 결과적인 믹싱된 데이터는 IR 데이터 영역들이 존재하지 않거나 희박한 IR 데이터 영역들만이 존재하는 깊이 데이터들을 획득하기 위해 사용될 수 있다.
예시적인 동작 환경
도 8은 예를 들어, 본원에서 설명되는 컴퓨터 관련 예들 및 구현예들이 구현될 수 있는 적절한 컴퓨팅 및 네트워킹 환경(800)의 예를 예시한다. 컴퓨팅 시스템 환경(800)은 적절한 컴퓨팅 환경의 단지 일례이고, 본 발명의 사용 또는 기능의 범위에 관하여 어떠한 제한을 제시하도록 의도되지 않는다. 컴퓨팅 환경(800)은 예시적인 동작 환경(800)에 예시된 컴포넌트들 중 어느 하나 또는 조합에 관한 임의의 종속관계 또는 요건을 갖는 것으로서 해석되지 않아야 한다.
본 발명은 다수의 다른 범용 또는 특수용 컴퓨팅 시스템 환경들 또는 구성들로 동작 가능하다. 본 발명과 사용하기에 적절할 수 있는 널리 공지된 컴퓨팅 시스템들, 환경들, 및/또는 구성들의 예들은 개인 컴퓨터들, 서버 컴퓨터들, 핸드헬드 또는 랩탑 디바이스들, 태블릿 디바이스들, 멀티프로세서 시스템들, 마이크로프로세서 기반 시스템들, 셋탑 박스들, 프로그램가능 소비자 전자제품들, 네트워크 PC(personal computer)들, 미니컴퓨터들, 메인프레임 컴퓨터들, 상기 시스템들 또는 디바이스들 중 임의의 것을 포함하는 분산 컴퓨팅 환경들 등을 포함하지만, 이에 제한되지 않는다.
본 발명은 컴퓨터에 의해 실행되는 프로그램 모듈들과 같은, 컴퓨터 실행가능 명령어들의 일반 문맥에서 설명될 수 있다. 일반적으로, 프로그램 모듈들은 특정한 작업들을 수행하거나 특정한 추상적 데이터 타입들을 구현하는 루틴들, 프로그램들, 오브젝트들, 컴포넌트들, 데이터 구조들 등을 포함한다. 본 발명은 작업들이 통신 네트워크들을 통해 링크되는 원격 프로세싱 디바이스들에 의해 수행되는 분산 컴퓨팅 환경들에서 또한 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈들은 메모리 저장 디바이스들을 포함하는 로컬 및/또는 원격 컴퓨터 저장 매체에 위치될 수 있다.
도 8을 참조하면, 본 발명의 다양한 양태들을 구현하는 예시적인 시스템은 컴퓨터(810)의 형태로 범용 컴퓨팅 디바이스를 포함할 수 있다. 컴퓨터(810)의 컴포넌트들은 프로세싱 유닛(820), 시스템 메모리(830), 및 시스템 메모리를 포함하는 다양한 시스템 컴포넌트들을 프로세싱 유닛(820)와 결합하는 시스템 버스(821)를 포함할 수 있지만, 이에 제한되지 않는다. 시스템 버스(821)는 메모리 버스 또는 메모리 제어기, 주변 버스, 및 임의의 다양한 버스 아키텍처들을 사용하는 로컬 버스를 포함하는 임의의 여러 타입의 버스 구조들일 수 있다. 제한하지 않는 예로서, 이러한 아키텍처들은 산업 표준 아키텍처(Industry Standard Architecture; ISA) 버스, 마이크로 채널 아키텍처(Micro Channel Architecture; MCA) 버스, 보강된 산업 표준 아키텍처(Enhanced ISA; EISA) 버스, 비디오 전자 표준 협회(Video Electronics Standards Association; VESA) 로컬 버스, 및 메자닌(Mezzanine) 버스로서 또한 공지되어 있는 주변 컴포넌트 상호접속(Peripheral Component Interconnect; PCI) 버스를 포함한다.
컴퓨터(810)는 다양한 컴퓨터 관련 매체를 통상적으로 포함한다. 컴퓨터 판독가능 매체는 컴퓨터(810)에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있고, 휘발성 및 비휘발성 매체, 및 착탈식 및 비착탈식 매체 양자를 포함한다. 제한하지 않는 예로서, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체들 및 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어들, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 착탈식 및 비착탈식 매체를 포함한다. 컴퓨터 저장 매체는 RAM(read only memory), ROM(random access memory, EEPROM(electrically erasable and programmable read only memory), 플래시 메모리 또는 다른 메모리 기술, CD ROM(compact disc read-only memory), 디지털 다기능 디스크(digital versatile disk; DVD)들 또는 다른 광학 디스크 스토리지, 자기 카세트들, 자기 테이프, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들, 또는 원하는 정보를 저장하기 위해 사용될 수 있고 컴퓨터(810)에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이에 제한되지 않는다. 통신 매체는 반송파 또는 다른 전송 메커니즘과 같은 변조 데이터 신호에서 컴퓨터 판독가능 명령어들, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터를 통상적으로 구현하고 임의의 정보 전달 매체를 포함한다. 용어 "변조 데이터 신호"는 신호에서 정보를 인코딩하는 것에 관한 이러한 방식으로 설정되거나 변경된 그 특징들 중 하나 이상을 갖는 신호를 의미한다. 제한하지 않는 예로서, 통신 매체는 유선 네트워크 또는 직접 유선 연결과 같은 유선 매체, 및 음향, RF, 적외선 및 다른 무선 매체와 같은 무선 매체를 포함한다. 상기 임의의 조합들이 컴퓨터 판독가능 매체의 범위 내에 또한 포함될 수 있다.
시스템 메모리(830)는 읽기 전용 메모리(ROM)(831) 및 랜덤 액세스 메모리(RAM)(832)와 같은 휘발성 및/또는 비휘발성 메모리의 형태의 컴퓨터 저장 매체를 포함한다. 예를 들어, 개시 동안 컴퓨터(810) 내의 엘리먼트들 사이에서 정보의 전송을 돕는 기본 루틴들을 포함하는 기본 입/출력 시스템(833)(basic input/output system; BIOS)이 통상적으로 ROM(831)에 저장된다. RAM(832)은 프로세싱 유닛(820)에 즉시 액세스가능하고 그리고/또는 프로세싱 유닛(820)에 의해 현재 동작되는 데이터 및/또는 프로그램 모듈들을 통상적으로 포함한다. 제한하지 않는 예로서, 도 8은 운영 시스템(834), 애플리케이션 프로그램들(835), 다른 프로그램 모듈들(836) 및 프로그램 데이터(837)를 예시한다.
컴퓨터(810)는 다른 착탈식/비착탈식, 휘발성/비휘발성 컴퓨터 저장 매체를 또한 포함할 수 있다. 단지 예로서, 도 8은 비착탈식, 비휘발성 자기 매체로부터 판독하거나 그에 기록하는 하드 디스크 드라이브(841), 착탈식, 비휘발성 자기 디스크(852)로부터 판독하거나 그에 기록하는 자기 디스크 드라이브(851), 및 CD ROM 또는 다른 광학 매체와 같은 착탈식, 비휘발성 광학 디스크(856)로부터 판독하거나 그에 기록하는 광학 디스크 드라이브(855)를 예시한다. 예시적인 동작 환경에서 사용될 수 있는 다른 착탈식/비착탈식, 휘발성/비휘발성 컴퓨터 저장 매체는 자기 테이프 카세트들, 플래시 메모리 카드들, 디지털 다기능 디스크들, 디지털 비디오 테이프들, 고체 상태 RAM, 고체 상태 ROM 등을 포함하지만, 이에 제한되지 않는다. 하드 디스크 드라이브(841)는 인터페이스(840)와 같은 비착탈식 메모리 인터페이스를 통해 시스템 버스(821)에 통상적으로 연결되고, 자기 디스크 드라이브(851) 및 광학 디스크 드라이브(855)는 인터페이스(850)와 같은 착탈식 메모리 인터페이스에 의해 시스템 버스(821)에 통상적으로 연결된다.
도 8에 상술하고 예시한 드라이브들 및 그에 연관된 컴퓨터 저장 매체는 컴퓨터(810)에 대한 컴퓨터 판독가능 명령어들, 데이터 구조들, 프로그램 모듈들 및 다른 데이터의 저장을 제공한다. 도 8에서, 예를 들어, 하드 디스크 드라이브(841)는 운영 시스템(844), 애플리케이션 프로그램들(845), 다른 프로그램 모듈들(846), 및 프로그램 데이터(847)를 저장하는 것으로 예시된다. 이들 컴포넌트들은 운영 시스템(834), 애플리케이션 프로그램들(835), 다른 프로그램 모듈들(836), 및 프로그램 데이터(837)와 동일하거나 상이할 수 있다는 것에 유의한다. 운영 시스템(844), 애플리케이션 프로그램들(845), 다른 프로그램 모듈들(846), 및 프로그램 데이터(847)는 이들이 상이한 카피들이라는 것을 최소로 예시하기 위해 여기에 상이한 수들로 제공된다. 사용자는 태블릿, 또는 전자 디지타이저(864), 마이크로폰(863), 키보드(862) 및 마우스, 트랙볼 또는 터치 패드로서 일반적으로 지칭되는 포인팅 디바이스(861)와 같은 입력 디바이스들을 통해 컴퓨터(810)에 커맨드들 및 정보를 입력할 수 있다. 도 8에 도시되지 않는 다른 입력 디바이스들은 조이스틱, 게임 패드, 위성 접시, 스캐너 등을 포함할 수 있다. 이들 및 다른 입력 디바이스들은 시스템 버스와 결합되는 사용자 입력 인터페이스(860)를 통해 프로세싱 유닛(820)에 종종 연결되지만, 병렬 포트, 게임 포트 또는 유니버설 시리얼 버스(USB)와 같은 다른 인터페이스 및 버스 구조들에 의해 연결될 수 있다. 모니터(891) 또는 다른 타입의 디스플레이 디바이스가 비디오 인터페이스(890)와 같은 인터페이스를 통해 시스템 버스(821)에 또한 연결된다. 모니터(891)는 터치 스크린 패널 등과 또한 집적될 수 있다. 모니터 및/또는 터치 스크린 패널은, 컴퓨팅 디바이스(810)가 예를 들어, 태블릿 타입 개인 컴퓨터에 통합되는 하우징에 물리적으로 결합될 수 있다는 것에 유의한다. 또한, 컴퓨팅 디바이스(810)와 같은 컴퓨터들은 출력 주변 인터페이스(894) 등을 통해 연결될 수 있는 스피커들(895) 및 프린터(896)와 같은 다른 주변 출력 디바이스들을 또한 포함할 수 있다.
컴퓨터(810)는 원격 컴퓨터(880)와 같은 하나 이상의 원격 컴퓨터들에 대한 논리적 연결들을 사용하여 네트워킹된 환경에서 동작할 수 있다. 원격 컴퓨터(880)는 개인 컴퓨터, 서버, 라우터, 네트워크 PC, 피어 디바이스 또는 다른 공통 네트워크 노드일 수 있고, 메모리 저장 디바이스(881)만이 도 8에 예시되어 있지만, 컴퓨터(810)에 대한 상술한 다수의 또는 모든 엘리먼트들을 통상적으로 포함한다. 도 8에 예시된 논리적 연결들은 하나 이상의 근거리 네트워크(local area network; LAN)들(871)을 및 하나 이상의 광역 네트워크(wide area network; WAN)(873)들을 포함하지만, 다른 네트워크들을 또한 포함할 수 있다. 이러한 네트워킹 환경들은 사무실들, 전사적(enterprise wide) 컴퓨터 네트워크들, 인트라넷들 및 인터넷에서 일반적이다.
LAN 네트워킹 환경에서 사용될 때, 컴퓨터(810)는 네트워크 인터페이스 또는 어댑터(870)를 통해 LAN(871)에 연결된다. WAN 네트워킹 환경에서 사용될 때, 컴퓨터(810)는 인터넷과 같은 WAN(873)을 통한 통신을 확립하는 모뎀(872) 또는 다른 수단을 통상적으로 포함한다. 내부 또는 외부일 수 있는 모뎀(872)은 사용자 입력 인터페이스(860) 또는 다른 적절한 메커니즘을 통해 시스템 버스(821)에 연결될 수 있다. 예를 들어, 인터페이스 및 안테나를 포함하는 무선 네트워킹 컴포넌트(874)가 액세스 포인트 또는 피어 컴퓨터와 같은 적합한 디바이스를 통해 WAN 또는 LAN와 결합될 수 있다. 네트워킹된 환경에서, 컴퓨터(810)에 대해 도시된 프로그램 모듈들, 또는 그것의 부분들이 원격 메모리 저장 디바이스에 저장될 수 있다. 제한하지 않는 예로서, 도 8은 메모리 디바이스(881) 상에 상주하는 것으로서 원격 애플리케이션 프로그램들(885)을 예시한다. 도시된 네트워크 연결들은 예들이고 컴퓨터들 사이에 통신 링크를 확립하는 다른 수단이 사용될 수 있다는 것이 이해될 수 있다.
(예를 들어, 콘텐츠의 보조 디스플레이를 위한) 보조 서브시스템(899)이, 컴퓨터 시스템의 메인 부분들이 저전력 상태에 있더라도, 프로그램 콘텐츠, 시스템 상태 및 이벤트 통지들과 같은 데이터가 사용자에게 제공되게 하도록 사용자 인터페이스(860)를 통해 연결될 수 있다. 보조 서브시스템(899)은 메인 프로세싱 유닛(820)이 저전력 상태에 있으면서 이들 시스템들 사이의 통신을 허용하기 위해 모뎀(872) 및/또는 네트워크 인터페이스(870)에 연결될 수 있다.
대안으로 또는 또한, 여기에 설명한 기능은 하나 이상의 하드웨어 로직 컴포넌트들에 의해 적어도 부분적으로 수행될 수 있다. 예를 들어, 제한적이지 않게 사용될 수 있는 예시적인 타입의 하드웨어 로직 컴포넌트들은 필드 프로그램 가능 게이트 어레이(Field-programmable Gate Array; FPGA)들, 주문형 집적 회로(Application-specific Integrated Circuit; ASIC)들, 주문형 표준 상품(application-specific Standard Product; ASSP)들, 시스템 온 칩(System on chip; SOC) 시스템들, 복합 프로그램 가능 로직 디바이스(Complex Programmable Logic Device; CPLD)들을 포함한다.
결론
본 발명이 다양한 변경들 및 대안의 구조들로 가능하지만, 본 발명의 특정한 예시된 실시예들이 도면들에 도시되어 있고 위에서 상세히 설명되었다. 그러나, 본 발명을 개시된 특정한 형태들로 제한하려는 의도가 없고, 반대로, 본 발명의 사상 및 범위 내에 있는 모든 변경들, 대안의 구조들, 및 균등물들을 커버하려는 의도라는 것을 이해해야 한다.

Claims (10)

  1. 방법으로서,
    적외선 데이터 포인트들을 갖는 적외선 이미지 평면에 대응하는 적외선 데이터를 획득하는 단계와,
    컬러 컴포넌트 데이터 포인트들을 갖는 상기 이미지 평면에 대응하는 컬러 컴포넌트 데이터를 획득하는 단계와,
    그 내부에 상기 적외선 데이터 포인트들을 갖는 것에 대하여 희박한 영역인 적외선 이미지 데이터의 영역을 결정하는 단계와,
    상기 컬러 컴포넌트 이미지 데이터의 대응 영역으로부터의 컬러 컴포넌트 데이터 포인트들에 대응하는 적어도 일부의 컬러 컴포넌트 데이터를 데이터 구조에 추가하는 단계를 포함하는 방법.
  2. 제 1 항에 있어서,
    상기 적외선 이미지 평면을 획득하는 것은 포인트 클라우드로부터 적외선 데이터를 투영하는 것을 포함하는 것인 방법.
  3. 제 1 항에 있어서,
    희박한 영역을 포함하는 일 영역을 포함하는 복수의 영역들로 상기 이미지 평면을 분할하는 단계를 더 포함하는 방법.
  4. 제 1 항에 있어서,
    상기 적어도 일부의 컬러 컴포넌트 데이터를 추가하는 단계는 상기 영역의 희박성의 레벨에 기반하여 컬러 컴포넌트 데이터의 양을 추가하는 단계를 포함하는 것인 방법.
  5. 제 1 항에 있어서,
    희박한 영역을 포함하는 일 영역을 포함하는 복수의 영역들로 상기 이미지 평면을 분할하는 단계를 더 포함하고, 상기 영역들 중 적어도 일부의 사이즈가 밀도 데이터에 기반하여 결정되는 것인 방법.
  6. 시스템으로서,
    이미지 프로세싱 컴포넌트 - 상기 이미지 프로세싱 컴포넌트는 적어도 하나의 적외선(infrared; IR) 카메라에 의해 캡처된 적외선 이미지들 및 적어도 하나의 RGB(red, green, blue) 카메라에 의해 캡처된 대응 레드, 그린, 블루(RGB) 이미지들을 수신하도록 구성됨 - 와,
    상기 이미지 프로세싱 컴포넌트와 결합되거나 상기 이미지 프로세싱 컴포넌트에 통합되는 믹싱 컴포넌트 - 상기 믹싱 컴포넌트는 그 내부의 하나 이상의 희박한 영역들을 결정하기 위해 적외선 이미지에 대응하는 적외선 데이터를 프로세싱하고, 각 희박한 영역에 대해 대응 RGB 이미지에서의 대응 영역에 대응하는 RGB 데이터를 데이터 구조에 추가하도록 구성됨 - 를 포함하는 시스템.
  7. 제 6 항에 있어서,
    상기 이미지 프로세싱 컴포넌트는 적외선 포인트 클라우드 데이터에 대응하는 상기 적외선 이미지 데이터 및 스테레오 카메라들의 복수의 세트들로부터의 이미지들에 기반하는 RGB 포인트 클라우드 데이터에 대응하는 상기 RGB 데이터를 수신하도록 구성되는 것인 시스템.
  8. 제 6 항에 있어서,
    상기 믹싱 컴포넌트는 스테레오 카메라들의 2개의 상이한 세트들로부터 획득된 RGB 데이터의 적어도 2개의 상이한 세트들로부터의 RGB 데이터를 추가하도록 구성되는 것인 시스템.
  9. 컴퓨터 실행가능 명령어들을 갖는 하나 이상의 컴퓨터 판독가능 저장 매체 또는 로직으로서, 실행될 때,
    제 1 이미지 평면 상에 투영된 포인트 클라우드 데이터에 대응하는 제 1 적외선(IR) 데이터를 획득하는 단계와,
    상기 제 1 이미지 평면 상에 투영된 포인트 클라우드 데이터에 대응하는 제 1 레드, 그린, 블루(RGB) 데이터를 획득하는 단계와,
    상기 제 1 적외선 데이터에서 하나 이상의 제 1 희박한 적외선 영역들을 결정하는 단계와,
    상기 제 1 RGB 데이터에서 상기 제 1 희박한 적외선 영역들 중 하나 이상의 제 1 대응 영역들을 결정하는 단계와,
    상기 하나 이상의 제 1 대응 영역들로부터의 적어도 일부의 RGB 데이터를 데이터 구조에 추가하는 단계와,
    제 2 이미지 평면 상에 투영된 포인트 클라우드 데이터에 대응하는 제 2 적외선(IR) 데이터를 획득하는 단계와,
    상기 제 2 이미지 평면 상에 투영된 포인트 클라우드 데이터에 대응하는 제 2 레드, 그린, 블루(RGB) 데이터를 획득하는 단계와,
    상기 제 2 적외선 데이터에서 하나 이상의 제 2 희박한 적외선 영역들을 결정하는 단계와,
    상기 제 2 RGB 데이터에서 상기 제 2 희박한 적외선 영역들 중 하나 이상의 제 2 대응 영역들을 결정하는 단계와,
    상기 하나 이상의 제 2 대응 영역들로부터의 적어도 일부의 RGB 데이터를 상기 데이터 구조에 추가하는 단계를 포함하는 단계들을 수행하는 것인 컴퓨터 실행가능 명령어들을 갖는 하나 이상의 컴퓨터 판독가능 저장 매체 또는 로직.
  10. 제 9 항에 있어서,
    깊이 데이터를 결정하기 위해 상기 데이터 구조에서 상기 적외선 데이터 및 RGB 데이터를 사용하는 것을 포함하는 컴퓨터 실행가능 명령어들을 갖는 하나 이상의 컴퓨터 판독가능 저장 매체 또는 로직.
KR1020157032616A 2013-04-15 2014-04-14 적외선과 컬러 컴포넌트 데이터 포인트 클라우드들의 믹싱 KR102171231B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361812233P 2013-04-15 2013-04-15
US61/812,233 2013-04-15
US13/913,454 US9191643B2 (en) 2013-04-15 2013-06-09 Mixing infrared and color component data point clouds
US13/913,454 2013-06-09
PCT/US2014/033918 WO2014172230A1 (en) 2013-04-15 2014-04-14 Mixing infrared and color component data point clouds

Publications (2)

Publication Number Publication Date
KR20150143751A true KR20150143751A (ko) 2015-12-23
KR102171231B1 KR102171231B1 (ko) 2020-10-28

Family

ID=51686526

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157032616A KR102171231B1 (ko) 2013-04-15 2014-04-14 적외선과 컬러 컴포넌트 데이터 포인트 클라우드들의 믹싱

Country Status (11)

Country Link
US (3) US9191643B2 (ko)
EP (2) EP2987139A1 (ko)
JP (1) JP6562900B2 (ko)
KR (1) KR102171231B1 (ko)
CN (2) CN105229697B (ko)
AU (1) AU2014254218B2 (ko)
BR (1) BR112015025974B1 (ko)
CA (1) CA2908689C (ko)
MX (1) MX352449B (ko)
RU (1) RU2660596C2 (ko)
WO (2) WO2014172226A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220099580A (ko) * 2016-02-18 2022-07-13 애플 인크. 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9628722B2 (en) 2010-03-30 2017-04-18 Personify, Inc. Systems and methods for embedding a foreground video into a background feed based on a control input
US8649592B2 (en) 2010-08-30 2014-02-11 University Of Illinois At Urbana-Champaign System for background subtraction with 3D camera
US9213781B1 (en) 2012-09-19 2015-12-15 Placemeter LLC System and method for processing image data
US20140307055A1 (en) 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
CN104427291B (zh) * 2013-08-19 2018-09-28 华为技术有限公司 一种图像处理方法及设备
US20150186341A1 (en) * 2013-12-26 2015-07-02 Joao Redol Automated unobtrusive scene sensitive information dynamic insertion into web-page image
CN105829829B (zh) * 2013-12-27 2019-08-23 索尼公司 图像处理装置和图像处理方法
US9386303B2 (en) * 2013-12-31 2016-07-05 Personify, Inc. Transmitting video and sharing content via a network using multiple encoding techniques
US9485433B2 (en) 2013-12-31 2016-11-01 Personify, Inc. Systems and methods for iterative adjustment of video-capture settings based on identified persona
US9414016B2 (en) * 2013-12-31 2016-08-09 Personify, Inc. System and methods for persona identification using combined probability maps
US9589359B2 (en) * 2014-04-24 2017-03-07 Intel Corporation Structured stereo
EP3149909A4 (en) * 2014-05-30 2018-03-07 Placemeter Inc. System and method for activity monitoring using video data
CN105469447A (zh) * 2014-09-11 2016-04-06 富泰华工业（深圳）有限公司 点云边界直角边修补系统及方法
DE102014115292A1 (de) * 2014-10-21 2016-04-21 Connaught Electronics Ltd. Verfahren zum Bereitstellen von Bilddateien von einem Kamerasystem, Kamerasystem und Kraftfahrzeug
US10321100B2 (en) * 2014-12-02 2019-06-11 Ademco Inc. System and method of foreground extraction for digital cameras
US9519061B2 (en) * 2014-12-26 2016-12-13 Here Global B.V. Geometric fingerprinting for localization of a device
JP6642970B2 (ja) * 2015-03-05 2020-02-12 キヤノン株式会社 注目領域検出装置、注目領域検出方法及びプログラム
WO2016152633A1 (ja) * 2015-03-26 2016-09-29 ソニー株式会社 画像処理システムおよび画像処理方法、並びにプログラム
US11334751B2 (en) 2015-04-21 2022-05-17 Placemeter Inc. Systems and methods for processing video data for activity monitoring
US10043078B2 (en) 2015-04-21 2018-08-07 Placemeter LLC Virtual turnstile system and method
US9916668B2 (en) 2015-05-19 2018-03-13 Personify, Inc. Methods and systems for identifying background in video data using geometric primitives
US9563962B2 (en) 2015-05-19 2017-02-07 Personify, Inc. Methods and systems for assigning pixels distance-cost values using a flood fill technique
JP6715864B2 (ja) * 2015-05-21 2020-07-01 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 画像に対する深度マップを決定するための方法及び装置
US10997428B2 (en) 2015-06-01 2021-05-04 Placemeter Inc. Automated detection of building entrances
BR112018000564A2 (pt) * 2015-07-13 2018-09-11 Koninklijke Philips N.V. aparelho, método, e produto de programa de computador
US11864926B2 (en) 2015-08-28 2024-01-09 Foresite Healthcare, Llc Systems and methods for detecting attempted bed exit
US10206630B2 (en) 2015-08-28 2019-02-19 Foresite Healthcare, Llc Systems for automatic assessment of fall risk
US9607397B2 (en) 2015-09-01 2017-03-28 Personify, Inc. Methods and systems for generating a user-hair-color model
CN105827998A (zh) * 2016-04-14 2016-08-03 广州市英途信息技术有限公司 一种抠像系统及抠像方法
JP6754610B2 (ja) * 2016-05-18 2020-09-16 株式会社デンソーアイティーラボラトリ 演算処理装置、演算処理方法、およびプログラム
US10917627B2 (en) * 2016-06-03 2021-02-09 Utku Buyuksahin System and a method for capturing and generating 3D image
US9883155B2 (en) 2016-06-14 2018-01-30 Personify, Inc. Methods and systems for combining foreground video and background video using chromatic matching
EP3474737A4 (en) * 2016-06-28 2019-12-04 Foresite Healthcare, LLC SYSTEMS AND METHODS FOR USE IN FALL DETECTION USING THERMAL DETECTION
CN106296728B (zh) * 2016-07-27 2019-05-14 昆明理工大学 一种基于全卷积网络的非限制场景中运动目标快速分割方法
CN106200249A (zh) * 2016-08-30 2016-12-07 辽宁中蓝电子科技有限公司 结构光和rgb传感器模组整体式集成系统3d相机
US10701244B2 (en) * 2016-09-30 2020-06-30 Microsoft Technology Licensing, Llc Recolorization of infrared image streams
US9881207B1 (en) 2016-10-25 2018-01-30 Personify, Inc. Methods and systems for real-time user extraction using deep learning networks
WO2018129104A1 (en) * 2017-01-03 2018-07-12 Owlii Inc. Processing holographic videos
US10943100B2 (en) 2017-01-19 2021-03-09 Mindmaze Holding Sa Systems, methods, devices and apparatuses for detecting facial expression
JP6814053B2 (ja) * 2017-01-19 2021-01-13 株式会社日立エルジーデータストレージ 物体位置検出装置
CN110892408A (zh) * 2017-02-07 2020-03-17 迈恩德玛泽控股股份有限公司 用于立体视觉和跟踪的系统、方法和装置
US10924670B2 (en) * 2017-04-14 2021-02-16 Yang Liu System and apparatus for co-registration and correlation between multi-modal imagery and method for same
CN107169995B (zh) * 2017-05-05 2020-03-10 武汉理工大学 一种自适应的运动目标视觉检测方法
CN108961316B (zh) * 2017-05-23 2022-05-31 华为技术有限公司 图像处理方法、装置及服务器
US10586383B2 (en) 2017-06-20 2020-03-10 Microsoft Technology Licensing, Llc Three-dimensional object scan using data from infrared sensor
US10560645B2 (en) 2017-09-22 2020-02-11 Feedback, LLC Immersive video environment using near-infrared video compositing
US10270986B2 (en) 2017-09-22 2019-04-23 Feedback, LLC Near-infrared video compositing
US10674096B2 (en) 2017-09-22 2020-06-02 Feedback, LLC Near-infrared video compositing
US10612912B1 (en) 2017-10-31 2020-04-07 Facebook Technologies, Llc Tileable structured light projection system
CN109889799B (zh) * 2017-12-06 2020-08-25 西安交通大学 基于rgbir摄像头的单目结构光深度感知方法及装置
US11004207B2 (en) * 2017-12-06 2021-05-11 Blueprint Reality Inc. Multi-modal data fusion for scene segmentation
US10783668B2 (en) 2017-12-22 2020-09-22 Samsung Electronics Co., Ltd. Handling duplicate points in point cloud compression
CN111727437A (zh) * 2018-01-08 2020-09-29 远见汽车有限公司 提供碰撞前预警的多光谱系统
US11328533B1 (en) 2018-01-09 2022-05-10 Mindmaze Holding Sa System, method and apparatus for detecting facial expression for motion capture
WO2019143688A1 (en) * 2018-01-19 2019-07-25 Pcms Holdings, Inc. Multi-focal planes with varying positions
US10803596B2 (en) * 2018-01-29 2020-10-13 HypeVR Fully automated alpha matting for virtual reality systems
CN108537814B (zh) 2018-03-14 2019-09-03 浙江大学 一种基于ViBe的三维声纳点云图像分割方法
US10521926B1 (en) 2018-03-21 2019-12-31 Facebook Technologies, Llc Tileable non-planar structured light patterns for wide field-of-view depth sensing
CN108648225B (zh) 2018-03-31 2022-08-02 奥比中光科技集团股份有限公司 目标图像获取系统与方法
US11330090B2 (en) 2018-04-10 2022-05-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Bracket, input/output assembly and terminal
CN108564613A (zh) * 2018-04-12 2018-09-21 维沃移动通信有限公司 一种深度数据获取方法及移动终端
WO2019213666A1 (en) * 2018-05-04 2019-11-07 Aquifi, Inc. Systems and methods for three-dimensional data acquisition and processing under timing constraints
DE112019006209T5 (de) * 2018-12-14 2021-09-02 Apple Inc. Maschinenlernunterstützte Bildvorhersage
US10878577B2 (en) * 2018-12-14 2020-12-29 Canon Kabushiki Kaisha Method, system and apparatus for segmenting an image of a scene
JP7211835B2 (ja) * 2019-02-04 2023-01-24 ｉ－ＰＲＯ株式会社 撮像システムおよび同期制御方法
CN109949347B (zh) * 2019-03-15 2021-09-17 百度在线网络技术（北京）有限公司 人体跟踪方法、装置、系统、电子设备和存储介质
WO2020230921A1 (ko) * 2019-05-14 2020-11-19 엘지전자 주식회사 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 방법 및 이를 적용한 식별장치와 로봇
JP2020204856A (ja) * 2019-06-17 2020-12-24 株式会社バンダイナムコアミューズメント 画像生成システム及びプログラム
EP4036860A1 (en) * 2019-09-27 2022-08-03 Sigma.Ai Sl Method for the unsupervised measurement of the dimensions of an object using a view obtained with a single camera
US11076111B1 (en) * 2019-11-13 2021-07-27 Twitch Interactive, Inc. Smart color-based background replacement
WO2021119427A1 (en) * 2019-12-13 2021-06-17 Sony Group Corporation Multi-spectral volumetric capture
US20210366096A1 (en) * 2020-05-22 2021-11-25 Robert Bosch Gmbh Hazard detection ensemble architecture system and method
JP7460282B2 (ja) 2020-07-02 2024-04-02 アルプスアルパイン株式会社 障害物検出装置、障害物検出方法および障害物検出プログラム
US11763570B2 (en) * 2020-07-02 2023-09-19 Alps Alpine Co., Ltd. Obstacle detection device, obstacle detection method, and storage medium storing obstacle detection program
JP2022085643A (ja) * 2020-11-27 2022-06-08 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US11574484B1 (en) * 2021-01-13 2023-02-07 Ambarella International Lp High resolution infrared image generation using image data from an RGB-IR sensor and visible light interpolation
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) * 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities
CN113066115B (zh) * 2021-04-28 2022-03-25 北京的卢深视科技有限公司 深度预测网络训练方法、装置、服务器和可读存储介质
CN113470049B (zh) * 2021-07-06 2022-05-20 吉林省田车科技有限公司 一种基于结构化彩色点云分割的完整目标提取方法
KR102516008B1 (ko) 2022-09-21 2023-03-30 (주)이노시뮬레이션 포인트 클라우드 데이터를 이용한 복셀 다운 샘플링 방법 및 이를 실행하는 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009199284A (ja) * 2008-02-21 2009-09-03 Univ Of Tokyo 道路地物認識方法
JP2010287156A (ja) * 2009-06-15 2010-12-24 Mitsubishi Electric Corp モデル生成装置、モデル生成方法、モデル生成プログラム、点群画像生成方法および点群画像生成プログラム

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5812787A (en) 1995-06-30 1998-09-22 Intel Corporation Video coding scheme with foreground/background separation
US20030063185A1 (en) * 2001-09-28 2003-04-03 Bell Cynthia S. Three-dimensional imaging with complementary color filter arrays
US7227893B1 (en) * 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
US20040169873A1 (en) * 2003-02-28 2004-09-02 Xerox Corporation Automatic determination of custom parameters based on scanned image data
GB0308943D0 (en) 2003-04-17 2003-05-28 Univ Dundee A system for determining the body pose of a person from images
US7606417B2 (en) 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
US8330831B2 (en) 2003-08-05 2012-12-11 DigitalOptics Corporation Europe Limited Method of gathering visual meta data using a reference image
GB0326374D0 (en) * 2003-11-12 2003-12-17 British Telecomm Object detection in images
US7602942B2 (en) * 2004-11-12 2009-10-13 Honeywell International Inc. Infrared and visible fusion face recognition system
US7657126B2 (en) 2005-05-09 2010-02-02 Like.Com System and method for search portions of objects in images and features thereof
US7676081B2 (en) * 2005-06-17 2010-03-09 Microsoft Corporation Image segmentation of foreground from background layers
US7756325B2 (en) * 2005-06-20 2010-07-13 University Of Basel Estimating 3D shape and texture of a 3D object based on a 2D image of the 3D object
US7680314B2 (en) * 2005-10-17 2010-03-16 Siemens Medical Solutions Usa, Inc. Devices, systems, and methods for improving image consistency
US8848053B2 (en) * 2006-03-28 2014-09-30 Objectvideo, Inc. Automatic extraction of secondary video streams
US7885463B2 (en) * 2006-03-30 2011-02-08 Microsoft Corp. Image segmentation using spatial-color Gaussian mixture models
EP1862969A1 (en) * 2006-06-02 2007-12-05 Eidgenössische Technische Hochschule Zürich Method and system for generating a representation of a dynamically changing 3D scene
KR100829581B1 (ko) 2006-11-28 2008-05-14 삼성전자주식회사 영상 처리 방법, 기록매체 및 장치
US20080181507A1 (en) * 2007-01-29 2008-07-31 Intellivision Technologies Corp. Image manipulation for videos and still images
US8249349B2 (en) 2008-11-25 2012-08-21 Microsoft Corporation Labeling image elements
WO2010104490A1 (en) 2009-03-12 2010-09-16 Hewlett-Packard Development Company, L.P. Depth-sensing camera system
RU2421933C2 (ru) * 2009-03-24 2011-06-20 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Система и способ формирования и воспроизведения трехмерного видеоизображения
US20100293179A1 (en) * 2009-05-14 2010-11-18 Microsoft Corporation Identifying synonyms of entities using web search
US8537200B2 (en) 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data
US8355565B1 (en) 2009-10-29 2013-01-15 Hewlett-Packard Development Company, L.P. Producing high quality depth maps
RU2426172C1 (ru) * 2010-01-21 2011-08-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US8520027B2 (en) * 2010-05-14 2013-08-27 Intuitive Surgical Operations, Inc. Method and system of see-through console overlay
US9858475B2 (en) * 2010-05-14 2018-01-02 Intuitive Surgical Operations, Inc. Method and system of hand segmentation and overlay using depth data
US8625897B2 (en) 2010-05-28 2014-01-07 Microsoft Corporation Foreground and background image segmentation
US9008457B2 (en) * 2010-05-31 2015-04-14 Pesonify, Inc. Systems and methods for illumination correction of an image
CN101882314B (zh) * 2010-07-20 2012-06-20 上海交通大学 基于超完备稀疏表示的红外小目标检测方法
US8649592B2 (en) * 2010-08-30 2014-02-11 University Of Illinois At Urbana-Champaign System for background subtraction with 3D camera
ES2395102B1 (es) 2010-10-01 2013-10-18 Telefónica, S.A. Metodo y sistema para segmentacion de primer plano de imagenes en tiempo real
US9247238B2 (en) 2011-01-31 2016-01-26 Microsoft Technology Licensing, Llc Reducing interference between multiple infra-red depth cameras
GB2490872B (en) 2011-05-09 2015-07-29 Toshiba Res Europ Ltd Methods and systems for capturing 3d surface geometry
US8823745B2 (en) * 2011-06-02 2014-09-02 Yoostar Entertainment Group, Inc. Image processing based on depth information and color data of a scene
US8824797B2 (en) * 2011-10-03 2014-09-02 Xerox Corporation Graph-based segmentation integrating visible and NIR information
US20130095920A1 (en) 2011-10-13 2013-04-18 Microsoft Corporation Generating free viewpoint video using stereo imaging
US9098908B2 (en) 2011-10-21 2015-08-04 Microsoft Technology Licensing, Llc Generating a depth map
US9117281B2 (en) * 2011-11-02 2015-08-25 Microsoft Corporation Surface segmentation from RGB and depth images
US20130177296A1 (en) 2011-11-15 2013-07-11 Kevin A. Geisner Generating metadata for user experiences
US9171393B2 (en) 2011-12-07 2015-10-27 Microsoft Technology Licensing, Llc Three-dimensional texture reprojection
US9043186B2 (en) 2011-12-08 2015-05-26 Microsoft Technology Licensing, Llc Surface normal computation on noisy sample of points
US8971612B2 (en) 2011-12-15 2015-03-03 Microsoft Corporation Learning image processing tasks from scene reconstructions
US9846960B2 (en) 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
US20130321564A1 (en) 2012-05-31 2013-12-05 Microsoft Corporation Perspective-correct communication window with motion parallax
CN102799856A (zh) * 2012-06-15 2012-11-28 天津大学 基于双通道红外信息融合的人体动作识别方法
CN102750533A (zh) * 2012-07-05 2012-10-24 重庆大学 基于形态成份稀疏表示的红外小弱目标检测方法
US8831285B2 (en) * 2012-07-26 2014-09-09 Hewlett-Packard Development Company, L.P. Detecting objects with a depth sensor
CN103279987B (zh) 2013-06-18 2016-05-18 厦门理工学院 基于Kinect的物体快速三维建模方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009199284A (ja) * 2008-02-21 2009-09-03 Univ Of Tokyo 道路地物認識方法
JP2010287156A (ja) * 2009-06-15 2010-12-24 Mitsubishi Electric Corp モデル生成装置、モデル生成方法、モデル生成プログラム、点群画像生成方法および点群画像生成プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220099580A (ko) * 2016-02-18 2022-07-13 애플 인크. 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
US11693242B2 (en) 2016-02-18 2023-07-04 Apple Inc. Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking

Also Published As

Publication number Publication date
WO2014172226A1 (en) 2014-10-23
AU2014254218B2 (en) 2017-05-25
MX2015014570A (es) 2016-06-29
MX352449B (es) 2017-11-24
CN105706143B (zh) 2019-02-22
US20140307056A1 (en) 2014-10-16
EP2987139A1 (en) 2016-02-24
US20190379873A1 (en) 2019-12-12
CN105706143A (zh) 2016-06-22
AU2014254218A8 (en) 2016-01-14
JP6562900B2 (ja) 2019-08-21
BR112015025974B1 (pt) 2022-01-25
US11546567B2 (en) 2023-01-03
AU2014254218A1 (en) 2015-10-29
US9191643B2 (en) 2015-11-17
BR112015025974A2 (pt) 2017-07-25
US20140307952A1 (en) 2014-10-16
JP2016522923A (ja) 2016-08-04
KR102171231B1 (ko) 2020-10-28
CA2908689C (en) 2021-08-24
RU2015143935A (ru) 2017-04-19
CN105229697B (zh) 2019-01-22
BR112015025974A8 (pt) 2020-01-14
WO2014172230A1 (en) 2014-10-23
RU2660596C2 (ru) 2018-07-06
CA2908689A1 (en) 2014-10-23
EP2987140A1 (en) 2016-02-24
EP2987140B1 (en) 2018-12-05
CN105229697A (zh) 2016-01-06

Similar Documents

Publication Publication Date Title
KR102171231B1 (ko) 적외선과 컬러 컴포넌트 데이터 포인트 클라우드들의 믹싱
US9817159B2 (en) Structured light pattern generation
US10902674B2 (en) Creating a geometric mesh from depth data using an index indentifying unique vectors
WO2015028040A1 (en) Image processing apparatus, system, method and computer program product for 3d reconstruction
CN113947630A (zh) 一种物体的体积估算方法、装置及存储介质
US20150145861A1 (en) Method and arrangement for model generation
US11893744B2 (en) Methods and apparatus for extracting profiles from three-dimensional images
TW201816725A (zh) 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法
KR20230013099A (ko) 실시간 깊이 맵을 사용한 지오메트리 인식 증강 현실 효과
US11763462B2 (en) Mesh hole area detection
WO2022193080A1 (zh) 点云处理方法、装置及计算机可读存储介质
US20180308362A1 (en) Differential detection device and differential detection method
CN117274490A (zh) 网格模型的构建方法和构建装置

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant