KR20170104506A - 패턴화 광을 사용하는 깊이 맵핑을 제공하기 위한 방법 및 시스템 - Google Patents

패턴화 광을 사용하는 깊이 맵핑을 제공하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20170104506A
KR20170104506A KR1020177021149A KR20177021149A KR20170104506A KR 20170104506 A KR20170104506 A KR 20170104506A KR 1020177021149 A KR1020177021149 A KR 1020177021149A KR 20177021149 A KR20177021149 A KR 20177021149A KR 20170104506 A KR20170104506 A KR 20170104506A
Authority
KR
South Korea
Prior art keywords
edge
depth map
stripe
present
axis
Prior art date
Application number
KR1020177021149A
Other languages
English (en)
Inventor
니브 칸토
나다브 그로싱거
니타이 로마노
Original Assignee
페이스북, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 페이스북, 인크. filed Critical 페이스북, 인크.
Publication of KR20170104506A publication Critical patent/KR20170104506A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G06K9/00201—
    • G06K9/00375—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

패턴화 광 분석에 있어서 에지 데이터를 추정하기 위한 방법 및 시스템이 본 명세서에 제공된다. 방법은: 스트라이프를 포함하는 패턴의 구조화 광 분석에 기반하여 생성되는 물체의 원래의 깊이 맵을 획득하는 단계; 물체의 에지가 주어질 때 z-축 값이 부정확한 원래의 깊이 맵의 부분들을 결정하는 단계; 깊이 맵의 이웃하는 부분들에 기반하여, 결정된 부분과 연관되는 물체의 기하학적 특징을 감지하는 단계; 및 물체의 감지된 기하학적 특징에 기반하여 물체의 에지를 따라 누락된 z-축 데이터를 추정하는 단계를 포함할 수 있다.

Description

패턴화 광을 사용하는 깊이 맵핑을 제공하기 위한 방법 및 시스템
본 발명은 일반적으로 구조화 광에 관한 것이고, 더욱 특히 구조화 광 프로젝션을 통해 달성되는 깊이 맵 데이터의 향상에 관한 것이다.
본 발명의 배경이 제시되기에 앞서, 이하에서 사용될 특정 용어의 정의를 규정하는 것이 도움이 될 것이다.
본 명세서에 사용되는 용어 '구조화 광(structured light)'은 알려진 패턴의 픽셀을 장면에 프로젝션하는 프로세스로 정의된다. 표면에 가해질 때 이들이 변형되는 방식은 시각 시스템이 장면 내 물체들의 깊이 및 표면 정보를 계산하도록 허용한다. 비가시적 구조화 광은 프로젝션된 패턴이 혼동되는 다른 컴퓨터 시각 작업을 간섭하지 않고 구조화 광을 사용한다.
본 명세서에 사용되는 용어 '깊이 맵(depth map)'은 시점으로부터 장면의 물체의 표면의 거리에 관한 정보를 포함하는 이미지로 정의된다. 깊이 맵은 z-축 데이터를 갖는 모든 도트를 연결하는 메시(mesh) 형태일 수 있다.
본 명세서에 사용되는 용어 "이미지 세그먼트화(segmentation)' 또는 '세그먼트화'는 디지털 이미지를 다수의 세그먼트(픽셀들의 세트)로 분할하는 프로세스로 정의된다. 세그먼트화의 목적은 이미지의 표현을 분석하기에 더 의미 있고 쉽도록 단순화 및/또는 변경하는 것이다. 이미지 세그먼트화는 전형적으로 '에지'라고도 또한, 불리는 이미지에 있는 물체 및 경계(선, 커브 등)등을 찾기 위해 사용된다.　
구조화 광 분석을 통해 물체의 깊이 맵을 생성하는데 있어서의 문제점 중 하나는, 물체의 세그먼트화 프로세스와 연계하여 결정되는, 물체의 에지를 따르는 완전한 Z-축 데이터를 도출해내는 것이다. 스트라이프나 선 패턴에 기반하는 구조화 광 분석에 있어서, 이러한 문제는 스트라이프들 사이의 갭으로 인해 심화되고, 특히 일부 이러한 갭과 정렬되는 물체 에지의 경우 그러하다.
본 발명의 일부 실시예에 따르면, 구조화 광 분석을 통해 도출되는 깊이 맵의 에지를 따르는 누락된 z-축 데이터를 추정하는 방법이 본 명세서에 제공된다. 방법은, 누락된 z-축 데이터를 추정하기 위해, 물체 및 하위 물체의 기하학적 특징과 연관된 데이터를 사용하는 것에 기반한다. 예컨대, 물체가 손(물체)이며, 누락된 데이터가 손끝의 에지를 따르는 점들의 z-축 데이터인 경우, 손가락(하위 물체)이 원통형 특성인 사실이 유익할 수 있다. 일부 실시예로, 일단 기하학적 특징이 이와 같이 인식되면, 해당 템플릿이 누락된 z-축 데이터를 재구성하는데 사용된다.　
일부 실시예로, 깊이 맵은 원래의 패턴화 광에 기반하여 획득되고 세그먼트화된다(정확한 순서는 중요하지 않다). 보통 2D 이미지와 패턴화 광의 강도의 감소에 기반하여 물체의 에지가 일단 감지되면, 에지 근처의 깊이 맵의 부분의 분석이 수행된다. 이러한 분석은 에지의 인근에 해당하는 물체의 부분의 기하학적 특징을 결정하는 결과를 발생시킨다. 결정된 기하학적 특징은, 에지를 따라 위치하는 원하는 지점들의 z-축 값들을 추정하기 위해 이웃하는 지점들의 기존 z-축 값들을 수용하는 커브 피팅 함수(curve fitting function)에 대해 제약을 가하는 다수의 기결정된 템플릿 중 하나로 맵핑된다.
일부 실시예로, 에지를 따른 추가적인 z-축 값들이 깊이 맵의 메시를 보완하는데 사용된다.
이들, 본 발명의 실시예의 추가적 및/또는 다른 측면 및/또는 이점은 다음의 상세한 설명에 기재되어 있고; 상세한 설명으로부터 추론가능하고; 및/또는 본 발명의 실시예의 실시에 의해 학습가능하다.
본 발명의 내용 중에 포함되어 있다.
본 발명의 실시예의 보다 나은 이해를 위해 및 어떻게 수행되어 효과를 내는지 보이기 위하여, 참조가 예시의 방식으로 유사한 숫자가 대응하는 요소 또는 섹션에 지정되는 첨부되는 도면에 설명된다.
첨부되는 도면에서:
도 1은 본 발명의 실시예에 따른 수평 스트라이프 광 패턴에 의해 조명되는 물체를 도시하는 도면이다.
도 2는 본 발명의 실시예에 따른 몇몇 양태를 도시하는 메시 다이어그램이다.
도 3은 본 발명의 일부 실시예에 따른 양태를 도시하는 단면도이다.
도 4는 본 발명의 일부 실시예에 따른 시스템을 도시하는 블록도이다.
도 5는 본 발명의 일부 실시예에 따른 양태를 도시하는 단면도이다.
도 6은 본 발명의 실시예에 따른 시스템의 몇몇 양태를 도시하는 블록도이다.
도 7은 본 발명의 실시예에 따른 양태를 도시하는 메시 다이어그램이다.
도 8은 본 발명의 실시예에 따른 양태를 도시하는 그래프 다이어그램이다.
도 9는 본 발명의 실시예에 따른 다른 양태를 도시하는 그래프 다이어그램이다.
도 10은 본 발명의 실시예에 따른 비-제한적 예시적인 방법의 단계들을 도시하는 높은 수준의 흐름도이다.
도 11a 내지 11c는 본 발명의 실시예에 따른 양태를 도시하는 예시적인 컬러 깊이 맵이다.
이제 도면을 상세히 구체적으로 참조하면, 도시된 세부 사항은 단지 예일 뿐이고 본 기술의 바람직한 실시예에 대한 예시적인 논의만을 목적으로 함이 강조되고, 본 기술의 이론과 개념적인 측면의 가장 유용하고 이해 가능한 설명일 것으로 생각되는 것을 제공하기 위해 제시된다. 이에 관해, 본 기술의 구조적 세부사항을 더 자세히 보이려는 시도는 본 기술의 기본적 이해를 위하여 필요하지 않고, 도면과 함께 기재된 설명은 본 발명의 여러 형태가 어떻게 실제로 구현될 수 있는지 당업자에게 명백하다.
본 기술의 적어도 하나의 실시예를 상세히 설명하기 전에, 본 발명은 본 출원의 다음 설명 또는 도면에 도시된 구성요소의 구조 및 배열의 세부사항으로 제한되지 않음이 이해될 것이다. 본 기술은 다른 실시예에 적용가능하거나 다양한 방법으로 실시 또는 수행될 수 있다. 또한, 본 명세서에 사용된 어구 또는 용어는 설명을 위한 것이며 제한으로 간주되어서는 안된다.
도 1은 본 발명의 실시예에 따른 수평 스트라이프 (또는 선) 광 패턴에 의해 조명되는 물체를 도시하는 도면이다. 손(10)은 깊이 맵을 생성하기 위해 반사가 측정되고 분석되는 스트라이프(가령, 11, 12, 13 및 14)로 덮여진다. 보여지는 바와 같이, 스트라이프 간의 갭으로 인해, 손가락 끝(가령, 15 및 16)의 일부가, 적어도 손가락 끝의 에지 근처의 어느 곳에서도 광 패턴에 의해 덮여지지 않는다.
예시적인 실시예에 따르면, 센서(여기서 미도시)는 특정 Y-축 거리에, 예컨대, 손과 배경(가령, 손이 얹혀있는 테이블의 표면, 벽 등) 상에 스트라이프 패턴을 프로젝션하는 송신기 근처에 배치될 수 있다. 센서의 위치는, 카메라, 광 프로젝터 및 사용자의 손과 배경으로부터 반사된 광 사이의 삼각측량(triangulation) 효과를 생성하도록 선택된다.
삼각측량 효과는 광 패턴으로 프로젝션된 물체로부터 상당한 깊이의 편이가 있는, 스트라이프를 따르는 지점들에서 패턴의 불연속성을 발생시킨다. 불연속성은 스트라이프을 2개 이상의 스트라이프 세그먼트, 가령 손 위에 배치되는 세그먼트, 손의 좌측에 배치되는 세그먼트 및 손의 우측에 배치되는 세그먼트로 세그먼트화(즉, 분할)한다.
이러한 깊이 편이가 생성된 스트라이프 세그먼트는 카메라와 사용자의 신체 사이에 배치된 사용자의 손의 손바닥이나 손가락의 윤곽에 위치할 수 있다. 즉, 사용자의 손가락이나 손바닥은 스트라이프을 2개 이상의 스트라이프 세그먼트로 세그먼트화한다. 이러한 스트라이프 세그먼트가 일단 감지되면, 스트라이프 세그먼트의 단부까지 스트라이프 세그먼트를 따라가기가 용이하다.
따라서, 장치는 스트라이프 세그먼트의 클러스터를 생성하기 위해 2차원 비디오 데이터를 분석할 수 있다. 예컨대, 장치는 손의 손가락에 의한 스트라이프의 세그먼트화에 의해 생성된 하나 이상의 스트라이프 세그먼트의 클러스터, 가령 손의 가운데 손가락으로부터 반사된 4개의 세그먼트의 클러스터를 광 패턴에서 식별할 수 있다. 결국, 장치는 손가락에 의한 스트라이프의 세그먼트화에 의해 생성된 스트라이프 세그먼트의 클러스터를 추적하거나 클러스터의 세그먼트 중 적어도 하나를 추적함으로써 손가락의 움직임을 추적한다.
손가락에 의한 스트라이프의 세그먼트화(즉, 분할)에 의해 생성된 스트라이프 세그먼트의 클러스터는 X 축에서 오버랩을 갖는 스트라이프 세그먼트를 포함한다. 선택적으로, 클러스터의 스트라이프 세그먼트는 또한, (손가락 두께로부터 도출된) 유사한 길이 또는 Y-축 좌표에서의 상대적 인접성을 가진다.
X-축 상에서, 세그먼트는 직선으로 배치된 손가락에 대한 전체 오버랩, 또는 X-Y 평면에서 대각선으로 배치된 손가락에 대한 부분 오버랩을 가질 수 있다. 선택적으로, 장치는 가령 추적된 클러스터에서 세그먼트의 개수의 변화를 감지함으로써 손가락의 깊이 움직임을 더 식별한다. 예컨대, 사용자가 사용자의 가운데 손가락을 늘리면, 손가락과 광 프로젝터 및 카메라(X-Y 평면) 사이의 각도가 변한다. 결과적으로, 클러스터의 세그먼트의 개수는 4에서 3으로 감소된다.
선택적으로, 장치는 손의 손바닥에 의한 스트라이프의 세그먼트화에 의해 생성된 하나 이상의 스트라이프 세그먼트의 하나 이상의 클러스터를 광 패턴에서 더 식별한다.
손바닥에 의한 스트라이프의 세그먼트화에 의해 생성된 스트라이프 세그먼트의 클러스터는 X-축에서 사용자 손의 손가락 스트라이프 세그먼트 클러스터와 오버랩되는 상부 스트라이프 세그먼트를 포함한다. 상부 스트라이프 세그먼트는 X-축에서 4개의 손가락 클러스터와 오버랩하지만, 4개의 손가락 클러스터의 하부 세그먼트의 최소 및 최대 X 값을 초과하지 않는다.
손바닥에 의한 스트라이프의 세그먼트화에 의해 생성된 스트라이프 세그먼트의 클러스터는 세그먼트의 바로 아래에 스트라이프 세그먼트와 상당히 오버랩되는 몇몇 스트라이프 세그먼트를 더 포함한다. 손바닥에 의한 스트라이프의 세그먼트화에 의해 생성된 스트라이프 세그먼트의 클러스터는 사용자의 엄지손가락의 스트라이프 세그먼트 클러스터의 베이스까지 연장되는 더 긴 스트라이프 세그먼트를 더 포함한다. 손가락 및 손바닥 클러스터의 배향은 특정한 손의 위치 및 회전에 따라 상이할 수 있음이 이해된다.
도 2는 도 1에 도시된 손의 구조화 광 분석에 의해 도출되는 메시(20)의 형태인 깊이 맵을 도시한다. 보여지는 것처럼, 일부 손가락, 가령 엄지와 중지의 손가락 끝의 에지 근처에서의 광 패턴의 부족으로 인해, z-축 데이터는 이러한 부분들에서 부정확하거나 불완전하다. 따라서, 부정확한 z-축 데이터를 갖는 도트에 의해 생성된 메시는 물체의 해당 부분을 잘 표현하지 않을 것이다. 예컨대, 확대된 인셋(21)에 도시된 하나의 바람직하지 않은 효과는 물체의 에지에 관해 부족한 데이터에 의해 발생되는 원뿔과 유사한 손가락 끝이다. 확대된 인셋(22)에 도시된 다른 바람직하지 않은 효과는 손가락 끝 에지 근처의 누락된 z-축 데이터에 의해 발생되는 '컷-아웃(cut-out)' 손가락 끝이다. 확대된 인셋(23)에 도시된 또 다른 바람직하지 않은 효과는 부정확한 z-축 데이터가 도출되고 메시가 거기에 기반하는 경우의 변형된 손가락 끝(이는 보통 엄지 손가락에서 발생됨)이다.
도 3은 도 2에 도시되고 구체적으로는, 섹션 A-A'를 따르는 메시의 중지를 따르는 깊이 데이터의 단면을 도시한다. 도시된 바와 같이, 깊이 데이터(30)는 광 패턴으로 덮여진 부분에 대해 도출된다. 하지만, A'으로 향해 지점(33)을 넘어서서는 그 주변에 광 패턴이 없기 때문에 데이터가 직접 도출될 수 없다. 범위(36)는 에지 지점(35A-35C)의 z값이 연관될 수 있는 자유도(degree of freedom)를 도시한다. 몇몇 예시들은 각각 연관된 각각의 추정된 메시(37A-37D)를 갖는 35A-35C이며, 일부는 명확히 부정확하다.
도 4는 본 발명에 따른 패턴이 수직 스트라이프인 경우에 구조화 광 분석으로부터 도출될 수 있는 깊이를 도시하는 도면이다. 여기서, 다른 바람직하지 않은 효과가 도시된다. 손은 여기에서 패턴화 광으로서 역할을 하는 수직 선들에 의해 덮여진다. 이웃하는 선들, 가령 선들(41A, 41B) 및 다른 선들이 해당 이웃하는 손가락의 경계와 정렬되지 않은 사실로 인해, 데이터의 깊이 분석은 42A에 도시되는 것과 같은 적어도 그것의 부분에서 손가락 사이의 갭을 무시할 수 있고, 손가락 사이의 에지는 실수로 인해 서로 연결되어서 '오리(duck)' 모양의 손을 형성할 수 있다. 손가락 사이의 과도한 피부(42A, 42B, 42C)로 보일 수 있는 이러한 바람직하지 않은 효과는, 모든 3개의 손가락들이, 실제 손가락 선(50A)이 실제로는 분리되는, 동일한 z-축 값을 갖는 공통의 평면을 갖는 것으로 단면(50)에서 도시되는 경우에 도 5의 B에서 B'의 단면에 도시된다.
도 6은 본 발명의 실시예에 따른 시스템의 몇몇 양태를 도시하는 블록도이다. 시스템(600)은 예컨대, 선 패턴을 갖는 물체(10)를 조명하도록 구성되는 패턴 조명기(620)를 포함할 수 있다. 캡처 장치(630)는, 깊이 맵을 생성하도록 컴퓨터 프로세서(610)에 의해 분석되는 반사를 수신하도록 구성된다.
생성된 깊이 맵은 그것의 오프-패턴(off-pattern) 에지 및 다른 오프-패턴 부분들의 일부를 따라 부정확하거나 불완전한 z-축 데이터를 나타낼 수 있다. 이를 해결하기 위해, 컴퓨터 프로세서(210)는 z-축 값이 물체의 에지에 대한 근접도로 인해 누락되거나 부정확한 깊이 맵 부분들을 결정하도록 구성된다. 컴퓨터 프로세서는 이후 깊이 맵의 누락되거나 부정확한 z-데이터를 갖는 지점들을 가지는 부분들에 인접한 메시의 부분들인 이웃하는 부분들에 기반하여, 결정된 깊이 맵 부분들과 연관되는 물체의 기하학적 특징을 감지하도록 진행된다. 이러한 기하학적 특징은 물체의 표면의 구조와 관련된다.
일부 실시예로, 컴퓨터 프로세서(610)는 감지된 기하학적 특징에 기반하여 템플릿 함수(640)를 선택하도록 구성되고, 해당 깊이 맵 부분들의 국부적인 기하학적 특징에 기반하여 선택된 템플릿에 대해 제약을 적용한다. 이는 기하학적 특징의 타입(예컨대, 손가락의 원통형 모양)에 기반하고, 유효한 z-축 데이터를 갖는 깊이 맵의 부분들로부터 로컬로 도출되는 구체적인 데이터에 또한, 기반하여 조정되는 피팅(fitting) 함수를 산출한다.
도 7은 본 발명의 실시예에 따른 양태를 도시하는 메시 다이어그램(700)이다. 벡터 v(x, y)를 따라 이동하면서, 에지 지점들(730-735)은, 벡터 v(x, y)를 따르는 진행의 함수로서 오프-패턴 물체 부분으로부터 반사되는 광의 강도를 도시하는 도 8에 도시되는 것과 같은 기-정의된 임계치보다 아래로 감소되는 광의 강도로서 감지될 수 있다.
일단 프로세서(610)가 x-y 평면 에지들(730-735)을 감지하면, 컴퓨터 프로세서는 이후 감지된 에지 및 해당 제약을 갖는 선택된 템플릿에 기반하는 커브 피팅 함수를 적용한다. 이것은 도 9에서, 지점들(724-727)이 깊이 맵으로부터 취해지고 지점들(730-729)의 값이 기존 데이터 및 커브 피팅 함수에 기반하여 추론되는 그래프 상에 도시된다.
마지막으로, 모든 z-축 데이터가 에지 지점들(731-735)에 대해 추정된 후, 깊이 맵은 에지의 도출된 z-축 데이터에 기반하여 완료될 수 있다.
도 10은 본 발명의 실시예에 따른 비-제한적 예시적인 방법(1000)의 단계들을 도시하는 흐름도이다. 방법(1000)은: 예컨대, 스트라이프를 포함하는 패턴(다른 패턴이 또한, 사용될 수 있음)의 구조화 광 분석에 기반하여 생성된 물체의 깊이 맵을 획득하는 단계(1010); 물체의 에지가 주어질 때 z-축 값이 부정확하거나 불완전한 깊이 맵의 부분들을 결정하는 단계(1020); 깊이 맵의 선들의 에지에 기반하여, 결정된 부분과 연관되는 물체의 기하학적 특징을 감지하는 단계(1030); 감지된 기하학적 특징에 기반하여 템플릿 함수를 선택하는 단계(1040); 해당 부분의 국부적인 기하학적 특징에 기반하여 선택된 템플릿에 제약을 적용하는 단계(1050); 물체의 오프-패턴 영역으로부터 반사되는 강도에 기반하여 해당 부분의 x-y 평면 에지 지점들을 감지하는 단계(1060); 에지 지점들에 대한 x-축 값을 생성하기 위해 감지된 에지 지점들 및 그것의 해당 제약을 갖는 선택된 템플릿에 기반하여 커브 피팅을 수행하는 단계(1070); 에지 지점들과 원래의 깊이 맵 사이의 추가 지점들의 z-축 값을 추정하기 위해 부분의 지점들을 추론함으로써 에지 지점 z-축 값을 피팅된 커브에 적용하는 단계(1080); 및 에지 및 원래의 깊이 맵 사이의 추가 지점들 및 에지 지점들의 도출된 z-축 값에 기반하여, 원래의 깊이 맵을 완료하는 단계(1090)를 포함할 수 있다.
도 11a 내지 11c는 본 발명의 실시예에 따른 양태를 도시하는 예시적인 컬러 깊이 맵이다. 가령 컷-오프된 손가락이나 불명확하게 된 엄지 손가락과 같이 위에서 논의된 바람직하지 않은 효과의 일부가 여기에서 도시된다.
상기 설명에서, 실시예는 본 발명의 예시 또는 구현이다. 다양한 형태의 "일실시예", "실시예" 또는 "일부 실시예"는 반드시 모두 동일한 실시예를 지칭하는 것이 아니다.
본 발명의 다양한 특징이 단일 실시예의 문맥에서 서술될 수 있지만, 특징은 별개로 또는 임의의 적절한 조합에서 제공될 수 있다. 반대로, 본 명세서에서 본 발명이 명확성을 위해 별개의 실시예의 문맥에서 서술될 수 있지만, 본 발명은 단일 실시예에서도 구현될 수 있다.
명세서에서 "일부 실시예", "한 실시예", "일실시예" 또는 "다른 실시예"의 지칭은 실시예와 관련하여 서술된 특정한 특징, 구조 또는 특성이 적어도 일부의 실시예에 포함되는 것이나, 반드시 본 발명의 모든 실시예에 포함되는 것은 아니라는 것을 의미하는 것이다.
본 명세서에서 사용된 어구 및 용어는 제한으로 해석되지 않고 설명의 목적만을 위한 것이라는 것이 이해될 것이다.
본 발명의 개시의 원리 및 사용은 첨부된 설명, 도면 및 예시를 참조하여 더 잘 이해될 수 있다.
본 명세서의 세부 사항은 본 발명의 응용을 제한으로 해석되지 않는다는 것이 이해될 것이다.
나아가, 본 발명은 다양한 방식으로 수행 또는 실시될 수 있고 본 발명은 상기 설명에서 서술된 것과 다른 실시예로 구현될 수 있음이 이해될 것이다.
용어 "포함하는(including)", "포함(comprising)", "이루어진" 및 그 문법적 변형은 하나 이상의 구성요소, 특징, 단계 또는 정수나 그 그룹의 추가를 못하게 하지 않으며 용어들은 구성요소, 특징, 단계 또는 정수를 명시하는 것으로 해석되는 것이 이해될 것이다.
명세서 또는 청구범위가 "추가적" 요소를 지칭한다면, 하나 이상의 추가적 요소가 있음을 배제하지 않는다.
청구항 또는 명세서가 "한" 또는 "하나의" 요소를 지칭할 때, 이런 지칭은 그 요소가 오직 하나만 있는 것으로 해석되지 않음이 이해될 것이다.
명세서가 구성요소, 특징, 구조 또는 특성이 포함"되도 좋거나(may)", 포함"될지도 모르거나(might)", 포함"될 수 있거나(can)", 포함"되는 것이 가능(could)"하다고 언급한다면, 특정 구성요소, 특징, 구조 또는 특성이 포함될 것이 요구되는 것이 아님이 이해될 것이다.
적용 가능하다면, 상태 천이도, 흐름도 또는 양자 모두 실시예를 설명하기 위해 사용될 수 있지만, 본 발명은 이들 도면 또는 대응하는 설명에 제한되지 않는다. 예를 들어, 흐름은 각 도시된 상자 또는 상태를 통해, 또는 도시되고 설명된 정확히 동일한 순서로 이동하지 않아도 된다.
본 발명의 방법은 선택된 단계나 작업을 수동, 자동 또는 그 조합으로 수행 또는 완료함으로써 구현될 수 있다.
청구범위 및 명세서에 제시된 설명, 예시, 방법 및 소재는 제한이 아니고 단지 예시적인 것으로 해석되어야 한다.
본 명세서에서 사용된 기술적 및 과학적 용어의 의미는 다르게 정의되지 않으면, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되어야 한다.
본 발명은 본 명세서에 서술된 것과 동등하거나 유사한 방법 및 물질로 시험 또는 실시에서 구현될 수 있다.
본 발명이 제한된 수의 실시예에 관하여 설명되었지만, 이들은 본 발명의 범위의 제한이 아닌, 바람직한 실시예의 일부의 예시로 해석되어야 한다. 다른 가능한 변형, 수정 및 응용 또한 본 발명의 범위에 속한다. 따라서, 본 발명의 범위는 지금까지 설명된 내용에 의해 제한되지 않고, 첨부된 청구범위 및 그 법적 균등물에 의해 제한되어야 한다.

Claims (6)

  1. 스트라이프를 포함하는 패턴의 구조화 광 분석에 기반하여 생성되는 물체의 깊이 맵을 획득하는 단계;
    물체의 에지가 주어질 때 z-축 값이 부정확하거나 불완전한 깊이 맵의 부분을 결정하는 단계;
    깊이 맵의 에지에 기반하여, 결정된 부분과 연관된 물체의 기하학적 특징을 감지하는 단계; 및
    물체의 감지된 기하학적 특징에 기반하여, 물체의 에지를 따라 z-축 데이터를 추정하는 단계를 포함하는 방법.
  2. 제 1 항에 있어서,
    감지된 기하학적 특징에 기반하여 템플릿 함수를 선택하는 단계; 및
    해당 깊이 맵 부분의 국부적인 기하학적 특징에 기반하여 선택된 템플릿에 제약을 적용하는 단계를 더 포함하는 방법.
  3. 제 2 항에 있어서,
    오프-패턴(off-pattern) 영역으로부터 반사된 강도에 기반하여 해당 부분의 x-y 평면 에지를 감지하는 단계를 더 포함하는 방법.
  4. 제 3 항에 있어서,
    감지된 에지 및 해당 제약을 갖는 선택된 템플릿에 기반하여 커브 피팅(curve fitting) 함수를 적용하는 단계를 더 포함하는 방법.
  5. 제 4 항에 있어서,
    데이터 맵 부분으로부터의 추론에 기반하여, 피팅된 커브에 z-축 데이터를 적용하는 단계를 더 포함하는 방법.
  6. 제 5 항에 있어서,
    에지의 도출된 z-축 데이터에 기반하여 깊이 맵을 완성하는 단계를 더 포함하는 방법.
KR1020177021149A 2015-01-06 2016-01-05 패턴화 광을 사용하는 깊이 맵핑을 제공하기 위한 방법 및 시스템 KR20170104506A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562100340P 2015-01-06 2015-01-06
US62/100,340 2015-01-06
PCT/US2016/012197 WO2016112019A1 (en) 2015-01-06 2016-01-05 Method and system for providing depth mapping using patterned light

Publications (1)

Publication Number Publication Date
KR20170104506A true KR20170104506A (ko) 2017-09-15

Family

ID=56286778

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177021149A KR20170104506A (ko) 2015-01-06 2016-01-05 패턴화 광을 사용하는 깊이 맵핑을 제공하기 위한 방법 및 시스템

Country Status (6)

Country Link
US (1) US20160196657A1 (ko)
EP (1) EP3243188A4 (ko)
JP (1) JP6782239B2 (ko)
KR (1) KR20170104506A (ko)
CN (1) CN107408204B (ko)
WO (1) WO2016112019A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011036618A2 (en) * 2009-09-22 2011-03-31 Pebblestech Ltd. Remote control of computer devices
US9842392B2 (en) * 2014-12-15 2017-12-12 Koninklijke Philips N.V. Device, system and method for skin detection
US10116915B2 (en) * 2017-01-17 2018-10-30 Seiko Epson Corporation Cleaning of depth data by elimination of artifacts caused by shadows and parallax
US10620316B2 (en) * 2017-05-05 2020-04-14 Qualcomm Incorporated Systems and methods for generating a structured light depth map with a non-uniform codeword pattern
US10535151B2 (en) 2017-08-22 2020-01-14 Microsoft Technology Licensing, Llc Depth map with structured and flood light

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2572286B2 (ja) * 1989-12-15 1997-01-16 株式会社豊田中央研究所 ３次元形状寸法計測装置
JPH11108633A (ja) * 1997-09-30 1999-04-23 Peteio:Kk ３次元形状計測装置及びそれを用いた３次元彫刻装置
US6912293B1 (en) * 1998-06-26 2005-06-28 Carl P. Korobkin Photogrammetry engine for model construction
JP2001012922A (ja) * 1999-06-29 2001-01-19 Minolta Co Ltd ３次元データ処理装置
JP2001319245A (ja) * 2000-05-02 2001-11-16 Sony Corp 画像処理装置および方法、並びに記録媒体
JP2003016463A (ja) * 2001-07-05 2003-01-17 Toshiba Corp 図形の輪郭の抽出方法、パターン検査方法、パターン検査装置、プログラムおよびこれを格納したコンピュータ読み取り可能な記録媒体
US20110057930A1 (en) * 2006-07-26 2011-03-10 Inneroptic Technology Inc. System and method of using high-speed, high-resolution depth extraction to provide three-dimensional imagery for endoscopy
US8340422B2 (en) * 2006-11-21 2012-12-25 Koninklijke Philips Electronics N.V. Generation of depth map for an image
WO2010037512A1 (en) * 2008-10-02 2010-04-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Intermediate view synthesis and multi-view data signal extraction
EP2184713A1 (en) * 2008-11-04 2010-05-12 Koninklijke Philips Electronics N.V. Method and device for generating a depth map
US8553973B2 (en) * 2009-07-07 2013-10-08 University Of Basel Modeling methods and systems
EP2272417B1 (en) * 2009-07-10 2016-11-09 GE Inspection Technologies, LP Fringe projection system for a probe suitable for phase-shift analysis
WO2011036618A2 (en) * 2009-09-22 2011-03-31 Pebblestech Ltd. Remote control of computer devices
US9870068B2 (en) * 2010-09-19 2018-01-16 Facebook, Inc. Depth mapping with a head mounted display using stereo cameras and structured light
KR20140005257A (ko) * 2011-01-21 2014-01-14 톰슨 라이센싱 기하학적 기반 인트라 예측을 위한 방법 및 장치
US8724887B2 (en) * 2011-02-03 2014-05-13 Microsoft Corporation Environmental modifications to mitigate environmental factors
US9536312B2 (en) * 2011-05-16 2017-01-03 Microsoft Corporation Depth reconstruction using plural depth capture units
US20120314031A1 (en) * 2011-06-07 2012-12-13 Microsoft Corporation Invariant features for computer vision
US9131223B1 (en) * 2011-07-07 2015-09-08 Southern Methodist University Enhancing imaging performance through the use of active illumination
US9002099B2 (en) * 2011-09-11 2015-04-07 Apple Inc. Learning-based estimation of hand and finger pose
US9117295B2 (en) * 2011-12-20 2015-08-25 Adobe Systems Incorporated Refinement of depth maps by fusion of multiple estimates
JP6041513B2 (ja) * 2012-04-03 2016-12-07 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2013228334A (ja) * 2012-04-26 2013-11-07 Topcon Corp 三次元計測システム及び三次元計測方法及び三次元計測プログラム
EP2674913B1 (en) * 2012-06-14 2014-07-23 Softkinetic Software Three-dimensional object modelling fitting & tracking.
US8805057B2 (en) * 2012-07-31 2014-08-12 Mitsubishi Electric Research Laboratories, Inc. Method and system for generating structured light with spatio-temporal patterns for 3D scene reconstruction
US9514522B2 (en) * 2012-08-24 2016-12-06 Microsoft Technology Licensing, Llc Depth data processing and compression
EP2904581B1 (en) * 2012-10-01 2016-12-07 Telefonaktiebolaget LM Ericsson (publ) Method and apparatus for determining a depth of a target object
RU2012145349A (ru) * 2012-10-24 2014-05-10 ЭлЭсАй Корпорейшн Способ и устройство обработки изображений для устранения артефактов глубины
US8792969B2 (en) * 2012-11-19 2014-07-29 Xerox Corporation Respiratory function estimation from a 2D monocular video
RU2012154657A (ru) * 2012-12-17 2014-06-27 ЭлЭсАй Корпорейшн Способы и устройство для объединения изображений с глубиной, генерированных с использованием разных способов формирования изображений с глубиной
JP6071522B2 (ja) * 2012-12-18 2017-02-01 キヤノン株式会社 情報処理装置および情報処理方法
RU2013106513A (ru) * 2013-02-14 2014-08-20 ЭлЭсАй Корпорейшн Способ и устройство для улучшения изображения и подтверждения границ с использованием по меньшей мере одного дополнительного изображения
WO2014155715A1 (ja) * 2013-03-29 2014-10-02 株式会社日立製作所 物体認識装置および物体認識方法並びにプログラム
US9373171B2 (en) * 2013-07-22 2016-06-21 Stmicroelectronics S.R.L. Method for generating a depth map, related system and computer program product
JP6547104B2 (ja) * 2013-10-23 2019-07-24 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ 動的構造化光を用いた三次元深度マッピング
US20150193971A1 (en) * 2014-01-03 2015-07-09 Motorola Mobility Llc Methods and Systems for Generating a Map including Sparse and Dense Mapping Information
JP6359466B2 (ja) * 2014-01-13 2018-07-18 フェイスブック，インク． サブ解像度での光学的検出
US9519060B2 (en) * 2014-05-27 2016-12-13 Xerox Corporation Methods and systems for vehicle classification from laser scans using global alignment
US9582888B2 (en) * 2014-06-19 2017-02-28 Qualcomm Incorporated Structured light three-dimensional (3D) depth map based on content filtering
US9752864B2 (en) * 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US9934574B2 (en) * 2015-02-25 2018-04-03 Facebook, Inc. Using intensity variations in a light pattern for depth mapping of objects in a volume
EP3123288A4 (en) * 2015-02-25 2017-11-22 Facebook, Inc. Identifying an object in a volume based on characteristics of light reflected by the object
US9694498B2 (en) * 2015-03-30 2017-07-04 X Development Llc Imager for detecting visual light and projected patterns
US9679192B2 (en) * 2015-04-24 2017-06-13 Adobe Systems Incorporated 3-dimensional portrait reconstruction from a single photo
JP6377863B2 (ja) * 2015-05-13 2018-08-22 フェイスブック，インク． 反射マップ表現による奥行きマップ表現の増補

Also Published As

Publication number Publication date
CN107408204B (zh) 2021-03-09
EP3243188A4 (en) 2018-08-22
WO2016112019A1 (en) 2016-07-14
JP2018507399A (ja) 2018-03-15
US20160196657A1 (en) 2016-07-07
JP6782239B2 (ja) 2020-11-11
EP3243188A1 (en) 2017-11-15
CN107408204A (zh) 2017-11-28

Similar Documents

Publication Publication Date Title
US9594950B2 (en) Depth mapping with enhanced resolution
US9898651B2 (en) Upper-body skeleton extraction from depth maps
US9159134B2 (en) Method and apparatus for estimating a pose
US9141873B2 (en) Apparatus for measuring three-dimensional position, method thereof, and program
US8249334B2 (en) Modeling of humanoid forms from depth maps
CN106797458B (zh) 真实对象的虚拟改变
US9934574B2 (en) Using intensity variations in a light pattern for depth mapping of objects in a volume
KR20170104506A (ko) 패턴화 광을 사용하는 깊이 맵핑을 제공하기 위한 방법 및 시스템
US10636156B2 (en) Apparatus and method for analyzing three-dimensional information of image based on single camera and computer-readable medium storing program for analyzing three-dimensional information of image
KR101556992B1 (ko) 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템
US20140232631A1 (en) Model-based multi-hypothesis target tracker
US20140354602A1 (en) Interactive input system and method
US20150242683A1 (en) System and Method for Detecting and Tracking Multiple Parts of an Object
CN103761765B (zh) 基于映射边界优化的三维物体模型纹理映射方法
EP3345123B1 (en) Fast and robust identification of extremities of an object within a scene
JP2018119833A (ja) 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体
US9569850B2 (en) System and method for automatically determining pose of a shape
KR20150071722A (ko) 이미지 내 오브젝트 윤곽선의 수정 방법 및 시스템
CN103810480B (zh) 基于rgb‑d图像的手势检测方法
JP2012003724A (ja) 三次元指先位置検出方法、三次元指先位置検出装置、及びプログラム
KR20090070258A (ko) 3차원 기하학 정보를 이용한 실시간 지시 영역 추정 방법
Padeleris et al. Multicamera tracking of multiple humans based on colored visual hulls
Li et al. A view planning method incorporating self-termination for automated surface measurement
US20230298284A1 (en) Method for Generating an Augmented Image
Morshidi et al. Feature points selection for markerless hand pose estimation

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20170727

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20201021

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20201201

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20221110

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20230427

PC1904 Unpaid initial registration fee