KR20170120655A - 볼륨 내 물체의 심도 맵핑을 위한 광 패턴의 강도 변화의 사용 - Google Patents

볼륨 내 물체의 심도 맵핑을 위한 광 패턴의 강도 변화의 사용 Download PDF

Info

Publication number
KR20170120655A
KR20170120655A KR1020177026659A KR20177026659A KR20170120655A KR 20170120655 A KR20170120655 A KR 20170120655A KR 1020177026659 A KR1020177026659 A KR 1020177026659A KR 20177026659 A KR20177026659 A KR 20177026659A KR 20170120655 A KR20170120655 A KR 20170120655A
Authority
KR
South Korea
Prior art keywords
intensity
stripe
light
light pattern
additional
Prior art date
Application number
KR1020177026659A
Other languages
English (en)
Other versions
KR101954855B1 (ko
Inventor
나다브 그로싱거
니타이 로마노
Original Assignee
페이스북, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 페이스북, 인크. filed Critical 페이스북, 인크.
Publication of KR20170120655A publication Critical patent/KR20170120655A/ko
Application granted granted Critical
Publication of KR101954855B1 publication Critical patent/KR101954855B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/14Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/22Measuring arrangements characterised by the use of optical techniques for measuring depth
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G06K9/00335
    • G06K9/00355
    • G06K9/00362
    • G06K9/00375
    • G06K9/2036
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

볼륨 내 물체의 심도를 결정하기 위해, 구조화된 광이 볼륨으로 투영된다. 구조화된 광은 광의 강도가 변하는 패턴을 포함한다. 센서는 볼륨으로부터의 광을 감지하고 감지된 광의 강도의 변화를 사용하여 패턴과 감지된 광을 상호 연관시킨다. 상호 연관에 기반하여, 볼륨 내 물체의 심도가 결정된다.

Description

볼륨 내 물체의 심도 맵핑을 위한 광 패턴의 강도 변화의 사용
본 명세서는 일반적으로 심도 맵핑에 관한 것이며, 더 상세하게는 볼륨으로의 광학 투영을 사용하는 심도 맵핑으로서 3차원으로 물체를 감지하고 추적할 수 있도록 하는 방법에 관한 것이다.
다양한 방법으로 사용자는 특정 장치를 원격으로 제어할 수 있다. 예를 들어, 기정의된 제스처 또는 사용자의 신체 부위(예컨대, 팔, 다리)의 자세는 장치를 제어할 수 있다. 장치 제어를 위한 제스처 또는 자세를 사용하는 방법에서, 제스처는 사용자의 신체 부위가 특정된 위치와 정렬될 때 식별되고, 컴퓨터 또는 다른 장치는 식별된 제스처에 대응하는 기능을 수행하거나 행위를 수행한다.
일부 실시예에서, 사용자에 의한 제스처는 이미지 캡처 장치를 통해 사용자의 이미지 또는 비디오를 캡처하고 이미지 또는 비디오 데이터의 다수의 픽셀을 분석함으로써 식별된다. 종래의 제스처 감지 방법은 픽셀의 컬러 값을 픽셀에 근접한 다른 픽셀의 컬러 값과 비교함으로써 이미지의 픽셀을 분석한다. 따라서, 이러한 종래의 방법은 사용자의 신체 부위와 이미지의 배경에 있는 물체 사이의 컬러 값의 중요한 차이에 의존한다.
제스처 감지를 위한 다른 방법은 사용자의 하나 이상의 신체 부위(예컨대, 사용자의 손의 3차원 모델)의 골격 모델을 형성하고, 사용자에 의한 제스처를 식별하도록 골격 모델을 분석한다. 제스처 검출을 위한 대안의 방법은 3차원 심도 맵(depth map)을 사용하는데, 여기서 각 픽셀은 심도 카메라와 픽셀에 대응하는 물체의 부분 사이의 거리를 포함한다. 심도 맵은 다양한 방법을 사용하여 계산될 수 있다. 예를 들어, 풍경의 심도 맵핑은 공지된 광 패턴(즉, 구조화된 광 패턴)을 풍경으로 투영함으로써 이루어지며, 이미지 캡처 장치는 공지된 광 패턴이 풍경에 투영될 때 풍경의 이미지를 캡처한다. 광 패턴은 고정되고 미리 공지되기 때문에, 광 패턴의 하위-부분 또는 고유한 특징이 식별될 수 있다. 풍경의 일부와 이미지 캡처 장치 사이의 거리(즉, 풍경의 부분들의 "심도")는 이미지 캡처 장치에 의해 캡처된 이미지 내 광 패턴의 식별된 특징의 이동을 기반으로 계산된다. 그러나, 풍경으로 투영된 광 패턴의 이미지를 캡처하는 것은 공지된 광 패턴의 특징과 서로 연관될 수 있는 캡처된 이미지 내 광 패턴의 특징을 식별하도록 더 많은 양의 캡처된 이미지를 분석하는 것을 포함한다. 추가로, 공지된 광 패턴을 투영하는 투영기와 이미지 캡처 장치 사이의 상대적으로 큰 이격은 풍경 내 물체의 심도 이동에 대한 공지된 광 패턴의 이미지의 더 큰 이동을 생성함으로써 고해상도의 심도 감지를 제공하는데 필요하다.
그러나, 심도 맵을 결정하는 이들 종래의 방법은 계산상으로 고가이며 특정 물체의 정확한 결정을 허용하는 결과를 생성하지 않는다. 예를 들어, 종래의 심도 맵핑 방법으로는 밀접하게 관련된 제스처 또는 자세를 구별하도록 손가락 또는 신체 부위를 정확히 검출할 수 없다.
광 패턴은 볼륨으로 투영되고 볼륨의 심도를 맵핑하는데 사용되는 식별 가능한 강도 변화를 제공한다. 일부 실시예에서, 광 패턴의 2개 이상의 변화는 적어도 하나의 차원으로 투영된다. 예를 들어, 광 패턴의 2개의 강도 변화는 수직축으로 투영된다. 서로에 대한 상이한 변화를 측정함으로써 볼륨의 상이한 위치에서 심도 정보가 결정될 수 있다. 또한, 광 패턴의 서로 다른 변화를 사용하면 패턴의 상대적 및 절대적 인덱싱(indexing)이 가능하다.
예를 들어, 패턴은 광의 다수의 스트라이프 또는 라인을 포함하며, 서로 다른 스트라이프는 볼륨으로 투영될 때 고유한 강도-기반 기능을 갖는다. 서로 다른 강도-기반 기능으로부터, 패턴의 각 스트라이프는 고유하게 식별될 수 있어서, 식별된 스트라이프의 이동을 통해 볼륨의 개별 위치를 삼각 측량할 수 있다. 이를 통해 제스처 또는 자세가 식별될 수 있게 하는 영역에 대한 심도 맵이 생성될 수 있다.
일부 실시예에서, 볼륨 내의 물체는 구조화된 광 패턴을 볼륨으로 투영함으로써 3차원으로 맵핑된다. 구조화된 광 패턴은 다수의 특징을 가지고 기정의된 구조를 가지는 광 패턴이다. 예를 들어, 구조화된 광 패턴은 기정의된 변화인 각각의 특징과 함께 하나의 차원으로 뻗어있는 스트라이핑을 포함한다. 예를 들어, 특징은 강도 레벨이다. 일부 실시예에서, 구조화된 광 패턴은 다중 회절 소자를 사용하여 형성된다. 또한, 구조화된 광 패턴은 한 차원에 따른 변화를 가지며 또 다른 차원에 따른 추가적인 변화를 가질 수 있다; 추가적인 변화는 일부 실시예에서 그 차원을 따라 변한다. 예를 들어, 변화 또는 추가적인 변화는 주기적 강도 변화가며: 2단 변화, 3단 변화, 4단 변화, 5단 변화, 6단 변화, 7단 변화 및 8단 변화 중 하나 이상일 수 있다. 대안으로, 추가적인 변화는 차원을 따라 변하는 균일한 피크 강도의 분포이다. 일실시예에서, 변화는 차원에서의 강도의 사이클이며, 구조화된 광 패턴은 각각의 강도로 투영되는 사이클 내 스트라이프 그룹을 포함한다. 주기적 변화에 대한 스트라이프의 상대 인덱스(relative index)가 일부 실시예에서 설정될 수 있다. 추가적인 변화는 스트라이프에 따른 강도 변화를 포함할 수 있어서, 그룹 내 상이한 스트라이프에 대해 상이한 스트라이프에 대한 각각의 피크 강도의 위치가 상이하고, 각각의 피크 강도의 위치는 일부 실시예에서 볼륨 내 물체에 대한 심도 정보를 획득하는데 사용될 수 있다. 일부 실시예에서, 광학 요소 및 다른 요소를 통해 광 빔이 투영되어 광학 요소가 다른 차원을 따라 스트라이프를 정의하는 구조화된 광 패턴을 생성하는 반면, 추가의 광학 요소는 각 스트라이프에서 서로 다른 피크 강도의 위치를 각각 제공하면서 다른 차원에 대해 상쇄되는 축을 가지는 그리드 내 추가적인 변화를 특정한다.
볼륨 내 하나 이상의 물체에 의해 반사된 광이 감지되며, 감지된 광은 하나 이상의 특징을 포함한다. 따라서, 감지된 광은 구조화된 광 패턴의 하나 이상의 변화를 포함한다. 감지된 광의 구조화된 광 패턴의 변화는 구조화된 광 패턴의 기정의된 구조와 상호연관되며, 상호연관은 감지된 광의 구조화된 광 패턴의 변화를 인덱싱하여 감지된 광의 구조화된 광 패턴의 변화과 관련된 물체의 심도를 결정하는데 사용된다. 예를 들어, 감지된 광의 구조화된 광 패턴의 변화는 구조화된 광 패턴의 변화과 관련된 물체에 대한 심도 정보뿐 아니라 감지된 광의 구조화된 광 패턴의 다른 변화들과 관련된 물체에 대한 심도 정보를 획득하기 위해 볼륨 내 물체를 포함하는 감지 이미지 내 대응하는 위치와 비교된다. 일부 실시예에서, 구조화된 광 패턴의 특징은 구조화된 광 패턴에 따라 직교 인덱싱된다.
볼륨 내 물체에 대한 심도 정보는 볼륨 내 다양한 물체에 대한 3차원 심도 맵핑을 제공하는데 사용될 수 있다. 구조화된 광 패턴이 변화 및 추가적인 변화를 갖는 한 실시예에서, 물체에 대한 심도 정보는 변화으로부터의 구조적 광 패턴의 강도의 국부적 값과 추가적인 변화의 국부적으로 측정된 피크 강도의 비율로부터 볼륨 내 심도를 계산하여 결정된다. 구조화된 광 패턴이 하나의 차원에 따른 변화 및 또 다른 차원에 따른 추가적인 변화를 가진다면, 볼륨 내 하나 이상의 물체에 대한 심도 정보는 그 변화 및 그 추가적인 변화를 사용하여 결정될 수 있다.
다른 실시예에서, 한 차원의 변화 및 추가의 차원의 추가적인 변화를 갖는 광 패턴이 볼륨으로 투영된다. 예를 들어, 변화는 주기적 강도 변화가고, 추가적인 변화는 차원에 따라 달라지는 추가의 차원에 따른 균일한 피크 강도의 분포이다. 일부 실시예에서, 광 패턴은 차원으로 뻗어있는 스트라이프를 포함한다. 차원에서의 변화는 패턴 내 상이한 스트라이프를 서로 다른 강도로 투영하고 적어도 하나의 추가의 스트라이프 그룹에 대해 서로 다른 강도를 반복하는 것이다. 또한, 추가적인 변화는 피크 강도를 포장하는 패턴에서 스트라이프를 따라 가우시안(Gaussian) 변화일 수 있다. 일부 실시예에서, 물체 세그먼트화는 주기적 변화에 대한 스트라이프의 상대 인덱스를 결정하는데 사용될 수 있다. 추가적인 변화는 피크 강도의 상이한 위치 각각에 상이한 스트라이프를 제공하기 위해 추가의 차원에 대해 상쇄되는 축을 갖는 그리드에서 제2 변화를 정의하는 광학 요소를 통해 스트라이프를 투영함으로써 생성될 수 있다; 일부 실시예에서 광 패턴의 스트라이프는 추가적인 광학 요소를 통해 광을 투영함으로써 형성될 수 있다.
광 패턴을 반사하는 볼륨 내 적어도 하나의 위치가 발견되고, 그 변화에 따른 강도와 추가적인 변화에 따른 강도 사이의 비율이 그 위치에서 결정된다. 결정된 비율에 기초하여, 위치에서의 심도가 결정된다. 일부 실시예에서, 주기적인 변화에 대한 광 패턴의 스트라이프의 상대 인덱스는 볼륨 내 물체를 세그먼트화하여 설정된다. 상대 인덱스로부터의 각 피크의 위치는 볼륨 내 물체의 심도 정보를 식별하는 심도 맵을 설정하도록 결정하는데 사용될 수 있다.
광 패턴을 볼륨으로 투영하기 위해, 광원은 한 방향으로 변화하는 강도를 갖는 광 빔을 생성하도록 구성된다. 광 빔은 광원으로부터, 광 빔의 강도가 변화하는 방향과 직교하는 추가의 방향으로 광 빔에 강도 특징을 적용하도록 구성된 광학 요소에 투영된다; 따라서, 광학 요소로부터의 광 출력은 가변 강도 특징을 갖는다. 일부 실시예에서, 추가적인 광학 요소는 광학 요소에 의해 적용되는 강도 특징에 중첩하는 추가적인 강도 특징을 광 빔에 적용하도록 구성된다. 예를 들어, 추가적인 광학 요소는 그리드 레이아웃에서 추가적인 강도 특징을 적용한다. 추가적인 광학 요소는 방향에 대해 상쇄되며, 따라서 추가적인 강도 특징이 광 패턴의 상이한 부분의 상이한 위치에 있다. 일부 실시예에서, 광 패턴은 다수의 스트라이프를 포함하고, 각 스트라이프의 상이한 위치에 추가적인 강도 특징을 갖는다.
일부 실시예에서, 투영기(projector)는 볼륨으로 광 패턴을 투영하도록 구성된다. 광 패턴은 한 차원에 따른 주기적인 강도 변화 및 균일한 휘도의 분산된 피크 강도를 포함하는 추가의 차원에서의 추가적인 변화를 포함한다. 시준기(collimator)는 투영된 광 빔을 시준하도록 구성된다. 또한, 감지기(detector)는 광 패턴의 이미지를 획득하도록 구성되고, 심도 계산기는 광 패턴 내 위치에서의 심도를 계산하도록 구성되며, 여기서 광 패턴 내 위치에서의 심도는 주기적인 강도 변화으로 인한 그 위치에서의 광 패턴의 세기 및 균일한 휘도의 분산된 피크 강도로부터의 위치에서의 광 패턴의 피크 강도 사이의 비율로부터 결정된다.
투영기는 소스 빔 상에 제1 방향으로 평행한 스트라이프를 중첩하도록 구성된 광학 요소 및 상기 평행한 스트라이프에 중첩되고 그리드 레이아웃에 제공되는 기호(notations)를 생성하도록 구성되며 상기 방향에 대해 상쇄되는 추가적인 광학 요소를 포함할 수 있다. 상기 방향에 대해 추가적인 광학 요소를 상쇄하면 상기 기호가 각 스트라이프의 상이한 위치에 있게 된다. 다수의 광원은 광학 소자 및 추가적인 광학 소자를 통한 볼륨으로의 투영을 위한 소스 빔을 생성하도록 구성되며, 광원은 그 방향과 직교하는 방향으로 강도를 변화시키도록 구동된다.
다른 실시예에서, 볼륨의 심도 정보를 결정하는 기기는 볼륨으로 투영하기 위해 특징화된 광의 패턴을 생성하도록 구성된 광원을 포함한다. 광학 요소는 볼륨으로 투영된 광의 각각의 특징에 시그니처(signature)를 적용하도록 구성된다. 일부 실시예에서, 고유한 시그니처는 각각의 특징에 적용된다. 또 다른 예로서, 시그니처는 특징들의 그룹에 적용되는 적어도 하나의 주기적인 변화가다. 또한, 시그니처는 상기 특징들에 적용되는 주기적인 변화 및 추가의 주기적인 변화를 포함할 수 있다. 주기적인 변화 및 추가의 주기적인 변화는 일부 실시예에서 서로 다른 위상을 가질 수 있다. 또한, 카메라는 볼륨으로부터 광을 감지하도록 구성되는 반면, 프로세서는 카메라와 결합되고 카메라에 의해 감지된 광으로부터 식별된 특징의 위치를 사용하여 볼륨 내 심도 정보를 계산하도록 구성된다.
본 발명의 내용 중에 포함되어 있다.
도 1a는 일실시예에 따라 스크린상에 도시된 소프트 키보드를 포함하는 컴퓨터 인터페이스에서 텍스트를 입력하기 위한 손 제스처의 사용을 도시하는 간략한 개략도이다.
도 1b는 일실시예에 따른 가상 현실 시스템을 도시한다.
도 1c는 일실시예에 따른 가상 현실 기기를 도시한다.
도 2는 일실시예에 따른 감지 기기를 나타내는 간략한 블록도이다.
도 3은 일실시예에 따라 식별된 광 패턴으로부터의 감지된 각도를 심도 정보로 변환하는 것을 도시하는 간략한 선도이다.
도 4는 일실시예에 따라 볼륨으로 전송되고 물체로부터 수신기를 향해 반사되는 광을 도시하는 간략한 블록도이다.
도 5a는 일실시예에 따른 2진 광 패턴을 도시한다.
도 5b는 일실시예에 따른 광 특징의 다양한 예를 도시한다.
도 5c는 일실시예에 따른 광의 스트라이프를 포함하는 광 패턴에 통합된 시그니처의 다양한 예를 도시한다.
도 5d는 일실시예에 따라 강도를 사용하여 시그니처를 제공하는 광 패턴에 의한 손의 조명을 도시하는 개략도이다.
도 6a는 일실시예에 따라 주기적으로 방향을 변화시키는 특징 강도를 사용하는 손의 조명을 도시한다.
도 6b는 일실시에에 따른 도 6a의 방향 변화의 세부사항을 도시한다.
도 7은 일실시예에 따라 볼륨에서 심도를 계산하는 방법을 도시하는 흐름도이다.
도 8은 일실시예에 따라 광 패턴을 생성하는 방법의 흐름도이다.
도 9는 일실시예에 따라 광 패턴으로부터 3차원 심도 맵을 획득하는 방법의 흐름도이다.
도 10은 일실시예에 따라 광 패턴을 생성하기 위한 광학 구성요소의 예시적인 배열이다.
도 11은 일실시예에 따라 광 패턴을 생성하기 위한 광학 구성요소의 대안적인 배열의 예이다.
도 12는 일실시예에 따라 광 패턴의 스트라이프 특징에 추가되는 예시적인 기호의 개념도이다.
도 13은 일실시예에 따라 광 패턴의 스트라이프에 시그니처를 제공하기 위한 기호의 사용을 도시한 개념도이다.
도 14a는 일실시예에 따른 광 패턴의 스트라이프 상의 일련의 기호에 대한 예시적인 강도를 도시한다.
도 14b는 일실시예에 따라 추가적인 심도 정보를 획득하기 위한 감지기의 움직임을 나타내는 개념도이다.
도 15는 일실시예에 따라 광 패턴의 스트라이프 상에 불규칙적으로 이격된 일련의 기호의 개념도이다.
도 16은 일실시예에 따라 광 패턴의 인접 스트라이프에서의 휘도 레벨이 변화하는 개념도이다.
도면들은 단지 예시의 목적으로 다양한 실시예들을 도시한다. 통상의 기술자는 다음의 설명으로부터 본 명세서에 설명된 구조 및 방법의 대안적 실시예들이 본 명세서에 개시된 원칙에서 벗어남이 없이 이용될 수 있음을 용이하게 인식할 것이다.
다양한 실시예들은 볼륨으로의 광학 투영을 사용하는 볼륨의 심도 맵핑을 가능하게 하여, 사용자의 골격 모델의 생성, 장치(예컨대, 컴퓨터, 가상 현실 시스템 등)를 제어하기 위한 사용자 인터페이스의 구현을 가능하게 한다. 패턴화된 광은 볼륨으로 투영되고 볼륨의 심도 맵을 획득하는데 사용되며, 이 맵에서 물체 또는 물체의 움직임을 식별하여 자세 또는 제스처의 식별을 가능하게 한다. 개시된 실시예는 신체 또는 물체의 움직임 또는 제스처를 추적하는 임의의 장치에 의해 사용될 수 있다.
"구조화된 광"이라고도 하는 광 패턴은 볼륨으로 투영된다. 카메라 또는 다른 감지기는 심도에 의한 이동 및 다른 왜곡(distortions)을 포함하는 본래의 구조화된 광의 왜곡된 버전을 포함하는 볼륨의 광을 감지한다. 이동 또는 다른 왜곡은 본래의 구조화된 광에 대해 캡처되는 구조화된 광의 왜곡된 버전을 비교하거나 구조화된 광의 부분들을 식별함으로써 식별되고 볼륨의 심도 맵을 생성하는데 사용된다. 따라서, 심도 맵은 구조화된 광의 왜곡된 버전을 구조화된 광과 상호연관시킴으로써 획득될 수 있다. 구조화된 광에 포함된 특징은 캡처되는 구조화된 광의 왜곡된 버전과 구조화된 광 사이의 상관관계를 돕기 위해 개별화될 수 있으며, 일련의 조정된 특징이 캡처되는 구조화된 광의 왜곡된 버전과 구조화된 광 사이의 상관관계를 결정하게 할 수 있다. 구조화된 광의 왜곡된 버전을 구조화된 광과 상호연관시켜 획득된 심도 맵을 통해 볼륨 내 물체에 대한 심도가 결정될 수 있다. 다양한 실시예에서, 구조화된 광의 왜곡된 버전과 구조화된 광 사이의 상관관계는 전체 구조화된 광에 기초하거나, 구조화된 광의 각각의 특징에 기초하거나, 다양한 실시예에서의 구조화된 광의 각각의 특징들과 부분들에 기초한다.
일실시예에서, 구조화된 광(또는 "광 패턴")은 직교 방향으로의 하나 이상의 상이한 변화를 포함하여, 심도 맵핑을 위해 구조화된 광의 특정한 특징의 더 정확한 식별을 가능하게 한다. 변화는 강도 변화일 수 있고, 구조화된 광의 특징의 서로 다른 부분들에 고유한 시그니처를 부여할 수 있다. 대안으로, 고유한 특징을 식별하는데 사용된 컴퓨팅 리소스를 감소시키는 고유한 특징의 식별을 가능하게 하기 위해, 상이한 위상을 갖는 상이한 변화를 갖는 변화는 주기적일 수 있다. 2개 이상의 변화가 구조화된 광에 포함되면, 서로 다른 위치에서의 심도를 제공하기 위해 서로 다른 변화가 서로에 대하여 측정될 수 있다.
예를 들어, 구조화된 광의 특징은 하나의 차원으로의 스트라이프이다. 고유한 시그니처 또는 주기적으로 고유한 시그니처는 가령 수직축과 같이 한 차원으로 각 스트라이프에 적용된다. 본래의 구조화된 광의 대응하는 스트라이프의 위치에 대해 캡처되는 구조화된 광의 왜곡된 버전의 각 스트라이프가 이동하는 것에 기초하여, 심도 맵이 결정될 수 있다. 일부 실시예에서, 스트라이프의 강도와 스트라이프의 피크 강도 사이의 비율도 또한 심도 맵을 결정할 때 사용된다. 스트라이프의 이동을 결정하기 위해, 구조화된 광의 서로 다른 스트라이프가 서로 다른 스트라이프에 적용된 시그니처를 기초로 개별적으로 식별된다. 예를 들어, 각각의 스트라이프는 각 스트라이프에 적용된 시그니처를 기초로 식별된다. 예를 들어, 시그니처가 스트라이프에 따른 강도 변화가라면, 각각의 스트라이프는 약한 강도, 중간 강도 및 강한 강도와 같은 상이한 강도들을 가질 수 있다; 예를 들어, 감지된 스트라이프는 약한 강도, 강한 강도 및 중간 강도의 그 순서이며, 구조화된 광의 특정 위치는 약한 강도, 강한 강도 및 중간 강도의 순서를 갖는 스트라이프를 포함하여, 감지된 스트라이프의 인덱싱(indexing)을 가능하게 한다. 그러나, 다른 실시예들에서, 임의의 적합한 특징들이 구조화된 광에 포함될 수 있다. 예를 들어, 또 다른 실시예에서, 구조화된 광은 상이한 강도를 갖는 사각형을 포함한다.
일부 실시예에서, 구조화된 광의 2개의 강도 변화가 사용된다. 2개의 강도 변화는 예컨대 전자 광학 구성요소를 더 효율적으로 사용하도록 개별 픽셀에 대해 설정될 수 있는 이용 가능한 그레이 레벨(gray levels)에 기초하여 주기적일 수 있다. 2개의 주기적인 변화의 위상이 다른 경우, 변화의 상대적으로 큰 전체 주기가 제공될 수 있다. 따라서, 구조화된 광의 적어도 2개의 변화는 구조화된 광의 절대 인덱싱(absolute indexing)을 가능하게 한다. 예를 들어, 구조화된 광(또는 "광 패턴")은 한 방향(예컨대, 스트라이프의 방향에 수직인 방향)을 따라 사이클에서 기본 강도가 변할 수 있는 평행한 스트라이프를 포함한다. 또한, 각 스트라이프는 스트라이프가 향하는 방향을 따라 위치하는 기호(notations)를 포함할 수 있다. 기호는 상이한 스트라이프에서 서로 다르게 배열됨으로써 각각의 스트라이프 또는 스트라이프의 클러스터가 식별되고 인덱싱되게 할 수 있다. 일부 실시예에서, 기호는 일정하게 유지되는 피크 강도를 갖는다. 상이한 스트라이프의 상이한 강도 및 상이한 기호 분포는 개별 스트라이프의 식별뿐 아니라 스트라이프의 개별 부분의 식별을 가능하게 하여 심도 맵핑의 정확도를 높일 수 있다. 일부 실시예에서, 기호는 가우시안 휘도 분포(Gaussian brightness distributions)로 구성된다. 광원과 감지기 사이의 거리가 멀어질수록 강도가 희미해지는 반면, 스트라이프의 감소되는 감지된 강도는 심도의 표시를 제공한다; 그러나, 절대 휘도도 또한 광이 반사되는 표면에 따라 달라지므로, 추가 정보 없이 심도를 정확하게 결정할 수 없다. 그러나, 스트라이프의 기본 강도와 스트라이프의 피크 강도 사이의 비율은 특히 세그먼트화 또는 삼각 측량 결과와 결합될 때 더 정확한 심도 계산을 가능하게 한다.
하나 이상의 구별되는 강도 변화를 갖는 광 패턴이 투영되고, 각각의 강도 변화는 거리에 대해 고유한 강도 변경 함수(intensity alternation function)를 갖는다. 예를 들어, 광 패턴은 가우시안 거리를 갖는 스트라이프를 따라 강도를 갖는 연속 스트라이프를 포함한다. 스트라이프의 강도는 광 패턴의 소스와의 거리가 증가함에 따라 선형적으로 저하되지만(예컨대, 광 패턴의 소스가 수평으로 배향될 때 광 패턴의 소스에 대한 수평 거리가 증가함에 따라), 감지기에 의해 캡처될 때 스트라이프의 피크 강도는 일정하게 유지된다. 따라서, 광 패턴을 감지기(예컨대, 카메라)로 반사하는 물체와의 거리는 스트라이프의 피크 강도를 스트라이프의 강도와 비교하여 추출될 수 있다.
다수의 강도 함수는 거리에 따라 광 패턴의 세기를 변화시키며, 상이한 범위에 대해 상이한 강도 비율을 생성하는 거리에 대해 다르게 전파하는 다중 위상 함수(multiple phase functions)를 생성함으로써 제공될 수 있다. 예를 들어, 강도 함수는 입력 광으로부터 스트라이프 특징을 생성하고 추가적인 강도 함수는 스트라이프를 따라 강도의 가우시안 분포를 생성한다. 일반적으로, 물체로부터 반사된 광의 강도는 반사된 광이 구형으로 다시 감지기로 확산될 때 물체와 감지기 사이의 거리의 제곱에 반비례한다(즉, 1/z2, z는 물체와 센서 사이의 거리). 스트라이프가 단일 축을 따라 시준되고 감지기 내 각 픽셀의 물리적 적용 범위가 각이 져 있기 때문에, 시준된 스트라이프는 감지기의 더 적은 픽셀에 의해 캡처되어 스트라이프의 강도를 증가시킨다. 따라서, 스트라이프의 강도는 z/z2 또는 1/z 만큼 감소하는데, 여기서 z는 스트라이프를 반사하는 물체와 감지기 사이의 거리이다.
회절 광학 요소를 사용하면, 광 패턴의 스트라이프를 따라 강도가 변화하는 추가적인 강도 함수는 독립적인 위상 함수를 사용하여 생성될 수 있고, 스트라이프를 따라 강도가 방사상으로 시준된 가우시안(Gaussians)이 되도록 한다. 따라서, 가우시안 강도 분포를 샘플링하는 감지기의 픽셀은 감지기와 평행하고 수직인 축을 따라(예컨대, 감지기가 수평으로 배향되는 경우 수평축과 수직축 모두를 따라) 감소되며 그 결과 스트라이프의 위치에서의 피크 강도는 z2/z2가 되는데, 여기서 z는 스트라이프를 반사하는 물체 사이의 거리이며 상수이다. 스트라이프의 피크 강도의 강도 대 스트라이프의 휘도의 비율은 스트라이프의 강도가 1/z에 기반하여 변함에 따라 스트라이프를 반사하는 물체와 감지기 사이의 거리가 변할 때 변하는 반면, 피크 강도는 일정하게 유지된다. 스트라이프를 반사하는 물체의 반사 표면의 성질이 스트라이프의 강도 및 스트라이프의 피크 강도 모두에 균등하게 영향을 미치기 때문에, 절대 강도와는 달리 그 비율은 실질적으로 영향을 받지 않는다.
이제 도면을 참조하면, 도 1a는 스크린(6) 상에 표시된 소프트 키보드(4) 상에 타이핑하기 위해 컴퓨터 사용자(1)의 손(2)과 제스처를 수행하는 컴퓨터 사용자(1)의 개념도이다. 제스처를 검출하기 위해, 손(2)으로부터 반사된 광이 감지되어 구조화된 광(또는 "광 패턴"이라고도 함)이 손(2)으로 투영될 수 있다. 감지된 구조화된 광을 삼각 측량하는 것은 손(2)을 포함하는 볼륨의 심도 맵의 생성을 가능하게 할 수 있다. 도 1b는 가상 현실 시스템의 사용자(8)의 개념도이다. 도 1b의 예에서, 사용자는 가상 현실 안경을 착용하고 공중에서 손(10)의 제스처를 통해 가상 현실 시스템을 제어한다. 도 1c는 도 1b와 관련하여 상술한 바와 같이 가상 현실 시스템에서 사용하기 위한 헤드 마운트 기기(200)를 도시한다. 기기(200)는 헤드 밴드(230)를 사용하여 사용자의 머리에 장착되며 사용자의 눈으로 이미지를 투영한다.
도 2는 볼륨으로 구조화된 광을 감지할 수 있는 가상 현실 기기의 일실시예의 블록도이다. 가상 현실 기기는 또한 도 1b 및 도 1c와 관련하여 기술된 가상 현실 시스템과 같은 가상 현실 시스템에서 사용자용 가상 현실 디스플레이를 제공할 수 있다. 가상 현실 기기에서, 블록(400)은 조명기(442)를 사용하여 IR 광 빔을 제공한다. 조명기(442)로부터의 광은 IR 카메라(406)에 의해 감지되고, 감지된 광은 프리-프로세서(404)에 의해 처리된다. 마찬가지로, 블록(410)은 가시광 카메라(412)에 의해 감지되는 가시광을 제공한다. 프로세서(414)는 가시광 카메라(412)에 의해 캡처된 가시광을 처리하고, 또한 프리-프로세서(404)로부터의 정보를 처리하므로, 프로세서(414)는 프리-프로세서(404)에 의한 처리 후에 IR 카메라(406)로부터 감지된 광을 더 처리한다. 또한, 프로세서(414)는 다양한 기능을 제공하기 위해 메모리에 저장된 명령어(416)를 실행한다. 또한, 가상 현실 기기는 가상 현실 디스플레이를 사용자에게 제공하도록 구성된 니어 아이 디스플레이(near eye display)(420)를 포함한다.
도 3은 볼륨(305)으로 광 패턴을 투영하는 도 3의 레이저(300)로서 도시된 광원을 도시한다. 레이저(300)로부터의 광은 도 3의 예에서 심도(Z1), 심도(Z2) 및 심도(Z3)로 도시되는 볼륨(305) 내 서로 다른 심도들에서의 물체로부터 반사된다. 카메라(310) 또는 다른 이미지 캡처 장치는 물체로부터 반사된 광 패턴으로부터의 광을 감지한다. 심도(Z1) 및 심도(Z2)로부터 동일한 각도로 카메라(310)에 도달하는 광 사이의 차이는 광 패턴의 다른 부분이다. 따라서, 패턴의 일부의 감지는 패턴의 일부를 포함하는 광이 반사되는 물체의 심도를 가능하게 한다.
도 4는 송신기(11) 및 수신기(12)의 블록도이다. 다양한 실시예에서, 송신기(11)는 레이저 광원(13)에 의해 전송된 광으로부터 광 패턴을 형성하는 하나 이상의 광학 요소(14.1, 14.2)가 뒤따르는 레이저 광원(13)이다. 송신기(11)는 결과적인 광 패턴을 볼륨(15)으로 방출하는데, 여기서 광 패턴은 물체(16)와 같은 볼륨(15) 내의 다양한 물체에 의해 반사된다. 반사된 광은 전하 결합 소자(CCD), 상보형 금속 산화물 반도체(CMOS) 검출기, 또는 다른 적절한 유형의 감지기일 수 있는 수신기(12)에 의해 감지된다. 일실시예에 따르면, 감지된 광 패턴의 일부가 검출되고 광 패턴이 분석되어 그들이 관심 물체로부터 왔는지를 결정한다; 예를 들어, 세그먼트화 프로세스는 광 패턴의 일부를 반사하는 물체가 관심 물체인지를 결정하는데 사용된다. 예를 들어, 다양한 실시예에서 무엇이든 관심 물체가 될 수 있지만, 지시 제스처가 식별되는 실시예에서 관심 물체는 신체의 일부이다. 그러나, 다른 실시예에서, 광이 감지된 광 패턴은 관심 물체가 광 패턴의 일부를 반사하는지를 결정하도록 분석되지 않는다. 반사된 광 패턴의 서로 다른 부분들은 그들이 반사되는 심도를 결정하도록(예컨대, 반사된 광 패턴의 서로 다른 부분들을 반사하는 볼륨 내 물체의 심도를 결정하도록) 분석된다. 반사된 광 패턴의 서로 다른 부분으로부터 결정된 서로 다른 심도에 기초하여, 후술되는 바와 같이, 볼륨(15) 내 다양한 물체의 심도 정보를 포함하는 심도 맵이 생성된다.
도 5a는 사람을 감지하는데 사용되는 2진 광 패턴(또한 "구조화된 광"으로도 함)의 예이다. 도 5a의 예에서, 2진 광 패턴은 다수의 스트라이프를 포함하며, 이는 서로 다른 스트라이프에 시그니처를 부가함으로써 향상될 수 있다. 예를 들어, 스트라이프에 부가된 시그니처는 도 5b에 도시된 하나 이상의 특징이다. 일실시예에서, 2진 광 패턴의 서로 다른 스트라이프는 서로 다른 패턴(a)으로 배열된 서로 다른 강도를 가진다; 예를 들어, 서로에 대해 상이한 강도를 갖는 스트라이프의 상이한 패턴는 2진 광 패턴을 포함한다. 다른 실시예에서, 사각형(b), 삼각형((c), (d)) 또는 다른 형상은 서로 다른 스트라이프에 중첩될 수 있다. 스트라이프에 중첩된 서로 다른 형상은 강도 또는 다른 삼각형들((c), (d))로 나타난 다른 특성 내 내부 변화를 포함할 수 있다. 시그니처는 규칙적인 패턴(e)으로 또는 규칙적이거나 불규칙한 강도 변화(f)에 추가하여 스트라이프에 부가될 수 있다. 스트라이프(g)의 길이에 따른 불규칙한 강도 변화(g)는 스트라이프에 시그니처로 추가될 수 있다. 일부 실시예에서, 도 5b에 도시된 시그니처의 임의의 조합은 서로 다른 스트라이프에 추가되어 서로 다른 스트라이프가 서로 구별될 수 있게 한다.
시그니처 또는 특징은 균일한 강도를 가질 수 있거나 스트라이프의 서로 다른 부분에서의 강도 변화를 가질 수 있다. 예를 들어, 2진 광 패턴의 서로 다른 위치에 있는 특징은 서로 다른 균일한 강도를 가질 수 있거나 서로 다른 강도 변화를 가질 수 있다. 도 5c는 스트라이프의 폭에 걸친 평방 강도 변화(square intensity variation), 스트라이프의 폭에 걸친 가우시안 강도 변화, 및 스트라이프의 폭에 걸친 불규칙한 강도 변화의 예를 도시한다.
도 5d는 손으로 투영되는 서로 다른 강도를 갖는 다수의 스트라이프를 포함하는 광 패턴의 예이다. 서로 다른 강도는 패턴 내에서 참조(references)를 제공한다. 도 6a는 도 5d에 도시된 예와 다른 스트라이프들 사이에서 대안의 강도 변화를 갖는 광 패턴의 또 다른 예를 도시한다. 또한, 도 6b는 광 패턴 내 스트라이프의 폭에 걸친 대안의 강도 변화를 도시한다.
도 7은 볼륨에서 심도를 계산하는 방법의 일실시예의 흐름도이다. 다른 실시예에서, 이 방법은 도 7과 관련하여 설명된 것과 다른 단계 또는 추가 단계를 포함할 수 있다. 또한, 일부 실시예에서, 이 방법의 단계는 도 7과 관련하여 설명된 순서와 다른 순서로 수행될 수 있다.
초기에, 광은 볼륨으로 투영된다(21). 일실시예에서, 투영된 광은 한 방향으로 서로 평행한 다수의 스트라이프를 갖는 광 패턴을 포함하고, 서로 다른 스트라이프는 서로 다른 강도 또는 서로 다른 휘도를 갖는다; 서로 다른 스트라이프의 강도 또는 휘도는 도 5b와 관련하여 더 상술한 바와 같이 복수의 스트라이프가 서로 평행한 방향과 직교하는 방향을 따라 반복되는 사이클에 따라 변할 수 있다. 그러나, 다른 실시예에서, 투영된 광의 광 패턴은 임의의 적절한 특징을 포함하거나 특징들은 투영된 광의 광 패턴에 포함될 수 있다. 추가로 또는 대안으로, 각각의 스트라이프는 상기 도 5b 및 5c에서 도시된 바와 같이 스트라이프들이 서로 평행한 방향과 직교하는 방향으로 스트라이프의 폭에 대한 가우시안 강도 분포를 포함하거나, 스트라이프들이 평행한 방향과 직교하는 방향의 스트라이프에 대한 다른 강도 변화를 포함할 수 있다. 스트라이프가 서로 평행한 방향에 직교하는 방향의 강도 변화는 본 명세서에서 "시그니처" 또는 "기호"로 지칭된다. 서로 다른 스트라이프에 대한 강도가 서로 다르기 때문에 각각의 스트라이프를 식별할 수 있고, 서로 다른 스트라이프에 포함된 기호는 각각의 스트라이프를 식별하기 위한 추가의 방법을 제공한다(그 역도 또한 동일하다). 서로 다른 스트라이프의 기호나 시그니처의 변화는 주기적이지 않거나 다른 스트라이프의 강도 변화과 다른 사이클을 따르며, 따라서 스트라이프의 강도와 스트라이프의 기호를 조합하면 각 스트라이프를 식별할 수 있다. 일부 실시예에서, 서로 다른 스트라이프 상의 기호는 주기적일 수 있으므로 기호는 각 스트라이프마다 다르게 나타난다.
카메라 또는 다른 이미지 캡처 장치는 볼륨 내 물체에 의해 반사된 광 패턴으로부터 광을 획득한다(22). 광 패턴으로부터의 스트라이프가 관심 물체에 투영될 때, 관심 물체의 가장자리는 도 5d에 도시된 바와 같이 스트라이프에서 단절되어 표시된다. 따라서, 볼륨의 캡처된 이미지를 세그먼트화하면 볼륨 내 물체를 신속하게 식별할 수 있고 볼륨 내 손이나 손가락과 같은 관심 물체를 선택할 수 있다. 또한, 세그먼트화를 통해 스트라이프를 상대 인덱싱(relative indexing)할 수 있다. 볼륨 내 캡처된 이미지를 세그먼트화하면 배경 물체가 제거되므로 배경 물체가 아닌 관심 물체에 대한 심도 정보가 이후 결정된다.
광 패턴의 특징, 관심 물체에 대해 나타나는 광 패턴의 스트라이프 및 광 패턴의 특징의 절대 인덱싱은 카메라에 의해 획득된(22) 광으로부터 광 패턴의 다양한(예컨대, 각각의) 특징의 심도를 분석(24)하는데 사용된다. 초기에, 광 패턴의 스트라이프의 인덱싱은 상대적인 것으로, 볼륨에 대한 심도 정보가 아닌 관심 물체 내 심도를 식별한다. 그러나, 특정 스트라이프의 기호의 패턴은 참조 패턴(reference pattern)과 비교하여 기호를 기반으로 서로 다른 스트라이프를 식별한다. 절대 인덱스는 기호, 스트라이프의 강도, 기호와 스트라이프의 강도의 조합에 기반하여 제공될 수 있다. 절대 인덱스로부터, 볼륨 내 관심 물체의 심도는 하기에 더 기술되는 바와 같이 계산된다(28).
도 8은 볼륨으로 투영된 광 패턴을 생성하는 방법의 흐름도이다. 일부 실시예에서, 이 방법은 도 8과 관련하여 기술된 것과 다른 단계 또는 추가 단계를 포함한다. 또한, 일부 실시예에서, 이 방법의 단계는 도 8과 관련하여 설명된 순서와 다른 순서로 수행된다.
초기에, 광의 빔은 레이저와 같은 소스로부터 획득된다(30). 일부 실시예에서, 소스는 예컨대 수직 캐비티 표면 광방출 레이저(VCSEL) 어레이와 같은 반도체 레이저의 어레이이다. 어레이 내의 레이저는 개별적으로 또는 행으로 작동될 수 있으며, 어레이의 행들 사이의 강도의 주기적인 변화를 제공하기 위해 어레이의 서로 다른 행에서의 레이저의 강도를 변화시킴으로써 한 차원에서의 광 빔의 강도가 변화된다(32).
광 빔에 대한 추가적인 변화가 추가의 차원을 따라 제공된다(34). 추가적인 변화는 강도의 변화일 수 있다. 예를 들어, 추가적인 변화는 추가의 차원에서 강도의 가우시안 피크(Gaussian peaks)와 같은 일련의 기호이다. 가우시안 강도의 분포는 그 차원을 따라 변할 수 있다. 예를 들어, 강도의 피크들 사이의 간격은 광 빔의 소스로부터의 거리가 증가함에 따라 증가하거나 감소할 수 있고, 도 2와 함께 더 상술한 바와 같이 가우시안 간격(Gaussian spacing)은 불규칙하거나, 기호의 위치가 이동될 수 있다. 일부 실시예에서, 사전-저장된 패턴은 광 패턴의 서로 다른 스트라이프 또는 다른 부분들에 포함된 기호에 기반하여 광 빔으로부터 생성된 광 패턴의 각각의 스트라이프 또는 다른 부분들을 식별하는데 사용된다. 이후, 차원을 따라 광의 강도를 변화(32)시키고 광에 추가적인 변화를 제공(34)함으로써 생성된 광 패턴은 볼륨으로 투영된다(36).
일실시예에서, 추가의 차원을 따라 가우시안 강도 변화를 생성하는 광학 구성요소는 규칙적인 형상을 갖지만, 그 차원과 상쇄되는 각도를 가질 수 있어서, 각각의 스트라이프는 서로로부터 약간 상쇄되는 가우시안 강도 변화를 갖는다. 그러나, 다른 실시예들에서, 임의의 적절한 구성이 서로 다른 스트라이프에서 서로에 대해 가우시안 강도 변화를 대체하는데 사용될 수 있어서, 각각의 스트라이프가 개별적으로 식별될 수 있게 한다.
다양한 실시예에서, 광 빔의 강도는 한 차원으로 변화되고(32), 추가의 차원에서의 추가적인 변화도 또한 제공된다(34). 다른 실시예들은 한 차원으로 광 빔의 강도를 변화시키거나(32), 추가의 차원으로 추가적인 변화를 제공한다(34). 예를 들어, 광 빔의 강도는 한 차원에서 변화되지 않지만(32), 추가의 차원의 추가적인 변화를 제공하여(34) 추가의 차원에서의 각 스트라이프에 대한 고유한 시그니처를 포함한다. 각 스트라이프가 추가의 차원에서의 추가적인 변화과 다른 시그니처를 포함할 때, 각 스트라이프의 고유한 시그니처로부터 심도 맵이 직접 제공될 수 있다. 따라서, 광 패턴의 각 스트라이프에 고유한 기호를 제공하면 볼륨 내 물체의 심도가 정확하게 결정될 수 있다. 광 패턴의 각 스트라이프에 기호를 고유하게 분배하는 예가 도 15와 관련하여 더 후술된다.
대안으로, 광 빔의 강도는 한 방향으로 변화되지만(32), 추가의 차원에서의 추가적인 변화는 광 빔에 제공되지 않는다(34). 예를 들어, 강도의 사이클이 서로 다른 스트라이프에 적용되어 그 방향으로 강도를 다양하게 만든다. 그러나, 추가의 차원에서 추가적인 변화를 제공하지 않고 한 차원에서 광 빔의 강도를 변화시키는 것은 스트라이프의 강도의 다중 사이클을 야기하며, 각 스트라이프는 절대 인덱싱되기보다는 스트라이프를 포함하는 강도의 사이클에 대하여 인덱싱될 수 있다. 도 5c의 예에 도시된 바와 같이, 상대적으로 적은 수의 스트라이프가 관심 물체에 투영되는 경우, 스트라이프의 강도가 2진 사이클을 사용하여 변화될 때(32), 스트라이프를 인덱싱하는 것이 어렵다.
또 다른 실시예에서, 광 빔의 강도는 한 방향으로 변화되고(32), 추가의 차원에서의 추가적인 변화도 또한 광 빔에 제공된다(34). 예를 들어, 강도의 사이클이 서로 다른 스트라이프에 적용되어 그 방향에서의 강도를 변화시키지만(32), 스트라이프의 기호는 추가의 방향으로 이동된다. 강도 변화 및 기호의 이동은 각각 주기적일 수 있지만, 주기가 다를 수 있어서 적어도 더 큰 사이클의 정밀도로 각 스트라이프를 고유하게 식별할 수 있다. 인덱싱 사이클이 충분하지 않아서 각 스트라이프의 전체 인덱싱을 방해하는 경우, 물체의 세그먼트화도 또한 관심 물체 내 스트라이프에 대한 고려를 제한하는데 사용된다. 추가의 정확도는 더 후술되는 바와 같이 스트라이프의 피크 강도를 서로 다른 스트라이프의 강도와 비교함으로써 얻어질 수 있다.
따라서, 도 8과 관련하여 상술한 방법은 광 패턴을 생성하며, 이때 광 빔의 강도는 한 방향으로 변화하고 추가의 방향으로도 더 변화한다. 도 4와 관련하여 더 상술한 방법은 다양한 실시예에서 그 방향으로 광 빔의 강도를 변화시키는데 사용되어 광 패턴에서 각 스트라이프의 인덱싱을 가능하게 할 수 있다.
도 9는 광 패턴으로부터 관심 물체의 3차원 심도 맵을 획득하는 방법의 일실시예의 흐름도이다. 일부 실시예에서, 이 방법은 도 9와 관련하여 기술된 것들보다 추가적인 단계들을 포함할 수 있다. 또한, 일부 실시예에서, 이 방법은 도 9와 관련하여 설명된 순서와 다른 순서로 단계를 수행할 수 있다.
가령 카메라와 같은 광 센서는 볼륨으로부터 광을 감지한다(38). 일부 실시예에서, 다수의 카메라 또는 광 센서는 볼륨으로부터 광을 감지한다(38). 대안으로, 단일 카메라 또는 광 센서는 볼륨으로부터 광을 감지한다(38).
일부 실시예에서, 감지된 광을 포함하는 이미지는 세그먼트화(40)되어 볼륨 내 물체들 중에서 관심 물체를 식별한다. 관심 물체를 식별하는 세그먼트화(40)는 상대 인덱싱을 가능하게 하며, 이때 관심 물체의 다른 부분들에 대한 심도가 획득된다. 광 패턴에서의 서로 다른 스트라이프들 사이의 강도의 변화는 일부 실시예에서 강도 사이클 중 하나의 특정 구성요소로서 각각의 스트라이프를 식별하는데 사용된다(42). 그러나, 광 패턴의 스트라이프들 간의 강도 변화는 스트라이프의 고유한 식별을 허용하지 않으므로, 각 스트라이프는 서로 다른 스트라이프에 포함된 기호뿐 아니라 개별 스트라이프의 식별을 허용하는 상대 인덱싱(즉, 각 스트라이프의 절대 인덱싱)을 사용하여 식별된다(44). 예를 들어, 각 스트라이프의 절대 인덱싱은 서로 다른 스트라이프의 기호의 강도를 기반으로 한다.
스트라이프의 절대 인덱싱은 볼륨으로부터 감지된 광의 이미지에서 각 스트라이프의 실제 위치에서의 심도의 결정을 가능하게 한다. 스트라이프 위치에 기초하여 심도 정보를 더 정확하게 결정하기 위해, 심도 정보는 스트라이프의 강도와 스트라이프 내 기호의 피크 휘도 사이의 기호들 또는 강도 비율들 사이의 간격에 기초하여 더 결정된다(46). 볼륨 내 다양한 지점들(예컨대, 관심 물체의 다양한 지점들)에 대한 심도 정보에 기초하여, 볼륨의 심도 맵이 결정되어(48), 볼륨 내 관심 물체(예컨대, 손)의 3차원 움직임이 추적되도록 할 수 있다. 따라서, 심도 맵은 볼륨 내 제스처를 인식하는데 사용될 수 있다; 예를 들어, 심도 맵을 일부 사용하여 인식되는 제스처는 가령 컴퓨터 또는 가상 현실 시스템과 같은 장치와 인터페이싱하기 위한 명령에 대응한다.
도 10은 투영을 위한 광 패턴을 생성하기 위한 일련의 예시적인 요소들의 개념도이다. 예시의 목적상, 도 10은 측면도로 요소들을 도시한다. 가령 레이저 어레이와 같은 광원(50)은 광 빔을 시준하는 시준기(52)에 광 빔을 제공한다. 시준된 광 빔은 회절 광학 요소 또는 임의의 다른 적절한 광학 요소일 수 있는 광학 요소(54)로 향하며 시준된 광 빔으로 스트라이프를 생성한다. 광은 광학 요소(54)로부터 회절 요소 또는 임의의 다른 적절한 광학 요소일 수 있는 추가적인 광학 요소(56)로 지향된다. 추가적인 광학 요소(56)는 강도의 가우시안 피크를 스트라이프 상에 중첩시킨다. 다양한 실시예에서, 추가적인 광학 요소(56)는 광학 요소(54)에 대해 약간 상쇄되어서 강도의 피크가 서로 다른 스트라이프 내 서로 다른 위치에서 생성된다. 따라서, 추가적인 광학 요소(54)는 도 13과 관련하여 이하에서 더 설명되는 바와 같이 서로 다른 스트라이프 상의 기호를 주기적으로 이동할 수 있다. 복제기(duplicator)(58)는 광학 요소(54) 및 추가의 광학 요소(56)에 의해 생성된 패턴을 반복시킨다.
일부 실시예에서, 광원(50)은 서로 다른 강도를 생성하도록 개별적으로 제어 가능한 레이저 행을 포함한다. 상술한 바와 같이, 스트라이프의 강도는 광원(50)으로부터의 거리가 증가함에 따라 감소한다(즉, 강도는 1/z에 비례하며, z는 광원(50)으로부터의 거리이다). 그러나, 스트라이프 내 피크 강도는 광원(50)으로부터의 거리가 증가함에 따라 일정하게 유지되므로, 스트라이프의 피크 강도와 스트라이프 강도의 평균 강도 사이의 비율은 스트라이프의 심도의 추정치를 제공한다.
다양한 실시예에서, 시준기(52), 광학 요소(54) 및 추가의 광학 요소(56)는 도 10에 도시된 순서와 상이한 순서일 수 있다. 예를 들어, 시준기(50)의 출력은 가우시안 피크의 강도를 제공하도록 초기에 추가의 광학 요소(54)로 지향되고, 추가의 광학 요소(54)의 출력은 스트라이프를 생성하도록 광학 요소(52)로 지향된다. 또한, 일부 실시예에서, 시준기(52), 광학 요소(54) 및 추가의 광학 요소(56)의 조합을 포함하는 요소가 개별 구성요소 대신에 사용될 수 있다.
도 11은 광 패턴을 생성하기 위한 요소들의 대안적인 구성이다. 예시의 목적상, 도 11은 요소들의 구성의 상면도를 나타낸다. 도 11의 예에서, 요소(60)는 다중 이미터 광원 및 다중 이미터 광원으로부터의 광에 스트라이프를 생성하도록 구성된 광학 요소를 포함한다. 후술되는 바와 같이, 시준기(62)는 요소(60) 다음에 위치되고, 시준기(62)로부터 시준된 광은 요소(60)에 의해 생성된 스트라이프에 가우시안 피크 강도를 중첩시키는 추가적인 광학 요소(56)로 지향된다. 따라서, 광학 요소들은 결합되거나 분리될 수 있거나, 다양한 실시예에서 서로에 대해 상이한 순서를 가질 수 있다.
도 12는 광 패턴의 스트라이프 특징에 부가되는 예시적인 기호의 개념도이다. 도 12에 도시된 광 패턴은 도 10 및 11과 관련하여 상술한 바와 같이 구성된 요소들을 통해 생성될 수 있다. 예시의 목적상, 도 12는 손(18)에 투영된 광 패턴을 도시한다. 광 패턴은 스트라이프(19)를 포함하며 각각의 스트라이프(19)는 이격된 기호(20)를 포함한다. 도 12의 예에서, 기호(20)는 서로에 대해 광 패턴을 생성하는 광학 요소의 각 변위에 의해 유발될 수 있는 기호들(20) 사이의 일정한 변위로 규칙적으로 위치한다. 예를 들어, 기호(20)는 분포의 중심에 피크 강도를 갖는 가우시안 강도 분포이다. 다른 실시예에서, 기호(20)는 불규칙적으로 이격되어 있다.
도 12와 관련하여 기술된 광 패턴을 사용하여, 손(18)의 가장자리는 광 패턴에서 단절이 있는 위치로서 식별된다. 물체의 세그먼트화 또는 윤곽의 발견은 광 패턴의 단절을 식별하는 것을 기초로 하며, 본 명세서에 전체로서 참조로 통합되고 2010년 9월 19일자로 출원된 미국특허출원 제13/497,589호에 더 기술된다.
심도는 광 패턴에서 개별 스트라이프의 위치를 결정함으로써 얻어질 수 있으며, 물체의 3차원 형상의 모니터링은 개별 스트라이프의 위치를 결정하고 이로부터 심도를 얻는 것에 의존한다. 광 패턴의 서로 다른 스트라이프로부터 심도를 결정하는 것은 물체의 하나 이상의 제스처를 식별하기 위해 물체의 움직임을 식별하게 하는 심도 맵의 생성을 가능하게 한다. 예를 들어, 물체의 표면이 구부러진 위치에서, 스트라이프(19)도 또한 곡선으로 나타난다. 마찬가지로, 물체의 표면이 후퇴하는 위치에서, 스트라이프(19)는 소실점을 향한다. 스트라이프(19)의 이러한 작용은 개별 스트라이프(19)를 식별함으로써 심도 맵의 생성을 가능하게 한다. 도 12에 도시된 바와 같이, 각각의 스트라이프(19) 상의 기호(20)가 다른 스트라이프(19)에 대해 약간 이동될 때, 개별 스트라이프(19)는 기호(20)로부터 식별되어, 서로 다른 위치에서의 심도가 소실점을 향하는 개별 스트라이프(19)의 이동으로부터 결정될 수 있도록 한다. 상대적인 심도 맵은 물체를 세그먼트화하여 생성될 수 있으며, 절대적인 심도는 광 패턴과 물체를 포함하는 이미지의 각 라인을 인덱싱함으로써 각 스트라이프의 심도로부터 생성될 수 있다. 더 상세하게, 광 패턴은 한 차원으로 각각 뻗어있는 다수의 스트라이프(19)를 포함하며, 서로 다른 스트라이프(19)는 추가의 차원에서 서로 다른 강도를 갖는다. 스트라이프(19)의 강도는 스트라이프(19)를 따라 균일한 피크 강도의 분포에 기초하여 변할 수 있으며, 스트라이프(19) 상에 중첩될 수 있다. 스트라이프(19)의 피크 강도는 스트라이프(19) 상에 기호(20)를 제공하는 가우시안 강도 분포의 피크일 수 있고, 따라서 각 스트라이프를 따라 기호를 제공할 수 있다.
도 12의 손(18)과 같은 물체를 볼륨 내에 위치시키기 위해, 볼륨의 하나 이상의 이미지의 세그먼트화가 수행되고 관심 물체를 식별하는데 사용된다. 더 상술한 바와 같이, 관심 물체 내 상대적 심도가 얻어질 수 있다. 일실시예에서, 추가의 심도 계산이 기호(20) 사이의 거리로부터 획득된다. 추가의 심도 계산은 스트라이프(19)의 강도의 로컬 값과 스트라이프(19) 내 기호(20)의 국부적으로 측정된 피크 강도 사이의 비율에 기초하여 결정될 수 있다. 추가의 심도 계산은 스트라이프들(19) 사이의 거리에 기초할 수 있다.
스트라이프(19)의 강도의 변화 및 스트라이프(19) 내 기호(20)의 피크 강도는 각각 광원으로부터의 거리에 기초한 강도 변경을 위한 고유한 함수를 갖는다. 스트라이프(19)의 강도는 스트라이프(19)를 포함하는 광 패턴의 소스로부터의 거리가 증가함에 따라 선형적으로 저하되지만, 스트라이프(19)의 각 기호(20)의 측정된 피크 강도는 일정하게 유지된다. 가령 카메라와 같은 센서로 광 패턴을 반사하는 물체와의 거리는 기호(20)의 피크 강도 대 기호(20)를 포함하는 스트라이프(19)의 강도의 비율로부터 추출될 수 있다. 비록 스트라이프(19)의 절대적 반사 강도는 스트라이프(19)를 반사하는 물체의 표면에 의존하지만, 스트라이프 내 기호(20)의 피크 강도와 스트라이프(19)의 강도 사이의 비율은 일반적으로 보존될 수 있다.
광원으로부터 거리에 따라 다른 방식으로 전파하는 다중 위상 함수는 광원으로부터의 거리에 따라 변하는 다수의 강도 함수를 야기하며, 광원으로부터 다른 거리 범위에 걸쳐 서로 다른 강도 비율을 생성한다. 상술한 실시예들은 스트라이프 특징을 생성하는 함수 및 스트라이프를 따라 가우스 강도 피크를 생성하는 추가의 함수를 포함한다. 일반적으로, 물체로부터 반사된 광의 강도는 1/z2의 비율로 저하되는데, 이때 z는 반사된 광이 구형으로 센서로 다시 확산될 때 광을 방출하는 광원과 물체 사이의 거리이다. 그러나 스트라이프 특징은 단일 축으로 시준되고, 센서 내 각 픽셀의 물리적 적용범위가 각이 져 있기 때문에 시준된 스트라이프는 센서에서 더 적은 픽셀로 보이며, 스트라이프의 휘도가 증가한다. 따라서, 스트라이프의 강도는 z/z2 또는 1/z의 비율로 저하되는데, 이때 z는 스트라이프가 방출되는 광원과 물체 사이의 거리이다.
회절 광학 요소를 사용하면, 스트라이프를 따라 강도 피크를 생성하는 추가의 함수가 강도 피크가 방사형으로 시준된 가우시안을 포함하도록 하는 독립 위상 함수를 사용하여 생성될 수 있다. 방사형 시준으로 인해, 물체와 광원 사이의 거리를 통해 가우시안을 샘플링하는 다수의 픽셀이 수평축 및 수직축 모두에서 감소되며, 그 결과 강도 피크의 위치에서의 강도가 z2/z2이 되는데, 이때 z는 스트라이프가 방출되는 광원과 물체 사이의 거리이며 상수이다. 강도 피크를 포함하는 스트라이프의 전체 강도에 대한 각각의 강도 피크의 강도의 비는 스트라이프의 전체 강도가 인자 1/z에 따라 변하기 때문에 스트라이프를 반사하는 물체와 스트라이프를 방출하는 광원의 거리가 변화함에 따라 변하며, 이때 z는 스트라이프가 방출되는 광원과 물체의 거리이며 강도 피크는 일정하게 유지된다.
이제 도 13을 참조하면, 손(70)은 수평 좌표, 수직 좌표 및 심도 좌표로 도시된다. 손이 수직으로 또는 광원의 위치에 대하여 이동함에 따라, 손(70)의 가장자리는 손에 투영된 광 패턴으로 스트라이프의 입자를 따라 또는 그에 가로질러 움직인다. 광 패턴은 빔 소스(72)에 의해 전송되고 카메라(74) 또는 다른 센서에서 수신된다. 도 13에서, 이미지(76)는 광 패턴의 스트라이프를 도시하며, 다른 이미지(78)는 이어지는 라인을 따라 기호의 오정렬의 예를 도시한다. 따라서, 카메라(74)는 손의 수평 및 수직 이동을 따르며, 스트라이프와 기호 간의 거리 및 스트라이프 내의 기호의 피크 강도와 스트라이프의 강도의 강도 비율은 변하지 않는다.
도 14a는 광 패턴 내 기호(80)의 움직임으로부터 심도 정보를 획득하는 개념도이다. 예를 들어, 손(70)과 손(70)에 의해 반사된 광 패턴으로부터의 광을 캡처하는 센서 사이의 거리는 도 14a의 화살표에 의해 도시된 바와 같이 기호(80)의 위치가 이동하게 한다. 손(70)이 센서로부터 멀어지면, 기호(80)는 광 패턴의 스트라이프에 대한 소실점을 향해 이동한다. 그러나, 손(70)이 센서 방향으로 이동하면, 기호(80)는 광 패턴의 스트라이프에 대한 소실점에서 벗어난다. 대안으로, 도 14b에 도시된 바와 같이, 기호(80)는 손(70)이 정지 상태로 유지되고 광 패턴을 방출하는 센서 또는 광원이 손(70)에 대해 재배치될 때 이동할 수 있다. 예를 들어, 소스(72)는 도 14b의 예에서 카메라(74)에 대해 축(75)을 따라 재배치되는 한편, 손(70)이 정지 상태에 있어서, 도 14b에 도시된 바와 같이 기호(80)의 이동을 야기한다.
도 15는 스트라이프(81)의 기호(82)의 불규칙한 분포를 나타내는 개념도이다. 도 15의 예에서, 스트라이프(81)의 일단부에 인접한 기호(82)가 넓게 이격되어 있고, 스트라이프(81)의 단부로부터 거리가 증가함에 따라 기호들(82) 사이의 간격은 감소한다.
이제 도 16을 참조하면, 도 16은 광 패턴 내 인접한 스트라이프의 휘도 레벨을 변화시키는 예의 개념도이다. 일부 실시예에서, 도 16에 도시된 예는 라인 생성기에 의해 생성되며, 이후 증폭기가 특정 스트라이프에서 동작하지만 다른 스트라이프들에서는 동작하지 않는다. 라인 생성기는 균등하게 분포되고 균등한 강도를 가지는 스트라이프들(90 92, 94 및 96)을 생성한다. 이후, 증폭기 요소는 라인(94)을 증가된 강도(98)로 증폭시키므로, 라인(94)은 스트라이프들(90, 92 및 96)에 비해 증가된 강도를 가지며, 고유한 시그니처를 갖는 스트라이프의 패턴을 제공한다.
요약
본 실시예들의 상술한 설명은 단지 예시의 목적으로 제시되었을 뿐, 배타적이거나 개시된 구체적인 형태로 특허권을 제한하고자 하는 것은 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 상기 개시로부터 다양한 변화 및 변경이 가능함을 인식할 수 있을 것이다.
본 명세서의 일부 부분은 본 실시예들을 정보에 대한 동작의 알고리즘적 및 기호적 표현으로 설명한다. 이러한 알고리즘적 설명 및 표현은 본 기술분야에서 통상의 지식을 가진 자들에게 효과적으로 그들의 작업의 실체를 다른 통상의 지식을 가진 자에게 전달하기 위하여 데이터 프로세싱 분야에서 통상의 지식을 가진 자에 의하여 공통적으로 사용되는 것이다. 기능적으로, 계산적으로 또는 논리적으로 설명되고 있는 이들 동작은 컴퓨터 프로그램 또는 등가의 전기 회로, 마이크로 코드 등에 의해 구현되는 것으로 이해된다. 또한, 종종 이러한 동작의 배열은 일반성의 손실 없이 모듈로 언급될 수 있는 것으로 확인된다. 설명된 동작 및 그와 관련된 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들의 임의의 조합으로 구현될 수 있다.
본 명세서에 기술된 임의의 단계들, 동작들 또는 프로세스들은 하나 이상의 하드웨어 또는 소프트웨어 모듈들에 의해 또는 이들과 다른 장치들의 결합에 의해 수행되거나 구현될 수 있다. 일실시예에서, 소프트웨어 모듈은 설명된 단계들, 동작들 또는 프로세스들 일부 또는 전부를 수행하기 위하여 컴퓨터 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능한 매체를 포함하는 컴퓨터 프로그램 제품으로 구현된다.
또한, 본 실시예들은 본 명세서의 동작들을 수행하기 위한 장치와 관련될 수 있다. 이 장치는 요청된 목적을 위하여 구체적으로 구성될 수 있고/있거나 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨팅 장치를 포함할 수 있다. 이런 컴퓨터 프로그램은 비-일시적 유형(tangible)의 컴퓨터 판독가능한 저장 매체나 컴퓨터 시스템 버스에 결합될 수 있는 전자 명령어를 저장하기에 적절한 임의의 타입의 매체에 저장될 수 있다. 게다가, 본 명세서에서 언급된 임의의 컴퓨팅 시스템들은 단일 프로세서를 포함할 수 있거나, 증가한 컴퓨팅 능력을 위해 다중 프로세서 설계를 채용한 구조일 수 있다.
또한, 본 실시예들은 본 명세서에 기술된 컴퓨팅 프로세스에 의해 생산된 제품에 관한 것일 수 있다. 이런 제품은 컴퓨팅 프로세스의 결과로 생성된 정보를 포함할 수 있는데, 여기서 정보는 비-일시적인 유형의 컴퓨터 판독가능한 저장 매체에 저장되며, 본 명세서에 기술된 컴퓨터 프로그램 제품 또는 다른 데이터 조합의 임의의 실시예를 포함할 수 있다.
마지막으로, 본 명세서에서 사용된 언어는 원칙적으로 읽기 쉬운 지침상의 목적으로 선택되었으며, 특허권을 상세히 설명하거나 제한하려고 선택된 것은 아닐 수 있다. 따라서, 본 특허권의 범위는, 본 발명의 상세한 설명에 의해 제한되는 것이 아니며, 본 출원이 기초로 하는 제출되는 청구범위에 의해 정의되는 것으로 의도되었다. 그러므로, 본 실시예들에 관한 설명은 하기의 청구항들에 제시된 특허권의 범위의 예시가 되나, 이에 제한되지 않는다.

Claims (24)

  1. 구조화된 광 패턴을 볼륨으로 투영하는 단계;
    하나 이상의 물체로부터 반사된 광을 볼륨에서 감지하는 단계;
    감지된 광의 하나 이상의 특징(features)을 기정의된 구조와 상호 연관(correlating)시키는 단계; 및
    상호 연관에 기반하여 감지된 광의 하나 이상의 특징과 각각 관련된 물체에 대한 심도 정보를 결정하는 단계를 포함하며,
    구조화된 광 패턴은 복수의 특징을 갖는 기정의된 구조를 포함하고, 각각의 특징은 기정의된 변화(variation)를 포함하며,
    감지된 광은 구조화된 광 패턴의 기정의된 구조의 하나 이상의 특징을 포함하는 방법.
  2. 제 1 항에 있어서,
    상호 연관에 기반하여 감지된 광의 하나 이상의 특징과 각각 관련된 물체에 대한 심도 정보를 결정하는 단계는:
    상호 연관에 기반하여 감지된 광의 하나 이상의 특징과 관련된 물체에 대한 심도 정보를 획득하도록 볼륨에 포함된 물체를 포함하는 감지 이미지의 대응하는 위치와 감지된 광의 특징 중 적어도 일부를 비교하는 단계를 포함하는 방법.
  3. 제 1 항에 있어서,
    물체에 대한 심도 정보는 물체에 대한 3차원 심도 정보를 포함하는 방법.
  4. 제 1 항에 있어서,
    구조화된 광 패턴의 기정의된 구조의 하나 이상의 특징은 직교 인덱싱(orthogonally indexed)되는 방법.
  5. 제 1 항에 있어서,
    구조화된 광 패턴의 기정의된 구조의 하나 이상의 특징은 강도 레벨(intensity levels)을 포함하는 방법.
  6. 제 1 항에 있어서,
    구조화된 광 패턴의 기정의된 변화는 하나의 차원을 따라 나타나고,
    구조화된 광 패턴은 추가의 차원에 걸쳐 그 추가의 차원을 따라 변하는 추가적인 변화를 더 포함하는 방법.
  7. 제 6 항에 있어서,
    변화 또는 제2 변화는 주기적 강도 변화(cyclical intensity variation)를 포함하는 방법.
  8. 제 7 항에 있어서,
    주기적 강도는: 2단 변화, 3단 변화, 4단 변화, 5단 변화, 6단 변화, 7단 변화 및 8단 변화으로 구성된 그룹에서 선택되는 방법.
  9. 제 6 항에 있어서,
    변화는 차원을 따라 변하는 균일한 피크 강도의 분포를 포함하는 방법.
  10. 제 6 항에 있어서,
    상호 연관에 기반하여 감지된 광의 하나 이상의 특징과 각각 관련된 물체에 대한 심도 정보를 결정하는 단계는:
    기정의된 특징으로부터의 특징의 강도 값과 특징 내 추가적인 제2 변화의 피크 강도 사이의 비율에 기반하여 감지된 광 내 특징과 관련된 물체에 대한 심도 정보를 계산하는 단계를 포함하는 방법.
  11. 제 1 항에 있어서,
    구조화된 광 패턴의 기정의된 구조는 하나의 차원으로 뻗어있는 스트라이핑(striping)을 포함하는 방법.
  12. 제 11 항에 있어서,
    변화는 추가의 차원의 강도 사이클(cycle)을 포함하며, 사이클 내 스트라이프 그룹의 각각의 스트라이프는 각각의 강도로 투영되는 방법.
  13. 제 12 항에 있어서,
    기정의된 구조는 각각의 스트라이프에 따른 강도 변화를 더 포함하며, 따라서 서로 다른 스트라이프의 피크 강도는 서로에 대하여 서로 다른 위치에 있는 방법.
  14. 제 13 항에 있어서,
    상호 연관에 기반하여 감지된 광의 하나 이상의 특징과 각각 관련된 물체에 대한 심도 정보를 결정하는 단계는:
    서로 다른 스트라이프의 피크 강도의 위치에 기반하여 물체에 대한 심도 정보를 결정하는 단계를 포함하는 방법.
  15. 제 12 항에 있어서,
    상호 연관에 기반하여 감지된 광의 하나 이상의 특징과 각각 관련된 물체에 대한 심도 정보를 결정하는 단계는:
    강도의 사이클에 대한 스트라이프의 상대 인덱스(relative index)를 결정하는 단계; 및
    상대 인덱스에 기반하여 물체에 대한 심도 정보를 결정하는 단계를 포함하는 방법.
  16. 제 12 항에 있어서,
    상호 연관에 기반하여 감지된 광의 하나 이상의 특징과 각각 관련된 물체에 대한 심도 정보를 결정하는 단계는:
    강도의 사이클에 대한 스트라이프의 상대 인덱스(relative index)를 결정하는 단계; 및
    상대 인덱스 및 서로 다른 스트라이프의 피크 강도의 위치에 기반하여 물체에 대한 심도 정보를 결정하는 단계를 포함하는 방법.
  17. 광 패턴을 볼륨으로 투영하는 단계;
    광 패턴을 반사하는 상기 볼륨 내 위치를 찾는 단계;
    주기적 강도 변화에 따른 위치에서의 강도와 균일 피크 강도의 분포에 따른 위치에서의 강도 사이의 비율을 결정하는 단계; 및
    결정된 비율을 사용하여 위치에서의 심도를 결정하는 단계를 포함하며,
    광 패턴은 하나의 차원에서의 주기적 강도 변화 및 추가의 차원을 따라 그 추가의 차원에서 변하는 균일한 피크 강도의 분포를 포함하는 방법.
  18. 제 17 항에 있어서,
    광 패턴은 추가의 차원으로 뻗어있는 스트라이프를 포함하는 방법.
  19. 제 18 항에 있어서,
    주기적 강도 변화는 다른 강도를 갖는 스트라이프 그룹의 각각의 스트라이프를 투영하고 적어도 하나의 추가적인 스트라이프 그룹에 대해 서로 다른 강도를 반복하는 것을 포함하는 방법.
  20. 제 19 항에 있어서,
    추가의 차원에 따른 균일한 피크 강도의 분포는 피크 강도를 갖는 스트라이프에 따른 강도의 가우시안 변화(Gaussian variations)를 포함하는 방법.
  21. 제 19 항에 있어서,
    결정된 비율을 사용하여 위치에서의 심도를 결정하는 단계는:
    물체 세크먼트화(object segmentation)를 통해 주기적 강도 변화에 대한 스트라이프의 상대 인덱스를 결정하는 단계; 및
    상대 인덱스, 하나 이상의 스트라이프 내 피크 강도의 위치 및 결정된 비율에 기반하여 위치에서의 심도를 결정하는 단계를 포함하는 방법.
  22. 한 방향으로 강도를 변화시켜 강도 변화의 특징을 갖는 광 빔을 생성하도록 구성된 광원; 및
    상기 광 빔에 상기 방향과 수직 방향으로 강도 특징(intensity features)을 적용하도록 구성된 광학 요소를 포함하는 기기.
  23. 제 22 항에 있어서,
    상기 광학 요소에 의해 적용된 강도 특징에 중첩되는 추가적인 강도 특징을 광 빔에 적용하도록 구성된 추가적인 광학 요소를 더 포함하며,
    추가적인 강도 특징은 그리드 레이아웃(grid layout)으로 적용되고,
    추가적인 광학 요소는 상기 방향에 대하여 상쇄되어 상기 추가적인 강도 특징이 각각의 특징의 서로 다른 위치에 있도록 하는 기기.
  24. 제 22 항에 있어서,
    상기 특징은 스트라이프인 기기.
KR1020177026659A 2015-02-25 2016-02-24 볼륨 내 물체의 심도 맵핑을 위한 광 패턴의 강도 변화의 사용 KR101954855B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562120500P 2015-02-25 2015-02-25
US62/120,500 2015-02-25
PCT/US2016/019375 WO2016138143A1 (en) 2015-02-25 2016-02-24 Using intensity variations in a light pattern for depth mapping of objects in a volume

Publications (2)

Publication Number Publication Date
KR20170120655A true KR20170120655A (ko) 2017-10-31
KR101954855B1 KR101954855B1 (ko) 2019-03-06

Family

ID=56789621

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177026659A KR101954855B1 (ko) 2015-02-25 2016-02-24 볼륨 내 물체의 심도 맵핑을 위한 광 패턴의 강도 변화의 사용

Country Status (6)

Country Link
US (1) US9934574B2 (ko)
EP (2) EP4141793A1 (ko)
JP (1) JP6621836B2 (ko)
KR (1) KR101954855B1 (ko)
CN (1) CN107532885B (ko)
WO (1) WO2016138143A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5926184B2 (ja) * 2009-09-22 2016-05-25 ペブルステック リミテッド コンピュータ装置の遠隔制御
WO2016112019A1 (en) * 2015-01-06 2016-07-14 Oculus Vr, Llc Method and system for providing depth mapping using patterned light
US10066933B2 (en) 2015-05-04 2018-09-04 Facebook, Inc. Camera depth mapping using structured light patterns
US10785393B2 (en) * 2015-05-22 2020-09-22 Facebook, Inc. Methods and devices for selective flash illumination
US9858672B2 (en) 2016-01-15 2018-01-02 Oculus Vr, Llc Depth mapping using structured light and time of flight
US10089738B2 (en) * 2016-08-30 2018-10-02 Microsoft Technology Licensing, Llc Temperature compensation for structured light depth imaging system
US10620316B2 (en) * 2017-05-05 2020-04-14 Qualcomm Incorporated Systems and methods for generating a structured light depth map with a non-uniform codeword pattern
EP3652935B1 (en) * 2017-07-12 2023-10-18 Gentex Corporation Systems and methods for acquiring information from an environment
TWI647661B (zh) * 2017-08-10 2019-01-11 緯創資通股份有限公司 影像深度感測方法與影像深度感測裝置
CN107450190B (zh) * 2017-09-08 2019-12-13 深圳奥比中光科技有限公司 一种衍射光学元件及配制方法
CN107703641B (zh) * 2017-09-08 2019-12-13 深圳奥比中光科技有限公司 一种结构光投影模组和深度相机
US20190220677A1 (en) * 2018-01-17 2019-07-18 GM Global Technology Operations LLC Structured light illumination system for object detection
CN108594454B (zh) 2018-03-23 2019-12-13 深圳奥比中光科技有限公司 一种结构光投影模组和深度相机
US11182914B2 (en) * 2018-05-21 2021-11-23 Facebook Technologies, Llc Dynamic structured light for depth sensing systems based on contrast in a local area
US10877622B2 (en) * 2018-08-29 2020-12-29 Facebook Technologies, Llc Detection of structured light for depth sensing
CN109712350A (zh) * 2019-01-31 2019-05-03 浙江云澎科技有限公司 一种智能识别的自助结算机及其识别方法
JP7251240B2 (ja) * 2019-03-20 2023-04-04 株式会社リコー 光学装置、検出装置及び電子機器
US10890839B1 (en) * 2019-11-06 2021-01-12 Himax Technologies Limited Structured light imaging device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050052015A (ko) * 2003-11-28 2005-06-02 한국전자통신연구원 물체의 반사율 획득 시스템 및 물체 표현 방법
US20130131836A1 (en) * 2011-11-21 2013-05-23 Microsoft Corporation System for controlling light enabled devices
US20140267701A1 (en) * 2013-03-12 2014-09-18 Ziv Aviv Apparatus and techniques for determining object depth in images
KR20140130038A (ko) * 2013-04-30 2014-11-07 에임스 서비시즈 게엠베하 물체표면에 여러 개의 파장을 동시에 투사하는 3차원 측정 장치 및 방법
US20150042680A1 (en) * 2013-08-08 2015-02-12 Pebbles Ltd. Method and device for controlling a near eye display

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3388684B2 (ja) * 1997-03-05 2003-03-24 株式会社オプトン 3次元形状測定方法
US6341016B1 (en) 1999-08-06 2002-01-22 Michael Malione Method and apparatus for measuring three-dimensional shape of object
WO2007105215A2 (en) * 2006-03-14 2007-09-20 Prime Sense Ltd. Depth-varying light fields for three dimensional sensing
US20090189858A1 (en) * 2008-01-30 2009-07-30 Jeff Lev Gesture Identification Using A Structured Light Pattern
WO2011013079A1 (en) * 2009-07-30 2011-02-03 Primesense Ltd. Depth mapping based on pattern matching and stereoscopic information
WO2012020380A1 (en) * 2010-08-11 2012-02-16 Primesense Ltd. Scanning projectors and image capture modules for 3d mapping
TWI435051B (zh) * 2011-03-15 2014-04-21 Largan Precision Co Ltd 位置及深度之檢出裝置及其方法
WO2013109609A2 (en) * 2012-01-17 2013-07-25 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
WO2013131232A1 (en) * 2012-03-05 2013-09-12 Microsoft Corporation Generation of depth images based upon light falloff

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050052015A (ko) * 2003-11-28 2005-06-02 한국전자통신연구원 물체의 반사율 획득 시스템 및 물체 표현 방법
US20130131836A1 (en) * 2011-11-21 2013-05-23 Microsoft Corporation System for controlling light enabled devices
US20140267701A1 (en) * 2013-03-12 2014-09-18 Ziv Aviv Apparatus and techniques for determining object depth in images
KR20140130038A (ko) * 2013-04-30 2014-11-07 에임스 서비시즈 게엠베하 물체표면에 여러 개의 파장을 동시에 투사하는 3차원 측정 장치 및 방법
US20150042680A1 (en) * 2013-08-08 2015-02-12 Pebbles Ltd. Method and device for controlling a near eye display

Also Published As

Publication number Publication date
US9934574B2 (en) 2018-04-03
CN107532885A (zh) 2018-01-02
EP3262439A1 (en) 2018-01-03
KR101954855B1 (ko) 2019-03-06
EP4141793A1 (en) 2023-03-01
US20160253812A1 (en) 2016-09-01
JP2018508019A (ja) 2018-03-22
EP3262439B1 (en) 2022-11-02
EP3262439A4 (en) 2019-02-27
JP6621836B2 (ja) 2019-12-18
CN107532885B (zh) 2020-03-03
WO2016138143A1 (en) 2016-09-01

Similar Documents

Publication Publication Date Title
KR101954855B1 (ko) 볼륨 내 물체의 심도 맵핑을 위한 광 패턴의 강도 변화의 사용
US11652965B2 (en) Method of and system for projecting digital information on a real object in a real environment
EP3788403B1 (en) Field calibration of a structured light range-sensor
US11625845B2 (en) Depth measurement assembly with a structured light source and a time of flight camera
KR101605224B1 (ko) 패턴 광을 이용한 깊이 정보 획득 장치 및 방법
US9947098B2 (en) Augmenting a depth map representation with a reflectivity map representation
JP5643645B2 (ja) 有形物の形状の3次元測定のためのシステム及び方法
US10475196B2 (en) Hybrid depth detection and movement detection
US9842407B2 (en) Method and system for generating light pattern using polygons
US11533466B2 (en) Active stereo matching for depth applications
CN103376897A (zh) 用于确定在所投影的图像的光锥中执行的手势的方法和设备
KR101913179B1 (ko) 적외선 센싱 발판 장치, 이를 이용한 2차원 영상 검출 방법 및 프로그램
KR101907057B1 (ko) 구면 모델링을 통한 깊이 정보 보정 방법과 보정장치
Chien et al. Adaptive 3d reconstruction system with improved recovery of miscoded region to automatically adjust projected light patterns
EP3104209A2 (en) Method and system for generating light pattern using polygons
TW201301078A (zh) 體感偵測方法
Kraus Wireless Optical Communication: Infrared, Time-Of-Flight, Light Fields, and Beyond
Ahn et al. A Three-Dimensional Fingertip Interface

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant