KR20150067250A - 사용자 인터페이스를 위한 터치리스 입력 - Google Patents

사용자 인터페이스를 위한 터치리스 입력 Download PDF

Info

Publication number
KR20150067250A
KR20150067250A KR1020157011305A KR20157011305A KR20150067250A KR 20150067250 A KR20150067250 A KR 20150067250A KR 1020157011305 A KR1020157011305 A KR 1020157011305A KR 20157011305 A KR20157011305 A KR 20157011305A KR 20150067250 A KR20150067250 A KR 20150067250A
Authority
KR
South Korea
Prior art keywords
depth
pixels
pixel
depth maps
cursor
Prior art date
Application number
KR1020157011305A
Other languages
English (en)
Inventor
구루 헤그드
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20150067250A publication Critical patent/KR20150067250A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Abstract

일련의 깊이 맵이 장면을 이미지화한다. 각각의 깊이 맵은 복수의 픽셀을 포함하고, 각각의 픽셀은 그 픽셀에 의해 이미지화된 표면의 깊이를 정의한다. 일련의 깊이 맵 내의 가장 얕은 깊이를 갖는 비정적 픽셀의 세트가 식별된다. 이러한 비정적 픽셀의 세트의 위치는 커서 위치로 매핑된다.

Description

사용자 인터페이스를 위한 터치리스 입력{TOUCHLESS INPUT FOR A USER INTERFACE}
손가락 기반의 터치 입력 기술은, 사용자가 터치 스크린에 의해 디스플레이되는 사용자 인터페이스 객체와 직접적으로 상호 작용하도록 허용한다. 그러나, 이와 같은 터치 입력 기술을 효과적으로 구현하는 것은 몇 가지 도전 과제를 제시한다. 예를 들어, 손가락이 사용자 인터페이스의 측면을 시각적으로 가릴 수 있다. 다른 예로서, 손가락 패드는 비교적 큰 표면이고, 단일 점으로 이러한 표면을 해상하는 것은 어려울 수 있다.
이 요약은 아래의 상세한 설명에서 더욱 기술되는 선택의 개념을 간략화된 형태로 소개하기 위해서 제공된다. 이 요약은 특허청구되는 대상의 중요 특징 또는 필수 특징을 식별하기 위한 것이 아니고, 특허청구되는 대상의 범위를 제한하기 위해 이용되는 것도 아니다. 더욱이, 특허청구되는 대상은 본 발명개시의 임의의 부분에 언급된 임의의 단점 또는 모든 단점을 해결하는 구현예로 제한되지 않는다.
일련의 깊이 맵은 장면을 이미지화한다. 각각의 깊이 맵은 복수의 픽셀을 포함하고, 각각의 픽셀은 그 픽셀에 의해 이미지화된 표면의 깊이를 정의한다. 일련의 깊이 맵 내의 가장 얕은 깊이를 갖는 비정적(nonstatic) 픽셀의 세트가 식별된다. 이러한 비정적 픽셀의 세트의 위치는 커서 위치로 매핑된다.
도 1a 및 도 1b는 본 발명개시의 실시예에 따라, 인간 대상의 일부분을 이미지화하는 예시적인 터치리스 입력 시스템을 도시한다.
도 2는 본 발명개시의 실시예에 따라 골격 추적 파이프라인의 비제한적 예를 개략적으로 도시한다.
도 3은 본 발명개시의 실시예에 따라 터치리스 입력을 수신하는 방법을 도시한다.
도 4는 본 발명개시의 실시예에 따라 깊이 맵의 시각적 표현을 개략적으로 도시한다.
도 5는 본 발명개시의 실시예들에 따라, 다양한 커서 매핑 전략을 도시한다.
도 6은 본 발명개시의 실시예에 따라 깊이 맵의 다른 시각적 표현을 개략적으로 도시한다.
도 7은 본 발명개시의 실시예에 따라 깊이 맵의 또 다른 시각적 표현을 개략적으로 도시한다.
도 8a 및 도 8b는 본 발명개시의 실시예들에 따라, 다양한 커서 매핑 전략을 도시한다.
도 9는 본 발명개시의 실시예에 따라 터치리스 입력을 수신하는 다른 방법을 도시한다.
도 10은 본 발명개시의 실시예에 따라 손가락을 모델링하는 방법을 도시한다.
도 11은 본 발명개시의 실시예에 따라 터치리스 입력을 수신하는 다른 방법을 도시한다.
도 12는 본 발명개시의 실시예에 따라 컴퓨팅 디바이스를 도시한다.
본 발명개시는 터치리스 입력을 시각적으로 검출하는 것에 관한 것이다. 아래에서 보다 상세히 기술되는 바와 같이, 깊이 카메라 및/또는 다른 소스를 포함하는 추적 시스템이 한 명 이상의 인간 대상을 포함하는 장면을 이미지화하는 하나 이상의 깊이 맵을 수신하는데 이용된다. 하나 이상의 깊이 맵의 픽셀은 가장 얕은 깊이를 갖는 비정적 픽셀을 식별하기 위해 분석된다. 그런 다음, 비정적 픽셀(들)의 위치는 커서 위치로 매핑된다. 이런 식으로, 지시 손가락의 위치는 디스플레이 디바이스 상의 커서의 위치를 제어하는데 이용될 수 있다. 터치리스 입력이 또한 커서 동작 및 멀티터치 제스처(multitouch gesture)를 제어하기 위해 수신 및 해석될 수 있다.
도 1a 및 도 1b는 터치리스 입력 시스템(100)의 비제한적 예를 도시한다. 특히, 도 1a 및 도 1b는 사용자(104)로부터 터치리스 입력을 수신하는데 이용될 수 있는 컴퓨팅 디바이스(102)를 도시한다. 본 명세서에서 이용되는 바와 같이, "터치리스 입력"은 스크린을 물리적으로 접촉하도록 요구하지 않는 입력(예컨대, 손가락 포인팅)이다.
컴퓨팅 디바이스(102)는 통합된 디스플레이 스크린(106)을 포함하고, 이는 컴퓨팅 디바이스에 의해 제공된 컴퓨팅 기능에 대응하는 시각 정보(visual)를 표시하는데 이용될 수 있다. 다른 실시예들에서, 디스플레이 스크린은 컴퓨팅 디바이스의 주변 장치일 수 있다. 컴퓨팅 디바이스는 본 발명개시의 범위로부터 벗어나지 않고, 사실상 임의의 컴퓨팅 기능을 제공하도록 다양하게 구성될 수 있다. 더욱이, 컴퓨팅 디바이스(102)는 태블릿 컴퓨팅 디바이스의 형태로 예시되었지만, 터치리스 입력은 형태에 상관없이, 사실상 임의의 유형의 컴퓨팅 디바이스 상에서 구현될 수 있다는 것을 이해해야 한다.
일부 실시예들에서, 터치리스 입력은 추적 시스템(108)에 의해 수신될 수 있다. 예시된 예에서, 추적 시스템(108)은 깊이 카메라(110) 및 가시 광선 카메라(112)를 포함한다. 추적 시스템(108)은 컴퓨팅 디바이스(102) 내에 하우징된 것으로서 도시되었지만, 다른 실시예에서 주변 장치로서 외부에서 제공될 수 있다. 추적 시스템(108)은 사용자(104)를 시각적으로 모니터링 및/또는 추적하는데 이용될 수 있다.
터치리스 입력 시스템은 한 명 이상의 인간 사용자[예컨대, 사용자(104)] 및/또는 물리적 객체(예컨대, 입력 스타일러스)를 인식, 분석, 및/또는 추적하는데 이용될 수 있다. 도 1a 및 도 1b는 손에 의해 만들어진 움직임이 컴퓨팅 디바이스(102)에 의해 해석될 수 있도록, 추적 시스템(108)이 사용자(104)의 손을 추적하는 시나리오를 도시한다. 특히, 사용자(104)의 움직임은 컴퓨팅 디바이스(102)에 영향을 미치는데 이용될 수 있는 제어로서 해석된다.
도 1a 및 도 1b에 도시된 예시적인 시나리오는 디스플레이 스크린(106) 상에서 디스플레이되는 그래픽 사용자 인터페이스(graphical user interface; GUI, 114)를 탐색하는 사용자(104)를 도시한다. 구체적으로, 도 1a는 추적 시스템(108)을 통해 물리적 공간에서 사용자(104)의 위치를 추적하는 컴퓨팅 디바이스(102)를 도시한다. 컴퓨팅 디바이스(102)는 손가락의 물리적 공간 위치를 GUI에서 커서(116)의 위치로 매핑한다. 도 1b는 컴퓨팅 디바이스(102)가 손가락 위치를 계속해서 추적함에 따라, 사용자(104)가 손가락을 움직임으로써 폴더(118) 쪽으로 커서(116)를 움직일 수 있다는 것을 도시한다.
사용자(104)에 의해 만들어지는 다른 움직임은 다른 제어로서 해석될 수 있다. 비제한적 예로서, 사용자(104)는 클릭 및 드래그 동작을 비롯한, 복수의 커서 동작을 수행할 수 있다. 게다가, 사용자(104)는 줌(zooming) 및 패닝(panning)과 같은 멀티터치 제스처를 비롯한, 커서에 관련되지 않은 다른 동작들을 수행할 수 있다. GUI(114)가 예로서 제공되었지만, 사실상 임의의 GUI 및/또는 컴퓨팅 디바이스의 다른 양태는 본 명세서에 기술된 터치리스 입력으로 제어될 수 있다는 것이 이해될 것이다.
인간이 아닌 객체가 모델링 및/또는 추적될 수 있다. 이와 같은 객체는 인간 대상과 관계없이 모델링되고 추적될 수 있다. 예를 들어, 스타일러스를 들고 있는 사용자의 모션(motion) 및/또는 스타일러스 그 자체의 모션이 추적될 수 있다.
도 2는 간략화된 추적 파이프라인(200)을 사실적으로 도시하고, 이를 이용하여 컴퓨팅 디바이스는 터치리스 입력을 수신할 수 있다. 설명의 간략화를 위해, 파이프라인(200)은 도 1a 및 도 1b의 터치리스 입력 시스템(100)을 참조하여 기술된다. 그러나, 파이프라인(200)은 본 발명개시의 범위로부터 벗어나지 않고, 임의의 적합한 컴퓨팅 디바이스 상에 구현될 수 있다. 예를 들어, 파이프라인(200)은 도 12의 컴퓨팅 디바이스(1200) 상에 구현될 수 있다. 더욱이, 파이프라인(200)과는 상이한 터치리스 입력을 수신하기 위한 방법 또는 파이프라인이 본 발명개시의 범위로부터 벗어나지 않고 이용될 수 있다.
202에서, 도 2는 추적 시스템(108)의 관점으로 사용자(104)를 도시한다. 추적 시스템(108)과 같은, 추적 시스템은 사용자(104)와 같은, 인간 대상을 관찰하도록 구성된 하나 이상의 센서를 포함할 수 있다.
204에서, 도 2는 추적 시스템(108)과 같은, 추적 시스템에 의해 수집된 관찰 데이터의 개략도(206)를 도시한다. 수집된 관찰 데이터의 유형은, 추적 시스템에 포함된 센서의 수 및 유형에 따라 달라질 것이다. 예시된 예에서, 추적 시스템은 깊이 카메라 및 가시 광선(예컨대, 컬러) 카메라를 포함한다.
깊이 카메라는, 깊이 카메라의 각각의 픽셀마다, 깊이 카메라에 관해 관찰된 장면의 표면의 깊이를 결정할 수 있다. 도 2는 컴퓨팅 디바이스(102)의 깊이 카메라의 DPixel[v,h]에 대해 관찰된 3차원 x/y/z 좌표(208)를 개략적으로 도시한다. 유사한 3차원 x/y/z 좌표가 깊이 카메라의 모든 픽셀에 대해 기록될 수 있다. 모든 픽셀에 대한 3차원 x/y/z 좌표는 총괄하여 깊이 맵을 구성한다. 3차원 x/y/z 좌표는 본 발명개시의 범위로부터 벗어나지 않고 임의의 적합한 방식으로 결정될 수 있다. 예시적인 깊이 발견 기술이 도 12를 참조하여 더욱 상세하게 논의된다.
가시 광선 카메라가 포함된 경우, 가시 광선 카메라는 가시 광선 카메라의 각각의 픽셀마다, 하나 이상의 광 채널(예컨대, 레드, 그린, 블루, 그레이스케일 등)에 대해 관찰된 장면에서 표면의 상대적 광 강도를 결정할 수 있다. 도 2는 추적 시스템(108)의 가시 광선 카메라의 V-LPixel[v,h]에 대해 관찰된 레드/그린/블루 컬러값(210)을 개략적으로 도시한다. 유사한 레드/그린/블루 컬러값이 가시 광선 카메라의 모든 픽셀에 대해 기록될 수 있다. 모든 픽셀에 대한 레드/그린/블루 컬러값은 총괄하여 디지털 컬러 이미지를 구성한다. 레드/그린/블루 컬러값은 본 발명개시의 범위로부터 벗어나지 않고 임의의 적합한 방식으로 결정될 수 있다. 예시적인 컬러 이미징 기술이 도 12를 참조하여 더욱 상세하게 논의된다.
깊이 카메라 및 가시 광선 카메라는 동일한 해상도를 가질 수 있지만, 이것은 요구되지 않는다. 카메라들이 동일한 해상도를 갖던지 상이한 해상도를 갖던지, 가시 광선 카메라의 픽셀은 깊이 카메라의 픽셀에 등록될 수 있다. 이런 식으로, 컬러 및 깊이 정보는, 가시 광선 카메라 및 깊이 카메라로부터 등록된 픽셀(예컨대, V-LPixel[v,h] 및 DPixel[v,h])을 고려함으로써, 관찰 장면의 각각의 부분마다 결정될 수 있다.
수집된 데이터는, 깊이 카메라에 의해 이미지화된 모든 픽셀들에 대한 3차원 x/y/z 좌표, 및/또는 가시 광선 카메라에 의해 이미지화된 모든 픽셀들에 대한 레드/그린/블루 컬러값을 포함하는 하나 이상의 매트릭스를 포함하지만 이에 제한되는 것은 아닌, 사실상 임의의 적합한 데이터 구조(들)의 형태를 취할 수 있다. 도 2가 단일 프레임을 도시하였지만, 인간 대상은 계속해서 (예를 들어, 초당 30 프레임으로) 관찰되고 모델링될 수 있다는 것이 이해될 것이다. 따라서, 데이터는 이와 같은 관찰된 프레임마다 수집될 수 있다. 수집된 데이터는 아래에 기술되는 바와 같이 더욱 분석되고 및/또는 하나 이상의 애플리케이션 프로그래밍 인터페이스( Application Programming Interface; API)를 통해 이용 가능하게 만들어질 수 있다.
추적 시스템 및/또는 협력 컴퓨팅 디바이스는 관찰된 깊이 맵에서의 비타겟(non-target) 요소로부터 추적될 다른 타겟 및/또는 인간 대상을 구별하기 위해 깊이 맵을 선택적으로 분석할 수 있다. 깊이 맵의 각각의 픽셀은 특정 타겟 또는 비타겟 요소를 이미지화함으로써 그 픽셀을 식별하는 대상 인덱스(214)가 할당될 수 있다. 예로서, 제 1 대상에 대응하는 픽셀은 1과 같은 대상 인덱스가 할당될 수 있고, 제 2 대상에 대응하는 픽셀은 2와 같은 대상 인덱스가 할당될 수 있으며, 타겟 대상에 대응하지 않는 픽셀은 0과 같은 대상 인덱스가 할당될 수 있다. 이와 같은 대상 인덱스는 본 발명개시의 범위로부터 벗어나지 않고 임의의 적합한 방식으로 결정, 할당, 및 저장될 수 있다.
추적 시스템 및/또는 협력 컴퓨팅 시스템은 각각의 픽셀이 대상의 신체의 어느 부분을 이미지화할 가능성이 있는지를 결정하기 위해서 인간 대상의 깊이 맵의 픽셀을 선택적으로 더욱 분석할 수 있다. 특정 픽셀이 인간 대상의 신체의 어떤 부분을 이미지화할 가능성이 있는지를 평가하기 위해 다양한 상이한 신체 부분 할당 기술이 이용될 수 있다. 적절한 대상 인덱스를 갖는 깊이 맵의 각각의 픽셀은 신체 부분 인덱스(216)가 할당될 수 있다. 신체 부분 인덱스는, 픽셀이 이미지화할 가능성이 있는 신체 부분, 또는 부분들을 나타내는 이산 식별자, 신뢰도 값 및/또는 신체 부분 확률 분포를 포함할 수 있다. 신체 부분 인덱스는 본 발명개시의 범위로부터 벗어나지 않고 임의의 적합한 방식으로 결정, 할당, 및 저장될 수 있다.
하나의 비제한적 예로서, 각각의 픽셀에 신체 부분 인덱스 및/또는 신체 부분 확률 분포를 할당하기 위해서 기계 학습이 이용될 수 있다. 기계 학습 방식은 알려진 자세의 사전 훈련된 수집으로부터 학습된 정보를 이용하여 인간 대상을 분석한다. 다시 말해서, 감시된 훈련 단계 동안, 다양한 상이한 사람들은 다양한 상이한 자세로 관찰되고, 인간 트레이너들은 관찰된 데이터의 상이한 기계 학습 분류를 라벨링하는 지상 검증자료 주석(ground truth annotation)을 제공한다. 관찰된 데이터 및 주석은 입력(예컨대, 추적 시스템으로부터의 관찰 데이터)을 원하는 출력(예컨대, 관련 픽셀에 대한 신체 부분 인덱스)으로 매핑하는 하나 이상의 기계 학습 알고리즘을 생성하는데 이용된다.
218에서, 도 2는 사용자(104)의 기계 판독 가능 표현의 역할을 하는 가상 골격(220)의 개략도를 도시한다. 가상 골격(220)은 스무 개의 가상 관절 - {머리, 어깨 센터, 척추, 엉덩이 센터, 오른쪽 어깨, 오른쪽 팔꿈치, 오른쪽 손목, 오른쪽 손, 왼쪽 어깨, 왼쪽 팔꿈치, 왼쪽 손목, 왼쪽 손, 오른쪽 엉덩이, 오른쪽 무릎, 오른쪽 발목, 오른쪽 발, 왼쪽 엉덩이, 왼쪽 무릎, 왼쪽 발목, 및 왼쪽 발}을 포함한다. 이러한 스무 개의 가상 관절은 비제한적인 예로서 제공된다. 본 발명개시에 따른 가상 골격은 사실상 임의의 수의 관절을 가질 수 있다. 특히, 아래에 기술된 바와 같이, 가상 골격은 하나 이상의 손가락 관절을 포함할 수 있다.
다양한 골격 관절은 인간 대상의 실제 관절, 인간 대상의 신체 부분의 도심(centroid), 인간 대상의 손발의 말단, 및/또는 인간 대상에 대한 직접적인 해부학 연결 없는 점에 대응할 수 있다. 각각의 관절은 적어도 3개의 자유도(예컨대, 세계 공간 x/y/z)를 갖는다. 이와 같이, 가상 골격의 각각의 관절은 3차원 위치로 정의된다. 예를 들어, 왼쪽 어깨 가상 관절(222)은 x 좌표 위치(223), y 좌표 위치(224), 및 z 좌표 위치(225)로 정의된다. z 좌표 위치(225)는 왼쪽 어깨 가상 관절(222)의 깊이를 인코딩할 수 있다. 관절의 위치는 임의의 적합한 원점에 관하여 정의될 수 있다. 일례로서, 추적 시스템이 원점의 역할을 할 수 있고, 모든 관절 위치는 추적 시스템에 관하여 정의된다. 관절은 본 발명개시의 범위로부터 벗어나지 않고 임의의 적합한 방식으로 3차원 위치로 정의될 수 있다.
다양한 기술이 각각의 관절의 3차원 위치를 결정하는데 이용될 수 있다. 골격 피팅 기술은 인간 대상을 면밀하게 모델링하는 하나 이상의 골격(들)을 추론하기 위해서 깊이 정보, 컬러 정보, 신체 부분 정보, 및/또는 사전 훈련된 해부학상 및 운동 정보를 이용할 수 있다. 하나의 비제한적인 예로서, 앞서 기술된 신체 부분 인덱스는 각각의 골격 관절의 3차원 위치를 발견하는데 이용될 수 있다.
관절 위치 및/또는 다른 정보는 임의의 적합한 데이터 구조(들)로 인코딩될 수 있다. 더욱이, 임의의 특정 관절과 연관된 위치 및/또는 다른 파라미터들은 하나 이상의 API들을 통해 이용 가능하게 만들어질 수 있다.
도 3은 터치리스 입력을 수신하기 위한 방법(300)을 도시한다. 방법(300)은, 예를 들어, 터치리스 입력 시스템(100)에 의해 수행될 수 있다. 302에서, 장면을 이미지화하는 일련의 깊이 맵이 수신된다. 장면은 한 명 이상의 인간 사용자들 및/또는 한 개 이상의 물리적 객체들을 포함할 수 있다. 도 2를 참조하여 앞서 기술된 바와 같이, 일련의 깊이 맵에서 각각의 깊이 맵은 복수의 픽셀을 포함할 수 있고, 복수의 픽셀 각각은 그 픽셀에 의해 이미지화된 표면의 깊이를 정의한다.
304에서, 일련의 깊이 맵 내의 가장 얕은 깊이를 갖는 비정적 픽셀의 세트가 식별된다. 다시 말해서, 방법(300)은 일련의 깊이 맵에 걸쳐 실질적으로 변경되는 하나 이상의 픽셀을 식별하고, 또한 디스플레이 또는 추적 시스템과 같은 기준에 가장 가까운 하나 이상의 비정적 픽셀의 세트를 식별한다.
도 4는 깊이 맵(400)을 개략적으로 도시한다. 깊이 맵은 장면을 이미지화하고, 이는 이 예에서 사용자(104)의 손을 포함한다. 깊이 맵은 복수의 픽셀, 예를 들어, 픽셀(408)을 포함한다. 픽셀(408)은 사용자(104)의 집게 손가락의 표면을 이미지화하고, 그 표면의 깊이를 정의한다. 도 4는 또한 픽셀(408)을 위해 인코딩된 3차원 x/y/z 좌표(410)를 개략적으로 도시한다. 도 4는 단일 깊이 맵을 도시하지만, 깊이 맵(400)은 일련의 깊이 맵 중 하나일 수 있다는 것이 이해될 것이다.
깊이 맵의 비정적 픽셀은 본 발명개시의 범위로부터 벗어나지 않고 다수의 방식으로 정의될 수 있다. 일례에서, 픽셀의 깊이(예컨대, x/y/z 좌표에서 z 좌표 위치)가 적어도 문턱값량(깊이 카메라로부터 잡음 및/또는 다른 오류에 대해 만들어진 허용량을 포함함)만큼 변경되면, 그 픽셀은 비정적 픽셀로서 식별된다. 예를 들어, 깊이 차이값은 제 2 깊이 맵의 픽셀의 깊이를 제 1 깊이 맵의 동일 픽셀의 깊이로부터 차감함으로써 연이은(consecutive) 깊이 맵의 픽셀에 대해 정의될 수 있다. 그 픽셀에 대한 차이값이 문턱값 미만이면, 그 픽셀이 정적 픽셀로서 식별되도록 문턱값이 확립될 수 있다. 반대로, 픽셀에 대한 차이값이 문턱값 이상이면, 그 픽셀은 비정적 픽셀로서 식별된다. 이런 식으로, 터치리스 입력 시스템(100)은 인간 대상의 이동 부분 또는 이동 객체(예컨대, 입력 스타일러스)에 대응하는 비정적 픽셀을 식별할 수 있다.
비정적 픽셀을 식별하기 위한 다른 방법이 본 발명개시의 범위로부터 벗어나지 않고 이용될 수 있다. 예를 들어, 일부 실시예들에서, 컬러값이 또한 평가되어 문턱값량 이상으로 컬러를 변경하는 픽셀을 결정할 수 있다.
터치리스 입력 시스템(100)은 일련의 깊이 맵에서 가장 얕은 깊이를 갖는 비정적 픽셀의 세트를 더욱 식별할 수 있다. 다시 말해서, 디스플레이 또는 일부 다른 기준에 가장 가까운 비정적 픽셀이 식별될 수 있다. 터치리스 입력 시스템(100)은 먼저 비정적 픽셀을 식별하고, 그런 다음 가장 얕은 깊이를 갖는 픽셀을 식별할 수 있다. 대안적으로, 시스템은 먼저 가장 얕은 깊이를 갖는 픽셀을 식별하고, 그런 다음 비정적인 픽셀을 식별할 수 있다.
비정적 픽셀은 다수의 기준에 기초하여 가장 얕은 깊이를 갖는 것으로서 식별될 수 있다. 일례에서, 일련의 깊이 맵에서 가장 얕은 깊이를 갖는 비정적 픽셀은 식별되고, 이는 같은 가장 얕은 깊이를 공유하는 두 개 이상의 비정적 픽셀이 없는 것으로 가정한다. 이와 같은 경우, 비정적 픽셀의 세트는 하나의 단일 픽셀을 포함한다. 대안적으로, 하나 이상의 비정적 픽셀은 가장 얕은 깊이를 갖는 비정적 픽셀의 세트로서 식별될 수 있다. 이 예에서, 가장 얕은 깊이를 갖는 픽셀(즉, 디스플레이 또는 다른 기준에 가장 가까운 픽셀)은 식별되고, 문턱값은 그 깊에 기초하여 확립된다. 이러한 깊이 맵의 문턱값 내의 깊이를 갖는 인접한 비정적 픽셀이 또한 가장 얕은 깊이를 갖는 비정적 픽셀의 세트에 할당될 수 있다. 또 다른 실시예에서, 가장 얕은 깊이를 갖는 픽셀은 식별되고, 하나 이상의 이웃 픽셀들이 가장 얕은 깊이를 갖는 비정적 픽셀의 세트에 추가될 수 있다. 이 예에서, 비정적 픽셀의 세트는 복수의 인접한 픽셀들을 포함한다. 이와 같은 시나리오가 도 4에 나타나고, 여기서 픽셀(408)은 가장 얕은 깊이를 갖는 것으로서 식별된다. 세 개의 이웃하는 픽셀들이 또한 가장 얕은 깊이를 갖는 비정적 픽셀의 세트에 포함되고, 네 개의 픽셀들은 함께 비정적 픽셀의 인접한 세트(412)를 형성한다.
일부 실시예들에서, 특정 객체(예컨대, 손가락)를 이미지화하는 비정적 픽셀의 세트는 연이은 다수의 깊이 맵에 걸쳐 추적될 수 있다. 객체를 추적하는 특정 픽셀은 하나의 프레임에서부터 다음 프레임으로 변경될 수 있지만, 휴리스틱(heuristics)이 픽셀의 어떤 세트가 각각의 프레임에서의 객체를 이미지화하는 것인지를 결정하는데 이용될 수 있다. 일부 실시예들에서, 픽셀이 일련의 깊이 맵에서 연이은 다수의 깊이 맵에 걸쳐 문턱값에 대해 가장 얕은 깊이를 유지하면, 객체를 이미지화하는 비정적 픽셀의 세트는 오직 가장 얕은 깊이를 갖는 비정적 픽셀의 세트로서 식별될 것이다. 이런 식으로, 잡음으로 인한 부정확을 피할 수 있다.
가장 얕은 깊이를 갖는 비정적 픽셀의 새로운 세트가 식별되더라도, 하나의 비정적 픽셀의 세트가 일련의 깊이 맵에 걸쳐 계속적으로 추적될 수 있다. 이런 식으로, 하나 이상의 손가락 및/또는 다른 객체가 추적 및 분석될 수 있다(예컨대, 멀티터치 제스처를 해석하기 위해서).
도 3으로 돌아가면, 306에서, 방법(300)은 비정적 픽셀의 식별된 세트의 위치를 커서의 위치로 매핑하는 것을 포함한다. 방법(300)은, 예를 들어, 사용자 손가락의 물리적 공간 위치를 커서(116)의 위치로 매핑할 수 있다. 이런 식으로, 지시 손가락의 위치는 디스플레이 디바이스 상의 커서의 위치를 제어하는데 이용될 수 있다.
일부 실시예들에서, 가장 얕은 깊이를 갖는 단일 비정적 픽셀의 위치가 커서의 위치로 매핑된다. 대안적으로, 다수의 픽셀들의 위치의 평균이 커서의 위치로 매핑될 수 있다.
예시적인 실시예에서, 사용자 손가락 및 손은 추적 시스템에 비교적 가깝게 배치되는 것으로 가정한다. 추적 시스템 및 디스플레이 디바이스가 컴퓨팅 디바이스 내에 함께 하우징되면, 비정적 픽셀의 세트에 의해 이미지화된 표면은 커서 위치에서 커서를 디스플레이하는 디스플레이 디바이스에 근접한 손가락이다. 하나의 비제한적인 예로서, 디스플레이 디바이스가 사용자의 손에 닿는 곳에 있으면, 손가락은 디스플레이 디바이스에 근접한 것으로 고려될 수 있다.
사용자의 손가락이 디스플레이 디바이스에 근접한 일부 전략에서, 커서는 가능한 한 실제의 손가락 위치에 가까운 커서 위치로 매핑될 수 있다.
도 5는 이와 같은 시나리오를 나타낸다. 사용자(104)의 손이 커서(502)와 함께 점선으로 도시되어 있다. 그러나, 커서(502)는 사용자의 시야로부터 가려진다.
커서의 가림 및 다른 사용자 인터페이스 요소는 커서의 위치를 손가락으로부터 떨어진 곳으로 시프트시킴으로써 완화될 수 있다. 도 5는 시프트된 커서(504)를 도시하고, 이 위치는 사용자(104)의 손가락의 물리적 공간 위치로부터 떨어진 곳으로 시프트된 것이다.
비정적 픽셀의 세트는 또한 커서 위치에서 커서를 디스플레이하는 디스플레이 디바이스에 근접하지 않은 손가락의 표면을 이미지화할 수 있다. 하나의 비제한적인 예로서, 디스플레이 디바이스가 사용자의 손에 닿는 곳에 있지 않으면, 손가락은 디스플레이 디바이스에 근접한 것으로 고려될 수 없다. 디스플레이 디바이스에 근접하지 않은 표면은 외부, 주변 추적 시스템에 의해 이미지화될 수 있고, 예를 들어, 이는 추적 시스템이 컴퓨팅 디바이스 내에 하우징되지 않은 경우일 수 있다.
비정적 픽셀의 세트의 위치를 커서 위치로 매핑하는 것은, 매핑 함수에 의해 제어될 수 있다. 매핑 함수는 손가락 및/또는 입력 디바이스의 움직임을 커서 위치로 매핑하는 방법을 제어하는 스케일 속성(scale attribute)을 포함할 수 있다. 손가락이 입력을 공급하는데 이용되는 경우, 스케일 속성은, 예를 들어, 손가락이 물리적 공간을 통해 이동함에 따라 커서 움직임의 속도를 제어하는 감도 속성일 수 있다.
매핑 함수의 일 실시예가 도 6에 나타난다. 제 1 손(602) 및 제 2 손(604)을 포함하는 장면을 이미지화하는 깊이 맵(600)이 개략적으로 도시된다. 제 1 손(602)을 이미지화하는 비정적 픽셀에 대응하는 210의 깊이는 매핑 함수의 스케일을 확립하는데 이용된다. 제 1 손(602)은 추적 시스템에 비교적 근접하므로, 매핑 함수의 스케일은 이에 따라 높게 설정될 수 있다. 손가락이 물리적 공간을 통해 이동함에 따라, 하이(high) 스케일은 커서가 비교적 빠른 속도로 이동하도록 야기할 수 있다. 반대로, 제 2 손(604)은 제 1 손(602)보다 추적 시스템으로부터 훨씬 멀리 있고, 이에 따라 더욱 높은 깊이를 갖는 비정적 픽셀과 연관된다. 이러한 비정적 픽셀은 스케일을 로우(low)로 설정할 수 있고, 이는 손가락이 물리적 공간을 통해 이동함에 따라, 커서가 비교적 느린 속도로 이동하도록 야기할 수 있다. 다른 실시예에서, 스케일은 훨씬 멀리 있는 손가락이 비교적 가까운 손가락보다 빨리 커서를 움직이도록 설정될 수 있다. 하나 이상의 픽셀들의 깊이는 선형 또는 비선형 함수를 이용하여 스케일을 설정하는데 이용될 수 있다.
도 7은 매핑 함수의 스케일이 비정적 픽셀의 세트의 크기에 기초하여 설정될 수 있는 방법을 나타낸다. 예시된 예에서, 제 1 손(602) 및 제 2 손(604)을 이미지화하는 깊이 맵(700)이 개략적으로 도시된다. 제 1 손(602)에 대응하는 비정적 픽셀의 세트는 네 개의 픽셀을 포함하지만, 제 2 손(602)에 대응하는 비정적 픽셀의 세트는 두 개의 픽셀을 포함한다. 따라서, 매핑 함수는 비정적 픽셀의 세트의 크기의 함수로서 변경되는 스케일을 가질 수 있다. 비정적 픽셀의 세트의 크기는 본 발명개시의 범위로부터 벗어나지 않고 사실상 임의의 방식으로 결정될 수 있다. 하나의 비제한적인 예로서, 크기는 비정적 픽셀의 전체 수를 컴퓨팅함으로써 결정될 수 있다. 대안적으로, 크기는 비정적 픽셀의 세트의 주변 둘레에 원형 개구부[예컨대, 개구부(702 및 704)]를 피팅하고, 그 직경을 계산함으로써 결정될 수 있다.
또 다른 실시예에서, 매핑 함수의 스케일은, 사용자 손의 어떤 손가락이 가장 얕은 깊이를 갖는 비정적 픽셀의 세트에 대응하는 것으로서 식별되는지에 기초하여 결정될 수 있다. 예를 들어, 터치리스 입력 시스템(100)은 사용자의 두 개 이상의 손가락을 식별하고, 각각의 손가락에 상이한 스케일을 설정할 수 있다. 이런 식으로, 사용자는 손가락들을 번갈아 이용함으로써 커서 감도 및 움직임을 동적으로 용이하게 제어할 수 있다.
도 8a 및 도 8b는 사용자에 의해 제어되는 커서의 감도에 대응하는 변화를 발생시키는, 매핑 함수의 스케일을 변경시킬 수 있는 방법을 더욱 나타낸다. 도 8a에서, 사용자(104)는 컴퓨팅 디바이스(102)로부터 비교적 멀리 떨어진 곳으로 손을 배치한다. 이에 따라, 매핑 함수의 스케일은 로우로 설정되고, 이는 커서의 움직임을 느리고 정확하게 만든다. 이러한 로우 스케일은 개구부(802)로 표현되고, 이는 비교적 작은 직경을 갖는다. 도 8b에서, 사용자(104)는 컴퓨팅 디바이스(102)에 비교적 가깝게 손을 움직였다. 이에 따라, 매핑 함수의 스케일은 하이로 설정되고, 이는 커서의 움직임을 빠르게 만든다. 이러한 하이 스케일은 개구부(804)로 표현되고, 이는 비교적 큰 직경을 갖는다. 이런 식으로, 사용자는 커서 감도의 연속을 통해 매끄럽게 전이할 수 있다. 예시적인 스케일링이 예로서 제공되었지만, 사실상 임의의 스케일링 함수가 본 발명개시의 범위로부터 벗어나지 않고 이용될 수 있다는 것이 이해될 것이다. 예를 들어, 손가락이 훨씬 멀리 있는 경우 커서가 더욱 빨리 움직이도록 하는 스케일링 함수가 이용될 수 있다.
터치리스 입력 시스템(100)은 커서 위치 및 감도 이외의 컴퓨팅 양태를 제어할 수 있다. 앞서 기술된 바와 같이 연이은 다수의 깊이 맵에 걸쳐 비정적 픽셀의 세트를 추적함으로써, 그 추적된 픽셀의 세트와 연관된 하나 이상의 파라미터(예컨대, 깊이)가 평가되고 사실상 임의의 커서 동작으로 매핑될 수 있다. 파라미터는 추적된 픽셀의 세트의 3차원 경로(예컨대, x/y/z 좌표)를 포함할 수 있다. 커서 동작은 클릭 동작, 더블 클릭 동작, 트리플 클릭 동작, 선택 동작, 강조 동작, 스크롤 동작, 및 드래그 동작을 포함할 수 있다. 그러나, 이러한 동작들은 단지 예시적인 예로서 제공된 것으로, 어떠한 방식으로도 제한하기 위한 것은 아니다. 사실상 임의의 커서 동작이 본 명세서에 기술된 방법으로 해석 및 수행될 수 있다.
도 9는 터치리스 입력을 수신하기 위한 방법(900)을 도시한다. 방법(900)은, 예를 들어, 터치리스 입력 시스템(100)에 의해 수행될 수 있다. 902에서, 일련의 깊이 맵이 도 2를 참조하여 앞서 기술된 바와 같이, 깊이 카메라로부터 수신된다. 일련의 깊이 맵은 인간 대상을 포함하는 장면을 이미지화한다.
904에서, 인간 대상은 앞서 기술된 실시예, 특히, 도 2를 참조한 실시예에 따라, 복수의 가상 손가락 관절을 포함하는 가상 골격으로 모델링된다.
일 실시예에서, 가상 손가락 관절은 사전 훈련된 기계 학습 알고리즘을 이용하여 모델링될 수 있다. 대안적으로, 도 10에 도시된 방법(1000)이 가상 손가락 관절을 모델링하는데 이용될 수 있다. 1002에서, 컴퓨팅 디바이스 내부에 또는 외부에 제공된 깊이 카메라가 사용자의 손을 식별하는데 이용된다. 손은 본 발명개시의 범위로부터 벗어나지 않고, 파이프라인(200)을 비롯한, 임의의 적합한 방법을 이용하여 식별될 수 있다. 1004에서, 컴퓨팅 디바이스는 추적 시스템과 모두 식별된 손들 사이의 깊이를 계산하여, 입력을 위해 가까운 손을 선택한다. 1006에서, 컴퓨팅 디바이스는 식별된 손의 각각의 손가락 끝을 식별하고, 선택적으로 디스플레이 스크린을 통해 사용자에게 식별된 손가락의 표현을 표시한다. 1008에서, 컴퓨팅 디바이스는 어떤 손가락이 입력을 제어할 것인지를 나타내는 선택을 사용자로부터 수신한다. 1010에서, 컴퓨팅 디바이스는 3차원 공간에서 손가락을 추적하여, 제스처로서 그 움직임을 해석한다.
손가락은 또한 하나 이상의 손가락들에 대응하는 픽셀들에 실질적으로 선형 프로파일을 피팅함으로써 모델링될 수 있다. 다시 말해서, 손가락은 거의 막대기와 같은 기하학적 구조로 될 수 있다. 그런 다음, 손가락 끝과 추적 시스템 사이의 손가락 각도가 피팅된 선형 프로파일에 기초하여 계산될 수 있다. 이런 식으로, 손가락의 끝 및 길이 양자 모두는 정확하게 모델링되어 추적될 수 있다.
깊이 카메라가 충분한 해상도를 갖는 실시예에서, 인간 대상의 지문이 식별되어 사용자에게 매칭될 수 있다. 이런 식으로, 사용자는 식별될 수 있고, 커서 제어 또는 다른 컴퓨팅 속성들이 식별된 사용자와 연관된 선호도로 설정될 수 있다.
도 9를 다시 참조하면, 906에서, 하나 이상의 깊이 맵으로부터 모델링된 하나 이상의 가상 손가락 관절의 3차원 행동이 손가락 제스처로서 해석된다. 3차원 행동의 해석은 하나 이상의 가상 손가락 관절의 x/y/z 좌표를 평가하는 것을 포함할 수 있다. 해석은 앞서 기술된 바와 같이 연이은 다수의 깊이 맵에 걸쳐 가상 손가락 관절을 추적하는 것을 더 포함할 수 있다.
사실상 임의의 손가락 또는 멀티터치 제스처는 본 발명개시의 범위로부터 벗어나지 않고 해석될 수 있다. "멀티터치"는 하나 이상의 손가락을 이용하는 손가락 제스처를 기술하는데 본 명세서에서 이용되지만, 본 발명개시는 이러한 제스처가 터치리스 방식으로 수행되는 것을 가능하게 한다는 것을 이해할 것이다. 이와 같은 터치리스 멀티터치 제스처의 예에는, 탭 제스처, 더블 탭 제스처, 누르기 제스처, 스크롤 제스처, 팬 제스처, 플릭 제스처, 두 손가락 탭 제스처, 두 손가락 스크롤 제스처, 핀치 제스처, 스프레드 제스처, 및 회전 제스처를 포함한다. 그러나, 이들 예는 단지 예시적인 것으로, 어떠한 방식으로도 제한하도록 의도된 것이 아님을 이해할 것이다.
손가락 제스처는 또한, 인간 대상에 의해 이전에 만들어진 선택에 기초하여 해석될 수 있다. 인간 대상은, 예를 들어, 넷째 손가락 및 새끼 손가락으로부터의 입력을 무시하도록 터치리스 입력 시스템(100)에 지시하여, 집게 손가락 및 가운데 손가락으로 손가락 제스처의 해석을 제한할 수 있다.
도 11은 터치리스 입력을 수신하기 위한 다른 방법(1100)을 도시한다. 방법(1100)은, 예를 들어, 터치리스 입력 시스템(100)에 의해 수행될 수 있다. 1102에서, 일련의 깊이 맵이 도 2를 참조하여 앞서 기술된 바와 같이, 깊이 카메라로부터 수신된다.
1104에서, 인간 대상은, 특히 도 2를 참조하여 앞서 기술된 바와 같이, 가상 손 관절을 포함하는 가상 골격으로 모델링된다.
1106에서, 가상 손 관절의 위치는 일련의 깊이 맵에서 하나 이상의 깊이 맵의 대응하는 부분으로 매핑된다. 대응하는 부분은 인간 대상의 손을 이미지화하고, 이 손은 또한 가상 손 관절에 의해 모델링된다.
1108에서, 인간 대상의 하나 이상의 손가락들이 모델링된다. 특히, 일단 손을 이미지화하는 깊이 맵의 일부분이 가상 골격 중 가상 손 관절에 의해 식별되면, 그 깊이 맵의 부분은 이미지화된 손 및 손가락을 더욱 정확하게 모델링하기 위해서 분석될 수 있다. 임의의 적합한 기술이 이런 식으로 손 및 손가락을 모델링하는데 이용될 수 있다. 비제한적인 예로서, 사전 훈련된 기계 학습 알고리즘이 손가락 제스처가 추적될 수 있는 기계 판독 가능한 형태로 손을 모델링할 수 있다. 다른 예로서, 도 10의 방법(1000)이 이용될 수 있다.
1110에서, 하나 이상의 손가락에 의해 수행된 손가락 제스처가 해석된다. 해석은 앞서 기술된 바와 같이 수행될 수 있다. 일부 실시예들에서, "손가락 제스처"는 모델링된 손가락들 중 하나 이상으로 유지 또는 다른 식으로 연관된 물리적 객체에 의해 수행되는 제스처를 나타낼 수 있다. 이와 같이, 본 명세서에 기술된 바와 같이, 손가락 제스처를 해석하는 것은, 모델링된 손가락들 중 하나 이상으로 유지 또는 다른 식으로 연관된 물리적 객체의 제스처를 해석하는 것을 포함할 수 있다.
방법(1100)은, 일단 가상 손 관절이 식별되면, 가상 손 관절에 대응하지 않는 깊이 맵의 다른 부분이 처리되거나 분석될 필요가 없기 때문에, 손가락을 모델링하는 반응성의 증가를 제공할 수 있다.
상기 방법들은 제한하기 위한 것이 아님을 이해할 것이다. 터치리스 입력은 본 발명개시의 범위로부터 벗어나지 않고 다양한 상이한 방법으로 수신 및 해석될 수 있다.
일부 실시예들에서, 앞서 기술된 방법 및 프로세스는 하나 이상의 컴퓨팅 디바이스들 중 하나의 컴퓨팅 디바이스에 관련될 수 있다. 특히, 이와 같은 방법 및 프로세스는 컴퓨터 애플리케이션 프로그램 또는 서비스, 애플리케이션 프로그래밍 인터페이스(API), 라이브러리 및/또는 다른 컴퓨터 프로그램 제품으로 구현될 수 있다.
도 12는 앞서 기술된 방법 및 프로세스들 중 하나 이상을 상연할 수 있는 컴퓨팅 디바이스(1200)의 비제한적인 실시예를 개략적으로 도시한다. 컴퓨팅 디바이스(1200)는 간략화된 형태로 도시되어 있다. 사실상 임의의 컴퓨터 아키텍처가 본 발명개시의 범위를 벗어나지 않고 이용될 수 있다는 것이 이해될 것이다. 상이한 실시예에서, 컴퓨팅 디바이스(1200)는 메인 프레임 컴퓨터, 서버 컴퓨터, 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 홈 엔터테인먼트 시스템, 네트워크 컴퓨팅 디바이스, 게이밍 디바이스, 모바일 컴퓨팅 디바이스, 이동 통신 디바이스(예를 들면, 스마트 폰) 등의 형태를 취할 수 있다.
컴퓨팅 디바이스(1200)는 로직 서브시스템(1202) 및 저장 서브시스템(1204)을 포함한다. 컴퓨팅 디바이스(1200)는 입력 서브시스템(1206), 디스플레이 서브시스템(1208), 통신 서브시스템(1210), 및/또는 도 12에 도시되지 않은 다른 컴포넌트들을 선택적으로 포함할 수 있다.
로직 서브시스템(1202)은 명령어들을 실행하도록 구성된 하나 이상의 물리적 디바이스들을 포함한다. 예를 들어, 로직 서브시스템은 하나 이상의 애플리케이션, 서비스, 프로그램, 루틴, 라이브러리, 객체, 컴포넌트, 데이터 구조물, 또는 다른 논리적 구성물의 일부인 명령어들을 실행하도록 구성될 수 있다. 이러한 명령어들은 작업을 수행하거나, 데이터 유형을 구현하거나, 하나 이상의 컴포넌트들의 상태를 변환하거나, 또는 다른 식으로 원하는 결과에 도달하도록 구현될 수 있다.
로직 서브시스템은 소프트웨어 명령어들을 실행하도록 구성된 하나 이상의 프로세서들을 포함할 수 있다. 부가적으로 또는 대안적으로, 로직 서브시스템은 하드웨어 또는 펌웨어 명령어들을 실행하도록 구성된 하나 이상의 하드웨어 또는 펌웨어 로직 머신을 포함할 수 있다. 로직 서브시스템의 프로세서는 싱글 코어 또는 멀티 코어일 수 있고, 그 위에서 실행되는 프로그램은 순자적, 병렬 또는 분산 처리용으로 구성될 수 있다. 로직 서브시스템은 조화된 처리를 위해 원격으로 위치 및/또는 구성될 수 있는, 두 개 이상의 디바이스들 간에 분산되어 있는 개별 컴포넌트들을 선택적으로 포함할 수 있다. 로직 서브시스템의 양태들은 클라우드 컴퓨팅 구성으로 구성된 원격으로 액세스 가능한 네트워킹된 컴퓨팅 디바이스들에 의해 가상화되어 실행될 수 있다.
저장 서브시스템(1204)은 본 명세서에 기술된 방법 및 프로세스를 구현하기 위해 로직 서브시스템에 의해 실행 가능한 데이터 및/또는 명령어들을 유지하도록 구성된 하나 이상의 물리적이고 비일시적인 디바이스를 포함한다. 이와 같은 방법 및 프로세스가 구현될 때, 저장 서브시스템(1204)의 상태는, 예컨대, 상이한 데이터를 유지하도록 변환될 수 있다.
저장 서브시스템(1204)은 제거 가능한 매체 및/또는 빌트인 디바이스를 포함할 수 있다. 저장 서브시스템(1204)은 그 중에서도 광학 메모리 디바이스(예컨대, CD, DVD, HD-DVD, 블루 레이 디스크 등), 반도체 메모리 디바이스(예컨대, RAM, EPROM, EEPROM 등) 및/또는 자기 메모리 디바이스(예컨대, 하드 디스크 드라이브, 플로피 디스크 드라이브, 테이프 드라이브, MRAM 등)들을 포함할 수 있다. 저장 서브시스템(1204)은, 휘발성, 비휘발성, 동적, 정적, 읽기/쓰기, 읽기 전용, 랜덤 액세스, 순차적 액세스, 위치 주소 지정 가능, 파일 주소 지정 가능, 및/또는 콘텐츠 주소 지정 가능 디바이스를 포함할 수 있다.
저장 서브시스템(1204)은 하나 이상의 물리적이고, 비일시적인 디바이스들을 포함하는 것으로 이해될 것 이다. 그러나, 일부 실시예들에서, 본 명세서에 기술된 명령어들의 양태는 유한한 기간 동안 물리적 디바이스에 의해 유지되지 않는 순수 신호(예컨대, 전자기 신호, 광 신호 등)에 의해 일시적 방식으로 전파될 수 있다. 더욱이, 데이터 및/또는 본 발명개시에 관련된 정보의 다른 형태가 순수 신호에 의해 전파될 수 있다.
일부 실시예들에서, 로직 서브시스템(1202)의 양태 및 저장 서브시스템(1204)의 양태는 본 명세서에 기술된 기능이 상연될 수 있는 하나 이상의 하드웨어 로직 컴포넌트에 함께 통합될 수 있다. 이와 같은 하드웨어 로직 컴포넌트는, 예를 들어, 필드 프로그램 가능 게이트 어레이(field-programmable gate array; FPGA), 프로그램 및 주문형 반도체(program- and application-specific integrated circuit; PASIC/ASIC), 프로그램 및 특정 용도 표준 제품(program- and application-specific standard product; PSSP/ASSP), 시스템 온 칩(system-on-a-chip; SOC) 시스템, 및 복합 프로그램 가능 논리 디바이스(complex programmable logic device; CPLD)를 포함할 수 있다.
용어 "모듈", "프로그램", 및 "엔진"은 특정 기능을 수행하도록 구현된 컴퓨팅 디바이스(1200)의 양태를 설명하는데 사용될 수 있다. 일부 경우에, 모듈, 프로그램, 또는 엔진은 저장 서브시스템(1204)에 의해 유지된 명령어들을 실행하는 로직 서브시스템(1202)을 통해 예시될 수 있다. 상이한 모듈, 프로그램, 및/또는 엔진이 동일한 애플리케이션, 서비스, 코드 블록, 객체, 라이브러리, 루틴, API, 함수 등으로 예시될 수 있다는 것이 이해될 것이다. 마찬가지로, 동일한 모듈, 프로그램, 및/또는 엔진은 상이한 애플리케이션, 서비스, 코드 블록, 객체, 루틴, API, 함수 등에 의해 예시될 수 있다. 용어 "모듈", "프로그램", 및 "엔진"은 실행 파일, 데이터 파일, 라이브러리, 드라이버, 스크립트, 데이터베이스 기록 등의 개별 또는 그룹을 포함할 수 있다.
본 명세서에서 이용되는 바와 같은, "서비스"는 다수의 사용자 세션에 걸쳐 실행 가능한 어플리케이션 프로그램인 것이 이해될 것이다. 서비스는 하나 이상의 시스템 컴포넌트, 프로그램, 및/또는 다른 서비스에서 이용 가능할 수 있다. 일부 구현예에서, 서비스는 하나 이상의 서버 컴퓨팅 디바이스 상에서 작동할 수 있다.
포함되는 경우, 디스플레이 서브시스템(1208)은 저장 서브시스템(1204)에 의해 유지된 데이터의 시각적 표현을 표시하는데 이용될 수 있다. 이러한 시각적 표현은 그래픽 사용자 인터페이스(graphical user interface; GUI)의 형태를 취할 수 있다. 본 명세서에 기술된 방법 및 프로세스는 저장 서브시스템에 의해 유지되는 데이터를 변경하고, 따라서 저장 서브시스템의 상태를 변환함으로써, 마찬가지로 디스플레이 서브시스템(1208)의 상태는 기본적 데이터의 변화를 시각적으로 표현하기 위해 변환될 수 있다. 디스플레이 서브시스템(1208)은 사실상 임의의 유형의 기술을 이용하는 하나 이상의 디스플레이 디바이스를 포함할 수 있다. 이러한 디스플레이 디바이스는 공유된 인클로저에서 로직 서브시스템(1202) 및/또는 저장 서브시스템(1204)과 결합될 수 있거나, 이러한 디스플레이 디바이스는 주변 디스플레이 디바이스일 수 있다.
포함된 경우, 입력 서브시스템(1206)은 키보드, 마우스, 터치 스크린, 또는 게임 제어기와 같은 하나 이상의 사용자 입력 디바이스를 포함하거나 인터페이스할 수 있다. 일부 실시예들에서, 입력 서브시스템은 선택된 내츄럴 유저 입력(natural user input; NUI) 구성 요소[예컨대, 추적 시스템(108)]를 포함하거나 인터페이스할 수 있다. 이와 같은 구성 요소는 통합되거나 주변 장치일 수 있고, 입력 작업의 변환 및/또는 처리는 온 보드(on-board) 또는 오프 보드(off-board) 처리될 수 있다. 예시적인 NUI 구성 요소는 음성 및/또는 음성 인식을 위한 마이크; 머신 비전 및/또는 제스처 인식을 위한 적외선, 컬러, 입체적 및/또는 깊이 카메라; 모션 검출 및/또는 의도 인식을 위한 헤드 트랙커, 아이 트랙커, 가속도계, 및/또는 자이로스코프; 뿐만 아니라 뇌 활동을 평가하기 위한 전기장 감지 구성 요소를 포함할 수 있다.
일부 실시예들에서, 입력 서브시스템(1206)은 많은 이산 특징(예컨대, 선 또는 점)을 포함하는 구조화된 적외선 조명을 투사하도록 구성될 수 있는 "구조화된 광" 깊이 카메라를 포함하거나 인터페이스할 수 있다. 카메라는 장면으로부터 반사된 구조화된 조명을 이미지화하도록 구성될 수 있다. 이미지화된 장면의 다양한 영역에서 인접한 특징들 간의 간격에 기초하여, 장면의 깊이 맵이 구성될 수 있다.
입력 서브시스템(1206)은 장면 상으로 펄스형 적외선 조명을 투사하도록 구성된 광원을 포함할 수 있는 "비행 시간(time-to-flight)" 깊이 카메라를 포함하거나 인터페이스할 수 있다. 두 개의 카메라가 장면으로부터 반사된 펄스형 조명을 검출하도록 구성될 수 있다. 카메라는 펄스형 조명에 동기화된 전자 셔터를 포함할 수 있지만, 카메라의 통합 시간은 상이할 수 있어, 광원으로부터 장면, 그런 다음 카메라까지의 펄스형 조명의 픽셀 해상 비행 시간은 두 개의 카메라의 대응하는 픽셀에서 수신된 상대적 광량으로 구별 가능하다.
포함되는 경우, 통신 서브시스템(1210)은 하나 이상의 다른 컴퓨팅 디바이스와 컴퓨팅 디바이스(1200)를 통신 가능하게 결합하도록 구성될 수 있다. 통신 서브시스템(1210)은 하나 이상의 상이한 통신 프로토콜과 호환 가능한 유선 및/또는 무선 통신 디바이스를 포함할 수 있다. 비제한적인 예로서, 통신 서브시스템은 무선 전화 네트워크, 유선 또는 무선 로컬 또는 광역 네트워크를 통한 통신을 위해 구성될 수 있다. 일부 실시예들에서, 통신 서브시스템은 컴퓨팅 디바이스(1200)가 인터넷과 같은 네트워크를 통해 다른 디바이스에 및/또는 다른 디바이스로부터 메시지를 전송 및/또는 수신하도록 허용할 수 있다.
본 명세서에 기술된 구성 및/또는 방식은 사실상 예시적인 것으로서, 이러한 특정 실시예들 또는 예들은 많은 변형이 가능하기 때문에 제한적인 의미로 간주되는 것이 아님이 이해될 것이다. 본 명세서에 기술된 특정 루틴 또는 방법은 임의의 수의 처리 전략 중 하나 이상을 나타낼 수 있다. 이와 같이, 예시 및/또는 기술된 다양한 동작들은 예시 및/또는 기술된 순서로, 다른 순서로, 병렬로 수행되거나, 또는 생략될 수 있다. 마찬가지로, 앞서 기술된 프로세스들의 순서는 변경될 수 있다.
본 발명개시의 대상은 본 명세서에 논의된 다양한 프로세스, 시스템 및 구성 및 다른 특징, 기능, 동작 및/또는 속성의 모든 신규하고 자명하지 않은 조합 및 하위 조합은 물론, 이들의 임의의 등가물 및 모든 등가물을 포함한다.

Claims (10)

  1. 사용자 입력을 수신하기 위한 방법에 있어서,
    장면을 이미지화하는 일련의 깊이 맵을 수신하는 단계로서, 각각의 깊이 맵은 복수의 픽셀을 포함하고, 상기 복수의 픽셀 각각은 그 픽셀에 의해 이미지화된 표면의 깊이를 정의하는 것인, 일련의 깊이 맵을 수신하는 단계;
    상기 일련의 깊이 맵 내의 가장 얕은 깊이를 갖는 비정적(nonstatic) 픽셀의 세트를 식별하는 단계; 및
    상기 비정적 픽셀의 세트의 위치를 커서 위치로 매핑하는 단계
    를 포함하는 사용자 입력을 수신하기 위한 방법.
  2. 제 1 항에 있어서, 상기 비정적 픽셀의 세트를 식별하는 단계는 상기 일련의 깊이 맵에서 연이은(consecutive) 다수의 깊이 맵에 걸쳐 문턱값에 대해 가장 얕은 깊이를 유지하는 비정적 픽셀의 세트를 식별하는 단계를 포함하는 것인, 사용자 입력을 수신하기 위한 방법.
  3. 제 1 항에 있어서, 상기 비정적 픽셀의 세트를 식별하는 단계는 상기 일련의 깊이 맵으로부터 상이한 깊이 맵의 대응하는 픽셀 간의 깊이 차이를 정의하는 단계를 포함하고,
    각각의 픽셀마다,
    그 픽셀에 대한 차이가 문턱값 미만이면, 그 픽셀을 정적 픽셀로서 식별하거나; 또는
    그 픽셀에 대한 차이가 상기 문턱값 이상이면, 그 픽셀을 비정적 픽셀로서 식별하는 것인, 사용자 입력을 수신하기 위한 방법.
  4. 제 1 항에 있어서, 상기 비정적 픽셀의 세트의 위치는 상기 비정적 픽셀의 세트의 깊이 함수로서 변경되는 스케일(scale)을 갖는 매핑 함수에 따라, 커서 위치로 매핑되는 것인, 사용자 입력을 수신하기 위한 방법.
  5. 제 1 항에 있어서, 상기 비정적 픽셀의 세트에 의해 이미지화된 상기 표면은 상기 커서 위치에서 커서를 디스플레이하는 디스플레이 디바이스에 근접한 손가락이고,
    상기 비정적 픽셀의 세트의 위치를 커서 위치로 매핑하는 단계는 상기 커서 위치를 상기 손가락의 세계 공간(world space) 위치로부터 떨어진 곳으로 시프트시키는 단계를 포함하는 것인, 사용자 입력을 수신하기 위한 방법.
  6. 제 1 항에 있어서,
    상기 일련의 깊이 맵에서 연이은 다수의 깊이 맵에 걸쳐 비정적 픽셀의 세트를 추적하는 단계, 및
    상기 연이은 다수의 깊이 맵에서 상기 비정적 픽셀의 세트의 하나 이상의 파라미터로부터 커서 동작을 인식하는 단계
    를 더 포함하는 사용자 입력을 수신하기 위한 방법.
  7. 제 1 항에 있어서, 상기 하나 이상의 파라미터는 상기 비정적 픽셀의 세트의 3차원 경로를 포함하는 것인, 사용자 입력을 수신하기 위한 방법.
  8. 컴퓨팅 디바이스에 있어서,
    명령어들을 실행하도록 구성된 로직 서브시스템; 및
    상기 로직 서브시스템에 의해 실행 가능한 명령어들을 저장한 저장 서브시스템을 포함하고,
    상기 명령어들은,
    깊이 카메라로부터 인간 대상을 포함하는 장면을 이미지화하는 일련의 깊이 맵 - 각각의 깊이 맵은 복수의 픽셀을 포함하고, 상기 복수의 픽셀 각각은 그 픽셀에 의해 이미지화된 표면의 깊이를 정의함 - 을 수신하고;
    가상 손 관절을 포함하는 가상 골격으로 상기 인간 대상을 모델링하고;
    상기 일련의 깊이 맵에서 하나 이상의 깊이 맵의 대응하는 부분 - 상기 하나 이상의 깊이 맵의 대응하는 부분은 상기 가상 손 관절에 의해 모델링된 상기 인간 대상의 손을 이미지화함 - 으로 상기 가상 손 관절의 위치를 매핑하고;
    상기 하나 이상의 깊이 맵의 대응하는 부분의 깊이 맵 정보로부터 하나 이상의 손가락을 모델링하며;
    상기 하나 이상의 손가락에 의해 수행된 손가락 제스처를 해석하도록 실행 가능한 것인, 컴퓨팅 디바이스.
  9. 제 8 항에 있어서, 상기 명령어들은 또한,
    상기 하나 이상의 손가락에 대응하는 픽셀에 실질적으로 선형 프로파일을 피팅(fit)하고;
    상기 선형 프로파일로부터 손가락 각도를 계산하도록 실행 가능한 것인, 컴퓨팅 디바이스.
  10. 제 8 항에 있어서, 상기 명령어들은 또한, 상기 인간 대상의 하나 이상의 지문을 모델링하도록 실행 가능한 것인, 컴퓨팅 디바이스.
KR1020157011305A 2012-10-12 2013-10-11 사용자 인터페이스를 위한 터치리스 입력 KR20150067250A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/651,187 2012-10-12
US13/651,187 US9310895B2 (en) 2012-10-12 2012-10-12 Touchless input
PCT/US2013/064427 WO2014059205A1 (en) 2012-10-12 2013-10-11 Touchless input for a user interface

Publications (1)

Publication Number Publication Date
KR20150067250A true KR20150067250A (ko) 2015-06-17

Family

ID=49514040

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157011305A KR20150067250A (ko) 2012-10-12 2013-10-11 사용자 인터페이스를 위한 터치리스 입력

Country Status (10)

Country Link
US (2) US9310895B2 (ko)
EP (1) EP2907004B1 (ko)
JP (1) JP2015531526A (ko)
KR (1) KR20150067250A (ko)
CN (1) CN104838337B (ko)
AU (1) AU2013329127B2 (ko)
CA (2) CA2884884C (ko)
MX (1) MX348642B (ko)
RU (1) RU2644520C2 (ko)
WO (1) WO2014059205A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020166737A1 (ko) * 2019-02-13 2020-08-20 엘지전자 주식회사 모바일 디바이스 및 그 제어방법

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
TWI496094B (zh) * 2013-01-23 2015-08-11 Wistron Corp 手勢辨識模組及手勢辨識方法
US9734582B2 (en) * 2013-02-21 2017-08-15 Lg Electronics Inc. Remote pointing method
US10031586B2 (en) * 2013-06-12 2018-07-24 Amazon Technologies, Inc. Motion-based gestures for a computing device
US10295338B2 (en) 2013-07-12 2019-05-21 Magic Leap, Inc. Method and system for generating map data from an image
WO2015006784A2 (en) 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9239648B2 (en) * 2014-03-17 2016-01-19 Google Inc. Determining user handedness and orientation using a touchscreen device
KR102265143B1 (ko) * 2014-05-16 2021-06-15 삼성전자주식회사 입력 처리 장치 및 방법
US10838503B2 (en) * 2014-07-31 2020-11-17 Hewlett-Packard Development Company, L.P. Virtual reality clamshell computing device
GB201417536D0 (en) * 2014-10-03 2014-11-19 Microsoft Corp Adapting quantization
PL411337A1 (pl) * 2015-02-23 2016-08-29 Samsung Electronics Polska Spółka Z Ograniczoną Odpowiedzialnością Sposób interakcji z obrazami wolumetrycznymi za pomocą gestów i system do interakcji z obrazami wolumetrycznymi za pomocą gestów
US10067569B2 (en) * 2015-08-14 2018-09-04 Fresenius Medical Care Holdings, Inc. Touchless interface for a medical treatment system
GB201516953D0 (en) * 2015-09-25 2015-11-11 Umajin Ltd Ghost hands
US10963157B2 (en) * 2016-05-12 2021-03-30 Lsi Industries, Inc. Outdoor ordering system with interactive menu elements
US10416777B2 (en) * 2016-08-16 2019-09-17 Microsoft Technology Licensing, Llc Device manipulation using hover
EP3316186B1 (en) 2016-10-31 2021-04-28 Nokia Technologies Oy Controlling display of data to a person via a display apparatus
EP3316117A1 (en) 2016-10-31 2018-05-02 Nokia Technologies OY Controlling content displayed in a display
CN110023884B (zh) 2016-11-25 2022-10-25 森索里克斯股份公司 可穿戴运动跟踪系统
DE102017216000A1 (de) * 2017-09-11 2019-03-14 Conti Temic Microelectronic Gmbh Gestensteuerung zur Kommunikation mit einem autonomen Fahrzeug auf Basis einer einfachen 2D Kamera
CN108227931A (zh) * 2018-01-23 2018-06-29 北京市商汤科技开发有限公司 用于控制虚拟人物的方法、设备、系统、程序和存储介质
WO2020036235A1 (ko) * 2018-08-13 2020-02-20 정규민 Rgb 센서를 이용한 객체 인식 및 데이터 처리 방법 및 장치
KR102469722B1 (ko) * 2018-09-21 2022-11-22 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10620713B1 (en) * 2019-06-05 2020-04-14 NEX Team Inc. Methods and systems for touchless control with a mobile device
JP2021026260A (ja) * 2019-07-31 2021-02-22 セイコーエプソン株式会社 表示装置、表示方法、および、コンピュータープログラム
CN110418125B (zh) * 2019-08-05 2021-06-15 长春理工大学 一种集成成像系统的元素图像阵列快速生成方法
US11150800B1 (en) * 2019-09-16 2021-10-19 Facebook Technologies, Llc Pinch-based input systems and methods
US11422623B2 (en) * 2019-10-23 2022-08-23 Interlake Research, Llc Wrist worn computing device control systems and methods
KR20220127815A (ko) * 2020-01-16 2022-09-20 소니그룹주식회사 표시 장치, 화상 생성 방법 및 프로그램
CN111401318B (zh) * 2020-04-14 2022-10-04 支付宝(杭州)信息技术有限公司 动作识别方法及装置
US11690435B2 (en) * 2020-07-07 2023-07-04 Perfect Mobile Corp. System and method for navigating user interfaces using a hybrid touchless control mechanism
EP4113253A1 (en) * 2021-07-02 2023-01-04 Perfect Mobile Corp. System and method for navigating user interfaces using a hybrid touchless control mechanism

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2262300A1 (en) 1998-02-24 1999-08-24 Wolf D. Seufert Method and apparatus for the automated identification of fingerprints
US6658136B1 (en) * 1999-12-06 2003-12-02 Microsoft Corporation System and process for locating and tracking a person or object in a scene using a series of range images
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US20030132913A1 (en) * 2002-01-11 2003-07-17 Anton Issinski Touchless computer input device to control display cursor mark position by using stereovision input from two video cameras
US10242255B2 (en) * 2002-02-15 2019-03-26 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
GB0204652D0 (en) 2002-02-28 2002-04-10 Koninkl Philips Electronics Nv A method of providing a display gor a gui
US7555732B2 (en) * 2004-03-12 2009-06-30 Steven Van der Hoeven Apparatus method and system for a data entry interface
JP2008505381A (ja) * 2004-06-29 2008-02-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 表示装置の汚れを防ぐ方法及び装置
US7847789B2 (en) * 2004-11-23 2010-12-07 Microsoft Corporation Reducing accidental touch-sensitive device activation
JP2007141018A (ja) * 2005-11-21 2007-06-07 Fujifilm Corp 画像取得方法および画像取得装置
US8354997B2 (en) 2006-10-31 2013-01-15 Navisense Touchless user interface for a mobile device
EP2153377A4 (en) * 2007-05-04 2017-05-31 Qualcomm Incorporated Camera-based user input for compact devices
US8199106B2 (en) * 2007-12-20 2012-06-12 University Of Central Florida Research Foundation, Inc. Systems and methods of camera-based fingertip tracking
US20090172606A1 (en) * 2007-12-31 2009-07-02 Motorola, Inc. Method and apparatus for two-handed computer user interface with gesture recognition
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
EP2104024B1 (en) * 2008-03-20 2018-05-02 LG Electronics Inc. Portable terminal capable of sensing proximity touch and method for controlling screen using the same
US8443302B2 (en) 2008-07-01 2013-05-14 Honeywell International Inc. Systems and methods of touchless interaction
US9658765B2 (en) * 2008-07-31 2017-05-23 Northrop Grumman Systems Corporation Image magnification system for computer interface
KR20100041006A (ko) * 2008-10-13 2010-04-22 엘지전자 주식회사 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법
US8516397B2 (en) * 2008-10-27 2013-08-20 Verizon Patent And Licensing Inc. Proximity interface apparatuses, systems, and methods
WO2010070568A1 (en) * 2008-12-19 2010-06-24 Koninklijke Philips Electronics N.V. Creation of depth maps from images
US8320621B2 (en) * 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
JP2011150414A (ja) * 2010-01-19 2011-08-04 Sony Corp 情報処理装置、操作入力決定方法及び操作入力決定プログラム
JP2011150413A (ja) * 2010-01-19 2011-08-04 Sony Corp 情報処理装置、操作入力方法及び操作入力プログラム
JP5636678B2 (ja) * 2010-01-19 2014-12-10 ソニー株式会社 表示制御装置、表示制御方法及び表示制御プログラム
WO2011146070A1 (en) * 2010-05-21 2011-11-24 Hewlett-Packard Development Company, L.P. System and method for reporting data in a computer vision system
US20130155031A1 (en) * 2010-06-29 2013-06-20 Elliptic Laboratories As User control of electronic devices
US9201501B2 (en) * 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
WO2012015395A1 (en) * 2010-07-27 2012-02-02 Hewlett-Packard Development Company, L.P. System and method for remote touch detection
US8432301B2 (en) * 2010-08-10 2013-04-30 Mckesson Financial Holdings Gesture-enabled keyboard and associated apparatus and computer-readable storage medium
JP5656514B2 (ja) * 2010-08-27 2015-01-21 キヤノン株式会社 情報処理装置及び方法
US8620024B2 (en) * 2010-09-17 2013-12-31 Sony Corporation System and method for dynamic gesture recognition using geometric classification
US9213890B2 (en) * 2010-09-17 2015-12-15 Sony Corporation Gesture recognition system for TV control
US9135503B2 (en) 2010-11-09 2015-09-15 Qualcomm Incorporated Fingertip tracking for touchless user interface
KR101558200B1 (ko) 2010-12-06 2015-10-08 한국전자통신연구원 비접촉 방식의 그래픽 사용자 인터페이스 제공장치 및 방법
US8994718B2 (en) * 2010-12-21 2015-03-31 Microsoft Technology Licensing, Llc Skeletal control of three-dimensional virtual world
JP5711962B2 (ja) * 2010-12-27 2015-05-07 株式会社ソニー・コンピュータエンタテインメント ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法
EP3527121B1 (en) * 2011-02-09 2023-08-23 Apple Inc. Gesture detection in a 3d mapping environment
US9067136B2 (en) * 2011-03-10 2015-06-30 Microsoft Technology Licensing, Llc Push personalization of interface controls
US9189068B2 (en) 2011-03-14 2015-11-17 Lg Electronics Inc. Apparatus and a method for gesture recognition
KR101226668B1 (ko) 2011-03-25 2013-01-25 주식회사 아이티엑스시큐리티 스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법
KR101199618B1 (ko) * 2011-05-11 2012-11-08 주식회사 케이티테크 화면 분할 표시 장치 및 방법
CN102194128B (zh) * 2011-05-16 2013-05-01 深圳大学 基于二值深度差进行物体检测的方法和装置
US8619049B2 (en) * 2011-05-17 2013-12-31 Microsoft Corporation Monitoring interactions between two or more objects within an environment
JP6074170B2 (ja) * 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
CN102841733B (zh) * 2011-06-24 2015-02-18 株式会社理光 虚拟触摸屏系统以及自动切换交互模式的方法
JP4945694B2 (ja) * 2011-06-27 2012-06-06 株式会社東芝 映像再生装置及び映像再生方法
RU2455676C2 (ru) * 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
RU110845U1 (ru) * 2011-07-22 2011-11-27 Александр Петрович Алексеев Система управления мобильным устройством посредством поворота головы пользователя
US8830302B2 (en) * 2011-08-24 2014-09-09 Lg Electronics Inc. Gesture-based user interface method and apparatus
US9002099B2 (en) * 2011-09-11 2015-04-07 Apple Inc. Learning-based estimation of hand and finger pose
US8648808B2 (en) * 2011-09-19 2014-02-11 Amchael Visual Technology Corp. Three-dimensional human-computer interaction system that supports mouse operations through the motion of a finger and an operation method thereof
US20130103446A1 (en) * 2011-10-20 2013-04-25 Microsoft Corporation Information sharing democratization for co-located group meetings
TW201322058A (zh) * 2011-11-16 2013-06-01 Chunghwa Picture Tubes Ltd 手勢辨識系統及方法
US9377863B2 (en) * 2012-03-26 2016-06-28 Apple Inc. Gaze-enhanced virtual touchscreen
US8994650B2 (en) * 2012-04-27 2015-03-31 Qualcomm Incorporated Processing image input to communicate a command to a remote display device
US9210401B2 (en) * 2012-05-03 2015-12-08 Microsoft Technology Licensing, Llc Projected visual cues for guiding physical movement
US20140022171A1 (en) * 2012-07-19 2014-01-23 Omek Interactive, Ltd. System and method for controlling an external system using a remote device with a depth sensor
US20140085197A1 (en) * 2012-09-21 2014-03-27 Ati Technologies, Ulc Control and visualization for multi touch connected devices
KR102041191B1 (ko) * 2014-03-03 2019-11-06 한국전자통신연구원 손 동작 인식 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020166737A1 (ko) * 2019-02-13 2020-08-20 엘지전자 주식회사 모바일 디바이스 및 그 제어방법

Also Published As

Publication number Publication date
RU2015113441A (ru) 2016-10-27
MX2015004634A (es) 2015-07-21
CA2884884C (en) 2020-09-15
CA2884884A1 (en) 2014-04-17
US9310895B2 (en) 2016-04-12
CN104838337B (zh) 2018-05-25
AU2013329127B2 (en) 2019-01-03
WO2014059205A1 (en) 2014-04-17
MX348642B (es) 2017-06-22
JP2015531526A (ja) 2015-11-02
US20140104168A1 (en) 2014-04-17
RU2644520C2 (ru) 2018-02-12
CA3058821C (en) 2023-01-03
CN104838337A (zh) 2015-08-12
EP2907004A1 (en) 2015-08-19
EP2907004B1 (en) 2018-01-10
CA3058821A1 (en) 2014-04-17
US20160202770A1 (en) 2016-07-14
BR112015007191A2 (pt) 2017-08-08
US10019074B2 (en) 2018-07-10
AU2013329127A1 (en) 2015-03-12

Similar Documents

Publication Publication Date Title
US10019074B2 (en) Touchless input
US11237625B2 (en) Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
US11875012B2 (en) Throwable interface for augmented reality and virtual reality environments
US20210181857A1 (en) Systems and Methods of Creating a Realistic Displacement of a Virtual Object in Virtual Reality/Augmented Reality Environments
US10331222B2 (en) Gesture recognition techniques
US9417763B2 (en) Three dimensional user interface effects on a display by using properties of motion
US9292083B2 (en) Interacting with user interface via avatar
Shen et al. Vision-based hand interaction in augmented reality environment
Genest et al. KinectArms: a toolkit for capturing and displaying arm embodiments in distributed tabletop groupware
CN102915112A (zh) 用于近距离动作跟踪的系统和方法
WO2014194148A2 (en) Systems and methods involving gesture based user interaction, user interface and/or other features
US9377866B1 (en) Depth-based position mapping
Fan Practical ad hoc tangible interactions in augmented reality
BR112015007191B1 (pt) Método para receber entrada do usuário, subsistema de armazenamento e dispositivo de computação
JP2021064320A (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination