KR20130001176A - 근접 범위 움직임 추적 시스템 및 방법 - Google Patents

근접 범위 움직임 추적 시스템 및 방법 Download PDF

Info

Publication number
KR20130001176A
KR20130001176A KR1020120068110A KR20120068110A KR20130001176A KR 20130001176 A KR20130001176 A KR 20130001176A KR 1020120068110 A KR1020120068110 A KR 1020120068110A KR 20120068110 A KR20120068110 A KR 20120068110A KR 20130001176 A KR20130001176 A KR 20130001176A
Authority
KR
South Korea
Prior art keywords
user
screen
hand
gesture
movement
Prior art date
Application number
KR1020120068110A
Other languages
English (en)
Other versions
KR101979317B1 (ko
Inventor
게르숌 쿠틀리로프
야론 야나이
아미트 블레이바이스
샤하르 플레이쉬먼
요탐 리브니
조나단 엡스타인
Original Assignee
오메크 인터렉티브, 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오메크 인터렉티브, 리미티드 filed Critical 오메크 인터렉티브, 리미티드
Publication of KR20130001176A publication Critical patent/KR20130001176A/ko
Application granted granted Critical
Publication of KR101979317B1 publication Critical patent/KR101979317B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Abstract

근접 범위 객체 추적 시스템 및 방법이 설명된다. 사용자의 손 및 손가락 또는 다른 객체에 대한 근접 범위 깊이 이미지는 깊이 센서를 이용하여 획득된다. 깊이 센서로부터 획득된 깊이 이미지 데이터를 이용하여, 사용자의 손 및 손가락 또는 다른 객체의 움직임이 식별되고 추적되어, 이에 따라 사용자의 손 및 손가락 또는 다른 객체의 위치 및 움직임을 이용함으로써 사용자가 스크린 상에 디스플레이되는 객체와 상호 작용할 수 있게 한다.

Description

근접 범위 움직임 추적 시스템 및 방법{SYSTEM AND METHOD FOR CLOSE-RANGE MOVEMENT TRACKING}
[관련 출원의 교차 참조]
본 출원은 본 명세서에 전문이 참조되고 "METHOD AND SYSTEM FOR IDENTIFYING AND TRACKING USER MOVEMENTS FOR INTERACTION WITH AN ELECTRONIC DEVICE"의 발명의 명칭을 갖는 2011년 6월 23일 출원된 미국 특허 가출원 제 61/500,480호로부터의 우선권을 주장한다.
[기술분야]
본 개시 내용은 객체 추적에 유용한 방법 및 장치에 관한 것으로, 더욱 상세하게는 사용자의 손 및 손가락의 움직임을 추적하고 사용자의 장치와의 상호 작용을 제어하기 위해 추적된 데이터를 이용하는 향상된 수단을 제공하는 방법 및 장치에 관한 것이다.
컴퓨터, 태블릿 및 이동 전화와 같은 전자 장치와의 인간의 상호 작용은, 대부분 제어 장치를 물리적으로 조작하거나, 버튼을 누르거나, 스크린을 터치하는 것을 필요로 한다. 예를 들어, 사용자는 키보드 및 마우스와 같은 입력 장치를 통해 컴퓨터와 상호 작용한다. 키보드 및 마우스가 문자를 입력하고 문서를 스크롤하는 것과 같은 기능에 대하여 효율적이지만, 사용자가 전자 장치와 상호 작용할 수 있는 많은 다른 방법에 대하여는 효율적이지 않다. 마우스를 쥐는 사용자의 손은 평탄한 2차원(2D) 표면을 따라서만 이동하도록 제한되며, 3차원의 가상 공간을 통해 마우스로 네비게이션하는 것은 어슬프고 비직관적이다. 유사하게, 터치 스크린의 평탄한 인터페이스는 사용자가 깊이에 대한 어떠한 관념도 전달하지 하지 않는다. 이러한 장치는 전체 범위의 가능성 있는 손과 손가락의 움직임을 기술의 제한에 일치하는 2차원 움직임의 제한된 부분 집합으로 한정한다.
사용자 상호 작용 경험을 제공하고, 움직임을 자동으로 정의하고 식별하는 시스템 및 방법의 예가 도면에 도시된다. 예 및 도면은 한정적인 것이 아니라 예시적인 것이다.
도 1은 일부 실시예에 따른 근접 범위 객체 추적 시스템의 예시적인 부품을 도시하는 개략도이다.
도 2는 일부 실시예에 따른 근접 범위 객체 추적 시스템에 의한 움직임 추적 방법의 예를 도시하는 작업 플로우차트이다.
도 3a 내지 3e는 일부 실시예에 따라 추적될 수 있는 손의 제스처의 예들에 대한 그래픽 예시를 도시한다.
도 4는 일부 실시예에 따른 근접 범위 객체 추적 시스템에 의한 움직임 추적 방법의 예를 도시하는 작업 플로우차트이다.
도 5는 일부 실시예에 따른 근접 범위 객체 추적 시스템에 의한 움직임 추적 방법의 다른 예를 도시하는 작업 플로우차트이다.
근접 범위 객체 추적 시스템 및 방법이 설명된다. 사용자의 손과 손가락 또는 다른 객체의 근접 범위 깊이 이미지(close range depth image)는 깊이 센서(depth sensor)를 이용하여 획득된다. 깊이 센서로부터 획득된 깊이 이미지를 이용하여, 사용자의 손과 손가락 또는 다른 객체의 움직임이 식별되어 추적된다. 사용자의 손과 손가락 또는 다른 객체는 스크린 상에서의 표현으로서 보여질 수 있으며, 식별된 움직임에 대응하는 제스처를 수행하는 표현이 보여진다. 사용자의 손과 손가락 또는 다른 객체의 표현은 스크린 상에 디스플레이되는 다른 객체와 상호 작용할 수 있다.
본 발명의 다양한 양태 및 예가 설명될 것이다. 다음의 설명은 이러한 예에 대한 완전한 이해와 설명을 위한 특정 상세를 제공한다. 그러나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가지는 자는 본 발명이 이러한 많은 상세 없이 실시될 수 있다는 것을 이해할 것이다. 더하여, 널리 알려진 구조 또는 기능은 관련된 설명을 불필요하게 흐리는 것을 방지하기 위하여 도시되지 않거나 상세히 설명되지 않을 수 있다.
하기의 발명을 실시하기 위한 구체적인 내용에서 사용되는 용어는, 본 기술의 소정의 특정 예에 대한 상세한 설명과 함께 사용되고 있더라도, 가장 넓고 적합한 방식으로 이해되도록 의도된다. 소정의 용어는 심지어 아래에서 강조될 수 있다: 그러나, 임의의 제한된 방법으로 해석되도록 의도된 임의의 용어는 발명을 실시하기 위한 구체적인 내용 부분에서 그와 같이 명시적이고 구체적으로 정의될 것이다.
객체 움직임의 추적은, 예를 들어, 사용자가 제스처 제어를 통해 전자 시스템 또는 장치와 상호 작용할 때, 시스템이 사용자 또는 객체가 만드는 움직임 또는 제스처(들)를 인식하는 것을 필요로 한다. 본 개시 내용의 목적을 위하여, '제스처 인식(gesture recognition)'이라는 용어는 사용자에 의해 수행된 특정 움직임 또는 포즈 구성을 식별하는 방법을 지칭하는데 사용된다. 예를 들어, 제스처 인식은 특정 속력을 갖는 특정 방향으로의 마우스 패드 상의 스윕(swipe), 터치 스크린 상에 특정 형상을 그리는 손가락 또는 손의 흔들기(wave)를 식별하는 것을 지칭할 수 있다. 본 시스템은, 특정 하드웨어/소프트웨어 인터페이스와의 사용자의 상호 작용을 설명하는 데이터를 분석함으로써, 특정 제스처가 수행되었는지 여부를 결정한다. 즉, 제스처를 수행하거나 실행하는데 사용되고 있는 객체를 검출 또는 추적하는 일부 방법이 있어야만 한다. 터치 스크린의 경우, 이는 스크린 상에서의 사용자의 터치를 검출하는데 사용되는 하드웨어 및 소프트웨어 기술의 조합이다. 센서 기반의 시스템의 경우에, 이는, 일반적으로 사용자의 관절과 몸 부분을 식별하고 추적하는데 필요한 하드웨어와 소프트웨어의 조합이다.
제스처 제어 또는 일반적인 객체 추적을 통한 시스템 상호 작용에 대한 상기 예에서, 추적 부품은 움직임 인식과 추적을 가능하게 한다. 제스처 인식은, 일반적으로 추적 부품으로부터 출력된 데이터를 취하고 사전 정의된 제스처가 수행되었는지 여부를 결정하기 위하여 데이터를 처리한다는 점에서, 추적 과정과 구별되는 것으로 고려되어야 한다. 제스처가 인식되기만 하면, 이는 애플리케이션에서 또는 전자 장치 상의 게임에서 동작을 트리거하는데 사용될 수 있다. 제스처 인식이 사용되는 예는 실내 소등을 위하여 사용자가 손을 흔들 때 발생한다.
객체 추적 시스템에 대한 입력은 터치 스크린(단일 터치 또는 다중 터치)과 같은 임의의 개수의 상이한 입력 장치로부터 유래하는 사용자의 움직임, 2D(적색, 녹색, 청색 또는 "RGB"로서도 알려짐) 카메라로 캡쳐된 사용자의 움직임 및 깊이 센서를 이용하여 캡쳐된 사용자의 움직임을 설명하는 데이터일 수 있다. 다른 애플리케이션에서, 객체 추적 시스템은 움직임 또는 제스처 인식을 위한 가속도계 또는 몸무게 저울로부터의 데이터를 사용할 수 있다.
2010년 6월 16일 출원되고 발명의 명칭이 "METHOD AND SYSTEM FOR MODELING SUBJECTS FROM A DEPTH MAP"인 미국 특허 출원 제12/817,102호는 깊이 센서를 이용하여 플레이어를 추적하고 사용자의 몸의 관절을 식별하여 추적하는 방법을 설명한다. 이는 본 개시 내용에 전문이 편입된다. 2012년 4월 6일 출원되고 발명의 명칭이 "System and Method for Enhanced Object Tracking"인 미국 특허 출원 제13/441,271호는 TOF(time-of-flight) 카메라로부터의 깊이 데이터 및 진폭 데이터의 조합을 이용하여 사용자의 몸의 부분(들)을 식별하여 추적하는 방법을 설명하고, 본 개시 내용에 전문이 편입된다.
강력한 움직임 또는 제스처 인식은 구현하기 매우 어려울 수 있다. 특히, 시스템은 사용자의 의도를 정확하게 파악하고, 상이한 사용자 사이의 움직임에서의 차이를 조정하고, 움직임이 적용가능한 정황을 판단할 수 있어야 한다.
시스템 또는 장치와 상호 작용하는 유연하고, 자연적이고, 직관적인 방법은 디스플레이 스크린의 앞에서의 3차원 공간에서 시스템이 사용자의 손과 손가락의 움직임을 해석하여, 모든 범의의 인간의 손과 손가락의 가능성 있는 구성 및 움직임이 지원되도록 허용할 수 있다. 본질적으로, 친숙한 2차원 터치 스크린은 훨씬 더 풍부한 범위의 가능성 있는 제스처 및 상호 작용을 지원하는 더 자유롭고 덜 제한적이고 더 직관적인 3차원 상호 작용 공간으로 연장된다.
이러한 더 자연스럽고, 직관적인 종류의 상호 작용을 가능하게 하기 위하여, 본 시스템은 사용자의 손과 손가락의 구성 및 움직임을 완전히 식별할 수 있어야만 한다. RGB 카메라와 같은 종래의 카메라는, 이러한 카메라에 의해 생성된 데이터가 정확하고 강력하게 해석되기 어렵기 때문에, 이 목적으로는 불충분하다. 특히, 이미지 내에서의 객체는 배경(background)으로부터 구별하기 어렵고, 데이터는 조명 조건에 민감하며, 이미지 내의 상이한 객체 사이에 가림(occlusion)이 발생한다. 대조적으로, 손과 손가락 및 다른 객체를 근접 범위에서 추적하기 위하여 깊이 센서를 이용하는 것은, 이러한 새롭고 직관적이고 효율적인 방법이 시스템 또는 장치와 상호 작용할 수 있게 하도록, 사용자의 손과 손가락 및 다른 객체의 매우 정밀하고 강력한 추적을 지원하는 데이터를 생성할 수 있다.
깊이 센서는 캡처된 이미지의 각 픽셀에 대한 깊이 데이터를 획득하는 센서로서 정의되고, 깊이(depth)는 객체와 센서 그 자체 사이의 거리를 말한다. 이러한 목적으로, 깊이 센서에 의해 사용되는 여러 가지 상이한 기술이 있다. 이러한 것들 중에서, TOF(time-of-flight)(스캐닝 TOF 또는 어레이 TOF), 구조화된 광, 레이저 반점(speckle) 패턴 기술, 스테레오 카메라 및 능동 스테레오 카메라에 의존하는 센서가 있다. 각각의 경우에, 이러한 카메라는 고정된 픽셀 해상도를 갖는 이미지를 생성하고, 여기에서, 일반적으로 정수값인 값이 각 픽셀과 관련되고, 이러한 값들은 센서로부터 이미지의 영역 상으로 투영된 객체의 거리에 대응한다. 깊이 데이터에 더하여, 센서는 종래의 컬러 카메라가 생성하는 것과 동일한 방식으로 색상 데이터를 생성할 수도 있으며, 이 데이터는 처리에서의 사용을 위하여 깊이 데이터와 결합될 수 있다.
깊이 센서에 의해 생성된 데이터는 종래의 "2D" 카메라에 의해 생성된 것에 비하여 여러 가지 이점을 가진다. 깊이 센서 데이터는 전경(foreground)으로부터 배경(background)를 세그먼트화하는 문제를 매우 단순화하고, 일반적으로 조명 상태에서의 변화에 강력하고, 가림을 해석하는데 효율적으로 사용될 수 있다. 깊이 센서를 이용하여, 사용자의 손과 손가락을 실시간으로 식별하여 추적하는 것이 가능하다. 결국, 사용자의 손과 손가락의 위치 데이터에 대한 지식은 장치와의 상호 작용이 자연적이고 직관적인 가상 "3D" 터치 스크린을 가능하게 하는데 사용될 수 있다. 손과 손가락의 움직임은 예를 들어 컴퓨터, 태블릿, 휴대 전화, 휴대용 게임 콘솔 및 자동차의 대시보드 제어 장치와 같은 상이한 다양한 시스템, 장치 및/또는 전자 장치와의 사용자 상호 작용을 강화할 수 있다. 또한, 이러한 인터페이스에 의해 가능하게 된 애플리케이션 및 상호 작용은 엔터테인먼트 시스템 제어 장치(예를 들어, 미디어 센터)뿐만 아니라 생산성 도구 및 게임, 증강 현실 그리고 인간과 전자 장치 사이의 많은 다른 형태의 통신을 포함한다.
본 개시 내용은 근접 범위에서 객체를 더욱 정확하게 식별하여 추적하고, 사용자의 움직임 및 제스처를 신뢰성있게 처리하기 위한 깊이 센서 이미지의 사용을 설명한다. 본 명세서에서 사용된 바와 같은 "근접 범위(close range)"라는 용어는, 일반적으로 사용자가 예를 들어 시스템 또는 장치와의 물리적 인터페이스로부터 실질적인 개인 장치와 상호 작용하는 실질적으로 개인적인 공간 또는 영역을 말한다. 따라서, 일 실시예에서, 근접 범위 깊이 이미지는 일반적으로, 필수적이지는 않지만, 30 cm 내지 50 cm의 범위 내에서 획득된다. 일 실시예에서, 근접 범위 깊이 이미지는 0 내지 3.0 m의 범위 내에서 획득될 수 있다. 일부 실시예에서, 환경, 스크린 크기, 장치 크기, 깊이 센서 해상도, 깊이 센서 정확도 등에 따라, 깊이 이미지는 3.0 m보다 더 큰 거리에서 획득될 수 있다.
이제, 일부 실시예에 따른 근접 범위 객체 추적 시스템(100)의 요소들과 이러한 요소들의 사이의 작업 흐름에 대한 개략적인 도시인 도 1을 참조한다. 근접 범위 객체 추적 시스템(100)은, 예를 들어, 깊이 카메라(115), 근접 범위 이미지 추적 모듈(135), 제스처 인식 모듈(140), 출력 모듈(145) 및 소프트웨어 애플리케이션(150)을 포함할 수 있다. 추가의 또는 더 적은 부품 또는 모듈이 시스템(100) 및 각각의 도시된 부품 내에 포함될 수 있다. 예를 들어, 깊이 카메라(115)는 깊이 데이터를 캡쳐하는 깊이 이미지 센서(110)와, 깊이 데이터를 처리하여 깊이 맵(map)을 생성하는 깊이 프로세서(120)를 포함할 수 있다. 깊이 프로세서(120)에 의해 수행된 처리 단계들은 예를 들어 구조화된 광 및 TOF 기술과 같은 깊이 이미지 센서(110)에 의해 사용되는 특정 기술에 의존한다. 또한, 깊이 카메라(115)는 하나 이상의 렌즈, 광원 및 전자 컨트롤러와 같은 다른 부품(미도시)을 포함할 수 있다.
여기에서 사용되는 바와 같이, "모듈(module)"이라는 용어는 범용, 전용 또는 공용의 프로세서와, 일반적으로 프로세서에 의해 실행되는 펌웨어 또는 소프트웨어 모듈을 포함한다. 구현예 전용의 또는 다른 고려 사항에 따라, 모듈은 중앙 집중화되거나 기능적으로 분산될 수 있다. 모듈은 범용 또는 특수 목적의 하드웨어, 펌웨어 또는 프로세서에 의한 실행을 위하여 컴퓨터 판독가능한 (저장) 매체에 포함된 소프트웨어를 포함할 수 있다. 여기에서 사용된 바와 같이, 컴퓨터 판독가능한 매체 또는 컴퓨터 판독가능한 저장 매체는 법(예를 들어, 미국에서는, 35 U.S.C. 101)에 명시된 모든 매체를 포함하고, 컴퓨터 판독가능한 (저장) 매체를 포함하는 청구항이 유효하게 되는데 제외되는 것이 필요한 정도로 본질적으로 법에 명시되지 않은 모든 매체를 특별히 제외하도록 의도된다. 공지의 법에 명시된 컴퓨터 판독가능한 매체는 하드웨어(몇 가지 예를 들자면, 레지스터, RAM(random access memory), 비휘발성(NV(non-volatile)) 저장 장치)를 포함하지만, 하드웨어에 한정될 수도 있고 한정되지 않을 수도 있다.
도 1에서 알 수 있는 바와 같이, 시스템(100)은 사용자의 손, 머리, 발, 팔, 얼굴 또는 임의의 다른 객체와 같은 객체(105)를 추적하며, 객체는 일반적으로 이미지 센서(110)에 근접한 범위 내에 위치된다. 시스템(100)은 근접 범위에서 객체를 감지하는 깊이 카메라(115)를 포함할 수 있다. 깊이 카메라(115)는, 객체를 식별하고 근접 범위에서 객체 움직임을 검출하며, 심지어 미세한 운동 근육(fine motor movement)의 움직임을 검출하도록, 깊이 카메라(115)에 의해 생성된 이미지를 이용하는 이미지 추적 모듈(135)을 지원한다. 예를 들어, 깊이 카메라(115)는 손가락, 입술 및 다른 얼굴 요소, 발가락 등의 미세하고 미묘한 움직임을 검출하기 위하여 충분한 픽셀 해상도 및 정확한 깊이 데이터를 제공하는데 적합할 수 있다.
시스템(110)은 객체 추적을 실행하기 위한 근접 범위 이미지 추적 모듈(135)을 더 포함할 수 있다. 일부 실시예에서, 추적 모듈(135)은, 예를 들어, 적합한 알고리즘을 깊이 이미지 데이터에 적용함으로써 깊이 카메라(115)로부터의 깊이 데이터를 처리하여, 시스템(110)이 근접 범위 깊이 데이터를 이용하게 할 수 있다. 추적 모듈(135)은 근접 범위 광학 설정 및 요건에 따라 깊이 이미지 데이터를 처리할 수 있게 될 수 있다. 추적 모듈(135)은, 가능하다면 동시에, 하나 이상의 객체에 대한 객체 존재, 움직임 , 기리, 속력 등의 처리, 계산, 식별 및/또는 판별을 가능하게 할 수 있다. 근접 범위 이미지 추적 모듈(135)은, 예를 들어, 얼굴 움직임, 발 움직임, 머리 움직임, 팔 움직임, 또는 근접 범위에서의 다른 적합한 객체 움직임의 검출 및/또는 추적을 가능하게 하도록, 예를 들어 근접 범위 추적을 위한 소프트웨어 코드 또는 알고리즘을 실행할 수 있다. 일례에서, 추적 모듈(135)은 인간의 움직임을 추적할 수 있으며, 추적 모듈(135)의 출력은 인간의 골격의 표현일 수 있다.
유사하게, 사용자의 손 및 손가락만이 추적되고 있다면, 추적 모듈(135)의 출력은 인간의 손의 골격의 표현일 수 있다. 손의 골격 표현은 골격의 관절의 위치를 포함할 수 있고, 또한 중심점에 대한 관절의 회전을 포함할 수 있다. 또한, 이는 이러한 점들의 부분 집합을 포함할 수 있다. 더하여, 모듈(135)의 출력은 추적되는 객체의 무게 중심 또는 깊이 카메라(115)에 의해 제공되는 데이터를 처리함으로써 획득될 수 있는 임의의 다른 유용한 데이터와 같은 다른 특징을 포함할 수 있다.
또한, 근접 범위 이미지 추적 모듈(135)은, 깊이 카메라(115)로부터 데이터를 수신함에 따라, 예를 들어 각각의 손가락의 움직임, 어느 특정 손가락 또는 손가락들이 움직이고 있는지, 그리고 개별 손가락 움직임이 대응하는 전체적인 움직임(들)을 식별하기 위하여 각각의 손에서의 상이한 손가락과 같은 특정 객체의 형상 및/또는 기능을 식별하도록 구성될 수 있다.
일부 실시예에서, 근접 범위 이미지 추적 모듈(135)은, 움직임의 속도, 움직임의 걸음 걸이 등에 따라 객체의 움직임의 세기(intensity)를 식별하고 판단하도록 구성될 수 있어, 이에 의해 움직임의 힘의 양상(force aspect)이 검출되어 활용될 수 있게 한다.
일부 실시예에서, 근접 범위 이미지 추적 모듈(135)은 여러 손가락의 운동을 추적하도록 구성될 수 있어, 상이한 손가락 또는 손가락들의 조합으로 이루어진 제스처가 인식될 수 있다.
일수 실시예에서, 근접 범위 추적을 위한 코드 또는 알고리즘은, 예를 들어, 얼굴 움직임, 발 움직임, 머리 움직임, 팔 움직임, 또는 다른 적합한 객체 움직임을 검출 및/또는 추적하는데 사용될 수 있다.
시스템(100)은 감지된 데이터를 분류하기 위하여 움직임 또는 제스처 인식 모듈(140)를 더 포함할 수 있어, 이에 의해 객체의 움직임을 인식 및 판단하는 것을 돕는다. 제스처 인식 모듈(140)은, 예를 들어, 객체가 움직이고 있는지, 신호를 보내고 있는지, 제스처로 나타내고 있는지 등을 판단하고, 특정 제스처가 수행되었는지를 식별하는데 사용될 수 있는 출력을 생성할 수 있다.
시스템(100)은, 사용자 명령 또는 동작이 외부 플랫폼, 콘솔 등에 만족스럽게 출력될 수 있게 하는, 제스처 데이터와 같은 처리된 추적 데이터를 처리하는 출력 모듈(145)을 더 포함할 수 있다.
시스템(100)은 출력 모듈(145)으로부터의 출력을 받아들여 이를 소프트웨어 애플리케이션과 연계하여 사용하는 소프트웨어 애플리케이션(150)을 더 포함할 수 있다. 소프트웨어 애플리케이션(150)은, 사용자의 장치와의 상호 작용을 제어하는 게임 또는 프로그램일 수 있으며, 또는 이와 달리 깊이 카메라(15)에 의해 감지된 처리된 움직임 데이터를 사용할 수 있다.
일 실시예에서, 시스템(100)은 디스플레이(155)를 더 포함할 수 있다. 디스플레이는 시각적 피드백을 사용자에게 제공한다. 시각적 피드백은 표현에 관한 정보가 출력 모듈(145)로부터 수신되는 사용자의 제스처에 대한 표현을 포함할 수 있다. 또한, 시각적 피드백은 하나 이상의 가상 객체와의 사용자의 제스처 표현의 상호 작용을 포함할 수 있고, 상호 작용에 관한 정보는 소프트웨어 애플리케이션(150)로부터 수신된다.
다음으로, 깊이 카메라(115)에 의해 생성된 데이터에 추적 모듈(135)을 이용하여, 사용자의 손(들) 및 손가락(들)을 추적하는 예시적인 방법을 설명하는 도 2를 참조한다. 도 2에 도시된 바와 같이, 블록(205)에서, 사용자의 손은 깊이 카메라(115)로부터 획득된 깊이 이미지 데이터로부터 식별된다. 손은 세그먼트화 및/또는 분류 알고리즘을 이용하여 노이즈 및 원하지 않는 배경 데이터를 제거함으로써 배경으로부터 세그먼트화된다.
블록(210)에서, 깊이 이미지 데이터와, 관련된 진폭 데이터 및/또는 관련된 RGB 이미지에서 특징이 검출된다. 이러한 특징은, 예를 들어, 손가락의 끝, 손가락의 저부가 손바닥과 만나는 점 및 검출 가능한 임의의 다른 이미지 데이터일 수 있다. 블록(215)에서, 블록(210)에서 식별된 특징은 이미지 데이터에서 개별 손가락을 식별하는데 사용된다. 블록(220)에서, 손가락들은 이전 프레임에서의 자신들의 위치에 기초하여 추적되어, 검출된 가능성 있는 잘못된 특징을 필터링하고 가려진 점과 같은 깊이 이미지로부터 손실되고 있을 수 있는 데이터를 채운다.
블록(225)에서, 추적된 손가락의 3차원 위치는 깊이 이미지 데이터로부터 획득되어, 사용자의 손 및 손가락의 골격 모델을 구축하는데 사용될 수 있다. 일부 실시예에서, 운동학 모델이 대상의 관절의 상대 위치를 제한하는데 사용될 수 있다. 또한, 운동학 모델은, 관절이 가져지기 때문에 또는 관절이 카메라의 시야(field-of-view) 외부에 있기 때문에, 카메라에 보이지 않는 관절의 위치를 계산하는데 사용될 수 있다.
다음으로, 검출되고, 추적되고, 인식되고, 실행될 수 있는 미세한 운동 근육의 움직임의 예로서, 일련의 손 제스처를 도시하는 도 3a 내지 3e를 참조한다. 도 3a, 3c 및 3d는 움직임 성분을 가지지 않는 정적인 손 신호 제스처를 도시하고, 도 3b 및 3e는 동적 손 제스처를 도시한다. 도 3b 및 3e는 의미 있고 인식 가능한 신호 또는 제스처를 포함하는 손가락의 움직임을 도시하는 겹쳐놓은 화살표를 포함한다. 물론, 다른 제스처 또는 신호가 사용자의 몸의 다른 부분 또는 다른 객체로부터 검출되어 추적될 수 있다. 다른 예에서, 예를 들어 2 이상의 손가락의 동시 움직임과 같은 여러 객체 또는 사용자 움직임으로부터의 제스처 또는 신호가 검출되고, 추적되고, 인식되고, 실행될 수 있다.
본 개시 내용의 실시예는 다음의 형태의 상호 작용을 포함할 수 있지만 그에한정되지 않는다:
일례에서, 사용자의 손가락의 각각은 디스플레이 스크린 상의 커서일 수 있다. 이러한 방법으로, 사용자는 여러 개의 아이콘(양손을 이용하여 10개까지)과 동시에 상호 작용할 수 있다. 여기에서 사용된 바와 같이, "커서(cursor)"라는 용어는 키보드로부터 입력되는 다음 문자가 나타나거나 또는 사용자 동작이 필요한 CRT 또는 다른 종류의 디스플레이 상의 위치를 표시하는 이동가능하고 때때로 깜빡거리는 부호와 같은 다른 신호, 부호, 지시자 등으로 불릴 수 있다.
다른 예에서, 가상의 핫 필드(hot field)가 스크린의 전방에서 정의될 수 있다. 사용자는 자신의 손가락 및/또는 손(들)을 핫 필드 내에서 움직이는 것에 의해, 예를 들어 마우스 버튼을 클릭하는 것에 대한 움직임을 시뮬레이션하는 것에 의해, 디스플레이 스크린 상에서 객체를 선택할 수 있다. 가상의 핫 필드는, 손가락/손의 3차원 위치가 사용될 수 있기 때문에, 비록 더 광범위하지만, 2차원 터치 스크린과 유사한 기능을 제공한다.
다음으로, 근접 범위 추적을 가능하게 하는 기술에 기초하여 사용자 인터페이스(UI(user interface)) 프레임 워크의 예를 도시하는 도 4를 참조한다. 제스처 인식 부품은, 본 명세서에 전문이 편입되는, 발명의 명칭이 "Method and System for Gesture Classification"인 미국 특허 제7,970,176호와, 발명의 명칭이 "Method and System for Gesture Recognition"인 미국 특허 출원 제12/707,340호에서 설명된 요소를 포함할 수 있다.
단계(400)에서, 깊이 이미지가 깊이 카메라로부터 획득된다. 단계(410)에서, 추적 모듈(135)은 획득된 깊이 이미지를 이용하여 도 2에서 설명된 기능을 수행한다. 추적 모듈(135)에 의해 생성된 관절 위치 데이터는 후술되는 바와 같이 동시에 처리된다. 단계(420)에서, 관절 위치 데이터는 대상의 손/손가락 움직임을 가상 커서로 매핑하거나 투영하는데 사용된다. 선택적으로, 커서 또는 명령 도구는 하나 이상의 대상의 손가락에 의해 제어될 수 있다. 정보는 디스플레이 스크린 상에 제공될 수 있어, 대상에 피드백을 제공한다. 가상 커서는 화살표 또는 손의 표현과 같은 간단한 그래픽 요소일 수 있다. 또한, UI 요소의 색상을 변경하거나 그 뒤에 불꽃(glow)을 투영하는 것에 의하는 것과 같이 UI 요소를 (스크린 상에서 커서의 명시적인 그래픽 표현 없이) 간단히 강조하거나 식별할 수 있다. 대상의 손(들)의 상이한 부분들은 가상 커서를 이동시키는데 사용될 수 있다.
일부 실시예에서, 가상 커서는 대상의 손(들) 또는 하나 이상의 손가락(들)로 매핑될 수 있다. 예를 들어, 검지는 가상 커서의 움직임 상으로 직접 매핑되거나 투영될 수 있다. 다른 실시예에서, UI 요소는 앞뒤로 깊이에서 적층된다. 가상 커서는 3차원에서 이동하도록 허용될 수 있어, 가상 커서는 상이한 깊이 레벨에서 UI 요소 사이에 이동할 수 있다. 다른 실시예에서, 각각 대상의 하나의 손가락 끝에 대응하는 여러 개의 가상 커서가 있다. 다른 실시예에서, 스크린으로부터 멀어지는 손(들)의 움직임은 줌 효과를 부과할 수 있다. 이 대신에, 2개의 손가락, 말하자면 검지과 엄지의 끝 사이의 거리는 디스플레이에서 줌 인(zoom)의 레벨을 나타내는데 사용될 수 있다.
단계(430)에서, 관절의 위치 데이터가 대상에 의해 수행될 수 있는 제스처를 검출하는데 사용될 수 있다. 이벤트를 트리거하는 2가지 카테고리의 제스처가 있다: 선택 제스처(selection gesture) 및 조작 제스처(manipulation gesture). 선택 제스처는 특정 UI 요소가 선택되어야만 한다는 것을 나타낸다. 일부 실시예에서, 선택 제스처는, 마치 대상이 UI 요소를 집고 있는 것과 같이, 손가락이 손바닥의 중심을 향하여 이동하는 손으로 쥐는 움직임이다. 다른 실시예에서, 선택 제스처는 손가락 또는 손을 원으로 움직여 수행되어, 가상 커서가 대상이 선택하기 원하는 UI 요소를 둘러싼다. 물론, 다른 제스처가 사용될 수 있다. 단계(450)에서, 시스템은 선택 제스처가 단계(430)에서 검출되었는지를 평가하고, 검출되었다면, 단계(470)에서, 시스템은 가상 커서가 하나 이상의 UI 요소로 현재 매핑되었는지 여부를 판단한다. 가상 커서가 UI 요소(들)로 매핑된 경우에, UI 요소(들)는 단계(490)에서 선택될 수 있다.
선택 제스처에 더하여, 다른 카테고리의 제스처인 조작 제스처가 정의된다. 조작 제스처는 어떠한 방법으로든 UI 요소를 조작하는데 사용될 수 있다. 일부 실시예에서, 조작 제스처는, 스크린 상에 추가 정보를 디스플레이하기 위하여, 자신의 손을 회전시켜 결국 선택된 UI를 회전시키는 대상에 의해 수행된다. 예를 들어, UI 요소가 파일의 디렉토리라면, 디렉토리를 회전시키는 것은 대상이 그 디렉토리에 포함된 모든 파일을 볼 수 있게 한다. 조작 제스처의 추가적인 예는, 예를 들어 가상 데스크탑 상으로 그 내용물을 비우도록 UI 요소를 뒤집는 것; 그 내용물을 재배열하거나 또는 일부 다른 효과를 가지도록 UI 요소를 흔드는 것; 대상이 "내부 보기(look inside)"를 할 수 있도록 UI 요소를 두드리는 것; 또는 예를 들어 UI 요소를 최소화하는 효과를 가질 수 있는, UI 요소를 쥐어 짜는 것을 포함할 수 있다. 다른 실시예에서, 스윕(swipe) 제스처는 선택된 UI 요소를 휴지통(recycle bin)으로 이동시킬 수 있다.
단계(440)에서, 시스템은 조작 제스처가 검출되었는지를 평가한다. 조작 제스처가 검출되었다면, 이어서 단계(460)에서, 시스템은 선택된 UI 요소가 있는지 체크한다. UI 요소가 선택되었다면, 이는 수행된 제스처의 특정의 정의된 성질과 시스템의 내용에 따라 단계(480)에서 조작될 수 있다. 일부 실시예에서, 각각의 손가락 끝으로 식별되는 하나 이상의 해당하는 커서가, 네비게이션, 명령 입력 또는 스크린 아이콘, 객체 또는 데이터의 다른 조작을 가능하게 하기 위하여, 하나 이상의 손가락에 의해 관리될 수 있다.
일부 실시예에 따르면, 종래의 2차원 아이콘은 사용자에거 추가적인 관련 정보를 전달하기 위하여 추가의 차원을 디스플레이하도록 회전될 수 있다. 예를 들어, 윈도우 아이콘은 디렉토리 내의 파일의 리스트를 디스플레이할 수 있다. 사용자가 자신의 손을 회전시킬 때, 윈도우 아이콘은 회전되고, 디렉토리의 각 파일의 크기를 보여주는 제3 차원이 디스플레이된다.
일부 실시예에서, 디스플레이 스크린 상의 객체는, 객체 위로 손을 이동시켜고 그 다음 객체를 "쥐도록(grap)" 손가락을 손바닥에 더 가까이 가져감으로써 선택될 수 있다. 이는 선택 제스처의 일례이다.
일부 실시예에서, 선택된 후에, 객체는 손을 한 위치에서 다른 위치로 빠르게 이동시키는 손의 "스윕" 제스처로 휴지통 내에 배치될 수 있다. 이는 조작 제스처의 일례이다.
일부 실시예에서, 스크린으로부터의 거리는 스크린 상의 손가락 또는 손의 2차원 투영과 함께 사용될 수 있다. 예를 들어, 사용자는 아이콘(들) 주위로 원을 그리도록 자신의 손가락을 움직여 디스플레이 스크린 상에 아이콘 또는 아이콘 그룹을 나타낼 수 있다. 그 다음, 사용자가 자신의 손/손가락을 스크린으로부터 멀리 이동시킴에 따라, 이에 따라 원의 크기는 커지거나 작아져서, 선택된 원의 내부에서의 스크린 상의 영역을 변경하고, 이에 따라 선택되는 아이콘의 개수를 변경한다.
일부 실시예에서, 스크린으로부터의 거리는 배율 인자로서 사용될 수 있다. 예를 들어, 주어진 객체의 크기는 사용자의 엄지와 검지 사이의 거리에 의해 정의된다. 그러나, 스크린으로부터의 거리는 엄지와 검지 사이의 거리를 곱하는 배율 인자로서 추가로 사용될 수 있다.
일부 실시예에서, 아이콘은 서로 앞뒤로 적층될 수 있고, 스크린까지의 사용자의 손의 거리는 아이콘을 선택하는데 사용될 수 있다. 사용자가 자신의 손을 디스플레이 스크린에 더 가까이 이동시킴에 따라, 스택에서 더 뒤에 있는 객체가 선택되고, 사용자의 손이 디스플레이 스크린으로부터 멀리 이동함에 따라, 스택의 상부를 향하여 있는 객체가 선택된다.
일부 실시예에서, 스크린 상의 여러 객체가 해당하는 손가락 끝에 의해 선택될 수 있고, 손가락의 움직임에 따라 조작될 수 있다. 일부 실시예에서, 스크린으로부터 손 또는 손가락의 거리는 스크린 이미지의 크기에 영향을 미칠 수 있다. 예를 들어, 추적되는 손을 뒤쪽으로 이동시킴에 따라, 스크린은 객체의 더 큰 뷰(view)가 관리될 수 있도록 줌 아웃될 수 있다. 일부 실시예에서, 스크린 객체는 오버레이될 수 있어, 조작될 여러 레벨의 객체를 나타낸다. 이러한 경우에, 손 및/또는 손가락 또는 다른 객체의 깊이 이미지는, 스크린으로부터의 손(들), 손가락(들) 또는 객체(들)의 거리에 따라, 상이한 깊이에서 객체를 조작하는데 사용될 수 있다.
도 5는 일부 실시예에 따라 사용자 명령 도구로서 가상 구역의 예시적인 사용을 설명한다. 도 5에서 알 수 있는 바와 같이, 블록(500)에서, 가상 구역은 깊이 카메라에 대한 선택된 근접부(proximity)에서 정의된다. 가상 구역은, 하나 이상의 사용자의 몸 부분 또는 다른 객체를 이용하여, 예를 들어, 사용자가 타이핑하고, 클릭하고, 스크린을 네비게이션하는 것 등을 가능하게 하기 위하여, 근접 범위 움직임이 추적될 수 있는 깊이 카메라에 대한 특정 근접부에서의 3차원 공간으로서 정의될 수 있다.
블록(505)에서, 깊이 데이터는, 예를 들어 도 4에서 전술한 바와 같이, 추적 모델을 이용하여 처리된다. 블록(510)에서, 시스템은 사용자의 손/손가락/명령하는 객체가 가상 구역 내에 있는지 판단한다. 블록(515)에서, 사용자의 손/손가락 등이 가상 구역 내에 있다면, 시스템은 사용자에 의해 표시된 제스처 또는 동작을 수행하거나 실행한다. 사용자의 손/손가락 등이 가상 구역 내에 있지 않으면, 시스템은 블록(505)으로 복귀하여, 시스템이 사용자의 손/손가락 등이 가상 구역 내에 있다고 판단할 때까지, 추적 모듈을 이용하여 추가적인 깊이 데이터를 처리한다.
다른 실시예에 따라, 본 명세서에서 설명되는 근접 범위 움직임 추적 시스템은 손가락 및/또는 다른 객체의 움직임을 통해 음악 악기의 가상적인 연주를 가능하게 할 수 있다. 일부 예에서, 손의 위치는 특정 악기의 선택을 결정할 수 있다. 일부 실시예에서, 사용자의 손과 손가락의 깊이 이미지는 깊이 카메라로 획득될 수 있다. 데이터는, 악기의 선택을 결정하기 위하여 깊이 이미지로부터 사용자의 손의 위치에 대한 식별을 가능하게 하도록 처리될 수 있다. 그 다음, 깊이 이미지는 깊이 이미지로부터 사용자의 손가락의 움직임을 추적하는 것을 가능하게 하는데 사용될 수 있고, 사용자의 손가락의 움직임은 악기를 가상적으로 작동시킨다. 또한, 가상 악기의 작동은 추적된 움직임에 기초하여 시뮬레이션될 수 있다. 일부 예에서, 악기의 작동의 시뮬레이션은 악기에서 사용자의 손가락 움직임에 의해 연주되는 악보에 대응하는 소리를 제공하는 것을 포함한다. 또 다른 예에서, 악기의 작동의 시뮬레이션은 스크린 상에서 악기의 작동에 대한 시각적 디스플레이를 제공하는 것을 더 포함한다.
또 다른 예에서, 수화 제스처(예를 들어, 미국의 수화 또는 다른 제스처 기반의 언어)가 시스템에 의해 식별될 수 있다. 다른 예에서, 제스처 기반의 언어는 깊이 카메라를 이용하여 사용자의 손과 손가락 및/또는 다른 몸 부분의 깊이 이미지를 획득하고, 깊이 이미지로부터 사용자의 손과 손가락 및/또는 다른 몸 부분에 의해 이루어진 제스처를 제스처 기반의 언어의 사전 정의된 제스처로서 식별하고, 출력으로서 사전 식별된 제스처의 번역을 제공함으로써 식별될 수 있다. 일부 예에서, 출력은 문자 및/또는 오디오 등일 수 있다.
여전히 다른 예에서, 사용자는 하나 이상의 손가락을 위로 유지하는 것, "움켜잡는 것(grasping)"(손가락을 손바닥을 향하여 더 가까이 이동시키는 것), 손을 흔드는 것, 손가락을 튕기는 것(snapping) 등과 같은 사전 정의된 제스처를 형성함으로써 시스템 또는 장치와 통신할 수 있다. 이러한 제스처의 어떠한 것도 시스템의 특정 기능으로 매핑될 수 있다. 예를 들어, 손가락을 튕기는 것은 컴퓨터 시스템을 "동면("hibernate)" 모드로 둘 수 있다. 발명의 명칭이 "METHOD AND SYSTEM FOR GESTURE CLASSIFICATION"인 미국 특허 제7,970,176호와 발명의 명칭이 "METHOD AND SYSTEM FOR GESTURE RECOGNITION"인 미국 출원 제12/707,340호에 개시된 개시 내용은 이러한 제스처를 정의하는 설명을 제공하고, 이들은 본 명세서에 전문이 포함된다.
일부 실시예에서, 2차원 스크린 상에서 디스플레이된 아이콘의 시각(perspective)을 변경하기 위하여, 사용자의 머리가 추적될 수 있다. 즉, 사용자가 옆으로 움직임에 따라, 스크린에 대한 그의 뷰도 이에 따라 이동한다.
일부 예에서, 일관성있고 시스템에 걸친(system-wide) 습성을 발생하는 제스처가 정의될 수 있다. 예를 들어, 임의의 아이콘/폴더는 습성/특성을 정의하였을 수 있다. 다음은 모든 폴더 아이콘에 적용하도록 정의될 수 있는 제스처 또는 신호의 집합의 예이다.
'엎지르기(spill)' 제스처에 대하여, 사용자는 한 항목을 선택하여 이를 약간 회전하고, 따라서 그 내용물은 위로부터 쏟아진다. '내부 보기(look inside)' 제스처에 대하여, 사용자는 한 항목을 선택하여 이를 회전하고, 따라서 사용자는 항목의 내부에 있는 내용물을 볼 수 있다. '흔들기(shake)' 제스처에 대하여, 사용자는 한 항목을 선택하여 흔들기 움직임을 하고, 항목의 내용물의 알파벳순의 재배열과 같은 사전 결정된 동작이 발생한다. '뒤 보기(look behind)' 동작에 대하여, 사용자는 한 항목을 선택하여 항목의 추가 정보가 사용 가능한 "뒤(back)"를 보기 위하여 이를 회전시킨다. 예를 들어, 사진 파일을 포함하는 폴더가 회전되면, 사진의 문자 캡션이 디스플레이된다. '쥐어 짜기(squeeze)' 제스처에 대하여, 사용자는 한 항목을 선택하여 그 항목을 최소화하거나 데스크탑으로부터 사라지게 하기 위하여 이를 쥐어 짠다. 다른 예에서, 손가락, 팔, 눈 등과 같은 여러 객체에 의한 제스처 또는 움직임은 추가의 제스처 또는 신호를 나타내도록 판단될 수 있다. 또 다른 예에서, 상이한 스타일, 속력, 세기 등을 갖는 하나 이상의 객체에 의한 제스처 또는 움직임은 신호의 추가의 제스처를 나타내도록 판단될 수 있다. 물론, 추가의 제스처 또는 신호나 제스처 또는 신호의 조합이 사용될 수 있다.
일부 실시예에서, 사용자의 손이 일대일 움직임을 갖는 가상 표현으로 매핑되더라도, 사용자의 손을 이러한 가상 공간(예를 들어, 데스크탑) 내에 표현하는 다른 방법이 있다. 일례에서, 손의 모델이 추적될 수 있으며, 가상 아이콘은 사용자의 손을 닮는다. 예를 들어, 사용자의 손이 있는 동일한 구성을 유지한다. 다른 예에서, 사용자의 손의 중간 레벨 추출이 사용될 수 있다. 예를 들어, 가상 공간 내에 디스플레이된 각각의 도트(dot)는 사용자의 손가락 끝에 대응할 수 있다. 추가적인 예에서, 사용자의 손의 더 높은 레벨의 추출이 사용될 수 있으며, 손은 애니메이션화된 객체로서 그리고 애니메이션화된 객체의 함수로서 나타난다.
일부 실시예에 따라, 물리/힘 지향적인 상호 작용이 추적되어 사용될 수 있다. 이러한 예에서, 제스처는 항목들과 직접 상호 작용하지 않을 수 있다. 오히려, 제스처는 항목과 상호 작용하는 힘을 생성할 수 있다. 예를 들어, "스핀(spin)" 제스처 - 객체가 회전하게 만드는 특정 제스처 - 를 정의하는 대신에, 이러한 종류의 물리력을 생성할 수 있는 임의의 제스처가 그 작업을 달성하는 것이 결정될 수 있다. 객체를 회전시키는 것은 적당한 속도를 갖는 움직임을 생성하도록 손을 빠르게 흔드는 것, 항목의 코너를 치는 것 또는 항목에 걸쳐 손을 부드럽게 이동시는 것과 같은 여러 방법 중 하나로 효율적으로 수행될 수 있다. 물론, 추가의 제스처 또는 신호나, 제스처 또는 신호의 조합이 사용될 수 있다.
일부 실시예에 따라, 상이한 손가락은 상이한 기능을 가질 수 있다. 예를 들어, 사용자의 손으로 객체를 쥐는 것으로 객체가 선택될 수 있어, 검지가 이를 열고; 중지가 이를 지우고; 약지가 이를 최소화하는 등을 할 수 있다. 물론, 추가의 제스처 또는 신호나, 제스처 또는 신호의 조합이 사용될 수 있다.
본문이 명백하게 달리 요구하지 않는다면, 발명을 실시하기 위한 구체적인 내용 및 특허청구범위 전체를 통해, "포함한다", "포함하는" 등과 같은 단어는, 배재적 또는 소진적 의미에 대하여 반대되는 포함적 의미(즉, 말하자면, "포함하지만 이에 한정되지 않는(including, but not limited to)")로 간주되어야 한다. 여기에서 사용된 바와 같이, "연결된", "결합된" 또는 임의의 그 변형은 2 이상의 요소 사이에서 직접적이거나 간접적인 임의의 연결 또는 결합을 의미한다. 요소 사이의 연결 또는 결합은 물리적, 지역적 또는 그 조합일 수 있다. 또한, "여기에서", "상기", "하기", "아래에서"와 같은 단어 및 유사한 의미의 단어는, 본 명세서에서 사용될 때, 전체로서의 본 출원을 지칭하며, 그리고 본 출원의 특정 부분을 지칭하지는 않는다. 또한, 본문이 허용하는 한, 단수 또는 복수를 사용하는 상술한 발명을 실시하기 위한 구체적인 내용에서의 단어는 각각 복수 또는 단수를 포함할 수 있다. 2 이상의 항목의 리스트에 관한 "또는"이라는 단어는 단어에 대한 다음의 해석의 모두를 포함한다: 리스트에 있는 항목 중 어느 하나, 리스트에서의 모든 항목, 및 리스트에 있는 항목의 임의의 조합.
본 발명의 상술한 발명을 실시하기 위한 구체적인 내용은 소진적이거나 또는 상기 개시된 자세한 형태에 대한 교시 내용을 한정하려고 의도되지 않는다. 본 발명의 특정 실시예 및 본 발명에 대한 예가 예시적인 목적으로 설명되지만, 관련 기술 분야에서 통상의 지식을 가진 자가 인식하는 바와 같이, 다양한 균등한 변형이 본 발명의 범위 내에서 가능하다. 예를 들어, 과정 또는 블록이 본 출원에서 주어진 순서로 제시되지만, 다른 구현예는 다른 순서로 수행되는 단계들을 갖는 루틴을 수행하거나 또는 다른 순서로 블록을 갖는 시스템을 이용할 수 있다. 일부 과정 또는 블록은 삭제되고, 이동되고, 추가되고, 세분화되고, 결합되고, 그리고/또는 수정되어 대체물 또는 서브 컴비네이션을 제공할 수 있다. 또한, 과정 또는 블록은 가끔 직렬로 수행되는 것으로 나타내어지지만, 이러한 과정 또는 블록은 그 대신에 병렬로 수행되거나 또는 상이한 시간에 수행될 수 있다. 여기에서 표시된 추가의 임의의 특정 숫자는 단지 예이다. 다른 구현예는 상이한 값 또는 범위를 채용할 수 있다는 것이 이해된다.
또한, 여기에서 제공된 다양한 예시 및 교시는 전술한 시스템이 아닌 다른 시스템에 적용될 수 있다. 상술된 다양한 실시예의 요소 및 동작은 결합되어 본 발명의 다른 구현예를 제공할 수 있다.
첨부된 출원 서류에 리스트될 수 있는 임의의 것을 포함하는, 앞에서 언급된 임의의 특허, 출원 및 다른 참조 문헌은, 참조로서 본 명세서에 편입된다. 본 발명의 양태는, 필요하다면, 이러한 참조 문헌에 포함된 시스템, 기능 및 개념을 채용하도록 변형되어 본 발명의 다른 구현예를 제공할 수 있다.
이러한 그리고 다른 변경이 상술한 발명을 실시하기 위한 구체적인 내용의 견지에서 본 발명에 대하여 이루어질 수 있다. 전술한 설명이 본 발명의 소정의 실시예를 설명하고 고려되는 최선의 형태를 설명하지만, 상술한 것이 본문에서 얼마나 상세한지에 관계없이, 교시는 다양한 방법으로 실시될 수 있다. 시스템의 상세는 그 구현예의 상세에서 상당히 변경될 수 있으며, 이는 여기에서 개시된 내용에 의해 여전히 포함된다. 전술한 바와 같이, 본 발명의 소정의 특징 또는 양태를 설명할 때 사용된 특정 용어는 그 용어가 관련된 본 개시 내용의 임의의 구체적인 특성, 특징 또는 양태로 제한하기 위하여 여기에서 재정의되고 있는 것을 의미하는 것으로 받아들여져서는 안된다. 일반적으로, 다음의 특허청구범위에 사용된 용어는, 상술한 발명을 실시하기 위한 구체적인 내용이 이러한 용어를 명시적으로 정의하지 않는 한, 본 명세서에 개시된 특정 실시예로 본 발명을 한정하는 것으로 간주되어서는 안된다. 따라서, 본 발명의 실제 범위는 개시된 실시예뿐만 아니라 특허청구범위 하에서 본 발명을 실시하거나 구현하는 모든 균등한 방법을 포함한다.
본 발명의 소정의 양태가 소정의 특허청구범위 형태로 제시되지만, 본 출원인은 임의의 수의 특허청구범위 형태로 본 발명의 다양한 양태로 의도한다. 예를 들어, 본 발명의 단지 하나의 양태가 35 USC 제112조 제6 문단의 규정 하에서 기능식 청구항으로서 설명되어도, 다른 양태가 컴퓨터 판독가능한 매체로 구체화되는 것과 같은 다른 형태로 유사하게 구체화될 수 있다. (35 USC 제112조 제6 문단의 규정 하에서 취급되도록 의도된 임의의 청구항은 "~하는 수단"의 문구로 시작할 것이다.) 따라서, 본 출원인은 본 발명의 다른 양태에 대한 추가 청구항 형태를 속행하기 위하여 본 출원을 출원한 후에 추가 청구항을 부가하는 권리를 유보한다.

Claims (21)

  1. 깊이 센서를 이용하여 사용자의 몸의 일부에 대한 근접 범위 깊이 이미지를 획득하는 단계;
    상기 깊이 이미지로부터 상기 사용자의 몸의 일부의 지정된 구역 내에서의 움직임을 식별하는 단계;
    상기 사용자의 몸의 일부의 상기 구역 내의 움직임을 추적하는 단계; 및
    상기 사용자의 몸의 일부를 제1 객체로서 스크린 상에 디스플레이하는 단계
    를 포함하고,
    식별된 상기 사용자의 몸의 일부의 움직임에 대응하는 제스처를 수행하고 있는 상기 제1 객체가 상기 스크린 상에 보여지는,
    사용자 인터페이스 운영 방법.
  2. 제1항에 있어서,
    상기 제1 객체는 상기 스크린 상의 다른 객체와 상호 작용하는,
    사용자 인터페이스 운영 방법.
  3. 제2항에 있어서,
    상기 움직임은 상기 스크린 상의 상기 다른 객체와 상호 작용하는 힘을 생성하는,
    사용자 인터페이스 운영 방법.
  4. 제1항에 있어서,
    상기 사용자의 몸의 일부는 하나 이상의 손가락을 포함하고, 상기 하나 이상의 손가락의 각각은 상기 스크린 상의 하나 이상의 분리된 제1 객체들로서 표현되고, 상기 분리된 제1 객체들의 각각은 상기 스크린 상의 다른 객체와 상호 작용하는,
    사용자 인터페이스 운영 방법.
  5. 제1항에 있어서,
    상기 사용자의 몸의 일부는 손을 포함하고,
    상기 손의 식별된 상기 움직임은 선택 제스처에 대응하고,
    상기 스크린 상의 상기 제1 객체는 상기 스크린 상의 제2 객체를 선택하는,
    사용자 인터페이스 운영 방법.
  6. 제1항에 있어서,
    상기 사용자의 몸의 일부는 손을 포함하고,
    상기 손의 식별된 상기 움직임은 조작 제스처에 대응하고,
    상기 스크린 상의 상기 제2 객체는 상기 조작 제스처와 관련된 사전 정의된 동작에 따라 조작되는,
    사용자 인터페이스 운영 방법.
  7. 제1항에 있어서,
    상기 스크린으로부터의 상기 사용자의 몸의 일부의 거리를 결정하는 단계; 및
    상기 거리에서의 변경에 기초하여 상기 스크린을 줌 인(zoom in) 또는 줌 아웃(zoom out)하는 단계
    를 더 포함하는,
    사용자 인터페이스 운영 방법.
  8. 제1항에 있어서,
    상기 스크린으로부터의 상기 사용자의 손의 거리를 결정하는 단계; 및
    상기 스크린 상의 객체 스택으로부터 선택된 객체를 표시하도록 상기 스크린 상에 커서를 이동시키는 단계
    를 더 포함하고,
    상기 사용자의 몸의 일부는 상기 손을 포함하고,
    상기 커서는 상기 스크린으로부터 상기 사용자의 손의 거리에 기초하여 이동되고,
    상기 커서를 이동시키는 단계는,
    상기 사용자의 손이 상기 스크린에 더 가까이 이동함에 따라 상기 객체 스택의 하부를 향하여 상기 커서를 이동시키는 단계; 및
    상기 사용자의 손이 상기 스크린에 더 멀리 이동함에 따라 상기 객체 스택의 상부를 향하여 상기 커서를 이동시키는 단계
    를 포함하는,
    사용자 인터페이스 운영 방법.
  9. 제1항에 있어서,
    상기 스크린으로부터의 상기 사용자의 몸의 일부의 거리에 기초하여 상기 제1 객체의 크기를 변경하는 단계를 더 포함하는,
    사용자 인터페이스 운영 방법.
  10. 깊이 센서를 이용하여 사용자의 손 또는 손들과 손가락의 깊이 이미지를 획득하는 단계; 및
    상기 깊이 이미지로부터 사용자의 손 또는 손들과 손가락의 움직임을 추적하는 단계
    를 포함하고,
    상기 움직임은 기능을 수행하는 제스처에 대응하는,
    방법.
  11. 제10항에 있어서,
    상기 기능은 가상 음악 악기의 작동인,
    방법.
  12. 제11항에 있어서,
    상기 가상 음악 악기의 선택을 결정하기 위하여, 상기 사용자의 손 또는 손들과 손가락의 위치를 식별하는 단계를 더 포함하는,
    방법.
  13. 제11항에 있어서,
    상기 가상 음악 악기 상에서 상기 사용자의 손 또는 손들과 손가락의 움직임에 의해 연주되는 악보에 대응하는 소리를 제공하는 단계를 더 포함하는,
    방법.
  14. 제11항에 있어서,
    스크린 상에 상기 가상 음악 악기의 작동에 대한 시각적 디스플레이를 제공하는 단계를 더 포함하는,
    방법.
  15. 제10항에 있어서,
    전자 장치 상에 상기 기능을 수행하는 단계를 더 포함하는,
    방법.
  16. 제스처 기반의 언어의 일부로서 이루어진 제스처를 번역하는 방법에 있어서,
    깊이 센서를 이용하여 사용자의 손과 손가락의 깊이 이미지를 획득하는 단계;
    상기 제스처 기반의 언어의 사전 정의된 제스처로서 상기 깊이 이미지로부터 상기 사용자의 손과 손가락에 의해 이루어진 제스처를 식별하는 단계; 및
    사전 식별된 상기 제스처의 번역을 출력으로서 제공하는 단계
    를 포함하는,
    제스처 번역 방법.
  17. 제16항에 있어서,
    상기 출력은 오디오 출력 또는 스크린 상의 문자 출력을 포함하는,
    제스처 번역 방법.
  18. 사용자의 몸의 적어도 일부에 대한 근접 범위 깊이 이미지를 획득하도록 구성된 깊이 센서;
    상기 깊이 이미지의 데이터로부터 상기 사용자의 몸의 적어도 일부를 식별하고, 상기 깊이 이미지의 데이터로부터 상기 사용자의 몸의 적어도 일부의 움직임을 추적하도록 구성된 추적 모듈;
    상기 사용자의 몸의 적어도 일부의 움직임이 하나 이상의 사용자 인터페이스 요소와 상호 작용하게 허용하도록 구성된 출력 모듈; 및
    상기 사용자의 몸의 적어도 일부에 대한 표현과 상기 하나 이상의 사용자 인터페이스 요소를 보이도록 구성된 디스플레이
    를 포함하는,
    시스템.
  19. 제18항에 있어서,
    상기 추적 모듈은 배경 세그먼트화 알고리즘, 특징 검출 알고리즘 및 객체 식별 알고리즘을 실행하는,
    시스템.
  20. 제18항에 있어서,
    상기 추적 모듈은 골격 모델 구축 알고리즘을 더 실행하는,
    시스템.
  21. 깊이 센서를 이용하여 사용자의 몸의 일부에 대한 근접 범위 깊이 이미지를 획득하는 수단;
    상기 깊이 이미지로부터 상기 사용자의 몸의 일부의 지정된 구역 내에서의 움직임을 식별하는 수단;
    상기 사용자의 몸의 일부의 상기 구역 내의 움직임을 추적하는 수단; 및
    상기 사용자의 몸의 일부를 제1 객체로서 스크린 상에 디스플레이하는 수단
    을 포함하고,
    식별된 상기 사용자의 몸의 일부의 움직임에 대응하는 제스처를 수행하고 있는 상기 제1 객체가 상기 스크린 상에 보여지는,
    시스템.
KR1020120068110A 2011-06-23 2012-06-25 근접 범위 움직임 추적 시스템 및 방법 KR101979317B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161500480P 2011-06-23 2011-06-23
US61/500,480 2011-06-23

Publications (2)

Publication Number Publication Date
KR20130001176A true KR20130001176A (ko) 2013-01-03
KR101979317B1 KR101979317B1 (ko) 2019-05-16

Family

ID=46980712

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120068110A KR101979317B1 (ko) 2011-06-23 2012-06-25 근접 범위 움직임 추적 시스템 및 방법

Country Status (6)

Country Link
US (1) US9910498B2 (ko)
EP (1) EP2538305A3 (ko)
JP (1) JP6074170B2 (ko)
KR (1) KR101979317B1 (ko)
CN (1) CN102915112B (ko)
CA (1) CA2780367A1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101350313B1 (ko) * 2013-08-12 2014-02-13 전자부품연구원 손동작 기반 문자 입력 장치 및 이를 이용한 문자 입력 방법
KR20150091378A (ko) * 2013-01-07 2015-08-10 후아웨이 디바이스 컴퍼니 리미티드 애플리케이션 아이콘을 추가하는 방법 및 장치, 및 애플리케이션 아이콘을 제거하는 방법 및 장치
KR20160090843A (ko) * 2013-11-25 2016-08-01 퀄컴 인코포레이티드 모바일 디바이스 상에서의 깊이 센서의 전력 효율적인 사용
KR20170019650A (ko) * 2015-08-12 2017-02-22 삼성전자주식회사 가상 악기의 연주 방법 및 이를 지원 하는 장치
KR20180124546A (ko) 2017-05-12 2018-11-21 주식회사 엘지화학 고분자 고체 전해질 조성물 및 이를 포함하는 고분자 막
KR20180124540A (ko) 2017-05-12 2018-11-21 주식회사 엘지화학 고분자 고체 전해질 조성물 및 이를 포함하는 고분자 막
KR20190023187A (ko) * 2017-08-28 2019-03-08 주식회사 케이티 디스플레이 장치
WO2020036235A1 (ko) * 2018-08-13 2020-02-20 정규민 Rgb 센서를 이용한 객체 인식 및 데이터 처리 방법 및 장치
KR20200122202A (ko) * 2019-04-17 2020-10-27 주식회사 지티온 신체 움직임 인식을 이용한 가상 인터렉티브 컨텐츠 실행 시스템
KR20220082632A (ko) * 2020-12-10 2022-06-17 최윤우 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템 및 이를 이용한 제스처 기반의 비접촉 멀티미디어 장치 제어 방법

Families Citing this family (130)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012040827A2 (en) * 2010-10-01 2012-04-05 Smart Technologies Ulc Interactive input system having a 3d input space
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
JP6074170B2 (ja) 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US11048333B2 (en) * 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
US8830302B2 (en) * 2011-08-24 2014-09-09 Lg Electronics Inc. Gesture-based user interface method and apparatus
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
WO2013095678A1 (en) * 2011-12-23 2013-06-27 Intel Corporation Mechanism to provide feedback regarding computing system command gestures
US9339691B2 (en) 2012-01-05 2016-05-17 Icon Health & Fitness, Inc. System and method for controlling an exercise device
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
US20150220149A1 (en) * 2012-02-14 2015-08-06 Google Inc. Systems and methods for a virtual grasping user interface
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US8934675B2 (en) 2012-06-25 2015-01-13 Aquifi, Inc. Systems and methods for tracking human hands by performing parts based template matching using images from multiple viewpoints
JP6360050B2 (ja) 2012-07-13 2018-07-18 ソフトキネティック ソフトウェア 手の上の特異な注目すべき点を使用した人間−コンピュータ・ジェスチャ・ベース同時相互作用のための方法及びシステム
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
US9310895B2 (en) * 2012-10-12 2016-04-12 Microsoft Technology Licensing, Llc Touchless input
DE102012110460A1 (de) * 2012-10-31 2014-04-30 Audi Ag Verfahren zum Eingeben eines Steuerbefehls für eine Komponente eines Kraftwagens
US9591339B1 (en) 2012-11-27 2017-03-07 Apple Inc. Agnostic media delivery system
US9774917B1 (en) 2012-12-10 2017-09-26 Apple Inc. Channel bar user interface
US10200761B1 (en) 2012-12-13 2019-02-05 Apple Inc. TV side bar user interface
US9532111B1 (en) * 2012-12-18 2016-12-27 Apple Inc. Devices and method for providing remote control hints on a display
US10521188B1 (en) 2012-12-31 2019-12-31 Apple Inc. Multi-user TV user interface
JP6143469B2 (ja) * 2013-01-17 2017-06-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
SE536989C2 (sv) * 2013-01-22 2014-11-25 Crunchfish Ab Förbättrad återkoppling i ett beröringsfritt användargränssnitt
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
US9052746B2 (en) * 2013-02-15 2015-06-09 Microsoft Technology Licensing, Llc User center-of-mass and mass distribution extraction using depth images
US8994652B2 (en) 2013-02-15 2015-03-31 Intel Corporation Model-based multi-hypothesis target tracker
EP2972669B1 (en) 2013-03-14 2019-07-24 Intel Corporation Depth-based user interface gesture control
CN104884133B (zh) 2013-03-14 2018-02-23 艾肯运动与健康公司 具有飞轮的力量训练设备
JP6042753B2 (ja) * 2013-03-18 2016-12-14 株式会社Ｎｔｔドコモ 端末装置及び操作ロック解除方法
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US20160088206A1 (en) * 2013-04-30 2016-03-24 Hewlett-Packard Development Company, L.P. Depth sensors
US10509533B2 (en) * 2013-05-14 2019-12-17 Qualcomm Incorporated Systems and methods of generating augmented reality (AR) objects
US9563955B1 (en) * 2013-05-15 2017-02-07 Amazon Technologies, Inc. Object tracking techniques
US9144744B2 (en) 2013-06-10 2015-09-29 Microsoft Corporation Locating and orienting device in space
US9671868B2 (en) 2013-06-11 2017-06-06 Honeywell International Inc. System and method for volumetric computing
EP3007786A1 (en) 2013-06-14 2016-04-20 Intercontinental Great Brands LLC Interactive video games
US9109921B1 (en) * 2013-06-19 2015-08-18 Amazon Technologies, Inc. Contextual based navigation element
CN103399629B (zh) * 2013-06-29 2017-09-19 华为技术有限公司 获取手势屏幕显示坐标的方法和装置
US10533850B2 (en) 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
US10585478B2 (en) 2013-09-13 2020-03-10 Nod, Inc. Methods and systems for integrating one or more gestural controllers into a head mounted wearable display or other wearable devices
US10139914B2 (en) * 2013-09-13 2018-11-27 Nod, Inc. Methods and apparatus for using the human body as an input device
CN103735268B (zh) * 2013-09-29 2015-11-25 沈阳东软医疗系统有限公司 一种体位检测方法及系统
US9400553B2 (en) * 2013-10-11 2016-07-26 Microsoft Technology Licensing, Llc User interface programmatic scaling
US9317112B2 (en) * 2013-11-19 2016-04-19 Microsoft Technology Licensing, Llc Motion control of a virtual environment
JP6255954B2 (ja) * 2013-12-03 2018-01-10 富士通株式会社 動作入力装置、動作入力プログラム及び動作入力方法
EP3974036A1 (en) 2013-12-26 2022-03-30 iFIT Inc. Magnetic resistance mechanism in a cable machine
US20150187143A1 (en) * 2013-12-26 2015-07-02 Shadi Mere Rendering a virtual representation of a hand
TWI530909B (zh) 2013-12-31 2016-04-21 財團法人工業技術研究院 影像合成系統及方法
WO2015102658A1 (en) * 2014-01-03 2015-07-09 Intel Corporation Systems and techniques for user interface control
EP2891950B1 (en) * 2014-01-07 2018-08-15 Sony Depthsensing Solutions Human-to-computer natural three-dimensional hand gesture based navigation method
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9785243B2 (en) 2014-01-30 2017-10-10 Honeywell International Inc. System and method for providing an ergonomic three-dimensional, gesture based, multimodal interface for use in flight deck applications
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
US10433612B2 (en) 2014-03-10 2019-10-08 Icon Health & Fitness, Inc. Pressure sensor to quantify work
US9501138B2 (en) 2014-05-05 2016-11-22 Aquifi, Inc. Systems and methods for remapping three-dimensional gestures onto a finite-size two-dimensional surface
CN106470739B (zh) 2014-06-09 2019-06-21 爱康保健健身有限公司 并入跑步机的缆索系统
US9330306B2 (en) 2014-06-11 2016-05-03 Panasonic Intellectual Property Management Co., Ltd. 3D gesture stabilization for robust input control in mobile environments
WO2015195965A1 (en) 2014-06-20 2015-12-23 Icon Health & Fitness, Inc. Post workout massage device
CN106415475A (zh) 2014-06-24 2017-02-15 苹果公司 用于在用户界面中导航的列界面
KR102398394B1 (ko) 2014-06-24 2022-05-16 애플 인크. 입력 디바이스 및 사용자 인터페이스 상호작용
US20160062473A1 (en) * 2014-08-29 2016-03-03 Hand Held Products, Inc. Gesture-controlled computer system
TW201610750A (zh) * 2014-09-03 2016-03-16 Liquid3D Solutions Ltd 可與３ｄ影像互動之手勢控制系統
WO2016042039A1 (en) * 2014-09-16 2016-03-24 Foundation For Research And Technology - Hellas (Forth) Gesture recognition apparatuses, methods and systems for human-machine interaction
KR101644739B1 (ko) * 2015-02-13 2016-08-10 계명대학교 산학협력단 3d 프린팅 펜을 이용하는 3d 프린팅 보조 장치 및 그 방법
US9696795B2 (en) * 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US10391361B2 (en) 2015-02-27 2019-08-27 Icon Health & Fitness, Inc. Simulating real-world terrain on an exercise device
EP3231175B1 (en) * 2015-04-29 2021-02-24 Hewlett-Packard Development Company, L.P. System and method for processing depth images which capture an interaction of an object relative to an interaction plane
KR101807513B1 (ko) * 2015-05-13 2017-12-12 한국전자통신연구원 3차원 공간에서 영상정보를 이용한 사용자 의도 분석장치 및 분석방법
US9747717B2 (en) 2015-05-13 2017-08-29 Intel Corporation Iterative closest point technique based on a solution of inverse kinematics problem
US10402554B2 (en) * 2015-06-27 2019-09-03 Intel Corporation Technologies for depth-based user authentication
US9703387B2 (en) * 2015-08-31 2017-07-11 Konica Minolta Laboratory U.S.A., Inc. System and method of real-time interactive operation of user interface
KR101745406B1 (ko) 2015-09-03 2017-06-12 한국과학기술연구원 깊이 영상 기반의 손 제스처 인식 장치 및 방법
US10649536B2 (en) * 2015-11-24 2020-05-12 Intel Corporation Determination of hand dimensions for hand and gesture recognition with a computing interface
US10248839B2 (en) * 2015-11-30 2019-04-02 Intel Corporation Locating objects within depth images
US20170185156A1 (en) * 2015-12-29 2017-06-29 Microsoft Technology Licensing, Llc Hand tracking for user interface operation at-a-distance
US10386482B2 (en) 2016-01-25 2019-08-20 Board Of Regents, The University Of Texas System Device-free tracking system that accurately tracks hand movement
US10908694B2 (en) 2016-02-01 2021-02-02 Microsoft Technology Licensing, Llc Object motion tracking with remote device
US10272317B2 (en) 2016-03-18 2019-04-30 Icon Health & Fitness, Inc. Lighted pace feature in a treadmill
US10625137B2 (en) 2016-03-18 2020-04-21 Icon Health & Fitness, Inc. Coordinated displays in an exercise device
US10493349B2 (en) 2016-03-18 2019-12-03 Icon Health & Fitness, Inc. Display on exercise device
JP6688990B2 (ja) * 2016-04-28 2020-04-28 パナソニックＩｐマネジメント株式会社 識別装置、識別方法、識別プログラムおよび記録媒体
DK201670582A1 (en) 2016-06-12 2018-01-02 Apple Inc Identifying applications on which content is available
DK201670581A1 (en) 2016-06-12 2018-01-08 Apple Inc Device-level authorization for viewing content
EP3285107B2 (en) 2016-08-16 2024-02-28 Leica Instruments (Singapore) Pte. Ltd. Surgical microscope with gesture control and method for a gesture control of a surgical microscope
US20180052520A1 (en) * 2016-08-19 2018-02-22 Otis Elevator Company System and method for distant gesture-based control using a network of sensors across the building
US10095315B2 (en) 2016-08-19 2018-10-09 Otis Elevator Company System and method for distant gesture-based control using a network of sensors across the building
JP6980990B2 (ja) * 2016-08-31 2021-12-15 ソニーグループ株式会社 情報処理システム、情報処理方法、およびプログラム
DE102016216577A1 (de) * 2016-09-01 2018-03-01 Volkswagen Aktiengesellschaft Verfahren zur Interaktion mit Bildinhalten, die auf einer Anzeigevorrichtung in einem Fahrzeug dargestellt werden
JP6728004B2 (ja) * 2016-09-20 2020-07-22 ヤフー株式会社 仮想楽器演奏プログラム、仮想楽器演奏装置および仮想楽器演奏方法
US10671705B2 (en) 2016-09-28 2020-06-02 Icon Health & Fitness, Inc. Customizing recipe recommendations
US10606457B2 (en) 2016-10-11 2020-03-31 Google Llc Shake event detection system
KR101937823B1 (ko) * 2016-10-24 2019-01-14 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US11966560B2 (en) 2016-10-26 2024-04-23 Apple Inc. User interfaces for browsing content from multiple content applications on an electronic device
CN110545886A (zh) * 2016-12-05 2019-12-06 优史佩斯公司 用于基于手势的交互的系统和方法
CN106601217B (zh) * 2016-12-06 2021-03-02 北京邮电大学 一种交互式乐器演奏方法及装置
JP2018092494A (ja) * 2016-12-07 2018-06-14 ソニーセミコンダクタソリューションズ株式会社 画像センサ
US10620779B2 (en) * 2017-04-24 2020-04-14 Microsoft Technology Licensing, Llc Navigating a holographic image
US20180329877A1 (en) * 2017-05-09 2018-11-15 International Business Machines Corporation Multilingual content management
US20190066385A1 (en) * 2017-08-31 2019-02-28 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
EP3502835A1 (en) * 2017-12-20 2019-06-26 Nokia Technologies Oy Gesture control of a data processing apparatus
CN108255351B (zh) * 2017-12-22 2019-08-20 潍坊歌尔电子有限公司 用户手指位置信息的确定方法及装置、投影仪、投影系统
US10948993B2 (en) * 2018-06-07 2021-03-16 Facebook, Inc. Picture-taking within virtual reality
CN110634177A (zh) 2018-06-21 2019-12-31 华为技术有限公司 一种物体建模运动方法、装置与设备
CN109032354B (zh) * 2018-07-24 2021-05-07 Oppo（重庆）智能科技有限公司 电子装置及其手势识别方法、计算机可读存储介质
US11003766B2 (en) 2018-08-20 2021-05-11 Microsoft Technology Licensing, Llc Enhancing cybersecurity and operational monitoring with alert confidence assignments
US10732725B2 (en) 2018-09-25 2020-08-04 XRSpace CO., LTD. Method and apparatus of interactive display based on gesture recognition
CN109446952A (zh) * 2018-10-16 2019-03-08 赵笑婷 一种钢琴监督方法、装置、计算机设备及存储介质
WO2020085524A1 (ko) * 2018-10-23 2020-04-30 엘지전자 주식회사 이동단말기 및 그 제어 방법
CN109582136B (zh) * 2018-11-13 2022-05-03 深圳市创凯智能股份有限公司 三维窗口手势导航方法、装置、移动终端及存储介质
US11030814B1 (en) * 2019-01-15 2021-06-08 Facebook, Inc. Data sterilization for post-capture editing of artificial reality effects
CN114297620A (zh) 2019-03-24 2022-04-08 苹果公司 用于媒体浏览应用程序的用户界面
WO2020198221A1 (en) 2019-03-24 2020-10-01 Apple Inc. User interfaces for viewing and accessing content on an electronic device
US11683565B2 (en) 2019-03-24 2023-06-20 Apple Inc. User interfaces for interacting with channels that provide content that plays in a media browsing application
US11445263B2 (en) 2019-03-24 2022-09-13 Apple Inc. User interfaces including selectable representations of content items
US11863837B2 (en) 2019-05-31 2024-01-02 Apple Inc. Notification of augmented reality content on an electronic device
WO2020243645A1 (en) 2019-05-31 2020-12-03 Apple Inc. User interfaces for a podcast browsing and playback application
CN110322569B (zh) * 2019-07-03 2023-03-31 百度在线网络技术（北京）有限公司 多模态ar处理方法、装置、设备和可读存储介质
US11843838B2 (en) 2020-03-24 2023-12-12 Apple Inc. User interfaces for accessing episodes of a content series
US11340707B2 (en) * 2020-05-29 2022-05-24 Microsoft Technology Licensing, Llc Hand gesture-based emojis
US11899895B2 (en) 2020-06-21 2024-02-13 Apple Inc. User interfaces for setting up an electronic device
US11720229B2 (en) 2020-12-07 2023-08-08 Apple Inc. User interfaces for browsing and presenting content
KR102569857B1 (ko) * 2021-01-27 2023-08-23 주식회사 시온네트웍 Hmd 핸드트래킹을 이용한 실기술 트레이닝 제공방법
US11934640B2 (en) 2021-01-29 2024-03-19 Apple Inc. User interfaces for record labels
KR20230034782A (ko) * 2021-09-03 2023-03-10 삼성전자주식회사 깊이 센서를 이용하여 깊이 맵을 생성하는 증강 현실 디바이스 및 방법
CN114217729A (zh) * 2021-11-30 2022-03-22 广州宏途教育网络科技有限公司 一种基于视觉识别的人机交互方法及系统
KR20230100472A (ko) * 2021-12-28 2023-07-05 삼성전자주식회사 손의 관절에 관한 위치 정보를 획득하는 증강 현실 디바이스 및 그 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002041038A (ja) * 2000-07-31 2002-02-08 Taito Corp 仮想楽器演奏装置
JP2004271783A (ja) * 2003-03-07 2004-09-30 Kenzo Akazawa 電子楽器および演奏操作装置
JP2010015553A (ja) * 2008-06-03 2010-01-21 Shimane Pref Gov 画像認識装置および操作判定方法並びにプログラム
KR20100074180A (ko) * 2007-09-14 2010-07-01 인텔렉츄얼 벤처스 홀딩 67 엘엘씨 제스처-기반 사용자 상호작용의 프로세싱
JP2011081480A (ja) * 2009-10-05 2011-04-21 Seiko Epson Corp 画像入力システム

Family Cites Families (154)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4900033A (en) 1988-09-12 1990-02-13 Samuel Campos Spelling game apparatus
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
DE69736622T2 (de) 1996-07-03 2007-09-13 Hitachi, Ltd. System zur Bewegungserkennung
US6104379A (en) 1996-12-11 2000-08-15 Virtual Technologies, Inc. Forearm-supported exoskeleton hand-tracking device
EP0969901A1 (en) 1997-03-12 2000-01-12 Neurocom International, Inc System and method for monitoring training programs
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6336891B1 (en) 1997-12-08 2002-01-08 Real Vision Corporation Interactive exercise pad system
US5994844A (en) 1997-12-12 1999-11-30 Frezzolini Electronics, Inc. Video lighthead with dimmer control and stabilized intensity
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6270414B2 (en) 1997-12-31 2001-08-07 U.S. Philips Corporation Exoskeletal platform for controlling multi-directional avatar kinetics in a virtual environment
JP2001034775A (ja) 1999-05-17 2001-02-09 Fuji Photo Film Co Ltd 履歴画像表示方法
US7628730B1 (en) 1999-07-08 2009-12-08 Icon Ip, Inc. Methods and systems for controlling an exercise apparatus using a USB compatible portable remote device
DE19953835C1 (de) 1999-10-30 2001-05-23 Hertz Inst Heinrich Rechnerunterstütztes Verfahren zur berührungslosen, videobasierten Blickrichtungsbestimmung eines Anwenderauges für die augengeführte Mensch-Computer-Interaktion und Vorrichtung zur Durchführung des Verfahrens
US8956228B2 (en) 1999-12-03 2015-02-17 Nike, Inc. Game pod
US7183480B2 (en) 2000-01-11 2007-02-27 Yamaha Corporation Apparatus and method for detecting performer's motion to interactively control performance of music or the like
JP3496874B2 (ja) 2000-02-23 2004-02-16 コナミ株式会社 ゲーム装置、ゲーム装置の制御方法、情報記憶媒体、ゲーム配信装置及びゲーム配信方法
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7027083B2 (en) 2001-02-12 2006-04-11 Carnegie Mellon University System and method for servoing on a moving fixation point within a dynamic scene
US7274800B2 (en) 2001-07-18 2007-09-25 Intel Corporation Dynamic gesture recognition from stereo sequences
JP2003126291A (ja) 2001-10-19 2003-05-07 Konami Co Ltd 運動支援制御方法及び運動支援装置
JP3694267B2 (ja) 2002-01-11 2005-09-14 コナミスポーツライフ株式会社 運動支援装置
US7340077B2 (en) 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7369685B2 (en) 2002-04-05 2008-05-06 Identix Corporation Vision-based operating method and system
US20040001113A1 (en) 2002-06-28 2004-01-01 John Zipperer Method and apparatus for spline-based trajectory classification, gesture detection and localization
US7815507B2 (en) 2004-06-18 2010-10-19 Igt Game machine user interface using a non-contact eye motion recognition device
US7151530B2 (en) 2002-08-20 2006-12-19 Canesta, Inc. System and method for determining an input selected by a user through a virtual interface
US7225414B1 (en) * 2002-09-10 2007-05-29 Videomining Corporation Method and system for virtual touch entertainment
US20070155589A1 (en) 2002-12-04 2007-07-05 Philip Feldman Method and Apparatus for Operatively Controlling a Virtual Reality Scenario with an Isometric Exercise System
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
EP1477924B1 (en) 2003-03-31 2007-05-02 HONDA MOTOR CO., Ltd. Gesture recognition apparatus, method and program
WO2004107266A1 (en) 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
KR100544677B1 (ko) 2003-12-26 2006-01-23 한국전자통신연구원 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법
JP4522129B2 (ja) 2004-03-31 2010-08-11 キヤノン株式会社 画像処理方法および画像処理装置
US7379563B2 (en) 2004-04-15 2008-05-27 Gesturetek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US20060018516A1 (en) 2004-07-22 2006-01-26 Masoud Osama T Monitoring activity using video information
GB2419433A (en) 2004-10-20 2006-04-26 Glasgow School Of Art Automated Gesture Recognition
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
EP1874414A4 (en) 2004-12-28 2010-08-25 Ssd Co Ltd SIMULATED EXPERIMENT APPARATUS, ENERGY CONSUMPTION CALCULATION METHOD, INCREASE MOTION DETECTION APPARATUS, EXERCISE ASSIST APPARATUS, ANIMATION METHOD, EXERCISE QUANTITY MANAGEMENT APPARATUS, MEASURING APPARATUS ATHLETIC ABILITY, CAPACITANCE MEASURING APPARATUS
US20120277594A1 (en) 2009-01-23 2012-11-01 Pryor Timothy R Mental health and well-being
KR100687737B1 (ko) 2005-03-19 2007-02-27 한국전자통신연구원 양손 제스쳐에 기반한 가상 마우스 장치 및 방법
US9325890B2 (en) 2005-03-25 2016-04-26 Siemens Aktiengesellschaft Method and system to control a camera of a wireless device
DE102005017313A1 (de) 2005-04-14 2006-10-19 Volkswagen Ag Verfahren zur Darstellung von Informationen in einem Verkehrsmittel und Kombiinstrument für ein Kraftfahrzeug
DE602005019631D1 (de) 2005-04-26 2010-04-08 Alterface S A Interaktive multimedia-anwendungseinrichtung
JP5028751B2 (ja) 2005-06-09 2012-09-19 ソニー株式会社 行動認識装置
US8094928B2 (en) 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming
TWI348639B (en) 2005-12-16 2011-09-11 Ind Tech Res Inst Motion recognition system and method for controlling electronic device
JP5510951B2 (ja) 2006-02-01 2014-06-04 トビー テクノロジー アーベー コンピュータシステムにおけるグラフィカルフィードバックの生成
US9910497B2 (en) * 2006-02-08 2018-03-06 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
US8941588B2 (en) 2008-04-24 2015-01-27 Oblong Industries, Inc. Fast fingertip detection for initializing a vision-based hand tracker
US8531396B2 (en) 2006-02-08 2013-09-10 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8793620B2 (en) 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US8249334B2 (en) 2006-05-11 2012-08-21 Primesense Ltd. Modeling of humanoid forms from depth maps
JP4711885B2 (ja) 2006-05-25 2011-06-29 三菱電機株式会社 遠隔操作装置及び方法
EP1862969A1 (en) 2006-06-02 2007-12-05 Eidgenössische Technische Hochschule Zürich Method and system for generating a representation of a dynamically changing 3D scene
US9696808B2 (en) 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
US7725547B2 (en) 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
US9317124B2 (en) 2006-09-28 2016-04-19 Nokia Technologies Oy Command input by hand gestures captured from camera
US8023726B2 (en) 2006-11-10 2011-09-20 University Of Maryland Method and system for markerless motion capture using multiple cameras
US8351646B2 (en) 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
US7840031B2 (en) 2007-01-12 2010-11-23 International Business Machines Corporation Tracking a range of body movement based on 3D captured image streams of a user
US7971156B2 (en) 2007-01-12 2011-06-28 International Business Machines Corporation Controlling resource access based on user gesturing in a 3D captured image stream of the user
US8144148B2 (en) 2007-02-08 2012-03-27 Edge 3 Technologies Llc Method and system for vision-based interaction in a virtual environment
US7753861B1 (en) 2007-04-04 2010-07-13 Dp Technologies, Inc. Chest strap having human activity monitoring device
US9028430B2 (en) 2007-04-19 2015-05-12 Nike, Inc. Footwork training system and method
EP2149068B1 (en) 2007-04-23 2021-06-09 Huawei Technologies Co., Ltd. Eyewear having human activity monitoring device
WO2008134313A1 (en) 2007-04-26 2008-11-06 Heather Raymond A method and system for developing or tracking a program for medical treatment
US8963828B2 (en) 2007-06-04 2015-02-24 Shimane Prefectural Government Information inputting device, information outputting device and method
US20090015681A1 (en) 2007-07-12 2009-01-15 Sony Ericsson Mobile Communications Ab Multipoint autofocus for adjusting depth of field
US8221290B2 (en) 2007-08-17 2012-07-17 Adidas International Marketing B.V. Sports electronic training system with electronic gaming features, and applications thereof
US20090055205A1 (en) 2007-08-23 2009-02-26 Igt Multimedia player tracking infrastructure
US7970176B2 (en) 2007-10-02 2011-06-28 Omek Interactive, Inc. Method and system for gesture classification
US7885145B2 (en) 2007-10-26 2011-02-08 Samsung Electronics Co. Ltd. System and method for selection of an object of interest during physical browsing by finger pointing and snapping
US9098766B2 (en) 2007-12-21 2015-08-04 Honda Motor Co., Ltd. Controlled human pose estimation from depth image streams
US8149210B2 (en) 2007-12-31 2012-04-03 Microsoft International Holdings B.V. Pointing device and method
US20120204133A1 (en) 2009-01-13 2012-08-09 Primesense Ltd. Gesture-Based User Interface
US9094675B2 (en) 2008-02-29 2015-07-28 Disney Enterprises Inc. Processing image data from multiple cameras for motion pictures
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US20090262986A1 (en) 2008-04-22 2009-10-22 International Business Machines Corporation Gesture recognition from co-ordinate data
US8904430B2 (en) 2008-04-24 2014-12-02 Sony Computer Entertainment America, LLC Method and apparatus for real-time viewer interaction with a media presentation
US8113991B2 (en) 2008-06-02 2012-02-14 Omek Interactive, Ltd. Method and system for interactive fitness training program
BRPI0917864A2 (pt) 2008-08-15 2015-11-24 Univ Brown aparelho e método para estimativa da forma corporal
US20100053151A1 (en) 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
US7869204B2 (en) 2008-09-15 2011-01-11 International Business Machines Corporation Compact size portable computer having a fully integrated virtual keyboard projector and a display projector
US8081797B2 (en) 2008-10-10 2011-12-20 Institut National D'optique Selective and adaptive illumination of a target
CN101408800B (zh) * 2008-11-14 2010-06-09 东南大学 利用摄像头进行三维模型显示控制的方法
US8565476B2 (en) * 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
KR101738569B1 (ko) 2009-02-17 2017-05-22 인텔 코포레이션 제스쳐 인식 방법 및 시스템
US9538167B2 (en) 2009-03-06 2017-01-03 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for shader-lamps based physical avatars of real and virtual people
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
US8660303B2 (en) 2009-05-01 2014-02-25 Microsoft Corporation Detection of body and props
US20100277470A1 (en) * 2009-05-01 2010-11-04 Microsoft Corporation Systems And Methods For Applying Model Tracking To Motion Capture
US8112719B2 (en) 2009-05-26 2012-02-07 Topseed Technology Corp. Method for controlling gesture-based remote control system
US9400559B2 (en) * 2009-05-29 2016-07-26 Microsoft Technology Licensing, Llc Gesture shortcuts
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
JP4701424B2 (ja) 2009-08-12 2011-06-15 島根県 画像認識装置および操作判定方法並びにプログラム
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
KR101602461B1 (ko) 2009-09-22 2016-03-15 삼성전자주식회사 디스플레이 장치 및 휴대폰의 제어방법
EP2480955B1 (en) 2009-09-22 2018-05-16 Facebook Inc. Remote control of computer devices
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US8593576B2 (en) 2009-10-15 2013-11-26 At&T Intellectual Property I, L.P. Gesture-based remote control
US8843857B2 (en) * 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
WO2011066343A2 (en) 2009-11-24 2011-06-03 Next Holdings Limited Methods and apparatus for gesture recognition mode control
KR101652110B1 (ko) 2009-12-03 2016-08-29 엘지전자 주식회사 사용자의 제스쳐로 제어가능한 장치의 전력 제어 방법
KR101688655B1 (ko) 2009-12-03 2016-12-21 엘지전자 주식회사 사용자의 프레전스 검출에 의한 제스쳐 인식 장치의 전력 제어 방법
US8232990B2 (en) 2010-01-05 2012-07-31 Apple Inc. Working with 3D objects
FR2955409B1 (fr) 2010-01-18 2015-07-03 Fittingbox Procede d'integration d'un objet virtuel dans des photographies ou video en temps reel
TW201128444A (en) 2010-02-02 2011-08-16 Hon Hai Prec Ind Co Ltd Controlling system and method for camera, adjusting apparatus for camera including the same
KR101184460B1 (ko) 2010-02-05 2012-09-19 연세대학교 산학협력단 마우스 포인터 제어 장치 및 방법
US8659658B2 (en) * 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US20110234481A1 (en) 2010-03-26 2011-09-29 Sagi Katz Enhancing presentations using depth sensing cameras
CN101853568A (zh) 2010-04-13 2010-10-06 鸿富锦精密工业（深圳）有限公司 手势遥控装置
US8351651B2 (en) 2010-04-26 2013-01-08 Microsoft Corporation Hand-location post-process refinement in a tracking system
FR2959576A1 (fr) 2010-05-03 2011-11-04 Thomson Licensing Procede d’affichage d’un menu de reglage et dispositif correspondant
EP2393298A1 (en) 2010-06-03 2011-12-07 Zoltan Korcsok Method and apparatus for generating multiple image views for a multiview autostereoscopic display device
TWI540312B (zh) 2010-06-15 2016-07-01 原相科技股份有限公司 可提高測量精確度、省電及／或能提高移動偵測效率的時差測距系統及其方法
US8654152B2 (en) 2010-06-21 2014-02-18 Microsoft Corporation Compartmentalizing focus area within field of view
US20110317871A1 (en) * 2010-06-29 2011-12-29 Microsoft Corporation Skeletal joint recognition and tracking system
US9661232B2 (en) 2010-08-12 2017-05-23 John G. Posa Apparatus and method providing auto zoom in response to relative movement of target subject matter
KR101815020B1 (ko) 2010-08-26 2018-01-31 삼성전자주식회사 인터페이스 제어 장치 및 방법
US9141189B2 (en) 2010-08-26 2015-09-22 Samsung Electronics Co., Ltd. Apparatus and method for controlling interface
US20120050483A1 (en) 2010-08-27 2012-03-01 Chris Boross Method and system for utilizing an image sensor pipeline (isp) for 3d imaging processing utilizing z-depth information
KR101708696B1 (ko) 2010-09-15 2017-02-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US9213890B2 (en) 2010-09-17 2015-12-15 Sony Corporation Gesture recognition system for TV control
JP5360166B2 (ja) 2010-09-22 2013-12-04 株式会社ニコン 画像表示装置
KR20120031805A (ko) 2010-09-27 2012-04-04 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US20130215027A1 (en) 2010-10-22 2013-08-22 Curt N. Van Lydegraf Evaluating an Input Relative to a Display
US20130154913A1 (en) 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
US9307134B2 (en) 2011-03-25 2016-04-05 Sony Corporation Automatic setting of zoom, aperture and shutter speed based on scene depth map
JP5960796B2 (ja) 2011-03-29 2016-08-02 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
US20120257035A1 (en) 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
US8686943B1 (en) 2011-05-13 2014-04-01 Imimtek, Inc. Two-dimensional method and system enabling three-dimensional user interaction with a device
KR101227569B1 (ko) 2011-05-26 2013-01-29 한국과학기술연구원 골프 스윙 분석을 위한 신체 부위별 위치 추적 장치 및 방법
US8823639B2 (en) 2011-05-27 2014-09-02 Disney Enterprises, Inc. Elastomeric input device
US8897491B2 (en) 2011-06-06 2014-11-25 Microsoft Corporation System for finger recognition and tracking
US20120327218A1 (en) 2011-06-21 2012-12-27 Microsoft Corporation Resource conservation based on a region of interest
JP6074170B2 (ja) 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US8228315B1 (en) 2011-07-12 2012-07-24 Google Inc. Methods and systems for a virtual input device
KR101262700B1 (ko) 2011-08-05 2013-05-08 삼성전자주식회사 음성 인식 및 모션 인식을 이용하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치
US8830302B2 (en) 2011-08-24 2014-09-09 Lg Electronics Inc. Gesture-based user interface method and apparatus
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US9491441B2 (en) 2011-08-30 2016-11-08 Microsoft Technology Licensing, Llc Method to extend laser depth map range
JP5460679B2 (ja) 2011-11-28 2014-04-02 ソニー株式会社 情報処理装置、情報処理方法、およびコンテンツファイルのデータ構造
US20130204408A1 (en) 2012-02-06 2013-08-08 Honeywell International Inc. System for controlling home automation system using body movements
US9558575B2 (en) 2012-02-28 2017-01-31 Blackberry Limited Methods and devices for selecting objects in images
US9734393B2 (en) 2012-03-20 2017-08-15 Facebook, Inc. Gesture-based control system
US9652043B2 (en) 2012-05-14 2017-05-16 Hewlett-Packard Development Company, L.P. Recognizing commands with a depth sensor
US9823742B2 (en) 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
JP6135239B2 (ja) 2012-05-18 2017-05-31 株式会社リコー 画像処理装置、画像処理プログラム、画像処理方法
US8913809B2 (en) 2012-06-13 2014-12-16 Microsoft Corporation Monitoring physical body changes via image sensor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002041038A (ja) * 2000-07-31 2002-02-08 Taito Corp 仮想楽器演奏装置
JP2004271783A (ja) * 2003-03-07 2004-09-30 Kenzo Akazawa 電子楽器および演奏操作装置
KR20100074180A (ko) * 2007-09-14 2010-07-01 인텔렉츄얼 벤처스 홀딩 67 엘엘씨 제스처-기반 사용자 상호작용의 프로세싱
JP2010015553A (ja) * 2008-06-03 2010-01-21 Shimane Pref Gov 画像認識装置および操作判定方法並びにプログラム
JP2011081480A (ja) * 2009-10-05 2011-04-21 Seiko Epson Corp 画像入力システム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150091378A (ko) * 2013-01-07 2015-08-10 후아웨이 디바이스 컴퍼니 리미티드 애플리케이션 아이콘을 추가하는 방법 및 장치, 및 애플리케이션 아이콘을 제거하는 방법 및 장치
US10444933B2 (en) 2013-01-07 2019-10-15 Huawei Device Co., Ltd. Method and apparatus for adding application icon and method and apparatus for removing application icon
KR101350313B1 (ko) * 2013-08-12 2014-02-13 전자부품연구원 손동작 기반 문자 입력 장치 및 이를 이용한 문자 입력 방법
KR20160090843A (ko) * 2013-11-25 2016-08-01 퀄컴 인코포레이티드 모바일 디바이스 상에서의 깊이 센서의 전력 효율적인 사용
KR20170019650A (ko) * 2015-08-12 2017-02-22 삼성전자주식회사 가상 악기의 연주 방법 및 이를 지원 하는 장치
KR20180124546A (ko) 2017-05-12 2018-11-21 주식회사 엘지화학 고분자 고체 전해질 조성물 및 이를 포함하는 고분자 막
KR20180124540A (ko) 2017-05-12 2018-11-21 주식회사 엘지화학 고분자 고체 전해질 조성물 및 이를 포함하는 고분자 막
KR20190023187A (ko) * 2017-08-28 2019-03-08 주식회사 케이티 디스플레이 장치
WO2020036235A1 (ko) * 2018-08-13 2020-02-20 정규민 Rgb 센서를 이용한 객체 인식 및 데이터 처리 방법 및 장치
KR20200122202A (ko) * 2019-04-17 2020-10-27 주식회사 지티온 신체 움직임 인식을 이용한 가상 인터렉티브 컨텐츠 실행 시스템
KR20220082632A (ko) * 2020-12-10 2022-06-17 최윤우 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템 및 이를 이용한 제스처 기반의 비접촉 멀티미디어 장치 제어 방법

Also Published As

Publication number Publication date
EP2538305A2 (en) 2012-12-26
CN102915112A (zh) 2013-02-06
JP6074170B2 (ja) 2017-02-01
KR101979317B1 (ko) 2019-05-16
CA2780367A1 (en) 2012-12-23
US9910498B2 (en) 2018-03-06
CN102915112B (zh) 2018-06-26
JP2013037675A (ja) 2013-02-21
US20120327125A1 (en) 2012-12-27
EP2538305A3 (en) 2013-08-21

Similar Documents

Publication Publication Date Title
US11048333B2 (en) System and method for close-range movement tracking
KR101979317B1 (ko) 근접 범위 움직임 추적 시스템 및 방법
JP2013037675A5 (ko)
US10761612B2 (en) Gesture recognition techniques
US20220236808A1 (en) Dynamic, free-space user interactions for machine control
US20220164032A1 (en) Enhanced Virtual Touchpad
US9939914B2 (en) System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
KR101688355B1 (ko) 다수의 지각 감지 입력의 상호작용
US20190362562A1 (en) Throwable Interface for Augmented Reality and Virtual Reality Environments
KR101809636B1 (ko) 컴퓨터 장치의 원격 제어
US9122311B2 (en) Visual feedback for tactile and non-tactile user interfaces
US20140123077A1 (en) System and method for user interaction and control of electronic devices
WO2014113454A1 (en) Dynamic, free-space user interactions for machine control
US20140022171A1 (en) System and method for controlling an external system using a remote device with a depth sensor
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
JP2009070416A (ja) 制御システムおよび制御方法
WO2014014461A1 (en) System and method for controlling an external system using a remote device with a depth sensor
Dave et al. Project MUDRA: Personalization of Computers using Natural Interface
JP5028676B2 (ja) グラフィカルユーザーインターフェースの操作／制御装置

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right