KR20150107755A - 비접촉 제스처 인터페이스들에서 오브젝트들 사이의 거리 사용 - Google Patents

비접촉 제스처 인터페이스들에서 오브젝트들 사이의 거리 사용 Download PDF

Info

Publication number
KR20150107755A
KR20150107755A KR1020157019537A KR20157019537A KR20150107755A KR 20150107755 A KR20150107755 A KR 20150107755A KR 1020157019537 A KR1020157019537 A KR 1020157019537A KR 20157019537 A KR20157019537 A KR 20157019537A KR 20150107755 A KR20150107755 A KR 20150107755A
Authority
KR
South Korea
Prior art keywords
distance
function
user
determining
processor
Prior art date
Application number
KR1020157019537A
Other languages
English (en)
Inventor
알렉산드로 카프만
크리스찬 플라그만
조슈아 카플란
Original Assignee
구글 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 인코포레이티드 filed Critical 구글 인코포레이티드
Publication of KR20150107755A publication Critical patent/KR20150107755A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Abstract

볼륨과 같은 디바이스의 기능이 제스처 인식 및 보간법(interpolation scheme)의 조합을 사용하여 제어된다. 제1 시간 및 제2 시간에서 사용자의 손들과 같은 두 오브젝트들 사이의 거리가 결정된다. 두 시간들에서 계산된 상기 거리들 사이의 차이는 디바이스의 기능을 맵핑된 값으로 설정하기 위해 기능의 값에 대해 결정된 차이의 플롯 상에 맵핑된다.

Description

비접촉 제스처 인터페이스들에서 오브젝트들 사이의 거리 사용{USING DISTANCE BETWEEN OBJECTS IN TOUCHLESS GESTURAL INTERFACES}
디바이스들의 제스처 제어는 일반적으로 사용자로 하여금 디바이스의 특정 구성과 함께 인터렉션하도록 한다. 예를 들면, 사용자는 손을 흔드는 제스처에 기초하여 불을 켤 것을 지시한다. 제스처는 깊이 카메라(depth camera) 또는 RGB 카메라에 의해 감지된다. 카메라는 사용자로부터의 제스처들에 대한 주위환경을 모니터링한다. 또한 비디오 게임 콘솔들도 제스처-기반 인터페이스들을 제공하기 위해 단일의 카메라를 사용한다. 예를 들면, 핸드-투-핸드 전투 게임은 사용자에 의해 던져진 펀치를 감지하고, TV 화면상에 그 펀치에 대해 응답하는 비디오 게임 상대방을 가진다. 또한 가상 현실도 보통 헤드 마운트형 디스플레이 유닛과 함께 사용자에게 실감나는 주위환경을 제공한다.
본 개시된 발명의 구현예에 따르면, 제1 시간에 신체 부위와 같은 적어도 제1 오브젝트와 제2 오브젝트와의 사이의 제1 거리가 결정된다. 상기 제1 오브젝트 및 상기 제2 오브젝트는 디바이스와 물리적으로 접촉되지 않는다. 디바이스는 선택 가능한 값들의 범위를 가지는 기능을 포함한다. 제2 시간에 제1 오브젝트와 제2 오브젝트와의 사이의 제2 거리가 결정된다. 제1 거리와 제2 거리와의 사이의 차이가 결정된다. 일부 구성예들에서, 상기 결정된 차이는 보간법(interpolation scheme)에 기초하여 맵핑된다. 보간법은 상기 결정된 차이에 대하여 선택 가능한 값들의 범위의 플롯을 포함한다. 상기 플롯은 비-선형이고, 범위 내에서 미리 결정된 최소값 및 최대값을 정의한다. 선택 가능한 값들의 범위 내에서 상기 선택 가능한 값들 중 한 값은 상기 결정된 차이에 기초하여 선택된다.
구현예에서, 데이터베이스, 적어도 하나의 카메라 및 프로세서를 포함하는 시스템이 개시된다. 데이터베이스는 제1 오브젝트 및 제2 오브젝트의 위치들을 저장한다. 하나 이상의 카메라들은 제1 오브젝트 및 제2 오브젝트의 위치를 캡처한다. 프로세서는 데이터베이스에 연결되고, 제1 시간에서 제1 오브젝트와 제2 오브젝트와의 사이의 제1 거리를 결정하도록 구성된다. 제1 오브젝트와 제2 오브젝트는 디바이스와 물리적으로 접촉되지 않는다. 디바이스는 둘 이상의 선택 가능한 값들을 가지는 기능을 포함한다. 프로세서는 제2 시간에서 제1 오브젝트와 제2 오브젝트와의 사이의 제2 거리를 결정하도록 구성된다. 제1 거리와 제2 거리와의 사이의 차이를 결정하고 상기 결정된 차이에 기초하여 선택 가능한 값들 중 하나를 선택한다.
본 개시된 발명의 추가적인 구성들, 이점들 및 구현예들이 기술되고 다음의 상세한 설명, 도면들 및 청구항들로부터 명백해진다. 게다가, 전술한 발명의 내용과 후술하는 상세한 설명 모두는 대표적인 것이며 청구항들의 범위를 제한함 없이 추가적 설명을 제공하도록 의도되었다는 것이 이해되어야 한다.
본 개시된 발명의 추가적 이해를 제공하기 위해 포함된 첨부 도면들은 본 명세서에 통합되고 본 명세서의 일부를 구성한다. 또한 도면들은 본 개시된 발명의 구현예들을 도시하고, 상세한 설명과 함께 개시된 발명의 구현예들의 원리들을 설명한다. 본 발명과 실시될 수 있는 다양한 방식들의 근본적인 이해를 위해 필요한 것보다 더 상세한 구조적 세부사항들은 도시하지 않았다.
도 1은 본 개시된 발명의 구현예에 따르는 컴퓨터를 도시한다.
도 2는 본 개시된 발명의 구현예에 따르는 네트워크 구성을 도시한다.
도 3은 본 명세서에 개시된 구현예에 따르는 예시적 프로세스 흐름을 도시한다.
도 4a는 예시적 선형(linear) 또는 절대(absolute) 보간법을 도시하며, 도 4b는 예시적 비선형(non-linear) 보간법을 도시한다. 각각은 기능에 대한 미리 결정된 최소값 및 최대값을 갖는다.
도 5a는 초기의 이격 거리에서 사용자의 손들을 도시한다. 도 5b는 사용자의 손들이 서로 다가오는 것을 도시한다. 도 5c는 멀어지는 사용자의 손들 사이의 거리를 도시한다. 도 5a-5c의 각각은 선형 또는 절대 보간법이 이용된다.
도 6a는 초기의 이격 거리에서 사용자의 손들을 도시한다. 도 6b는 사용자의 손들이 서로 다가오는 것을 도시한다. 도 6c는 멀어지는 사용자의 손들 사이의 거리를 도시한다. 도 6a-6c의 각각은 선형 또는 절대 보간법이 이용된다.
본 명세서에 개시된 구현예에 따르면, 사용자의 손들 또는 손들의 부분과 같은 두 오브젝트들 사이의 거리 변화들이 감지된다. 결정된 거리는 스피커의 볼륨과 같은 디바이스의 기능을 제어하는데 활용된다. 예를 들면, 사용자가 그의 손들을 들고 손들을 서로 멀리 움직일 때, 손들 사이의 증가된 거리가 감지되고 볼륨은 ㅈ증가한다. 반대로, 손들을 서로 가까이 움직일 때, 볼륨은 감소한다. 손들의 방향이 감지되고 어떤 기능 또는 디바이스를 제어할지 판단하는데 사용된다. 예를 들면, 손들을 서로 평행하게 들고 손들을 멀리 이동하는 것은 볼륨을 제어하며; 그렇게 손바닥들을 디바이스와 마주보게 함으로써 화면 밝기를 제어한다.
이 유형의 제스처를 감지하고 사용하는 것은 제1 시간에 손들 사이의 제1 거리를 측정하는 것과 그 후 제2 시간에 손들 사이의 제2 거리를 측정하는 것으로 표현된다. 시간이 지나 이들 두 거리들을 비교하는 것은 손들이 서로 멀리 움직이고 있는지, 서로 가까워지게 움직이고 있는지 또는 거의 동일한 이격 거리에 머무르고 있는지 표시한다. 그 후 이는 제어되는 기능을 변경하는데 사용된다.
현재 개시된 발명의 구현예들은 다양한 컴포넌트와 네트워크 아키텍쳐들에서 및 다양한 컴포넌트와 네트워크 아키텍쳐들을 사용하여 구현된다. 도 1은 현재 개시된 발명의 구현예들을 구현하기 위한 적절한 예시적 컴퓨터(20)이다. 컴퓨터(20)는 중앙 프로세서(24), 메모리(27)(일반적으로 RAM, 그러나 ROM 또한 포함하며, 플래시 RAM, 또는 그와 유사한 것), 입력/출력 컨트롤러(28), 디스플레이 어댑터를 통한 디스플레이 화면과 같은 사용자 디스플레이(22), 하나 이상의 컨트롤러들 및 키보드, 마우스 및 그와 유사한 것과 같은 관련된 사용자 입력 디바이스들을 포함하는 사용자 입력 인터페이스(26)와 같은 컴퓨터(20)의 주요 컴포넌트들과 서로 연결되고, 및 I/O 컨트롤러(28), 하드 드라이브, 플래시 스토리지, 섬유 채널 네트워크, SAN 디바이스, SCSI 디바이스 및 이와 유사한 것과 같은 고정 스토리지(23), 및 광학 디스크, 플래시 드라이브 및 이와 유사한 것을 제어하고 수신하도록 동작하는 이동식 미디어 컴포넌트(25)에 가깝게 연결된 버스(21)를 포함한다.
버스(21)는 중앙 프로세서(24)와 메모리(27) 사이에 데이터 통신을 하게 하게 하며, 앞서 언급된 바와 같이 리드-온리 메모리(ROM) 또는 플래시 메모리(둘다 도시되지 않음), 및 랜덤 엑세스 메모리(RAM)(도시되지 않음)를 포함한다. 일반적으로 RAM은 운영 체제와 어플리케이션 프로그램들이 로딩되는 메인 메모리이다. ROM 또는 플래시 메모리는 다른 코드 중에, 주변 컴포넌트들과의 인터렉션과 같은 기본적인 하드웨어 동작을 제어하는 바이오스(Basic Input-Output system, BIOS)를 포함한다. 일반적으로 컴퓨터(20)에 상주하는 어플리케이션들은 하드 디스크 드라이브(예를 들면, 고정 스토리지(23)), 광학 드라이브, 플로피 디스크 또는 다른 저장 매체(25)와 같은 컴퓨터 판독가능 매체에 저장되고 컴퓨터 판독가능 매체를 통해 엑세스된다.
고정 스토리지(23)는 컴퓨터(20)에 내장되거나 또는 분리되어 다른 인터페이스들을 통해 엑세스된다. 네트워크 인터페이스(29)는 전화 링크를 통해 원격 서버에, 인터넷 서비스 제공자(ISP)를 통해 인터넷에 직접 연결을 제공하거나, POP(인터넷 접속 거점, point of presence) 또는 다른 기법을 통한 인터넷과의 직접 네트워크 링크를 통해 원격 서버에 직접 연결을 제공한다. 네트워크 인터페이스(29)는 상기 연결을 디지털 셀룰러 전화기 연결, 셀룰러 디지털 패킷 데이터(Cellular Digital Packet Data, CDPD) 연결, 디지털 위성 데이터 연결 또는 이와 유사한 것을 포함하는 무선 기법들을 사용하여 제공한다. 예를 들면, 도 2에 도시된 바와 같이, 네트워크 인터페이스(29)는 컴퓨터로 하여금 하나 이상의 지역, 광역 또는 다른 네트워크들을 통해 다른 컴퓨터들과 통신하도록 한다.
기타 많은 디바이스들 또는 컴포넌트들(도시되지 않음)이 유사한 방식으로 연결된다(예를 들면, 문서 스캐너들, 디지털 카메라들 등). 반대로, 도 1에 도시된 모든 컴포넌트들이 본 발명을 실시하기 위해 존재할 필요는 없다. 컴포넌트들은 도시된 것과 다른 방식들로 상호 연결될 수 있다. 도 1에 도시된 것과 같은 컴퓨터의 동작은 이미 공지되어 있으며, 본 출원에서 상세히 논의되지 않는다. 본 발명을 구현하기 위한 코드는 하나 이상의 메모리(27), 고정 스토리지(23), 이동식 미디어(25)와 같은 컴퓨터 판독가능 저장 미디어 또는 원격 저장 위치에 저장된다.
도 2는 본 개시된 발명의 구현예에 따르는 예시적 네트워크 배치를 도시한다. 로컬 컴퓨터들, 스마트폰들, 타블렛 컴퓨팅 디바이스들 및 이와 유사한 것과 같은 하나 이상의 클라이언트들(10,11)은 하나 이상의 네트워크들(7)을 통해 다른 디바이스들과 연결한다. 네트워크는 로컬 네트워크, 광역 네트워크, 인터넷 또는 임의의 기타 적절한 통신 네트워크 또는 네트워크들이고, 유선 및/또는 무선 네트워크들을 포함하는 임의의 적절한 플랫폼에서 구현된다. 디바이스들은 클라이언트(10, 11)에 의해 직접적으로 엑세스될 수 있거나 또는 서버(13)에서 데이터베이스(15)에 저장된 리소스들에 엑세스하는 것과 같이 하나 이상의 다른 디바이스들은 중간적인(intermediary) 엑세스를 제공한다. 또한 클라이언트(10, 11)는 클라우드 컴퓨팅 배치들 및 서비스들과 같은 원격 플랫폼들(17) 또는 원격 플랫폼들(17)에 의해 제공된 서비스들에 엑세스한다. 원격 플랫폼(17)은 하나 이상의 서버들(13) 및/또는 데이터베이스들(15)을 포함한다.
더 일반적으로, 본 개시된 발명의 다양한 구현예들은 프로세스들을 실시하기 위한 컴퓨터로 구현된 프로세스들 및 장치들의 형태로 포함되거나 이용된다. 또한 구현예들은 플로피 디스켓들, CD-ROM들, 하드 드라이브들, USB 드라이브들 또는 임의의 기타 기계 판독가능 저장 매체와 같은 비일시적 및/또는 유형적 미디어에 수록된 명령어들을 포함하는 컴퓨터 프로그램 코드를 가지는 컴퓨터 프로그램 물의 형태로 수록되며, 컴퓨터 프로그램 코드가 컴퓨터에 로딩되고 컴퓨터에 의해 실행될 때, 컴퓨터는 본 개시된 발명의 구현예들을 실시하기 위한 장치가 된다. 또한 구현예들은 예를 들면, 저장 매체에 저장되어 컴퓨터에 로딩되고 및/또는 컴퓨터에 의해 실행되든지 또는 전기적 배선 또는 케이블을 통해, 광섬유를 통해 또는 전자기파를 통해서와 같이 어떤 전송 매체를 통해 전송되든 컴퓨터 프로그램 코드의 형태로 수록되며, 상기 컴퓨터 프로그램 코드가 컴퓨터에 로딩되고 컴퓨터에 의해 실행될 때, 컴퓨터는 본 개시된 발명의 구현예들을 실시하기 위한 장치가 된다. 범용 마이크로프로세서에서 구현될 때, 컴퓨터 프로그램 코드 세그먼트들은 마이크로프로세서가 특정 로직 회로들을 만들도록 구성한다. 일부 구성예들에서, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 판독가능 명령어들의 세트는 범용 프로세서에 의해 구현되며, 이는 범용 프로세서 또는 범용 프로세서를 포함하는 디바이스를 명령어들을 구현 또는 수행하도록 구성된 특수 목적 디바이스로 변환한다. 구현예들은 범용 마이크로프로세서 및/또는 하드웨어 및/또는 펌웨어에서 개시된 발명의 구현예들에 따르는 기법들의 전부 또는 일부를 이용하는 주문형 반도체(Application Specific Integrated Circuit, ASIC)와 같은 프로세서를 포함하는 하드웨어를 사용하여 구현된다. 프로세서는 RAM, ROM, 플래시 메모리, 하드 디스크 또는 전자적 정보를 저장할 수 있는 임의의 기타 디바이스와 같은 메모리에 연결된다. 메모리는 프로세서에 의해 실행될, 본 개시된 발명의 구현예들에 따르는 기법들을 수행하도록 구성된 명령어들을 저장한다.
구현예에서, 도 3에 도시된 바와 같이, (310)에서, 제1 시간에서의 제1 거리가 결정된다. 제1 거리는 제1 오브젝트와 제2 오브젝트와의 사이의 거리를 지칭한다. 오브젝트는 손과 같은 신체 부위, 손가락과 같은 신체 부위의 한 부분이다. 추가로, 사용자의 손바닥들이 디바이스를 마주하고 있는지 아닌지와 같은 오브젝트의 방향(orientation)은 디바이스, 기능 또는 제스처를 특유하게 식별하거나 선택하기 위해 감지되고 활용된다. 오브젝트는 의자와 같은 무생물 오브젝트를 지칭할 수 있다. 제1 오브젝트와 제2 오브젝트는 신체 부위와 무생물 오브젝트의 조합일 수 있다. 예를 들면, 거리는 의자와 사용자의 손과의 사이에서 계산된다. 제1 거리는 컴퓨터 판독가능 메모리 또는 영구 스토리지(persistent storage)에 저장된다. 예를 들면, 하나 이상의 본 개시된 구현예들에 대해, 카메라는 두 오브젝트들 사이의 거리를 계산하는 컴퓨팅 디바이스에 연결된 주위환경에서 제스처들을 캡처하는데 활용된다. 제1 오브젝트와 제2 오브젝트는 서로 물리적으로 접촉되지 않는다. 예를 들면, 사용자의 손들은 별개의 오브젝트들로서 취급된다. 따라서, 오브젝트의 선택된 부분들은 선택된 부분들이 서로 물리적으로 접촉하지 않는 이상 별개로 취급된다.
오브젝트는 카메라에 의해 감지된다. 예를 들면, 하나 이상의 깊이 카메라들이 사용자 또는 사용자의 특정 부위 또는 무생물 오브젝트를 식별하는데 사용된다. 구성예에서, 사용자는 사용자가 인터렉션하고자 하는 오브젝트를 표시한다. 예를 들면, 사용자는 깊이 카메라의 주위환경 렌더링을 본다. 사용자는 상기 주위환경 내에서 하나 이상의 오브젝트들을 식별한다. 식별된 오브젝트는 예를 들면, 식별된 오브젝트와 사용자의 손과의 사이의 거리 계산의 컴포넌트로서 사용된다. 카메라를 사용하여 주위환경을 캡처하고 주위환경 내에서 오브젝트를 식별하기 위한 기법들 및 방법들은 통상의 기술자에 의해 이해된다. 식별된 오브젝트가 주위환경에서 감지되지 않은 경우에, 거리 계산은 가능하지 않다. 사용자는 예를 들면, 온-스크린 알림이 나타나서, 오브젝트가 없거나 오브젝트를 감지할 수 없기 때문에 거리를 결정하는 것이 가능하지 않다는 알림을 받는다. 그러나, 만약 제1 오브젝트와 제2 오브젝트 둘다 감지되면, 제1 오브젝트와 제2 오브젝트와의 사이의 제1 거리가 결정된다. 예를 들면, 일반적으로 깊이 카메라는 카메라의 시야(field of view) 내에서 다양한 오브젝트들의 위치를 결정한다. 깊이 카메라 시스템은 그것의 시야에서 오브젝트들을 인식하도록 구성된다. 깊이 카메라는 카메라로부터 수신되는 이미지 데이터를 분석하는 컴퓨팅 디바이스에 연결된다. 프로세서는 카메라 시야의 단일 프레임을 표현하는 개별적 이미지의 주위환경의 오브젝트들을 식별하며, 이는 전처리(preprocessing)으로 지칭된다. 전처리는 단일의 이미지 프레임의 구성의 조절을 지칭한다. 프레임의 구성은 밝기(brightness), 선명도(sharpness), 명암(contrast), 이미지 스무딩(image smoothing)을 지칭한다.
카메라에 의해 캡처된 이미지 프레임은 시간 스탬프가 찍혀 있거나 다르게는 시간순으로 태그되어있다. 예를 들면, 일련의 이미지 프레임들은 데이터베이스에 시간순으로 저장된다. 시간 데이터는 제1 거리 계산을 위한 참조 시간을 결정하기 위해 사용된다. 카메라 또는 카메라에 연결된 컴퓨팅 디바이스가 제스처 또는 제스처일 수 있는 손 움직임을 인식하면 이미지 프레임에 시간 0(t0)으로 시간 스탬프가 찍힌다. 예를 들면, 사용자는 그녀의 손들을 그녀의 신체에 관한 임계 높이까지 든다. 카메라는 임계 높이 위에 사용자의 손들의 존재를 감지하고 곧 있을 제스처를 결정한다. 시간 스탬프가 찍힌 이미지 프레임들을 저장하는 것을 시작한다. 카메라로부터 캡처된 각 프레임은 예를 들면, 카메라가 매 0.5초마다 이미지를 캡처하는 곳에서 t0, t0.5, t1.0, t1.5, t2.0,…,tn으로 시간 스탬프가 찍힌다. 그러므로 본 명세서에 개시된 임의의 구현예에서, 임의의 거리 결정에는 시간 스탬프가 찍힌다.
제1 거리와 유사하게, 도 3에 도시된 바와 같이, (320)에서, 제1 오브젝트와 제2 오브젝트와의 사이의 제2 거리가 결정된다. 예를 들면, 사용자는 손(제1 오브젝트)을 들고 책(제2 오브젝트)을 든다. 제1 거리는 그것들을 처음 가져왔거나 임계 높이 위에서 감지되었을 때 책과 사용자의 손 사이의 거리로 계산되며, 제1 거리에 t0으로 시간 스탬프가 찍힌다. 제1 거리는 서버 또는 데스크톱 PC와 같은 컴퓨팅 디바이스에 속하는 데이터베이스에 저장된다. 그 후 사용자는 책을 대략적으로 동일한 위치에 들고 있는 채로 그녀의 손을 책으로부터 멀리 움직인다. 제2 거리는 t0 거리(예를 들면, 제1 거리)와 일치하지 않는 사용자의 손과 책과의 사이의 임의의 거리를 지칭한다. 예를 들면, 만약 이미지들이 매 0.5초 마다 캡처되면, 제2 거리는 t0.5에서 캡처된 이미지를 지칭한다. 그녀의 손을 책으로부터 멀리하는 사용자의 움직임을 완료하는데는 0.5초 이상을 요한다. 제2 거리는 그녀의 손을 책으로부터 멀리하는 사용자의 움직임의 정지점(resting point)을 지칭한다. 즉, 사용자는 제스처를 완료하는데 순간적으로 멈추고, 제스처를 위해 사용된 최총 위치에서 하나 이상의 오브젝트들을 유지한다. 본 명세서에 개시된 구현예들은 단순히 두 오브젝트들 사이에 결정되는 두 거리들에 제한되지 않는다. 예를 들면, 이미지들은 t0, t0.5, t1.0, t1.5, t2.0,…,tn- 1,tn에서 캡처되고, 두 오브젝트들 사이의 거리들이 분석된다. 거리들은 다음과 같은 서로 다른 두 개의 시간들에서, 두 개의 오브젝트들 사이의 절대 값으로서 하나 이상의 시간들에 대해 계산된다: 제1 거리, t0-t0.5; 제2 거리, t0.5-t1.0; 제3 거리, t1.0-t1.5; 제4 거리, t1.5-t2.0; 제n 거리, tn-1-tn. 게다가, 예를 들면, 초기의 거리는 카메라로부터 t0 시간 스탬프가 찍힌 이미지를 지칭하거나, 시간적으로 후속하는 거리 전의 거리를 지칭한다. 예를 들면, t1.0은 t2.0에 관하여 초기 거리이다.
(330)에서, 제1 거리 및 제2 거리와 같은 계산된 각 거리는 시간적으로 인접한 거리 값들 사이에 차이를 결정하기 위해 비교된다. 예를 들면, 제1 거리는 t0-t0.5에 의해 표현되며, 제2 거리 t0.5-t1. 0로부터 빼진다. 유사하게, 제2 거리는 제n 거리, tn-1-tn으로부터 빼진다. 두 개의 계산된 차이들 사이에 결정된 차이는 (340)에서 디바이스의 기능을 조절하는데 활용된다. 예를 들면, 스테레오 구성의 볼륨은 개시된 방식으로 수정된다. 사용자는 스테레오의 볼륨 설정을 증가시키기 원할 수 있다. 사용자는 그녀의 손을 드는 것에 의해 그렇게 할 수 있다(예를 들면 도 4a에서 손들의 위치를 참고). 제스처는 사용자가 스테레오의 볼륨을 조절하기 원함에 따라 시스템에 의해 해석된다. 또한 사용자는 어떤 디바이스 및 어떤 구성을 사용자가 제어하기 원하는지 시스템에 표시하기 위한 이벤트 트리거(이하에서 논의됨)를 전달한다. 볼륨을 증가시키기 위해, 사용자는 그녀의 손들을 서로 멀어지게 한다. 카메라에 의해 캡처된 이미지 프레임들은 사용자의 제스처들, 특히 손들이 서로 멀어지는 것을 감지한다. 스테레오의 볼륨을 증가시키는 이 예시에서 손들 사이의 거리는 시간의 함수로 증가한다. 유사한 프로세스가 디바이스의 기능을 감소시키기 위해 이어진다. 즉, 사용자는 예를 들면, 스테레오의 볼륨을 감소시키기 위해 그녀의 손들을 약간 멀어진 채로 시작하고, 그들을 서로 가까이 가져온다. 또한 상기 제스처는 기능을 최대값 또는 최소값으로 조절하는데 사용되며, 최대 또는 최소값은 디바이스 또는 시스템에 의해 미리 정의된다.
기능을 위한 값들 중 한 값은 선형 스케일(linear scale) 또는 비선형 스케일들 또는 방법들을 사용하여 결정된 차이에 기초하여 선택된다. 선행하는 예시에서, 사용자는 그녀의 손들을 어떤 이격 거리로 든다. 손의 거리는 디바이스의 기능의 선택 가능한 값과 선형적으로 상관된다. 예를 들면, 사용자의 손들은 초기에 서로 20cm 떨어져 있고, 그 떨어진 거리는 시스템으로 하여금 스테레오 볼륨을 60dB로 조절하게 한다. 사용자가 그녀의 손들을 서로 30cm 멀어지게 움직임에 따라, 시스템은 볼륨을 선형적으로 70dB로 증가시킨다.
예를 들면, 사용자의 신체를 추적하기 위해 3차원적 깊이 카메라를 사용하는 시스템에서, 손바닥이 서로 마주한 채로, 사용자가 그/그녀의 손들을 그의 허리 위로 올리고, 그와 동일한 높이에 손을 들고 있을 때, 손들 사이의 거리는 조광 스위치(dimmer) 상 램프의 밝기에 대응한다.
손들을 서로 멀어지게 움직이는 것은 라이트의 밝기를 증가시키는 반면, 손들을 서로 가깝게 움직이는 것은 라이트의 밝기를 어둡게한다. 손들 사이의 거리는 손들이 맞닿는 것은 완전히 끄고, 손들이 서로 20cm 떨어지게하는 것은 완전히 켜도록 절대적으로 맵핑된다. 또한 거리는 손들을 처음 허리 위로 올렸을 때 손들의 서로 간의 초기 거리와 관련된다. 관련되는 경우에, 손들 사이의 초기 거리는 그에 의하여 모든 후속하는 움직임들을 측정하는 요소로 취급되거나, 전체 제어 범위가 손들 사이의 초기 거리에 상관없도록 미리 설정된 최대 및 최소 거리들 사이에 보간(interpolate)된다.
디바이스가 즉시 기능하는 것을 피하기 위해, 두 오브젝트들 사이의 초기 거리의 선형 맵핑에 기초한 값을 기능들을 위한 선택 가능한 값들의 범위로 조절하고 보간법이 이용된다. 보간법은 결정된 거리에 대하여 디바이스의 기능을 위한 선택 가능한 값들의 플롯을 지칭한다. 예를 들면, 도 4a 및 도 4b는 절대 또는 선형 보간법 및 상대적 보간법의 예시들을 각각 도시한다. 일부 예시들에서, 보간법은 선택 가능한 최소 및 최대값들에 의해 제한된다. 예를 들면, 스테레오는 최소 및/또는 최대 볼륨 설정을 갖는다. 결정된 차이에 기초한 볼륨의 조절은 최소 및 최대값과 동일하거나 그 사이인 선택 가능한 값에 제한된다. 도 4a는 서로 다른 기울기들을 가진 두 개의 선들로부터 형성된 플롯을 도시한다. 제1 기울기를 가진 제1 선은 최소 값과 초기 거리에 대응하는 값과의 사이에 점들을 기술한다. 제2 기울기를 가진 제2 선은 초기 거리에 대응하는 값과 최대 값과의 사이에 점들을 기술한다. 도 4b는 결정된 거리의 비선형 커브 및 선택 가능한 값에 의해 기술된 보간법을 도시한다. 이 방식에서, 계단 함수를 포함하는 임의의 커브가 사용될 수 있다. 커브가 연속적일 필요는 없다. 커브 내 공백(gap)은 기능이 꺼지는, 기본 값으로 되돌아가는 세그먼트들로 시스템에 의해 해석되거나 또는 별개로 제공된 커브 또는 규정된 행동(behavior)을 추적한다.
도 5a는 초기의 이격 거리 및 임계 높이 위의 손들의 예시를 도시한다. 앞서 기술된 바와 같이, 임계 높이는 사용자의 신체에 관하여 미리 결정된 거리를 포함하는 임의의 레벨에서 가상적으로 설정될 수 있다. 다른 기법들이 트리거 이벤트(이하에서 논의됨)로서 사용된다. 미터는 손들이 서로 떨어진 초기 거리에 기초하여 결정된 기능의 값을 표시한다. 일부 구성예에서, 초기 거리에 기초하여 선택된 값은 기능의 현재 값에 설정된다. 예를 들면, 램프의 밝이가 0-10의 스케일 중에 레벨 5이면, 사용자의 손들이 작동 라인(activation line)(예를 들면, 임계 높이 또는 작동 라인) 위에 가져왔을 때 얼마나 떨어져 있는지에 관계없이, 초기 거리는 선택 가능한 값 5에 맵핑된다. 도 5b에 도시된 바와 같이, 만약 사용자가 그녀의 손들을 서로 가까이 가져오면, 선택 가능한 값은 최소값까지 선형적으로 감소한다. 유사하게, 도 5c에 도시된 바와 같이, 사용자가 그녀의 손들을 서로 떨어지게 움직이면, 선택 가능한 값은 최대값까지 선형적으로 증가한다. 미터는 초기 거리와 현재 떨어진 거리와의 사이에 결정된 차이에 기초하여 기능이 0-10의 스케일 중에 10의 값에 할당된 것을 도시한다. 앞서 기술된 바와 같이, 선형 보간은 디바이스의 기능의 선택 가능한 값에 관한 결정된 차이의 플롯을 기술한다.
도 6a는 사용자의 손들이 작동 라인 위에 있는 것과 초기의 이격 거리를 도시한다. 도 5의 보간법과 달리, 사용자가 초기에 그녀의 손을 작동 라인 위로 들었을 때, 손들 사이의 거리는 정의된 최소값과 최대값과의 사이에 기능의 값에 관하여 결정된 차이의 플롯 상 상대적인 위치를 맵핑하기 위한 용도이다. 미터는 예를 들면, 0-10의 스케일 상 선택된 값을 표시한다. 도 6b는 사용자가 그녀의 손들을 서로 가까이 가져오는 것을 도시한다. 도 6a에 도시된 초기 거리 사이에 결정된 차이 및 도 6b에 손들 사이의 거리는 선택된 값이 0인 기능에 대한 최소값이 되도록 한다. 반대로, 도 6c에 도시된 바와 같이 그녀의 손들 사이의 거리가 늘어나면, 선택된 값은 최대값에 접근한다.
일부 구성예에서, 하나 또는 둘다 점근적으로(asymptotically) 접근하는 곳에서 기능에 대해 미리 정의된 최소 또는 최대를 가지는 것은 바람직하다. 이는 볼륨과 같은 기능을 위해 바람직하며, 오브젝트가 최대에 접근할수록 볼륨이 천천히 증가하고, 오브젝트가 최소에 접근할수록 볼륨이 천천히 감소하는 등을 위해 바람직하다. 게다가, 제스처는 본 명세서에 개시된 구현예들에 따르는 후속하는 또는 추가적인 분석을 하도록 반복될 수 있다. 예를 들면, 사용자는 볼륨을 증가시키기 원한다는 것을 표시하기 위해 도 6a에 도시된 위치에서의 그녀의 손들과 함께 시작하고 도 6c에 도시된 위치 및 거리에서의 손들과 함께 종료한다. 사용자는 그녀의 손들을 내리고 다시 손들을 올린다. 떨어진 손들의 초기 거리는 이제 볼륨을 증가시키는데 맵핑되며 만약 사용자가 그녀의 손들 사이의 거리를 다시 확장하면(도 6a 및 도 6c 참고), 볼륨은 다시 증가한다. 볼륨이 증가하는 양은 함수 또는 디바이스에 대해 사용된 보간법에 의존한다.
트리거 이벤트는 제스처가 곧 전달될 것이라는 카메라 또는 카메라에 연결된 컴퓨팅 디바이스에 대한 신호로 사용된다. 또한 트리거 이벤트는 제스처가 어떤 디바이스로 향하는 것인지에 대한 신호를 기술하는데 사용된다. 트리거 이벤트의 예시는 사용자의 신체와 관련하여 만약 사용자가 그녀의 손을 임계 높이 위로 든 경우이다(예를 들면, 도 5a-5c 및 6a-6c에 도시된 작동 라인). 앞서 기술된 바와 같이, 임계 높이는 사용자의 어깨일 수 있다. 예를 들어, 만약 시스템이 하나 이상의 사용자의 손들이 어깨 높이 위에 있는 것을 감지하면, 이미지를 캡처하고 제스처를 포착하는 것을 시작한다. 이벤트 트리거의 다른 예시는 말했을 때 시스템에게 특정 디바이스에 대해 제스처를 수신하기 위해 준비해야 한다고 신호하는 음성 명령일 수 있다. 이벤트 트리거의 다른 예시는 가청음(audible sound)일 수 있다. 또한 제스처도 이벤트 트리거로서 사용될 수 있다. 예를 들면, 시스템은 제스처에 대해 주위환경을 연속적으로 모니터링한다. 시스템은 두 식별된 오브젝트들 사이의 거리 계산을 수행할 것을 지시하는 특정 제스처를 인식한다.
상기 기술된 바와 같이, 제스처는 디바이스의 기능을 제어하는데 사용된다. 기능은 선택 가능한 값들의 범위를 갖는다. 예를 들면, 스테레오 수신기(예를 들면, 디바이스)는 오브젝트로 하여금 볼륨 출력(기능)을 제어하도록 한다. 볼륨은 다이얼 또는 미리 정한(preset) 숫자적 값에 의해서와 같은 연속적 또는 불연속적 스케일 상에서 조절할 수 있다. 유사하게, 화면 또는 램프의 밝기는 본 명세서에 개시된 구현예들에 따라 조절된다. 기능의 다른 예시들에는 제한없이, 주파수 설정, 시간 설정, 타이머 설정, 온도, 색 강도(color intensity), 조명 강도, 줌(zoom) 설정, 앞으로 빨리감기 기능, 채널 설정 및 되감기 기능을 포함한다. 기능은 증가되고, 감소되고, 최대화되거나 또는 최소화될 수 있는 둘 이상의 선택 가능한 값들을 갖는다.
일부 구성예들에서, 결정된 차이 및 제1 거리와 제2 거리와의 사이에 시간 차이에 기초하여 속도가 결정된다. 또한 결정된 속도에 기초하여 가속도가 계산된다. 속도 또는 가속도는 보간법에서 팩터(factor)이다. 예를 들면, 만약 사용자가 그녀의 손들을 서로 떨어지게 빨리 움직이면, 이는 볼륨을 선형적으로 조절하는데 사용된다. 또한 빠른 움직임은 사용자가 더 적극적인 보간법을 사용하여 최소 또는 최대에 빠르게 접근하고 싶어한다는 신호이다.
일부 구성예들에서, 다수의 디바이스들이 본 명세서에 개시된 구현예들에 따라 제어된다. 구현예에서, 디바이스는 예를 들면, 제스처, 음성 명령, 가청음 또는 원격 제어 선택에 의해 식별된다. 또한 디바이스는 사용자가 마주보고 있는 디바이스를 결정하는 것에 의해 식별된다. 예를 들면, 깊이 카메라는 사용자가 어떤 디바이스를 보고 있는지 또는 어떤 디바이스를 향해 제스처하는지 결정한다.
구현예에서, 제1 오브젝트와 제2 오브젝트의 위치들을 저장하기 위한 데이터베이스를 포함하는 시스템이 제공된다. 예를 들면, 컴퓨팅 디바이스는 깊이 카메라에 연결되고 카메라 이미지 데이터를 분석한다. 시스템은 제1 오브젝트와 제2 오브젝트의 위치를 캡처하는 적어도 하나의 카메라를 포함한다. 프로세서는 데이터베이스에 연결되고 제1 시간에서 제1 오브젝트와 제2 오브젝트와의 사이의 제1 거리를 결정하도록 구성된다. 이전에 기술된 바와 같이, 제1 오브젝트와 제2 오브젝트는 디바이스와 물리적으로 접촉하지 않는다. 디바이스는 적어도 두 개의 선택 가능한 값들과 함께 하나 이상의 기능들을 포함한다. 프로세서는 제2 시간에서 제1 오브젝트와 제2 오브젝트와의 사이의 제2 거리를 결정하도록 구성된다. 제1 거리와 제2 거리와의 사이에 차이는 프로세서에 의해 결정된다. 기능의 값들 중 한 값은 결정된 차이에 기초하여 선택된다.
설명의 목적을 위한 전술한 기재는 특정 구현예들을 참조하여 기술되었다. 그러나 상기 도시적 논의들은 완전하다거나 개시된 발명의 구현예들을 개시된 특정한 형태들로 제한하도록 의도되지 않았다. 많은 수정들 및 변화들이 상기 교시들의 관점에서 가능하다. 구현예들은 본 개시된 발명의 구현예들의 원리들 및 그들의 실질적 적용들을 설명하기 위해, 그에 의해 다른 통상의 기술자들이 상기 구현예들 뿐만 아니라 특정한 고려된 용도에 맞는 다양한 수정들과 함께 다양한 구현예들을 활용하기 위해 선택되고 기술되었다.

Claims (46)

  1. 방법으로서,
    제1 시간에서 제1 오브젝트와 제2 오브젝트와의 사이의 제1 거리를 결정하는 단계, 상기 제1 오브젝트와 상기 제2 오브젝트는 디바이스와 물리적으로 접촉하지 않으며, 상기 디바이스는 복수의 선택 가능한 값들과 함께 기능(function)을 포함하며;
    제2 시간에서 상기 제1 오브젝트와 상기 제2 오브젝트와의 사이의 제2 거리를 결정하는 단계;
    상기 제1 거리와 상기 제2 거리와의 사이에 차이를 결정하는 단계; 및
    상기 결정된 차이에 기초하여 복수의 선택 가능한 값들 중 한 값을 선택하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    보간법(interpolation scheme)에 기초하여 상기 결정된 차이를 맵핑하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 보간법은 상기 결정된 거리에 대하여 상기 복수의 선택 가능한 값들의 플롯(plot)을 포함하는 것을 특징으로 하는 방법.
  4. 제2항에 있어서,
    상기 결정된 차이에 대응하는 상기 복수의 선택 가능한 값들 중 한 값을 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  5. 제3항에 있어서,
    상기 플롯은 비선형(non-linear)인 것을 특징으로 하는 방법.
  6. 제3항에 있어서,
    상기 플롯은 미리 결정된 최소와 최대를 정의하는 것을 특징으로 하는 방법.
  7. 제1항에 있어서,
    오브젝트는 신체 부위를 포함하는 것을 특징으로 하는 비접촉 제스처 인터페이스들에서 오브젝트들 사이의 거리를 사용하는 방법.
  8. 제1항에 있어서,
    상기 제1 오브젝트는 제1 손의 적어도 한 부분을 포함하며, 제2 오브젝트는 제2 손의 적어도 한 부분을 포함하는 것을 특징으로 하는 방법.
  9. 제8항에 있어서,
    상기 제1 거리를 결정하는 단계는 사용자의 신체의 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  10. 제8항에 있어서,
    상기 제1 부분과 제2 부분이 사용자의 신체에 관하여 임계 높이(threshold height) 위에 있다는 것을 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  11. 제8항에 있어서,
    상기 제1 손의 상기 제1 부분은 적어도 단일의 손가락을 포함하는 것을 특징으로 하는 방법.
  12. 제8항에 있어서,
    상기 제2 손의 상기 제2 부분은 적어도 단일의 손가락을 포함하는 것을 특징으로 하는 방법.
  13. 제8항에 있어서,
    손의 적어도 한 부분의 방향(orientation)을 감지하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  14. 제9항에 있어서,
    상기 감지된 방향에 기초하여 상기 디바이스의 상기 기능을 선택하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  15. 제1항에 있어서,
    상기 결정된 차이 및 상기 제1 거리와 상기 제2 거리와의 사이에 시간 차이에 기초하여 속도를 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  16. 제15항에 있어서,
    상기 결정된 속도에 기초하여 가속도를 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  17. 제1항에 있어서,
    임계 높이 위의 상기 제1 오브젝트와 상기 제2 오브젝트를 인식하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  18. 제1항에 있어서,
    상기 기능은 볼륨 설정, 주파수 설정, 시간 설정, 타이머 설정, 온도, 색 강도(color intensity), 조명 강도, 줌(zoom) 설정, 화면 밝기, 앞으로 빨리감기 기능, 채널 설정 및 되감기 기능을 포함하는 그룹으로부터 선택되는 것을 특징으로 하는 방법.
  19. 제1항에 있어서,
    수정될 상기 디바이스를 식별하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  20. 제19항에 있어서,
    상기 디바이스를 식별하는 단계는 사용자가 마주하고 있는 상기 디바이스를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  21. 제19항에 있어서,
    상기 디바이스를 식별하는 단계는 사용자가 바라보고 있는 상기 디바이스를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  22. 제19항에 있어서,
    상기 디바이스를 식별하는 단계는 사용자가 제스처를 향하고 있는 상기 디바이스를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  23. 제1항에 있어서,
    상기 복수의 값들 중 상기 선택된 한 값은 상기 기능을 감소시키기, 상기 기능을 증가시키기, 상기 기능을 최대화하기 및 상기 기능을 최소화하기를 포함하는 그룹으로부터 선택된 상기 기능을 변화하게 하는 것을 특징으로 하는 방법.
  24. 시스템으로서,
    제1 오브젝으와 제2 오브젝트의 위치들을 저장하기 위한 데이터베이스;
    상기 제1 오브젝트와 상기 제2 오브젝트의 상기 위치를 캡처하기 위한 적어도 하나의 카메라; 및
    상기 데이터베이스에 연결된 프로세서를 포함하며,
    상기 프로세서는:
    제1 시간에서 제1 오브젝트와 제2 오브젝트와의 사이의 제1 거리를 결정하고, 상기 제1 오브젝트와 상기 제2 오브젝트는 디바이스와 물리적으로 접촉하지 않으며, 상기 디바이스는 복수의 선택 가능한 값들을 갖는 기능(function)을 포함하며;
    제2 시간에서 상기 제1 오브젝트와 상기 제2 오브젝트와의 사이의 제2 거리를 결정하고;
    상기 제1 거리와 상기 제2 거리와의 사이에 차이를 결정하고; 그리고
    상기 결정된 차이에 기초하여 복수의 선택 가능한 값들 중 한 값을 선택하도록 구성되는 것을 특징으로 하는 시스템.
  25. 제24항에 있어서,
    상기 프로세서는 보간법에 기초하여 상기 결정된 차이를 맵핑하도록 구성되는 것을 특징으로 하는 시스템.
  26. 제25항에 있어서,
    상기 보간법은 상기 결정된 거리에 대하여 상기 복수의 선택 가능한 값들의 플롯(plot)을 포함하는 것을 특징으로 하는 시스템.
  27. 제25항에 있어서,
    상기 프로세서는 상기 결정된 차이에 대응하는 상기 복수의 선택 가능한 값들 중 한 값을 결정하도록 더 구성되는 것을 특징으로 하는 시스템.
  28. 제26항에 있어서,
    상기 플롯은 비선형(non-linear)인 것을 특징으로 하는 시스템.
  29. 제26항에 있어서,
    상기 플롯은 미리 결정된 최소와 최대를 정의하는 것을 특징으로 하는 시스템.
  30. 제24항에 있어서,
    오브젝트는 신체 부위를 포함하는 것을 특징으로 하는 시스템.
  31. 제24항에 있어서,
    상기 제1 오브젝트는 제1 손의 적어도 한 부분을 포함하며, 제2 오브젝트는 제2 손의 적어도 한 부분을 포함하는 것을 특징으로 하는 시스템.
  32. 제31항에 있어서,
    상기 제1 거리의 결정은 사용자의 신체의 위치의 결정을 포함하는 것을 특징으로 하는 시스템.
  33. 제31항에 있어서,
    상기 프로세서는 상기 제1 부분과 제2 부분이 사용자의 신체에 관하여 임계 높이(threshold height) 위에 있다고 결정하도록 더 구성되는 것을 특징으로 하는 시스템.
  34. 제31항에 있어서,
    상기 제1 손의 상기 제1 부분은 적어도 단일의 손가락을 포함하는 것을 특징으로 하는 시스템.
  35. 제31항에 있어서,
    상기 제2 손의 상기 제2 부분은 적어도 단일의 손가락을 포함하는 것을 특징으로 하는 시스템.
  36. 제31항에 있어서,
    상기 프로세서는 손의 적어도 한 부분의 방향을 감지하도록 더 구성되는 것을 특징으로 하는 시스템.
  37. 제32항에 있어서,
    상기 프로세서는 상기 감지된 방향에 기초하여 상기 디바이스의 상기 기능을 선택하도록 더 구성되는 것을 특징으로 하는 시스템.
  38. 제24항에 있어서,
    상기 결정된 차이 및 상기 제1 거리와 상기 제2 거리와의 사이에 시간 차이에 기초하여 속도를 결정하는 것을 더 포함하는 것을 특징으로 하는 시스템.
  39. 제38항에 있어서,
    상기 프로세서는 상기 결정된 속도에 기초하여 가속도를 결정하도록 더 구성되는 것을 특징으로 하는 시스템.
  40. 제24항에 있어서,
    상기 프로세서는 임계 높이 위의 상기 제1 오브젝트와 상기 제2 오브젝트를 인식하도록 더 구성되는 것을 특징으로 하는 시스템.
  41. 제24항에 있어서,
    상기 기능은 볼륨 설정, 주파수 설정, 시간 설정, 타이머 설정, 온도, 색 강도(color intensity), 조명 강도, 줌(zoom) 설정, 화면 밝기, 앞으로 빨리감기 기능, 채널 설정 및 되감기 기능을 포함하는 그룹으로부터 선택되는 것을 특징으로 하는 시스템.
  42. 제24항에 있어서,
    상기 프로세서는 수정될 상기 디바이스를 식별하도록 더 구성되는 것을 특징으로 하는 시스템.
  43. 제42항에 있어서,
    상기 디바이스의 식별은 사용자가 마주하고 있는 상기 디바이스의 결정을 포함하는 것을 특징으로 하는 시스템.
  44. 제42항에 있어서,
    상기 디바이스를 식별하는 단계는 사용자가 바라보고 있는 상기 디바이스를 결정하는 것을 포함하는 것을 특징으로 하는 시스템.
  45. 제42항에 있어서,
    상기 디바이스를 식별하는 단계는 사용자가 제스처를 향하고 있는 상기 디바이스를 결정하는 것을 포함하는 것을 특징으로 하는 시스템.
  46. 제24항에 있어서,
    상기 복수의 값들 중 상기 선택된 한 값은 상기 기능을 감소시키기, 상기 기능을 증가시키기, 상기 기능을 최대화하기 및 상기 기능을 최소화하기를 포함하는 그룹으로부터 선택된 상기 기능을 변화하게 하는 것을 특징으로 하는 시스템.
KR1020157019537A 2012-12-20 2013-12-19 비접촉 제스처 인터페이스들에서 오브젝트들 사이의 거리 사용 KR20150107755A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/721,837 2012-12-20
US13/721,837 US20140340498A1 (en) 2012-12-20 2012-12-20 Using distance between objects in touchless gestural interfaces
PCT/US2013/076388 WO2014100332A1 (en) 2012-12-20 2013-12-19 Using distance between objects in touchless gestural interfaces

Publications (1)

Publication Number Publication Date
KR20150107755A true KR20150107755A (ko) 2015-09-23

Family

ID=49920675

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157019537A KR20150107755A (ko) 2012-12-20 2013-12-19 비접촉 제스처 인터페이스들에서 오브젝트들 사이의 거리 사용

Country Status (6)

Country Link
US (2) US20140340498A1 (ko)
EP (1) EP2936279A1 (ko)
JP (1) JP2016507810A (ko)
KR (1) KR20150107755A (ko)
AU (1) AU2013361410A1 (ko)
WO (1) WO2014100332A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11250280B2 (en) 2020-04-29 2022-02-15 Hyundai Motor Company Occupant service provision apparatus and a method of controlling the same

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10074179B2 (en) * 2013-05-07 2018-09-11 Sharp Kabushiki Kaisha Image measurement device
US20160239002A1 (en) * 2013-09-25 2016-08-18 Schneider Electric Buildings Llc Method and device for adjusting a set point
US20160231825A1 (en) * 2013-10-14 2016-08-11 Koninklijke Philips N.V. Gesture control device, method, system and storage medium
CN106560766A (zh) * 2015-10-04 2017-04-12 义明科技股份有限公司 非接触式手势判断方法及其装置
WO2018008542A1 (ja) * 2016-07-05 2018-01-11 住友建機株式会社 ショベル
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
CN107688389B (zh) * 2017-08-25 2021-08-13 北京金恒博远科技股份有限公司 Vr抓取动作的优化方法及装置
EP3830631A4 (en) 2018-08-03 2021-10-27 Magic Leap, Inc. NON-FUSED POSE DRIFT CORRECTION OF A FUSED TOTEM IN A USER INTERACTION SYSTEM
CN114174895A (zh) * 2019-07-26 2022-03-11 奇跃公司 用于增强现实的系统和方法
CN111045566B (zh) * 2019-12-11 2022-02-08 上海传英信息技术有限公司 触控笔、终端及其控制方法和计算机可读存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6018118A (en) * 1998-04-07 2000-01-25 Interval Research Corporation System and method for controlling a music synthesizer
JP2002101484A (ja) * 2000-09-25 2002-04-05 Nobumasa Asakawa イヤホンコードの巻き取り装置
US7340077B2 (en) * 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US20070206820A1 (en) * 2004-03-19 2007-09-06 Pioneer Corporation Volume Control Method, Volume Controller, Volume Control Program, Electronic Apparatus
JP2005347878A (ja) * 2004-05-31 2005-12-15 Kenwood Corp 音量調整装置とその方法およびこれを組み込んだ電子機器
JP2007034515A (ja) * 2005-07-25 2007-02-08 Sony Computer Entertainment Inc 電気機器の制御装置、電気機器の制御方法、電気機器の制御プログラム及び電気機器の制御システム
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
JP5207513B2 (ja) * 2007-08-02 2013-06-12 公立大学法人首都大学東京 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム
JP4701424B2 (ja) * 2009-08-12 2011-06-15 島根県 画像認識装置および操作判定方法並びにプログラム
US8547327B2 (en) * 2009-10-07 2013-10-01 Qualcomm Incorporated Proximity object tracker
JP2011232964A (ja) * 2010-04-28 2011-11-17 Casio Comput Co Ltd 電気機器、及びその制御方法とプログラム
US20110289455A1 (en) * 2010-05-18 2011-11-24 Microsoft Corporation Gestures And Gesture Recognition For Manipulating A User-Interface
JP5617581B2 (ja) * 2010-12-08 2014-11-05 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識方法、制御プログラム、および、記録媒体
WO2012093394A2 (en) * 2011-01-06 2012-07-12 Pointgrab Ltd. Computer vision based two hand control of content

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11250280B2 (en) 2020-04-29 2022-02-15 Hyundai Motor Company Occupant service provision apparatus and a method of controlling the same

Also Published As

Publication number Publication date
AU2013361410A1 (en) 2015-07-09
US20160048214A1 (en) 2016-02-18
JP2016507810A (ja) 2016-03-10
EP2936279A1 (en) 2015-10-28
WO2014100332A1 (en) 2014-06-26
US20140340498A1 (en) 2014-11-20

Similar Documents

Publication Publication Date Title
KR20150107755A (ko) 비접촉 제스처 인터페이스들에서 오브젝트들 사이의 거리 사용
KR101912930B1 (ko) 뷰잉 거리에 기초한 적응적 스크린 인터페이스
CN106406710B (zh) 一种录制屏幕的方法及移动终端
KR101693951B1 (ko) 제스처 인식 방법 및 제스처 검출기
KR101843810B1 (ko) 이동 단말기의 전면 카메라 및 후면 카메라의 선택 방법 및 이동 단말기
US20180196520A1 (en) Automatic tuning of haptic effects
CN111182205B (zh) 拍摄方法、电子设备及介质
CN111045511B (zh) 基于手势的操控方法及终端设备
CN107174824B (zh) 特效信息处理方法、装置、电子设备及存储介质
CN107741814B (zh) 一种显示控制方法及移动终端
EP2887648A1 (en) Method of performing previewing and electronic device for implementing the same
CN106774829B (zh) 一种对象控制方法和装置
CN114659450B (zh) 机器人跟随方法、装置、机器人及存储介质
WO2014026901A1 (en) Method for provisioning a person with information associated with an event
US11782548B1 (en) Speed adapted touch detection
US20140240273A1 (en) Apparatus and method for interacting with a user
US10969883B2 (en) Optical navigation device and system with changeable smoothing
CN113835664A (zh) 一种信息处理方法、装置及电子设备
CN113157084A (zh) 基于肢体跟踪信息和眼睛跟踪信息来定位受用户控制的空间选择器
WO2013175341A2 (en) Method and apparatus for controlling multiple devices
CN108521545B (zh) 基于增强现实的图像调整方法、装置、存储介质和电子设备
CN105027031A (zh) 使用在无触摸手势界面中的物体之间的距离
CN106959799B (zh) 一种窗口操作方法及电子设备
Lee et al. Multi-modal Interaction System for Smart TV Environments
KR100827067B1 (ko) 카메라를 구비한 휴대용 무선 단말기와 그를 이용한 마우스실행 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid