KR101981822B1 - 전-공간적 제스쳐 입력 - Google Patents

전-공간적 제스쳐 입력 Download PDF

Info

Publication number
KR101981822B1
KR101981822B1 KR1020147011386A KR20147011386A KR101981822B1 KR 101981822 B1 KR101981822 B1 KR 101981822B1 KR 1020147011386 A KR1020147011386 A KR 1020147011386A KR 20147011386 A KR20147011386 A KR 20147011386A KR 101981822 B1 KR101981822 B1 KR 101981822B1
Authority
KR
South Korea
Prior art keywords
axis
input
sensor
space
gesture
Prior art date
Application number
KR1020147011386A
Other languages
English (en)
Other versions
KR20140082760A (ko
Inventor
에릭 호르빗츠
케니쓰 피 힌클레이
흐르보예 벤코
데즈니 에스 탄
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20140082760A publication Critical patent/KR20140082760A/ko
Application granted granted Critical
Publication of KR101981822B1 publication Critical patent/KR101981822B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명의 실시예들은 핸드헬드 디바이스와 같은 디바이스의 확장된 상호작용 공간에서 사용자 입력을 검출하기 위한 시스템, 방법 및 컴퓨터 저장 매체에 관한 것이다. 방법 및 시스템은 사용자의 디바이스-비접촉 제스쳐와 같은 제1 입력을 검출하기 위하여 디바이스의 양의 z-축 공간에서 감지하는 디바이스의 제1 센서를 이용하도록 허용한다. 방법 및 시스템은 또한 제2 입력을 검출하기 위하여 디바이스의 음의 z-축 공간에서 감지하는 디바이스의 제2 센서를 이용하는 것을 고려한다. 부가적으로, 방법 및 시스템은 양의 z-축 공간에서 제1 센서에 의하여 제1 입력을 검출하는 것과 음의 z-축 공간에서 제2 센서에 의하여 제2 입력을 검출하는 것에 응답하여, 디스플레이 상에 제시되는 사용자 인터페이스를 업데이트하는 것을 고려한다.

Description

전-공간적 제스쳐 입력 {OMNI-SPATIAL GESTURE INPUT}
본 발명은 핸드헬드(handheld) 디바이스와 같은 디바이스의 확장된 상호작용 공간에서 사용자 입력을 검출하기 위한 시스템, 방법 및 컴퓨터 저장 매체에 관한 것이다.
전통적으로, 사용자는 대개 디바이스의 디스플레이 표면 상의 제한된 공간 체적 내에서 핸드헬드 디바이스와 상호작용한다. 예를 들어, 터치-감지 디스플레이를 갖는 스마트폰은 사용자로 하여금 디스플레이 스크린에 바로 인접한 공간의 체적 내에 사용자 인터페이스 및 디바이스와 상호작용하도록 허용한다. 사용자 인터페이스와 사용자 사이에 있는 거의 평면적인 영역으로 사용자 상호작용을 제한하는 것은 사용자에게 이용가능한 상호작용 타입들을 제한하고, 사용자 인터페이스의 폐쇄와 같은 가용성 문제들을 도입시킬 수 있다. 게다가, 상대적인 2-차원적 범위로 사용자 상호작용의 영역을 제한하는 것은 사용자가 자연적이고 직관적인 방식으로 사용자 인터페이스에 제시된 대상물(object)들을 조작하는 것을 막는다.
본 발명의 실시예들은 디바이스를 둘러싸는 공간에서 사용자 제스쳐들을 검출하기 위한 시스템들, 방법들 및 컴퓨터 저장 매체에 관련된다. 특히, 양상들은 제1 센서로 핸드헬드 디바이스의 전방에서 사용자 제스쳐를 검출하는 것과, 또한 제2 센서로 핸드헬드 디바이스의 후방에서 사용자 제스쳐를 검출하는 것을 포함할 수 있다. 제스쳐들(디바이스-비접촉 제스쳐들일 수 있음)의 검출 결과, 사용자 인터페이스는 제스쳐들에 기반하여 입력을 반영하도록 업데이트될 수 있다.
이 요약은 아래에 상세한 설명에서 추가로 설명되는 간략화된 형태의 개념들의 선택을 도입하도록 제공된다. 이 요약은 청구된 내용의 주요 피쳐들 또는 본질적 피쳐들을 식별하도록 의도되지 않으며, 청구된 내용의 범위의 결정을 돕는 것으로서 사용되도록 의도되지도 않는다.
본 발명의 예시적 실시예들은 첨부된 도면들을 참고하여 아래에서 상세히 설명되며, 도면들은 본 명세서에 인용에 의해 포함된다.
도 1은 본 발명의 실시예들을 구현하는데 적합한 예시적인 컴퓨팅 시스템을 도시한다.
도 2는 본 발명의 실시예들에 따른, 디바이스에 관한 양의 z-축 공간 및 음의 z-축 공간 둘 다에서의 입력을 감지할 수 있는 예시적인 디바이스를 도시한다.
도 3은 본 발명의 실시예들에 따른 디바이스의 전방 원근도(front perspective)를 도시한다.
도 4는 본 발명의 실시예들에 따른, 도 2로 논의된 디바이스의 후방 원근도(rear perspective)를 도시한다.
도 5는 본 발명의 실시예들에 따른 디바이스의 측면 프로파일을 도시한다.
도 6-10은 본 발명의 실시예들에 따른 디바이스의 다양한 사용(in-use) 배향들을 도시한다.
도 11은 본 발명의 실시예들에 따른, 디바이스의 양의 z-축 공간 및 음의 z-축 공간 둘 다에서 사용자 입력을 검출하기 위한 방법을 도시하는 블록도를 예시한다.
도 12는 본 발명의 실시예들에 따른, 디바이스의 양의 z-축 공간 및 음의 z-축 공간 둘 다에서 사용자 입력을 검출하기 위한 추가적인 방법을 도시하는 블록도를 예시한다.
본 발명의 실시예들의 내용은 법에 명시된 요건들을 충족시키기 위하여 본 명세서에서 구체적으로 설명된다. 그러나, 설명 자체는 이 출원의 범위를 제한하도록 의도되지 않는다. 그보다는 차라리, 발명자들은 청구된 내용이 또한 다른 현재의 또는 미래의 기술들과 함께 이 문서에 설명된 것들과 상이한 단계들 또는 유사한 단계들의 조합들을 포함하기 위하여, 다른 방식들로 구현될 수 있는 것을 생각하였다.
본 발명의 실시예들은 디바이스를 둘러싸지만 항상 접촉하는 것은 아닌 영역을 포함하는 물리적 디바이스 너머의 공간에서 사용자 제스쳐들을 검출하기 위한 시스템들, 방법들 및 컴퓨터 저장 매체에 관련된다. 예를 들어, 양상들은 제1 센서로 핸드헬드 디바이스의 전방에서 사용자 제스쳐를 검출하는 것과 또한 제2 센서로 핸드헬드 디바이스의 후방에서 사용자 제스쳐를 검출하는 것을 포함할 수 있다. 제스쳐들(디바이스-비접촉 제스쳐들일 수 있음)의 검출 결과, 사용자 인터페이스는 제스쳐들에 기반하여 입력을 반영하도록 업데이트될 수 있다.
따라서, 일 양상에서, 본 발명은 디바이스의 양의 z-축 공간 및 음의 z-축 공간 둘 다에서 사용자 입력을 검출하기 위한, 프로세서 및 메모리를 이용하는 컴퓨팅 환경에서의 방법을 제공한다. 방법은 제1 입력을 검출하기 위하여 디바이스의 양의 z-축 공간에서 감지하는 디바이스의 제1 센서를 이용하는 단계를 포함한다. 제1 입력은 디바이스-비접촉 제스쳐이다. 방법은 제2 입력을 검출하기 위하여 디바이스의 음의 z-축 공간에서 감지하는 디바이스의 제2 센서를 이용하는 단계를 더 포함한다. 뿐만 아니라, 방법은 양의 z-축 공간에서의 제1 센서에 의한 제1 입력의 검출 및 음의 z-축 공간에서의 제2 센서에 의한 제2 입력의 검출에 응답하여, 디스플레이 상에 제시되는 사용자 인터페이스를 업데이트하는 단계를 포함한다.
다른 양상에서, 본 발명은 디바이스의 양의 z-축 공간 및 음의 z-축 공간 둘 다에서 사용자 입력을 검출하기 위한 디바이스를 제공한다. 디바이스는 전면(front side) 및 반대쪽 후면(back side)을 갖는 디바이스 몸체를 포함한다. 전면은 양의 z-축 공간을 향해 배향되고, 후면은 음의 z-축 공간을 향해 배향된다. 디바이스는 또한, 디바이스의 양의 z-축 공간에서 디바이스-비접촉 사용자 제스쳐를 감지하기 위하여 디바이스 몸체와 결합된 제1 센서를 포함한다. 센서의 결합은 디바이스의 하나 이상의 부분들(예를 들어, 디스플레이)에 센서를 통합하는 것을 포함할 수 있다. 디바이스는 또한 디바이스의 음의 z-축 공간에서 디바이스-비접촉 사용자 제스쳐를 감지하기 위하여 디바이스 몸체와 결합된 제2 센서를 포함한다. 부가적으로, 디바이스는 디바이스의 양의 z-축 공간에서 디바이스-비접촉 사용자 제스쳐를 감지하는 제1 센서로부터의 제1 입력을 프로세싱하기 위하여 그리고 디바이스의 음의 z-축 공간에서 디바이스-비접촉 사용자 제스쳐를 감지하는 제2 센서로부터의 제2 입력을 프로세싱하기 위하여 디바이스 몸체와 결합된 프로세서를 포함한다. 프로세서는 회로 보드 또는 디바이스의 다른 컴포넌트로 통합됨으로써, 프로세서가 디바이스 몸체와 효율적으로 결합되도록, 몸체와 간접적으로 결합될 수 있다.
본 발명의 제3 양상은 프로세서 및 메모리를 갖는 컴퓨팅 시스템에 의하여 실행될 때, 컴퓨팅 시스템으로 하여금 방법을 실행하게 하는 컴퓨터-실행가능 명령어들이 내장된 컴퓨터 저장 매체를 제공한다. 방법은 제1 광학-기반 센서를 이용하여 디바이스의 양의 z-축 공간에서 디바이스-비접촉 사용자 제스쳐를 검출하는 단계를 포함한다. 방법은 또한, 제2 광학-기반 센서를 이용하여 디바이스의 음의 z-축 공간에서 디바이스-비접촉 사용자 제스쳐를 검출하는 단계를 포함한다. 방법은 부가적으로, 프로세서를 이용하여, 양의 z-축 공간에서 제1 센서로 검출된 디바이스-비접촉 사용자 제스쳐 및 음의 z-축 공간에서 제2 센서로 검출된 디바이스-비접촉 사용자 제스쳐가 제1 입력인 것을 결정하는 단계를 포함한다. 방법은 양의 z-축 공간에서의 그리고 음의 z-축 공간에서의 디바이스-비접촉 제스쳐가 제1 입력이라는 결정에 응답하여, 디스플레이 상에 사용자 인터페이스를 조정하는 단계를 더 포함한다.
결과적으로, 본 발명의 양상들은 디바이스를 둘러싸는 공간의 체적에서 사용자의 상호작용들(예를 들어, 비접촉 제스쳐들)을 검출하는 것을 고려하였다. 예를 들어, 디바이스로부터 바깥쪽으로 확장되는 구형의 공간은 사용자가 디바이스와 상호작용하지만, 또한 디바이스 너머까지 상호작용할 수 있는 공간을 정의할 수 있다. 이하에서 논의될 바와 같이, 디바이스를 둘러싸는 공간은 적어도 부분적으로, 디바이스 내의/상의 포인트와 같은 포인트로부터 양의 방향 및 음의 방향 모두로 확장되는 것으로서 정의될 수 있다. 이로써, 본 명세서에서 제공되는 몇몇 양상들은 양의 공간 및 음의 공간(예를 들어, 양의 z-축 및 음의 z-축)에서 상호작용을 감지하는 것과 관련되며, 이는 디바이스를 둘러싸는 공간의 체적에서 디바이스와의 상호작용들을 검출하는 개념을 포함한다.
본 발명의 실시예들의 개요를 간략히 설명하였으며, 이 발명의 실시예들을 구현하는데 적합한 예시적인 작동 환경이 하기에 설명된다.
일반적으로 도면들을, 그리고 초기에 특히 도 1을 참고하여, 본 발명의 실시예들을 구현하기에 적합한 예시적인 작동 환경이 도시되며, 일반적으로 컴퓨팅 디바이스(100)로서 지정된다. 그러나, 컴퓨팅 디바이스(100)는 적절한 컴퓨팅 환경의 일예이며, 발명의 사용 및 기능의 범위에 관한 어떠한 제한도 암시하도록 의도되지 않는다. 컴퓨팅 디바이스(100)는 예시된 모듈들/컴포넌트들 중 임의의 하나 또는 이들의 조합과 관련된 어떠한 의존성 또는 요건도 갖는 것으로서 해석되어서는 안 된다.
실시예들은 컴퓨터 또는 다른 머신, 예컨대 개인용 데이터 단말 또는 다른 핸드헬드 디바이스에 의해 실행되는 프로그램 모듈들과 같은 컴퓨터-실행가능 명령어들을 포함하는, 컴퓨터 코드 또는 머신-사용가능 명령들의 일반적인 문맥에서 설명될 수 있다. 일반적으로, 루틴, 프로그램, 오브젝트, 모듈, 데이터 구조 등을 포함하는 프로그램 모듈들은 특정 태스크를 수행하거나 특정 추상 데이터 타입들을 구현하는 코드를 가리킨다. 실시예들은 핸드헬드 디바이스들, 가전제품, 범용 컴퓨터들, 전문 컴퓨팅 디바이스들 등을 포함하는 다양한 시스템 구성들에서 실행될 수 있다. 실시예들은 또한 통신 네트워크를 통해 링크되는 원격 프로세싱 디바이스들에 의해 태스크들이 수행되는 분산 컴퓨팅 환경에서 실행될 수 있다.
계속해서 도 1을 참고하여, 컴퓨팅 디바이스(100)는 다음의 디바이스들, 즉, 메모리(112), 하나 이상의 프로세서들(114), 하나 이상의 프리젠테이션 모듈들(116), 입력/출력(I/O) 포트들(118), I/O 모듈들(120) 및 예시적인 전력 공급부(122)를 직접적으로 간접적으로 결합하는 버스(110)를 포함한다. 버스(110)는 하나 이상의 버스들(예컨대, 어드레스 버스, 데이터 버스 또는 이들의 조합물)일 수 있는 것들을 나타낸다. 도 1의 다양한 블록들은 명료성을 위해 선들로 도시되나, 실제로는 다양한 모듈들의 경계는 그리 명확하지 않으며, 비유적으로, 라인들은 더욱 정확하게는 회색이고 흐릿할 것이다. 예를 들어, 디스플레이 디바이스와 같은 프리젠테이션 모듈을 I/O 모듈인 것으로 간주할 수 있다. 또한, 프로세서들은 메모리를 갖는다. 본 발명의 발명자는 그러한 것이 본 기술분야의 본질임을 인식하고, 도 1의 도면이 단지 하나 이상의 실시예들과 함께 사용될 수 있는 예시적인 컴퓨팅 디바이스의 예시임을 다시 한번 말한다. "워크스테이션", "서버", "랩탑", "핸드-헬드 디바이스" 등과 같은 카테고리들 간에 구분은 이루어지지 않으며, 그 이유는 그들 전부가 도 1의 범위 내에서 "컴퓨터" 또는 "컴퓨팅 디바이스"를 가리키는 것으로 고려되기 때문이다.
컴퓨팅 디바이스(100)는 통상적으로 다양한 컴퓨터-판독가능 매체를 포함한다. 제한이 아닌 예로서, 컴퓨터-판독가능 매체는, 랜덤 액세스 메모리(RAM, Random Access Memory); 판독 전용 메모리(ROM, Read Only Memory); 전기적으로 소거가능한 프로그램가능 판독 전용 메모리(EEPROM, Electronically Erasable Programmable Read Only Memory); 플래시 메모리 또는 다른 메모리 기술들; CDROM, DVD(digital versatile disks) 또는 다른 광학적 또는 홀로그래픽 매체; 자기 카세트들, 자기 테잎, 자기 디스크 저장소 또는 다른 자기 저장 디바이스들, 또는 원하는 정보를 인코딩하는데 사용되고 컴퓨팅 디바이스(100)에 의하여 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다.
메모리(112)는 휘발성 및/또는 비휘발성 메모리 형태의 비-일시적 컴퓨터-저장 매체를 포함한다. 메모리는 착탈식, 비-착탈식 또는 그 조합식일 수 있다. 예시적인 하드웨어 디바이스들은 반도체 기억장치(solid-state memory), 하드 드라이브들, 광학-디스크 드라이브들 등을 포함한다. 컴퓨팅 디바이스(100)는 메모리(112) 또는 I/O 모듈들(120)과 같은 다양한 엔티티들로부터 데이터를 판독하는 하나 이상의 프로세서들을 포함한다. 프리젠테이션 모듈(들)(116)은 사용자 또는 다른 디바이스에 데이터 표시들을 제시한다. 예시적인 프리젠테이션 모듈들은 디스플레이 디바이스, 스피커, 프린팅 모듈, 진동 모듈 등을 포함한다. I/O 포트들(118)은 컴퓨팅 디바이스(100)로 하여금 I/O 모듈들(120)을 포함하는 다른 디바이스들에 논리적으로 결합되도록 허용하며, I/O 모듈들(120) 중 일부는 빌트인될 수 있다. 예시적인 모듈들은 마이크로폰, 조이스틱, 게임 패드, 위성 안테나, 스캐너, 프린터, 무선 디바이스 등을 포함한다.
도 2는 본 발명의 실시예들에 따른, 양의 z-축 공간 및 음의 z-축 공간 둘 다에서 디바이스 주위의 입력을 감지할 수 있는 예시적인 디바이스(200)를 도시한다. 예시적인 실시예들에서, 디바이스(200)는 이동 전화, 컨트롤러, 게임 디바이스 및/또는 다른 전자 디바이스들과 같은 핸드-헬드 디바이스이다. 예를 들어, 디바이스(200)는 적어도 부분적으로 무선 통신 네트워크(예를 들어, Wi-Fi, CDMA, GSM, PCS, 및 UMTS)를 이용하여 통신할 수 있는 이동 통신 디바이스인 것으로 생각된다. 부가적으로, 예시적인 실시예에서, 디바이스(200)는 하나 이상의 부가적인 컴퓨팅 디바이스들(예를 들어, 비디오 게임 콘솔, 개인용 컴퓨터, 셋탑 박스, 다른 핸드-헬드 디바이스)에 대한 입력 디바이스인 것으로 생각된다. 따라서, 디바이스(200)는 양의 z-축 공간 및 음의 z-축 공간 둘 다에서 검출가능한 입력들을 이용할 수 있는 (예컨대, 도 1과 관련하여 상기 논의된 것과 같은) 임의의 컴퓨팅 디바이스일 수 있다.
도 2의 디바이스(200)는 디바이스(200)에 관하여 공간의 체적을 정의하기 위해 사용가능한 예시적인 데카르트(Cartesian) 축들을 도시한다. 특히, x-축(208), y-축(210) 및 z-축(202)이 디바이스(200)에 관하여 도시된다. 그러나, 본 명세서에서 논의될 바와 같이, 축(예를 들어, z-축)은 디바이스 주위의 임의의 공간에서 제스쳐들의 검출을 허용하기 위해 디바이스에 관하여 임의의 배향으로 그리고 임의의 위치에 위치설정될 수 있는 것으로 생각된다. 따라서, 제스쳐 입력은 임의의(그리고 모든) 평면의 360도에서 검출될 수 있어, 디바이스에 관한 전-공간적(omni-spatial) 제스쳐 검출을 초래하는 것으로 생각된다. 도 2에 도시된 바와 같이, 디바이스(200)는 y-축(210)과 실질적으로 평행한 수직면(218)을 갖는다. 또한 도 2에 도시된 바와 같이, 디바이스(200)는 x-축(208)과 실질적으로 평행한 수평 상단부(216)를 갖는다. 디바이스(200)는 또한 전방 표면(front surface)(212) 및 후방 표면(back surface)(214)을 포함한다. 예시적인 실시예에서, 전방 표면(212)은 디스플레이와 같은 사용자-인터페이스("UI")에 액세스하기 위한 표면이다. 부가적으로, 전방 표면(212)은 (터치 활성화 디스플레이로서 및/또는 디스플레이와 독립적인 물리적 버튼들로서 UI와 통합되는) 하나 이상의 버튼들을 포함할 수 있다. 또한 추가로, 전방 표면(212)은 하나 이상의 오디오 출력 컴포넌트들(예를 들어, 스피커) 및/또는 하나 이상의 오디오 입력 컴포넌트들(예를 들어, 마이크로폰)을 포함할 수 있는 것으로 생각된다.
도 2는 양의 z-축(204) 및 음의 z-축(206)을 갖는 디바이스(200)를 도시한다. 양의 z-축은 디바이스(200)의 전방 표면(212) 측 상에서 x-축(208) 및 y-축(210)에 의해 정의되는 평면에 직각으로 원점(201)으로부터 연장된다. 반대로, 음의 z-축은 디바이스(200)의 후방 표면(214) 상에서 x-축(208) 및 y-축(210)에 의하여 정의되는 평면에 직각으로 원점(201)으로부터 연장된다. 양의 z-축(204) 방향으로 x-축(208) 및 y-축(210)에 의하여 정의되는 평면으로부터 바깥쪽으로 확장되는 공간의 체적은 본 명세서에서 양의 z-축 공간으로 지칭된다. 유사하게, 음의 z-축(206) 방향으로 x-축(208) 및 y-축(210)에 의하여 정의되는 평면으로부터 바깥쪽으로 확장되는 공간의 체적은 본 명세서에서 음의 z-축 공간으로 지칭된다. 결과적으로, 구형 영역과 같은 공간의 체적은 (예를 들어, 비접촉 제스쳐들을 사용하여 및/또는 접촉 제스쳐들을 사용하여) 사용자가 디바이스와 상호작용할 수 있는 영역을 정의하기 위하여 디바이스로부터 바깥쪽으로 확장될 수 있다.
일반적으로, z-축은 디바이스(200)에 관하여 임의의 배향으로 배향되고 임의의 위치에 있을 수 있다. 예를 들어, 전방 표면(212)으로부터 확장하는 것과 대조적으로, 양의 z-축 공간은 대안적으로 측면(218) 또는 상단부(216)로부터 확장될 수 있다. 이하에서의 일관된 논의를 용이하게 하기 위하여, 도 2에 도시된 다양한 축들의 일반적 배향이 유지될 것이다. 그러나, 다양한 축들의 배향은 디바이스(예를 들어, 디바이스(200))에 관하여 다양한 위치들 및 배향들로 고려되고, 따라서 본 발명의 실시예들에 적용된다고 믿어진다. 결과적으로, 본 명세서에서 용어 z-축이 사용되나, z-축은 디바이스의 임의의 축을 나타낼 수 있다고 믿어지며, 따라서 디바이스에 관한 임의의 확장된 상호작용 공간에서 궁극적으로 제스쳐를 검출하기 위하여 디바이스의 제1 측면 상에서 그리고 디바이스의 제2 측면 상에서 제스쳐를 검출하는 것이 고려되며, 이는 디바이스에 관한 특정 방향과 독립적이다.
도 3은 본 발명의 실시예들에 따른 디바이스(300)의 전방 원근도를 도시한다. 디바이스(300)는 상기 논의된 도 2의 디바이스(200)와 유사할 수 있다. 디바이스(300)는 상단 에지(302), 좌측면(302), 우측면(306) 및 바닥 에지(308)를 포함할 수 있다. 디바이스(300)는 실질적으로 직사각형 기하학적 구조로서 도시되나, 임의의 기하학적 형태가 구현될 수 있다고 믿어진다. 예를 들어, 디바이스(300)는 향상된 인적 요소(human factor), 기분, 시장성 등을 위한 하나 이상의 유기적 기하학적 구조들을 포함할 수 있다. 예를 들어, 게이밍 컴퓨터 콘솔과 통신하는 게임 컨트롤러는 디바이스의 예상되는 의도된 사용 시나리오들(예를 들어, 휴대성(portability), 저장, 사용자의 1차 접촉)에 적어도 부분적으로 기반하여, 스마트폰과 상이한 기하학적 구조를 가질 수 있다.
디바이스(300)는 디스플레이(310)를 더 포함한다. 디스플레이(310)는 UI의 하나 이상의 엘리먼트들을 디스플레이할 수 있다. 예를 들어, 스마트폰 예시에서, UI는 스마트폰의 운영 체제에 의해 발생된 하나 이상의 그래픽 엘리먼트들을 포함할 수 있다. 부가적으로, 디스플레이(310)는 터치-반응 스크린인 것으로 생각된다. 예를 들어, 디스플레이(310)는 사용자의 터치(또는 스타일러스와 같은 다른 입력 디바이스들)을 인식하기 위하여 하나 이상의 터치-기반 입력 검출 메커니즘들을 포함할 수 있다. 예들은 스크린에서 사용자 제공 입력을 검출하기 위한 정전식(capacitive) 터치 스크린, 저항성(resistive) 터치 스크린 등의 이용을 포함할 수 있다. 부가적인 예시적 실시예에서, 디스플레이(310)는 부가적인 기능적 책임 없이 정보의 하나 이상의 부분들을 단지 제시할 수 있다.
본 발명의 예시적인 실시예들에서, 디스플레이(310)는 디바이스(300)의 양의 z-축 공간(또는 음의-z-축 공간)에서 하나 이상의 사용자 제스쳐들을 적어도 부분적으로 검출하도록 가동되는 것으로 생각된다. 예를 들어, 디스플레이(310)는 다양한 기술들을 이용하여 비접촉 사용자 제스쳐들을 검출할 수 있다. 예시적인 기술은 디스플레이의 하나 이상의 에지들로 디스플레이 표면에 제시된 바와 같은 이미지를 전달하는 제어된 굴절 광학 입력 메커니즘(예를 들어, 양의 z-축 공간에서의 사용자의 핸드 호버링(hand hovering))을 포함할 수 있다. 예시적인 실시예에서, 이러한 개념은 워싱턴주 레드몬드의 Microsoft Corporation에 의해 개발된 바와 같은 "The Wedge"를 이용하여 달성될 수 있다. 그러나, 부가적인 기술들(예를 들어, 비접촉 제스쳐들에 민감한 정전식 스크린들)이 마찬가지로 고려된다.
디바이스(300)는 하나 이상의 제스쳐 센서들을 더 포함한다. 제스쳐 센서는 적어도 부분적으로 사용자 입력으로서 제스쳐를 검출할 수 있는 감지 컴포넌트이다. 도 3의 디바이스(300)의 전방 표면 상에 4개의 제스쳐 센서들이 도시된다. 그러나, 임의의 개수의 센서(하나의 센서도 포함하지 않을 수도 있음)가 구현될 수 있음이 이해된다. 예를 들어, 제스쳐 센서는 현존하는 컴포넌트(예를 들어, 디스플레이(310), 오디오 입력 디바이스 및 오디오 출력 디바이스, 디바이스(300) 몸체)에 통합될 수 있다. 제스쳐 센서들(312, 314, 316 및 318)은 디바이스(300)의 주변 에지들 근방에 위치되는 것으로 도시된다. 그러나, 디바이스(300)의 임의의 위치에 제스쳐 센서가 위치설정될 수 있다고 믿어진다. 예시적인 실시예에서, 양의 z-축 공간에서 사용자 제스쳐를 검출하기 위하여 단일 제스쳐 센서가 디바이스(300)에 통합될 수 있다. 이 예에서, 제스쳐 센서는 카메라와 같은 광학 디바이스인 것으로 생각된다. 예를 들어, 스틸 사진 및 비디오를 포착할 수 있는 카메라는 이동 통신 디바이스에서 종래부터 있던 것인데, 이를 개조하여 사용자 제스쳐를 포착하도록 또한 구성할 수 있다.
부가적으로, 제스쳐 센서는 깊이 정보의 하나 이상의 부분들을 포착할 수 있는 것으로 생각된다. 예를 들어, 깊이 카메라(예를 들어, 워싱턴주 레드몬드의 Microsoft Corporation로부터 이용가능한 Kinect와 함께 사용되는 카메라)는 의도된 입력으로서 사용자 제스쳐를 검출하는데 이용될 수 있다. 그뿐 아니라, 제스쳐 센서는 현존하는 감지 기술(예를 들어, 디바이스에 내장된 카메라)을 이용할 수 있는 것으로 생각된다. 예를 들어, 하나 이상의 도파관들이 원하는 공간(예를 들어, 양의 축 및/또는 음의 축 방향으로 디바이스로부터 외부로 확장되는 반구형 체적)을 포착하는 패턴의 카메라에 의해 포착될 수 있는 "픽셀들"을 분배하기 위하여 디바이스에 내장될 수 있는 것으로 생각된다. 하나 이상의 기법들이 포착된 영역을 카메라의 의도된 범위 너머로 확장시킬 수 있기 때문에, 원하는 해상도를 제공하기 위해 픽셀들의 시간-멀티플렉싱이 이용될 수 있는 것으로 생각된다.
따라서, 제스쳐 센서는 광학-기반 기술(예를 들어, 카메라), 정전-기반 기술, 저항-기반 기술, 열-기반 기술, 초음파-기반 기술, 압력-기반 기술 등일 수 있다. 기술들(및 유사한 기술들)의 다양한 조합들이 복합적으로 구현될 수 있다. 예를 들어, 근접 감지 기술(예를 들어, 정전식)이 z-축의 제1 방향의 제스쳐들에 대해 사용될 수 있고, 제2 기술(예를 들어, 광학식)이 z-축의 제2 방향으로 이용될 수 있는 것으로 생각된다. 뿐만 아니라, 다양한 감지 기술들이 의도된 입력으로서 제스쳐를 검출하기 위하여 공통 z-축 공간(예를 들어, 음, 양)에서 이용될 수 있는 것으로 생각된다.
도 4는 본 발명의 실시예들에 따른 디바이스(300)의 후방 원근도를 도시한다. 음의 z-축 공간은 도 4의 후방 원근도의 결과로서 도시될 수 있다. 복수의 제스쳐 센서들이 도 4에 도시된다. 예를 들어, 제스쳐 센서들(402, 404, 406, 408 및 410)이 도시된다. 도 3에 관하여 앞서 논의된 바와 같이, 제스쳐 센서들의 개수, 위치 및 배향은 단지 사실상 예시로서 제공되며, 제한하는 것이 아니다. 따라서, 제스쳐 센서는 디바이스(300)의 음의 z-축 공간에서 제스쳐를 감지하는데 적합한 임의의 위치에서 디바이스(300)와 결합될 수 있는 것으로 생각된다. 예를 들어, 제스쳐 센서는 다른 디바이스의 독립적 센서(예를 들어, 원격 카메라, 원격 센서)와 같이, 디바이스(300)와 원격으로 결합될 수 있다. 부가적으로, 도 3에 대하여 논의된 바와 같이, 임의의 조합의 임의의 타입의 제스쳐 센서가 이용될 수 있는 것으로 생각된다. 뿐만 아니라, 도 3 및 4의 제스쳐 센서들은 카메라-형 센서로서 도시되나, 제스쳐 센서는 임의의 사이즈, 형태 및 외양일 수 있는 것으로 생각된다. 결과적으로, 제스쳐 센서는 시각적으로 식별가능한 개별 컴포넌트가 아니라, 디바이스의 하나 이상의 컴포넌트들(예를 들어, 현존하는 컴포넌트들, 디바이스 몸체)로 통합될 수 있다.
제스쳐 센서(들)의 위치는 예상된 사용자 모드에 좌우될 수 있다. 예를 들어, 사용자가 우측 손으로 디바이스의 양의 z-축 공간 및 음의 z-축 공간에서 대부분의 제스쳐들을 수행하는 것으로 예상된다면, 제스쳐 센서는 제스쳐에 가까운 디바이스의 에지를 향한 제스쳐 활동을 검출하는 것을 용이하게 하는 위치에 놓일 수 있다. 그러나, 디바이스의 배향(예를 들어, 세로로 긴 배치(portrait), 가로로 긴 배치(landscape)은 또한 디바이스 상의 제스쳐 센서들의 잠재적 위치를 결정시 고려될 수 있다.
제스쳐 센서들은 비접촉 제스쳐들, 접촉 제스쳐들을 검출할 수 있는 센서들, 및 디바이스의 내부 포즈(internal pose)/배향을 검출할 수 있는 센서들을 포함할 수 있다. 예를 들어, 비접촉 제스쳐 센서들은 개조된 렌즈를 이용하는 카메라들을 포함할 수 있다. 예시적 양상에서, 개조된 렌즈는 어안 렌즈(fish-eye lens)와 같이 분배-각도 원근도(distributed-angle perspective)를 제공할 수 있다.
구현될 수 있는 부가적인 감지 기술은 적어도 부분적으로, 예를 들어, 디바이스의 에지를 따라 위치설정될 수 있는 근접 적외선 센서들을 포함한다(근접 IR 감지 기술은 그 전체가 인용에 의해 본 명세서에 통합되는 미국 특허 출원 제11/948,802호에서 추가로 논의된다). 구현될 수 있는 부가적인 감지 기술들은 적어도 부분적으로, 이하에 더욱 상세히 논의될 바와 같은 광 가이드(guide)들 또는 웨지(wedge)들을 포함한다. 뿐만 아니라, 비접촉 제스쳐들을 검출할 수 있는 정전식 센서들이 구현될 수 있는 것으로 생각된다. 뿐만 아니라, 디바이스의 하나 이상의 컴포넌트들(예를 들어, 스피커, 마이크로폰)을 사용하여 인간의 귀에 의해 들리지 않는 사운드를 감지하는 것은 다양한 실시예들에서 마찬가지로 근접 감지를 제공할 수 있는 것으로 생각된다.
도 5는 본 발명의 실시예들에 따른 디바이스(500)의 측면 프로파일을 도시한다. 디바이스(500)는 상단부(502), 바닥부(504), 전방부(506) 및 후방부(508)를 포함한다. 사용 시, 사용자는 통상적으로 디바이스(500)의 디스플레이를 보기 위해 전방부(506)와 상호작용한다. 전방부(506)는 전방부(506)와 평행하고 일치하는 정면 평면(510)을 정의할 수 있다. 예시적인 z-축이 정면 평면(510)과 교차하는 포인트는 양의 z-축(512) 및 음의 z-축(514)이 서로로부터 분기되는 곳을 정의하는 기준 원점을 제공한다. 예를 들어, 양의 z-축 공간은 이 예에서 후방부(508)를 통과하지 않고 디바이스(500)로부터 멀리 확장된다. 원점은, 그리고 따라서 양의 z-축과 음의 z-축이 서로로부터 분기되는 포인트는 z-축을 따르는 임의의 포인트에 위치설정될 수 있는 것으로 생각된다.
본 발명의 예시적인 실시예에서, 디바이스(500)는 양의 z-축 공간에서 제스쳐를 감지하도록 가동되는 제1 제스쳐 센서를 포함한다. 부가적으로, 본 발명의 예시적인 실시예에서, 디바이스(500)는 음의 z-축 공간에서 제스쳐를 감지하도록 가동되는 제2 제스쳐 센서를 포함한다. 부가적인 예시적 실시예에서, 제1 제스쳐 센서는 음의 z-축 공간에서 제스쳐를 검출하도록 가동되지 않는다. 유사하게, 예시적인 실시예에서, 제2 제스쳐 센서는 양의 z-축 공간에서 제스쳐를 검출하도록 가동되지 않는다. 바꾸어 말하면, 제1 제스쳐 센서 및 제2 제스쳐 센서는 이 예시적 실시예에서 양의 z-축 및 음의 z-축 공간 둘 다에서 제스쳐를 검출하기 위해 결합하여 사용되어야 한다.
도 6은 본 발명의 실시예들에 따른, 사용 배향(in-use orientation)(600)의 디바이스(601)를 도시한다. 도 6은 제1 손(608)(예를 들어, 우측 손) 및 제2 손(610)(예를 들어, 좌측 손)으로 디바이스(601)를 조작하는 사용자를 도시한다. 디바이스(601)의 y-축(604)을 중심으로 회전하는 제1 손(608)이 도시된다. 예를 들어, y-축(604) 주변에서 제1 손(608)에 의해 수행되는 회전 운동을 예시하기 위해 회전 방향 지시자(624)가 도시된다. y-축(604)에 직각인 x-축(602)이 또한 디바이스(601)의 디스플레이(606)에 걸쳐 수평하게 도시된다.
제1 손(608)은 제1 손가락(612) 및 엄지손가락(614)을 포함한다. 제2 손은 제1 손가락(618) 및 엄지손가락(616)을 포함한다. 도 6의 예시적 배향으로 도시된 바와 같이, 제2 손(610)은 제1 손가락(618)으로 제1 포인트(622)에서 그리고 엄지손가락(616)으로 제2 포인트(620)에서 제1 측면을 따라 디바이스(601)와 접촉한다. 이하에서 논의될 바와 같이, 디바이스(601)는 의도된 제스쳐, 디바이스(601)의 배향 및/또는 예상된 제스쳐 타입을 결정하는 것을 돕도록 접촉 위치를 검출하기 위한 하나 이상의 접촉 센서들(또는 임의의 타입의 센서)를 포함할 수 있다. 제1 손(608)은 서로 분리된 제1 손가락(612) 및 엄지손가락(614)으로 디바이스(601) 위에 배향되며, 트위스팅형 제스쳐에서 y-축(604)을 중심으로 회전하도록 동작가능하다.
y-축(604) 중심의 제1 손(608)의 회전은 손의 부분들(예를 들어, 제1 손가락(612), 엄지손가락(614))이 양의 z-축 공간으로부터 음의 z-축 공간으로 (그리고 그 반대로) 천이하도록 한다. 예를 들어, 제1 손(608)은 "뚜껑(lid)"의 중앙이 y-축 근처에 위치설정되도록, 병(jar)의 뚜껑을 조이는 것과 유사한 제스쳐를 수행할 수 있다. 이 제스쳐를 달성하기 위해, 제1 손가락(612) 및 엄지손가락(614)은 양의 z-축 공간에서 그리고 음의 z-축 공간에서 뚜껑을 "그래스핑(grasp)하고", 회전 제스쳐는 물리적 뚜껑을 그래스핑하는 경우 손가락/엄지손가락 조합이 이동할 경로를 모방하기 시작한다.
대안적으로, 제2 손(610)이 y-축(604)을 중심으로 디바이스(601)를 회전시키는 동안 제1 손(608)은 실질적으로 정적으로 고정될 수 있는 것으로 생각된다. 하나 이상의 제스쳐 센서들은 이동하는 디바이스(601) 또는 이동하는 제1 손(608) 간의 차를 인식하지 못할 수 있으나, 다른 감지 기술은 구분하도록 도움이 될 수 있다. 예를 들어, 디바이스(601)는 회전 운동의 모습을 생성하기 위하여 디바이스(601)가 이동하는지 또는 제1 손(608)이 이동하는지 검출할 수 있는 하나 이상의 가속도계들을 통합할 수 있다. 부가적으로, (프로세서와 결합한) 제스쳐 센서 자신은 또한 디바이스(601) 또는 제1 손(608)이 운동하는 엔티티인지 결정할 수 있다. 예를 들어, 제스쳐 센서가 광학적이라면, 제스쳐가 검출되는 동안 배경 장면이 실질적으로 일정하게 유지되는 경우, 이것이 제1 손(608)이 운동하고 있음을 표시할 수 있다는 추론이 이루어질 수 있다. 대안적으로, 배경 장면이 실질적으로 검출된 운동과 유사한 운동으로 나타난다면, 이것은 디바이스(601)가 조작되고 있음을 표시할 수 있다.
어느 한 손이 디바이스(601)를 유지하는데 사용될 수 있는 한편, 다른 손은 하나 이상의 제스쳐들을 제공하는데 이용될 수 있는 것으로 생각된다. 마찬가지로, 부가적인 제스쳐들이 예시된 예시적 구성과 함께 고려된다. 예를 들어, 제1 손가락(612) 및 엄지손가락(614)은 양의 z-축 및 음의 z-축 모두에서(예를 들어, 디바이스(601)의 전방 및 후방 모두에서) 공간을 통합하는 핀칭(pinching)-형 제스쳐(예를 들어, 제1 손가락(612)과 엄지손가락(614) 사이의 거리를 감소시키는 것)를 수행할 수 있다.
이전에 논의된 바와 같이, 디바이스(601)는 하나 이상의 부가적인 센서들을 통합할 수 있다. 예를 들어, 감지 기술은 접촉 입력을 검출하는데 이용될 수 있다. 접촉 제스쳐는 디바이스 및 입력 메커니즘(예를 들어, 스타일러스, 손가락)의 물리적 접촉을 초래하는 제스쳐이다. 디바이스-비접촉 제스쳐는 입력/제스쳐를 수신하는 디바이스를 물리적으로 터치하지 않는 것이다. 예를 들어, 디바이스-비접촉 제스쳐는 예컨대 디바이스의 표면으로부터 1mm 또는 그 이상 떨어진 거리에서 사용자에 의해 수행될 수 있다. 디바이스-비접촉 제스쳐의 정의 내에 있는 (더 긴 또는 더 짧은) 다른 거리들이 고려된다. 이용될 수 있는 부가적인 센서들은 가속도계들, 자기계들, 자이로스코픽 센서들, 위성 위치확인 시스템(예를 들어, GPS), 전자기 센서들 등을 포함할 수 있다.
접촉 입력을 검출하기 위해 제3 센서를 이용하는 예시적 양상을 참고한다. 제3 센서는 앞서 논의된 임의의 타입의 센서일 수 있다. 예를 들어, 접촉 위치가 결정될 수 있도록, 정전식 터치 센서가 디바이스의 하나 이상의 부분들로 통합될 수 있다. 따라서, 사용자가 디바이스를 보유하기 위해(또는 입력을 제공하기 위해) 디바이스에 접촉할 때, 디바이스는 접촉 제스쳐가 제공된 것을 그리고 그것이 제공된 위치를 결정하는 것이 가능할 수 있다.
예를 들어, 하나 이상의 센서들은 (예를 들어, 도 6의 포인트(622) 및 포인트(620)에 근접한) 디바이스의 주변부(또는 측면들)를 따라 디바이스와 결합될 수 있는 것으로 생각된다. 접촉 센서는 그 후 하나 이상의 센서들에 대응하는 그러한 위치들에서 디바이스가 접촉되고 있음을 식별할 수 있다. 결과적으로, 사용자가 디바이스에 관해 배향되는 방법에 관한 추론이 이루어질 수 있다. 예를 들어, 포인트(622 및 620) 모두에서 접촉이 인식될 때, 엄지손가락은 통상적으로 동일한 손의 다른 손가락이 반대편 측면 상에서 디바이스에 접촉할 수 있는 위치에 관하여 한 측면을 따르는 더 낮은 포인트에서 디바이스(601)에 접촉할 수 있으므로, 좌측 손이 디바이스(601)를 그래스핑하고 있는지에 대한 결정이 이루어질 수 있다. 부가적으로, 특정 사용자가 시간에 따라 디바이스와 상호작용하는 방법을 습득하기 위하여 습득 알고리즘이 도입될 수 있는 것으로 생각된다. 뿐만 아니라, 하나 이상의 부가적인 센서들(예를 들어, 가속도계들, 깊이 카메라들, 카메라들)이 또한 단독으로 또는 결합하여 사용되어, 사용자가 디바이스를 보유/조작하는 특정 방식을 식별할 수 있는 것으로 생각된다.
따라서, 제스쳐 센서들이 하나 이상의 접촉 센서들(및 내부 포즈/배향 센서들과 같은 디바이스의 하나 이상의 부가적인 센서들)과 결합될 때, 예시적인 실시예에서, 디바이스는 검출되는 디바이스-비접촉 제스쳐가 의도된 입력일 때를 추론할 수 있다. 예를 들어, 접촉 센서들은 제스쳐 센서들에 의해 검출된 제스쳐들이 의도된 입력들이고, 단지 검출된 잡음이 아니라는 추론을 활성화시키기 위한 모달 선택 메커니즘(modal selection mechanism)일 수 있다. 유사하게, 예시적인 실시예에서, 디바이스는 제스쳐 센서들(예를 들어, 디바이스-비접촉 제스쳐들을 검출하도록 가동되는 센서들) 및/또는 디바이스의 부가적인 센서들에 의하여 인지되는 정보에 기반하여, 접촉 입력이 의도된 입력일 때를 추론하도록 가동된다. 실제로, 디바이스는 입력/제스쳐의 의도에 관한 결정을 내릴 때, 하나 이상의 프로세서들을 이용한다.
도 7은 본 발명의 실시예들에 따른 사용 배향(700)의 디바이스(701)를 도시한다. 도 7은 제1 손(708)(예를 들어, 우측 손) 및 제2 손(710)(예를 들어, 좌측 손)으로 디바이스(701)를 조작하는 사용자를 도시한다. 디바이스(701)의 x-축(702)을 중심으로 회전하는 제1 손(708)이 도시된다. 예를 들어, x-축(702) 주위에서 제1 손(708)에 의하여 수행되는 회전 운동을 예시하기 위하여 회전 방향 지시자(724)가 도시된다. x-축(702)에 직각인 y-축(704)은 또한 디바이스(701)의 디스플레이(706)에 걸쳐 수직으로 도시된다.
제1 손(708)은 x-축(702)을 중심으로 회전하는 디바이스-비접촉 제스쳐를 수행하는 프로세스 중에 있는 엄지손가락(714) 및 손가락(712)을 포함한다. 제1 손(708)(및 붙어있는 엄지손가락(714) 및 손가락(712))의 회전은 양의 z-축 공간(예를 들어, 디바이스의 전면) 및 음의 z-축 공간(예를 들어, 디바이스의 후면) 모두를 가로지른다. 결과적으로, 디바이스의 전방의 전통적인 상호작용 공간 뿐 아니라 디바이스 너머의 공간 모두를 가로지르는 3-차원 제스쳐가 포착될 수 있으며, 이는 사용자가 이전에 이용가능하지 않은 방식들로 디바이스와 상호작용하는 능력을 제공한다.
이 예에서, 엄지손가락(716)이 포인트(720)에서 디바이스(701)와 접촉하도록, 제2 손(710)은 디바이스(701)와 접촉한다. 부가적으로, 손가락(718)은 포인트(722)에서 디바이스(701)와 접촉한다. 예시적인 양상에서, 디바이스(701)는 포인트(720)에서 접촉을 검출하도록 가동되는 센서 및 포인트(718)에서 접촉을 검출하도록 가동되는 센서를 포함한다. 이전에 논의된 바와 같이, 이들 포인트들에서의 접촉의 검출은 제2 손(710)이 디바이스(701)를 보유하고 있는 것 및 제1 손(708)이 하나 이상의 디바이스-비접촉 제스쳐들을 제공하도록 작동가능한 것을 추론하는데 사용가능할 수 있다. 결과적으로, 디바이스(701)는 일반적으로 손(708)에 의한 제스쳐들과 같은 검출된 제스쳐들이 디바이스(701)의 하나 이상의 양상들(예를 들어, 디스플레이(706) 상에 제시되는 UI)을 조작하기 위해 의도된 입력들인 것으로 추론할 수 있다.
디바이스(701), 제1 손(708), 제2 손(710) 및/또는 다른 부재들(예를 들어, 스타일러스, 포인터들)의 부가적인 배향들이 고려된다. 뿐만 아니라, 부가적인 센서들, 센서들의 위치, 감지 기술 및 상기 나열한 것들의 조합들이 본 발명의 범위 내에서 고려된다.
이하에서 논의되는 바와 같이, 본 발명의 양상은, 디바이스 및/또는 사용자의 배향, 제스쳐 및/또는 의도를 식별하기 위하여 비접촉 센서들(예를 들어, 깊이 카메라, 가시광 카메라, IR 카메라, 정전식, 초음파식 등), 접촉 센서들 및/또는 디바이스 포즈/배향 센서들(예를 들어, 가속도계들, 자기계들, 자이로스코프(gyros), GPS, 전자기 센서들 등)을 임의의 조합으로 이용하는 것을 고려한다. 예를 들어, 접촉 센서들, 비접촉 센서들 및 내부 포즈/배향 센서들은 사용자의 어느 손이 디바이스를 유지하고 있는지, 디바이스가 이동중인지, 사용자가 제스쳐를 제공하고 있는지 등을 식별할 수 있다.
도 8은 본 발명의 실시예들에 따른, 사용 배향(800)의 디바이스(801)를 도시한다. 도 8은 제1 손(810)(예를 들어, 우측 손) 및 제2 손(812)(예를 들어, 좌측 손)으로 디바이스(801)를 조작하는 사용자를 도시한다. 뿐만 아니라, x-축은 디바이스(801)를 따라 수평으로 가로지르는 것으로서 도시된다. z-축은 x-축(802)에 직각으로 수직하게 확장되는 것으로서 도시된다. 일반적으로, 도 8에 도시된 사용자는 양의 z-축 공간(806) 및 음의 z-축 공간(808) 모두에서 다양한 제스쳐들을 제공한다. 다양한 제스쳐들은 양의 그리고 음의 z-축 공간 내에서 이동하는 제1 손(810) 및 제2 손(812)의 하나 이상의 부분들을 포함한다. 그러나, 단 하나의 디바이스-비접촉 제스쳐가 양의 z-축 공간 및 음의 z-축 공간 각각에서 한 손의 일부분에 의해 수행되는 것으로 생각된다. 그러나, 본 발명의 실시예들은 디바이스(801)에 관하여 다양한 위치들에서 발생하는 다양한 제스쳐들을 고려한다.
엄지손가락(814)이 양의 z-축 공간에 위치설정되고, 손가락(816)이 음의 z-축 공간에 위치설정되도록, 제1 손(810)이 위치설정된다. 유사하게, 제2 손(812)의 엄지손가락(820)은 양의 z-축 공간(806)에 위치설정되고, 제2 손(812)의 손가락(822)은 디바이스(801)의 음의 z-축 공간(808)에 위치설정된다. 뿐만 아니라, 이 예에서, 제1 손바닥 부분(818)은 위치(826)에서 디바이스(801)와 접촉한다. 제2 손바닥 부분(824)은 또한 디바이스(801)와 접촉한다. 그러나, 제2 손바닥 부분(824)은 디바이스(801) 상의 위치(828)에서 디바이스(801)와 접촉한다. 이 예에서, 엄지손가락들(814 및 820) 및 손가락들(816 및 822)에 의한 제스쳐들은 예시에서 디바이스(801)가 826 및 828에 근접한 위치들에서의 접촉을 검출할 때 의도된 입력들로서 추론될 수 있다. 위치들(826 및 828)은 사실상 예시적이며, 부가적인 접촉 영역들이 하나 이상의 디바이스-비접촉 제스쳐들이 의도된 제스쳐들이라는 추론을 제공하는데 사용될 수 있다고 믿어진다.
도 8에 도시된 예시적인 사용 배향을 계속하여, 사용자는 양의 z-축 공간(806) 및 음의 z-축 공간(808) 중 하나 또는 양자 모두 내에서의 디바이스-비접촉 제스쳐에서 하나 이상의 손들의 하나 이상의 부분들을 조작할 수 있다. 예를 들어, 엄지손가락(814) 및 손가락(816)은 공통된 시간에 공통된 방향으로 이동할 수 있는 것으로 생각된다. 반대로, 엄지손가락(814) 및 손가락(816)은 공통된 시간 동안 상이한 방향으로 이동할 수도 있는 것으로 생각된다. 예를 들어, 엄지손가락(814)은 디바이스(801)를 향해(즉, 아래로) 이동할 수 있는 반면, 손가락(816)은 동시에 디바이스(801)를 또한 향하는 반대 방향으로(즉, 위쪽으로) 이동하는 것으로 생각된다. 다른 예는 엄지손가락(814)이 디바이스(801)의 디스플레이 표면(803)에 의해 정의되는 평면에 실질적으로 평행한 평면에서 이동하는 동안, z-축(804)에 실질적으로 평행한 방향으로 이동하는 손가락(816)을 포함할 수 있다. 다른 예는 가상 대상물의 일부분이 음의 z-축 공간에서 인지되고, 가상 대상물의 다른 부분이 양의 z-축 공간에서 인지되도록, x, y 및/또는 z-축 방향으로 가상 대상물을 이동시키는 의도로 엄지손가락(814)과 손가락(816) 사이에서 가상 대상물을 핀칭(pinching)하는 것을 포함한다. 손의 임의의 부분이 양의 및/또는 음의 z-축 공간의 임의의 부분에서 임의의 시간에 임의의 방향으로 운동할 수 있는 것으로 생각된다.
제1 손(810)과 유사하게, 제2 손(812)은 임의의 조합으로 임의의 시간에 양의 및/또는 음의 z-축 공간들의 임의의 부분을 조작할 수 있다. 뿐만 아니라, 제1 손(810) 및 제2 손(812)은 조화를 이루어 작동하는 것으로 생각된다. 예를 들어, 음의 z-축 공간 및 양의 z-축 공간 모두의 일부인 것으로서 사용자에 의해 인식되는 가상 대상물은 제1 손(810) 및/또는 제2 손(812)의 부분들에 의해 핀칭, 스트레칭(stretching), 압축, 그래스핑 및 다른 방식으로 처리될 수 있다.
예시적인 실시예에서, 디스플레이(803)는 3-차원적 UI로서 사용자에 의해 인식가능한 UI를 제공하도록 가동되는 것으로 생각된다. 예를 들어, 디스플레이는 디스플레이(803)와 사용자의 눈(들) 사이에 위치설정되는 하나 이상의 렌즈들과 파트너가 될 수 있다. 본 기술분야에 공지된 바와 같이, 디스플레이와 렌즈의 조합은 3-차원적 인식을 제공할 수 있다. 3-차원적 시각적 경험을 제공하기 위하여 다른 기술들(예를 들어, 홀로그램, 무-안경 3-차원 디스플레이, 3-차원 시청을 위하여 개조된 시각적 출력을 갖는 The Wedge)이 고려된다.
이전에 논의된 바와 같이, 양의 z-축 공간(806)에서 감지하는 적어도 제1 제스쳐 센서 및 음의 z-축 공간(808)에서 감지하는 적어도 제2 제스쳐 센서와 함께 부가적인 센서들이 사용될 수 있다. 예를 들어, 하나 이상의 위치들(예를 들어, 위치(826), 위치(828) 및 디스플레이(803))에서 접촉을 검출하기 위하여 하나 이상의 접촉 센서들이 디바이스(801)와 결합되었다. 디바이스-비접촉 제스쳐를 검출하고 및/또는 검출된 제스쳐의 의도를 결정하는 것을 돕는데 사용될 수 있는 부가적인 센서들은 비디오 카메라, 스틸 카메라, 가속도계 등을 포함할 수 있다.
뿐만 아니라, 도 8은 길이방향(lengthwise) 배향으로 제1 손(810)과 제2 손(812) 사이에 위치설정된 디바이스(801)를 도시하나, 디바이스(801)는 임의의 대안적 배향(예를 들어, 폭방향(widthwise))일 수 있는 것으로 생각된다.
도 9는 본 발명의 실시예들에 따른, 사용 측면 프로파일 배향(900)의 디바이스(901)를 도시한다. 도 9는 제1 손(910)(예를 들어, 우측 손) 및 제2 손(912)(예를 들어, 좌측 손)으로 디바이스(901)를 조작하는 사용자를 도시한다. 도 9는 z-축(904)에 직각인 x-축(902)을 또한 도시한다. z-축(904)은 도시된 배향으로 디바이스(901)로부터 멀어지도록 x-축으로부터 상향으로 확장되는 양의 z-축 공간(906)을 정의한다. 유사하게, z-축(904)은 도시된 배향으로 디바이스(901)로부터 멀어지도록 x-축으로부터 아래쪽으로 확장되는 음의 z-축 공간(908)을 정의하는데 사용가능하다.
제2 손(912)은 디바이스(901)와 접촉하는 것으로서 도시되나, 제1 손(910)은 양의 z-축 공간(906) 및 음의 z-축 공간(908) 모두에서 하나 이상의 디바이스-비접촉 제스쳐들을 제공하는 것으로서 도시된다. 다시, 이전에 논의된 바와 같이, 디바이스(901)는 양의 z-축 공간(906)에서 디바이스-비접촉 제스쳐들을 감지하는 제1 센서, 음의 z-축 공간(908)에서 디바이스-비접촉 제스쳐들을 감지하는 제2 센서, 및 위치(920)에서 디바이스(901)와 접촉하는 손가락(922)을 감지하는 제3 센서를 포함할 수 있다. 적어도 위치(920)에서 디바이스(901)와 접촉하는 손가락(922)의 감지에 기반하여(그리고 부가적인 위치가 함께 고려됨), 사용자가 디바이스(901)를 조작하는(예를 들어, 상호작용하는, 보유하는) 방식에 대한 추론이 이루어질 수 있다. 디바이스(901)가 조작되는 방식에 대한 결정에 기반하여, 제1 센서 및/또는 제2 센서에 의하여 검출된 제스쳐들이 입력으로서 사용되도록 의도된 제스쳐들인지에 대한 추론이 발생될 수 있다.
엄지손가락(914) 및 손가락(916)의 다양한 운동들이 고려된다. 예를 들어, 이전에 논의된 바와 같이, 그들은 서로에 대해 조정되어 또는 조정되지 않고 이동할 수 있다. 유사하게, 손의 제1 부분(예를 들어, 엄지손가락, 손가락)은 특정 제스쳐, 위치, 또는 제스쳐의 부재에 기반하여 모달 선택자(modal selector)의 역할을 할 수 있는 반면, 손의 제2 부분은 UI의 엘리먼트를 조작하는 것으로 생각된다.
도 10은 본 발명의 실시예들에 따른, 사용 배향(1000)의 디바이스(1001)를 도시한다. 도 10은 디스플레이(1002)를 커버하는 제1 손(1004)(예를 들어, 우측 손) 및 디바이스(1001)의 후방 상에 위치설정된 제2 손(1006)(예를 들어, 좌측 손)으로 디바이스(1001)를 조작하는 사용자를 도시한다. x-축(1010) 및 직각인 y-축(1008)이 또한 도시된다. 양의 z-축 공간은 디바이스(1001)로부터 제1 손(1004)의 손바닥 영역을 향해 바깥쪽으로 확장된다. 음의 z-축 공간은 제2 손(1006)의 손바닥 영역을 향해 디바이스(1001)로부터 뒤쪽으로 확장된다.
도 10의 배향은 디바이스(1001) 주변에서 터치하지 않고 그래스핑하는 제1 손(1004)을 도시하는 예시적인 상황이다. 예를 들어, 디바이스(1001)의 양의 z-축 공간에서 디바이스-비접촉 제스쳐를 감지하는 제1 센서는 제1 손(1004)과 디바이스(1001) 사이의 z-축 거리를 좁히는(closing) 제1 손(1004)을 포착할 수 있다. 결과적으로, 디바이스(1001)는 제1 손(1004)의 하나 이상의 부분들이 음의 z-축 공간을 통과할 것을 예상할 수 있다. 결과적으로, 음의 z-축 공간에서 제스쳐를 검출하도록 가동되는 제2 디바이스-비접촉 센서로부터의 입력은 의도된 입력으로서 추론될 수 있다. 뿐만 아니라, 양의 z-축 공간에서 검출된 입력 및 음의 z-축 공간에서 검출된 입력 모두를 이용하는 것은, 단지 양의 또는 음의 축 방향 중 하나로부터의 입력을 이용하는 것에 비해 낮은 거짓(false) 양의 입력 및 낮은 거짓 음의 입력을 제공하기 위해 함께 사용될 수 있는 것으로 생각된다.
도 11은 본 발명의 실시예들에 따른, 디바이스의 양의 z-축 공간 및 음의 z-축 공간 둘 다에서 사용자 입력을 검출하기 위한 방법(1100)을 도시하는 블록도를 예시한다. 블록(1102)에서, 제1 센서가 양의 z-축 공간에서 디바이스-비접촉 제스쳐를 감지하는데 이용된다. 예를 들어, 통합형 카메라들과 같은, 디바이스의 양의 z-축 공간에서 제스쳐를 검출할 수 있는 하나 이상의 센서들이 디바이스와 결합될 수 있는 것으로 생각된다. 제1 센서에 의한 제스쳐의 검출은 그 후 디바이스에 대한 입력으로서 해석될 수 있다. 이전에 논의된 바와 같이, 디바이스-비접촉 제스쳐는 손 제스쳐가 입력을 제공하기 위해 실제 디바이스에 접촉하지 않도록, 디바이스 너머의 공간의 체적에서 수행되는 손 제스쳐를 포함할 수 있다.
블록(1104)에서, 제2 센서는 디바이스의 음의 z-축 공간에 있는 제2 입력을 검출하는데 이용된다. 예시적인 실시예에서, 제2 입력은 디바이스-비접촉 제스쳐이다. 그러나, 제2 입력은 제1 입력이 의도된 입력임을 추론하기 위하여 디바이스에 의해 사용가능한 접촉 제스쳐일 수 있는 것으로 생각된다. 뿐만 아니라, 제1 입력 및 제2 입력은 x-축 또는 y-축(또는 양의 z-축 공간 및 음의 z-축 공간 둘 다에서의 입력을 초래하는 임의의 라인) 중심의 손의 회전과 같은 연속적 제스쳐로부터 초래되는 것으로 생각된다. 제1 입력 및 제2 입력을 생성하는 균일한 제스쳐의 다른 예는 앞서 도 6-10에 관하여 논의된 그러한 제스쳐들을 포함한다.
예시적인 실시예에서, 제1 센서는 단지 양의 z-축 공간에서 입력을 감지하는데 효율적이다. 유사하게, 예시적인 실시예에서, 제2 센서는 단지 음의 z-축 공간에서 입력을 감지하는데 효율적이다. 예를 들어, 카메라 개구가 디바이스의 전방 표면과 실질적으로 평행한 평면에 있도록 디바이스와 결합된 카메라는, 설명된 구성을 갖는 디바이스의 후면 상의 입력을 검출하지 못할 수 있다. 따라서, 제2 센서는 음의 z-축 공간에서 발생하는 제스쳐를 포착하는데 이용될 수 있다.
블록(1106)에서, UI는 양의 z-축 공간에서 제스쳐/입력을 감지/검출하는 제1 센서에 응답하여, 그리고 음의 z-축 공간에서 제스쳐/입력을 감지/검출하는 제2 센서에 응답하여 업데이트된다. 예를 들어, UI의 업데이트는 제1 입력 및/또는 제2 입력에 기반하여 하나 이상의 대상물에서의 변화를 반영하도록 UI에 의해 제시된 바와 같은 이미지를 리프레싱(refreshing)하는 것을 포함할 수 있다. UI의 업데이트는 감지될 양의 z-축으로부터의 제1 입력 및 음의 z-축으로부터의 제2 입력 둘 다가 완료되도록 요구할 수 있다.
앞서 논의된 바와 같이, 방법(1100)의 부가적인 단계들은 제3 입력을 검출하는 단계를 포함할 수 있는 것으로 생각된다. 제3 입력은 제3 센서로 검출될 수 있다. 제3 센서는 터치를 감지하도록(예를 들어, 정전식 기술 기반) 가동될 수 있다. 예를 들어, 제3 센서는 디바이스를 보유하는 제2 손을 검출할 수 있으며, 제1 및 제2 센서들은 디바이스의 양의 z-축 공간 및 음의 z-축 공간에서 발생하는 디바이스-비접촉 제스쳐들을 검출할 수 있다. 따라서, 예시적인 실시예에서, 프로세서는 제3 입력을 검출하는 제3 센서에 기반하여, 제1 입력 및 제2 입력이 의도된 입력들인 것을 결정하는데 이용된다. 또한 추가로, 멀티-터치 디스플레이와 같은 제3 센서는 다수의 입력들을 검출할 수 있는 것으로 생각된다. 따라서, 제3 센서는 다른 손에 의한 접촉과 같은 제4 입력을 검출할 수 있다. 이 예에서, 디바이스는 하나 이상의 손들에 의해 디바이스가 보유됨을 암시하는 접촉 입력들일 제3 입력 및 제4 입력을 검출할 수 있고, 제1 및 제2 입력들은 그 후 3-차원적 제스쳐로부터의 의도적 입력들로서 추론될 수 있다.
부가적인 단계들이 방법(1100)과 관련되어 수행될 수 있는 것으로 생각된다. 부가적으로, (블록들에 의해 표시되거나 도 11에 예시되지 않은) 하나 이상의 단계들이 임의의 순서 또는 시퀀스로 수행될 수 있는 것으로 생각된다.
도 12는 본 발명의 실시예들에 따른, 디바이스의 양의 z-축 공간 및 음의 z-축 공간 둘 다에서 사용자 입력을 검출하기 위한 예시적인 방법(1200)의 블록도를 예시한다. 블록(1202)은 제1 광학-기반 센서를 이용하는 디바이스의 양의 z-축 공간에서 디바이스-비접촉 사용자 제스쳐를 검출하는 단계를 도시한다. 예를 들어, 깊이 카메라와 같은 카메라는 디스플레이와 사용자 사이와 같은 디바이스의 전방에서 발생하는 사용자 손 제스쳐를 검출하도록 가동되는 것으로 생각된다.
블록(1204)에서, 제2 광학-기반 센서로 디바이스의 음의 z-축 공간에서 동일한 디바이스-비접촉 제스쳐를 검출하기 위한 단계가 도시된다. 예를 들어, 양의 z-축 공간 및 음의 z-축 공간 둘 다에서 수행되는 동일한 제스쳐는 앞서 도 6-10과 관련하여 논의된 그러한 제스쳐들(예를 들어, 핀칭, 회전) 중 임의의 제스쳐를 포함할 수 있다. 예를 들어, 제스쳐가 가상 대상물을 조작하는 것처럼 사용자의 단일의 손에 의해 수행되는 제스쳐는 양의 z-축 공간 및 음의 z-축 공간 둘 다에서 발생하는 공통 제스쳐의 예이다.
블록(1206)에서, 제1 및 제2 광학-기반 센서들로 검출된 디바이스-비접촉 제스쳐가 디바이스에 대한 제1 입력임을 결정하기 위한 단계가 도시된다. 예를 들어, 음의 z-축 공간에서의 운동들과 양의 z-축 공간에서의 운동들의 조합은 공통(그러나 여전히 잠재적으로 복합적인) 입력으로서 해석될 수 있다. 입력은 디바이스의 디스플레이 또는 심지어 외부 디스플레이(예를 들어, 텔레비전, 모니터)에 의하여 제시되는 대상물을 조작하도록 의도될 수 있다. 뿐만 아니라, 제1 제스쳐 및 제2 제스쳐의 결합이 의도된 입력일 수 있는 높은 확률을 갖는다는 결정이 수행되는 것으로 생각된다. 그러한 결정은 제3 입력 등에 더해 습득 프로세스를 통하여 이루어질 수 있다.
블록(1208)은 양의 z-축 공간에서 그리고 음의 z-축 공간에서 디바이스-비접촉 제스쳐가 제1 입력임을 결정하는 것에 응답하여, 디스플레이 상의 UI를 조정하기 위한 단계를 도시한다. 예를 들어, 디바이스는 외부 디스플레이에 의하여 디스플레이되는 하나 이상의 대상물들에 영향을 미치도록 사용자에 의해 조작되는 비디오 게임 컨트롤러일 수 있다. 제1 입력(예를 들어, 회전, 핀칭, 신장(elongating) 제스쳐)에 기반하여, UI의 대상물은 적절한 변형(예를 들어, 대상물의 회전, 대상물의 압축, 대상물의 스트레칭)을 이용하여 조작될 수 있다. 부가적인 예시적 실시예에서, 이동 통신 디바이스(예를 들어, 이동 전화)에 대한 것과 같이 UI는 디바이스 자신의 일부로서 제시되는 것으로 생각된다. 따라서, 3-차원적 디바이스-비접촉 제스쳐들을 이용한 제시된 대상물의 조작은 대상물이 입력에 응답하여 조정되도록 허용할 수 있다.
미도시된 컴포넌트들 뿐 아니라 도시된 다양한 컴포넌트들의 다수의 상이한 배열들이 본 발명의 진의 및 범위를 벗어나지 않고도 가능하다. 본 발명의 실시예들은 제한보다는 예시를 의도로 설명되었다. 발명의 범위를 벗어나지 않는 대안적인 실시예들이 본 기술분야의 당업자들에게 명백해질 것이다. 본 기술분야의 당업자는 본 발명의 범위를 벗어나지 않고 전술한 향상들을 구현하는 대안적인 수단을 개발할 수 있다.
특정 피쳐들 및 하위조합들은 실용적이며, 다른 피쳐들 및 하위조합들에 대한 참조 없이도 이용될 수 있고, 청구항의 범위 내에서 고려된다고 믿어질 것이다. 다양한 도면들에 열거된 모든 단계들이 설명된 특정 순서로 실행될 필요는 없다.

Claims (20)

  1. 프로세서 및 메모리를 이용하는 컴퓨팅 환경에서, 디바이스의 양의 z-축 공간 및 음의 z-축 공간 둘 다에서 사용자 입력을 검출하기 위한 방법에 있어서,
    제1 입력을 검출하기 위하여 상기 디바이스의 양의 z-축 공간에서 z-축에서의 제1 운동(movement)을 감지하는 상기 디바이스의 제1 센서를 이용하는 단계 ― 상기 제1 입력은 디바이스-비접촉 제스쳐(non-device-contacting gesture)이고, 상기 양의 z-축 공간은 상기 디바이스의 제1 표면 위에 x-축 및 y-축에 의해 정의된 제1 평면에 직각인 상기 z-축으로 연장되며, 상기 제1 표면은 상기 디바이스의 디스플레이를 포함함 ― ;
    제2 입력을 검출하기 위하여 상기 디바이스의 음의 z-축 공간에서 상기 z-축에서의 제2 운동을 감지하는 상기 디바이스의 제2 센서를 이용하는 단계 ― 상기 음의 z-축 공간은 상기 제1 표면 반대편의 상기 디바이스의 제2 표면 위에 상기 x-축 및 상기 y-축에 의해 정의된 제2 평면에 직각인 상기 z-축으로 연장됨 ― ; 및
    상기 z-축을 따른 상기 양의 z-축 공간에서의 상기 제1 입력 및 상기 음의 z-축 공간에서의 상기 제2 입력의 상대 위치의 결정에 응답하여, 상기 디바이스의 디스플레이 상에 제시되는 사용자 인터페이스를 업데이트하는 단계 ― 상기 제1 운동 및 제2 운동 모두는 디바이스에 접촉하지 않으며, 상기 업데이트하는 단계는 적어도 상기 양의 z-축 공간으로부터의 제1 입력 및 상기 음의 z-축 공간으로부터의 제2 입력 둘 다가 완료된 것으로 감지될 것을 요구함 ―
    를 포함하며,
    상기 제1 입력 및 상기 제2 입력은 상기 x-축 및 상기 y-축 중 적어도 하나와 평행한 축 중심의 회전 제스쳐로부터 초래되는 것인, 컴퓨팅 환경에서의 사용자 입력 검출 방법.
  2. 제1항에 있어서,
    상기 양의 z-축 공간은 상기 디바이스의 정면 평면에 위치된 z-축 원점으로부터 상기 디바이스의 사용자의 위치를 향해 연장되는 것인, 컴퓨팅 환경에서의 사용자 입력 검출 방법.
  3. 제1항에 있어서,
    상기 제2 입력은 디바이스-비접촉 제스쳐인 것인, 컴퓨팅 환경에서의 사용자 입력 검출 방법.
  4. 제1항에 있어서,
    상기 제1 센서는 상기 양의 z-축 공간에서 입력을 감지하는데만 효과가 있고, 상기 제2 센서는 상기 음의 z-축 공간에서 입력을 감지하는데만 효과가 있는 것인, 컴퓨팅 환경에서의 사용자 입력 검출 방법.
  5. 제1항에 있어서,
    상기 양의 z-축 공간 및 상기 음의 z-축 공간은 상이한 공간들인 것인, 컴퓨팅 환경에서의 사용자 입력 검출 방법.
  6. 제1항에 있어서,
    상기 제1 입력 및 상기 제2 입력은 상기 양의 z-축 공간 및 상기 음의 z-축 공간 둘 다에서 제공되는 공통 제스쳐인 것인, 컴퓨팅 환경에서의 사용자 입력 검출 방법.
  7. 제1항에 있어서,
    상기 제1 입력 및 상기 제2 입력은 상기 디바이스의 y-축과 평행한 축 중심의 회전 제스쳐로부터 초래되는 것인, 컴퓨팅 환경에서의 사용자 입력 검출 방법.
  8. 제1항에 있어서,
    상기 제1 입력 및 상기 제2 입력은 상기 디바이스의 x-축과 평행한 축 중심의 회전 제스쳐로부터 초래되는 것인, 컴퓨팅 환경에서의 사용자 입력 검출 방법.
  9. 제1항에 있어서,
    제3 입력을 감지하는 제3 센서를 이용하는 단계를 더 포함하며,
    상기 제3 입력의 감지는, 상기 제1 센서 또는 상기 제2 센서에 의해 수신된 입력들이 의도된 입력들이라는 추론을 허용하는 것인, 컴퓨팅 환경에서의 사용자 입력 검출 방법.
  10. 제9항에 있어서,
    상기 제3 센서는 터치 활성화 센서(touch-activated sensor)인 것인, 컴퓨팅 환경에서의 사용자 입력 검출 방법.
  11. 제9항에 있어서,
    상기 제3 센서는 사용자의 제1 손에 의해 활성화될 수 있는 반면, 상기 제1 센서 및 상기 제2 센서는 사용자의 제2 손을 감지할 수 있는 것인, 컴퓨팅 환경에서의 사용자 입력 검출 방법.
  12. 제9항에 있어서,
    상기 제3 센서는 제4 입력을 검출하며, 상기 제4 입력은 상기 제1 입력 및 상기 제2 입력이 의도하지 않은 입력들이라는 추론을 허용하는 것인, 컴퓨팅 환경에서의 사용자 입력 검출 방법.
  13. 디바이스의 양의 z-축 공간 및 음의 z-축 공간 둘 다에서 사용자 입력을 검출하기 위한 디바이스에 있어서,
    전면(front side) 및 반대편 후면(back side)을 갖는 디바이스 몸체 ― 상기 전면은 상기 양의 z-축 공간을 향해 배향되고, 상기 후면은 상기 음의 z-축 공간을 향해 배향됨 ― ;
    상기 디바이스의 양의 z-축 공간에서 z-축에서의 디바이스-비접촉 사용자 제스쳐(non-device-contacting user gesture)의 제1 운동을 감지하기 위한, 상기 디바이스 몸체와 결합된 제1 센서 ― 상기 양의 z-축 공간은 상기 디바이스의 제1 표면 위에 x-축 및 y-축에 의해 정의된 제1 평면에 직각인 상기 z-축으로 연장되며, 상기 제1 표면은 디스플레이를 포함함 ― ;
    상기 디바이스의 음의 z-축 공간에서 상기 z-축에서의 디바이스-비접촉 사용자 제스쳐의 제2 운동을 감지하기 위한, 상기 디바이스 몸체와 결합된 제2 센서 ― 상기 음의 z-축 공간은 상기 제1 표면 반대편의 상기 디바이스의 제2 표면 위에 상기 x-축 및 상기 y-축에 의해 정의된 제2 평면에 직각인 상기 z-축으로 연장됨 ― ; 및
    상기 디바이스의 양의 z-축 공간에서 상기 제1 운동을 감지하는 상기 제1 센서로부터의 제1 입력을 프로세싱하기 위한, 상기 디바이스의 음의 z-축 공간에서 상기 제2 운동을 감지하는 상기 제2 센서로부터의 제2 입력을 프로세싱하기 위한, 그리고 상기 z-축을 따른 상기 제1 입력 및 상기 제2 입력의 상대 위치의 결정에 기반하여 상기 디바이스-비접촉 사용자 제스쳐의 인스턴스를 식별하기 위한, 상기 디바이스 몸체와 결합된 프로세서
    를 포함하며,
    상기 제1 입력 및 상기 제2 입력은 상기 디바이스의 x-축 및 상기 디바이스의 y-축 중 적어도 하나와 평행한 축 중심의 회전 제스쳐로부터 초래되는 것인, 사용자 입력 검출 디바이스.
  14. 제13항에 있어서,
    상기 제1 센서는 카메라로 구성되는 것인, 사용자 입력 검출 디바이스.
  15. 제13항에 있어서,
    상기 제1 센서는 근접 센서(proximity sensor)로 구성되는 것인, 사용자 입력 검출 디바이스.
  16. 제13항에 있어서,
    상기 제1 센서 및 상기 제2 센서는 유사한 감지 기술을 이용하는 것인, 사용자 입력 검출 디바이스.
  17. 제13항에 있어서,
    터치 기반 사용자 입력을 감지하기 위한, 상기 디바이스 몸체에 결합된 제3 센서를 더 포함하는, 사용자 입력 검출 디바이스.
  18. 제13항에 있어서,
    상기 디스플레이는 사용자 인터페이스를 디스플레이하기 위한 디스플레이를 포함하며,
    상기 사용자 인터페이스는 상기 제1 센서 및 상기 제2 센서에 의한 상기 디바이스-비접촉 사용자 제스쳐의 감지에 응답하여 업데이트가능한 것인, 사용자 입력 검출 디바이스.
  19. 프로세서 및 메모리를 갖는 컴퓨팅 시스템에 의하여 실행될 때, 상기 컴퓨팅 시스템으로 하여금 방법을 수행하게 하는 컴퓨터-실행가능 명령어들이 내장된 컴퓨터 저장 디바이스에 있어서,
    상기 방법은,
    제1 깊이 카메라를 이용하여 상기 디바이스의 양의 z-축 공간에서 z-축에서의 제1 운동을 검출하는 단계 ― 상기 양의 z-축 공간은 상기 디바이스의 제1 표면 위에 x-축 및 y-축에 의해 정의된 제1 평면에 직각으로 연장되며, 상기 제1 표면은 디스플레이를 포함함 ― ;
    제2 깊이 카메라를 이용하여 상기 디바이스의 음의 z-축 공간에서 상기 z-축에서의 제2 운동을 검출하는 단계 ― 상기 음의 z-축 공간은 상기 제1 표면 반대편의 상기 디바이스의 제2 표면 위에 상기 x-축 및 상기 y-축에 의해 정의된 제2 평면에 직각인 상기 z-축으로 연장되며, 상기 제1 운동 및 상기 제2 운동은 상기 음의 z-축 공간에서의 제1 손가락 및 상기 양의 z-축 공간에서의 제2 손가락을 포함하는 디바이스-비접촉 그래스핑(grasping) 사용자 제스쳐의 일부임 ― ;
    프로세서를 이용하여, 상기 검출된 제1 운동 및 제2 운동을 사용하여 발생된 조정의 결정에 기반하여 상기 디바이스-비접촉 그래스핑 사용자 제스쳐의 인스턴스를 식별하는 단계; 및
    상기 디바이스-비접촉 그래스핑 사용자 제스쳐의 인스턴스의 식별에 응답하여, 상기 디스플레이 상의 사용자 인터페이스를 조정하는 단계
    를 포함하며,
    상기 제1 운동 및 상기 제2 운동은 상기 디바이스의 x-축 및 상기 디바이스의 y-축 중 적어도 하나와 평행한 축 중심의 회전 제스쳐로부터 초래되는 것인, 컴퓨터 저장 디바이스.
  20. 제19항에 있어서,
    상기 방법은 제3 입력을 감지하는 제3 센서를 이용하는 단계를 더 포함하며,
    상기 제3 입력의 감지는 상기 제1 깊이 카메라 또는 상기 제2 깊이 카메라에 의해 검출되는 운동들이 의도된 입력들이라는 추론을 허용하는 것인, 컴퓨터 저장 디바이스.
KR1020147011386A 2011-09-30 2012-09-30 전-공간적 제스쳐 입력 KR101981822B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/250,532 US9423876B2 (en) 2011-09-30 2011-09-30 Omni-spatial gesture input
US13/250,532 2011-09-30
PCT/US2012/058167 WO2013049753A1 (en) 2011-09-30 2012-09-30 Omni-spatial gesture input

Publications (2)

Publication Number Publication Date
KR20140082760A KR20140082760A (ko) 2014-07-02
KR101981822B1 true KR101981822B1 (ko) 2019-05-23

Family

ID=47644213

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147011386A KR101981822B1 (ko) 2011-09-30 2012-09-30 전-공간적 제스쳐 입력

Country Status (6)

Country Link
US (1) US9423876B2 (ko)
EP (1) EP2761402A4 (ko)
JP (1) JP6046729B2 (ko)
KR (1) KR101981822B1 (ko)
CN (1) CN102929388B (ko)
WO (1) WO2013049753A1 (ko)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2453343A3 (en) 2010-09-24 2014-11-12 BlackBerry Limited Portable electronic device and method therefor
DE112011101203T5 (de) * 2010-09-24 2013-01-17 Qnx Software Systems Ltd. Tragbare elektronische Vorrichtung und Verfahren zu deren Steuerung
CA2792243C (en) 2010-09-24 2013-11-12 Qnx Software Systems Limited Alert display on a portable electronic device
US9176608B1 (en) 2011-06-27 2015-11-03 Amazon Technologies, Inc. Camera based sensor for motion detection
US10088924B1 (en) 2011-08-04 2018-10-02 Amazon Technologies, Inc. Overcoming motion effects in gesture recognition
US20130083074A1 (en) * 2011-10-03 2013-04-04 Nokia Corporation Methods, apparatuses and computer program products utilizing hovering, in part, to determine user interface orientation
KR20130051697A (ko) * 2011-11-10 2013-05-21 삼성전자주식회사 단말의 움직임에 따라 이미지 표시를 제어하기 위한 장치 및 방법
US9223415B1 (en) * 2012-01-17 2015-12-29 Amazon Technologies, Inc. Managing resource usage for task performance
US9063574B1 (en) 2012-03-14 2015-06-23 Amazon Technologies, Inc. Motion detection systems for electronic devices
US10073541B1 (en) * 2012-06-22 2018-09-11 Amazon Technologies, Inc. Indicators for sensor occlusion
US20140043277A1 (en) * 2012-08-09 2014-02-13 Nokia Corporation Apparatus and associated methods
US20140118257A1 (en) * 2012-10-29 2014-05-01 Amazon Technologies, Inc. Gesture detection systems
WO2014073060A1 (ja) * 2012-11-07 2014-05-15 株式会社日立製作所 管理対象システムを管理するシステム及びプログラム
US9671874B2 (en) 2012-11-08 2017-06-06 Cuesta Technology Holdings, Llc Systems and methods for extensions to alternative control of touch-based devices
US9658695B2 (en) * 2012-11-08 2017-05-23 Cuesta Technology Holdings, Llc Systems and methods for alternative control of touch-based devices
US9465484B1 (en) * 2013-03-11 2016-10-11 Amazon Technologies, Inc. Forward and backward looking vision system
US9170676B2 (en) * 2013-03-15 2015-10-27 Qualcomm Incorporated Enhancing touch inputs with gestures
US9672627B1 (en) * 2013-05-09 2017-06-06 Amazon Technologies, Inc. Multiple camera based motion tracking
US9213102B2 (en) 2013-09-11 2015-12-15 Google Technology Holdings LLC Electronic device with gesture detection system and methods for using the gesture detection system
US9606506B2 (en) 2013-10-15 2017-03-28 Microsoft Technology Licensing, Llc Holographic interaction device
US10452099B2 (en) * 2014-03-26 2019-10-22 Intel Corporation Handling-noise based gesture control for electronic devices
KR102251541B1 (ko) * 2014-06-23 2021-05-14 엘지전자 주식회사 이동단말기 및 그것의 제어방법
US9840407B2 (en) * 2015-02-10 2017-12-12 Cornelius, Inc. Gesture interface for beverage dispenser
US9959658B2 (en) * 2015-02-26 2018-05-01 Rovi Guides, Inc. Methods and systems for generating holographic animations
KR102422181B1 (ko) 2015-06-02 2022-07-18 삼성전자주식회사 전자 장치의 디스플레이 제어 방법 및 그 전자 장치
CN105573749A (zh) * 2015-12-13 2016-05-11 上海斐讯数据通信技术有限公司 输入界面的显示方法及装置
WO2018068207A1 (zh) * 2016-10-11 2018-04-19 华为技术有限公司 识别操作的方法、装置及移动终端
CN106569716B (zh) * 2016-10-25 2020-07-24 深圳奥比中光科技有限公司 单手操控方法及操控系统
CN108475064B (zh) * 2017-05-16 2021-11-05 深圳市大疆创新科技有限公司 用于设备控制的方法、设备和计算机可读存储介质
JP2019219904A (ja) * 2018-06-20 2019-12-26 ソニー株式会社 プログラム、認識装置、及び、認識方法
CN110045819B (zh) * 2019-03-01 2021-07-09 华为技术有限公司 一种手势处理方法及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
WO2010064094A1 (en) * 2008-12-01 2010-06-10 Sony Ericsson Mobile Communications Ab Portable electronic device with split vision content sharing control and method
US20110199387A1 (en) * 2009-11-24 2011-08-18 John David Newton Activating Features on an Imaging Device Based on Manipulations
JP2011164676A (ja) * 2010-02-04 2011-08-25 Ntt Docomo Inc 表示装置及びプログラム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7091926B2 (en) 2002-02-08 2006-08-15 Kulas Charles J Computer display system using multiple screens
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
JP3933107B2 (ja) * 2003-07-31 2007-06-20 日産自動車株式会社 車輌用入力装置
CA2547902A1 (en) 2003-12-19 2005-07-21 Speechgear, Inc. Display of visual data as a function of position of display device
US7561146B1 (en) * 2004-08-25 2009-07-14 Apple Inc. Method and apparatus to reject accidental contact on a touchpad
US20060227129A1 (en) 2005-03-30 2006-10-12 Cheng Peng Mobile communication terminal and method
US20060277271A1 (en) 2005-06-07 2006-12-07 Yahoo! Inc. Prefetching content based on a mobile user profile
US7725547B2 (en) 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
US7877707B2 (en) 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
US8432372B2 (en) 2007-11-30 2013-04-30 Microsoft Corporation User input using proximity sensing
US20090256809A1 (en) * 2008-04-14 2009-10-15 Sony Ericsson Mobile Communications Ab Three-dimensional touch interface
US8269842B2 (en) 2008-06-11 2012-09-18 Nokia Corporation Camera gestures for user interface control
US8130207B2 (en) 2008-06-18 2012-03-06 Nokia Corporation Apparatus, method and computer program product for manipulating a device using dual side input devices
US9459784B2 (en) * 2008-07-25 2016-10-04 Microsoft Technology Licensing, Llc Touch interaction with a curved display
DE102008048825A1 (de) 2008-09-22 2010-03-25 Volkswagen Ag Anzeige- und Bediensystem in einem Kraftfahrzeug mit nutzerbeeinflussbarer Darstellung von Anzeigeobjekten sowie Verfahren zum Betreiben eines solchen Anzeige- und Bediensystems
KR20100041006A (ko) * 2008-10-13 2010-04-22 엘지전자 주식회사 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법
US20100109577A1 (en) 2008-11-05 2010-05-06 Loughrey James F Cascading addressable mastering protocol-based lighting system
JP2010146506A (ja) * 2008-12-22 2010-07-01 Sharp Corp 入力装置、入力装置の制御方法、入力装置の制御プログラム、コンピュータ読取可能な記録媒体、および情報端末装置
KR101544364B1 (ko) * 2009-01-23 2015-08-17 삼성전자주식회사 듀얼 터치 스크린을 구비한 휴대 단말기 및 그 컨텐츠 제어방법
US8704767B2 (en) 2009-01-29 2014-04-22 Microsoft Corporation Environmental gesture recognition
US20100277420A1 (en) * 2009-04-30 2010-11-04 Motorola, Inc. Hand Held Electronic Device and Method of Performing a Dual Sided Gesture
US8269175B2 (en) 2009-05-22 2012-09-18 Motorola Mobility Llc Electronic device with sensing assembly and method for detecting gestures of geometric shapes
US20110069021A1 (en) * 2009-06-12 2011-03-24 Hill Jared C Reducing false touchpad data by ignoring input when area gesture does not behave as predicted
KR101107422B1 (ko) * 2009-12-22 2012-01-19 성균관대학교산학협력단 전면부 및 후면부에 터치스크린 패널이 구비된 휴대형 정보단말기
US8232990B2 (en) * 2010-01-05 2012-07-31 Apple Inc. Working with 3D objects
CN102200830A (zh) 2010-03-25 2011-09-28 夏普株式会社 基于静态手势识别的非接触控制系统和控制方法
US20120242793A1 (en) * 2011-03-21 2012-09-27 Soungmin Im Display device and method of controlling the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
WO2010064094A1 (en) * 2008-12-01 2010-06-10 Sony Ericsson Mobile Communications Ab Portable electronic device with split vision content sharing control and method
US20110199387A1 (en) * 2009-11-24 2011-08-18 John David Newton Activating Features on an Imaging Device Based on Manipulations
JP2011164676A (ja) * 2010-02-04 2011-08-25 Ntt Docomo Inc 表示装置及びプログラム

Also Published As

Publication number Publication date
CN102929388B (zh) 2017-12-26
CN102929388A (zh) 2013-02-13
JP6046729B2 (ja) 2016-12-21
EP2761402A4 (en) 2015-06-24
US20130082978A1 (en) 2013-04-04
WO2013049753A1 (en) 2013-04-04
EP2761402A1 (en) 2014-08-06
US9423876B2 (en) 2016-08-23
JP2014531688A (ja) 2014-11-27
KR20140082760A (ko) 2014-07-02

Similar Documents

Publication Publication Date Title
KR101981822B1 (ko) 전-공간적 제스쳐 입력
US20230325004A1 (en) Method of interacting with objects in an environment
US10359863B2 (en) Dragging virtual elements of an augmented and/or virtual reality environment
US20100053151A1 (en) In-line mediation for manipulating three-dimensional content on a display device
CN110633008B (zh) 用户交互解释器
US20140375587A1 (en) Method of controlling virtual object or view point on two dimensional interactive display
US11714540B2 (en) Remote touch detection enabled by peripheral device
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
US11803233B2 (en) IMU for touch detection
US10649616B2 (en) Volumetric multi-selection interface for selecting multiple objects in 3D space
US20230092282A1 (en) Methods for moving objects in a three-dimensional environment
US9471154B1 (en) Determining which hand is holding a device
US11620790B2 (en) Generating a 3D model of a fingertip for visual touch detection
US9898183B1 (en) Motions for object rendering and selection
US11782548B1 (en) Speed adapted touch detection
US11281337B1 (en) Mirror accessory for camera based touch detection
JP5422694B2 (ja) 情報処理装置、コマンド実行制御方法及びコマンド実行制御プログラム
US11641460B1 (en) Generating a volumetric representation of a capture region
US20210096652A1 (en) Finger Orientation Touch Detection
WO2022146938A1 (en) Method of manipulating user interfaces in an environment

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right