KR101861395B1 - 컴퓨팅 디바이스의 의도적 이동을 수반하는 제스처를 검출하는 방법 - Google Patents

Abstract

컴퓨팅 디바이스의 배향을 설정함으로써 그리고/또는 컴퓨팅 디바이스를 동적으로 이동함으로써 또는 양자 모두에 의해 컴퓨팅 디바이스의 의도적 이동을 수반하는 제스처를 수용하는 컴퓨팅 디바이스가 본 명세서에 설명된다. 제스처는 또한 컴퓨팅 디바이스의 디스플레이 표면(또는 다른 부분)과의 접촉을 수반할 수 있다. 예를 들어, 사용자는 터치 입력 메커니즘 및/또는 펜 입력 메커니즘을 경유하여 디스플레이 표면과의 접촉을 설정할 수 있고, 이어서 지정된 방식으로 컴퓨팅 디바이스를 이동시킬 수 있다.

Description

컴퓨팅 디바이스의 의도적 이동을 수반하는 제스처를 검출하는 방법{DETECTING GESTURES INVOLVING INTENTIONAL MOVEMENT OF A COMPUTING DEVICE}

휴대용 컴퓨팅 디바이스는 종종 디바이스의 디스플레이 표면과 직접 접촉함으로써 사용자가 정보를 입력하게 한다. 이들 유형의 입력 메커니즘은 본 명세서에서 접촉식 입력 메커니즘이라 칭한다. 예를 들어, 사용자가 손가락(또는 다수의 손가락)으로 컴퓨팅 디바이스의 디스플레이 표면을 터치할 때 터치 입력 메커니즘이 직접 터치 입력 이벤트를 제공한다. 사용자가 또한 스타일러스로서 공지된 펜 디바이스로 디스플레이 표면을 터치할 때 펜 입력 메커니즘이 직접 펜 입력 이벤트를 제공한다.

컴퓨팅 디바이스는 또한 사용자가 하나 이상의 손가락 또는 펜 디바이스를 사용하여 제스처를 수행하게 한다. 예를 들어, 제스처는 사용자가 손가락 또는 펜 입력 디바이스로 디스플레이 표면 상에 자취를 남기는 텔테일 마크(telltale mark)에 대응할 수 있다. 컴퓨팅 디바이스는 이 제스처를 연관된 명령과 상관시킨다. 컴퓨팅 디바이스는 이어서 그 명령을 실행한다. 이러한 실행은 사용자의 입력 동작의 도중에(직접 조작 드래그 동작에서와 같이) 또는 사용자가 입력 동작을 완료한 후에 발생할 수 있다.

일반적으로, 개발자는 풍부한 입력 제스처의 세트를 수용하는 표현적 접촉식 입력 메커니즘을 제공하기를 원할 수도 있다. 그러나, 제스처의 수의 증가는 다수의 과제를 도입할 수 있다. 예를 들어, 컴퓨팅 디바이스가 그럼에도 불구하고 유사한 2개 이상의 사전 규정된 의도적 제스처를 수용하는 것을 가정한다. 이 경우에, 사용자는 특정 제스처를 입력하려고 의도할 수 있지만, 컴퓨팅 디바이스는 다르지만 유사한 제스처로서 이 제스처를 잘못 해석할 수도 있다. 다른 경우에, 사용자는 접촉식 입력 메커니즘과의 의도된 상호 작용을 수반하지 않는 컴퓨팅 디바이스를 사용하여 작업을 수행하려고 추구할 수도 있다. 또한 사용자는 접촉식 입력 메커니즘과의 비의도적인 접촉을 유발하는 방식으로 컴퓨팅 디바이스를 취급할 수 있다. 또는, 사용자는 정보를 입력하면서 접촉식 입력 메커니즘의 디스플레이 표면에 대해 우발적으로 스치거나 부딪칠 수 있는데, 이는 접촉식 입력 메커니즘과의 우발적인 접촉을 유발한다. 접촉식 입력 메커니즘은 이들 우발적인 접촉을 정당한 입력 이벤트로 잘못 해석할 수도 있다. 이들 문제점은 이들이 빈번하게 발생하거나 심지어 드물더라도 이들이 사용자가 수행하는 작업에 상당한 혼란을 야기하면 당연히 사용자를 짜증나게 할 수 있다.

개발자는 합성 특유한 제스처(compound idiosyncratic gestures)를 개발함으로써 이들 문제점의 일부를 처리할 수 있다. 그러나, 사용자는 특히 이들 제스처가 복잡하고 "부자연스러울 때" 이들 제스처를 기억하고 실행하는데 어려움을 가질 수 있기 때문에, 완전히 만족스러운 해결책이 아니다. 더욱이, 복잡한 제스처는 종종 사용자가 명료하게 표현하는데 시간이 오래 걸린다. 이 이유로, 이들 유형의 제스처를 가능한 제스처의 세트에 추가하는 것은 수확 체감(diminishing returns)을 야기한다.

터치 입력 메커니즘 및/또는 펜 입력 메커니즘과 같은 하나 이상의 접촉식 입력 메커니즘으로부터 하나 이상의 접촉 입력 이벤트를 수신하는 컴퓨팅 디바이스가 설명된다. 컴퓨팅 디바이스는 또한 가속도계 및/또는 자이로 디바이스와 같은 하나 이상의 이동식 입력 메커니즘으로부터 하나 이상의 이동 입력 이벤트를 수신한다. 이동식 입력 메커니즘은 접촉식 입력 메커니즘의 동작 중에 컴퓨팅 디바이스의 배향 또는 동적 모션(또는 양자 모두)을 지시한다. (더 구체적으로, 본 명세서에 사용될 때, 용어 이동은 컴퓨팅 디바이스의 배향 또는 컴퓨팅 디바이스의 모션 또는 양자 모두를 넓게 포함한다.) 이들 입력 이벤트에 기초하여, 컴퓨팅 디바이스는 제스처의 의도적인 일체형 부분으로서 컴퓨팅 디바이스의 이동을 포함하는 제스처를 인식할 수 있다.

상세한 설명은 의도적 이동을 수반하는 제스처의 수많은 예를 설명한다. 몇몇 경우에, 사용자는 또한 소정의 유형의 지정된 이동을 인가하면서 디스플레이 표면 상에 제시된 객체에 접촉을 인가할 수 있다. 컴퓨팅 디바이스는 이어서 지정된 객체에 지정된 거동을 인가할 수 있다. 다른 경우에, 사용자는 임의의 방식으로 이동과 접촉을 인터리빙할 수 있다. 다수의 경우에, 거동은 컴퓨팅 디바이스에 의해 제시된 콘텐츠의 시각적 조작을 생성할 수 있다. 상세한 설명에 설명된 예의 일부는 이하에 요약된다.

일 예에 따르면, 사용자는 초기 시작점으로부터 지정된 배향으로 컴퓨팅 디바이스를 회전시킬 수 있다. 회전 정도는 거동이 수행되는 방식을 설명한다. 일 경우에, 거동은 주밍(zooming) 동작 또는 스크롤 동작을 포함할 수 있다.

다른 예에 따르면, 사용자는 디스플레이 표면 상에 제시된 객체 상에 접촉을 유지하면서 상향 방향 및/또는 하향 방향 및/또는 임의의 다른 방향으로 컴퓨팅 디바이스를 플립할 수 있다. 컴퓨팅 디바이스는 하나 이상의 페이지와 같은 디스플레이 표면 상의 객체를 플립하거나 다른 방식으로 이동시키는 명령으로서 이 제스처를 해석할 수 있다.

다른 예에 따르면, 사용자는 접촉점에서 디스플레이 표면과 접촉을 설정하고, 이어서 대략 90도만큼 또는 소정의 다른 양만큼 컴퓨팅 디바이스를 회전시킬 수 있다. 컴퓨팅 디바이스는 디스플레이 표면 상에 제시된 정보의 회전을 방지하는 잠금을 설정하거나 해제하기 위한 명령으로서 이 제스처를 해석할 수 있다.

다른 예에 따르면, 사용자는 디스플레이 표면 상에 지시된 객체를 선택하면서 타겟 엔티티를 향해 컴퓨팅 디바이스를 포인팅할 수 있다. 컴퓨팅 디바이스는 타겟 엔티티에 관한 객체 상에 소정의 동작을 수행하기 위한 요구로서 이 제스처를 해석할 수 있다.

컴퓨팅 디바이스의 의도적 이동을 포함하는 또 다른 제스처가 가능하다. 이들 제스처는 사용자가 이들 동작을 특정 목표를 마음에 두고 고의적으로 의식적으로 수행하기 때문에 전경 제스처라 칭한다. 이 유형의 이동은 배경 이동과 대조되어야 한다. 배경 이동은 제스처를 수행하거나 임의의 다른 유형의 입력을 제공하는데 있어서 사용자의 지향된 목표에 부수적인 이동이라 칭한다. 따라서, 사용자는 배경 이동을 인식하지 않을 수도 있다.

상기 기능성은 다양한 유형의 시스템, 구성 요소, 방법, 컴퓨터 판독 가능 매체, 데이터 구조, 제조 물품 등에서 명백해질 수 있다.

이 요약 설명은 간단화된 형태의 개념의 선택을 소개하도록 제공되고, 이들 개념은 상세한 설명에서 이하에 더 설명된다. 이 요약 설명은 청구된 요지의 주요 특징 또는 본질적 특징을 식별하도록 의도된 것은 아니고, 또한 청구된 요지의 범주를 한정하도록 사용되도록 의도된 것도 아니다.

도 1은 이동 입력 이벤트의 환경에서 접촉 입력 이벤트를 해석하기 위한 그리고/또는 접촉 입력 이벤트의 환경에서 이동 입력 이벤트를 해석하기 위한 기능성을 포함하는 예시적인 컴퓨팅 디바이스를 도시하는 도면.
도 2는 도 1의 컴퓨팅 디바이스에 사용된 해석 및 거동 선택 모듈(IBSM)을 도시하는 도면.
도 3은 도 1의 컴퓨팅 디바이스가 사용될 수 있는 예시적인 시스템을 도시하는 도면.
도 4 및 도 5는 의도적 제스처에 사용될 수 있는 회전 이동의 예를 도시하는 도면.
도 6 내지 도 9는 도 4 또는 도 5에 도시된 회전 이동의 유형을 구체화할 수 있는 상이한 제스처를 도시하는 도면.
도 10은 타겟 엔티티를 향해 컴퓨팅 디바이스를 지시하는 것을 수반하는 의도적 제스처를 도시하는 도면.
도 11은 고정 손가락에 대해 컴퓨팅 디바이스를 이동시키는 것을 수반하는 의도적 제스처를 도시하는 도면.
도 12는 적어도 2개의 디스플레이 부분을 갖는 컴퓨팅 디바이스의 2개의 디스플레이 부분에 터치를 인가하는 것을 수반하는 의도적 제스처를 도시하는 도면.
도 13은 특유한 멀티-터치 제스처의 인가에 의해 가능화되는 의도적 제스처를 도시하는 도면.
도 14는 컴퓨팅 디바이스에 접촉점을 인가하고 이어서 컴퓨팅 디바이스를 회전하는 것을 수반하는 의도적 제스처를 도시하는 도면.
도 15는 예를 들어 컴퓨팅 디바이스의 디스플레이 표면으로부터 손가락(또는 다른 손 부분)의 인가 또는 제거시에 접촉 입력 이벤트의 해석을 향상시키기 위해 이동 입력 이벤트를 사용하기 위한 기능성을 도시하는 도면.
도 16은 통상적으로 대형 이동 입력 이벤트를 야기하는 배경 이동을 도시하는 도면.
도 17 및 도 18은 컴퓨팅 디바이스가 컴퓨팅 디바이스의 배향에 기초하여 터치 입력 이벤트를 무시할 수 있는 상황을 도시하는 도면.
도 19는 전경 동작 모드에서 도 1의 컴퓨팅 디바이스의 동작의 일 방식을 설명하는 흐름도.
도 20은 배경 동작 모드에서 도 1의 컴퓨팅 디바이스의 동작의 일 방식을 설명하는 흐름도.
도 21은 상기 도면들에 도시된 특징의 임의의 양태를 구현하는데 사용될 수 있는 예시적인 프로세싱 기능성을 도시하는 도면.

동일한 도면 부호가 유사한 구성 요소 및 특징을 나타내도록 명세서 및 도면 전체에 걸쳐 사용된다. 100번대 도면 부호는 도 1에서 최초 나타난 특징을 칭하고, 200번대 도면 부호는 도 2에서 최초 나타난 특징을 칭하고, 300번대 도면 부호는 도 3에서 최초 나타난 특징을 칭하는 등이다.

본 명세서는 이하와 같이 편성된다. 섹션 A는 컴퓨팅 디바이스의 의도적 이동을 수반하는 제스처를 수용하는 예시적인 컴퓨팅 디바이스를 설명한다. 섹션 B는 섹션 A의 컴퓨팅 디바이스의 동작을 설명하는 예시적인 방법을 설명한다. 섹션 C는 섹션 A 및 B에 설명된 특징의 임의의 양태를 구현하는데 사용될 수 있는 예시적인 프로세싱 기능성을 설명한다.

본 출원은 본 출원과 동일자로 출원된 발명자가 케네스 힝클리(Kenneth Hinckley)인 발명의 명칭이 "컴퓨팅 디바이스와 상호 작용할 때 생성된 입력 이벤트의 해석을 향상시키기 위한 컴퓨팅 디바이스의 이동 사용(Using Movement of a Computing Device to Enhance Interpretation of Input Events Produced when Interacting with the Computing Device)"인 공동 양도된 특허 출원(대리인 문서 번호 No. 330015.01)에 관련된다. 이 출원은 본 명세서에 그대로 참조로서 포함되어 있다.

예비 자료로서, 도면의 일부는 다양하게는 기능성, 모듈, 특징, 요소 등이라 칭하는 하나 이상의 구조적 구성 요소의 환경에서 개념을 설명한다. 도면에 도시된 다양한 구성 요소는 임의의 물리적 및 탠저블 메커니즘에 의해(예를 들어, 하드웨어, 소프트웨어, 펌웨어 등 또는 이들의 임의의 조합에 의해) 임의의 방식으로 구현될 수 있다. 일 경우에, 개별 유닛으로의 도면의 다양한 구성 요소의 도시된 분리는 실제 구현예에서 대응 개별 구성 요소의 사용을 반영할 수 있다. 대안적으로 또는 게다가, 도면에 도시된 임의의 단일 구성 요소는 복수의 실제 구성 요소에 의해 구현될 수도 있다. 대안적으로 또는 게다가, 도면의 임의의 2개 이상의 개별 구성 요소의 도시는 단일의 실제 구성 요소에 의해 수행된 상이한 기능을 반영할 수 있다. 이어서 설명될 도 21은 도면에 도시된 기능의 일 예시적인 구현예에 관한 부가의 상세를 제공한다.

다른 도면은 흐름도 형태로 개념을 설명한다. 이 형태에서, 특정 동작은 특정 순서로 수행되는 개별 블록을 구성하는 것으로서 설명된다. 이러한 구현예는 예시적이고 비한정적인 것이다. 본 명세서에 설명된 특정 블록은 함께 그룹화되어 단일 동작으로 수행될 수 있고, 특정 블록은 복수의 성분 블록으로 분할될 수 있고, 특정 블록은 본 명세서에 도시되어 있는 것과 상이한 순서로(블록을 수행하는 병렬 방식을 포함함) 수행될 수 있다. 흐름도에 도시된 블록은 임의의 물리적 및 탠저블 메커니즘에 의해(예를 들어, 하드웨어, 소프트웨어, 펌웨어 등 또는 이들의 임의의 조합에 의해) 임의의 방식으로 구현될 수 있다.

용어와 관련하여, 구문 "~하도록 구성된"은 임의의 종류의 물리적 및 탠저블 기능성이 식별된 동작을 수행하도록 구성될 수 있는 임의의 방식을 포함한다. 기능성은 예를 들어 소프트웨어, 하드웨어, 펌웨어 등 및/또는 이들의 임의의 조합을 사용하여 동작을 수행하도록 구성될 수 있다.

용어 "로직"은 작업을 수행하기 위한 임의의 물리적 및 탠저블 기능성을 포함한다. 예를 들어, 흐름도에 도시된 각각의 동작은 그 동작을 수행하기 위한 로직 구성 요소에 대응한다. 동작은 예를 들어 소프트웨어, 하드웨어, 펌웨어 등 및/또는 이들의 임의의 조합을 사용하여 수행될 수 있다. 컴퓨팅 시스템에 의해 구현될 때, 로직 구성 요소는 컴퓨팅 시스템의 물리적 부분이지만 구현되는 전기적 구성 요소를 표현한다.

이하의 설명은 "선택적"인 것으로서 하나 이상의 특징을 식별할 수 있다. 이 유형의 진술은 선택적인 것으로 고려될 수 있는 특징의 철저한 지시로서 해석되어서는 안되는데, 즉 다른 특징이 선택적인 것으로서 고려될 수 있지만 본문에는 명확하게 식별되지 않는다. 유사하게, 설명은 특징의 단일의 인스턴스 또는 특징의 복수의 인스턴스를 식별할 수도 있다. 특징의 단일의 인스턴스의 언급은 이 특징의 복수의 인스턴스를 배제하는 것은 아니고, 또한 복수의 인스턴스의 언급은 이 특징의 단일의 인스턴스를 배제하는 것은 아니다. 마지막으로, 용어 "예시" 또는 "예시적인"은 잠재적으로 다수의 구현예 중의 일 구현예를 칭한다.

A. 예시적인 컴퓨팅 디바이스

A.1. 개요

도 1은 접촉 입력 이벤트를 분석할 때 컴퓨팅 디바이스(100)의 이동을 고려하는 컴퓨팅 디바이스(100)의 예를 도시한다. 컴퓨팅 디바이스(100)는 선택적으로 다양한 입력 메커니즘(104)과 함께 디스플레이 메커니즘(102)을 포함한다. 포함되면, 디스플레이 메커니즘(102)은 디스플레이 표면 상에 디지털 정보의 시각적 렌더링을 제공한다. 디스플레이 메커니즘(102)은 액정 디스플레이 등과 같은 임의의 유형의 디스플레이에 의해 구현될 수 있다. 도시되지는 않았지만, 컴퓨팅 디바이스(100)는 오디오 출력 메커니즘, 햅틱(예를 들어, 진동) 출력 메커니즘 등을 또한 포함할 수 있다.

입력 메커니즘(104)은 터치 입력 메커니즘(들)(106) 및 펜 입력 메커니즘(들)(108)을 포함할 수 있다. 터치 입력 메커니즘(들)(106)은 저항성 터치 스크린 기술, 용량성 터치 스크린 기술, 음향 터치 스크린 기술, 양방향성 터치 스크린 기술 등과 같은 임의의 기술을 사용하여 구현될 수 있다. 양방향성 터치 스크린 기술에서, 디스플레이 메커니즘은 정보를 표시하는데 전용되는 요소 및 정보를 수신하는데 전용되는 요소를 제공한다. 따라서, 양방향성 디스플레이 메커니즘의 표면은 또한 캡처 메커니즘이다. 터치 입력 메커니즘(들)(106) 및 펜 입력 메커니즘(들)(108)은 또한 디스플레이 메커니즘(102)으로부터 분리된(또는 적어도 부분적으로 분리된) 패드형 입력 메커니즘을 사용하여 구현될 수 있다. 패드형 입력 메커니즘은 또한 태블릿, 디지타이저, 그래픽 패드 등이라 칭한다.

펜 입력 메커니즘(들)(108)은 수동 펜 기술, 능동 펜 기술 등과 같은 임의의 기술을 사용하여 구현될 수 있다. 수동 경우에, 컴퓨팅 디바이스(100)는 디스플레이 표면에 터치할 때(또는 근접할 때) 펜 디바이스의 존재를 검출한다. 이 경우에, 펜 디바이스는 어떠한 독립적 전원 및 어떠한 프로세싱 기능도 갖지 않는 세장형 구현예(elongate implement)를 간단히 표현할 수 있고 또는 디스플레이 메커니즘(102)과 유도 결합에 의해 수동으로 전력 공급될 수도 있다. 능동 경우에, 펜 디바이스는 디스플레이 표면에 대한 그 위치를 감지하기 위해 독립적 검출 기능성을 구비할 수 있다. 또한, 능동 펜 디바이스는 독립적 이동 감지 메커니즘을 포함할 수 있다. 또한, 능동 펜 디바이스는 독립적 깊이 감지 메커니즘을 포함할 수 있다. 이들 예에서, 능동 펜 디바이스는 분석을 위해 컴퓨팅 디바이스(100)에 그 입력 데이터를 포워딩할 수 있다. 이하의 설명에서, 펜 디바이스에 관한 입력 데이터는 컴퓨팅 디바이스(100), 펜 디바이스 자체 또는 이들의 조합으로부터 기원할 수 있다는 것이 이해되어야 한다.

본 명세서에 사용된 용어에서, 접촉식 입력 메커니즘은 사용자가 디스플레이 메커니즘(102)의 디스플레이 표면 또는 컴퓨팅 디바이스(102)의 다른 부분과 실제 또는 밀접한 접촉을 설정하는 임의의 유형의 입력 메커니즘을 설명한다. 접촉식 입력 메커니즘은 전술된 터치 입력 메커니즘(들)(106) 및 펜 입력 메커니즘(들)(108)을 포함한다. 또한, 컴퓨팅 디바이스(100)와의 임의의 접촉은 개별 접촉의 하나 이상의 인스턴스를 포함할 수 있다. 예를 들어, 사용자는 하나 이상의 손가락을 디스플레이 표면에 근접하거나 실제 접촉하게 배치함으로써 디스플레이 표면과 접촉을 행할 수 있다.

입력 메커니즘(104)은 다양한 유형의 이동식 입력 메커니즘(들)(110)을 또한 포함한다. 용어 이동식 입력 메커니즘은 컴퓨팅 디바이스(100)의 배향 또는 모션 또는 양자 모두를 측정하는 임의의 유형의 입력 메커니즘을 설명한다. 이동식 입력 메커니즘(들)(110)은 선형 가속도계, 자이로스코픽 센서(본 명세서에 사용된 용어 따르면 "자이로 디바이스"), 다양한 모션 주파수 대역폭으로 조정된 진동 센서, 중력에 대한 컴퓨팅 디바이스(100) 또는 컴퓨팅 디바이스(100)의 부분의 특정 제스처 또는 이동을 검출하기 위한 기계적 수단, 토크 센서, 스트레인 게이지, 플렉스 센서, 광학 인코더 메커니즘 등을 사용하여 구현될 수 있다. 더욱이, 임의의 이동식 입력 메커니즘은 임의의 수의 공간축을 따른 이동을 감지할 수 있다. 예를 들어, 컴퓨팅 디바이스(100)는 3개의 공간축을 따른 이동을 측정하는 가속도계 및/또는 자이로 디바이스를 구비할 수 있다.

입력 메커니즘(104)은 비디오 캡처 입력 메커니즘, 깊이 감지 입력 메커니즘, 입체 이미지 캡처 메커니즘 등과 같은 임의의 유형의 이미지 감지 입력 메커니즘(들)(112)을 또한 포함할 수 있다. 깊이 감지 입력 메커니즘은 컴퓨팅 디바이스(100)의 몇몇 부분으로부터 객체의 거리를 측정한다. 예를 들어, 일 경우에, 깊이 감지 입력 메커니즘은 컴퓨팅 디바이스(100)의 디스플레이 표면으로부터 객체의 거리를 측정한다. 깊이 감지 입력 메커니즘은 임의의 유형의 전자기 방사선(예를 들어, 가시 스펙트럼 방사선, 적외선 스펙트럼 방사선 등)과 함께 임의의 유형의 캡처 기술(예를 들어, 비행 시간 기술)을 사용하여 구현될 수 있다. 이미지 감지 입력 메커니즘(들)(112)의 몇몇은 또한 이들이 주위 환경에 대한 컴퓨팅 디바이스(100)의 이동을 결정하는데 사용될 수 있는 한, 이동식 입력 메커니즘으로서 기능할 수 있다. 대안적으로 또는 게다가, 이미지 감지 입력 메커니즘(들)(112)의 몇몇은 이동식 입력 메커니즘(들)(110)과 함께 사용되어, 예를 들어 이동식 입력 메커니즘(들)(110)의 성능 및/또는 정확성을 향상시킬 수 있다. 도 1에는 구체적으로 열거되지 않았지만, 다른 입력 메커니즘은 키패드 입력 메커니즘, 마우스 입력 메커니즘, 음성 입력 메커니즘 등을 포함할 수 있다.

본 명세서에 사용된 용어에서, 각각의 입력 메커니즘은 호출될 때 입력 이벤트를 생성하는 것으로 일컬어진다. 예를 들어, 사용자가 디스플레이 메커니즘(102)의 디스플레이 표면[또는 컴퓨팅 디바이스(100)의 다른 부분]을 터치할 때, 터치 입력 메커니즘(들)(106)은 터치 입력 이벤트를 생성한다. 사용자가 펜 디바이스를 디스플레이 표면에 인가할 때, 펜 입력 메커니즘(들)(108)은 펜 입력 이벤트를 생성한다. 더 일반적으로 말하면, 접촉식 입력 메커니즘은 컴퓨팅 디바이스와 몇몇 객체의 근접 또는 실제 물리적 접촉을 지시하는 접촉 입력 이벤트를 생성한다. 반대로, 이동식 입력 메커니즘은 이동 입력 이벤트를 생성한다고 일컬어진다. 임의의 입력 이벤트는 자체로 하나 이상의 입력 이벤트 성분을 포함한다. 용이하고 간략한 참조를 위해, 이하의 설명은 가장 종종 예를 들어 "입력 이벤트들"로서 복수의 입력 메커니즘의 출력을 설명한다. 그러나, 다양한 분석들이 또한 단일 입력 이벤트에 기초하여 수행될 수 있다.

도 1은 디스플레이 메커니즘(102)을 부분적으로 중첩하는 것으로서 입력 메커니즘(104)을 도시한다. 이는 입력 메커니즘(104)의 적어도 일부가 디스플레이 메커니즘(102)과 연관된 기능성과 통합될 수 있기 때문이다. 이는 터치 입력 메커니즘(들)(106) 및 펜 입력 메커니즘(들)(108)과 같은 접촉식 입력 메커니즘에 대해 해당한다. 예를 들어, 터치 입력 메커니즘(들)(106)은 부분적으로 디스플레이 메커니즘(102)에 의해 제공된 기능성에 의존한다.

해석 및 거동 선택 모듈(IBSM)(114)이 입력 메커니즘(104)으로부터 입력 이벤트를 수신한다. 즉, 이는 입력 동작의 경과에 걸쳐 입력 이벤트를 수집하고, 여기서 그 입력 동작은 고의적이거나 비의도적이고 또는 양자 모두이다. 명칭에서 알 수 있는 바와 같이, IBSM(114)은 입력 이벤트를 해석하는 작업을 수행한다. 이와 같이 할 때, IBSM은 선택적으로 다른 팩터와 함께 이동 입력 이벤트의 환경에서 접촉 입력 이벤트를 해석한다(그 반대도 마찬가지임). 그 해석 역할을 수행한 후에, IBSM(114)은 해석된 입력 이벤트 중 0개, 1개 또는 그 이상과 연관된 거동을 수행할 수 있다.

고레벨 관점으로부터, IBSM(114)은 입력 동작 중에 발생하는 이동의 성질에 따라 2개의 역할을 수행한다. 제 1 역할에서, IBSM(114)은 사용자가 의도적 제스처의 부분으로서 컴퓨팅 디바이스(100)를 고의적으로 이동하였는지 여부를 판정하기 위해 접촉 입력 이벤트 및 이동 입력 이벤트의 모두를 분석한다. 만일 그러하면, IBSM(114)은 제스처를 인식하고 제스처에 맵핑되는 모든 거동을 실행한다. 이와 관련하여, 발생하는 이동은 사용자가 이 동작을 의도적으로 수행하기 때문에 전경 이동이고, 이는 사용자의 인식의 초점의 전경에 있다.

더 구체적으로, 제 1 경우에, IBSM(114)은 제스처의 완료시에 거동을 실행한다. 제 2 경우에, IBSM(114)은 제스처의 경과에 걸쳐 거동을 실행한다. 임의의 경우에, IBSM(114)은 또한 동시에 및/또는 연속적으로 발생하는 2개 이상의 제스처를 해석할 수 있고, 제스처와 연관된 같은 정도의 거동을 실행할 수 있다. 임의의 경우에, IBSM(114)은 또한 발생된(또는 현재 발생하고 있는) 제스처의 유형을 계속 분석하고, 적절한 것으로 간주된 것으로서 그 제스처의 해석을 수정한다. 예는 IBSM(114)의 이들 양태를 분류하는 것으로 이어질 것이다.

제 2 역할에서, IBSM(114)은 이동 입력 이벤트와 함께 접촉 입력 이벤트를 분석하고, 여기서 이동 입력 이벤트는 컴퓨팅 디바이스(100)의 배경 이동에 귀착된다. 이동은 사용자의 인식의 배경에 있다는 개념에서 배경이다. 이동은 사용자의 임의의 목표 지향성 입력 거동(존재하면)에 부수적일 수 있다. 이 경우에, IBSM(114)은 입력 이벤트와 연관된 입력의 유형을 해석하려고 시도하여, 예를 들어 디스플레이 표면과의 접촉이 의도적인지 또는 비의도적인 여부를 판정한다. IBSM(114)은 이어서 그 분석에 응답하여 다양한 거동을 수행할 수 있다.

섹션 A.2(이하)는 전경 동작 모드에 관한 부가의 상세를 제공하고, 반면에 섹션 A.3(이하)는 배경 동작 모드에 관한 부가의 상세를 제공한다. 다수의 예가 이동 입력 이벤트와 함께 터치 입력의 사용을 설명하지만, 이 예들 중 임의의 것은 또한 이동 입력 이벤트와 함께 펜 입력(또는 임의의 다른 접촉 입력)의 사용에 적용된다.

마지막으로, 컴퓨팅 디바이스(100)는 임의의 애플리케이션 소스 또는 소스들로부터 수신된 하나 이상의 애플리케이션(116)을 실행할 수 있다. 애플리케이션(116)은 임의의 애플리케이션 도메인에서 임의의 더 고레벨 기능성을 제공할 수 있다.

일 경우에, IBSM(114)은 애플리케이션(116)에 대한 개별 구성 요소를 표현한다. 다른 경우에, IBSM(114)에 귀착된 하나 이상의 기능은 하나 이상의 애플리케이션(116)에 의해 수행될 수 있다. 예를 들어, 일 구현예에서, IBSM(114)은 수행된 제스처를 해석할 수 있고, 반면에 애플리케이션은 그 해석에 기초하여 거동을 선택하여 실행할 수 있다. 이에 따라, IBSM(114)의 개념은 특정 구현예 내에서 임의의 수의 구성 요소에 의해 수행될 수 있는 포함 기능으로서 본 명세서에 개방적으로 해석되어야 한다.

도 2는 도 1에 소개된 IBSM(114)의 다른 도면을 도시한다. 도면에 도시된 바와 같이, IBSM(114)은 다양한 입력 이벤트를 수신한다. 예를 들어, IBSM(114)은 터치 입력 이벤트, 펜 입력 이벤트, 배향 입력 이벤트, 모션 입력 이벤트, 이미지 감지 입력 이벤트 등을 수신할 수 있다. 이들 이벤트에 응답하여, IBSM(114)은 다양한 출력 거동을 제공한다. 예를 들어, IBSM(114)은 의도적 모션 기반 제스처를 검출하는 것에 응답하여 다양한 명령을 실행할 수 있다. 환경 특정 팩터에 따라, IBSM(114)은 제스처의 사용자의 수행 도중에 그리고/또는 제스처의 완료시에 이들 기능을 수행할 수 있다. IBSM(114)은 또한 가장 수행된(또는 수행되고 있는) 가능성이 높은 제스처의 그 현재 해석을 지시하기 위해 다양한 시각적, 가청, 햅틱 등 피드백 지시기를 제공할 수 있다. 대안적으로 또는 게다가, IBSM(114)은 적어도 부분적으로는 입력 동작이 비의도적이었다고 판정하면 접촉 입력 이벤트의 부분을 거절할 수 있다. 대안적으로 또는 게다가, IBSM(114)은 입력 동작의 발생에 앞선 포인트로 상태(디스플레이 상태 및/또는 애플리케이션 상태)를 복원할 수 있다. 대안적으로 또는 게다가, IBSM(114)은 IBSM(114)이 입력 동작의 적어도 일부가 비의도적이라고 판정할 때 이동 입력 이벤트의 효과를 제거하기 위해 접촉 입력 이벤트의 해석을 세밀화할 수 있다. 대안적으로 또는 게다가, IBSM(114)은 예를 들어 다른 의도적 접촉 입력 이벤트를 더 효율적으로 수신하고 비의도적 접촉 입력 이벤트의 영향을 최소화하기 위해, 입력 동작의 그 이해에 기초하여 임의의 방식으로 컴퓨팅 디바이스(100)의 구성을 조정할 수 있다. 대안적으로 또는 게다가, IBSM(114)은 예를 들어 현재의 해석이 이전의 해석과 상이할 수 있는 한, 입력 이벤트의 그 현재의 해석에 기초하여 전술된 피드백 지시기를 수정하거나 제거할 수 있다.

설명된 바와 같이 기능하기 위해, IBSM(114)은 일군의 분석 모듈을 구비할 수 있고, 여기서 상이한 제스처 및 배경 모션 시나리오의 검출은 상이한 각각의 분석 모듈에 의존할 수 있다. 임의의 분석 모듈은 패턴 정합 기술, 규칙 기반 기술, 통계 기술 등을 포함하는 입력 이벤트를 분류하기 위해 하나 이상의 기술에 의존할 수 있다. 예를 들어, 각각의 제스처 또는 배경 노이즈 시나리오는 입력 이벤트의 특정 텔테일 패턴에 의해 특징화될 수 있다. 입력 이벤트의 특정 시퀀스를 분류하기 위해, 특정 분석 모듈이 공지의 패턴의 데이터 저장부에 대해 이들 입력 이벤트를 비교할 수 있다. 제스처 또는 배경 시나리오를 구별하는 것을 도울 수 있는 대표적인 특징은 접촉이 인가되고 이어서 제거되는 방식, 접촉이 인가되는 동안 이동되는(만일 모두이면) 방식, 이동 입력 이벤트의 크기, 이동 입력 이벤트의 특정 신호 형상 및 다른 특성 등을 포함한다. 그리고, 전술된 바와 같이, 분석 모듈은 도달한 새로운 입력 이벤트에 대해 그 결론을 연속적으로 테스트할 수 있다.

도 3은 도 1의 컴퓨팅 디바이스(100)가 사용될 수 있는 예시적인 시스템(300)을 도시한다. 이 시스템(300)에서, 사용자는 입력 이벤트를 제공하고 출력 정보를 수신하기 위해 컴퓨팅 디바이스(100)와 상호 작용한다. 컴퓨팅 디바이스(100)는 임의의 유형의 휴대용 디바이스 뿐만 아니라 임의의 유형의 전통적인 고정 디바이스를 포함하는 임의의 유형의 디바이스로서 물리적으로 구현될 수 있다. 예를 들어, 컴퓨팅 디바이스(100)는 개인 휴대 정보 단말, 모바일 통신 디바이스, 패드형 디바이스, 북리더 디바이스, 휴대용 게임기, 랩탑 컴퓨팅 디바이스, 퍼스널 컴퓨터 디바이스, 워크스테이션 디바이스, 게임 콘솔 디바이스, 셋탑 박스 디바이스 등으로서 구현될 수 있다. 또한, 컴퓨팅 디바이스(100)는 그 일부(또는 모두 또는 아무도)가 디스플레이 표면 부분을 가질 수 있는 하나 이상의 디바이스 부분을 포함할 수 있다.

도 3은 컴퓨팅 디바이스(100)의 해석의 대표적인(그러나 비한정적인) 수집을 도시한다. 시나리오 A에서, 컴퓨팅 디바이스(100)는 임의의 크기를 갖는 휴대용 디바이스이다. 시나리오 B에서, 컴퓨팅 디바이스(100)는 다수의 디바이스 부분을 갖는 북리더 디바이스이다. 시나리오 C에서, 컴퓨팅 디바이스(100)는 패드형 입력 디바이스를 포함하고, 예를 들어 이에 의해 사용자는 디스플레이 메커니즘(102)의 디스플레이 표면보다는(또는 그에 추가하여) 패드형 입력 디바이스의 표면 상에 터치 및/또는 펜 제스처를 행한다. 패드형 입력 디바이스는 디스플레이 메커니즘(102)과 일체형이거나 그로부터 분리될 수 있다(또는 이들의 몇몇 조합). 시나리오 D에서, 컴퓨팅 디바이스(100)는 임의의 크기를 갖는 랩탑 컴퓨터이다. 시나리오 E에서, 컴퓨팅 디바이스(100)는 임의의 유형의 퍼스널 컴퓨터이다. 시나리오 F에서, 컴퓨팅 디바이스(100)는 벽형 디스플레이 메커니즘과 연관된다. 시나리오 G에서, 컴퓨팅 디바이스(100)는 테이블탑 디스플레이 메커니즘과 연관되는 등이다.

일 시나리오에서, 컴퓨팅 디바이스(100)는 임의의 다른 기능성과 상호 작용하지 않고 로컬 모드에서 동작할 수 있다. 대안적으로 또는 게다가, 컴퓨팅 디바이스(100)는 임의의 유형의 네트워크(304)(또는 네트워크들)를 경유하여 임의의 유형의 원격 컴퓨팅 기능성(302)과 상호 작용할 수 있다. 예를 들어, 원격 컴퓨팅 기능성(302)은 컴퓨팅 디바이스(100)에 의해 실행될 수 있는 애플리케이션을 제공할 수 있다. 일 경우에, 컴퓨팅 디바이스(100)는 애플리케이션을 다운로드할 수 있고, 다른 경우에 컴퓨팅 디바이스(100)는 웹 인터페이스 등을 경유하여 애플리케이션을 이용할 수 있다. 원격 컴퓨팅 기능성(302)은 또한 IBSM(114)의 임의의 양태 또는 양태들을 구현할 수 있다. 이에 따라, 임의의 구현예에서, 컴퓨팅 디바이스(100)의 구성 요소로 일컬어지는 하나 이상의 기능이 원격 컴퓨팅 기능성(302)에 의해 구현될 수 있다. 원격 컴퓨팅 기능성(302)은 하나 이상의 서버 컴퓨터, 데이터 저장부, 라우팅 장비 등을 사용하여 물리적으로 구현될 수 있다. 네트워크(304)는 임의의 유형의 근거리 통신망, 원거리 통신망(예를 들어, 인터넷) 또는 이들의 조합에 의해 구현될 수 있다. 네트워크(304)는 임의의 프로토콜 또는 프로토콜의 조합에 의해 지배되는 무선 링크, 유선 링크, 네임 서버, 게이트웨이 등의 임의의 조합에 의해 물리적으로 구현될 수 있다.

A2. 전경 관련 이동

이 섹션은 사용자가 컴퓨팅 디바이스(100)를 의도적 제스처의 부분으로서 고의적으로 이동하거나 타격하는 경우에 대한 IBSM(114)의 동작을 설명한다. 일반적으로 말하면, 임의의 유형의 이동을 구체화하는 제스처가 규정될 수 있고, 여기서 언급된 바와 같이 용어 이동은 본 명세서에서 넓은 해석이 제공된다. 몇몇 경우에, 제스처는 초기 배향에 대해 지정된 배향으로 컴퓨팅 디바이스(100)를 이동시키는 것을 수반한다. 대안적으로 또는 게다가, 제스처는 컴퓨팅 디바이스(100)에 지정된 모션(예를 들어, 경로를 따른 모션, 진동 모션 등)을 인가하는 것을 수반할 수 있다. 모션은 속도, 가속도, 방향, 주파수 등과 같은 파라미터의 임의의 조합에 의해 특징화될 수 있다.

몇몇 경우에, 제스처는 이동과 접촉의 공동 인가(터치 및/또는 펜 디바이스 등을 경유하여)를 수반한다. 예를 들어, 사용자는 디스플레이 표면 상에 객체를 터치하고 이어서 컴퓨팅 디바이스(100)를 지정된 배향으로 이동시키고 그리고/또는 예를 들어 지정된 제스처 경로를 추적함으로써 지정된 동적 방식으로 컴퓨팅 디바이스(100)를 이동시킬 수 있다. IBSM(114)은 디스플레이 표면 상의 지정된 객체 또는 다른 콘텐츠(예를 들어, 사용자가 손가락 또는 펜 디바이스로 터치하는 객체)에 대해 소정 동작을 수행하기 위한 요구로서 최종 입력 이벤트를 해석할 수 있다. 이 경우에, 접촉 입력 이벤트는 적어도 부분적으로 적시에 이동 입력 이벤트와 중첩한다. 다른 경우에, 사용자는 컴퓨팅 디바이스(100)에 접촉을 인가하고, 이어서 컴퓨팅 디바이스(100)에 소정의 텔테일 이동을 인가하거나 또는 먼저 컴퓨팅 디바이스(100)에 소정의 텔테일 이동을 인가하고 이어서 컴퓨팅 디바이스(100)에 접촉을 인가할 수도 있다. 제스처는 하나 이상의 부가의 순차적인 접촉(들) 및/또는 이동의 단계 및/또는 하나 이상의 부가의 동시 접촉(들) 및 이동의 단계를 포함할 수 있다. 이들 경우에, 접촉 입력 이벤트는 임의의 방식으로 이동 입력 이벤트와 인터리빙될 수 있다. 달리 말하면, 접촉 입력 이벤트는 이동 입력 이벤트에 시간적으로 중첩될 필요가 없다. 다른 경우에, 제스처는 단지 컴퓨팅 디바이스(100)로의 지정된 이동의 인가를 수반할 수 있다. 다른 경우에, 사용자는 동시에 2개 이상의 제스처를 인가할 수 있다. 다른 경우에, 사용자는 다른 제스처로 끊김 없이 전이하는 제스처를 인가할 수 있다. 이하의 설명은 특정 예와 관련하여 이들 일반적인 포인트를 예시한다. 이들 예는 컴퓨팅 디바이스(100)의 의도적 이동에 기초하여 생성될 수 있는 다수의 제스처의 한정이 아니라 대표이다.

이어지는 다수의 예에서, 사용자는 디스플레이 메커니즘(102)의 디스플레이 표면과 접촉하는 것으로 도시되어 있다. 대안적으로 또는 게다가, 사용자는 예를 들어 도 3의 시나리오 C에 도시된 바와 같이 패드형 입력 디바이스와 상호 작용할 수 있다. 또한, 다수의 경우에, 사용자는 선택을 행하기 위해 양손 접근법을 사용하는 것으로서 도시되어 있고, 예를 들어 여기서 사용자는 한 손으로 디바이스를 파지하고 다른 손의 손가락(또는 손가락들)으로 선택을 행한다. 그러나, 임의의 이들 경우에서, 사용자는 대안적으로 디바이스를 파지하고 있는 손의 엄지손가락(또는 다른 손 부분)으로 선택을 행할 수 있다. 마지막으로, 사용자의 손의 일반적인 언급은 손의 임의의 부분을 포함하는 것으로서 이해되어야 한다.

이어지는 임의의 예에서, 컴퓨팅 디바이스(100)는 제스처가 인식되고 대응 거동이 막 인가되려고 하는 또는 인가되고 있는 프로세스에 있는 것을 지시하는 임의의 유형의 피드백을 사용자에 제시할 수 있다. 예를 들어, 컴퓨팅 디바이스(100)는 시각적 피드백 지시기, 가청 피드백 지시기, 햅틱(예를 들어, 진동) 피드백 지시기 등의 임의의 조합을 제시할 수 있다. 비시각적 피드백 지시기의 사용은 컴퓨팅 디바이스를 이동시키는 동안 사용자가 시각적 지시기를 주목하는 것이 어려울 수도 있기 때문에 몇몇 경우에 유용할 수 있다. 다른 일반적인 특징에 따르면, 컴퓨팅 디바이스(100)는 사용자가 임의의 비의도된 제스처의 효과를 제거하게 하기 위해 실행취소 명령을 제시할 수 있다.

도 4는 사용자가 손(404)(또는 도시되지 않은 양 손)으로 컴퓨팅 디바이스(402)를 파지하는 시나리오를 도시한다. 사용자는 이어서 그 말단부(406)가 화살표 408의 방향에서 하향으로 이동하도록 컴퓨팅 디바이스(402)를 회전시킨다. 상보형 이동에서, 사용자는 그 말단부(406)가 화살표 408에 대향하는 방향으로 상향으로 이동하도록 컴퓨팅 디바이스(402)를 회전시킬 수 있다.

도 5는 사용자가 손(504)으로 컴퓨팅 디바이스(502)를 파지하는 시나리오를 도시한다. 사용자는 이어서 그 측면 에지(506)가 화살표 508의 방향으로 상향으로 이동하도록 컴퓨팅 디바이스(502)를 회전시킨다. 상보형 이동에서, 사용자는 그 측면 에지(506)가 화살표 508에 대향하는 방향으로 하향으로 이동하도록 컴퓨팅 디바이스(502)를 회전시킬 수 있다.

도시되지는 않았지만, 다른 회전시에, 사용자는 바닥에 평행한 평면에서 컴퓨팅 디바이스를 회전시킬 수 있다. 더 일반적으로, 이들 3개의 축은 단지 표현적인 것이고, 사용자는 임의의 평면 내의 임의의 축 둘레로 컴퓨팅 디바이스를 회전시킬 수 있다. 또한, 사용자는 합성 제스처로 임의의 유형의 회전 및/또는 전이 이동을 조합할 수 있다.

도 6은 도 4에 도시된 회전 이동의 유형을 구체화하는 일 제스처를 도시한다. 이 경우에, 사용자의 의도는 컴퓨팅 디바이스(604)의 디스플레이 표면 상에 표시되는 객체(602)에 대해 소정 기능을 수행하는 것으로 가정한다. 예를 들어, 사용자는 객체(602)를 줌인하여 확대하기를 원할 수 있다. 제스처의 부분으로서, 사용자는 예를 들어 객체(602)를 그 또는 그녀의 엄지손가락으로(일 단지 대표적인 경우에) 터치함으로써 객체(602)에 접촉을 인가한다. 이 경우에, 주밍 동작을 위한 확장 중심은 디스플레이 표면 상의 엄지손가락의 위치와 연관된 (x,y) 점에 대응할 수 있다는 것을 주지하라. 대안적으로, 확장 중심은 엄지손가락 위치와 연관된 (x,y) 점으로부터 고정 오프셋에 대응할 수 있고, 이 경우에 주밍 동작은 그 아래보다는 엄지손가락 바로 위의 점(일 예에서)에서 생성될 것이다. 다른 예에서, 사용자는 객체(602)를 경유하여 값을 입력하기를 원할 수도 있다. 이를 행하기 위해, 사용자는 값을 증가시키기 위해 객체를 터치할 수 있다(그리고, 값을 감소시키기 위해 도시되지 않은 소정의 다른 객체를 터치함).

이들 시나리오에서, 사용자가 컴퓨팅 디바이스(604)를 파지하는 각도는 동작이 수행되는 속도, 예를 들어 주밍이 발생하는 속도(전술된 제 1 예에서) 또는 수치 필드의 수가 증가되거나 감소되는(전술된 제 2 예에서) 속도 등을 제어한다. 각도는 사용자가 객체(602)를 터치할 때 컴퓨팅 디바이스(604)의 초기 배향에 대해 측정될 수 있다. 대안적으로, 각도는 사용자가 일반적으로 터치 동작(또는 다른 접촉 동작)과 일치하는 텔테일 회전 이동을 시작할 때 디바이스의 초기 배향에 대해 측정될 수 있고, 여기서 이러한 텔테일 이동은 몇몇 경우에 접촉을 짧게 따를 수 있고 다른 경우에 접촉을 짧게 진행할 수 있다.

일반적으로 말하면, 회전 기반 제스처를 수행하기 위해, 사용자는 손(606)(또는 양 손)으로 컴퓨팅 디바이스(604)를 파지하고, 객체(602)를 터치하고, 컴퓨팅 디바이스(604)를 기울일 수 있다. 즉, 사용자가 큰 양만큼 거동의 속도를 증가시키기를 원하면, 사용자는 원래 배향에 대해 큰 양만큼 컴퓨팅 디바이스(604)를 기울일 것이다. 사용자가 더 작은 양만큼 거동의 속도를 증가시키기를 원하면, 사용자는 더 작은 양만큼 컴퓨팅 디바이스(604)를 기울일 수 있다. 사용자는 경사각을 감소시킴으로써 임의의 시간에 속도를 감소시킬 수 있다. 다른 경우에, IBSM(114)은 또한 초기 경사각에 대해 회전의 상이한 방향으로 상이한 거동을 맵핑할 수 있다. 예를 들어, 사용자는 컴퓨팅 디바이스(604)를 하향으로 기울임으로써 객체(602) 상에서 줌인하고, 컴퓨팅 디바이스(604)를 상향으로 기울임으로써 객체(602)를 줌아웃할 수 있다. 작은 비의도적 속도 변경을 방지하기 위해, IBSM(114)은 어떠한 속도 변화도 발생하지 않은 초기 경사각의 범위를 구비할 수 있다. 사용자가 이 사대역의 종점에서 임계치를 넘어 진행하면, IBSM(114)은 속도를 변경하기 시작한다. 이러한 임계치는 초기 경사각에 대해 회전의 양 방향에서 규정될 수 있다.

IBSM(114)은 경사각을 줌량으로 맵핑하기 위한 임의의 기능(또는 경사각에 맵핑되는 모든 거동)을 인가할 수 있다. 일 경우에, IBSM(114)은 선형 속도 함수를 인가할 수 있다. 다른 경우에, IBSM(114)은 임의의 유형의 비선형 속도 함수를 인가할 수 있다. 예를 들어, 후자의 경우에 대해, IBSM(114)은 관성 기반 함수, 임의의 유형의 제어 시스템 함수 등을 인가할 수 있다.

도 6의 예에서, 사용자는 컴퓨팅 디바이스(404)에 의해 제시된 콘텐츠에 패닝 명령을 또한 인가할 수 있다. 예를 들어, 전술된 바와 같이, 사용자는 컴퓨팅 디바이스(604)를 지정된 배향으로 회전하는 것과 함께 객체(602)를 하나의 손가락으로 터치할 수 있다. 이는 객체(604)와 연관된 콘텐츠의 부분을 확장할 수 있다. 동시에 또는 인터리빙된 방식으로, 사용자는 예를 들어 콘텐츠에 손가락으로 터치하고 원하는 방향으로 손가락을 이동시킴으로써 측방향으로 콘텐츠를 패닝하기 위해 그 또는 그녀의 다른 손(또는 동일한 손)을 사용할 수 있다. 도 6의 실시예는 패닝형 제스처(또는 임의의 다른 유형의 의미있는 제스처 또는 입력 명령)를 행하도록 사용자의 한 손을 자유롭게 방치하기 때문에 이 유형의 복합 제어를 수용한다. 인터리빙된 방식으로 수행되면, 이 예는 또한 어떻게 하나의 제스처(디바이스를 회전시킴으로써 주밍함)가 다른 제스처와 끊김 없이 일체화되는지(예를 들어 디스플레이 표면을 가로질러 손가락을 이동시킴으로써 패닝과 같은)의 증명이다.

또 다른 경우에, 사용자는 디스플레이 표면 상에 임의의 특정 객체를 지정하지 않고 전술된 회전 이동을 수행할 수 있다. 이에 응답하여, IBSM(114)은 디스플레이 표면 상에 제시된 모든 콘텐츠에 또는 환경 특정 시나리오의 환경에서 적절한 임의의 다른 전체 콘텐츠에 주밍(또는 임의의 다른 지정된 거동)을 인가할 수 있다.

도 7은 도 6의 시나리오에 유사한 개념을 도시한다. 여기서, 사용자는 한 손(704)으로 컴퓨팅 디바이스(702)를 파지한다[여기서, 이 특정 경우에, 사용자는 손(704)으로 디스플레이 표면의 임의의 부분을 터치하지 않음]. 사용자는 이어서 그 또는 그녀의 다른 손(708)으로 스크롤 메커니즘(706)을 조작한다. 도시를 명료하게 하기 위해, 도 7은 스크롤 메커니즘(706)이 명시적 스크롤 핸들과 연관되는 것을 지시한다. 그러나, 다른 경우에, 스크롤 메커니즘은 디스플레이 표면 상에 제시된 임의의 콘텐츠를 터치하고 이동시킴으로써 호출될 수 있다. 이 거동은 종래의 스크롤 동작을 실행한다. 게다가, 사용자는 스크롤이 수행되는 속도를 증가시키고 감소시키기 위해 초기 위치로부터 컴퓨팅 디바이스(702)를 기울일 수 있다. 도 7에 도시된 시나리오는 이것이 긴 콘텐츠 아이템을 통해 신속하게 전진하기 위한 편리한 수단을 제공하고 또한 이와 같이 요구될 때 콘텐츠 아이템을 통해 더 느리게 전진하기 위한 수단을 제공하기 때문에 양호한 사용자 경험을 제공한다.

도 6 및 도 7의 예에서, 컴퓨팅 디바이스(604, 702)는 초기 시작 위치에 대한 디바이스(604, 702)의 배향에 의해 지배되는 거동을 제공한다. 게다가 또는 대안적으로, 컴퓨팅 디바이스는 사용자가 디바이스를 회전시키거나 소정의 다른 텔테일 이동을 수행하는 속도에 응답하는 거동을 제공할 수 있다. 예를 들어, 도 6의 예에서, 사용자는 한 손가락으로 객체(602)를 터치하고 도시된 바와 같이 하향 방향으로 컴퓨팅 디바이스(604)를 팁핑할 수 있다. IBSM(114)은 소정의 지정된 거동이 수행되는 속도를 지시하는 것으로서 사용자가 이 팁핑 이동을 수행하는 속도를 해석한다. 예를 들어, 사용자가 하향 방향으로 컴퓨팅 디바이스(604)를 신속하게 팁핑하면(낚싯대로 줄을 던지는 방식으로), IBSM(114)은 줌 레벨을 신속하게 증가(또는 감소)시킬 수 있다. 또는, 객체(602)가 스크롤 명령과 연관되는 것으로 가정한다. IBSM(114)은 큰 문서를 통해 신속하게 스크롤하기 위한 요구의 지시로서 사용자의 "줄 던짐" 동작을 해석할 수 있다. 예를 들어, 사용자는 긴 문서를 통해 연속적인 큰 점프를 행하도록(또는 대안적으로, 문서의 시작 또는 끝으로 개별 점프를 행하도록) 예시된 방식으로 하향으로 디바이스를 반복적으로 스냅할 수 있다. 이 예시적인 거동 모드에서, IBSM(114)은 사용자가 하향 스냅을 완료한 후에 컴퓨팅 디바이스를 초기 위치로 재차 복귀시킬 때 컴퓨팅 디바이스의 모션을 무시하도록 구성될 수 있다.

도 8은 도 5에 도시된 회전 이동을 구체화하는 시나리오를 도시한다. 여기서, 사용자의 의도는 손가락을 인가하여 원래 페이지를 마킹하고, 문서 내의 다른 페이지로 전진하고, 이어서 원래 페이지로 재차 이동하는 것이다. 이와 같이 하기 위해, 사용자는 손(804)으로 컴퓨팅 디바이스(802)를 파지할 수 있다. 사용자는 다부분 콘텐츠 아이템 내의 특정 페이지 또는 다른 위치를 지정하기 위해 탭(808) 상에 손가락(806)을 배치할 수 있다. 사용자는 이어서 다부분 콘텐츠 아이템의 후속의 페이지 또는 다른 부분을 통해 플립한다. 원래 페이지로 재차 이동하기 위해, 사용자는 책의 페이지를 넘길 수 있는 방식으로 화살표 810의 방향으로 컴퓨팅 디바이스(802)를 위로 플립할 수 있다. 이는 컴퓨팅 디바이스(802)의 디스플레이 표면 상에 원래 페이지를 복원한다.

상기 시나리오는 임의의 수의 방식으로 변경될 수 있다. 예를 들어, 탭(808)은 디스플레이 표면 상의 상이한 위치에 위치되거나 소정의 다른 시각적 보조부에 의해 완전히 제거될 수 있다. 대안적으로, 컴퓨팅 디바이스(802)는 모든 이러한 영구적 시각적 보조부를 제거할 수 있다. 대안적으로 또는 게다가, 컴퓨팅 디바이스(802)는 사용자가 북마크로서 해석되는 방식으로 디스플레이 표면 상에 손가락을 배치할 때 동적으로 호출되는 시각적, 청각적 및/또는 햅틱 피드백 지시기 등을 사용할 수 있다. 컴퓨팅 디바이스(802)는 또한 예를 들어 플립되는 페이지의 시각적 시뮬레이션을 표시함으로써 사용자에게 페이지 플립핑 동작을 전달하는 임의의 유형의 적절한 시각적 경험을 제공할 수 있다. 또한, 이하에 설명되는 바와 같이, 도 8에 도시된 상호 작용은 듀얼 스크린 디바이스 상에 실현될 수 있고, 여기서 사용자는 "플립백" 거동을 호출하기 위해 대향 디바이스 부분을 회전하면서 일 디바이스 부분을 파지할 수 있다.

도 8에 도시된 플립핑 제스처는 예를 들어 특정 환경 또는 애플리케이션에 의해 규정된 바와 같이, 디스플레이 표면 상에 다른 플립핑 거동을 성취하는데 사용될 수 있다. 일 단지 예시적인 경우에, 컴퓨팅 디바이스(802)의 디스플레이 표면이 복수의 측면, 치수, 파셋(facet) 등을 갖는 임의의 유형의 객체(812)를 표시하는 것으로 가정한다. 사용자는 도 8에 도시된 플립핑 모션을 실행함으로써 다른 측으로 전진할 수 있다. 이는 객체(812)의 새로운 상부 부분을 표시하기 위해 그 측면 상에 객체(812)의 팁핑 효과를 갖는다. 사용자는 상이한 애플리케이션, 옵션, 필터, 뷰 등 사이를 스위칭하기 위해 이 거동의 유형을 또한 수행할 수 있다. 사용자는 제 2 하위의 객체의 상부에 제시되는 제 1 객체를 제거하기 위해 이 거동의 유형을 또한 수행할 수 있다. 즉, 사용자는 하위의 객체의 일 측면에 상위의 객체를 이동시키기 위해 컴퓨팅 디바이스(802)를 신속하게 기울일 수 있어, 이에 의해 하위의 객체(들)를 드러내고 따라서 층상 객체 상의 동작을 간단하고 직관적이게 한다. 사용자는 특정량(양은 애플리케이션 특정 방식으로 규정될 수 있음)만큼 객체를 연속적으로 회전시키기 위해 또는 레이어를 연속적으로 제거하기 위해 이 기울임 동작을 반복적으로 수행할 수 있다.

도 9는 도 8과 관련하여 전술된 동일하지만, 이 경우에 전자북 리더형 컴퓨팅 디바이스(902)의 환경에서 기본 페이지 플립핑 제스처를 도시한다. 여기서, 사용자는 컴퓨팅 디바이스(902)의 디스플레이 표면의 좌하 여백(또는 소정의 다른 위치) 상에 그 또는 그녀의 엄지손가락(904)(또는 다른 손가락)을 찌를 수 있다. 이 북마킹 동작은 원래 페이지를 마크한다. 다음에, 재차 사용자가 문서의 후속 페이지를 통해 전자식으로 플립하는 것을 가정한다. 일 경우에, 원래 페이지로 복귀하기 위해, 사용자는 도 8에 도시된 방식으로 리더형 컴퓨팅 디바이스(902)의 일 디바이스 부분을 플립할 수 있다. IBSM(114)은 모션 감지 입력 메커니즘에 기초하여 이 텔테일 플립핑 제스처를 검출할 수 있다. 대안적으로 또는 게다가, IBSM(114)은 예를 들어 각도 센서(디바이스 부분들 사이의 각도를 검출함)로부터 검출된 바와 같이 서로에 대해 2개의 디스플레이 부분(906, 908)의 이동에 기초하여 이 제스처를 검출할 수 있다.

다른 경우에, IBSM(114)이 페이지 전환 제스처를 더 명백하게 구별하게 하기 위해, 사용자는 컴퓨팅 디바이스(902)의 2개의 디바이스 부분(906, 980)을 폐쇄하고, 도시된 방식으로 그 또는 그녀의 엄지손가락(904)(또는 다른 손가락)을 2개의 디바이스 부분(906, 908) 사이에 압착한다. 사용자는 이어서 원래 페이지로 복귀하기 위해 전술된 플립핑 모션을 실행할 수 있다. 컴퓨팅 디바이스(902)는 디바이스 부분(906, 908) 사이의 각도를 감지함으로써 엄지손가락(904) 주위에 디바이스 부분(906, 908)을 폐쇄한 것으로 결정할 수 있다. 전술된 플립핑 동작 없이도, 2개의 디바이스 부분(906, 908) 사이에 배치된 엄지손가락을 배치하는 동작은 북마크 위치를 등록하는 유용한 목적을 담당한다.

도 10은 사용자가 손(1004)으로 컴퓨팅 디바이스(1002)를 파지하고 이어서 소정 타겟 엔티티 또는 타겟 엔티티의 소정의 할당된 프록시의 방향에서 컴퓨팅 디바이스(1002)를 포인팅한다. 사용자는 이어서 컴퓨팅 디바이스(1002)의 디스플레이 표면 상에 소정의 객체(1008)(예를 들어, 문서, 명령 등)를 식별하기 위해 다른 손(1006)(또는 동일한 손)을 사용할 수 있다. IBSM(114)은 객체(1008)의 카피를 타겟 엔티티에 송신하기 위해 또는 객체(1008)의 콘텐츠 및/또는 상태를 타겟 엔티티와 싱크업하기 위해 또는 객체(1008) 및 타겟 엔티티에 관하여 임의의 다른 애플리케이션 특정 목적을 성취하기 위해 이 제스처를 해석한다. IBSM(114)은 컴퓨팅 디바이스(1002)가 임의의 유형의 이동식 입력 메커니즘에 기초하여 포인팅되는 방향을 결정할 수 있다. IBSM(114)은 예를 들어 타겟 엔티티의 위치를 미리 수동으로 등록하고, 타겟 엔티티에 의해 방출된 신호에 기초하여 타겟 엔티티의 위치를 자동으로 감지하고, 컴퓨팅 디바이스(1002) 자체에 의해 실행된 이미지 캡처 기술에 기초하여 타겟 엔티티의 위치를 자동으로 감지하는 등에 의해, 상이한 방식으로 타겟 엔티티의 상대 위치를 결정할 수 있다. 대안적으로 또는 게다가, IBSM(114)은 컴퓨팅 디바이스(1002)의 배향을 결정할 수 있고, 타겟 컴퓨팅 디바이스의 상보형 IBSM은 타겟 디바이스의 배향을 또한 결정할 수 있다. IBSM(114)은 이어서 각각의 사용자가 서로를 향해 이들의 디바이스를 포인팅하는지 여부를 판정함으로써 컴퓨팅 디바이스(1002)가 타겟 컴퓨팅 디바이스를 향해 포인팅되는 것으로 판정할 수 있다. 다른 경우에, 하나 이상의 사용자는 공유된 타겟 객체에 포인팅될 수 있고, 각각의 컴퓨팅 디바이스(들)의 IBSM(들)은 전술된 임의의 방식으로 이 사실을 검출할 수 있다. 예를 들어, 공유된 타겟 객체는 공유된 주변 기기(예를 들어, 프린터, 디스플레이 디바이스 등)에 대응할 수 있다.

도 10에 도시된 시나리오의 일 예에서, 사용자는 디스플레이 표면 상에 파일의 표현을 터치함으로써 파일(또는 다른 클라이언트 아이템)을 선택할 수 있다. 사용자는 이어서 파일을 삭제하기 위해 휴지통을 향해 디바이스를 포인팅할 수 있다(여기서, 휴지통의 위치는 미리 등록되어 있고 또는 다른 방식으로 전술된 하나 이상의 방식으로 결정 가능한 것으로 가정됨). 변형예에서, 사용자는 디스플레이 표면 상의 파일의 표현을 터치하고, 디스플레이 표면 자체 상에 휴지통 아이콘을 향해 컴퓨팅 디바이스(1002)를 기울일 수 있고, 따라서 휴지통 내로 파일을 은유적으로 이동시킨다. 다수의 다른 용례가 가능하다. 일 경우에, IBSM(114)은 이 방식으로 콘텐츠 아이템을 삭제할 때마다 실행취소 명령의 시각적 표현을 제시할 수 있다. 이는 사용자가 비의도된 삭제의 효과를 반전시키는 것을 가능하게 한다.

도 11은 사용자가 손(1104)으로 컴퓨팅 디바이스(1102)를 파지하고 컴퓨팅 디바이스(1102)를 이동시켜 이것이 사용자의 다른 손(1106)의 손가락 또는 다른 손(1106)의 다른 부분에 접촉하게 하는 다른 시나리오를 도시한다. 이는 사용자가 컴퓨팅 디바이스(1102)의 디스플레이 표면 상을 누르기 위해 손(1106)을 사용하는 종래의 이동에 대조적이다. IBSM(114)은 임의의 유형의 명령을 이러한 이동과 상관시킬 수 있다. 이 유형의 제스처는 그 비의도적 가동을 방지하기 위해 다양한 안전 장치와 결합될 수 있다. 예를 들어, 도시되지는 않았지만, 사용자는 이 특정 제스처 모드를 가능하게 하는 아이콘 등과 접촉을 행하기 위해 왼손(1104)의 엄지손가락을 인가할 수 있다.

다른 경우에(도시 생략), 사용자는 예를 들어 정상량의 힘 또는 대량의 힘으로 상이한 활력의 정도로 디스플레이 표면 상에 상이한 객체를 탭다운할 수 있다. IBSM(114)은 상이한 방식으로 이들 2개의 유형의 터치 접촉을 해석할 수 있다. IBSM(114)은 이어서 부드러운 탭에 대한 제 1 유형의 거동 및 강한 탭에 대한 제 2 유형의 거동을 수행할 수 있다. 호출된 거동들은 애플리케이션 특정이다. 예를 들어, 애플리케이션은 수신 호에 응답하기 위해 부드러운 탭을, 호를 무시하기 위해 강한 탭을 사용할 수 있다. 또는, 애플리케이션은 벨소리를 무음으로 하기 위해 가벼운 탭을, 호를 완전히 무시하기 위해 강한 탭을 사용할 수 있다.

이 유형의 제스처를 가능하게 하기 위해, 이동식 입력 메커니즘(들)(110)은 예를 들어 디스플레이 표면 상에 손가락을 부드럽게 놓는 것, "정상" 힘으로 디스플레이 표면을 탭핑하는 것 및 디스플레이 표면을 활력적으로 탭핑하는 것에 대응하는 입력 이벤트를 제공할 수 있다. IBSM(114)은 이어서 발생된 입력 동작의 유형을 분류하기 위해 이들 입력 이벤트와 연관된 입력 신호를 검사할 수 있다. 예를 들어, IBSM(114)은 강한 탭핑 제스처의 지시로서 큰 크기의 신호 스파이크를 갖는 입력 이벤트를 해석할 수 있다. 게다가 또는 대안적으로, IBSM(114)은 부드러운 탭핑과 강한 탭핑 사이를 구별하기 위해 오디오 신호(예를 들어, 하나 이상의 마이크로폰으로부터 수신됨) 및/또는 임의의 다른 입력 메커니즘(들)[압력 센서(들) 등과 같은]으로부터 수신된 신호를 사용할 수 있다.

관련 경우에, IBSM(114)은 사용자가 초기에 손가락을 디스플레이 표면에 인가하는 힘의 정도에 기초하여 상이한 유형의 드래그 이동을 구별할 수 있다. 이는 예를 들어, IBSM(114)이 스크린의 활력적인 랩핑에 대한 가벼운 스위프와 드래그 사이를 구별하게 한다. IBSM(114)은 상이한 유형의 탭 및 드래그 제스처에 임의의 거동을 재차 맵핑할 수 있다.

도 12는 사용자가 손(1208)으로 2개의 디바이스 부분(1204, 1206)을 갖는 컴퓨팅 디바이스(1202)를 파지하는 다른 시나리오를 설명한다. 다른 손(1210)으로, 사용자는 2개의 디바이스 부분(1204, 1206) 사이에 지정된 각도(1212)를 갖고 2개의 디바이스 부분(1204, 1206) 상에 제공된 디스플레이 표면을 터치한다. IBSM(114)은 이 제스처를 임의의 유형의 거동으로 맵핑할 수 있다. 이 제스처의 변동은 2개의 디바이스 부분(1204, 1206) 사이의 각도(1212)를 동적으로 변경함으로써 그리고/또는 2개의 디바이스 부분(1204, 1206)의 디스플레이 표면 상에 배치된 손가락 및 엄지손가락의 위치를 동적으로 변경함으로써 규정될 수 있다.

도 13은 시나리오 A에서, 사용자가 컴퓨팅 디바이스(1306)의 디스플레이 표면 상에 손가락(1304)의 특유한 조합을 배치하기 위해 손(1302)을 사용하는 더 일반적인 제스처를 설명한다. 다른 손(1308)으로, 사용자는 예를 들어 특정 방향에서 컴퓨팅 디바이스(1306)를 흔드는 것에 의해 임의의 텔테일 방식으로 컴퓨팅 디바이스(1306)를 이동시키도록 진행할 수 있다. 컴퓨팅 디바이스(1306)는 특유한 멀티-터치 터치 제스처의 존재에 기인하여 컴퓨팅 디바이스(1306)의 부수적인 모션으로 이 제스처를 혼란시킬 가능성이 적다. 사용자는 또한 상이한 명령을 전달하기 위해 동일한 기본 모션과 함께 상이한 멀티-터치 제스처를 인가할 수 있다.

더욱이, 반복을 위해, 사용자는 디스플레이 표면 상의 개별 객체 또는 특정 영역에 임의의 지정된 유형의 접촉을 인가할 수 있고, 이어서 컴퓨팅 디바이스에 지정된 이동을 인가할 수 있다. 집중된 접촉 및 이동의 조합은 우발적인 이동으로부터 고의적인 제스처 기반 이동을 구별하는 것을 돕는다. 예를 들어, 도 13의 시나리오 B에 도시된 바와 같이, 사용자는 컴퓨팅 디바이스(1312)의 디스플레이 표면 상의 객체(1310)를 터치하고 이어서 컴퓨팅 디바이스(1312)를 활력적으로 흔들 수 있다. IBSM(114)은 지정된 객체(1310)를 삭제하고, 지정된 객체(1310) 상에 취해진 최종 동작을 실행취소하고, 지정된 객체(1310)를 특정 폴더로 이동하고, 전경에 표시되도록 객체(1310)를 셔플하는 등의 요구와 같은 임의의 사전 결정된 방식으로 이 동작을 해석할 수 있다.

다른 경우에, 사용자는 IBSM(114)이 그 위에 메뉴를 제공하는 디스플레이 표면 상의 객체를 터치할 수 있다. 디스플레이 표면을 여전히 터치하면서, 사용자는 이어서 컴퓨팅 디바이스에 텔테일 이동을 인가할 수 있다. IBSM(114)은 메뉴를 확대하거나 메뉴로부터 특정 옵션을 선택하기 위한 요구로서 이 공동 동작을 해석할 수 있다. 이 접근법은 3개의 단계, (1) 객체 선택 단계, (2) 모션 감지 제스처 모드 활성화 단계 및 (3) 선택된 객체(들)에 인가하기 위한 특정 명령 또는 제스처 선택 단계를 단일의 연속적인 동작으로 해석한다는 것을 주지하라. 선택 및 이동 제스처의 다른 예는 예를 들어 주밍, 스크롤링 및 페이지 전환 예에 대해 전술되어 있다.

또한, IBSM(114)은 컴퓨팅 디바이스의 배향에 기초하여 상이한 방식으로 동적 모션 제스처를 해석할 수 있다. 예를 들어, 제 1 시나리오에서, 사용자는 그 또는 그녀의 손으로 컴퓨팅 디바이스를 파지하고 이를 전후로 흔드는 것을 가정한다. 제 2 시나리오에서, 사용자는 컴퓨팅 디바이스를 테이블 위에 눕히고 이를 전후로 흔들고, 디바이스는 눕혀지는 경향이 있다는 것을 가정한다. IBSM(114)은 2개의 개별 유형의 제스처를 전달하는 것으로서 이들 2개의 시나리오를 해석할 수 있다. 또한, IBSM(114)은 사용자가 그 순간에 상호 작용하는 모든 애플리케이션(들)의 환경에서 이동 기반 제스처를 해석할 수 있다. 예를 들어, IBSM(114)은 2개의 각각의 애플리케이션의 환경에서 수행될 때 상이한 방식으로 동일한 이동식 제스처를 해석할 수 있다.

마지막으로, 도 14는 컴퓨팅 디바이스(1402)에 제시된 콘텐츠가 또한 회전되지 않고 사용자가 풍경 모드로부터 초상화 모드로(또는 그 반대로) 컴퓨팅 디바이스(1402)를 회전하기를 원하는 시나리오를 도시한다. 이 작업을 수행하기 위해, 사용자는 (이에 한정되는 것은 아니지만) 코너(1404)와 같은 디스플레이 표면의 임의의 부분을 터치할 수 있다. 예를 들어, 사용자는 손(1406)으로 행해진 제스처에 의해 지시된 바와 같이, 컴퓨팅 디바이스(1402)가 테이블과 같은 편평한 표면 상에 놓이는 동안 디스플레이 표면을 누를 수 있다. 또는, 사용자는 손(1408)으로 행해진 제스처에 의해 지시된 바와 같이, 컴퓨팅 디바이스(1402)를 파지하면서 컴퓨팅 디바이스를 압착할 수 있다. 사용자는 이어서 대략 90도(또는 소정의 다른 애플리케이션 특정 회전량)만큼 컴퓨팅 디바이스(1402)를 회전시킨다. 일 구현예에서, 이 제스처를 인식할 때, IBSM(114)은 컴퓨팅 디바이스(1402)가 텍스트를 자동으로 회전시키는 것을 방지할 수 있다. 이 동일한 거동은 역으로 수행될 수 있다. 즉, 디폴트로서, 컴퓨팅 디바이스(1402)는 컴퓨팅 디바이스(1402)가 회전될 때 콘텐츠를 회전시키지 않을 것이다. 컴퓨팅 디바이스(1402)를 회전시키면서 디스플레이 표면 상에 접촉을 배치하는 것은 이어서 콘텐츠가 또한 회전되게 할 것이다. 회전은 접촉점 자체에 의해 규정된 축과 같은 임의의 축에 대해 수행될 수 있다.

다른 예에서, 사용자는 접촉점을 설정하고, 접촉점을 설정하는 손가락(들)에 대해 컴퓨팅 디바이스를 이동시키지 않고 컴퓨팅 디바이스를 회전시킬 수 있다. 예를 들어, 사용자는 접촉점을 설정하기 위해 컴퓨팅 디바이스를 압착하고 이어서 소파 또는 베드에 눕힐 수 있는데, 이와 같이 할 때 컴퓨팅 디바이스는 그 초기 배향에 대해 대략 90도로 회전할 수 있다. 이 경우에도, IBSM(114)은 콘텐츠 회전을 불가능(또는 가능)하게 하기 위한 명령어로서 접촉점의 애플리케이션과 함께 디바이스 이동을 해석할 수 있다.

일 경우에, 컴퓨팅 디바이스는 사용자가 접촉점을 제거할 때에도, 컴퓨팅 디바이스가 적절한 배향으로 이동된 후에 회전 잠금을 유지할 수 있다. 이 모드에서 동작을 완료할 때, 사용자는 이어서 회전 잠금을 제거하는 명령을 표현적으로 활성화할 수 있다. 게다가 또는 대안적으로, 사용자는 회전 잠금을 자동으로 제거하기 위해 디바이스의 배향을 변경할 수 있다.

A.3 배경 관련 이동

이 섹션은 컴퓨팅 디바이스(100)에 인가된 이동이 의도적 제스처의 고의적 성분이 아닐 때 IBSM(114)의 동작을 설명하고, 따라서 배경 이동을 구성한다. IBSM(114)은 이 이동의 성질을 해석하고 이어서 입력 동작의 정확한 분석을 향상시키기 위해 이 위에 작용할 수 있다. 이 섹션에서 제시된 예는 철저한 것이 아니라 대표적인 것이다.

도 15는 사용자가 컴퓨팅 디바이스(1506)의 디스플레이 표면을 누르기 위해 손(1504)의 손가락(1502)을 사용하는 제 1 시나리오를 도시한다. 또는, 사용자는 디스플레이 표면으로부터 손가락(1502)을 제거하는 것으로 가정한다. 이 동작에 응답하여, IBSM(114)은 터치 입력 메커니즘(들)(106)으로부터 터치 입력 이벤트를 수신한다. 이들 이벤트는 디스플레이 표면과 손가락(1502)의 실제(또는 절박한) 접촉 또는 그 접촉의 제거를 등록한다. IBSM(114)은 또한 이동식 입력 메커니즘(들)(104)으로부터 이동 입력 이벤트를 수신한다. 이들 이벤트는 사용자가 디스플레이 표면에 그의 손가락(1502)을 인가하거나 제거할 때 비의도적으로 발생되는 모션을 등록한다.

제 1 입력 해석 모듈(1508)은 예를 들어 터치 접촉이 인가되거나 제거되는 위치 및 타이밍을 그 관점으로부터 결정함으로써 터치 입력 이벤트를 분석할 수 있다. 제 1 입력 해석 모듈(1508)은 사용자의 손가락과 디스플레이 표면 사이의 접촉의 정도(및/또는 형상) 상에 주로 그 결론을 기초한다. 제 2 입력 해석 모듈(1510)은 예를 들어 프로세스에서 발생될 수 있는 임의의 밀림과 함께 터치 접촉이 인가되거나 제거되는 위치 및 타이밍을 그 관점으로부터 또한 결정함으로써 이동 입력 이벤트를 분석할 수 있다. 이는 터치가 인가되고 제거되는 위치 및 타이밍이 또한 이동 입력 이벤트로부터 추론될 수 있기 때문에 가능하다. 더 구체적으로, 제 2 입력 해석 모듈(1510)은 이동식 입력 메커니즘(들)(110)에 의해 제공된 이동 신호의 크기, 일반적인 형상 및 주파수 특성에 부분적으로 그 결론을 기초한다. 이는 접촉이 인가되거나 제거될 때를 정확하게 나타내는 것을 도울 수 있다. 제 2 입력 해석 모듈(1510)은 또한 컴퓨팅 디바이스가 터치의 인가 또는 제거시에 이동하는 방식에 그 결론을 기초할 수 있다. 이는 접촉이 인가되거나 제거되는 위치를 구별하는 것을 도울 수 있다. 예를 들어, 사용자가 컴퓨팅 디바이스를 직립하여 파지하고 코너를 탭다운하면, 컴퓨팅 디바이스는 터치가 발생한 위치를 지시하는 텔테일 방식으로 흔들리도록 예측될 수 있다.

최종 입력 해석 모듈(1512)은 이어서 제 1 해석 모듈(1508)의 결론을 수정(예를 들어, 보정)하기 위해 제 2 해석 모듈(1510)의 결론을 사용할 수 있다. 예를 들어, 최종 입력 해석 모듈(1512)은 터치가 진정한 위치 (x,y)에 인가되었다고 결론을 내릴 수 있지만, 터치의 인가와 연관된 비의도적 이동 때문에, 위치 (x+Δx, y+Δy)로의 이동이 존재하였다. 유사한 비의도적 이동은 사용자가 그의 손가락을 제거할 때 발생할 수 있다. 대안적으로 또는 게다가, 최종 입력 해석 모듈(1512)은 터치가 인가되거나 제거된 것으로 간주되는 타이밍을 조정할 수 있다. 다른 예로서, 접촉이 연관 이동 신호를 거의 갖지 않거나 갖지 않고 등록되면, 최종 입력 해석 모듈(1512)은 접촉이 디스플레이 표면과의 비의도적 접촉을 표현할 가능성이 있다고 결론을 내릴 수 있다. IBSM(114)은 따라서 이 접촉을 무시하거나 또는 다른 방식으로 "정상" 접촉 동작과는 상이하게 이를 처리할 수 있다.

IBSM(114)은 최종 입력 해석 모듈(1512)에 의해 도달된 결론에 기초하여 다양한 동작을 취할 수 있다. 일 경우에, IBSM(114)은 예를 들어 사용자가 터치 접촉을 인가하거나 제거하는 위치 및/또는 타이밍의 지시를 정밀하게 함으로써 검출되어 있는 우발적 이동을 고려하기 위해 터치 입력 이벤트를 보정할 수 있다. 게다가, IBSM(114)은 임의의 비의도적 이동이 발생할 수 있는 시간 이전의 상태로 디스플레이 표면 및/또는 애플리케이션을 복원할 수 있다.

도 15의 경우에, 복수의 성분 해석 모듈은 최종 해석 모듈(1512)에 결론을 공급한다. 그러나, 다른 구현예에서, 최종 해석 모듈(1512)은 입력 메커니즘에 의해 제공된 원래 입력 이벤트에, 즉 성분 해석 모듈 없이 분석을 수행할 수 있다.

도 15의 기본 기능성은 제스처의 인식을 향상시키는데 또한 사용될 수 있다. 예를 들어, 플릭킹식 이동은 퀵 스크롤 동작(디스플레이 표면에 행해진 접촉의 성질의 관점으로부터)에 유사할 수 있고, 또한 사용자는 상이한 입력 명령을 전달하기 위해 이들 2개의 동작을 수행할 수 있다. 이들 2개의 입력 동작 사이를 구별하는 것을 돕기 위해, IBSM(114)은 이동 입력 이벤트와 함께 최종 접촉 입력 이벤트를 해석할 수 있다. 이동 입력 이벤트는 플릭킹 모션이 스크롤 동작과는 상이한 모션 프로파일을 갖는 한, 2개의 입력 동작 사이를 구별하는 것을 도울 수 있다.

IBSM(114)은 또한 다른 손의 검지손가락을 사용하여 스크롤하는 것에 대한 컴퓨팅 디바이스를 파지하는 손의 엄지손가락으로 스크롤하는 것과 같은 특정 동작을 명료하게 표현하는 상이한 방식을 검출하기 위해 모션 신호를 사용할 수 있다. 이러한 상황은 검출시에, 예를 들어 IBSM(114)이 사용자의 입력 동작을 더 정확하게 구별하는 것을 가능하게 함으로써 컴퓨팅 디바이스와의 사용자의 상호 작용을 최적화하는데 사용될 수 있다. 예를 들어, 컴퓨팅 디바이스는 예를 들어 사용자가 엄지손가락으로 스크롤하는 것이 판정될 때 축외 모션을 위한 더 큰 관용을 허용함으로써 컴퓨팅 디바이스에 접촉하는데 사용되는 손가락의 이해에 기초하여 입력 이벤트의 그 해석을 조정할 수 있다.

다른 예에서, IBSM(114)은 소프트(터치 스크린) 키보드 상에 타이핑할 때 사용자가 사용하는 손가락을 결정할 수 있다. 일 경우에, 사용자는 2개의 엄지손가락으로 타이핑할 수 있다. 다른 경우에, 사용자는 다른 손으로 디바이스를 파지하면서 하나의 손가락으로 타이핑할 수 있다. 이들 2개의 모드는 키 타격을 설명하는 상이한 각각의 이동 프로파일을 갖는다. IBSM(114)은 제공된 키를 타격하기 위해 어느 방법을 사용자가 이용하고 있는지를 추론하는 것을 돕기 위해 상이한 이동 프로파일을 사용할 수 있다. IBSM(114)은 이어서 각각의 유형의 터치 접촉을 해석할 때 적절한 가우스 분포를 인가할 수 있다. 이는 에러의 가능성을 감소시키면서 터치 스크린 타이핑의 효율을 향상시킬 수 있다.

도 15의 기능성은 완전히 우발적인 입력 동작을 검출하는데 또한 사용될 수 있다. 예를 들어, 몇몇 경우에, 정당한 입력 이벤트는 하나 이상의 지정된 이동 프로파일을 가질 수 있고, 반면에 비의도적 입력 이벤트는 하나 이상의 다른 지정된 이동 프로파일을 가질 수 있다. 예를 들어, 검지손가락으로의 디스플레이 표면 상의 "완전한" 탭은 정당한 입력 행동을 지시하는 프로파일을 가질 수 있고, 반면에 디스플레이 표면과의 우발적 접촉은 예를 들어 디스플레이 표면에 대해 스쳐지나가는 엄지손가락 또는 새끼손가락에 의해 발생될 수 있는 비의도적 입력 행동을 지시하는 프로파일을 가질 수 있다.

도 16은 사용자가 손으로 컴퓨팅 디바이스(1602)를 집어 올리거나 사용 후에 컴퓨팅 디바이스(1602)를 세팅하는 다른 시나리오를 도시한다. 도 16의 특정 예에서, 사용자는 손(1606)으로 주머니(1604) 내에 컴퓨팅 디바이스(1602)를 주머니(1604) 내에 배치하는 프로세스에 있다. 이 상황에서, IBSM(114)은 시간 윈도우에서 지정된 임계치를 초과하는 이동식 입력 메커니즘(들)(110)으로부터 이동 입력 이벤트를 수신할 수 있다. 입력 이벤트는 또한 디바이스가 특이한 뷰잉 자세로 이동되어 있다는 것을 드러낼 수 있다. 대형 이동 입력 이벤트는 사용자가 컴퓨팅 디바이스(1602)를 포켓(1604) 내에 배치하기 위해 공간을 통해 컴퓨팅 디바이스(1602)를 급속하게 이동시키고 뒤집히게 하는 가능성이 있기 때문에 생성된다. 또한 사용자가 컴퓨팅 디바이스(1602)를 주머니(1604) 내에 배치하는 프로세스에서 컴퓨팅 디바이스(1602)의 디스플레이 표면을 비의도적으로 터치하는 것을 가정한다. 만일 그러하면, IBSM(114)은 터치 입력 이벤트가 비의도적인 가능성이 있다고 결론을 내릴 수 있다(대형 이동 입력 이벤트 및 선택적으로 다른 팩터에 기초하여). 컴퓨팅 디바이스(1602)는 예를 들어 광 센서가 갑자기 컴퓨팅 디바이스(1602)가 어두운 환경으로 이동되었다는 것을 지시할 때, 컴퓨팅 디바이스(1602)가 주머니(1604) 내에 배치되었다는 사실을 독립적으로 확인할 수 있는 광 센서 및/또는 근접도 센서를 또한 포함할 수 있다. IBSM(114)은 이어서 이들을 무시함으로써 터치 입력 이벤트에 응답할 수 있다. 또한, 전술된 바와 같이, IBSM(114)은 비의도적 입력 동작 이전의 상태로 디스플레이 표면을 복원할 수 있다. 게다가 또는 대안적으로, IBSM(114)은 이전의 애플리케이션 상태를 복원할 수 있다.

예를 들어, 사용자가 그의 주머니 내에 디바이스를 배치하는 도중에 컴퓨팅 디바이스의 디스플레이 표면을 터치하는 것을 가정한다. IBSM(114)은 이동만에 기초하여 터치가 비의도적이었다는 결론을 내리는 것이 가능할 수 있다. 디바이스는 이어서 비의도적 터치에 의해 트리거링된 임의의 명령을 "실행취소"할 수 있다. 이동이 충분히 정보적이지 않으면, IBSM(114)은 광 센서 및/또는 다른 센서의 출력에 기초하여 터치가 비의도적이었다는 결론을 내릴 수 있다. 컴퓨팅 디바이스(1602)는 이어서 비의도적 접촉의 효과를 재차 제거할 수 있다.

다른 시나리오(도시 생략)에서, 사용자는 예를 들어 덜컹거리는 버스 탑승 등과 같은 노이지 환경(예를 들어, 불안정적 환경)에서 컴퓨팅 디바이스(1602)를 동작할 수 있다. 이 경우에, IBSM(114)은 노이지 환경을 지시하는 컴퓨팅 디바이스(1602)의 규칙적인 교란을 판정하기 위해 이동 입력 이벤트를 분석할 수 있다. 이 상황을 다루기 위해, IBSM(114)은 예를 들어 우발적인 것으로서 평가되는 터치 입력 이벤트의 부분을 무시하고 뿐만 아니라 잘못된 변경을 제거하기 위해 디스플레이 상태 및/또는 애플리케이션 상태(들)를 복원함으로써 전술된 동작을 수행할 수 있다. 게다가 또는 대안적으로, IBSM(114)은 이동 입력 이벤트와 연관된 배경 노이즈를 제외하기 위해 터치 입력 이벤트를 수정하려고 시도할 수 있다. 게다가 또는 대안적으로, IBSM(114)은 유효한 터치 이벤트가 발생하였음을 지시하는 감도를 감소시킬 수 있다. 이는 사용자가 의도적 터치 입력 이벤트를 정확하게 입력하는 것을 더 의도하게 할 것이다. 그러나, 이는 노이지 환경에 의해 발생된 비의도적 입력 이벤트를 더 효과적으로 무시하는 바람직한 효과를 또한 가질 것이다.

도 17은 사용자가 사용 중에 손(1704)으로 컴퓨팅 디바이스(1702)를 파지하는 시나리오를 도시한다. 이 경우에, 사용자의 엄지손가락(1706)은 컴퓨팅 디바이스(1702)의 디스플레이 표면에 비의도적으로 접촉할 수 있다. 대조적으로, 도 18은 사용자가 테이블 등 상에 컴퓨팅 디바이스(1802)를 편평하게 놓는 시나리오를 도시한다. 사용자는 이어서 컴퓨팅 디바이스(1802)의 디스플레이 표면의 좌하측 코너에서 검지손가락(1806)을 아래로 누르기 위해 손(1804)을 사용한다. IBSM(114)은 컴퓨팅 디바이스(1702, 1802)의 각각의 배향을 검사하고, 이들 접촉이 디스플레이 표면의 동일한 영역에서 발생하고 유사한 형상을 가질 수 있더라고, 도 17에서 발생한 엄지손가락 배치가 도 18에 도시된 손가락 배치에 비교하여 비의도적인 가능성이 많다고 결론내릴 수 있다. 이는 높이 파지할 때 도 17에 도시된 방식으로 컴퓨팅 디바이스(1702)를 파지하기 위해 사용자에게 일반적이기 때문이다. 그러나, 컴퓨팅 디바이스(1802)가 도 18에 도시된 방식으로 눕혀지는 경향이 있을 때 디스플레이 표면 상에 하나의 손가락을 우발적으로 배치할 가능성이 적다. 전술된 모션 분석은 배향에 기초하여 결론을 확인하는 것을 도울 수 있다. 게다가, 하나 이상의 다른 센서(광 센서, 근접도 센서 등과 같은)는 컴퓨팅 디바이스(1802) 상의 적절한 위치(들)에 배치되면, 컴퓨팅 디바이스가 도 18에 도시된 방식으로 테이블 상에 편평하게 눕혀지는지 여부를 판정하는 것을 도울 수 있다. IBSM(114)은 예를 들어 터치 입력 이벤트를 무시함으로써, 전술된 임의의 방식으로 도 17에 도시된 우발적인 터치를 다룰 것이다.

도 17의 경우에(그리고, 실제로 모든 시나리오에서), IBSM(114)은 또한 접촉 입력 이벤트 및 이동 입력 이벤트를 해석할 때 다른 환경적 팩터를 고려할 수 있다. 일 이러한 환경적 팩터는 입력 이벤트가 발생할 때 사용자가 상호 작용하는 용례이다. 예를 들어, 제 1 사용자가 북리더형 디바이스를 사용하여 콘텐츠를 읽고 이어서 페이지의 특정 부분 상에 엄지손가락을 배치하는 것을 가정한다. 제 2 사용자가 웹페이지를 통해 스크롤하고 페이지의 동일한 일반적인 부분에 엄지손가락을 배치하는 것을 가정한다. IBSM(114)은 제 2 시나리오에 비교된 제 1 시나리오를 위한 의도로서 엄지손가락 배치를 해석할 가능성이 많을 수 있다. 이는 사용자가 그 페이지를 북마크하기 위해 제 1 시나리오에서 페이지 상에 그 또는 그녀의 엄지손가락을 배치할 수도 있기 때문이다. 더욱이, 페이지를 잘못 북마킹하는 비용은 무시할만하고, 반면에 다른 페이지로 우발적으로 스크롤하거나 플립핑하는 비용은 사용자의 현재 작업에 대한 혼란의 견지에서 높다.

다른 듀얼 스크린 시나리오에서, IBSM(114)은 사용자가 컴퓨팅 디바이스를 파지하는 배향을 감지하기 위해 이동 입력 메커니즘을 사용할 수 있다. 판정된 배향은 사용자가 일 디스플레이 부분을 보지만 다른 부분은 보지 않는 것을 지시하는 프로파일을 적합할 수 있다. 즉, 사용자는 디스플레이 부분 중 단지 하나와의 상호 작용을 최적화하기 위해 컴퓨팅 디바이스를 배향할 수 있다. 이에 응답하여, IBSM(114)은 추정된 미사용된 디스플레이 부분을 저전력 상태로 배치할 수 있다. 대안적으로 또는 게다가, IBSM(114)은 이미지 감지 입력 메커니즘(112)과 같은, 어느 디스플레이 부분을 사용자가 뷰잉하는지를 판정하기 위한 다른 입력 메커니즘에 의존할 수 있다. 대안적으로 또는 게다가, 몇몇 상황에서, IBSM(114)은 미사용된 디스플레이 부부를 경유하여 수신되는 입력 이벤트를 무시하여, 이들을 비의도된 접촉으로 분류하도록 구성될 수 있다.

일반적으로, IBSM(114)은 상이한 방식으로 전술된 시나리오를 구현할 수 있다. 일 경우에, IBSM(114)은 의도적 및 비의도적 동작의 모두를 포함하는 다양한 공지의 동작의 텔테일 입력 특성을 설명하는 다양한 프로파일을 제공하는 데이터 저장부를 유지할 수 있다. IBSM(114)은 이어서 미지의 입력 동작을 진단하는 것을 돕기 위해 사전 저장된 프로파일의 데이터 저장부에 대해 미지의 입력 동작과 연관된 입력 이벤트를 비교할 수 있다. 데이터 저장부는 일단 진단되면 입력 동작을 다루기 위해 실행될 수 있는 거동을 지시하는 정보를 또한 포함할 수 있다.

대안적으로 또는 게다가, IBSM(114)은 접촉 입력 이벤트를 이동 입력 이벤트와 조합하기 위한 임의의 유형의 알고리즘 기술을 인가할 수 있다. 예를 들어, IBSM(114)은 이동 입력 이벤트에 기초하여 디스플레이 표면 상의 터치 접촉의 가능한 위치를 지시하는 공식을 인가할 수 있는데, IBSM(114)은 다음에 어떻게 이 위치(이동만에 기초하여 평가됨)가 접촉 입력 이벤트에 기초하여 평가되는 위치를 보정하는데 사용될 수 있는지를 지시하는 다른 공식을 인가할 수 있다. 이러한 알고리즘의 성질은 디바이스 특정적이고, 이론적 분석 및/또는 실험적 분석에 기초하여 개발될 수 있다.

B. 예시적인 프로세스

도 19 및 도 20은 섹션 A에서 설명된 전경 모드 및 배경 모드 각각에서 도 1의 컴퓨팅 디바이스(100)의 동작을 설명하는 절차(1900, 2000)를 도시한다. 컴퓨팅 디바이스의 동작을 기초하는 원리는 섹션 A에 설명되어 있기 때문에, 특정 동작이 이 섹션에서 요약 방식으로 다루어질 것이다.

도 19는 컴퓨팅 디바이스(100)의 의도적 이동에 응답하여 컴퓨팅 디바이스(100)를 제어하기 위한 절차(1900)를 도시한다. 블록 1902에서, IBSM(114)은 하나 이상의 접촉식 입력 메커니즘으로부터 제 1 입력 이벤트를 수신한다. 블록 1904에서, IBSM(114)은 하나 이상의 이동식 입력 메커니즘으로부터 제 2 입력 이벤트를 수신한다. 제 2 입력 이벤트는 의도적 방식으로 컴퓨팅 디바이스의 이동을 지시한다. 도 19의 우측 여백은 발생할 수 있는 몇몇 가능한 의도적 이동을 열거한다. 더 일반적으로, 블록 1902 및 1904는 임의의 순서로 수행될 수 있고 그리고/또는 이들 동작은 중첩될 수 있다. 블록 1906에서, IBSM(114)은 가능하다면 제 1 입력 이벤트 및 제 2 입력 이벤트에 기초하여 사용자가 행한 의도적 제스처를 해석한다. 블록 1908에서, IBSM(114)은 검출되어 있는 의도적 제스처와 상관되는 거동을 인가한다. 이 개념에서, 블록 1906에서 수행된 해석은 거동이 블록 1908에서 실행되는 것을 가능하게 하고, 여기서 블록 1906 및 1908의 동작은 동일한 구성 요소에 의해 또는 상이한 각각의 구성 요소에 의해 수행될 수 있다. 도 19의 우측 여백은 호출될 수 있는 몇몇 거동을 열거한다.

도 19에 도시된 피드백 루프는 IBSM(114)이 입력 동작의 시간적 진행에 걸쳐 입력 이벤트를 반복적으로 분석한다. 입력 동작의 과정에, IBSM(114)은 이것이 입력 동작의 성질을 검출하는 신뢰성을 증가시킬 수 있다. 먼저, IBSM(114)은 입력 동작의 성질을 진단하는 것이 불가능할 수 있다. 동작이 진행함에 따라, IBSM(114)은 이어서 비교적 낮은 신뢰도를 갖고 동작을 예측하는 것이 가능할 수 있고, 이는 실제로 입력 동작을 부정확하게 해석할 수도 있다. 입력 동작이 더 진행함에 따라, IBSM(114)은 그 신뢰성을 증가시키고, 가능하다면 결국에는 발생된 입력 동작의 유형을 정확하게 결정한다. 또는, IBSM(114)은 수신되고 있는 입력 이벤트에 의해 더 이상 지원되지 않는 해석을 포기할 수 있다. IBSM(114)은 디스플레이 표면을 복원함으로써 및/또는 전술된 방식으로 동작전 상태로의 임의의 인가에 의해 임의의 부정확한 가정을 "철회"할 수 있다.

도 20은 컴퓨팅 디바이스(100)의 비의도적 이동에 응답하여 컴퓨팅 디바이스(100)를 제어하기 위한 절차(2000)를 설명한다. 블록 2002에서, IBSM(114)은 하나 이상의 접촉식 입력 메커니즘으로부터 제 1 입력 이벤트를 수신한다. 블록 2004에서, IBSM(114)은 컴퓨팅 디바이스(100)의 이동에 응답하여 하나 이상의 이동식 입력 메커니즘으로부터 제 2 입력 이벤트를 수신한다. 더 일반적으로, 블록 2002 및 2004는 임의의 순서로 수행될 수 있고 그리고/또는 이들 동작은 중첩될 수 있다. 이 경우에 이동은 컴퓨팅 디바이스(100)의 배경 이동을 지시하는데, 이는 사용자의 활성 초점이 아닌 이동을 의미한다. 도 20의 우측 여백은 발생도리 수 있는 가능한 배경 이동의 일부를 열거하고 있다. 블록 2006에서, IBSM(114)은 다른 팩터와 선택적으로 조합하여, 제 1 입력 이벤트 및 제 2 입력 이벤트에 기초하여 발생된 입력 동작의 유형을 검출한다. 실제로, 제 2 입력 이벤트는 제 1 입력 이벤트의 해석을 수정하거나 변경한다. 블록 2008에서, IBSM(114)은 블록 2006에서 입력 이벤트의 유형의 검출에 응답하여 적절한 거동을 인가할 수 있다. 블록 2006 및 2008의 동작은 동일한 구성 요소에 의해 또는 상이한 각각의 구성 요소에 의해 수행될 수 있다. 도 20의 우측 여백은 IBSM(114)이 실행할 수 있는 가능한 거동의 일부를 열거하고 있다.

도 19에 설명된 것과 유사한 방식으로, 도 20에 도시된 피드백 루프는 IBSM(114)이 그 분석의 신뢰성을 점진적으로 향상시키기 위해 입력 동작의 과정 전체에 걸쳐 그 분석을 반복할 수 있다는 것을 지시한다.

C. 대표적 프로세싱 기능성

도 21은 전술된 기능의 임의의 양태를 구현하는데 사용될 수 있는 예시적인 전기적 데이터 프로세싱 기능성(2100)을 설명한다. 도 1을 참조하면, 예를 들어 도 21에 도시된 프로세싱 기능성(2100)의 유형은 컴퓨팅 디바이스(100)의 임의의 양태를 구현하는데 사용될 수 있다. 일 경우에, 프로세싱 기능성(2100)은 하나 이상의 프로세싱 디바이스를 포함하는 임의의 유형의 컴퓨팅 디바이스에 대응할 수 있다. 모든 경우에, 전기적 데이터 프로세싱 기능성(2100)은 하나 이상의 물리적 및 탠저블 프로세싱 메커니즘을 표현한다.

프로세싱 기능성(2100)은 RAM(2102) 및 ROM(2104)과 같은 휘발성 및 비휘발성 메모리, 뿐만 아니라 하나 이상의 프로세싱 디바이스(2106)를 포함할 수 있다. 프로세싱 기능성(2100)은 또한 선택적으로 하드 디스크 모듈, 광학 디스크 모듈 등과 같은 다양한 미디어 디바이스(2108)를 포함한다. 프로세싱 기능성(2100)은 프로세싱 디바이스(들)(2106)가 메모리[예를 들어, RAM(2102), ROM(2104) 등]에 의해 유지되는 명령어를 실행할 때 상기에 식별된 다양한 동작을 수행할 수 있다.

더 일반적으로, 명령어 및 다른 정보가 이들에 한정되는 것은 아니지만 정적 메모리 저장 디바이스, 자기 저장 디바이스, 광학 저장 디바이스 등을 포함하는 임의의 컴퓨터 판독 가능 매체(2110) 상에 저장될 수 있다. 용어 컴퓨터 판독 가능 매체는 복수의 저장 디바이스를 또한 포함한다. 모든 경우에, 컴퓨터 판독 가능 매체(2110)는 소정 형태의 물리적 및 탠저블 엔티티를 표현한다.

프로세싱 기능성(2100)은 사용자로부터 다양한 입력을 수신하기 위한[입력 메커니즘(2114)을 경유하여] 그리고 다양한 입력을 사용자에 제공하기 위한(출력 모듈을 경유하여) 입력/출력 모듈(2112)을 또한 포함한다. 일 특정 출력 메커니즘은 디스플레이 메커니즘(2116) 및 연관 그래픽 사용자 인터페이스(GUI)(2118)를 포함할 수 있다. 프로세싱 기능성(2100)은 하나 이상의 통신 콘딧(2122)을 경유하여 다른 디바이스와 데이터를 교환하기 위한 하나 이상의 네트워크 인터페이스(2120)를 또한 포함할 수 있다. 하나 이상의 통신 버스(2124)가 전술된 구성 요소들을 함께 통신적으로 결합한다.

통신 콘딧(들)(2122)은 임의의 방식으로, 예를 들어 근거리 통신망, 원거리 통신망(예를 들어, 인터넷) 등 또는 이들의 임의의 조합으로 구현될 수 있다. 통신 콘딧(들)(2122)은 임의의 프로토콜 또는 프로토콜의 조합에 의해 지배되는 유선 링크, 무선 링크, 라우터, 게이트웨이 기능성, 네임 서버 등의 임의의 조합을 포함할 수 있다.

본 발명의 요지가 구조적 특징 및/또는 방법론적 행동에 특정한 언어로 설명되었지만, 첨부된 청구범위에 규정된 요지는 전술된 특정 특징 또는 행동에 반드시 한정되는 것은 아니라는 것이 이해되어야 한다. 오히려, 전술된 특정 특징 및 행동은 청구범위를 구현하는 예시적인 형태로서 개시된다.

Claims (20)

1. 컴퓨팅 디바이스로서,
   상기 컴퓨팅 디바이스와의 접촉을 지시하는 적어도 하나의 접촉 입력 이벤트를 제공하기 위한 적어도 하나의 접촉식 입력 메커니즘(contact-type input mechanism) - 상기 적어도 하나의 접촉 입력 이벤트는 상기 컴퓨팅 디바이스의 디스플레이 표면 상에 렌더링된 콘텐츠의 선택에 대응함 - 과,
   해석 및 거동 선택 모듈(interpretation and behavior selection module: IBSM)에 입력을 제공하기 위한 적어도 하나의 감응식 입력 메커니즘(sensing-type input mechanism) - 상기 적어도 하나의 감응식 입력 메커니즘은 상기 컴퓨팅 디바이스가 포인팅되는 타겟 엔티티에 대응하는 센서 데이터를 제공하고, 상기 IBSM은 상기 타겟 엔티티에 대응하는 상기 센서 데이터로부터 상기 타겟 엔티티의 대응 식별자 및 이전에 등록되지 않은 위치를 자동으로 판정함 - 를 포함하되,
   상기 IBSM은 상기 타겟 엔티티의 상기 식별자 및 상기 위치와 함께 상기 선택된 콘텐츠를 공동으로(jointly) 평가하여 합성 제스처(a compound gesture)를 검출하고,
   상기 IBSM은 상기 컴퓨팅 디바이스가 상기 합성 제스처와 연관되는 거동을 실행할 수 있게 하는
   컴퓨팅 디바이스.
   
2. 제 1 항에 있어서,
   상기 컴퓨팅 디바이스는 휴대용 컴퓨팅 디바이스인
   컴퓨팅 디바이스.
   
3. 제 1 항에 있어서,
   상기 적어도 하나의 접촉식 입력 메커니즘은 상기 컴퓨팅 디바이스의 상기 디스플레이 표면과 손의 접촉을 감지하기 위한 터치 입력 메커니즘을 포함하는
   컴퓨팅 디바이스.
   
4. 제 1 항에 있어서,
   상기 컴퓨팅 디바이스는 상기 컴퓨팅 디바이스의 배향 및 모션 중 하나 이상을 지시하는 적어도 하나의 이동 입력 이벤트를 제공하기 위한 적어도 하나의 이동식 입력 메커니즘을 더 포함하는
   컴퓨팅 디바이스.
   
5. 제 4 항에 있어서,
   상기 IBSM은 상기 컴퓨팅 디바이스의 의도적 이동(intentional movement)이 상기 컴퓨팅 디바이스의 상기 디스플레이 표면 상에 제시되는 콘텐츠와의 접촉과 함께 수행될 때 상기 합성 제스처를 검출하도록 구성되는
   컴퓨팅 디바이스.
   
6. 제 5 항에 있어서,
   상기 컴퓨팅 디바이스의 의도적 이동은 상기 컴퓨팅 디바이스의 회전을 수반하는
   컴퓨팅 디바이스.
   
7. 제 6 항에 있어서,
   상기 컴퓨팅 디바이스의 초기 각도에 대하여, 상기 회전의 각도는 상기 거동이 실행되는 방식을 정의하는
   컴퓨팅 디바이스.
   
8. 제 6 항에 있어서,
   상기 회전이 수행되는 속도는 상기 거동이 실행되는 방식을 정의하는
   컴퓨팅 디바이스.
   
9. 제 1 항에 있어서,
   상기 타겟 엔티티는 개별 컴퓨팅 디바이스이고,
   상기 거동은 상기 타겟 엔티티로 선택된 객체를 전송하는 것인
   컴퓨팅 디바이스.
   
10. 제 1 항에 있어서,
    상기 타겟 엔티티는 사람이고 상기 거동은 상기 타겟 엔티티와 연관된 컴퓨팅 디바이스로 선택된 객체를 전송하는 것인
    컴퓨팅 디바이스.
    
11. 제 1 항에 있어서,
    상기 접촉 입력 이벤트는 상기 컴퓨팅 디바이스의 터치 감지 디스플레이 상의 적어도 하나의 파일의 시각적 표현을 선택하는 것을 포함하는
    컴퓨팅 디바이스.
    
12. 제 11 항에 있어서,
    상기 타겟 엔티티는 상기 컴퓨팅 디바이스로부터 조금 떨어져 위치한 유형의 객체인 물리적 휴지통이고, 상기 실행되는 거동은 상기 컴퓨팅 디바이스로부터 상기 적어도 하나의 파일을 자동으로 삭제하는 것을 포함하는
    컴퓨팅 디바이스.
    
13. 제 11 항에 있어서,
    상기 실행되는 거동은 상기 타겟 엔티티와 연관된 하나 이상의 컴퓨팅 디바이스 상의 대응 파일과 상기 적어도 하나의 파일을 자동으로 싱크하는 것(syncing)을 포함하는
    컴퓨팅 디바이스.
    
14. 제 1 항에 있어서,
    상기 컴퓨팅 디바이스는 상기 합성 제스처가 인식된 것을 나타내는 피드백을 제시하는
    컴퓨팅 디바이스.
    
15. 제 1 항에 있어서,
    2개 이상의 제 1 항의 컴퓨팅 디바이스가 동일한 타겟 엔티티를 향해 물리적으로 포인팅된다는 것을 판정하기 위해 상기 IBSM을 적용하는 단계를 더 포함하고,
    상기 실행되는 거동은 상기 동일한 타겟 엔티티를 향해 물리적으로 포인팅되는 그러한 상기 2개 이상의 제 1 항의 컴퓨팅 디바이스 사이에서 상기 타겟 엔티티의 능력을 공유하는 것을 자동으로 개시하는 것인
    컴퓨팅 디바이스.
    
16. 컴퓨팅 디바이스의 의도적 이동에 응답하여 상기 컴퓨팅 디바이스를 제어하기 위한 방법으로서,
    지정된 방식으로 상기 컴퓨팅 디바이스의 표면 상에 접촉점을 설정하는 것에 응답하여 적어도 하나의 터치 입력 메커니즘으로부터 적어도 하나의 멀티-터치 제스처 입력 이벤트를 수신하는 단계와,
    지정된 방식으로 상기 컴퓨팅 디바이스의 이동에 응답하여 적어도 하나의 이동식 입력 메커니즘으로부터 적어도 하나의 이동 입력 이벤트를 수신하는 단계와,
    상기 컴퓨팅 디바이스가 포인팅되는 타겟 엔티티에 대응하는 센서 데이터를 수신하기 위한 센서 입력 메커니즘을 사용하고, 상기 타겟 엔티티에 대응하는 센서 데이터로부터 상기 타겟 엔티티의 대응 식별자 및 이전에 등록되지 않은 위치를 자동으로 판정하는 단계 - 상기 적어도 하나의 이동 입력 이벤트는 상기 컴퓨팅 디바이스가 상기 타겟 엔티티에서 포인팅되는 동안 적어도 하나의 멀티-터치 제스처 입력 이벤트와 동시에 발생함 - 와,
    합성 제스처를 검출하기 위해 상기 타겟 엔티티의 상기 식별자 및 상기 위치와 함께 상기 동시에 발생하는 이동 및 멀티-터치 제스처 입력 이벤트를 공동으로 평가하는 단계 - 상기 합성 제스처는 상기 컴퓨팅 디바이스가 지정된 거동을 실행하도록 명령하는데 사용됨 - 를 포함하는
    컴퓨팅 디바이스 제어 방법.
    
17. 제 16 항에 있어서,
    상기 접촉점은 그래픽으로 제시된 하나 이상의 파일에 비례하여 상기 컴퓨팅 디바이스의 디스플레이 표면 상에 설정되는
    컴퓨팅 디바이스 제어 방법.
    
18. 하나 이상의 프로세싱 디바이스에 의해 실행될 때 해석 및 거동 선택 모듈(IBSM)을 제공하는 컴퓨터 판독 가능 명령어를 저장하기 위한 컴퓨터 판독 가능 저장 디바이스로서,
    상기 컴퓨터 판독 가능 명령어는,
    지정된 방식으로 컴퓨팅 디바이스의 디스플레이 표면 상에 제시된 콘텐츠의 접촉에 응답하여 하나 이상의 터치 입력 메커니즘으로부터 적어도 하나의 멀티-터치 제스처 입력 이벤트를 수신하도록 구성된 로직과,
    적어도 하나의 축에 대한 상기 컴퓨팅 디바이스의 의도적 회전에 응답하여 하나 이상의 이동식 입력 메커니즘으로부터 상기 적어도 하나의 멀티-터치 제스처 입력 이벤트와 동시에 발생하는 적어도 하나의 이동 입력 이벤트를 수신하도록 구성된 로직과,
    감응식 입력 메커니즘으로부터 센서 데이터를 수신하고 상기 컴퓨팅 디바이스가 포인팅되는 타겟 엔티티의 대응 식별자 및 이전에 등록되지 않은 위치를 판정하기 위해 상기 센서 데이터를 평가하도록 구성된 로직과,
    상기 타겟 엔티티의 상기 식별자 및 상기 위치와 함께 상기 동시에 발생하는 이동 입력 이벤트 및 멀티-터치 제스처 입력 이벤트를 공동으로 평가하여 합성 제스처를 검출하도록 구성된 로직과,
    상기 합성 제스처와 연관된 거동을 실행하도록 구성된 로직을 포함하는
    컴퓨터 판독 가능 저장 디바이스.
    
19. 제 18 항에 있어서,
    상기 적어도 하나의 멀티-터치 제스처 입력 이벤트에 의해 설정된 접촉점은 주밍(zooming)이 발생한 위치를 정의하는
    컴퓨터 판독 가능 저장 디바이스.
    
20. 제 18 항에 있어서,
    상기 컴퓨팅 디바이스의 초기 각도에 대하여, 상기 회전의 각도는 상기 거동이 실행되는 방식을 정의하는
    컴퓨터 판독 가능 저장 디바이스.

Images