KR102295271B1

KR102295271B1 - 펜 및 터치 감응 컴퓨팅 디바이스 인터랙션에 대한 센서 상관

Info

Publication number: KR102295271B1
Application number: KR1020167035472A
Authority: KR
Inventors: 켄 힌클리; 흐르보예 벤코; 미쉘 파후드; 앤드류 디. 윌슨; 포우랑 폴라드 이라니; 프랑스와 귐브레티에르
Original assignee: 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date: 2014-06-12
Filing date: 2015-06-08
Publication date: 2021-08-27
Also published as: CN106462341B; KR20170016869A; WO2015191409A1; JP6660309B2; EP3155508A1; US20170300170A1; US10168827B2; US20150363035A1; CN106462341A; JP2017517813A; US9727161B2

Abstract

펜(502)과 터치 감응 컴퓨팅 디바이스(504) 센서 상관 기법 실시예들은 터치 감응 펜 상에서의 다양한 그립들로부터 수신되는 센서 신호들과 터치 감응 컴퓨팅 디바이스에 대한 터치들과 상관시켜, 이러한 그립들과 터치들의 컨텍스트를 결정하고(520) 컨텍스트에 적절한 명령들을 터치 감응 펜 또는 터치 감응 컴퓨팅 디바이스에 발행한다(522). 터치 감응 펜과 터치 감응 컴퓨팅 디바이스 둘 다로부터 수신되는 동시적인 센서 입력들의 조합이 상관된다. 터치 감응 펜과 터치 감응 컴퓨팅 디바이스가 어떻게 터치 또는 파지되는지가 그들의 사용의 컨텍스트와 사용자의 의도를 결정하는 데 사용된다. 컨텍스트에 적절한 사용자 인터페이스 동작이 이어서 개시될 수 있다. 또한, 메타데이터를 라벨링하기 위해 컨텍스트가 사용될 수 있다(524).

Description

펜 및 터치 감응 컴퓨팅 디바이스 인터랙션에 대한 센서 상관{SENSOR CORRELATION FOR PEN AND TOUCH-SENSITIVE COMPUTING DEVICE INTERACTION}

많은 모바일 컴퓨팅 디바이스들(예컨대, 태블릿, 전화기 등)은 물론, 데스크톱 디지타이저, 드래프팅 보드(drafting board), 테이블톱, e-리더, 전자 화이트보드 및 다른 대형 디스플레이와 같은 다른 디바이스들이 입력을 위해 컴퓨팅 디바이스의 디지타이저 컴포넌트와 함께 펜, 포인터, 또는 펜 유형 입력 디바이스를 사용한다. 이 컴퓨팅 디바이스들 중 다수는 터치 감응(touch-sensitive) 스크린들을 가지며 펜과 그리고 맨손 터치와 또는 그 둘의 조합과 인터랙션한다.

이 발명의 내용은 이하에서 발명을 실시하기 위한 구체적인 내용에 추가로 기술되는 선택된 개념들을 간략화된 형태로 소개하기 위해 제공된다. 이 발명의 내용은 청구된 발명 요지의 핵심적인 특징들 또는 필수적인 특징들을 확인하는 것으로 의도되어 있지도 않고, 청구된 발명 요지의 범주를 정하는 데 보조 수단으로 사용되는 것으로 의도되어 있지도 않다.

일반적으로, 본원에 기술되는 바와 같은 펜과 컴퓨팅 디바이스 센서 상관 기법의 실시예들은 터치 감응 펜(예컨대, 본원에서 펜, 센서 펜 또는 터치 감응 스타일러스라고도 불리움) 상에서의 다양한 그립(grip)들로부터 수신된 센서 신호들과 터치 감응 컴퓨팅 디바이스(예를 들어, 터치 감응 태블릿 컴퓨팅 디바이스)에 대한 터치들 또는 그 상에서의 그립들을 상관시켜, 이러한 그립들 및 터치들의 컨텍스트를 결정하고 컨텍스트에 적절한 명령을 터치 감응 펜 및/또는 터치 감응 컴퓨팅 디바이스에 발행한다.

펜과 컴퓨팅 디바이스 센서 상관 기법의 다양한 실시예들에서, 터치 감응 펜과 터치 감응 컴퓨팅 디바이스 둘 다로부터 수신되는 동시적인(concurrent) 센서 입력들의 조합이 상관된다. 터치 감응 펜을 어떻게 잡고 있는지와 터치 감응 컴퓨팅 디바이스를 어떻게 터치하거나 잡는지가 그들의 사용의 컨텍스트와 사용자의 의도를 결정하는 데 사용된다. 이 그립 및 터치 입력들에 기초한 사용자 인터페이스 동작이 이어서 개시될 수 있다.

펜과 컴퓨팅 디바이스 센서 상관 기법의 일부 실시예들에서, 어느 한 디바이스가 사용자의 선호되는 손(preferred hand)에 또는 사용자의 비선호되는 손(non-preferred hand)에 파지되는지를 결정하기 위해, 추론된 컨텍스트를 결정하기 위해, 그리고 컨텍스트에 적절한 명령들 및 기능들을 개시하기 위해, 펜 및 컴퓨팅 디바이스 동작들이 또한 동시적인 터치 및 그립 센서 입력들과 상관될 수 있다. 예를 들어, 결정된 컨텍스트는 디스플레이 상에서의 우발적인(accidental) 콘텐츠 회전을 억제하기 위해 디스플레이 상에 디스플레이되는 콘텐츠를 패닝(pan) 또는 줌잉(zoom)하기 위해, 펜 관련 도구(pen specific tool)들의 메뉴를 디스플레이하기 위해, 캔버스 도구들 또는 드래프팅 도구들의 메뉴를 디스플레이하기 위해, 또는 컴퓨팅 디바이스의 디스플레이 상의 콘텐츠를 확대시키는 돋보기/루페(loupe)를 디스플레이하기 위해 명령들을 개시하는 데 사용될 수 있다.

게다가, 펜과 컴퓨팅 디바이스 센서 상관 기법의 일부 실시예들은 감지된 그립들 또는 터치들의 컨텍스트를 의미적으로(semantically) 라벨링하기 위해 메타 정보(meta information)를 찾는 데 사용될 수 있다. 예를 들어, 펜과 컴퓨팅 디바이스 센서 상관 기법의 일부 실시예들은 2개 이상의 터치 감응 디바이스들 상에서의 사용자에 의한 접촉들의 수신된 신호들을 상관시키고 신호들의 상관에 기초하여 접촉들의 컨텍스트를 결정한다. 접촉들의 결정된 컨텍스트가 애플리케이션에서 사용하기 위해 메타데이터로서 라벨링된다. 예를 들어, 이 컨텍스트는 사용자가 어느 손으로 디바이스를 잡고 있는지, 사용자가 디바이스를 어떻게 잡고 있는지, 몇 명의 사용자들이 디바이스를 공유하고 있는지 등일 수 있다. 도출된 메타데이터는 임의의 유형의 입력을 라벨링하는 데 사용될 수 있고, 다른 목적들을 위해 사용될 수 있다. 컨텍스트 메타데이터는 또한 컨텍스트에 적절한 사용자 인터페이스 동작을 개시하는 데 사용될 수 있다.

컨텍스트 관련 도구(context-specific tool)들을 사용자에게 제공하기 위해 사용자 또는 사용자들이 터치 감응 펜 및/또는 터치 감응 컴퓨팅 디바이스를 잡고 터치하는 자연스러운 방식들을 이용하는 아주 많은 다른 기능들이 가능하다.

청구된 발명 요지의 특정의 특징들, 양태들 및 장점들이 이하의 설명, 첨부된 청구범위, 및 첨부 도면들과 관련하여 더 잘 이해될 것이다.
도 1은 예시적인 자연스럽게 일어나는 코어 펜(core pen) 그립들 및 자세들을 나타낸 도면.
도 2는 터치 스크린 조작을 위한 예시적인 자연스럽게 일어나는 단일 손가락 확장 그립들을 나타낸 도면.
도 3은 터치 스크린 조작을 위한 예시적인 자연스럽게 일어나는 다중 손가락 확장 그립들을 나타낸 도면.
도 4는 다른 유형의 자연스럽게 일어나는 펜 그립들을 나타낸 도면.
도 5는, 본원에 기술되는 바와 같이, 펜과 컴퓨팅 디바이스 센서 상관 기법의 다양한 구현들을 구현하기 위한 프로그램 모듈들을 예시하는 예시적인 시스템을 나타낸 도면.
도 6은, 본원에 기술되는 바와 같이, 상관된 터치와 센서 펜 입력 메커니즘을 제공하기 위해 펜과 컴퓨팅 디바이스 센서 상관 기법을 사용하는 것의 예시적인 흐름도를 나타낸 도면.
도 7은 2개 이상의 터치 감응 디바이스들 상에서의 접촉들로 인해 수신되는 상관된 신호들에 기초하여 메타데이터를 제공하기 위해 펜과 컴퓨팅 디바이스 센서 상관 기법을 사용하는 것의 예시적인 흐름도를 나타낸 도면.
도 8은 터치 감응 컴퓨팅 디바이스의 디스플레이 화면 상에서의 입력의 제어를 계속하기 위해 포인팅 디바이스를 사용하는 것의 예시적인 흐름도를 나타낸 도면.
도 9는 터치 감응 컴퓨팅 디바이스를 주 사용자(primary user)로부터 부 사용자(secondary user)로 전달하는 것의 예시적인 흐름도를 나타낸 도면.
도 10은 터치 감응 컴퓨팅 디바이스 및 터치 감응 펜 둘 다를 주 사용자로부터 부 사용자로 전달하는 것의 예시적인 흐름도를 나타낸 도면.
도 11은, 본원에 기술되는 바와 같이, 펜이 터크 그립(tucked grip)으로 사용자의 선호되는 손에 파지되는 것에 기초하여 돋보기/루페 도구 입력 메커니즘을 제공하기 위해 펜과 컴퓨팅 디바이스 센서 상관 기법을 사용하는 것의 예시적인 예시를 나타낸 도면.
도 12는, 본원에 기술되는 바와 같이, 사용자의 비선호되는 손의 동작들에 기초하여 전체 캔버스 패닝/줌잉 입력 메커니즘을 제공하기 위해 펜과 컴퓨팅 디바이스 센서 상관 기법을 사용하는 것의 예시적인 예시를 나타낸 도면.
도 13은, 본원에 기술되는 바와 같이, 사용자의 선호되는 손과 사용자의 비선호되는 손 둘 다의 터치 및 그립 패턴들에 기초하여 드래프팅 도구 입력 메커니즘을 제공하기 위해 펜과 컴퓨팅 디바이스 센서 상관 기법을 사용하는 것의 예시적인 예시를 나타낸 도면.
도 14는, 본원에 기술되는 바와 같이, 사용자의 선호되는 손과 사용자의 비선호되는 손 둘 다의 터치 및 그립 패턴들에 기초하여 펜 도구 입력 메커니즘을 제공하기 위해 펜과 컴퓨팅 디바이스 센서 상관 기법을 사용하는 것의 예시적인 예시를 나타낸 도면.
도 15는, 본원에 기술되는 바와 같이, 사용자의 선호되는 손과 사용자의 비선호되는 손 둘 다의 터치 및 그립 패턴들에 기초하여 캔버스 도구 입력 메커니즘을 제공하기 위해 펜과 컴퓨팅 디바이스 센서 상관 기법을 사용하는 것의 예시적인 예시를 나타낸 도면.
도 16은, 본원에 기술되는 바와 같이, 2명의 사용자들이 그들 사이에서 터치 감응 펜을 전달하는 것과 터치 감응 펜 상에서의 양쪽 사용자들의 그립 패턴들 및 펜의 배향에 기초하여 컨텍스트에 적절한 기능들을 개시하는 것의 예시적인 예시를 나타낸 도면.
도 17은, 본원에 기술되는 바와 같이, 터치 감응 컴퓨팅 디바이스 상에서의 2명의 사용자들의 그립 패턴들 및 터치 감응 컴퓨팅 디바이스의 배향에 기초하여 2명의 사용자들이 그들 사이에서 터치 감응 컴퓨팅 디바이스를 전달하거나 공유하는 것의 예시적인 예시를 나타낸 도면.
도 18은, 본원에 기술되는 바와 같이, 펜과 컴퓨팅 디바이스 센서 상관 기법의 다양한 구현들을 구현하는 데 사용하기 위한, 다양한 센서들, 전원 및 통신 기능들을 가지는 터치 감응 펜과 함께, 간략화된 컴퓨팅 및 I/O 기능들을 가지는 간략화된 범용 컴퓨팅 디바이스를 나타낸 일반적인 시스템도.

청구된 발명 요지의 구현들의 이하의 설명에서, 본원의 일부를 형성하고 청구된 발명 요지가 실시될 수 있는 구체적인 구현들이 예시로서 도시되어 있는 첨부 도면들이 참조되고 있다. 여기 청구된 발명 요지의 범주를 벗어나는 일 없이 다른 구현들이 이용될 수 있고 구조적 변경들이 행해질 수 있다는 것을 잘 알 것이다.

1.0 서론

이하의 단락들은 터치 감응 컴퓨팅 디바이스들 상에서의 모바일 감지, 센서 보강된 펜, 그립 감지, 및 펜 + 터치 입력에 대한 서론을 제공한다.

1.1 핸드헬드 컴퓨팅 디바이스 상에서의 모바일 감지

모바일 디바이스들 상에서의 틸트, 압력, 및 근접 감지는 잘 쓰는 손을 검출하는 것, 세로/가로 검출, 또는 걷고 있는 상태에서의 사용 대 멈춰있는 상태에서의 사용과 같은 컨텍스트 적응을 가능하게 한다. 그립 감지는 모바일 디바이스가 사용자가 모바일 디바이스를 어떻게 잡고 있는지를 검출할 수 있게 하거나, 전화를 거는 것, 사진을 찍는 것, 또는 비디오를 시청하는 것과 같은 기능들을 자동으로 수행하기 위해 파지(grasp)를 사용할 수 있게 한다. 본원에 기술되는 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은 자연스러운 사용자 거동을 감지하는 것과, 그것을 단일의 또는 다수의 터치 감응 펜 및 터치 감응 컴퓨팅 디바이스(예컨대, 태블릿) 인터랙션들에 적용하는 것의 측면을 채택한다.

다중 터치 입력 및 관성 센서(3축 자이로스코프, 가속도계, 및 자력계를 갖는 IMU(Inertial Measurement Unit))는 파지 및 운동 역학에 기초하여 모바일 디바이스가 사용자 의도를 분간할 새로운 가능성을 제공한다. 게다가, 다른 센서들은 이 모바일 디바이스들의 위치를 추적할 수 있다. 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은, 이 유형의 동작 감지, 그립 감지, 및 다중 터치 입력들이 개별적인 펜 및 터치 감응 컴퓨팅(예컨대, 태블릿) 디바이스들에 걸쳐 분포될 때, 그 입력들을 이용하는 새로운 기법들을 예시하고 있다.

1.2 태블릿에 대한 그립 및 감지

태블릿과 같은 경량 컴퓨팅 디바이스들은 많은 새로운 그립들, 움직임들, 및 감지 기법들을 제공한다. 본원에 기술되는 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은 펜 + 터치 인터랙션들을 감지하기 위해 - 태블릿과 펜 둘 다에서 동시에 - 풀 그립 감지(full grip sensing) 및 동작 감지를 최초로 구현한 것이다. 유의할 점은, "그립"이 기구(implement) 또는 디바이스의 3D 배향 또는 움직임도 고려하는 특정의 손 접촉 패턴의 종합적 조합으로서 시스템에 의해 인식될 수 있고; 즉, 현재 관찰된 "그립"을 가능한 정확하게 분류하기 위해 이 자유도들 모두가 인식 절차에 의해 이용될 수 있기 때문에, 터치 감응 그립 감지와 관성 동작 감지가 명확히 구분될 수 없다는 것이다. 이와 같이, "그립"이라는 용어가 사용될 때마다, 터치와 동작 또는 배향 자유도의 가능한 조합이 암시된다.

1.3 손바닥 검출 및 의도적이지 않은 터치 핸들링

손바닥 접촉은 펜 + 터치 인터랙션 동안 상당한 잘못된 활성화 문제들을 야기할 수 있다. 예를 들어, 일부 메모 작성 애플리케이션들은 손바닥 차단(palm-blocking)을 포함하지만, 사용자가 어떻게 그리고 어디에 쓸 것인지에 관한 애플리케이션 특정 가정들에 의존하는 것처럼 보인다. 일부 손바닥 거부palm-rejection) 기법들은 사용자에게 손바닥을 내려놓기 전에 펜 선단(pen tip)을 화면 상에 또는 그 근방으로 가져갈 것을 요구하며, 이는 사용자들에게 그들의 자연스러운 움직임들을 수정할 것을 요구한다. 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은 터치 스크린 접촉이 펜을 잡고 있는 손과 연관될 때를 검출하기 위해 센서들을 사용한다.

1.4 센서 보강된 다중-DOF 펜 입력

자연스러운 사용을 꼭 방해하는 일이 없이 메뉴를 호출하거나 모드 스위치를 트리거링하기 위해 보조적인 틸트, 롤, 및 다른 펜 자유도들이 결합될 수 있다. 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은 사용자가 펜을 터킹하고 있는 동안 하나 이상의 손가락들을 펼 수 있는 기능들을 구현한다. 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은, 사용자가 화면으로부터 꽤 떨어져서 펜을 잡고 있는 경우에도, 이 접촉들을 개별적인 기능들을 갖는 상이한 컨텍스트들로서 감지할 수 있다.

펜이 동작, 그립, 및 표면-근접 범위 감지로 보강될 수 있다. 한 유형의 펜은 삼각대 쓰기 그립(tripod writing grip)을 검출하기 위해 또는 상이한 유형의 브러시들을 호출하기 위해 그립 감지를 사용한다. 다른 시스템들은 적절한 스케칭 보조기구들을 제공하는 데 도움을 주기 위해 그립 인식을 지원하고 (예컨대, 수평 대 드래프팅 테이블 사용을 위한) 연관된 컴퓨팅 디바이스/태블릿의 배향을 감지하는 특징으로서 펜 상에 통합된 IMU를 사용한다. 본원에 기술되는 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은 감지된 펜 그립들 및 동작을 펜 + 터치 제스처들과 결합하여 이용하는 것에 의해 그리고 또한 그립 감지를 태블릿 자체로 확장하는 것에 의해 이 노력들을 능가한다.

2.0 자연스러운 펜 및 태블릿 사용자 거동

본원에 기술되는 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은 사용자들에게 컨텍스트에 적절한 도구들을 제공하기 위해 자연스러운 펜 및 터치 감응 컴퓨팅 디바이스(예컨대, 태블릿) 사용자 거동들을 사용하여 이 거동들과 연관된 컨텍스트를 결정한다. 그에 따라, 디지털 펜 및 태블릿 작업들 동안에 일어나는 일부 통상적인 그립들, 그리고 특히 펜이 손에 있는 동안 표현되는 터치 스크린 인터랙션들을 검토하는 것이 유용하고, 이들이 이하에서 열거되고 도 1, 도 2, 도 3 및 도 4에 도시되어 있다. 아주 다양한 거동들(이하에서 B1 내지 B11로서 열거됨)이 관찰되었고 펜과 컴퓨팅 디바이스 센서 상관 기법의 다양한 구현들을 설계하는 데 사용되었다. 이하의 단락들은 오른손잡이의 거동들에 초점이 맞추어져 있으며; 왼손잡이는 다양한 부가의 그립들 및 적응들을 나타내는 것으로 알려져 있다. 유의할 점은, 이하에서 논의되고 도 1, 도 2, 도 3 및 도 4에 도시되는 거동들이 사실상 예시적인 것에 불과하고 다른 거동들이 전적으로 가능하다는 것이다.

2.1 거동 B1. 터치를 사용하는 동안 펜을 치워 놓기(stowing).

사용자들이 태블릿과 같은 터치 감응 컴퓨팅 디바이스의 터치 스크린 상에서 터치 제스처들을 수행할 때 펜을 치워 놓는 경향은 명백하다. 사용자들이 오랜 시간 동안 펜을 다시 필요로 하지 않을 것으로 예상할 때 또는, 온스크린 키보드를 사용하여 많은 텍스트를 타이핑하는 것과 같은, 펜을 손에 쥔 채로 수행하는 것이 너무 어렵거나 불편할 것으로 생각되는 작업에 직면하는 경우, 사용자들은 전형적으로 펜을 내려 놓는다.

2.2 거동 B2. 펜을 치워 놓기 위한 터크 대 손바닥

사용자가 펜을 치워놓기 위해 이용하는 2가지 상이한 그립들이 있다. 도 1의 104에 도시된 터크 그립(펜이 손가락들 사이에 끼여 있음)과 도 1의 106에 도시된 손바닥 그립(손가락들이 펜대(pen barrel) 주위를 가볍게 감싸고 있음)이 있다. 사용자들은 일시 중지 동안 또는 터치 인터랙션들을 제공하기 위해 펜을 치워 놓는다.

2.3 거동 B3. 선호된 펜 치워놓기 그립은 작업 컨텍스트에 의존한다.

터크 그립들(104)과 손바닥 그립들(106) 둘 다를 이용하는 사용자들에 대해, 터크 그립은 단시간의 일시적인 터치 인터랙션들을 제공하는 반면, 사용자가 터치 인터랙션들의 보다 긴 시퀀스를 예상하는 경우 손바닥 그립이 주로 사용된다. 다른 사용자들은 펜을 치워 놓기 위해 터크 그립들(104)만을 사용한다.

2.4 거동 B4 그립 대 자세.

각각의 그립 - 즉, 펜을 잡는 각각의 방식 - 에 대해, 종종 손목 외전(wrist supination)(즉, 손바닥을 위쪽으로 향하게 회전시키는 것)에 의해, 펜 배향이 변경되는 일정 범위의 자세들이 일어난다. 펜에 대한 사람의 파지 동작(grasping motion)들은 따라서 펜대에 대한 손 접촉의 패턴은 물론, 펜의 3D 배향도 포함한다. 도 1에 도시된 바와 같이, 터크 그립(104) 및 손바닥 그립(106)에 대해서는 완전 손바닥 외전(full palmar supination)(112)이 관찰되지만, 쓰기 그립에 대해서는 반 외전(half-supination)(110)만이 관찰된다.

2.5 거동 B5. 터치를 위한 확장 그립들.

도 2 및 도 3에 도시된 바와 같이, 사용자들이 터치 스크린과 접촉하기 위해 펜을 잡고 있는 동안 하나 이상의 손가락들을 펴는 많은 확장 그립들이 존재한다. 사용자들이 터크 그립 또는 손바닥 그립 중 어느 하나로부터 표현할 수 있는, 단일 손가락 확장 그립들(도 2의 200) 대 다중 손가락 확장 그립들(도 3의 300)로서 대별하여 분류되었다. (유의할 점은, 예시되어 있지 않지만, 세 손가락 확장 그립들도 일부 그립들로부터 가능하다는 것이다.)

2.6 거동 B6. 펜 그립들의 변형.

사용자들은 쓰기를 하기 위한 삼각대 그립의 많은 변형들을 나타내고, 이 변형들은 사용자들의 그에 따른 터크 그립, 손바닥 그립, 및 확장 그립의 변형들을 가져온다. 예를 들어, 한 사용자의 터킹 스타일로 인해 사용자가 단일 터치 제스처들을 위해 사용자의 넷째손가락을 선호한다(터크-넷째손가락 확장 그립(도 2의 206)을 참조).

2.7 거동 B7. 그립들에서의 일관성.

각각의 사용자는 동일한 상황들에서 동일한 펜 그립들을 일관성있게 적용하는 경향이 있다. 사용자들은 또한, 인터랙션에서의 인지된 장벽(피로 또는 비효율 등)이 사용자들에게 그립을 바꿀 동기를 부여할 때까지, 어느 것이든 최소의 노력을 요구하는 그립을 유지하려는 경향이 있다. 사용자들은 서 있을 때보다 앉아 있을 때 더 자주 모바일 컴퓨팅 디바이스(예컨대, 태블릿) 상에서 그립을 전환하는데, 그 이유는 아마도 서 있는 동안 이러한 디바이스를 잡거나 그에 대한 그립을 바꾸는 효과적인 방식들이 거의 없기 때문이다.

2.8 거동 B8. 터치 스크린 회피 거동.

사용자들은 화면과의 우발적인 접촉을 피하기 위해, 쓰기를 하는 동안 손바닥을 터치 스크린 위쪽에 떠 있게 하는 것, 또는 사용자의 손가락들을 게와 유사한 자세(crab-like posture)로 벌리는 것과 같은, 펜 그립들 및 손 자세들을 종종 채택한다. 다른 형태의 터치 스크린 회피는, 터치 감응 컴퓨팅 디바이스를 집어 들 때 엄지손가락을 터치 스크린에 너무 가까이에 아무렇게나 있게 하는 것보다는, 엄지손가락을 터치 감응 컴퓨팅 디바이스의 바깥쪽 테두리(예컨대, 태블릿 베젤)를 따라 자리잡게 하는 것이다. 이러한 부자연스럽고 어쩌면 피곤하게 하는 적응들은 시스템이 의도적인 터치와 의도적이지 않은 터치의 컨텍스트를 구별할 수 없는 것을 반영한다.

2.9 거동 B9. 펜 컨트롤들을 활성화시키기 위한 손가락 떼기

사용자들이 펜대 버튼을 쓰기 그립(도 1의 102, 108, 110)으로부터만 그리고 이어서 집게손가락으로만 활성화시키는 것이 관찰되었다. 사용자들은 버튼을 탭핑할 때 펜을 가만히 잡고 있다. 엄지손가락이 또한 손바닥과 유사한 엄지손가락 슬라이드(Palm-like Thumb Slide) 그립(도 4의 404)으로부터의 제어들을 위해 어쩌면 이용가능하다.

2.10 거동 B10. 외부 정밀도(External Precision) 그립.

사용자들은 작은 대상물을 정확하게 가리키기 위해, 펜을 손가락 끝 쪽에 그리고 쓰기 표면에 수직으로 잡고 있는, 외부 정밀도 그립(도 4의 402)을 이용한다. 이것은 이 그립이 검출될 때, 펜 선단 아래에 있는 태블릿 화면의 영역을 자동으로 줌잉하는 것과 같은, 컨텍스트 향상을 제공할 가능성을 제공한다.

2.11 거동 B11. 전달 그립.

참여자들이 펜과 터치 감응 컴퓨팅 디바이스(예컨대, 태블릿)를 다른 사람에게 전달할 때 전달 파악이 관찰된다. 사용자의 의도가 명확하도록 그리고 다른 사람이 먼 쪽으로부터 디바이스를 잡을 수 있도록, 사용자는 디바이스를 강한 그립(power grip) 이상으로 견고하게 잡고 디바이스를 수평으로 유지하면서 디바이스를 사용자의 신체로부터 내미는 경향이 있다.

이러한 자연스러운 거동들을 기술하였으며, 이하의 섹션들은 이 그립들, 터치들, 및 동작들 모두의 인식이 사용자의 의도된 동작들을 수행하기 위한 컨텍스트에 적절한 도구들을 제공하기 위해 이 거동들을 이용하는 데 어떻게 사용되는지를 기술한다.

3.0 펜과 컴퓨팅 디바이스 센서 상관 기법에 대한 소개:

본원에 기술되는 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은 터치 감응 컴퓨팅 디바이스/펜(예컨대, 태블릿 스타일러스) 분산 감지 시스템이 펜 + 터치 인터랙션을 위해 발생하는 자연스럽게 일어나는 사용자 거동들 및 독특한 컨텍스트들을 감지하기 위한 교차 디바이스 동기 제스처들 및 교차 채널 입력들을 제공한다. 그렇지만, 유의할 점은, 여기서 논의의 많은 부분이 펜/태블릿 인터랙션들에 초점이 맞추어져 있지만, 펜과 유사한 다른 기계적 매개물들 또는 소형 웨어러블 디바이스들이, 펜과 컴퓨팅 디바이스 센서 상관 기법의 변형들을 사용하여, 태블릿들과 인터랙션하는 동안 컨텍스트 감지를 가능하게 할 수 있다는 것이다. 예를 들어, 집게손가락에 착용된 소형 동작 감지 반지는 사용자가 화면을 그 손가락으로 탭핑할 때와 다른 손가락으로 탭핑할 때를 감지할 수 있다. 손목시계, 손가락 끝 또는 손톱에 착용된 센서, 팔찌, 암 밴드, 붕대 또는 랩(wrap), 팔꿈치 패드, 멜빵, 손목 밴드, 센서들로 보강된 장갑, 피하 이식물, 또는 심지어 매립된 센서들을 갖는 전자 섬유(e-textile) 셔츠 소매는 관련된 기법들을 가능하게 하고 본 기술분야의 통상의 기술자에게 제안하는 다른 유사한 예들을 나타낸다. 마찬가지로, 자, 컴퍼스, 메스(scalpel), 핀셋(tweezer), 스탬프, 돋보기, 렌즈, 키패드, 계산기, 운형자, 형상 템플릿, 페인트 브러시, 또는 에어브러시와 같은 다른 수동 도구들이 관련 기법들을 역시 가능하게 하는 펜과 유사한 기구 - 선호되는 손으로 잡든 비선호되는 손으로 잡든 관계없음 - 로서 역할할 수 있을 것이다.

본원에 기술되는 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은 사용자들이 이 디바이스들을 어떻게 자연스럽게 조작하는지를 이용하는 새로운 기법들을 제공하기 위해 그립 및 터치 감지를 이용한다. 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은 사용자가 펜을 쓰기 그립으로 잡는지 치워진 모드에서 손바닥으로 감싸고 그리고/또는 사용자의 손가락들 사이에 터킹하는지를 검출할 수 있다. 게다가, 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은, 사용자의 비선호되는 손에 의해 생성되는 드래그 및 핀치 제스처들과 같은, 맨손 입력들을, 검출가능한 동작 신호를 펜에 반드시 제공하는 터치 감응 펜을 잡고 있는 손에 의해 생성되는 터치 제스처들과 구별할 수 있다. 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은 어느 손이 터치 감응 컴퓨팅 디바이스(예컨대, 태블릿)를 잡고 있는지를 감지하고, 펜에 대한 화면의 상대적 배향을 결정하며 우발적인 화면 콘텐츠 회전을 방지하기 위해 화면의 배향과 터치 패턴들을 사용할 수 있다. 터치 감응 펜과 터치 감응 컴퓨팅 디바이스로부터의 센서 신호들을 선택적으로 결합시키고 그들을 사용하여 서로를 보완하는 것에 의해, 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은, 예를 들어, 쓰기를 하는 동안 의도적이지 않은 터치 입력들을 무시하는 것, 또는 사용자가 사용자의 손가락들 사이에 터킹된 터치 감응 펜으로 핀치할 때 나타나는 상세한 스트로크 작업을 위한 돋보기와 같은 컨텍스트에 적절한 도구들을 지원하는 것에 의해, 사용의 컨텍스트에 따라 펜 및 컴퓨팅 디바이스와의 사용자 인터랙션을 조정할 수 있다.

펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은, 본원에 기술되는 바와 같이, 터치 감응 펜을 잡고 있는 사용자와 터치 감응 컴퓨팅 디바이스(예컨대, 터치 감응 태블릿 컴퓨터) 상에서의 터치 접촉들 및 그립들 그리고 이 디바이스들의 연관된 동작들 및 배향들 간의 상관된 그립 패턴들에 기초하여 각종의 입력 기법들 및 명령들을 가능하게 하기 위해 전원(예컨대, 배터리) 및 다수의 센서들(예컨대, 센서 펜)로 향상된 터치 감응 펜을 사용한다. 예를 들어, 센서 펜 상에서의 사용자의 그립 패턴들과 터치 감응 컴퓨팅 디바이스 상에서의 터치 및 그립 패턴들을 검출하기 위해 압력 센서들이 사용될 수 있다. 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은 사용자의 의도 및 사용자가 터치 감응 펜 또는 터치 감응 컴퓨팅 디바이스를 사용하고자 하는 컨텍스트를 결정하기 위해 센서 펜 그립들과 터치 감응 컴퓨팅 디바이스 터치들 및 그립들을 상관시킨다. 이것은, 예를 들어, 사용자가 디바이스를 사용자의 선호되는 손으로 잡고 있는지 사용자의 비선호되는 손으로 잡고 있는지와 같은, 자연스럽게 일어나는 사용자 거동들에 기초한다. 결정된 사용자 의도 및 사용의 컨텍스트는 이어서 터치 감응 컴퓨팅 디바이스 및/또는 터치 감응 펜에 대한 컨텍스트에 적절한 명령들 및 기능들을 생성하는 데 사용된다.

압력이라는 용어는, 압력 센서 등과 관련하여 본원에 기술되는 바와 같이, 다양한 센서 유형들 및 구성들을 지칭할 수 있다. 예를 들어, 다양한 경우들 및 구현들에서, 압력은 디스플레이에 대해 가해지는 펜 선단 압력을 지칭할 수 있다. 일반적으로, 펜 선단 압력은 전형적으로 펜 내부에 있는 어떤 유형의 압력 트랜스듀서에 의해 감지되지만, 펜 선단 압력 감지가 일부 디바이스들에서는 디스플레이/디지타이저 자체에 의해 행해지는 것이 또한 가능하다. 그에 부가하여, 압력 또는 압력 감지 등과 같은 용어는 또한 터치 감응 펜 또는 터치 감응 컴퓨팅 디바이스의 외부 케이스 또는 표면과 접촉하는 손(또는 손잡이들)의 그립 압력을 감지하는 개별 채널을 지칭할 수 있다. 펜과 컴퓨팅 디바이스 센서 상관 기법에 의해 이용되는 다양한 감지 방식들은 다양한 기능들 및 명령들을 개시하기 위해 양쪽 유형의 압력 감지(즉, 펜 선단 압력 및 그립 압력)를 이용할 수 있다.

본원에 기술되는 펜과 컴퓨팅 디바이스 센서 상관 기법의 많은 구현들 중 일부를 가능하게 하는 데 사용되는 다양한 디바이스들은 논의를 위해 본원에서 센서 펜 또는 터치 감응 펜이라고 종종 지칭되는 펜, 포인터, 펜 유형 입력 디바이스 등을 포함한다. 게다가, 본원에 기술되는 센서 펜 또는 터치 감응 펜은 전원 및 다양한 조합의 센서들을 포함하도록 구성될 수 있다. 예를 들어, 유도성 결합, 펜이 컴퓨팅 디바이스의 범위 내에 들어거나 컴퓨팅 디바이스에 도킹되거나 컴퓨팅 디바이스 상에/그 근방에 놓여질 때 신속하게 재충전되는 펜에 포함된 수퍼커패시터, 펜에 포함된 배터리, 펜 연결선(pen tether)으로부터 전력을 획득하는 것, 또는 펜의 동작들을 통해 기생 전력을 획득하는 것과 같이, 전원을 펜에 포함시키는 다양한 가능성들이 있다. 전원은 펜이 움직이지 않고 있거나 파지되어 있지 않을 때의 자동 저전력 모드를 특징으로 할 수 있다. 센서들은 이 결정도 통보할 수 있다. 다양한 조합의 센서들은 관성 센서, 가속도계, 압력 센서, 그립 센서, NFC(near-field communication) 센서, RFID 태그 및/또는 센서, 온도 센서, 마이크로폰, 자력계, 용량성 센서, 자이로스코프, 디바이스의 위치를 추적할 수 있는 센서, 지문 센서, 전기 피부 반응(galvanic skin response) 센서 등을, 다양한 컴퓨팅 디바이스들과 인터페이싱하기 위한 다양한 무선 통신 기능들과 함께, 포함할 수 있지만, 이들로 제한되지 않는다. 유의할 점은, 이 센서들 중 일부 또는 전부가 다축 또는 다중 위치 센서(예컨대, 3축 가속도계, 자이로스코프, 및 자력계)일 수 있다는 것이다. 그에 부가하여, 다양한 구현들에서, 본원에 기술되는 터치 감응 펜은 또한 터치 감응 펜이 다른 컴퓨팅 디바이스들, 다른 터치 감응 펜들과 결합하거나 협력하여, 또는 심지어 독립형 컴퓨팅 디바이스로서 동작할 수 있게 하는 메모리 및/또는 컴퓨팅 기능들을 포함하도록 구성되었다.

펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은 하나 이상의 터치 감응 표면들 또는 영역들(예컨대, 터치 스크린, 터치 감응 베젤 또는 케이스, 호버링 유형 입력의 검출을 위한 센서, 광학 터치 센서 등)을 가지는 임의의 터치 감응 컴퓨팅 디바이스와 함께 사용하도록 구성가능하다. 유의할 점은, 터치 감응 컴퓨팅 디바이스가 단일 터치 디바이스와 다중 터치 디바이스 둘 다를 포함한다는 것이다. 터치 감응 컴퓨팅 디바이스의 예는 컴퓨팅 디바이스에 연결된 터치 감응 디스플레이 디바이스, 터치 감응 전화기 디바이스, 터치 감응 미디어 플레이어, 터치 감응 e-리더, 노트북, 북릿(booklet)(듀얼 화면), 태블릿 컴퓨터 유형 컴퓨터, 또는 하나 이상의 터치 감응 표면들 또는 입력 방식들을 가지는 임의의 다른 디바이스를 포함할 수 있지만, 이들로 제한되지 않는다. 이러한 컴퓨팅 디바이스의 터치 감응 영역은 디스플레이와 연관될 필요가 없고, 접촉 감응 영역의 위치 또는 유형(예컨대, 디바이스 상의 디바이스의 전면 대 어떤 연관된 디스플레이도 갖지 않는 디바이스의 배면(back))은 하나 이상의 동작 제스처들(즉, 동작 제스처에 대응하는 사용자 인터페이스 동작들)을 개시하기 위한 입력 파라미터로서 고려될 수 있다.

"터치"라는 용어는, 본 문서 전체에 걸쳐 사용되는 바와 같이, 일반적으로 용량성 센서 등을 사용하는 컴퓨팅 디바이스의 터치 감응 디스플레이 또는 다른 터치 감응 표면 상에서의 물리적 사용자 접촉(예컨대, 손가락, 손바닥, 손 등)을 지칭할 것이다. 그렇지만, 일부 터치 기술들은, 디스플레이 근방에서 손가락들, 펜, 및 손의 기하학적 형태를 검출하기 위해 고도로 민감한 자기 커패시턴스 검출기를 사용하는 것은 물론, 펜 선단 호버링 감지와 같은, 어느 정도의 비접촉식 감지를 포함한다. IR 센서-방출기 쌍들 또는 센서-인-픽셀(sensor-in-pixel) 디스플레이 요소들의 어레이들이 또한 이 목적을 위해 펜, 태블릿, 및 키보드 상에 설치될 수 있다. 따라서, 터치와 그립이 "그립" 검출의 종합적 또는 통합된 개념을 위해 이러한 비접촉 신호들도 포함할 수 있다.

그에 부가하여, 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은 터치 감응 컴퓨팅 디바이스의 하나 이상의 터치 감응 표면들에 의해 수신되는 유효한 터치와 유효하지 않은 터치를 구분하기 위한 각종의 기법들을 사용할 수 있다. 유효한 터치와 접촉의 예는 사용자 손가락 터치(제스처 유형 터치를 포함함), 펜 또는 펜 터치 또는 입력, 호버링 유형 입력, 또는 이들의 임의의 조합을 포함한다. 유효하지 않은 또는 의도되지 않은 터치와 관련하여, 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은 디바이스 또는 애플리케이션 제어를 위해 의도적이지 않은 접촉 또는 입력으로서 의도되지 않은 의도적인 접촉을 수신할 것으로 예상되는 터치 감응 입력 표면들의 하나 이상의 영역들 또는 서브영역들을 디스에이블시키거나 무시한다. 입력으로서 의도되지 않을 수 있는 접촉의 예는 사용자가 터치 스크린 상에서 펜으로 쓰는 동안 사용자의 손바닥이 그 스크린 상에 있는 것, 또는 터치 감응 베젤을 잡는 것에 의해 컴퓨팅 디바이스를 잡는 것 등을 포함하지만, 이들로 제한되지 않는다.

펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은, 다음과 같은 것들(이들로 제한되지 않음)을 비롯한, 터치 감응 펜 및 터치 감응 컴퓨팅 디바이스와의 펜 기반 사용자 인터랙션에 관련된 다수의 장점들을 제공한다:

- 펜과 터치 감응 컴퓨팅 디바이스(예컨대, 태블릿) 사용의 전체적인 컨텍스트를 포착하기 위해 그립 및 동작을 감지하는 신규의 해결책.

- (손바닥으로부터의, 또는 디바이스를 집어 들 때 엄지손가락으로부터의) 의도적이지 않은 터치를 완화시키지만 또한 비선호되는 손에 의한 의도적인 터치를 증진시키기 위해, 또는 확장 그립을 통해 펜 입력과 터치 입력을 인터리빙시키기 위해 센서들을 사용하는 것.

- 예를 들어, 맨손 입력, 펜을 터킹하고 있는 동안의 핀치 입력을 위한 개별 도구들, 및 펜이 쓰기를 위한 자세로 있을 때 사용자가 비선호되는 손으로 호출할 수 있는 드래프팅 도구들을 비롯한, 그립, 동작, 및 터치 스크린 접촉을 결합시키는 신규의 컨텍스트에 적절한 도구.

3.0 예시적인 시스템

펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은, 부분적으로, 터치 감응 펜 또는 터치 감응 컴퓨팅 디바이스 중 어느 하나 또는 둘 다와 관련하여 다양한 동작들 및 기능들을 트리거링하기 위해 터치 감응 펜과 터치 감응 컴퓨팅 디바이스로부터의 센서 입력들을 상관시키는 것에 의해 동작한다.

도 5는 펜과 컴퓨팅 디바이스 센서 상관 기법의 다양한 구현들을 구현하기 위한 프로그램 모듈들을 예시하는 예시적인 시스템(500)의 도면을 제공한다. 보다 구체적으로는, 도 5는 통신 링크(506)를 통해 터치 감응 컴퓨팅 디바이스(504)와 통신하는 터치 감응 펜 또는 센서 펜(502)을 나타내고 있다. 본원에서 더욱 상세히 논의되는 바와 같이, 센서 펜(502)은 각종의 센서들을 포함할 수 있다. 센서 펜(502) 내의 센서 모듈(508)은 그 센서들 중 하나 이상의 센서들의 판독치들을 모니터링하고, 판독치들을 터치 감응 컴퓨팅 디바이스(504)(또는 어쩌면 계산들을 수행하고 입력들을 터치 감응 컴퓨팅 디바이스(504)에 제공하는 다른 컴퓨팅 디바이스(도시되지 않음))로 송신되도록 하기 위해 통신 모듈(510)에 제공한다. 유의할 점은, 다른 구현에서, 일부(또는 모든) 계산이 송신하기 전에 펜에서 곧바로 행해질 수 있고(즉, 기계 학습에 의한 그립 인식), 일부 데이터가 터치 감응 컴퓨팅 디바이스로 항상 송신되는 것은 아닐 수 있다(즉, 결과가 펜에 로컬적으로 사용되는 경우)는 것이다. 어떤 경우에, 펜이 데이터를 터치 감응 컴퓨팅 디바이스로 송신하는 대신에 또는 그에 부가하여, 터치 감응 컴퓨팅 디바이스가 정보를 펜으로 송신할 수 있다.

센서 펜 입력 모듈(512)은 센서 펜(502)의 하나 이상의 센서들(예컨대, 관성, 가속도계, 압력, 터치, 그립, NFC(near-field communication), RFID, 온도, 마이크로폰, 자력계, 용량성 센서, 자이로스코프, IR 또는 용량성 근접 센서, 지문 센서, 전기 피부 반응 센서 등)로부터 입력을 수신하고, 그 센서 입력을 그립 및 터치 결정 모듈(516)에 제공한다. 이와 유사하게, 컴퓨팅 디바이스 터치 입력 모듈(514)은 터치 감응 컴퓨팅 디바이스(504)의 하나 이상의 센서들(예컨대, 관성, 가속도계, 압력, 터치, 그립, NFC(near-field communication), RFID, 온도, 마이크로폰, 자력계, 용량성 센서, 자이로스코프, IR 또는 용량성 근접 센서, 지문 센서, 전기 피부 반응 센서 등)로부터 입력을 수신하고, 그 센서 입력을 그립 및 터치 결정 모듈(516)에 제공한다.

그립 및 터치 결정 모듈(516)은 센서 펜의 터치 감응 표면들 상에서의 사용자의 손의 접촉(및/또는 펜의 배향 - 요(yaw), 피치(pitch), 롤(roll) 또는 그의 어떤 서브셋 - 및/또는 센서들로부터의 다른 정보)에 기초하여 센서 펜(502) 상에서의 사용자의 그립을 결정한다. 예를 들어, 펜을 잡고 있는 사용자의 그립 패턴 또는 패턴들을 결정하기 위해 펜 상에서의 사용자의 그립으로부터의 센서 신호들이 그립 패턴들의 데이터베이스(518)와 비교될 수 있다. 일 구현에서, 훈련된 분류기가 센서 신호들을 그립 훈련 데이터에 기초하여 센서 펜(502) 상에서의 그립 패턴들로 분류하는 데 사용된다. 유의할 점은, 이 그립 훈련 데이터가 (1) 큰 샘플의 많은 사용자들에 대한 것일 수 있고; (2) 특정 사용자로부터의 입력들에만 기초하여 적응되거나 훈련될 수 있으며; (3) 이 둘의 어떤 가중된 조합일 수 있다는 것이다. 또한, 입력의 두드러진 치수들(예컨대, 왼손잡이 대 오른손잡이 사용자, 사용되고 있는 디바이스의 크기 또는 유형, 디바이스의 현재 사용 자세, 책상 위에 있는지, 손으로 잡고 있는지, 무릎 위에 놓여 있는지, 기타)에 기초한 개별적인 데이터베이스들이 전체적으로 또는 부분적으로 각각의 사용 사례에 최적화된 개별적인 데이터베이스들의 사용을 트리거링할 수 있다. 이와 유사하게, 그립 및 터치 결정 모듈(516)은 터치 감응 컴퓨팅 디바이스의 디스플레이 상에서의 사용자의 손가락들 또는 손의 접촉의 신호들(및/또는 디바이스의 배향 및/또는 센서들로부터의 다른 정보)에 기초하여 터치 감응 컴퓨팅 디바이스(504)의 디스플레이 상에서의 사용자의 터치를 결정한다. 그에 부가하여, 그립 및 터치 결정 모듈(516)은 사용자가 터치 감응 컴퓨팅 디바이스의 케이스의 터치 감응 표면들을 잡고 있는지를 결정할 수 있다. 예를 들어, 디바이스를 잡고 있는 사용자의 그립 패턴 또는 패턴들을 결정하기 위해 터치 감응 컴퓨팅 디바이스의 케이스 상에서의 사용자의 그립으로부터의 센서 신호들이 그립 패턴들의 데이터베이스(518)와 비교될 수 있다. 일 구현에서, 하나 이상의 터치 감응 센서들은 케이스의 어떤 부분들이 터치되고 있는지의 영상을 보고한다. 영상을 해석하고 그립을 유추하기 위해 다양한 영상 처리 기법들이 사용될 수 있다. 일 구현에서, 디바이스의 케이스 상에서 (다중 터치, 용량성) 그립 패턴이 감지되고(예컨대, 케이스가 용량성 센서들의 매트릭스를 포함함), 터치 감응 컴퓨팅 디바이스(및/또는 펜)의 동작 신호들 및 배향이 또한 이 결정에 반영된다. 일부 구현들에서, 터치 스크린이 비접촉식 근접 감지 기능을 가지는 경우, 디바이스의 화면 가장자리에서 근접을 감지하는 것은 케이스 상에서의 그립 감지에 대한 양호한 대용물로서 역할할 수 있다. 일 구현에서, 훈련된 분류기가 센서 신호들을 그립 훈련 데이터에 기초하여 터치 감응 컴퓨팅 디바이스의 케이스 상에서의 그립 패턴들로 분류하는 데 사용된다.

그립 및 터치 결정 모듈(516)은, 사용자가 펜을 어떻게 잡고 있는지를 사용자가 터치 감응 컴퓨팅 디바이스의 화면 또는 케이스와 어떻게 인터랙션하고 있는지와 연관시키기 위해, 센서 펜(502)과 터치 감응 컴퓨팅 디바이스(504)의 센서들로부터의 센서 입력들을 상관시킨다. 이 상관된 데이터는 센서 펜 및/또는 터치 감응 컴퓨팅 디바이스를 터치하는 사용자의 선호되는 손/비선호되는 손을 결정하는 데 사용될 수 있다. 일 구현에서, 펜 동작으로 인해 선호되는 손이 비선호되는 손과 구별된다. 선호되는 손의 일부가 컴퓨팅 디바이스의 터치 스크린과 접촉하게 될 때 펜 동작에서의 충돌(bump)이 측정된다. 접촉 후에, 펜을 잡고 있는 손이 사용자의 선호되는 손에 파지되어 있다는 것을 확인하기 위해 펜 동작이 터치 스크린 동작에 상관되어 있다는 것이 또한 연속적으로 확인될 수 있다. 일부 구현들에서, 상관관계를 보여주는 동작들이 관찰되는 한, 사용자의 선호되는 손 또는 비선호되는 손을 결정하기 위해 (예컨대, 화면에의 터치가 아주 감지하기 힘들거나 부드러운 경우) 펜이 화면을 터치할 때 펜이 충돌을 등록하는 것이 필요하지 않다.

결정된 그립 및 터치 패턴들은 물론, 다른 상관된 센서 입력들이 또한 컨텍스트 결정 모듈(520)에 입력될 수 있다. 컨텍스트 결정 모듈(520)은 상관된 그립 패턴들, 터치 패턴들 및 다른 센서 데이터로부터 사용자의 의도 및 사용자가 의도하고 있는 동작들의 컨텍스트를 결정한다. 컨텍스트 예는 몇 명의 사용자들이 펜 또는 터치 감응 컴퓨팅 디바이스와 인터랙션하고 있는지, 몇 개의 디바이스들과 인터랙션하고 있는지, 사용자가 센서 펜 또는 컴퓨팅 디바이스를 사용자의 선호되는 손 또는 비선호되는 손으로 잡고 있는지, 펜 또는 컴퓨팅 디바이스의 개별 또는 상대적 동작들, 터치 감응 펜 또는 터치 감응 컴퓨팅 디바이스가 어떻게 파지되거나 터치되고 있는지, 애플리케이션 상태, 펜 배향, 터치 감응 컴퓨팅 디바이스 배향, 컴퓨팅 디바이스에 대한 센서 펜의 상대적 배향, 터치 감응 펜 및 터치 감응 컴퓨팅 디바이스의 궤적 및/또는 가속도, 사용자의 ID(identity) 등을 포함하지만, 이들로 제한되지 않는다. 이 컨텍스트 데이터는 이 데이터에 의미적으로 라벨링하는 데 사용될 수 있는 메타데이터 라벨링 모듈(524)로 송신될 수 있다.

터치/그립 패턴들 및 다른 연관된 센서 판독치들 및 임의의 연관된 컨텍스트 데이터가 명령 개시 모듈(522)에 입력된다. 명령 개시 모듈(522)은 터치 감응 펜(502) 및/또는 터치 감응 컴퓨팅 디바이스(504) 상에서 하나 이상의 명령들 또는 동작 제스처들을 트리거링하거나 활성화시키는 것에 의해 사용자의 의도를 보다 효율적이고 사용자에 친숙한 방식으로 수행하는 것을 돕기 위해 터치 감응 컴퓨팅 디바이스 및/또는 센서 펜 상에서 하나 이상의 명령들 또는 기능들을 트리거링하는 데 이용가능한 입력들을 평가한다. 이하에서 상세히 논의될 트리거링되는 다양한 동작 제스처들 또는 명령들(526, 528, 530, 532, 534, 536, 538, 및 540)의 예는 명령 개시 모듈(522)에 의해 활성화된다. 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은 사용자 정의된 동작 제스처들(542)이 사용자가 터치 감응 컴퓨팅 디바이스(504) 상에서 터치 입력들 및/또는 그립들과 함께 센서 펜 그립들을 사용하여 하나 이상의 기능들 또는 동작 제스처들을 정의할 수 있게 하는 사용자 인터페이스를 통해 정의될 수 있게 한다. 동작 제스처들 또는 기능들(526 내지 540) 중 다수는 본 문서에서 나중에 더욱 상세히 기술되고, 이 동작 제스처들 및 기능들 중 다수의 동작 제스처들 및 기능들의 예가 도 11 내지 도 17에 예시되어 있다.

호버링 범위와 관련하여, 다양한 구현들에서, 펜과 컴퓨팅 디바이스 센서 상관 기법은 터치 감응 컴퓨팅 디바이스(504)의 디지타이저 위쪽으로의 센서 펜(502)의 거리를 고려한다. 각종의 범위들이 고려될 수 있지만, 다양한 테스트된 구현들에서, 물리적 접촉, 디지타이저의 호버링 범위 내에 있음, 또는 디지타이저의 범위 밖에 있음을 비롯한, 3개의 범위 카테고리들이 고려되었다. 임의의 특정의 동작 제스처들에 대한 활성화 메커니즘은, 컴퓨팅 디바이스의 임의의 다른 상관된 입력들, 터치들, 및/또는 동작들과 함께, 센서 펜의 이 상이한 범위들을 고려할 수 있다.

일부 구현들에서, 원시 센서 판독치들이 컴퓨팅 디바이스에 의한 평가 및 특성파악을 위해 센서 펜(502)으로부터 컴퓨팅 디바이스(504)에 보고되거나 전송될 수 있다. 예를 들어, 센서 펜(502) 내의 관성 센서들로부터의 원시 센서 데이터가 센서 펜에 의해 터치 감응 컴퓨팅 디바이스(504)에 보고될 수 있고, 컴퓨팅 디바이스는 이어서 관성 센서들로부터의 데이터의 함수로서 펜 배향을 결정할 수 있다. 대안적으로, 다양한 구현들에서, 센서 펜(502)은 다양한 센서들로부터의 입력을 평가하기 위해 온보드 계산 능력을 사용할 수 있다. 예를 들어, 펜 배향을 결정하기 위해 센서 펜(502) 내의 관성 센서들로부터 도출된 센서 데이터가 센서 펜의 계산 컴포넌트에 의해 처리될 수 있고, 틸트의 배향이 이어서 센서 펜에 의해 컴퓨팅 디바이스(504)에 보고될 수 있다.

센서 펜의 계산 능력에 따라 센서 펜(502)에 의한 컴퓨팅 디바이스에의 원시 센서 데이터의 보고와 처리된 센서 데이터의 보고의 임의의 원하는 조합이 수행될 수 있다. 그렇지만, 설명을 위해, 본원에서의 논의는 일반적으로 다양한 명령들, 동작 제스처들 또는 다른 입력 시나리오들을 결정하기 위해 컴퓨팅 디바이스에 의한 추가적인 처리를 위해 센서 펜(502)에 의한 터치 감응 컴퓨팅 디바이스(504)에의 센서 데이터의 보고를 언급하고 있다. 일부 구현들에서, 사용자가 무엇을 하고 있는지를 결정하기 위해, 컴퓨팅 디바이스의 터치 감응 스크린 상에서의 사용자의 터치가 펜 내의 자이로스코프 또는 가속도계에 대한 충돌에 상관된다. 사실, 기법의 많은 구현들은 사용자의 의도가 무엇인지를 결정하기 위해 터치, 펜 상에의 충돌 및 펜 그립 사이의 상관들을 사용한다. 펜과 컴퓨팅 디바이스 센서 상관 기법에 의해 가능하게 되는 다양한 동작 제스처들 및 기능들의 몇몇 예가 이하에서 간략하게 소개된다.

예를 들어, "돋보기" 또는 "루페 도구"(도 5의 530)라고 지칭되는, 하나의 이러한 입력 기법은 펜이 사용자의 손에서의 터킹된 위치에 파지되어 있다는 것을 구분하기 위해 터치 감응 펜(502) 상에서의 사용자의 그립으로부터의 센서 입력을 사용한다. 동시에, 컴퓨팅 디바이스의 터치 감응 스크린 상에서의 사용자의 터치는 사용자가 화면에 대해 핀치 동작과 같은 두 손가락 터치 제스처를 하는 것으로 등록된다. 펜을 잡고 있는 손에 의한 핀치 동작이 돋보기/루페 도구(530)를 나타나게 하도록 이 2개의 감지된 입력들이 상관된다. 그 근거는, 펜이 단지 일시적으로 치워져 있고 여전히 준비 완료되어 있다는 사실에 의해 사용자가 펜을 곧 다시 사용하려는 의도를 보여주기 때문에, 펜을 잡고 있는 손에 의한 터치 인터랙션들이 펜을 지원하는 기능들을 강조해야만 한다는 것이다. 돋보기/루페 도구(530)는 화면 상에 디스플레이되는 콘텐츠의 로컬 영역에만 영향을 미치는 신속한 줌잉을 지원하고 강조한다는 점에서 유리하고, 이는 펜에 의한 세부 작업에 특히 아주 적합하다. 일부 구현들에서, 사용자의 의도를 결정하기 위해, 컴퓨팅 디바이스의 터치 감응 스크린 상에서의 사용자의 터치가 펜 내의 자이로스코프 또는 가속도계에 대한 충돌에 상관된다.

"전체 캔버스 패닝/줌잉" 제스처(도 5의 532)라고 지칭되는 관련된 제스처가, 일 구현에서, 컴퓨팅 디바이스의 디스플레이 상에 디스플레이되는 콘텐츠의 표준의 전체 캔버스 줌잉을 트리거링하기 위해, 사용자의 비선호되는 손에 의한 터치 감응 컴퓨팅 디바이스(504)(예컨대, 태블릿)의 디스플레이 상에서의 핀치 동작과 같은, 감지된 사용자의 두 손가락 터치 제스처를 사용한다. 센서 펜(502)이 준비 완료되어 있지 않을 때(예컨대, 센서 펜이 사용자의 선호되는 손에 터크 그립 또는 손바닥 그립으로 파지될 때, 또는 사용자가 센서 펜을 전혀 잡고 있지 않을 때) 이 기능이 제공된다. 비선호되는 손 제스처가, 이어서, 펜에서의 대응하는 동작이 없는 것으로 인해 그 자체로서 인식될 수 있다.

본원에서 "펜 도구들" 제스처(도 5의 536)라고 지칭되는 다른 제스처는 사용자가 터킹된 위치(예컨대, 터크 그립)에서 사용자의 선호되는 손으로 센서 펜을 잡고 있다는 것을 검출하기 위해 그리고 컴퓨팅 디바이스(504)의 터치 감응 디스플레이 상에서의 사용자의 선호되는 손의 손가락으로부터의 탭핑과 같은 동시적인 접촉을 검출하기 위해 센서 펜(502) 및 터치 감응 컴퓨팅 디바이스(504)의 센서들을 사용한다. 이 2개의 동작들의 상관은 펜 관련 도구들의 메뉴를 나타나게 한다. 일부 구현들에서, 펜이 사용자의 선호되는 손에서 완전히 손바닥에 숨겨진 위치에 파지될 때 펜 도구 옵션들의 상이한 팔레트가 디스플레이될 수 있다.

본원에서 "캔버스 도구들" 제스처(도 5의 538)라고 지칭되는 유사한 제스처는 사용자가 비쓰기 위치에서 사용자의 선호되는 손으로 터치 감응 펜(502)을 잡고 있을 때를 검출하기 위해 그리고 컴퓨팅 디바이스(504)의 터치 스크린 상에서의 사용자의 비선호되는 손에 의한 손가락 탭핑과 같은 접촉을 검출하기 위해 펜의 그리고 터치 감응 컴퓨팅 디바이스 상의 센서들을 사용한다. 이 상관된 동시적인 동작들은 캔버스 도구들의 메뉴가 컴퓨팅 디바이스의 디스플레이 상에 디스플레이되게 한다. 예를 들어, 이 도구들의 메뉴는 실행 취소/재실행, 잘라내기-복사-붙여넣기, 새 페이지, 검색 및 유사한 명령들을 포함할 수 있을 것이다.

본원에서 "드래프팅 도구들" 제스처(도 5의 540)라고 지칭되는 다른 제스처는 터치 감응 펜이 쓰기 그립으로 사용자의 선호되는 손에 파지되어 있다는 것을 검출하기 위해 그리고 사용자의 비선호되는 손에 의한 컴퓨팅 디바이스(504)의 터치 감응 디스플레이에 대한 한 손가락 터치와 같은 접촉을 검출하기 위해 펜(502)의 그리고 터치 감응 컴퓨팅 디바이스(504) 상의 센서들을 사용한다. 사용자의 비선호되는 맨손에 의한 한 손가락 탭핑은 펜이 쓰기를 할 준비가 될 때 드래프팅 도구들의 세트를 나타나게 한다. 이 특수 도구들은 펜의 사용을 지원한다. 이러한 도구들은, 예를 들어, 아크를 그리는 컴퍼스 또는 화면 상의 콘텐츠를 채색하는 에어브러시일 수 있다.

그에 부가하여, "고급 드래프팅 도구들" 제스처(도 5의 528)는 센서 펜이 쓰기 그립으로 사용자의 선호되는 손에 파지되어 있다는 것을 검출하기 위해 그리고 사용자의 비선호되는 손에 의한 컴퓨팅 디바이스의 터치 감응 디스플레이에서의 핀치 동작과 같은 두 손가락 터치 제스처를 검출하기 위해 펜(502) 상의 센서들 그리고 터치 감응 컴퓨팅 디바이스(504) 상의 센서들을 사용한다. 사용자의 비선호되는 손에 의한 핀치 동작은 펜이 쓰기를 할 준비가 될 때 고급 드래프팅 도구들의 세트를 나타나게 한다. 이 특수 도구들은 제2 터치로부터 이득을 보는 펜의 사용을 추가로 지원한다. 예를 들어, 이 고급 드래프팅 도구들은 자 또는 정렬 에지(alignment edge), 운형자 또는 (이용되는 특정의 고급 드래프팅 도구에 따라, 어쩌면 두 손가락 위치, 회전, 및/또는 스케일링에 의해) 새 종이를 당기는 기능을 포함할 수 있다.

컴퓨팅 디바이스에 대해 상관된 센서 펜 동작들의 다른 예는 센서 펜이 사용자에 의해 집어 들어지거나 내려 놓아질 때를 결정하기 위해 펜 센서들(예컨대, 가속도계, 압력 센서, 관성 센서, 그립 센서 등)을 사용하는 것을 포함한다. 컴퓨팅 디바이스 상에서의 사용자의 그립 패턴들(예컨대, 사용자에 의해 파지되지 않음, 사용자의 비선호되는 손으로 디스플레이를 터치함 등)과 상관된 현재 센서 그립 패턴(즉, 사용자의 선호되는 손에 터킹됨, 사용자의 선호되는 손으로 쓰기를 할 준비가 완료됨, 내려 놓음)을 고려하는 것에 의해, 적절한 명령들이 개시될 수 있다.

펜과 컴퓨팅 디바이스 센서 상관 기법의 일부 구현들은 다수의 부가 접촉들을 검출하기 위해 터치 감응 컴퓨팅 디바이스(504)의 케이스의 배면 및 측면들에서의 용량성 그립 감지를 사용한다.

펜과 컴퓨팅 디바이스 센서 상관 기법의 일부 구현들은 다중 사용자/다중 디바이스 모드에서 사용될 수 있다. 예를 들어, 일부 구현들에서, 터치 감응 컴퓨팅 디바이스(504) 상에서의 주 사용자의 그립과 터치 감응 컴퓨팅 디바이스 상에서의 부 사용자의 그립이 감지되고 상관된다. 그립들은, 예를 들어, 터치 감응 컴퓨팅 디바이스 상의 터치 감응 표면들에 의해 감지될 수 있거나, 그립들은 각각의 사용자의 전기 피부 반응을 결정하는 것에 의해 감지될 수 있고 전기 피부 반응에서의 차이들이 한 사용자를 다른 사용자와 구별하는 데 사용될 수 있다. 예를 들어, 가속도계 데이터, 위치 데이터, 궤적 데이터 등과 같은, 다른 센서 데이터가 또한 사용될 수 있다. 터치 감응 컴퓨팅 디바이스(504) 상에서 실행 중인 애플리케이션에서 명령을 개시하기 위해 주 사용자와 부 사용자의 그립들이 평가된다. 부 사용자의 그립이 주 사용자로부터 부 사용자로 컴퓨팅 디바이스를 넘겨주는 것을 나타낸다고 결정하기 위해 터치 감응 컴퓨팅 디바이스(504)의 상관된 그립들과 배향이 평가될 수 있다. 이 경우에, 넘겨주기 이후에 터치 감응 컴퓨팅 디바이스의 하나 이상의 기능들이 제한될 수 있다. 대안적으로, 부 사용자의 그립이 주 사용자의 그립과 동시에 일어난 것으로 결정될 수 있다. 이 경우에, 컴퓨팅 디바이스 상에서 공유 모드에 들어갈 수 있다. 예를 들어, 부 사용자는 컴퓨팅 디바이스의 디스플레이 상에 현재 디스플레이되는 콘텐츠를 보고 마크업(markup)하기만 하도록 허용되어 있을 수 있다. 사용자가 양손으로 펜을 집어들고 잡고 있어, 펜이 이용가능하지 않게 되는 많은 경우들이 있다.

펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은 사용자가 어느 손으로 터치 감응 컴퓨팅 디바이스(504)를 잡고 있는지를 감지하기 위해 그립을 사용한다. 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은 이어서 터치 감응 컴퓨팅 디바이스(504)의 적절한 측면에서 "엄지손가락 메뉴"(도 5의 534)를 호출하기 위해 이것을 사용하며, 이는 유리하게도 사용자가 다양한 버튼들 및 메뉴들을 엄지손가락으로 직접 활성화시킬 수 있게 한다. 사용자가 제2 손으로 터치 감응 컴퓨팅 디바이스를 잡는 경우, 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은 엄지손가락 메뉴를 엄지손가락 메뉴가 처음으로 나타난 측면에 보이게 둔다.

터치 감응 컴퓨팅 디바이스와 유사하게, 펜과 컴퓨팅 디바이스 센서 상관 기법의 일부 구현들에서, 터치 감응 펜(502) 상에서의 주 사용자의 그립과 부 사용자의 그립이 감지될 수 있다. 이전에 논의된 바와 같이, 예를 들어, 가속도, 위치 및 궤적 데이터와 같은 다른 데이터가 또한 고려될 수 있다. 터치 감응 펜(502) 상에서 실행 중인 애플리케이션에서 명령을 개시하기 위해 주 사용자와 부 사용자의 그립들이 이어서 평가된다. 예를 들어, 부 사용자의 그립이 주 사용자로부터 부 사용자로 펜(502)을 넘겨주는 것을 나타내는 것으로 결정될 수 있다. 이 경우에, 펜(502)의 넘겨주기를 통해 데이터가 주 사용자로부터 부 사용자로 전송될 수 있다. 부 사용자는 이어서 전송된 데이터를 컴퓨팅 디바이스 - 예를 들어, 스타일러스가 원래 사용되었던 상이한 컴퓨팅 디바이스 - 로 다운로드할 수 있다. 대안적으로, 넘겨주기 이후에 터치 감응 펜(502)의 하나 이상의 기능들이 제한될 수 있다.

센서 펜(502) 상에서의 그리고 컴퓨팅 디바이스(504) 상에서의 그립 패턴들 이외에, 일부 구현들은 컴퓨팅 디바이스 및 센서 펜의 동작을 고려한다. 예를 들어, 구현들은 펜이 사용자의 선호되는 손(또는 비선호되는 손)에 파지되어 있는지를 결정하기 위해 그립 패턴들과 함께 센서 펜(502) 및 컴퓨팅 디바이스의 동작들을 사용한다. 상관된 그립 패턴들 및 연관된 정보로부터 사용자의 선호되는 손과 비선호되는 손이 결정될 수 있다. 예를 들어, 펜 충돌을 나타내는 동작 신호가 터치 감응 컴퓨팅 디바이스 상에서의 새로운 접촉과 동시에 일어날 때, 센서 펜(502) 및 터치 감응 컴퓨팅 디바이스(504) 둘 다 상에서의 그립들/터치들이 상관되고, 이 인식된 그립 패턴들에 기초하여 특정 동작 제스처들 또는 명령들이 개시된다.

게다가, 다양한 구현들에서, 펜과 컴퓨팅 디바이스 센서 상관 기법은 또한 유리하게도 사용자에 의한 원하지 않는 또는 의도되지 않은 터치들을 거부하거나 무시한다. 손바닥 거부 모듈(도 5의 526)이 이 목적을 위해 사용될 수 있다. 상세하게는, 손바닥 거부 모듈(526)은 임의의 터치가 의도된 것인지 손바닥이 부주의하게 터치 감응 컴퓨팅 디바이스 상에 놓이는 것에 의해 행해졌는지를 결정하기 위해 그 터치를 평가하고, 이어서 그 터치를 추가의 처리를 위해 입력으로서 수락하거나 그 터치를 거부한다. 그에 부가하여, 다양한 구현들에서, 손바닥 거부 모듈은, 그 터치의 컨텍스트에 따라, 임의의 터치 감응 표면들의 특정의 영역들 상에서의 또는 그 근방에서의 사용자 손바닥 터치들을 디스에이블시키거나 무시(즉, "거부")한다. 유의할 점은, "거부된" 터치들이 손바닥이 어디에 놓여 있는지를 알기 위해 여전히 펜과 컴퓨팅 디바이스 센서 상관 기법에 의해 입력으로서 취급될 수 있지만, 의도적이지 않은 버튼 누름들 또는 제스처들이 운영 체제 또는 애플리케이션들에서 우연히 트리거링되지 않도록 플래깅될 수 있다는 것이다. 일부 구현들에서, 펜과 컴퓨팅 디바이스 센서 상관 기법은 접촉이 움직이고 있을 때(접촉이 터치하고 있는 한) 손바닥을 (예를 들어, 할당된 접촉 식별자를 사용하여) 추적할 수 있다. 게다가, 일부 구현들에서, 손바닥 접촉으로부터 주어진 반경 내에서 새로운 접촉들이 검출되는 경우, 그 접촉들이 또한 손바닥 접촉(예컨대, 손가락 관절)으로서 라벨링되고 무시될 것이다. 손바닥 거부 모듈(526)과 유사하게, 엄지손가락 접촉 거부 모듈(544)이 또한 인에이블될 수 있다.

4.0 예시적인 프로세스

펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들을 실시하기 위한 예시적인 시스템이 기술되었으며, 이하의 섹션은 펜과 컴퓨팅 디바이스 센서 상관 기법의 다양한 구현들을 실시하기 위한 예시적인 프로세스들을 논의한다.

도 6은 이 기법의 일 구현을 실시하기 위한 예시적인 프로세스(600)를 나타내고 있다. 블록(602)에 도시된 바와 같이, 터치 감응 펜 디바이스와 터치 감응 컴퓨팅 디바이스로부터의 동시적인 센서 입력들의 조합이 수신된다. 이 동시적인 센서 입력들은 터치 감응 펜 상에서의 그립 패턴들에 기초한 하나 이상의 센서 입력들 및 터치 감응 컴퓨팅 디바이스 상에서의 터치 패턴들에 기초한 하나 이상의 센서 입력들을 포함한다. 어떤 경우에, 사용자가 이 2개의 물품들 중 하나를 터치 또는 파지하고 있지 않는 경우, 펜 또는 터치 패턴 상에서의 터치 패턴이 없을 수 있다. 블록(604)에 도시된 바와 같이, 센서 입력들은 터치 감응 펜이 어떻게 파지되어 있는지를, 터치 감응 컴퓨팅 디바이스가 어떻게 터치되고 있는지와 동시에, 결정하는 데 사용된다. 예를 들어, 사용자가 사용자의 선호되는 손 또는 사용자의 비선호되는 손을 사용하고 있는지를 결정하기 위해 그립 패턴들 및 터치 패턴들이 평가된다(즉, 일부 구현들에서, 주로 사용하는 손(dominant hand)/선호되는 손이 터치 감응 컴퓨팅 디바이스 상에서의 손의 터치다운과 터치 감응 펜의 가속도계 또는 자이로스코프에서의 충돌의 상관에 기초하여 검출되고, 펜이 선호되는 손에 파지되어 있는 것으로 가정된다). 블록(606)에 도시된 바와 같이, 컨텍스트에 적절한 사용자 인터페이스 동작이 터치 감응 펜 상에서의 그립 패턴과 터치 감응 컴퓨팅 디바이스 상에서의 터치 패턴의 조합에 기초하여 개시된다. 예를 들어, 펜 디바이스가 사용자의 선호되는 손 또는 비선호되는 손에 의해 어떻게 터치되고 있는지의 결정은, 도 5와 관련하여 기술된 것들과 같은, 컨텍스트에 적절한 명령 또는 기능을 개시하기 위해 사용의 컨텍스트 및/또는 사용자 의도를 추론하는 데 사용될 수 있다.

도 7은 메타 정보를 찾아내기 위해 펜과 컴퓨팅 디바이스 센서 상관 기법을 실시하기 위한 다른 예시적인 구현(700)을 나타내고 있다. 블록(702)에 도시된 바와 같이, 단일의 사용자에 의한 2개 이상의 터치 감응 디바이스들 상에서의 접촉들의 신호들이 상관된다. 예를 들어, 2개 이상의 터치 감응 컴퓨팅 디바이스들 중 하나는 센서 펜일 수 있고, 하나는 태블릿 컴퓨팅 디바이스일 수 있다. 블록(704)에 도시된 바와 같이, 2개 이상의 터치 감응 디바이스들 상에서의 접촉들의 컨텍스트가 신호들의 상관에 기초하여 결정된다. 블록(706)에 도시된 바와 같이, 접촉의 결정된 컨텍스트가 애플리케이션에서 사용하기 위한 메타데이터로서 라벨링된다. 예를 들어, 컨텍스트 메타데이터는 몇 명의 사용자들이 펜 또는 터치 감응 컴퓨팅 디바이스와 인터랙션하고 있는지, 몇 개의 디바이스들과 인터랙션하고 있는지, 사용자가 센서 펜 또는 컴퓨팅 디바이스를 사용자의 선호되는 손으로 잡고 있는지, 펜 또는 컴퓨팅 디바이스의 개별 또는 상대적 동작들, 센서 펜 또는 터치 감응 컴퓨팅 디바이스가 어떻게 파지되거나 터치되고 있는지, 펜 배향, 터치 감응 컴퓨팅 디바이스 배향, 컴퓨팅 디바이스에 대한 센서 펜의 상대적 배향 등을 포함할 수 있지만, 이들로 제한되지 않는다. 지문 센서들이 이용가능한 경우, 그 중에서도 특히, 사용자가 디바이스를 잡고 있는지, 사용자가 어느 손가락(들)으로 디바이스를 터치하고 있는지, 사용자가 사용자의 선호되는 손으로 그리고 어느 그립으로 디바이스를 잡고 있는지를 결정하기 위해 지문들이 사용될 수 있다. 지문 센서는 또한, 예를 들어, 사용자에 대한 선호된 모드를 설정하기 위해 사용자의 지문에 의해 사용자를 인식하는 데 사용될 수 있을 것이다. 블록(708)에 도시된 바와 같이, 메타데이터가 컨텍스트에 적절한 사용자 인터페이스 동작을 개시하는 데 추가로 사용될 수 있거나, 어떤 다른 목적들을 위해 사용될 수 있다. 유의할 점은, 유사한 프로세스가 유리하게도 2명 이상의 사용자에 대한 메타데이터를 찾아내고 라벨링하는 데 사용될 수 있다는 것이다.

도 8은 펜과 컴퓨팅 디바이스 센서 상관 기법을 실시하기 위한 또 다른 예시적인 구현(800)을 나타내고 있다. 블록(802)에 도시된 바와 같이, 포인팅 디바이스가 컴퓨팅 디바이스의 터치 감응 표면으로부터 미리 결정된 범위 내에 들어올 때, 컴퓨팅 디바이스의 존재가 감지된다. 예를 들어, 포인팅 디바이스는 터치 감응 펜일 수 있다. 블록(804)에 도시된 바와 같이, 컴퓨팅 디바이스의 디스플레이 화면 상에서의 입력의 제어는 포인팅 디바이스가 미리 결정된 범위 내에 있을 때 포인팅 디바이스의 동작들을 사용하여 시작된다. 블록(806)에 도시된 바와 같이, 디스플레이 화면 상에서의 입력의 제어는 포인팅 디바이스가 미리 결정된 범위 밖에 있을 때 포인팅 디바이스의 동작들을 사용하여 계속된다. 유의할 점은, 포인터(예컨대, 펜)가 화면에 충분히 가까울 때 포인터 선단(예컨대, 펜 선단)의 x,y 위치를 감지하는 호버링 감지가 전자기 디지타이저에 본질적인 것이라는 것이다. 포인터(예컨대, 펜)는 그의 3D 배향(및 동작 신호들)을 무선 링크를 통해 계속 보고할 것이다. 이것은 또한 어떤 상대적 동작을 추론하는 데 또는 커서 제어를 계속하는 데 사용될 수 있다. 펜과 컴퓨팅 디바이스 센서 상관 기법의 일부 구현들은 또한 컴퓨팅 디바이스의 위치를 추적하는 데 가속도계 또는 다른 센서 데이터를 사용할 수 있다.

도 9는 펜과 컴퓨팅 디바이스 센서 상관 기법을 실시하기 위한 다른 예시적인 프로세스(900)를 나타내고 있다. 블록(902)에 도시된 바와 같이, 터치 감응 컴퓨팅 디바이스 상에서의 주 사용자의 그립이 센서 데이터를 사용하여 감지된다(예를 들어, 센서 데이터는 그립이 한 손에 의한 것이고, 디바이스가 편평하며, 디바이스의 가속도가 주 사용자의 아마도 맞은편에 있는 부 사용자 쪽으로 향해 있다는 것을 나타낸다). 블록(904)에 도시된 바와 같이, 터치 감응 컴퓨팅 디바이스 상에서의 부 사용자의 그립이 또한 센서 데이터를 사용하여 감지된다(예를 들어, 센서 데이터는 주 사용자와 같이 디바이스의 반대쪽 측면에서의 부 사용자의 그립을 나타내고 있다). 주 사용자와 부 사용자의 그립들이, 블록(906)에 도시된 바와 같이, 그립들의 컨텍스트를 결정하기 위해, 그리고, 블록(908)에 도시된 바와 같이, 터치 감응 컴퓨팅 디바이스 상에서 실행 중인 애플리케이션에서 명령을 개시하기 위해 상관된다. 이전에 논의된 바와 같이, 그립들의 컨텍스트는 터치 감응 컴퓨팅 디바이스가 주 사용자로부터 부 사용자에게 전달되고 있다는 것을 나타낼 수 있다. 대안적으로, 그립들의 컨텍스트는 주 사용자가 터치 감응 컴퓨팅 디바이스를 부 사용자와 공유하고 있다는 것을 나타낼 수 있다. 컨텍스트에 따라, 터치 감응 컴퓨팅 디바이스 상에서 상이한 명령들 및 기능들이 인에이블될 것이다. 예를 들어, 사용자의 디바이스를 공유하려는 사용자의 의도가, 예를 들어, 음성 명령을 사용하여, 확인될 수 있을 것이다.

도 10은 펜과 컴퓨팅 디바이스 센서 상관 기법을 실시하기 위한 또 다른 예시적인 프로세스(1000)를 나타내고 있다. 이 구현에서, 터치 감응 컴퓨팅 디바이스와 터치 감응 펜 둘 다가 주 사용자로부터 부 사용자에게 전달된다. 블록(1002)에 도시된 바와 같이, 터치 감응 컴퓨팅 디바이스 및 터치 감응 펜 상에서의 주 사용자의 그립을 나타내는 센서 입력들이 감지된다. 거의 동시에, 블록(1004)에 도시된 바와 같이, 터치 감응 컴퓨팅 디바이스 및 터치 감응 펜 상에서의 부 사용자의 그립을 나타내는 센서 입력들이 또한 감지된다. 펜 및 터치 감응 컴퓨팅 디바이스 상에서의 주 사용자와 부 사용자의 그립들이 그립들의 컨텍스트를 결정하기 위해(블록(1006)) 그리고, 블록(1008)에 도시된 바와 같이, 터치 감응 펜 상에서 또는 터치 감응 컴퓨팅 디바이스 상에서 실행 중인 애플리케이션에서 명령을 개시하기 위해 상관된다. 예를 들어, 그립들이 펜과 컴퓨팅 디바이스를 주 사용자로부터 부 사용자에게 넘겨주는 것을 나타내는 것으로 결정될 수 있다. 이 경우에, 넘겨주기 이후에 터치 감응 펜 또는 터치 감응 컴퓨팅 디바이스의 하나 이상의 기능들이 제한될 수 있다. 마찬가지로, 터치 감응 컴퓨팅 디바이스 상의 센서들 및 디지타이저가 동일한 사용자가 상이한 디지타이저 상에서(예컨대, 상이한 컴퓨팅 디바이스 상에서) 동일한 펜을 사용하고 있다는 것을 나타내는 경우, 이것은 (펜의 모드 또는 색상/두께/펜촉 스타일 등) 상태 정보 또는 파일들 및 데이터(현재 클립보드 내용 등)를 다른 디바이스에 전달할 수 있다. 이것은 사용자가, 예를 들어, 쓰기를 하고 있거나 다른 별개의 태블릿에 손가락을 터치하고 있으면서, 하나의 태블릿을 잡고 있다는 것을 관찰하는 것에 의해 결정될 수 있다. 이 구현들 중 임의의 구현에서, 결정된 컨텍스트는 터치 감응 컴퓨팅 디바이스 상에서 또는 터치 감응 펜 상에서 실행 중인 애플리케이션에서 명령을 개시하는 데 사용될 수 있다. 변형들이 또한 가능하다. 예를 들어, 단일의 사용자가 단일의 터치 감응 펜을 사용하여 많은 터치 감응 컴퓨팅 디바이스들로 명령들을 송신하거나 데이터를 전송할 수 있다. 이것은 사용자가 하나의 디바이스로부터 하나 또는 다수의 다른 디바이스들로 데이터 또는 객체들을 전송할 수 있게 한다는 점에서 유리하다.

5.0 상세 및 예시적인 구현:

펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들에 대한 서론은 물론, 그 기법을 실시하기 위한 예시적인 시스템 및 예시적인 프로세스들이 제공되었으며, 이하의 단락들은 펜과 컴퓨팅 디바이스 센서 상관 기법의 다양한 예시적인 구현들의 상세를 제공한다. 이하의 상세의 많은 부분이 태블릿 컴퓨터를 펜과 함께 사용하는 것을 언급하고 있지만, 이것이 본 설명을 단순화하기 위해 사용되는 하나의 예시적인 디바이스에 불과하다는 것을 잘 알 것이다. 이하에서 기술되는 예시적인 구현들은 임의의 터치 감응 컴퓨팅 디바이스(예컨대, 전화기, 데스크톱 디지타이저, 패블릿(phablet), e-리더, 전자 화이트보드, 차량용 터치 디스플레이 등)에서 사용될 수 있을 것이다.

터치 스크린 입력(또는 컴퓨팅 디바이스의 다른 표면들 상에서의 터치 입력들)과 터치 감응 펜 그립들 사이의 대응관계들을 평가하는 것에 의해, 펜과 컴퓨팅 디바이스 센서 상관 기법은 사용자가 스크린 또는 다른 터치 감응 표면을 어떻게 터치하고 있는지에 관한 부가 정보를 추론한다. 터치 감응 펜 그립들로부터의 신호들을 컴퓨팅 디바이스 상에서의 맨손 터치 입력들로부터의 신호들은 물론 펜과 컴퓨팅 디바이스의 동작들 및 배향 그리고 다른 센서 데이터와 상관시키는 것에 의해, 펜과 컴퓨팅 디바이스 센서 상관 기법은 각종의 컨텍스트에 적절한 도구들 및 동작 제스처들이 사용자가 상관된 센서 신호들로부터 추론될 수 있는 의도된 작업들을 완료하는 데 도움을 줄 수 있게 한다. 유의할 점은, 이러한 상관들이 (태블릿 디지타이저를 수반하는 상관들을 위해) 터치 스크린과의 접촉 이전에, 그 동안에 그리고 그 이후에 일어나는 동작 또는 그립 센서 데이터에서의 대응관계들(또는 경우에 따라서는 비대응관계들)을 살펴볼 수 있다는 것이다. 접촉 시의 또는 접촉 시와 가까운 때의 정보가 접촉의 유형의 예비적인 평가를 결정하는 데 사용될 수 있고, 나중에 추가의 센서 신호들 및 디바이스 입력 이벤트들이 실시간으로 도착할 때 보다 확정적인 평가가 가능하다. 이러한 방식으로, 본 시스템은, 사용자의 동작들의 컨텍스트를 가능한 정확하게 결정하기 위해 모든 정보를 최대로 이용하면서, 사용자의 입력 이벤트들에 대한 즉각적인 또는 거의 즉각적인 실시간 응답 및 피드백을 제공할 수 있다.

설명을 위해, 이하의 논의는 태블릿 유형 컴퓨팅 디바이스와 관련하여 스케칭 또는 드로잉 유형 애플리케이션을 언급할 것이다. 그렇지만, 센서 펜과 터치 감응 컴퓨팅 디바이스(들) 둘 다가 임의의 원하는 애플리케이션 유형 또는 운영 체제 유형과의 인터랙션 및 연동을 완전히 가능하게 한다는 것을 잘 알 것이다. 예를 들어, 능동적 읽기 또는 수학적 스케칭과 같은, 다른 애플리케이션 컨텍스트에서, 상이한 제스처들 또는 매핑들이 정의될 수 있다. 사실, 앞서 살펴본 바와 같이, 임의의 원하는 사용자 정의가능 제스처들 및 동시적인 펜과 터치 입력들이 임의의 원하는 애플리케이션, 운영 체제, 또는 컴퓨팅 디바이스에 대한 임의의 원하는 동작을 위해 구성될 수 있다. 게다가, 음성 또는 발화 입력들, 눈 시선 입력들, 그리고 (깊이 카메라에 의해 제공되는 것과 같은) 사용자 근접 및 신체 자세 입력들이 광범위한 혼성 입력 기법들을 가능하게 하기 위해 앞서 본원에서 논의된 다양한 입력 기법들 중 임의의 것과 결합될 수 있다는 것을 또한 잘 알 것이다.

5.1 그립 + 동작 인터랙션 기법

펜과 컴퓨팅 디바이스 센서 상관 기법의 예시적인 구현들이 주석첨부, 패닝 및 줌잉, 그리고 일부 부가의 스케칭 도구들을 지원하는 간단한 스케칭 애플리케이션과 관련하여 이용되었다. 이 구현들의 기능들 중 일부가 이하의 단락들에서 논의된다. 이 기능들의 많은 다른 구현들 및 조합들이 가능하다.

5.1.1 터치 감응 컴퓨팅 디바이스에 상대적으로 감지된 펜 배향

일부 구현들에서, 관성 센서 융합(inertial sensor fusion)은 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들이, 예를 들어, 태블릿과 같은, 터치 감응 컴퓨팅 디바이스에 상대적인 공통의 참조 프레임을 유지할 수 있게 한다. 이 기법의 일부 구현들은 그립 인식 단계에서는 물론, (나중에 보다 상세히 기술되는, 에어브러시 도구에 대해서와 같이) 펜 동작의 해석에서 태블릿 상대 배향을 이용한다. 이 기법의 일부 구현들은 터치 감응 컴퓨팅 디바이스(예컨대, 태블릿)에 상대적인 펜의 배향만을 감지할 수 있다. 일부 구현들에서, 관성 감지는 어떤 다른 외부 절대 참조에 의존함이 없이 펜의 (x,y) 변환 또는 z-고도를 신뢰성있게 결정할 수 없다. 다른 구현들에서, 외부 절대 참조가 이용가능한 경우, 기법 구현들은, 관성 감지 기능을 절대 참조와 융합시키는 것에 의해, 심지어 펜 선단이 스크린 자체의 감지 범위를 벗어나 있을 때에도 펜 선단의 절대 (x,y) 및 고도(z)를 계속 추적할 수 있다. 절대 참조는 외적 소스(extrinsic source)(예컨대, 마킹의 광학적 추적 또는 펜 상의 IR 소스) 또는 내적 소스(intrinsic source)(예컨대, 태블릿 또는 환경에서의 다른 송수신기들로부터의 펜 무선 송수신기의 대략적인 거리를 결정하기 위한 무선 신호 강도 삼각측량)일 수 있다. 일반적으로, (세분화된 관성 감지(fine-grained inertial sensing)와 결합될 때) 다른 디바이스에 상대적인 디바이스의 x, y, z 위치의 양호한 근사치를 생성하기에 충분할 수 있는 위치를 근사화하기 위해 무선 신호 강도(wireless signal strength)와 무선 신호 강도(radio signal strength)가 사용될 수 있다 - 이것은 다수의 소스들의 삼각측량을 통해 달성될 수 있다 -. 그에 부가하여, 일부 구현들에서, 펜 및/또는 터치 감응 컴퓨팅 디바이스를 추적하기 위해 깊이 카메라가 사용될 수 있다.

5.1.2 의도적이지 않은 손바닥 접촉의 검출

터치 감응 표면 또는 스크린 상에서의 의도적이지 않은 손바닥 접촉을 감지하는 것은 어려운 문제인데, 그 이유는, 터치의 시작에서, 어떤 유형의 터치가 일어나고 있는지를 구별하기에 종종 불충분한 정보가 있기 때문이다. 손바닥은 큰 접촉 면적을 갖는 터치로서 인식될 수 있지만, 이러한 접촉들은 전형적으로 작게 시작하고 특정의 크기 문턱값을 초과하는 데 시간이 좀 걸릴 수 있기 때문이다. 또한, 일부 의도적이지 않은 터치들(손가락 관절들에 의해 생성되는 접촉 등)이 결코 "큰" 접촉으로 되지 않을 수 있다. 이 전략은 따라서 터치 이벤트들을 처리하는 데 지연(delay)을 불가피하게 하고(지연시간(lag)을 유입시키고), 여전히 많은 접촉들을 검출하지 못할 수 있다.

안정성을 증가시키고 피로를 방지하기 위해, 사용자는 자연히 자신의 손을 쓰기 표면 상에 놓지만, 현재의 태블릿 사용자는 어쩔 수 없이 터치 스크린 회피 거동을 채택하게 된다. 사용자가 펜을 잡고 있다는 것을 단순히 감지하는 것으로 충분하지 않은데, 그 이유는 사람들이 터치를 사용하는 동안 펜을 치워놓고 화면을 터치하기 위해 다양한 확장 그립들을 이용하기 때문이다. 펜 배향으로도 불충분한데, 그 이유는 각각의 그립이 일정 범위의 손목 외전들과 연관될 수 있기 때문이고 그리고 사용자들이 다양한 방식으로 펜을 잡기 때문이다.

그렇지만, 의도적이지 않은 터치가 주로 쓰기에 부수하여 일어나기 때문에, 특히 사용자가 전형적으로 자신의 손을 디스플레이 상에 놓기 전에 쓰기 그립을 채택하기 때문에, 쓰기 그립 자체를 감지하는 것이 강력한 단서이다. 그러므로, 아주 보수적인 손바닥 거부 절차는 펜이 쓰기 그립으로 파지될 때 일어나는 임의의 터치를 단순히 거부할 수 있다. 그렇지만, 이것은 펜이 쓰기 그립으로 파지될 때마다 비선호되는 손에 의해 행해진 의도적인 터치들을 배제하며, 이는 많은 바람직한 시나리오들(비선호되는 손에 의한 패닝 및 줌잉)은 물론, 동시적인 펜 + 터치 제스처들을 제거한다.

사용자가 자신의 손을 컴퓨팅 디바이스(예컨대, 태블릿)의 터치 감응 스크린 상에 놓을 때, 이는 동시적으로 펜의 동작 센서들 상에 대응하는 신호를 유발시킨다. (디바이스의 동작 센서들은 또한 이 동작의 일부를 포착(pick up)하지만, 이는 디바이스의 보다 큰 크기에 의해 얼마간 감쇠된다.) 그럼에도 불구하고, 펜 및/또는 터치 감응 컴퓨팅 디바이스(예컨대, 태블릿)로부터의 동작 신호들은 일어나는 접촉의 유형을 추론하는 데 도움을 주기 위해 사용될 수 있고, 터치 감응 컴퓨팅 디바이스(예컨대, 태블릿)가 펜이 그에 도킹(부착)되어 있으면서 이동되고 있다는 것 또는 그렇지 않다는 것을 감지하는 것 등을 위해, 그들 자체가 서로 상관될 수 있다.

펜을 잡고 있는 손이 터치 감응 컴퓨팅 디바이스(예컨대, 태블릿)와 접촉할 때, 펜의 동작은 다른 컨텍스트들에서의 충돌, 찰싹 치기(whack), 및 쾅쾅 치기(thump) 제스처들에서 본 것과 유사한 특징적인 강한 접촉 프로파일을 나타낸다. 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은 주어진 창, 예를 들어, 10-샘플 창 내에서 최소 문턱값을 초과하는 펜의 동작 센서들에 대응하는 신호에서 피크를 (예를 들어, 가속도계 또는 자이로스코프의 3개의 결합된 축들에서의 2차 유한 차분(second order finite difference)을 사용하여) 찾는다. 이 신호를 언제 찾아야 하는지가 정확하게 알려지는데, 그 이유는 손바닥 놓기(palm plant)가 펜의 동작에서 충돌을 야기하는 것과 동시에 터치 스크린이 새로운 접촉을 검출하기 때문이다. 펜과 컴퓨팅 디바이스 센서 상관 기법의 테스트된 구현들은 작게는 5ms 내에, 또는 최악의 경우에 터치 다운 이벤트 이후 최대 56ms 내에 이 피크를 식별할 수 있다. 일반적으로 여기서는 디바이스의 화면 부분 상에서의 손바닥 접촉에 초점을 맞추고 있지만, 유의할 점은, 이 충돌 신호가 디바이스의 전면 손 접촉 및 배면 손 접촉 둘 다, 즉 터치스크린에 의해 생성된 터치 신호들, 태블릿의 케이스 상의 그립 센서들에 의해 생성된 터치 신호들, 또는 둘 다에 적용될 수 있다는 것이다. 그러므로, 디바이스의 배면/측면 접촉들은 다양한 유형의 손 및 펜 접촉도 구별할 수 있다.

이와 같이, 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은 충돌 신호에 대해 상당히 낮은 문턱값을 이용하여, 꽤 미묘한 손바닥 접촉조차도 감지될 수 있게 하면서, 새로운 터치 스크린 접촉에 일치하여 일어나지 않는 다른 동작 신호들을 대수롭지 않게 거부하기도 한다. 이 검출 방식은 쓰기 동안 대부분의 정상적인 펜 인터랙션들에 대해 잘 동작한다.

검출된 손바닥 접촉이 지속되는 한, 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은 또한 임의의 새로운 터치들이 초기 접촉으로부터 미리 정해진 반경(예컨대, 300 픽셀 반경) 내에서 닿는 경우 그 터치들을 "손바닥"으로서 플래깅할 수 있다. 일부 구현들에서, 이것은, 사용자의 그립 및 펜을 파지하는 각도는 물론, 상대적 화면 배향이 주어진 경우, 그 중에서도 특히, 손 가림 모델(hand occlusion model)과 같은, 예상된 손 접촉 영역들의 모델을 포함할 수 있다. 펜과 컴퓨팅 디바이스 센서 상관 기법의 일 구현은 확장함에 따라 점점 희미해지는, 손바닥이 아래로 향한 위치(palm-down location)에 중심을 둔, "레이더 원(radar circle)"의 짧은 애니메이션을 재생하는 것에 의해 초기 손바닥 검출의 피드백을 제공한다. 이것은 유리하게도 손바닥 접촉이 성공적으로 검출되었다는 것을 사용자에게 확인시켜주는 주의를 산만하게 하지 않는 피드백을 제공한다. 이 피드백이 없으면, 사용자는 자신의 손바닥이 손에 의해 현재 가려져 있는 원하지 않는 동작(메뉴를 호출하는 것, 또는 잉크 흔적(ink trace)을 남겨 두는 것 등)을 트리거했는지 여부에 관해 계속되는 불확실성을 가지고 있을 수 있다. 그렇지만, 이러한 피드백은 선택적이고, 사용자에 의해 또는 특정 애플리케이션들에 의해 디스에이블될 수 있다.

5.1.3 의도적인 터치 허용하기

펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은, 손바닥이 화면 상에 놓여 있을 때에도, 동시적인 의도적 터치들을 허용한다. 일반적으로, 일부 구현들에서, 손바닥으로부터 멀리 떨어져 일어나는 - 이전에 검출된 손바닥 접촉으로부터 미리 결정된 반경을 벗어나 있고 펜에의 충돌을 수반하지 않는 - 임의의 새로운 터치는 실제의 의도적인 터치를 나타낸다. 펜과 컴퓨팅 디바이스 센서 상관 기법의 일부 구현들은 핀치 투 줌(pinch-to-zoom) 제스처를 지원하기 위해 손바닥 접촉으로서 플래깅되지 않는 2개의 부가 터치들을 사용한다. 손바닥 접촉이 무시되고, 손바닥이 움직이더라도, 패닝/줌잉을 방해하지 않는다. 다른 단일 손가락 또는 다중 손가락 또는 전체 손 제스처들이 또한 지원될 수 있다.

그렇지만, 펜과 컴퓨팅 디바이스 센서 상관 기법의 일부 구현들이 - 손바닥 자체를 전면적으로 '거부'하기보다는- 손바닥을 여전히 추적하기 때문에, 이 접근법은 또한, 메뉴들을 정확하게 배향하는 것 또는 객체들을 앵커링하는 것을 돕는 것 등을 위해, 손바닥 위치를 입력으로서 사용하는 기법들을 지원할 수 있다.

5.1.4 돋보기 도구 대 전체 캔버스 줌잉

도 11에 도시된 돋보기/루페 도구(1100)의 기능은 사용자가 작업공간의 전체적인 컨텍스트를 잃지 않고 몇몇 세밀한 스트로크(stroke)들을 하고자 하는 스케칭 작업에 특히 아주 적합한 초점 + 컨텍스트(focus-plus-context) 확대 기법("루페"라고 알려져 있음)을 이용한다. 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은 사용자가 펜 및 터치 감응 컴퓨팅 디바이스(예컨대, 태블릿)와 어떻게 인터랙션하고 있는지를 감지하는 것에 의해 돋보기 및 전체 캔버스 줌잉 둘 다를 지원한다.

사용자가 (터크 또는 손바닥 그립에서) 펜을 치워놓을 때, 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은 이 그립을 인식한다. 사용자가 이어서 2개의 손가락을 디스플레이와 접촉시키면, 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은 터치 신호와 거의 동시에 일어나는 대응하는 "충돌"이 있는지 펜을 검사한다. 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들이 이 결합된 펜 충돌 + 두 손가락 터치 신호를 볼 때, 이는 돋보기/루페 도구를 나타나게 한다. 유의할 점은 두 손가락 터치가 손가락들이 정확히 동시에 터치할 것을 요구하지 않고; 비동시적인 터치들이 루페를 호출하는 것으로 올바르게 인식될 수 있도록 짧은 유예 기간이 허용된다는 것이다. 일부 구현들에서, 제2 손가락 터치가 도착하기 위해 단일 손가락 터치에 대한 응답이 약간 지연된다. 다른 구현들에서, 단일 손가락 동작이 시작되고 이어서, 할당된 시간 창 동안 제2 손가락이 검출되면, 취소(또는 실행 취소)된다. 원하는 경우, 두 손가락 접촉들이 얼마나 가까이(또는 멀리) 있어야만 하는지에 관한 공간적 제약조건들이 또한 적용될 수 있다.

펜과 컴퓨팅 디바이스 센서 상관 기법의 일부 구현들이 스타일러스에의 임의의 대응하는 충돌 없이 두 손가락 터치를 보는 경우, 구현들은 그 대신에 사용자가 펜을 잡고 있지 않은 그의 다른(비선호되는) 손으로 터치를 행한 것으로 추론한다. 일부 구현들에서, 이것은 이어서 (초점 + 컨텍스트 돋보기 도구보다는) 도 12에 도시된 바와 같은 전체 캔버스 줌잉(1200)을 가능하게 하기 위해 표준의 두 손가락 패닝 및 줌잉 인터랙션을 트리거링한다.

일부 구현들에서, 돋보기/루페 도구는 원형 도구 아래에 있는 캔버스의 영역만을 줌잉한다. 돋보기/루페 도구는 사용자의 2개의 손가락들 사이의 간격에 따라 그 자체를 인터랙션적으로 크기조정한다. 사용자는 또한 돋보기/루페 도구를 새로운 위치로 끌기 위해 돋보기/루페 도구의 경계 상에 손가락을 터치다운할 수 있다. 돋보기/루페 도구의 밖의 어디에서든지, 단일 손가락 탭핑 또는 펜 스트로크는 무시되고, 캔버스를 그의 원래의 줌 레벨에 그대로 둔다.

유의할 점은, 펜과 컴퓨팅 디바이스 센서 상관 기법의 일부 구현들이 충돌 신호를 검출하기 위해 최소 동작 문턱값을 이용하기 때문에, 사용자가 사용자의 손가락들을 아주 약하게 터치다운하는 경우, 펜이 이 문턱값을 초과하기에 충분한 동작 신호를 검출하지 않을 수 있다는 것이다. 그럼에도 불구하고, 펜과 컴퓨팅 디바이스 센서 상관 기법의 이 문턱값들은 사용자가 펜을 치워둔 채로 자연스럽게 자신의 손가락들을 화면 쪽으로 가져갈 때 생성되는 동작들을 검출하는 데 충분하다.

5.1.6 드래프팅 도구들

드래프팅 도구들(도 13의 1300) 기능은 사용자들이 종종 쓰기 활동의 버스트들 사이에서 쓰기 그립을 유지하는 관찰로부터 생겼다. 예를 들어, 잠시 쉬는 동안, 사용자들은 종종 펜을 쓰기 반 외전(Writing-Half Supination) 자세로 하기 위해 화면으로부터 멀어지는 쪽으로 손목을 회전시킨다. 따라서, 쓰기 그립 자체는 사용자가 펜을 쓰기 준비 완료 자세로 잡고 있다는 것을 고려하는 다양한 드래프팅 도구들을 제공하는 것에 의해 명시적으로 지원될 수 있는 관심을 끄는 컨텍스트를 나타낸다.

펜과 컴퓨팅 디바이스 센서 상관 기법의 일부 구현들에서, 사용자는 (펜에서의 대응하는 충돌 신호 없이 단일 터치에 의해 인식되는) 비선호되는 손의 단일 손가락을 터치 다운하는 것과 같은 단일의 접촉에 의해 드래프팅 도구들 메뉴를 명시적으로 호출한다. 펜이 쓰기 그립으로 파지되어 있는 경우, 이것은, 에어브러시 및 컴퍼스 등을 비롯한, 다양한 펜 + 터치 도구 모드들을 제공하는 작은 팔레트를 나타나게 한다. 펜과 컴퓨팅 디바이스 센서 상관 기법의 일부 구현들에서, 사용자가 그의 손가락을 터치 다운하자마자 드래프팅 도구들 메뉴가 호출된다. 일부 기법 구현들에서, 에어브러시는 초기 기본 모드이다. 일부 기법 구현들에서, 사용자는 이어서 모드를 변경하기 위해 (컴퍼스와 같은) 다른 도구를 탭핑할 수 있다. 일부 구현들에서, 모든 드래프팅 도구들이 스프링 장착(spring-loaded) 모드로서 구현되고; 즉, 사용자가 그의 손가락을 누르고 있는 동안에만 모드가 유지된다. 또한, 유의할 점은 사용자가 접촉을 개시할 때 드래프팅 도구들 메뉴가, 기본적으로, 가장 최근에 사용된 도구(모드)를 활성화시킬 수 있다는 것이다. 이것은 다수의 위치들에서 동일한 도구의 반복된 사용을 보다 효율적으로 만든다. 에어브러시 도구, 컴퍼스 도구는 물론, 단일 탭핑 가상 펜대 버튼의 구현들이 이하에서 보다 상세히 기술된다.

그에 부가하여, 일부 구현들에서, "고급 드래프팅 도구들" 기능은 센서 펜이 쓰기 그립으로 사용자의 선호되는 손에 파지되어 있다는 것을 검출하기 위해 그리고 사용자의 비선호되는 손에 의한 컴퓨팅 디바이스의 터치 감응 디스플레이에서의 핀치 동작과 같은 두 손가락 터치 제스처를 검출하기 위해 펜 상의 센서들 그리고 터치 감응 컴퓨팅 디바이스 상의 센서들을 사용할 수 있다. 사용자의 비선호되는 손에 의한 핀치 동작은 펜이 쓰기를 할 준비가 될 때 고급 드래프팅 도구들의 세트를 나타나게 한다. 이 특수 도구들은 제2 터치로부터 이득을 보는 펜의 사용을 추가로 지원한다. 예를 들어, 이 드래프팅 도구들은 자 또는 정렬 에지, 운형자 또는 (두 손가락 위치 및 회전에 의해) 새 종이를 당기는 기능을 포함할 수 있다. 사용자는 또한 2개의 손가락 중 하나를 떼는 것(또는 다시 제자리에 놓는 것)에 의해 고급 드래프팅 도구들과 표준 드래프팅 도구들 사이에서 왔다갔다할 수 있고; 도시된 도구 세트는 디스플레이 상에 놓여 있는 손가락들의 수에 대응한다.

5.1.6.1 에어브러시 도구

에어브러시 도구의 일 구현은 사용자가 페인트 플로우(paint flow)를 시작하는 경우 처음에 에어브러시가 어디를 스프레이할 것인지의 커서 피드백을, 회색 파선 타원으로, 보여준다. 사용자는 (비선호되는 손) 손가락의 위치에 의해 에어브러시 도구가 어디를 스프레이해야 하는지를 표시한다. 이것이 필요한 이유는, (이전에 살펴본 바와 같이) 관성 감지가 태블릿 위쪽에 있는 펜 선단의 절대 (x,y,z) 위치를 결정할 수 없고 태블릿에 상대적인 3D 배향만을 결정할 수 있기 때문이다. 펜 배향의 상대적 감지는, 스타일러스보다는, 터치 감응 컴퓨팅 디바이스(예컨대, 태블릿)를 회전시키는 것에 의해 나타내어질 수 있다.

일 구현에서, 사용자는 터치 감응 스크린/태블릿 표면과 관련하여 펜의 방위각 및 고도각을 변경하는 것에 의해 스프레이 타원을 제어한다. 사용자는, 어쩌면 펜을 태블릿으로부터 제한된 약 15mm 근접 감지 범위 내에 역시 유지하면서 펜을 재배향하는 것이 어렵기 때문에 펜 틸트 각도를 이용하지 않았던 에어브러시 유사 도구의 이전 설명과 달리, 화면으로부터 상당히 위쪽에서 펜을 잡고 있을 수 있어, 펜을 원하는 각도로 기울이는 것을 용이하게 만든다. 일부 구현들에서, 스크린 위쪽으로의 펜의 고도 - 이는 이어서 스프레이 타원의 크기(범위)를 결정함 - 를 결정하기 위해 개별적인 감지 채널(근접 센서 등)이 사용될 수 있다.

일부 구현들에서, 사용자는 그의 집게손가락으로 펜대를 탭핑하는 것 - 이는 이하에서 추가로 상세히 기술되는 바와 같이 감지됨 - 에 의해 페인트 플로우를 켜고 끈다. 사용자가 스프레이를 활성화시킬 때, 생성되고 있는 스프레이의 형상의 명확한 피드백을 제공하기 위해 피드백이 굵은 적색 파선 타원으로 변한다. 하나의 프로토타입에서, 아주 투명한 타원들이 캔버스 상에 "스프레이"된다. 사용자는 또한 펜대와 접촉하고 있는 손가락을, 마치 물리적 슬라이더 컨트롤인 것처럼, 슬라이딩시키는 것에 의해 타원의 크기, 또는 스프레이의 투명도를 조절할 수 있다. 손가락 접촉의 동작이 펜의 그립 센서들에 의해 감지되고 추적될 수 있다.

5.1.6.2 단일 탭핑 가상 펜대 버튼

이 기법의 구현들은 스타일러스 감지 채널들의 일부 또는 전부를 전략적으로 결합시키는 것에 의해 가상 펜대 버튼의 단일 탭핑 활성화를 성공적으로 지원한다. 본원에 기술되는 단일 탭핑 가상 펜대 버튼의 구현들은 펜의 동작 데이터에 부가하여 그립 감지 데이터를 사용한다.

후보 탭핑 이벤트들을 식별하기 위해, 펜과 터치 감응 컴퓨팅 디바이스 센서 상관 기법의 일부 구현들은 펜대 상의 커패시턴스 센서들을 사용함으로써 생성된 커패시턴스 영상 맵 상에 새로운 터치 접촉이 나타나는 것과 동시에 손가락 탭핑으로부터의 펜대에서의 충돌 신호가 있는지 살펴본다. 그렇지만, 펜을 다시 파지하는 것에 의해 생성되는 거짓 양성들을 필터링 제거하기 위해 이것만으로는 충분하지 않을 수 있는데, 그 이유는 그립을 바꾸는 것이 새로운 손가락 접촉들과 일치하는 충돌 신호들을 생성할 수 있기 때문이다. 이들을 필터링 제거하기 위해, 이 기법의 일부 구현들은 (관찰 B9에 따라) 사용자들이 펜대를 탭핑하기 위해 집게손가락를 뗄 때 안정된 삼각대 파지를 유지하기 위해 쓰기 그립에서 펜을 가만히 잡고 있다는 관찰에 의존한다. 이것이 유리한 이유는 쓰기 그립의 검출이 잘못된 검출들이 일어날 가능성이 없도록 하기 위한 방법을 제공하기 때문이다. 이 기법의 다양한 구현들은 따라서 진행 중인 가속도계 및 자이로스코프 신호들을 살펴보고, 디바이스가 움직이는지 가만히 파지되어 있는지를 결정하기 위해 간단한 시간 감쇠(time-decaying) 동작 신호를 계산한다. 이어서, 펜이 움직이지 않을 때 일어나는 후보 탭핑 이벤트들만이 수락되고, 이는 임의의 잘못된 접촉들을 효과적으로 필터링 제거한다. 하나의 동작하는 구현에서, 펜은 적어도 100ms 동안 새로운 움직이는(또는 움직이지 않는) 상태에 있어야만 한다. 그렇지 않은 경우, 펜대 탭핑 자체가 "움직이는" 신호의 짧은 활성화를 트리거링할 수 있으며, 이는 물론 펜대 탭핑의 인식을 좌절시킬 것이다.

5.1.6.3 컴퍼스 도구

드래프팅 도구들 팔레트는 또한 펜 + 터치 모드를 지원하는 컴퍼스를 포함하고, 여기서 펜은 (다시 말하지만 비선호되는 손의) 손가락의 현재 위치에 중심을 둔 원형 아크를 그리는 것으로 제약되어 있다.

5.1.7 펜 컨트롤들

다른 예로서, 펜이 치워져 있는 동안의 탭핑과 같은 단일 손가락 접촉은 펜 컨트롤들(도 14의 1400)을 포함하는 작은 제자리에 있는 팔레트를 나타나게 하여, 작업공간의 가장자리에 도킹되어 있는 도구 모음까지 왔다갔다 하지 않고, 사용자가 모드를 변경할 수 있게 하거나 펜 색상 및 스트로크 두께를 수정할 수 있게 한다. 이 예는 다시 말하지만 사용자가, 터치 스크린 접촉을 하기 위해 임의의 단일 손가락을 사용하여, 확장 그립으로부터 터치 스크린을 탭핑할 때 펜에 발생된 충돌을 이용한다. 도구들이 손가락 옆에 나타난다. 연구들로부터 사용자들이 UI 컨트롤들을 위해 펜과 터치가 서로 바꾸어 사용될 수 있을 것으로 기대한다는 것을 일관성있게 알았기 때문에, 사용자는 이어서 펜 또는 터치 중 어느 하나를 사용하여 방사상 메뉴들과 인터랙션할 수 있다. 유의할 점은, 일부 구현들에서, 이들 또는 관련된 컨트롤들이 탭핑(즉, 핑거 다운(finger-down) + 핑거 업(finger-up) 시퀀스)에 의해 또는 탭핑하고 있기(tap-and-hold)(핑거 다운 + 화면과의 손가락 접촉을 유지)에 의해 활성화될 수 있다는 것이다. 후자는, 손가락이 디지타이저와 접촉한 채로 있는 한 유지되는, 스프링 장착 모드들에 특히 도움이 된다.

5.1.8 캔버스 도구들

캔버스 도구(도 15의 1500)는 사용자가 비쓰기 위치에서 사용자의 선호되는 손으로 센서 펜을 잡고 있을 때를 검출하기 위해 그리고, 예를 들어, 컴퓨팅 디바이스의 터치 스크린 상에서의 사용자의 비선호되는 손에 의한 손가락 탭핑과 같은, 단일 접촉을 검출하기 위해 펜의 그리고 터치 감응 컴퓨팅 디바이스 상의 센서들을 사용한다. 이 상관된 동시적인 동작들은 캔버스 도구들의 메뉴가 컴퓨팅 디바이스의 디스플레이 상에 디스플레이되게 한다. 예를 들어, 이 도구들의 메뉴는 실행 취소/재실행, 잘라내기-복사-붙여넣기, 새 페이지, 검색 및 유사한 명령들을 포함할 수 있을 것이다. 펜 도구들과 같이, 일부 구현들에서, 캔버스 도구들 및 관련된 도구들은, 구현에 따라, 탭핑 또는 탭핑하고 있기 제스처 중 어느 하나에 의해 활성화될 수 있다.

5.1.9 터치 감응 컴퓨팅 디바이스/태블릿 그립 검출

펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은 다수의 부가 접촉들을 검출하기 위해 그리고 그들의 컨텍스트들을 결정하기 위해 터치 감응 컴퓨팅 디바이스 케이스의 배면 및 측면들에서의 용량성 그립 감지를 사용한다.

5.1.9.1 엄지손가락 메뉴 및 잘 쓰는 손 검출

사용자가 양손으로 터치 감응 컴퓨팅 디바이스를집어들고 잡고 있어, 펜이 이용가능하지 않게 되는 많은 경우들이 있다. 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은 사용자가 어느 손으로 터치 감응 컴퓨팅 디바이스를 잡고 있는지를 감지하기 위해 그립을 사용한다. 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은 이어서 터치 감응 컴퓨팅 디바이스(예컨대, 태블릿)의 적절한 측면에서 엄지손가락 메뉴(도 5의 534)를 호출하기 위해 이것을 사용하며, 이는 사용자가 다양한 버튼들 및 메뉴들을 엄지손가락으로 직접 활성화시킬 수 있게 한다. 사용자가 제2 손으로 터치 감응 컴퓨팅 디바이스(예컨대, 태블릿)를 잡는 경우, 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은 엄지손가락 메뉴가 처음으로 나타난 측면에 엄지손가락 메뉴를 보이게 둔다. 다른 구현들에서, 엄지손가락 메뉴가 2개의 엄지손가락들에 걸쳐 분할(또는 복제)될 수 있다.

사용자가 터치 감응 컴퓨팅 디바이스를 한 손으로 잡고 있으면서 펜을 쥐고 있는 것으로 관찰되는 경우, 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은 사용자의 잘 쓰는 손을 즉각 추론할 수 있다. 펜을 잡고 있는 손이 선호되는 손인 것으로 추론되고, 터치 감응 컴퓨팅 디바이스(예컨대, 태블릿)를 잡고 있는 손이 선호되는 손이 아닌 것으로 추정될 수 있다. 일부 기법 구현들은 또한, 사용자의 손이 터치 감응 컴퓨팅 디바이스(예컨대, 태블릿) 상의 그립 센서와 접촉할 때 펜에서의 충돌이 있는지 살펴보는 것에 의해, 펜을 잡고 있는 손이 터치 감응 컴퓨팅 디바이스(예컨대, 태블릿)를 붙잡거나 파지하고 있는지를 알 수 있다.

5.1.9.2 의도적이지 않은 엄지손가락 접촉 검출하기

펜과 컴퓨팅 디바이스 센서 상관 기법의 일부 구현들에서, 엄지손가락 메뉴가 처음으로 나타날 때, 엄지손가락 메뉴는 짧은(예컨대, 1.5초) 기간에 걸쳐 페이드인(fade in)되고, 마찬가지로, 사용자가 터치 감응 컴퓨팅 디바이스를 놓아주는 경우, 엄지손가락 메뉴가 짧은 시간(예컨대, 350ms) 후에 페이드아웃(fade out)된다. 이 애니메이션 피드백의 목적은, 사용자의 엄지손가락이 태블릿을 집어들고 있는 동안 터치 스크린 상에 아무렇게나 있는 경우, 엄지손가락 접촉이 무시되거나 의도적이지 않을 가능성이 있는 입력으로서 다른 방식으로 취급될 수 있도록, 엄지손가락 메뉴를 잠정적 상태로 제공하는 데 있다.

펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은, 태블릿 케이스의 대응하는 배면 부분 상에서의 새로운 손 그립과 동시에(또는 그 후에 곧) 일어나는 경우, 엄지손가락이 의도적이지 않은 터치를 나타낸다고 추론한다. 펜과 컴퓨팅 디바이스 센서 상관 기법의 일부 구현들은 이어서 엄지손가락을 의도적이지 않은 접촉으로서 검출하고, 의도적이지 않은 엄지손가락 접촉이 그것과 오버랩하는 경우 엄지손가락 메뉴의 페이드인을 중지(freeze)시킨다. 이 피드백은 엄지손가락 접촉이 인식되었지만, 메뉴의 우발적인 활성화를 방지하기 위해 가로채기되었다는 것을 사용자에게 알려준다. 사용자는 이어서, 원하는 경우, 단순히 엄지손가락을 떼었다가 다시 메뉴 상에 내려 놓는 것에 의해, 엄지손가락 메뉴와 의도적으로 인터랙션할 수 있다. 사용자가 사용자의 엄지손가락을 떼자마자, 페이드인 애니메이션이 계속된다. 사용자가 터치 감응 컴퓨팅 디바이스를 집어들 때 엄지손가락을 화면 상에 두지 않는 경우, 페이드인은 또한 엄지손가락 메뉴가 사용을 위해 완전히 준비되어 있다는 보조 단서로서 역할한다. 우발적인 활성화가 사용자가 터치 감응 컴퓨팅 디바이스를 처음으로 잡을 때 주로 발생하는 경향이 있기 때문에, 몇 초가 경과한 후에, 화면과의 임의의 손 접촉이 의도적이었다고 가정된다. 따라서, 이것은 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들의 검출 방식이, 특정 애플리케이션들에서 화면의 가장자리 근방에서의 임의의 손 접촉을 무시하는 간단한 엄지손가락 차단 휴리스틱과 달리, 의도적인 터치들은 통과할 수 있게 하면서도, 의도적이지 않은 터치를 어떻게 차단하는지를 예시하고 있다.

5.1.10.3 넘겨주기: 펜 또는 터치 감응 컴퓨팅 디바이스를 다른 사용자에게 전달하기

펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들에서, 터치 감응 컴퓨팅 디바이스(예컨대, 태블릿) 또는 펜을 다른 사용자에게 전달하는 것이 콘텐츠를 다른 사용자와 공유하는 것의 대안의 보다 물리적인 의미를 제공하는 방식으로서 사용된다. 전달 파악 및 다른 사용자 관찰들의 연구는 사용자들이 특정 동작들의 시퀀스를 거친다는 것을 나타낸다. 첫째, 사람들은 물체를 다른 사람에게 제공하기 위해 물체를 거의 수평으로 잡고 있으면서 물체를 내밀고, 이어서 사람들은 다른 사람이 물체를 단단히 잡을 때까지 자신의 그립을 유지한다. 디바이스를 전달하는 사람은 이어서 디바이스를 놓아주고, 다른 사람은, 또한 화면을 자신의 선호된 보는 각도로 배향시키면서, 디바이스를 자신의 신체에 보다 가까이 가져온다. 전달 파악 인터랙션들을 검출하기 위해 이 시퀀스의 전부 또는 일부가 감지될 수 있다.

예를 들어, 도 16은 주 사용자(1602)가 부 사용자(1606)에게 펜(1604)을 전달하는 것을 나타내고 있다. 터치 감응 펜 상에서의 주 사용자의 그립이 감지된다(예컨대, 배턴 그립). 동시에 또는 거의 동시에, 터치 감응 펜 상에서의 부 사용자의 그립이 또한 감지된다. 펜 상에서의 주 사용자와 부 사용자의 그립들이 그립들의 컨텍스트를 결정하기 위해 그리고 터치 감응 펜(및/또는 펜과 통신하는 컴퓨팅 디바이스) 상에서 실행 중인 애플리케이션에서 명령을 개시하기 위해 상관된다. 예를 들어, 부 사용자의 그립이 주 사용자로부터 부 사용자로 펜을 넘겨주는 것을 나타내는 것으로 결정될 수 있다. 이 경우에, 펜의 넘겨주기를 통해 데이터가 주 사용자로부터 부 사용자로 전송될 수 있다. 대안적으로, 넘겨주기 이후에 터치 감응 펜의 하나 이상의 기능들이 제한될 수 있다.

이와 유사하게, 도 17은 주 사용자(1702)가 부 사용자(1706)에게 터치 감응 컴퓨팅 디바이스(1704)를 전달하는 것을 나타내고 있다. 펜과 컴퓨팅 디바이스 센서 상관 기법의 일부 구현들은 각각의 사용자가 디바이스를 잡고 있을 때를 결정하기 위해 디바이스들의 케이스 그립 감지를, 그리고 디바이스가 수평으로 있는지를 결정하기 위해 디바이스의 배향을 사용하여 터치 감응 컴퓨팅 디바이스 상에서의 두 사용자의 그립들을 검출하는 데 센서들을 이용한다. 검출된 그립들 및 디바이스의 배향(그리고 어쩌면 다른 데이터)은 각각의 사용자에게 터치 감응 컴퓨팅 디바이스를 사용하는 데 있어서의 상이한 권한들의 세트를 갖는 역할을 할당하는 데 사용될 수 있다. 이 조건들이 검출될 때, 일부 구현들에서, 투명지 또는 벨럼 시트가 디스플레이 상에 내려놓아진 것처럼, 특수 주석첨부 층이 화면 상에 필링(peel)된다. 다른 사용자는 이어서 콘텐츠에 자유롭게 주석첨부하지만, 디지털 사본들을 만들지 못하거나 다른 문서들 또는 파일들로 이동하지 못한다. 이것은 다른 디바이스간 정보 전달 기법들에 의해 지원되는 정보의 디지털 전송과 아주 상이하고 훨씬 더 제한된 형태의 공유이다. 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은 단일의 사용자가 두 손으로 디스플레이를 들고 있을 때 태블릿 넘겨주기를 트리거링하지 않고; 이러한 인터랙션들 동안, 사용자들은 태블릿을 자기 쪽으로 기울어지게 하는 경향이 있고, 따라서 태블릿이 수평으로 있지 않다. 유사한 방식으로, 사용자들이 우연히 자신의 디바이스를 양손으로 터치하거나 파지하는 경우 사용자들이 태블릿 넘겨주기를 무심코 트리거링하지 않도록 디바이스가 책상 위에 완벽하게 수평으로 있는 인터랙션들이 검출될 수 있다.

5.2 센서들에의 충돌과의 상관 이전의 이력

펜과 컴퓨팅 디바이스 센서 상관 기법의 일부 구현들은 터치 감응 펜 및/또는 터치 감응 컴퓨팅 디바이스 상의 (예를 들어, 센서 데이터를 끊임없이 기록하는 것에 의해 획득되는) 센서들의 과거 데이터를 분석한다. 이 데이터는, 예를 들어, 터치가 펜의 움직임과 상관되었다는 것을 확인 또는 강화하기 위해 펜의 터치다운과 연관되는 충돌 시에 취해진 센서 데이터와 상관될 수 있다. 현재 상관 데이터에 부가하여 과거 상관 데이터를 사용하는 기법의 구현들은 사용하지 않는 것들보다 더 강건할 수 있다. 예를 들어, 펜이 그와 동시에 움직이고 있는 동안 접촉이 손바닥이고 잘 사용하지 않는 손(non-dominant hand)에 의한 우발적인 터치다운이 아니라는 것을 확인하기 위해 충돌 검출 시에 인식되는, 사람이 쓰기를 하기 위해 자신의 손을 내려 놓는 것과 연관된 센서 데이터보다 약간 이전에 펜과 연관된 가속도/감속도 패턴이 있을 수 있다.

6.0 예시적인 시스템 하드웨어

프로토타입 구현에서, 예상되는 일정 범위의 컨텍스트 감지 기법들을 지원하기 위해, 커스텀 하드웨어가 펜 및 터치 감응 컴퓨팅 디바이스를 관성 센서들 및 용량성 그립 감지로 보강하도록 설계되었음은 물론, 커스텀 소프트웨어/펌웨어가 터치 스크린으로부터의 동시적인 펜 + 터치 이벤트들을 처리하도록 설계되었다. 이하의 예시적인 프로토타입 하드웨어 및 소프트웨어/펌웨어의 설명은 제한하려는 것으로 의도되어 있지 않고, 본원에서 논의되는 구현들이 어떻게 구현될 수 있는지를 보여주기 위해 제공된다. 본 기술 분야의 통상의 기술자는 많은 다른 구현들이 가능하다는 것을 알 것이다.

6.1. 펜 하드웨어 설계

하나의 예시적인 동작하는 구현에서, 7x30 감지 요소들로 이루어져 있는 가요성 용량성 격자(flexible capacitive grid)가, 센서들을 보호하기 위해 그리고 감지를 위한 매끄럽고 잡기 쉬운 원통형 표면을 제공하기 위해 열 수축 튜브(heat-shrink tubing)로 감싸져 있는, 펜대 전체를 덮고 있다. 펜의 내부는 소형 전자기 펜, 4개의 AAAA 배터리, 및 커스텀 회로부를 보유하는 3D 인쇄된 케이스로 이루어져 있다. 관성 감지를 위해, 자이로스코프는 물론 가속도계/자력계 모듈이 사용되었다. 용량성 감지를 위해, 터치 컨트롤러가 이용되었다. 펜은 2Mbps로 동작하는 송수신기를 사용하여 모든 데이터를 호스트 컴퓨터로 보낸다. 마이크로컨트롤러는 펌웨어를 실행한다.

이 특정의 구현에서, 모든 관성 센서 데이터는 130Hz로 펜으로부터 보내지고, 7x30 커패시턴스 맵은 30Hz로 펜으로부터 보내진다. 얻어진 펜은 길이가 19cm이고 외부 직경이 13mm이다.

6.2 터치 감응 컴퓨팅 디바이스/태블릿 하드웨어 설계

이 예시적인 프로토타입에서의 터치 감응 컴퓨팅 디바이스는 태블릿 컴퓨터이다. 태블릿 케이스는 태블릿의 배면 전체와 측면들을 덮고 있다. 경성 케이스는 44x26 용량성 감지 요소들로 이루어져 있는 인쇄 회로 보드들로 구성된다. 집적 회로들이 탑재되어 있는 (배면 상에서 케이스의 가운데에 있는) 작은 민감하지 않은 영역이 있다. 케이스는, 용량성 격자의 상이한 부분들에 대한 4개의 터치 컨트롤러들이 있는 것을 제외하고는, 펜과 동일한 센서 컴포넌트들을 포함한다. 태블릿 센서 데이터는 USB를 통해 보내지고, 태블릿의 관성 센서들은 100Hz로 샘플링되고 태블릿의 44x26 커패시턴스 맵은 25Hz로 샘플링된다.

6.3 터치 스크린으로부터의 동시적인 펜과 터치

다중 터치 및 펜 이벤트들은 HID(Human Interface Device) 컨트롤러로부터 직접 그들을 가로채기하는 것에 의해 처리되었다. 이 접근법을 사용하여, 펜 입력과 동시에 최대 8개의 터치 접촉들을 보고할 수 있는 삼성 시리즈 7 슬레이트(Samsung Corporation Series 7 Slate)가 프로토타입을 위해 사용되었다.

6.4 소프트웨어/펌웨어 설계

일부 기법 구현들은 펜 및 태블릿 센서 데이터를 처리를 위해 외부 PC 상에서 집계하고 타임 스탬핑하며, 이어서 관련된 입력 이벤트들을 사용자 인터페이스에서 제시하기 위해 태블릿으로 전송한다. 게다가, 일부 기법 구현들은 외부 PC 상에서 그립 인식을 계산한다. 그에 따라, 일 구현은 4개의 협력하는 컴포넌트들 - 터치 감응 펜, 태블릿 케이스, 태블릿 자체, 및 외부 PC - 을 갖는 분산 시스템으로 이루어져 있다. 그렇지만, 유의할 점은 센서 데이터의 집계 및 타임 스탬핑은 물론, 그립 인식이 태블릿 컴퓨터 상에서 수행될 수 있고, 그로써 독립형 PC(personal computer)가 필요없게 된다는 것이다. 케이스는 터치 감응 컴퓨팅 디바이스 내에 직접 통합될 수 있다. 일부 구현들에서, 모든 분산 이벤트 스트림들로부터의 타임 스탬핑된 데이터가 동기화된 버퍼들에 큐잉된다. 일부 기법 구현들은 이어서, 모든 이벤트들이 이용가능한 마지막 타임 스탬프까지, 이 버퍼들로부터의 이벤트들을 처리한다. 다른 구현들에서, 일부 이벤트들이 실시간으로 디스패치될 수 있지만, 이어서 그 후에 장래의 이벤트 샘플들이 그들의 해석을 변경하게 될 다른 소스들로부터 도착하는 경우 수정될 수 있다. 이것은 피드백을 지연시키는 것, 잠정적 피드백을 디스플레이하는 것, 또는 최종 사용자 애플리케이션들에서 투기적 동작들을 실행 취소하는 것에 의해 달성될 수 있다.

6.5 관성 센서 융합

일부 기법 구현들은 가속도계, 자이로스코프, 및 자력계 센서 입력들을 방향 코사인 행렬 알고리즘을 사용하여 결합시킨다. 이것은 ENU(east-north-up) 지구 좌표계에서 안정적인 요, 피치, 및 롤 값들을 생성한다. 이것이 태블릿에 상대적인 일관성있는 참조 프레임에서의 펜 배향을 도출하는 데 사용된다.

6.6 펜 그립 분류

프로토타입 구현은 4개의 상이한 그립들 - 쓰기, 터크, 손바닥, 및 (펜이 파지되지 않을 때에 대한) 그립 없음 - 을 인식한다. 관찰된 거동 B4(그립 대 자세)에 따라, 그립 인식은 손 접촉의 패턴(용량성 그립 감지)은 물론 스타일러스의 자세(배향)를 고려한다. 시스템의 프로토타입 구현은 두드러진 특징들을 추출하기 위해 들어오는 데이터를 처리하고 이어서 펜 그립들을 추출하기 위해 다중 부류 분류기(multi-class classifier)를 훈련시킨다. 기법 구현들은 일대다 학습자(one-vs-all learner)들의 세트를 사용함으로써 펜 그립 패턴들의 다중 부류 분류를 수행하고, 여기서 각각의 학습자는 SVM(Support Vector Machine) 분류기이다. 그 결과는 4개의 그립들 모두에 대한 확률 분포이다.

기법 구현들은 펜 폼 팩터의 독특한 고려사항들을 고려하는 그립 분류를 위한 특징들을 선택한다. 상세하게는, 펜이 펜대의 축을 따라 대칭(원통형)이기 때문에, 감지된 그립들이 펜의 롤 각도(roll angle)에 무관하다. 이와 유사하게, 사용자가 펜을 펜대 상에서 보다 아래쪽에서 또는 보다 위쪽에서 잡는지, 또는 사용자의 손의 크기가 그립 분류에 영향을 주어서는 안된다. 이와 같이, 본 시스템의 일부 구현들은 그립 높이 및 롤 각도 둘 다와 관련하여 불변인 정규화된 영상을 계산한다. 원시 7x30 커패시턴스 맵으로부터, 본 시스템은 영이 아닌 커패시턴스 값들을 7x10 정규화된 영상으로 근사화한다. 발광된(영이 아닌 커패시턴스) 픽셀들의 첫 번째 행이 정규화된 영상의 하단에 대응하고 이어서 영이 아닌 커패시턴스 픽셀들을 정규화된 영상의 10개의 행에 적합하게 하기 위해 스케일링하도록, 커패시턴스 맵이 y-차원에서 천이된다. 그립 분류를 위해 이용되는 특징들은 따라서 펜 요 및 피치 각도들, 정규화된 그립 영상은 물론, x 차원 및 y 차원에서 정규화된 그립 히스토그램을 포함한다. 기법 구현들은 또한 발광된(영이 아닌) 픽셀들의 수에 대한 특징들, 및 원시 커패시턴스 맵으로부터의 7x30 커패시턴스 값들 모두의 픽셀 합을 포함한다.

6.6 그립 훈련 데이터세트 컬렉션

일 구현에서, 9 명의 오른손잡이 참가자들(여성 4명) - 이들 모두는 이전에 펜 및 태블릿을 사용해 본 적이 있음 - 이 그립 훈련 데이터세트를 발생시키는 데 사용되었다. 사용자들은 특정 그립들 및 각각의 그립에서 수행할 동작들을 설명하는 스크립트를 통해 안내되었다. 이들은 터크 그립과 손바닥 그립 둘 다로부터 (관찰된 거동 B1에 따라) 터치를 사용하는 동안 펜을 치워놓는 것(거동 B2)을 포함하였다. 그립들 사이의 다양한 통상적인 전환들(거동 B3)을 포착하기 위해 작업들의 상이한 시퀀스들이 또한 포함되었다. 사용자들은, 탭핑, 드래그, 및 핀치와 같은 직접 조작 제스처들의 표현과 함께, 쓰기 그립과 단일 손가락 및 두 손가락 확장 그립 사이의 전환들(거동 B5)을 포함한 각각의 그립에 대한 전 범위의 외전(거동 B4)을 통해 안내되었다. 그렇지만, 사용할 특정의 삼각대 그립이 명시되지 않았고, 오히려 사용자들은 (거동 B6에 따라) 데이터세트가 쓰기 그립에서 사용자간 변동들을 포착하도록 펜을 자연스럽게 잡도록 허용되었다. 데이터 수집은 사용자마다 약 15분 지속되었고, 그립당 각각의 사용자에 대해 총 1200개의 샘플들로부터, 총 1200 x 3개의 그립 x 9 명의 사용자 = 32400개의 샘플들의 훈련 데이터세트를 생성하였다.

6.6 펜 그립 인식 정확도

수집된 그립 훈련 데이터세트를 사용하는 10중 교차 유효성 검사(10-fold cross-validation)는 사용자 독립적 모델에 대해 88%의 전체적인 정확도를 가져왔다. 9명의 부가적인 오른손잡이 사용자들 - 그 중 누구도 훈련 데이터세트에 데이터를 제공하지 않았음 - 에 대한 개별적인 검사가 수행되었다. 이것은 쓰기 그립에 대해 93%, 터크 그립에 대해 93%, 그리고 손바닥 그립에 대해 77%의 사용자 독립적인 그립 인식 정확도를 가져왔다. 손바닥 그립에 대한 비교적 낮은 인식률은 몇몇 사용자들이 이 그립에서 펜을 아주 약하게 잡는 경향에 기인하는 것처럼 보였으며, 그 결과 용량성 그립 어레이에 의해 감지되는 접촉의 얼마간 일관성 없는 패턴이 얻어진다. 그렇지만, 본 시스템은 97% 정확도로 쓰기 그립과 비쓰기 그립(즉, 터크 또는 손바닥)을 여전히 구별할 수 있었다. 대부분의 인터랙션 기법들이 터크 그립과 손바닥 그립 간의 임의의 차이점에 의존하지 않기 때문에, 새로 직면하는 사용자들에 대한 훈련 데이터를 수집하지 않아도 충분히 잘 동작하는 이 사용자 독립적 그립 모델이 사용되었다.

7.0 예시적인 운영 환경:

본원에 기술되는 펜과 컴퓨팅 디바이스 센서 상관 기법의 구현들은 많은 유형의 범용 또는 특수 목적 컴퓨팅 시스템 환경들 또는 구성들 내에서 동작한다. 도 18은 펜과 컴퓨팅 디바이스 센서 상관 기법의 다양한 구현들 및 요소들이, 본원에 기술되는 바와 같이, 구현될 수 있는 펜 또는 다양한 센서들로 강화된 펜과 결합된 범용 컴퓨터 시스템의 단순화된 예를 나타내고 있다. 유의할 점은, 도 18에서 절선 또는 파선으로 표현되는 임의의 상자들이 단순화된 컴퓨팅 디바이스 및 센서 펜의 대안의 구현들을 나타낸다는 것과, 이 대안의 구현들의 일부 또는 전부가, 이하에서 기술하는 바와 같이, 본 문서의 전체에 걸쳐 기술되는 다른 대안의 구현들과 함께 사용될 수 있다는 것이다.

예를 들어, 도 18은 단순화된 터치 감응 컴퓨팅 디바이스(1800)를 보여주는 일반적인 시스템도를 나타내고 있다. 일반적으로, 이러한 터치 감응 컴퓨팅 디바이스들(1800)은 하나 이상의 터치 감응 표면들(1805) 또는 영역들(예컨대, 터치 스크린, 터치 감응 베젤 또는 케이스, 호버링 유형 입력들의 검출을 위한 센서들, 광학 터치 센서들 등)을 가진다. 터치 감응 컴퓨팅 디바이스(1800)의 예는 컴퓨팅 디바이스에 연결된 터치 감응 디스플레이 디바이스, 터치 감응 전화기 디바이스, 터치 감응 미디어 플레이어, 터치 감응 e-리더, 노트북, 북릿(듀얼 화면), 태블릿 컴퓨터 유형 컴퓨터, 또는 하나 이상의 터치 감응 표면들 또는 입력 방식들을 가지는 임의의 다른 디바이스를 포함하지만, 이들로 제한되지 않는다.

디바이스가 펜과 컴퓨팅 디바이스 센서 상관 기법을 구현할 수 있게 하기 위해, 컴퓨팅 디바이스(1800)는 기본적인 계산 동작들을 가능하게 하기에 충분한 계산 능력 및 시스템 메모리를 가지고 있어야만 한다. 그에 부가하여, 컴퓨팅 디바이스(1800)는 가속도계, 자이로스코프, 자력계, 지문 검출기, 깊이 카메라를 비롯한 카메라, 용량성 센서, 근접 센서, 마이크로폰, 다중 스펙트럼 센서 등(이들로 제한되지 않음)을 비롯한, 하나 이상의 센서들(1810)을 포함할 수 있다. 도 18에 예시된 바와 같이, 계산 능력은 일반적으로 하나 이상의 처리 유닛(들)(1825)에 의해 예시되어 있고, 또한 하나 이상의 GPU들(1815)을 포함할 수 있으며, 이들 중 어느 하나 또는 둘 다는 시스템 메모리(1820)와 통신한다. 유의할 점은, 컴퓨팅 디바이스(1800)의 처리 유닛(들)(1825)이 DSP, VLIW, 또는 다른 마이크로컨트롤러와 같은 특수 마이크로프로세서일 수 있거나, 멀티 코어 CPU에서의 특수 GPU 기반 코어들을 비롯한 하나 이상의 처리 코어들을 가지는 종래의 CPU들일 수 있다는 것이다.

그에 부가하여, 컴퓨팅 디바이스(1800)는 또한, 예를 들어, 센서 펜 디바이스(1835)로부터 통신을 수신하기 위한 통신 인터페이스(1830)와 같은, 다른 컴포넌트들을 포함할 수 있다. 컴퓨팅 디바이스(1800)는 또한 하나 이상의 종래의 컴퓨터 입력 디바이스들(1840) 또는 이러한 디바이스들(예컨대, 포인팅 디바이스들, 키보드들, 오디오 입력 디바이스들, 음성 또는 발화 기반 입력 및 제어 디바이스들, 비디오 입력 디바이스들, 햅틱 입력 디바이스들, 터치 입력 디바이스들, 유선 또는 무선 데이터 전송을 수신하기 위한 디바이스들 등)의 조합들을 포함할 수 있다. 컴퓨팅 디바이스(1800)는 또한, 예를 들어, 하나 이상의 종래의 컴퓨터 출력 디바이스들(1850)(예컨대, 디스플레이 디바이스(들)(1855), 오디오 출력 디바이스들, 비디오 출력 디바이스들, 유선 또는 무선 데이터 전송을 전송하기 위한 디바이스들 등)과 같은 다른 선택적 컴포넌트들을 포함할 수 있다. 범용 컴퓨터에 대한 전형적인 통신 인터페이스들(1830), 입력 디바이스들(1840), 출력 디바이스들(1850), 및 저장 디바이스들(1860)이 본 기술 분야의 통상의 기술자에게 널리 공지되어 있고, 본원에서 상세히 기술되지 않을 것임에 유의한다.

컴퓨팅 디바이스(1800)는 또한 각종의 컴퓨터 판독가능 매체를 포함할 수 있다. 컴퓨터 판독가능 매체는 저장 디바이스들(1860)을 통해 컴퓨터 디바이스(1800)에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있고, 컴퓨터 판독가능 또는 컴퓨터 실행가능 명령어들, 데이터 구조들, 프로그램 모듈들, 또는 다른 데이터와 같은 정보를 저장하기 위한, 이동식(1870) 및/또는 비이동식(1880) 중 어느 하나일 수 있는 휘발성 및 비휘발성 매체 둘 다를 포함한다. 제한이 아닌 예로서, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는, 원하는 정보를 저장하는 데 사용될 수 있고 하나 이상의 컴퓨팅 디바이스들에 의해 액세스될 수 있는, DVD, CD, 플로피 디스크, 테이프 드라이브, 하드 드라이브, 광학 드라이브, 고상 메모리 디바이스, RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, 자기 카세트, 자기 테이프, 자기 디스크 저장소, 또는 다른 자기 저장 디바이스, 또는 임의의 다른 디바이스와 같은 유형적 컴퓨터 또는 머신 판독가능 매체 또는 저장 디바이스들을 지칭한다.

컴퓨터 판독가능 또는 컴퓨터 실행가능 명령어, 데이터 구조, 프로그램 모듈 등과 같은 정보의 저장은 또한 하나 이상의 피변조 데이터 신호(modulated data signal)들 또는 반송파들, 또는 다른 전송 메커니즘들 또는 통신 프로토콜들을 인코딩하기 위해 각종의 전술한 통신 매체 중 임의의 것을 사용하는 것에 의해 달성될 수 있고, 임의의 유선 또는 무선 정보 전달 메커니즘을 포함한다. "피변조 데이터 신호" 또는 "반송파"라는 용어가 일반적으로 신호의 특성들 중 하나 이상이 정보를 그 신호에 인코딩하는 방식으로 설정되거나 변경되는 신호를 지칭한다는 것에 유의한다. 예를 들어, 통신 매체는 하나 이상의 피변조 데이터 신호들을 전달하는 유선 네트워크 또는 직접 배선 연결(direct-wired connection)과 같은 유선 매체, 그리고 하나 이상의 피변조 데이터 신호들 또는 반송파들을 전송 및/또는 수신하기 위한 음향, RF, 적외선, 레이저, 및 다른 무선 매체와 같은 무선 매체를 포함한다. 상기한 것들 중 임의의 것의 조합들이 또한 통신 매체의 범주 내에 포함되어야 한다.

컴퓨터 판독가능 또는 컴퓨터 실행가능 명령어, 데이터 구조, 프로그램 모듈, 기타와 같은 정보의 유지는 또한 하나 이상의 피변조 데이터 신호(modulated data signal)들 또는 반송파들, 또는 기타 전송 메커니즘들 또는 통신 프로토콜들을 인코딩하기 위해 각종의 전술한 통신 매체 중 임의의 것을 사용하는 것에 의해 달성될 수 있고, 임의의 유선 또는 무선 정보 전달 메커니즘을 포함한다. "피변조 데이터 신호" 또는 "반송파"라는 용어가 일반적으로 신호의 특성들 중 하나 이상이 정보를 그 신호에 인코딩하는 방식으로 설정되거나 변경되는 신호를 지칭한다는 것에 유의한다. 예를 들어, 통신 매체는 하나 이상의 피변조 데이터 신호들을 전달하는 유선 네트워크 또는 직접 배선 연결(direct-wired connection)과 같은 유선 매체, 그리고 하나 이상의 피변조 데이터 신호들 또는 반송파들을 전송 및/또는 수신하기 위한 음향, RF, 적외선, 레이저, 및 다른 무선 매체와 같은 무선 매체를 포함한다. 상기한 것들 중 임의의 것의 조합들이 또한 통신 매체의 범주 내에 포함되어야 한다.

게다가, 본원에 기술되는 펜과 컴퓨팅 디바이스 센서 상관 기법의 다양한 구현들의 일부 또는 전부, 또는 그의 일부분들을 구현하는 소프트웨어, 프로그램, 및/또는 컴퓨터 프로그램 제품이 컴퓨터 또는 머신 판독가능 매체 또는 저장 디바이스들 및 통신 매체의 임의의 원하는 조합으로부터 컴퓨터 실행가능 명령어 또는 다른 데이터 구조의 형태로 저장, 수신, 전송, 및/또는 판독될 수 있다.

마지막으로, 본원에 기술되는 펜과 컴퓨팅 디바이스 센서 상관 기법은 게다가 일반적으로 컴퓨팅 디바이스에 의해 실행되는, 프로그램 모듈과 같은. 컴퓨터 실행가능 명령어와 관련하여 기술될 수 있다. 일반적으로, 프로그램 모듈들은 특정의 작업들을 수행하거나 특정의 추상 데이터 유형들을 구현하는 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조 등을 포함한다. 본원에 기술되는 구현들은 또한 작업들이 하나 이상의 원격 처리 디바이스들에 의해 수행되는 분산 컴퓨팅 환경에서 또는 하나 이상의 통신 네트워크들을 통해 연결되어 있는 하나 이상의 디바이스들의 클라우드 내에서 실시될 수 있다. 분산 컴퓨팅 환경에서는, 프로그램 모듈이 매체 저장 디바이스를 비롯한 로컬 및 원격 컴퓨터 저장 매체 둘 다에 위치될 수 있다. 게다가, 전술한 명령어들은, 부분적으로 또는 전체적으로, 프로세서를 포함할 수 있거나 그렇지 않을 수 있는 하드웨어 논리 회로들로서 구현될 수 있다.

도 18에 의해 예시된 센서 펜 디바이스(1835)는 펜 또는 펜 센서들(1845), 논리(1865), 전원(1875)(예컨대, 배터리), 및 기본 I/O 기능들(1885)로 보강된 펜의 단순화된 버전을 나타내고 있다. 앞서 논의된 바와 같이, 센서 펜 디바이스(1835)와 함께 사용하기 위한 펜 센서들(1845)의 예는 포함하지만, 관성 센서, 깊이 카메라를 비롯한 카메라, 근접 센서, 지문 센서, 전기 피부 반응 센서, 가속도계, 압력 센서, 그립 센서, NFC(near-field communication) 센서, RFID 태그 및/또는 센서, 온도 센서, 마이크로폰, 자력계, 용량성 센서, 자이로스코프 등을 포함하지만, 이들로 제한되지 않는다.

일반적으로, 센서 펜 디바이스(1835)의 논리(1865)는 컴퓨팅 디바이스(1800)의 계산 기능과 유사하지만, 일반적으로 계산 속도, 메모리 등의 면에서 덜 강력하다. 그렇지만, 센서 펜 디바이스(1835)는 독립형 계산 디바이스로 간주될 수 있도록 충분한 논리(1865)로 구성될 수 있다.

센서 펜 디바이스(1835)의 전원(1875)은, 교체가능 배터리, 충전가능 배터리, 용량성 에너지 저장 디바이스, 연료 전지 등(이들로 제한되지 않음)을 비롯한, 다양한 폼 팩터로 구현된다. 마지막으로, 센서 펜 디바이스(1835)의 I/O(1885)는 센서 펜 디바이스가 센서 데이터 및/또는 다른 정보를 컴퓨팅 디바이스(1800)로 전달할 수 있게 하는 종래의 유선 또는 무선 통신 기능을 제공한다.

펜과 컴퓨팅 디바이스 센서 상관 기법에 대한 이상의 설명은 예시 및 설명을 위해 제시되었다. 이는 전수적이거나 청구된 발명 요지를 개시된 정확한 형태로 제한하는 것으로 의도되어 있지 않다. 이상의 교시내용을 고려하여 많은 수정들 및 변형들이 가능하다. 게다가, 유의할 점은 전술한 대안의 구현들의 일부 또는 전부가 펜과 컴퓨팅 디바이스 센서 상관 기법의 부가의 혼성 구현들을 형성하기 위해 원하는 임의의 조합으로 사용될 수 있다는 것이다. 예를 들어, 본원에 기술되는 펜과 컴퓨팅 디바이스 센서 상관 기법의 많은 구현들 중 일부를 가능하게 하는 데 사용되는 다양한 디바이스들은 펜, 포인터, 펜 유형 입력 디바이스를 포함한다. 그렇지만, 본원에 기술되는 기능이 임의의 원하는 폼 팩터, 예컨대, 다양한 게임 디바이스, 게임 콘솔, 또는 다른 컴퓨팅 디바이스와 함께 사용하기 위한 전화기, 완드(wand), 스태프(staff), 볼 라켓(ball racquet), 장난감 칼 등으로 구현될 수 있다. 게다가, 본원에 기술되는 센서 펜들은 전원 및, 관성 센서, 깊이 카메라를 비롯한 카메라, 압력 센서, 그립 센서, NFC(near-field communication) 센서, RFID 태그 및/또는 센서, 온도 센서, 마이크로폰, 자력계, 용량성 센서, 자이로스코프 등(이들로 제한되지 않음)을 비롯한 센서들의 다양한 조합들을, 다양한 컴퓨팅 디바이스들과 인터페이싱하기 위한 다양한 무선 통신 기능들과 함께, 포함하도록 구성되어 있다. 유의할 점은, 이 센서들 중 일부 또는 전부가 다축 또는 다중 위치 센서(예컨대, 3축 가속도계, 자이로스코프, 및 자력계)일 수 있다는 것이다. 그에 부가하여, 다양한 구현들에서, 본원에 기술되는 센서 펜은 게다가 센서 펜이 다른 컴퓨팅 디바이스들, 다른 센서 펜들과 결합하거나 협력하여, 또는 심지어 독립형 컴퓨팅 디바이스로서 동작할 수 있게 하는 메모리 및/또는 컴퓨팅 기능들을 포함하도록 구성되었다.

펜과 컴퓨팅 디바이스 센서 상관 기법이 센서 펜 및 터치에 대한 실제의 터치를 감지하지만, 이는 또한 가상 터치 입력들에 대해서도 이용될 수 있다. 투사된 디스플레이, 전자 화이트보드, 또는 다른 표면들 또는 객체들에 대한 가상 터치 입력들이 펜과 컴퓨팅 디바이스 센서 상관 기법에 의해 실제의 터치 입력 또는 터치 감응 표면과 동일한 방식으로 취급된다. 이러한 가상 터치 입력들은, 예를 들어, 투사된 영상에 대한, 전자 화이트보드 상의 텍스트에 대한, 물리적 객체 등에 대한 사용자 손가락 움직임을 추적하기 위해 카메라 또는 다른 영상 기술들을 사용하는 것과 같은 종래의 기법들을 사용하여 검출된다.

그에 부가하여, 펜과 컴퓨팅 디바이스 센서 상관 기법이 터치 또는 압력을 결정하거나 감지하기 위한 아주 다양한 터치 및 굴곡(flex) 감응 재료들에 대해 동작가능하다는 것을 잘 알 것이다. 예를 들어, 펜과 컴퓨팅 디바이스 센서 상관 기법에 의해 사용하도록 구성된 하나의 터치 감지 기술은 접촉을 감지하기 위해 터치된 표면의 어떤 확정적인 변형에 대해 광원을 평가하는 것에 의해 터치 또는 압력을 결정한다. 또한, 유의할 점은 센서 펜이, 본원에서 논의되는 바와 같이, 다수의 유형의 터치 및/또는 압력 감지 기판들을 포함할 수 있다는 것이다. 예를 들어, 센서 펜은, 예를 들어, 용량성 센서, 압력 센서, 굴곡 또는 변형 기반 센서, 깊이 센서 등과 같은, 센서들의 임의의 조합을 사용하여 터치 감응 및/또는 압력 감응 둘 다일 수 있다.

본 개시내용의 범주가 이 상세한 설명에 의해서가 아니라 오히려 본원에 첨부된 청구항들에 의해 제한되는 것으로 의도되어 있다. 발명 요지가 구조적 특징들 및/또는 방법 동작들과 관련하여 기술되어 있지만, 첨부된 청구범위에 한정된 발명 요지가 앞서 기술된 구체적인 특징들 또는 동작들로 꼭 제한되는 것은 아님을 잘 알 것이다. 오히려, 앞서 기술된 구체적인 특징들 및 동작들은 청구항들을 구현하는 예시적인 형태들로서 개시되어 있다.

Claims

컴퓨터를 사용하는 것을 포함하는, 사용자 인터페이스 액션(user interface action)들을 개시하기 위한 컴퓨터 구현 프로세스(computer-implemented process)에 있어서, 상기 컴퓨터를 사용하는 것은,
터치 감응 펜(touch-sensitive pen) 및 터치 감응 컴퓨팅 디바이스로부터 수신되는 동시적인(concurrent) 센서 입력들의 조합을 수신하고 - 상기 동시적인 센서 입력들은,
상기 터치 감응 펜에 대한 그립 패턴(grip pattern)들에 기초한 하나 이상의 센서 입력,
상기 터치 감응 컴퓨팅 디바이스에 대한 터치 패턴들에 기초한 하나 이상의 센서 입력을 포함함 - ;
상기 센서 입력들로부터 상기 사용자의 선호되는 손(preferred hand) 및 비선호되는 손(non-preferred hand)을 결정하고 - 상기 사용자의 선호되는 손은,
상기 터치 감응 펜의 모션에서의 충돌(bump)을 상기 터치 감응 컴퓨팅 디바이스와 접촉이 이루어질 때 감지함으로써; 그리고
상기 터치 감응 펜을 잡은(hold) 손이 상기 선호되는 손이라고 결정하기 위해 상기 터치 감응 펜의 모션에서의 충돌을 상기 터치 감응 컴퓨팅 디바이스의 모션과 상관시킴으로써 결정됨 - ;
상기 터치 감응 컴퓨팅 디바이스가 어떻게 터치되고 있는지와 동시에 상기 터치 감응 펜이 어떻게 그립되어 있는지를 결정하기 위해 상기 센서 입력들을 사용하며; 그리고
상기 터치 감응 펜에 대한 상기 그립 패턴과 상기 터치 감응 컴퓨팅 디바이스에 대한 상기 터치 패턴의 조합에 기초하여 사용자 인터페이스 액션을 개시하기 위한 것인, 사용자 인터페이스 액션들을 개시하기 위한 컴퓨터 구현 프로세스.
제1항에 있어서, 상기 사용자의 선호되는 손의 결정을 메타데이터(metadata)로서 사용하는 것을 더 포함하는, 컴퓨터 구현 프로세스.
제1항에 있어서, 상기 터치 감응 펜의 배향(orientation)을 나타내는 신호들을 상기 그립 패턴들을 결정하는데 사용하는 것을 더 포함하는, 컴퓨터 구현 프로세스.
제1항에 있어서,
상기 터치 감응 컴퓨팅 디바이스의 모션을 감지하는 것;
상기 감지된 터치 감응 컴퓨팅 디바이스의 모션을 상기 터치 감응 컴퓨팅 디바이스에 대한 상기 터치 패턴들과 상관시키는 것; 및
상기 터치 감응 컴퓨팅 디바이스의 디스플레이 상의 우발적인(accidental) 스크린 콘텐츠 회전을 억제하기 위해 상기 상관된 모션과 상기 터치 감응 컴퓨팅 디바이스에 대한 터치 패턴들을 사용하는 것을 더 포함하는, 컴퓨터 구현 프로세스.
제1항에 있어서,
상기 그립 패턴들을 사용하여, 상기 사용자가 맨손으로 제스처를 하고 있는지 또는 상기 사용자가 상기 터치 감응 펜을 잡은 손으로 제스처를 하고 있는지 여부를 결정하는 것을 더 포함하는, 컴퓨터 구현 프로세스.
제1항에 있어서,
상기 터치 감응 펜이 상기 사용자의 선호되는 손에서 집어넣어진 위치(stowed position)에 잡혀있다고 결정하는 것;
상기 터치 감응 컴퓨팅 디바이스의 디스플레이에 대한 상기 사용자의 선호되는 손으로부터의 접촉을 검출하는 것; 및
상기 접촉에 응답하여 컨텍스트 특유의 도구(context-specific tool)들을 디스플레이하는 것을 더 포함하는, 컴퓨터 구현 프로세스.
제1항에 있어서,
상기 터치 감응 펜이 쓰기(write)를 위한 위치에 있지 않다는 것을 나타내는 그립으로 상기 터치 감응 펜이 상기 사용자의 선호되는 손에 잡혀있다고 결정하는 것;
상기 터치 감응 컴퓨팅 디바이스의 디스플레이에 대한 상기 사용자의 비선호되는 손으로부터의 접촉을 검출하는 것; 및
상기 접촉에 응답하여 컨텍스트 특유의 도구들을 디스플레이하는 것을 더 포함하는, 컴퓨터 구현 프로세스.
제1항에 있어서,
상기 터치 감응 펜이 쓰기를 위한 위치에 있다는 것을 나타내는 그립으로 상기 터치 감응 펜이 상기 사용자의 선호되는 손에 잡혀있다고 결정하는 것;
상기 터치 감응 컴퓨팅 디바이스의 디스플레이에 대한 상기 사용자의 비선호되는 손으로부터의 접촉을 검출하는 것; 및
상기 접촉에 응답하여 컨텍스트 특유의 도구들을 디스플레이하는 것을 더 포함하는, 컴퓨터 구현 프로세스.
제1항에 있어서,
상기 터치 감응 펜이 쓰기를 위한 위치에 있다는 것을 나타내는 그립으로 상기 터치 감응 펜이 상기 사용자의 선호되는 손에 잡혀있다고 결정하는 것;
상기 터치 감응 컴퓨팅 디바이스의 디스플레이에 대한 상기 사용자의 비선호되는 손으로부터의 다수 손가락 터치 제스처(multi-finger touch gesture)를 검출하는 것; 및
상기 다수 손가락 터치 제스처에 응답하여 컨텍스트 특유의 도구들을 디스플레이하는 것을 더 포함하는, 컴퓨터 구현 프로세스.
제1항에 있어서,
상기 터치 감응 펜이 쓰기를 위한 위치에 있지 않다는 것을 나타내는 그립으로 상기 터치 감응 펜이 상기 사용자의 선호되는 손에 잡혀있다고 결정하는 것;
상기 터치 감응 컴퓨팅 디바이스의 디스플레이에 대한 상기 사용자의 선호되는 손으로부터의 두 손가락 터치 제스처를 검출하는 것; 및
상기 두 손가락 터치 제스처에 응답하여 상기 터치 감응 컴퓨팅 디바이스의 디스플레이에 콘텐츠를 확대하는 돋보기 도구(magnifier tool)를 디스플레이하는 것을 더 포함하는, 컴퓨터 구현 프로세스.
제1항에 있어서,
상기 터치 감응 컴퓨팅 디바이스의 터치 감응 스크린에 대한 터치가, 상기 터치 감응 컴퓨팅 디바이스의 케이스의 대응하는 배면 부분(back portion)에 대한 새로운 손 그립 패턴이 검출된 것과 동시에, 사용자의 엄지손가락에 의해 이루어진 것으로 결정하는 것; 및
상기 터치 감응 스크린에 대한 상기 엄지손가락에 의해 이루어진 상기 터치가 의도적이지 않은 것으로 지정(designate)하는 것을 더 포함하는, 컴퓨터 구현 프로세스.
제1항에 있어서,
사용자가 어느 손으로 상기 터치 감응 컴퓨팅 디바이스를 잡고 있는지를 결정하는 것; 및
상기 터치 감응 컴퓨팅 디바이스를 잡은 손의 엄지손가락으로 상기 사용자에 의해 활성화될 수 있는 엄지손가락 메뉴를 상기 터치 감응 컴퓨팅 디바이스의 스크린 상의 위치에 디스플레이하는 것을 더 포함하는, 컴퓨터 구현 프로세스.
제12항에 있어서, 상기 엄지손가락 메뉴는 상기 사용자가 상기 터치 감응 컴퓨팅 디바이스를 더 이상 터치하지 않을 때 페이드 어웨이(fade away)되는 것인, 컴퓨터 구현 프로세스.
메타 정보를 찾기(find) 위한 컴퓨터 구현 프로세스에 있어서,
컴퓨팅 디바이스를 사용하는 것으로서,
단일 사용자에 의한 2개 이상의 터치 감응 디바이스들에 대한 동시 접촉들의 신호들을 상관시키고;
상기 상관된 동시 접촉들의 신호들로부터 상기 사용자의 선호되는 손을 결정하기 위한 것인, 상기 컴퓨팅 디바이스를 사용하는 것 - 상기 사용자의 선호되는 손은,
제1 터치 감응 디바이스의 모션에서의 충돌을 제1 터치 감응 컴퓨팅 디바이스와 접촉이 이루어질 때 감지함으로써; 그리고
상기 제1 터치 감응 디바이스를 잡은 손이 상기 선호되는 손이라고 결정하기 위해 상기 제1 터치 감응 디바이스의 모션에서의 충돌을 제2 터치 감응 디바이스의 모션과 상관시킴으로써 결정됨 - ;
상기 신호들의 상관성에 기초하여 상기 2개 이상의 터치 감응 디바이스들에 대한 상기 접촉들의 컨텍스트를 결정하는 것; 및
상기 결정된 접촉들의 컨텍스트를 애플리케이션에서의 사용을 위한 메타데이터로서 라벨링하는 것을 포함하는, 메타 정보를 찾기 위한 컴퓨터 구현 프로세스.
제14항에 있어서, 하나의 터치 감응 디바이스는 터치 감응 펜이고, 다른 터치 감응 디바이스는 터치 감응 컴퓨팅 디바이스이며, 상기 접촉들의 컨텍스트는 상기 터치 감응 펜이 어떻게 그립되어 있는지 및 상기 터치 감응 컴퓨팅 디바이스가 사용자의 맨손으로 어떻게 터치되고 있는지에 의해 결정되는 것인, 컴퓨터 구현 프로세스.
제14항에 있어서, 애플리케이션에서 명령(command)을 개시하기 위해 상기 메타데이터를 사용하는 것을 더 포함하는, 컴퓨터 구현 프로세스.
제14항에 있어서, 상기 신호들 중 하나 이상은 상기 사용자를 식별하는데 사용되는 사용자의 지문을 나타내는 것인, 컴퓨터 구현 프로세스.
제14항에 있어서, 상기 신호들의 상관성을 향상시키기 위해 이력적 신호 데이터(historical signal data)를 사용하는 것을 더 포함하는, 컴퓨터 구현 프로세스.