KR100985364B1

KR100985364B1 - 3ｄ 포인팅 장치 및 방법

Info

Publication number: KR100985364B1
Application number: KR1020097023531A
Authority: KR
Inventors: 매튜 지. 리버티; 다니엘 에스. 심프킨스; 찰스 더블유. 케이. 그리톤; 마크 터너; 프랭크 에이. 헌레스
Original assignee: 힐크레스트 래보래토리스, 인크.
Priority date: 2004-04-30
Filing date: 2005-05-02
Publication date: 2010-10-04
Also published as: WO2005109879A3; US20070252813A1; JP2011238250A; TW200538751A; US10514776B2; KR100937572B1; CN102566751A; US11157091B2; US20080158154A1; US9575570B2; US20130093676A1; KR20070007951A; JP2007535773A; EP1759529A2; US20200110474A1; WO2005109879A2; US20050253806A1; CN102566751B; US7239301B2; EP1759529A4

Abstract

본 발명에 따른 시스템 및 방법은 핸드헬드 장치의 움직임을 검출하기 위해 적어도 하나의 센서를 사용하는 핸드헬드 장치, 예를 들어 3D 포인팅 장치를 제공함으로써 이들 및 다른 필요성을 해결한다. 검출된 움직임은 이어서 원하는 출력, 예를 들어 커서 이동으로 매핑될 수 있다.

리모콘, 3D 포인팅 장치, 회전 센서, 가속도계

Description

3Ｄ 포인팅 장치 및 방법{FREE SPACE POINTING DEVICE AND METHOD}

관련 출원

본 출원은 2004년 4월 30일자로 출원된 발명의 명칭이 "자유 공간 포인팅 장치(Freespace Pointing Device)"인 미국 가특허 출원 제60/566,444호에 관한 것으로서 이를 우선권 주장하며, 여기에 인용함으로써 그 전체 내용이 본 명세서에 포함된다. 본 출원은 또한 2004년 9월 23일자로 출원된 발명의 명칭이 "자유 공간 포인팅 장치 및 방법(Free Space Pointing Devices and Methods)"인 미국 가특허 출원 제60/612,571호에 관한 것으로서 이를 우선권 주장하며, 여기에 인용함으로써 그 전체 내용이 본 명세서에 포함된다. 본 출원은 또한 2005년 1월 5일자로 출원된 발명의 명칭이 "자유 공간 포인팅 장치에서의 의도하지 않은 움직임을 제거하는 방법 및 장치(Methods and Devices for Removing Unintentional Movement in Free Space Pointing Devices)"인 미국 가특허 출원 제60/641,383호에 관한 것으로서 이를 우선권 주장하며, 여기에 인용함으로써 그 전체 내용이 본 명세서에 포함된다. 본 출원은 또한 2005년 1월 5일자로 출원된 발명의 명칭이 "자유 공간 포인팅 장치 및 이를 사용하는 방법(Freespace Pointing Devices and Methods for Using Same)"인 미국 가특허 출원 제60/641,410호에 관한 것으로서 이를 우선권 주장하 며, 여기에 인용함으로써 그 전체 내용이 본 명세서에 포함된다. 본 출원은 2005년 1월 5일자로 출원된 발명의 명칭이 "핸드헬드 리모콘 장치(Handheld Remote Control Device)"인 미국 가특허 출원 제60/641,405호에 관한 것으로서 이를 우선권 주장하며, 여기에 인용함으로써 그 전체 내용이 본 명세서에 포함된다. 본 출원은 또한 발명의 명칭이 "자유 공간 포인팅 장치에서 의도하지 않은 움직임을 제거하는 방법 및 장치(Methods and Devices for Removing Unintentional Movement in Free Space Pointing Devices)", "틸트 보상 및 개선된 사용성을 갖는 자유 공간 포인팅 장치(Free Space Pointing Devices with Tilt Compensation and Improved Usability)", "떨림에 기초하여 사용자를 식별하는 방법 및 장치(Methods and Devices for Identifying Users Based on Tremor")인 미국 특허 출원 제11/119,987호, 제11/119,719호, 및 제11/119,688호에 관한 것으로, 이들 모두는 본 출원과 동시에 출원되었으며, 이들 모두는 여기에 인용함으로써 그 전체 내용이 본 명세서에 포함된다.

기술분야

본 발명은 3D 포인팅 기술, 시스템 및 장치는 물론, 다른 유형의 핸드헬드 장치에서 사용가능한 어떤 기술 및 장치에 대해 기술한다.

정보의 통신과 연관된 기술은 지난 몇 십년에 걸쳐 급격히 발전하였다. 텔레비전, 셀룰러 전화, 인터넷 및 광 통신 기술(단지 몇 가지를 열거한 것임)이 결합하여 소비자들은 이용가능한 정보 및 오락물들로 넘쳐나게 되었다. 텔레비전을 예로 들면, 최근 30년간 케이블 텔레비전 서비스, 위성 텔레비전 서비스, 유료 영화(pay-per-view movie) 및 주문형 비디오(video-on-demand)가 소개되었다. 1960년대의 텔레비전 시청자는 일반적으로 그의 텔레비전 세트에서 아마도 4개 또는 5개의 공중파 TV 채널을 수신할 수 있었던 것에 반해, 오늘날의 TV 시청자는 수백, 수천, 아마도 수백만 채널의 쇼 및 정보로부터 선택할 기회를 가지고 있다. 현재 주로 호텔 등에서 사용되고 있는 주문형 비디오 기술은 수천개의 영화 타이틀 중에서 가정용 오락물(in-home entertainment)을 선택할 수 있는 가능성을 제공한다.

그렇게 많은 정보 및 컨텐츠를 최종 사용자에게 기술적으로 제공할 수 있는 것은 시스템 설계자 및 서비스 제공자에게 기회와 챌런지 모두를 제공한다. 한 가지 챌런지는 최종 사용자가 일반적으로 더 적은 것보다는 더 많은 선택의 기회를 갖는 것을 선호하는 반면, 이러한 선호는 선택 프로세스가 빠르면서 간단하기를 바라는 사용자의 요망과 상반된다. 불행하게도, 최종 사용자가 미디어 항목에 액세스하는 시스템 및 인터페이스의 개발에서는 선택 프로세스가 빠르지도 간단하지도 않았다. 텔레비전 프로그램의 예를 다시 생각해보자. 텔레비전이 초기 단계에 있을 때, 어느 프로그램을 볼 지를 결정하는 것은 주로 적은 수의 선택 기회로 인해 비교적 간단한 프로세스이었다. 사람들은 (1) 근방의 텔레비전 채널, (2) 이들 채널을 통해 전송되는 프로그램, 및 (3) 날짜와 시간 간의 대응관계를 나타낸 예를 들어 일련의 열과 행의 형식으로 된 인쇄된 안내서를 참고하였다. 튜너 손잡이를 조정함으로써 텔레비전이 원하는 채널로 동조되었고, 시청자는 선택된 프로그램을 보았다. 나중에, 시청자로 하여금 멀리 떨어져서 텔레비전을 동조시킬 수 있게 해 주는 리모콘 장치가 도입되었다. 사용자-텔레비전 인터페이스에의 이러한 추가는 "채널 서핑(channel surfing)"이라고 하는 현상을 가져왔으며, 그에 의해 시청자는 임의의 주어진 시간에 어떤 프로그램이 방영되고 있는지를 빨리 알아내기 위해 다수의 채널을 통해 방송되고 있는 짧은 세그먼트를 재빠르게 볼 수 있었다.

채널의 수 및 볼 수 있는 컨텐츠의 양이 극적으로 증가했다는 사실에도 불구하고, 텔레비전에서 일반적으로 이용가능한 사용자 인터페이스, 제어 장치 선택 사항 및 구조는 지난 30년간 그다지 변하지 않았다. 인쇄된 안내서는 여전히 프로그램 정보를 전달하는 가장 보편적인 메카니즘이다. 위 및 아래 화살표를 갖는 다수의 버튼 리모콘이 여전히 가장 보편적인 채널/컨텐츠 선택 메카니즘이다. 이용가능한 미디어 컨텐츠의 증가에 대한 TV 사용자 인터페이스를 설계 및 구현하는 사람들의 반응은 기존의 선택 절차 및 인터페이스 객체의 단순한 확장이었다. 따라서, 더 많은 채널을 수용하기 위해 인쇄된 안내서의 행의 수가 증가되었다. 예를 들어, 도 1에 나타낸 바와 같이, 리모콘 장치 상의 버튼의 수가 부가의 기능 및 컨텐츠 처리를 지원하기 위해 증가되었다. 그렇지만, 이 방법은 시청자가 이용가능한 정보를 검토하는 데 걸리는 시간 및 선택을 구현하는 데 요구되는 동작의 복잡성 모두를 상당히 증가시켰다. 논란의 여지는 있지만, 기존의 인터페이스의 번거로운 속성이 어떤 서비스, 예를 들어 주문형 비디오의 상업적 구현을 방해하는데, 그 이유는 소비자들이 이미 너무 느리고 복잡한 것으로 보고 있는 인터페이스에 복잡성을 부가하는 새로운 서비스에 대해 소비자들이 거부감을 갖기 때문이다.

대역폭 및 컨텐츠의 증가 이외에, 사용자 인터페이스 병목 현상 문제는 기술 들의 통합에 의해 악화되고 있다. 소비자들은 다수의 분리되는 구성요소들보다는 통합된 시스템의 구입쪽을 선택하는 것에 대해 긍정적으로 반응하고 있다. 이러한 경향의 일례는 3개의 이전에는 독립적이었던 구성요소들이 현재에는 빈번하게 통합된 유닛으로서 판매되고 있는 텔레비전/VCR/DVD 겸용 기기이다. 이러한 경향은 계속될 것이며, 결국에는 아마도 현재 가정에서 발견되는 통신 장치의 전부는 아닐지라도 그 대부분이 통합된 유닛, 예를 들어 텔레비전/VCR/DVD/인터넷 접속/라디오/스테레오 유닛으로서 함께 패키지화될 것이다. 계속하여 개별적인 구성요소를 구입하는 사람들조차도 개별적인 구성요소의 매끄러운 제어 및 그들 간의 인터네트워킹을 원할 가능성이 많다. 이러한 통합의 증가에 따라 사용자 인터페이스가 더욱 복잡하게 될 가능성이 있다. 예를 들어, 소위 "만능" 리모콘 유닛이 예를 들어 TV 리모콘 유닛과 VCR 리모콘 유닛의 기능을 결합시키기 위해 소개되었을 때, 이들 만능 리모콘 유닛 상의 버튼의 수는 일반적으로 TV 리모콘 유닛 또는 VCR 리모콘 유닛 각각에 있는 버튼의 수보다 많았다. 이러한 추가된 수의 버튼 및 기능에 의해 리모콘 상에서 정확하게 맞는 버튼을 찾지 않고서는 TV 또는 VCR의 가장 간단한 태양 이외의 어느 것도 제어하는 것이 아주 어렵게 된다. 이들 만능 리모콘이 어떤 TV에 고유한 많은 레벨의 제어 또는 특징에 액세스하기에 충분한 버튼을 제공하지 않는 경우가 많다. 이들 경우에, 원래의 장치의 리모콘 유닛이 여전히 필요하며, 통합의 복잡성으로 인해 발생되는 사용자 인터페이스 문제로 인해 다수의 리모콘을 취급하는 본래의 불편함이 여전히 있다. 어떤 리모콘 유닛은 전문가 명령(expert command)으로 프로그램될 수 있는 "소프트(soft)" 버튼을 추가함으로써 이 문제를 해결하였다. 이들 소프트 버튼은 때때로 그의 동작을 나타내기 위해 부속 LCD 디스플레이를 갖는다. 이들도 역시 TV에서 리모콘으로 눈길을 돌리지 않고 사용하기가 어렵다는 결점이 있다. 이들 리모콘 유닛에서의 또 다른 단점은 버튼의 수를 감소시키려는 시도에서 모드를 사용한다는 것이다. 이들 "모드 방식" 만능 리모콘 유닛에서는, 리모콘이 TV, DVD 플레이어, 케이블 셋톱 박스, VCR, 기타 등등과 통신해야만 하는지를 선택하기 위해 특수 버튼이 존재한다. 이것은 명령을 틀린 장치로 전송하는 것, 리모콘이 올바른 모드에 있는지를 확인하기 위해 사용자가 리모콘을 보아야만 한다는 것, 및 다수의 장치의 통합에 대한 어떤 간소화도 제공하지 않는다는 것을 비롯한 많은 사용성 문제를 야기한다. 이들 만능 리모콘 중 가장 진보된 것은 사용자가 다수의 장치에 대한 명령어들의 시퀀스를 리모콘 내에 프로그램할 수 있게 해줌으로써 얼마간의 통합을 제공한다. 이것은 많은 사용자가 그의 만능 리모콘 유닛을 프로그램하기 위해 전문 설치 프로그램(professional installer)을 빌려야 할 정도로 어려운 작업이다.

최종 사용자와 미디어 시스템 간의 화면 인터페이스를 현대화하려는 몇몇 시도들도 역시 있었다. 그렇지만, 이들 시도는 일반적으로 그 중에서도 특히 미디어 항목의 대규모 집합체와 미디어 항목의 소규모 집합체 간에 용이하게 스케일링할 수 없다는 단점이 있다. 예를 들어, 항목들의 리스트에 의존하는 인터페이스는 미디어 항목의 작은 집합체에 대해서는 잘 동작할 수 있지만, 미디어 항목의 대규모 집합체에 대해서 브라우징하는 것에 대해서는 지루하다. 계층적 이동(예를 들어, 트리 구조)에 의존하는 인터페이스는 미디어 항목의 대규모 집합체에 대한 리스트 인터페이스보다 더 빨리 순회할 수 있지만, 미디어 항목의 소규모 집합체에 쉽게 적응하지 못한다. 게다가, 사용자는 사용자가 트리 구조에서 3개 이상의 계층을 통해 이동해야만 하는 선택 프로세스에 관심을 두지 않는 경향이 있다. 이들 경우 모두에 있어서, 현재의 리모콘 유닛은 사용자가 리스트 또는 계층 구조를 이동하기 위해 어쩔 수 없이 위 및 아래 버튼을 반복해서 눌러야만 함으로써 이 선택 프로세스를 훨씬 더 지루하게 만든다. 한 페이지 위로(page up) 및 한 페이지 아래로(page down) 등의 선택 건너뜀 컨트롤이 이용가능한 경우, 사용자는 보통 이들 특수 버튼을 찾기 위해 리모콘을 보고 있어야만 하거나 이들이 존재하기나 하는지를 알기 위해 연습을 해봐야만 한다. 따라서, 사용자와 미디어 시스템 간의 컨트롤 및 화면 인터페이스를 단순화하면서, 그와 동시에 많은 수의 미디어 항목 및 새로운 서비스의 사용자에의 공급을 용이하게 해줌으로써 최종 사용자 장비가 이용가능한 가용 대역폭의 증가를 서비스 제공자가 이용할 수 있게 해주는 구조, 기술 및 시스템을 구성하는 것에 대해서는, 2004년 1월 30일자로 출원된 발명의 명칭이 "미디어 항목을 구성, 선택 및 개시하는 줌가능 그래픽 사용자 인터페이스를 갖는 컨트롤 프레임워크(A Control Framework with a Zoomable Graphical User Interface for Organizing, Selecting and Launching Media Items)"인 미국 특허 출원 제10/768,432호에 제안되어 있으며, 이는 여기에 인용함으로써 그 전체 내용이 본 명세서에 포함된다.

이러한 프레임워크는 물론 다른 응용 및 시스템과 상호작용하는 데 사용가능한 리모콘 장치에 대해 본 출원이 특히 관심을 가지고 있다. 상기 인용된 출원에 언급된 바와 같이, 다양한 서로 다른 유형의 리모콘 장치가 예를 들어 트랙볼, "마우스"-유형 포인팅 장치, 광 펜(light pen), 기타 등등을 비롯한 이러한 프레임워크에서 사용될 수 있다. 그렇지만, 이러한 프레임워크(및 다른 응용)에서 사용될 수 있는 다른 카테고리의 리모콘 장치가 3D 포인팅 장치(free space pointing device)이다. 용어 "3D 포인팅"은 본 명세서에서 입력 장치가 예를 들어 디스플레이 화면 전방의 공중에서 3차원(또는 그 이상의 차원)에서 움직일 수 있고 사용자 인터페이스가 이들 움직임을 직접 사용자 인터페이스 명령, 예를 들어 디스플레이 화면 상에서의 커서의 이동으로 변환할 수 있다는 것을 말한다. 3D 포인팅 장치 간의 데이터의 전송은 무선으로 또는 3D 포인팅 장치를 다른 장치에 연결시키는 배선(wire)을 통해 수행될 수 있다. 따라서, "3D 포인팅"은 표면, 예를 들어 책상 표면 또는 마우스패드를, 마우스의 상대적 움직임이 컴퓨터 디스플레이 화면 상에서의 커서 움직임으로 변환되는 프락시 표면(proxy surface)으로서 사용하는 예를 들어 종래의 컴퓨터 마우스 포인팅 기술과 다르다. 3D 포인팅 장치의 예는 미국 특허 제5,440,326호에서 찾아볼 수 있다.

'326 특허는, 그 중에서도 특히, 컴퓨터의 디스플레이 상의 커서의 위치를 제어하기 위한 포인팅 장치로서 사용하도록 구성되어 있는 수직 자이로스코프(vertical gyroscope)에 대해 기술하고 있다. 자이로스코프의 코어에 있는 모터는 2 쌍의 직교 짐벌에 의해 핸드헬드 컨트롤러 장치에 매달려 있으며 그의 회전축이 진동하는 장치에 수직인 상태로 배향되어 있다. 전자-광학 사프트 각도 인코더는 핸드헬드 컨트롤러 장치가 사용자에 의해 조작될 때 그의 방향을 감지하고, 그 결과 얻어지는 전기 출력은 컴퓨터 디스플레이의 화면 상에서의 커서의 움직임을 제어하기 위해 컴퓨터에 의해 사용가능한 포맷으로 변환된다.

그렇지만, 일반적으로 핸드헬드 장치 설계의 분야에서, 보다 구체적으로는 3D 포인터 설계의 분야에서 개선의 여지가 상당히 많다.

본 발명에 따른 시스템 및 방법은 핸드헬드 장치의 움직임을 검출하기 위해 적어도 하나의 센서를 사용하는 핸드헬드 장치, 예를 들어 3D 포인팅 장치를 제공함으로써 이들 및 다른 필요성을 해결한다. 검출된 움직임은 이어서 원하는 출력, 예를 들어 커서 움직임으로 매핑될 수 있다.

본 발명의 실시예에 따르면, 포인팅 장치는, 제1 축을 중심으로 한 포인팅 장치의 회전을 판정하고 그와 연관된 제1 회전 출력을 발생하는 제1 회전 센서, 제2 축을 중심으로 한 포인팅 장치의 회전을 판정하고 그와 연관된 제2 회전 출력을 발생하는 제2 회전 센서, 포인팅 장치의 가속도를 판정하고 그와 연관된 가속도 출력을 출력하는 가속도계, 및 가속도에 기초하여 제1 및 제2 회전 출력을 수정하고 수정된 제1 및 제2 회전 출력에 기초하여 출력을 발생하는 처리부를 포함한다.

본 발명의 다른 실시예에 따르면, 3D 포인팅 장치를 제어하는 방법은, 3D 포인팅 장치와 연관된 움직임의 결여를 검출하는 단계, 및 검출하는 단계의 결과로서 3D 포인팅 장치를 감소된 전력 상태에 두는 단계를 포함한다.

본 발명의 또 다른 실시예에 따르면, 시스템을 제어하는 방법은, 장치와 연관된 움직임을 검출하는 단계, 상기 움직임이 사용자가 현재 장치를 잡고 있음을 나타내는지를 판정하는 단계, 및 판정하는 단계의 결과에 기초하여 시스템을 제어하는 단계를 포함한다.

본 발명의 실시예가 텔레비전을 제어하는 것을 비롯한 다양한 용도의 핸드헬드 리모콘을 구현하는 혁신적인 방법을 기술하고 있다는 것을 알 수 있다. 이 장치는 또한 다른 응용을 위해, 예를 들어 퍼스널 컴퓨터 및 객체 제어에의 입력 장치로서 사용될 수 있다.

본 발명에 대한 이하의 상세한 설명은 첨부 도면을 참조하고 있다. 서로 다른 도면에서 동일한 참조 번호는 동일 또는 유사한 구성요소를 식별해준다. 또한, 이하의 상세한 설명은 본 발명을 제한하지 않는다. 그 대신에, 본 발명의 범위는 첨부된 청구 범위에 의해 정의된다.

이 설명에 대한 어떤 정황을 제공하기 위해, 도 2와 관련하여 본 발명이 구현될 수 있는 예시적인 통합된 미디어 시스템(200)에 대해 먼저 기술한다. 그렇지만, 당업자라면 본 발명이 이러한 유형의 미디어 시스템에서의 구현으로 제한되지 않는다는 것과 더 많거나 더 적은 구성요소가 그 안에 포함될 수 있다는 것을 잘 알 것이다. 여기에서, 입/출력(I/O) 버스(210)는 미디어 시스템(200) 내의 시스템 구성요소들을 서로 연결시킨다. I/O 버스(210)는 미디어 시스템 구성요소들 간에 신호를 라우팅(routing)하는 다수의 서로 다른 메카니즘 및 기술 중 임의의 것을 나타낸다. 예를 들어, I/O 버스(210)는 오디오 신호를 라우팅하는 적절한 수의 독 립적인 오디오 "패치" 케이블(audio patch cable), 비디오 신호를 라우팅하는 동축 케이블, 제어 신호를 라우팅하는 2-선 직렬 회선 또는 적외선 또는 무선 주파수 송수신기, 다른 유형의 신호를 라우팅하는 광섬유 또는 임의의 다른 라우팅 메카니즘을 포함할 수 있다.

본 실시예에서, 미디어 시스템(200)은 I/O 버스(210)에 연결된 텔레비전/모니터(212), 비디오 카세트 레코더(VCR)(214), 디지털 비디오 디스크(DVD) 레코더/플레이백(playback) 장치(216), 오디오/비디오 튜너(218), 및 컴팩트 디스크 플레이어(220)를 포함한다. VCR(214), DVD(216) 및 컴팩트 디스크 플레이어(220)는 단일의 디스크 또는 단일의 카세트 장치일 수 있거나, 다른 경우에 복수의 디스크 또는 복수의 카세트 장치일 수 있다. 이들은 독립적인 유닛이거나 서로 통합되어 있을 수 있다. 또한, 미디어 시스템(200)은 마이크/스피커 시스템(222), 비디오 카메라(224), 및 무선 I/O 제어 장치(226)를 포함한다. 본 발명의 실시예들에 따르면, 무선 I/O 제어 장치(226)는 이하에 기술되는 실시예들 중 하나에 따른 3D 포인팅 장치이다. 무선 I/O 제어 장치(226)는 예를 들어 IR 또는 RF 송신기 또는 송수신기를 사용하여 오락 시스템(200)과 통신할 수 있다. 다른 경우에, I/O 제어 장치는 유선을 통해 오락 시스템(200)과 연결될 수 있다.

오락 시스템(200)은 또한 시스템 제어기(228)를 포함한다. 본 발명의 일 실시예에 따르면, 시스템 제어기(228)는 복수의 오락 시스템 데이터 소스로부터 이용가능한 오락 시스템 데이터를 저장 및 디스플레이하고 또 시스템 구성요소들 각각과 연관된 광범위한 특징을 제어하는 동작을 한다. 도 2에 도시한 바와 같이, 시 스템 제어기(228)는 필요에 따라 I/O 버스(210)를 통해 시스템 구성요소들 각각에 직접 또는 간접적으로 연결되어 있다. 일 실시예에서, I/O 버스(210)에 부가하여 또는 그 대신에, 시스템 제어기(228)는 IR 신호 또는 RF 신호를 통해 시스템 구성요소들과 통신할 수 있는 무선 통신 송신기(또는 송수신기)로 구성되어 있다. 제어 매체에 상관없이, 시스템 제어기(228)는 이하에 기술하는 그래픽 사용자 인터페이스를 통해 미디어 시스템(200)의 미디어 구성요소들을 제어하도록 구성되어 있다.

도 2에 추가적으로 나타내어져 있는 바와 같이, 미디어 시스템(200)은 여러가지 미디어 소스 및 서비스 제공자로부터 미디어 항목을 수신하도록 구성될 수 있다. 이 실시예에서, 미디어 시스템(200)은 이하의 소스들, 케이블 방송(230), 위성 방송(232)(예를 들어, 위성 안테나를 통함), 방송 텔레비전 네트워크(234)의 초단파(VHF) 또는 극초단파(UHF) 무선 주파수 통신(예를 들어, 공중 안테나를 통함), 전화 네트워크(236), 및 케이블 모뎀(238)(또는 인터넷 컨텐츠의 다른 소스) 중 임의의 것 또는 그 전부로부터 미디어 입력을 수신하고, 선택적으로는 그에 정보를 전송한다. 당업자라면 도 2와 관련하여 도시되고 기술되는 미디어 구성요소 및 미디어 소스가 단지 예시적인 것이며 또 미디어 시스템(200)이 이들 모두를 더 적게 또는 더 많이 포함할 수 있다는 것을 잘 알 것이다. 예를 들어, 이 시스템에의 다른 유형의 입력들은 AM/FM 라디오 및 위성 라디오를 포함한다.

이 예시적인 오락 시스템 및 그와 연관된 프레임워크에 관한 추가의 상세는 상기 인용 문헌으로서 포함된 미국 특허 출원 "미디어 항목을 구성, 선택 및 개시 하는 줌가능 그래픽 사용자 인터페이스를 갖는 컨트롤 프레임워크(A Control Framework with a Zoomable Graphical User Interface for Organizing, Selecting and Launching Media Items)"에서 찾아볼 수 있다. 다른 경우에, 본 발명에 따른 리모콘 장치는 다른 시스템, 예를 들어 디스플레이, 프로세서 및 메모리 시스템을 포함하는 예를 들어 컴퓨터 시스템과 관련하여 또는 여러가지 다른 시스템 및 응용과 관련하여 사용될 수 있다.

배경 기술 부분에서 언급한 바와 같이, 3D 포인터로서 동작하는 리모콘 장치는 본 명세서에서 특히 관심을 가지고 있다. 이러한 장치는 움직임, 예를 들어 제스처를 사용자 인터페이스에의 명령으로 변환하는 것을 가능하게 해준다. 예시적인 3D 포인팅 장치(400)가 도 3에 도시되어 있다. 여기에서, 3D 포인팅의 사용자 이동은 3D 포인팅 장치(400)의 예를 들어 x-축 자세(attitude)(롤(roll)), y-축 고도(elevation)(피치(pitch)), 및/또는 z-축 지향(heading)(요(yaw)) 움직임의 조합으로 정의될 수 있다. 게다가, 본 발명의 어떤 실시예들은 또한 커서 움직임 또는 다른 사용자 인터페이스 명령을 발생하기 위해 x, y 및 z축을 따른 3D 포인팅 장치(400)의 직선 움직임을 측정할 수 있다. 도 3의 실시예에서, 3D 포인팅 장치(400)는 2개의 버튼(402, 404)은 물론 스크롤 휠(scroll wheel)(406)을 포함하지만, 다른 실시예들은 다른 물리적 구성을 포함하고 있다. 본 발명의 실시예들에 따르면, 3D 포인팅 장치(400)를 디스플레이(408) 전방에서 사용자가 잡고 있고 또 3D 포인팅 장치(400)의 움직임이 3D 포인팅 장치에 의해, 디스플레이(4080 상에 디스플레이되는 정보와 상호작용하는 데, 예를 들어 디스플레이(408) 상에서 커 서(410)를 움직이는 데 사용가능한 출력으로 변환되는 것이 예견되고 있다. 예를 들어, y-축을 중심으로 한 3D 포인팅 장치(400)의 회전은 3D 포인팅 장치(400)에 의해 감지되고 디스플레이(408)의 y₂ 축을 따라 커서(410)를 이동시키기 위해 시스템에 의해 사용가능한 출력으로 변환될 수 있다. 이와 마찬가지로, z-축을 중심으로 한 3D 포인팅 장치(400)의 회전은 3D 포인팅 장치(400)에 의해 감지되고 디스플레이(408)의 x₂ 축을 따라 커서(410)를 이동시키기 위해 시스템에 의해 사용가능한 출력으로 변환될 수 있다. 3D 포인팅 장치(400)의 출력이 커서 움직임 이외의(또는 그에 부가하여) 여러가지 방식으로 디스플레이(408)와 상호작용하는 데 사용될 수 있다는 것을, 예를 들어 이 출력이 커서 페이딩(cursor fading), 볼륨 또는 미디어 전달(재생, 일시 정지, 고속 감기 및 되감기)을 제어할 수 있다는 것을 잘 알 것이다. 입력 명령은 커서 움직임에 부가하여 여러 동작들, 예를 들어 디스플레이의 특정 영역 상에서의 줌인(zoom in) 또는 줌아웃(zoom out)을 포함할 수 있다. 커서는 보이거나 보이지 않을 수 있다. 이와 유사하게, 3D 포인팅 장치(400)의 x-축을 중심으로 한 3D 포인팅 장치(400)의 회전은 사용자 인터페이스에 입력을 제공하기 위해 y-축 및/또는 z-축에 부가하여 또는 그 대안으로서 사용될 수 있다.

본 발명의 실시예에 따르면, 2개의 회전 센서(502, 504) 및 하나의 가속도계(506)가 도 4에 도시한 바와 같이 3D 포인팅 장치(400)에서 센서로서 이용될 수 있다. 회전 센서(502, 504)는 예를 들어 Analog Devices에 의해 제조된 ADXRS150 또는 ADXRS401 센서를 사용하여 구현될 수 있다. 당업자라면 다른 유형의 회전 센 서가 회전 센서(502, 504)로서 이용될 수 있으며 또 ADXRS150 및 ADXRS401이 순전히 예시적인 일례로서 사용되고 있다는 것을 잘 알 것이다. 종래의 자이로스코프와는 달리, 이들 회전 센서는 이 센서가 한 방향을 따라서만 공진할 수 있도록 프레임에 부착되어 있는 공진 질량(resonating mass)을 제공하기 위해 MEMS 기술을 사용한다. 센서가 부착되어 있는 본체가 센서의 감지축을 중심으로 회전될 때 공진 질량이 변위된다. 이 변위(displacement)는 감지축을 따른 회전과 연관된 각속도를 구하기 위해 코리올리 가속도 효과(Coriolis acceleration effect)를 사용하여 측정될 수 있다. 회전 센서(502, 504)가 단일의 감지축을 갖는 경우(예를 들어, ADXRS150의 경우), 이 회전 센서는 그의 감지축이 측정될 회전과 일직선으로 정렬되도록 3D 포인팅 장치(400)에 탑재되어 있을 수 있다. 본 발명의 이 실시예의 경우, 이것은 도 4에 도시한 바와 같이 회전 센서(504)가 그의 감지축이 y-축에 평행하게 되도록 탑재되어 있고 회전 센서(502)가 그의 감지축이 z-축에 평행하게 되도록 탑재되어 있다는 것을 의미한다. 그렇지만, 유의할 점은 회전 센서(502, 504)의 감지축을 원하는 측정축에 평행하게 정렬할 필요가 없는데 그 이유는 본 발명의 실시예가 또한 축들 간의 오프셋을 보상하기 위한 기술을 제공하기 때문이다.

본 발명에 따른 예시적인 3D 포인팅 장치(400)를 구현함에 있어서 직면하는 한 가지 챌런지는 너무 비싸지 않은 구성요소, 예를 들어 회전 센서(502, 504)를 이용하면서 그와 동시에 3D 포인팅 장치(400)의 움직임, 사용자 인터페이스가 3D 포인팅 장치의 그 특정의 움직임에 어떻게 반응하는지에 관한 사용자의 예상, 및 그 움직임에 응답한 실제 사용자 인터페이스 성능 간의 고도의 상관 관계를 제공하 는 것이다. 예를 들어, 3D 포인팅 장치(400)가 움직이지 않는 경우, 사용자는 아마도 커서가 화면 상에서 돌아다녀서는 안되는 것으로 예상할 것이다. 이와 마찬가지로, 사용자가 3D 포인팅 장치(400)를 순전히 y-축을 중심으로만 회전시키는 경우, 사용자는 아마도 디스플레이(408) 상에서의 결과적인 커서 움직임이 어떤 상당한 x₂ 축 성분을 포함하는 것을 볼 것으로 예상하지 않는다. 본 발명의 실시예들의 이들 및 다른 태양을 달성하기 위해, 센서(502, 504, 506) 중 하나 이상의 출력을 조정하는 데 사용되고 및/또는 센서(502, 504, 506)의 출력에 기초하여 사용자 인터페이스에 대한 적절한 출력을 결정하기 위해 프로세서에 의해 사용되는 입력의 일부로서 사용되는 여러가지 측정 및 계산이 핸드헬드 장치(400)에 의해 수행된다. 이들 측정 및 계산은 크게 2가지 카테고리에 속하는 인자들, 즉 (1) 3D 포인팅 장치(400)에 내재적인 인자, 예를 들어 장치(400)에서 사용되는 특정의 센서(502, 504, 506)와 연관된 에러 또는 센서들이 장치(400)에 탑배되는 방식, 및 3D 포인팅 장치(400)에 내재적인 것은 아니지만 그 대신에 사용자가 3D 포인팅 장치(400)를 사용하는 방식과 연관되어 있는 인자, 예를 들어 선가속도(linear acceleration), 틸트(tilt) 및 떨림(tremor)을 보상하는 데 사용된다. 이들 효과 각각을 처리하는 예시적인 기술에 대해 이하에서 기술한다.

본 발명의 실시예들에 따른 3D 포인팅 장치의 일반적인 동작을 기술하는 프로세스 모델(600)이 도 5에 예시되어 있다. 회전 센서(502, 504)는 물론 가속도계(506)는 주기적으로, 예를 들어 200 샘플/초로 샘플링되는 아날로그 신호를 생성 한다. 이 설명의 목적상, 이들 입력의 세트는 표기법 (x, y, z, αy, αz)를 사용하여 참조되며, 여기서 x, y, z는 각각 x-축, y-축 및 z-축 방향에서의 3D 포인팅 장치의 가속도와 연관되어 있는 예시적인 3-축 가속도계(506)의 샘플링된 출력값이고, αy는 y-축을 중심으로 한 3D 포인팅 장치의 회전과 연관되어 있는 회전 센서(502)로부터의 샘플링된 출력값이며, αz는 z-축을 중심으로 한 3D 포인팅 장치(400)의 회전과 연관되어 있는 회전 센서(504)로부터의 샘플링된 출력값이다.

가속도계(506)로부터의 출력이 제공되고, 가속도계(506)가 아날로그 출력을 제공하는 경우, 이 출력은 A/D 변환기(도시 생략)에 의해 샘플링되고 디지털화되어 샘플링된 가속도계 출력(602)을 발생한다. 이 샘플링된 출력값은 변환 기능(604)으로 나타낸 바와 같이, 원시 단위(raw unit)로부터 가속도의 단위, 예를 들어 중력가속도(g)로 변환된다. 가속도 캘리브레이션(calibration) 블록(606)은 변환 기능(604)에서 사용되는 값을 제공한다. 가속도계 출력(602)의 이러한 캘리브레이션은 예를 들어 가속도계(506)와 연관된 스케일(scale), 오프셋(offset) 및 축 오정렬 에러(axis misalignment error) 중 하나 이상에 대한 보상을 포함할 수 있다. 가속도계 데이터에 대한 예시적인 변환은 수학식 1을 사용하여 수행될 수 있다.

여기서, M은 샘플링된 출력값 (x,y,z)으로 이루어진 3x1 열 벡터이고, P는 센서 오프셋의 3x1 열 벡터이며, S는 스케일, 축 오정렬, 및 센서 회전 보상 전부를 포함하는 3x3 행렬이다. G(T)는 온도의 함수인 이득 인자(gain factor)이다. "*" 연산자는 행렬 곱셈을 나타내고, ".*" 연산자는 요소 곱셈(element multiplication)을 나타낸다. 예시적인 가속도계(506)는 +/- 2g의 예시적인 전 범위를 갖는다. 센서 오프셋 P는 0g의 가속도계 측정에 대한 센서 출력 M을 말한다. 스케일은 샘플링된 단위 값과 g 간의 변환 인자를 말한다. 임의의 주어진 가속도계 센서의 실제 스케일은 예를 들어 제조 변동으로 인해, 이들 공칭 스케일 값과 편차가 있을 수 있다. 따라서, 수학식 1에서의 스케일 인자는 이 편차에 비례하게 된다.

가속도계(506) 스케일 및 오프셋 편차는 예를 들어 한 축을 따라 1g의 힘을 가하고 결과 R1을 측정함으로써 측정될 수 있다. 이어서, -1g 힘이 가해지고 그 결과 측정 R2가 얻어진다. 개개의 축 스케일 s 및 개개의 축 오프셋 p는 다음과 같이 계산된다.

이 간단한 경우에서, P는 각각의 축에 대한 p의 열 벡터이고, S는 각각의 축에 대한 1/s의 대각 행렬이다.

그렇지만, 스케일 및 오프셋에 부가하여, 가속도계(506)에 의해 발생된 값들은 또한 교차-축 효과(cross-axes effect)를 겪을 수 있다. 교차-축 효과는 비정렬된 축 - 예를 들어, 가속도계(506)의 감지축들 중 하나 이상이 3D 포인팅 장 치(400)에 탑재될 때 관성 좌표계에서의 대응하는 축과 정렬되지 않은 경우 -, 또는 가속도계(506) 자체의 머시닝과 연관된 기계적 에러 - 예를 들어, 축들이 적절히 정렬되어 있더라도, 순수한 y-축 가속력인데도 가속도계(506)의 z-축을 따른 센서 표시값(sensor reading)이 얻어질 수 있는 경우 - 를 포함한다. 또한, 이들 효과 모두가 측정되어 기능(606)에 의해 수행되는 캘리브레이션에 부가될 수 있다.

가속도계(506)는 본 발명의 실시예에 따른 예시적인 3D 포인팅 장치에서 몇 가지 목적에 기여한다. 예를 들어, 회전 센서(502, 504)가 상기한 예시적인 코리올리 효과 회전 센서를 사용하여 구현되는 경우, 회전 센서(502, 504)의 출력은 각각의 회전 센서가 겪게 되는 선가속도에 기초하여 변하게 된다. 따라서, 가속도계(506)의 한 예시적인 용도는 선가속도의 변동에 의해 야기되는 회전 센서(502, 504)에 의해 발생되는 표시값의 변동을 보상하는 것이다. 이것은 변환된 가속도계 표시값을 이득 행렬(610)과 곱하고 그 결과를 대응하는 샘플링된 회전 센서 데이터(612)로부터 감산(또는 그에 가산)함으로써 달성될 수 있다. 예를 들어, 회전 센서(502)로부터의 샘플링된 회전 데이터 αy는 수학식 4와 같이 블록(614)에서 선가속도에 대해 보상될 수 있다.

여기서, C는 단위/g로 주어지는 각각의 축을 따른 선가속도에 대한 회전 센서 자화율(rotational sensor susceptibility)의 1x3 행 벡터이고, A는 캘리브레이 션된 선가속도이다. 이와 유사하게, 회전 센서(504)로부터의 샘플링된 회전 데이터 αz에 대한 선가속도 보상은 블록(614)에서 제공될 수 있다. 제조 차이로 인해 회전 센서들 간에 이득 행렬 C가 다르다. C는 많은 회전 센서에 대한 평균 값을 사용하여 계산될 수 있거나 이는 각각의 회전 센서에 대해 맞춤 계산될 수 있다.

가속도계 데이터와 같이, 샘플링된 회전 데이터(612)가 이어서 블록(616)에서 샘플링된 단위 값으로부터 각회전의 속도와 연관된 값, 예를 들어 라디안/초(radian/s)로 변환된다. 이 변환 단계는 또한 예를 들어 스케일 및 오프셋에 대해 샘플링된 회전 데이터를 보상하기 위해 기능(618)에 의해 제공되는 캘리브레이션을 포함할 수 있다. αy 및 αz 모두에 대한 변환/캘리브레이션은 예를 들어 수학식 5를 사용하여 달성될 수 있다.

여기서, α'은 변환된/캘리브레이션된 값을 말하고, offset(T)는 온도와 연관된 오프셋 값을 말하며, scale은 샘플링된 단위값과 rad/s 간의 변환 인자를 말하고, dOffset은 동적 오프셋 값을 말한다. 수학식 5는 scale을 제외한 모든 변수가 벡터인 행렬 방정식으로서 구현될 수 있다. 행렬 방정식 형태에서, scale은 축 오정렬 및 회전 오프셋 인자를 보정한다. 이들 변수 각각에 대해서는 이하에서 보다 상세히 기술한다.

오프셋 값 offset(T) 및 dOffset은 다수의 서로 다른 방식으로 구해질 수 있 다. 3D 포인팅 장치(400)가 예를 들어 y-축 방향에서 회전하지 않는 경우, 센서(502)는 그의 오프셋 값을 출력해야만 한다. 그렇지만, 이 오프셋은 온도에 의해 크게 영향을 받을 수 있으며, 따라서 이 오프셋 값은 아마도 변할 것이다. 오프셋 온도 캘리브레이션은 공장에서 수행될 수 있으며, 이 경우에 offset(T)에 대한 값(들)은 핸드헬드 장치(400) 내에 사전프로그램될 수 있거나, 다른 경우에 오프셋 온도 캘리브레이션은 또한 장치의 수명 동안에 동적으로 학습될 수 있다. 동적 오프셋 보상을 달성하기 위해, 온도 센서(619)로부터의 입력이 offset(T)에 대한 현재 값을 계산하기 위해 회전 캘리브레이션 기능(618)에서 사용된다. offset(T) 파라미터는 센서 표시값으로부터 대부분의 오프셋 바이어스(offset bias)를 제거한다. 그렇지만, 움직임이 없는 거의 모든 커서 드리프트(cursor drift)를 무효화하는 것이 고성능 포인팅 장치를 생산하는 데 유용할 수 있다. 따라서, 3D 포인팅 장치(400)가 사용 중에 있는 동안, 부가적인 인자 dOffset가 동적으로 계산될 수 있다. 정지 검출 기능(stationary detection function)(608)은 핸드헬드 장치가 아마도 정지되어 있는 때 및 오프셋이 재계산되어야만 하는 때를 판정한다. 정지 검출 기능(608)은 물론 다른 사용을 구현하기 위한 예시적인 기술에 대해 이하에서 기술한다.

dOffset 계산의 예시적인 구현은 저역 통과 필터링된 캘리브레이션된 센서 출력을 이용한다. 정지 출력 검출 기능(608)은 예를 들어 저역 통과 필터 출력의 평균의 계산을 트리거하기 위해 회전 캘리브레이션 기능(618)에 표시를 제공한다. 정지 출력 검출 기능(608)은 또한 새로 계산된 평균이 oOffset에 대한 기존의 값에 고려될 때를 제어할 수 있다. 당업자라면 간단한 평균 구하기, 저역-통과 필터링 및 Kalman 필터링(이에 한정되는 것은 아님)을 비롯한 새로운 평균 및 dOffset의 기존의 값으로부터 dOffset에 대한 새로운 값을 계산하는 데 다수의 서로 다른 기술이 사용될 수 있다는 것을 잘 알 것이다. 게다가, 당업자라면 회전 센서(502, 504)의 오프셋 보상에 대한 여러가지 변형이 이용될 수 있다는 것을 잘 알 것이다. 예를 들어, offset(T) 기능은 상수값(예를 들어, 온도에 불변임)을 가질 수 있으며, 3개 이상의 오프셋 보상 값이 사용될 수 있고, 및/또는 단지 하나의 오프셋 값만이 계산되고/오프셋 보상에 사용될 수 있다.

블록(616)에서의 변환/캘리브레이션 이후에, 기능(620)에서, 관성 좌표계에의 그 입력들을 회전시키기 위해, 즉 사용자가 3D 포인팅 장치(400)를 붙잡고 있는 방식과 연관된 틸트를 보상하기 위해 회전 센서(502, 504)로부터의 입력이 추가적으로 처리될 수 있다. 틸트 보정은 본 발명의 어떤 실시예의 다른 중요한 태양인데, 그 이유는 이 보정이 본 발명에 따른 3D 포인팅 장치의 사용 패턴에서의 차이를 보상하기 위한 것이기 때문이다. 보다 구체적으로는, 본 발명의 실시예들에 따른 틸트 보정은 사용자가 포인팅 장치를 그의 손에서 다른 x-축 회전 위치에 잡게 될 것이지만 3D 포인팅 장치(400) 내의 회전 센서(502, 504)의 감지축이 고정되어 있다는 사실을 보상하기 위한 것이다. 디스플레이(408)에서의 커서 이동(cursor translation)이 사용자가 3D 포인팅 장치(400)를 잡고 있는 방식에 실질적으로 영향을 받지 않는 것이 바람직하다, 예를 들어, 사용자가 3D 포인팅 장치(400)를 잡 고 있는 배향에 상관없이, 일반적으로 디스플레이(408)의 수평 차원(x₂-축)에 대응하는 방식으로 3D 포인팅 장치(400)를 앞뒤로 회전시킨 결과 x₂-축을 따른 커서 이동이 얻어져야 하고 일반적으로 디스플레이(408)의 수직 차원(y₂-축)에 대응하는 방식으로 3D 포인팅 장치를 상하로 회전시킨 결과 y₂-축을 따른 커서 이동이 얻어져야만 하는 것이 바람직하다.

본 발명의 실시예들에 따른 틸트 보상에 대한 필요성을 보다 잘 이해하기 위해, 도 6a에 도시한 예를 생각해보자. 여기에서, 사용자는 0도의 x-축 회전값을 갖는 것으로 정의될 수 있는 예시적인 관성 좌표계에서 3D 포인팅 장치(400)를 잡고 있다. 이 관성 좌표계는, 순전히 예로서, 도 6a에 도시한 배향에 대응할 수 있거나 임의의 다른 배향으로서 정의될 수 있다. y-축 또는 z-축 방향에서의 3D 포인팅 장치(400)의 회전은 회전 센서(502, 504)에 의해 각각 감지된다. 예를 들어, 도 6b에 도시한 바와 같이 z-축을 중심으로 Δz만큼 3D 포인팅 장치(400)의 회전의 결과 디스플레이(408)에서의 x₂ 축 차원에서의 대응하는 커서 이동 Δx₂(즉, 점선으로 된 커서(410)와 점선이 아닌 커서(410) 간의 거리)이 있게 된다.

반면에, 사용자가 다른 배향으로, 예를 들어 관성 좌표계에 대해 얼마만큼 x-축 회전한 상태에서 3D 포인팅 장치(400)를 잡고 있는 경우, 센서(502, 504)에 의해 제공되는 정보는 사용자의 의도한 인터페이스 동작의 정확한 표현을 제공하지 않는다(틸트 보상이 없다). 예를 들어, 도 6c를 참조하면, 사용자가 도 6a에 나타 낸 바와 같이 예시적인 관성 좌표계에 대해 45도 x-축 회전한 상태에서 3D 포인팅 장치(400)를 잡고 있는 상황을 생각해보자. 사용자에 의해 동일한 z-축 회전 Δz를 가정하면, 커서(410)는 그 대신에 도 6d에 도시한 바와 같이 x₂-축 방향으로도 y₂-축 방향으로도 이동된다. 이것은 회전 센서(502)의 감지축이 이제 (사용자의 손에서의 장치의 배향으로 인해) y-축과 z-축 사이에 배향되어 있다는 사실에 기인한 것이다. 이와 유사하게, 회전 센서(504)의 감지축도 역시 y-축과 z-축 사이에 배향되어 있다(그렇지만, 서로 다른 사분면에 있음). 3D 포인팅 장치(400)를 어떻게 잡고 있는가의 관점에서 사용자에게 투명한 인터페이스를 제공하기 위해, 본 발명의 실시예에 따른 틸트 보상은 회전 센서(502, 504)로부터의 표시값을 3D 포인팅 장치(400)의 회전 운동을 나타내는 정보로 바꾸는 처리의 일부로서 이들 센서로부터 출력된 판독값을 다시 관성 좌표계로 변환한다.

본 발명의 실시예에 따르면, 도 5로 돌아가서, 이것은 기능(622)에서 가속도계(506)로부터 수신된 입력 y 및 z를 사용하여 3D 포인팅 장치(400)의 틸트를 구함으로써 달성될 수 있다. 보다 구체적으로는, 가속도 데이터가 상기한 바와 같이 변환되고 캘리브레이션된 후에, 이 데이터는 틸트 결정 기능(622)에 평균 가속도(중력 가속도) 값을 제공하기 위해 LPF(624)에서 저역 통과 필터링된다. 이어서, 틸트 θ는 수학식 7에서와 같이 기능(622)에서 계산될 수 있다.

값 θ는 0으로 나누는 것을 방지하고 정확한 부호를 제공하기 위해 atan2(y,z)로서 수치 계산될 수 있다. 이어서, 기능(620)은 변환된/캘리브레이션된 입력 αy 및 αz를 회전시켜 틸트 θ를 보상하기 위해 수학식 8을 사용하여 변환된/캘리브레이션된 입력 αy 및 αz의 회전 R을 수행할 수 있다.

이 실시예에 기술된 바와 같은 틸트 보상은 본체 좌표계로부터의 센서 표시값을 사용자의 좌표계로 변환하는 보다 일반적인 기술의 일부이며, 이 기술에 대해서는 인용 문헌으로서 상기 포함된, 발명의 명칭이 "틸트 보상 및 개선된 사용성을 갖는 자유 공간 포인팅 장치(Free Space Pointing Devices with Tilt Compensation and Improved Usability)"인 미국 특허 출원에 더 기술되어 있다.

캘리브레이션된 센서 표시값이 선가속도에 대해 보상되고, 3D 포인팅 장치(400)의 각회전을 나타내는 표시값으로 변환 처리되며, 또 틸트에 대해 보상된 경우, 블록(626, 628)에서 사후 처리가 수행될 수 있다. 예시적인 사후 처리는 사람의 떨림 등의 여러가지 인자에 대한 보상을 포함할 수 있다. 몇 가지 다른 방법을 사용하여 떨림이 제거될 수 있지만, 떨림을 제거하는 한 가지 방법은 히스테리시스를 사용하는 것이다. 회전 기능(620)에 의해 생성된 각속도는 적분되어 각위치를 생성한다. 이어서, 캘리브레이션된 크기의 히스테리시스가 각위치에 적용된다. 다시 각속도를 산출하기 위해 히스테리시스 블록의 출력의 도함수가 구해진 다. 이어서 그 결과 얻어지는 출력이 기능(628)에서 (예를 들어, 샘플링 주기에 기초하여) 스케일링되고 인터페이스 내에서의 결과, 예를 들어 디스플레이(408) 상에서의 커서(401)의 움직임을 생성하는 데 사용된다.

본 발명에 따른 예시적인 3D 포인팅 장치의 프로세스 설명을 제공하였으며, 도 7은 예시적인 하드웨어 아키텍처를 나타낸 것이다. 여기에서, 프로세서(800)는 스크롤 휠(802), JTAG(804), LED(806), 스위치 매트릭스(808), IR 광검출기(810), 회전 센서(812), 가속도계(814) 및 송수신기(816)를 비롯한 3D 포인팅 장치의 다른 구성요소들과 통신한다. 스크롤 휠(802)은 사용자로 하여금 스크롤 휠(802)을 시계 방향으로 또는 반시계 방향으로 회전함으로써 인터페이스에 입력을 제공할 수 있게 해주는 선택적인 입력 구성요소이다. JTAG(804)은 프로세서에의 프로그래밍 및 디버깅 인터페이스를 제공한다. LED(806)는 예를 들어 버튼이 눌러질 때 사용자에게 시각적 피드백을 제공한다. 스위치 매트릭스(808)는 입력, 예를 들어 3D 포인팅 장치(400) 상의 버튼이 눌러지거나 놓아졌다는 표시를 수신하고, 이 표시는 이어서 프로세서(800)로 전달된다. 예시적인 3D 포인팅 장치가 다른 리모콘으로부터 IR 코드를 학습할 수 있게 해주기 위해 선택적인 IR 광검출기(810)가 제공될 수 있다. 회전 센서(812)는 예를 들어 상기한 바와 같이 3D 포인팅 장치의 y-축 및 z-축 회전에 관한 표시값을 프로세서(800)에 제공한다. 가속도계(814)는, 예를 들어 틸트 보상을 수행하고 또 선가속도가 회전 센서(812)에 의해 발생된 회전 표시값에 유입시킨 에러를 보상하기 위해, 상기한 바와 같이 사용될 수 있는 3D 포인팅 장치(400)의 선가속도에 관한 표시값을 프로세서(800)에 제공한다. 송수신기(816) 는 3D 포인팅 장치(400)로/로부터의 정보를, 예를 들어 시스템 제어기(228)로 또는 컴퓨터와 연관된 프로세서로 전달하는 데 사용된다. 송수신기(816)는 예를 들어 단거리 무선 통신에 대한 블루투스 표준에 따라 동작하는 무선 송수신기 또는 적외선 송수신기일 수 있다. 다른 경우에, 3D 포인팅 장치(400)는 유선 연결을 통해 시스템과 통신할 수 있다.

도 4의 실시예에서, 3D 포인팅 장치(400)는 2개의 회전 센서(502, 504)는 물론 하나의 가속도계(506)를 포함한다. 그렇지만, 본 발명의 다른 실시예에 따르면, 3D 포인팅 장치는 다른 경우에 예를 들어 z-축 방향에서의 각속도를 측정하기 위한 단지 하나의 회전 센서, 및 하나의 가속도계를 포함할 수 있다. 이러일 실시예에서, 회전 센서에 의해 감지되지 않는 축을 따라 각속도를 구하기 위해 가속도계를 사용함으로써 상기한 것과 유사한 기능이 제공될 수 있다. 예를 들어, 가속도계에 의해 발생된 데이터를 사용하여 y-축을 중심으로 한 회전 속도가 계산될 수 있으며, 수학식 9를 계산한다.

게다가, 회전 센서에 의해 측정되지 않는 기생 가속도 효과(parasitic acceleration effect)도 역시 제거될 수 있다. 이들 효과는 실제 선가속도, 회전 속도 및 회전 가속도로 인해 측정된 가속도, 및 사람의 떨림에 기인한 가속도를 포함한다.

이상에서 간략히 언급한 정지 검출 기능(608)은 3D 포인팅 장치(400)가 예를 들어 정지해 있는지 동작하고(움직이고) 있는지를 판정하는 동작을 한다. 이러한 분류는 다수의 서로 다른 방식으로 수행될 수 있다. 본 발명의 실시예에 따른 한 가지 방식은 예를 들어 매 1/4초마다 미리 정해진 윈도우에 걸쳐 모든 입력(x,y,z,αy, αz)의 샘플링된 입력 데이터의 변동을 계산하는 것이다. 이 변동은 이어서 3D 포인팅 장치를 정지(stationary) 또는 동작중(active)으로서 분류하기 위해 문턱값과 비교된다.

본 발명의 실시예에 따른 다른 정지 검출 기술은 예를 들어 입력 데이터에 대해 고속 푸리에 변환(FFT)를 수행함으로써 입력을 주파수 영역으로 변환하는 것을 수반한다. 이어서, 이 데이터는 3D 포인팅 장치(400)가 정지하고 있는지 동작하고 있는지를 판정하기 위해 예를 들어 피크 검출 방법을 사용하여 분석된다. 게다가, 제3 카테고리, 구체적으로는 사용자가 3D 포인팅 장치(400)를 잡고 있지만 그것을 움직이지 않는 경우(본 명세서에서 "안정(stable)" 상태라고도 함)가 분류될 수 있다. 이 제3 카테고리는 사용자가 3D 포인팅 장치(400)를 잡고 있을 때 사용자의 손 떨림에 의해 유입되는 3D 포인팅 장치(400)의 작은 움직임을 검출함으로써 정지(잡고 있지 않음) 및 동작중과 구별될 수 있다. 피크 검출도 역시 이 판정을 행하기 위해 정지 검출 기능(608)에 의해 사용될 수 있다. 사람의 떨림 주파수의 범위, 예를 들어 공칭상 8-12 Hz 내의 피크는 일반적으로 장치의 노이즈 플로어(noise floor)(장치가 정지되어 있고 잡고 있지 않을 때에 경험됨)를 대략 20 dB만큼 초과한다.

상기한 예들에서, 주파수 범위에서의 변동은 특정의 주파수 범위 내에서 감지되었지만, 3D 포인팅 장치(400)의 상태를 특징지우기 위해 모니터링되고 사용될 실제 주파수 범위가 변할 수 있다. 예를 들어, 공칭 떨림 주파수 범위는 예를 들어 3D 포인팅 장치(400)의 인간 공학 및 중량에 기초하여, 예를 들어 8-12 Hz에서 4-7 Hz로 천이할 수 있다.

본 발명의 다른 실시예에 따르면, 정지 검출 메카니즘(608)은 상태 머신을 포함할 수 있다. 예시적인 상태 머신이 도 8에 도시되어 있다. 여기에서, 동작중(ACTIVE) 상태는, 이 예에서, 3D 포인팅 장치(400)가 움직이고 있고, 예를 들어 사용자 인터페이스에 입력을 제공하기 위해 사용되고 있는 동안의 디폴트 상태이다. 3D 포인팅 장치(400)는 리셋 입력으로 나타낸 바와 같이 장치의 전원을 켤 때 동작중(ACTIVE) 상태에 들어갈 수 있다. 3D 포인팅 장치(400)가 움직임을 멈추는 경우, 이 장치는 비동작중(INACTIVE) 상태에 들어갈 수 있다. 도 8에 도시한 여러가지 상태 천이는 회전 센서(502, 504) 중 하나 또는 그 모두로부터 출력된 데이터, 가속도계(506)로부터 출력된 데이터, 시간 영역 데이터, 주파수 영역 데이터 또는 이들의 임의의 조합(이들에 한정되는 것은 아님)을 비롯한 다수의 서로 다른 기준 중 임의의 기준에 의해 트리거될 수 있다. 상태 천이 조건은 일반적으로 본 명세서에서 규약 "조건_{상태A->상태B}"를 사용하여 언급된다. 예를 들어, 3D 포인팅 장치(400)는 조건_동작중-> _비동작중이 일어날 때 동작중 상태에서 비동작중 상태로 천이된다. 단지 예시를 위해, 조건_동작중-> _비동작중이, 예시적인 3D 포인팅 장치(400)에서, 회 전 센서(들) 및 가속도계 모두로부터의 평균 및/또는 표준 편차 값이 제1 미리 정해진 기간에 대한 제1 미리 정해진 문턱값 아래로 떨어질 때 일어나는 것으로 생각해보자. 동작중(ACTIVE) 상태에 있을 때, 움직임 센서(예를 들어, 회전 센서(들) 및/또는 가속도계)로부터 수신된 데이터는 사용자에 의해 유입된 의도적인 움직임과 연관된 제1 데이터, 및 선형 필터링, Kalman 필터링, Kalman 평활화, 상태-공간 추정(state-space estimation), 기대치-최대화(Expectation-Maximization), 또는 다른 모델-기판 기술 등의 하나 이상의 처리 기술을 사용하여 사용자(떨림)에 의해 유입된 의도하지 않은 움직임과 연관된 제2 데이터로 분리될 수 있다. 제1 데이터는 이어서 핸드헬드 장치의 의도된 움직임과 연관된 출력을 생성하기 위해(예를 들어, 커서 움직임을 지원하기 위해) 추가로 처리될 수 있는 반면, 제2 데이터는, 이하에서 보다 상세히 기술하는 바와 같이, 예를 들어 사용자 식별을 위한 떨림 입력으로서 사용될 수 있다.

상태 천이는 해석된 센서 출력에 기초하여 다수의 서로 다른 조건에 의해 결정될 수 있다. 예시적인 조건 메트릭은 시간 윈도우에 걸친 해석된 신호의 변동을 포함하며, 시간 윈도우에 걸친 기준값과 해석된 신호 간의 문턱값, 시간 윈도우에 걸친 기준값과 필터링되고 해석된 신호 간의 문턱값, 및 시작 시간으로부터의 기준값과 해석된 신호 간의 문턱값이 상태 천이를 결정하는 데 사용될 수 있다. 이들 조건 메트릭의 임의의 조합이 상태 천이를 트리거하는 데 사용될 수 있다. 다른 경우에, 다른 메트릭도 역시 사용될 수 있다. 본 발명의 일 실시예에 따르면, 비동작중(INACTIVE) 상태에서 동작중(ACTIVE) 상태로의 천이는 (1) 시간 윈도우에 걸 친 센서 출력(들)의 평균값이 미리 정해진 문턱값(들)보다 크거나 (2) 시간 윈도우에 걸친 센서 출력(들)의 값들의 분산이 미리 정해진 문턱값(들)보다 크거나 또는 (3) 센서 값들 간의 순간 델타(instantaneous delta)가 미리 정해진 문턱값보다 클 경우에 일어난다.

비동작중 상태는 정지 검출 메카니즘(608)으로 하여금 3D 포인팅 장치(400)가 여전히 사용 중에 있는, 예를 들어 1/10초 정도의 잠깐의 일시 정지 및 안정 또는 정지 조건으로의 실제 천이를 구별할 수 있게 해준다. 이것은 이하에 기술되는 안정(STABLE) 상태 및 정지(STATIONARY) 상태 동안에 수행되는 기능들이 3D 포인팅 장치가 사용 중에 있는 때에 부적절하게 수행되는 것으로부터 보호한다. 조건_비동작중 _->동작중이 발생할 때, 예를 들어 3D 포인팅 장치(400)가 다시 움직이기 시작하여 회전 센서(들) 및 가속도계로부터의 측정된 출력이 비동작중 상태에서의 제2 미리 정해진 기간이 만료되기 이전에 제1 문턱값을 초과하는 경우, 3D 포인팅 장치(400)는 다시 동작중(ACTIVE) 상태로 천이하게 된다.

3D 포인팅 장치(400)는 제2 미리 정해진 기간이 만료된 후에 안정(STABLE) 상태 또는 정지(STATIONARY) 상태로 천이하게 된다. 앞서 언급한 바와 같이, 안정 상태는 3D 포인팅 장치(400)를 사람이 잡고 있지만 실질적으로 움직이지 않는 것으로 특징지우는 것을 반영하며, 정지 상태는 3D 포인팅 장치를 사람이 잡고 있지 않는 것으로 특징지우는 것을 반영한다. 따라서, 본 발명에 따른 예시적인 상태 머신은 손 떨림과 연관된 최소 움직임이 존재하는 경우 제2 미리 정해진 기간이 만료 된 후에 안정 상태로의 천이를 제공할 수 있거나, 그렇지 않은 경우 정지 상태로의 천이를 제공할 수 있다.

안정 상태 및 정지 상태는 3D 포인팅 장치(400)가 여러가지 기능을 수행할 수 있는 때를 정의한다. 예를 들어, 안정 상태가 사용자가 3D 포인팅 장치(400)를 잡고 있지만 이를 움직이지 않는 때를 반영하기 위한 것이기 때문에, 이 장치는 3D 포인팅 장치(400)가 안정 상태에 있을 때 이 상태에 있는 동안 회전 센서(들) 및/또는 가속도계로부터의 출력을 저장함으로써 그의 움직임을 기록할 수 있다. 이들 저장된 측정치는 이하에 기술하는 바와 같이 특정의 사용자 또는 사용자들과 연관된 떨림 패턴을 결정하는 데 사용될 수 있다. 이와 마찬가지로, 정지 상태에 있을 때, 3D 포인팅 장치(400)는 상기한 바와 같이 오프셋을 보상하는 데 사용하기 위해 회전 센서들 및/또는 가속도계로부터 표시값을 가져올 수 있다.

3D 포인팅 장치(400)가 안정 상태 또는 정지 상태에 있는 동안에 움직이기 시작하는 경우, 이것은 동작중 상태로의 복귀를 트리거할 수 있다. 그렇지 않은 경우, 측정을 한 후에, 장치는 슬립(SLEEP) 상태로 천이할 수 있다. 슬립 상태에 있는 동안에, 장치는 3D 포인팅 장치의 전력 소모가 감소되고, 또한 예를 들어 회전 센서들 및/또는 가속도계의 샘플링 레이트도 감소되는 절전 모드(power down mode)에 들어갈 수 있다. 외부 명령을 통해서도 슬립 상태에 들어갈 수 있으며, 따라서 사용자 또는 다른 장치는 3D 포인팅 장치(400)에 대해 슬립 상태에 들어가도록 명령할 수 있다.

다른 명령의 수신 시에, 또는 3D 포인팅 장치(400)가 움직이기 시작하는 경 우, 장치는 슬립 상태로부터 웨이크업(WAKEUP) 상태로 천이할 수 있다. 비동작중 상태와 같이, 웨이크업 상태도 장치가 동작중 상태로의 천이가 정당한 것인지, 예를 들어 3D 포인팅 장치(400)가 부적절하게 밀쳐지지 않았는지를 확인할 기회를 제공한다.

상태 천이에 대한 조건은 대칭적일 수 있거나 다를 수 있다. 따라서, 조건_동작중-> _비동작중과 연관된 문턱값이 조건_비동작중 _->동작중과 연관된 문턱값(들)과 동일할 수 있다(또는 그와 다를 수 있다). 이것은 본 발명에 따른 3D 포인팅 장치가 사용자 입력을 보다 정확하게 포착할 수 있게 해준다. 예를 들어, 상태 머신 구현을 포함하는 실시예들은 그 중에서도 특히 정지 상태로의 천이를 위한 문턱값이 정지 상태로부터의 천이를 위한 문턱값과 다를 수 있게 해준다.

상태에 들어가는 것 또는 그로부터 나오는 것은 또한 다른 장치 기능을 트리거하는 데 사용될 수 있다. 예를 들어, 사용자 인터페이스는 임의의 상태에서 동작중 상태로의 천이에 기초하여 전원이 켜질 수 있다. 역으로, 3D 포인팅 장치 및/또는 사용자 인터페이스는 3D 포인팅 장치가 동작중 또는 안정 상태에서 정지 또는 비동작중 상태로 천이할 때 턴오프될 수 있다(또는 슬립 모드에 들어갈 수 있다). 다른 경우에, 커서(410)는 3D 포인팅 장치(400)의 정지 상태로부터 또는 정지 상태로의 천이에 기초하여 화면에 디스플레이 또는 그로부터 제거될 수 있다.

떨림

상기한 바와 같이, 핸드헬드 장치가 안정 상태에 있는 기간은 예를 들어 특 정 사용자와 연관된 떨림 데이터를 저장하는 데 사용될 수 있다. 일반적으로, 각 사용자는 서로 다른 떨림 패턴을 나타낸다. 본 발명의 실시예에 따르면, 사용자 떨림의 이러한 특성은 사용자 측에서 임의의 다른 동작을 필요로 하지 않고(예를 들어, 패스워드를 입력할 필요없이) 어느 사용자가 현재 핸드헬드 장치를 잡고 있는지를 식별하는 데 사용될 수 있다. 예를 들어, 사용자가 3D 포인팅 장치를 예를 들어 10초 동안 가능한 한 안정되게 잡고 있도록 요청받는 초기화 과정 동안에 핸드헬드 장치 또는 시스템에 의해 사용자의 떨림 패턴이 기억될 수 있다(예를 들어, 3D 포인팅 장치(400)에 저장되거나 시스템으로 전송될 수 있다).

이 패턴은 다양한 사용자 인터페이스 기능을 수행하는 데 사용자의 고유(unique)(또는 준고유(quasi-unique)) 서명으로서 사용될 수 있다. 예를 들어, 사용자 인터페이스 및/또는 핸드헬드 장치는 현재의 떨림 패턴을 메모리에 저장된 것과 비교함으로써 일군의 사용자, 예를 들어 가족 중에서 그 사용자를 식별할 수 있다. 이 식별은 예를 들어 식별된 사용자와 연관된 환경 설정을 검색하는 데 사용될 수 있다. 예를 들어, 3D 포인팅 장치가 인용 문헌으로서 상기 포함된 특허 출원에 기술되어 있는 미디어 시스템과 관련하여 사용되는 경우, 시스템이 떨림 패턴 비교를 통해 사용자를 인식한 후에 그 사용자와 연관된 미디어 선택 항목 디스플레이 사용자 설정(preference)이 활성화될 수 있다. 시스템 보안도 역시 떨림 인식을 사용하여 구현될 수 있다, 예를 들어 시스템에의 액세스는 사용자가 3D 포인팅 장치(400)를 잡은 후에 수행되는 사용자 식별에 기초하여 금지되거나 또는 제한될 수 있다.

본 발명에 따른 떨림 패턴 검출, 분류 및 저장을 위한 방식을 구현하는 데 다수의 서로 다른 방법이 채택될 수 있다. 이제부터, 일 실시예에 대해 도 9 내지 도 12와 관련하여 기술한다. 떨림 패턴을 분류하는 전체적인 방법이 도 9의 플로우차트에 도시되어 있다. 여기서, 단계(900)에서 복수의 사용자로부터 데이터 세트가 수집된다. 데이터 세트 수집은 사용자가 미리 정해진 기간(예를 들어, 5-15초) 동안 의도적인 움직임을 시작하지 않고 장치를 잡도록 요청받는 훈련/초기화 프로세스의 일부일 수 있거나, 핸드헬드 장치의 사용 동안에 "동작 중에" 수행될 수 있다. 게다가, 데이터 수집은 미리 정해진 배향으로 핸드헬드 장치를 잡고 있는 동안에 수행될 수 있다. 도 10a 내지 도 10d에 도시된 어떤 순수하게 예시적인 주파수 스펙트럼 데이터가 4개의 서로 다른 배향에서 3D 포인팅 장치(400)를 잡고 있는 특정 사용자에 대해 수집되었다.

도 9로 돌아가서, 수집된 데이터는 이어서 각각이 핸드헬드 장치(400)의 서로 다른 사용자와 연관되어 있는 클래스를 식별하기 위해 처리될 수 있다. 예를 들어, 분류 프로세스에서 사용하기 위해 각각의 수집된 데이터 세트로부터 하나 이상의 특징 세트가 추출될 수 있다(단계 902). 단계(902)에서 사용하기 위해 선택되는 특정의 특징 세트 또는 특징 세트들은 떨림 데이터에 대한 양호한 클래스 구별을 제공하도록 선택되고, 또 예를 들어 분류 풀 내의 구별될 사용자의 수, 단계(900)에서 수집될 훈련 데이터의 양 및 유형, 장치 특성, 예를 들어 도 8과 관련하여 상기한 상태 정보 및 연관된 베이지안 사용자 정보(예를 들어, 하루중 시간)를 비롯한 떨림 프로세스를 통한 사용자 식별과 연관되어 있는 구현 파라미터에 따 라 다를 수 있다. 단계(902)에서 이용될 수 있는 특징 세트의 예시적인 리스트가 이하의 표 1에 제공되어 있다.

시간-영역	AR 계수(예를 들어, RPLR 또는 반복적 INVFREQZ 방법) 정규화된 자기 상관 지연, AR 계수(예를 들어, RPLR), Keenan, Tsay, 또는 Subba Rao 테스트, 시계열의 순수 분포의 특징, 시간 반전 불변, 자기 상관 함수의 비대칭 감쇠
주파수-영역	회전 센서의 PSD - 특징(예를 들어, 피크 주파수, 모멘트), PSD 계수 가속도계의 PSD - 특징(예를 들어, 피크 주파수, 모멘트), PSD 계수 회전 센서 데이터의 가속도계 데이터와의 교차-스펙트럼 분석
고차 통계	HOS(바이스펙트럼, 트라이스펙트럼) - 떨림의 비가우스성을 이용 Hinich 통계 테스트 Volterra 급수 모델링
시간-주파수 영역	STFT로부터 추출된 파라미터, Wigner-Ville 및/또는 (Choi-Williams) TF 분포
시간-스케일 영역	DWT - 이산 웨이블릿 변환 MODWT - 최대 오버랩 변환(순환-불변) CWT - 복소 웨이블릿 변환(천이-불변)
기타 변환	주기성 변환(예를 들어, 소에서 대로, m-최상, 기타 등등) 주기적 스펙트럼
기타 척도	혼돈 척도(예를 들어, Lyapunov 지수, 프랙탈 차원, 상관 차원)

이들 특징 세트 및 대응하는 테스트 중 일부에 관한 정보는 J. Jakubowski, K. Kwiatos, A. Chwaleba, S. Osowski의 논문, "Higher Order Statistics and Neural Network For Tremor Recognition(떨림 인식을 위한 고차 통계 및 신경망)" IEEE Transactions on Biomedical Engineering, vol. 49, no. 2, pp. 152-159, IEEE(2002년 2월)에서 찾아볼 수 있으며, 이는 여기에 인용함으로써 그 전체 내용이 본 명세서에 포함된다. 이하에서 보다 상세히 기술되는 본 발명의 하나의 순전히 실시예에 따르면, 수집된 데이터의 전력 스펙트럼 밀도(PSD)로부터의 저주파 스펙트럼이 단계(902)에서의 특징 세트로서 사용되었다. 상기한 영역, 변환,기타 등등에 부가하여, 특징 세트는 또한 떨림 검출/식별이 이용되는 핸드헬드 장치에서 이용가능한 센서의 수 및 유형에 기초하여 다를 수 있다. 예를 들어, 앞서의 실시예에서 기술된 핸드헬드 3D 포인팅 장치(400)에서, 떨림 데이터는 회전 센서, 가속도계, 또는 이들의 조합 중 하나 또는 그 전부로부터 수집될 수 있다.

수집된 데이터로부터 특징 세트를 추출한 후에, 단계(904)에서 특징 세트는 축소될 수 있다. 보다 구체적으로는, 특징 세트는 단계(904)에서 클래스(사용자)를 구별하기 위해 특징 세트를 가장 잘 표현하는 특징들의 세트로 축소될 수 있다. 예를 들어, 사용자 떨림 데이터의 DC 값은 축소된 특징 세트로부터 생략될 수 있는 반면, 사용자 떨림 데이터의 9 Hz 값은 축소된 특징 세트에 포함될 수 있는데, 그 이유는 후자의 것이 서로 다른 사용자의 손 떨림을 구별하는 데 더 유용할 것으로 예상되기 때문이다. 축소된 특징 세트는 예를 들어 PCA(Principal Component Analysis) 알고리즘을 사용하여 결정되는 MEF(Most Expressive Feature) 세트일 수 있다. PCA 알고리즘은 (예를 들어, 최소 평균 제곱 에러(minimum mean-squared error, MMSE)의 의미에서) 특징 벡터를 가장 잘 표현하는 기저 벡터(basis vector)의 적절한 세트를 자동적으로 찾아내기 위해 특징 세트의 특이값 분해(singular value decomposition)를 이용한다. PCA 기술을 적용하는 것에 대한 예는 P. Navarrete 및 J. Ruiz-del Solar의 저서 "Eigenspace-Based Recognition of Faces: Comparisons and a New Approach," Image Analysis and Processing(2001년)에서 찾아볼 수 있으며, 이는 여기에 인용함으로써 그 전체 내용이 본 명세서에 포함된다.

축소된 특징 세트는 이어서 단계(908)에서 군집(cluster)을 식별하는 데 사용될 수 있으며, 이는 지도 학습을 사용하여 수행될 수 있다, 즉 이 프로세스는 어느 개인 사용자가 어느 데이터 세트 또는 지도 학습에 기여를 하였는지에 대한 선험적 지식에 기초하여 동작한다, 즉 이 프로세스는 어떤 선험적 정보도 가지고 있지 않다. 본 발명의 실시예들에 따라 떨림 데이터와 연관된 군집을 결정하는 데, 예를 들어 K-평균 군집화(K-means clustering) 및 RBF 신경망 분류(RBF neural net classification)를 비롯한 여러가지 기술들이 적용될 수 있다. 군집이 식별되면, 새로운 특징 벡터를 어떤 군집 내에 있는 것으로 또는 어떤 군집의 밖에 있는 것으로 분류하기 위해, 즉 단계(910)에서 현재의 센서 출력에 기초하여 핸드헬드 장치(400)를 현재 잡고 있는 사용자를 식별하기 위해, 식별된 군집과 연관된 추정된 통계(예를 들어, 평균 및/또는 공분산)가 사용될 수 있다. 초기의 사용자/군집 인스턴스화 이후에 센서 동작 동안 군집 중심을 세밀화함으로써 센서 상태 정보의 사용(예를 들어, 도 8과 관련하여 상기함)을 통해 학습 방법이 향상될 수 있다. 이와 같이, 최대량의 이용가능한 데이터가 추가의 미지도 학습(unsupervised learning)을 지원하기 위해 (지도 방식으로) 군집을 세밀화하는 데 사용된다.

검출된 손 떨림에 기초하여 사용자를 식별하는 상기한 예시적인 기술을 테스트하기 위해, (도 10a 내지 도 10d에 도시된 데이터에 부가하여) 4명의 다른 사용자와 연관된 데이터 세트가 손 떨림 분석이 서로 다른 사용자를 구별하고/식별하는 데 사용될 수 있다는 것을 입증하기 위해 도 9의 플로우차트와 관련하여 상기한 일반적인 방식으로 수집되고 분석되었다. 데이터 세트 중 2개가 핸드헬드 장치를 잡고 있는 동일한 사람으로부터 수집된 반면, 나머지 3개의 데이터 세트가 핸드헬드 장치를 잡고 있는 다른 사람들로부터 수집되었다. 이 테스트에서, 데이터는 단계(900)에서 5개의 데이터 세트 각각에 대해 회전 센서(812) 모두로부터 수집되었다. 데이터 세트 각각은 제로-평균 및 단위 분산을 갖도록 처리되었다. 이 예시적인 테스트에서, PSD 추정으로부터의 저주파 스펙트럼(예를 들어, 피크 주파수)은 특징 세트 추출을 위해 사용되고, 데이터 수집 시간에 걸쳐 평균되었다(단계 902). 보다 구체적으로는, 256개 점 FFT가 사용되어 0-30 Hz의 주파수 범위 내에서 N=2048개 점에 걸쳐 75% 중복으로 평균되었다. 추출된 특징 세트는 PCA 알고리즘을 사용하여 38x20 매트릭스에서 20x20 매트릭스로 축소되었으며, 이는 추출된 특징 세트와 연관된 어떤 고유벡터가 다른 것보다 덜 중요하고 폐기될 수 있다는 것을 정확히 인식하였다. 도 11은 이 예에서 단계(904)의 일부로서 생성된 고유값을 나타낸 것이다. 여기서, 라인(1100)은 특징 세트 2(회전 센서(504)로부터 수집된 데이터, z-축 회전)와 연관된 고유값을 나타낸 것이고, 라인(1102)은 특징 세트 1(회전 센서(502)로부터 수집된 데이터, y-축 회전)과 연관된 고유값을 나타낸 것이다.

이 테스트 경우에서, 군집화 단계는 어느 사용자가 어느 데이터 세트를 생성하였는지에 대한 선험적 지식(지도 학습)에 기초하여 수행되었다. 실제 구현에서, 자동화된 군집화 기술, 예를 들어 상기한 것들 중 하나가 단계(906)에서 이용될 가능성이 있다. 이 순전히 예시적인 테스트에서, 군집들은 각각의 데이터 세트와 연관된 2개의 클래스 중심(class centroid)을 정의하기 위해 회전 센서(502, 504)로부터 수신된 데이터에 대해 개별적으로 식별되었다. 이어서, 데이터 세트 내의 각각의 벡터와 2개의 클래스 중심 간이 거리의 합(이 예에서, 유클리드 거리의 합)이 계산되었다. 이 프로세스의 결과가 도 12에 도시되어 있다. 여기에서, x-축은 축소된 데이터 세트 벡터를 나타내고, y-축은 거리 및 서로 다른 클래스(사용자) 중심까지의 수직 라인 파티션 거리를 나타낸다. 각각의 파티션 내에서 연관된 클래스의 벡터-중심간 거리가 다른 클래스의 벡터-중심간 거리보다 상당히 작다는 것을 알 수 있으며, 이는 양호한 클래스 분리 및 사용자가 핸드헬드 장치에서 유발하는 손 떨림에 기초하여 사용자를 구별/식별할 수 있음을 나타낸다. 예시된 테스트를 수행하기 위해 예를 들어, 특징 세트, 기타 등등의 어떤 구체적인 선택이 행해졌지만, 본 명세서에서 언급한 바와 같이 이들 선택은 순전히 예시적인 것이다.

본 발명의 실시예에 따라 다수의 변형이 이용될 수 있다. 예를 들어, 단계(908)에서 군집이 식별되면, 각각의 군집의 판별 특징(들)을 강조하기 위해 군집 판별 단계가 수행될 수 있다. 군집 판별은 세트들 내에서의 최소 그룹 및 세트들 간의 최소 거리를 제공하는 데이터에 변환 행렬을 적용하는 동작을 한다. 전체 공분산을 기술하는 행렬 및 군집들 각각의 공분산의 합을 기술하는 다른 행렬이 주어진 경우, 선형 판별식(linear discriminant)의 작업은 클래스들 간의 거리를 최대화함과 동시에 클래스내 분산(within-class scatter)을 최소화하는 선형 정보를 도출하는 것이다. 다수의 판별식, 예를 들어 FLD(Fisher Linear Discriminant, 피셔 선형 판별식)이 일반적인 패턴 인식 분야에서 공지되어 있지만, 모두가 본 명세서에 기술된 바와 같이 손 떨림에 기초하여 사용자를 식별하는 특정의 문제에 적합한 것은 아니다. 상기한 텍스트 예에서 사용된 한 가지 특정의 판별식은 EFM-1 판별식으로 알려져 있으며, C. Liu 및 H. Wechsler의 저서 "얼굴 인식을 위한 향상된 피셔 선형 판별식 모델(Enhanced Fisher Linear Discriminant Models for Face Recognition)" 제하의 논문, Proc. 14th International Conference on Pattern Recognition, Queensland Australia(1998년 8월 17일-20일)에 기술되어 있으며, 이는 여기에 인용함으로써 그 전체 내용이 본 명세서에 포함된다.

게다가, 상기 테스트가 본 발명의 앞서 기술일 실시예에 따른 핸드헬드 포인팅 장치를 사용하여 수행되었지만, 사용자의 떨림-기반 식별이 그렇게 제한되지 않는다. 실제로, 떨림-기반 식별은 임의의 유형의 움직임 센서 또는 센서들(자이로스코프를 포함함)(이들로부터 떨림 데이터가 발생될 수 있음)을 갖는 임의의 다른 유형의 3D 포인팅 장치에서 이용될 수 있다. 게다가, 본 발명에 따른 떨림-기반 식별은 또한 포인팅 장치로 제한되지 않고 하나 이상의 움직임 센서를 포함하거나 또는 그와 연관된 손 떨림을 측정하는 어떤 다른 메카니즘을 갖는 임의의 핸드헬드 장치, 예를 들어 셀 전화, PDA, 기타 등등에서 이용될 수 있다. 예를 들어 단계 900 내지 908을 수행하기 위해 훈련 기간이 이용될 수 있으며, 이 훈련 기간 이후에 핸드헬드 장치는 현재 사용자의 손 떨림과 연관된 데이터를 단지 수집하고 현재 사용자를 식별하기 위해 그 데이터를 이전에 확립된 사용자 클래스와 비교하는 방법을 수행할 수 있다. 이 신원 정보는 이어서 다수의 서로 다른 응용에서 사용될 수 있으며, 그의 예들에 대해 이상에서 언급하였다.

예를 들어, 사용자의 신원(떨림-기반 인식에 의해 또는 다른 식별 기술을 통해 인식됨)은 사용자 인터페이스, 예를 들어 상기 인용 문헌으로서 포함된 특허 출원의 사용자 인터페이스에 명령을 신호하기 위해 그 사용자에 의해 행해진 제스처를 해석하는 데 사용될 수 있다. 예를 들어, 시간에 따른 움직임의 패턴이 특정의 인터페이스 명령과 연관되어 있는 제스처 기반 명령 시스템에서, 서로 다른 사용자는 동일한 인터페이스 명령을 개시하기 위해 핸드헬드 장치의 시간에 따른 얼마간 다른 패턴의 움직임을 이용할 수 있다(서로 다른 사람이 서로 다른 필기체를 갖는 것과 거의 같음). 사용자 식별을 제공하는 기능은 이어서 서로 다른 제스처 패턴에 매핑될 수 있으며, 예를 들어 핸드헬드 장치 또는 시스템에 저장될 수 있으며, 그에 따라 이 시스템은 전체로서 시간에 따른 각각의 패턴의 움직임을 사용자에 의해 의도된 명령 제스처로서 정확하게 식별한다.

좌표계 매핑

상기한 바와 같이, 본 발명의 실시예들은 3D 포인팅 장치 내의 센서(들)로부터 수신된 움직임 데이터를 처리하여 3D 포인팅 장치의 본체의 좌표계로부터의 이 데이터를 다른 좌표계, 예를 들어 사용자의 좌표계로 변환한다. 화면, 예를 들어 텔레비전 상에 디스플레이된 사용자 인터페이스를 제어하는 데 사용되는 3D 포인팅 장치의 예시적인 응용에서, 사용자의 좌표계는 텔레비전 화면과 연관된 좌표계일 수 있다. 이와 관계없이, 본체 좌표계로부터 다른 좌표계로의 데이터의 변환은 장치의 관점이 아니라 사용자의 관점인 동작이 얻어짐으로써 핸드헬드 장치의 사용성을 향상시킨다. 따라서, 사용자가 3D 포인팅 장치를 잡고 있으면서 그의 손을 디스플레이의 전방에서 좌측에서 우측으로 움직일 때, 3D 포인팅 장치의 배향에 관계없이 커서는 좌측에서 우측 방향으로 이동한다.

이 설명을 간략화하기 위해, 3D 포인팅 장치와 연과된 예시적인 처리 시스템이 도 13에 도시되어 있으며, 예를 들어 이상에서 보다 상세히 기술한 바와 같다. 여기에서, 핸드헬드 시스템은 하나 이상의 센서(1301), 예를 들어 회전 센서(들), 자이로스코프(들), 가속도계(들), 자력계(들), 광학 센서(들), 카메라(들), 또는 이들의 임의의 조합을 사용하여 움직임을 감지한다. 이 센서들은 이어서 발생된 움직임의 추정치를 생성하기 위해 블록(1302)에서 해석된다. 처리 블록(1303)은 이어서 장치의 본래의 (본체) 좌표계로부터의 측정된 움직임을 사용자의 좌표계로 변환한다. 이 움직임은 이어서 블록(1305)에서 해석되어 온-스크린 커서를 움직이는 등의 의미있는 반응을 생성하기 위해 시스템으로 전달되는 의미있는 행동으로 매핑된다(1304).

블록(1303)은 검출된 움직임을 장치의 좌표계 대신에 사용자의 좌표계로 변환한다. 배향은 오일러 각도, 방향 코사인 행렬(direction cosine matrix, DCM), 또는 단위 쿼터니언(unit quaternion)을 비롯한 많은 서로 다른 수학적으로 유사한 방법에 의해 표현될 수 있다. 위치는 일반적으로 미터, 센티미터, 피트, 인치 및 마일(이에 한정되는 것은 아님)을 비롯한 일관성있는 단위로 되어 있는 좌표계 원점으로부터의 오프셋으로서 표현된다. 상기한 일 실시예에서, 3D 포인팅 장치는 가속도 및 회전 속도를 비롯한 관성력을 측정한다. 이들 힘은 장치에 탑재된 센서에 의해 장치의 본체에 대해 측정된다. 측정된 데이터를 사용자 좌표계로 변환하기 위해, 이 장치는 그의 위치 및 그의 배향 모두를 추정한다.

이 실시예에서, 사용자 좌표계가 정지되어 있고 고정된 배향을 갖는 것으로 가정하지만, 당업자라면 시변 좌표계로 직접 변환하거나 먼저 정지 좌표계로 변환하고 이어서 움직이는 좌표계로 변환함으로써 본 발명에 따른 이 기술이 용이하게 사용자의 좌표계가 비정지되어 있는 경우들로 확장될 수 있다는 것을 잘 알 것이다. 정지된 고정-배향의 사용자 좌표계 예에서, 본체 좌표계로부터 사용자 좌표계로의 변환은 이하의 식을 사용하여 수행될 수 있다.

Pu = Rotate (Pb, Q) + Pdelta

Pu' = Rotate (Pb', Q)

Pu" = Rotate(Pb", Q)

Wu = Rotate(Wb, Q)

Wu' = Rotate (Wb', Q)

여기서, Rotate는 Rotate(A, Q)가 Q*AQ(단, Q*은 쿼터니언 공액임)와 같은 쿼터니언 회전 연산자를 나타내고, 벡터 A는 복소 성분이 A이고 실수 성분이 0인 쿼터니언이다.

Pu는 사용자 좌표계에서의 위치이다.

Pb는 장치 좌표계에서의 위치이다.

'는 도함수를 나타낸다. 따라서, Pu'은 사용자 좌표계에서의 위치의 도함수로서, 이는 사용자 좌표계에서의 속도이다.

Wu는 사용자 좌표계에서의 본체 각도 단위로 된 장치의 각속도이다.

Wb는 본체 좌표계에서의 본체 각도 단위로 된 장치의 각속도이다.

Pdelta는 사용자 좌표계에서 사용자 좌표계의 원점과 본체 좌표계 간의 차이이다.

Q는 본체 좌표계로부터 사용자 좌표계로의 회전을 나타내는 정규화된 회전 쿼터니언이다. 사용자 좌표계로부터 본체 좌표계로 회전하는 회전 쿼터니언이 Q*이기 때문에, Q를 R*으로 치환할 수 있으며, 여기서 R은 사용자 좌표계로부터 본체 좌표계로의 회전이다. 유의할 점은 Q가 오일러 각도 및 방향 코사인 행렬(DCM)을 비롯한 다수의 등가 형태로 표현될 수 있으며, 또 상기 식들이 Q의 서로 다른 표현에 기초하여 그의 등가 형태에서 약간 다를 수 있다는 것이다. 도 14는 본체 좌표계로부터 사용자의 좌표계로의 변환을 그래픽으로 나타낸 것이다.

동작 동안에, 장치는 이 변환을 수행하기 위해 구현 의존적인 방식으로 Q를 추정한다. 상기한 한 예시적인 구현은 틸트를 보상하는 것을 포함한다(즉, 3D 포인팅 장치의 x-축 롤의 변동이 사용자가 그 장치를 잡고 있는 방식에 기초함). 이 배향은 먼저 본체 좌표계에서의 중력 가속도로 인한 가속도 성분 Ab를 추정함으로써 계산된다. 정의에 의해, 사용자 좌표계에서의 중력 가속도로 인한 가속도 벡터 Ag는 [0,0,-1]로 설정된다. 중력 가속도가 지향(heading)(z-축을 중심으로 한 회전)을 추정할 수 없기 때문에, 지향에 대한 본체 좌표계 추정치가 사용된다. 따라서, 회전 쿼터니언은 z=0 평면에 회전축을 갖는다. 이하는 회전 쿼터니언을 계산하는 몇 가지 수학적으로 등가인 방법 중 하나이다.

(단위 벡터의 외적)

이어서, 위치는 사용자 좌표계에서의 가속도의 이중 적분으로서 계산된다. 사용자 좌표계에서의 가속도는 본체 좌표계의 가속도를 상기 Q만큼 사용자 좌표계로 회전한 것이다. 통상적으로, 장치가 처음으로 활성화될 때 원점은 0인 것으로 가정되지만, 정상적인 동작 동안에 수동적으로 또는 자동적으로 원점이 재설정될 수 있다.

일반적으로, 장치가 움직이지 않을 때, Pu', Pu", Wu, 및 Wu" 는 모두 0이다. 이 실시예에서, Pb" 및 Wb가 측정된다. 무한개의 회전 Q가 존재하기 때문에, 이용가능한 세트로부터 최소 회전이 선택되어 Wb에 기초하여 Wu를 추정하는 데 사용될 수 있다. 다른 경우에, Q는 이하에서 이산 시간 적분을 사용하여 나타낸 바와 같이 Wb를 시간에 따라 적분함으로써 가정된 시작 오프셋 배향 Qo를 사용하여 계산될 수 있다.

여기서, *는 곱셈을 나타내고, **는 쿼터니언 곱셈을 나타낸다. 중력 가속도 및 지자계를 비롯한 일정한 필드 벡터(field vector)에 의해 부가적인 안정성이 제공되고 상기한 결과와 합성될 수 있다. 이 합성은 Kalman 필터링(이에 한정되는 것은 아님)을 비롯한 몇 가지 수치 필터링 방법을 사용하여 달성될 수 있다.

장치의 본체에 대한 움직임을 측정하는 한, 다양한 서로 다른 센서가 이용될 수 있다. 예시적인 센서는 가속도계, 회전 센서, 자이로스코프, 자력계 및 카메라를 포함한다. 사용자 좌표계는 정지되어 있을 필요가 없다. 예를 들어, 사용자의 좌표계가 사용자의 팔뚝인 것으로 선택되는 경우, 장치는 단지 손목 및 손가락 움직임에 반응한다.

당업자라면 교환 속성이 본 발명에서 기술된 좌표계 변환에 적용된다는 것을 잘 알 것이다. 따라서, 본 명세서에 기술된 본 발명에 그다지 영향을 주지 않고 수학적 연산의 순서가 변경될 수 있다. 게다가, 많은 움직임 처리 알고리즘이 어느 좌표계에서도 등가적으로 동작할 수 있으며, 사용자 좌표계가 일정한 배향을 갖는 상태에서 정지되어 있는 것으로 선택되는 경우에 특히 그렇다.

사용 용이성을 제공하는 것 이외에, 본 발명의 이 실시예에 따른 좌표계 변환은 또한 핸드헬드 장치 구현에서의 다른 과제를 해결하는 데 사용될 수 있다. 예를 들어, 센서(가속도계 등)가 본체 좌표계에서 정확하게 회전 중심에 위치하지 않는 경우에, 측정된 가속도는 좌표계의 가속도 및 좌표계의 회전으로 인한 가속도 성분 모두를 포함한다. 따라서, 측정된 가속도는 먼저 이하의 관계식을 사용하여 장치의 본체 좌표계 내의 서로 다른 목표 위치로 변환될 수 있다.

여기서, R은 가속도계에서 목표 위치로의 벡터이고,

는 본체 좌표계의 각속도이며,

은 본체 좌표계의 각가속도이다. 장치의 본체 좌표계가 가속도계로부터 R만큼 떨어져 있도록 구성되어 있는 경우, 그 좌표계는 제로 각가속도 효과를 가지며 사용자 좌표계에서의 장치 움직임을 계산하는 데 보다 쉽게 사용될 수 있다. 이것은 가속도계와 본체 좌표계의 중심 간이 의도한 또는 의도하지 않은 오정렬을 보상한다. 게다가, 중력 가속도 벡터의 추정이 훨씬 더 간단하게 되는데, 그 이유는 회전의 중심에 작용하는 힘이 더 적기 때문이다. 그러면,

이고, 여기서 Q는 본체 좌표계로부터 가속도계 좌표계로의 회전이다.

불행하게도, 서로 다른 사용자는 R에 대해 서로 다른 값을 갖는다. 예를 들어, 어느 한 사용자가 그의 팔꿈치를 회전시켜 핸드헬드 장치를 사용할 수 있는 반면, 다른 사용자는 그의 팔목을 회전시켜 장치를 사용할 수 있다. 게다가, 사람들은 서로 다른 크기의 팔목 및 팔뚝을 갖는다. 개선된 사용성을 위해, 핸드헬드 장치의 이 실시예는 R을 동적으로 계산하고 각도 움직임으로 인한 최소 가속도 성분을 갖도록 본체 원점을 이동시킨다. 이 실시예는 R을 [Rx,0,0]로 정의하고 Rx에 대해서 풀어서 Abody-Rotate[Ag,Q]를 최소화함으로써 R을 추정한다. 유의할 점은 Rx를 계산하기 위해 최소화를 수행할 수 있는 재귀적 최소 제곱 및 Kalman 필터링을 비롯한 많은 수치적 방법이 존재한다는 것이다.

이상의 내용에 기초하면, 본 발명이 핸드헬드 장치의 감지된 움직임을 한 좌표계(예를 들어, 본체 좌표계)에서 다른 좌표계(예를 들어, 사용자의 좌표계)로 매핑하는 여러가지 기술을 기술하고 있음을 잘 알 것이다. 이들 매핑은 핸드헬드 장치의 사용과 연관된 다른 매핑들에 독립적일 수 있다, 예를 들어 감지된 움직임의 커서 움직임에의 매핑은 그와 합성될 수 있다. 게다가, 운동 방정식의 입력측 또는 출력측 중 어느 한쪽의 관점에서 병진 운동 및 회전 운동 또는 이들의 임의의 서브셋에 대해 3개의 차원 모두에서 감지된 움직임을 변환하기 위해 본 발명에 따른 변환이 수행될 수 있다. 게다가, 감지된 움직임이 매핑 또는 변환되는 좌표계의 선택은 다수의 서로 다른 방식으로 행해질 수 있다. 이상에서 제공된 한 예는 제2 좌표계가 장치의 틸트와 연관된 사용자의 좌표계임을 나타내고 있지만, 많은 다른 변형이 가능하다. 예를 들어, 사용자는 그의 원하는 좌표계를 선택할 수 있으며, 그 설정이 핸드헬드 장치에 복수의 사용자 설정으로서 저장될 수 있고 또 변환을 수행하는 데 사용될 수 있다. 다른 예들은 제2 좌표계를 선택하는 기술로서 사용자 인식 및 명시적인 명령(예를 들어, 버튼 또는 사용자 인터페이스 선택)을 포함한다.

게다가, 상기일 실시예들 중 일부가 속도 영역에서의 데이터에 작용하지만, 본 발명은 그에 한정되지 않는다. 본 발명에 따른 매핑 또는 변환은 다른 경우에 또는 부가적으로 예를 들어 위치 또는 가속도 데이터에 대해 수행될 수 있고 또 병진 운동, 회전 운동 또는 모두에 대한 것일 수 있다. 또한, 처리의 순서는 중요하지 않다. 예를 들어, 핸드헬드 장치가 제스처 명령을 출력하기 위해 사용되는 경우, 매핑이 먼저 수행되고 이어서 제스처가 판단될 수 있거나, 또는 제스처가 먼저 판단되고 이어서 매핑이 수행될 수 있다.

의도하지 않은 움직임의 제거

본 발명의 실시예들에 따르면, 감지된 움직임을 처리하는 기술은 버튼 작동 및/또는 떨림 등의 예를 들어 다른 사용자-장치 상호작용에 기인한 바람직하지 않은 효과를 제거한다. 일반적으로, 도 15에 나타낸 바와 같이, 시스템에의 입력은 핸드헬드 3D 포인팅 장치를 사람이 움직이는 것이다. 이 움직임은 장치에 의해 감지되고(블록 1510) 대표적인 움직임으로 처리되며(예를 들어, 블록 1512), 이의 상세한 예에 대해서는 앞서 기술하였다. 그렇지만, 유의할 점은 본 발명의 이들 실시예가 상기한 예시적인 핸드헬드 3D 포인팅 장치(400)에서의 응용에 한정되지 않으며 다른 유형의 움직임 센서를 사용하는 다른 핸드헬드 장치, 예를 들어 3D 포인팅 장치를 포함시키려고 명백히 의도하고 있다는 것이다. 이어서, 대표적인 움직임이 본 발명의 실시예들에 따른 예시적인 "사람 인자(human factor)" 기술에 의해 처리되는(블록 1516) 의미있는 표현으로 변환된다(블록 1514). 본 명세서에 기술된 실시예에서, 사람 인자 처리(1516)의 출력은 이어서 예를 들어 2D 포인터 움직임으로 매핑된다. 처리된 움직임은 이어서 핸드헬드 장치에 의해 출력되고, 이 출력의 예는 온-스크린 포인터 움직임을 제어하는 데 사용될 수 있는 데이터이다.

본 발명의 이 실시예는 버튼 클릭을 비롯하여 사용자 개시 이벤트 동안에 움직임을 처리하기 위한 다양한 서로 다른 기술을 포함한다. 제1 실시예에 따르면, 거리 문턱값 및 시간 문턱값 모두는, 사용자 동작, 예를 들어 버튼 클릭이 일어난 후에, 움직임 센서(들), 예를 들어 회전 센서(들), 가속도계(들), 자력계(들), 자이로스코프(들), 카메라(들), 또는 이들의 임의의 조합, 기타 등등에 의해 발생된 움직임 정보를 처리하는 데 사용된다. 버튼 클릭 동안에 안정됨과 동시에 민감한 포인터를 산출하기에 거리만으로 충분하지 않을 수 있다. 핸드헬드 장치에 의해 버튼 누름이 검출될 때, 거리가 거리 문턱값을 초과하거나 경과된 시간량이 시간 문턱값을 초과할 때까지 1516으로부터의 출력 포인터 움직임이 억압된다. 거리 문턱값 및 시간 문턱값 중 어느 하나 또는 그 모두는 예를 들어 버튼 누름 동작 및 버튼 놓기 동작에 대해 서로 다를 수 있다. 예시적인 버튼 처리는 명령을 핸드헬드 장치로 전송함으로써 선택적으로 디스에이블될 수 있다.

다른 버튼들도 또한 서로 다른 문턱값을 가질 수 있다. 버튼 클릭 동안 핸드헬드 장치가 경험하는 움직임량은 사용자, 버튼 작동 힘, 버튼 이동, 및 핸드헬드 지지 중심(통상적으로 사용자의 손)에 대한 버튼의 위치(이에 한정되는 것은 아님)를 비롯한 다수의 인자들에 의존한다. 버튼 움직임 처리 파라미터는 각각의 버튼에 대한 성능을 최적화하도록 개별적으로 설정될 수 있다. 게다가, 파라미터는 세션 이력에 기초하여 또는 사용자가 시스템에 알려져 있는 경우 사용자에 기초하여 학습될 수 있다.

게다가, 사람 인자 처리 기능(1516)은 핸드헬드 장치의 과거 움직임 이력을 저장 및 추적할 수 있다. 예를 들어, 핸드헬드 장치가 버튼이 눌려졌음을 검출하면, 핸드헬드 장치 내의 처리부는 사용자가 버튼 이벤트를 개시하기 이전의 시간으로 후퇴할 수 있다. 버튼을 물리적으로 작동시키는 일은 심리적 테스트 및 동적 장치 측정에 의해 결정될 수 있는 무한한 측정가능한 시간이 걸린다. 버튼이 작동될 때, 장치는 버튼 작동이 일어난 동안/이후에 움직임 센서(들)로부터 가져온 데이터 샘플들을 삭제함으로써 버튼 작동이 일어나기 전의 상태로 복귀할 수 있다. 따라서, 버튼 누름 동안에 일어난 잘못된 움직임이 무시되고 "소거"된다. 예를 들어, 검출된 버튼 누름에 응답하여, 블록(1516)으로부터의 출력은 (버튼 누름 동작 이후에) 검출된 위치(P1)로부터 취소된 위치(P2)로 변할 수 있으며, 이 위치(P2)는 버튼 누름 동작 검출보다 미리 정해진 시간 앞서서 블록(1516)에 의해 이전에 출력된 것이다. 장치가 이미 하나의 버튼 동작을 처리하고 있고 다른 버튼 동작이 일어날 때 움직임을 여전히 억압하고 있는 경우, 사람 인자 처리 기능(1516)이 후퇴 프로세스를 반복하는 것이 불필요할 수 있다.

사용자 인터페이스에서, 적어도 2개의 일반적인 유형의 버튼 작동이 일어날 수 있다. 도 16에 도시한 제1 유형(미세 모드 클릭)에서, 사용자는 작은 목표 상에서의 정밀한 작동을 의도하며 주의하여 장치를 정렬하고, 움직임을 정지시키며 이어서 버튼을 누른다. 제2 유형(조악 모드 클릭)에서, 목표는 크고 사용자는 그 다음 동작을 예상한다, 예를 들어 사용자는 정지하거나 목표 상에 머물러 있지 않고 포인터를 단지 느려지게 할 수 있고 그 대신에 "동작 중에" 목표를 클릭할 수 있다. 미세 모드 클릭의 경우, 상기한 처리 기술은 핸드헬드 장치 내의 움직임 센서(들)로부터의 합성된 데이터 출력 스트림으로부터 의도하지 않은 움직임 데이터를 정확하게 제거하는 동작을 한다. 그렇지만, 제2 유형의 움직임의 경우, 성능을 개선하기 위해 추가의 개량이 유용할 수 있다.

조악 모드 클릭에 의해 제기되는 추가의 문제를 해결하기 위해, 사람 인자 처리부(1516)는 제2의 대안 또는 보완 기술을 이용할 수 있다. 이 제2 실시예에 따르면, 움직임 센서(들)로부터 수신된 움직임 데이터는 움직임 벡터로 처리되고, 사용자가 커서의 어떤 움직임 변화 또는 버튼 작동 동안에 장치로부터의 다른 관련 출력을 의도할 수 있는 것으로 가정한다. 뉴튼의 제1 법칙으로부터 알고 있는 바와 같이, "운동 중인 물체는 계속하여 움직이려는 경향이 있다". 따라서, 핸드헬드 장치 상의 버튼이 눌러질 때, 이는 그 경로에서 벗어나는 고주파 움직임을 생성한다. 움직임 벡터 및 필터링된 움직임 정보를 사용하여, 포인팅 장치로부터의 출력은 사용자-개시 이벤트 동안에 이전의 움직임 이력과 일관된 방식으로 계속될 수 있다. 이것은 처리 체인(processing chain)에 필터를 추가함으로써 달성될 수 있다. 필터는 사용자-개시 이벤트 동안에 및 그 후에 의도된 움직임을 허용하면서 이벤트 자체와 연관된 고주파 움직임을 배제하도록 설계되어 있다. 저역-통과 필터링 등의 많은 처리 방법이 고주파 성분의 제거를 가능하게 해주지만 지연 시간이 증가된다. 사용자에게 지연 시간(장치의 움직임과 포인터가 움직이는 때 사이의 시간)이 중요할 수 있기 때문에, 본 발명의 실시예는 (예를 들어, 사용자-이벤트를 사용자 인터페이스에 전달하기 위해 핸드헬드 장치에 의해 사용되는 동일 신호에 기초하여) 사용자-개시 이벤트가 검출될 때 신호 처리 경로로 전환되는 적응적 필터를 사용할 수 있다. 적응적 필터는 예리한 고주파 버튼 누름을 감쇠시키는 저역-통과 필터로서 구성되어 있다. 적응적 필터링 블록에의 부가적인 입력은 버튼이 완전하게 디바운스(debounce)되기 이전에 일어나는 선택적인 프리버튼 행동 경고(pre-button activity warning)이다. 프리버튼 행동 경고는 처리가 그렇지 않은 경우보다 더 빨리 버튼 이벤트를 통지받을 수 있게 해줌으로써 필터 지연시간 요건을 감소시킨다. 프리버튼 행동 경고를 갖는 적응적 필터는 의도된 움직임과 지연시간 간의 엔지니어링 절충을 최소화한다.

본 발명의 또 다른 실시예에 따르면, 3D 포인팅 장치의 설계자가 보통 설계 시에 바람직하지 않은 움직임의 방향을 알고 있기 때문에, 따라서 인간 공학 및 장치의 의도된 사용에 기초하여 움직임 섭동의 방향을 알게 된다. 예를 들어, 설계자는 장치에 대한 버튼 작동의 방향을 알고 있다. 주된 움직임은 버튼 이동 벡터에 평행한 선형 움직임 또는 사용자의 그립을 중심으로 한 토오크에 기인한 회전 움직임으로 이루어져 있다. 버튼 작동 움직임에 대한 지식을 포함하는 이러한 지식으로 방향 우선 필터(directional preference filter)의 구현이 가능하게 된다. 예를 들어, 필터 설계는 Kalman 필터 및 적응적 필터 등의 상태-공간 필터를 포함할 수 있다. 이러한 필터는 버튼 작동 동안에 기지의 방향의 의도된 경로로부터의 원하지 않은 이탈을 검출하고 이어서 버튼 작동 동안에 원하는 움직임 경로를 보간한다. 이러한 우선 필터링은 방향의 의도된 변경 동안에 더욱 민감한 포인터를 산출하면서 여전히 의도하지 않은 버튼 움직임을 제거한다. 당업자라면 상태-공간 필터가 통상의 사용 과정 동안에 설계 파라미터를 학습하도록 확장될 수 있다는 것을 잘 알 것이다.

본 발명의 실시예에 따른 사람 인자 처리 기능(916)은 상기한 기술들 중 하나 또는 모두를 구현할 수 있으며, 모두가 사용되는 경우, 기술들 간에 전환하기 위한 분류기(classifier)를 제공한다. 예를 들어, 제1의 정밀한 유형의 버튼 클릭이 검출되는 경우, 제1 기술이 사용될 수 있다. 제2의 덜 정밀한 유형의 버튼 클릭이 검출되는 경우, 제2 기술이 사용될 수 있다. 기술들 간의 전환을 위한 한 분류기는 버튼 작동 시의 또는 버튼 작동 바로 이전의 핸드헬드 장치의 속도를 사용할 수 있다. 예를 들어 (a) 핸드헬드 장치의 속도가 미리 정해진 속도 문턱값 아래에 있는 경우, 움직임 센서(들)에 의해 감지된 움직임이 핸드헬드 장치가 미리 정해진 거리 문턱값보다 더 움직였음을 나타내거나 미리 정해진 시간이 만료될 때까지, 검출된 이벤트 이후에 발생된 움직임 데이터를 폐기하는 제1 기술이 이용되며, 그렇지 않고 (b) 핸드헬드 장치의 속도가 미리 정해진 속도를 넘는 경우, 그 대신에 검출된 이벤트 이후에 발생된 움직임 데이터를 필터링하는 제2 기술이 이용된다.

상기 실시예들에서 언급된 버튼 클릭 또는 누름은 버튼 누름 및 버튼 놓음 모두를 포함하지만 이에 한정되는 것은 아니다. 상기 기술들 전부는 바람직하지 않은 움직임을 가져오는 임의의 공지된 장치 상호작용에 적용될 수 있으며, 버튼 클릭에 한정되지 않는다. 예를 들어, 상기 기술들은 스크롤 휠 작동, 터치 패드 사용, 또는 용량성 스트립(capacitive strip) 사용에 적용될 수 있다. 따라서, 본 발명의 실시예는 다른 이벤트의 활성화 또는 비활성화에 기초하여 일어나는 원치 않는 움직임을 취소시키는 방법 및 장치에 관해 기술하고 있다.

상기한 방법에 대한 파라미터는 이벤트에 대해 예상된 움직임 특성을 지원하도록 구성될 수 있다. 실시예에서, 버튼 누름에 대한 파라미터는 버튼 놓음에 대한 파라미터와 다를 수 있다. 움직임 취소 이외에, 사용자 인터페이스는 본 발명에 따라 사용자-이벤트 처리에 대한 부가적인 제약을 부과 또는 제안할 수 있다. 예를 들어, 마이크로소프트 Windows™ 운영 체제에서, 버튼이 눌러져 있는 동안 커서가 움직이면, "드래그" 동작이 개시된다. 따라서, 사용자에 의한 버튼 누름 동작에 응답한 움직임 데이터 처리와 연관된 파라미터는 원치 않는 드래그 이벤트를 방지하기 위해 버튼 작동 동안에 포인터 움직임을 제한하는 경향이 있는 값을 가질 수 있다. 이와 반대로, 마이크로소프트 Windows™ 운영 체제에서 버튼 놓음 이후의 커서 움직임은 사용자 인터페이스에서의 객체에 거의 영향을 주지 않으며, 따라서 본 발명에 따른 예시적인 움직임 데이터 처리는 버튼 누름 이후의 움직임 데이터 처리와 연관된 대응하는 파라미터와 비교하여 포인터 움직임을 덜 제한하는 경향이 있는 파라미터(예를 들어, 시간 및/또는 거리 문턱값, 필터 계수, 기타)를 사용할 수 있다.

이 움직임은 원치 않는 버튼 움직임을 제거하는 것을 돕기 위해 다수의 서로 다른 방식으로 속도 또는 위치 영역에서 처리될 수 있다. 속도 영역에서의 간단한 필터링이 사용될 수 있다. 필터는 FIR 또는 IIR 필터일 수 있지만, 이들은 바람직하지 않을 정도의 처리 지연을 도입할 수 있다. 적응적 필터가 그다지 지연을 도입하지 않고 성공적으로 사용될 수 있다.

본 발명의 실시예들은 또한 Kalman 필터(또는 확장된 Kalman 필터)로서 구현될 수 있다. Kalman 필터는 가장 유망한 사용 시나리오(정지 상태 또는 움직이는 상태)를 선택할 수 있고 또 적절한 움직임을 적용할 수 있다. 동일한 결과를 위해 신경망이 사용될 수 있다. 따라서, 본 발명이 (a) 이벤트가 발생하였음을 검출하고, (b) 사용자의 의도된 움직임을 추론하며, (c) 핸드헬드 장치의 실제 움직임보다는 사용자의 의도된 움직임을 해석하는 방법을 더 제공한다는 것을 잘 알 것이다. 이 움직임은 6DOF 3D 영역 또는 매핑된 2DOF 포인팅 영역에서 있을 수 있다. 6DOF 3D 영역은 장치의 본체 좌표계 또는 사용자의 좌표계에서 있을 수 있다.

본 발명의 다른 실시예에 따르면, 사용자-개시 이벤트와 연관된 움직임이 모델링되고 움직임 센서(들)로부터 수집된 움직임 데이터에 기초하여 핸드헬드 장치로부터의 출력을 제공하는 운동 방정식에 명시적으로 포함될 수 있다. 보다 구체적으로는, 사용자-개시 이벤트의 버튼 누름 예를 사용하면, 버튼 누름에 의해 야기된 움직임이 버튼 누름 동작과 연관된 하나 이상의 예시적인 움직임 진폭 및 방향을 결정하기 위해 선험적으로 모델링될 수 있으며, 이어서 이들 값은 핸드헬드 장치의 메모리 유닛에 저장될 수 있다. 이어서, 버튼 누름이 검출될 때, 핸드헬드 장치의 처리부는 운동 방정식에서의 모델링된 움직임을 사용하여 출력이 버튼 누름과 연관된 움직임 센서(들)에 의해 검출된 움직임보다는 사용자의 의도된 움직임을 반영하도록 출력을 조정할 수 있다. 처리부는 다양한 서로 다른 방식으로 모델링된 값을 사용할 수 있다, 예를 들어 이들 값을 검출된 움직임 값으로부터 차감하거나, 특정의 사용자-개시 이벤트와 연관된 모델링된 값들에 기초하여 검출된 움직임 값들을 감쇠시키거나, 핸드헬드 장치의 출력과 연관된 시맨틱 맵(semantic map)을 조정하거나, 기타 등등을 할 수 있다.

따라서, 본 발명의 실시예가 텔레비전을 제어하는 것을 비롯한 다양한 용도의 핸드헬드 리모콘을 구현하는 혁신적인 방법을 기술하고 있다는 것을 알 수 있다. 이 장치는 또한 다른 응용을 위해, 예를 들어 퍼스널 컴퓨터 및 객체 제어에의 입력 장치로서 사용될 수 있다.

리모콘이 더 이상 버튼들의 소형 키보드(오늘날의 일반적인 IR 리모콘은 40개의 버튼을 가짐)를 닮을 필요가 없다. 오히려, 본 발명에 따른 리모콘 장치는 포인팅 동작이 버튼을 단순히 누르는 것 이상의 정보를 전달한다는 점에서 마우스와 아주 닮을 수 있다. 그 결과 장치 및 응용의 리모콘에 대한 훨씬 더 강력한 사용자 환경이 얻어진다. 마우스가 없는 오늘날의 PC를 생각해보면 오늘날의 TV 제어 환경이 된다. 이제 TV에 마우스와 유사한 기능을 추가하는 것을 생각해보면, 그 결과 엄청나게 개선된 사용자 경험이 얻어진다. 필요한 것은 포인팅은 물론 버튼 작동을 가능하게 해주는 무선 핸드헬드 장치가 전부이다. 본 발명은 단지 이러한 장치를 기술한 것이다. 이 설계의 종래의 리모콘에 대한 한 가지 이점은 사용자로 하여금 버튼 작동을 검출하는 것 이외에 화면 상에 커서를 위치시킬 수 있게 해준다는 것이다. 그 결과, 제스처 인식 이외에 화면-감지 버튼 및 컨트롤이 가능하게 된다. 그 결과 기능의 추가가 새로운 버튼의 추가를 필요로 하는 종래의 리모콘과 비교할 때 아주 강력하고 유연성있으며 확장가능한 사용자 인터페이스가 얻어진다. 본 발명의 실시예는 장치의 각속도를 측정하는 예를 들어 MEMS-기반 회전 센서를 이용하는 핸드헬드 리모콘 장치를 사용하여 이들 기능을 제공한다. 게다가, 실시예는 의도하지 않은 움직임을 제거하기 위해 본체 좌표계 조정, 캘리브레이션 및 사후-처리를 제공한다. 그 결과 종래의 핸드헬드 리모콘 장치보다 성능이 더 좋고, 더 저렴하며, 더 작은 완전히 독자적인 구현이 얻어진다.

이들 예시적인 기술은 회전 각속도 및 선가속도를 측정하기 위해 MEMS 센서를 사용한다. 이어서, 원시 표시값을 조정 및 스케일링하기 위해 정지 검출과 함께 캘리브레이션이 사용된다. 선가속도 표시값은 이어서 적분되어 핸드헬드 본체 좌표계의 배향을 결정하는 데 사용된다. 이 배향 데이터는 이어서 회전 속도 표시값을 적절한 좌표계로 매핑하는 데 사용된다. 최종 단계는 사람 떨림과 같은 의도하지 않은 움직임이 필터링 제거되도록 모든 움직임의 표시값이 사후 처리되는 것이다.

본 발명의 실시예에 따른 데이터 처리 시스템 및 방법은 메모리 장치에 포함된 명령어 시퀀스를 실행하는 하나 이상의 프로세서에 의해 수행될 수 있다. 이러한 명령어는 2차 데이터 저장 장치(들) 등의 다른 컴퓨터 판독가능 매체로부터 메모리 장치로 판독될 수 있다. 메모리 장치에 포함된 명령어 시퀀스의 실행은 프로세서로 하여금 예를 들어 상기한 바와 같이 동작하게 한다. 대체 실시예에서, 본 발명을 구현하기 위해 소프트웨어 명령어 대신에 또는 그와 함께 하드와이어 회로가 사용될 수 있다.

상기일 실시예들은 모든 점에서 본 발명을 제한하는 것이 아니라 예시하는 것으로 보아야 한다. 따라서, 본 발명은 당업자에 의해 상세한 구현에서 본 명세서에 포함된 설명으로부터 도출될 수 있는 많은 변형이 이루어질 수 있다. 예를 들어, 상기일 실시예들이 그 중에서도 특히 장치의 움직임을 검출하는 데 관성 센서를 사용하는 것에 대해 기술하고 있지만, 다른 유형의 센서(예를 들어, 초음파, 자기 또는 광학)가 상기한 신호 처리와 관련하여 관성 센서 대신에 또는 그에 부가하여 사용될 수 있다. 모든 이러한 변형 및 수정은 이하의 청구 범위에 의해 정의되는 본 발명의 범위 및 정신에 속하는 것으로 간주된다. 본 출원의 설명에서 사용된 구성요소, 동작 또는 명령어는 그 자체로서 명시적으로 기술되어 있지 않는 한 중요하거나 필수적인 것으로 해석되어서는 안된다. 또한, 본 명세서에서 사용되는 바와 같이, 단수 관형사는 하나 이상의 항목을 포함하는 것으로 보아야 한다.

첨부 도면은 본 발명의 실시예들을 나타낸 것이다.

도 1은 오락 시스템에 대한 종래의 리모콘 유닛을 나타낸 도면.

도 2는 본 발명의 실시예들에 구현될 수 있는 예시적인 미디어 시스템을 나타낸 도면.

도 3은 본 발명의 실시예에 따른 3D 포인팅 장치를 나타낸 도면.

도 4는 2개의 회전 센서 및 하나의 가속도계를 포함하는 도 3의 3D 포인팅 장치의 절단면도.

도 5는 본 발명의 실시예에 따른 3D 포인팅 장치와 연관된 데이터의 처리를 나타낸 블록도.

도 6a 내지 도 6d는 틸트의 효과를 나타낸 도면.

도 7은 본 발명의 실시예에 따른 3D 포인팅 장치의 하드웨어 아키텍처를 나타낸 도면.

도 8은 본 발명의 실시예에 따른 정지 검출 메카니즘(stationary detection mechanism)을 나타낸 상태도.

도 9는 본 발명의 실시예에 따른, 핸드헬드 장치의 검출된 손 떨림에 기초하여 사용자를 식별하는 방법을 나타낸 플로우차트.

도 10a 내지 도 10d는 본 발명의 실시예에 따른, 손 떨림에 기초하여 사용자를 식별하는 예시적인 방법 및 장치의 테스트의 일부로서 수집된 주파수 영역 떨림 데이터를 그래프로 나타낸 도면.

도 11은 본 발명의 실시예에 따른, 손 떨림에 기초하여 사용자를 식별하는 방법과 연관된 고유값을 그래프로 나타낸 도면.

도 12는 본 발명의 실시예에 따른, 손 떨림에 기초하여 사용자를 식별하는 예시적인 방법과 연관된 클래스 분리 결과를 나타낸 그래프.

도 13은 본 발명의 실시예에 따른, 감지된 움직임 데이터의 제1 좌표계로부터 제2 좌표계로의 변환을 나타낸 블록도.

도 14는 본 발명의 실시예에 따른, 감지된 움직임 데이터의 제1 좌표계로부터 제2 좌표계로의 변환을 그래픽으로 나타낸 도면.

도 15는 본 발명의 실시예에 따른, 검출된 움직임으로부터 의도하지 않은 움직임을 제거하는 시스템을 나타낸 블록도.

도 16은 미세한 버튼 클릭 및 조악한 버튼 클릭과 연관되어 있는 검출된 움직임의 여러가지 예를 나타낸 도면.

Claims

시스템을 제어하는 방법으로서,

장치와 연관된 움직임을 검출하는 단계;

상기 움직임이 상기 장치가 현재 사용자에 의해 잡혀 있음을 나타내는지 여부를 판정하는 단계;

상기 판정하는 단계의 결과에 기초하여 상기 시스템을 제어하는 단계; 및

상기 움직임과 연관된 떨림 패턴(tremor pattern)에 기초하여 상기 사용자를 식별하는 단계

를 포함하는 방법.
삭제
제1항에 있어서,

상기 식별하는 단계에 기초하여 상기 시스템을 선택적으로 턴온(turning on)하는 단계

를 더 포함하는 방법.
제1항에 있어서,

상기 장치가 현재 사용자에 의해 잡혀 있는 경우, 상기 시스템을 턴온하는 단계

를 더 포함하는 방법.
제1항에 있어서,

상기 사용자의 신원(identity)에 기초하여 상기 시스템에 대한 액세스를 제한하는 단계

를 더 포함하는 방법.
제5항에 있어서,

상기 시스템은 미디어 시스템이고, 상기 액세스를 제한하는 단계는 상기 사용자가 미디어 항목을 액세스하는 것을 상기 신원에 기초하여 선택적으로 허용하는 단계를 더 포함하는, 방법.
제1항에 있어서,

상기 떨림 패턴을 복수의 저장된 떨림 패턴들과 비교함으로써 상기 사용자의 신원을 판정하는 단계

를 더 포함하는 방법.
제7항에 있어서,

상기 떨림 패턴 및 상기 복수의 저장된 떨림 패턴들은 주파수 영역에 있는, 방법.
제7항에 있어서,

상기 떨림 패턴 및 상기 복수의 저장된 떨림 패턴들은 시간 영역에 있는, 방법.
제7항에 있어서,

상기 떨림 패턴과 상기 복수의 저장된 떨림 패턴들 사이의 매치(match)가 이루어지지 않는 경우, 상기 떨림 패턴이 저장되는, 방법.
제7항에 있어서,

상기 떨림 패턴과 상기 복수의 저장된 떨림 패턴들 사이의 매치가 이루어지지 않는 경우, 상기 사용자에게는 시스템 액세스 권한들의 디폴트(default) 세트가 할당되는, 방법.
제1항에 있어서,

상기 식별하는 단계에 응답하여 상기 사용자와 연관된 선호 세팅(preference setting)들을 검색(retrieving)하는 단계

를 더 포함하는 방법.
핸드헬드 포인팅 장치로서,

제1 축에 대한 상기 포인팅 장치의 회전을 판정하고 그와 연관된 제1 회전 출력을 발생시키는 제1 회전 센서;

제2 축에 대한 상기 포인팅 장치의 회전을 판정하고 그와 연관된 제2 회전 출력을 발생시키는 제2 회전 센서;

상기 포인팅 장치의 가속도를 판정하고 그와 연관된 가속도 출력을 출력하는 가속도계; 및

상기 제1 회전 출력, 상기 제2 회전 출력 및 상기 가속도 출력을 수신하는 처리부

를 포함하고,

상기 처리부는,

(a) 훈련 기간(training period) 동안 복수의 손 떨림 클래스들을 확립하고 - 상기 복수의 손 떨림 클래스들 각각은, 사용자가 의도적인 움직임 없이 상기 포인팅 장치를 잡고 있는 동안, 상기 제1 회전 출력, 상기 제2 회전 출력 및 상기 가속도 출력 중 적어도 하나로부터 도출된 훈련 데이터를 처리함으로써, 상기 사용자와 연관됨 -,

(b) 상기 훈련 기간 이후에, 현재 제1 회전 출력, 현재 제2 회전 출력 및 현재 가속도 출력 중 적어도 하나로부터 도출된 데이터를 상기 훈련 기간 동안 확립된 상기 복수의 손 떨림 클래스들과 비교함으로써, 상기 포인팅 장치의 현재 사용자의 신원을 판정하는,

포인팅 장치.
제13항에 있어서,

상기 제1 회전 센서는 제1 프레임에 부착된 제1 공진 질량을 더 포함하고,

상기 제1 회전 센서 내의 상기 제1 공진 질량은 상기 제1 축을 따라 공진하며, 상기 제1 회전 출력을 발생시키기 위해 코리올리 가속도 효과(Coriolis acceleration effect)를 사용하여 상기 제1 회전 센서에 의해 상기 제1 축을 따라 상기 제1 공진 질량의 변위가 측정되는, 포인팅 장치.
제14항에 있어서,

상기 제2 회전 센서는 제2 프레임에 부착된 제2 공진 질량을 더 포함하고,

상기 제2 회전 센서 내의 상기 제2 공진 질량은 상기 제2 축을 따라 공진하며, 상기 제2 회전 출력을 발생시키기 위해 코리올리 가속도 효과를 사용하여 상기 제2 회전 센서에 의해 상기 제2 축을 따라 상기 제2 공진 질량의 변위가 측정되는, 포인팅 장치.
핸드헬드 장치로서,

상기 핸드헬드 장치의 움직임과 연관된 데이터를 생성할 수 있는 적어도 하나의 움직임 센서(motion sensor);

상기 움직임 데이터에 기초하여 손 떨림 데이터를 검출하고 상기 손 떨림 데이터에 기초하여 사용자를 식별하는 처리부

를 포함하고,

상기 처리부는 상기 사용자를 식별하기 위해 상이한 사용자들의 손 떨림들을 구분하도록 구성된 패턴 인식 기술을 수행하는, 핸드헬드 장치.
제16항에 있어서,

상기 적어도 하나의 움직임 센서는 회전 센서, 자이로스코프, 가속도계, 관성 센서, 자기 센서, 광학 센서 및 카메라 중 적어도 하나를 포함하는, 핸드헬드 장치.
제16항에 있어서,

상기 처리부는 주파수 영역에서 상기 손 떨림 데이터를 검출하는, 핸드헬드 장치.
제16항에 있어서,

상기 처리부는 시간 영역에서 상기 손 떨림 데이터를 검출하는, 핸드헬드 장치.
제16항에 있어서,

상기 처리부는, 의도적인 움직임 없이 상기 핸드헬드 장치를 잡고 있는 상이한 사용자들과 연관된 데이터가 기록 및 처리되는 훈련 동작을 수행하는, 핸드헬드 장치.
제16항에 있어서,

상기 핸드헬드 장치는 3D 포인팅 장치인, 핸드헬드 장치.
제16항에 있어서,

상기 패턴 인식 기술은 현재의 떨림 패턴을 메모리에 저장된 떨림 패턴들과 비교하는 것과 관련되는, 핸드헬드 장치.
손 떨림을 입력으로서 사용하는 핸드헬드 장치를 동작시키는 방법으로서,

(a) 훈련 기간 동안 복수의 사용자들 각각이 상기 핸드헬드 장치를 잡게 함으로써 상기 핸드헬드 장치를 훈련하는 단계;

(b) 각각의 훈련 기간 동안 상기 핸드헬드 장치의 움직임을 검출하는 단계;

(c) 상기 훈련 기간들에 기초하여, 각각의 훈련 기간 동안에 상기 검출된 움직임으로부터 도출된 데이터를 처리함으로써 복수의 손 떨림 클래스들을 확립하는 단계 - 상기 복수의 손 떨림 클래스들의 각각은 상기 복수의 사용자들 중 하나와 연관됨-; 및

(d) 상기 훈련 기간 이후에, 상기 핸드헬드 장치의 현재 움직임으로부터 도출된 데이터를 상기 복수의 손 떨림 클래스들과 비교함으로써, 상기 핸드헬드 장치의 현재 사용자의 신원을 판정하는 단계

를 포함하는 방법.
제23항에 있어서,

상기 훈련 기간은 상기 복수의 사용자들 사이에서 가변적인, 방법.
제23항에 있어서,

상기 사용자들은 상기 훈련 기간들 동안 의도적인 움직임 없이 상기 핸드헬드 장치를 잡고 있는, 방법.
제23항에 있어서,

상기 사용자들은 상기 훈련 기간들 동안 상기 핸드헬드 장치를 의도적으로 움직이는, 방법.
제23항에 있어서,

상기 훈련 기간 동안, 상기 사용자의 신원정보(identification)를 상기 핸드헬드 장치와 연관된 사용자 인터페이스에 입력하는 단계; 및

상기 신원정보를 해당 손 떨림 클래스와 연관시키는 단계

를 더 포함하는 방법.