KR101929595B1 - 상-하-좌-우 모드 스위칭 및 통합형 스윕 검출기를 구비한 3d 포인팅 장치 - Google Patents

상-하-좌-우 모드 스위칭 및 통합형 스윕 검출기를 구비한 3d 포인팅 장치 Download PDF

Info

Publication number
KR101929595B1
KR101929595B1 KR1020137016357A KR20137016357A KR101929595B1 KR 101929595 B1 KR101929595 B1 KR 101929595B1 KR 1020137016357 A KR1020137016357 A KR 1020137016357A KR 20137016357 A KR20137016357 A KR 20137016357A KR 101929595 B1 KR101929595 B1 KR 101929595B1
Authority
KR
South Korea
Prior art keywords
remote control
command
delete delete
control device
udlr
Prior art date
Application number
KR1020137016357A
Other languages
English (en)
Other versions
KR20140020841A (ko
Inventor
다니엘 에스. 심킨스
조셉 타이넌
Original Assignee
아이디에이치엘 홀딩스, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아이디에이치엘 홀딩스, 인크. filed Critical 아이디에이치엘 홀딩스, 인크.
Publication of KR20140020841A publication Critical patent/KR20140020841A/ko
Application granted granted Critical
Publication of KR101929595B1 publication Critical patent/KR101929595B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4221—Dedicated function buttons, e.g. for the control of an EPG, subtitles, aspect ratio, picture-in-picture or teletext
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

컨텐츠 전달 시스템과 함께 사용하기 위한 3D 포인팅 장치가 제공된다. 포인팅 장치는, 첫번째인 3D 또는 스크롤링 모드, 그리고 두번째인 상-하-좌-우(UDLR) 모드라고도 칭할 수 있는 비-3D 모드의 두 모드 중 적어도 하나의 모드에서 동작할 수 있다. 포인팅 장치는 배향 및 움직임 정보를 제공하는 하나 이상의 방향 센서를 포함할 수 있다. 적어도 두 모드 중 하나에 대하여, 광학적 핑거 네비게이션 모듈로서, 그 스크린을 가로지른 유저의 손가락 또는 오브젝트의 움직임을 검출할 수 있으며, 당해 OFN 모듈로부터 움직임 정보가 생성되기 전에 넘어서야할 미리 규정된 스레시홀드를 제공하는 광학적 핑거 네비게이션 모듈이 제공된다. 상기 포인팅 장치는, 상기 OFN 모듈뿐만 아니라, 배향 및 움직임 센서로부터의 정보에 기초하여 스크롤 커맨드 및 UDLR 커맨드를 생성할 수 있거나, 컨텐츠 전달 시스템에 의한 사용을 위해 적절한 스크롤링 커맨드 또는 UDLR 커맨드를 생성할 수 있는, 상기 배향 및 움직임 센서로부터의 정보를 유저 인터페이스에 대해 제공할 수 있다.

Description

상-하-좌-우 모드 스위칭 및 통합형 스윕 검출기를 구비한 3D 포인팅 장치 {3D POINTING DEVICE WITH UP-DOWN-LEFT-RIGHT MODE SWITCHING AND INTEGRATED SWIPE DETECTOR}
본 발명은, 2010년 11월 22일 출원된 "Daniel S. Simpkins"에 의한 발명의 명칭이 "상-하-좌-우 모드 스위칭"인 미국 가특허 출원 제61/416,025호, 및 2010년 12월 28일 출원된 "Daniel S. Simpkins"과 "Joseph Tanen"에 의한 발명의 명칭이 "상-하-좌-우 모드 스위칭을 구비한 3D 포인팅 장치"인 미국 가특허 출원 제61/427,562호와 관련하며 이들 출원에 대한 우선권을 주장하고, 상기 두 출원의 개시는 본원에 참조로서 포함된다.
본 발명은, 다른 유형의 장치에서뿐만 아니라, 3차원(3D) 포인팅 장치에서 사용될 수 있는 모드 스위칭 기술, 장치, 시스템 및 소프트웨어를 설명한다.
지난 수십년에 걸쳐 정보의 통신과 관련된 기술이 급속하게 진화되어 왔다. (몇몇의 통신 모드를 언급하자면) 텔레비전, 휴대 전화, 인터넷 및 광 통신 기술이 결합되어 소비자에게 이용가능한 정보 및 엔터테인먼트 옵션을 공급하고 있다. 텔레비전을 예로 들자면, 지난 30년은 케이블 텔레비전 서비스, 위성 텔레비전 서비스, 편당 지불 영화 및 비디오-온-디맨드가 출현하였으며, 후자의 양방 모두가, 인터넷(예컨대 Netflix®) 상에서뿐만 아니라, 케이블, 광섬유 및 위성 서비스 공급자에 의해 이용가능하게 되어 있다. 1960년대의 텔레비전 시청자는 4개 혹은 다섯 개의 공중파 TV 채널을 그들의 텔레비전 수상기에서 통상적으로 수신할 수 있었던 반면에, 오늘날의 TV 시청자들은 수백, 수천 그리고 잠재적으로 수백만 편의 쇼 및 정보의 채널을 선택할 수 있는 기회를 갖는다. 주로 호텔 등에서 현재 사용되고 있는 비디오-온-디맨드 기술은, 수천 편의 영화 타이틀 중에서 가정 내 엔터테인먼트를 선택할 수 있는 가능성을 제공하고 있다.
엔드 유저에게 이처럼 많은 정보와 컨텐츠를 제공하는 기술적 능력은 시스템 설계자 및 서비스 제공자에게 기회와 과제 양방 모두를 제공한다. 엔드 유저는 통상적으로 적은 것보다는 보다 많은 선택을 갖는 것을 선호하는데, 이 선호는, 그 선택 프로세스가 신속하고도 단순해야 한다는 그들의 욕구에 의해 평형력적으로 작용된다는 것이 하나의 과제이다. 불운하게도, 엔드 유저가 미디어 아이템에 액세스하는데 이용하는 시스템 및 인터페이스의 개발은, 빠르지도 않고 또한 단순하지도 않은 선택 프로세스를 초래하여 왔다. 텔레비전 프로그램의 예를 다시 생각한다. 텔레비전이 그 초창기에 있었을 때, 어떤 프로그램을 시청할 것인지를 결정하는 일은, 주로, 선택의 수가 적었기 때문에 비교적 단순한 프로세스였다. 시청자는, (1) 인근의 텔레비전 채널, (2) 그러한 채널에서 전송되는 프로그램 및 (3) 날짜와 시간 사이의 대응을 보여주었던, 예컨대 일련의 행과 열 등으로 포맷화된 인쇄된 가이드를 참고하곤 하였다. 튜너 놉(knob)을 조정함으로써 텔레비전을 원하는 채널로 맞추었으며 시청자는 선택된 프로그램을 시청하였다. 나중에는, 시청자가 멀리서 텔레비전의 채널을 맞출 수 있도록 허용한 리모트 컨트롤 장치가 소개되었다. 텔레비전 이용자 인터페이스에 대한 이 추가는, "채널 서핑"으로 알려진 현상을 만들었으며, 이에 의해 시청자는 얼마간의 채널에서 방송 중인 짧은 세그먼트를 신속하게 보고서 소정의 시간에 무슨 프로그램을 시청할 수 있는지를 빨리 알 수 있었다.
채널의 수와 시청가능한 컨텐츠의 량이 극적으로 증가하여 왔다는 사실에도 불구하고, 텔레비전에 있어서의 일반적으로 이용가능한 유저 인터페이스, 컨트롤 장치 옵션 및 프레임워크는 과거 30년에 걸쳐 많이 변화되지 않았다. 인쇄된 가이드, 및 가이드 채널 상의 그들의 표시된 대응물은, 여전히 프로그래밍 정보를 전달하기 위한 가장 널리 퍼진 메커니즘이다. 도 1에 일례가 도시된, 상(102), 하(104), 좌(106) 및 우(108) 화살표들을 가진 복수 버튼의 리모트 컨트롤(100)은, 여전히 가장 널리 퍼진 채널/컨텐츠 네비게이션 메커니즘이다. 이용가능한 미디어 컨텐츠의 증가에 대한, TV 유저 인터페이스를 설계하고 실현하는 이들의 반응은, 기존의 선택 절차 및 인터페이스 오브젝트의 간단한 확장이었다. 따라서, 인쇄된 가이드의 열의 수는 보다 많은 채널을 수용하도록 증가되어왔다. 리모트 컨트롤 장치상의 버튼의 수는 추가적인 기능 및 컨텐츠 취급을 지원하도록 증가되어왔다. 그러나, 이러한 접근은 시청자가 이용가능한 정보를 검토하는데 요구되는 시간과 선택을 행하기 위해 요구되는 행동의 복잡성 양방 모두를 현저히 증가시켰다. 예를 들어, 수백개의 채널을 지원하는 큰 격자망의 가이드에 있어서는, 그 격자망 가이드를 탐색하여 컨텐츠를 선택하기 위해 유저는 50 또는 100번의 상-하-좌-우 버튼 누름을 행할 수도 있다. 주장하건대, 소비자는 이미 너무 느리며 복잡한 것으로 보고 있는 인터페이스에 대해 복잡함을 더할 새로운 서비스에 대해 저항적이므로, 기존의 인터페이스의 다루기 힘든 성격은, 예컨대 비디오-온-디맨드 등의 일부 서비스의 상업적 실시를 방해하여 왔다.
엔드 유저와 미디어 시스템 사이의 스크린 인터페이스를 현대화하려는 몇몇 시도도 있어왔다. 그러나, 이들 시도는 전형적으로는 다른 어떤 결함들보다도 큰 더미의 미디어 아이템과 작은 더미의 미디어 아이템 사이에서 용이하게 스케일(scale)하는 것의 불능으로부터 곤란을 겪는다. 예를 들어, 아이템의 리스트에 의존하는 인터페이스는 작은 더미의 미디어 아이템에 대해 양호하게 동작할 것이지만, 큰 더미의 미디어 아이템에 대해서는 훑어보기가 지루하다. 계층적 네비게이션(예컨대, 트리 구조)에 의존하는 인터페이스는, 큰 더미의 미디어 아이템에 있어서 리스트 인터페이스보다 가로지르기가 보다 빠를 수 있지만, 작은 더미의 미디어 아이템에 대해서는 손쉽게 적용할 수 없다. 추가적으로, 유저는, 트리 구조에서 3개 이상의 층을 거쳐 이동해야 하면, 선택 프로세스에 있어서 흥미를 잃는 경향이 있다. 이들 모든 경우에 있어서, 현재의 리모트 유닛은, 상 및 하 버튼을 반복적으로 눌러서 리스트 또는 계층을 항해하도록 유저에게 강요함으로써, 이 선택 프로세스를 보다 지루하게 만든다. 페이지-업 및 페이지-다운 등의 선택 스킵핑 컨트롤이 이용가능할 경우, 유저는 리모트를 쳐다보아서 이들 특별한 버튼을 찾거나 훈련되어서 심지어 그들이 존재함을 알아야 한다.
이에 따라, 선택 프로세스를 가속화함과 함께, 유저와 미디어 시스템간의 스크린 인터페이스 및 컨트롤을 단순화하는 프레임워크, 기술 및 시스템을 조직화하고, 동시에 유저에 대한 다수의 미디어 아이템 및 새로운 서비스의 공급을 촉진함으로써 서비스 제공자가 엔드 유저 장비에 대해 이용가능한 대역폭에 있어서의 증가의 이점을 취하도록 허용하는 것이 2004년 1월 30일에 "A Control Framework with a Zoomable Graphical User Interface for Organizing, Selecting and Launching Media Items"란 발명의 명칭으로 출원되었으며, 그 개시가 본원에 참조로서 포함되어 있는, 양수인의 과거 미국 특허 출원 제10/768,432호에서 제안되었다.
본 명세서에서 특히 관심있는 바는, 다른 애플리케이션 및 시스템과 함께, 그러한 프레임워크와 상호작용하도록 사용가능한 리모트 장치이다. 위의 본원에 포함된 출원에서 언급된 바와 같이, 예컨대 트랙볼, "마우스" 타입의 포인팅 장치, 라이트 펜 등을 포함하여 각종의 상이한 유형의 리모트 장치가 이러한 프레임워크와 함께 사용될 수 있다. 그러나, 그러한 프레임워크(및 다른 애플리케이션)와 함께 사용될 수 있는 또 다른 카테고리의 리모트 장치가 3D 포인팅 장치이다. "3D 포인팅"이란 표현은, 본 명세서에서, 예컨대 디스플레이 스크린 등의 앞의 공간에서 3(또는 그보다 많은) 차원에서 이동하는 입력 장치의 능력, 및 예컨대 디스플레이 스크린상의 커서의 움직임 등의 유저 인터페이스 커맨드로 그들 모션을 직접적으로 변환하는 유저 인터페이스의 대응하는 능력을 일컫는데 사용된다. 3D 포인팅 장치 사이의 데이터 전송은 무선으로 또는 3D 포인팅 장치를 다른 장치에 연결하는 와이어를 통해 행해진다. 따라서, "3D 포인팅"은, 마우스의 상대적인 움직임이 컴퓨터 디스플레이 스크린상의 커서 움직임으로 변환되는 프록시(proxy) 표면으로서, 예컨대 책상 표면이나 마우스 패드를 사용하는 예컨대 종래의 컴퓨터 마우스 포인팅 기술과는 상이하다. "Matthew G. Liberty"에게 허여되었으며 그 개시가 본원에 참조로서 포함되어 있는 양수인의 미국 특허 제7,118,518호(이후 '518 특허라고 함)에서 3D 포인팅 장치의 일례를 찾을 수 있다.
'518 특허는 예컨대 하나 또는 복수의 회전 센서와 하나의 가속도계를 포함하는 3D 포인팅 장치를 기재하고 있다. 아래에 보다 상세히 기재된 바와 같이, 유저에 의해 3D 포인팅 장치가 회전되고 있는 각속도를 검출하기 위해 회전 센서(들)이 사용되고, 이 정보는 유저 인터페이스에 전달되고, 유저 인터페이스에서 이 정보는 예컨대 커서 움직임을 제어하는 것 등에 이용될 수 있다. 이러한 3D 포인팅 장치는, 예컨대, 유저가 표시되는 유저 인터페이스 또는 스크린상의 임의의 포인트나 영역에 대해 직접적으로, 재빨리 그리고 무작위적으로 액세스하는 것을 허용함으로써, 유저가 상-하-좌-우(UDLR) 리모트 컨트롤 장치(100)의 구속조건으로부터 해방되는 것을 보여주었다.
그러나, 3D 포인팅의 정립된 혜택에도 불구하고, 이 새로운 기술과 함께 제시되는 문제는, 예컨대 텔레비전상의 미디어 선택 등 유저 인터페이스 오브젝트를 선택하기 위해 UDLR 입력을 기대하는 레거시 애플리케이션이나 시스템의 취급 방법이다. 3D 포인팅이 여러 측면에서 우월한 유저 경험을 제공함에도 불구하고, UDLR 입력을 기대하도록 설계되어 왔던 다수의 장치 및 애플리케이션을 고려해볼 때, 3D 포인팅 (그 자체로는) 이러한 레거시 시스템들에 대한 충분한 지원을 제공할 수 없다. 그러나, 아마도 더 현저한 중요성은, 예컨대 셋탑 박스(STB) 및 텔레비전 조작을 위한 코드 베이스는 너무 커서, 레거시(UDLR) 스타일 네비게이션이 새로운 3D 포인팅 스타일 네비게이션과 공존해야만 하는 실질적인 이행 기간이 계획되어야 한다는 것이다. 하나의 장치 내에 양방의 제어 형태를 실현하며, 양 타입의 성능을 절충함이 없이, 상이한 애플리케이션 또는 심지어 상이한 스크린 간에 제어의 모드를 변경할 수 있는 새로운 장치(즉, 새로운 3D 포인터)는, 레거시 UDLR-형태의 네비게이션으로부터 포인팅 형태의 네비게이션으로의 쉽고, 우아하고 또한 간단한 이행 경로를 제공한다.
그러므로, 위에 기재된 유형의 문제를 경감하거나 최소화하는 3D 포인터 장치를 제공하는 것이 본 발명의 일반적인 양태이다.
본 발명의 제1 양태에 따르면, 리모트 컨트롤 장치의 단일의 컨트롤 엘리먼트를 사용하여 스크롤 커맨드 또는 상-하-좌-우(UDLR) 커맨드 중 하나를 생성하는 방법으로서, 상기 리모트 컨트롤 장치의 상기 단일의 컨트롤 엘리먼트의 표면을 가로지른 오브젝트의 움직임을 검출하는 단계, 검출된 상기 움직임의 방향 및 상기 방향으로의 검출된 상기 움직임의 거리를 결정하는 단계, 스크롤 모드일 경우, 상기 방향 및 검출된 상기 움직임의 거리에 기초하여 스크롤 커맨드를 생성하는 단계, 및 UDLR 모드일 경우, 상기 거리가 상기 방향으로 미리 결정된 거리 스레시홀드를 초과할 경우 UDLR 커맨드를 생성하는 단계를 포함하는 방법이 제공된다.
본 발명의 제2 양태에 따르면, 리모트 컨트롤 장치의 단일의 컨트롤 엘리먼트를 사용하여 스크롤 커맨드 또는 상-하-좌-우(UDLR) 커맨드 중 하나를 생성하는 방법으로서, 상기 리모트 컨트롤 장치의 상기 단일의 컨트롤 엘리먼트의 표면을 가로지른 오브젝트의 움직임을 검출하는 단계, 스크롤 모드일 경우, 검출된 상기 움직임에 응답하는 스크롤 커맨드를 생성하는 단계, 및 UDLR 모드일 경우, UDLR 커맨드를 생성하는 단계를 포함하는 방법이 제공된다.
본 발명의 제3 양태에 따르면, 리모트 컨트롤 장치의 단일의 컨트롤 엘리먼트를 사용하여 스크롤 커맨드 또는 상-하-좌-우(UDLR) 커맨드 중 하나를 생성하는 방법으로서, 복수의 상이한 방향 중 한 방향에 있어서의 오브젝트의 모션을 나타내는 상기 단일의 컨트롤 엘리먼트로부터의 데이터를 수신하는 단계, 및 수신된 상기 데이터 및 상기 리모트 컨트롤 장치의 동작의 모드에 기초하여 상기 스크롤 커맨드 또는 상기 UDLR 커맨드 중 하나를 생성하는 단계를 포함하는 방법이 제공된다.
본 발명의 제4 양태에 따르면, 리모트 컨트롤 장치로서, 하우징, 상기 하우징 내에 적어도 부분적으로 배치된 적어도 하나의 센서로서, 상기 리모트 컨트롤 장치의 모션을 검출하여 검출된 상기 모션과 관련된 제1 데이터를 생성하도록 구성되는 상기 적어도 하나의 센서, 상기 하우징의 상측 표면에 배치되고, 렌즈의 표면을 가로지른 오브젝트의 움직임을 검출하여 검출된 상기 움직임과 관련된 제2 데이터를 생성하도록 구성되는 광학적 핑거 네비게이션(OFN) 모듈, 3D 포인팅 모드로부터 비-3D 포인팅 모드로 상기 리모트 컨트롤 장치를 전환(switch)하도록 구성된 유저 입력 컨트롤 엘리먼트, 및 상기 제1 데이터 및 상기 제2 데이터를 수신하도록 구성되고, 또한 상기 3D 포인팅 모드일 경우에, 상기 제1 데이터와 관련된 정보를 전송하고, 상기 제2 데이터에 기초한 스크롤 커맨드를 전송하게끔 동작하도록 더 구성되고, 또한 상기 비-3D 포인팅 모드일 경우, 상기 제2 데이터에 기초한 상-하-좌-우(UDLR) 커맨드를 송신하게끔 동작하도록 더 구성되는 프로세서를 포함하는 리모트 컨트롤 장치가 제공된다.
본 발명의 제5 양태에 따르면, 리모트 컨트롤 장치로서, 광학적 핑거 네비게이션(OFN) 모듈로서, 상기 OFN 모듈의 표면을 가로지른 오브젝트의 움직임을 검출하여 검출된 상기 움직임과 관련된 데이터를 생성하도록 구성되는 광학적 핑거 네비게이션(OFN) 모듈, 및 상기 데이터를 수신하여 상기 데이터에 기초한 커맨드를 전송하도록 구성되는 프로세서를 포함하고, 상기 프로세서는 스크롤 모드 또는 상-하-좌-우(UDLR) 모드 중 하나에서 동작하도록 구성되어, 상기 스크롤 모드일 때, 상기 프로세서는 상기 데이터에 기초한 스크롤 커맨드를 생성하고, 상기 UDLR 모드일 때, 상기 프로세서는 상기 데이터에 기초한 UDLR 커맨드를 생성하는 리모트 컨트롤 장치가 제공된다.
본 발명의 제6 양태에 따르면, 시스템으로서, 수신된 유저 입력에 적어도 부분적으로 기초하여 유저 인터페이스를 생성하고 제어하도록 구성된 유저 인터페이스 컨트롤링 장치를 포함하고, 상기 유저 인터페이스 컨트롤링 장치는, 제1 모드에서, 스크롤 커맨드로서 해석되며, 제2 모드에서, 상-하-좌-우(UDLR) 커맨드로서 해석되는 입력을 수신하도록 더 구성된 시스템이 제공된다.
본 발명의 제7 양태에 따르면, 컨텐츠 제공 장치의 동작을 컨트롤링하기 위한 시스템으로서, 리모트 컨트롤 장치를 포함하고, 상기 리모트 컨트롤 장치는, 하우징, 상기 하우징 내에 적어도 부분적으로 배치된 적어도 2개의 센서로서, 상기 적어도 2개의 센서 중 제1 센서는 제1 모션 평면에서의 상기 리모트 컨트롤 장치의 모션을 검출하여 상기 제1 모션 평면에서의 검출된 상기 모션과 관련된 제1 데이터를 생성하도록 구성되고, 상기 적어도 2개의 센서 중 제2 센서는 제2 모션 평면에서의 상기 리모트 컨트롤 장치의 모션을 검출하여 상기 제2 모션 평면에서의 검출된 상기 모션과 관련된 제2 데이터를 생성하도록 구성되고, 상기 하우징의 제1 표면 상에 배치된 광학적 핑거 네비게이션(OFN)모듈로서, 렌즈의 표면을 가로지른 오브젝트의 움직임을 검출하여 검출된 상기 움직임과 관련된 제3 데이터를 생성하도록 구성되고, 또한 검출된 상기 모션은 검출된 상기 모션의 방향에 관한 정보를 포함하고, 또한, 검출된 상기 모션은 검출된 상기 모션이 미리 결정된 스레시홀드를 넘어가는 지에 관한 정보를 포함하고, 유저 입력 컨트롤 엘리먼트는 3D 포인팅 모드로부터 비-3D 포인팅 모드로 상기 리모트 컨트롤 장치를 전환하도록 구성되고, 상기 제1 데이터, 상기 제2 데이터 및 상기 제3 데이터를 수신하도록 구성되고, 또한 상기 3D 포인팅 모드인 경우에, 상기 제1 및 제2 데이터와 관련된 3D 포인팅 정보를 전송하게끔 동작하도록 구성되며, 또한, 상기 비-3D 포인팅 모드인 경우에, 상기 제3 데이터와 관련된 UDLR 정보를 전송하게끔 동작하도록 더 구성되고, 상기 시스템은 수신된 유저 입력에 적어도 부분적으로 기초하여 유저 인터페이스를 생성하고 제어하도록 구성된 유저 인터페이스 컨트롤링 장치를 더 포함하고, 상기 유저 인터페이스 컨트롤링 장치는 상기 리모트 컨트롤 장치로부터 스크롤 커맨드로서 해석되는 상기 3D 포인팅 정보를 수신하도록 구성되고, 또한 상기 리모트 컨트롤 장치로부터 상-하-좌-우(UDLR) 커맨드로서 해석되는 상기 비-3D 포인팅 정보를 수신하도록 구성되는 컨텐츠 제공 장치의 동작을 컨트롤링하기 위한 시스템이 제공된다.
본 발명의 제8 양태에 따르면, 리모트 컨트롤 장치와 상호작용하는 유저 인터페이스를 컨트롤링하기 위한 방법으로서, 상기 유저 인터페이스에 의해, 상기 리모트 컨트롤 장치가 제1 모드에서 동작되고 있어야 하는지 또는 제2 모드에서 동작되고 있어야 하는지를 결정하는 단계, 상기 유저 인터페이스에 의해, 상기 리모트 컨트롤 장치에 컨트롤 신호를 전달하여 상기 리모트 컨트롤 장치를 상기 제1 동작 모드 또는 상기 제2 동작 모드 중 하나에 두는 단계, 및 상기 유저 인터페이스에 의해, 상기 제1 동작 모드에 대응하는 스크롤 커맨드, 또는 상기 제2 동작 모드에 대응하는 상-하-좌-우(UDLR) 커맨드 중 하나를 수신하는 단계를 포함하는 방법이 제공된다.
본 발명의 제9 양태에 따르면, 3D 포인팅 장치를 사용하여 유저 인터페이스를 컨트롤링하기 위한 방법으로서, 랜덤 액세스 모드와 비-랜덤 액세스 모드 사이에서 상기 3D 포인팅 장치의 동작 모드를 전환하는 단계를 포함하는 방법이 제공된다.
본 발명의 제10 양태에 따르면, 3D 포인팅 장치를 포함하는 시스템으로서, 랜덤 액세스 모드와 비-랜덤 액세스 모드 사이에서 상기 3D 포인팅 장치의 동작 모드를 전환하도록 구성되는 프로세서를 포함하는 시스템이 제공된다.
본 발명에 따르면, 유저가, 유저 인터페이스 지연을 부적당한 모션으로 잘못 해석함으로 인한 타겟 오버슛에 대한 방지, 각각의 유저가 가정하는 커서를 이동시키기 위해 요구되는 스트로크 당 변동하는 모션량에 대한 조정, 및 커서의 정확한 싱글-클릭 모션 컨트롤에 대한 허용을 가능하게 하는 3D 포인팅 장치가 제공된다.
첨부 도면들은 예시적인 실시형태들을 도해하며, 도면 중에서,
도 1은, 엔터테인먼트 시스템을 위한 종래의 리모트 컨트롤 유닛을 도시하고 있다.
도 2는, 예시적인 실시형태들이 실행될 수 있는 예시적인 미디어 시스템을 도시하고 있다.
도 3은, 본 발명의 예시적인 일 실시형태에 따른 3D 포인팅 장치를 나타내고 있다.
도 4는, 2개의 회전 센서 및 하나의 가속도계를 포함하는 도 4에 있어서의 3D 포인팅 장치의 절개도를 도해하고 있다.
도 5는, 다른 예시적인 실시형태에 따른 3D 포인팅 장치를 나타내고 있다.
도 6은, 예시적인 일 실시형태에 따른 "10 풋(foot)" 인터페이스의 일부로서 사용되고 있는 도 5의 3D 포인팅 장치를 도시하고 있다.
도 7a는, 예시적인 일 실시형태에 따른 스크롤/UDLR 컨트롤 엘리먼트를 갖는 3D 포인팅 장치를 도시하고 있다.
도 7b 내지 도 7e는, 예시적인 일 실시형태에 따른 광학적 핑거 네비게이션 장치를 가로지른 상, 하, 좌, 우 모션에 있어서의 사용자 엄지 손가락의 움직임을 도시하고 있다.
도 8은, 예시적인 일 실시형태에 따른 도 7의 3D 포인팅 장치의 엘리먼트를 나타내고 있다.
도 9는, 예시적인 일 실시형태에 따른 스크롤/UDLR 컨트롤 엘리먼트로서 동작할 수 있는 광학적 핑거 네비게이션(OFN) 장치와 연결된 상태 머신이다.
도 10은, 예시적인 일 실시형태에 따른 3D 포인팅 장치와 연결된 하드웨어 엘리먼트를 도시하고 있다.
도 11의 (a) 내지 도 11의 (c)는, 예시적인 일 실시형태에 따른 OFN을 포함하는 또 다른 3D 포인팅 장치의 여러 가지 도면을 나타내고 있다.
도 12는, 예시적인 일 실시형태에 따른 도 7에 나타낸 광학적 핑거 네비게이션 패드 상의 렌즈와 함께 사용하기 위한 가상의 스레시홀드를 도해하고 있다.
도 13은, 예시적인 일 실시형태에 따른 광학적 핑거 네비게이션 장치를 동작시키기 위한 방법의 흐름도를 도해하고 있다.
본 발명에 대한 이하의 상세한 설명은 첨부 도면을 참조하고 있다. 서로 다른 도면에 있어서의 동일한 참조 번호는 동일하거나 유사한 엘리먼트를 나타낸다. 또한, 이하의 상세한 설명은 본 발명을 제한하지 않는다. 대신에, 본 발명의 범위는 첨부된 특허청구범위에 의해 규정된다.
이 논의에 대한 약간의 정황을 제공하기 위해, 본 발명이 실행될 수 있는, 예시적인 집합된 미디어 시스템(200)을 도 2와 관련지어 우선 설명한다. 그러나, 당업자라면, 본 발명은 이러한 유형의 미디어 시스템에서의 실행에 제한되지 않으며 보다 많거나 또는 보다 적은 구성요소가 그 안에 포함될 수 있음을 알 수 있다. 그 안에, 입력/출력(I/O) 버스(210)는 미디어 시스템(200) 내의 시스템 구성요소들을 함께 연결한다. I/O 버스(210)는, 미디어 시스템 구성요소들 사이에 신호들을 라우팅하기 위한, 임의의 수의 상이한 메커니즘 및 기술을 나타낸다. 예를 들어, I/O 버스(210)는, 오디오 신호를 라우팅하는 적절한 수의 독립적인 오디오 "패치" 케이블, 비디오 신호를 라우팅하는 동축 케이블, 컨트롤 신호를 라우팅하는 2 와이어 시리얼 라인 또는 적외선이나 무선 주파수 트랜시버, 다른 종류의 신호를 라우팅하는 광섬유 또는 임의의 다른 라우팅 메커니즘을 포함할 수 있다.
본 예시적인 실시형태에 있어서, 미디어 시스템(200)은 I/O 버스(210)에 커플링된 텔레비전(TV)/모니터(212), 비디오 카세트 레코더(VCR)(214), 디지털 비디오 디스크(DVD) 레코더/재생 장치(216), 오디오/비디오 튜너(218) 및 컴팩트 디스크 플레이어(220)를 포함한다. VCR(214), DVD(216) 및 컴팩트 디스크 플레이어(220)는 싱글 디스크 또는 싱글 카세트 디바이스이거나, 또는 다르게는 멀티플 디스크 또는 멀티플 카세트 디바이스일 수 있다. 이들은 독립적인 유닛이어도 좋고 또는 함께 통합되어 있어도 좋다. 또한, 미디어 시스템(200)은 마이크로폰/스피커 시스템(222), 비디오 카메라(224) 및 무선 I/O 컨트롤 장치(226)를 포함한다. 본 발명의 예시적인 일 실시형태에 따르면, 무선 I/O 컨트롤 장치(226)는 아래에서 설명하는 예시적인 일 실시형태에 따른 3D 포인팅 장치이다. 무선 I/O 컨트롤 장치(226)는 예컨대, IR 또는 RF 송신기 또는 트랜시버를 사용하여 엔터테인먼트 시스템(200)과 통신할 수 있다. 혹은, I/O 컨트롤 장치는 와이어를 통해 엔터테인먼트 시스템(200)에 접속될 수 있다.
또한, 엔터테인먼트 시스템(200)은 시스템 컨트롤러(228)를 포함한다. 본 발명의 예시적인 일 실시형태에 따르면, 시스템 컨트롤러(228)는 복수의 엔터테인먼트 시스템 데이터 소스로부터 얻을 수 있는 엔터테인먼트 시스템 데이터를 저장하고 표시하도록 동작하고, 또한 각각의 시스템 구성요소와 관련된 광범위하게 다양한 특징들을 컨트롤하도록 동작한다. 도 2에 도시된 바와 같이, 시스템 컨트롤러(228)는, I/O 버스(210)를 통해 필요에 따라 시스템 구성요소의 각각에 직접 또는 간접적으로 커플링된다. 예시적인 일 실시형태에서, I/O 버스(210)에 더하여, 또는 I/O 버스(210)를 대신하여, 시스템 컨트롤러(228)는, IR 신호 또는 RF 신호를 통해 시스템 구성요소들과 통신할 수 있는 무선 통신 트랜스미터(또는 트랜시버)를 구비하여 구성된다. 컨트롤 매체와는 상관없이, 시스템 컨트롤러(228)는 아래에서 설명하는 그래픽 유저 인터페이스를 통해 미디어 시스템(200)의 미디어 구성요소들을 제어하도록 구성된다.
도 2에 더욱 도시된 바와 같이, 미디어 시스템(200)은 각종의 미디어 소스 및 서비스 제공자로부터 미디어 아이템을 수신하도록 구성될 수 있다. 이 예시적인 실시형태에서, 미디어 시스템(200)은, (예컨대, 동축 케이블, 또는 선택적으로는 광섬유 케이블을 거친) 케이블 방송(230), (예컨대, 위성 접시를 거친) 위성 방송(232), (예컨대, 공중 안테나를 거친) 방송 텔레비전 네트워크(234)의 초단파(VHF) 또는 극초단파(UHF) 무선 주파수 통신, 전화 네트워크(236) 및 케이블 모뎀(238)(또는 인터넷 컨텐츠의 다른 소스)이라는 소스들 중 하나 혹은 모두로부터 미디어 입력을 수신하고, 선택적으로는 이들에 대해 정보를 보낸다. 당업자라면, 도 2와 관련지어 도시하고 설명한 미디어 구성요소 및 미디어 소스들은 순전히 예시일 뿐이며, 미디어 시스템(200)이 미디어 구성요소 및 미디어 소스를 보다 많이 포함하거나 보다 적게 포함할 수 있음을 이해할 수 있다. 예를 들어, 시스템에 대한 다른 유형의 입력은 AM/FM 라디오 및 위성 라디오를 포함한다.
이 예시적인 엔터테인먼트 시스템 및 그와 관련된 프레임워크에 관한 보다 상세한 사항은, 위에서 참조로서 포함된 미국 특허 출원 "A Control Framework with a Zoomable Graphical User Interface for Organizing, Selecting and Launching Media Items"에서 찾을 수 있다. 혹은, 본 발명에 따른 리모트 장치는, 예컨대, 디스플레이, 프로세서 및 메모리 시스템을 포함하는 예컨대 컴퓨터 시스템 등의 다른 시스템과, 또는 각종의 다른 시스템 및 애플리케이션과 연결지어 사용될 수 있다.
배경 부분에서 언급한 바와 같이, 3D 포인터로서 동작하는 리모트 장치는 본 명세서에 있어서 특히 관심의 대상이다. 이러한 장치는 예컨대 제스처 등의 움직임을 유저 인터페이스에 대한 커맨드로 변환한다. 예시적인 3D 포인팅 장치(400)가 도 3에 도시되어 있다. 여기서, 3D 포인팅의 유저 움직임이, 예컨대 3D 포인팅 장치(400)의 x-축 자세(롤), y-축 엘리베이션(피치) 및/또는 z-축 헤딩(요)의 조합의 측면에서 규정될 수 있다. 또한, 본 발명의 소정의 예시적인 실시형태들은 x, y, z 축을 따라 3D 포인팅 장치(400)의 선형 운동을 측정하여 커서 운동 또는 다른 유저 인터페이스 커맨드를 생성할 수도 있다. 도 3의 예시적인 실시형태에 있어서, 3D 포인팅 장치(400)는, 스크롤 휠(406)과 함께, 2개의 버튼(402 및 404)을 포함하지만, 다른 예시적인 실시형태들은 이하의 "상-하-좌-우 모드 스위칭"의 제목하에 구체적으로 설명하는 바와 같이, 다른 물리적 컨피규레이션을 포함할 것이다.
본 발명의 예시적인 실시형태들에 따르면, 3D 포인팅 장치(400)가 디스플레이(408) 앞에서 유저에 의해 쥐어지고 이 3D 포인팅 장치(400)의 모션이 3D 포인팅 장치에 의해, 예컨대 디스플레이(408) 상에서 커서(410)를 이동시키는 등, 디스플레이(408) 상에서 표시되는 정보와 상호작용함에 사용할 수 있는 출력으로 변환되는 것이 생각된다. 예컨대, 3D 포인팅 장치(400)의 y-축을 중심으로 한 회전이 3D 포인팅 장치(400)에 의해 감지되어 디스플레이(408)의 y2축을 따라 커서(410)를 이동시키도록 시스템에 의해 사용가능한 출력으로 변환될 수 있다. 마찬가지로, z-축을 중심으로 한 3D 포인팅 장치(408)의 회전이 3D 포인팅 장치(400)에 의해 감지되어, 디스플레이(408)의 x2축을 따라 커서(410)를 움직이도록 시스템에 의해 사용가능한 출력으로 변환될 수 있다. 3D 포인팅 장치(400)의 출력은, 커서 움직임과는 다른(또는 커서의 움직임에 더하여) 예컨대 3D 포인팅 장치(400)의 출력은 커서 페이딩(fading), 볼륨 또는 미디어 트랜스포트(재생, 정지, 빠른 전진 및 되감기) 등의 다수의 방법으로, 디스플레이(408)와 상호작용하기 위해 사용될 수 있음을 이해할 수 있다. 입력 커맨드는 커서 움직임에 더하여 예컨대 디스플레이의 특정 영역에 대한 줌인 또는 줌 아웃 등의 조작을 포함할 수 있다. 커서는 보여질 수도 있고 보여지지 않을 수도 있다. 유사하게, 3D 포인팅 장치(400)의 x-축을 중심으로 하여 감지된 3D 포인팅 장치(400)의 회전이, 유저 인터페이스에 대한 입력을 제공하도록 y-축 및/또는 z-축 회전에 더하여, 또는 대안으로서 사용될 수 있다.
순전히 설명을 위한 본 발명의 예시적인 실시형태에 따르면, 두 회전 센서(420 및 422) 및 하나의 가속도계(424)가 도 4에 나타낸 바와 같은 3D 포인팅 장치(400)에서의 센서로서 채용될 수 있다. 이 예시적인 실시형태는 관성 센서를 채용하여 모션을 감지하지만, 본 발명은 그처럼 제한되지 않음을 알 수 있으며, 다른 예시적인 실시형태와 연결되어 사용될 수 있는 다른 유형의 센서들의 예를 이하에 제공한다. 회전 센서(420 및 422)는, 예를 들면, 아날로그 디바이스(Analog Devices)에 의해 제조된 ADXRS150 또는 ADXRS401 센서를 이용하여 실시될 수 있다. 당업자라면, 회전 센서(420 및 422)로서 다른 유형의 회전 센서가 이용될 수 있으며, 또한 ADXRS150과 ADXRS401은 순전히 설명을 위한 예로서 이용되는 것을 알 수 있다.
종래의 자이로스코프와 다르게, 이들 예시적인 회전 센서는 마이크로 일렉트로미케니컬 시스템(MEMS) 기술을 이용하여 프레임에 부착된 공명 질량(resonance mass)을 제공하고, 따라서 일 방향을 따라서만 공명할 수 있다. 공명 질량은, 상기 센서가 부착된 바디가 당해 센서의 센싱 축을 중심으로 하여 회전될 때 변위된다. 이 변위는 코리올리 가속도 효과를 이용하여 측정될 수 있어서, 상기 센싱 축을 따른 회전과 관련된 각속도를 결정할 수 있다. 회전 센서(420 및 422)가 단일의 센싱 축(예로서 ADXRS150)을 가지면, 회전 센서(420 및 422)는, 그들의 센싱 축들이 측정하려는 회전과 정렬되도록, 3D 포인팅 장치(400)에 장착될 수 있다. 이것은, 본 발명의 이 예시적인 실시형태에 있어서, 도 4에 나타낸 바와 같이, 회전 센서(422)는 그 센싱 축이 y-축에 대해 평행하도록 장착되고, 회전 센서(420)는 그 센싱 축이 z-축에 대해 평행하도록 장착되는 것을 의미한다.
다른 예시적인 실시로 이어질 수 있는 상이한 센서 패키지들이 이용가능함을 알 수 있다. 예를 들어, 2개의 1-D 회전 센서(420 및 422)가, 예컨대 y 및 z 축을 따른 회전 모션의 출력을 제공하는, 단일의 2D 회전 센서 패키지에 의해 대체될 수도 있다. 다른 센서/센서 패키지가 이용될 수도 있음을 알 수 있으나, 하나의 예시적인 2-D 회전 센서는 InvenSense IDG-300이다. 회전 센서(420, 422)는 1-D, 2-D 또는 3-D 센서일 수 있다. 해당 장치가 중력을 측정하고 나머지 제3의 값을 수학적으로 계산하는 것으로 가정함으로써 2-축 선형 가속도계가 이용될 수도 있으나, 가속도계(424)는 예컨대 3-축 선형 가속도계일 수 있다. 또한, 가속도계(들) 및 회전 센서(들)이 단일의 센서 패키지로 함께 패키지화될 수 있다. 이들 예시적인 실시형태와 관련하여 센서들 및 센서 패키지들의 다른 변형형태가 이용될 수도 있다.
예시적인 실시형태들은 도 3 및 도 4에 도시된 산업상의 설계로 제한되지 않으며, 대신에 임의의 산업상의 폼 팩터로 배치될 수 있는데, 그 다른 예가 도 5로서 도시된다. 다른 예시적인 실시형태들은 다른 물리적 컨피규레이션을 포함할 수 있지만, 도 5의 예시적인 실시형태에 있어서 3D 포인팅 장치(500)는, 스크롤 휠(506) 및 그립(507)과 함께, 링 형상의 하우징(501), 2개의 버튼(502 및 504)을 포함한다. 여기서, 상기 2개의 버튼(502 및 504) 및 스크롤 휠(506)을 포함하는 영역(508)을, 링 형상의 하우징(501)의 외측 부분에 배치된 "제어 에리어"(508)라고 부른다. 이 예시적인 실시형태에 관한 보다 자세한 사항은, 2006년 7월 3일 "3D 포인팅 장치"라는 발명의 명칭으로 출원된 미국 특허 출원 제11/480,662호에서 찾을 수 있으며, 이 출원의 개시는 본원에 참조로서 포함되어있다. 아래 UDLR 모드 스위칭에 관한 섹션에서 보다 상세히 논의되는 바와 같이, 소정의 예시적인 실시형태들에 따르면, 스크롤 휠(506)은 예컨대, 광학적 핑거 네비게이션(OFN) 장치 등의 상이한 제어 엘리먼트에 의해 대체될 수 있다.
이러한 3D 포인팅 장치는, 예를 들어, 도 6에 나타낸 바와 같이, 전형적인 거실에 있어서 소파와 텔레비전 간의 소위 "10 풋(foot)" 인터페이스에서의 사용을 포함한 많은 적용을 갖는다. 여기에 있어서, 상이한 위치들 사이에서 3D 포인팅 장치(500)가 움직임에 따라, 그 움직임이 3D 포인팅 장치(500) 내의 하나 또는 복수의 센서에 의해 검출되어 텔레비전(620)(또는, 예를 들어 셋탑 박스(도시하지 않음) 등의 관련된 시스템 컴포넌트)으로 전송된다. 예컨대, 3D 포인팅 장치(500)의 움직임은, 텔레비전(620)에 표시되고 유저 인터페이스와 상호작용하기 위해 사용되는 커서(640)의 움직임으로 변환될 수 있다. 유저가 3D 포인팅 장치(500)를 통해 상호작용할 수 있는 예시적인 유저 인터페이스의 상세는, 예를 들어, 위에서 언급한 본원에 포함되어 있는 미국 특허 출원 제10/768,432호와 함께, 2006년 5월 19일에 "Global Navigation Objects in User Interfaces"라는 발명의 명칭으로 출원된 미국 특허 출원 제11/437,215호에서 찾을 수 있으며, 이 출원의 개시는 본원에 참조로서 포함되어있다.
이들 예시적인 실시형태에 따른 3D 포인팅 장치(400, 500)를 실시함에 있어서 대면하는 과제는, 예컨대, 너무 비싸지 않으면서 동시에 3D 포인팅 장치(400, 500)의 움직임과, 3D 포인팅 장치(400, 500)의 특정한 움직임에 대해 유저 인터페이스가 어떻게 반응할 것인지에 관한 유저의 기대, 그리고 그러한 움직임에 응답한 실제 유저 인터페이스 성능 사이에 높은 상관도를 제공하는 회전 센서(420 및 424) 등의 컴포넌트를 이용하는 것이다. 예를 들어, 3D 포인팅 장치(400)가 움직이지 않으면, 유저는 커서가 스크린을 가로질러 드리프팅되지 않아야 할 것으로 기대하기 쉽다. 유사하게, 유저가 3D 포인팅 장치(400)를 순전히 y-축을 중심으로 하여 회전시킬 경우, 유저는 결과로서 얻는 디스플레이(408) 상의 커서 움직임이 어떠한 현저한 x-축 성분을 포함하는 것을 보기를 기대하지는 않을 것이다.
본 발명의 예시적인 실시형태의 이들 및 다른 양태를 달성하기 위해, 예컨대 3D 포인팅 장치(400, 500)에 의해 각종의 계측 및 계산이 행해지고, 이들은 센서(420, 422 및 424) 중 하나 또는 복수의 출력 및/또는 센서(420, 422 및 424)의 출력에 기초하여 유저 인터페이스에 대한 적절한 출력을 결정하도록 프로세서에 의해 이용되는 입력의 일부를 조정하기 위해 이용된다. 이들 계측 및 계산은 크게 2개의 카테고리로 떨어지는 팩터들을 보상하기 위해 이용된다: (1) 예컨대, 3D 포인팅 장치(400, 500)에서 사용되는, 특정 센서(420, 422 및 424)에 관련한 에러, 또는 상기 센서들이 3D 포인팅 장치(400, 500)에 장착되는 방식에 관련한 에러 등의 3D 포인팅 장치(400, 500)에 고유한 팩터, 및 (2) 3D 포인팅 장치(400, 500)에 고유하지 않지만, 예컨대, 선형 가속도, 틸트 및 트레모어 등의 유저가 3D 포인팅 장치(400, 500)를 사용하는 방식과 관련되는 팩터. 이들 효과를 취급하기 위한 몇몇 예시적인 기술이 위에서 참조로서 포함된 '518 특허에 기재되어 있다. 예컨대, 감지된 모션에 대한 바이어스 또는 오프셋 에러 기여를 취급함과 관련된 추가적인 기술이 본원에 참조로서 그 개시가 포함되어 있는 양수인의 미국 특허 공보 제20090033807호에 기재되어 있다.
상-하-좌-우 모드 스위칭
또한, 때로는, 예컨대 유저 인터페이스에의 선택 입력과 같이 UDLR 입력을 받아들이도록 설계되어 있는 장치, 애플리케이션 및/또는 소프트웨어를 위해, 위에서 설명한 3D 포인팅 장치(등등)에서 레거시 서포트(legacy support)를 제공하는 것이 바람직할 수 있다. 본 발명의 예시적인 실시형태들은, 3D 포인팅 모드와 UDLR 모드 사이에서(또는, 보다 일반적으로 표현하자면, 랜덤 액세스 모드와 비-랜덤 액세스 모드 사이에서), 또는 3D 포인팅 장치상의 특정 컨트롤 엘리먼트가 UDLR 모드로 동작가능한 모드와, 예컨대 스크롤링 모드 등의 비-UDLR 모드 사이에서, 3D 포인팅 장치에 있어서의 모드 스위칭을 제공함으로써 이 요구에 대처한다.
하나의 이러한 예시적인 실시형태에 따르면, 3D 포인팅 장치가 유저 인터페이스 컨트롤링 장치(예컨대, 텔레비전, 셋탑 박스, 게임 콘솔 또는 임의의 다른 그러한 장치), 또는 3D 포인팅 입력을 지원하는, 유저 인터페이스 컨트롤링 장치에서 실행되는 애플리케이션과 상호작용하는 경우, 시스템(즉, 3D 포인팅 장치 및/또는 유저 인터페이스 컨트롤링 장치)은 3D 포인팅 모드에서 동작한다. 한편, 3D 포인팅 장치가 유저 인터페이스 컨트롤링 장치(예컨대, 텔레비전, 셋탑 박스, 게임 콘솔 또는 임의의 다른 그러한 장치), 또는 3D 포인팅 입력을 지원하지 않는(또는 지원하지 않거나 UDLR 입력을 필요로 하는), 유저 인터페이스 컨트롤링 장치에서 실행되는 애플리케이션과 상호작용하는 경우, 시스템(즉, 3D 포인팅 장치 및/또는 유저 인터페이스 컨트롤링 장치)은 예를 들어 UDLR 모드 등의 비-3D 포인팅 모드에서 동작한다.
이러한 예시적인 실시형태들은 상이한 방식으로 실시될 수 있다. 예를 들어, 하나의 예시적인 실시형태에 따르면, 3D 포인팅 장치는 모드 스위칭 기능을 포함하도록 변경될 수 있다. 이 실시형태에서, (3D 포인팅 장치상의 명시적인 버튼 또는 다른 입력일 수 있거나, 또는 (a) 3D 포인팅 장치에 의해 UDLR 모드로 진입하라는 커맨드로서 인식되는, 3D 포인팅 장치를 쥐고 있는 유저에 의한 움직임의 패턴인 UDLR 제스처; 또는 (b) 오로지 예로서, 롤링 모션이 뒤따르는 손의 진동(rocking) 모션이 될 수 있는 일련의 비-UDLR 제스처)와 같이 보다 덜 명시적인 제어일 수 있는) 모드 스위칭 컨트롤을 구동한 후, 3D 포인팅 장치는, (장치의 모션 또는 버튼의 조작 또는 위에서 설명한 예시적인 3D 포인팅 장치의 스크롤 휠(506)의 움직임 중 하나에 의해) 유저로부터 수신하는 하나 또는 복수의 후속하는 입력을 상, 하, 좌, 우 커맨드 중 하나로서 인터프리팅하여 대응하는 UDLR 신호 또는 커맨드를 유저 인터페이스 컨트롤링 장치측으로 전송할 것이다. 또 다른 예시적인 실시형태에 따르면, 모드 스위치가 일어나더라도, 그것이 3D 포인팅 모드로부터 UDLR 모드이던지, 아니면 그 반대로인지를 막론하고, 본래의 모드로부터의 모션이 새로운 모드 동안에도 여전히 해석될 수 있다. 예를 들어, 3D 포인팅 장치가 3D 포인팅 모드에 있은 후에 ULDR 모드로 이행되면, 3D 포인팅 장치는, UDLR 모드 동안에도 일부 또는 전부의 3D 제스처의 세트를 여전히 해석할 수 있다.
또 다른 예시적인 실시형태에 따르면, 예컨대 도 2의 시스템 컨트롤러(228) 등의 유저 인터페이스 컨트롤링 장치(또는 그 유저 인터페이스 컨트롤링 장치에서 실행되는 애플리케이션)는, 3D 포인팅 장치로부터 수신하는 특정한 입력을 상, 하, 좌, 우 입력 커맨드로서 해석할 수 있다. 이 예시적인 실시형태에서, 3D 포인팅 장치 그 자체에 대해 변경을 가하는 것, 또는 3D 포인팅 장치에서 모드 스위칭을 행하는 것은 필요하지 않을 수도 있다. 즉, 이 특정의 예시적인 실시형태에서, 스크롤 대 UDLR 모드의 결정은, 수신 장치, 즉 시스템 컨트롤러(228)에서 행해진다. 또 다른 예시적인 실시형태에서는, 유저 인터페이스(또는 그 유저 인터페이스 컨트롤링 장치에서 실행되는 애플리케이션) 자체가 예컨대 UDLR 모드와 스크롤링 모드 사이에서의 3D 포인팅 장치의 모드 스위치를 유발한다. 이 경우에, 3D 포인팅 장치의 동작 모드는, 상기 선택을 하기 위한 유저에 의한 명시적인 액션없이 유저 인터페이스에 의해 제어된다. 3D 포인팅 장치의 동작 모드들 사이의 변경은, 예컨대, 전체 애플리케이션 또는 유저 인터페이스가 3D 포인팅 장치가 현재 동작하려고 하는 모드와 다른 동작 모드에서 동작한다면, 또는 유저 인터페이스의 하나 또는 복수의 부분/서브 애플리케이션이 3D 포인팅 장치가 동작하도록 현재 설정되어 있는 모드와 다른 모드에서 동작할 경우에, 일어날 수 있다.
이들 예시적인 실시형태를 지원하기 위해, UDLR 모드 스위칭을 지원하도록 3D 포인팅 장치에 어떤 입력 컨트롤을 적용하는 것이 바람직하다(그러나 필요하지는 않다). 예를 들어, 도 7a에 나타낸 바와 같이, 도 5의 3D 포인팅 장치에 구비된 스크롤 휠(506) 대신에, 예컨대, 임의의 원하는 방향으로의 광학적 패드(702)를 가로지른 유저의 엄지 손가락 등의 움직임을 검출할 수 있는 광학적 패드(702)를 3D 포인팅 장치(700)에 대해 제공하는 것이 바람직하다. 이러한 광학적 패드(702)의 일례는, 본 명세서에 참조로서 그 개시가 포함되어 있는 미국 특허 공보 제20090201594호에 기재된 것들 중 임의의 하나와 같은 광학적 핑거 네비게이션(OFN) 장치이다. 때로는 "에어 렌즈(air lenses)"라고도 부르는 OFN 장치는, 예를 들어 손가락 또는 지문 등의 오브젝트를 조명하고 표면을 가로지른 상기 오브젝트의 모션을 트랙킹함으로써 동작한다. 상기 오브젝트가 상기 표면을 가로질러 움직임에 따라, 비교적 짧은 기간에 걸쳐서 이미지 센서에 의해 기록된 적어도 2개의 화상 사이의 차이에 기초하여 모션이 검출된다. 몇몇 실시형태에 따르면, 광학적 패드나 OFN 장치를 가로지른 예컨대 손가락 등의 움직임을 "스윕(swipe)" 또는 "스윕핑(swiping)"이라고 부를 수 있다. 예를 들어, 광학적 패드나 OFN 장치를 가로지른 손가락 또는 오브젝트의 좌측 모션을 "좌측 스윕"이라고 부르고, 손가락 또는 오브젝트의 우측 움직임을 "우측 스윕"이라고 부를 수 있다.
이 입력 컨트롤(702)에 의하면, 3D 포인팅 모드일 때(또는, 컨트롤 엘리먼트(702)의 관점에서는, 스크롤링 모드일 때), 광학적 패드(702)를 통해 수신된 입력은, 예를 들어 스크롤링 입력인 것으로 간주될 수 있다. 따라서, 3D 포인팅 장치, 유저 인터페이스 컨트롤링 장치, 및/또는 유저 인터페이스 컨트롤링 장치에서 실행되는 애플리케이션의 어느 것이든, 광학적 컨트롤 패드(702)를 통해 수신된 입력을 스크롤링 입력으로서 해석할 것이고, 3D 포인팅 모드 또는 스크롤 모드에서 동작될 때 지시된 방향으로 유저 인터페이스를 스크롤 할 것이다. 대조적으로, UDLR 모드에서 동작될 때, 광학적 컨트롤 패드(702)를 통해 수신된 입력은, 3D 포인팅 장치(700), 유저 인터페이스 컨트롤링 장치 및/또는 유저 인터페이스 컨트롤링 장치에서 실행되는 애플리케이션 중 하나 또는 복수에 의해 상, 하, 좌, 우 입력 커맨드로서 해석된다. 위에서 언급한 것처럼, 3D 포인팅 장치, 유저 인터페이스 컨트롤링 장치 및/또는 애플리케이션에 있어서의 UDLR 모드 또는 비-UDLR 모드의 선택이, 예컨대, 유저에 의해 명시적으로, 또는 예컨대 애플리케이션이나 유저 인터페이스 컨트롤링 장치가 받아들이도록 설계된 입력의 유형에 근거하여 시스템에 의해 내재적으로 이루어질 수 있다.
순전히 설명을 위한 예로서, 유저가 도 7b에 나타낸 바와 같이, 광학적 컨트롤 패드(702)를 가로질러 그의 엄지 손가락을 패드(702)의 하측으로부터 패드(702)의 상측을 향해 이동시키면(하측에서 위치 A, 상측에서 위치 B), 이 입력은, 당해 시스템이 3D 포인팅 또는 스크롤링 모드에서 동작 중이면 "스크롤 업" 커맨드로서 해석될 수 있다. 대조적으로, 예컨대, 유저 인터페이스 컨트롤링 장치에서의, UDLR 커맨드만을 인식하는 애플리케이션의 실행으로 인하거나 어떤 모드 스위칭 커맨드에 의해, 상기 시스템이 UDLR 모드에서 동작 중이면, 광학적 컨트롤 패드(702)에 대한 유저에 의한 이 동일한 입력은 "상" 커맨드로서 대신 해석될 수 있고, 예컨대, 하이라이트된 영역, 커서, 또는 다른 포커스 효과가, 이 입력에 기초하여 생성된 정보의 수취에 응답하여, 표시된 엘리먼트들의 UDLR 매트릭스에서 하나의 표시된 인터페이스 엘리먼트로부터 다음의 "가장 높은(highest)" 인터페이스 엘리먼트를 향해 상방으로 이동할 수 있다. 대응적으로, 도 7b 내지 도 7e에 나타낸 바와 같이, 스크롤 다운(도 7c), 스크롤 레프트(도 7d), 스크롤 라이트(도 7e) 커맨드가 있다. 도 7b 내지 도 7e 모두에서, 위치 A는 초기 위치이고, 위치 B는 최종 위치이다. 또 다른 예시적인 실시형태에 따르면, 도 7b 내지 도 7e 각각은 (도 12, 및 스레시홀드(803)와 관련하여 아래에서 더욱 상세하게 논의되는 것과 유사하게) 스크롤 커맨드를 해석하기 위해 넘어설 필요가 있는 광학적 렌즈 스레시홀드(threshold)(703)(즉, 상방 스크롤을 위해서 엄지 손가락이 넘어설 필요가 있는 상측 스레시홀드(803), 하방 스크롤을 위해, 그리고 유사하게 좌측 및 우측 스크롤을 위해 엄지 손가락이 넘어설 필요가 있는 하측 스레시홀드(803))를 포함할 수 있다.
광학적 컨트롤 패드(702)가, 도 8에 일반적으로 나타낸 바와 같이, OFN 드라이버(804)(소프트웨어)에 접속된 OFN 모듈(800)(렌즈(802)를 포함한 하드웨어)인 일 예시적인 실시형태에 따르면, 동작은, 다음과 같을 수 있으며 일 예시적인 실시형태에 따라 도 13에 나타낸 바와 같이, 방법(300)의 흐름도에 의해 도해된다. 스텝(302)에서의 아이들로부터, OFN 모듈(800)은, 결정 스텝(304)에서 예컨대 손가락 등의 오브젝트가 그 렌즈(802)를 덮고 있는지를 결정하도록 주기적으로 그 자신을 조사한다. 손가락이 렌즈(802)를 덮으면(결정 스텝(304)으로부터 "예" 경로), OFN 모듈(800)은 OFN 드라이버(804)측으로 인터럽트 신호를 보낸다(스텝 306). 일단, 이 인터럽트 신호가 수신되면, OFN 소프트웨어 드라이버(804)는, (결정 스텝(310)에서 결정되는) 손가락 또는 다른 오브젝트가 렌즈(802)로부터 제거될 때까지, OFN 모듈(800)로부터 주기적으로 데이터를 읽는다(스텝 308). 이 데이터는, 렌즈(802)를 덮으면서 손가락이 이동한 방향을 나타낸다. 손가락 또는 오브젝트가 제거되면(조사 루프에서 검출됨; 결정 스텝(310)으로부터 "아니오" 경로), OFN 모듈(800) 및 OFN 드라이버(804)는 인터럽트 구동 모드로(즉, 결정 스텝(304)으로) 돌아온다. OFN 드라이버(804)가 스크롤 모드, 또는 다르게는 3D 포인팅 모드에 있으면, 모드 컨트롤 입력(806)에 기초하여, OFN 모듈(800)로부터 읽은 상 또는 하 모션의 모두가 애플리케이션측으로 스크롤 모션(808)으로서 OFN 드라이버(804)에 의해 보고된다. 수평방향의 스크롤링은 지원되지 않는 이 예시적인 실시형태에 따라 좌 및 우 모션은 무시되지만, 또 다른 예시적인 실시형태에 따르면, 유저 인터페이스에 대한 수평방향의 스크롤링이 지원되는 네비게이션이었던 경우, 좌 및 우 모션 또한 스크롤링 모션으로서 보고된다. OFN 모듈(800)은, (민감도, 가속도, 히스테리시스 등의 측면에서) 스크롤에 대한 원하는 출력을 만들어내도록 OFN 드라이버(804)에 의해 컨피규어(configure)될 수 있다. 따라서, 예를 들어, OFN 모듈(800)은 예시적인 일 실시형태에 따라 예컨대 상이한 탄도학(ballistics) 또는 양자화(quantization) 컨피규레이션 등의 스크롤 모드 대 UDLR 모드에 대해 상이한 하드웨어 및/또는 소프트웨어 컨피규레이션을 가질 수 있다. 혹은, 이러한 OFN 컨피규레이션은 스크롤 모드와 UDLR 모드에 대해 동일할 수도 있다.
대신에, 즉 모드 컨트롤 입력(806)에 기초하여, OFN 드라이버(804)가 UDLR 모드에 있으면, OFN 드라이버(804)는, 광학적 렌즈 스레시홀드(803)가 4개의 방향 중 하나에 있어서 초과될 때까지 모든 방향으로 모션을 축적한다. 이 스레시홀드(803)는 OFN 렌즈상의 중심점을 둘러싸는 가상의 박스로서 개념상으로 마음속에 그려질 수 있다. 이동된 오브젝트가 가상의 박스(스레시홀드(803))를 그 박스의 어느 한 변에서 떠나면, 대응하는 UDLR 출력이 생성된다. 따라서, 예를 들어, 스레시홀드(803)를 넘어가면, OFN 드라이버(804)는, 예시적인 일 실시형태에 따라, 손가락이 어느 방향으로 이동했는지를 나타내는 출력(808)으로서 키보드 프레스, 즉, 손가락이 움직였던 방향에 대응하는 상, 하, 좌, 우 커맨드를 전송한다. 유저가 그의 손가락을 OFN 모듈(800)로부터 제거할 때까지, 이 예시적인 실시형태에 따라 다른 키보드스트로크는 보고되지 않는다. 예컨대 도 12에서 보는 바와 같이, 유저의 엄지 손가락이 위치 A에서 시작하고, 이어서 위치 A로부터 위치 B로 이동된다. 위치 B에서, 유저의 엄지 손가락이 또한 우측에서 좌측으로 이동하였으나, 스레시홀드(803)의 좌측 또는 우측 변 중 어느 하나를 넘어서지 않았음에도, 유저의 엄지 손가락이 "상" 커맨드를 나타내는 스레시홀드(803)의 상측 부분을 넘어섰다. 이 예시적인 실시형태에 따른 장치(700)를 사용하면, 손가락 휙 움직임의 방향으로의 UDLR 커맨드로서 해석되는 거리 스레시홀드(803)를 신속하고 쉽게 뛰어넘는 방식으로, 유저가 그들의 손가락을 OFN 렌즈(802)를 가로질러 휙 움직이거나(flick) 스윕할 것이 기대된다. 또 다른 예시적인 실시형태들에 따르면, 원 등의 보다 복잡한 패턴에 더하여, 상, 하, 좌, 우 움직임 패턴을 검출하도록 다른 패턴 인식 방법이 사용될 수 있다.
따라서, 일 예시적인 실시형태에 따르면, OFN 드라이버(804)와 함께 OFN 모듈(800)에 의해 검출된 모션이 해석되어, 그 모션의 방향 및 해당 모드에 기초하여 결정된 메세지를 전송할 수 있다. 순전히 설명을 위한 예시적인 실시형태로서, 보내진 메시지는 아래의 표에 나타낸 바와 같이 포맷화될 수 있다.
Figure 112013056049798-pct00001
위의 표에 열거된 순전히 설명을 위한 메시지들은, 예컨대, 3D 포인팅 장치와, 벤더 고유 바이트를 포함한, 휴먼 인터페이스 장치(HID) 패킷들에서의 시스템 컨트롤러 사이에서 USB 링크를 거쳐 전송된 미처리된 16진 바이트를 나타낸다. 따라서, 다른 메세지 또는 메세지 포맷들이 사용될 수 있는 의미에서, 당업자라면 이들 메세지가 순전히 설명을 위한 것임을 알 수 있다. 이 예에서, "상" 방향은, 유저가 휴대형 장치를 쥐고 있을 경우, 도 7에서 축에 의해 나타낸 바와 같이, 유저와 외면하는 방향이다. 16진(베이스 16, 디짓 0-F)수는 전형적으로는 접두사 "Ox"에 의해 나타낸다. 16진에 있어서 2의 보수, Oxl 내지 Ox7F는 양의 숫자(10진수 1 내지 127)이다. OxFF 내지 0x80는 음의 숫자(십진수 -1 내지 -128)이다. 위의 표에서, "N"이 이 유형의 양의 숫자와 동등하다고 하고, "M"은 이 유형의 음의 숫자와 같다고 한다.
앞서 기재된 예시적인 실시형태에 있어서는, OFN 렌즈(804)를 가로지른 오브젝트의 검출된 모션 당 단 하나의 UDLR 커맨드가 생성된다. 그러나, 다른 실시형태에 따르면, 즉, 유저가 그의 손가락을 렌즈로부터 들어올리는 것을 요구하지 않으면서, 모션 당 다수의 UDLR 커맨드를 검출하고 생성하는 것이 가능할 수 있다. 그러나, 이러한 실시형태는 잠재적인 설계 과제를 고려하여야 한다. 예를 들어, 커서가 표시되는 위치 또는 포커스 컨디션을 갱신하는 것과 관련된 현저한 유저 인터페이스 지연이 있을 경우, 이것은, 유저가 그 지연을 상기한 거리 스레시홀드를 넘어가는 것에 대한 실패로서 해석하고 대신하여 두 번째의 반복적인 UDLR 커맨드를 전송할 수 있으므로, 예컨대 텔레비전에 표시되는, UDLR 커맨드를 통해 상호작용 중인 유저 인터페이스상의 선택 오브젝트(타겟)의 돌발적인 오버슛(overshoot)을 일으킬 수 있다.
또 다른 일 예시적인 실시형태에 따르면, 스레시홀드(803)의 사이즈는 가변이다. 스레시홀드(803)는 유저에 의해 결정되는 사이즈 설정에 따라 사이즈가 변할 수 있고, 또는 스레시홀드(803)의 사이즈는 스크린 엘리먼트의 인터페이스 스크린의 사이즈로 설정될 수 있다. 또한, 다른 예시적인 실시형태들에 따르면, OFN 드라이버가 제1 유저의 손가락을 다른 유저의 손가락으로부터 구별하여 인식하도록 유저의 손가락의 사이즈에 대한 감도가 변동될 수 있다. 또한, 렌즈(802) 상의 모션을 표시하기 위해 유저의 손가락 대신에 스타일러스 또는 다른 유형의 포인터 장치가 사용될 수도 있다. 또 다른 예시적인 실시형태들에 따르면, OFN 드라이버(804)에 의해 유저의 손가락(또는 다른 장치)에 의한 제1 방향으로의 모션이 결정되면, 상기 유저의 손가락 또는 장치가 렌즈(802) 상에서 이동하는 레이트에 따라 동일 방향으로의 레이트 모션이 결정될 수 있다. 예를 들어, 도 12를 참조하면, 시간 t0에서 유저의 손가락이 위치 "A"에 있고 위치 "B"로 움직이면, t0 에서 t1 사이의 시간 차로부터 OFN 드라이버(804)에 의해 구동될 때의 커서의 모션의 레이트에 직접적으로 또는 실질적으로 상관한다. 당업자라면 알 수 있듯이, 하방 움직임, 또는 좌측 및 우측 움직임 또는 스윕에 대해 동일한 모션의 레이트가 적용된다.
3D 포인팅 장치를 스크롤 모드와 UDLR 모드 사이에서 변경하는 것은 임의의 원하는 방식으로 달성될 수 있다. 일 예시적인 실시형태에 따르면, OFN 드라이버(804)는 3D 포인팅이 가능한가 아닌가에 따라 스크롤 모드와 UDLR 모드 사이에서 각각 변한다. 즉, 장치(700)가 3D 포인팅이 가능한 상태이면, 모드 컨트롤 입력(806)이 OFN 드라이버(804)를 스크롤 모드로 둔다. 혹은, 3D 포인팅이 불가능한 상태이면, 모드 컨트롤 입력(806)은 OFN 드라이버(804)를 UDLR 모드로 둔다. 장치(700)에서 3D 포인팅의 가능하게 함은, 예컨대 당해 장치 자체에 배치된 버튼을 누르는 일을 수반하거나, 모드를 전환하기 위해 임의의 다른 원하는 메커니즘이 이용될 수 있다. 그러나, 다른 실시형태들은 스크롤/UDLR 모드 스위칭을 3D 포인팅에 묶지 않고, 모드 컨트롤 입력(806)을 토글하도록 임의의 원하는 메커니즘이 이용될 수 있다.
도 9에는 OFN 드라이버(804)를 위한 하나의 예시적인 상태 머신(900)이 제시되어 있다. 코어 동작 시퀀스가 READY_상태 902에서 시작한다. 이 상태로부터, OFN 드라이버(804)는 손가락이 렌즈(802)를 덮고 있는지를 살피기 위해 주기적으로 3D 포인터 장치(700)를 조사한다. 손가락이 렌즈(802)를 덮는 경우, 이것은, 인터럽트 신호 INT 904를 주장함으로서 OFN 드라이버(804)에게 통지한다. INT 신호가 수신되면, OFN 드라이버(804)는, ACCUM_WAIT_* 상태 908과 ACCUM_상태 906 사이에서 토글링함으로써 손가락이 제거될 때까지 3D 포인터 장치(700)로부터 데이터를 주기적으로 읽는다. 손가락이 제거되면, 이행 910이 일어나고 OFN 드라이버(804)는 READY 상태 902로 돌아온다(동작이 턴 오프되어 되어 있지 않으면, 이 경우에는 SHUTDOWN_WAIT_상태로 돌아온다).
여기서, 상태 머신(900)에서 참조되는 키 액션 함수 및 신호를 아래 열거한다.
encoderstart() - 시스템은 OFN 드라이버에게 출력 생성의 개시를 알린다.
encoderStopO - 시스템은 OFN 드라이버에게 출력의 생성을 중단하고 저전력 모드로의 진행을 알린다.
TimerArm(*) - 만료되었을 때, OFN 드라이버에게 경보를 발하는 타이머를 맞춘다.
TIMER - TimerArm()에 의해 맞추어진 타이머가 만료되었음을 나타내는 신호.
Power(*) - OFN 드라이버(804)가 시스템으로부터 파워 레벨, 즉 ON 또는 OFF를 요구하고 있다.
ON/OFF - 드라이버에게 POWER(*) 요구에 응하여 ON 또는 OFF 파워 레벨이 당해 드라이버에게 승인되었음을 알리는 시스템으로부터의 응답.
Shutdown(*) - OFN 장치에 대해 셧다운 신호를 이네이블 또는 디스에이블.
Reset(*) - OFN 장치에 대해 리셋 신호를 이네이블 또는 디스에이블.
Write(*) - OFN 장치에 특정 데이터를 기입.
Read() - OFN 장치로부터 센서 계측값을 읽음.
DONE - Write() 또는 Read()가 완료되었음을 알리는 신호.
Process() 함수는 OFN 장치 데이터를 (아래에 보다 상세히 기재된) 선택된 동작 모드에 의존하여 스크롤링 입력 또는 UDLR 입력 중 하나로서 또는 무시되는 노이즈로서 해석하는 하이 레벨 기능을 행한다. 당업자라면, 도 9의 상태 머신은 순전히 설명을 위한 것으로, 다른 로직을 이용하여 본 명세서에 기재된 보다 일반적인 UDLR/스크롤 모드 스위칭을 실시할 수 있음을 알 수 있다.
설명을 위한 OFN 드라이버(900)는 스크롤 모드와 UDLR 모드 사이를 전환하는 모드 스위치(912)를 포함한다. 시스템이 "SL" 신호를 통해 스크롤링을 요구하는지의 여부에 따라, OFN 드라이버(804)는 OFN 렌즈(802) 상의 손가락 움직임을 스크롤링 커맨드로서 처리하거나 또는 UDLR 커맨드로서 처리한다.
OFN 드라이버(804)가 스크롤 모드에 있는 경우, OFN 렌즈(802)로부터 읽어낸 모든 상 또는 하 모션이 스크롤 모션으로서 보고된다. 예시적인 일 실시형태에 따르면, 좌 및 우 모션은, 무시되거나 또는 수직의 스크롤 대신에 수평의 스크롤에 대해 이용된다. OFN 모듈(800)은, 무엇보다도, 감도, 가속도, 히스테리시스와 같은, 스크롤링 또는 UDLR 동작에 대해 적절한 여러 파라미터에 대해, 예컨대, CONFIG_* 상태 914에서 OFN 드라이버(804)에 의해 컨피규어된다.
OFN 드라이버(804)가 UDLR 모드에 있으면, 이것은, 4개의 방향 중 어느 한 방향에 있어서 스레시홀드를 넘어설 때까지 모든 방향에 있어서 모션을 축적한다. 또 다른 예시적인 일 실시형태에 따르면, 원할 경우, "내측(in)"과 "외측(out)"과 같은 더 많은 방향이 있을 수 있다. 일단 스레시홀드들 중 하나를 넘어서면, 드라이버(804)는 손가락이 어느 방향 - 4 방향 경우에 있어서, 상, 하, 좌, 우 중 어느 하나 -으로 이동하였는지를 나타내는 적절한 커맨드를 전송한다. 또 다른 예시적인 일 실시형태에서는, 유저가 그의 손가락을 OFN 렌즈(802)로부터 제거할 때까지, 다른 커맨드는 보고되지 않는다. 그러므로, 여기에 기재된 OFN 드라이버(804)의 예시적인 실시형태들은 수개의 중요한 이점을 제공한다.
1. 유저가, 유저 인터페이스 지연을 부적당한 모션으로 잘못 해석함으로 인한 타겟 오버슛에 대한 방지;
2. 각각의 유저가 가정하는 커서를 이동시키기 위해 요구되는 스트로크 당 변동하는 모션량에 대한 조정; 및
3. 커서의 정확한 싱글-클릭 모션 컨트롤에 대한 허용.
본 발명자들에 의해 행해진 연구에 따르면, 전형적인 유저 동작은 UDLR 커맨드 - 각각의 플릭이 키-누름 또는 커맨드와 동등하므로 매우 간단하고, 쉬우며, 결정론적인 조작 방법 - 에 대하여 손가락에 의한 싱글 플릭이었다.
본 명세서에서 OFN 기술을 설명하였지만, 광학적 컨트롤 패드(702)는 임의의 원하는 형태를 취할 수 있으며, 임의의 원하는 기술을 이용하여, 예컨대, 유저의 엄지 손가락 등의 움직임을 검출할 수 있다. 또한, 컨트롤 패드(702)는 광학적인 것일 필요는 없으며, 터치 감응식이거나 또는 그 위에서 유저의 손가락의 움직임을 검출하고 그로부터 입력을 유도할 수 있는 임의의 기술을 사용할 수 있다.
전술한 예시적인 실시형태들에 따른 예시적인 3D 포인팅 장치에 있어서의 UDLR 모드 스위칭에 대한 설명을 제공하였으므로, 도 10은 그러한 3D 포인팅 장치와 관련된 예시적인 하드웨어 아키텍처를 도시한다. 여기서, 프로세서(1000)는 플래시 메모리(1001), OFN(1002), 바운더리 스캔 셀(조인트 테스트 액션 그룹)(JTAG)(1004), 발광 다이오드(LED)(1006), 스위치 매트릭스(1008), 적외선(IR) 포토디텍터(1010), 회전 센서(들)(1012), 가속도계(1014) 및 트랜시버(1016)를 포함한, 3D 포인팅 장치의 다른 엘리먼트와 통신한다. 플래시 메모리 장치(1001)는, 전술한 바와 같이, 예컨대 바이어스 추정 등 3D 포인팅 장치를 작동시킴에 있어 사용하기 위한 여러 가지 프로그램 및/또는 데이터를 저장하도록 프로세서(1000)에 의해 이용될 수 있다. OFN(1002)은, 전술한 바와 같이, 유저가 UDLR 또는 스크롤 입력 중 어느 하나를 인터페이스에 제공가능하게 하는 입력 컴포넌트이다. JTAG(1004)은 프로세서에 대해 프로그래밍 및 디버깅 인터페이스를 제공한다. LED(1006)는, 예컨대 버튼이 눌려졌을 때, 유저에게 시각적인 피드백을 제공한다. 스위치 매트릭스(1008)는, 예컨대 3D 포인팅 장치상의 버튼이 눌려졌거나 릴리즈되었음의 표시 등의 입력으로서 이어서 프로세서(1000)로 전달되는 입력을 수신한다. 예시적인 3D 포인팅 장치가 다른 리모트 컨트롤로부터 IR 코드를 배울 수 있도록 선택사항으로서의 광학적 IR 포토디텍터(1010)가 제공될 수 있다. 회전 센서(1012)들은, 전술한 바와 같이, 예컨대 3D 포인팅 장치의 y-축 및 z-축 회전(각속도)과 관련한 측정값을 프로세서(1000)에 제공한다. 가속도계(1014)는, 예컨대 틸트 보상을 행하도록, 또한 선형 가속도가 회전 센서(1012)들에 의해 생성된 회전 측정값 내로 도입시킨 에러를 보상하도록 사용될 수 있는, 3D 포인팅 장치의 선형 가속도와 관련한 측정값을 프로세서(1000)에 제공한다. 트랜시버(1016)는, 예컨대 시스템 컨트롤러(228)에 대한 또는 컴퓨터와 연결된 프로세서에 대한 3D 포인팅 장치와의 정보 통신을 위해 이용된다. 트랜시버(1016)는, 예컨대 근거리 무선 통신을 위해 블루투스 표준에 맞추어 동작하는 무선 트랜시버이거나 적외선 트랜시버일 수 있다. 혹은, 이들 예시적인 실시형태에 따른 3D 포인팅 장치는 유선 접속을 통해 시스템과 통신할 수도 있다.
도 11의 (a) 내지 도 11의 (c)는, 예시적인 일 실시형태에 따른, 예컨대, 3D 포인팅 장치 등, 또 다른 3D 휴대형 장치(포인팅 장치)(1100)의 여러 도면을 도시하고 있다. 여기서, OFN(1102)은 컨트롤 에리어(1104)의 중심 가까이 있는 것으로 명시적으로 도시되어 있다. 당업자라면, 이들 예시적인 실시형태들에 의해 OFN들 및 스크롤/UDLR 모드 스위칭을 포함하는 다른 산업상의 설계를 예상할 수 있을 것이다. 또 다른 예시적인 일 실시형태에 따르면, 3D 포인팅 장치(700, 1100) 중 어느 하나가 스크롤링 모드, 또는 3D 모드일 때, 하나 또는 복수의, 또는 일련의 핸드 제스처에 의해 커서의 스크롤링이 일어날 수 있다. 예를 들어, 일련의 핸드 롤링 움직임, 또는 일련의 재빠르고 시간적으로 가까운 상 그리고나서 하 모션은 커서를 위로 이동시킬 수 있고, 일련의 재빠르고 시간적으로 가까운 하 그리고나서 상 모션은 커서를 아래로 이동시킬 수 있다. 당업자라면, 스크롤링 모드를 포함하도록 많은 그러한 핸드 제스처 또는 움직임이 가능하며, 위에서 논의된 예가 제한적인 방법으로 받아들여지는 것을 의도하지 않음을 이해할 수 있다.
리모트 또는 3D 포인팅 장치는 임의의 원하는 형태를 취할 수 있으며, 예시적인 실시형태들에 따른 UDLR 모드 스위칭은 이에 제한되지 않으며, 예컨대 모바일 폰을 포함하여, UDLR 모드 또는 비-UDLR 모드에서 동작될 수 있는 애플리케이션들과 상호작용하는 임의의 장치에 제공될 수 있다.
본 발명의 예시적인 실시형태들에 따른 데이터를 처리하기 위한 시스템 및 방법은, 메모리 장치에 포함된 명령어들의 시퀀스를 실행하는 하나 또는 복수의 프로세서에 의해 수행될 수 있다. 이러한 명령어들은, 2차적 데이터 저장 장치(들)과 같은 다른 컴퓨터-판독가능한 매체로부터 메모리 장치 내로 읽어들일 수 있다. 메모리 장치에 포함된 상기 명령어들의 시퀀스의 실행은, 예컨대 위에서 설명된 바와 같이, 프로세서를 동작시킨다. 대안적인 실시형태에 있어서는, 본 발명을 실시하도록 소프트웨어 명령어들 대신에, 또는 소프트웨어 명령어들과 조합하여 하드-와이어 전기 회로망이 사용될 수도 있다. 이러한 소프트웨어는, 예컨대, 센서를 포함하는 3D 포인팅 장치나 여타의 장치 등의 당해 장치 내에 수용된 프로세서상에서 실행될 수 있거나, 또는 상기 소프트웨어는, 예컨대, 센서를 포함하는 당해 장치와 통신하는 시스템 컨트롤러, 게임 콘솔, 퍼스널 컴퓨터, 기타 등등의 다른 장치 내에 수용된 프로세서 또는 컴퓨터에서 실행될 수 있다. 이러한 경우에, 센서를 포함하는 장치와, 위에서 설명한 바와 같은 바이어스 추정 및 보상을 행하는 소프트웨어를 실행하는 프로세서를 포함한 장치 사이에서, 유선 또는 무선을 통해 데이터가 전송될 수 있다. 다른 예시적인 실시형태들에 따르면, UDLR/스크롤 모드 스위칭과 관련하여 위에서 설명한 프로세싱 중 일부는 센서를 포함하는 장치에서 수행되고, 나머지 프로세싱은 상기 센서를 포함하는 장치로부터 부분적으로 처리된 데이터를 수취한 후에 제2 장치에서 수행될 수 있다.
전술한 예시적인 실시형태들은 하나 또는 복수의 회전 센서와 하나의 가속도계를 포함하는 센싱 패키지에 관련하지만, 이들 예시적인 실시형태에 따른 바이어스 추정 기술은 이들 유형의 센서들로만 제한되지 않는다. 오히려, 본 명세서에 기재된 바와 같은 바이어스 추정 기술은, 예컨대, 오직 가속도계(들), 광학적 및 관성 센서(예컨대, 회전 센서, 자이로스코프 또는 가속도계), 자력계 및 관성 센서(예컨대, 회전 센서, 자이로스코프 또는 가속도계), 자력계 및 광학적 센서, 또는 다른 센서 조합을 포함하는 장치에 적용될 수 있다. 추가적으로, 본 명세서에 기재된 예시적인 실시형태들은 3D 포인팅 장치 및 애플리케이션의 맥락에서의 바이어스 추정에 관련하지만, 이러한 기술은 이처럼 제한되지 않으며, 예컨대, 모바일 폰, 의료적 응용, 게임, 카메라, 군사적 응용, 기타 등등의 다른 응용과 관련된 방법 및 장치에서 이용될 수도 있다.
또한, 본 명세서에 기재된 예시적인 처리는, 전체 또는 부분으로, 3D 포인팅 장치 그 자체 내에서 또는 3D 포인팅 장치의 외부에서 수행될 수 있다. 예를 들어, 가공되지 않은 센서 데이터가, 예컨대 셋탑 박스나 컴퓨터 내 등의 시스템 프로세서에 전송될 수 있고, 여기서 상기 가공되지 않은 센서 테이터는 예컨대 유저 인터페이스 스크린상에 표시되는 커서와 관련된 커서 위치를 갱신하도록 처리될 수 있다.
위에서 설명한 예시적인 실시형태들은, 모든 점에서, 본 발명을 제한하려는 것이 아니라 설명하려 의도된 것이다. 따라서, 본 발명은, 당업자에 의해 본 명세서에 포함된 설명으로부터 유도될 수 있는 상세한 실시에 있어서의 다수의 변형형태를 포함할 수 있다. 예를 들어, 전술한 예시적인 실시형태들은, 무엇보다도, 장치의 움직임을 검출하기 위한 관성 센서의 사용을 기재하고 있지만, 전술한 신호 처리와 관련하여 관성 센서들 대신에 또는 관성 센서들에 추가하여, 다른 유형의 센서들(예컨대, 초음파, 마그네틱 또는 광학)을 사용할 수도 있다. 모든 이러한 변형형태 및 수정형태들은, 이하의 특허청구범위에 의해 규정되는 바와 같이, 본 발명의 범주 및 사상 내에 있는 것으로 본다. 명시적으로 기재되지 않았다면, 본 출원 명세서에서 사용된 어떠한 엘리먼트, 행위 또는 지시도 본 발명에 결정적인 것이거나 본질적인 것으로서 해석되어서는 안 된다. 또한, 본 명세서에서 사용된 바와 같은, "단수" 표현은 하나 또는 복수의 아이템을 포함하도록 의도된다.

Claims (62)

  1. 리모트 컨트롤 장치의 컨트롤 엘리먼트를 사용하여 스크롤 커맨드 또는 상-하-좌-우(UDLR) 커맨드를 생성하는 방법으로서,
    상기 리모트 컨트롤 장치의 상기 컨트롤 엘리먼트의 표면을 가로지른 오브젝트의 움직임을 검출하는 단계;
    상기 리모트 컨트롤 장치가 스크롤 모드에서 동작하는지 또는 UDLR 모드에서 동작하는지 결정하는 단계;
    상기 리모트 컨트롤 장치가 상기 스크롤 모드에서 동작하는 조건에서, 검출된 상기 움직임에 따라 스크롤 커맨드를 생성하는 단계; 및
    상기 리모트 컨트롤 장치가 상기 UDLR 모드에서 동작하는 조건에서, 검출된 상기 움직임에 따라 UDLR 커맨드를 생성하는 단계
    를 포함하는,
    스크롤 커맨드 또는 상-하-좌-우(UDLR) 커맨드 생성 방법.
  2. 제 1 항에 있어서,
    상기 UDLR 커맨드 및 상기 스크롤 커맨드 중 임의의(any) 커맨드를 다른 장치로 송신하는 단계를 더 포함하는,
    스크롤 커맨드 또는 상-하-좌-우(UDLR) 커맨드 생성 방법.
  3. 제 1 항에 있어서,
    상기 컨트롤 엘리먼트는 광학적 핑거 네비게이션(OFN) 엘리먼트, 광학적 터치패드 및 비-광학적 장치 중 임의의 것인,
    스크롤 커맨드 또는 상-하-좌-우(UDLR) 커맨드 생성 방법.
  4. 제 1 항에 있어서,
    상기 UDLR 커맨드는 상 커맨드, 하 커맨드, 좌 커맨드 및 우 커맨드 중 임의의 커맨드인,
    스크롤 커맨드 또는 상-하-좌-우(UDLR) 커맨드 생성 방법.
  5. 제 4 항에 있어서,
    상기 UDLR 커맨드는 검출된 상기 움직임의 방향에 따라 생성되고, 상기 좌 커맨드는 좌측 스윕(swipe)이고, 상기 우 커맨드는 우측 스윕인,
    스크롤 커맨드 또는 상-하-좌-우(UDLR) 커맨드 생성 방법.
  6. 제 5 항에 있어서,
    상기 UDLR 커맨드는 검출된 상기 움직임의 거리가 상기 UDLR 커맨드의 방향에 있어서의 스레시홀드(threshold)를 초과하는 경우에 생성되는,
    스크롤 커맨드 또는 상-하-좌-우(UDLR) 커맨드 생성 방법.
  7. 리모트 컨트롤 장치를 이용하여 유저 인터페이스를 제어하는 방법으로서,
    랜덤 액세스 모드와 비-랜덤 액세스 모드 사이에서 상기 리모트 컨트롤 장치의 동작 모드를 전환(switch)하는 단계;
    상기 리모트 컨트롤 장치 상에 배치된 컨트롤 엘리먼트의 출력이:
    상기 리모트 컨트롤 장치의 동작 모드가 상기 랜덤 액세스 모드인 조건에서 스크롤 커맨드; 및
    상기 리모트 컨트롤 장치의 동작 모드가 상기 비-랜덤 액세스 모드인 조건에서 상-하-좌-우(UDLR) 커맨드
    중 임의의 것이라고 결정하는 단계를 포함하는,
    리모트 컨트롤 장치를 이용하여 유저 인터페이스를 제어하는 방법.
  8. 제 7 항에 있어서,
    상기 랜덤 액세스 모드는 포인팅 모드이고, 상기 비-랜덤 액세스 모드는 상-하-좌-우(UDLR) 모드이며,
    상기 포인팅 모드는 디스플레이 상의 임의의 위치를 포인팅하는 커맨드를 포함하고,
    상기 비-랜덤 액세스 모드는 미리 결정된 디스플레이 위치들에 대한 액세스만을 위한 커맨드를 포함하는,
    리모트 컨트롤 장치를 이용하여 유저 인터페이스를 제어하는 방법.
  9. 제 7 항에 있어서,
    상기 컨트롤 엘리먼트는 광학적 핑거 네비게이션(OFN) 엘리먼트, 광학적 터치패드 및 비-광학적 장치 중 임의의 것인,
    리모트 컨트롤 장치를 이용하여 유저 인터페이스를 제어하는 방법.
  10. 제 7 항에 있어서,
    상기 동작 모드의 전환은 상기 리모트 컨트롤 장치 및 상기 리모트 컨트롤 장치와 통신하는 시스템 컨트롤러 중 임의의 것에 의해 수행되는,
    리모트 컨트롤 장치를 이용하여 유저 인터페이스를 제어하는 방법.
  11. 리모트 컨트롤 장치로서,
    리모트 컨트롤 엘리먼트로서, 상기 리모트 컨트롤 엘리먼트의 표면을 가로지른 오브젝트의 움직임을 검출하여 검출된 상기 움직임과 관련된 움직임 데이터를 생성하도록 구성되는 리모트 컨트롤 엘리먼트; 및
    프로세서로서:
    랜덤 액세스 모드와 비-랜덤 액세스 모드 사이에서 상기 리모트 컨트롤 장치의 동작 모드를 전환하고;
    상기 리모트 컨트롤 엘리먼트로부터 상기 움직임 데이터를 수신하고;
    상기 리모트 컨트롤 장치의 동작 모드 및 상기 움직임 데이터에 기초하여 커맨드를 송신하도록 구성되는 프로세서를 포함하는,
    리모트 컨트롤 장치.
  12. 제 11 항에 있어서,
    상기 프로세서는:
    (1) 상기 동작 모드가 랜덤 액세스 모드인 조건에서 스크롤 모드 또는
    (2) 상기 동작 모드가 비-랜덤 액세스 모드인 조건에서 상-하-좌-우(UDLR) 모드
    중 임의의 모드에서 동작하도록 구성되는 것인,
    리모트 컨트롤 장치.
  13. 제 12 항에 있어서,
    상기 프로세서는 또한:
    상기 동작 모드가 랜덤 액세스 모드인 조건에서 상기 움직임 데이터에 따라 스크롤 커맨드를 생성하고;
    상기 동작 모드가 UDLR 모드인 조건에서 상기 움직임 데이터에 따라 UDLR 커맨드를 생성하도록 구성되는 것인,
    리모트 컨트롤 장치.
  14. 제 11 항에 있어서,
    상기 리모트 컨트롤 엘리먼트는 광학적 핑거 네비게이션(OFN) 엘리먼트, 광학적 터치패드 및 비-광학적 장치 중 임의의 것인,
    리모트 컨트롤 장치.
  15. 제 11 항에 있어서,
    상기 리모트 컨트롤 엘리먼트의 표면을 가로지른 검출된 움직임마다 하나의 UDLR 커맨드만이 생성되는 것인,
    리모트 컨트롤 장치.
  16. 제 11 항에 있어서,
    상기 리모트 컨트롤 엘리먼트의 표면을 가로지른 검출된 움직임마다 하나보다 많은 UDLR 커맨드가 생성되는 것인,
    리모트 컨트롤 장치.
  17. 제 11 항에 있어서,
    상기 리모트 컨트롤 엘리먼트 및 상기 프로세서 중 적어도 하나는 또한, 검출되고 축적된 움직임이 스레시홀드를 초과할 때까지, 상기 표면을 가로지른 상기 오브젝트의 검출된 상기 움직임을 축적하도록 구성되는 것인,
    리모트 컨트롤 장치.
  18. 제 17 항에 있어서,
    상기 스레시홀드는 상기 표면에 규정된 가상의 박스이거나, 가변적이거나, 상기 리모트 컨트롤 장치의 유저에 의해 설정가능하거나, 유저의 손가락의 검출된 사이즈에 응답하여 설정가능한 것 중 임의의 것인,
    리모트 컨트롤 장치.
  19. 제 11 항에 있어서,
    상기 리모트 컨트롤 장치는 상기 리모트 컨트롤 장치의 움직임을 검출하기 위한 적어도 하나의 움직임 센서를 포함하는 것인,
    리모트 컨트롤 장치.
  20. 리모트 컨트롤 장치로서,
    컨트롤 엘리먼트로서,
    상기 컨트롤 엘리먼트의 표면을 가로지른 오브젝트의 움직임을 검출하고;
    검출된 상기 움직임에 따라 움직임 데이터를 생성하도록 구성되는 컨트롤 엘리먼트; 및
    프로세서로서:
    랜덤 액세스 모드와 비-랜덤 액세스 모드 사이에서 상기 리모트 컨트롤 장치의 동작 모드를 전환하고;
    상기 컨트롤 엘리먼트로부터 상기 움직임 데이터를 수신하고;
    상기 움직임 데이터와 관련된 커맨드가:
    (1) 상기 리모트 컨트롤 장치의 동작 모드가 랜덤 액세스 모드인 조건에서 스크롤 커맨드, 또는
    (2) 상기 리모트 컨트롤 장치의 동작 모드가 비-랜덤 액세스 모드인 조건에서 상-하-좌-우(UDLR) 커맨드
    중 임의의 것이라고 결정하도록 구성되는 프로세서를 포함하는,
    리모트 컨트롤 장치.
  21. 제 20 항에 있어서,
    다른 장치로 상기 커맨드를 송신하도록 구성된 송신기를 더 포함하는,
    리모트 컨트롤 장치.
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
  48. 삭제
  49. 삭제
  50. 삭제
  51. 삭제
  52. 삭제
  53. 삭제
  54. 삭제
  55. 삭제
  56. 삭제
  57. 삭제
  58. 삭제
  59. 삭제
  60. 삭제
  61. 삭제
  62. 삭제
KR1020137016357A 2010-11-22 2011-11-21 상-하-좌-우 모드 스위칭 및 통합형 스윕 검출기를 구비한 3d 포인팅 장치 KR101929595B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US41602510P 2010-11-22 2010-11-22
US61/416,025 2010-11-22
US201061427562P 2010-12-28 2010-12-28
US61/427,562 2010-12-28
PCT/US2011/061667 WO2012071334A2 (en) 2010-11-22 2011-11-21 3d pointing device with up-down-left-right mode switching and integrated swipe detector

Publications (2)

Publication Number Publication Date
KR20140020841A KR20140020841A (ko) 2014-02-19
KR101929595B1 true KR101929595B1 (ko) 2018-12-14

Family

ID=46146376

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137016357A KR101929595B1 (ko) 2010-11-22 2011-11-21 상-하-좌-우 모드 스위칭 및 통합형 스윕 검출기를 구비한 3d 포인팅 장치

Country Status (4)

Country Link
EP (2) EP3333677B1 (ko)
KR (1) KR101929595B1 (ko)
CN (2) CN107943403B (ko)
WO (1) WO2012071334A2 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201408258D0 (en) 2014-05-09 2014-06-25 British Sky Broadcasting Ltd Television display and remote control
GB2544116B (en) 2015-11-09 2020-07-29 Sky Cp Ltd Television user interface
CN106055131B (zh) * 2016-07-25 2019-01-25 吉林大学 一种智能环形鼠标
SG11201906259UA (en) * 2017-01-10 2019-08-27 Razer Asia Pacific Pte Ltd Input devices and methods for providing a scrolling input to an application
CN114054124B (zh) * 2021-10-22 2023-01-10 迈克医疗电子有限公司 试管架定位方法、样本传输装置及存储介质
CN118203825A (zh) * 2024-05-17 2024-06-18 深圳铅笔视界科技有限公司 基于环形手柄的交互方法及环形手柄

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060197744A1 (en) * 2001-04-10 2006-09-07 Logitech Europe S.A. Hybrid presentation controller and computer input device
JP2009245199A (ja) * 2008-03-31 2009-10-22 Hitachi Ltd カーソルの操作装置及び方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10198522A (ja) * 1997-01-08 1998-07-31 Fuji Xerox Co Ltd 入力制御装置及び該装置におけるコマンド選択支援方法
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US7586398B2 (en) * 1998-07-23 2009-09-08 Universal Electronics, Inc. System and method for setting up a universal remote control
US6876312B2 (en) * 2001-07-10 2005-04-05 Behavior Tech Computer Corporation Keyboard with multi-function keys
US20050134578A1 (en) * 2001-07-13 2005-06-23 Universal Electronics Inc. System and methods for interacting with a control environment
US7358963B2 (en) * 2002-09-09 2008-04-15 Apple Inc. Mouse having an optically-based scrolling feature
KR100493879B1 (ko) * 2002-10-04 2005-06-10 삼성전자주식회사 통합 리모컨의 제어방법
US7233316B2 (en) * 2003-05-01 2007-06-19 Thomson Licensing Multimedia user interface
CN100454220C (zh) * 2003-05-08 2009-01-21 希尔克瑞斯特实验室公司 用于组织、选择和启动媒体项的控制架构
US7209116B2 (en) * 2003-10-08 2007-04-24 Universal Electronics Inc. Control device having integrated mouse and remote control capabilities
US7545362B2 (en) * 2004-02-26 2009-06-09 Microsoft Corporation Multi-modal navigation in a graphical user interface computing system
WO2005108119A2 (en) 2004-04-30 2005-11-17 Hillcrest Laboratories, Inc. Free space pointing devices with tilt compensation and improved usability
US7432916B2 (en) * 2004-12-09 2008-10-07 Universal Electronics, Inc. Controlling device with dual-mode, touch-sensitive display
US8935630B2 (en) * 2005-05-04 2015-01-13 Hillcrest Laboratories, Inc. Methods and systems for scrolling and pointing in user interfaces
EP1902350A1 (en) * 2005-07-04 2008-03-26 Bang & Olufsen A/S A unit, an assembly and a method for controlling in a dynamic egocentric interactive space
US7118518B1 (en) 2005-08-11 2006-10-10 Teeter Roger C Hand grip for tilting inversion exercise table
US8866750B2 (en) * 2006-04-10 2014-10-21 Microsoft Corporation Universal user interface device
CN101632299B (zh) * 2007-04-24 2012-05-09 深圳Tcl新技术有限公司 带有手动触发元件的电视机遥控器系统和遥控方法
CN101335845B (zh) * 2007-06-28 2012-02-08 深圳Tcl新技术有限公司 一种电视遥控系统
US7860676B2 (en) 2007-06-28 2010-12-28 Hillcrest Laboratories, Inc. Real-time dynamic tracking of bias
US8341544B2 (en) * 2007-12-14 2012-12-25 Apple Inc. Scroll bar with video region in a media system
KR20090065040A (ko) * 2007-12-17 2009-06-22 삼성전자주식회사 동작과 터치를 이용한 이중 포인팅 장치 및 방법
US7855843B2 (en) 2008-02-07 2010-12-21 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Optical finger navigation device with a folded air lens
KR101566356B1 (ko) * 2008-05-15 2015-11-05 엘지전자 주식회사 3ｄ 가속도 센서를 구비한 3ｄ 포인팅 디바이스 및 이를이용한 포인터 제어 정보의 생성 방법과, 전자 기기 및전자 기기의 포인터 제어 방법과 전자 기기의 기능 실행방법
JP5866199B2 (ja) * 2008-07-01 2016-02-17 ヒルクレスト・ラボラトリーズ・インコーポレイテッド ３ｄポインタマッピング
CN201270559Y (zh) * 2008-09-26 2009-07-08 任宝刚 一种遥控装置
US8212794B2 (en) * 2008-09-30 2012-07-03 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Optical finger navigation utilizing quantized movement information
CN101854496A (zh) * 2010-04-28 2010-10-06 青岛海信电器股份有限公司 电视机控制方法、遥控器及电视机

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060197744A1 (en) * 2001-04-10 2006-09-07 Logitech Europe S.A. Hybrid presentation controller and computer input device
JP2009245199A (ja) * 2008-03-31 2009-10-22 Hitachi Ltd カーソルの操作装置及び方法

Also Published As

Publication number Publication date
WO2012071334A3 (en) 2012-12-27
EP3333677A1 (en) 2018-06-13
CN107943403B (zh) 2022-11-01
EP2643743A4 (en) 2014-06-25
CN103314350A (zh) 2013-09-18
CN107943403A (zh) 2018-04-20
WO2012071334A2 (en) 2012-05-31
EP3333677B1 (en) 2024-02-14
EP2643743A2 (en) 2013-10-02
KR20140020841A (ko) 2014-02-19

Similar Documents

Publication Publication Date Title
US10545577B2 (en) 3D pointing device with up-down-left-right mode switching and integrated swipe detector
KR101929595B1 (ko) 상-하-좌-우 모드 스위칭 및 통합형 스윕 검출기를 구비한 3d 포인팅 장치
US7489299B2 (en) User interface devices and methods employing accelerometers
US9414125B2 (en) Remote control device
US9411428B2 (en) 3D pointing devices with keyboards
DK2337016T3 (en) Free space pointing device with slope compensation and improved applicability
CN108664156B (zh) 3d定位器映射
EP2801215B1 (en) Image display apparatus and method for operating the same
US20150264439A1 (en) Context awareness for smart televisions
EP2667627A2 (en) Image display apparatus and method for operating the same
US20070113207A1 (en) Methods and systems for gesture classification in 3D pointing devices
KR101821781B1 (ko) 핸드헬드 디바이스의 포워드 포인팅 방향의 결정
WO2005109215A2 (en) Methods and devices for removing unintentional movement in free space pointing devices
US20130057465A1 (en) Image display apparatus, remote controller, and method for operating the same
EP3236643B1 (en) Content transmission device and mobile terminal
US20190384421A1 (en) Latency masking systems and methods
US9400568B2 (en) Method for operating image display apparatus
KR101663833B1 (ko) 공간 리모컨을 이용한 디스플레이장치 및 그의 제어 방법
KR101980546B1 (ko) 영상표시장치의 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant