KR100946680B1 - 개선된 무선제어장치 - Google Patents

개선된 무선제어장치 Download PDF

Info

Publication number
KR100946680B1
KR100946680B1 KR1020047003417A KR20047003417A KR100946680B1 KR 100946680 B1 KR100946680 B1 KR 100946680B1 KR 1020047003417 A KR1020047003417 A KR 1020047003417A KR 20047003417 A KR20047003417 A KR 20047003417A KR 100946680 B1 KR100946680 B1 KR 100946680B1
Authority
KR
South Korea
Prior art keywords
emitter
operator
motion
hand
gesture
Prior art date
Application number
KR1020047003417A
Other languages
English (en)
Other versions
KR20040047810A (ko
Inventor
호워드로버트비.
Original Assignee
하모닉 리서치 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 하모닉 리서치 인코포레이티드 filed Critical 하모닉 리서치 인코포레이티드
Publication of KR20040047810A publication Critical patent/KR20040047810A/ko
Application granted granted Critical
Publication of KR100946680B1 publication Critical patent/KR100946680B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G06F3/0423—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen using sweeping light beams, e.g. using rotating or vibrating mirror
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/221—Keyboards, i.e. configuration of several keys or key-like input devices relative to one another
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/321—Garment sensors, i.e. musical control means with trigger surfaces or joint angle sensors, worn as a garment by the player, e.g. bracelet, intelligent clothing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/405—Beam sensing or control, i.e. input interfaces involving substantially immaterial beams, radiation, or fields of any nature, used, e.g. as a switch as in a light barrier, or as a control device, e.g. using the theremin electric field sensing principle
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/201—Physical layer or hardware aspects of transmission to or from an electrophonic musical instrument, e.g. voltage levels, bit streams, code words or symbols over a physical link connecting network nodes or instruments
    • G10H2240/211—Wireless transmission, e.g. of music parameters or control data by radio, infrared or ultrasound

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)

Abstract

무선 제어 장치는 오퍼레이터의 허리에 걸쳐진 작고 가벼운 하우징과 제어 장치를 포함한다. 몇가지 광학 에미터, 바람직하게는 발광 다이오드가 적외선 범위 내에서 동작을 하고, 몇가지 광학 디텍터가 하우징에 제공된다. 적어도 한쌍의 x축 에미터-디텍터가 x방향의 포인팅 모션 또는 제스처를 검출하고, 적어도 한쌍의 y축 에미터-디텍터가 y방향의 포인팅 모션 또는 제스처를 검출한다. 이 모션은 그리고나서 제어장치에 반응을 일으킬 수 있다. 예를들어, 허리부위에 있는 오퍼레이터의 손의 각도는 컴퓨터 스크린 상의 커서의 이동을 유발하는 것으로 해석될 수 있다. 또한, 장치는 모션 센서, 환경 상태 센서 또는 음성 인식 센서를 포함할 수 있으며, 제스처 인식과 이미지 스캐닝 응용에도 적용될 수 있다.

Description

개선된 무선제어장치{IMPROVED WIRELESS CONTROL DEVICE}
참조문서
본 출원은 미국 가특허출원 제60/040,502호에 기초하여 우선권을 주장하면서 1998년 3월 6일자로 출원된 미국특허출원 제09/035,983호 - 미국 특허등록 제6,097,374호- 와 미국 가특허출원 제60/159,611호에 기초하여 우선권을 주장하면서 2000년 10월 13일자로 출원된 미국 특허출원 제09/689,659호에 관련되며, 그 모든 것이 참조상 본 명세서에 완전히 병합된다.
본 발명은 일반적으로 사용자와 피제어장치 사이에 인터페이스를 제공하는 휴대용 선택적 데이터캡처 및 선택적 제어장치에 관한 것이며, 더욱 구체적으로는 사용자에게 행동의 자유를 제공하고 사용자가 다른 활동을 하는데 있어서 간섭을 최소화 하면서 데이터 프로세서, 악기, 통신 디바이스 등과 같은 디바이스에 데이터 또는 제어입력을 제공하는 장치에 관한 것이다.
복수의 기능을 갖는 대부분의 기계장치와 전기장치는 사용자에게 상기 복수의 기능 중에서 하나를 선택하고 선택된 기능을 개시하고 종료시키는 제어권을 제공할 필요가 있다. 일반적으로, 임의의 규모를 갖는 키패드 또는 키보드의 복수 버튼은 통신하고자 하는 사용자 선택 및/또는 디바이스에 대한 제어를 위한 선택장 치였었다. 최근, 포인팅 디바이스 및 음성응답시스템과 같은 다른 장치가 상대적으로 광범위하게 사용되고 있다. 또한, 몇몇 시스템은 사용자에 관련된 생리적 정보와 같은 수집된 데이터에 의해서 제공되는 제어 및/또는 선택을 제공한다. 예를 들면, 선택 또는 제어를 위해 키스토록과 같은 똑같은 방식으로 사용될 수 있는 신호를 발생시키기 위해서 눈의 움직임이나 신경계의 활동(예: EEG, EKG, 혈압, 전기신경근육활동 등)이 모니터 될 수 있다. 그러나, 일반적으로 대안적인 입력장치는 단독으로 또는 키보드의 보충으로서 상호 배타적으로 사용될 수 있는 독립형으로서 구현되어 왔다.
그러나, 키보드는 일반적으로 사용자인 인간이 장시간 동안 활용하기에는 잘 맞지 않으며, 위에서 언급된 것과 같은 대안적인 장치들은 어느 정도의 불편함과, 느린 응답, 상당한 사용자 훈련 및 적응, 및/또는 상당한 데이터처리 자원을 일반적으로 포함한다. 인간의 사용을 수용하는데 있어서 인간환경공학적인 특징이 제공하는 개선에는 한계가 있다. 또한, 휴대가 가능하거나 착용할 수 있는 몇몇 디바이스가 알려져 있지만, 그것들은 개인용 컴퓨터의 독립된 키보드와 마우스 또는 기타 포인팅 디바이스와 같이 단일 장치에 대한 한가지 형태의 입력 전용이다. 예를 들면, 마우스에서 사용되는 것과 같은 회전부재가 키보드의 하부에 장착되어 키보드 전체를 표면을 따라 슬라이딩시키므로써 포인팅이 제어되는 장치가 알려져 있으며, 포인팅과 데이터 입력 기능 양자의 편리를 절충한다.
한가지 눈에 띄는 예외가 본 발명의 발명자에게 특허가 부여된 것으로서 상기에서 본 명세서에 병합된 미국특허 제6,097,374호에 개시되어 있다. 상기 미국 특허에 개시된 바와 같이, 작고 가벼운 하우징(housing)은 바람직하게는 손목에 착용되고 복수의 방향성 발광 디바이스를 포함한다. 상기 하우징은 거의 선형 배열된 방향성 리셉터를 지지하고 그것에 거의 직교하는 광을 수광하며, 상기 리셉터는 발광 방향에 대체로 평행하게 연장한다; 따라서 상기 방향성 에미터 및 리셉터에 의해서 정해진 매트릭스내의 임의의 로케이션으로 손가락이나 다른 부가물이 이동될 때 각각의 다른 것으로부터 감시되고 구별될 수 있는 로케이션 매트릭스을 제공한다.
이 장치는 또한 포인팅 디바이스를 제어하는 손동작(예를 들어 방향, 속도 등)에 반응하여 포인팅 디바이스를 제어하거나, 볼륨 또는 템포와 같은 다른 입력 파라미터를 MIDI(musical instrument digital interface), 필요한 경우 마이크 및 음성 또는 다른 음성신호입력을 수신하는 관련 회로에 제공하기 위해서 적어도 두 방향에 동작센서를 포함한다. 이들 장치에 의해서 생성된 모든 정보는, 텔레비전이나 다른 전기기기용 원격제어장치의 변조된 광 또는 무선통신 링크에 의해 또다른 장치나 개인용 컴퓨터나 악기 등과 같은 베이스 스테이션으로 통신된다.
그러나, 이러한 관련 디바이스 조차도 다른 기존 디바이스와 마찬가지로 성능상 한계가 잠재되어 있다. 예를 들면, 포인팅 어플리케이션에서 손동작을 추적하기 위해 가속도계나 자이로스코프와 같은 동작센서를 사용하는 커서를 제어하기 위해서 손동작을 크고 과장되게 할 필요가 있다. 그 결과, 상기 포인팅 어플리케이션에 필요한 동작범위를 용이하게 하기 위해서는 팔에 의해서 손이 지지되어야 한다. 이것은 사용자를 아주 불편하고 피로하게 한다. 또한, 기존의 컴퓨터 마우스를 사 용하여 얻을 수 있는 세밀한 커서제어 감각을 제공하지 못한다. 더구나, 기존의 디바이스는 일반적으로 문자수준의 데이터 입력에 한정되며, 이러한 데이터 입력은 손 방위에 아주 민감하다. 이것은 기존 디바이스의 유용성을 더욱 제한한다.
본 발명의 목적은 병합된 미국 특허등록 제6,097,379호에서 공개되고 청구된 발명을 구조, 정보획득, 기능, 및 적응성 면에서 더욱 다양한 개선을 제공하는 것이다.
본 발명의 다른 목적은 미국 특허 등록 제6,097,379호의 발명의 기능과 사용자의 다른 활동들을 증가시키는 편의를 제공하는 추가적인 기능을 제공한다.
본 발명의 또 다른 목적은 사용자가 편안하고 정확하게 포인팅 어플리케이션을 제어할 수 있도록 하는 무선 제어 장치를 제공한다.
본 발명의 또 다른 목적은 사용자에 의해 수행된 제스처를 해석하고 검출할 수 있는 무선 제어 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 사용자의 신체 부위 또는 사용자의 위치에 독립적인 입력을 받아들일 수 있는 무선 제어 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 본질적으로 안전한 작동을 할 수 있는 입력장치를 제공하는 것이다.
본 발명의 또 다른 목적은 추가적인 자유도와 대응하는 추가적인 입력정보 형태를 검출할 수 있는 입력장치를 제공하는 것이다.
본 발명의 여러가지 목적을 달성하기 위하여, 오퍼레이터가 걸친 작고 가벼 운 하우징과 제어 장치(예를 들어, 개인용 컴퓨터)를 제공하는 것이다. 보다 바람직하게는 적외선 범위 내에서 작동하는 발광다이오드와 몇가지 광학 디텍터를 하우징 상에 제공할 수 있다. 에미터와 디텍터는 장치가 진행/비진행 동작을 하도록 1개의 평면에서 제공될 수 있다. 대안으로, 에미터와 디텍터는 하우징 상의 2개의 평면에 배치되어, 장치가 손 위치와 방향을 결정하게 할 수 있다. 적어도 한쌍의 x축 에미터-디텍터는 x방향의 포인팅 모션 또는 제스처를 검출하도록 동작하고, 적어도 한쌍의 y축 에미터-디텍터는 y방향의 포인팅 모션 또는 제스처를 검출한다. 본 발명의 보다 바람직한 실시예에서, 하우징은 오퍼레이터의 허리에 걸쳐지고, 에미터-디텍터 쌍은 허리 부위에 있는 오퍼레이터의 손의 각도를 검출한다. 그리고 나서 이 모션은 제어장치에 응답을 보낸다. 예를들어, 포인팅 모션 또는 제스처는 마치 오퍼레이터가 종래의 컴퓨터 마우스를 사용하듯이 컴퓨터 스크린 상의 커서의 이동에 대응된다. 이 광학 포인팅 실시예는 조이스틱과 같은 방식이거나 마우스와 같은 포인팅 스트로크 방식으로 작동할 수 있다. 하우징은 또한 광학적으로 모션 디텍터(예를들어, 가속도계, 자이로스코프, 환경 상태 센서 또는 음성 인식 센서 등)를 포함할 수 있다.
본 발명은 또한, - 예를들어 손 위치의 타임 도메인 분석과 이미지 인식 능력을 결합하여 - 제스처 인식용으로 사용될 수 있다. 손 모션은 시간에 걸쳐 일련의 손 이미지로서 정해질 수 있고, 그리고나서 룩업(lookup) 테이블처럼 기능을 하는 콘텐츠에 주소지정가능한 메모리 내에 이미지로서 저장된 제스처처럼, 미리 프로그래밍된 제스처와 결합될 수 있다. 제스처 인식은 본 발명이 문자(character) 단계 데이터 입력 뿐만 아니라 단어(word) 및 구(phrase)단계 데이터 입력으로 사용될 수 있게 한다. 또한, 제스처 인식은 문맥(context)에 민감하게 할 수 있다. 예를들어, 동일한 제스처가 다른 반응을 초래하는 다른 문맥에서 수행하도록, 또는 심지어 전혀 다른 제어장치에서 반응하도록 할 수 있다. 제스처 인식 능력은 또한 사용자가 바라는 대로 장치가 온(on) 또는 오프(off)되도록 요청 모드를 구현할 수 있게 한다.
또한, 본 발명은 2차원 또는 3차원으로 이미지를 스캔하도록 고려된다. 이 오버 스캐닝 특성은 사용자가 장치의 물리적인 특성들을 요구하는 것보다는 사용자의 생리적인 형상에 특별히 학습되고 적응되도록 사용될 수 있다. 또한, 이것은 실시간 사용 또는 기록 사용을 위한 사용자의 신체의 부위 이외에 관심의 대상이 되는 물체를 스캔하기 위해 사용될 수 있다.
장치가 물리적인 장치와 어떠한 접촉도 없이 데이터 입력 및 커서 제어를 할 수 있기 때문에, 본 발명은 깨끗한 환경조건에서 사용하는 게 적합하다. 또한, 기계적인 상호작용이 없기 때문에, 스파크의 가능성이 없으며, 본 발명을 가연성의 조건에서 사용하기에 적합하도록 한다. 추가적으로, 장치는 손목터널증후군이나 반복적인 스트레스 상해와 같은 어떠한 의학적 조건을 피하고, 다양한 물리적 핸디캡을 가지고 사용할 수 있게 한다.
전술한 바 및 다른 목적, 측면 및 이점은 도면을 참조하면서 이하에 제시된 본 발명의 바람직한 실시예에 대한 상세한 설명으로부터 보다 잘 이해될 것이다.
도 1은 본 발명의 예시적 응용예이고,
도 2는 본 발명의 몇몇 주된 요소를 예시하고 있으며,
도 3은 광학 포인팅에 사용되는 본 발명의 실시예를 예시하고,
도 4는 동작 인식에 대한 본 발명의 이용을 예시하며,
도 5는 본 발명의 트랙킹 광학 실시예를 예시하고 있다.
도면을 참조하면, 보다 구체적으로는 도 1과 2를 참조하면, 개선된 무선 제어 장치(10)의 전형적이며 일반적인 응용예가 도시되어 있다. 오퍼레이터(20)는 작고 경량의 하우징(22)을 적어도 하나의 손목이나 신체상의 다른 편리한 위치에 착용한다. 손목은 키보드를 작동하는데 일반적으로 사용될 수 있는 손가락에 대한 근사로서 바람직하다. 그러나 본 발명은 편리함, 신체적 장애 등의 방식으로 오퍼레이터를 수용하고자 하는 기본적 동작 원칙에 따라 자유롭게 수정될 수 있다. 제어 장치(24)가 제공되며, 코딩된 신호의 전송에 적합한 빛이나 임의의 다른 에너지 형태에 대한 센서(26)를 포함한다. 제어 장치(24)는 이하에서 일반성을 위해 기지국(base station)으로 칭하며, 코딩된 신호(30)의 수신과 그 내용물의 인식을 확증하기 위해 바람직하게는 디스플레이 또는 비퍼나 음성 합성기와 같은 오디오 표시기와 같은 트랜스듀서(28)를 또한 포함한다. 또는, 표시기는 하우징(22)내에 있을 수 있으며, 베이스 유닛(24)으로부터의 광신호에 응답할 수 있다(즉, 하우징(22)은 신호가 수신될 때 비프음을 방출할 수 있다).
도 2에 일반적으로 도시되고 앞에서 참조된 관련 특허 및 출원에 보다 상세히 설명되어 있는 바와 같이, 바람직하게는 적외선 범위에서 작동하는 발광 다이오드(LED)인 하우징(22) 상의 에미터(32)는 일반적으로 오퍼레이터의 손바닥에 평행하게 제한된 연속된 각도(solid angle)로, 잘 정의된 에너지의 빔(34)을 투사한다. 빔의 연속된 각도는 바람직하게는 조사된 영역이 오퍼레이터의 손끝보다 더 가까운 하우징(22)으로부터의 거리에서 겹쳐지지 않도록 제한된다. 그리하여, 키보드상의 키를 누르는 것과 유사한 동작에 있어서의 손가락의 움직임과 같은 오퍼레이터의 손의 움직임은 오퍼레이터의 손가락끝이 빔(34)에 의해 조사되게 만들 것이다. 이러한 조사(illumination)는 오퍼레이터의 손가락끝으로부터 반사되고(34a), 또한 하우징(22)상에 있는 디텍터(36)에 의해 검출된다. 그리하여, 빛의 반사된 빔(34a)과 빛의 방출된 빔(34)간의 상관관계에 의해, 손가락이나 다른 물체의 배치는 검출될 수 있을 뿐아니라 다른 임의의 위치로부터 구별될 수 있고, 적절히 코딩된 신호(30)는 하우징(22)으로부터 기지국(24)으로 전송될 수 있다. 코딩된 신호(30)는 에미터(32) 중의 하나나 분리된 신호 에미터(38)에 의해 전송될 수 있다.
시간-다중화된 방식으로 연속적으로 에미터(32)에 전압을 가하는 것이 단순함을 위해 바람직하지만, 반사된 빔(34a)은 주파수 변조나 펄스폭 코딩과 같은 다른 방편에 의해 구별될 수 있음은 당업자에게 인식될 것이다. 장치(10)의 의도된 사용에 따라, 하우징(22)은 공간에서의 오퍼레이터(20)의 신체 부분의 움직임을 검출하기 위한 가속도계나 자이로스코프와 같은 동작 센서(40) 및 환경 상태 센서(42)를 선택적으로 포함할 수 있다. 환경 상태 센서(42)는 장치(10)의 특정한 응용에 필요할 때, 혈압, 습도, 온도, 기압 - 이것들에 한정되지는 않지만 - 을 포 함하는 임의의 갯수의 환경 또는 생리학적 상태를 측정하도록 수정될 수 있다. 음성 인식 센서(43)도 또한 제공될 수 있다.
도 3은 개인용 컴퓨터 이용자에게 익숙한 마우스와 매우 비슷한 방식으로, 컴퓨터 스크린상의 커서의 움직임을 위한 것과 같은 광학적 포인팅을 위해 수정된 장치(10)의 실시예를 예시하고 있다(즉, 손목에서의 손의 각도에 기초하여). 그러나, 당업자는 본 발명의 광학적 포인팅 어플리케이션은 커서 포인팅에 제한되지 않는다는 것을 충분히 이해할 것이다. 적어도 하나의 x-축 에미터-디텍터쌍(44)은 팬(fan) 모양의 x-축 빔(48)내에서 손날(즉, 새끼손가락의 반대편에 있는 손의 에지)을 조사하도록 방향지워진다. 유사하게, y-축 에미터-디텍터쌍(46)에 있는 에미터는 팬 모양의 y-축 빔(50)내에서 손의 뒤꿈치를 조사하도록 방향지워진다. 팬 모양의 빔(48, 50)의 이용은 아래에 설명되는 바와 같이, 손목 각도의 측정에 대한 손 표면의 수직 운동의 영향을 감소시킨다. 이 조사는 손으로부터 반사되어 에미터-디텍터쌍(44, 46)의 디텍터쪽으로 되돌아 간다: 손날에서 반사된 빛은 x-축 쌍(44)에 있는 디텍터에 의해 검출되고, 손의 뒤꿈치에 의해 반사된 빛은 y-축 쌍(46)에 있는 디텍터에 의해 검출된다. 장치(10)는 이후 전술한 방식과 같이, 반사된 빔(48, 50)의 크기를 특정 손 위치로 해석하고, 그에 상응하는 커서의 움직임을 개시할 수 있다.
손목에서의 손의 각도는 각각 쌍(44, 46)의 디텍터에 의해 검출된 빔의 반사(48, 50)의 크기를 결정하며, 검출된 크기는 이후 응답하는 커서 이동의 방향과 지속기간을 결정한다. 예를 들면, 오퍼레이터(20)가 그의 손을 손목에서 바깥쪽 으로 각도를 줄 때(즉, 화살표 a의 방향으로, 새끼손가락과 팔뚝간의 각도를 감소시키면서), x-축 쌍(44)에 의해 검출된 반사의 크기는 증가하고, x-축 방향에서의 상응하는 커서의 움직임이 발생한다. 유사하게, 오퍼레이터(20)가 그의 손을 손목에서 위쪽으로 각도를 줄 때(즉, 화살표 b의 방향에 있는 종이의 평면 안으로, 손등과 팔뚝간의 각도를 감소시키면서), y-축 쌍(46)에 의해 검출된 반사의 크기는 감소하며, y-방향으로 커서의 상응하는 움직임을 야기한다.
장치(10)가 사용될 때 커서의 의도되지 않은 움직임을 제거하기 위한 다양한 방법이 사용될 수 있다. 예를 들면, 반사된 빔(48, 50)의 크기는 손의 무의식적인, 사소한 움직임과 같은 배경 잡음을 감소시키기 위해서 시간-평균된다. 추가적으로, 임계값이 x-, y-, x-방향으로 설정될 수 있으며, 이 수치 아래에서는 어떠한 움직임도 커서에 전달되지 않으며, 그리하여 커서가 손의 사소한 움직임에 응답하는 가능성을 추가적으로 감소시킨다. 오디오 또는 음성 발동, 또는 특정한 팔의 움직임(예를 들면 마우스를 향해 손을 뻗는 것과 같은)이 대안적으로 이용될 수 있거나 아래에서 설명되는 요청 모드를 이용하는 것과 결합하여 사용될 수 있다. 특정한 움직임이나 동작에 대한 적절한 응답은 당업자에게 익숙한 바과 같은 임의의 적응적 배치를 이용함으로써 개발될 수 있다.
환경의 간섭과 시스템 잡음을 막으면서도 진폭을 측정하는 동안에 일관성 있는 결과를 산출하도록 상관관계 기술이 이용될 수 있다. 예를 들면, 형광등과 같은 고조파 간섭에 대한 민감도는 예를 들면, 스캐닝되는 활성 LED 에미터를 구동하고 반사된 빛의 크기를 복호화하기 위해서 의사-랜덤 시퀀스를 이용하여 평균 "온(on)" 진폭 대 평균 "오프(off)" 진폭을 결정함으로써 감소시킬 수 있다.
팔의 동작을 검출하는 가속도계나 자이로스코프 대신에 손의 움직임을 검출하는 광학 에미터-디텍터쌍(44, 46)을 이용함으로써, 본 발명은 현존하는 장치에 대해서 많은 이점을 성취한다. 예를 들면, 커서의 움직임을 손목에서의 손의 각도에 민감하게 만듦으로써 광학적 포인팅이 사용자에게 제어의 보다 미세한 감각을 주기 때문에, 컴퓨터 스크린 상에서의 커서의 움직임을 유발하기 위해서 광범위하고 과장된 손의 움직임이 더 이상 필요하지 않다. 따라서, 본 발명은 공간에서 손을 지탱하기 위해 사용되기 보다는 휴식하는 위치에 있는 팔뚝과 함께 이용될 수 있다. 이것은 만약 포함된다면 움직임 센서로 하여금 소정의 목적을 위해 추가적인 입력 데이터를 제공하도록 허용하면서, 덜 피로하고 사용자에게 더욱 편리할뿐만 아니라, 종래의 컴퓨터 마우스의 경우에서와 같이, 커서에 대한 훨씬 더 정밀한 제어를 사용자에게 준다. 광학적 에미터-디텍터쌍(44, 46)이, 가속도계와 자이로스코프가 그러하듯이, 지구의 중력 그리고 결과적으로 해발고도에 민감하지 않다는 사실에 의해 정밀도는 추가적으로 향상된다. 추가적으로, 본 발명의 광학적 포인팅 실시예는 가속도계나 자이로스코프를 이용하는 현존하는 장치에 비해 훨씬 더 싸다. 그러나, 단지 손목에서 손의 각도만이 아니라 전체 손의 움직임을 트랙킹하는 것이 바람직한 응용에서는, 앞에서 언급한 바와 같이, 훨씬 더 큰 융통성을 성취하기 위해서 본 발명의 광학적 포인팅 실시예와 결합되어 가속도계나 자이로스코프가 이용될 수 있다는 것이 당업자는 인식할 것이다.
전술한 바와 같이, 본 발명의 광학적 포인팅 실시예는 유사-조이스틱 모드에 서 동작한다. 즉, 손은 홈 위치를 가지며, x- 또는 y-방향으로 홈 위치로부터의 이탈은 손이 홈 위치로 복귀할 때까지 중단되지 않을 커서의 상응하는 움직임을 시작한다. 손이 자연스럽게 편안한 홈 위치를 갖는 반면에, 이러한 유사-조이스틱 광학적 포인팅 방법은, 마우스 커서가 컴퓨터 스크린상에서 소정의 위치에 안착하는 것을 확실히 하기 위해 정확한 시간과 정밀한 동작이 요구되기 때문에, 선천적으로 사용자에게 너무 많은 것을 요구한다.
따라서, 본 발명은 포인팅 스트로크를 생성함으로써 유사-마우스 방식으로 동작하도록 또한 수정될 수 있다. 포인팅 스트로크 동작은 손의 임의의 랜덤 휴식 위치로부터 손의 임의의 소정의 종결 위치로의 편향에 의해 생성된 이동 벡터를 컴퓨터 스크린상에서의 커서 이동의 스트로크로 변환한다. 예를 들면, 사용자의 손이 도 2에 도시된 위치 - 이것은 시각 t1에서 전술한 홈 위치에 상응할 수도 있고 아닐 수도 있다 - 에 있다고 가정하자. 추가로, 사용자는 이후 시각 t2에서 화살표 a 방향에 있는 자신의 손을 다른 위치로 옮겼다고 가정하자. 장치(10)는 전술한 바와 같이, 시각 t1과 t2에서 반사된 빔(48)의 각각의 크기를 시각 t1과 t2 에서의 손의 위치로 분해하고, 이후 시각 t1으로부터 t2까지의 손에 대한 이동 벡터로 분해한다. 이후 이동 벡터는 손이 홈 위치로 복귀할 때까지 계속되기 보다는 종결 위치에서 0으로 감소하고, 마치 손가락이나 손에 쥔 스타일러스가 스크린상의 커서의 움직임을 지시하고 있는 것처럼, 시각 t1으로부터 t2까지의 손의 움직임을 모방하는 컴퓨 터 스크린상에서의 커서의 동작을 야기하는 움직임의 상응하는 스트로크로 분해된다. 즉, 커서는 손의 편향의 양에 상응하는 양만큼 손의 편향 방향에 상응하는 방향으로 이동할 것이고 이후 정지할 것이다. 개개인의 사용자에게 맞게끔 일단 조정되면, 포인팅 스트로크 작동은 커서 이동에 대해 훨씬 더 직접적이고 편안한 제어 감각을 제공한다.
포인팅 스트로크 동작은 이하에서 설명된 "요청 모드"에서 훨씬 더 실질적으로 이루어질 수 있다. 예컨데, 상기에서 설명된 조이스틱과 같은 포인팅 모드는 편향된 위치로 단순히 손을 잡음으로써 어떠한 방향으로든 커서의 제한된 운동을 허용하는 동안, 당해 기술분야의 통상의 지식인은 포인팅 스트로크 동작이 사용자 손의 운동 범위에 한정되는 것을 알 수 있을 것이다. 요청 모드는 사용자에게 특별한 방향으로 포인팅 스트로크를 생성시키고, 광학적 포인팅을 스위치 오프시키며, 사용자 손을 더욱 안정적이거나 또는 중립적인 위치로 복귀시키고, 광학 포인팅 백을 스위치 온시키며, 및 동일한 위치로 제 2 스트로크를 발생시킨다. 이는 마우스 회전면의 크기를 효과적으로 증가시키기 위해 더욱 안정적이거나 또는 유용한 위치에서 마우스를 다시 중앙으로 위치시키도록 회전면으로부터 컴퓨터 마우스를 들어올리는 것과 유사하다.
본 발명은 또한 손과 손가락 위치 및 방위의 타임 도메인 분석과 영상 인식 능력을 결합함으로써 제스처 인식을 위해 사용된다. 장치(10)에 의해 제스처를 인식하는 방법은 마우스와 같은 포인팅 스트로크 동작에 관해 상기에서 설명한 방법 과 거의 유사하다. 예컨데, 사용자의 손가락이 도 4에 도시된 위치에서 시각(t1)에 있다고 가정하자. 에미터(22)는 손가락끝(52)에 의해 반사되는 빔(34)을 방출한다. 그러면 디텍터(36)는 상기한 방식으로 반사된 빔(34a)을 검출하고, 장치(10)는 시각(t2)에서 손가락의 위치와 방위를 결정한다. 그 이후에 사용자가 화살표(c) 방향으로 손가락을 하방으로 편향하여 손가락끝(52)이 시각(t2)에서 새로운 위치에 있게 되는 것을 가정하자. 일단 상기한 방법을 다시 사용하면, 장치(10)는 시각(t2)에서 손가락의 위치와 방위를 결정한다. 그 이후에 사용자는 그의 손가락을 본래의 위치 및 방위로 복귀시키거나 또는 결정 등등을 위해 장치(10)를 시간(t3)에서 전체적으로 새로운 위치 및 방위로 그의 손가락을 이동시킬 수 있다.
그 이후에, 이러한 시간 상에서 손가락의 위치 및 방위의 결정은 룩업 테이블처럼 콘텐츠에 주소지정가능한 메모리 기능에 저장된 것들과 같은 제스처 영상의 기-프로그래밍된 라이브러리를 따르고 서로 관계를 가지게 되며, 장치(10)는 위의 예에서 만들어진 제스처, "손가락-요동(finger-wagging)" 제스처를 인식할 수 있다. 제스처의 기-프로그래밍된 라이브러리는 머신-트레이닝 위상(machine-training phase)(예컨데, 상기한 손가락-요동) 동안 캡처되고 기록된 사용자-특정 제스처 뿐만 아니라 표준화된 제스처(예컨데, American Sign Language Gesture)를 포함한다. 머신-트레이닝 위상 동안 캡처되고 기록된 제스처는 사용자의 특정 손 크기, 형태, 및 운동 세트에 대해 고유하게 프로그래밍되어야 할 것이다.
제스처 인식 능력은 상기한 손의 위치 및 방위의 결정과 손 동작의 결정을 결합함으로써 훨씬 더 강력하게 이루어질 수 있다. 손동작은 상기한 광학 포인팅 실시예를 사용함으로써, 또는 전체적인 손 동작의 트랙킹이 요구되는 장소에서 장치(10) 내의 자이로스코프, 가속도계, 또는 다른 운동 센서(40) 또는 주변 센서(42)를 구비함으로서 결정될 수 있다. 손의 위치 및 방위의 타임-도메인 분석과 손 동작을 결합함으로써, 많은 영상 인식 프로세스는 복호화 제스처에 적용하는데 사용가능하다.
상기에서 설명한 제스처 인식 방법은 본 발명이 데이터의 문자-레벨 기입(키보드 타이핑 또는 전화 다이얼링)용 뿐만 아니라, 데이터의 문자- 및 위상-레벨 기입(American Sign Language에 의해 채용된 것과 같은)용으로 사용되게 한다. 예컨데, 본 발명의 제스처 인식 실시예는 실시간으로 American Sign Language 통신을 문자화하거나 또는 통고하는데 사용될 수 있다. 더욱이, 억양은 제스처가 수행되는 장소 위의 높이에 기초한 제스처의 문자화 및 통고에 부가될 수 있다: 높은 위치는 더 큰 강조 또는 높은 억양을 표시하는 반면, 낮은 위치는 낮은 억양톤을 표시한다.
제스처 인식 방법은 또한 동일한 제스처가 수행되는 상황에 의존하여 많은 다른 효과를 가질 수 있도록 상황에 민감하게 될 수 있다. 예컨데, 상기에서 설명한 손가락-요동 제스처는 한 상황에서 울리는 전화에 대해 답변하고 다른 상황에서 가벼운 스위칭 전환을 할 수 있도록 사용될 수 있다. 다른 예에서 처럼, 팔을 올리고 낮춤은 하나의 상황에서 라디오 볼륨을 다른 상황에서 주변 빛의 명암을 제어 할 수 있다. 사용자는 다양한 개수의 방법으로 상황간에 선택할 수 있다. 예컨데, 하우징(22)이 음성 인식 센서(43)를 구비하는 장소에서는, 사용자는 원하는 상황을 말할 수 있다(예컨데, 제스처가 라디오를 제어하는 의도를 가지는 경우 "라디오" 및 제스처가 빛을 제어하는 의도를 가지는 경우 "빛"). 그러나, 상황을 선택하는 다른 방법은 본 발명의 기술적 사상 내에 존재한다.
제스처 인식은 또한 마우스와 같은 광학 포인팅을 위해 상기한 요청 모드를 실행하는데 사용될 수 있다. 장치(10)를 활동 및 정지시키기 위해 특별한 제스처 또는 제스처들 프로그래밍함으로써, 사용자는 요구되거나 또는 원해진 대로 어떠한 주어진 동작 모드 또는 전체 장치를 온 및 오프시킬 수 있다. 요청 모드는 결합 모드 또는 상황을 활동 및 정지시키기 위해 사용될 수 있다.
본 발명에 부가될 수 있는 다른 특징은 광학 트랙킹, 또는 도 5에 도시된 "오버스캐닝" 특징이다. 이러한 특징은 특별한 숫자가 항상 장치(10)에 의해 올바로 식별되는 것을 확실히 한다. 예컨데, 광학 트랙킹은 집게 손가락(54)이 손의 방위 또는 위치와는 관계없이 항상 집게 손가락(54)으로 인식되는 것을 확실히 한다.
오버스캐닝은 한 방향으로 손의 편향의 일 극단(56)에서 스캔을 시작함으로써 및 대향 극단 위치(58)에서 스캔을 종료함으로써 수행된다. 오버스캐닝은 많은 분리된 에미터(32) 및 디텍터(36)로, 또는 래스터 스캐닝에 의해 행해질 수 있다. 많은 분리된 에미터(32) 및 디텍터(36)가 사용되는 장소에서, 오버스캐닝은 개별 손가락을 결정하는데 필요한 것보다 더 많은 에미터(32) 및 디텍터(36)를 사용함에 의해 또는 손 주변의 휴식-위치 극단(56 및 58) 외부의 연속적으로 스캐닝된 소오스를 시작 및 종료함으로써 수행된다. 오버스캐닝은 또는 회전 또는 피봇 거울과 같은 물리적으로 이동가능한 광학 부재 또는 전기적으로 조종가능한 광학 부재를 하우징(22)에 결합함으로써 실행될 수 있다. 이러한 후자의 실시예에서, 단일 전자 수신기 회로가 원하는 영역을 스캔해야 하기 때문에, 에미터(32) 및 디텍터(36)는 그 영역을 스캔하기 위해 세로로 이동한다. 상기한 방법은 완전히 활동적인 영상을 위해 3차원으로 쉽게 확장될 수 있다.
일단 오버스캔이 완성되면, 상기에서 설명되고 도 3에서 도시된 손목에 관련된 손의 각도를 트랙킹함으로서 생성된 광학 포인팅 벡터는 스캔된 영역 내에서 손의 오프셋을 계산하는데 사용된다. 장치(10)는 거기서 어떤 손가락이 빛의 방출된 빔의 경로로 이동되었는가를 결정한다. 이러한 특징은 사용자를 본 발명의 특징에 맞도록 요구하는 것보다 본 발명이 사용자 손의 외형을 알도록 하게 하기 때문에, 장치(10)와 사용자의 상호작용은 크게 단순화된다. 예컨데, 광학 트랙킹 특징은 장치(10)가 마우스 제어 및 키보드 타이핑을 위해 동시에 사용되게 하는 반면, 광학 트랙킹 특징이 없는 장치의 키보드 타이핑 특징은 손이 마우스 커서로 편향되는 경우 쉽게 "혼돈스러운" 것이 될 수 있다.
사용자 손의 삼차원적 스캔은 또한 상기한 제스처 인식을 위한 입력 영상을 제공할 수 있다. 선택적으로, 사용자 손 대신에 임의의 가까운 면으로 에미터(32) 및 디텍터(36)를 향하게 하는 것은 사용자 손 보다는 흥미로운 목적물의 실시간 영상을 제공하는데 사용될 수 있다. 예컨데, 장치(10)는 시스템 소프트웨어에 의해 서 또는, 시각적으로 손상된 사용자를 도울수 있도록 텍스트를 판독 및 통고하기 위해 광학적 문자 인식을 사용함으로써 해석용 목적물 영상을 활동적으로 캡처하는데 사용될 수 있다. 다른 예에서처럼, 의사는 실시간 또는 기록 보관용 동작 동안 환자의 영상을 에미터(32)로 캡처하게 할 수 있고, 노트를 장치(10)를 사용하여 전산화된 기록에 입력할 수 있으며, 및 카메라가 사용되거나 또는 물리적 키가 깨지는 경우 요구되는 재-제거(re-scrubbing)가 없는 동작으로 진행시킬 수 있다.
하우징(22)은 또한 이차원으로 손의 위치를 결정하도록 에미터(32) 및 디텍터(36)의 제 2 평면을 구비할 수 있다. 일차원은 손가락이 에미터(32) 및 디텍터(36)의 제 1 평면을 통과할 때 결정되고, 반면 2차원은 일단 손가락이 제 1 평면을 통해 제 2 평면으로 완전히 통과하면 결정된다. 이는 단지 키 폐쇄를 검출하는 것 대신에 손의 위치 및 방위를 허용하도록 존재하는 착용에 적합한 컴퓨터 장치의 진행/비진행 특성을 향상시킨다. 선택적으로, 전자의 방법이 후자의 방법보다 더 바람직하지만, 장치(10)는 몇몇의 다른 각도로부터 각 손가락을 비출 수 있고 이차원으로 손가락 위치를 결정하는데 패럴랙스를 사용할 수 있다.
본 발명은 내부적으로 안전하고 단조로운 동작을 가능하게 한다. 상기한 것처럼, 본 발명은 물리적인 장치와 어떠한 접촉없이 데이터 입력 및 커서 제어를 허용한다. 따라서, 장치(10)는 동작 룸과 같은 단조로운 환경에서 사용하는데 적합하다. 역학적인 상호작용의 부재는 주변을 가열시킬 수 있는 스파킹의 가능성을 제거하기 때문에 장치(10)는 또한 높은 연소 환경에서 사용될 수 있다.
상기한 것으로부터 알 수 있는 것처럼, 본 발명은 순간적으로 및 시간 상에 서 샘플링될 수 있는 많은 자유도를 갖는 입력 정보의 제휴를 생성할 수 있다. 본 발명은 현재 이용할 수 없는 제어 감각을 제공한다. 예컨데, 장치는 손잡이를 돌리는 것과 같은 개별적인, 결합된, 및 서로 관련된 손가락의 위치 및 방위, 오퍼레이터의 손가락끝과 손목, x- 및 y-방향으로 손목에서의 손의 각도, x-, y-, z-방향으로 팔의 위치, 팔의 던져짐, 회전, 및 흔들림, 환경적 및 심리학적 상태, 목소리 입력, 바코드 판독과 같은 이차원 영상 입력, 삼차원 영상 입력, 및 수많은 다른 형태의 입력을 검출할 수 있다. 이러한 많은 형태의 입력 데이터와 함께, 매우 적은 시간-관련 데이터 세트만이 상기한 적용을 효과적으로 실행하는데 필요하고, 추가되는 데이터는 예컨데, 특별한 제스처와 관련된 "사인(signature)"를 구분하는 것을 더욱 쉽게 한다. 더욱이, 결과를 발생하기 위해 컴파일된 데이터를 조심스럽게 선택함으로써, 장치는 컴퓨터 키보드와 같은 문자-레벨 입력, 속기 키보드와 같은 결합-레벨 입력, American Sign Language와 같은 단어- 또는 구-레벨 입력, 조이스틱 제어, 마우스 제어, 피치 또는 톤 제어, 주변 세팅에 대한 제어(예컨대, 온도조절장치, 조광기 스위치, 텔레비전 또는 스테레오 볼륨 제어), 및 많은 다른 것들을 위해 사용될 수 있다.
본 발명의 몇 개의 바람직한 실시예들의 관점에서 설명되었지만, 기술분야의 통상의 지식인은 본 발명이 첨부된 청구범위의 기술적 사상 내에서 변경이 실행될 수 있음을 알 수 있을 것이다.

Claims (25)

  1. 무선 제어 장치에 있어서,
    센서를 구비하는 기지국과,
    다수의 광학 에미터와 다수의 광학 디텍터를 구비하고, 오퍼레이터의 신체에 걸쳐지는 하우징,
    x 방향의 포인팅 모션이나 제스처를 검출하는 적어도 하나의 x 축 에미터-디텍터 쌍을 형성하는 적어도 하나의 광학 에미터 및 적어도 하나의 광학 디텍터,
    y 방향의 포인팅 모션이나 제스처를 검출하는 적어도 하나의 y 축 에미터-디텍터 쌍을 형성하는 적어도 하나의 광학 에미터 및 적어도 하나의 광학 디텍터, 및
    상기 다수의 광학 에미터로부터 방출된 광빔들이 상기 오퍼레이터의 신체 부위 또는 다른 물체로부터 반사되고 상기 광학 디텍터에 의해 검출되는 때에 상기 광빔들 간을 구별하는 수단을 포함하는 것을 특징으로 하는 무선 제어 장치.
  2. 제 1 항에 있어서,
    상기 광학 에미터는 빛을 방출하는 다이오드이고, 상기 광빔은 적외선광의 빔인 것을 특징으로 하는 무선 제어 장치.
  3. 제 1 항에 있어서,
    상기 x 축 및 y 축 에미터-디텍터 쌍은 상기 하우징을 걸친 신체 부분에 인 접해서 신체 부분의 모션을 검출하는 것을 특징으로 하는 무선 제어 장치.
  4. 제 3 항에 있어서,
    상기 하우징은 상기 오퍼레이터의 손목에 착용되고, 상기 x축 및 y축 에미터-디텍터 쌍은 상기 오퍼레이터의 손의 모션을 검출하는 것을 특징으로 하는 무선 제어 장치.
  5. 제 4 항에 있어서,
    상기 적어도 한쌍의 x 축 에미터-디텍터에서의 상기 에미터는 상기 오퍼레이터의 손에 있는 나이프 에지(knife edge)를 비추고,
    상기 적어도 한쌍의 x 축 에미터-디텍터에서의 상기 디텍터는 상기 오퍼레이터의 손에 있는 상기 나이프 에지로부터 반사된 빔을 검출하며,
    상기 적어도 한쌍의 y 축 에미터-디텍터에서의 상기 에미터는 상기 오퍼레이터의 손에 있는 힐(heel)을 비추고,
    상기 적어도 한쌍의 y 축 에미터-디텍터에서의 상기 디텍터는 상기 오퍼레이터의 손에 있는 상기 힐로부터 반사된 빔을 검출하는 것을 특징으로 하는 무선 제어 장치.
  6. 제 5 항에 있어서,
    상기 에미터는 팬 형상을 갖는 빔으로 상기 오퍼레이터의 손에 있는 상기 나 이프에지와 상기 힐을 비추는 것을 특징으로 하는 무선 제어 장치.
  7. 제 1 항에 있어서,
    상기 하우징은 환경 조건 센서를 추가로 포함하는 것을 특징으로 하는 무선 제어 장치.
  8. 제 1 항에 있어서,
    상기 하우징은 음성 인식 센서를 추가로 포함하는 것을 특징으로 하는 무선 제어 장치.
  9. 제 1 항에 있어서,
    상기 x방향 및 y방향의 상기 포인팅 모션이나 제스처는 디스플레이 상의 커서의 x축 및 y축 모션에 대응하는 것을 특징으로 하는 무선 제어 장치.
  10. 제 1 항에 있어서,
    상기 x축 및 y축 에미터-디텍터 쌍은 상기 포인팅 모션이나 제스처의 x방향 및 y방향을 조이스틱과 같은 방식으로 검출하는 것을 특징으로 하는 무선 제어 장치.
  11. 제 1 항에 있어서,
    상기 오퍼레이터의 신체 부위의 위치, 방향 및 모션 중의 적어도 하나를 시간에 걸쳐(over time) 결정하는 수단을 추가로 포함하는 것을 특징으로 하는 무선 제어 장치.
  12. 제 11 항에 있어서,
    상기 x축 및 y축 에미터-디텍터 쌍은 마우스와 같은 방식으로 상기 포인팅 모션 또는 제스처의 상기 x방향 및 y방향을 검출하는 것을 특징으로 하는 무선 제어 장치.
  13. 제 11 항에 있어서,
    상기 오퍼레이터의 신체 부분의 모션을 시간에 걸쳐 분석하는 상기 수단은 가속도계 또는 자이로스코프인 것을 특징으로 하는 무선 제어 장치.
  14. 제 11 항에 있어서,
    상기 오퍼레이터에 의해 수행된 다수의 제스처를 인식하는 수단을 추가로 포함하는 것을 특징으로 하는 무선 제어 장치.
  15. 제 14 항에 있어서,
    아메리칸 사인 랭귀지(American Sign Language) 제스처, 네이티브 아메리칸 사인 랭귀지(Native American Sign Language) 제스처 또는 다른 제스처 기반 통신 방식을 이루는 제스처를 포함하는 것을 특징으로 하는 무선 제어 장치.
  16. 제 14 항에 있어서,
    상기 복수의 제스처를 인식하는 수단은 문맥에 민감한(context-sensitive)
    것을 특징으로 하는 무선 제어 장치.
  17. 제 1 항에 있어서,
    상기 무선 제어 장치를 온 상태로 또는 오프 상태로 토글하는 요청 수단을 추가로 포함하는 것을 특징으로 하는 무선 제어 장치.
  18. 제 1 항에 있어서,
    물체를 식별하는 스캐닝 수단을 추가로 포함하는 것을 특징으로 하는 무선 제어 장치.
  19. 제 18 항에 있어서,
    상기 물체는 상기 오퍼레이터의 신체 부위인 것을 특징으로 하는 무선 제어 장치.
  20. 제 19 항에 있어서,
    상기 스캐닝 수단은 상기 오퍼레이터의 신체 부위의 모션의 일 극단에서 스 캔을 시작하여, 상기 오퍼레이터의 신체 부위의 모션의 반대 극단에서 스캔을 끝내는 것을 특징으로 하는 무선 제어 장치.
  21. 제 18 항에 있어서,
    상기 스캐닝 수단은 물리적으로 이동가능한 광학 부재를 추가로 포함하는 것을 특징으로 하는 무선 제어 장치.
  22. 제 21 항에 있어서,
    상기 물리적으로 이동가능한 광학 부재는 회전하거나 피보팅하는 부재를 추가로 포함하는 것을 특징으로 하는 무선 제어 장치.
  23. 제 21 항에 있어서,
    상기 물리적으로 이동가능한 광학 부재는 적어도 한쌍의 전기적으로 조종 가능한 에미터-디텍터를 추가로 포함하는 것을 특징으로 하는 무선 제어 장치.
  24. 제 18 항에 있어서,
    상기 스캐닝 수단은 3차원으로 상기 물체를 스캔하는 것을 특징으로 하는 무선 제어 장치.
  25. 제 1 항에 있어서,
    상기 광학 에미터와 상기 광학 디텍터는 상기 하우징 상에 2개의 평면으로 배치되는 것을 특징으로 하는 무선 제어 장치.
KR1020047003417A 2001-09-07 2002-09-06 개선된 무선제어장치 KR100946680B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/947,564 US6747632B2 (en) 1997-03-06 2001-09-07 Wireless control device
US09/947,564 2001-09-07
PCT/US2002/028318 WO2003023755A1 (en) 2001-09-07 2002-09-06 Improved wireless control device

Publications (2)

Publication Number Publication Date
KR20040047810A KR20040047810A (ko) 2004-06-05
KR100946680B1 true KR100946680B1 (ko) 2010-03-12

Family

ID=25486320

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020047003417A KR100946680B1 (ko) 2001-09-07 2002-09-06 개선된 무선제어장치

Country Status (11)

Country Link
US (1) US6747632B2 (ko)
EP (1) EP1433161B1 (ko)
JP (2) JP2005528663A (ko)
KR (1) KR100946680B1 (ko)
AU (1) AU2002329982B2 (ko)
BR (1) BRPI0212367B1 (ko)
CA (1) CA2459711C (ko)
IL (1) IL160768A0 (ko)
MX (1) MXPA04002227A (ko)
RU (1) RU2339087C2 (ko)
WO (1) WO2003023755A1 (ko)

Families Citing this family (196)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US6747632B2 (en) * 1997-03-06 2004-06-08 Harmonic Research, Inc. Wireless control device
US7904187B2 (en) 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
US7749089B1 (en) 1999-02-26 2010-07-06 Creative Kingdoms, Llc Multi-media interactive play system
US7878905B2 (en) 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US6761637B2 (en) 2000-02-22 2004-07-13 Creative Kingdoms, Llc Method of game play using RFID tracking device
AU2000242834A1 (en) * 2000-05-16 2001-11-26 Swisscom Mobile Ag Method and terminal for inputting instructions
WO2001090402A1 (en) * 2000-05-24 2001-11-29 Phplate Stockholm Ab New method and device
WO2002015560A2 (en) * 2000-08-12 2002-02-21 Georgia Tech Research Corporation A system and method for capturing an image
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US7066781B2 (en) 2000-10-20 2006-06-27 Denise Chapman Weston Children's toy with wireless tag/transponder
JP2002222054A (ja) * 2001-01-25 2002-08-09 Nec Corp ポインティングデバイス
US6848052B2 (en) * 2001-03-21 2005-01-25 Activcard Ireland Limited High security personalized wireless portable biometric device
CN100350364C (zh) * 2001-12-21 2007-11-21 西门子公司 采集和显示运动的装置
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US6967566B2 (en) 2002-04-05 2005-11-22 Creative Kingdoms, Llc Live-action interactive adventure game
US20070066396A1 (en) 2002-04-05 2007-03-22 Denise Chapman Weston Retail methods for providing an interactive product to a consumer
US6970157B2 (en) * 2002-04-23 2005-11-29 Quadtri Technologies, Llc Wearable computing, input, and display device
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US8947347B2 (en) * 2003-08-27 2015-02-03 Sony Computer Entertainment Inc. Controlling actions in a video game unit
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US9174119B2 (en) 2002-07-27 2015-11-03 Sony Computer Entertainement America, LLC Controller for providing inputs to control execution of a program when inputs are combined
US7782297B2 (en) * 2002-07-27 2010-08-24 Sony Computer Entertainment America Inc. Method and apparatus for use in determining an activity level of a user in relation to a system
US8313380B2 (en) * 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US20060264260A1 (en) * 2002-07-27 2006-11-23 Sony Computer Entertainment Inc. Detectable and trackable hand-held controller
US10086282B2 (en) * 2002-07-27 2018-10-02 Sony Interactive Entertainment Inc. Tracking device for use in obtaining information for controlling game program execution
US8686939B2 (en) * 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US7854655B2 (en) * 2002-07-27 2010-12-21 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US8160269B2 (en) 2003-08-27 2012-04-17 Sony Computer Entertainment Inc. Methods and apparatuses for adjusting a listening area for capturing sounds
US7803050B2 (en) * 2002-07-27 2010-09-28 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
US7850526B2 (en) * 2002-07-27 2010-12-14 Sony Computer Entertainment America Inc. System for tracking user manipulations within an environment
US7918733B2 (en) * 2002-07-27 2011-04-05 Sony Computer Entertainment America Inc. Multi-input game control mixer
US8139793B2 (en) * 2003-08-27 2012-03-20 Sony Computer Entertainment Inc. Methods and apparatus for capturing audio signals based on a visual image
US8233642B2 (en) * 2003-08-27 2012-07-31 Sony Computer Entertainment Inc. Methods and apparatuses for capturing an audio signal based on a location of the signal
US7674184B2 (en) 2002-08-01 2010-03-09 Creative Kingdoms, Llc Interactive water attraction and quest game
US20040048666A1 (en) * 2002-09-10 2004-03-11 Radica China Limited Wireless game device and method for using the same
US7030856B2 (en) * 2002-10-15 2006-04-18 Sony Corporation Method and system for controlling a display device
US20040125073A1 (en) * 2002-12-30 2004-07-01 Scott Potter Portable electronic apparatus and method employing motion sensor for function control
JP2006522397A (ja) * 2003-03-10 2006-09-28 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ マルチビュー・ディスプレイ
US9446319B2 (en) 2003-03-25 2016-09-20 Mq Gaming, Llc Interactive gaming toy
US7307620B2 (en) * 2003-04-19 2007-12-11 Siddeeq Shakoor N One-handed thumb-supported mobile keyboard
GB0311177D0 (en) * 2003-05-15 2003-06-18 Qinetiq Ltd Non contact human-computer interface
JP4438351B2 (ja) * 2003-08-22 2010-03-24 富士ゼロックス株式会社 指示入力装置、指示入力システム、指示入力方法、及びプログラム
US20070223732A1 (en) * 2003-08-27 2007-09-27 Mao Xiao D Methods and apparatuses for adjusting a visual image based on an audio signal
US7136709B2 (en) * 2003-11-04 2006-11-14 Universal Electronics Inc. Home appliance control system and methods in a networked environment
US8442331B2 (en) 2004-02-15 2013-05-14 Google Inc. Capturing text from rendered documents using supplemental information
US7707039B2 (en) 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
FI117308B (fi) * 2004-02-06 2006-08-31 Nokia Corp Eleohjausjärjestelmä
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US7812860B2 (en) 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US9008447B2 (en) 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US7990556B2 (en) 2004-12-03 2011-08-02 Google Inc. Association of a portable scanner with input/output and storage devices
US20060081714A1 (en) 2004-08-23 2006-04-20 King Martin T Portable scanning device
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
WO2008028674A2 (en) 2006-09-08 2008-03-13 Exbiblio B.V. Optical scanners, such as hand-held optical scanners
US8146156B2 (en) 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
US20060098900A1 (en) 2004-09-27 2006-05-11 King Martin T Secure data gathering from rendered documents
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US8081849B2 (en) 2004-12-03 2011-12-20 Google Inc. Portable scanning and memory device
US7894670B2 (en) 2004-04-01 2011-02-22 Exbiblio B.V. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US8713418B2 (en) 2004-04-12 2014-04-29 Google Inc. Adding value to a rendered document
US8620083B2 (en) 2004-12-03 2013-12-31 Google Inc. Method and system for character recognition
US8489624B2 (en) 2004-05-17 2013-07-16 Google, Inc. Processing techniques for text capture from a rendered document
US8874504B2 (en) 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
EP1596271A1 (en) * 2004-05-11 2005-11-16 Hitachi Europe S.r.l. Method for displaying information and information display system
US8346620B2 (en) 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
US20060028585A1 (en) * 2004-08-09 2006-02-09 Schulz Edward W Multi-faceted electronic video display structure for organizing and displaying electronic device components
US20070252489A1 (en) * 2004-08-09 2007-11-01 Schulz Edward W Multi-faceted electronic video display structure for organizing and displaying electronic device components
KR100621593B1 (ko) 2004-09-24 2006-09-19 삼성전자주식회사 다중양식의 입력을 이용하는 통합 원격 제어 장치 및 방법
WO2006040751A1 (en) * 2004-10-13 2006-04-20 E.B.T. Interactive Ltd. Computer-implemented method and system for providing feedback during sex play
US7762945B2 (en) * 2004-10-13 2010-07-27 E.B.T. Interactive Ltd. Computer-implemented method and system for providing feedback during sex play
US20060136997A1 (en) * 2004-12-21 2006-06-22 Eastman Kodak Company Authentication system and method
KR100687737B1 (ko) * 2005-03-19 2007-02-27 한국전자통신연구원 양손 제스쳐에 기반한 가상 마우스 장치 및 방법
US20060241864A1 (en) * 2005-04-22 2006-10-26 Outland Research, Llc Method and apparatus for point-and-send data transfer within an ubiquitous computing environment
US7927216B2 (en) 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
JP4805633B2 (ja) * 2005-08-22 2011-11-02 任天堂株式会社 ゲーム用操作装置
US7942745B2 (en) * 2005-08-22 2011-05-17 Nintendo Co., Ltd. Game operating device
US8313379B2 (en) * 2005-08-22 2012-11-20 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US8870655B2 (en) 2005-08-24 2014-10-28 Nintendo Co., Ltd. Wireless game controllers
JP4262726B2 (ja) 2005-08-24 2009-05-13 任天堂株式会社 ゲームコントローラおよびゲームシステム
US8308563B2 (en) * 2005-08-30 2012-11-13 Nintendo Co., Ltd. Game system and storage medium having game program stored thereon
US8157651B2 (en) 2005-09-12 2012-04-17 Nintendo Co., Ltd. Information processing program
US7872636B1 (en) * 2005-11-23 2011-01-18 Marvell International Ltd. Virtual pointing devices for displays
US20070130547A1 (en) * 2005-12-01 2007-06-07 Navisense, Llc Method and system for touchless user interface control
TWI348639B (en) * 2005-12-16 2011-09-11 Ind Tech Res Inst Motion recognition system and method for controlling electronic device
US7810504B2 (en) * 2005-12-28 2010-10-12 Depuy Products, Inc. System and method for wearable user interface in computer assisted surgery
JP4530419B2 (ja) * 2006-03-09 2010-08-25 任天堂株式会社 座標算出装置および座標算出プログラム
JP4151982B2 (ja) 2006-03-10 2008-09-17 任天堂株式会社 動き判別装置および動き判別プログラム
JP4684147B2 (ja) * 2006-03-28 2011-05-18 任天堂株式会社 傾き算出装置、傾き算出プログラム、ゲーム装置およびゲームプログラム
US20070265075A1 (en) * 2006-05-10 2007-11-15 Sony Computer Entertainment America Inc. Attachable structure for use with hand-held controller having tracking ability
US20110014981A1 (en) * 2006-05-08 2011-01-20 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
EP2041640B1 (en) * 2006-07-16 2012-01-25 I. Cherradi Free fingers typing technology
WO2008010581A1 (fr) * 2006-07-21 2008-01-24 Brother Kogyo Kabushiki Kaisha Dispositif opérationnel et système opérationnel
US9386269B2 (en) * 2006-09-07 2016-07-05 Rateze Remote Mgmt Llc Presentation of data on multiple display devices using a wireless hub
US8005236B2 (en) * 2006-09-07 2011-08-23 Porto Vinci Ltd. Limited Liability Company Control of data presentation using a wireless home entertainment hub
US8935733B2 (en) * 2006-09-07 2015-01-13 Porto Vinci Ltd. Limited Liability Company Data presentation using a wireless home entertainment hub
US8607281B2 (en) 2006-09-07 2013-12-10 Porto Vinci Ltd. Limited Liability Company Control of data presentation in multiple zones using a wireless home entertainment hub
US9319741B2 (en) * 2006-09-07 2016-04-19 Rateze Remote Mgmt Llc Finding devices in an entertainment system
US8966545B2 (en) * 2006-09-07 2015-02-24 Porto Vinci Ltd. Limited Liability Company Connecting a legacy device into a home entertainment system using a wireless home entertainment hub
US9233301B2 (en) * 2006-09-07 2016-01-12 Rateze Remote Mgmt Llc Control of data presentation from multiple sources using a wireless home entertainment hub
US8310656B2 (en) * 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
US8781151B2 (en) 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
USRE48417E1 (en) 2006-09-28 2021-02-02 Sony Interactive Entertainment Inc. Object direction using video input combined with tilt angle information
US20080098448A1 (en) * 2006-10-19 2008-04-24 Sony Computer Entertainment America Inc. Controller configured to track user's level of anxiety and other mental and physical attributes
US8508472B1 (en) 2006-11-28 2013-08-13 James W. Wieder Wearable remote control with a single control button
US10437459B2 (en) 2007-01-07 2019-10-08 Apple Inc. Multitouch data fusion
JP5127242B2 (ja) 2007-01-19 2013-01-23 任天堂株式会社 加速度データ処理プログラムおよびゲームプログラム
US8736420B2 (en) * 2007-01-29 2014-05-27 At&T Intellectual Property I, L.P. Methods, systems, and products for controlling devices
US20080218476A1 (en) * 2007-03-08 2008-09-11 Patel Bharat Bobby Apparatus and method for wrist supporting movement translator and mouse button device
US20090058820A1 (en) * 2007-09-04 2009-03-05 Microsoft Corporation Flick-based in situ search from ink, text, or an empty selection region
US20110035662A1 (en) 2009-02-18 2011-02-10 King Martin T Interacting with rendered documents using a multi-function mobile device, such as a mobile phone
US20090212979A1 (en) * 2008-02-22 2009-08-27 William Catchings Glove-based input device
US20090271004A1 (en) * 2008-04-28 2009-10-29 Reese Zecchin Method and apparatus for ranging detection of gestures
US20090315825A1 (en) * 2008-06-24 2009-12-24 John Cauchi infrared virtual, invisible computer keyboard and mouse
EP2146490A1 (en) * 2008-07-18 2010-01-20 Alcatel, Lucent User device for gesture based exchange of information, methods for gesture based exchange of information between a plurality of user devices, and related devices and systems
US8305345B2 (en) * 2008-08-07 2012-11-06 Life Technologies Co., Ltd. Multimedia playing device
US8368649B2 (en) * 2008-08-29 2013-02-05 Siemens Medical Solutions Usa, Inc. Control system for use within a sterile environment
US8516561B2 (en) * 2008-09-29 2013-08-20 At&T Intellectual Property I, L.P. Methods and apparatus for determining user authorization from motion of a gesture-based control unit
KR101295855B1 (ko) * 2008-12-05 2013-08-12 한국전자통신연구원 적외선 송신 장치를 기반으로 한 동작 인식으로 제어되는 전자기기
US8660300B2 (en) * 2008-12-12 2014-02-25 Silicon Laboratories Inc. Apparatus and method for optical gesture recognition
US8447066B2 (en) 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
US8990235B2 (en) 2009-03-12 2015-03-24 Google Inc. Automatically providing content associated with captured information, such as information captured in real-time
US8941625B2 (en) * 2009-07-07 2015-01-27 Elliptic Laboratories As Control using movements
JP4988016B2 (ja) * 2009-08-27 2012-08-01 韓國電子通信研究院 指の動き検出装置およびその方法
US8907894B2 (en) * 2009-10-20 2014-12-09 Northridge Associates Llc Touchless pointing device
KR20110052997A (ko) * 2009-11-13 2011-05-19 삼성전자주식회사 디스플레이 장치와 클라이언트 단말 및 이의 제어 방법
US9081799B2 (en) 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9323784B2 (en) 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
SG174644A1 (en) * 2010-03-22 2011-10-28 Opcon Pte Ltd A battery pack
KR20110118357A (ko) * 2010-04-23 2011-10-31 주식회사 소냐테크 휴대용 마우스
US9310887B2 (en) 2010-05-06 2016-04-12 James W. Wieder Handheld and wearable remote-controllers
KR20110137587A (ko) * 2010-06-17 2011-12-23 한국전자통신연구원 공간 입출력 인터페이싱 장치 및 방법
CN102402279B (zh) * 2010-09-17 2016-05-25 腾讯科技（深圳）有限公司 基于手势的人机交互方法及系统
KR101789619B1 (ko) * 2010-11-22 2017-10-25 엘지전자 주식회사 멀티미디어 장치에서 음성과 제스쳐를 이용한 제어 방법 및 그에 따른 멀티미디어 장치
WO2012080964A1 (en) * 2010-12-17 2012-06-21 Koninklijke Philips Electronics N.V. Gesture control for monitoring vital body signs
US10097875B2 (en) 2011-05-25 2018-10-09 Echostar Technologies L.L.C. Apparatus, systems and methods for presentation management of erotica-related media content
US8752200B2 (en) 2011-07-12 2014-06-10 At&T Intellectual Property I, L.P. Devices, systems and methods for security using magnetic field based identification
DE102011112371A1 (de) 2011-09-02 2013-03-07 Audi Ag Vorrichtung zur Einstellung wenigstens eines Betriebsparameters wenigstens eines Fahrzeugsystems eines Kraftfahrzeugs
US9408582B2 (en) 2011-10-11 2016-08-09 Amish Sura Guided imaging system
TWI460650B (zh) * 2011-10-25 2014-11-11 Kye Systems Corp 輸入裝置及其物件縮放控制方法
TWI438658B (zh) * 2011-11-22 2014-05-21 Pixart Imaging Inc 人機介面系統及手指滑鼠系統
KR101237472B1 (ko) * 2011-12-30 2013-02-28 삼성전자주식회사 전자 장치 및 그의 제어 방법
WO2013103410A1 (en) * 2012-01-05 2013-07-11 California Institute Of Technology Imaging surround systems for touch-free display control
US9336456B2 (en) 2012-01-25 2016-05-10 Bruno Delean Systems, methods and computer program products for identifying objects in video data
EP2634670A1 (en) 2012-03-01 2013-09-04 Asplund Data AB A data input device
EP2825938A1 (en) * 2012-03-15 2015-01-21 Ibrahim Farid Cherradi El Fadili Extending the free fingers typing technology and introducing the finger taps language technology
US8933877B2 (en) * 2012-03-23 2015-01-13 Motorola Mobility Llc Method for prevention of false gesture trigger inputs on a mobile communication device
US10234941B2 (en) * 2012-10-04 2019-03-19 Microsoft Technology Licensing, Llc Wearable sensor for tracking articulated body-parts
JP6155448B2 (ja) 2012-11-01 2017-07-05 アイカム エルエルシー ３ｄ撮像し、マッピングし、ネットワーク化しおよびインタフェースするための無線手首コンピューティングおよびコントロールするデバイスおよび方法
WO2014107434A1 (en) 2013-01-02 2014-07-10 California Institute Of Technology Single-sensor system for extracting depth information from image blur
JP6344032B2 (ja) * 2013-09-26 2018-06-20 富士通株式会社 ジェスチャ入力装置、ジェスチャ入力方法、およびジェスチャ入力プログラム
WO2015102588A1 (en) 2013-12-30 2015-07-09 Apple Inc. User identification system based on plethysmography
KR20200119912A (ko) 2014-02-10 2020-10-20 애플 인크. 광학 센서를 사용해 검출된 모션 제스처 입력
CN104866079B (zh) * 2014-02-24 2018-11-09 联想(北京)有限公司 一种信息处理方法及电子设备
US9594443B2 (en) * 2014-02-26 2017-03-14 Lenovo (Singapore) Pte. Ltd. Wearable device authentication and operation
US9649558B2 (en) * 2014-03-14 2017-05-16 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras
CN109512516B (zh) 2014-04-24 2021-12-14 柯惠Lp公司 机器人接口定位确定系统及方法
RU2666320C2 (ru) * 2014-05-29 2018-09-06 Майкро Моушн, Инк. Световой отражательный адаптивный датчик касания
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US9226697B1 (en) * 2014-07-22 2016-01-05 Sensibrace Technologies, Inc. Electronic splint
US9811164B2 (en) * 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
RU2577467C1 (ru) * 2014-09-15 2016-03-20 Дмитрий Михайлович Литманович Мобильное устройство для организации сенсорной плоскости
US9772684B2 (en) * 2014-09-17 2017-09-26 Samsung Electronics Co., Ltd. Electronic system with wearable interface mechanism and method of operation thereof
US10488936B2 (en) * 2014-09-30 2019-11-26 Apple Inc. Motion and gesture input from a wearable device
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
US10705619B2 (en) * 2014-11-21 2020-07-07 Abhishek Johri System and method for gesture based data and command input via a wearable device
US11119565B2 (en) 2015-01-19 2021-09-14 Samsung Electronics Company, Ltd. Optical detection and analysis of bone
WO2016144284A1 (ru) * 2015-03-06 2016-09-15 Елизавета Сергеевна ВОРОНКОВА Способ распознавания движения и психоэмоционального состояния человека и устройство для его существления
US10016162B1 (en) 2015-03-23 2018-07-10 Google Llc In-ear health monitoring
JP6317699B2 (ja) * 2015-03-27 2018-04-25 株式会社Ｎｔｔドコモ 位置検出装置及び位置検出方法
JP6427279B2 (ja) 2015-04-30 2018-11-21 グーグル エルエルシー ジェスチャの追跡および認識のための、ｒｆに基づいた微細動作追跡
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
JP2017004458A (ja) * 2015-06-16 2017-01-05 富士通株式会社 入力装置、入力制御方法、および、入力制御プログラム
CN104944640B (zh) * 2015-06-19 2017-09-29 武汉理工大学 一种页岩气压裂返排废水的处理装置及方法
FR3038115B1 (fr) * 2015-06-23 2017-07-28 Frederic Hamain Equipement de telecommande
US10289239B2 (en) 2015-07-09 2019-05-14 Microsoft Technology Licensing, Llc Application programming interface for multi-touch input detection
US9939899B2 (en) 2015-09-25 2018-04-10 Apple Inc. Motion and gesture input from a wearable device
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US20170115737A1 (en) * 2015-10-26 2017-04-27 Lenovo (Singapore) Pte. Ltd. Gesture control using depth data
US10151606B1 (en) 2016-02-24 2018-12-11 Ommo Technologies, Inc. Tracking position and movement using a magnetic field
US20170269697A1 (en) * 2016-03-21 2017-09-21 Intel Corporation Under-wrist mounted gesturing
WO2017192167A1 (en) 2016-05-03 2017-11-09 Google Llc Connecting an electronic component to an interactive textile
US9939928B2 (en) * 2016-09-13 2018-04-10 Sandra Popescu Mouse cage
US10478099B2 (en) 2016-09-22 2019-11-19 Apple Inc. Systems and methods for determining axial orientation and location of a user's wrist
CN107145236B (zh) * 2017-05-12 2020-02-07 中国科学技术大学 一种基于腕部肌腱压力相关特性的手势识别方法及系统
US10558278B2 (en) 2017-07-11 2020-02-11 Apple Inc. Interacting with an electronic device through physical movement
WO2019079790A1 (en) 2017-10-21 2019-04-25 Eyecam, Inc ADAPTIVE GRAPHIC USER INTERFACE SYSTEM
US10817689B2 (en) * 2017-12-21 2020-10-27 Datalogic IP Tech, S.r.l. Systems and methods for a scan engine coupled to a finger mount
US10276289B1 (en) 2018-06-01 2019-04-30 Ommo Technologies, Inc. Rotating a permanent magnet in a position detection system
JP6725913B2 (ja) * 2018-10-29 2020-07-22 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 光学センサを使用して検出されるモーションジェスチャ入力
US20230260155A1 (en) * 2020-04-24 2023-08-17 Cornell University Deep continuous 3d hand pose tracking
CN113223344B (zh) * 2021-05-25 2022-08-23 湖南汽车工程职业学院 一种基于大数据的艺术设计用专业教学展示系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4542291A (en) 1982-09-29 1985-09-17 Vpl Research Inc. Optical flex sensor
US4988981B1 (en) * 1987-03-17 1999-05-18 Vpl Newco Inc Computer data entry and manipulation apparatus and method
US5986643A (en) * 1987-03-24 1999-11-16 Sun Microsystems, Inc. Tactile feedback mechanism for a data processing system
US6094188A (en) * 1990-11-30 2000-07-25 Sun Microsystems, Inc. Radio frequency tracking system
US5444462A (en) * 1991-12-16 1995-08-22 Wambach; Mark L. Computer mouse glove with remote communication
US5432834A (en) * 1993-11-22 1995-07-11 Hologic, Inc. Whole-body dual-energy bone densitometry using a narrow angle fan beam to cover the entire body in successive scans
JP2552427B2 (ja) * 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
AU5019896A (en) * 1995-01-11 1996-07-31 Christopher D Shaw Tactile interface system
DE19509680A1 (de) * 1995-03-07 1996-09-12 Frank Hofmann Vorrichtung zur ortsungebundenen Erfassung von Handneigungen und -bewegungen
DE69623115T2 (de) * 1995-05-08 2003-05-08 Massachusetts Inst Technology System zum kontaktlosen abtasten und signalisierung mit menschlichem körper als signalübertragungsmedium
US5913727A (en) * 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JPH09114543A (ja) * 1995-10-02 1997-05-02 Xybernaut Corp ハンドフリーコンピュータ装置
US6127990A (en) * 1995-11-28 2000-10-03 Vega Vista, Inc. Wearable display and methods for controlling same
WO1998007129A1 (fr) * 1996-08-14 1998-02-19 Latypov Nurakhmed Nurislamovic Procede de suivi et de representation de la position et de l'orientation d'un sujet dans l'espace, procede de presentation d'un espace virtuel a ce sujet, et systemes de mise en oeuvre de ces procedes
EP0837418A3 (en) * 1996-10-18 2006-03-29 Kabushiki Kaisha Toshiba Method and apparatus for generating information input using reflected light image of target object
US6747632B2 (en) * 1997-03-06 2004-06-08 Harmonic Research, Inc. Wireless control device
AU6451698A (en) 1997-03-06 1998-09-22 Robert B. Howard Wrist-pendant wireless optical keyboard

Also Published As

Publication number Publication date
EP1433161B1 (en) 2012-05-30
CA2459711A1 (en) 2003-03-20
WO2003023755A1 (en) 2003-03-20
US20020024500A1 (en) 2002-02-28
US6747632B2 (en) 2004-06-08
AU2002329982B2 (en) 2007-02-01
BR0212367A (pt) 2004-07-27
MXPA04002227A (es) 2005-02-17
RU2004110621A (ru) 2005-09-10
CA2459711C (en) 2009-05-19
RU2339087C2 (ru) 2008-11-20
EP1433161A1 (en) 2004-06-30
JP2005528663A (ja) 2005-09-22
KR20040047810A (ko) 2004-06-05
IL160768A0 (en) 2004-08-31
BRPI0212367B1 (pt) 2015-09-15
EP1433161A4 (en) 2009-05-06
JP2008293501A (ja) 2008-12-04

Similar Documents

Publication Publication Date Title
KR100946680B1 (ko) 개선된 무선제어장치
AU2002329982A1 (en) Improved wireless control device
US4719455A (en) Integrating pointing device
US7038659B2 (en) Symbol encoding apparatus and method
US9261984B2 (en) Multi-button mouse
EP1779221B1 (en) Method and apparatus for communicating graphical information to a visually impaired person using haptic feedback
US8314773B2 (en) Mouse having an optically-based scrolling feature
US20060028457A1 (en) Stylus-Based Computer Input System
WO1995000897A1 (en) Cursor control device
KR20050047329A (ko) 손가락 움직임을 이용한 정보 입력장치 및 방법
US20090225028A1 (en) Point and click device for computer
JP2005525635A (ja) 電子装置へのコマンド信号を生成する装置
US20070139376A1 (en) Computer mouse
EP0752639A1 (en) Chordic keyboard with integral mouse
KR20130142571A (ko) 모션 입력장치
JP2002149334A (ja) ポインティングデバイス装置
KR20070001292A (ko) 마우스기능과 디지털펜의 기능과 공중형 포인터의 기능이결합된 복합입력장치
Blackmon et al. Target acquisition by a hands-free wireless tilt mouse
JPH07141103A (ja) カーソル位置入力装置
KR20050053472A (ko) 공간 광마우스 장치
JP2002014766A (ja) 光学式ワンボタンマウス

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee