KR20070102567A - 컴퓨팅 단말용 동작 입력 장치 및 그 작동방법 - Google Patents

컴퓨팅 단말용 동작 입력 장치 및 그 작동방법 Download PDF

Info

Publication number
KR20070102567A
KR20070102567A KR1020077019331A KR20077019331A KR20070102567A KR 20070102567 A KR20070102567 A KR 20070102567A KR 1020077019331 A KR1020077019331 A KR 1020077019331A KR 20077019331 A KR20077019331 A KR 20077019331A KR 20070102567 A KR20070102567 A KR 20070102567A
Authority
KR
South Korea
Prior art keywords
signals
input device
input
motion
magnetic field
Prior art date
Application number
KR1020077019331A
Other languages
English (en)
Other versions
KR100948095B1 (ko
Inventor
카리 라우릴라
사물리 실란토
안씨 반스카
안티 비롤라이넨
티모 필배내이넨
주하 라꼴라
주카 에이치 살미넨
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20070102567A publication Critical patent/KR20070102567A/ko
Application granted granted Critical
Publication of KR100948095B1 publication Critical patent/KR100948095B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3259—Power saving in cursor control device, e.g. mouse, joystick, trackball
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/218—Input arrangements for video game devices characterised by their sensors, purposes or types using pressure sensors, e.g. generating a signal proportional to the pressure applied by the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1006—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals having additional degrees of freedom
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1025—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals details of the interface with the game device, e.g. USB version detection
    • A63F2300/1031—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals details of the interface with the game device, e.g. USB version detection using a wireless connection, e.g. Bluetooth, infrared connections
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1037—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1043—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being characterized by constructional details
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1056—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving pressure sensitive buttons
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/204—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 컴퓨터 장치용 동작 입력 장치에 관련된 것으로 하우징을 포함하며; 상기 하우징 내에 배열되어 있고 동작 입력 장치의 자기장 방향과 관련된 자기장 신호들을 출력하기 위한 3축 나침반과 함께 상기 하우징 내에 배열되어 있고 동작 입력 장치의 방향 및 움직임과 관련된 관성 신호들을 출력하기 위한 3축 가속도계 센서를 포함하며, 상기 동작 입력 장치는 상기 자기장 신호들 및 상기 관성 신호들을 상기 컴퓨팅 장치에 전송하기 위한 전송 구성 요소를 구비한다.
Figure 112007061238539-PCT00010
동작 입력 장치

Description

컴퓨팅 단말용 동작 입력 장치 및 그 작동방법{Motion-input device for a computing terminal and method of its operation}
본 발명은 컴퓨팅 장치 또는 컴퓨터 단말용 동작 입력 장치에 관한 것으로, 특히 게임 응용프로그램, 비디오 게임 장치 또는 게임 데크용 게임 패드에 관한 것이다. 동작 입력에 의하여 동작 검출 또는 감지를 수행할 수 있다. 본 발명은 또한 무선 동작 입력 장치 또는 무선 게임 패드 분야와 관련된다. 본 발명은 또한 전자 게임 부속품에 관련된다. 본 발명은 또한 게임을 위해 실제 물리적 움직임을 상호 입력으로 사용하는 경향을 지향하고 있다.
본 발명은 또한 매우 작은 휴대용 장치용 사용자 인터페이스 구성 요소의 디자인에 관련되며, 실제 장치의 작은 크기라는 제한 때문에 전통적인 버튼을 기초로하는 조작 수단에서는 사용되기가 어려울 것이다. 본 발명은 또한 장치에서 실행되는 새로운 움직임 검출 센서들 및 패턴 인식 분야에서의 새로운 분석 기술들에 관한 것이다.
잘 알려진 Cast-, Station-, Cube- 또는 Box- 의 게임 콘솔 시스템 구성에 무선 게임 패드 또는 무선 콘트롤러가 사용되는 것은 이미 알려져있다.
기존에 있는 적용 방법으로, 게임 데크를 입력 버튼들과 조이스틱을 구비하 는 통상적인 모양의 게임 패드에 유선으로 연결하는 것이 제공되고 있다. 이들 무선 게임 패드는 종종 촉각 피드백과 같은 종류의 다양한 기능을 갖추고 있다.
본 기술 분야에 알려진 다른 사용자 입력 장치들은 다음 문서에 개시되어 있다; US2003/0022716A1, US2005/0009605A1, EP0745928A2, US2004/0227725A1, EP0373407B1, US6727889B2.
문서 US20030022716A1은 적어도 하나의 관성 센서 및 적어도 하나의 방아쇠 버튼을 구비하는 컴퓨터 게임용 동작 입력 장치를 개시한다. 상기 장치는 모든 종류의 사용자 입력을 검출하는 관성 센서로부터의 신호들을 사용할 수 있다.
문서 US20050009605A1은 조이스틱으로서의 기능을 제공하는, 즉 게임 응용프로그램용 조이스틱이나 휠 입력 장치의 위치 검출용 광 스캔 장치를 사용하는 조이스틱과 같이 돌출 부분을 갖춘 광트랙볼을 개시한다.
조이스틱의 위치를 결정하기 위하여 적외선 발광 다이오드(IR LED) 및 각각의 포토다이오드를 사용하는 것 또한 문서 EP0745928A2에 개시된 것처럼 당해 기술분야에 알려져 있다. 상기 문서는 6축 게임의 실행을 가능하게 하는 두 개의 3축 입력 장치들을 구비하는 제어 패드를 개시한다. EP0745928A2에 개시된 위치 센서는 수용기에서 검출될 수 있는 빛의 양을 판단함으로 인하여 반사면까지의 거리를 측정하기 위하여 평행한 방향을 향하고 있는 광 방출기 및 광 수용기가 사용된다.
문서 US2004/0227725A1은 사용자 제어 장치를 개시하며, 상기 사용자 제어 장치는 3차원 공간에 다양한 위치로 움직일 수 있고, 상기 사용자 제어 장치의 3차원 움직임을 검출하기 위한 마이크로 전자기계시스템(MEMS) 가속 센서를 포함한다. 마우스와 같은 상기 장치는 검출된 위치에 관련된 제어 신호를 컴퓨터 시스템과 같은 전기적 기기로 전송한다. 마이크로 제어기는 스크린 포인터 위치 신호들 및 "클릭" 기능들과 같은 제어 시호들을 생성하기 위해 마이크로 전자기계시스템 가속 센서의 출력 신호들을 처리한다.
문서 EP0373407B1는 위치 편차 스위치 구성을 갖춘 원격 제어 송신기를 개시하며, 상기 구성은 주어진 또는 즉석에서 정해진 특정 기준 작동 위치로부터 특정 방아쇠 각도를 넘는 송신기의 각 편차가 발생할 때, 위치 이탈의 방향을 나타내는 출력 신호를 생성한다. 원격 제어 송신기에서, 이러한 방향 의존적인 출력 신호는 제어 명령으로서 전송 신호로 변환되고, 전송 요소를 통해 원격으로 제어되는 전기적 기기로 방출된다. 원격 제어 송신기를 작동시키는 사용자의 손목으로부터의 원격 제어 송신기의 회전 운동에 의하여 원격으로 제어되는 기기에 전송되는 서로 다른 제어 명령이 원격 제어 송신기에서 생성된다.
US6727889B2는 통상적인 마우스 센서 및 마우스 기능을 구비한 컴퓨터 마우스 형태의 변환기를 개시한다. 추가적으로 조이스틱이 마우스 위에 장착되고, 볼이나 소켓 연결부를 통하여 마우스와 결합하는 손바닥 제어 판에 의하여 작동된다. 상기 판은 전후로 경사지게 움직일 수 있고 좌우로 흔들릴 수 있으며 선택적으로 회전할 수 있으며, 각각의 움직임은 각각 해석될 수 있는 전기적 신호로 변환된다. 상기 마우스는 상기 판이 부하가 없을 때의 높이로 강제되도록 하는 고정 용수철을 포함한다. 판의 누르는 압력은 기능 모드를 변경시키는 스위치에 의하여 변환될 것이다. 상기 마우스는 통상적인 마우스 버튼들을 구비하거나 또는 세 가지 상태를 나타낼 수 있는 로커 형태의 버튼을 구비할 수 있다.
관성 센서들을 기초로 하는 입력 장치들을 개시하는 문서들은 방향 결정 또는 움직임 결정 용으로만 실시되었다. 상기 언급한 문서들은 입력용으로의 몸짓 인식에 대하여 개시하지 않는다.
다른 게임 입력 장치들은 사용자가 다차원의 입력 및 제어 명령을 행하도록 한다는 것이 이미 알려져 있다.
상기 인용된 가속도 또는 관성에 기초한 모든 동작 입력 장치들은 어떤 가속도 센서 또는 관성 센서도 무거운 질량과 관성 질량을 구별하지 못한다는 불편함에 시달려야 한다. 어떤 관성 센서도 선형적인 움직임 및 일정한 움직임을 판단할 수 없기 때문에 기술자들로 하여금 비행기 및 자동차 시뮬레이션용의 매우 정교한 3차원 시뮬레이터를 만들게 하는 이러한 사실은 측정의 정확도에 영향을 준다(관성 시스템 참고). 그러나 움직임에 있어서는, 동작 입력 장치의 움직임으로 인한 가속도와 중력 가속도 벡터를 구별하는 것이 어려우며, 처리를 계산적으로 복잡하게 한다.
더욱이 작은 휴대용 장치들은 그 작은 크기 때문에 사용하기 어렵다. 예를 들어, 특별한 기능을 실행시키기 위하여 작은 버튼을 찾고 누르는 것은 어려우며, 사용 환경이 집중을 요하는 경우에는 더욱 그러하다. 따라서 새로운 입력 체계를 가지고 적어도 작은 크기의 버튼 문제들을 개선하거나 해결할 수 있는 작은 장치를 위한 새로운 사용자 인터페이스의 개념을 가지는 것이 바람직하다.
상기 인용된 상기 단말 장치 및 비디오 게임의 기술분야의 수준을 넘어 다른 관점에서 더욱 개선된 단말 장치 또는 비디오 게임 동작 입력 장치들을 제공하는 것이 바람직하다.
또한 증가된 검출 정확도를 구비하는 단말 장치 또는 비디오 게임 동작 입력 장치를 제공하는 것이 바람직하다.
또한 증가된 분석 능력을 갖춘 단말 장치 또는 비디오 게임 동작 입력 장치를 제공하는 것이 바람직하다.
또한 증가된 수의 기준 매개 변수들을 갖춘 단말 장치 또는 비디오 게임 동작 입력 장치를 제공하는 것이 바람직하다.
또한 무선 단말 장치 또는 무선 게임 동작 입력 장치를 제공하는 것이 바람직하다.
또한 초소형 휴대용 장치들을 위한 사용자 인터페이스 구성 요소의 새로운 디자인을 가지는 것이 바람직하다.
본 발명의 제1측면에 따르면 컴퓨팅 장치용 동작 입력 장치가 제공된다. 상기 동작 입력 장치는 하우징(housing), 3축 가속 센서, 3축 나침반 및 데이터 전송 구성 요소를 포함한다.
동작 입력 장치의 하우징은 한 손 조작이 가능한 손잡이 모양의 장치, 한 손 또는 양손 조작이 가능한 원형 모양의 장치(완장과 같은, 핸들 또는 훌라후프, 또는 스티어링 로드나 그와 비슷한 대체로 "H" 또는 "W" 모양의 양손 입력 장치로 실행될 수 있다.
상기 3축 가속도계 센서는 동작 입력 장치의 방향 및 움직임과 관련된 관성 신호들을 출력하기 위하여 상기 하우징 내에 배열되어 있다. 이에 관련해서 "관성 센서", "가속도계", "가속도 센서" 및 "중력 센서" 라는 표현은 같은 뜻으로 사용된다. 3차원 가속도 센서의 위치에 따라서 센서들은 하우징의 각운동(예를 들어 가속도 센서들이 회전축의 축으로부터 멀리 떨어져서 위치할 때)을 검출할 수 있다. 가속도계는 또한 가속도 신호들을 적분함으로 인하여 3차원 공간에서 상대 선형 움직임을 검출하기 위하여 사용될 수 있다. 가속도 센서들은 또한 중력 가속도를 대상으로 하므로 가속도 센서들은 동작이 없는 입력 장치의 경우 오프셋 값으로 중력의 방향을 나타낼 것이다. 중력 가속도는 입력 장치의 가속된 동작에 의하여 유발되는 가속도 신호들에 중첩된다.
상기 3축 나침반은 동작 입력 장치의 방향에 관련된 자기장 신호들을 출력하기 위하여 상기 하우징 내에 배열되어 있다. 3축 나침반 또는 자기력계는 동작 입력 장치의 어떠한 변이들 및 가속도들과 본질적으로 독립인 상수 기준 벡터를 제공한다.
상기 동작 입력 장치는 상기 자기장 신호들 및 상기 관성 신호들을 상기 동작 입력 장치가 목표로 하는 상기 컴퓨팅 장치에 전송하기 위한 전송 구성 요소를 구비한다. 상기 자기장 신호들 및 상기 관성 신호들을 전송하기 위한 구성 요소는 연피 케이블, 유리섬유, 블루투스와 같은 적외선/라디오파 전송기 또는 무선 랜들에 의존한다.
상기 장치는 모든 종류의 컴퓨터 장치 입력용으로 사용될 것이며 사용자의 자연스러운 움직임을 가능하게 하는 사용자 체험을 증가시키기 위한 비디오 게임 콘솔의 입력에 적합하다. 본 발명의 입력 장치는 예를 들어 게임용 입력으로서 실제 물리적인 움직임을 사용하기 위한 두 개의 독립적인 동작 센서인 3차원 가속도계 및 3차원 자기력계 센서를 제공한다. 정지 상태에서는 양 센서들은 단지 중력 방향 및 자극 방향의 정지 벡터를 제공한다. 정지 상태에서 양 센서들은 거의 중복적인 정보를 제공한다. 이러한 것을 제외하고는 이들 두 벡터들 사이에는 각도가 존재할 것이라고 예상된다. 그러나 이러한 각도는 공간에서 중력 및 예를 들어 (자기)북극과의 관계에서 상기 장치의 방향을 완전히 결정하는 것을 허용한다. 정지 상태에서의 센서 정보는 기준 벡터들 사이의 각도를 제외하고는 거의 중복된다. 그러나 동작이 있는 경우, 상기 입력 장치에 있어서 모든 종류의 가속도 운동에 가속도 벡터가 중첩된다. 3차원 나침반 센서는 어떤 종류의 가속도 효과에도 종속하지 않는다. 이러한 차이 및 중력 벡터 및 자기 벡터 사이의 일정한 각도는 비록 상기 장치가 회전하고 및/또는 선형적으로 가속되더라도 상기 가속도 센서 신호로부터 상기 장치가 중력 벡터를 역으로 계산해낼 수 있도록 한다.
즉, 본 발명에 따른 동작 입력 장치의 기초 버젼은 3차 자유도(DOF: degree of freedom) 작동을 가능하게 한다. 2차 자유도는 3차 가속도 센서들(또는 기울기 센서)에 의하여 발생한다. 추가적인 2차 자유도는 (수평면에서의)회전 운동을 검출하는 3차원 자기력계로부터 제공된다. 그러나 3차원 가속도 센서 및 3차원 자기력계는 하나의 자유도를 공유하기 때문에, 이는 센서들의 결합으로는 오직 3차 자유도를 발생시킨다. 상기 장치는 중력 벡터 및 북극 방향을 검출함으로 인하여 절대 방향을 결정할 수 있다.
기본적인 가공되지 않은 실시 형태에서 동작 입력 장치는 평가를 위해서 외부 컴퓨터 장치로 센서 신호들을 전송하기 위한 (센서 차원당 한 쌍의 도선으로 이루어진)케이블을 구비한 3차원 가속도계 및 3차원 자기력계용 하우징으로서 제공된다.
본 발명의 다른 측면에 따르면 5차 자유도를 제공하는 컴퓨팅 장치용 동작 입력 장치가 제공된다. 상기 장치는 3차원 방향 결정 요소 및 조이스틱을 포함한다. 3차 방향 결정 요소는 가속도계 및 나침반 센서들을 포함하며, 상기 방향 결정 요소들은 각각 또는 결합하여 3차 자유도의 동작 입력을 제공하기 위한 것이다. 조이스틱은 추가적인 2차의 자유도의 입력을 제공한다. 결합에 의하여 얻을 수 있는 자유도는 총 5차 자유도이다. 만약 조이스틱이 손가락 또는 엄지손가락 조이스틱으로 구체화된다면, 입력을 위한 총 5차 자유도를 상기 동작 입력 장치의 한 손 조작으로 사용할 수 있게 된다. 3차원 방향 결정 요소는 가속도계 및 나침반 센서들을 포함한다. 가속도 센서의 방향성의 수는 1 내지 3 사이의(그리고 특별한 경우에는 6까지의) 임의의 수를 나타낼 수 있다는 것에 주목해야 한다. 또한 나침반 센서의 방향성은 1 내지 3 사이의 임의의 수(그리고 바람직하게는 3)를 나타낼 수 있다는 것에 주목해야 한다. 그러나 양 센서들에 의해 커버되는 차원의 합은 값들의 단순 평가에 의하여 그리고 입력 움직임들을 위한 완전한 3차 자유도를 얻기 위하여 적어도 4이어야 한다.
일 실시 예로 상기 동작 입력 장치는 적어도 하나의 자이로 센서를 구비한다. 이러한 실시 형태는 실제(심지어 일정한) 각속도에 따른 추가적인 위치 및 움직임 데이터를 제공할 수 있다. 회전 질량을 사용하는 통상적인 자이로스코프 또는 피에조 자이로 센서가 이를 실행한다. 이러한 실행은 각속도 및 각가속도를 결정하기 위해 자이로들이 회전 질량의 세차운동 및 모멘텀을 사용할 수 있다는 이점이 있다.
본 발명의 다른 실시 예로 상기 동작 입력 장치는 적어도 하나의 각가속도 센서를 구비한다. 각가속도 센서는 신호의 주파수 편이 차이, 또는 회전할 수 있게 고정된 물체에 기초한 광 유리섬유 자이로 센서들로서 실행될 수 있으며, 상기 물체의 질량 중심은 상기 회전축과 일치한다.
또한 3각형 모양 프리즘의 측면에 배열된 3개의 통상적인 2차원 가속도 센서들이 주어질 것이 예상될 것이다. 이러한 각가속도 센서들의 배열은 3차원 중력, 각가속도 및 변동 가속도 센서의 결합으로서의 기능을 제공한다. 정육면체의 각 면에 평행하며 각 면의 중심에 위치한 6개의 1차원 관성 센서들의 배열에 의하여 더 간단한 실시를 얻을 수 있을 것이다. 마주보는 센서들은 평행한 방향을 향하며, 마주보는 센서들에 의하여 정의되는 면들은 서로에 대하여 각각 직교하는 방향을 향한다. 이러한 구성에서 관성 센서들은 입력 장치의 회전 가속도 및 변동 가속도에 대한 추가적인 정보를 제공할 수 있다.
또 다른 실시 예에서 상기 하우징은 교환할 수 있는 메모리 카드의 모양을 가진다. 이러한 적용 방법은 노키아의 N-GageTM과 같은 휴대용 게임 콘솔들에 기초한 메모리 카드 모듈용으로 디자인되었다. 주 이점은 존재하는 휴대용 콘솔에 또는 메모리 카드 또는 "세가/드림캐스트TM" 콘트롤러들로부터 알려진"럼블 팩" 슬롯을 구비하는 비디오 게임 조작기 내에 동작 인식 능력을 갱신시킬 수 있다는 점이다. 이러한 실시는 또한 (방향/동작 검출 센서들에 더하여)게임 소프트웨어를 제공하기 위해 휴대용 단말에 내장 메모리를 구비할 수 있다. 동작들 및 몸짓들을 인식하는 데 제한된 처리 능력을 가지고 있는 휴대용 기기 등의 동작 인식 작업을 도와주기 위하여 메모리 카드 내의 처리 장치를 적용하는 것도 구상된다. 이러한 경우 단말기는 자신의 모든 처리 능력을, 게임 소프트웨어를 가장 풍부한 게임 체험을 보장할 수 있는 최고 성능으로 실행시키는데 사용할 수 있다.
또 다른 실시 예로 상기 동작 입력 장치는 적어도 하나의 버튼 입력 장치를 더 포함한다. 관성 및 가속도 센서들에 더하여 (버튼들이나 스위치들 같은)다른 형태의 아날로그 또는 디지털 입력이 장치의 일부분이 될 수 있다. 아날로그 또는 디지털 입력 버튼들 또는 스위치들은 네 손가락 또는 엄지 손가락 작동을 위해 배열될 수 있다. 또한 상기 버튼들은 동작 입력 장치가 실제로 손에 들려져 있는지 표면에 놓여있는지를 판단하기 위하여 제공될 수 있다. "아날로그" 버튼은 인가된 압력에 따라서 출력 값을 변화시키는 반면에 디지털 버튼은 온 및 오프의 두가지 상태를 포함한다. 버튼들(또는 키들)은 직접 입력 버튼들로서 또는 예를 들어 선택 버튼들로서 실시될 수 있으며, 정상 작동중에 직접 입력 버튼들에 접근하는 것은 용이하나 선택 또는 시작 버튼들은 작동중에 부주의한 활성화를 방지하기 위하여 측면에 위치한다. 양 입력 버튼들 및 선택 버튼들은 아날로그 또는 디지털 방식의 작동 버튼으로 실행될 수 있다.
이러한 작동은 만약 조작자가 실질적으로 동작 입력 장치를 사용하지 않는다면, 예를 들어 동작 검출 시스템이 수면 모드로 진입하는 "데드맨 안전 시스템"과 같은 종류의 사용자의 제공이 존재하는 것을 검출하는 센서 버튼에 의하여 실행될 수 있다. 상기 버튼 입력 신호들을 또한 전송하기 위하여 상기 전송 구성 요소가 제공된다는 것은 더욱 주목할 만하다.
더욱이 또 다른 실시 예로 상기 입력 장치는 적어도 조이스틱 신호를 제공하기 위하여 상기 하우징으로부터 돌출된 하나의 2차원 조이스틱 입력 장치를 포함한다.
상기 조이스틱으로 동작 입력 장치는 5차 자유도의 작동이 가능하며, 2차 자유도는 조이스틱 작동에 의하여 구현되며 3차 자유도는 모든 3차원의 축 상에서 장치의 회전(및/또는 중첩된 병진운동)에 의하여 구현된다.
손가락 하나로 작동되는 그러한 조이스틱들은 예를 들어 일반적으로 알려진 비디오 게임 콘솔 제작자들의 모든 실제 표준 게임 패드로부터 알려져 있다. 조이스틱은 "아날로그" 또는 디지털로 작동하는 손가락 또는 엄지 손가락으로 작동되는 조이스틱일 수 있다. 조이스틱은 밀집모자 모양 또는 4 또는 8방향 로커키 형태로 제공되거나 실행될 수 있다. 사용자의 추가적인 입력 선택을 위하여 조이스틱은 막대를 축 방향으로 누르는 것에 의하여 작동될 수 있는 엄지 손가락 조작 막대에 의하여 실행될 수 있다. 조이스틱은 엄지 손가락 작동에 대하여 실질적으로 축방향으로 배열되는 하우징의 말단에서 실행될 수 있다. 상기 전송 구성 요소는 상기 조이스틱 신호들을 또한 전송하기 위하여 제공된다는 것을 언급할 필요가 있어보인다.
본 실시 예에서 본 발명은 한 손으로 5차 자유도 작동을 가능하게 한다. 전통적인 엄지손가락 조이스틱은 2차 자유도를 제공한다. 자기력계 및 가속도계가 함께 고유하게 3차원 공간에서 장치의 방향을 정의하며, 추가적인 3차 자유도를 부여한다.
특히 5차 자유도 입력 장치에 있어서 몇몇 용도로, 예를 들어 전통적인 2 조이스틱 2 손 게임 패드를 한 손 장치로 대체하는 것이 확인될 수 있다. 더욱이, 장치의 방향은 (1인칭 시점 게임에서와 같이) 3차원 공간을 둘러보거나 겨냥하는데 이상적이다. 동작 입력 장치의 방향은 요(yaw), 피치(pitch) 및 롤(roll) 각도로 변환될 수 있으며, 상기 각도들은 비행기 및 공간 시뮬레이션에 이상적이다. 따라서 본 발명은 전통적인 게임 패드들에서 일반적으로 두 손들(또는 엄지 손가락들) 및 발을 필요로 하는 경우에 한 손 작동을 허용한다. 비행기 제어를 참조한다:스틱 위에 오른손, 계기판에 왼손 그리고 스로틀(throttle) 위에 발을 놓는다. 본 발명은 또한 몸짓으로 간주되는 복합 (3차원 가속도계 및 3차원 자기력계)3차원 동작 궤도를 검출하는 것을 가능하게 한다. 몸짓 검출은 상기 용도와 동시에 사용될 수 있다.
더욱이 또 다른 실시 예로 상기 동작 입력 장치는 적어도 하나의 방아쇠 버튼 입력 장치를 더 포함할 수 있다. 이러한 종류의 제어 선택 사항은 (원격 제어 자동차로부터 알려진 것과 같은)자동차 운전 시뮬레이션 또는 총 시뮬레이션 또는 특히 전투기 시뮬레이션용 스로틀과 같이 손가락으로 작동시키는 입력들에 대하여 특히 적합하다.
또 다른 실시 예로 상기 동작 입력 장치로서 상기 하우징은 실질적으로 손잡이 모양을 가진다. 하우징은 한 손 손잡이(즉, 조이스틱) 또는 두 개의 한 손 손잡이의 결합, 즉 자동차, 비행기, 또는 호버크라프트 등의 제어 요소들로부터 알려진 것처럼 "H", "W" 또는 "O" 모양의 장치들의 모양을 가질 수 있다.
더욱이 또 다른 실시 예로 상기 동작 입력 장치는 사용자의 신체 일부 또는 의복에 연결되거나 고정될 수 있는 모양의 하우징을 더 포함할 수 있다. 이것은 사용자가 동작 입력 장치를 예를 들어 손, 팔뚝, 상박, 머리, 가슴, 허벅지, 아래 다리 또는 발 등에 착용할 수 있게 할 것이다. 이것은 고리, 끈 또는 연결고리 등에 의하여 실행될 수 있을 것이다. 또한 장치를 끈이나 벨크로 고정구(velcro fastening)에 의하여 사용자의 의복에 연결하기 위한 고정 요소를 구비한 동작 입력 장치를 제공하는 것이 예상된다. 이러한 실행은 동작 입력 장치를 사용자의 장갑, 재킷, 셔츠 또는 스웨터, 바지 또는 모자, 헬멧 또는 신발에 장착하는 것을 허용한다. 하우징은 사용자의 팔, 손가락 발, 다리 또는 신발에 연결되기 위한 이음고리, 처프(chuff), 또는 슬리브 요소를 포함할 수 있다. 또한 끈으로 묶는 구두의 끈에 동작 입력 장치를 연결하기 위한 많은 구멍들을 구성하는 것이 예상된다. 또한 목이 긴 구두로부터의 접합 요소를 구성하는 것이 예상된다. 장치들이 사용자가 매트에서 정확한 영역을 명중시키기 위하여 자신의 발을 응시하는 것으로부터 해방시키기 때문에, 이러한 구성은 "춤 매트"로 일반적으로 알려진 발끝으로 작동하는 입력 장치일 수 있다. 추가적으로, 본 발명은 회전들(그리고 발에 연결되었을 때 탭들)을 검출할 수 있어서 장치는 춤 안무 지도자로서 사용될 수 있다.
특별한 이점은 사용자가 예를 들어 자신의 발에 기술적으로 독특한 모듈을 연결하고 따라서 추가로 물리적인 게임 상호 작용을 생성할 것이기 때문에 본 발명의 사용은 오직 손에 제한되지 않는다는 점이다: 예를 들어 N-Gage로 실행하고 게임 체험을 더 풍부하게 하기 위하여 무선(BT) 발 콘트롤러를 구비하여서. 즉, 사용자는 다차원 게임 입력을 위해 2(각 손에 하나씩), 2(각 발에 하나씩) 및 머리에 하나로 5개까지의 독립한 입력 장치들을 사용할 것이다. 또한 (특히 발에 장착된 동작 입력 장치들의 경우)게임 실행 도중 입력 장치의 움직임으로부터 (전기적)에너지를 얻기 위하여 입력 장치 내에 발전기 또는 생성기 장치를 구성할 것이 예상될 것이다.
또 다른 실시 예로 상기 입력 장치는 상기 센서들 및 상기 장치가 다른 장치도 포함하는 경우에 상기 다른 장치에 연결된 제어기를 더 포함한다. 제어기는 상기 컴퓨터 장치에 전송 또는 입력하기 위한 센서 데이터 등의 디지털화 또는 다중 송신을 위하여 사용된다. 또한 조이스틱들 버튼들 방아쇠들 및 그와 비슷한 추가적인 입력 요소들로부터의 데이터 등을 다중 전송하는 것이 예상된다. 또한 오직 방향 또는 위치 데이터를 컴퓨터 장치에 전송하기 위한 센서 신호 처리를 수행하기 위하여 제어기를 사용하는 것이 기대된다.
상기 동작 입력 장치의 또 다른 실시 예로 상기 제어기는 상기 획득된 관성 신호들 및 자기 신호들로부터 입력으로서 사전에 정의된 몸짓들을 인식하기 위하여 구성된다. 장치의 측정된 움직임은 몸짓들로 식별될 수 있다. 예를 들어 "은닉 마르코프 모델"(HMM:Hidden Markov Model)을 사용하는 몸짓 인식이 실행할 수 있는 한 가지 방법이다. 가속도 센서 신호들을 평가하기 위한 은닉 마르코프 모델은 자기력계 신호들을 평가하기 위한 은닉 마르코프 모델과 상당히 다를 것이라고 예상된다. 은닉 마르코프 모델의 적용은 매우 다른 방법으로 수행될 것이다. 예를 들어 센서들에 의하여 제공되는 모든 매개 변수들에 단일(single) 은닉 마르코프 모델을 사용하는 것이 가능할 것이다. 또한 센서들 및 입력 요소들에 의하여 획득되는 모든 매개 변수들에 단일 은닉 마르코프 모델의 실행이 예상된다.
이러한 실시 예에서 입력이 컴퓨터 장치에 전송되거나 제공되기 전에, 방향, 움직임들 및 몸짓들의 계산이 입력 장치 내의 처리 단위에서 일어난다.
더욱이 또 다른 실시 예로 상기 동작 입력 장치의 상기 제어기는 상기 연속 은닉 마르코프 모델을 적용하기 전에 상기 획득된 관성 신호들 및 상기 전자장 신호들에 전처리 및 회전 정규화가 사용되도록 구성된다. 상기 실시 예와 비교하여 무선 입력 장치에서 (예를 들어 몸짓 인식 등의)동작 검출 및 평가는 전처리 및 회전 정규화 후에 실행되므로 입력 신호는 동작 입력 장치에서 직접 계산된다. 즉, 은닉 마르코프 모델은 미가공 센서 데이터에 적용되지 않고 전처리 및 회전 정규화된 데이터에 적용된다.
전처리 및 회전 정규화에서의 특별한 단계들 후에 가속도계 신호로부터 (휴대용 장치에 의하여 만들어진)사전에 정의된 몸짓들을 인식하기 위한 연속 은닉 마르코프 모델의 정확성을 증가시키기 위해서 전처리가 수행된다. 이것은 가속도 벡터들을 포함하는 행렬 D=(a1,a2,...,aT)T에 의하여 실행되며, 상기 ai는 시간 ti에서 측정된 가속도이다. 맵핑 함수 gT(D)는 T×3 행렬로부터 R3 공간으로의 선형 맵핑을 제공하며, 측정된 데이터로부터 중력의 방향을 측정한다. 예를 들어, gT(D)는 벡터들 ai 의 평균일 수 있다.
중력 요소는 항상 몸짓들에 존재하고, 몸짓에 대한 중요한 정보원이 될 수 있다. 그러나, 손의 초기 방향에 따라서 중력 요소는 서로 다른 각도들로 관측될 수 있다. 그러나 정확한 인식을 위해서는, 중력 요소는 몸짓의 서로 다른 부분에서 예상되는 위치에 근처에 있어야 한다. 이것은 행렬 D에 있는 데이터를 회전하여 gT(D)=c(1,0,0)T 에 의하여 얻을 수 있으며, 상기 c는 임의의 상수이다. 손의 초기 방향의 효과는 따라서 제거되고, 몸짓의 실시중에 방향은 몸짓이 수행되는 방법에만 기인하게 된다.
특히, 3차원 자기력계가 입력 장치 내에 존재하는 경우 이러한 자기력계 정보는 이러한 회전 정규화를 수행하는데 사용될 것이다.
gT는 선형 함수이므로, RgT(D)=(1,0,0)T와 같은 회전(또는 역회전) 행렬 R을 찾는 것으로 충분하다. 이것은 다음과 같이 실행될 수 있다. R=(r1,r2,r3)라고 하고, r1=gT(D)/｜gT(D)｜,r2=y-proj(r1,y)/｜y-proj(r1,y)｜, r3'=z-proj(r2,z) 그리고 r3=r3'-proj(r1,r3')/｜r3'-proj(r1,r3')｜라고 한다. 즉, 벡터들 gT(D), y, z을 상기 순서대로 그램-슈미트 직교화 과정(Gram-schmidt orthogonalization procedure)을 사용하여 R3 에 대한 새로운 기초 벡터를 생성하고, 상기 기초 벡터들 중 하나는 중력 구성 요소로 추정하는 방향이다. 여기서 y=(0,1,0)T, z=(0,0,1)T이고 proj(u,v)는 u 상에 v를 투영시킨 것이다. R내의 벡터들은 정규직교이기 때문에, RgT(D)=｜RgT(D)｜(1,0,0)T, 그리고 RTR=diag(1,1,1)라는 것이 명확하다. 후자의 등식은 R이 회전 또는 역회전을 나타낸다는 것을 보여준다.
또한 은닉 마르코프 모델 인식이 효과가 있기 위해서는, 서로 다른 부분들에서의 가속도 벡터들은 일반적으로 어떠한 평균 궤도 근처에 분포되어야 한다. 몸짓의 속도에 따라서 가속도의 크기가 증가하므로 몸짓들이 서로 다른 속도들로 수행될 때 인식은 실패한다. 따라서 데이터는 정규화되어야 한다. 자연적인 선택은 정규화 되어서 최대 관측 크기는 항상 1이며, 예를 들어 행렬 D의 데이터를 1/max{｜ai｜}에 의하여 크기 조절을 한다.
사용된 은닉 마르코프 모델은 왼쪽에서 오른쪽으로의 모델로 각 상태로부터 오직 자기 자신 또는 다음 상태로만 변이된다. 각 상태는 단일 3차원 다항 분포 출력을 가지며, 상기 출력은 (상기 언급한 것과 같이 정규화한 후에)직접 가속도들을 나타낸다. 3개의 차원은 독립적이라고 가정되고, 따라서 공분산 행렬의 대각선 요소들만이 0이 아니다. 따라서 n 상태 모델에 있어서, 어림잡아 8n개의 매개 변수들이 존재한다:3개의 기대값들 및 출력 분포에 대한 3개의 분산들 및 2개의 전이 확률.
몸짓의 많은 예들이 주어질 때, 모델을 위한 매개 변수들은 바움-웰치 알고리즘(Baum-Welch algorithm)에 의하여 추정될 수 있다. 어떤 초기 모델로부터 시작해서, 개념은 만약 상기 모델이 주어진 연습 몸짓을 생성한다면 시간 t에서 상태 I로부터 상태 j로의 전이의 확률
Figure 112007061238539-PCT00001
를 계산하는 것이다. 이러한 것은 대부분의 패턴 인식 책들(예를 들어:Richard O. Duda 외, 패턴 분류 2판. Wiley-Interscience, 2001)에서 설명되는 전방향 및 후방향 알고리즘(Forward and Backward algorithm)들을 사용하여 실행될 수 있다. 모든 연슨 몸짓들 Ok 에 대한 통계치
Figure 112007061238539-PCT00002
가 계산된 후에 상태 I에서의 매개 변수들에 대한 개선된 추정치가 다음 공식에 의하여 계산될 수 있다:
Figure 112007061238539-PCT00003
Figure 112007061238539-PCT00004
Figure 112007061238539-PCT00005
,
상기
Figure 112007061238539-PCT00006
는 상태 I의 출력에 대한 기대값( 벡터)의 r1th 요소이고,
Figure 112007061238539-PCT00007
는 공분산 행렬의 1th (대각선) 요소이며 그리고
Figure 112007061238539-PCT00008
는 상태 I로부터 상태 j로의 전이 확률이다. 왼쪽으로부터 오른쪽으로의 모델을 오직 자기 자신으로부터 다음 상태로의 전이만으로 제한하기 위하여는, 모든 다른 전이들에 대하여 초기 전이 확률을 0으로 하는 것으로 충분하다. 상기 공식에 의하여 주어지는 새로운 추정값은 항상 그것들이 가져야하는 값인 0이 될 것이며 따라서 그것들을 계산할 필요가 없게 된다.
처리 과정은 통계치
Figure 112007061238539-PCT00009
를 계산하고 매개 변수들을 재추정하기 위하여 갱신된 매개 변수들을 사용하여 처음부터 반복된다.
상기 모델들을 연습시킨 후, 상기 연습 데이터로 기록된 데이터를 정규화하고 각 모델이 데이터를 생성하는 확률을 계산함으로 인하여 인식이 수행된다. 가장 높은 확률을 부여하는 모델이 몸짓을 식별한다. 데이터를 생성하는 확률은 전방향 알고리즘을 사용하여 계산될 수 있다.
실행은 기계 정밀도에 대한 문제점을 회피하기 위하여 선형 확률 대신에 대수 확률을 사용하는 것과 같은 (음성 인식으로부터 알려진 것처럼)표준 방법을 사용할 수 있다.
또 다른 실시 예로 상기 동작 입력 장치는 상기 제어기에 연결되는 컴퓨팅 장치로의 인터페이스를 더 포함할 수 있다. 기초적인 적용 방법에서 센서 및 입력 요소의 데이터를 컴퓨터 장치에 전송하기 위한 케이블 및 플러그가 이러한 인터페이스를 실행할 수 있다. 보다 복잡한 실시로 인터페이스는 전송용의 낮은 대역폭을 얻기 위하여 전처리된 다중 송신 또는 압축 데이터를 상기 컴퓨터 단말에 제공하기 위해 제어기를 케이블을 통하여 컴퓨터 장치로 연결할 수 있다. 무선 인터페이스를 사용하는 것도 가능하다. 케이블 인터페이스는 동작 입력 장치가 케이블을 통하여 전력 공급 장치를 구비할 것이라는 이점이 있다. 그러나 특히 동작 입력 장치의 경우에 케이블은 만약 케이블 연결이 예상한 것보다 짧으면 움직임의 자유를 제한할 것이다.
더욱이 또 다른 실시 예로 상기 동작 입력 장치 상기 인터페이스는 적외선 인터페이스이고 상기 인터페이스 장치는 전력 공급 장치를 더 포함할 수 있다. 센서 및 입력 요소 데이터를 전송하기 위해 적외선 인터페이스를 사용함으로써 무선 작동을 얻기 위하여 장치는 배터리로 전력이 공급될 수 있다. 그러나 적외선의 사용은, 장치가 모든 가능한 위치 및 방향에서 움직임 입력 장치로부터 컴퓨터 장치로의 데이터 연결이 가능하게 하는 많은 수의 서로 다른 전송 다이오드를 구비해야 한다는 주된 결점이 있다.
상기 입력 장치의 또 다른 실시 예로 상기 인터페이스는 라디오파 인터페이스이고 상기 인터페이스 장치는 전력 공급 장치를 더 포함할 수 있다. 라디오파 인터페이스는 유도된 적외선 방사의 결점 없이 무선 연결의 이점이 있다. 비록 입력 장치가 컴퓨터 장치(또는 게임 콘솔)와의 연결을 상실하지 않고서 사용자의 신체 뒤에 위치하여도 범위 또는 수 미터를 가진 저전력 라디오파 장치는 완전한 게임 입력으로 충분하다. 동작 입력 장치 및 컴퓨터 단말 사이에 단방향 라디오파 연결 또는 쌍방향 라디오파 연결을 실행하는 것이 가능하다. 또한 충전 가능한 배터리 팩을 무선 동작 검출 장치 내에 구성하는 것이 예상되며, 크래들과 같이 재충전 장소, 저장 장치 및 "영점 기준점"으로서의 기능을 제공하기 위하여 사용된다.
더욱이 또 다른 실시 예로 상기 인터페이스는 블루투스 인터페이스이다. 페일 세이프 무선 작동을 얻기 위해서, 장치는 배터리에 의하여 전력이 제공될 수 있으며 센서 데이터를 전송하기 위해 디지털 무선 기술을 사용할 것이다. 이에 적합한 기술이 블루투스이다. 더욱이 하위 계층 데이터 전송과는 별도로, 블루투스는 상위 소프트웨어 계층에서 "키보드들, 포인팅 장치들, 게임 장치들, 및 원경 감시 장치들과 같은 블루투스 인간 인터페이스 장치에 의하여 사용되는 프로토콜, 처리 과정, 및 특징들을 정의하는" 인간 입력 장치(HID: human input device)를 열거한다.
특히 블루투스 인간 입력 장치 프로토콜은 최대의 범용 적용성을 얻기 위하여 전송될 데이터가 어떻게 부호화되는지에 대한 정보를 제공하는 입력 장치들에 적합한 환경을 설정한다.
이러한 실행은 무선(블루투스)으로 한 손 제어되는 액션 게임 패드를 제공하며, 실제 물리적인 움직임들을 게임 입력으로서 사용하기 위한 (3차원 가속도계 및 3차원 자기력계)동작 센서들뿐만 아니라 버튼들 및 조이스틱으로 특징지어진다.
또 다른 실시 예로 상기 동작 입력 장치는 피드백 요소를 더 포함한다. 피드백 요소는 연결된 컴퓨터 (단말)장치로부터 피드백 신호들을 수신하기 위하여 상기 제어기(및/또는 적어도 상기 인터페이스)로 연결될 수 있다. 피드백 요소는 촉각, 청각 및/또는 시각 피드백 요소로서 제공될 수 있다. 서로 다른 피드백 경험을 제공하기 위하여 동작 입력 장치 내에 예를 들어 확대 스피커들, 질량 구동기 및 발광 장치 또는 디스플레이 요소가 실시될 수 있다. 시각 피드백은 간접적으로 사용자가 화면이나 디스플레이를 응시하는 것에 의하여 감지되는 조명 패턴으로 제공될 것이다. 시각 피드백은 게임 응용프로그램에서 소화기의 분출구에서 분출되는 것을 시뮬레이션하여 사용될 수 있다. 장치는 또한 소리 및 1인칭 슈팅 게임에서 총격(또는 게임 응용프로그램에서 다이얼 자물쇠를 돌리는 소리)을 흉내내는 청각 피드백을 제공한다. 촉각 피드백 요소는 사냥 게임 응용프로그램 등에서 소화기의 반동 효과(또는 잠입 게임에서 다이얼 자물쇠를 배열하는 느낌)를 제공할 수 있다.
촉각 피드백은 두 개의 서로 다른 원리인 진동 피드백과 입력 요소 피드백으로 분류될 수 있다. 진동 피드백은 특히 레이스 게임에서 자동차가 사물을 치는 것과 같이 입력 기능을 강하게 실행시키는 피드백 사건으로 구성된다. 진동 피드백은 동작 검출에 영향을 주고 따라서 진동 효과는 대부분 입력 요소들이 어떤 경로로도 막히는 상황, 예를 들어 비행기 시뮬레이션에서 엔진 정지)에서 시작된다. 두번째 형태의 촉각 피드백은 스티어링 휠의 힘이나 (두 번째 방아쇠 세트의 방아쇠 특성등을 흉내내는 것과 같은)버튼 압력의 특성들과 같은 추가적인 입력 요소를 포함할 수 있다. 입력 요소의 촉각 피드백은 3차원 관성 센서들 및 3차원 자기력계에 의한 기본 동작 검출에 영향을 미치지 않는다. 따라서 입력 요소 활동 특성은 입력 중 어느 시점에서도 활성화될 것이다.
또한 동작 입력 장치에서 시각 또는 청각 피드백을 제공하는 것이 가능하다. 피드백은 컴퓨팅 단말로부터 전송될 수 있거나 입력 장치 내에서 계산될 수 있으며, 따라서 컴퓨팅 단말로 그리고 컴퓨팅 단말로부터의 정보 전송에 있어서 고유한 지연을 피한다.
본 발명에서 입력 장치로서의 기능을 제공하는 대상인 컴퓨터 단말 내의 처리 장치에서 방향, 움직임들 및 동작들의 계산이 실행될 것이 명백히 예상된다. 호스트 장치는 배터리에 의하여 전력이 공급되는 장치가 아니라고 예상되기 때문에 이러한 점으로 동작 입력 장치에서의 전력 절약을 얻을 수 있다.
더욱이 또 다른 실시 예로 상기 인식된 입력에 따라서 상기 제어기에 연결되고 상기 제어기에 의하여 제어되는 상기 피드백 요소를 가진 상기 입력 장치. 즉 동작 검출 및 평가(예를 들어 몸짓 인식)는 무선 입력 장치에서 수행되고 따라서 사용자 피드백은 직접 장치에서 계산되어 제공될 수 있다.
또 다른 실시 예로 상기 동작 입력 장치는 상기 제어기에 연결되는 기억 단위를 더 포함한다. 기억 단위는 개인 키 구성들, 또는 컴퓨터 게임의 경우 게임 상태와 같은 외부 정보와 같은 입력 장치 설정 등을 저장하기 위한 기억 장치로 사용될 수 있다.
만약 장치의 제어기가 충분히 뛰어나다면 실시 형태는 입력 관련된 피드백을 제공하기 위해 각각 작동하는 동작 입력 장치를 제공할 수 있다.
만약 기억 장치가 어떠한 입력에 따라서 피드백 구동기를 어떻게 작동시키는지에 대한 특수 용도의 매개 변수들을 구비한다면, 동작 입력 장치는 독립적으로 작동할 수 있다. 동작 입력 장치에 제공되는 어떤 입력 요소로부터 수신된 입력에 기초하여 제어기는 서로 다른 입력/동작들에 대해 피드백을 생성하는 피드백 요소를 제어할 수 있다.
그러한 시스템은 게임 규격 내에서 실행될 수 있다. 피드백 장치는 힘 피드백 장치, 소리 출력 시스템 또는 디스플레이 요소일 수 있으며 입력 요소가 모든 종류의 입력을 검출하기 위하여 사용될 수 있다. 피드백 생성을 내장하는 이러한 특별한 실시 형태는 입력과 관련된 힘 피드백에 대하여만 적합하다. 충돌 또는 어떤 인가된 충격 등에 의하여 초래되는 피드백 출력은 여전히 컴퓨터 장치로부터 통상적인 방법으로 전송되어야만 한다.
기억 장치는 무선 게임 콘트롤러에 대한 매개 변수 세트를 갱신할 수 있게 한다. 피드백용, 특히 촉각 피드백용 매개 변수 세트는 게임에서 진동 피드백 등의 전처리된 힘 피드백 패턴의 실행을 허용한다. 이러한 패턴들은 기억 장치 또는 콘트롤러 내에 저장된다. 예를 들어 총/기관총을 발사하고, 운전 게임에서 급격히 오르내리거나(pump) 및 슬라이딩하는 것 등이다. 그러므로 제어기 또는 컴퓨팅 장치는 원하는 입력 피드백 특성들을 활성화시킬 것이다. 예를 들어 무기의 변경은 새로운 피드백 특성을 활성화시킬 것이다. 입력 피드백 특성들의 활성화는 방아쇠가 눌리거나 특정 몸짓이 인식되는 등의 경우에, 게임 콘트롤러 내에서 국부적으로 그리고 독립적으로 수행될 수 있다.
본 발명의 또 다른 측면에 따라서 상기 동작 입력 장치는 입력 장치의 동작을 제한하는 요소를 더 포함한다. 본 발명의 주된 이점이 동작의 자유를 최대한으로 얻는 데 있는 것으로 보이기 때문에 이러한 입력 장치의 동작을 제한하는 요소들은 역설적으로 보인다. 입력 장치의 동작을 제한하는 요소들은 고무줄들을 위한 고리, 구멍 또는 추들(바람직하게는 비 자기성 추들)을 위한 리셉터클(receptacle) 및/또는 (2차원에서의)회전 운동들을 제한하기 위한 자이로스코프로서 실행될 수 있다. 이러한 구속으로 본 발명은 훈련 및 재활 응용프로그램용으로 사용될 수 있을 것이다. 아령 도구 또는 골프, 테니스, 도는 스쿼시 도구의 사용자의 최대 체험 및 연습 효과를 얻을 수 있는 그러한 동작 입력 장치로 실행되는 것이 예상된다. 또한 입력 장치의 동작을 제한하는 요소들을 입력 장치의 전원의 생성 수단으로서 사용하는 것이 예상된다.
또 다른 실시 예에 따라서 상술한 내용에 따른 동작 입력 장치로 제어되도록 의도된 컴퓨터 장치가 제공된다. 컴퓨터 장치는 여느 통상적인 컴퓨터 장치와 같이 하우징, 처리 단위 및 기억 장치를 포함한다. 추가적으로 장치는 동작 입력 장치의 방향 및 움직임에 관련된 관성 신호들 및 자기장 신호들을 획득하는 획득 수단을 더 포함하며 상기 처리 단위는 상기 획득된 관성 신호들 및 자기장 신호들로부터 입력으로서 사전에 정의된 몸짓들을 인식하기 위한 연속 은닉 마르코프 모델을 사용하도고 상기 획득된 관성 신호들 및 자기장 신호들을 실행 가능한 입력으로 변환하도록 구성된다. 이러한 컴퓨터 장치에서 방향, 움직임들 및 몸짓들의 계산은 상술한 동작 입력 장치가 입력 장치로서의 기능을 제공하는 컴퓨터 단말 내에서 미가공된 또는 전처리된 센서 데이터들에 기초하여 처리 단위에서 일어난다. 기초 버젼에서 컴퓨터 장치는 어떤 분리될 수 있는 인터페이스 없이 배선에 의하여 동작 입력 장치에 연결될 수 있다.
상기 컴퓨터 장치의 실시 예에서 관성 신호들 및 자기장 신호들의 상기 획득 수단은 상술한 사항 중 하나에 따른 동작 입력 장치로의 인터페이스를 포함할 수 있다. 이러한 실시 형태는 의지에 따라서 사용자가 동작 입력 장치를 교환하거나 교체할 수 있도록 허용한다. 이러한 구성에서 방향, 움직임들 및 몸짓들의 계산은 컴퓨터 단말 내의 처리 단위에서 일어난다. 그러나 전처리 및 회전 정규화는 동작 입력 장치 내에서 수행되는 것이 예상된다.
더욱이 상기 컴퓨터 장치의 또 다른 실시 예로 관성 신호들 및 자기장 신호들의 상기 획득 수단들은 3축 가속도계 센서 및 3축 나침반을 포함한다. 즉 이러한 실행은 동작 입력 장치에 내장된 컴퓨터 장치(예를 들어 게임 콘솔)를 나타낸다. 처리 능력을 가진 복잡한 제어기를 구비하는 동작 입력 장치 및 동작 입력 장치에 내장된 컴퓨터 장치는 더 이상 서로 명확히 구별되지 않는다는 것이 요점이다. 이러한 내장된 동작 입력 장치와 결합된 컴퓨터 장치는 "단일 콘트롤러 게임 콘솔"로서 컴퓨터 장치를 TV 화면에 연결하는 그래픽 출력 인터페이스를 포함할 수 있다. 또한 휴대용 게임이 가능하도록 내장된 동작 입력 장치와 또한 장착된 디스플레이와 결합된 컴퓨터 장치가 제공되는 것이 기대된다.
내장된 동작 입력 장치와 결합된 컴퓨터 장치는 동작 입력 장치용으로만 개시된 조이스틱들, 버튼들, 방아쇠들, 숄더 버튼들, 또는 휠들과 같은 모든 입력 요소를 포함할 수도 있다.
일 실시 예로 상기 컴퓨터 장치는 이동 전화기를 포함할 수 있다. 특히 휴대할 수 있는 크기를 가지고 정교한 전력 공급 장치, 디스플레이 및 계속해서 증가하는 연산 능력을 가진 휴대용 전화기 장치들이 추가적인 입력 선택을 위한 3차원 관성 또는 가속도 센서 및 3차원 자기력계 센서와 함께 입력 장치에 장착될 것이 예정된다. 최근의 GSM(Global System for Mobile Telecommunication) 및 UMTS(Universal Mobile Telecommunications System)를 이용한 이동 전화기의 처리 능력은 은닉 마르코프 모델을 구비하는 동작 검출 시스템을 사용하기에도 충분하다. 그러나 전화기 입력으로 요구되는 입력 동작들은 사용자가 항상 디스플레이 콘텐츠를 볼 수 있고 인식할 수 있어야 한다는 제한에 종속되기 때문에, 이러한 것은 필요하지 않다. 이러한 제한은 가능한 동작 입력 움직임들 또는 몸짓들의 수를 확연하게 감소시킨다. 그러나 특히 3차원 자기력계는 휴대용 전화기에서 특별한 병돌리기(또는 휴대용 전화기를 더 잘 회전시키는) 게임을 실행하는데 사용될 수 있다. 전화기가 많은 횟수의 서로 다른 움직임들을 보인 후에만 보안된 데이터에 접근하는 것을 허용하는 가상 다이얼 자물쇠에 또 다른 적용 방법이 존재한다.
더욱이 상기 컴퓨터 장치의 또 다른 실시 예로 상기 처리 단위는 상기 연속 은닉 마르코프 모델을 적용하기 전에 상기 획득된 관성 신호들 및 자기장 신호들에 전처리 및 회전 정규화를 사용하도록 구성된다. 이러한 적용은 장치가 내장된 또는 연결된 3차원 가속도 및 3차원 나침반 센서들로부터의 미가공된 센서 데이터를 사용한다면 사용될 수 있다. 전처리 단계 및 정규화의 이점은 동작 입력 장치와의 관계에서 이미 논의하였으며 따라서 이 점에 대하여 반복하지 않는다.
일 실시 예로 상기 컴퓨터 장치는 컴퓨터 장치의 동작을 제한하는 요소를 더 구비한다. 제한 요소들은 컴퓨터 장치를 컴퓨터 장치가 견고한 물체 또는 견고한 물건에 부딪쳐서 손상되는 것을 방지하기 위해 자동차 좌석 또는 여하한 표면에 고정하기 위한 고정 볼트 또는 끈을 포함할 수 있다. 만약 컴퓨터 장치가 내장된 동작 입력 장치를 구비한다면, 제한 요소의 실행은 사용자의 어떤 움직임들을 훈련시키기 위한 3차원 컴퓨터 장치에서 고무줄, 확장기 또는 추를 고정하기 위한 고리 및 작은 구멍을 포함할 수 있다. 제물 낚시(fly fishing), 골프 또는 테니스에서의 균형잡기에 요구되는 복잡한 동작들을 사용자가 연습하기 위해 특별 장치들 등을 포함할 수 있다.
본 발명의 또 다른 실시 예에 따를 때 컴퓨터 장치용 입력을 생성하는 방법이 제공된다. 상기 방법은 관성 신호들 및 자기장 신호들을 획득하고 상기 관성 신호들 및 자기장 신호들의 패턴들로부터 사전에 정의된 몸짓들을 인식하기 위해 상기 획득된 신호들에 은닉 마르코프 모델을 적용하고, 그리고 사전에 정의된 패턴이 인식되었을 때 입력을 획득하는 단계를 포함한다.
일 실시 예로 상기 방법은 상기 연속 은닉 마르코프 모델을 적용하기 전에 상기 획득된 관성 신호들 및 자기장 신호들에 회전 정규화 작업을 수행하는 단계를 더 포함한다.
또 다른 실시 예로 상기 방법은 상기 은닉 마르코프 모델을 적용하기 전에 상기 획득된 관성 신호들 및 자기장 신호들에 진폭 정규화 작업을 수행하는 단계를 포함한다. 상기 진폭 정규화 작업은 상기 회전 정규화 작업 이전 또는 이후에 수행될 수 있다. 정규화 작업의 이점들 및 실행 방법은 상술한 사항에서 논의하였으며 따라서 여기서 반복하지 않는다.
더욱이 또 다른 실시 예로 상기 방법은 상기 입력 신호를 부호화하고 상기 부호화한 입력 신호를 컴퓨터 장치에 전송하는 단계를 더 포함한다. 부호화 단계는 블루투스 전송용 인간 인터페이스 장치 프로파일과 같은 임의의 부호화 및 전송 프로토콜에 따라서 수행될 것이다. 또한 블루투스 라디오파 통신 연결을 사용하는 것이 가능하다. 게임 패드들을 라디오파 통신을 통하여 직접 PC에 연결하는 것이 가능하다. 또한 상호 작용하는 게임 응용프로그램에 소프트웨어 인터페이스를 실행시키기 위해 윈도우(Windows)에서 다이렉트X 인터페이스를 사용하는 것이 예상된다. 이러한 실행은 통신 포트 데이터를 다이렉트X 조이스틱 데이터로 변환하는 소프트웨어(또는 각각 부호화된 하드웨어 요소)를 필요로 한다.
본 발명의 또 다른 측면에 따를 때 동작 입력 장치용 힘 피드백 출력을 생성하는 방법이 제공된다. 상기 방법은 관성 신호들 및 자기장 신호들을 획득하는 단계, 상기 신호들에 은닉 마르코프 모델을 적용하는 단계, 상기 관성 신호들 및 자기장 신호들의 패턴들로부터 사전에 정의된 몸짓들을 인식하는 단계, 만약 사전에 정의된 패턴이 인식된다면 출력 신호를 획득하는 단계, 및 상기 출력 신호를 사전에 정의된 힘 피드백 출력 신호로 맵핑하는 단계, 및 상기 맵핑 함수에 따라서 상기 동작 입력 장치에 사전에 정의된 힘 피드백 신호를 생성하는 단계를 포함한다.
더욱이 본 발명의 또 다른 측면에 따를 때, 프로그램 제품이 컴퓨터 또는 네트워크 장치에서 실행될 때 상술한 방법을 수행하기 위한 프로그램 코드 수단을 포함하는 소프트웨어 도구가 제공된다.
본 발명의 또 다른 측면에 따를 때, 컴퓨터 프로그램 제품은 상술한 제공된 방법을 수행하기 위해 서버로부터 다운로드 할 수 있으며, 상기 프로그램이 컴퓨터 또는 네트워크 장치에서 실행될 때 상기한 방법들의 모든 단계를 수행하기 위한 프로그램 코드 수단을 포함한다.
더욱이 본 발명의 또 다른 측면에 따를 때, 프로그램 제품이 컴퓨터 또는 네트워크 장치에서 실행될 때, 제공된 컴퓨터 프로그램 제품은 상술한 방법을 수행하기 위하여 컴퓨터가 판독할 수 있는 매체에 저장된 프로그램 코드 수단을 포함한다.
본 발명의 또 다른 측면에 따를 때 컴퓨터 데이터 신호가 제공된다. 상기 컴퓨터 프로그램이 컴퓨터 또는 네트워크 장치에서 실행될 때 컴퓨터 데이터 신호는 반송파에서 구체화되고 컴퓨터가 상기 설명한 방법에 포함되어 있는 방법의 단계들을 컴퓨터가 수행하게 하는 프로그램을 나타낸다.
컴퓨터 프로그램 및 컴퓨터 프로그램 제품은 네트워크의 서로 다른 부분들 및 장치들에 분포되어 있는 것이 바람직하다. 컴퓨터 프로그램 및 컴퓨터 제품 장치는 네트워크의 서로 다른 장치들에서 실행된다. 따라서, 컴퓨터 프로그램 및 컴퓨터 프로그램 장치는 기능 및 소스 코드가 달라야한다.
더욱이 본 발명의 또 다른 측면에 따를 때, 시뮬레이트된 통신을 실행시키기 위한 통신 네트워크 단말 장치가 제공된다. 단말 장치는 검출 모듈, 결정 모듈, 저장매체, 통신 기능 구성 요소 및 생성 모듈을 포함한다.
이하, 첨부된 도면을 참조하여 본 발명을 자세하게 설명하도록 하며:
도 1a 및 도 1b는 본 발명의 제1측면에 따른 동작 입력 장치의 서로 다른 실시형태를 나타내며,
도 2는 본 발명에 따른 동작 입력 장치의 일 실시 예의 블록도이며,
도 3은 동작 감지 분석기를 내장한 동작 입력 장치의 구조를 나타내며,
도 4는 도 3의 장치에서의 데이터 흐름 및 에너지 소비를 나타내는 도면이며,
도 5는 계층적 센서의 신호 처리 시스템의 도면을 나타내며,
도 6a 및 도 6b는 본 발명의 여러 측면에 따른 동작 입력 장치의 서로 다른 기본적 실시형태를 나타내며,
도 7a 및 도 7b는 본 발명의 작동 방법의 블록도를 나타낸다.
상세한 설명에서는, 동일한 구성요소에 대하여는 본 발명의 서로 다른 실시 예에 나오더라도 동일한 식별 번호가 부여된다. 도면들은 반드시 축소할 필요는 없고 어떤 특징들은 본 발명을 명확하고 간결하게 설명하기 위해 개략적인 형태로 나타냈다.
도 1a는 동작 입력 장치 내의 주 하드웨어 요소를 나타낸다. 동작 입력 장치 의 하드웨어는 가속도계(4) 및 자기력계(6) 센서들로부터의 데이터를 분석하고 전달하는 마이크로 제어기(8)로 이루어져 있다. 마이크로 제어기(8)는 블루투스 모듈(10) 및 게임 패드에 집적될 수 있는 다른 추가의 센서들(14, 16, 18 및 24)과의 통신을 다룬다. 전통적인 엄지손가락 조이스틱(14)들 및 아날로그/디지털 버튼들(18)의 상태는 마이크로 제어기(8)에 의하여 판독된다.
서로 다른 전력 절약 모드 뿐만 아니라 몇 개의 통신 모드가 제어기(8) 내에 프로그램될 수 있다. 또한 동작 입력 장치에서 촉각 피드백 구동기(22)(및 스피커들)가 지원될 수 있다.
3차원 가속도계(4)에 의하여 검출된 기본 가속도는 중력에 의한 것이다. 이것은 장치(2)의 기울기를 간단하게 판단하도록 해준다. 기울기를 판단하는데에는 가속도계(4)의 두 개의 수평축 상의 값을 관찰하는 것으로 충분하며, 상기 두 개의 수평축들은 장치가 똑바로 들려져 있을 때 중력에 직교한다.
3차원 자기력계(6)와 결합된 3차원 가속도계(4)는 지구 기준 좌표계에 대한 장치의 정확한 방향을 정하는데 사용될 수 있다. 행렬로서 장치의 (기본)축들에 의하여 형성된 D=[dx dy dz]가 사용된다. 3차원 가속도계(4)로부터의 세 값은 상기 행렬 D의 세 축 상에 중력을 투영한 값으로, 즉 가속도계(4)는 벡터 a'=-DTg 값을 되돌려보낸다. g는 지구 기준 좌표계에서 y축의 음의 방향을 향한다. 3차원 자기력계(6)는 b'=DTb 값을 되돌려보내고, b는 일반적으로 정(자기)북쪽(또는 자기 남쪽)(기준 좌표계의 z축)을 가리킨다.
행렬 D에 기준 축 x, y 및 z를 투영시킨 x', y' 및 z'는 알려져 있다고 기대할 수 있다. 기준 좌표계에서 행렬 E=[x y z]는 단위 행렬이고, 따라서 DT=[x' y' z']이다. 그런데 y'=a'/｜a'｜이다. 행렬 D는 직교 정규(orthonormal), y 및 z는 길이가 1, 그리고 b는 yz평면에 위치하므로, x'=DT(y×x)=y'×z'=a'×b'/｜a'×b'｜를 얻는다. 결국 z'=x'×y' 및 행렬 D가 결정되고 그리하여 방향이 결정된다.
가속계가 중력뿐만 아니라 실제 가속도를 측정하기 때문에 추가적인 필터링이 요구된다. 또한 세계의 일부에서는 g와 b사이의 각도가 매우 작고 두 벡터의 외적으로서의 x'는 잡음에 매우 민감할 수 있다. 저역 통과 필터링은 이미 몇가지 개선점을 준다. g'의 크기가 예상한 것과 다르거나 g 와 b 사이의 각도가 부정확할 때 측정치를 버리는 것 또한 가능하다. 이러한 상황들은 장치의 실제 가속도를 암시하고 따라서 어느 한 점에서 때를 맞추어 측정한 데이터 집합에 기초하여 방향을 결정하는 것이 불가능하다. 가속 운동을 하는 상황의 경우 가속도계가 장치의 실제 가속도를 나타내고 시간에 따른 가속도의 값을 적분하여 움직임을 결정하는 것이 가능하다. 이러한 경우에 오직 가속도 성분의 자기장 벡터 방향 성분 및 자기장 벡터의 회전 성분은 결정될 수 없다.
방향을 결정하기 위해 필요한 행렬 조작 작업은 상대적으로 뛰어난 CPU를 요구할 만큼 충분히 격렬하다. 따라서 동작 입력 장치 자체에서보다는 수신단에서 계산을 수행하는 것이 이해가 된다. 이러한 점은 동작 입력 장치를 더 가볍게 만들고 동작 입력 장치에 들어가는 배터리의 수명을 연장시키며, 특히 수신하는 컴퓨터 시 스템이 배터리 전력에 의존하지 않는 경우에는 더욱 그러하다.
또한 몸짓과 방향 데이터를 판매중인 게임 장치에 의해 수용되는 전통적인 게임 제어 명령으로 맵핑하는 몇 가지 방법이 있다. 행렬 연산을 수행하기에 충분히 뛰어난 중간 구성 요소는 또한 이러한 매핑을 수행할 수 있다. 그러한 중간 구성 요소는 상기 맵핑을 구성하기 위해 게임 패드가 할 수 있는 것보다 훨씬 좋은 인터페이스를 포함할 수 있다.
더욱이 또 하나의 이점은 하나 이상의 동작 입력 장치가 하나의 컴퓨팅 장치에 연결될 수 있다는 것이다. 이러한 점은 게임 콘트롤러의 경우에 명령이 하나 이상의 콘트롤러의 동작에 의존하는 것을 허용한다. 만약 사용자가 두 개의 동작 입력 장치를 각각 한쪽 손에 쥐고서 사용한다면, 이것은 사용자에게 있어서 흥미있는 공동 작용의 시도가 될 수 있다.
도시된 동작 입력 장치(2)는 대체로 손잡이 또는 막대 형태의 하우징을 가지며 제어기(8)에 모두 연결된 3차원 가속도 센서(4) 및 3차원 자기력계(6)(또는 3차원 나침반)를 구비한다. 상기 동작 입력 장치(2)는 모두 연결되며 상기 제어기(8)에 의하여 신호를 받는 조이스틱(14), 방아쇠 버튼(16), 디지털 또는 아날로그 버튼(18) 및 슬라이딩 장치나 휠(24)과 같은 통상적인 입력 요소를 더 구비한다. 또한 조이스틱 대신에 예를 들어 4 버튼과 같이 복수의 버튼을 구비한 실시 예를 수행할 계획이다. 도 1에는 또한 입력 요소에 피드백을 제공하는 힘 피드백 요소로서 수행하는 피드백 요소를 제공한다.
컴퓨터 장치(미도시)로의 전송을 위해 센서들(4, 6) 및 입력 요소들(14, 16, 18, 24)로부터 수신한 데이터 및 정보를 준비하는 제어기(8)가 제공된다. 제어기(8)는 모든 종류의 데이터(미가공 센서 데이터, 전처리된 센서 데이터 또는 입력으로서 인식된 몸짓이나 움직임)를 (여기서는 블루투스 모듈로 수행된)인터페이스 모듈(10)을 통해서 전송할 수 있다.
제어기(8)는 또한 교환할 수 있거나 내장되는 기억 장치(20)에 연결된다. 기억 장치는 전송 부호들, 피드백 알고리즘들, 전처리 알고리즘들, 몸짓 인식 알고리즘들, 및/또는 센서 호출 도식(scheme)을 위한 저장매체로서의 기능을 제공할 수 있다. 제어기는 또한 예를 들어 배터리 상태, 장의 세기, 제어기 부하 또는 심지어는 예를 들어 컴퓨터 게임에서 근접 센서의 기능과 같은 컴퓨터 프로그램 데이터에 대하여 사용자에게 알리기 위한 표시등 또는 발광 장치(LED, 28)를 구비한다.
도 1b에서 입력 장치는 또한 디스플레이(30), 국제전기 통신 엽합(ITU-T)에 의한 키패드(32), 확대 스피커 또는 이어폰(34), 마이크(36), 및 처리 단위(processing unit, 38)를 구비한 이동 전화기를 구비할 수 있다. 명확성을 위하여 이러한 구성 요소들과 당해 기술분야에서 알려진 다른 전화기 구성 요소들과의 연결은 간략히 하였다. 전화기의 처리 단위(38)와 제어기(8) 사이의 연결이 제공된다. 또한 휴대용 전화기는 상기 제어기(8)로부터 상기 전화기의 처리 단위(38)로의 상기 연결을 통하여 수신되는 3차원 가속도계 및 3차원 자기력계 데이터에 의하여 제어될 수 있도록 한다. 도 1b의 장치는 또한 3차원 자이로 또는 각가속도 센서(26)를 구비한다. 자이로 또는 각가속도 센서는 3차원 공간에서 입력 장치의 동작을 완벽하게 추적할 수 있게 할 것이다. 도 1b의 장치는 또한 장치의 동작 억제 용 요소(50)를 구비한다. 장치의 동작 억제용 요소는 다양한 스포츠 응용프로그램에서 연습 효과를 얻기 위해 하우징에 추, 고무줄 또는 다른 동작 제한 장치를 연결하기 위한 구멍으로 구체화된다. 장치의 동작 억제용 구성 요소(50)는 또한 신발, 라켓, 배트 또는 예를 들어 움직임 및 궤도 분석을 위한 낚싯대 등에 고정시키는데 사용될 수 있다.
처리 단위(38)를 제어하기 위하여 사용되는 3차원 가속도계 데이터 및 3차원 자기력계 데이터는 또한 상기 인터페이스 모듈(10)을 통하여 수신될 수 있다는 것은 명확하다(예를 들어 도 1a에 도시된 장치에서. 이러한 역할에서 있어서, 도 1b의 장치는 장착된 동작 입력 장치 센서에 의하여 제어될 컴퓨터 장치의 실행을 나타낸다. 또한 도 1b에 도시된 장치는 도 1a에도 포함되어 있는 모든 구성 요소 또한 포함하고 있기 때문에 예를 들어 각자의 인터페이스를 구비한 비디오 게임 콘솔과 같은 컴퓨터 장치를 제어하기 위한 동작 입력 장치로서 사용하는 것이 가능하다. 즉, 도 1b에 도시된 장치는 (만약 전화기 구성 요소를 고려하지 않는다면)도 1a에 도시된 것과 같이 동작 입력 장치로서의 기능을 제공할 수 있다. 도 1b에 도시된 장치는 (만약 센서들(4, 6 및 26) 및 전화기 구성 요소들을 고려하지 않는다면)연결된 동작 입력 장치에 의하여 제어되는 컴퓨터 장치로서의 기능을 제공할 수 있다. 도 1b에 도시된 장치는 (만약 전화기 구성 요소를 고려하지 않는다면)입력을 수행하기 위해 내장된 동작 입력 장치를 구비하는 컴퓨터 장치로서의 기능을 제공할 수 있다. 도 1b에 도시된 장치는 (만약 인터페이스(10)를 고려하지 않는다면)또한 입력을 수행하기 위해 내장된 동작 입력 장치를 구비하는 휴대용 전화기로서의 기능을 제공할 수 있다.
도 2는 본 발명에 따른 동작 입력 장치의 일 실시 예의 블록도이다. 도면은 도 1에 도시된 장치에 대응하는 구성 요소들을 포함하고 있다. 도 1에서의 실시와 대비하여 제어기는 기준 기호를 구비한 마이크로 제어기(100) 및 마이크로 제어기 안에서 소프트웨어로서도 수행할 수 있는 FPGA(field programmable gate array) 시스템 논리회로(120)의 두 개의 요소를 포함한다. 동작 입력 장치는 전기 용량성의 슬라이딩 모듈(160) 상용 검출기(162)를 더 구비한다. 동작 입력 장치는 또한 보편적인 지문 센서를 구비할 수 있으며, 상기 지문 센서는 지문 센서(146) 및 컴패니언 칩(144)을 구비한 도터 보드(140)로서 실행될 수 있다. 동작 입력 장치는 마이크로 제어기(100) 및 배터리(12) 사이에 충전 모듈을 더 구비할 수 있다. 기억 모듈은 기억 확장 모듈로 구체화되었다. 힘 피드백(22)이 선형 진동 요소 또는 구동기로서 그리고 회전 진동 요소 또는 구동기로서 제공된다. 동작 입력 장치는 스피커(34) 제어용 디지털 아날로그 변환기(DAC)를 더 구비한다.
상용 검출기는 50 내지 210Hz 범위의 고정 주파수를 가지는 독특한 파형의 센서 신호들을 분석하는 고속 푸리에 변환(FFT) 구성 요소에 의하여 수행될 수 있다. 만약 사용자가 자신의 손에 장치를 들고 있으면, 상기 장치는 사용자의 심장 박동에 의하여 발생하는 작은 동작 또는 가속도를 감지할 것이다. 이러한 진동의 패턴은 매우 독특하고, 따라서 장치가 손에 들려져 있는지 아닌지의 판단은 고역 통과 또는 대역 통과 필터 및 고속 푸리에 변환(FFT) 또는 HHM 함수를 센서 신호들에 적용하여 얻을 수 있다. 그러나, 상기 상용 검출기를 동작 입력 장치를 들고 있 는 손의 피부 저항으로 사용자의 손의 존재를 검출하는 센서 버튼으로 수행시키는 것 또한 가능하다.
도 3은 동작 감지기 분석기를 내장한 동작 입력 장치의 구조를 나타낸다. 도 3에서 제어기(8)는 또한 센서들(4/6)로부터 수신된 신호들에 따라서 동작들 및 몸짓들을 사전 인식하기 위한 동작 검출기/분석기로서의 기능을 제공한다. 주된 이점은 마치 3차원 가속도계 센서 및 3차원 나침반 센서(및 3차원 자이로 센서의 데이터일 수도 있음)의 미가공된 센서 데이터가 호스트 장치(200)에 입력으로서 전송되는 것처럼 전송될 데이터의 양이 확연하게 감소한다는 것이다. 이러한 구조의 다른 이점은 동작 입력 장치가 동작 입력 장치 내에 있는 피드백 구동기(22)를 직접 제어하기 위하여 센서 데이터를 평가할 수 있다는 사실에 있다. 이것은 (예를 들어 촉각)피드백 신호들이 호스트 장치로부터 무선 동작 입력 장치(2)로 전송될 필요가 없다는 이점이 있다. 상기 호스트 시스템에서의 서로 다른 응용프로그램들에 대한 입력은 센서 데이터의 서로 다른 평가 알고리즘 및 서로 다른 피드백 특성을 필요로 하기 때문에 호스트 시스템은 동작 검출용 매개 변수들 및 구동기(22)용 피드백들을 무선 동작 입력 장치로 전송할 것이다.
도 3의 시스템은 독립적으로 작동하는 동작 입력 장치를 나타낸다. 호스트 시스템(20)은 무선으로 연결되는 동작 검출기에 응용프로그램에 특수한 매개 변수들을 전송한다. 이들 매개 변수들은 무선 입력 장치에서 (다른 도면에서 제어기(8)의 일부로서 수행하는)동작 검출기(8)를 구성하는데 사용된다. 동작 검출기(8)가 매개 변수들을 수신한 후에, 동작 검출기는 독립적으로 작동할 수 있다. 동작 검출 처리과정의 결과에 기초하여 동작 검출기는 서로 다른 동작에 대하여 피드백을 생성하는 구동기 장치(들)(22)을 직접 제어할 수 있다. 독립적으로 작동하는 동작 검출기는 또한 자신이 검출한 동작 패턴들을 설명하는 정보 요소들을 호스트 시스템(200)에 무선으로 전송할 수 있다.
그러한 시스템의 예로 게임 규격이 될 수 있다. 게임 시스템에서 "호스트 시스템"은 게임 장치일 것이고 "무선 장치"는 무선 게임 콘트롤러일 것이다. 구동기는 힘 피드백 장치일 것이고 가속도계가 동작을 검출하기 위해 사용될 수 있다.
이 시스템 설정구조의 이점은 저전력 작동이라는 것이다: 미가공 센서 데이터를 무선 인터페이스를 통해서 계속적으로 전송할 필요가 없다. 많은 전력이 라디오파(RF) 인터페이스에서 소모될 것이기 때문에 이러한 점은 큰 전력 절약을 가져온다. 전처리된 정보 요소들이 (거대한 압축 정보)대신에 전송될 것이다. 더욱이 빠른 피드백 시간을 얻을 수 있다. 독립적인 동작 검출기가 직접 구동기(들)(22)를 제어할 수 있기 때문이다. 호스트 시스템(200)에 정보를 전송하고 호스트 시스템(200)으로부터 제어 데이터를 수신하는 것은 큰 대시 시간을 초래할 것이며, 이러한 대기 시간은 대부분의 경우에 너무 크다. 그러나 이러한 응용프로그램은 입력에 관계된 힘 피드백에 대하여만 적합하다.
무선 게임 콘트롤러용의 갱신 가능한 매개 변수 세트는 몸짓 인식용 범용 코드북을 수행하는 것을 가능하게 한다. 게임 콘트롤러(2)는 호스트 시스템(200)에 수량화된 몸짓 패턴을 되돌려준다. 양자화는 게임 콘트롤러(2)내에서 갱신 코드북을 사용하여 수행된다.
피드백용 특히 촉각 피드백용 매개 변수 세트는 게임들에서 진동 피드백을 위하여 사전에 프로그램된 힘 피드백 패턴을 수행하는 것을 가능하게 한다. 이러한 패턴들은 게임 콘트롤러(2)에 저장되어 있다. 예를 들어 총/기관총을 발사하거나, 운전 게임들에서 급격히 오르내리거나 및 슬라이딩하는 것 등이 있다. 호스트 장치(200)는 게임 상황들에 따라서 관련된 패턴들을 활성화시킬 것이다. 예를 들어 변경은 새로운 패턴을 활성화시킬 것이다. 방아쇠가 눌려지거나 특별한 몸짓이 인식되었을 때, 게임 콘트롤러에서 피드백 패턴의 활성화가 국부적으로 그리고 자동적으로 이루어질 수 있다.
이러한 원리는 또한 체력/활동 감시 및 기록, 동작 입력을 가능하게 하기 위한 센서 신호 전처리 장치 및 무선 센서들에 적용될 수 있다.
도 4는 도 3의 장치에서의 데이터 흐름 및 에너지 소비를 나타내는 도면이다. 본 응용프로그램의 구조에서 센서 처리 장치, 하드웨어 동작 검출기 및 마이크로 디지털 신호 처리 회로는 제어기(8)의 일부분이거나 제어기(8)에 할당되어 있다. 본 도면에서 마이크로 디지털 신호 처리 회로 블록은 센서 신호의 필터링, 조절, 크기 조정 등에 필요한 낮은 단계의 신호 처리를 처리한다. 이러한 디지털 신호 처리 블록은 고정 논리 회로를 사용하여 수행될 수 있으나 곱셈 및 누적 논리(MAC logic: multiply and accumulate logic)를 중심으로 만들어진 간단한 디지털 신호 처리 장치를 사용함으로 인하여 더 좋은 융통성 또는 재활용성을 얻을 수 있다. 이러한 디지털 신호 처리는 매우 작은 코드 메모리로 간단한 마이크로 코드 명령을 실행한다. 그러한 매우 간단한 디지털 신호 처리의 전력 소모는 매우 낮다.
필터링 되고 조절된 센서 신호들은 하드웨어 동작 검출기에 공급된다. 이러한 고도로 최적화되고 따라서 초저전력 소모의 동작 검출기는 덜 복잡한 동작 검출 작업을 처리하며, 상기 작업은 이하의 사항을 포함한다:
설정 문터값의 초과 및 정적의 검출,
동작 발생의 횟수를 세는 것, 및
매개 변수화 된 연속적인 움직임의 연속성 검출.
움직임이 있을 때, 동작 검출기는 더욱 진보된 동작 검출 및 분석을 수행하기 위해 센서 처리 장치를 활성화시킨다. 그러나 나머지 시간 동안에는 전력을 절약하기 위해서 신호 처리의 상위 계층들은 비사용 상태로 남아 있을 수 있다.
동작 검출기는 동시에 그리고 나란히 서로 다른 매개 변수 값들로 나타내어지는 동작들을 검출할 수 있다. 예를 들어 서로 다른 주파수 대역에 있는 동작들을 검출할 수 있다.
이러한 시스템에서 센서 처리 장치는 C와 같은 표준 프로그래밍 언어를 사용하여 프로그램 할 수 있는 작은 처리 장치 코어이다. 이러한 처리 장치는 표준 리스크(RISC: reduced instruction set computer) 또는 특정 응용프로그램(ASIP: Application Specific Instruction set Processor)을 위해 최적화된 처리 장치일 수 있다. 센서 처리 장치는 더욱 진보된 그리고 더욱 복잡한 동작 검출 및 센서 신호 처리 작업들을 처리한다. 센서 처리 장치는 효과적으로 동작 발생에 응답하기 위하여 동작 검출기 및 센서에 낮은 대기 시간 접근(low latency access)을 수행한다. 고정된 하드웨어를 사용하여 수행하기에는 너무 복잡한 알고리즘의 전체적 프 로그램 가능성의 융통성을 제공한다. 센서 처리 장치는 또한 저전력 최적화(작은 크기, 간결한 코드 및 대부분의 시간 동안 비사용 상태로 남아 있는 것)가 되어 있다.
센서 처리 장치 저전력 작동은 다음에 의하여 얻어진다:
에너지 효율적인 낮은 복잡도의 처리 장치 또는 특수 용도 구조(ASIP)를 사용함으로써.
적은 프로그램 메모리 요구 및 캐쉬의 부존재 또는 복합 메모리 관리를 초래하는 작은 소프트웨어 코드 크기에 의하여.
낮은 클럭 주파수들(약 1MHz)을 사용함으로써. 상기 주파수는 실제 처리 요구에 따라서 크기가 조절될 수 있다.
거대한 범용 운용 체제들 및 환경을 운영 체제를 필요로 하지 않도록 전환.
하드웨어 동작 검출기에 의하여 제어되는 전력 절약 모드를 사용함으로 인하여.
그리고 센서 데이터를 버퍼링함으로 인하여. 상기 센서 처리 장치는 모든 데이터 각각이 아니라 버퍼링된 데이터 블록들을 처리한다.
도 5는 계층적 센서의 신호 처리 시스템의 도면을 나타낸다.
도면은 인터페이스를 통하여 통신 브릿지, 센서 처리 장치, 센서 브릿지 및 동작 결정 디지털 신호처리(DSP)의 구성 요소를 구비한 제어기(8)에 연결된 호스트 처리 장치(200)를 나타낸다. 제어기(8)는 센서들(4/6) 및 구동기들(22)에 연결된다.
센서 처리 시스템의 전력 소모는 고활동 영역에서 1mW보다 작고 움직임이 감지될 것을 대기하는 것과 같은 저활동 영역에서는 0.1mW보다 적다.
아래 표는 특정 목적의 센서 처리 장치가 움직임을 분석할 때의 전력 소모를 나타낸다.
블록 전력
1 MHz로 실행되는 처리 장치 코어 200 μW/MHz = 200 μW
프로그램 메모리 64kB 60μW
데이터 메모리 8kB 10μW
다른 디지털 기능 40μW
합계 310μW
다음 표는 특정 목적의 센서 처리 장치가 움직임이 감지될 것을 대기하는 때의 전력 소모를 나타낸다. 센서 처리 장치는 이 상태로부터 매우 빨리 활성화 될 수 있다.
블록 전력
처리 장치 코어 오프 0μW
프로그램 메모리 64kB 오프 0μW
데이터 메모리 8kB 오프 0μW
다른 디지털 기능 40μW
합계 40μW
센서 처리 장치가 응용프로그램에 의하여 설정되는 매개 변수들의 세트로 나타내어지는 동작 패턴 또는 움직임을 검출할 때, 센서 처리 장치는 메시지로 그러한 동작/움직임을 설명하는 데이터 요소를 호스트 처리 장치에 전송할 수 있다. 호스트 처리 장치는 복합 운영 체제의 상위에서 응용프로그램을 실행시키고, 빠른 사건 발생에 반응이 느리게 하고 또한 훨씬 덜 복잡한 센서 처리 장치보다 10배 더 많은 전력을 소비한다. 센서 처리 장치의 결과에 데이터 처리를 사용하는 것은 전력 효율 및 시스템 반응성을 개선시킨다.
호스트 처리 장치는 센서 처리 장치가 움직임들을 감시하는 동안 비사용 상 태로 남아있을 수 있다. 이것은 계속적인 움직임의 추적을 필요로 하는 응용프로그램에서는 중요하다. 체력 감시 장치는 그러한 응용프로그램의 일 예이다.
호스트 처리 장치는 서로 다른 응용프로그램용 매개 변수의 관리를 처리할 수 있다. 호스트 처리 장치는 이들 최근에 실행중인 응용프로그램용 매개 변수들을 센서 처리 장치에 전송하고, 그에 따라서 이들 매개 변수들은 센서들 및 동작 검출기을 구성하고 제어한다.
이러한 시스템에서 호스트 처리 장치는 센서 처리장치와 무선 연결을 가질 수 있다. 이런 종류의 설정구조에서는 무선 연결을 통해 정보를 전송하기 전에 정보를 압축할 수 있게 하는 것이 훨씬 더 이익이 될 것이다. 센서들은 상대적으로 높은 데이터 전송 속도를 생산한다. 예를 들어 1kHz 샘플 주파수는 모든 가속도계 축들에 대하여 48kbits/초의 전송 속도를 초래한다.
도 6a는 본 발명에 따른 3차원 동작 입력 장치의 기본적 실시형태를 나타낸다. 도 6a는 동작 입력 장치 내의 주 하드웨어 요소들을 나타낸다. 동작 입력 장치 하드웨어는 3차원 가속도계(4) 및 3차원 자기력계(6) 센서로부터의 데이터를 분석하고 전달하는 마이크로 제어기(8)로 이루어져 있다. 마이크로 제어기(8)는 또한 (여기서는 블루투스 모듈인)인터페이스 모듈(10)과의 통신을 처리한다. 도 6a에서 입력 장치 내에 집적된 추가적인 센서는 존재하지 않는다. 이러한 기초적인 실시형태에서 동작 입력 장치는 동작 입력을 위해 3차의 자유도를 제공한다.
도 6b는 동작 입력 장치의 주 하드웨어 요소들을 나타내는 본 발명에 따른 3차원 동작 입력 장치의 또 다른 기본적 실시형태를 나타낸다. 동작 입력 장치의 하 드웨어는 가속도계(94) 및 자기력계(96) 센서를 포함하는 3차원 방향 결정 요소로부터의 데이터를 분석하고 전달하는 마이크로 제어기(8)를 포함한다. 마이크로 제어기(8)는 또한 블루투스 모듈(10)과의 통신 및 엄지손가락 조이스틱(16)의 상태/각도를 처리한다.
3차원 방향 결정 요소는 가속도계(94) 및 자기력계(96) 센서들을 포함한다. 도면들에 대비하여 가속도계(94) 및 자기력계(96) 센서들은 각각 오직 3차원 이하만 제공할 수 있을 것이다. 도시된 실시 예에서 3차 자유도의 동작 입력은 가속도 및 나침반 센서들 각각 또는 결합에 의하여 제공된다. 이러한 실시 예에서는 예를 들어 동작을 검출하기 위한 기본적 센서들로서 2차원 나침반 및 2차원 가속도계를 결합하는 것이 가능하다. 이러한 결합은 입력 장치가 (수평 2차원 가속도계의 경우에)장치(2)의 기울기의 간단한 측정을 검출하도록 할 것이다. 따라서, (기울어진 각도가 예를 들어 30 도 이상을 초과하지 않는 경우에)2차원 나침반은 사용자 입력의 3차 자유도로서 북쪽에 대한 방향을 검출할 수 있다. 오른손의 이동성이 약 왼쪽 135 도에서 오른쪽 45 도(롤), 앞쪽 70 도에서 뒤쪽 20 도(피치) 및 왼쪽 70 도 오른쪽 40 도(요)의 각도 범위로 제한되기 때문에 상기 실시는 정상적인 동작 입력에 충분할 것이다.
도 7a는 본 발명의 작동 방법의 블록도를 나타낸다. 당해 방법은 컴퓨터 장치용 입력을 생성한다. 당해 방법은 동작 입력 장치 자체 내에서 또는 연결된 컴퓨터 장치 내에서 실행될 수 있다. 당해 방법은 관성 신호들 및 자기장 신호들의 획득으로 인하여 시작된다(200). 그리고 나서 상기 관성 신호들 및 자기장 신호들의 패턴들로부터 사전에 정의된 몸짓들을 인식하기 위해 은닉 마르코프 모델이 상기 신호들에 적용된다(230). 이런 상황에서 "관성 신호들" 및 "자기장 신호들"이란 표현은 가속도 또는 자기력계 센서들로부터 획득하는 (아날로그 또는 디지털)전기적 신호들로 해석된다. 개시된 장치들과 유사하게 이들 신호들은 3차원 관성 신호들 및 3차원 자기장 신호들일 수 있다는 것을 언급할 필요가 있다. 6차원 관성 신호들(3차원 직교 좌표계 및 각각의 3차원 각도) 및 3차원 자기장 신호들을 사용하는 장치들이 실시되는 것 또한 예견된다. 은닉 마르코프 모델이 인식된 사전에 정의된 패턴을 상기 신호들에 적용(230)되었을 때, 상기 인식된 패턴에 기초한 입력 신호를 획득한다(280). 이러한 입력 신호는 예를 들어 일람표에 의하여 얻어질 수 있다.
도 7b는 도 7a가 상기 연속 은닉 마르코프 모델이 적용(230)되기 전에 상기 획득된 관성 신호들 및 자기장 신호들에 회전 정규화 작업을 적용하는 단계(210) 및 진폭 정규화 작업을 적용하는 단계(220)에 의하여 확장된 블록도이다. 상기 회전 정규화 작업(210) 이전에 진폭 정규화 작업을 적용(220)하는 것 또한 예견된다. 은닉 마르코프 모델의 적용 후에, 획득된 입력은 부화화되고 부호화된 입력 신호로서 컴퓨터에 전송된다(290).
또한 본 발명은 간섭하는 자기장을 유발하는 자석 및 전류를 구비하는 전기적 장치를 제공하는 것을 나타내는 것처럼 보인다. 그러나 간섭 효과는 간섭 효과를 감소시키기 위한 보정 매개 변수의 사용으로 인하여 제거될 것이다. 자기 센서에서 보상 매개 변수를 적용함으로 인하여 내부(즉, 장치에 고정된) 자기장에 대하 여 보상될 것이다. 더욱이, 자기 센서는 널 밸런스(null balance) 및 모든 방향으로의 동작 입력 장치의 움직임을 포함하는 조절 작업에 의하여 결정되는 보상 매개 변수를 적용함으로 인하여 외부(즉, 장치의 주변에 고정된) 자기장에 대하여 보상될 것이다.
계층적 동작 검출기의 이점은 아래와 같다:
컴퓨팅 자원의 최선의 분배에 의한 감소된 전력 소모로, 필요한 계층에서의 융통성을 제공한다. 다른 계층들은 저전력 소모를 위해 최적화될 수 있다.
정보를 상위 레벨의 처리 요소로 전송하기 전에 정보를 전처리하고 압축함으로 인하여 전력 소모를 감소시킨다.
높은 에너지 효율성으로 센서 정보들의 연속적인 처리를 가능하게 한다.
처리 자원의 상위 계층이 필요 없는 경우 국부 제어를 사용함으로 인하여 시스템 반응성을 개선시킨다.
요약으로, 본 발명은 전통적인 게임 패드 또는 조이스틱에서는 3 내지 6차 자유도를 사용하기 위하여 양손 입력 및/또는 풋패달을 필요로 하는 상황에서 한 손 사용을 허용한다. 본 발명은 한 손 작동, 무선 연결성 및 내장된 동작 센서들을 제공하며, 이것들은 게임에서 실제 물리적 움직임의 사용을 이상적으로 지원한다.
본 발명의 동작 입력 장치는 전통적인 2-조이스틱 2-손 게임 패드를 한 손 장치로 대체하는데 사용될 수 있다. 장치의 방향성은 3차원 공간에서 둘러보고 가리키는 것에 있어서 이상적이다. 특히 1인칭 관점 게임에서 센서 데이터가 움직이 기 위해 사용될 수 있으며 조이스틱 신호가 둘러보기 위해 사용될 수 있다.
동작 입력 장치의 방향은 비행 및 공간 시뮬레이터에 대하여 이상적으로 만드는 요(yaw), 피치(pitch) 및 롤(roll)로 변환될 수 있다. 따라서 본 발명은 전통적인 게임 패드들에서는 일반적으로 두 손(또는 엄지들) 및 발들(또는 숄더키들을 위한 두 개의 추가의 손가락들)이 필요한 경우에 한 손 작동이 허용된다. 본 발명은 또한 몸짓들을 인식하기 위하여 복잡한 3차원 동작의 궤도들(/3차원 가속도계 및 3차원 자기력계)을 검출하는 것을 가능하게 한다. 몸짓 인식/검출은 전술한 사용 케이스와 동시에 사용될 수 있다.
더 본 발명은 상호 작용 게임에서 카메라 장치들, 또는 춤을 위한 매트 부속품과 같은 바닥에 위치한 입력 장치들의 필요 없이 복잡한 3차원 동작 궤도들의 사용을 가능하게 한다. 본 발명은 게임에서 위치 독립적인 방법으로 유사한 동작 입력들을 가능하게 한다.
본 출원은 예시들의 도움을 가지고 한 실시의 설명 및 본 발명의 실시 예를 포함한다. 당해 기술 분야에서 숙련된 사람은 본 발명이 상기 언급된 실시 예들의 상세한 설명에 제한되지 않는다는 것을 알 것이며, 발명은 당해 발명의 특징에서 벗어나지 않고 다른 방법으로 실시될 수 있을 것이다. 상기 언급한 실시 예들은 예시적인 것으로 고려되어야 하고 발명을 제한하기 위한 것으로 고려될 수 없다. 따라서 당해 발명을 사용하고 실시하는 가능성은 첨부된 청구항에 의하여만 제한될 수 있다. 결과적으로 균등한 실시를 포함하여 청구항에 의하여 결정되는 발명의 실시의 다양한 선택들 또한 발명의 범위에 속한다.

Claims (36)

  1. 컴퓨팅 장치용 동작 입력 장치로서,
    하우징;
    상기 하우징에 내에 배열되어 있고, 동작 입력 장치의 방향 및 움직임과 관련된 관성 신호들을 출력하기 위한 3축 가속도계 센서를 포함하고,
    상기 하우징에 내에 배열되어 있고 동작 입력 장치의 자기장 방향과 관련된 자기장 신호들을 출력하기 위한 3축 나침반에 의하여 특징지어지며,
    상기 동작 입력 장치는 상기 자기장 신호들 및 상기 관성 신호들을 상기 컴퓨팅 장치에 전송하기 위한 전송 구성 요소를 구비하는 컴퓨팅 장치용 동작 입력 장치.
  2. 가속도 및 나침반 센서들 각각 또는 결합에 의하여 3차 자유도의 동작 입력을 제공하는 3차원 방향 결정 요소; 및
    추가적인 2차 자유도의 입력을 제공하는 조이스틱을 포함하는 5차 자유도의 입력을 제공하는 컴퓨팅 장치용 동작 입력 장치.
  3. 제1항 또는 제2항에 있어서,
    적어도 하나의 자이로 센서를 더 포함하는 동작 입력 장치.
  4. 제1항, 제2항 또는 제3항에 있어서,
    적어도 하나의 각가속도 센서를 더 포함하는 동작 입력 장치.
  5. 이전 청구항들 중 어느 하나의 항에 있어서,
    상기 하우징은 교환가능한 메모리 카드의 모양을 하는 동작 입력 장치.
  6. 이전 청구항들 중 어느 하나의 항에 있어서,
    적어도 하나의 버튼 입력 요소를 더 포함하는 동작 입력 장치.
  7. 이전 청구항들 중 어느 하나의 항에 있어서,
    조이스틱 신호를 제공하기 위하여 상기 하우징으로부터 돌출된 적어도 하나의 2차원 조이스틱 입력 요소를 더 포함하는 동작 입력 장치.
  8. 이전 청구항들 중 어느 하나의 항에 있어서,
    적어도 하나의 방아쇠 버튼 입력 요소를 더 포함하는 동작 입력 장치.
  9. 이전 청구항들 중 어느 하나의 항에 있어서,
    상기 하우징은 실체상 손잡이 모양을 가지는 동작 입력 장치.
  10. 이전 청구항들 중 어느 하나의 항에 있어서,
    상기 하우징은 사용자의 신체 일부 또는 의복에 연결될 수 있는 형태를 가진 동작 입력 장치.
  11. 이전 청구항들 중 어느 하나의 항에 있어서,
    상기 센서들 및 상기 전송 구성 요소에 연결된 제어기를 더 포함하는 동작 입력 장치.
  12. 제11항에 있어서,
    상기 제어기는 상기 획득된 관성 신호들 및 자기장 신호들로부터 입력으로서 사전에 정의된 몸짓을 인식하기 위해 연속 은닉 마르코프 모델을 사용하도록 설정된 동작 입력 장치.
  13. 제12항에 있어서,
    상기 제어기는 상기 연속 은닉 마르코프 모델을 적용하기 전에 상기 획득된 관성 신호들 및 자기장 신호들에 전처리 및 회전 정규화를 사용하도록 설정된 동작 입력 장치.
  14. 제11항 내지 제13항 중 어느 하나의 항에 있어서,
    상기 제어기에 연결된 컴퓨팅 장치로의 인터페이스를 더 포함하는 동작 입력 장치.
  15. 제14항에 있어서,
    상기 인터페이스는 적외선 인터페이스이고 상기 동작 입력 장치는 전력 공급장치를 더 포함하는 동작 입력 장치.
  16. 제14항에 있어서,
    상기 인터페이스는 라디오파 인터페이스이고 동작 입력 장치는 전력 공급 장치를 더 포함하는 동작 입력 장치.
  17. 제16항에 있어서,
    상기 인터페이스는 블루투스 인터페이스인 동작 입력 장치.
  18. 이전 청구항들 중 어느 하나의 항에 있어서,
    촉각, 청각 및/또는 시각 피드백을 제공하기 위한 피드백 요소를 더 포함하는 동작 입력 장치.
  19. 제11항에 종속하는 것으로 제한되는 제18항에 있어서,
    상기 피드백 요소는 상기 제어기에 연결되고 상기 인식된 입력에 따라서 상기 제어기에 의하여 제어되는 동작 입력 장치.
  20. 제11항 및 제11항에 종속하는 것으로 제한되는 제12항 내지 제19항 중 어느 하나의 항에 있어서,
    상기 제어기에 연결되는 기억 단위를 더 포함하는 동작 입력 장치.
  21. 이전 청구항들 중 어느 하나의 항에 있어서,
    입력 장치의 동작을 제한하기 위한 요소를 더 포함하는 동작 입력 장치.
  22. 이전 청구항들 중 어느 하나의 항에 따른 동작 입력 장치로 제어되는 컴퓨터 장치에 있어서,
    상기 컴퓨터 장치는,
    하우징;
    상기 하우징 내에 있는 처리 단위;
    상기 처리 단위에 연결되는 기억 장치를 포함하고,
    상기 동작 입력 장치의 방향 및 움직임에 관련된 관성 신호들 및 자기장 신호들 양쪽 모두를 획득하기 위한 획득 수단에 의하여 특징지어지며,
    상기 처리 단위는 상기 획득된 관성 신호들 및 자기장 신호들로부터 입력으로서 사전에 정의된 몸짓을 인식하기 위해 연속 은닉 마르코프 모델을 사용하고 상기 획득된 관성 신호들 및 자기장 신호들을 실행 가능한 입력으로 변환하도록 설정된 컴퓨터 장치.
  23. 제22항에 있어서,
    관성 신호들 및 자기장 신호들을 획득하기 위한 상기 수단은 제1항 내지 제21항 중 어느 하나의 항에 따른 동작 입력 장치로의 인터페이스를 포함하는 컴퓨터 장치.
  24. 제22항 또는 제23항에 있어서,
    관성 신호들 및 자기장 신호들을 획득하기 위한 상기 수단은 상기 하우징 내에 3축 가속도 센서 및 3축 나침반을 포함하는 컴퓨터 장치.
  25. 제22항, 제23항 또는 제24항에 있어서,
    상기 컴퓨팅 장치는 이동 전화기를 포함하는 컴퓨터 장치.
  26. 제25항에 있어서,
    상기 처리 단위는 상기 연속 은닉 마르코프 모델을 적용하기 전에 상기 획득된 관성 신호들 및 자기장 신호들에 전처리 및 회전 정규화를 사용하도록 설정된 컴퓨터 장치.
  27. 제22항 내지 제26항에 있어서,
    컴퓨터 장치의 동작을 제한하기 위한 요소를 더 포함하는 컴퓨터 장치.
  28. 관성 신호들 및 자기장 신호들을 획득하는 단계;
    상기 관성 신호들 및 자기장 신호들의 패턴으로부터 사전에 정의된 몸짓들을 인식하기 위하여, 상기 신호들에 은닉 마르코프 모델을 적용하는 단계; 및
    사전에 정의된 패턴이 인식되면 입력 신호를 획득하는 단계를 포함하는 컴퓨터 장치용 입력 생성방법.
  29. 제28항에 있어서,
    상기 연속 은닉 마르코프 모델을 적용하기 전에 상기 획득된 관성 신호들 및 자기장 신호들에 회전 정규화 작업을 적용하는 단계를 더 포함하는 컴퓨터 장치용 입력 생성방법.
  30. 제28항 또는 제29항에 있어서,
    상기 연속 은닉 마르코프 모델을 적용하기 전에 상기 획득된 관성 신호들 및 자기장 신호들에 진폭 정규화 작업을 적용하는 단계를 더 포함하는 방법.
  31. 제28항 내지 제30항 중 어느 하나의 항에 있어서,
    상기 획득된 입력 신호를 부호화하는 단계; 및
    상기 부호화된 입력 신호를 컴퓨터 장치에 전송하는 단계를 더 포함하는 방법.
  32. 관성 신호들 및 자기장 신호들을 획득하는 단계;
    상기 관성 신호들 및 자기장 신호들의 패턴들로부터 사전에 정의된 몸짓들의 인식을 인식하기 위하여, 상기 신호들에 은닉 마르코프 모델을 적용하는 단계;
    사전에 정의된 패턴이 인식되면 출력 신호를 획득하는 단계;
    상기 출력 신호를 사전에 정의된 힘 피드백 출력 신호로 맵핑하는 단계; 및
    상기 동작 입력 장치에서 사전에 정의된 힘 피드백 신호를 생성하는 단계를 포함하는 동작 입력 장치용 힘 피드백 출력 생성방법.
  33. 3차원 가속도계 및 3차원 나침반 센서들로부터 컴퓨터 장치용 입력을 생성할 수 있는 컴퓨터 프로그램 제품에 있어서,
    상기 프로그램이 제어기, 처리 장치 기반의 장치, 컴퓨터, 마이크로 처리 장치 기반의 장치, 단말기, 네트워크 장치, 휴대용 단말기 또는 휴대용 통신 단말기에서 실행될 때, 제28항 내지 제32항 중 어느 하나의 항의 단계들을 수행하기 위한 프로그램 부호 구역들을 포함하는 컴퓨터 프로그램 제품.
  34. 3차원 가속도계 및 3차원 나침반 센서들로부터 컴퓨터 장치용 입력을 생성할 수 있는 방법을 실행하는 컴퓨터 프로그램 제품에 있어서,
    상기 프로그램 제품이 제어기, 처리 장치 기반의 장치, 컴퓨터, 마이크로 처리 장치 기반의 장치, 단말기, 네트워크 장치, 휴대용 단말기 또는 휴대용 통신 단말기에서 실행될 때, 제28항 내지 제32항 중 어느 하나의 항의 단계들을 수행하기 위하여 기계 판독이 가능한 매체에 저장되어 있는 프로그램 부호 구역들을 포함하는 컴퓨터 프로그램 제품.
  35. 3차원 가속도계 및 3차원 나침반 센서들로부터 컴퓨터 장치용 입력을 생성할 수 있는 소프트웨어 도구에 있어서,
    제어기, 처리 장치 기반의 장치, 마이크로 처리 장치 기반의 장치, 처리 장치, 단말기 장치, 네트워크 장치, 휴대용 단말기, 또는 휴대용 통신 단말기에서 실행되기 위한 컴퓨터 프로그램에서 상기 프로그램이 수행될 때, 제28항 내지 제32항 중 어느 하나의 항의 작업을 수행하기 위한 프로그램 영역을 포함하는 소프트웨어 도구.
  36. 제28항 내지 제32항 중 어느 하나의 항의 단계들을 수행하게 하는 처리 장치에 의하여 실행될 때, 반송파에서 구체화되고 명령들을 나타내는 컴퓨터 데이터 신호.
KR1020077019331A 2005-02-24 2005-02-24 컴퓨팅 단말용 동작 입력 장치 및 그 작동방법 KR100948095B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2005/000466 WO2006090197A1 (en) 2005-02-24 2005-02-24 Motion-input device for a computing terminal and method of its operation

Publications (2)

Publication Number Publication Date
KR20070102567A true KR20070102567A (ko) 2007-10-18
KR100948095B1 KR100948095B1 (ko) 2010-03-16

Family

ID=36927063

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077019331A KR100948095B1 (ko) 2005-02-24 2005-02-24 컴퓨팅 단말용 동작 입력 장치 및 그 작동방법

Country Status (5)

Country Link
US (1) US20080174550A1 (ko)
EP (1) EP1851606A1 (ko)
KR (1) KR100948095B1 (ko)
CN (1) CN101124534A (ko)
WO (1) WO2006090197A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100930506B1 (ko) * 2007-12-21 2009-12-09 한양대학교 산학협력단 동작 정보 입력 장치 및 이를 사용한 동작 정보 입력 방법
KR101123612B1 (ko) * 2009-10-14 2012-03-20 에스케이플래닛 주식회사 복수의 사용자를 위한 사용자 제스처 인터페이스 제공 시스템 및 방법과 이를 위한 단말기
KR20150129093A (ko) * 2012-06-28 2015-11-19 삼성전자주식회사 사용자 입력 장치 및 방법
US10139911B2 (en) 2009-07-22 2018-11-27 Immersion Corporation System and method for providing complex haptic stimulation during input of control gestures, and relating to control of virtual equipment
KR102277913B1 (ko) * 2020-12-21 2021-07-15 이병찬 입력장치

Families Citing this family (264)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7749089B1 (en) 1999-02-26 2010-07-06 Creative Kingdoms, Llc Multi-media interactive play system
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US7878905B2 (en) 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
US6761637B2 (en) 2000-02-22 2004-07-13 Creative Kingdoms, Llc Method of game play using RFID tracking device
US7066781B2 (en) 2000-10-20 2006-06-27 Denise Chapman Weston Children's toy with wireless tag/transponder
US20070066396A1 (en) 2002-04-05 2007-03-22 Denise Chapman Weston Retail methods for providing an interactive product to a consumer
US6967566B2 (en) 2002-04-05 2005-11-22 Creative Kingdoms, Llc Live-action interactive adventure game
US7674184B2 (en) 2002-08-01 2010-03-09 Creative Kingdoms, Llc Interactive water attraction and quest game
US20090143141A1 (en) * 2002-08-06 2009-06-04 Igt Intelligent Multiplayer Gaming System With Multi-Touch Display
US7815507B2 (en) 2004-06-18 2010-10-19 Igt Game machine user interface using a non-contact eye motion recognition device
US8795061B2 (en) 2006-11-10 2014-08-05 Igt Automated data collection system for casino table game environments
US8460103B2 (en) * 2004-06-18 2013-06-11 Igt Gesture controlled casino gaming system
US20090131151A1 (en) * 2006-09-01 2009-05-21 Igt Automated Techniques for Table Game State Tracking
US9446319B2 (en) 2003-03-25 2016-09-20 Mq Gaming, Llc Interactive gaming toy
US8323106B2 (en) * 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US8684839B2 (en) * 2004-06-18 2014-04-01 Igt Control of wager-based game using gesture recognition
US7942744B2 (en) 2004-08-19 2011-05-17 Igt Virtual input system
US7864159B2 (en) 2005-01-12 2011-01-04 Thinkoptics, Inc. Handheld vision based absolute pointing system
KR100537279B1 (ko) * 2005-05-12 2005-12-16 삼성전자주식회사 모션 인지 가능 휴대용 단말기 및 그의 모션 인지 방법
FR2888705A1 (fr) * 2005-07-13 2007-01-19 France Telecom Terminal mobile equipe d'une alimentation automatique
US7927216B2 (en) * 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
JP4805633B2 (ja) 2005-08-22 2011-11-02 任天堂株式会社 ゲーム用操作装置
US7942745B2 (en) 2005-08-22 2011-05-17 Nintendo Co., Ltd. Game operating device
US8870655B2 (en) 2005-08-24 2014-10-28 Nintendo Co., Ltd. Wireless game controllers
JP4262726B2 (ja) 2005-08-24 2009-05-13 任天堂株式会社 ゲームコントローラおよびゲームシステム
JP4773170B2 (ja) * 2005-09-14 2011-09-14 任天堂株式会社 ゲームプログラムおよびゲームシステム
KR100630806B1 (ko) * 2005-11-29 2006-10-04 한국전자통신연구원 동작 인식 장치를 이용한 명령 입력 방법
US20070291112A1 (en) * 2006-04-13 2007-12-20 Joseph Harris Remote control having magnetic sensors for determining motions of the remote control in three dimensions that correspond to associated signals that can be transmitted from the remote control
US9364755B1 (en) * 2006-05-08 2016-06-14 Nintendo Co., Ltd. Methods and apparatus for using illumination marks for spatial pointing
US7702608B1 (en) 2006-07-14 2010-04-20 Ailive, Inc. Generating motion recognizers for arbitrary motions for video games and tuning the motion recognizers to the end user
US9405372B2 (en) 2006-07-14 2016-08-02 Ailive, Inc. Self-contained inertial navigation system for interactive control using movable controllers
US7636645B1 (en) 2007-06-18 2009-12-22 Ailive Inc. Self-contained inertial navigation system for interactive control using movable controllers
US8913003B2 (en) 2006-07-17 2014-12-16 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer using a projection marker system
JP5023594B2 (ja) * 2006-07-26 2012-09-12 日本電気株式会社 携帯端末装置、データ送信方法およびデータ送信制御プログラム
NO325356B1 (no) * 2006-08-08 2008-04-07 Henning Skjold-Larsen Vinkelbasert fyllingsgradindikator
WO2008038141A2 (en) * 2006-09-26 2008-04-03 Seth Tropper Coupon redeemable upon completion of a predetermined threshold of physical activity
US8924248B2 (en) 2006-09-26 2014-12-30 Fitbit, Inc. System and method for activating a device based on a record of physical activity
US7881749B2 (en) * 2006-09-28 2011-02-01 Hewlett-Packard Development Company, L.P. Mobile communication device and method for controlling component activation based on sensed motion
KR101299682B1 (ko) * 2006-10-16 2013-08-22 삼성전자주식회사 범용 입력장치
CA2566082A1 (en) * 2006-10-30 2008-04-30 Richard B. Enns Tri-axis foot controller
US8277314B2 (en) 2006-11-10 2012-10-02 Igt Flat rate wager-based game play techniques for casino table game environments
JP5131809B2 (ja) * 2006-11-16 2013-01-30 任天堂株式会社 ゲーム装置およびゲームプログラム
US9901814B2 (en) * 2006-11-17 2018-02-27 Nintendo Co., Ltd. Game system and storage medium storing game program
US9327192B2 (en) * 2006-11-17 2016-05-03 Nintendo Co., Ltd. Game system and storage medium storing game program
JP5177615B2 (ja) * 2006-12-01 2013-04-03 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法
JP4659767B2 (ja) * 2007-01-10 2011-03-30 富士通東芝モバイルコミュニケーションズ株式会社 入力装置および入力方法
TWI330808B (en) * 2007-01-23 2010-09-21 Pixart Imaging Inc Quasi-analog knob controlling method and apparatus using the same
US8391786B2 (en) * 2007-01-25 2013-03-05 Stephen Hodges Motion triggered data transfer
US7636697B1 (en) 2007-01-29 2009-12-22 Ailive Inc. Method and system for rapid evaluation of logical expressions
US20080231595A1 (en) * 2007-03-20 2008-09-25 At&T Knowledge Ventures, Lp Remote control apparatus and method of interacting with a multimedia timeline user interface
US8745501B2 (en) * 2007-03-20 2014-06-03 At&T Knowledge Ventures, Lp System and method of displaying a multimedia timeline
JP5307116B2 (ja) * 2007-03-23 2013-10-02 クゥアルコム・インコーポレイテッド マルチセンサデータの収集／処理
US20080242414A1 (en) * 2007-03-29 2008-10-02 Broadcom Corporation, A California Corporation Game devices with integrated gyrators and methods for use therewith
US7647071B2 (en) * 2007-03-29 2010-01-12 Broadcom Corporation Communication devices with integrated gyrators and methods for use therewith
US9176598B2 (en) 2007-05-08 2015-11-03 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer with improved performance
US7542811B2 (en) * 2007-06-07 2009-06-02 Inventec Corporation Control apparatus with a balance feedback function
TW200900123A (en) * 2007-06-18 2009-01-01 Ailive Inc Self-contained inertial navigation system for interactive control using movable controllers
GB2450342B (en) * 2007-06-20 2012-05-16 P G Drives Technology Ltd Control System
US8430752B2 (en) 2007-06-20 2013-04-30 The Nielsen Company (Us), Llc Methods and apparatus to meter video game play
EP2165159B1 (en) * 2007-07-03 2013-07-17 Nxp B.V. Calibration of an amr sensor
EP3609195A1 (en) 2007-07-09 2020-02-12 Sony Corporation Electronic apparatus and control method therefor
US8111241B2 (en) * 2007-07-24 2012-02-07 Georgia Tech Research Corporation Gestural generation, sequencing and recording of music on mobile devices
TW200909032A (en) * 2007-08-20 2009-03-01 Tai Sol Electronics Co Ltd Three-dimensional wireless rocking lever
EP2028584A1 (en) * 2007-08-23 2009-02-25 STMicroelectronics S.r.l. Pointing and control device and method for a computer system
KR101182286B1 (ko) * 2007-09-19 2012-09-14 삼성전자주식회사 움직임을 감지하는 리모트 컨트롤러 및, 리모트 컨트롤러에의해 포인터를 제어하는 영상디스플레이장치 및 그들의제어방법
US20090093307A1 (en) * 2007-10-08 2009-04-09 Sony Computer Entertainment America Inc. Enhanced game controller
US7562488B1 (en) * 2007-12-31 2009-07-21 Pulstone Technologies, LLC Intelligent strike indicator
JP5224832B2 (ja) * 2008-01-21 2013-07-03 任天堂株式会社 情報処理プログラムおよび情報処理装置
US20090210101A1 (en) * 2008-02-15 2009-08-20 Scott Allan Hawkins Electronic dice
GB2458297B (en) * 2008-03-13 2012-12-12 Performance Designed Products Ltd Pointing device
US20090278793A1 (en) * 2008-05-09 2009-11-12 Fujitsu Limited Information processing device, information processing method, and medium recording information processing program
US8184092B2 (en) * 2008-05-22 2012-05-22 International Business Machines Corporation Simulation of writing on game consoles through the use of motion-sensing technology
US20090291759A1 (en) * 2008-05-22 2009-11-26 International Business Machines Corporation Simulation of writing on game consoles through the use of motion-sensing technology
US20090295714A1 (en) * 2008-05-27 2009-12-03 Ippasa, Llc Power conserving system for hand-held controllers
US20090305785A1 (en) * 2008-06-06 2009-12-10 Microsoft Corporation Gesture controlled game screen navigation
EP2306899B1 (en) * 2008-06-12 2014-08-13 Amygdala Pty Ltd Detection of hypokinetic and/or hyperkinetic states
US20140184509A1 (en) * 2013-01-02 2014-07-03 Movea Sa Hand held pointing device with roll compensation
EP2140917B1 (en) * 2008-06-30 2018-01-03 Nintendo Co., Ltd. Orientation calculation apparatus and storage medium having orientation calculation program stored therein
EP2140916B1 (en) * 2008-06-30 2018-10-31 Nintendo Co., Ltd. Coordinate calculation apparatus and storage medium having coordinate calculation program stored therein
EP2140919B1 (en) * 2008-06-30 2018-09-05 Nintendo Co., Ltd. Orientation calculation apparatus, storage medium having orientation calculation program stored therein, game apparatus, and storage medium having game program stored therein
EP2140915B1 (en) 2008-06-30 2019-03-06 Nintendo Co., Ltd. Orientation calculation apparatus, storage medium having orientation calculation program stored therein, game apparatus, and storage medium having game program stored therein
US8655622B2 (en) 2008-07-05 2014-02-18 Ailive, Inc. Method and apparatus for interpreting orientation invariant motion
US8384565B2 (en) 2008-07-11 2013-02-26 Nintendo Co., Ltd. Expanding operating device and operating system
JP2010034904A (ja) * 2008-07-29 2010-02-12 Kyocera Corp 携帯端末装置
US20100042954A1 (en) * 2008-08-12 2010-02-18 Apple Inc. Motion based input selection
US20100079605A1 (en) * 2008-09-29 2010-04-01 William Marsh Rice University Sensor-Assisted Motion Estimation for Efficient Video Encoding
US8682606B2 (en) * 2008-10-07 2014-03-25 Qualcomm Incorporated Generating virtual buttons using motion sensors
JP5582629B2 (ja) * 2008-10-16 2014-09-03 任天堂株式会社 情報処理装置および情報処理プログラム
US8576169B2 (en) 2008-10-20 2013-11-05 Sensor Platforms, Inc. System and method for determining an attitude of a device undergoing dynamic acceleration
FI20080591A0 (fi) * 2008-10-24 2008-10-24 Teknillinen Korkeakoulu Eleillä ohjattava käyttöliittymä
JP5430123B2 (ja) * 2008-10-30 2014-02-26 任天堂株式会社 ゲーム装置およびゲームプログラム
TWI391661B (zh) * 2008-11-12 2013-04-01 Imu Solutions Inc 運動控制裝置及方法
US20100123659A1 (en) * 2008-11-19 2010-05-20 Microsoft Corporation In-air cursor control
CN102301312A (zh) * 2008-12-01 2011-12-28 新加坡国立大学 用于娱乐、教育或通信的便携式引擎
US8351910B2 (en) * 2008-12-02 2013-01-08 Qualcomm Incorporated Method and apparatus for determining a user input from inertial sensors
US8489569B2 (en) * 2008-12-08 2013-07-16 Microsoft Corporation Digital media retrieval and display
US8130134B2 (en) * 2009-01-06 2012-03-06 Hong Kong Applied Science and Technology Research Institute Company Limited Reduced instruction set television control system and method of use
US20100171696A1 (en) * 2009-01-06 2010-07-08 Chi Kong Wu Motion actuation system and related motion database
US8515707B2 (en) 2009-01-07 2013-08-20 Sensor Platforms, Inc. System and method for determining an attitude of a device undergoing dynamic acceleration using a Kalman filter
US8587519B2 (en) 2009-01-07 2013-11-19 Sensor Platforms, Inc. Rolling gesture detection using a multi-dimensional pointing device
US9247598B2 (en) * 2009-01-16 2016-01-26 Mag Instrument, Inc. Portable lighting devices
US20110012535A1 (en) * 2009-07-14 2011-01-20 Mag Instrument, Inc. Portable lighting devices
TW201028886A (en) * 2009-01-22 2010-08-01 Asustek Comp Inc Method and system for identifying 3D motion
US8896620B2 (en) 2009-03-04 2014-11-25 Mayo Foundation For Medical Education And Research Computer input device
EP2228110B1 (en) * 2009-03-09 2017-08-30 Nintendo Co., Ltd. Coordinate calculation apparatus and storage medium having coordinate calculation program stored therein
US20100245239A1 (en) * 2009-03-25 2010-09-30 Ippasa, Llc Pressure sensing controller
JP5522349B2 (ja) * 2009-04-14 2014-06-18 任天堂株式会社 入力システム、情報処理システム、周辺機器の制御方法、および操作機器の制御プログラム
US9870021B2 (en) 2009-04-15 2018-01-16 SeeScan, Inc. Magnetic manual user interface devices
WO2010119397A2 (en) * 2009-04-15 2010-10-21 Koninklijke Philips Electronics N.V. A foldable tactile display
EP2438770A1 (en) * 2009-06-03 2012-04-11 Koninklijke Philips Electronics N.V. Estimation of loudspeaker positions
KR101607476B1 (ko) 2009-06-12 2016-03-31 삼성전자주식회사 휴대용 단말기에서 모션 인식 장치 및 방법
US9737796B2 (en) 2009-07-08 2017-08-22 Steelseries Aps Apparatus and method for managing operations of accessories in multi-dimensions
US8719714B2 (en) 2009-07-08 2014-05-06 Steelseries Aps Apparatus and method for managing operations of accessories
US20110012827A1 (en) * 2009-07-14 2011-01-20 Zhou Ye Motion Mapping System
WO2011011898A1 (en) * 2009-07-28 2011-02-03 Quasmo Ag Input system, and method
TWI397851B (zh) * 2009-09-04 2013-06-01 Hon Hai Prec Ind Co Ltd 通過旋轉控制的便攜式電子裝置及其操作方法
US8669935B2 (en) * 2009-09-17 2014-03-11 Sony Corporation Operation device
FR2950713A1 (fr) * 2009-09-29 2011-04-01 Movea Sa Systeme et procede de reconnaissance de gestes
DE112010005387T5 (de) 2009-10-19 2013-03-28 Barnes & Noble, Inc. Instore Lese-System
CN101866533B (zh) * 2009-10-20 2012-07-25 香港应用科技研究院有限公司 遥控装置和方法
US20150285593A1 (en) * 2010-01-26 2015-10-08 Ehud DRIBBEN Monitoring shots of firearms
US8485904B2 (en) * 2010-02-09 2013-07-16 Sony Corporation Operation device
US20110199292A1 (en) * 2010-02-18 2011-08-18 Kilbride Paul E Wrist-Mounted Gesture Device
US20110221664A1 (en) * 2010-03-11 2011-09-15 Microsoft Corporation View navigation on mobile device
US8886980B2 (en) * 2010-03-29 2014-11-11 Qualcomm Incorporated Power efficient way of operating motion sensors
CN101833119B (zh) * 2010-04-13 2012-07-25 美新半导体（无锡）有限公司 手持设备或移动设备翻转的识别方法
CN101829428B (zh) * 2010-04-14 2013-05-08 深圳市腾阳机电设备有限公司 电脑游戏磁动枪
EP2572259A4 (en) * 2010-05-18 2014-10-15 Seescan Inc USER INTERFACE DEVICES, APPARATUS AND METHODS
CN102316394B (zh) * 2010-06-30 2014-09-03 索尼爱立信移动通讯有限公司 蓝牙设备和利用该蓝牙设备的音频播放方法
US9079494B2 (en) 2010-07-01 2015-07-14 Mill Mountain Capital, LLC Systems, devices and methods for vehicles
EP3179330B1 (en) * 2010-08-20 2020-03-18 SeeScan, Inc. Magnetic sensing user interface device
US10983945B2 (en) 2010-09-30 2021-04-20 Fitbit, Inc. Method of data synthesis
US9241635B2 (en) 2010-09-30 2016-01-26 Fitbit, Inc. Portable monitoring devices for processing applications and processing analysis of physiological conditions of a user associated with the portable monitoring device
US9148483B1 (en) 2010-09-30 2015-09-29 Fitbit, Inc. Tracking user physical activity with multiple devices
US10004406B2 (en) 2010-09-30 2018-06-26 Fitbit, Inc. Portable monitoring devices for processing applications and processing analysis of physiological conditions of a user associated with the portable monitoring device
US8954290B2 (en) 2010-09-30 2015-02-10 Fitbit, Inc. Motion-activated display of messages on an activity monitoring device
US8712724B2 (en) 2010-09-30 2014-04-29 Fitbit, Inc. Calendar integration methods and systems for presentation of events having combined activity and location information
US8738323B2 (en) 2010-09-30 2014-05-27 Fitbit, Inc. Methods and systems for metrics analysis and interactive rendering, including events having combined activity and location information
US9253168B2 (en) 2012-04-26 2016-02-02 Fitbit, Inc. Secure pairing of devices via pairing facilitator-intermediary device
US9310909B2 (en) 2010-09-30 2016-04-12 Fitbit, Inc. Methods, systems and devices for physical contact activated display and navigation
US8738321B2 (en) 2010-09-30 2014-05-27 Fitbit, Inc. Methods and systems for classification of geographic locations for tracked activity
US8954291B2 (en) 2010-09-30 2015-02-10 Fitbit, Inc. Alarm setting and interfacing with gesture contact interfacing controls
US11243093B2 (en) 2010-09-30 2022-02-08 Fitbit, Inc. Methods, systems and devices for generating real-time activity data updates to display devices
US8615377B1 (en) 2010-09-30 2013-12-24 Fitbit, Inc. Methods and systems for processing social interactive data and sharing of tracked activity associated with locations
US8762102B2 (en) 2010-09-30 2014-06-24 Fitbit, Inc. Methods and systems for generation and rendering interactive events having combined activity and location information
US8694282B2 (en) 2010-09-30 2014-04-08 Fitbit, Inc. Methods and systems for geo-location optimized tracking and updating for events having combined activity and location information
US8620617B2 (en) 2010-09-30 2013-12-31 Fitbit, Inc. Methods and systems for interactive goal setting and recommender using events having combined activity and location information
US8805646B2 (en) 2010-09-30 2014-08-12 Fitbit, Inc. Methods, systems and devices for linking user devices to activity tracking devices
US9390427B2 (en) 2010-09-30 2016-07-12 Fitbit, Inc. Methods, systems and devices for automatic linking of activity tracking devices to user devices
US8762101B2 (en) 2010-09-30 2014-06-24 Fitbit, Inc. Methods and systems for identification of event data having combined activity and location information of portable monitoring devices
US8744803B2 (en) 2010-09-30 2014-06-03 Fitbit, Inc. Methods, systems and devices for activity tracking device data synchronization with computing devices
US8957909B2 (en) 2010-10-07 2015-02-17 Sensor Platforms, Inc. System and method for compensating for drift in a display of a user interface state
WO2012051357A1 (en) 2010-10-12 2012-04-19 Mark Olsson Magnetic thumbstick user interface devices
US9294722B2 (en) * 2010-10-19 2016-03-22 Microsoft Technology Licensing, Llc Optimized telepresence using mobile device gestures
US8253684B1 (en) * 2010-11-02 2012-08-28 Google Inc. Position and orientation determination for a mobile computing device
WO2012064785A1 (en) 2010-11-08 2012-05-18 Mark Olsson Slim profile magnetic user interface devices
EP2671129B1 (en) 2010-12-02 2016-03-09 SeeScan, Inc. Magnetically sensed user interface apparatus and devices
US8366547B2 (en) 2010-12-06 2013-02-05 Ignite Game Technologies, Inc. Racing car wheel and controls for use in a multimedia interactive environment
WO2012079948A1 (en) 2010-12-16 2012-06-21 International Business Machines Corporation A human interface device with two three-axis-accelerometers
US9030405B2 (en) 2011-02-04 2015-05-12 Invensense, Inc. High fidelity remote controller device for digital living room
US20120242514A1 (en) * 2011-03-24 2012-09-27 Smile Technology Co., Ltd. Hybrid keyboard
US20120254809A1 (en) * 2011-03-31 2012-10-04 Nokia Corporation Method and apparatus for motion gesture recognition
US8873841B2 (en) * 2011-04-21 2014-10-28 Nokia Corporation Methods and apparatuses for facilitating gesture recognition
CN102755742A (zh) * 2011-04-27 2012-10-31 德信互动科技（北京）有限公司 6d体感互动系统和方法
US8892390B2 (en) 2011-06-03 2014-11-18 Apple Inc. Determining motion states
US8738925B1 (en) 2013-01-07 2014-05-27 Fitbit, Inc. Wireless portable biometric device syncing
US8843338B2 (en) 2011-07-29 2014-09-23 Nokia Corporation Processing Data for Calibration
US9678577B1 (en) 2011-08-20 2017-06-13 SeeScan, Inc. Magnetic sensing user interface device methods and apparatus using electromagnets and associated magnetic sensors
US8949745B2 (en) * 2011-10-21 2015-02-03 Konntech Inc. Device and method for selection of options by motion gestures
KR101237472B1 (ko) * 2011-12-30 2013-02-28 삼성전자주식회사 전자 장치 및 그의 제어 방법
US9459276B2 (en) 2012-01-06 2016-10-04 Sensor Platforms, Inc. System and method for device self-calibration
WO2013104006A2 (en) 2012-01-08 2013-07-11 Sensor Platforms, Inc. System and method for calibrating sensors for different operating environments
DE102012201498A1 (de) * 2012-02-02 2013-08-08 Robert Bosch Gmbh Bedienvorrichtung und Verfahren zum Betrieb einer Bedienvorrichtung
CN102553231A (zh) * 2012-02-16 2012-07-11 广州华立科技软件有限公司 使用速度感应原理配合标识圆圈的游戏装置及方法
US9228842B2 (en) 2012-03-25 2016-01-05 Sensor Platforms, Inc. System and method for determining a uniform external magnetic field
JP2013222399A (ja) * 2012-04-18 2013-10-28 Sony Corp 操作方法、制御装置及びプログラム
US9849376B2 (en) 2012-05-02 2017-12-26 Microsoft Technology Licensing, Llc Wireless controller
US20130293362A1 (en) * 2012-05-03 2013-11-07 The Methodist Hospital Research Institute Multi-degrees-of-freedom hand controller
US9641239B2 (en) 2012-06-22 2017-05-02 Fitbit, Inc. Adaptive data transfer using bluetooth
US20140028547A1 (en) * 2012-07-26 2014-01-30 Stmicroelectronics, Inc. Simple user interface device and chipset implementation combination for consumer interaction with any screen based interface
US8851996B2 (en) * 2012-08-17 2014-10-07 Microsoft Corporation Dynamic magnetometer calibration
US9690334B2 (en) 2012-08-22 2017-06-27 Intel Corporation Adaptive visual output based on change in distance of a mobile device to a user
CN102866789B (zh) * 2012-09-18 2015-12-09 中国科学院计算技术研究所 一种人机交互戒指
KR101978688B1 (ko) * 2012-10-22 2019-05-15 삼성전자주식회사 마이크로폰 장치를 갖는 전자 장치 및 그 운용 방법
US8862152B1 (en) 2012-11-02 2014-10-14 Alcohol Monitoring Systems, Inc. Two-piece system and method for electronic management of offenders based on real-time risk profiles
CN103823576B (zh) * 2012-11-16 2016-08-03 中国科学院声学研究所 一种智能终端的控制信息输入方法及系统
US9571816B2 (en) 2012-11-16 2017-02-14 Microsoft Technology Licensing, Llc Associating an object with a subject
US9329667B2 (en) * 2012-11-21 2016-05-03 Completecover, Llc Computing device employing a proxy processor to learn received patterns
US9726498B2 (en) 2012-11-29 2017-08-08 Sensor Platforms, Inc. Combining monitoring sensor measurements and system signals to determine device context
CN103853373B (zh) * 2012-12-06 2017-03-29 联想(北京)有限公司 产生力反馈的方法和力反馈装置
FR2999316A1 (fr) * 2012-12-12 2014-06-13 Sagemcom Broadband Sas Dispositif et procede de reconnaissance de gestes pour un controle d'interface utilisateur
US20140168079A1 (en) * 2012-12-14 2014-06-19 Hsien- Chang Huang Cursor control system
CN103105945B (zh) * 2012-12-17 2016-03-30 中国科学院计算技术研究所 一种支持多点触摸手势的人机交互戒指
FR3000683B1 (fr) * 2013-01-04 2016-05-06 Movea Element mobile de commande prehensible simulant un joystick ou manette de jeu equivalente a au moins un element de commande a butee physique, et procede de simulation associe
US9039614B2 (en) 2013-01-15 2015-05-26 Fitbit, Inc. Methods, systems and devices for measuring fingertip heart rate
US9728059B2 (en) 2013-01-15 2017-08-08 Fitbit, Inc. Sedentary period detection utilizing a wearable electronic device
US9251701B2 (en) 2013-02-14 2016-02-02 Microsoft Technology Licensing, Llc Control device with passive reflector
FR3002338A1 (fr) * 2013-02-15 2014-08-22 France Telecom Procede de segmentation temporelle d'un geste instrumente, dispositif et terminal associes
US9604147B2 (en) 2013-03-15 2017-03-28 Steelseries Aps Method and apparatus for managing use of an accessory
US9687730B2 (en) * 2013-03-15 2017-06-27 Steelseries Aps Gaming device with independent gesture-sensitive areas
US9409087B2 (en) 2013-03-15 2016-08-09 Steelseries Aps Method and apparatus for processing gestures
US9415299B2 (en) 2013-03-15 2016-08-16 Steelseries Aps Gaming device
US9423874B2 (en) 2013-03-15 2016-08-23 Steelseries Aps Gaming accessory with sensory feedback device
EP2997453B1 (en) 2013-05-17 2020-10-21 SeeScan, Inc. User interface devices
US9207764B2 (en) * 2013-09-18 2015-12-08 Immersion Corporation Orientation adjustable multi-channel haptic device
US11990019B2 (en) 2014-02-27 2024-05-21 Fitbit, Inc. Notifications on a user device based on activity detected by an activity monitoring device
US9031812B2 (en) 2014-02-27 2015-05-12 Fitbit, Inc. Notifications on a user device based on activity detected by an activity monitoring device
CN103933722B (zh) * 2014-02-28 2016-04-27 杭州匠物网络科技有限公司 一种健身哑铃运动检测装置及健身哑铃运动检测方法
US9679197B1 (en) 2014-03-13 2017-06-13 Leap Motion, Inc. Biometric aware object detection and tracking
US9710612B2 (en) 2014-05-05 2017-07-18 Sony Corporation Combining signal information from shoes and sports racket
US9526964B2 (en) 2014-05-05 2016-12-27 Sony Corporation Using pressure signal from racket to advise player
US9288298B2 (en) 2014-05-06 2016-03-15 Fitbit, Inc. Notifications regarding interesting or unusual activity detected from an activity monitoring device
US10782657B2 (en) 2014-05-27 2020-09-22 Ultrahaptics IP Two Limited Systems and methods of gestural interaction in a pervasive computing environment
US20150346721A1 (en) * 2014-05-30 2015-12-03 Aibotix GmbH Aircraft
GB2527356B (en) * 2014-06-20 2017-05-03 Elekta ltd Patient support system
US9363640B2 (en) 2014-08-05 2016-06-07 Samsung Electronics Co., Ltd. Electronic system with transformable mode mechanism and method of operation thereof
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
WO2016027331A1 (ja) * 2014-08-20 2016-02-25 慎司 西村 コンピューターゲーム用擬似体験装置
US11366521B2 (en) 2014-11-17 2022-06-21 Thika Holdings Llc Device for intuitive dexterous touch and feel interaction in virtual worlds
GB201500545D0 (en) * 2015-01-14 2015-02-25 Mvr Global Ltd Controller for computer entertainment system
CN104841130A (zh) * 2015-03-19 2015-08-19 惠州Tcl移动通信有限公司 智能手表以及体感游戏运行系统
WO2016171757A1 (en) * 2015-04-23 2016-10-27 Sri International Hyperdexterous surgical system user interface devices
US10446344B2 (en) 2015-05-27 2019-10-15 Microsoft Technology Licensing, Llc Hair trigger travel stop with on-demand switching
CN105250130B (zh) * 2015-09-01 2018-02-02 杭州喵隐科技有限公司 一种基于电动按摩器械的虚拟现实实现方法
US10552752B2 (en) 2015-11-02 2020-02-04 Microsoft Technology Licensing, Llc Predictive controller for applications
CN105498205B (zh) * 2015-12-10 2020-04-24 联想(北京)有限公司 一种电子游戏控制设备及控制方法
US10678337B2 (en) * 2016-01-04 2020-06-09 The Texas A&M University System Context aware movement recognition system
US10080530B2 (en) 2016-02-19 2018-09-25 Fitbit, Inc. Periodic inactivity alerts and achievement messages
US10579169B2 (en) * 2016-03-08 2020-03-03 Egalax_Empia Technology Inc. Stylus and touch control apparatus for detecting tilt angle of stylus and control method thereof
US10133271B2 (en) * 2016-03-25 2018-11-20 Qualcomm Incorporated Multi-axis controlller
US10544571B2 (en) 2016-03-25 2020-01-28 Spectrum Brands, Inc. Electronic faucet with spatial orientation control system
CN105892675A (zh) * 2016-04-26 2016-08-24 乐视控股（北京）有限公司 基于手柄控制虚拟现实头盔的方法、装置及系统
US10623871B2 (en) * 2016-05-27 2020-04-14 Sonova Ag Hearing assistance system with automatic side detection
WO2017207044A1 (en) * 2016-06-01 2017-12-07 Sonova Ag Hearing assistance system with automatic side detection
US10716994B2 (en) * 2016-06-28 2020-07-21 Sony Interactive Entertainment Inc. Usage state determination apparatus, usage state determination method, and program
JP6534376B2 (ja) * 2016-10-19 2019-06-26 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
US10520973B2 (en) 2016-10-27 2019-12-31 Fluidity Technologies, Inc. Dynamically balanced multi-degrees-of-freedom hand controller
US10331232B2 (en) 2016-10-27 2019-06-25 Fluidity Technologies, Inc. Controller with situational awareness display
US10198086B2 (en) 2016-10-27 2019-02-05 Fluidity Technologies, Inc. Dynamically balanced, multi-degrees-of-freedom hand controller
US10664002B2 (en) 2016-10-27 2020-05-26 Fluidity Technologies Inc. Multi-degrees-of-freedom hand held controller
US10331233B2 (en) 2016-10-27 2019-06-25 Fluidity Technologies, Inc. Camera and sensor controls for remotely operated vehicles and virtual environments
US10324487B2 (en) 2016-10-27 2019-06-18 Fluidity Technologies, Inc. Multi-axis gimbal mounting for controller providing tactile feedback for the null command
KR102508193B1 (ko) 2016-10-31 2023-03-10 삼성전자주식회사 입력장치 및 이를 갖는 디스플레이 장치
CN110300945A (zh) 2017-02-08 2019-10-01 赛伯有限公司 为了将使用装置的人员的运动变换到虚拟空间中而检测运动的装置
JP2018163132A (ja) * 2017-03-24 2018-10-18 望月 玲於奈 姿勢算出プログラム、姿勢情報を用いたプログラム
CN107481498A (zh) * 2017-09-05 2017-12-15 深圳市道通智能航空技术有限公司 一种遥控器
DE102017009090B4 (de) * 2017-09-28 2020-11-12 Audi Ag Verfahren zum Betreiben einer Sitzvorrichtung eines Kraftfahrzeugs bei Betrieb einer Virtuellen-Realität-Anwendung sowie Sitzvorrichtung
WO2019084514A1 (en) 2017-10-27 2019-05-02 Fluidity Technologies, Inc. CAMERA AND SENSOR CONTROLS FOR REMOTE CONTROL VEHICLES AND VIRTUAL ENVIRONMENTS
CN114674220A (zh) 2017-10-27 2022-06-28 流体技术股份有限公司 用于对空指令提供触觉反馈的控制器的多轴常平架安装座
WO2019084506A1 (en) 2017-10-27 2019-05-02 Fluidity Technologies, Inc. CONTROL DEVICE EQUIPPED WITH A DISPLAY DEVICE FOR KNOWING THE SITUATION
US10310611B1 (en) * 2017-12-21 2019-06-04 Dura Operating, Llc Portable controller
US10521030B2 (en) * 2018-01-10 2019-12-31 Microsoft Technology Licensing, Llc Transforming a control stick movement space
US11148046B2 (en) * 2018-01-16 2021-10-19 Vr Leo Usa, Inc. Chip structure of VR self-service game joy stick
CN110069147B (zh) * 2018-01-23 2023-02-03 可赛尔内存股份有限公司 操控装置及其控制方法
KR20190090243A (ko) * 2018-01-24 2019-08-01 엘지전자 주식회사 입력장치
CN111742327B (zh) * 2018-02-19 2024-05-28 博朗有限公司 用于实施可移动处理装置的定位的设备和方法
CN108917697B (zh) * 2018-05-14 2021-06-11 苏州大学 基于自供电六轴传感器的六轴方位检测方法
EP3861780A4 (en) 2018-10-02 2022-05-18 Hewlett-Packard Development Company, L.P. DEVICES FOR REDUCING THE USE OF COMPUTER RESOURCES
CN109821254B (zh) * 2019-04-12 2020-08-07 厦门扬恩科技有限公司 新型3d摇杆遥控器
US11599107B2 (en) 2019-12-09 2023-03-07 Fluidity Technologies Inc. Apparatus, methods and systems for remote or onboard control of flights
WO2021133073A1 (ko) * 2019-12-23 2021-07-01 주식회사 후본 멀티모달 인터페이스 기반의 햅틱 장치
US12005345B2 (en) * 2021-10-18 2024-06-11 Riley Simons Stratton Video game controller
US11696633B1 (en) 2022-04-26 2023-07-11 Fluidity Technologies Inc. System and methods for controlling motion of a target object and providing discrete, directional tactile feedback
US11662835B1 (en) 2022-04-26 2023-05-30 Fluidity Technologies Inc. System and methods for controlling motion of a target object and providing discrete, directional tactile feedback

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5590062A (en) * 1993-07-02 1996-12-31 Matsushita Electric Industrial Co., Ltd. Simulator for producing various living environments mainly for visual perception
US5516105A (en) * 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US6204838B1 (en) * 1998-05-21 2001-03-20 Primax Electronics Ltd. Controlling scrolls of a screen image
US7054510B1 (en) * 1999-03-24 2006-05-30 British Telecommunications Public Limited Company Handwriting recognition system
RU2168201C1 (ru) * 1999-11-03 2001-05-27 Супрун Антон Евгеньевич Устройство для ввода информации в эвм
US6982697B2 (en) * 2002-02-07 2006-01-03 Microsoft Corporation System and process for selecting objects in a ubiquitous computing environment
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
WO2004061728A2 (en) * 2002-12-31 2004-07-22 Molysym, Inc. Apparatus and method for integrating a physical molecular model with a computer-based visualization and simulation model
US20040140962A1 (en) * 2003-01-21 2004-07-22 Microsoft Corporation Inertial sensors integration
US7038661B2 (en) * 2003-06-13 2006-05-02 Microsoft Corporation Pointing device and cursor for use in intelligent computing environments
FI117308B (fi) * 2004-02-06 2006-08-31 Nokia Corp Eleohjausjärjestelmä
US7342575B1 (en) * 2004-04-06 2008-03-11 Hewlett-Packard Development Company, L.P. Electronic writing systems and methods
DE202005022038U1 (de) * 2004-04-30 2012-07-12 Hillcrest Laboratories, Inc. Freiraum-Zeigevorrichtungen mit Neigungskompensation und verbesserter Benutzbarkeit

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100930506B1 (ko) * 2007-12-21 2009-12-09 한양대학교 산학협력단 동작 정보 입력 장치 및 이를 사용한 동작 정보 입력 방법
US10139911B2 (en) 2009-07-22 2018-11-27 Immersion Corporation System and method for providing complex haptic stimulation during input of control gestures, and relating to control of virtual equipment
KR101123612B1 (ko) * 2009-10-14 2012-03-20 에스케이플래닛 주식회사 복수의 사용자를 위한 사용자 제스처 인터페이스 제공 시스템 및 방법과 이를 위한 단말기
KR20150129093A (ko) * 2012-06-28 2015-11-19 삼성전자주식회사 사용자 입력 장치 및 방법
KR102277913B1 (ko) * 2020-12-21 2021-07-15 이병찬 입력장치
WO2022139210A1 (ko) * 2020-12-21 2022-06-30 이병찬 입력장치

Also Published As

Publication number Publication date
CN101124534A (zh) 2008-02-13
KR100948095B1 (ko) 2010-03-16
WO2006090197A1 (en) 2006-08-31
EP1851606A1 (en) 2007-11-07
US20080174550A1 (en) 2008-07-24

Similar Documents

Publication Publication Date Title
KR100948095B1 (ko) 컴퓨팅 단말용 동작 입력 장치 및 그 작동방법
US10384129B2 (en) System and method for detecting moment of impact and/or strength of a swing based on accelerometer data
JP5944600B1 (ja) 頭部装着型ディスプレイを備えた情報処理装置
CN107533233B (zh) 用于增强现实的系统和方法
US9009747B2 (en) Gesture cataloging and recognition
Wingrave et al. The wiimote and beyond: Spatially convenient devices for 3d user interfaces
KR101666096B1 (ko) 강화된 제스처 기반 상호작용 시스템 및 방법
US9317108B2 (en) Hand-held wireless electronic device with accelerometer for interacting with a display
US20060287085A1 (en) Inertially trackable hand-held controller
US20060274032A1 (en) Tracking device for use in obtaining information for controlling game program execution
US20060287084A1 (en) System, method, and apparatus for three-dimensional input control
EP2497542A2 (en) Information processing system, information processing program, and information processing method
WO2007130792A2 (en) System, method, and apparatus for three-dimensional input control
WO2017037962A1 (ja) 頭部装着型ディスプレイを備えた情報処理装置
JP2012166066A (ja) 可動コントローラを使った対話式制御のための自己完結式慣性ナビゲーション・システム
CN106843484A (zh) 一种融合室内定位数据与动作捕捉数据的方法
CN109240487B (zh) 沉浸式系统、控制方法及非暂态计算机可读取媒体
US8147333B2 (en) Handheld control device for a processor-controlled system
US10242241B1 (en) Advanced mobile communication device gameplay system
KR101020510B1 (ko) 다중 입력 게임 제어 믹서
EP2013864A2 (en) System, method, and apparatus for three-dimensional input control
Payne et al. 3motion: untethered 3D gesture interaction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130221

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140220

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150224

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160218

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170220

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180219

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20200218

Year of fee payment: 11