KR101666096B1 - 강화된 제스처 기반 상호작용 시스템 및 방법 - Google Patents

강화된 제스처 기반 상호작용 시스템 및 방법 Download PDF

Info

Publication number
KR101666096B1
KR101666096B1 KR1020147020592A KR20147020592A KR101666096B1 KR 101666096 B1 KR101666096 B1 KR 101666096B1 KR 1020147020592 A KR1020147020592 A KR 1020147020592A KR 20147020592 A KR20147020592 A KR 20147020592A KR 101666096 B1 KR101666096 B1 KR 101666096B1
Authority
KR
South Korea
Prior art keywords
user
computerized system
control device
gesture recognition
feedback
Prior art date
Application number
KR1020147020592A
Other languages
English (en)
Other versions
KR20140128305A (ko
Inventor
길레스 피놀트
Original Assignee
소프트키네틱 소프트웨어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소프트키네틱 소프트웨어 filed Critical 소프트키네틱 소프트웨어
Publication of KR20140128305A publication Critical patent/KR20140128305A/ko
Application granted granted Critical
Publication of KR101666096B1 publication Critical patent/KR101666096B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/218—Input arrangements for video game devices characterised by their sensors, purposes or types using pressure sensors, e.g. generating a signal proportional to the pressure applied by the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/31—Communication aspects specific to video games, e.g. between several handheld game devices at close range
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1025—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals details of the interface with the game device, e.g. USB version detection
    • A63F2300/1031—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals details of the interface with the game device, e.g. USB version detection using a wireless connection, e.g. Bluetooth, infrared connections
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1037—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1043—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being characterized by constructional details
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1056—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving pressure sensitive buttons
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1081—Input via voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/204—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/302—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device specially adapted for receiving control signals not targeted to a display device or game input means, e.g. vibrating driver's seat, scent dispenser
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/402—Communication between platforms, i.e. physical link to protocol
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Abstract

강화된 제스처 인식 시스템을 위해 제스처 기반 제어 신호와 연관될 수 있는 양측 하드웨어 기반 제어 신호를 제공하도록 사용자의 손(150)에 사용될 수 있는 무선 원격 제어 장치(100)가 여기에 기술되어 있다. 이러한 장치(100)는 연관된 컴퓨터화된 시스템을 위한 제어 신호를 생성할 수 있는 적어도 하나의 제어 버튼(120, 130, 140)을 갖는 감지 유닛을 갖는 하우징(110)을 포함하고 있다. 컴퓨터화된 시스템은 예를 들어, 제스처를 실행하는 손의 폐색 또는 상기 컴퓨터화된 시스템과 연관된 촬상 시스템의 시야 밖의 손으로 인한 임의의 모호성을 해결하고 상기 제스처 기반 상호작용 시스템에서 상호작용을 작동시키기 위해 제스처 인식 시스템으로부터 취득된 정보와 함께 제어 장치(100)로부터 얻어진 정보를 사용한다.

Description

강화된 제스처 기반 상호작용 시스템 및 방법{SYSTEM AND METHOD FOR ENHANCED GESTURE-BASED INTERACTION}
본 발명은 인간-기계 상호작용을 위한 시스템 및 방법에 관한 것이고, 보다 구체적으로, 대화형 컴퓨터화된 시스템과의 강화된 제스처 기반 상호작용을 위한 무선 원격 제어 장치에 관한 것이지만 이에 한정되는 것은 아니다.
인간-기계 상호작용 영역에서, 디바이스 컨트롤러는 인간 사용자와 하드웨어 플랫폼 사이의 인터페이스로서 다년간 사용되어 왔다. 이러한 인터페이스를 통해, 사용자는 명령에 따라 액션을 수신하고, 처리하고 실행하기 위한 수단을 갖는 컴퓨터화된 시스템에 명령을 제공할 수 있었다. 디바이스 컨트롤러는 유선 또는 무선일 수 있고 컴퓨터용 마우스 장치, 컴퓨터 키보드, TV 리모트 컨트롤러, 게임 컨트롤러, 패드, 가상 현실 글로브등을 포함할 수 있다. 이러한 디바이스 컨트롤러 시스템 모두는 예를 들어, 트리거 버튼, 다방향 패드, 관성 센서 유닛등과 같은 공지된 감지 장치를 사용하는 하나의 공통 사양을 공유하고 있다.
또한, 가전 영역은 물론 가상 현실 영역에서의 기술의 발전으로 인해, 이러한 장치들 또는 이들의 조합을 사용하는 다수의 시스템이 개발되었다. 특히, 이제, 가상 현실 환경으로의 몰입을 향상시키거나 컴퓨터화된 시스템과의 상호작용을 위한 사용자 경험을 향상시키기 위해 사용자가 디바이스 컨트롤러를 휴대하거나, 착용하거나 다루는 것은 필수가 되었다.
예를 들어, US-A-2010/0304868에서, 컴퓨터화된 시스템과의 상호작용성을 위한 멀티 포지셔널 3차원 핸들 제어기가 기술되어 있다. 이러한 제어기는 게임 클라이언트의 컴퓨터화된 시스템을 통해 실행되는 컴퓨터 프로그램의 결과로서 생성된 2차원 및 3차원 시나리오 모두와 상호작용하기 위해 직관적인 인터페이스를 제공하면서, 다양한 애플리케이션 및 시뮬레이션에 대한 제어를 제공한다. 이러한 게임 클라이언트는 로컬 저장된 프로그램을 실행할 수 있거나 인터넷과 접속되어 사용자가 상이한 위치의 다른 사용자와 상호작용할 수 있는 전용 게임 콘솔일 수 있다. 이러한 제어기는 제어기의 조작 및 처리와 관련하여 가요성을 제공하도록 다수의 위치에서 사용되도록 구성되어 있다. 이러한 제어기는 핸들, 예를 들어, 자이로스코프, 가속도계, 버튼, 조이스틱 및 트랙볼과 관련된 입력 특징부의 이동을 검출하는 센서를 갖는 핸들을 포함한다. 하나의 실시예에서, 제어기는 휴대되고, 사용자의 손의 운동만이 IEEE 802.11 사양의 무선 프로토콜을 사용하여 연관된 게임 콘솔과의 상호작용을 위한 무선 신호를 제공하는 "막대사탕(lollipop)" 모드에서 동작할 수 있다. 다른 실시예어서, 제어기는 휴대되지만, 제스처를 검출하기 위해 컬러 볼을 추적하고 게임 콘솔에 의해 처리될 추가 무선 신호를 제공하는 2D 카메라와 함께 동작된다. 다른 실시예에서, 제어기는 2개의 손으로 조작될 수 있다. US-A-2010/0304868에서 기술된 제어기의 인체공학은 제스처 기반 상호작용 시스템에서의 제스처 인식을 위해, 사용자가 손으로 제어기를 적극적으로 그리고 자발적으로 잡고 있고 특히 손가락 이동을 포함하여 자유 자연 이동을 허용하지 않을 것을 요구한다.
US-A-2011/0269544에, 게임 콘솔과의 상호작용을 위한 휴대 컴퓨터 입력 장치가 기술되어 있다. 이러한 장치는 돌출부가 형성된 본체를 포함하고, 사용자의 손의 손가락 및 엄지손가락은 이러한 돌출부의 각각과 맞물려 있다. 각 돌출부는 사용자의 하나 이상의 손가락에 대한 이동을 검출하도록 구성되어 있다. 사용자의 엄지손가락 및 손가락은 물론 사용자의 손의 이동이 게임 콘솔에 의해 감지되고 접촉식 피드백이 게임 콘솔에 전송된 명령에 응답하여 사용자에게 제공될 수 있다. 한 쌍의 장치가 사용되지만 이것들은 오직 하나의 장치가 오른손에 끼워지고 또 다른 장치가 왼손에 끼워지도록 다루어진다. US-A-2011/0269544에 기술된 휴대 대화형 장치는 사용자의 손과 손가락에 맞는다는 관점에서 인체공학적인 것으로 생각될 수 있지만, 사용자가 조작을 위해 장치를 잡고 있어야 하고 자연스런 제스처 기반 컴퓨터화된 시스템에서의 제스처 인식을 위한 손 및/또는 손가락의 자유 이동을 허용하지 않는다.
US-A-2008/084385는 손에 착용되고 표면에 접촉할 필요없이 조작되는 컴퓨터 포인팅 장치를 기술하고 있다. 이러한 컴퓨터 포인팅 장치 내에 위치된 센서는 사용자의 손의 이동을 감지하고 이러한 신호를 호스트 컴퓨터를 위한 신호로 전환한다. 이러한 신호는 스크롤링 동작은 물론 커서등을 이동시키고 좌우 마우스 클릭을 제공하도록 사용될 수 있다. 이러한 장치는 활성화되고 비활성화되어, 의도된 이동만이 호스트 컴퓨터에 전송될 수 있다.
Dundee, Scotland, UK, 26 October 2011의 Brandon Shrewsbury에 의한 "Providing Haptic Feedback Using the Kinect" 표제의 기사에서, 키넥트 시스템의 시야 내의 객체를 사용자에게 알리기 위해 부저 모터를 사용하는 착용가능한 진동촉각 피드백 시스템을 갖는 장갑이 제안되어 있다. 이러한 부저 모터는 손의 손바닥 위의 바닥 행을 갖는 손가락의 개별적인 부분과 정렬되어 있다.
US-A-2007/279380은 손에 부착될 수 있는 컴퓨터 입력 장치를 기술하고 있다. 이러한 장치는 손의 손바닥부 둘레에 감져질 수 있는 조정가능한 밴드를 포함한다. 밴드가 부착된 손의 엄지손가락과 손가락들에 의해 조작되는 제어 버튼 및 조이스틱이 제공된다. 이러한 장치는 부착된 케이블을 통해 또는 무선으로 컴퓨터와 통신한다.
US-A-2011/202306은 하나 이상의 신체 센서 유닛이 실감 가상 현실 시스템과의 상호작용을 위해 채용되는 실감 가상 현실 시스템을 기술하고 있다. 이러한 신체 센서 유닛은 장갑 또는 조끼가 착용되는 사용자의 관련 부분의 위치를 결정하기 위한 감지 소자를 포함하는 장갑 및 조끼를 포함하고 있다. 사용자의 자신의 관점으로 정확한 공간 관계에서 사용자의 신체의 부분의 가상 표현을 보기 위해 디스플레이 유닛이 제공된다.
Frati등은 표제 "Using Kinect for hand tracking and rendering in wearable haptics", World Haptics Conference (WHC), 2011 , IEEE, IEEE, 21 June 2011 , pages 317 to 321 기사에서, 3차원 촬상 시스템의 시야에서의 위치 감지를 위한 손가락 패드 접촉점에서의 포스 피드백을 위한 모터를 갖는 착용가능한 햅틱 장치를 기술하고 있다. 손가락끝과 같은 주요 손 포인트가 깊이 맵으로부터 계산된 경계 박스로부터 추출되는 손 추적 알고리즘이 개시되어 있다. 그러나, 손 추적 알고리즘이 적절하게 작동하기 위해 손의 가장 큰 부분이 보여야하고, 특히, 다수의 경험이 손가락의 각각의 신원을 정의하기 위해 사용되고 이것들은 하나 이상의 손가락의 전체 또는 일부가 3차원 촬상 시스템의 시야에서 막히는 경우에 실패할 수 있다.
보다 최근에, 이미징 감지 신호 분석에 기초한 제스처 인식 기술은 대화형 시스템을 제어하고 실행하는 컴퓨터화된 시스템과 상호작용하도록 사용자가 단순히 사전결정된 제스처를 사용함으로써 명령을 제공할 수 있도록 하는 대화형 시스템을 생성하였다. 이러한 제스처 인식 기술은 사용자에 의해 착용된 임의의 장치를 사용하지 않고 전신 이동 분석 또는 손 이동 분석만을 사용한다.
그러나, 독립적인 하드웨어 기반 제어기 또는 자연 제스처 기반 이동을 사용할 때, 실행될 수 있는 사전정의된 상호작용의 수에 제한이 있다. 하드웨어 원격 제어 장치를 위해, 그러한 것은 예를 들어, 들어야 하고 손가락 추적 또는 신뢰할만한 손 제스처 인식을 지원하지 않는다. 마찬가지로, 전신 자연스런 제스처 인식 시스템은 일부 다른 이동중에 배타적으로 특정 이동이 실행될 필요가 있을 때 원격 제어기 상의 손가락에 의해 구동되는 버튼과 동일한 방식으로 단순한 클릭 동작이 실행되는 것을 허용하지 않는다. 또한, 제스처 인식 시스템을 사용할 때, 단순한 클릭 액션과 제어 스크린 주변에 손을 이동시키는 것을 동시에 하는 것이 어렵다. 하나의 이유는 클릭 동작이 특정 위치에 사전결정된 기간 동안 손의 스틸 포즈를 검출함으로써, 또는 사전결정된 기간에, 사전정의된 축, 예를 들어, Z 또는 깊이축을 따라 전후방으로의 이동을 검출함으로써 실행되는 경향이 있기 때문이다. 따라서, 하나의 단일손을 사용하여 동시에 2개의 동작을 실행하는 것이 가능하지 않다.
또한, 기존의 원격 제어 장치와의 자연스런 제스처 인식 시스템의 조합은 기존의 장치가 들어야 함으로써 제한되어, 실행될 수 있고 인식될 수 있는 제스처의 종류와 수에 강한 제약을 받는다.
본 발명의 목적은 컴퓨터화된 시스템과 상호작용하도록 제스처 분석 시스템과 결합되어 사용되기에 인체공학적으로 적합한 제어 장치를 제공하는 것이다.
본 발명의 다른 목적은 컴퓨터화된 시스템을 위한 추가 기능 및/또는 부가 정보를 제공하는, 자연스런 제스처 인식 시스템에서 사용될 수 있는 제어 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 컴퓨터화된 시스템과 연관된 촬상 시스템에 의해 추적될 수 있는 사용자의 위치 및 이동 또는 제스처에 관한 추가 및 개선된 정보 또는 데이터를 제공하기 위해 사용될 수 있는 제어 장치를 제공하는 것이다.
본 발명의 다른 목적은 사용자와 컴퓨터화된 시스템 사이에 양방향 정보 교환의 형태로 추가 기능을 제공하는, 자연스런 제스처 인식 시스템에서 사용될 수 있는 제어 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 하드웨어 장치 장체 또는 제스처 인식 시스템에 의해 제공된 개별적인 특징을 제한하지 않으면서, 컴퓨터화된 시스템과의 자연스런 제스처 기반 및 하드웨어 장치 기반 상호작용의 조합을 허용함으로써 강화된 사용자 경험을 제공하도록 컴퓨터화된 시스템에서 제어 장치를 제어하고 사용하는 방법을 제공하는 것이다.
여기에서 사용된 용어 "제어 수단"은 사용자가 제어 신호를 입력할 수 있는 임의의 다른 적절한 장치는 물론 버튼, 스위치, 방향성 패드 및 조이스픽을 포함하도록 의도되어 있다. 이러한 다른 적절한 장치, 즉 "부가 제어"는 예를 들어, 컴퓨터화된 시스템, 가속도계, 자이로스코프에 음성 명령을 제공하기 위한 마이크로폰일 수 있지만 이에 제한되는 것은 아니다.
본 발명의 제1 특징에 따라, 3차원 촬상 시스템을 갖는 대화형 컴퓨터화된 시스템을 제어하는 방법으로서, 상기 3차원 촬상 시스템은 절두체 내에 존재하는 사용자의 적어도 하나의 부분의 3차원 정보를 제공하기 위한 3차원 카메라를 포함하고, 상기 방법은, a) 상기 사용자의 적어도 하나의 부분과 연관되도록, 사용자-조작되는 제어 장치를 제공하는 단계로서, 상기 사용자-조작되는 제어 장치는 하우징; 상기 하우징에 장착된 적어도 하나의 제어 수단을 포함하는 적어도 하나의 감지 모듈로서, 각각의 제어 버튼은 조작될 때 상기 컴퓨터화된 시스템을 위한 제어 신호를 생성할 수 있는 적어도 하나의 감지 모듈; 상기 컴퓨터화된 시스템에서 동작하는 애플리케이션에 따라 상기 사용자에게 컨텍스츄얼(contextual) 피드백을 제공하기 위한, 상기 하우징에 장착된 적어도 하나의 피드백 모듈; 상기 하우징 내에 위치되어 있고, 각각의 제어 신호가 상기 컴퓨터화된 시스템에 전송되고, 각각의 피드백 신호가 상기 컴퓨터화된 시스템으로부터 수신되는 통신 모듈; 및 상기 하우징 내에 장착되어 있고, 각각의 생성된 제어 신호에 따라 상기 감지 모듈, 통신 모듈 및 피드백 모듈을 제어하는 제어기 모듈을 포함하는 단계; b) 상기 사용자-조작되는 제어 장치 상의 적어도 하나의 제어 수단으로부터 제어 신호를 생성하는 단계; 및 c) 상기 대화형 컴퓨터화된 시스템을 제어하기 위해 상기 생성된 제어 신호를 사용하는 단계를 포함하고, 상기 방법은 상기 3차원 촬상 시스템에 의해 측정된 정보의 모호성을 해결하기 위해 상기 사용자-조작되는 제어 장치가 연관된 사용자의 부분에 대하여 상기 사용자-조작되는 제어 장치에 의해 제공된 정보를 사용하는 단계를 더 포함하는 대화형 컴퓨터화된 시스템 제어 방법이 제공되어 있다.
이러한 방법은 d) 상기 컴퓨터화된 시스템에서 실행되는 애플리케이션에 따라 컨텍스츄얼 피드백을 상기 사용자에게 제공하는 단계를 더 포함할 수 있다. 추가로, 이러한 발명은 e) 상기 3차원 카메라의 절두체 내의 상기 제어 장치가 연관된 사용자의 적어도 하나의 부분에 관한 정보를 제공하기 위해 상기 사용자-조작되는 제어 장치를 사용하는 단계를 포함할 수 있다.
상기 단계 e)는 상기 제어 장치가 연관된 상기 사용자의 부분에 관한 시공간 관련 정보를 제공하는 단계를 포함하는 것이 바람직하다. 상기 시공간 관련 정보는 상기 제어 장치가 연관된 상기 사용자의 부분의 상태, 가속도, 방위, 및 위치중 적어도 하나를 포함한다.
본 발명의 바람직한 실시예에서, 상기 정보는 상기 사용자의 부분이 다른 객체에 의한 폐색; 상기 사용자의 부분에 의한 폐색; 및 상기 사용자의 부분이 상기 3차원 카메라의 절두체 외측에 있는 것중 하나로 인해 3차원 촬상 카메라에 더 이상 보이지 않을 때 상기 사용자-조작되는 제어 장치가 연관된 상기 사용자의 부분의 위치를 추정하도록 사용된다.
또한, 사용자 부분에 관한 제공된 정보는 위치, 속도, 가속도 및/또는 식별정보일 수 있다. 이러한 정보는 장치 자체에 의해 제공되거나, 장치로부터 나온 데이터를 제스처 분석 시스템에 의해 결정된 다른 데이터와 결합함으로써 개선될 수 있다. 바람직한 실시예에서, 사용자의 부분에 관한 제공된 정보는 3차원 촬상 시스템에서 측정된 정보의 모호성을 해결하기 위해 사용되는 것이 바람직하다.
본 발명의 다른 특징에 따라, 제스처 기반 대화형 컴퓨터화된 시스템으로서, 3차원 촬상 시스템; 제스처 인식 시스템; 하우징; 상기 하우징에 장착된 적어도 하나의 제어 수단을 포함하는 적어도 하나의 감지 모듈로서, 각각의 제어 버튼은 조작될 때 상기 컴퓨터화된 시스템을 위한 제어 신호를 생성할 수 있는 적어도 하나의 감지 모듈; 상기 컴퓨터화된 시스템에서 동작하는 애플리케이션에 따라 상기 사용자에게 컨텍스츄얼 피드백을 제공하기 위한, 상기 하우징에 장착된 피드백 모듈; 상기 하우징 내에 위치되어 있고, 각각의 제어 신호가 상기 컴퓨터화된 시스템에 전송되고, 각각의 피드백 신호가 상기 컴퓨터화된 시스템으로부터 수신되는 통신 모듈; 및 상기 하우징 내에 장착되어 있고, 각각의 생성된 제어 신호에 따라 상기 감지 모듈, 통신 모듈 및 피드백 모듈을 제어하는 제어기 모듈을 포함하는 사용자-조작되는 제어 장치; 및 상기 3차원 촬상 시스템 및 상기 제스처 인식 시스템과 연관되어 있고, 상기 3차원 촬상 시스템에 의해 포착된 이미지 및 상기 제스처 인식 시스템에 의해 인식된 제스처를 처리하는 컴퓨터화된 시스템을 포함하고, 상기 컴퓨터화된 시스템은 상기 3차원 촬상 시스템에 의해 측정된 정보의 모호성을 해결하기 위해 상기 제스처 인식 시스템에 의해 인식된 제스처와 함께 상기 사용자-조작되는 제어 장치로부터의 데이터를 사용하는 제스처 인식 대화형 컴퓨터화된 시스템이 제공되어 있다.
특히, 이러한 제스처 기반 대화형 시스템에 의해 제어 장치와 상호작용하는 사용자에 의해 생성된 하드웨어 기반 제어 신호는 물론 손에 의해 실행된 제스처를 사용하여 제어 신호를 입력할 수 있다. 또한, 제어 장치는 사전결정된 동작 또는 이벤트에 관한 정보, 특히 대화형 컴퓨터화된 시스템에 의해 정의된 상황에서 자연스런 제스처 상호작용에 의해 생성될 수 없는 데이터 또는 파라미터를 제공하도록 사용될 수 있다. 이것의 예는 아래에 보다 상세하게 설명되는 바와 같이 손이 디스플레이 스크린 위에 손으로 제어되는 커서를 연속 스크롤링하면서 클릭 동작을 실행하는 것 또는 드래그 및 드롭 동작을 실행하는 것이다.
상기 하우징은 손바닥측을 형성하는 제1 표면을 갖는 조정가능한 밴드를 포함하는 것이 바람직하다. 각 제어 버튼은 상기 손바닥측에 장착되고 상기 사용자의 적어도 하나의 손가락에 의해 조작된다.
상기 조정가능한 밴드는 또한 후측을 형성하는 제2 표면을 갖고 있고, 상기 후측은 상기 사용자의 임의의 다른 손가락에 의해 조작되는 적어도 하나의 제어 버튼을 가질 수 있다. 이것은 사용자의 다른 손으로부터의 손가락일 수 있다는 것을 이해할 것이다.
또한, 상기 제1 표면과 제2 표면 사이에, 상기 사용자의 엄지손가락에 의해 조작되는 적어도 하나의 제어 버튼을 포함하는 다른 부분이 형성될 수 있다.
사용자-조작되는 장치가 조정가능한 밴드를 포함하므로, 단부, 예를 들어, 사용자의 손에 용이하게 배치되고 제거될 수 있다. 이것은 멀티플레이어 상황에서 각 사용자가 제어 장치를 그 다음 사용자에게 또는 하나의 손으로부터 다른 손으로 신속히 넘길 수 있다는 것을 의미한다. 이것은 또한 제어 장치의 사용이 용이하고 직관적이고 왼손 또는 오른손에 특정되지 않는다는 것을 의미한다.
상기 조정가능한 밴드의 적어도 일부는 가요성 재료를 포함한다. 하나의 실시예에서, 밴드의 전체가 가요성 재료를 포함할 수 있다. 상기 가요성 재료는 탄성 재료를 포함할 수 있다.
가요성 재료를 제공함으로써 밴드는 사용자의 손 크기 및 성별에 관계없이 사용자의 손에 용이하게 끼워맞추어질 수 있고, 편하고 조정가능하다.
하나의 실시예에서, 밴드는 단순하게 손에 걸리고 벗겨져 사용자 사이에 용이한 인계가 가능하도록 한다.
하나의 실시예에서, 밴드는 손의 상이한 크기에 맞추어지도록 조정가능하고 2 부분 조정가능한 고정부(two-part adjustable fastening)를 포함할 수 있고, 상기 2부분 조정가능한 고정부의 각각은 상기 조정가능한 밴드의 각각의 단부에 위치되어 있다. 바람직한 2 부분 조정가능한 고정부는 후크 및 루프 파스너를 포함하지만, 다른 2 부분 고정부, 예를 들어, 자기 또는 기계 기반 클로저(closure) 시스템 역시 사용될 수 있다는 것을 이해할 것이다.
또한, 본 발명의 제스처 기반 대화형 시스템은 적절한 제스처 인식 시스템에서 동시에 사용될 수 있는 손 및 손가락의 자유 이동을 허용하면서 컴퓨터화된 시스템에 정보를 제공할 수 있다는 장점을 갖고 있다. 예를 들어, 사용자-조작되는 장치는 제스처 인식 시스템이 사용자 손의 골격을 맞추고 추적할 수 이도록 설계되어 있다.
또한, 적어도 하나의 제어 수단을 가짐으로써, 사용자-조작되는 장치는 가상 환경에서 객체와 제스처 인식을 사용하여 상호작용할 때 사용되는 추가 특징을 제공하는데, 예를 들어, 객체는 장치 위의 버튼을 누름으로써 집어져 제스처를 사용하여 다른 위치로 이동될 수 있고 버튼을 누름해제함으로써 이러한 다른 위치에 놓여질 수 있다. 또한, 하나 이상의 제어 버튼의 동작은 제스처 인식 시스템에 의해 요구되는 바와 같이, 동시에, 사용자가 자연스런 제스처를 사용하는 기능을 방해하지 않는다.
하나의 실시예에서, 상기 조정가능한 밴드의 피드백 모듈은 또한 적어도 하나의 진동기 소자를 포함할 수 있다. 상기 진동기 소자는 착용시 사용자에게 보다 가까운 상기 조정가능한 밴드의 표면에 인접하여 위치되어 있다. 상기 진동기 소자는 조정가능한 밴드의 손바닥측 또는 다른 부분에 위치될 수 있지만, 가속도계 또는 자이로스코프와 같은, 제어 정보를 생성하는 다른 유닛중 하나를 방해하지 않는 위치에 위치되는 것이 바람직하다.
또한, 상기 피드백 모듈은 스피커 모듈; 디스플레이 스크린; 발광 다이오드 장치; 및 매트릭스 터치 피드백 모듈중 적어도 하나를 더 포함할 수 있다.
본 발명을 보다 잘 이해하기 위해, 다음의 도면을 예시로 설명할 것이다.
도 1은 본 발명의 하나의 단순한 실시예에 따른 제어 장치의 개략적인 후방 사시도이다.
도 2는 도 1에 도시된 제어 장치의 개략적인 전방 사시도이다.
도 3은 도 1 및 도 2에 도시된 제어 장치의 구성요소 및, 이러한 제어 장치와 상호작용하는 제어기를 도시하는 블록도이다.
본 발명은 일부 특정 실시예 및 특정 도면에 대해 설명되지만 이제 제한되는 것은 아니다. 도시된 도면은 단지 개략적으로 도시되어 있고 이에 제한되지 않는다. 도면에서, 일부 소자의 크기 및 정확한 위치는 설명을 위해 강조되고 스케일에 따라 도시되지 않았다.
본 발명은 인간과 기계의 상호작용 분야에 관한 것이고, 보다 구체적으로, 상호작용에서 사용자 경험을 강화하기 위해 자연스런 제스처 인식 시스템과 결합되어 사용되도록 설계된 무선 제어 장치를 사용하는 시스템 및 방법에 관한 것이다. 특히, 본 발명의 제어 장치는 상기 제스처 인식 시스템의 특징을 제한하지 않고 자연 제스처 인식 기반 컴퓨터화된 시스템에 추가 특징을 제공한다. 또한, 상호작용 시간에 사용자에게 피드백 정보를 제공할 수 있어서, 제스처 인식 또는 하드웨어 장치 제어 시스템중 하나만을 사용하는 임의의 컴퓨터화된 시스템과 비교하여 사용자가 경험을 강화시킬 수 있다.
US-A-2010/0304868 및 US-A-2011/0269544에 기술된 제어 장치에서는 사용자가 제어 동작을 위해 그리고 연관된 게임 콘솔의 일부를 형성하는 컴퓨터화된 시스템을 위한 제어 신호를 제공하기 위해 하나 또는 양 손에 제어 장치를 적극적으로 잡을 필요가 있다. 그러나, 일부 사용자, 예를 들어, 손이 성인 보다 상당히 작은 아이들은 장치의 단일 크기에 상당한 어려움을 갖는 경향이 있다. 당연히, 이러한 상이한 손 크기의 문제의 해결은 사용자의 증가된 비용으로 상이한 크기의 손이 수용될 수 있도록 하나 보다 많은 크기의 장치를 제공하는 것이다.
온전한 몸통 적용을 위한 마커가 없는 제스처 기반 상호작용을 설계할 때, 자주 3D 카메라에 의해 제공된 상세한 정보의 부재, 예를 들어, 신체의 가장 정밀한 도구, 손, 또는 훨씬 더 복잡한 손가락을 추적하는 기능의 부재로 인해 데이터를 얻는 것은 도전이 되고 있다. 이것은 특히, 사용자가 3D 카메라로부터 상당한 거리, 보통, 3m 보다 큰 거리에 있고 컴퓨터화된 시스템이 방안의 사용자들의 부분들을 추적하고 있을 때 도전이 되고 있다. 손 제스처 또는 손 이동을 추적할 때 한가지 제약은 손이 능동적인 상태, 예를 들어, 아이템을 잡는 상태, 또는 수동적인 상태, 예를 들어, 객체 위를 단지 지나는 상태에 있는지 결정하는 것이 어렵다는 것이다.
손 제스처 또는 손 이동을 추적할 때 다른 제약은 제스처 기반 인식 시스템들이 스크린 상의 정보의 표시에 기초하는 경향이 있기 때문에 이러한 제스처 기반 인식 시스템에서 사용자에게 주어지는 피드백이 존재하지 않는다는 것이다. 이러한 시스템에서, 자주, 시스템의 사용자가 그의 손의 가상 표현이 가상 객체와 접촉하고 있을 때를 추정하는 것이 어렵다. 시각 피드백의 사용은 디스플레이 또는 스크린을 복잡하게 하는 경향이 있고 사용자에게 상당히 자연스런 및/또는 몰입되는 느낌을 항상 제공하는 것은 아니다.
마커가 없는 제스처 인식 시스템에서의 다른 제약은 공간 해상도의 부족, 모호성, 폐색으로 인해, 또는 3D 카메라의 시야 내의 객체 또는 임의의 잠재적인 자체 폐색으로 인해, 또는 추적되는 객체가 3D 카메라로부터 상당한 거리(보통 3m 보다 크다)에 있을 때 손 방위를 충분히 정밀하게 인식할 수 없다는 것이다.
본 발명은 상술된 제약을 극복하고 장치의 적절한 기능, 인체공학 및 사용 용이성을 고려한 원격 제어 장치를 제공한다. 이러한 원격 제어 장치에 의해 제공되는 주요 특징은 다음을 포함한다.
1. 적어도 2개의 (바람직하게는 보다 많은) 신뢰할만한 상태를 포함하는 손 상태에 관한 정보를 제공한다.
2. 3D 카메라 기반 제스처 인식 시스템으로부터 결정된 데이터를 보완하거나 개선하기 위해 추가 데이터를 제공한다.
3. 시스템의 투명성과 유용성의 균형을 맞추기 위한 추가 피드백을 사용자에게 제공한다.
4. 애플리케이션과의 마커가 없는 전신 자연스런 제스처 상호작용을 보완하기에 적합한 인체공학적 품질을 제공한다.
본 발명의 장치는 손에 착용될 수 있고 이러한 손의 손가락에 의해 동작될 수 있는 적어도 하나의 제어 버튼을 손바닥측에 포함하는 밴드를 포함하는데, 사용자의 손가락은 제어 장치의 존재 없이 동일한 방식으로 자유롭게 이동할 수 있다. 이러한 장치는 게임 콘솔 내의 컴퓨터화된 시스템의 일부를 형성하는 3차원(3D) 촬상 시스템(3D 카메라를 포함한다)에 사용되어서 제스처 및 밴드로부터의 직접 제어 신호 모두가 컴퓨터화된 시스템에 의해 실행되고 제어되는 게임과 상호작용할 때 사용자 경험을 강화시키기 위해 시스템에 의해 처리될 수 있다.
도 1 및 도 2에, 본 발명에 따른 제어 장치(100)가 도시되어 있다. 제어 장치(100)는 도 2에 보다 분명하게 도시된 바와 같이 3개의 제어 버튼(120, 130, 140)이 장착된 조정가능한 밴드(110)를 포함하고 있다. 도시된 바와 같이, 밴드(110)는 사용자의 손(150)에 끼워맞추어지고 고정부(160)에 의해 손 위의 정위치에 유지된다. 고정부(160)는 밴드(110)가 사용자의 손(150)에 끼워맞추어지기 위해 조정될 수 있는 하나의 위치를 제공한다. 보통, 고정부(160)는 손에 끼워맞추어지도록 조정될 수 있는 2 부분 고정부를 포함하는데, 이러한 고정부의 하나의 부분은 밴드의 일단부(170)에 고정되고 이러한 고정부의 다른 부분은 밴드의 타단부(180)에 고정되어서 2개의 단부(170, 180)가 중첩될 때, 밴드(110)는 손(150) 둘레에 고정된다. 이러한 2-부분 고정부의 하나는 예를 들어, Velcro™ (trademark of The Velcro Company, Manchester, NH, USA)의 "hook and loop" 고정부이다. 그러나, 다른 형태의 2-부분 고정부, 예를 들어, 호크 단추; 자석 및 금속판; 누름 단추등이 사용될 수 있다는 것을 이해할 것이다.
밴드(110)는 임의의 방향으로 이동 속도 및 가속도는 물론, 방위각 및 중력 방향을 측정하기 위해 적어도 2축 가속도계, 바람직하게는, 3축 가속도계, 및 자이로스코프(밴드에 내장되어 있어 도시되지 않았음)를 포함하고 있다. 이것은 장치(100)의 크기가 임의의 휴대 제어장치보다 상당히 작을 수 있다는 장점을 갖고 있다. 그다음, 가속계도는 단지 손(150)의 피치 및/또는 롤 경사를 제어함으로써 표준 조이스틱 장치의 2개의 제어축의 등가물을 제공할 수 있다.
또한, 가속도계는 제어 장치(100)를 착용할 때 손(150)의 가속도에 대한 신뢰할만하고 정밀한 값을 제공한다. 이러한 가속도의 신뢰할만하고 정밀한 값은 컴퓨터화된 시스템(도시되지 않음)이 무엇이 손인 것으로 추정되는지를 입증하기 위해 사용될 수 있다. 이러한 손의 추정은 사용자의 일부를 식별하기 위해, 특히, 시간에 따른 손의 위치를 식별하기위해 역 동역학기반 사용자 골격 피팅 프로세스를 사용함으로써 얻을 수 있다. 그다음, 추적된 손의 시공간 특성은 데이터의 식별 및 정확도를 개선하기 위해 시간에 따른 처리 손의 위치에 대해 제공된 장치 데이터와 비교될 수 있다. 특히, 장치에 의해 제공된 가속도 값은 손이 신체의 일부 또는 다른 객체에 의해 폐색되거나 손이 3D 카메라의 시야를 벗어나서 컴퓨터화된 시스템의 일부를 형성하는 3D 카메라에 더 이상 보이지 않을 때 손의 위치를 추정하는데 사용될 수 있다.
또한, 컴퓨터화된 시스템에 전달된 가속도계 정보는 제어 장치가 위치된 손에 따라 각 제어 버튼에 대한 기능 및/또는 특징을 자동으로 로딩할 수 있도록 사용자의 일부의 식별 및 추적과 결합될 수 있다. 예를 들어, 2-장치 대화형 적용에서, 오른손의 장치는 이미지 특정 적용을 위해 구성될 수 있고 왼손의 장치 역시 사용자의 왼손의 제어 장치로부터 제공된 가속도계 정보에 따라 구성될수 있다. 2개의 장치를 사용할 때, 제어 수단, 즉, 각 장치의 버튼은 이들이 위치된 손에 따라 구성될 수 있다. 이것은 장치로부터의 가속도계 및/또는 자이로스코프 데이터를 제스처 인식 시스템에 의해 결정된 왼손과 오른손에 대한 시공간 데이터와 비교함으로써 왼손으로부터 오른손으로 장치를 전환할 때 자동으로 실행된다.
송수신기 유닛(역시 도시되지 않았다) 역시 제어 버튼(120, 130, 140)에 의해 생성된 제어 신호를 연관된 컴퓨터화된 시스템에 전송하기 위해 밴드(110) 내측에 내장되어 있다. 또한, 신호 역시 컴퓨터화된 시스템으로부터 수신될 수 있다. 적절한 주파수 대역의 전자파가 제어 장치(100)와 그 연관된 컴퓨터화된 시스템 사이에 신호를 전송하기 위해 사용될 수 있다.
도 1에 도시된 바와 같이, 고정부(160)는 손(150)후방에 위치되는 것이 바람직하고, 도 2에 도시된 바와 같이 제어 버튼(120, 130, 140)은 손(150)의 손바닥에 위치되어 있다. 그러나, 밴드(110)가 손에 용이하게 배치되고 손으로부터 용이하게 제거될 수 있도록 하는 적어도 하나의 적절한 재료로 제조되어 있다면 고정부(160)를 가질 필요가 없을 수 있다는 것을 이해할 것이다. 제어 버튼(120, 130, 140)에 더하여, 3D 카메라와의 상호작용의 비접촉 성질로 인한 촉감 부재를 완화시키는 피드백 소자(도시되지 않음)가 역시 장치(100)의 손바닥층에 위치될 수 있다. 이러한 피드백 소자는 필요한 대로, 예를 들어, 컴퓨터화된 시스템에 실행되는 게임의 가상 환경에서 사용자의 손의 가상 표현과 객체가 접촉하였음을 확인시키기 위해 윙윙거리거나 진동하는 진동기를 포함할 수 있다. 또한, 이러한 피드백 소자는 사용자에게 오디오 피드백 신호를 제공하는 음향 장치를 포함할 수 있다. 또한, 열, 전기 및/또는 접촉 배열부를 포함할 수 있는 다른 형태의 피드백이 대안으로 또는 추가되어 구현될 수 있다.
제어 버튼(120, 130, 140)을 도 2에 도시된 바와 같이 밴드(110)의 손바닥측에 위치시키는 것에 더하여, 다른 제어 수단 또는 버튼(도시되지 않음)이 예를 들어 다른 손에 의한 동작을 위해 밴드의 후측에 제공될 수 있다. 다른 제어 수단 또는 버튼 역시 예를 들어, 엄지손가락에 의한 동작을 위해 장치의 손바닥측과 후측 사이에 제공될 수 있다.
각 제어 버튼(120, 130, 140)은 버튼 상의 사용자의 손가락의 압력에 의해 제어되는 다수의 상태를 갖는 유사한(analogue) 버튼일 수 있다. 대안으로, 각 제어 버튼(120, 130, 140)은 사용자의 손가락의 누름에 의한 "온" 상태와 "오프" 상태 사이에서 동작하는 이진 상태 버튼을 포함할 수 있다. 이러한 제어 버튼(120, 130, 140)은 또한 도 3에 대해 하술되는 바와 같이 압력 및/또는 거리를 나타내는 연속 신호를 제공할 수 있다. 또한, 생체 인식 센서가 예를 들어, 심박수 및 피부전도도를 감시하기 위해 밴드에 구현될 수 있다.
이산 제어 버튼의 대안으로서, 연속 감지면, 예를 들어, 제어 패드가 제공될 수 있다. 이러한 제어 패드(도시되지 않음)는 사용자의 엄지손가락에 의한 동작을 위해 제공되는데, 이러한 제어 패드는 사용자가 왼손잡이 또는 오른손잡이일 때 엄지손가락에 의해 접근될 수 있는 밴드 상의 위치에 위치되어 있다.
또한, 버튼은 데이터를 제공하기 위해 사용자에 의해 동작될 필요가 있는 대신에 연속 데이터를 제공하는 압력, 플렉스, 용량성 및/또는 거리-센서일 수 있다.
제어 수단(즉, 버튼, 가속도계 등)에 더하여, 제어 장치(100)는 역시 전자 부품, 예를 들어, 아래의 도 3을 참조하여 보다 상세하게 기술되는 바와 같은 배터리, 마이크로컨트롤러, 및 무선 모듈을 포함할 수 있다. 사용자와의 인터페이스를 위해 직접 사용되지 않는 모든 부품은 이들이 컴퓨터화된 시스템과의 상호작용을 제공하기 위해 사용되는 손바닥 영역을 어지럽히지 않도록 밴드(110)의 후측에 위치되는 것이 바람직하다.
또한, 추가 센서 및/또는 구동기를 제어 장치에 접속시킬 수 있는 입출력 포트가 제공될 수 있다. 예를 들어, 추가 컨텍스츄얼 피드백을 제공하기 위해 추가 제어 데이터 또는 추가 저항을 제공하는 부가 플렉스(flex) 센서가 제1 또는 제2 손가락 주위에 끼워맞추어지도록 제공될 수 있다.
밴드(110)는 가요성을 갖고 손(150)의 형상과 용이하게 합치하는 실리콘을 포함할 수 있다. 또한, 밴드(110)는 버튼이 사전정의되어 있다면, 밴드가 오른손 또는 왼손에 배치되는 경우에 사용될 수 있도록 하나의 특정 방위로만 착용될 수 있도록 하는 형상을 가질 수 있다. 보다 일반적으로, 밴드(110)는 양손잡이 사용을 위해 및/또는 사용자가 보다 복잡한 상호작용을 위해 각 손에 밴드를 가질 수 있도록 하기 위해 밴드가 오른손 또는 왼손에서 착용될 수 있도록 적어도 하나의 평면에 대해 대칭되는 것이 바람직하다. 밴드를 위한 실리콘 재료의 타입을 사용하는 장점은 제어 버튼이 보다 용이한 동작을 위해 손의 손바닥에 남을 수 있도록 사용자의 손과의 그립(grip)을 제공한다는 것이다.
대안으로, 밴드(110)는 제어 수단, 피드백 수단 및 장치(100)의 동작을 위한 임의의 다른 필요한 전자장치를 수용할 수 있는 임의의 다른 적절한 재료로 제조될 수 있다. 밴드(110)는 특정 특성에 사용되는 상이한 재료를 포함할 수 있는데, 예를 들어, 손(150)의 손바닥에 위치될 밴드(110)의 부분은 강화된 그립을 제공하도록 실리콘일 수 있고, 이러한 실리콘에 인접한 밴드(110)의 부분은 끼워맞춤이 조정될 수 있도록 탄성을 가질 수 있고, 고정부(160)는 끼워맞춤이 조정될 수 있도록 그리고 손(150)에 장치(100)를 용이하게 위치시키기 위해 벨크로를 포함할 수 있다.
사용에서, 사용자는 그의 손(150) 위에 떨어져(over) 제어 장치(100)를 배치하고 편안한 끼워맞춤을 위해 2 부분 고정부(160)를 사용하여 제어 장치(100)를 조정한다. 이상적으로, 손(150) 위의 제어 장치(100)의 끼워맞춤은 사용자가 장치를 유지하고 착용하는 것 사이의 평형 상태이다. 즉, 사용자는 제어 버튼(120, 130, 140)이 용이하게 동작될 수 있는 위치에 제어 장치(100)를 유지하는데 아무런 노력도 할 필요가 없다. 또한, 제어 장치(100)는 장갑이 아니고 동작을 위해 유지될 필요가 없다는 것을 이해할 것이다. 또한, 장치는 손에 용이하게 적용되고 제거될 수 있다.
장치를 한 손에 갖고, 사용자는 컨텍스츄얼 명령어 및 피드백 정보를 제공하기 위한 애플리케이션 및, 깊이 감지 3D 카메라와 같은 3D 촬상 시스템을 포함하는 제스처 인식 수단과 연관된 컴퓨터화된 시스템과 상호작용할 수 있다. 하나의 실시예에서, 사용자는 가상 환경의 중심에 스크린 상의 아바타로서 표현될 수 있고, 3D 카메라의 절두체에서 자유롭게 행동하고 이동한다. 사용자의 이동 및 제스처는 컴퓨터화된 시스템에서 동작하는 소프트웨어에 의해 인식된다. 사용자의 손이 스크린에 표시된 가상 환경의 가상 객체를 터치하였을 때를 나타내기 위해 예를 들어, 진동의 형태로 피드백이 사용자에게 제공된다.
가장 단순한 실시예에서, 밴드는 사용자에 의해 눌려질때 신호를 연관된 컴퓨터화된 시스템에 자동으로 전송하는 단일 버튼을 포함한다. 이러한 특별한 경우에서, 사용자의 바람직한 손가락, 예를들어, 제1 또는 제2손가락에 의한 동작을 위해 손의 손바닥에 대한 버튼의 상대 위치를 조정하는 것이 가능하다.
다른 실시예에서, 2개의 긴 버튼이 사용자의 선호도에 따라 상이하거나 동일한 손가락에 의해 동작될 수 있도록 제공될 수 있다. 장치의 하드웨어 설정이 장치의 인체공학으로 인해 고정되어 있지만, 이러한 2개의 버튼은 3개의 가장 많이 사용되는 손가락, 즉, 제1 및 제2 손가락 및 엄지손가락의 하나 또는 둘을 이동시키는 사용자에 의해 자연스러게 동작될 수 있는 위치에 위치될 수 있다. 예를 들어, 제1 버튼, 즉, 제1 손가락에 가장 가까운 버튼이 엄지손가락에 의해 사용될 수 있고 다른 버튼이 제2 또는 제2 손가락에 의해 사용될 수 있다.
하나 보다 많은 버튼이 존재하는 보다 진보된 실시예에서, 사용자의 손가락을 위해 버튼을 정렬하는 것이 가능하다. 여기에서, 3개 보다 많은 버튼이 도 1 및 도 2를 참조하여 상술된 바와 같이 제공될 수 있다는 것을 이해할 것이다. 또한, 하나 보다 많은 행의 버튼이 존재할 수 있다.
버튼의 기능이 사전정의된 가장 단순한 실시예와 달리, 각각의 버튼의 기능이 고정되지 않고 사용자 또는 컴퓨터 시스템 정의가능할 수 있다. 하나의 바람직한 실시예에서, 컴퓨터 시스템은 컴퓨터화된 시스템에 의해 동작되는 애플리케이션에 따라, 또는 컴퓨터화된 시스템에 의해 실행되는 애플리케이션에 하나의 특정 상황에 따라, 제어 수단, 특히 버튼을 자동으로 그리고 동적으로 사전설정하기 위한 수단을 포함할 수 있다.
다른 실시예에서, 가속도계가 중력으로 인한 수직 방향을 결정하는데 사용될 수 있고 이에 따라 각각의 버튼의 기능이 할당된다.
바람직한 실시예에서, 장치는 사용자가 장면에 서 있는 아바타에 의해 표현될 수 있는 가상 환경에서 사용될 수 있다. 본 발명에 따라, 사용자는 컴퓨터화된 시스템과 연관된 3D 카메라의 절두체에서 자유롭게 행동하고 이동하여서, 그의 이동 및/또는 제스처는 컴퓨터화된 시스템에서 실행되는 소프트웨어에 의해 인식되고 추적된 후에 제어 장치(100) 입력과 연관될 수 있다. 아바타가 장면에서 이동하고 상호작용하도록 하기 위해, 사용자는 제어 장치(100)에 의해 제공된 특징 및 제스처 인식 소프트웨어에 의해 제공된 특징을 사용한다.
제어 버튼(120, 130, 140)에 의해 구현될 수 있는 일부 특징들은 다음을 포함한다.
- 제1 버튼이 눌려질 때, 제어 장치(100)의 방위가 연관된 컴퓨터화된 시스템에 등록되고 그로부터 방향의 변화에 따라, 제어 장치(100)가 사용자의 손 안의 조이스틱인 것처럼, 변환의 속도, 전방 또는 후방, 및 좌측 또는 우측으로의 회전 속도를 제어한다. 버튼이 해제될 때, 제어 장치(100)에 의해 제공된 항해 제어가 정지되어 사용자의 이동이 가상 환경과 직접 상호작용하도록 사용된다.
- 제2 버튼이 눌려질 때, 제1 버튼과 유사한 메커니즘을 사용하여, 사용자는 가상 환경에서 아바타 주변의 3D 카메라의 회전을 제어할 수 있다.
- 제3 버튼이 눌려질 때, "드래그 및 드롭" 기능이 실현될 수 있다. 여기에서, 장치(100)가 배치된 사용자의 손에 최근방 "물리적" 객체, 즉, 가상 표현에서 최근방 객체는 가상 객체쪽으로 이동하고 가상 객체를 잡고, 이러한 가상 객체는 버튼이 해제되지 않는 한 손의 이동 및 방향을 따른다. 버튼이 해제될 때, 가상 객체는 버튼이 해제될 때 가상 환경에 대해 사용자의 손의 위치에 떨어진다.
이러한 특정 기능은 가상 환경에서 가상 객체를 픽업, 운반, 이동 및 놓는 능력을 제공한다.
장면의 객체와 사용자의 아바타 표현 사이에 충돌이 일어날 때, 장치의 손바닥 위의 진동기는 가상 충격의 강도에 비례하거나 가상 객체가 충돌한 것으로 추측되는 재료의 경도와 비례할 수 있는 강도에 의해 진동한다. 마찬가지로, 증가된 진동은 가상 객체의 중량에 대해 정보를 사용자에게 의존하도록 사용될 수 있다.
제어 장치(100)가 배치된 손이 장면에서 검출될 수 있다는 것이 중요하다는 것을 이해할 것이다. 이것은 손에 상응하는 부분을 갖는 사용자의 임의의 골격 표현을 사용하여 이루어질 수 있다. 가상 공간에서의 손의 위치는 3축 가속도계로부터의 출력을 사용하여 그리고 자이로스코프의 추가 출력을 사용하여 향상될 수 있다. 골격 표현을 사용하는 대신에, 이미지 처리 수단에 의한 장면의 임의의 식별된 특징부의 이동은, 예를 들어, 모두 3D 카메라의 절두체내에 있는 단부, 컬러 객체, 특정 형상, 신체부분등은 장치가 이러한 식별된 특징부에 부착될 확률을 산정하기 위해 제어 장치(100)의 가속도와 비교될 수 있다.
다른 바람직한 실시예에서, 자이로스코프가 제어 장치(100) 내에 제공될 수 있고 장치가 부착된, 신체부분, 특히 손의 방위 검출을 향상시키는 정보를 제공한다.
다른 바람직한 실시예에서, 자이로스코프는 상대 방위 측정 대신에 절대 방위 측정을 제공하기 위해 나침반으로 대체될 수 있다. 이러한 절대 측정값의 사용은 역시 장치가 부착되는 신체부분, 특히 손의 방위 검출을 향상시키기 위해 사용된다. 이것은 자이로스코프에 추가될 수 있다.
또한, 다수의 제어 장치가 동시에 사용될 수 있다. 예를 들어, 단일 사용자가 각각의 손에 제어 장치를 사용할 수 있거나 다수의 사용자가 각각 하나의 손에 제어 장치를 사용할 수 있다. 이러한 경우에, 사용된 통신 프로토콜은 각 제어 장치의 신원 또는 개별적인 주소를 구별할 수 있어야 한다.
도 3에는 대화형 게임 콘솔 또는 컴퓨터 시스템(도시되지 않음)을 위한 제어 시스템(300)의 블록도가 도시되어 있다. 제어 시스템(300)은 대화형 게임 콘솔에 수용되고 전자 모듈(320)을 포함하는 컴퓨터화된 시스템(310)을 포함하고 있다. 전자 모듈(320)은 제어기(330) 및 송수신기(340)를 포함하고 있다. 송수신기(340)는 Bluetooth™ (the Bluetooth Special interest Group의 상표), Wi-Fi ™ (the Wi-Fi Alliance의 상표), ZigBee™ (the ZigBee Alliance의 상표), 및 다른 무선 주파수 (RF) 대역의 하나 이상에서 동작한다. [Bluetooth operates in the Industrial, Scientific & Medical (ISM) band of 2.4 to 2.48 GHz; Wi-Fi operates in accordance with IEEE 802.11 ; and ZigBee also operates in accordance with IEEE 802.] 물론, 송수신기(340)는 다른 통신 시스템, 예를 들어, 가시 광선 및 적외선을 사용하여 동작할 수 있다. 송수신기(340)가 하나 보다 많은 타입의 방사선 및/또는 RF 대역을 사용하여 동작할 수 있다는 것을 이해할 것이다. 이러한 경우에, 각 타입의 방사선 및/또는 RF 대역을 위해 전용 송신 및 수신 모듈이 제공된다.
송수신기(340)는 본 발명에 따라 화살표(335)로 표시된 바와 같이 쌍방향 통신을 위해 제어기(330)에 접속되고 제어기(330)에 의해 제어되고 제어 장치(350)로부터 신호를 전송하고 수신한다. 제어 장치(350)는 도 1 및 도 2에 대해 상술된 장치(100)에 상응한다.
제어 장치(350)는 3개의 그룹, 즉, 감지 유닛(360), 구동 유닛(370), 및 피드백 유닛(380)을 포함하고 있다. 이러한 감지 유닛(360)은 제어 수단, 즉, 관성 감지 유닛(400), 이진 상태 패드(410), 유사 패드(420), 이진 조이스틱(430), 유사 조인스틱(440), 이진 상태 버튼(450) 및 유사 버튼(460)을 포함하고 있다. 이러한 소자중 오직 하나만이 도시되어 있지만, 하나의 특정 구성에 따라 제어 장치(350)에 존재할수 있는 하나 보다 많은 소자가 존재할 수 있다는 것을 이해할 것이다.
관성 감지 유닛(400)은 적어도 2축 가속도계를 포함할 수 있다. 바람직한 실시예에서, 관성 감지 유닛은 각각 x, y, z축중 하나에 대해 정렬된 3개의 개별적인 가속도계 또는 상술된 바와 같은 단일 3축 가속도계를 포함할 수 있다. 대안으로 또는 추가로, 관성 감지 유닛(400)은 역시 x, y, z축중 각각과 정렬된 자이로스코프 소자를 포함할 수 있다.
이진 상태 패드(410) 및 유사한 패드(420)는 본질적으로 중심 밀기 또는 이진 상태를 갖는 동서남북 방향과 같이 평면에서 적어도 하나의 감지 방향을 갖는 압력 감지 입력 장치이다. 이러한 패드는 방향성 패드, 조이패드 또는 D-패드로 알려져 있다.
이진 상태 패드(410)의 경우에, 패드는 제공된 데이터 값이 디지털 값이고 사용자에 의해 선택된 방향과 비례하고 역시 "온" 또는 "오프" 상태일 수 있는 연속 편평한 형태의 버튼을 포함할 수 있다.
유사한 패드(420)의 경우에, 패드는 제공된 데이터가 유사하고 다시 사용자에 의해 선택된 방향에 비례하는 연속 다방향 2D 편평한 형태의 버튼을 포함하고, 이러한 데이터 값은 사용자의 손가락이 특정 방향으로 중심 위치로부터 얼마나 먼가에 따라 각 방향으로 연속성을 갖는다.
또한, 이진 상태 패드(410) 및 유사한 패드(420)는 중간 상태가 제공되는 크로스페이더 또는 다방향 패드일 수 있다.
이진 조이스틱(430) 및 유사한 조이스틱(440)은 상술된 패드와 유사한 방식으로 동작하지만 각각은 표면에 수직인 돌출 소자, 예를 들어, 스틱을 갖는 표면을 포함하고 있다. 이진 상태 패드(410)에 대해 상술된 바와 같이, 이진 조이스틱(430)은 디지털 값이고 사용자에 의해 설정된 방향과 비례하는 데이터 값을 제공한다. 마찬가지로, 유사한 조이스틱(440)은 유사하고 사용자에 설정된 바와 같은 특정 방향으로 중심으로부터의 거리에 비례하는 데이터 값을 제공한다.
이진 상태 버튼(450)은 사용자의 손가락에 의해 "온" 상태와 "오프" 상태 사이에서 동작될 수 있는 적어도 하나의 버튼을 포함한다. 도 2에 대해 상술된 하나 이상의 버튼(120, 130, 140)은 이진 상태 버튼일 수 있다.
유사한 버튼(460)은 사용자의 손가락에 의해 가해진 압력에 의해 다수의 상이한 상태를 통해 동작될 수 있는 적어도 하나의 버튼을 포함한다. 이전과 같이, 도 2에 대해 상술된 하나 이상의 버튼(110, 120, 130)은 유사한 버튼일 수 있다.
이러한 감지 유닛(360)에 구동 유닛(370)이 접속되어 있다. 구동 유닛(370)은 화살표(475)에 의해 전자 모듈(480)에 접속된 전원(470)을 포함한다. 전원(470)은 하술되는 바와 같이, 화살표(490)에 의해 표시된 바와 같이, 감지 유닛(360) 내의 구성요소에 전력을 제공하고, 또한 화살표(495)에 의해 표시된 바와 같이, 피드백 유닛(380) 내의 구성요소에 전력을 제공한다. 전원(470)은 예를 들어, 적절한 주요 전원에 직접 접속됨으로써, 또는 컴퓨터화된 시스템 또는 다른 적절한 컴퓨터 장치로의 USB 접속을 통해, 인덕션을 사용하여 충전가능할 수 있는 배터리 또는 다른 휴대 전원일 수 있다. 배터리는 사용자의 이동에 의해 또는 태양전지와의 접속을 통해 충전될 수 있다. 하나의 실시예에서, 제어 장치(350)는 또한 배터리가 광레벨이 충분히 높다는 가정하에 일정하게 충전되는 태양전지(도시되지 않음)를 포함할 수 있다.
전자 모듈(480)은 제어기(500), 송수신기(510), 및 입출력(I/O) 모듈(520)을 포함한다. 제어기(500)는 각각의 화살표(515, 525)에 의해 표시된 바와 같이 송수신기(510) 및 I/O 모듈(520) 모두에 접속되어 있다. 이러한 접속은 쌍방향 접속이이서 필요한 대로, 정보는 송수신기(510) 및 I/O 모듈(520)로부터 제어기(500)로 그리고 제어기(500)로부터 송수신기(510) 및 I/O 모듈(520)로 전달될 수 있다. 제어기(500)는 또한 화살표(365, 385)에 의해 표시된 바와 같이, 감지 유닛(360) 및 피드백 유닛(380) 내의 적절한 인터페이스(도시되지 않음)를 통해 감지 유닛(360) 및 피드백 유닛(380)로 접속되어 있다. 각 인터페이스는 아래에 보다 상세하게 설명되는 바와 같이 감지 유닛(360) 내의 구성요소(400, 410, 420, 430, 440, 450, 460) 및 피드백 유닛(380) 내의 구성요소의 각각으로/으로부터 신호를 전송하기 위한 버스(또한, 도시되지 않음)에 접속되어 있다.
I/O 모듈(520)은 제어 장치(350)를 컴퓨터화된 시스템(310)에 직접 접속하기 위한 USB 포트를 포함할 수 있다. 또한, 전원이 충전가능한 배터리 유닛을 포함한다면 충전 포인트를 포함할 수 있다. 또한, 다른 센서가 사용자의 손의 이동 및/또는 위치에 관한 추가 정보를 제공하기 위해 I/O 모듈(520)에 부착될 수 있다.
피드백 유닛(380)은 스피커 모듈(550), 진동기 모듈(560), 디스플레이 스크린 모듈(570), 발광 다이오드(LED) 모듈(580), 및 매트릭스 터치 피드백 모듈(590)중 하나 이상을 포함한다. 제어 장치(100)에 제공된 피드백 구성요소의 수는 제공되는 피드백의 타입에 의존할 것이라는 것을 이해할 것이다. 상술된 바와 같이, 진동기 모듈(560)은 사용자에게 접촉식 피드백을 제공하기 위한 선호 구성요소이다.
스피커 모듈(550)은 사용자에게 오디오 피드백을 제공하기 위한 적어도 하나의 스피커 소자를 포함한다. 디스플레이 스크린 모듈(570) 및 LED 모듈(580)은 사용자를 위한 시각 피드백을 제공하고, 디스플레이스크린 모듈(570)은 LED 모듈(580) 보다 상세한 정보를 표시하는 기능을 갖고 있다. 하나의 바람직한 실시예에서, LED는 녹색(완전히 충전)으로부터 황색(예를 들어, 50% 충전)으로 적색(충전이 필요한 상태)으로 색을 바꾸는 전원 상태 정보를 제공할 수 있다.
매트릭스 터치 피드백 모듈(590)은 접촉감의 형태로 피드백을 제공하는 구동기, 예를 들어, 진동 소자 또는 전극의 어레이를 포함한다. 도 1 및 도 2에 대해 상술된 제어 장치(100)에서, 이러한 모듈은 접촉감을 자극하기 위해 사용자의 피부에 대해 위치될 수 있는 영역에 위치되어 있다.
본 발명의 제어장치가 특정 실시예에 대해 설명되었지만, 제어 장치의 다른 구현 역시 가능하다.

Claims (21)

  1. 3차원 촬상 시스템을 갖는 대화형 컴퓨터화된 시스템(310)을 제어하는 방법으로서, 상기 3차원 촬상 시스템은 절두체 내에 존재하는 사용자 신체의 말단의 3차원 정보를 제공하기 위한 3차원 카메라를 포함하고, 상기 방법은,
    a) 상기 사용자 신체의 말단과 연관되도록, 사용자-조작되는 제어 장치(100; 350)를 제공하는 단계로서, 상기 사용자-조작되는 제어 장치는 하우징(110); 상기 하우징(110)에 장착된 적어도 하나의 제어 수단(120, 130, 140; 410, 420, 430, 440, 450, 460)을 포함하는 적어도 하나의 감지 유닛(360)으로서, 각각의 제어 수단(120, 130, 140; 410, 420, 430, 440, 450, 460)은 조작될 때 상기 컴퓨터화된 시스템(310)을 위한 제어 신호를 생성할 수 있는 적어도 하나의 감지 유닛(360); 상기 컴퓨터화된 시스템(310)에서 동작하는 애플리케이션에 따라 상기 사용자에게 컨텍스츄얼 피드백을 제공하기 위한, 상기 하우징(110)에 장착된 적어도 하나의 피드백 유닛(380, 550, 560, 570, 580, 590); 상기 하우징(110) 내에 위치되어 있고, 각각의 제어 신호가 상기 컴퓨터화된 시스템(310)에 전송되고, 각각의 피드백 신호가 상기 컴퓨터화된 시스템(310)으로부터 수신되는 송수신기(510); 및 상기 하우징(110) 내에 장착되어 있고, 각각의 생성된 제어 신호에 따라 상기 감지 유닛(360), 송수신기(510) 및 피드백 유닛(380, 550, 560, 570, 580, 590)을 제어하는 제어기(500)를 포함하는 단계;
    b) 상기 사용자-조작되는 제어 장치(100; 350) 상의 적어도 하나의 제어 수단(120, 130, 140; 410, 420, 430, 440, 450, 460)으로부터 제어 신호를 생성하는 단계; 및
    c) 상기 대화형 컴퓨터화된 시스템(310)을 제어하기 위해 상기 생성된 제어 신호를 사용하는 단계를 포함하고,
    상기 방법은 상기 사용자 신체의 말단이 상기 3차원 촬상 시스템에 더 이상 보이지 않을 때 상기 사용자 신체의 말단과 관련하여 상기 3차원 촬상 시스템에 의해 생성된 정보의 불명확함을 해소하기 위해 상기 사용자-조작되는 제어 장치가 연관된 상기 사용자 신체의 말단에 대하여 상기 사용자-조작되는 제어 장치에 의해 제공된 정보를 사용하는 단계를 더 포함하는 것을 특징으로 하는 대화형 컴퓨터화된 시스템 제어 방법.
  2. 제1항에 있어서, d) 상기 컴퓨터화된 시스템(310)에서 실행되는 애플리케이션에 따라 컨텍스츄얼 피드백을 상기 사용자에게 제공하는 단계를 더 포함하는 것을 특징으로 하는 대화형 컴퓨터화된 시스템 제어 방법.
  3. 제1항 또는 제2항에 있어서, e) 상기 3차원 카메라의 절두체 내에서 상기 사용자-조작되는 제어 장치(100; 350)가 연관된 상기 사용자 신체의 말단에 관한 정보를 제공하기 위해 상기 사용자-조작되는 제어 장치(100; 350)를 사용하는 단계를 더 포함하는 것을 특징으로 하는 대화형 컴퓨터화된 시스템 제어 방법.
  4. 제3항에 있어서, 상기 단계 e)는 상기 사용자-조작되는 제어 장치(100; 350)가 연관된 상기 사용자 신체의 말단에 관한 시공간 관련 정보를 제공하는 단계를 포함하는 것을 특징으로 하는 대화형 컴퓨터화된 시스템 제어 방법.
  5. 제4항에 있어서, 상기 시공간 관련 정보는 상기 사용자-조작되는 제어 장치(100; 350)가 연관된 상기 사용자 신체의 말단의 상태, 가속도, 방위, 및 위치중 적어도 하나를 포함하는 것을 특징으로 하는 대화형 컴퓨터화된 시스템 제어 방법.
  6. 제1항 또는 제2항에 있어서, 상기 정보는 상기 사용자-조작되는 제어장치(100;350)가 연관된 상기 사용자 신체의 말단이 다른 객체에 의한 폐색; 상기 사용자 신체의 말단 이외의 부분에 의한 폐색; 및 상기 3차원 카메라의 절두체 외측에 있는 것중 하나로 인해 3차원 촬상 카메라에 더 이상 보이지 않을 때 상기 사용자-조작되는 제어 장치가 연관된 상기 사용자 신체의 말단의 위치를 추정하도록 사용되는 것을 특징으로 하는 대화형 컴퓨터화된 시스템 제어 방법.
  7. 제스처 기반 대화형 컴퓨터화된 시스템으로서,
    3차원 촬상 시스템;
    제스처 인식 시스템;
    하우징(110); 상기 하우징(110)에 장착된 적어도 하나의 제어 수단(120, 130, 140; 410, 420, 430, 440, 450, 460)을 포함하는 적어도 하나의 감지 모듈(360)로서, 각각의 제어 수단(120, 130, 140; 410, 420, 430, 440, 450, 460)은 조작될 때 상기 컴퓨터화된 시스템(310)을 위한 제어 신호를 생성할 수 있는 적어도 하나의 감지 유닛(360); 상기 컴퓨터화된 시스템(310)에서 동작하는 애플리케이션에 따라 사용자에게 컨텍스츄얼 피드백을 제공하기 위한, 상기 하우징(110)에 장착된 피드백 유닛(380, 550, 560, 570, 580, 590); 상기 하우징(110) 내에 위치되어 있고, 각각의 제어 신호가 상기 컴퓨터화된 시스템(310)에 전송되고, 각각의 피드백 신호가 상기 컴퓨터화된 시스템(310)으로부터 수신되는 송수신기(510); 및 상기 하우징(110) 내에 장착되어 있고, 각각의 생성된 제어 신호에 따라 상기 감지 유닛(360), 송수신기(510) 및 피드백 유닛(380, 550, 560, 570, 580, 590)을 제어하는 제어기 모듈(500)을 포함하고, 사용자 신체의 말단과 연관되도록 구성되는 사용자-조작되는 제어 장치(100; 350); 및
    상기 3차원 촬상 시스템 및 상기 제스처 인식 시스템과 연관되어 있고, 상기 3차원 촬상 시스템에 의해 포착된 이미지 및 상기 제스처 인식 시스템에 의해 인식된 제스처를 처리하는 컴퓨터화된 시스템(310)을 포함하고,
    상기 컴퓨터화된 시스템(310)은 상기 사용자 신체의 말단이 상기 3차원 촬상 시스템에 더 이상 보이지 않을 때 상기 사용자 신체의 말단과 관련하여 상기 3차원 촬상 시스템에 의해 생성된 정보의 불명확함을 해소하기 위해 상기 제스처 인식 시스템에 의해 인식된 제스처와 함께 상기 사용자-조작되는 제어 장치(100; 350)로부터의 데이터를 사용하는 것을 특징으로 하는 제스처 인식 대화형 컴퓨터화된 시스템.
  8. 제7항에 있어서, 상기 사용자 신체의 말단은 사용자의 손을 포함하고, 상기 하우징(110)은 손바닥측을 형성하는 제1 표면을 갖는 조정가능한 밴드(110)를 포함하고, 각 제어 수단은 상기 손바닥측에 장착되고 상기 사용자의 적어도 하나의 손가락에 의해 조작되는 것을 특징으로 하는 제스처 인식 대화형 컴퓨터화된 시스템.
  9. 제8항에 있어서, 상기 조정가능한 밴드(110)는 후측을 형성하는 제2 표면을 갖고 있고, 상기 후측은 상기 사용자의 다른 손가락에 의해 조작되는 적어도 하나의 제어 버튼을 갖는 것을 특징으로 하는 제스처 인식 대화형 컴퓨터화된 시스템.
  10. 제9항에 있어서, 상기 제1 표면과 제2 표면 사이에, 상기 사용자의 엄지손가락에 의해 조작되는 적어도 하나의 제어 버튼을 포함하는 부분이 형성되어 있는 것을 특징으로 하는 제스처 인식 대화형 컴퓨터화된 시스템.
  11. 제8항 내지 제10항중 어느 한 항에 있어서, 상기 조정가능한 밴드(110)의 적어도 일부는 가요성 재료를 포함하는 것을 특징으로 하는 제스처 인식 대화형 컴퓨터화된 시스템.
  12. 제11항에 있어서, 상기 가요성 재료는 탄성 재료를 포함하는 것을 특징으로 하는 제스처 인식 대화형 컴퓨터화된 시스템.
  13. 제8항 내지 제10항중 어느 한 항에 있어서, 상기 조정가능한 밴드(110)는 2 부분 조정가능한 고정부(160)를 포함하고, 상기 2부분 조정가능한 고정부(160)의 각각은 상기 조정가능한 밴드(110)의 각각의 단부(170, 180)에 위치되어 있는 것을 특징으로 하는 제스처 인식 대화형 컴퓨터화된 시스템.
  14. 제13항에 있어서, 상기 2 부분 조정가능한 고정부(16)는 후크 및 루프 파스너를 포함하는 것을 특징으로 하는 제스처 인식 대화형 컴퓨터화된 시스템.
  15. 제13항에 있어서, 상기 2 부분 조정가능한 고정부(160)는 자기 클로저(closure) 및 기계 클로저중 하나를 포함하는 것을 특징으로 하는 제스처 인식 대화형 컴퓨터화된 시스템.
  16. 제7항 내지 제10항중 어느 한 항에 있어서, 상기 피드백 유닛(380)은 진동기 소자(560)를 포함하는 것을 특징으로 하는 제스처 인식 대화형 컴퓨터화된 시스템.
  17. 제16항에 있어서, 상기 진동기 소자는 착용시 사용자에게 보다 가까운 상기 조정가능한 밴드(110)의 표면에 인접하여 위치되어 있는 것을 특징으로 하는 제스처 인식 대화형 컴퓨터화된 시스템.
  18. 제16항에 있어서, 상기 피드백 유닛(380)은 스피커 모듈(380); 디스플레이 스크린 모듈(570); LED 모듈(580); 및 매트릭스 터치 피드백 모듈(590)중 적어도 하나를 더 포함하는 것을 특징으로 하는 제스처 인식 대화형 컴퓨터화된 시스템.
  19. 제7항 내지 제10항중 어느 한 항에 있어서, 상기 감지 유닛(360)은 상기 컴퓨터화된 시스템에 음성 명령을 제공하기 위한 마이크로폰; 관성 감지 유닛(400), 이진 상태 패드(410), 유사(analogue) 패드(420), 이진 조이스틱(430), 유사 조이스틱(440), 이진 상태 버튼(450), 유사 버튼(460), 광센서 및 나침반중 적어도 하나를 더 포함하는 것을 특징으로 하는 제스처 인식 대화형 컴퓨터화된 시스템.
  20. 제7항 내지 제10항중 어느 한 항에 있어서, 상기 사용자-조작되는 제어 장치는 인체공학성 및 평면에 대한 대칭성을 갖고 있고, 양손잡이로 사용될 때 양손 제스처 및 손가락 제스처 상호작용을 허용하는 것을 특징으로 하는 제스처 인식 대화형 컴퓨터화된 시스템.
  21. 삭제
KR1020147020592A 2012-01-09 2013-01-09 강화된 제스처 기반 상호작용 시스템 및 방법 KR101666096B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP12000116.9A EP2613223A1 (en) 2012-01-09 2012-01-09 System and method for enhanced gesture-based interaction
EP12000116.9 2012-01-09
PCT/EP2013/050318 WO2013104681A1 (en) 2012-01-09 2013-01-09 System and method for enhanced gesture-based interaction

Publications (2)

Publication Number Publication Date
KR20140128305A KR20140128305A (ko) 2014-11-05
KR101666096B1 true KR101666096B1 (ko) 2016-10-13

Family

ID=47563483

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147020592A KR101666096B1 (ko) 2012-01-09 2013-01-09 강화된 제스처 기반 상호작용 시스템 및 방법

Country Status (6)

Country Link
US (1) US9360944B2 (ko)
EP (1) EP2613223A1 (ko)
JP (1) JP5969626B2 (ko)
KR (1) KR101666096B1 (ko)
CN (1) CN104094196B (ko)
WO (1) WO2013104681A1 (ko)

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8487759B2 (en) 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
US10013058B2 (en) 2010-09-21 2018-07-03 Apple Inc. Touch-based user interface with haptic feedback
US10120446B2 (en) 2010-11-19 2018-11-06 Apple Inc. Haptic input device
JP6360050B2 (ja) 2012-07-13 2018-07-18 ソフトキネティック ソフトウェア 手の上の特異な注目すべき点を使用した人間−コンピュータ・ジェスチャ・ベース同時相互作用のための方法及びシステム
US9178509B2 (en) 2012-09-28 2015-11-03 Apple Inc. Ultra low travel keyboard
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US10251382B2 (en) 2013-08-21 2019-04-09 Navico Holding As Wearable device for fishing
US9507562B2 (en) 2013-08-21 2016-11-29 Navico Holding As Using voice recognition for recording events
WO2015047343A1 (en) 2013-09-27 2015-04-02 Honessa Development Laboratories Llc Polarized magnetic actuators for haptic response
CN105579928A (zh) * 2013-09-27 2016-05-11 苹果公司 具有触觉致动器的带体
US10126817B2 (en) 2013-09-29 2018-11-13 Apple Inc. Devices and methods for creating haptic effects
US10236760B2 (en) 2013-09-30 2019-03-19 Apple Inc. Magnetic actuators for haptic response
US9317118B2 (en) 2013-10-22 2016-04-19 Apple Inc. Touch surface for simulating materials
US10276001B2 (en) 2013-12-10 2019-04-30 Apple Inc. Band attachment mechanism with haptic response
WO2015105919A2 (en) * 2014-01-07 2015-07-16 Nod, Inc. Methods and apparatus recognition of start and/or stop portions of a gesture using an auxiliary sensor and for mapping of arbitrary human motion within an arbitrary space bounded by a user's range of motion
US10338685B2 (en) 2014-01-07 2019-07-02 Nod, Inc. Methods and apparatus recognition of start and/or stop portions of a gesture using relative coordinate system boundaries
US10338678B2 (en) * 2014-01-07 2019-07-02 Nod, Inc. Methods and apparatus for recognition of start and/or stop portions of a gesture using an auxiliary sensor
US10725550B2 (en) * 2014-01-07 2020-07-28 Nod, Inc. Methods and apparatus for recognition of a plurality of gestures using roll pitch yaw data
EP2891950B1 (en) 2014-01-07 2018-08-15 Sony Depthsensing Solutions Human-to-computer natural three-dimensional hand gesture based navigation method
US20150220158A1 (en) 2014-01-07 2015-08-06 Nod Inc. Methods and Apparatus for Mapping of Arbitrary Human Motion Within an Arbitrary Space Bounded by a User's Range of Motion
AU2014391723B2 (en) 2014-04-21 2018-04-05 Apple Inc. Apportionment of forces for multi-touch input devices of electronic devices
US9606584B1 (en) 2014-07-01 2017-03-28 D.R. Systems, Inc. Systems and user interfaces for dynamic interaction with two- and three-dimensional medical image data using hand gestures
US9830782B2 (en) 2014-09-02 2017-11-28 Apple Inc. Haptic notifications
CN110794960B (zh) * 2014-12-08 2024-02-06 罗希特·塞思 可穿戴无线hmi装置
CN107209582A (zh) * 2014-12-16 2017-09-26 肖泉 高直观性人机界面的方法和装置
CN104503589B (zh) * 2015-01-05 2018-02-16 京东方科技集团股份有限公司 体感识别系统及其识别方法
CN107407961A (zh) * 2015-01-19 2017-11-28 寇夫音乐有限公司 计算机的手持式控制器、计算机的控制系统和计算机系统
US10353467B2 (en) 2015-03-06 2019-07-16 Apple Inc. Calibration of haptic devices
AU2016100399B4 (en) 2015-04-17 2017-02-02 Apple Inc. Contracting and elongating materials for providing input and output for an electronic device
CN105045388A (zh) * 2015-07-07 2015-11-11 安徽瑞宏信息科技有限公司 一种基于手势与动作的交互控制的方法
CN104991650B (zh) * 2015-07-24 2018-08-03 广东虚拟现实科技有限公司 一种手势控制器及一种虚拟现实系统
US9836129B2 (en) 2015-08-06 2017-12-05 Navico Holding As Using motion sensing for controlling a display
US10566888B2 (en) 2015-09-08 2020-02-18 Apple Inc. Linear actuators for use in electronic devices
CN205427764U (zh) * 2015-10-19 2016-08-03 北京蚁视科技有限公司 一种手柄式手势识别装置
CA3003206C (en) * 2015-10-26 2023-08-22 Liang KONG Immersive all-in-one pc system
CN106648043A (zh) * 2015-11-02 2017-05-10 广东虚拟现实科技有限公司 用于控制器的信号采集方法及控制器
US10356493B2 (en) * 2015-12-22 2019-07-16 Google Llc Methods, systems, and media for presenting interactive elements within video content
TWI644189B (zh) * 2016-03-04 2018-12-11 宏達國際電子股份有限公司 無線控制裝置、位置標定器及配件
US10039080B2 (en) 2016-03-04 2018-07-31 Apple Inc. Situationally-aware alerts
US10162414B2 (en) * 2016-03-04 2018-12-25 Htc Corporation Wireless control device, position calibrator and accessory
US10268272B2 (en) 2016-03-31 2019-04-23 Apple Inc. Dampening mechanical modes of a haptic actuator using a delay
CN105641926A (zh) * 2016-04-07 2016-06-08 深圳易万创新科技有限公司 带反馈功能的动作采集模拟系统及其方法
CN109414612B (zh) * 2016-04-19 2022-07-12 S·萨米特 虚拟现实触觉系统和装置
CN106094846A (zh) * 2016-05-31 2016-11-09 中国航空工业集团公司西安飞机设计研究所 一种飞机飞行控制方法
WO2020112986A1 (en) 2018-11-27 2020-06-04 Facebook Technologies, Inc. Methods and apparatus for autocalibration of a wearable electrode sensor system
US11635736B2 (en) 2017-10-19 2023-04-25 Meta Platforms Technologies, Llc Systems and methods for identifying biological structures associated with neuromuscular source signals
US10948577B2 (en) 2016-08-25 2021-03-16 Navico Holding As Systems and associated methods for generating a fish activity report based on aggregated marine data
US10127886B2 (en) * 2016-10-14 2018-11-13 Microsoft Technology Licensing, Llc Modifying hand occlusion of holograms based on contextual information
CN109997096A (zh) * 2016-11-17 2019-07-09 索尼公司 振动呈现装置、振动呈现方法和程序
CN106843490B (zh) * 2017-02-04 2020-02-21 广东小天才科技有限公司 一种基于可穿戴设备的击球检测方法及可穿戴设备
EP3617845A4 (en) * 2017-04-27 2020-11-25 Sony Interactive Entertainment Inc. CONTROL DEVICE, DATA PROCESSING SYSTEM, CONTROL PROCESS AND PROGRAM
US10417827B2 (en) 2017-05-04 2019-09-17 Microsoft Technology Licensing, Llc Syndication of direct and indirect interactions in a computer-mediated reality environment
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
WO2019077652A1 (ja) 2017-10-16 2019-04-25 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、コントローラデバイス、及び情報処理装置
CN107901057A (zh) * 2017-12-15 2018-04-13 佛山科学技术学院 一种用于操控机器人的手持人机交互设备
CN107977083B (zh) * 2017-12-20 2021-07-23 北京小米移动软件有限公司 基于vr系统的操作执行方法及装置
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
IT201800005195A1 (it) * 2018-05-09 2019-11-09 Dispositivo di controllo remoto di un dispositivo elettronico.
CN108803931B (zh) * 2018-06-11 2022-01-18 京东方科技集团股份有限公司 一种触控显示装置及汽车
WO2020061451A1 (en) * 2018-09-20 2020-03-26 Ctrl-Labs Corporation Neuromuscular text entry, writing and drawing in augmented reality systems
US10691211B2 (en) 2018-09-28 2020-06-23 Apple Inc. Button providing force sensing and/or haptic output
US10599223B1 (en) 2018-09-28 2020-03-24 Apple Inc. Button providing force sensing and/or haptic output
CN111897413A (zh) * 2019-05-06 2020-11-06 异起(上海)智能科技有限公司 一种虚拟现实、增强现实、融合现实手部操作方法及装置
US11474603B2 (en) 2019-06-12 2022-10-18 Hewlett-Packard Development Company, L.P. Extended reality grasp controller
US11380470B2 (en) 2019-09-24 2022-07-05 Apple Inc. Methods to control force in reluctance actuators based on flux related parameters
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
CN114281185B (zh) * 2021-04-25 2023-10-27 浙江壹体科技有限公司 基于嵌入式平台的体态识别及体感交互系统和方法
JP7052128B1 (ja) * 2021-07-20 2022-04-11 株式会社あかつき 情報処理システム、プログラム及び情報処理方法
US11809631B2 (en) 2021-09-21 2023-11-07 Apple Inc. Reluctance haptic engine for an electronic device
CN115167673A (zh) * 2022-07-06 2022-10-11 中科传媒科技有限责任公司 虚拟手势同步的实现方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070279380A1 (en) * 2006-05-31 2007-12-06 Bruno Rafael Murillo Computer input device
US20100144436A1 (en) * 2008-12-05 2010-06-10 Sony Computer Entertainment Inc. Control Device for Communicating Visual Information
US20110310002A1 (en) * 2010-06-22 2011-12-22 Microsoft Corporation Free space directional force feedback apparatus

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1084385A (en) 1913-06-05 1914-01-13 Noiseless Typewriter Co Type-writing machine.
AU1240600A (en) * 1998-10-28 2000-05-15 Via, Inc. Flex-to-fixed user interface devices and methods
JP2000298544A (ja) * 1999-04-12 2000-10-24 Matsushita Electric Ind Co Ltd 入出力装置と入出力方法
JP3487237B2 (ja) * 1999-08-27 2004-01-13 日本電気株式会社 ポインティング装置とそれを用いたコンピュータシステム
JP2001142605A (ja) * 1999-11-10 2001-05-25 Shimadzu Corp 入力システム
SE0000850D0 (sv) * 2000-03-13 2000-03-13 Pink Solution Ab Recognition arrangement
US7042442B1 (en) * 2000-06-27 2006-05-09 International Business Machines Corporation Virtual invisible keyboard
SE523183C2 (sv) * 2001-09-14 2004-03-30 Perific Ab En protabel enhet för att inmata signaler till en perifer enhet, och användning av en sådan enhet
US7161579B2 (en) * 2002-07-18 2007-01-09 Sony Computer Entertainment Inc. Hand-held computer interactive device
US7102615B2 (en) * 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
JP4058494B2 (ja) * 2003-07-14 2008-03-12 株式会社クリエイション・ルネ マグネット付きバンド
GB2437452B (en) * 2005-01-18 2009-11-25 Rallypoint Inc Sensing input actions
JP2006209652A (ja) * 2005-01-31 2006-08-10 Alps Electric Co Ltd 入力装置および電子機器
JP2006312346A (ja) * 2005-05-06 2006-11-16 Nissan Motor Co Ltd コマンド入力装置
US8125448B2 (en) * 2006-10-06 2012-02-28 Microsoft Corporation Wearable computer pointing device
JP2012501020A (ja) * 2008-08-25 2012-01-12 ウニヴェルジテート チューリッヒ プロレクトラート エムエヌヴェー 調整可能な仮想現実システム
CN103337111B (zh) * 2008-10-27 2016-04-27 索尼电脑娱乐公司 用于传送视觉信息的控制设备
US8961313B2 (en) 2009-05-29 2015-02-24 Sony Computer Entertainment America Llc Multi-positional three-dimensional controller
US20100177039A1 (en) * 2009-01-10 2010-07-15 Isaac Grant Finger Indicia Input Device for Computer
JP5263833B2 (ja) * 2009-05-18 2013-08-14 国立大学法人 奈良先端科学技術大学院大学 ウェアラブルコンピュータに用いるリング型インタフェース、インタフェース装置、およびインタフェース方法
JP2011186693A (ja) * 2010-03-08 2011-09-22 Brother Industries Ltd 情報入力装置
JP2011239279A (ja) * 2010-05-12 2011-11-24 Hitachi Consumer Electronics Co Ltd 遠隔制御装置および遠隔制御方法
CA2814869A1 (en) * 2010-10-22 2012-04-26 Joshua Michael Young Methods devices and systems for creating control signals
US9939888B2 (en) * 2011-09-15 2018-04-10 Microsoft Technology Licensing Llc Correlating movement information received from different sources

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070279380A1 (en) * 2006-05-31 2007-12-06 Bruno Rafael Murillo Computer input device
US20100144436A1 (en) * 2008-12-05 2010-06-10 Sony Computer Entertainment Inc. Control Device for Communicating Visual Information
US20110310002A1 (en) * 2010-06-22 2011-12-22 Microsoft Corporation Free space directional force feedback apparatus

Also Published As

Publication number Publication date
JP2015507803A (ja) 2015-03-12
CN104094196B (zh) 2017-07-11
US9360944B2 (en) 2016-06-07
EP2613223A1 (en) 2013-07-10
CN104094196A (zh) 2014-10-08
KR20140128305A (ko) 2014-11-05
WO2013104681A1 (en) 2013-07-18
US20140368428A1 (en) 2014-12-18
JP5969626B2 (ja) 2016-08-17

Similar Documents

Publication Publication Date Title
KR101666096B1 (ko) 강화된 제스처 기반 상호작용 시스템 및 방법
US10838495B2 (en) Devices for controlling computers based on motions and positions of hands
KR101576979B1 (ko) 자기장 센서를 이용하여 사용자 입력을 판단하는 전기 장치
US20100090949A1 (en) Method and Apparatus for Input Device
JP2010108500A (ja) 着用型コンピューティング環境基盤のユーザインターフェース装置およびその方法
RU179301U1 (ru) Перчатка виртуальной реальности
RU187548U1 (ru) Перчатка виртуальной реальности
US11209916B1 (en) Dominant hand usage for an augmented/virtual reality device
US20230142242A1 (en) Device for Intuitive Dexterous Touch and Feel Interaction in Virtual Worlds
EP3190483A1 (en) A spherical hand-held unit for two-dimensional and three-dimensional interaction in a wireless interaction system
KR20110044391A (ko) 입력 장치 및 방법
RU2662399C1 (ru) Система и способ для захвата движений и положения тела человека и частей тела человека
RU2670649C1 (ru) Способ изготовления перчатки виртуальной реальности (варианты)
Kao et al. Novel digital glove design for virtual reality applications
RU176318U1 (ru) Перчатка виртуальной реальности
JP2013210906A (ja) 制御方法、制御装置及びプログラム
JP6270557B2 (ja) 情報入出力装置及び情報入出力方法
RU2673406C1 (ru) Способ изготовления перчатки виртуальной реальности
JP6932267B2 (ja) コントローラ装置
RU186397U1 (ru) Перчатка виртуальной реальности
KR101768629B1 (ko) 젓가락형 포인팅 장치 및 포인팅 시스템
RU176660U1 (ru) Перчатка виртуальной реальности
US20230367401A1 (en) Input device tracking systems
WO2019083405A1 (ru) Перчатка виртуальной реальности
WO2016190834A1 (ru) Манипулятор для управления электронным устройством

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant