KR101713358B1 - 제어 제스처의 입력 동안에 가상 장비의 제어에 관한 복합 햅틱 자극을 제공하기 위한 시스템 및 방법 - Google Patents

제어 제스처의 입력 동안에 가상 장비의 제어에 관한 복합 햅틱 자극을 제공하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR101713358B1
KR101713358B1 KR1020127004543A KR20127004543A KR101713358B1 KR 101713358 B1 KR101713358 B1 KR 101713358B1 KR 1020127004543 A KR1020127004543 A KR 1020127004543A KR 20127004543 A KR20127004543 A KR 20127004543A KR 101713358 B1 KR101713358 B1 KR 101713358B1
Authority
KR
South Korea
Prior art keywords
stimulus
user
control gesture
haptic
control
Prior art date
Application number
KR1020127004543A
Other languages
English (en)
Other versions
KR20120053004A (ko
Inventor
대니 그랜트
로버트 헤우벨
데이비드 번바움
에린 램지
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=42931900&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR101713358(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20120053004A publication Critical patent/KR20120053004A/ko
Application granted granted Critical
Publication of KR101713358B1 publication Critical patent/KR101713358B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/10—
    • A63F13/12—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/48—Starting a game, e.g. activating a game device or waiting for other players to join a multiplayer session
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1037—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
    • A63F2300/1075—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad using a touch screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/204—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/57—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of game services offered to the player
    • A63F2300/575—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of game services offered to the player for trading virtual items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/013—Force feedback applied to a game
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

사용자에게 햅틱 자극을 제공하도록 시스템이 구성된다. 일 실시예에서, 햅틱 자극은 사용자가 예를 들면 게임, 실제 세계 컴포넌트 또는 장비 부품, 및/또는 다른 실체를 제어하기 위해 사용하는 하나 이상의 제어 제스처들의 수행과 관련하여 사용자에게 제공된다. 일 실시예에서, 햅틱 자극은 사용자에 의한 가상 장비의 제어와 관련하여 사용자에게 제공된다.

Description

제어 제스처의 입력 동안에 가상 장비의 제어에 관한 복합 햅틱 자극을 제공하기 위한 시스템 및 방법{SYSTEM AND METHOD FOR PROVIDING COMPLEX HAPTIC STIMULATION DURING INPUT OF CONTROL GESTURES, AND RELATING TO CONTROL OF VIRTUAL EQUIPMENT}
본 발명은 복잡한 제어 제스처의 수행 동안에, 및/또는 가상 장비의 제어 동안에 사용자에게 햅틱 자극을 제공하는 시스템 및 방법에 관한 것이다.
사용자들에게 햅틱 자극을 제공하는 것이 알려져 있다. 햅틱 자극은 사용자들에게 물리적 느낌을 제공한다. 햅틱 자극은 게임들, 및 가상 세계들의 컨텍스트에서, 및 실제 세계 제어 시스템들에서 사용된다. 그러한 햅틱 자극은 제어 입력이 수신된 것, 다른 사용자가 명령을 입력한 것, 가상 또는 실제 오브젝트들이 충돌하였거나, 폭발하였거나, 내파한 것, 주위의 힘이 존재하는 것(예를 들면, 시뮬레이션된 또는 실제 바람, 비, 자력, 및/또는 다른 가상 힘들), 및/또는 다른 현상들이 일어난 것의 피드백을 사용자들에게 제공하기 위해 생성될 수 있다. 종래의 시스템들에서, 그러한 자극의 파라미터들은 전형적으로 정적이고 대응하는 현상들이 일어난(또는 일어날) 것을 사용자에게 알리기 위한 간단한 메커니즘을 제공한다.
사용자가 가상 장비를 제어할 수 있게 하는 종래의 게임 및/또는 가상 세계 시스템들이 알려져 있다. 이들 종래의 시스템들에서 가상 장비와 상호 작용하기 위한 제어 및 피드백 스킴들은 제한되고, 대응하는 실제 세계 장비의 실제 세계 제어 및/또는 피드백과 강하게 상호 관련되지 않는 경향이 있다.
모바일 및 다른 컴퓨팅 장치들에서는 기초적인 햅틱 효과들(예를 들면, 진동)이 사용되었지만, 개발자들이 사용자들을 끌어들이고 사용자 경험을 향상시키기 위해 피드백을 제공하기 위한 다수의 도전적 문제들이 남아 있다.
본 발명의 일 양태는 게임의 사용자에게 햅틱 자극을 제공하도록 구성된 시스템과 관련이 있다. 일 실시예에서, 상기 시스템은 사용자 인터페이스, 액추에이터, 및 컴퓨터 프로그램 모듈들을 실행하도록 구성된 하나 이상의 프로세서들을 포함한다. 상기 사용자 인터페이스는 사용자의 제스처와 관련된 출력 신호들을 생성하도록 구성된다. 상기 액추에이터는 상기 사용자에게 햅틱 자극을 생성하도록 구성된다. 상기 컴퓨터 프로그램 모듈들은 제스처 모듈, 자극 모듈 및 액추에이터 제어 모듈을 포함한다. 상기 제스처 모듈은 상기 사용자 인터페이스의 출력 신호들에 기초하여 상기 사용자에 의한 제어 제스처의 수행을 모니터하도록 구성된다. 상기 제어 제스처는 게임에 입력되는 명령과 관련된 제스처이고, 처음 부분, 제1 중간 부분, 및 종료 부분을 포함한다. 상기 자극 모듈은 상기 제스처 모듈로부터의 상기 제어 제스처의 수행과 관련된 정보를 수신하고, 상기 제어 제스처와 관련된 상기 사용자를 위해 생성될 햅틱 자극을 결정하도록 구성된다. 상기 햅틱 자극은 상기 제어 제스처의 상기 처음 부분의 수행에 응답하여 결정된 제1 자극, 및 상기 제1 자극과는 다르고 상기 제어 제스처의 상기 제1 중간 부분의 수행에 응답하여 결정되는 제2 자극을 포함한다. 상기 액추에이터 제어 모듈은 상기 자극 모듈에 의해 결정된 자극을 생성하도록 상기 액추에이터를 제어하도록 구성된다.
본 발명의 다른 양태는 게임의 사용자에게 햅틱 자극을 제공하는 방법과 관련이 있다. 일 실시예에서, 상기 방법은 사용자에 의한 제어 제스처의 수행을 모니터하는 단계 - 상기 제어 제스처는 상기 게임에 입력되는 명령과 관련된 제스처이고, 처음 부분, 제1 중간 부분, 및 종료 부분을 포함함 -; 상기 사용자를 위해 생성될 상기 제어 제스처의 수행과 관련된 햅틱 자극을 결정하는 단계 - 상기 햅틱 자극은 상기 제어 제스처의 상기 처음 부분의 수행에 응답하여 결정된 제1 자극, 및 상기 제1 자극과는 다르고 상기 제어 제스처의 상기 제1 중간 부분의 수행에 응답하여 결정되는 제2 자극을 포함함 -; 및 상기 제어 제스처의 수행 동안에 상기 결정된 자극을 생성하는 단계를 포함한다.
본 발명의 또 다른 양태는 게임의 사용자에게 자극을 제공하도록 구성된 시스템과 관련이 있다. 일 실시예에서, 상기 시스템은 터치 감응 전자 디스플레이, 액추에이터, 및 컴퓨터 프로그램 모듈들을 실행하도록 구성된 하나 이상의 프로세서들을 포함한다. 상기 터치 감응 전자 디스플레이는 상기 사용자에 의한 인게이지먼트(engagement)에 대하여 액세스 가능한 인터페이스 면을 갖고, 상기 터치 감응 사용자 인터페이스는 상기 인터페이스 면이 인게이지되는 위치와 관련된 출력 신호들을 생성하고, 상기 인터페이스 면을 통하여 상기 사용자에게 상기 게임의 뷰들을 제시하도록 구성된다. 상기 인터페이스 면을 통하여 제시되는 상기 뷰들은, 가상 장비의 뷰들의 사용자 선택 가능 섹션들에서 상기 인터페이스 면과 인게이지하는 것에 의해 상기 가상 장비와 상호 작용하기 위해 상기 사용자에 의해 선택 가능한 상기 사용자 선택 가능 섹션을 갖는 상기 가상 장비의 상기 뷰들을 포함한다. 상기 액추에이터는 상기 사용자에게 햅틱 자극을 생성하도록 구성된다. 상기 컴퓨터 프로그램 모듈들은 장비 모듈, 자극 모듈, 및 액추에이터 제어 모듈을 포함한다. 상기 장비 모듈은 상기 뷰들에서 상기 가상 장비의 동작 파라미터들을 결정하고, 상기 가상 장비의 동작을 시뮬레이션하도록 구성된다. 상기 장비 모듈은 상기 가상 장비의 상기 뷰들의 상기 사용자 선택 가능 섹션들의 상기 사용자에 의한 선택들에 기초하여 상기 가상 장비의 동작 파라미터들을 결정하고 및/또는 상기 가상 장비의 동작을 시뮬레이션한다. 상기 자극 모듈은 상기 가상 장비의 동작 파라미터 및/또는 상기 가상 장비의 시뮬레이션된 동작과 관련된 상기 사용자를 위해 생성될 햅틱 자극을 결정하도록 구성된다. 상기 액추에이터 제어 모듈은 상기 자극 모듈에 의해 결정된 상기 자극을 생성하기 위해 상기 액추에이터를 제어하도록 구성된다.
본 발명의 또 다른 양태는 게임의 사용자에게 자극을 제공하는 방법과 관련이 있다. 일 실시예에서, 상기 방법은 사용자에 의한 인게이지먼트에 대하여 액세스 가능한 터치 감응 전자 디스플레이의 인터페이스 면을 통하여 게임의 뷰들을 제시하는 단계 - 상기 인터페이스 면을 통하여 제시되는 상기 뷰들은 가상 장비의 뷰들의 사용자 선택 가능 섹션들에서 상기 인터페이스 면과 인게이지하는 것에 의해 상기 가상 장비와 상호 작용하기 위해 상기 사용자에 의해 선택 가능한 상기 사용자 선택 가능 섹션을 갖는 상기 가상 장비의 상기 뷰들을 포함함 -; 상기 인터페이스 면 상의 선택된 사용자 선택 가능 섹션의 사용자 인게이지먼트를 통해 상기 사용자 선택 가능 섹션들 중 하나의 사용자 선택 가능 섹션의 선택을 수신하는 단계; 상기 수신된 선택에 기초하여 상기 뷰들 내의 상기 가상 장비의 동작 파라미터들을 결정하고 및/또는 상기 가상 장비의 동작을 시뮬레이션하는 단계; 상기 수신된 선택에 응답하여, 상기 가상 장비의 동작 파라미터들 및/또는 상기 가상 장비의 시뮬레이션된 동작과 관련된 상기 사용자를 위해 생성될 햅틱 자극을 결정하는 단계; 및 상기 결정된 햅틱 자극을 생성하는 단계를 포함한다.
본 발명의 또 다른 양태는 하나 이상의 휴대용 컴퓨팅 장치에서 게임을 제공하기 위한 시스템 및 방법으로서, 가상 오브젝트(예를 들면, 공)가 상기 하나 이상의 휴대용 컴퓨팅 장치의 인터페이스들 상에 디스플레이된 게임의 뷰들을 통하여 이동하는 시스템 및 방법과 관련이 있다. 상기 뷰들을 통하여 상기 가상 오브젝트(또는 가상 오브젝트들)의 이동에 대응하는 햅틱 효과들이 개개의 휴대용 컴퓨팅 장치들 상에 제공된다. 상기 햅틱 효과들은 상기 가상 오브젝트의 이동의 하나 이상의 파라미터들(예를 들면, 속도, 방향, 가속도 등), 상기 가상 오브젝트가 상호 작용하는 오브젝트들 및/또는 특징들(예를 들면, 벽, 플리퍼(flippers), 블로커(blockers), 범퍼 등), 및/또는 다른 파라미터들에 기초하여 결정될 수 있다. 상기 햅틱 효과들은 상기 햅틱 효과들에 대응하는 가상 오브젝트를 현재 디스플레이하고 있지 않은 휴대용 컴퓨팅 장치들 상에 제공될 햅틱 효과들을 포함할 수 있다. 이것은 개별 휴대용 컴퓨팅 장치들에서 함께 게임을 하고 있는 사용자들의 그룹에 대하여 상기 게임의 상호 작용성을 향상시킬 수 있다.
본 발명의 이들 및 다른 목적들, 특징들, 및 특성들뿐만 아니라, 구조의 관련 요소들의 기능들 및 동작 방법들 및 부분들의 조합 및 제조의 절약 방안은 아래의 설명 및 첨부된 청구항들을 첨부 도면들을 참조하여 고찰함으로써 더 명백해질 것이고, 첨부 도면들 모두는 이 명세서의 일부를 형성하고, 같은 참조 번호들은 다양한 도면들에서 대응하는 부분들을 지시한다. 그러나, 도면들은 예시 및 설명만을 위한 것이며 본 발명의 제한의 정의로서 의도되어 있지 않다는 것을 명백히 이해해야 할 것이다. 본 명세서에서 및 청구항들에서 사용될 때, "a", "an", 및 "the"의 단수 형태는 문맥에서 명백히 다르게 기술하지 않는 한 복수의 지시 대상들을 포함한다.
도 1은 본 발명의 하나 이상의 실시예들에 따른, 사용자에게 햅틱 자극을 제공하도록 구성된 시스템을 예시한다.
도 2는 본 발명의 하나 이상의 실시예들에 따른, 가상 장비 부품의 뷰를 예시한다.
도 3은 본 발명의 하나 이상의 실시예들에 따른, 가상 장비 부품의 뷰를 예시한다.
도 4는 본 발명의 하나 이상의 실시예들에 따른, 가상 장비 부품의 뷰를 예시한다.
도 5는 본 발명의 하나 이상의 실시예들에 따른, 사용자에게 햅틱 피드백을 제공하는 방법을 예시한다.
도 6은 본 발명의 하나 이상의 실시예들에 따른, 사용자에게 햅틱 피드백을 제공하는 방법을 예시한다.
도 7은 본 발명의 하나 이상의 실시예들에 따른, 휴대용 컴퓨팅 장치를 예시한다.
도 8a는 본 발명의 하나 이상의 실시예들에 따른, 다중 사용자 플레이(multi-user play)를 지원하기 위한 게임의 사용의 예를 예시한다.
도 8b는 본 발명의 하나 이상의 실시예들에 따른, 다중 사용자 플레이를 지원하기 위한 게임의 사용의 예를 예시한다.
도 9는 본 발명의 하나 이상의 실시예들에 따른, 복수의 시간 간격에 걸쳐서 2명의 각각의 사용자들에 대한 플레이 영역들의 예를 예시한다.
도 10은 본 발명의 하나 이상의 실시예들에 따른, 플레이의 예를 예시하고 플레이 영역의 경계에서 튀며 나는(ricocheting) 가상 오브젝트를 도시한다.
도 11은 본 발명의 하나 이상의 실시예들에 따른, 연속 효과를 시뮬레이션하기 위한 햅틱 효과들의 사용을 예시한다.
도 12는 본 발명의 하나 이상의 실시예들에 따른, 게임을 제공하기 위한 방법을 예시한다.
도 13은 본 발명의 하나 이상의 실시예들에 따른, 게임의 인스턴스에 대한 인터페이스의 예를 예시한다.
도 1은 사용자(12)에게 햅틱 자극을 제공하도록 구성된 시스템(10)을 예시한다. 일 실시예에서, 햅틱 자극은 하나 이상의 제어 제스처들의 수행과 관련하여 사용자(12)에게 제공되며, 그 하나 이상의 제어 제스처들을 통하여 사용자(12)는 예를 들면, 게임, 실제 세계 컴포넌트 또는 하나의 장비, 및/또는 다른 엔티티(entity)를 제어한다. 햅틱 자극은, 주어진 제어 제스처의 수행이 계속될 때, 그 제어 제스처와 관련된 햅틱 자극이 제어 제스처의 진행에 따라서 변화하도록 사용자(12)에게 제공된다. 일 실시예에서, 햅틱 자극은 사용자(12)에 의한 가상 장비의 제어와 관련하여 사용자(12)에게 제공된다. 햅틱 자극은 가상 장비를 제어할 때 시스템(10)에 제공되는 제어 입력들에 대응한다. 일 실시예에서, 시스템(10)은 하나 이상의 사용자 인터페이스들(14), 하나 이상의 액추에이터들(16), 전자 저장소(18), 하나 이상의 프로세서들(20), 및/또는 다른 컴포넌트들을 포함한다.
이 명세서는 주로 게임을 제어하기 위해 수행되는 제어 제스처들과 관련하여 햅틱 자극을 제공하는 것을 설명하지만, 이것은 제한적인 것이 아니다. 여기에 제시된 원리들에 따라 햅틱 자극을 제공하는 것은 사용자가 제어 제스처들의 형태로 입력을 제공하는 다른 컨텍스트들로 확장될 수 있다(예를 들면, 텔레비전, 컴퓨터, 자동차, 원격 제어 차량 또는 선박 등의 제어). 실제 세계 컴포넌트들 또는 시스템들의 제어를 수반하는 구현들에서, 햅틱 자극은 사용자들에 의한 복잡한 제어 제스처들의 수행을 향상시키고, 사용자 경험을 향상시키고, 사용자들에게 제어 제스처들을 수행하는 것을 가르치고, 및/또는 종래의 실제 세계 제어 시스템들에 비하여 다른 향상을 제공하기 위해 사용될 수 있다. 실제 세계 컴포넌트들 또는 시스템들의 제어를 수반하는 구현들은 사용자가 제어되는 컴포넌트(예를 들면, 차 안, 전자레인지 상의 제어 패널 등)에 존재하는 사례들, 및/또는 사용자가 제어되는 컴포넌트로부터 멀리 있는 사례들을 포함할 수 있다. 원격 실제 세계 컴포넌트 또는 시스템의 제어는 제어되는 컴포넌트의 상태를 사용자에게 알리는 다른 센서 자극을 수반할 수 있다. 그러한 다른 센서 자극은, 예를 들면, 사용자에게 제공되는 실시간(또는 거의 실시간) 비디오, 오디오, 및/또는 스틸 이미지들(still images)을 포함할 수 있다.
여기서 몇몇 실시예들은 마치 사용자(12)가 햅틱 자극이 제공되고 있는 유일한 사용자인 것처럼 설명된다. 이것은 제한적인 것이 아니다. 여기서 설명된 원리들 및 실시예들의 확장은 통상의 기술을 가진 당업자의 능력 범위 내에 있고, 단일 사용자 실시예의 설명은 통상의 기술을 가진 당업자가 동일한 특징들을 복수의 사용자들에게 제공하는 다중 사용자 실시예를 실행하고 및/또는 사용하는 것을 가능케 할 것이다. 다중 사용자 실시예는 "능동 사용자"(예를 들면, 제어 제스처를 수행하는 사용자)에 의한 제어 제스처의 수행과 관련된 "수동 사용자들"(예를 들면, 제어 제스처를 수행하지 않는 사용자들)에게 햅틱 자극을 제공하는 것을 포함할 수 있다. 햅틱 자극은 다중 사용자 환경에서 존재하는 다른 현상들의 피드백을 수동 및/또는 능동 사용자들에 더 제공할 수 있다.
여기서 사용될 때, "제어 제스처"는 개별 부분들을 갖는 단일의 분리된 제어 입력인 사용자에 의해 행해진 제스처를 지칭한다. 개별 부분들은 "제어 제스처"와 관련된 제어 입력을 효과적으로 달성하기 위해 특정한 순서로 및/또는 특정한 타이밍으로 수행되어야 한다. 개별 부분들의 수행은, 단독으로, 전체로서 "제어 제스처와 관련된 제어 입력으로 귀결되지 않을 것이다(예를 들면, "제어 제스처"는 단지, 각각이 그 자신의 제어 입력과 관련된 다른 제스처들의 조합이 아니다). 일부 예들에서, "제어 제스처"는 그것이 대응하는 제어 입력과 정확하게 서로 관련하지 않는 추상적인 제스처이다. "제어 제스처"의 일부 비제한적인 예들이 아래에 설명된다.
사용자 인터페이스(14)는 사용자(12)에게 정보를 통신하고 및/또는 사용자(12)로부터 정보를 수신하도록 구성된 하나 이상의 입력 및/또는 출력 장치들을 포함한다. 사용자 인터페이스(14)는, 예를 들면, 사용자(12)에게 콘텐트를 전달하는 하나 이상의 콘텐트 전달 장치들을 포함할 수 있다. 이 콘텐트는 오디오 콘텐트, 비디오 콘텐트, 스틸 이미지들, 및/또는 다른 콘텐트를 포함할 수 있다. 콘텐트 전달 장치들은, 예를 들면, 전자 디스플레이(예를 들면, 터치 감응 디스플레이를 포함함), 오디오 스피커, 및/또는 다른 콘텐트 전달 장치들을 포함할 수 있다. 사용자 인터페이스(14)는 시스템(10)에게 사용자로부터의 입력을 나타내는 출력 신호를 생성하도록 구성된 하나 이상의 제어 입력 장치들을 포함할 수 있다. 예를 들면, 사용자 인터페이스(14)는 게임 컨트롤러, 리모트 컨트롤, 키패드, 버튼, 스위치, 키보드, 노브(knob), 레버, 마이크로폰, 위치 검출 장치(예를 들면, 이미지 센서, 압력 센서, 광학 위치 검출기, 초음파 위치 검출기, 터치 감응 표면, 및/또는 다른 위치 검출 장치들), 가속도계, 자이로스코프, 디지털 나침반, 및/또는 다른 제어 입력 장치들을 포함할 수 있다. 사용자 인터페이스(14)는 컴퓨팅 장치에 구현되거나, 컴퓨팅 장치와 관련될 수 있고, 및/또는 제어 주변 장치에 구현될 수 있다. 컴퓨팅 장치는 데스크톱 컴퓨터, 랩톱 컴퓨터, 핸드헬드 컴퓨터, PDA(personal digital assistant), 스마트폰, 개인 음악 재생기, 휴대용 게임 콘솔, 게임 콘솔, 및/또는 다른 컴퓨팅 장치들 중 하나 이상을 포함할 수 있다.
사용자 인터페이스(14)는 도 1에서 단일 엔티티로서 도시되어 있지만, 이것은 단지 예시를 위한 것일 뿐이라는 것을 알 것이다. 일 실시예에서, 사용자 인터페이스(14)는 복수의 액추에이터들을 포함한다. 복수의 사용자 인터페이스들(14)은 단일 오브젝트 또는 장치에 포함되거나, 단일 오브젝트 또는 장치에 의해 유지되거나, 및/또는 단일 오브젝트 또는 장치와 접촉할 수 있다. 또는, 복수의 사용자 인터페이스들(14)은 복수의 개별 오브젝트들 또는 장치들에 포함되거나 및/또는 그것들에 의해 유지되는 사용자 인터페이스들을 포함할 수 있다.
액추에이터들(16)은 사용자(12)를 위해 햅틱 자극을 생성하도록 구성된다. 그에 따라, 액추에이터들(16) 중 적어도 일부는, 사용자 인터페이스(14)에 의해 사용자들에게 센서 콘텐트를 전달하는 동안, 사용자들과 접촉하거나, 또는 사용자들과 접촉하는 오브젝트들과 접촉한다. 비제한적인 예로서, 액추에이터들(16) 중 하나 이상은 사용자들을 지지하는 바닥 표면에 또는 그 위에 배치될 수 있고(예를 들면, 바닥에 설치되고, 바닥 위에 놓여 있는 매트에 의해 유지되는 등), 액추에이터들(16) 중 하나 이상은 사용자들에 의해 착용된 브레이스(brace) 또는 다른 착용 가능한 아이템에 의해 유지될 수 있고, 액추에이터들(16) 중 하나 이상은 사용자들에 의해 유지되는(예를 들어, 컨트롤러에 의해 유지되는) 오브젝트들에 의해 유지될 수 있고, 액추에이터들(16) 중 하나 이상은 사용자들이 앉아 있거나 누워 있는 가구에 의해 유지될 수 있고, 액추에이터들(16) 중 하나 이상은 사용자 인터페이스(14)에 의해 유지될 수 있고, 및/또는 액추에이터들(16) 중 하나 이상은 사용자들과 접촉하는 다른 오브젝트들에 의해 유지되거나 그 오브젝트에 또는 그 오브젝트 위에 배치될 수 있다.
여기서 사용될 때, "햅틱 자극"이라는 용어는 사용자들에게 적용되는 햅틱 패드백을 지칭한다. 예를 들면, 그러한 피드백은 액추에이터들(16)에 의해 및/또는 액추에이터들(16) 및 사용자 모두가 접촉하는 오브젝트들에 의해 사용자에게 물리적으로 적용되는 진동들, 힘들, 및/또는 운동들 중 하나 이상을 포함할 수 있다. 액추에이터들(16)은 사용자들에게 적용하기 위해 그러한 피드백을 생성하도록 구성된 임의의 장치를 포함할 수 있다. 예를 들면, 액추에이터들(16)은 압전기(piezoelectric) 액추에이터, 공기압(pneumatic) 액추에이터, 중심 질량(central mass) 액추에이터, 전기활성 고분자(electroactive polymer) 액추에이터, 정전기 표면 액추에이터, 매크로 섬유 복합재(macro-fiber composite) 액추에이터, 및/또는 다른 액추에이터들 중 하나 이상을 포함할 수 있다. 예를 들면, 터치 감응 표면(및/또는 다른 표면들)은 정전기 액추에이터에 의해 사용자에 관하여 움직이도록 작동될 수 있다. 액추에이터들(16)에 의해 작동되는 표면은 경질이거나, 반경질(semi-rigid)이거나, 유연하거나, 및/또는 변형 가능할 수 있다.
액추에이터들(16)은 도 1에서 단일 엔티티로서 도시되어 있지만, 이것은 단지 예시를 위한 것일 뿐이라는 것을 알 것이다. 일 실시예에서, 액추에이터들(16)은 복수의 액추에이터들을 포함한다. 복수의 액추에이터들은 단일 오브젝트 또는 장치에 포함되거나, 단일 오브젝트 또는 장치에 의해 유지되거나, 및/또는 단일 오브젝트 또는 장치와 접촉할 수 있다. 또는, 복수의 액추에이터들은 복수의 개별 오브젝트들 또는 장치들에 포함되거나, 그것들에 의해 유지되거나, 및/또는 그것들과 접촉하는 액추에이터들을 포함할 수 있다.
일 실시예에서, 전자 저장소(18)는 정보를 전자적으로 저장하는 전자 저장 매체를 포함한다. 전자 저장소(18)의 전자 저장 매체는 시스템(10)과 완전체로 제공되는(즉, 실질적으로 탈착할 수 없는) 시스템 저장소 및/또는, 예를 들면, 포트(예를 들면, USB 포트, 파이어와이어 포트 등) 또는 드라이브(예를 들면, 디스크 드라이브 등)를 통해 시스템(10)에 탈착 가능하게 연결할 수 있는 탈착 가능한 저장소 중 하나 또는 양쪽 모두를 포함할 수 있다. 전자 저장소(18)는 광학적으로 판독 가능한 저장 매체(예를 들면, 광 디스크 등), 자기적으로 판독 가능한 저장 매체(예를 들면, 자기 테이프, 자기 하드 드라이브, 플로피 드라이브 등), 전기적 충전 기반 저장 매체(예를 들면, EEPROM, RAM 등), 솔리드-스테이트 저장 매체(예를 들면, 플래시 드라이브 등), 및/또는 다른 전자적으로 판독 가능한 저장 매체 중 하나 이상을 포함할 수 있다. 전자 저장소(18)는 소프트웨어 알고리즘들, 프로세서(20)에 의해 결정된 정보, 사용자 인터페이스(14)를 통해 수신된 정보, 및/또는 시스템(10)이 정확히 기능할 수 있게 하는 다른 정보를 저장할 수 있다. 전자 저장소(18)는 시스템(10) 내의 개별 컴포넌트일 수 있고, 또는 전자 저장소(18)는 시스템(10)의 하나 이상의 다른 컴포넌트들(예를 들면, 프로세서(20))과 완전체로 제공될 수 있다.
프로세서(20)는 시스템(10) 내의 정보 처리 능력들을 제공하도록 구성된다. 그에 따라, 프로세서(20)는 디지털 프로세서, 아날로그 프로세서, 정보를 처리하도록 설계된 디지털 회로, 정보를 처리하도록 설계된 아날로그 회로, 상태 머신, 및/또는 정보를 전자적으로 처리하기 위한 다른 메커니즘들 중 하나 이상을 포함할 수 있다. 프로세서(20)는 도 1에서 단일 엔티티로서 도시되어 있지만, 이것은 단지 예시를 위한 것일 뿐이다. 일부 구현들에서, 프로세서(20)는 복수의 처리 유닛들을 포함할 수 있다. 이들 처리 유닛들은 물리적으로 동일한 장치 내에 위치할 수 있고, 또는 프로세서(20)는 공동으로 동작하는 복수의 장치들의 처리 기능을 나타낼 수 있다.
도 1에 도시되어 있는 바와 같이, 프로세서(20)는 하나 이상의 컴퓨터 프로그램 모듈들을 실행하도록 구성될 수 있다. 하나 이상의 컴퓨터 프로그램 모듈들은 콘텐트 모듈(22), 제스처 모듈(24), 자극 모듈(26), 장비 모듈(28), 액추에이터 제어 모듈(30), 및/또는 다른 모듈들 중 하나 이상을 포함할 수 있다. 프로세서(20)는 모듈들(22, 24, 26, 28, 및/또는 30)을 소프트웨어; 하드웨어; 펌웨어; 소프트웨어, 하드웨어, 및/또는 펌웨어의 어떤 조합; 및/또는 프로세서(20)에서 처리 능력들을 구성하기 위한 다른 메커니즘들에 의해 실행하도록 구성될 수 있다.
모듈들(22, 24, 26, 28, 및 30)은 도 1에서 단일 처리 유닛 내에 공동 배치되어 있는 것으로 예시되어 있지만, 프로세서(20)가 다수의 처리 유닛들을 포함하는 구현들에서, 모듈들(22, 24, 26, 28, 및/또는 30) 중 하나 이상은 다른 모듈들로부터 멀리 떨어져 배치될 수 있다는 것을 알아야 한다. 아래에 설명되는 다른 모듈들(22, 24, 26, 28, 및/또는 30)에 의해 제공되는 기능의 설명은 예시를 위한 것이고, 모듈들(22, 24, 26, 28, 및/또는 30) 중 어느 것이든 설명된 것보다 더 많은 또는 더 적은 기능을 제공할 수 있으므로, 제한적인 것으로 의도되어 있지 않다. 예를 들면, 모듈들(22, 24, 26, 28, 및/또는 30) 중 하나 이상이 제거될 수 있고, 그것의 기능의 일부 또는 전부가 모듈들(22, 24, 26, 28, 및/또는 30) 중 다른 것들에 의해 제공될 수 있다. 다른 예로서, 프로세서(38)는 아래에 모듈들(22, 24, 26, 28, 및/또는 30) 중 하나에 귀속되는 기능의 일부 또는 전부를 수행할 수 있는 하나 이상의 추가적인 모듈들을 실행하도록 구성될 수 있다.
콘텐트 모듈(22)은 사용자 인터페이스(14)를 통해 사용자(12)에게 콘텐트의 제공을 제어하도록 구성된다. 만일 콘텐트가 컴퓨터 생성 이미지들(예를 들면, 게임, 가상 세계, 시뮬레이션 등에서)을 포함한다면, 콘텐트 모듈(22)은 사용자 인터페이스(14)를 통하여 사용자(12)에게 디스플레이하기 위한 이미지들 및/또는 뷰들을 생성하도록 구성된다. 만일 콘텐트가 비디오 및/또는 스틸 이미지들을 포함한다면, 콘텐트 모듈(22)은 비디오 및/또는 스틸 이미지들에 액세스하고 사용자 인터페이스(14) 상에 디스플레이하기 위한 비디오 및/또는 스틸 이미지들의 뷰들을 생성하도록 구성된다. 만일 콘텐트가 오디오 콘텐트를 포함한다면, 콘텐트 모듈(22)은 적당한 사운드를 출력하도록 사용자 인터페이스(14)를 구동할 전자 신호들을 생성하도록 구성된다. 콘텐트, 또는 그 콘텐트가 도출되는 정보는 콘텐트 모듈(22)에 의해 전자 저장소(18)로부터 얻어질 수 있다.
일 실시예에서, 콘텐트 모듈(22)에 의해 제공되는 콘텐트는 게임과 관련된 콘텐트이다. 이 실시예에서 콘텐트 모듈(22)은 사용자 인터페이스(14)를 통해 사용자(12)에게 디스플레이하기 위한 게임의 뷰들을 렌더링하도록 구성된다. 콘텐트 모듈(22)은 게임과 관련된 머신 판독 가능한 프로그램 코드에 따라서 뷰들과 관련된 오디오를 더 제공한다.
제스처 모듈(24)은 사용자(12)로부터 수신된 제어 입력들을 나타내는 사용자 인터페이스(14)에 의해 생성된 하나 이상의 출력 신호들을 수신하도록 구성된다. 수신된 하나 이상의 출력 신호들에 기초하여, 제스처 모듈(24)은 사용자(12)에 의한 하나 이상의 제어 제스처들의 수행을 모니터한다. 일 실시예에서, 제스처 모듈(24)에 의해 모니터되는 제어 제스처는 처음 부분, 하나 이상의 중간 부분들, 및 종료 부분을 포함한다.
사용자 인터페이스(14)가 사용자(12)로부터 입력이 수신되는 터치 감응 표면을 포함하는 실시예에서, 제어 제스처의 처음 부분은 하나 이상의 위치들에서 터치 감응 표면과 접촉을 시작하는 것을 포함할 수 있다. 제어 제스처는 접촉이 시작되는 위치(또는 다중 터치 제어 제스처에 대한 위치들), 접촉이 시작되는 압력, 및/또는 사용자(12)와 터치 감응 표면 사이의 처음 접촉의 다른 파라미터들을 기술할 수 있다. 만약 사용자(12)가 이미 터치 감응 표면과 접촉하고 있다면, 제어 제스처의 처음 부분은 그 제어 제스처에 대응하는 하나 이상의 위치들로 이동하는 것, 터치 감응 표면과의 접촉을 유지하는 것(특정한 위치(들)에서, 또는 일반적으로), 하나 이상의 특정한 방향들로 움직이는 것, 하나 이상의 특정한 형상들을 만드는 것, 터치 감응 표면 상의 하나 이상의 위치들에서 접촉을 종료하는 것, 및/또는 다른 동작들을 포함할 수 있다. 제어 제스처의 하나 이상의 중간 부분들은 움직이지 않고 하나 이상의 지점들에서 접촉을 유지하는 것, 특정한 방향으로 움직이는 것, 특정한 형상을 만드는 것, 움직임을 멈추는 것, 하나 이상의 추가적인 위치들에서 터치 감응 표면과 접촉하는 것, 터치 감응 표면 상의 하나 이상의 위치들에서 접촉을 종료하는 것, 터치 감응 표면을 더 강하게 또는 더 부드럽게 누르는 것, 및/또는 다른 동작들 중 하나 이상을 포함할 수 있다. 종료 부분은 터치 감응 표면 상의 하나 이상의 위치들에서 접촉을 종료하는 것, 하나 이상의 위치들에서 움직임을 멈추는 것, 특정한 방향으로 움직이는 것, 특정한 형상을 만드는 것, 하나 이상의 추가적인 위치들에서 터치 감응 표면과 접촉하는 것, 터치 감응 표면을 더 강하게 또는 더 부드럽게 누르는 것, 및/또는 다른 동작들 중 하나 이상을 포함할 수 있다.
위치 기반인 제어 제스처의 처음 부분, 하나 이상의 중간 부분들, 및/또는 종료 부분에 의해 기술되는 동작들 중 하나 이상은 정적인 위치들(예를 들면, 매번 동일한 위치), 대응하는 부분 동안에 변하지 않는 동적인 위치들(예를 들면, 이 위치는 제어 제스처의 수행들 사이에 움직일 수 있지만, 이 위치에 대응하는 부분이 수행되는 동안 고정된 상태로 있음), 대응하는 부분 동안에 변하는 동적인 위치들, 및/또는 다른 유형의 위치들과 관련될 수 있다.
사용자 인터페이스(14)가 터치 감응 표면을 포함하는 실시예에서, 제어 제스처의 가장 간단한 예들 중 하나는 사용자(12)가 터치 감응 표면과 접촉하는 곳의 처음 부분을 포함할 것이다. 중간 부분은 제어 제스처의 처음 부분 동안에 행해진 접촉을 유지하는 것을 포함할 수 있다. 종료 부분은 제어 제스처의 처음 부분 동안에 행해지고, 제어 제스처의 중간 부분 동안에 유지된 접촉을 제거하는 것을 포함할 수 있다.
사용자 인터페이스(14)가 공간에서 사용자(12)의 움직임을 모니터하도록 구성된 하나 이상의 센서들(예를 들면, 이미징 센서, 압력 센서, 가속도계, 및/또는 다른 센서들)을 포함하는 실시예에서, 제어 제스처의 처음 부분은 특정한 방향으로 향하는 것, 특정한 방향으로 움직이거나 이동하는 것, 특정한 하나 이상의 부가물들로 움직이는 것, 신체 부분들을 특정한 방식으로 서로에 관하여 위치시키는 것(예를 들면, 손들을 미리 정해진 구성으로 유지하는 것, 및/또는 신체 부분들의 다른 구성들), 특정한 형상으로 움직이거나 이동하는 것, 특정한 양의 시간 동안 움직이는 것, 특정한 속도 및/또는 가속도로(또는 그보다 위로, 또는 아래로) 움직이거나 이동하는 것, 특정한 방식으로 운동 또는 움직임의 방향을 변경하는 것, 및/또는 다른 동작들 중 하나 이상을 포함할 수 있다. 하나 이상의 중간 부분들은 머리, 및/또는 다른 신체 부분들의 방위를 특정한 방향으로 변경하는 것, 특정한 방향으로 움직이거나 이동하는 것, 특정한 하나 이상의 부가물들로 움직이는 것, 신체 부분들로 움직여 서로에 대해 특정한 관계로 이동하는 것, 특정한 형상으로 움직이거나 이동하는 것, 특정한 양의 시간 동안 움직이는 것, 특정한 속도 및/또는 가속도로(또는 그보다 위로, 또는 아래로) 움직이거나 이동하는 것, 특정한 방식으로 운동 또는 움직임의 방향을 변경하는 것, 하나 이상의 신체 부분들에 의한 운동 또는 움직임을 멈추는 것, 및/또는 다른 동작들 중 하나 이상을 포함할 수 있다. 제어 제스처의 종료 부분은 머리, 및/또는 다른 신체 부분들의 방위를 특정한 방향으로 변경하는 것, 특정한 방향으로 움직이거나 이동하는 것, 특정한 하나 이상의 부가물들로 움직이는 것, 신체 부분들로 움직여 서로에 대해 특정한 관계로 이동하는 것, 특정한 형상으로 움직이거나 이동하는 것, 특정한 양의 시간 동안 움직이는 것, 특정한 속도 및/또는 가속도로(또는 그보다 위로, 또는 아래로) 움직이거나 이동하는 것, 특정한 방식으로 운동 또는 움직임의 방향을 변경하는 것, 하나 이상의 신체 부분들에 의한 운동 또는 움직임을 멈추는 것, 및/또는 다른 동작들 중 하나 이상을 포함할 수 있다.
제스처 모듈(24)은 사용자(12)의 움직임 및/또는 운동을 나타내는 사용자 인터페이스(14)의 출력 신호를 획득하고, 사용자(12)의 움직임 및/또는 운동을 제어 제스처들과 비교하는 것에 의해 제어 제스처들의 수행을 모니터하도록 구성된다. 제어 제스처들 중 하나 이상은 콘텐트 모듈(22)에 의해 사용자 인터페이스(14)를 통해 사용자(12)에 전달되는 콘텐트의 기능일 수 있다. 예를 들면, 제어 제스처들 중 하나 이상은 사용자 인터페이스(14)를 통해 사용자(12)에 전달되는 게임의 기능일 수 있다. 제어 제스처들 중 하나 이상은 사용자 인터페이스(14)를 통해 사용자(12)에 제공되는 콘텐트와 독립적일 수 있다. 예를 들면, 제어 제스처들 중 하나 이상은 사용자 인터페이스(14), 프로세서(20), 및/또는 다른 컴포넌트들의 기능을 제어할 수 있다.
자극 모듈(26)은 제스처 모듈(24)로부터의 제어 제스처들의 수행에 관련된 정보를 수신하고, 제어 제스처들과 관련된 사용자(12)를 위해 생성될 햅틱 자극을 결정하도록 구성된다. 자극 모듈(26)에 의해 결정된 햅틱 자극은 제어 제스처들이 수행되는 컨텍스트와 개별적인 제어 제스처들의 수행에 응답하는 햅틱 자극을 포함한다. 예를 들면, 게임의 컨텍스트에서 제어 제스처의 수행에 응답하는 햅틱 자극은 제어 제스처의 수행 이외의 게임 내의 다른 변수들에 의존하지 않는 햅틱 자극을 포함한다.
자극 모듈(26)에 의해 결정된 햅틱 자극은 제어 제스처들과 전형적으로 관련된 햅틱 자극을 넘어서 복잡하고 풍부하다. 예를 들면, 종래의 시스템들에서, 제어 제스처들과 관련된 햅틱 자극은 제어 제스처 동안에 및/또는 제어 제스처 이후에 제공되는 단일 자극을 포함하는 경향이 있다. 이 햅틱 자극은 제어 제스처의 확인을 제공한다. 자극 모듈(26)에 의해 결정된 햅틱 자극은, 대조적으로, 제어 제스처의 수행과 보다 밀접하게 추적하여 햅틱 자극에 의해 제공되는 몰입형의 경험을 증가시킨다.
일 실시예에서, 제어 제스처에 대응하는 자극 모듈(26)에 의해 결정된 햅틱 자극은 제1 자극, 제2 자극, 및/또는 다른 자극들을 포함한다. 제1 자극은 제2 자극과는 다르다. 이것은 제1 자극의 하나 이상의 파라미터들이 제2 자극과는 다르다는 것을 의미한다. 하나 이상의 파라미터들은, 예를 들면, 햅틱 자극의 주기성, 힘, 방향성, 위치, 및/또는 다른 파라미터들 중 하나 이상을 포함할 수 있다. 이 제1 자극과 제2 자극(및/또는 다른 자극들) 사이의 하나 이상의 파라미터들의 변화는 매끄러울 수 있고, 및/또는 제1 자극과 제2 자극 사이에 햅틱 자극의 파라미터(들)에 뚜렷한 스텝(distinct step)을 생성하도록 불연속(discrete)일 수 있다.
자극 모듈(26)은 제1 자극 및 제2 자극의 제공을 제1 자극 및 제2 자극이 대응하는 제어 제스처의 수행과 상호 관련시키도록 구성된다. 일 실시예에서, 제1 자극은 제어 제스처의 처음 부분의 수행에 응답하여 자극 모듈(26)에 의해 결정되고 제2 자극은 제어 제스처의 하나 이상의 중간 부분들의 수행에 응답하여 자극 모듈(26)에 의해 결정된다. 제어 제스처의 종료 부분에 응답하여, 자극 모듈(26)은 다른 자극(예를 들면, 제3 자극)을 결정할 수 있고, 또는 제어 제스처와 관련된 햅틱 자극의 제공을 중지할 수 있다.
일 실시예에서, 자극 모듈(26)은 그 자극이 제어 제스처의 중간 부분들 사이에 다르도록 제어 제스처와 관련된 햅틱 자극을 결정한다. 이것은 제어 제스처의 수행이 진행될 때 햅틱 자극의 매끄러운 변화들, 및/또는 제어 제스처의 수행이 중간 부분들 사이에 이행될 때 햅틱 자극의 불연속 변화들로 귀결될 수 있다.
자극 모듈(26)에 의해 결정된 햅틱 자극은 사용자(12)에게 제어 제스처의 수행에 관한 어떤 피드백을 주도록 제공될 수 있다. 이것은 제어 제스처의 일부분이 시작되었고 및/또는 현재 진행 중인 것을 사용자(12)에게 알리는 자극, 사용자(12)가 제어 제스처의 다음 부분을 시작하도록 촉구하는 자극, 및/또는 제어 제스처의 수행에 관한 다른 정보를 사용자(12)에게 제공하는 자극을 포함할 수 있다.
일 실시예에서 자극 모듈(26)은 제어 제스처의 수행이 실패하였음을 사용자(12)에게 나타내는 햅틱 자극을 사용자(12)에게 제공한다. 이 실시예에서, 제어 제스처의 일부분을 수행하는데 사용자(12)에 의한 실패, 또는 제어 제스처의 한 부분으로부터 제어 제스처의 다른 부분으로 적절하게 이행하지 못하는 것에 응답하여, 자극 모듈(26)은 그 실패를 나타내는 사용자(12)에게 제공하기 위한 자극을 결정한다. 예를 들면, 실패 자극은 쉿 소리(fizzle), 및/또는 다른 자극을 포함할 수 있다.
제어 제스처들 및 대응하는 햅틱 자극의 일부 예시적인 예들이 차후에 제시된다. 주어진 예들은 플레이어들 사이 및/또는 플레이어들과 플레이어가 아닌 캐릭터들 사이의 전투(combat)를 포함하는 게임들에서 일반적으로 발견되는 게임 캐릭터들의 일부 클래스들에 대응한다. 구체적으로, 아래 주어진 예들은 "캐스터들(casters)", "클로즈 컴뱃 워리어들(close combat warriors)", 및 "레인지 컴뱃 워리어들(ranged combat warriors)"에 대응한다. 이들 캐릭터들의 클래스들은 제한적이지 않다는 것을 알 것이다. 캐릭터들, 및/또는 하이브리드들의 다른 클래스들이 복수의 클래스들의 특성들을 포함하였고, 여기에 제시된 원리들에 따라서 구현될 수 있다.
"캐스터"는 전투 동안에 마법들(또는 다른 유사한 공격들 및/또는 방어들)을 거는 캐릭터이다. 캐스터 캐릭터들의 예들은 마법사(wizards), 성직자(priests), 요술쟁이(warlocks), 기술자(engineers), 및/또는 다른 캐릭터들을 포함한다. 주어진 마법을 걸도록 캐스터를 제어하기 위해, 사용자(12)는 주어진 마법에 대응하는 제어 제스처를 수행할 필요가 있을 수 있다. 사용자(12)가 제어 제스처의 부분들을 통하여 진행할 때, 제어 제스처에 대응하는 자극 모듈(26)에 의해 결정된 햅틱 자극은 제어 제스처의 진행에 관하여 사용자(12)에게 알릴 수 있다. 제어 제스처와 관련된 햅틱 자극은 걸리는 마법의 힘에 관한 정보를 더 제공할 수 있다(예를 들면, 그 힘이 더 크고 및/또는 주기성이 더 빠른 것은 더욱 강력한 마법을 나타낼 수 있다).
일 실시예에서, 제어 제스처가 제어 제스처의 부분들 사이에 진행할 때, 자극 모듈(26)에 의해 결정된 햅틱 자극의 힘 및/또는 주기성은 증가할 수 있다. 이러한 증가는 제어 제스처가 진행할 때 점차적일 수 있고 및/또는 불연속 스텝들로 될 수 있다(예를 들면, 제어 제스처의 부분들 사이의 전이들에서). 이것은 제한적인 것으로 의도되어 있지 않은데, 이는 제어 제스처의 진행을 나타내기 위해 햅틱 자극의 다른 파라미터들이 변경될 수 있기 때문이다. 햅틱 자극은 제어 제스처의 (지금까지) 성공적인 진행에 관한 피드백을 제공할 수 있고, 및/또는 제어 제스처의 미래의 수행에 관하여(예를 들면, 다음 부분으로 진행하기 위해, 현재의 부분을 유지하기 위해, 등등) 사용자(12)에게 촉구할 수 있다. 제어 제스처의 최종 부분을 수행함과 동시에, 자극 모듈(26)은 마법이 성공적으로 걸리는 것을 나타내는 햅틱 자극을 결정할 수 있다. 일 실시예에서, 사용자(12)는 발사를 위해 마법을 효과적으로 "저장"하는 제어 제스처의 부분들을 수행할 수 있다. 이것은 마법을 정해지지 않은 기간 동안, 또는 어떤 미리 정해진 최대 저장 시간 동안 저장할 수 있다. 저장 동안에, 자극 모듈(26)은 마법의 진행 중인 저장을 확인하는 햅틱 자극을 결정할 수 있다. 만일 저장 기간이 최대 저장 시간을 갖는다면, 햅틱 자극은 최대 저장 시간에 관하여 저장 기간의 상태를 나타낼 수 있다.
"클로즈 컴뱃 워리어(close combat warrior)"는 근접 구역들(close quarters)에서 적들과 싸우도록 구성된 캐릭터이다(예를 들면, 백병전(hand-to-hand combat)). 그러한 캐릭터는 흔들리는 무기들(예를 들면, 곤봉, 철퇴 등), 찌르는 및/또는 베는 무기들(예를 들면, 칼, 도끼, 검 등), 및/또는 다른 근접 구역 무기들로 무장될 수 있다. 사용자(12)가, 예를 들면, 강타를 휘두르도록 캐릭터를 제어할 때, 자극 모듈(26)은 그러한 공격들의 어떤 실제 세계 특성들을 흉내내는 햅틱 자극을 결정할 수 있다. 예를 들면, 사용자(12)가 적수 또는 오브젝트를 칠 때, 제1 피드백은 치는 및/또는 자르는 감각을 흉내낼 수 있다. 사용자(12)가 그러한 강타 후에 무기를 뒤로 물릴 때, 제2 피드백은 오브젝트 또는 적수로부터 무기의 물러남을 흉내낼 수 있다. 다른 예로서, 사용자(12)가 준비가 된 위치에서 무기를 흔들 때(예를 들면, 체인에 달린 볼을 흔드는 것) 자극 모듈(26)에 의해 결정된 제1 피드백은 실제 세상에서 그러한 활동의 결과가 될 실제 세계 감각을 흉내낼 수 있다. 준비된 위치로부터 무기를 발사하는 것(예를 들면, 흔들리는 볼로 적수 또는 오브젝트를 치는 것)은 자극 모듈(26)에 의해 그러한 공격의 느낌을 흉내내는 제2 자극을 결정하는 것으로 귀결될 수 있다. 공격의 강도는 제어 제스처(또는 그것의 어떤 부분)가 수행되는 시간의 양, 제어 제스처의 운동 범위, 제어 제스처 동안의 운동 속도, 사용자와 사용자 인터페이스(14)에 포함된 터치 스크린 사이의 접촉 압력, 및/또는 제어 제스처(또는 그것의 어떤 부분)의 다른 파라미터들에 기초하여 결정될 수 있다.
일부 구현들에서, 사용자 인터페이스(14)는 게임과 관련된 콘텐트의 디스플레이들이 콘텐트 모듈(22)에 의해 제시되는 터치 스크린을 포함한다. 그러한 구현들에서, 제어 제스처가 행해지는 위치는 게임이 제어되는 방식 및/또는 자극 모듈(26)에 의해 결정된 햅틱 자극에 영향을 준다(제스처를 입력하는 사용자 및/또는 다른 사용자들을 위하여). 예를 들면, 클로즈 컴뱃 워리어를 제어할 때, 사용자는 공격이 향해져야 하는 적의 특정한 부분(예를 들면, 다리, 팔, 머리, 몸통 등)을 나타내는 방식으로 공격하는 제어 제스처를 입력할 수 있다. 유사하게, 클로즈 컴뱃 워리어를 제어할 때, 사용자는 방어되거나 블록킹되어야 하는 제어되는 캐릭터의 특정한 부분(예를 들면, 다리, 팔, 머리, 몸통 등)을 나타내는 방식으로 방어 또는 블록킹 제어 제스처를 입력할 수 있다. 제어 제스처의 이러한 위치 기반 양태는 대응하는 제어의 성공 및/또는 영향을 결정할 때, 및/또는 제어 제스처에 대응하는 햅틱 자극을 결정할 때 고려될 수 있다. 사용자 인터페이스(14)의 터치 스크린 상의 다수의 위치들을 터치하는 것에 의해 다수의 공격들이 트리거될 수 있다.
"레인지 컴뱃 워리어(ranged combat warrior)"는 사정거리(range)로부터 적들을 공격하기 위해 구성되고 무장된 캐릭터이다. 이것은, 예를 들면, 화살, 돌, 총탄, 로켓, 및/또는 다른 발사물과 같은 발사물들을 발사하도록 무장된 캐릭터들을 포함할 수 있다. 비제한적인 예로서, 사용자(12)는 활과 화살을 발사하도록 레인지 컴뱃 워리어를 제어할 수 있다. 이러한 예에서, 화살을 재는 것, 활을 당기는 것(및 증가하는 시위(string) 장력을 나타내기 위해 햅틱 자극을 변경하는 것), 시위를 놓은 것, 놓은 것과 동시에 캐릭터의 팔뚝을 치는 활시위(bowstring), 및/또는 화살을 발사하는 것과 관련된 제어 제스처의 다른 부분들에 대하여 자극 모듈(26)에 의해 상이한 햅틱 자극이 결정될 수 있다. 공격 또는 발사물의 강도 및/또는 속도는 제어 제스처(또는 그것의 어떤 부분)가 수행되는 시간의 양, 제어 제스처의 운동 범위, 제어 제스처 동안의 운동 속도, 사용자와 사용자 인터페이스(14)에 포함된 터치 스크린 사이의 접촉 압력, 및/또는 제어 제스처(또는 그것의 어떤 부분)의 다른 파라미터들에 기초하여 결정될 수 있다.
레인지 공격이 향해지는 타겟 및/또는 레인지 공격의 일부로서 발사되는 발사물의 경로는 제어 제스처에 기초하여 결정될 수 있다. 예를 들면, 만일 사용자 인터페이스가 터치 스크린을 포함한다면, 제어 제스처를 수행하는 사용자는 레인지 공격의 타겟이 디스플레이되는 터치 스크린의 일부분을 접촉할 수 있다(예를 들면, 제어 제스처의 일부로서). 유사하게, 사용자는 레인지 공격 동안에 발사되는 발사물의 경로를 터치 스크린 상에서 트레이스할 수 있다. 발사물의 경로의 트레이싱(tracing)은 공격을 시작하는 제어 제스처의 적어도 일부를 형성할 수 있다. 제어 제스처에 의해 나타내어진 타겟 및/또는 경로는 자극 모듈(26)에 의해 결정된 대응하는 햅틱 자극의 결정에 영향을 줄 수 있다.
게임 콘텐트는 박스, 방, 출입문, 탈것, 및/또는 "잠기는" 다른 오브젝트들 또는 아이템들을 포함할 수 있고, 어떤 제어 제스처의 수행을 통하여 열려야 한다. 일부 구현들에서, 사용자가 그러한 오브젝트 또는 아이템을 선택하는 것에 응답하여, 자극 모듈(26)은 선택된 오브젝트 또는 아이템이 잠겨 있는 것을 사용자에게 나타내는 햅틱 자극을 결정할 수 있다. 오브젝트 또는 아이템의 자물쇠를 여는 제어 제스처의 사용자에 의한 수행은 그 제어 제스처에 대응하는 자극 모듈(26)에 의한 햅틱 자극의 결정으로 귀결될 수 있다.
일 실시예에서, 주어진 제어 제스처에 대하여 자극 모듈(26)에 의해 결정된 햅틱 자극은 사용자(12)에 의해 제어되는 게임 내의 캐릭터의 특성들에 기초하여 변할 수 있다. 예를 들면, 햅틱 자극은 캐릭터 기술, 캐릭터 피로도, 캐릭터 부상, 무기 유형, 무기 파손, 및/또는 다른 특성들의 함수로서 변할 수 있다.
캐릭터 피로도 및/또는 부상에 기초하여 햅틱 자극을 변경하는 것은 피곤하게 되거나 상처를 입은 캐릭터일 때 사용자(12)에게 핸디캡을 주는 방법일 수 있다. 이것은 사용자(12)에 의한 정확한 제어를 억제하기 위해(예를 들면, 힘을 증가시키는 것에 의해), 햅틱 자극에서의 단서들 및 촉구들의 인식을 억제하기 위해(예를 들면, 힘을 감소시키고, 단서들 및 촉구들을 제공하지 않는 햅틱 자극의 부분들의 힘을 증가시키고, 단서들 및/또는 촉구들에 대한 응답 시간을 감소시키는 것 등에 의해) 햅틱 자극의 힘, 주기성, 및/또는 다른 파라미터들을 변경하는 것, 및/또는 다른 방법으로 사용자(12)에게 핸디캡을 주는 것을 포함할 수 있다.
캐릭터 기술에 기초하여 햅틱 자극을 변경하는 것은 기술들 및 능력들의 점차적인 및/또는 누진적인 "속박 해제(unlocking)"를 제공할 수 있다. 주어진 능력에서 더 많은 훈련 및/또는 기술을 가진 캐릭터에 대하여, 자극 모듈(26)은 주어진 능력에 대응하는 제어 제스처를 수행하는 것에 대해 더 명확하고 및/또는 더 쉽게 추종되는 가이드를 제공하는 햅틱 자극을 결정할 수 있다. 예를 들면, 캐릭터의 기술이 증가할 때, 그 캐릭터에 대하여 자극 모듈(26)에 의해 결정되는 햅틱 자극은 제어 제스처를 통하여 사용자(12)를 가이드하는 더 명확한 단서들 및/또는 촉구들(예를 들면, 캐릭터 피로도에 관하여 상기 예들을 참조함)을 제공할 수 있다. 이것은 사용자(12)가 대응하는 능력에 충분히 훈련되지 않고도 제어 제스처를 이용할 수 있게 하지만, 추가적인 훈련 및/또는 다른 기술 연마가 시도되지 않는다면 사용자에 대한 제어 제스처의 재현성에 영향을 줄 수 있다.
캐릭터의 장비에 기초하여 제어 제스처에 대하여 결정되는 햅틱 자극을 변경하는 것은 장비의 수리를 유지하는 것 및/또는 업그레이드된 장비를 획득하는 것을 강제화하지 않고 그러한 활동들을 장려할 수 있다. 제어 제스처가 사용자(12)에게 이용 가능한지에 대한 디지털 결정 대신에, 자극 모듈(26)은 "더 나은" 가상 장비로 제어 제스처를 더 쉽고 및/또는 더 즐겁게 하는 햅틱 자극을 제공한다.
장비 모듈(28)은 사용자(12)에게 가상 장비에 대한 제어를 제공하도록 구성된다. 시스템(10)에 의해 사용자(12)에게 제공되는 게임의 컨텍스트 내에서, 사용자(12)는 가상 장비를 제어할 수 있다(예를 들면, 직접 또는 그 가상 장비를 이용하고 있는 캐릭터를 통하여). 그러한 경우에, 콘텐트 모듈(22)은 사용자 인터페이스(14)를 통해 가상 장비의 뷰들을 사용자(12)에게 제공한다. 장비 모듈(28)은 가상 장비의 동작 파라미터들을 결정하고, 그것의 동작을 시뮬레이션하도록 구성된다.
사용자 인터페이스(14)가 터치 감응 전자 디스플레이를 포함하는 일 실시예에서, 장비 모듈(28)은 가상 장비의 뷰들의 사용자 선택 가능 섹션들의 사용자(12)에 의한 선택들에 기초하여 가상 장비의 동작 파라미터들을 결정하고 및/또는 가상 장비의 동작을 시뮬레이션한다. 가상 장비의 사용자 선택 가능 섹션들은 장비의 동작 파라미터들을 구성하고 및/또는 장비를 동작시키기 위해 실제 세상에서 인게이지될 장비의 섹션들과 유사한 가상 장비의 섹션들에 대응하는 가상 장비의 뷰들에 위치할 수 있다. 가상 장비의 뷰들의 사용자 선택 가능 섹션들과 인게이지하는 것에 의해 구성 가능한 가상 장비의 동작 파라미터들은 장전된 탄약의 양(amount of loaded rounds of ammunition), 파손의 레벨, 정지하는 힘, 발사물 속도, 탄약 유형, 잡음 레벨, 및/또는 다른 동작 파라미터들 중 하나 이상을 포함한다.
예시로서, 도 2는 가상 장비 부품(32)(예를 들면, 총)의 뷰를 보여준다. 도 2에 도시된 뷰에서, 가상 장비 부품(32)은 복수의 선택 가능 섹션들(34)(도 2에서 섹션(34a), 섹션(34b), 섹션(34c), 및 섹션(34d)으로서 예시됨)을 포함한다. 섹션(34a)을 선택하는 것에 의해, 사용자(12)는 가상 장비 부품(32)의 핸들/개머리판(handle/stock)을 구성할 수 있다. 섹션(34b)을 선택하는 것에 의해, 사용자(12)는 가상 장비 부품(32)의 탄약을 구성할 수 있다. 섹션(34c)을 선택하는 것에 의해, 사용자(12)는 가상 장비 부품(32)의 조준들(sights)을 구성할 수 있다. 부분(34d)을 선택하는 것에 의해, 사용자(12)는 가상 장비 부품(32)의 총신/총구(barrel/muzzle)를 구성할 수 있다.
가상 장비 부품(32)을 구성하기 위해 선택 가능 섹션들(34) 중 하나를 선택하는 것은 단순히 원하는 선택 가능 섹션(34)을 선택하는 것, 및 그 후 선택된 섹션(34)에 대한 새로운 구성을 선택하는 것을 포함할 수 있다. 일 실시예에서, 재구성은 터치 및 드래그 유형의 상호 작용을 통하여 이루어진다. 예를 들면, 사용자(12)는 탄약에 대응하는 사용자 인터페이스(14) 상의 영역과 인게이지하고 가상 장비 부품(32)을 재장전하기 위해 그 탄약을 섹션(34b)으로 "드래그"할 수 있다. 유사하게, 사용자(12)는 가상 장비 부품(32)의 사운드 특성들(및/또는 다른 특성들)을 변경하기 위해 소음기(및/또는 다른 총구 또는 총신 특징)를 선택하여 가상 장비 부품(32)의 섹션(34d)으로 드래그할 수 있다.
다른 예시적인 예로서, 도 3은 복수의 선택 가능 섹션들(38)(도 3에서 섹션(38a), 섹션(38b), 섹션(38c), 및 섹션(38d)으로서 도시됨)을 갖는 가상 화기(36)의 뷰를 보여준다. 자극 모듈(26)의 선택 가능 섹션들(38)은 도 2에 관하여 위에 논의된 것과 유사한 방식으로 선택될 수 있다.
또 다른 예시적인 예로서, 도 4는 게임에서 사용자에게(또는 사용자에 의해 제어되는 캐릭터에게) 다양한 아이템들의 근접을 보여주도록 구성된 가상 장비 부품(40)의 뷰를 보여준다. 가상 장비 부품(40)은 복수의 선택 가능 섹션들(42)(도 4에서 섹션(42a), 섹션(42b), 섹션(42c), 섹션(42d) 및 섹션(42e)으로서 도시됨)을 포함한다. 선택 가능 섹션들(42)의 개개의 부분들은 가상 장비 부품(40)의 개개의 모드들에 대응하여, 선택 가능 섹션들(42) 중 하나의 선택은 가상 장비 부품(40)이 그 선택된 모드에 따라서 동작하는 것으로 귀결된다. 예를 들면, 제1 모드에서 가상 장비 부품(40)은 다른 캐릭터들의 근접의 표시를 제공할 수 있고, 제2 모드에서 가상 장비 부품(40)은 적들의 근접의 표시를 제공할 수 있고, 제3 모드에서 가상 장비 부품(40)은 하나 이상의 리소스들(예를 들면, 금, 음식, 탄약, 파워업(power-ups) 등)의 근접의 표시를 제공할 수 있다.
이제 도 1을 참조하여, 일 실시예에서, 자극 모듈(26)은 가상 장비의 동작 파라미터들 및/또는 가상 장비의 시뮬레이션된 동작과 관련되는 사용자에 대하여 생성될 햅틱 자극을 결정하도록 구성된다. 이것은, 예를 들면, 가상 장비 부품의 현재의 동작 파라미터들에 기초하여 햅틱 자극을 변경하는 것, 가상 장비 부품에서 이루어지는 변경들을 반영하도록 가상 장비 부품의 재구성 동안에 햅틱 자극을 결정하는 것, 및/또는 가상 장비의 구성 및/또는 동작의 다른 양태들을 포함할 수 있다.
비제한적인 예로서, 만일 가상 화기가 사용자(12)에 의해 재장전된다면, 자극 모듈(26)은 재장전을 나타내는 햅틱 피드백을 결정한다. 새로운 탄약은 이전에 사용된 탄약과 다르고, 자극 모듈(26)은 이전에 사용된 탄약의 발사 동안에 결정된 햅틱 자극과 다른 햅틱 피드백을 화기의 발사와 동시에 결정한다.
일 실시예에서, 액추에이터들(16)은 사용자(12)에게 가상 장비의 뷰들을 제시하는 터치 감응 전자 디스플레이를 작동시키도록 구성된다. 이 실시예에서, 사용자(12)가 터치 감응 전자 디스플레이와 인게이지할 때 사용자(12)에게 자극 모듈(26)에 의해 결정된 햅틱 자극을 전달하는 것은 보다 몰입형의 가상 장비 제어 경험으로 귀결된다. 예를 들면, 사용자(12)가 총을 재장전하기 위해, 또는 장비 부품을 스위칭 아웃하기 위해, 터치 감응 디스플레이와 인게이지할 때, 총에 대해 가해지는 제어에 대응하는 햅틱 자극이 터치 감응 표면을 통하여 사용자(12)에게 제공된다.
액추에이터 제어 모듈(30)은 자극 모듈(26)에 의해 결정된 햅틱 자극을 생성하기 위해 액추에이터들(16)을 제어하도록 구성된다. 이것은 생성될 햅틱 자극을 프로세서(22)로부터 액추에이터들(16)로 통신하는 것을 포함한다. 생성될 햅틱 자극은 프로세서(22)와 액추에이터들(16) 사이의 유선 통신 링크들, 무선 통신 링크들, 및/또는 다른 통신 링크들을 통하여 통신될 수 있다.
도 5는 햅틱 자극을 결정하고 및/또는 햅틱 자극을 사용자에게 제공하는 방법(44)을 예시한다. 햅틱 자극은 게임과 관련하여, 및/또는 다른 컨텍스트에서 결정되고 및/또는 사용자에게 제공될 수 있다. 아래에 제시되는 방법(44)의 동작들은 예시적인 것으로 의도된다. 일부 실시예들에서, 방법(44)은 설명되지 않은 하나 이상의 추가적인 동작들로, 및/또는 논의된 동작들 중 하나 이상의 동작들 없이 달성될 수 있다. 또한, 방법(44)의 동작들이 도 5에서 예시되고 아래에 설명되는 순서는 제한적인 것으로 의도되어 있지 않다.
일부 실시예들에서, 방법(44)은 하나 이상의 처리 장치들(예를 들면, 디지털 프로세서, 아날로그 프로세서, 정보를 처리하도록 설계된 디지털 회로, 정보를 처리하도록 설계된 아날로그 회로, 상태 머신, 및/또는 정보를 전자적으로 처리하기 위한 다른 메커니즘들)에서 구현될 수 있다. 그 하나 이상의 처리 장치들은 전자 저장 매체에 전자적으로 저장된 명령어들에 응답하여 방법(44)의 동작들의 일부 또는 전부를 실행하는 하나 이상의 장치들을 포함할 수 있다. 그 하나 이상의 처리 장치들은 방법(44)의 동작들 중 하나 이상의 동작들의 실행을 위해 특별히 설계되도록 하드웨어, 펌웨어, 및/또는 소프트웨어를 통하여 구성된 하나 이상의 장치들을 포함할 수 있다.
동작(46)에서는, 사용자에 의한 제어 제스처의 처음 부분의 수행이 모니터된다. 제어 제스처의 처음 부분의 수행은 (도 1에 도시되고 위에 설명된) 사용자 인터페이스(14)와 유사하거나 동일한 사용자 인터페이스의 출력 신호에 기초하여 모니터될 수 있다. 일 실시예에서, 동작(46)은 (도 1에 도시되고 위에 설명된) 제스처 모듈(24)과 유사하거나 동일한 제스처 모듈에 의해 수행된다.
동작(48)에서는, 제어 제스처의 처음 부분의 수행에 응답하여, 제1 햅틱 자극이 결정된다. 제1 햅틱 자극은 제어 제스처의 처음 부분에 대응한다. 일 실시예에서, 동작(48)은 (도 1에 도시되고 위에 설명된) 자극 모듈(26)과 유사하거나 동일한 자극 모듈(26)에 의해 수행된다.
동작(50)에서는, 사용자를 위해 제1 햅틱 자극이 생성된다. 일 실시예에서, 동작(50)은 (도 1에 도시되고 위에 설명된) 액추에이터들(16)과 유사하거나 동일한 하나 이상의 액추에이터들에 의해 수행된다.
동작(52)에서는, 제어 제스처의 제1 중간 부분이 사용자에 의해 수행되었는지에 대하여 결정이 이루어진다. 제어 제스처의 제1 중간 부분이 수행된 것에 응답하여, 방법(44)은 동작(54)으로 진행한다. 일 실시예에서 동작(52)은 (도 1에 도시되고 위에 설명된) 제스처 모듈(24)과 유사하거나 동일한 제스처 모듈에 의해 수행된다.
동작(54)에서는, 제2 햅틱 자극이 결정된다. 제2 햅틱 자극은 제어 제스처의 제1 중간 부분에 대응한다. 일 실시예에서, 동작(54)은 (도 1에 도시되고 위에 설명된) 자극 모듈(26)과 유사하거나 동일한 자극 모듈에 의해 수행된다.
동작(56)에서는, 사용자를 위해 제2 햅틱 자극이 생성된다. 일 실시예에서, 동작(56)은 (도 1에 도시되고 위에 설명된) 액추에이터들(16)과 유사하거나 동일한 하나 이상의 액추에이터들에 의해 수행된다.
다시 동작(52)을 참조하여, 제어 제스처의 제1 중간 부분이 수행되지 않은 것에 응답하여, 방법(44)은 동작(58)으로 진행하고, 여기서 제어 제스처가 실패하였는지에 대하여 결정이 이루어진다. 이것은 (도 1에서 도시되고 위에 설명된) 사용자 인터페이스(14)와 유사하거나 동일한 사용자 인터페이스의 출력 신호에 기초하여 결정될 수 있다. 제어 제스처가 실패하였는지의 결정은, 예를 들면, 제어 제스처의 처음 부분의 수행 이후의 시간의 양, 제어 제스처의 처음 부분의 수행 이후에 제어 제스처에 포함되지 않은 액션들이 수행되었는지, 및/또는 다른 요인들에 기초하여 이루어질 수 있다. 일 실시예에서, 동작(58)은 (도 1에 도시되고 위에 설명된) 제스처 모듈(24)과 유사하거나 동일한 제스처 모듈에 의해 수행된다.
제어 제스처가 실패하지 않았다는 동작(58)에서의 결정에 응답하여, 방법(44)은 동작(52)으로 되돌아간다. 제어 제스처가 실패하였다는 동작(58)에서의 결정에 응답하여, 방법(44)은 동작(60)으로 진행한다. 동작(60)에서는, 제어 제스처의 실패를 나타내는 햅틱 자극이 결정된다. 일 실시예에서, 동작(60)은 (도 1에 도시되고 위에 설명된) 자극 모듈(26)과 유사하거나 동일한 자극 모듈에 의해 수행된다.
동작(60)에서 햅틱 자극의 결정과 동시에, 결정된 햅틱 자극은 동작(62)에서 사용자를 위해 생성된다. 일 실시예에서, 동작(62)은 (도 1에 도시되고 위에 설명된) 액추에이터들(16)과 유사하거나 동일한 하나 이상의 액추에이터들에 의해 수행된다.
다시 동작(52)을 참조하여, 제어 제스처의 제1 중간 부분이 수행되었다는 결정에 더 응답하여, 방법(44)은 동작(64)으로 진행한다. 동작(64)에서는, 제어 제스처의 종료 부분이 수행되었는지에 대하여 결정이 이루어진다. 제어 제스처가 종료하였다는 결정에 응답하여, 방법(44)은 제어 제스처와 관련된 햅틱 자극의 제공을 종료한다. 일 실시예에서, 제어 제스처의 종료와 관련된 최종 햅틱 자극이 더 결정되고 생성된다. 일 실시예에서, 동작(64)은 (도 1에 도시되고 위에 설명된) 제스처 모듈(24)과 유사하거나 동일한 제스처 모듈에 의해 수행된다.
제어 제스처의 종료 부분이 아직 수행되지 않았다는 동작(64)에서의 결정에 응답하여, 방법(44)은 동작(66)으로 진행한다. 동작(66)에서는, 제어 제스처가 실패하였는지에 대하여 결정이 이루어진다. 이것은 (도 1에 도시되고 위에 설명된) 사용자 인터페이스(14)와 유사하거나 동일한 사용자 인터페이스의 출력 신호에 기초하여 결정될 수 있다. 제어 제스처가 실패하였는지의 결정은, 예를 들면, 제어 제스처의 제1 중간 부분의 수행 이후의 시간의 양, 제어 제스처의 제1 중간 부분의 수행 이후에 제어 제스처에 포함되지 않은 액션들이 수행되었는지, 및/또는 다른 요인들에 기초하여 이루어질 수 있다. 일 실시예에서, 동작(66)은 (도 1에 도시되고 위에 설명된) 제스처 모듈(24)과 유사하거나 동일한 제스처 모듈에 의해 수행된다.
제어 제스처가 실패하지 않았다는 동작(66)에서의 결정에 응답하여, 방법(44)은 동작(64)으로 되돌아간다. 제어 제스처가 실패하였다는 동작(66)에서의 결정에 응답하여, 방법(44)은 동작들(60 및 62)로 진행한다.
일 실시예에서, 제어 제스처는 하나보다 많은 중간 부분을 포함한다. 이 실시예에서, 방법(44)은 추가적인 중간 부분(들)을 모니터하고 제1 중간 부분에 대하여 도시되고 설명된 것과 유사한 방식으로 대응하는 햅틱 자극을 생성하도록 동작들 52 및 64 사이에 확장된다.
도 6은 햅틱 자극을 결정하고 및/또는 햅틱 자극을 사용자에게 제공하는 방법(68)을 예시한다. 햅틱 자극은 게임과 관련하여, 및/또는 다른 컨텍스트들에서 결정되고 및/또는 사용자에게 제공될 수 있다. 아래에 제시된 방법(68)의 동작들은 예시적인 것으로 의도된다. 일부 실시예들에서, 방법(68)은 설명되지 않은 하나 이상의 추가적인 동작들로, 및/또는 논의된 동작들 중 하나 이상의 동작들 없이 달성될 수 있다. 또한, 방법(68)의 동작들이 도 6에서 예시되고 아래에 설명되는 순서는 제한적인 것으로 의도되어 있지 않다.
일부 실시예들에서, 방법(68)은 하나 이상의 처리 장치들(예를 들면, 디지털 프로세서, 아날로그 프로세서, 정보를 처리하도록 설계된 디지털 회로, 정보를 처리하도록 설계된 아날로그 회로, 상태 머신, 및/또는 정보를 전자적으로 처리하기 위한 다른 메커니즘들)에서 구현될 수 있다. 그 하나 이상의 처리 장치들은 전자 저장 매체에 전자적으로 저장된 명령어들에 응답하여 방법(68)의 동작들의 일부 또는 전부를 실행하는 하나 이상의 장치들을 포함할 수 있다. 그 하나 이상의 처리 장치들은 방법(68)의 동작들 중 하나 이상의 동작들의 실행을 위해 특별히 설계되도록 하드웨어, 펌웨어, 및/또는 소프트웨어를 통하여 구성된 하나 이상의 장치들을 포함할 수 있다.
동작(70)에서는, 가상 장비의 뷰가 터치 감응 전자 디스플레이를 통해 사용자에게 제시된다. 뷰는 뷰에서 제시된 가상 장비와 상호 작용하기 위해 사용자에 의해 선택 가능한 선택 가능 섹션들을 포함한다. 일 실시예에서, 가상 장비의 뷰는 (도 1에서 도시되고 위에 설명된) 콘텐트 모듈(22)과 유사하거나 동일한 콘텐트 모듈에 의해 결정된다.
동작(72)에서는, 가상 장비의 뷰의 선택 가능 섹션들 중 하나의 선택이 수신된다. 그 선택은 뷰가 제시되는 터치 감응 전자 디스플레이를 통하여 수신될 수 있다.
동작(74)에서는, 가상 장비의 동작이 시뮬레이션되고 및/또는 동작(72)에서 수신된 선택에 기초하여 가상 장비의 하나 이상의 파라미터들이 조정된다. 일 실시예에서, 동작(74)은 (도 1에서 도시되고 위에 설명된) 장비 모듈(28)과 유사하거나 동일한 장비 모듈에 의해 수행된다.
동작(76)에서는, 가상 장비의 동작 및/또는 동작(74)에서 실행된 가상 장비의 동작 파라미터들의 조정과 관련된 햅틱 자극이 결정된다. 일 실시예에서, 동작(76)은 (도 1에서 도시되고 위에 설명된) 자극 모듈(26)과 유사하거나 동일한 자극 모듈에 의해 수행된다.
동작(78)에서는, 동작(76)에서 결정된 햅틱 자극이 사용자를 위해 생성된다. 일 실시예에서, 동작(78)은 (도 1에서 도시되고 위에 설명된) 액추에이터들(16)과 유사하거나 동일한 하나 이상의 액추에이터들에 의해 수행된다.
위에 언급된 바와 같이, 단일 사용자에 대한 제스처 기반 제어에 응답하여 복잡한 햅틱 자극의 설명은 제한적인 것으로 의도되어 있지 않다. 다중 사용자 환경에서 제스처 기반 제어에 응답하여 생성된 햅틱 자극도 구상된다. 주어진 사용자에게 제공된 햅틱 자극은 다른 사용자의 제스처 기반 제어들 및/또는 다른 현상들에 응답하는 햅틱 피드백을 포함할 수 있다.
도 7은 본 발명의 하나 이상의 양태들에 따라 구성된, 휴대용 컴퓨팅 장치의 예(100)를 예시하는 도면이다. 특히, 태블릿 컴퓨터(102)가 도시되어 있다. 태블릿 컴퓨터(102)는 바디(106)에 장착된 스크린(104)을 포함하고, 그 상부 표면(108)은 사용자가 상호 작용하는 표면을 나타낸다. 이 예에서, 상부 표면(108)은 바디(106)에 의해 경계가 정해지지만, 스크린 영역은 태블릿의 가장자리들까지 내내 연장될 수 있다. 태블릿 컴퓨터(102)는 사용자가 표면(106)에 또는 그 가까이에 터치하였을 때를 결정하기 위해 임의의 수 또는 유형의 터치 감지 기술들을 이용할 수 있다. 예를 들면, 표면(108)은 저항 또는 캐패시턴스 기반 터치 감지 시스템 및/또는 광학 터치 감지 시스템을 포함할 수 있다.
이 예에서는 태블릿 컴퓨터가 도시되어 있으나, 임의의 터치 가능한(touch-enabled) 컴퓨팅 장치가 이용될 수 있다는 것을 이해할 수 있다. 예를 들면, 휴대폰 또는 미디어 플레이어와 같은 보다 작은 장치가 터치 가능한 디스플레이를 특징으로 삼을 수 있고 본 내용에 따라 햅틱 출력들을 제공할 수 있다. 다른 예로서, 다른 컴퓨팅 장치(예를 들면, 데스크톱 또는 서버 컴퓨터)와 관련되고 그것에 인터페이싱된 햅틱으로 인에이블되는(haptically-enabled) 디스플레이 표면이 이용될 수 있다. 예를 들면, 표면(108)은 위 또는 아래로부터 스크린 이미지가 투사되는 테이블과 같은 보다 큰 터치 가능한 표면을 나타낼 수 있다. 여기서는 평평한 표면이 도시되어 있으나, 본 내용은 곡선 모양의 표면 및/또는 매끄럽지 않은 표면들을 갖는 장치들에서 사용하기 위해 적용될 수 있다. 터치를 통해 컴퓨터(또는 다른 컴퓨팅 장치)에 입력되는 제스처들은 제어 제스처들일 수 있다. 터치를 포함하는 제스처들의 설명은 여기에 논의된 제어 제스처들의 범위를 제한하는 것으로 의도되어 있지 않다는 것을 알 것이다. 제어 제스처들은 (터치 제스처들과 함께 또는 터치 제스처들 없이) 컴포넌트 또는 바디의 조작(예를 들면, "틸트(tilt)" 컨트롤들), 하나 이상의 스틱 컨트롤들의 조작, 하나 이상의 버튼들의 조작, 하나 이상의 스위치들의 조작, 및/또는 다른 인터페이스 특징들의 조작 또는 다른 인터페이스 특징들과의 상호 작용을 포함할 수 있다.
도 7은 110에서 컴퓨팅 장치(102)의 아키텍처의 예를 예시한다. 컴퓨팅 장치(102)는 컴퓨터 프로그램 모듈들을 실행하도록 구성된 하나 이상의 프로세서들(112), RAM, ROM, 또는 다른 메모리 기술과 같은 메모리(114), 디스플레이 인터페이스(116), 햅틱 인터페이스(118), I/O 인터페이스(120), 및 네트워크 인터페이스(122)를 포함한다. 임의의 적절한 디스플레이 기술이 이용될 수 있다. 일부 실시예들에서, LCD 디스플레이가 이용된다.
햅틱 인터페이스(118)는 장치(102)의 사용자에게 물리적 감각을 제공하도록 햅틱 효과들을 재생하기 위해 사용되는 하나 이상의 액추에이터들을 구동하기 위한 적절한 컴포넌트들을 포함할 수 있다. 예를 들면, 디스플레이(104)의 일부 또는 전부는 사용자가 표면(108)을 터치하는 곳에서 물리적 효과를 제공하도록 디스플레이의 일부분에 목표된 물리적 출력이 제공될 수 있도록 임베드된 액추에이터들을 포함할 수 있다. 태블릿(102)의 다른 표면들, 예를 들면 그것의 측면들 및 표면(108)에 대향하는 표면(즉, 장치의 배면)을 통해 햅틱 출력을 제공하기 위해 추가적인 액추에이터들이 이용될 수 있다. 원하는 물리적 효과에 관하여 액추에이터의 위치가 변할 수 있다는 것을 알 것이다. 예를 들면, 스크린의 제1 부분에서 효과를 생성하기 위하여, 스크린 및/또는 장치의 개재하는 컴포넌트의 특성들이 스크린의 제1 부분에서 느껴지는 것에 영향을 끼치도록 스크린의 제2 부분에서(또는 장치 내의 어떤 다른 곳에서) 액추에이터가 구동될 수 있다.
일 실시예에서, 태블릿은 ERM(eccentric rotating mass) 모터를 갖는 액추에이터를 포함한다. 액추에이터는 태블릿 하우징의 표면에 직접으로 또는 간접으로 연결된다. 모터에 전력을 공급하면 사용자가 느낄 수 있는 표면 상의 진동을 일으킨다. 액추에이터에 보내지는 신호의 크기 및 주파수를 변경하는 것에 의해, 다양한 효과들이 가능하다. 다른 예로서, 리지(ridges), 트로프(troughs), 또는 다른 특징들을 생성하기 위해 스크린의 상부(raiser) 또는 하부(lower) 부분들에 액추에이터가 이용될 수 있다. 또 다른 예로서, 액추에이터는 압전기(piezoelectric)를 포함할 수 있다. 예를 들면, 압전 액추에이터가, 실리콘과 같은, 무기 폴리머 매트릭스에, 적어도 부분적으로, 임베딩될 수 있다. 또 다른 예로서, 액추에이터는 매크로 섬유 복합재료(macro-fiber composite) 액추에이터 또는 압전 복합재료(piezocomposite) 액추에이터를 포함할 수 있다. 그러한 액추에이터들은 매트릭스(예를 들면, 에폭시)에 서스펜드된(suspended) 압전 섬유들의 박층으로서 형성될 수 있다. 섬유들은 폴리이미드 전극들과 전기적으로 통신할 수 있다. 많은 다른 유형의 액추에이터들이 사용될 수 있고, 따라서 이 예시적인 액추에이터들의 설명은 제한적인 것으로 의도되어 있지 않다.
I/O 인터페이스(120)는 프로세서(들)(112)에 의해 임의의 적합한 컴포넌트들을 이용하여 입력을 수신하고 출력을 제공하기 위해 이용될 수 있다. 예를 들면, I/O 인터페이스(120)는 음성 입력을 수신하고 오디오 출력을 생성하기 위해 스피커들 및/또는 마이크에 연결될 수 있다. 다른 예로서, I/O 인터페이스(120)는 장치에 입력을 제공하기 위해 이용되는 마우스 또는 스타일러스와 같은 주변 장치들에, 또는 스틸 이미지들 및/또는 비디오를 캡처하기 위해 이용되는 이미지 센서에의 연결을 제공할 수 있다.
네트워크 인터페이스(122)는 하나 이상의 네트워킹 기술들을 이용하는 네트워크에 장치(102)를 연결하기 위해 이용될 수 있다. 예를 들면 인터페이스(122)는 IEEE 802.11(와이파이) 또는 802.16(와이맥스) 네트워크에 연결하기 위한 적합한 컴포넌트들에의 연결, 또는 블루투스 기술을 이용하는 연결을 제공할 수 있다. 다른 예로서, 인터페이스(122)는 전화, 인터넷, 또는 다른 유선 연결을 통한 통신을 허용할 수 있고 또는 IR 포트를 통한 통신과 같은 다른 무선 기술을 지원할 수 있다.
컴퓨팅 장치(102)는 추가적인 컴포넌트들을 포함할 수 있다. 예를 들면, 하나 이상의 저장 컴포넌트들(예를 들면, 자기 또는 솔리드-스테이트 하드 디스크 드라이브들)이 포함될 수 있다. 만일 컴퓨팅 장치(102)가 휴대폰을 포함한다면, 적절한 RF 컴포넌트들이 또한 포함될 수 있다.
메모리(114)는 의도된 방식으로 동작하도록 컴퓨팅 장치(102)를 구성하는 하나 이상의 프로그램 컴포넌트들을 실체적으로 구현한다. 예를 들면, 메모리(114)는 하나 이상의 애플리케이션들, 운영 체제를 포함할 수 있고, 또한 저장된 데이터를 포함할 수 있다. 예시된 바와 같이, 메모리(114)는 또한 후술된 하나 이상의 양태들에 따라 대화식 게임을 제공하기 위한 프로그램 컴포넌트(124)를 포함한다.
일반적으로, 게임은 디스플레이(104)를 통해 플레이 영역(126)을 제시하고, 플레이 영역에서 가상 오브젝트(128)(예를 들면, 공)의 움직임을 추적하고, 패들(130)을 이용하여 플레이 동안에 가상 오브젝트를 발사하고 편향시키는 사용자 상호 작용들에 응답하도록 컴퓨팅 장치(102)를 구성할 수 있다. 또한, 게임은 가상 오브젝트가 플레이 영역을 통하여 이동하고 플레이 영역의 특징들과 마주칠 때 햅틱 효과들을 재생하도록 구성될 수 있다. 햅틱 효과들은 마주치는 특정한 특징들에 기초하여 다른 감각을 제공하도록 선택될 수 있다. 이 예에서, 플레이 영역은 상부 T, 하부 B, 및 좌측 L, 및 우측 R을 포함한다. 게임은 가상 오브젝트가 좌측 L에 도달하기 전에 패들(130)에 의해 편향되도록 구성될 수 있다. 만일 다수의 플레이어들이 수반된다면, 가상 오브젝트는 후술되는 바와 같이 하나 이상의 측면들 T, B, 또는 R에서 나가고 다른 사용자의 스크린으로 넘어갈 수 있다.
도 8a는 다중 사용자 플레이를 지원하기 위한 게임의 사용의 예(200A)를 예시한다. 게임 프로그램은 다수의 스크린들을 포함하는 플레이 영역에서 가상 오브젝트의 위치를 추적하는 것을 용이하게 하기 위해 데이터를 송신하고 수신하는 것을 지원할 수 있다. 이 예에서 제1 장치(202)는 네트워크(206)를 통해 제2 장치(204)에 인터페이스된다. 네트워크(206)는 LAN(local area network), WAN(wide area network)을 포함할 수 있고, 또는 장치들(202 및 204) 사이의 직접 연결을 나타낼 수 있다. 게임의 인스턴스를 실행하는 다수의 장치들을 인터페이스하는 것에 의해, 사용자는 가상 오브젝트가 다른 사용자의 스크린 내의 특징들과 마주칠 때 햅틱 효과들을 경험할 수 있다. 그러한 햅틱 효과들은 다른 사용자의 스크린에서 입력된 제어 제스처에 따라 결정된 햅틱 효과들을 포함할 수 있다.
예를 들면, 만일 도 7의 플레이 영역(126)이 이용된다면, 가상 오브젝트(128)가 제1 장치의 우측 R에서 나갈 때 그것은 제2 장치의 우측 R에서 스크린에 들어갈 수 있다. 다른 예로서, 장치들은 미러-이미지 레이아웃들을 가질 수 있다; 즉, 장치(202)는 좌측 L을 따라서 패들(130)을 특징으로 삼을 수 있는 반면 장치(204)는 우측 R을 따라서 패들(130)을 포함한다. 그 경우, 가상 오브젝트가 제1 장치의 플레이 영역의 우측 R에 도달할 때, 그것은 다른 장치의 좌측 L에서 플레이 영역에 들어갈 수 있고, 다른 장치의 플레이 영역에서 우측 R 및 패들(130)을 향하여 나아갈 수 있다.
일부 실시예들에서, 다중 사용자 플레이가 서버에 의해 용이하게 될 수 있는 것을 예시하기 위해 서버(208)가 도시되어 있다. 그러나, 전술한 바와 같이, 일부 실시예들에서 게임 프로그램은 서버의 필요 없이 다른 인스턴스들과 직접 인터페이스하도록 구성된다.
도 8b는 다중 사용자 플레이의 다른 예(200B)를 예시한다. 이 예에서, 제1 네트워크(206)를 통해 3개의 장치들(202, 204, 및 210)이 인터페이스되어 있다. 제2 네트워크(214)는 제4 장치(212)와의 상호 작용을 용이하게 한다. 예를 들면, 네트워크(206)는 근거리 네트워크 연결을 포함할 수 있는 반면 네트워크(214)는 광역 네트워크 연결을 포함할 수 있다. 일부 실시에들에서 다수의 플레이어들의 상대적 위치가 고려될 수 있다는 것을 보여주기 위해 나침반(216)이 예시되어 있다. 예를 들면, "가장 서쪽" 플레이어로서, 장치(202)는 좌측 L의 패들(130)을 포함할 수 있다. 장치(204)는 "가장 북쪽"에 있으므로, 장치(204)는 상측 T를 따라서 배치된 그것의 패들을 가질 수 있다. 장치(210)는 하측 B를 따라서 배치된 그것의 패들을 가질 수 있고, 장치(212)는 우측 R을 따라서 배치된 그것의 패들을 가질 수 있다. 대안적으로, 패들은 각 사용자에 대하여 스크린의 동일한 측에 남을 수 있지만 공유되는 플레이 영역의 주위에 사용자들의 상대적 위치를 유지하기 위해 가장자리들 사이에 적절히 매핑된다.
다양한 실시예들에서 게임은 각 장치의 방위, 플레이어들의 상대적 위치, 및 스크린 영역들의 상대적 크기와 같은 다른 고려 사항들과 같은 요인들에 기초하여 플레이 영역들 사이에 거동 및 연결들을 동적으로 조정하도록 구성될 수 있다는 것을 이해할 것이다. 후술되는 바와 같이, 가상 오브젝트는 플레이 영역의 경계들과 마주치는 것에 더하여 또는 그 대신에 다른 방법들로 하나의 스크린으로부터 다른 스크린으로 이동할 수 있다.
도 9는 복수의 시간 간격 (Ⅰ), (Ⅱ), 및 (Ⅲ)에 걸쳐서 2명의 각각의 사용자들 A 및 B에 대한 플레이 영역들(302A 및 302B)의 예를 예시한다. 각 플레이 영역(302)은 각각의 패들(304)을 포함한다. 시간 간격 (Ⅰ)에서, 가상 오브젝트(306)가 패들(304B)로부터 플레이 영역(302B)의 경계를 향하여 발사되었거나 편향되었다. 시간 간격 (Ⅱ)에서 도시된 바와 같이, 플레이 영역(302B)으로부터의 출구 지점(308)이 플레이 영역(302A) 내의 입구 지점(310)에 매핑된다. 매핑은 가상 오브젝트가 플레이 영역들 사이에 즉시 지나가게 할 수 있고 또는 플레이어들 사이의 거리(예를 들면, GPS 및/또는 다른 삼각 측량 또는 근접 검출 기법들에 의해 결정됨)에 기초하여 지연이 있을 수 있다. 좌우간, 시간 간격 (Ⅱ)는 가상 오브젝트(306)가 패들(304A)과 마주치는 것을 묘사한다. 예를 들면, 사용자 A는 가상 오브젝트(306)를 인터셉트 하기 위해 그의 장치의 디스플레이 표면을 따라서 사용자의 손가락을 슬라이딩(sliding)하는 것에 의해 패들(304A)을 이동시켰을 수 있다.
가상 오브젝트(306)가 패들(304A)과 마주칠 때, 햅틱 효과 H1이 선택되고 재생된다. 예시된 바와 같이, 햅틱 효과 H1은 사용자 A가 패들(304A)을 터치하는 지점(및/또는 플레이 영역(302)의 다른 부분)에 국지화된다. 전술한 바와 같이, 하나 이상의 액추에이터들에게 운동 또는 다른 효과를 제공하도록 명령하는 것에 의해 감각이 생성될 수 있다; 액추에이터들은 그 효과가 느껴지도록 의도되는 지점 및/또는 어떤 다른 곳에 위치할 수 있다. 도 9는 효과 H1을 플레이 영역(302A)에서는 "(((H1)))"으로서 및 플레이 영역(302B)에서는 "(H1)"으로서 보여주는데, 이는 그 효과가 플레이어 B를 위해서도 재생되고 플레이어 B의 터치 지점에 국지화되기 때문이다. 그러나, 표시된 바와 같이 효과 H1의 강도는 플레이어들 A와 B 사이에 상이하다.
햅틱 효과는 게임의 시뮬레이션된 물리학에 기초하여 선택될 수 있다. 예를 들면, 패들들(304)은 단단한 표면을 나타낼 수 있고, 따라서 효과 H1은 강한 날카로운 효과를 포함할 수 있다. 편향은 "충격(hit)"을 나타내도록 의도되어 있으므로, 효과 H1은 게임에서 가장 강한 효과일 수 있다. "충격"은 가상 오브젝트가 되돌아올 것이라는 것을 사용자 B에게 경고하기 위해 사용자 B에게 재생되고 사용자 B는 들어오는 가상 오브젝트를 편향시키기 위해 준비할 수 있다. 충격은 적합한 방향의 지시자와 함께 플레이어 B에게 재생될 수 있다 ― 예를 들면, 그 효과는 그것이 상부 또는 하부보다는 좌측으로부터 시작된 것 같이 느껴지도록 설계될 수 있다; 이것은 3명 이상의 사용자들이 함께 플레이하고 있을 때 유익할 수 있다.
상이한 플레이어의 스크린에서 일어나는 충돌(또는 다른 이벤트)에 대해서도 햅틱 효과를 재생하는 것에 의해, 게임은 플레이어들이 서로의 플레이 영역들을 볼 수 없더라도 플레이어들이 공간을 공유하고 있다는 지각을 향상시킬 수 있다. 따라서, 플레이어들은 게임에 더 몰두하게 될 수 있고 더 흥미진진한 경험을 가질 수 있다.
도 10은 플레이의 다른 예를 예시하고 플레이 영역의 경계에서 튀며 나는 가상 오브젝트를 도시한다. 특히, 3개의 시간 간격들 (Ⅰ), (Ⅱ), 및 (Ⅲ)가 다시 도시되어 있다. 플레이 영역들(402A 및 402B)은 플레이어들 A 및 B에 대응하는 한편, 패들들(404) 및 가상 오브젝트(406)가 또한 예시되어 있다. 시간 간격 (Ⅰ)에서 도시된 바와 같이, 가상 오브젝트(406)는 플레이 영역(402)의 상부 경계의 지점(408)을 향하는 궤도로 발사된다. 간격 (Ⅱ)는 가상 오브젝트(406)가 지점(408)과 마주치는 때를 예시한다. "바운스(bounce)" 햅틱 효과 H2가 플레이어들 A 및 B에게 재생되고, 각각의 패들들(404A 및 404B)에서의 그들의 터치 지점들에 국지화된다.
"바운스"는 플레이 영역(402B)에서 일어나고 패들(404A)보다 패들(404B)에 더 가까운 위치에 있으므로, 그것은 플레이 영역(402B)에서는 "((H2))"로 묘사되어 있고 플레이 영역(402A)에서는 "(H2)"로서 묘사되어 있는데, 이는 바운스가 플레이어 B에게 "더 소리가 크기" 때문이다. 시간 간격 (Ⅲ)에서 도시된 바와 같이, 바운스 후에 가상 오브젝트는 플레이 영역(402A)로 넘어간다. 바운스에 경고를 받아, 플레이어 A는 가상 오브젝트를 인터셉트해서 그것이 패들(404A) 뒤의 골 영역에 도달하는 것을 막으려고 시도할 수 있다.
도 11은 본 내용의 다른 양태를 예시하는 도면이다. 가상 오브젝트 궤도를 변경하는 이벤트들 또는 다른 "불연속" 이벤트들에 응답하여 재생되는 햅틱 효과들에 더하여 또는 그 대신에, 연속적인 효과를 시뮬레이션하도록 햅틱 효과들이 재생될 수 있다. 이 예에서, 2명의 플레이어들 A 및 B에 대한 플레이 영역들(502)이 시간 간격 (Ⅰ) 및 시간 간격 (Ⅱ)에 도시되어 있다. 예시를 위하여, 플레이어 영역들(502)은 "세로(portrait)"보다는 "가로(landscape)" 방위로 도시되어 있다. 각 플레이 영역은 또한 각각의 패들(504)을 특징으로 삼고, 가상 오브젝트(506)가 묘사되어 있다.
이 예의 각 플레이 영역은 또한 점선들로 표현된 심들(seams)(508)을 포함한다. 예를 들면, 심들(508)은 플레이 영역에 묘사된 나무 표면 내의 널빤지들 사이의 경계들을 나타낼 수 있다. 나무 패널 배경을 시뮬레이션하기 위해, 그 표면을 따라서 구르는 가상 오브젝트와 상관되는 연속적인 낮은 덜거덕 소리 효과(low rumble effect)가 심들(508)과 마주치는 가상 오브젝트와 상관되는 딸각 소리 효과들(click effects)과 조합될 수 있다. 이 효과는 도 11에서 "H3"로서 도시되어 있다. 시간 간격 (Ⅰ)에서, 효과는 플레이어 B에 대해서는 "((H3))"로서 도시되어 있고 플레이어 A에 대해서는 "(H3)"로서 도시되어 있는데, 이는 가상 오브젝트가 패들(504A)보다 패들(504B)에 더 가깝기 때문이다. 시간 간격 (Ⅱ)에서, 효과 H3는 패들(504A)에 대하여 더 소리가 큰데, 이는 가상 오브젝트(506)가 플레이어 A를 향하여 이동하고 있기 때문이다. 배경 효과는 심들(508)과 관련하여 도시되어 있지만, 배경 효과는 표면만(즉, 연속적인 표면)을 시뮬레이션하기 위해 포함될 수 있고 또는 시뮬레이션된 배경 표면이 변할 때(예를 들면, 나무 영역으로부터 금속 영역으로 콘크리트 영역으로, 등등) 바뀔 수 있다.
도 12는 본 내용에 따른 게임을 제공하기 위한 방법(600)의 예시적인 단계들을 예시하는 흐름도이다. 블록(602)은 하나 이상의 플레이 영역들을 셋업하는 것을 나타낸다. 예를 들면, 2명의 사용자들이 플레이하기를 원한다면, 각각의 플레이 영역들이 초기화될 수 있고 공유된 경계들(및/또는 다른 입구-출구 지점들) 사이의 매핑들이 결정될 수 있다.
블록(604)은 플레이가 계속되는 동안에 일어난다. 게임의 적어도 하나의 인스턴스가 게임의 물리학을 시뮬레이션하는 모델에 기초하여 패들들, 장애물들, 및 플레이 영역의 특성들과의 상호 작용에 기초하여 가상 오브젝트의 위치 및 운동을 추적할 수 있다. 예를 들면, 모델은 플레이 영역 내의 가상 오브젝트 및 다른 아이템들의 운동량, 질량, 및 재료 특성들을 시뮬레이션하는 것에 기초하여 가상 오브젝트의 속도 및 방향의 변화들을 제공할 수 있다.
블록(606)에서는, 이벤트에서, 이벤트 전에, 및/또는 이벤트 후에 가상 오브젝트의 위치 및 운동에 기초하여, 재생할 하나 이상의 햅틱 효과들이 결정될 수 있다. 예를 들면, 가상 오브젝트가 플레이 영역 내의 경계 또는 다른 오브젝트와 마주치면, 가상 오브젝트와 경계/오브젝트 사이의 물리적 상호 작용과 관련된 햅틱 효과가 재생을 위해 선택될 수 있다. 상이한 경계들/오브젝트들은 상이한 효과들로 귀결될 수 있다. 예를 들면, 경계 또는 패들은 "단단한" 효과로 귀결될 수 있는 반면, 플레이 영역에 포함된 장애물들은 "부드러운" 효과들을 가질 수 있다. 시뮬레이션된 가상 오브젝트의 특성들도 고려될 수 있다 ― 게임은 단단한(예를 들면, 강철) 가상 오브젝트 또는 부드러운(예를 들면, 고무) 가상 오브젝트를 갖는 모드를 햅틱 출력 방식의 적절한 변화들을 이용하여 지원할 수 있다.
추가적으로 또는 대안적으로 햅틱 효과는 배경 효과들과 관련이 있을 수 있다. 예를 들면, 전술한 바와 같이, 시뮬레이션된 표면 위에 가상 오브젝트의 통과를 시뮬레이션하는 연속적인 햅틱 효과가 그 표면의 특성들에 기초하여 제공될 수 있다. 다른 예로서, 표면은 가상 오브젝트가 통과하기 위한 재료 또는 장애물을 포함할 수 있고 그 재료/장애물을 통한 통과를 시뮬레이션하기 위해 적합한 햅틱 효과가 제공될 수 있다.
블록(608)에서는, 게임은 햅틱 효과가 어떻게 출력될 것인지를 조정하기 위해 햅틱 전달 지점(들)에 관하여 가상 오브젝트의 위치를 결정한다. 예를 들면, 햅틱 전달 지점은 사용자가 장치의 스크린을 터치하는 지점을 포함할 수 있다. 햅틱 효과의 "소리의 크기(loudness)"(즉, 강도)는 전달 지점과 가상 오브젝트 사이의 거리에 반비례할 수 있다. 방향성도 적용될 수 있다. 예를 들면, 튀며 날기(ricochet)가 다른 스크린 상에서 일어난다면, 제시되는 햅틱 효과는 방향 성분을 포함할 수 있고 또는 튀며 날기가 어디에서 일어났는지의 표시를 주기 위해 다른 방법으로 제시될 수 있다.
블록(610)에서는, 원하는 볼륨을 가진 햅틱 효과(들)를 생성하기 위해 액추에이터들에 적합한 신호들이 송신된다. 예를 들면, 게임은 상이한 햅틱 효과들을 생성하는데 이용되는 신호 패턴들의 라이브러리를 참고하고 장치의 스크린 및/또는 다른 부분들에 임베딩된 하나 이상의 액추에이터들에 명령하기 위해 그 신호 패턴들을 사용할 수 있다. 햅틱 효과는 사운드들 및/또는 시각적 요소들도 포함할 수 있다.
다중 사용자 플레이에 대하여, 게임의 각각의 인스턴스는 그 인스턴스의 플레이 영역에 있는 동안에 가상 오브젝트의 위치 및 운동을 결정하고 그 정보를 다른 인스턴스들에 전달할 수 있다. 가상 오브젝트가 플레이 영역에서 나갈 때, 가상 오브젝트의 운동에 관한 정보(예를 들면, 방향 및 속도를 갖는 벡터)는 그 가상 오브젝트를 수신할 플레이 영역을 갖는 게임의 인스턴스에 의한 추적을 계속하기 위해 이용될 수 있다.
일부 실시예들에서, 이벤트가 일어날 때 및/또는 배경 효과들이 제공될 때, 햅틱 효과는 햅틱 효과가 트리거되어야 할 때 가상 오브젝트를 포함하는 플레이 영역을 갖는 게임의 인스턴스에 의해 선택되고 그 정보는 게임의 다른 인스턴스들에 제공된다. 예를 들면, 플레이어 A 및 플레이어 B를 수반하는 게임에서, 가상 오브젝트가 플레이어 A의 플레이 영역 내의 장애물, 경계, 또는 패들과 충돌한다면, 플레이어 A의 장치 상의 게임의 인스턴스는 그것의 충돌 및 위치에 관한 정보와 함께 원하는 햅틱 효과를 플레이어 B의 장치에 제공하여 플레이어 B의 장치 상의 게임의 인스턴스가 그 효과에 대한 볼륨 또는 방향성을 결정하는데 이용하게 할 수 있다.
도 13은 본 내용의 양태들에 따라 구성된 게임의 인스턴스에 대한 인터페이스(700)의 예를 예시하는 도면이다. 이 예에서는, 핀볼 같은 게임이 제시되고 플레이 영역(702)은 스크린 경계들로부터 안쪽으로 연장하는 경계(704, 706)를 포함한다. 게임의 목적은 공 또는 다른 오브젝트와 같은 가상 오브젝트(도시되지 않음)를 패들(710)을 이용하여 편향시키는 것에 의해 그 가상 오브젝트가 708에 도달하는 것을 막는 것이다. 플레이를 시작하기 위해, 가상 오브젝트는 패들(710)로부터 발사될 수 있고 또는 플레이 영역(702) 내의 어떤 다른 곳에서 나타날 수 있다.
인터페이스(700)는 입력들을 제공하고 메뉴들에 액세스하는데 이용될 수 있는 복수의 컨트롤 버튼들(712, 714, 716, 및 718)을 포함한다. 예를 들면, 버튼들(712 및 714)은 플레이 및 일시 정지 버튼들을 포함할 수 있는 반면, 버튼(716)은 "시작" 명령을 제공하고 버튼(718)은 게임을 종료하거나 또는 게임을 구성하거나, 저장하거나, 종료하기 위한 메뉴를 시작한다. 일부 실시예들에서, 컨트롤 버튼들(712-718)에는 물리적 버튼을 누르는 것을 시뮬레이션하는 적합한 햅틱 효과들이 제공될 수 있다.
플레이 영역(702)을 참조하면, 시각적 경험을 향상시키기 위해 복수의 시뮬레이션된 라이트들(720)이 제공될 수 있고; 이 라이트들은 장애물들로서 작용할 수 있거나 그렇지 않을 수 있다. 범퍼(722)는 가상 오브젝트가 경계(704, 706)로부터 튀며 날기와 다른 방식으로 충돌에 응답하여 "바운스"하도록 할 수 있다. 예를 들면, 경계(704, 706)는 날카로운 튀며 날기 효과를 야기하는 시뮬레이션된 금속 경계로서 제시될 수 있다. 범퍼(722)는 핀볼 머신 범퍼의 것과 유사한 방식으로 가상 오브젝트에 힘을 주기 전에 초기량의 "탄력성(give)"을 특징으로 삼을 수 있다. 따라서, 가상 오브젝트가 경계(704, 706) 또는 범퍼(722)와 마주칠 때, 그 경계들/범퍼의 시뮬레이션된 물리적 응답에 따라서 상이한 감각들을 제공하기 위해 사용자가 스크린과 접촉하는 지점(들)에서 상이한 각각의 햅틱 효과들이 재생될 수 있다. 또한, 전술한 바와 같이, 효과의 강도는 사용자가 스크린과 접촉하는 지점(들)까지의 거리에 의존할 수 있다.
이 예는 금속 바들(724, 726, 및 728)을 특징으로 삼고, 그것들은 가상 오브젝트와의 충돌들에 대한 또 다른 응답을 제공할 수 있고 그것들 자신의 각각의 햅틱 효과가 할당될 수 있다. 화살들(730)은 시각적 효과를 포함할 수 있고 및/또는 실로폰(xylophone) 구조(732)로의 가상 오브젝트의 가속으로 귀결될 수 있다. 이 예에서, 실로폰 구조(732)는 복수의 키들(732A, 732B, 732C로 식별됨)을 포함하고, 각각의 상승적인 키는 그 자신의 관련된 햅틱 효과를 갖는다. 예를 들면, 가상 오브젝트가 키(732A)로부터 키(732B)에서 키(732C)로 이동할 때, 햅틱 효과는 대응하는 실로폰 사운드 효과들과 함께 피치가 증가할 수 있다. 동시에, 햅틱 효과는 가상 오브젝트가 멀리 이동할 때 강도가 감소할 수 있다.
일부 실시예들에서, 지점(734)은 플레이 영역으로부터 및 플레이 영역(702)과 동일한 제2 사용자의 플레이 영역으로의 출구를 나타낸다. 가상 오브젝트가 플레이 영역(702)에 들어갈 때, 그것은 슈트(chute)(736)를 통해 그 슈트를 통한 통과를 나타내는 동반하는 "덜거덕 소리(rattle)"와 함께 되돌아올 수 있다. 전술한 바와 같이, 한 사용자의 플레이 영역에서의 각 햅틱 효과는 또한 다른 사용자의(또는 사용자들의) 플레이 영역(들)에서 재생될 수 있지만 그 햅틱 효과를 야기하는 이벤트의 사이트 및 사용자의 스크린과의 접촉 지점으로부터의 분리에 기초하여 강도가 대응하여 감소한다.
일부 실시예들은 738에 도시된 바와 같이 소용돌이(vortex)의 하나 이상의 인스턴스들을 특징으로 삼는다. 소용돌이(738)는 가상 오브젝트를 개구(740)를 향하여 유인하는 플레이 영역(702)의 일부분을 포함할 수 있다. 가상 오브젝트가 개구(740)에 도달하면, 가상 오브젝트는 다른 플레이 영역으로 지나갈 수 있다. 가상 오브젝트가 소용돌이(738)와 처음 접촉할 때, 소용돌이의 "끌어당김(pull)"을 나타내는 제1 햅틱 효과가 재생될 수 있고, 그 효과는 가상 오브젝트가 개구(740)에 도달할 때까지(및 도달하면) 더 강해진다. 그 시점에서, 가상 오브젝트가 다른 플레이 영역 내의 소용돌이로부터 나가는 것을 나타내기 위해 "출구" 효과가 재생될 수 있다. 이것은, 예를 들면, 가상 오브젝트를 받는 플레이 영역의 사용자에게 사용자의 패들(710)을 위치로 이동시키도록 경고할 수 있다.
일부 실시예에서, 가상 오브젝트가 골 영역(708)으로부터 편향되지 않는다면, 가상 오브젝트의 흡수 또는 폭발과 같은, 영역(708)에 들어감을 나타내는 햅틱 효과가 제시된다. 그 시점에서, 게임의 규칙에 따라서, 가상 오브젝트는 또 다른 라운드를 위해 패들(710)을 통해 다시 발사되도록 제공될 수 있다. 일부 실시예들에서, 게임은 하나의 플레이어가 미리 정해진 스코어 레벨(예를 들면, 7 골) 및/또는 스코어 차이(3 골만큼 앞서)에 도달할 때까지 진행된다. 다른 예로서, 점수 값들은 특정한 장애물들(예를 들면, 범퍼(722), 바(724, 726, 728), 라이트(720))에 부딪히거나 실로폰 구조(732)의 모든 키들을 통과하는 것과 관련될 수 있다. 실시예들은 플레이의 코스 중에 장애물들을 이동시키거나 파괴하는 것(예를 들면, 벽돌들을 돌파하는 것)과, 장애물들의 움직임 또는 파괴에 기초하여 적합한 햅틱 효과들이 제공되는 것을 지원할 수 있다.
일부 실시예들에서, 컴퓨팅 장치는 터치 스크린으로부터의 사용자의 손가락들 또는 스타일러스의 거리 및/또는 터치 압력에 민감할 수 있다. 이들 특징들은 게임의 플레이 동안에 및/또는 게임 애플리케이션을 구성하는데 이용될 수 있다. 예를 들면, 사용자가 스크린 또는 다른 햅틱으로 인에이블되는 영역을 터치하고 있지 않다는 것을 장치가 나타낸다면, 전력 소비를 줄이기 위해 햅틱 효과들이 꺼질 수 있다. 다른 예로서, 사용자는 입력을 제공하기 위해 호버링(hover)할 수 있다. 예를 들면, 버튼들(712-716)이 제시된 영역은 통상적으로 흠집난 금속(brushed metal)처럼 나타날 수 있지만, 그 버튼들은 사용자가 그 영역을 호버링하거나 터치하는 것에 응답하여 나타날 수 있다.
상기 몇몇의 예들에서, 게임 플레이는 터치를 이용한 패들의 움직임에 기초하여 진행되었다. 추가적으로 또는 대안적으로, 게임 플레이는 틸트 센서들 및/또는 가속도계들에 의존할 수 있다. 예를 들면, 사용자들은 가상 오브젝트 및/또는 패들 위치의 움직임에 영향을 미치기 위해 그들의 장치들을 기울이거나 흔들 수 있다. 사용자들이 그들의 각각의 장치들을 잡는 지점(들)에서 햅틱 효과들이 전달될 수 있다. 일부 실시예들에서, 게임은 사용자마다 다수의 패들들을 사용할 수 있고 또는 패들들을 전혀 사용하지 않고 모든 입력은 기울기/가속도에 기초할 수 있다.
다중 사용자 플레이의 몇몇의 예들이 제공되었다. 일부 실시예들에서는, 단일 사용자 플레이도 지원된다. 예를 들면, 플레이 영역이 완전히 닫힐 수 있고, 가상 오브젝트는 패들 및 골 영역을 향하여 되돌아온다. 다른 예로서, 단일 사용자 플레이는 시뮬레이션된 하나 이상의 다른 플레이어들과 함께 진행될 수 있고, 다른 플레이어들은 각각의 시뮬레이션된 플레이 영역을 갖고 가상 오브젝트가 시뮬레이션된 플레이 영역에 들어갈 때 대응하는 햅틱 피드백을 갖는다.
본 발명은 현재 가장 실용적이고 바람직한 실시예들인 것으로 생각되는 것에 기초하여 예시를 위하여 상세히 설명되었지만, 그러한 세부사항은 단지 그것을 위한 것이고 본 발명은 개시된 실시예들에 제한되지 않고, 반대로, 부속된 청구항들의 사상 및 범주 내에 있는 수정들 및 동등한 배열들을 포함하도록 의도되었다는 것을 이해해야 할 것이다. 예를 들면, 본 발명은, 가능한 정도까지, 임의의 실시예의 하나 이상의 특징들이 임의의 다른 실시예의 하나 이상의 특징들과 조합될 수 있는 것을 구상한다는 것을 이해해야 한다.

Claims (40)

  1. 사용자에게 햅틱 자극을 제공하도록 구성된 시스템으로서,
    사용자의 제스처들과 관련된 출력 신호들을 생성하도록 구성된 사용자 인터페이스;
    상기 사용자에게 햅틱 자극을 생성하도록 구성된 햅틱 장치; 및
    컴퓨터 프로그램 모듈들을 실행하도록 구성된 하나 이상의 프로세서들
    을 포함하고,
    상기 컴퓨터 프로그램 모듈들은,
    상기 사용자 인터페이스의 출력 신호들에 기초하여 상기 사용자에 의한 제어 제스처의 수행을 모니터하도록 구성된 제스처 모듈 - 상기 제어 제스처는 상기 시스템에 입력되는 명령과 연관된 제스처이고, 처음 부분, 제1 중간 부분 및 종료 부분을 포함함 -;
    상기 제스처 모듈로부터의 상기 제어 제스처의 수행과 관련된 정보를 수신하고, 상기 제어 제스처와 연관된 상기 사용자를 위해 생성될 햅틱 자극을 결정하도록 구성된 자극 모듈 - 상기 햅틱 자극은 상기 제어 제스처의 상기 처음 부분의 수행에 응답하여 결정된 제1 자극, 및 상기 제1 자극과는 다르고 상기 제어 제스처의 상기 제1 중간 부분의 수행에 응답하여 결정되는 제2 자극을 포함함 -; 및
    상기 햅틱 장치를 제어하여 상기 자극 모듈에 의해 결정된 햅틱 자극을 생성하도록 구성된 제어 모듈
    을 포함하고,
    상기 제1 중간 부분의 실패가 확인된 경우, 상기 제어 제스처의 실패를 나타내는 햅틱 자극이 생성되는, 시스템.
  2. 제1항에 있어서,
    상기 자극 모듈은 상기 제어 제스처와 연관된 상기 햅틱 자극이, 상기 제1 자극 및 상기 제2 자극과는 다르고 상기 제어 제스처의 상기 종료 부분의 수행에 응답하여 결정되는 제3 자극을 포함하도록 구성되는 시스템.
  3. 제1항에 있어서,
    상기 제어 제스처는 제2 중간 부분을 더 포함하고, 상기 자극 모듈은 상기 제어 제스처와 연관된 상기 햅틱 자극이 상기 제1 자극 및 상기 제2 자극과는 다르고 상기 제어 제스처의 상기 제2 중간 부분의 수행에 응답하여 결정되는 제3 자극을 포함하도록 구성되는 시스템.
  4. 제3항에 있어서,
    상기 제2 자극은 상기 제어 제스처의 상기 제2 중간 부분이 시작되어야 한다는 것을 상기 사용자에게 신호하기 위해 결정되는 시스템.
  5. 제1항에 있어서,
    상기 제어 제스처와 연관되어 입력되는 상기 명령은 단일의 불연속 명령(single, discrete command)인 시스템.
  6. 제1항에 있어서,
    상기 제2 자극은 상기 제1 자극의 하나 이상의 파라미터들을 조정하는 것에 의해 결정되는 시스템.
  7. 제6항에 있어서,
    상기 제2 자극을 결정하기 위해 조정되는 상기 제1 자극의 상기 하나 이상의 파라미터들은 주기성, 힘, 방향성, 또는 위치 중 하나 이상을 포함하는 시스템.
  8. 제1항에 있어서,
    상기 제어 제스처의 상기 제1 중간 부분은 미리 결정된 기간의 시간 동안 터치 감응 표면과 접촉을 유지하는 것을 포함하는 시스템.
  9. 제1항에 있어서,
    상기 제스처 모듈은 상기 사용자들이 상기 제어 제스처의 수행을 시작하고 상기 제어 제스처의 모든 부분들을 성공적으로 수행하지 않는 것에 응답하여 제어 제스처 실패를 식별하도록 구성되고, 상기 자극 모듈은 상기 제어 제스처와 연관된 상기 햅틱 자극이 상기 제1 자극 및 상기 제2 자극과는 다르고 상기 제스처 모듈에 의한 제어 제스처 실패의 식별에 응답하여 결정되는 제3 자극을 포함하도록 구성되는 시스템.
  10. 제1항에 있어서,
    상기 자극 모듈은 상기 제1 자극 및/또는 상기 제2 자극이 상기 사용자의 제어를 받는 게임 내의 캐릭터의 기술-레벨(skill-level), 피로도(fatigue), 또는 부상(injury) 중 하나 이상에 기초하여 부분적으로 결정되도록 구성되는 시스템.
  11. 시스템의 사용자에게 햅틱 자극을 제공하는 컴퓨터 구현 방법으로서, 상기 방법은 컴퓨터 프로그램 모듈들 실행하도록 구성된 하나 이상의 프로세서 및 햅틱 장치를 포함하는 상기 시스템에서 구현되고,
    상기 하나 이상의 프로세서 상에서, 사용자에 의한 제어 제스처의 수행을 모니터링하는 단계 - 상기 제어 제스처는 상기 시스템에 입력되는 명령과 연관된 제스처이고, 처음 부분, 제1 중간 부분 및 종료 부분을 포함함 -;
    상기 하나 이상의 프로세서 상에서, 상기 사용자를 위해 생성될 상기 제어 제스처의 수행과 연관된 햅틱 자극을 결정하는 단계 - 상기 햅틱 자극은 상기 제어 제스처의 상기 처음 부분의 수행에 응답하여 결정된 제1 자극, 및 상기 제1 자극과는 다르고 상기 제어 제스처의 상기 제1 중간 부분의 수행에 응답하여 결정되는 제2 자극을 포함함 -; 및
    상기 햅틱 장치에 의해, 상기 제어 제스처의 수행 동안에 상기 결정된 자극을 생성하는 단계
    를 포함하고,
    상기 제1 중간 부분의 실패가 확인된 경우, 상기 제어 제스처의 실패를 나타내는 햅틱 자극이 생성되는, 컴퓨터 구현 방법.
  12. 제11항에 있어서,
    상기 제어 제스처와 연관된 상기 햅틱 자극은 상기 제1 자극 및 상기 제2 자극과는 다르고 상기 제어 제스처의 상기 종료 부분의 수행에 응답하여 결정되는 제3 자극을 포함하는 컴퓨터 구현 방법.
  13. 제11항에 있어서,
    상기 제어 제스처는 제2 중간 부분을 더 포함하고, 상기 제어 제스처와 연관된 상기 햅틱 자극은 상기 제1 자극 및 상기 제2 자극과는 다르고 상기 제어 제스처의 상기 제2 중간 부분의 수행에 응답하여 결정되는 제3 자극을 더 포함하는 컴퓨터 구현 방법.
  14. 제13항에 있어서,
    상기 제2 자극은 상기 제어 제스처의 상기 제2 중간 부분이 시작되어야 한다는 것을 상기 사용자에게 신호하기 위해 상기 하나 이상의 프로세서에 의해 결정되는 컴퓨터 구현 방법.
  15. 제11항에 있어서,
    상기 제어 제스처와 연관되어 입력되는 상기 명령은 단일의 불연속 명령인 컴퓨터 구현 방법.
  16. 제11항에 있어서,
    상기 제2 자극은 상기 제1 자극의 하나 이상의 파라미터들을 조정하는 것에 의해 결정되는 컴퓨터 구현 방법.
  17. 제16항에 있어서,
    상기 제2 자극을 결정하기 위해 조정되는 상기 제1 자극의 상기 하나 이상의 파라미터들은 주기성, 힘, 방향성, 또는 위치 중 하나 이상을 포함하는 컴퓨터 구현 방법.
  18. 제11항에 있어서,
    상기 제어 제스처의 상기 제1 중간 부분은 미리 결정된 기간의 시간 동안 터치 감응 표면의 인터페이스 면과 접촉을 유지하는 것을 포함하는 컴퓨터 구현 방법.
  19. 제11항에 있어서,
    상기 제어 제스처의 수행을 모니터하는 동안에 제어 제스처 실패의 식별에 응답하여 상기 제어 제스처와 연관된 상기 햅틱 자극은 상기 제1 자극 및 상기 제2 자극과는 다른 제3 자극을 포함하는 컴퓨터 구현 방법.
  20. 제11항에 있어서,
    상기 제1 자극 및/또는 상기 제2 자극은 상기 사용자의 제어를 받는 게임 내의 캐릭터의 기술-레벨, 피로도, 또는 부상 중 하나 이상에 부분적으로 기초하여 상기 하나 이상의 프로세서에 의해 결정되는 컴퓨터 구현 방법.
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
KR1020127004543A 2009-07-22 2010-07-21 제어 제스처의 입력 동안에 가상 장비의 제어에 관한 복합 햅틱 자극을 제공하기 위한 시스템 및 방법 KR101713358B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US22764509P 2009-07-22 2009-07-22
US61/227,645 2009-07-22
PCT/US2010/042795 WO2011011546A1 (en) 2009-07-22 2010-07-21 System and method for providing complex haptic stimulation during input of control gestures, and relating to control of virtual equipment

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020177005505A Division KR20170026642A (ko) 2009-07-22 2010-07-21 제어 제스처의 입력 동안에 가상 장비의 제어에 관한 복합 햅틱 자극을 제공하기 위한 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20120053004A KR20120053004A (ko) 2012-05-24
KR101713358B1 true KR101713358B1 (ko) 2017-03-07

Family

ID=42931900

Family Applications (9)

Application Number Title Priority Date Filing Date
KR1020197017987A KR20190077113A (ko) 2009-07-22 2010-07-21 플랫폼에 걸쳐 햅틱 피드백을 갖는 상호작용 터치 스크린 게임 메타포
KR1020197007808A KR20190032632A (ko) 2009-07-22 2010-07-21 제어 제스처의 입력 동안에 가상 장비의 제어에 관한 복합 햅틱 자극을 제공하기 위한 시스템 및 방법
KR1020177005505A KR20170026642A (ko) 2009-07-22 2010-07-21 제어 제스처의 입력 동안에 가상 장비의 제어에 관한 복합 햅틱 자극을 제공하기 위한 시스템 및 방법
KR1020127004543A KR101713358B1 (ko) 2009-07-22 2010-07-21 제어 제스처의 입력 동안에 가상 장비의 제어에 관한 복합 햅틱 자극을 제공하기 위한 시스템 및 방법
KR1020187012009A KR101962081B1 (ko) 2009-07-22 2010-07-21 제어 제스처의 입력 동안에 가상 장비의 제어에 관한 복합 햅틱 자극을 제공하기 위한 시스템 및 방법
KR1020177024827A KR101875354B1 (ko) 2009-07-22 2010-07-21 제어 제스처의 입력 동안에 가상 장비의 제어에 관한 복합 햅틱 자극을 제공하기 위한 시스템 및 방법
KR1020127004529A KR101755051B1 (ko) 2009-07-22 2010-07-21 플랫폼에 걸쳐 햅틱 피드백을 갖는 상호작용 터치 스크린 게임 메타포
KR1020177018017A KR101873943B1 (ko) 2009-07-22 2010-07-21 플랫폼에 걸쳐 햅틱 피드백을 갖는 상호작용 터치 스크린 게임 메타포
KR1020187018285A KR101993848B1 (ko) 2009-07-22 2010-07-21 플랫폼에 걸쳐 햅틱 피드백을 갖는 상호작용 터치 스크린 게임 메타포

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020197017987A KR20190077113A (ko) 2009-07-22 2010-07-21 플랫폼에 걸쳐 햅틱 피드백을 갖는 상호작용 터치 스크린 게임 메타포
KR1020197007808A KR20190032632A (ko) 2009-07-22 2010-07-21 제어 제스처의 입력 동안에 가상 장비의 제어에 관한 복합 햅틱 자극을 제공하기 위한 시스템 및 방법
KR1020177005505A KR20170026642A (ko) 2009-07-22 2010-07-21 제어 제스처의 입력 동안에 가상 장비의 제어에 관한 복합 햅틱 자극을 제공하기 위한 시스템 및 방법

Family Applications After (5)

Application Number Title Priority Date Filing Date
KR1020187012009A KR101962081B1 (ko) 2009-07-22 2010-07-21 제어 제스처의 입력 동안에 가상 장비의 제어에 관한 복합 햅틱 자극을 제공하기 위한 시스템 및 방법
KR1020177024827A KR101875354B1 (ko) 2009-07-22 2010-07-21 제어 제스처의 입력 동안에 가상 장비의 제어에 관한 복합 햅틱 자극을 제공하기 위한 시스템 및 방법
KR1020127004529A KR101755051B1 (ko) 2009-07-22 2010-07-21 플랫폼에 걸쳐 햅틱 피드백을 갖는 상호작용 터치 스크린 게임 메타포
KR1020177018017A KR101873943B1 (ko) 2009-07-22 2010-07-21 플랫폼에 걸쳐 햅틱 피드백을 갖는 상호작용 터치 스크린 게임 메타포
KR1020187018285A KR101993848B1 (ko) 2009-07-22 2010-07-21 플랫폼에 걸쳐 햅틱 피드백을 갖는 상호작용 터치 스크린 게임 메타포

Country Status (6)

Country Link
US (8) US8469806B2 (ko)
EP (2) EP2457142B1 (ko)
JP (7) JP5613236B2 (ko)
KR (9) KR20190077113A (ko)
CN (4) CN104679247B (ko)
WO (2) WO2011011546A1 (ko)

Families Citing this family (167)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7765333B2 (en) 2004-07-15 2010-07-27 Immersion Corporation System and method for ordering haptic effects
BRPI0804355A2 (pt) * 2008-03-10 2009-11-03 Lg Electronics Inc terminal e método de controle do mesmo
JP4498448B2 (ja) * 2008-08-06 2010-07-07 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置の制御方法及びプログラム
JP4600548B2 (ja) 2008-08-27 2010-12-15 ソニー株式会社 再生装置、再生方法、およびプログラム
US9737796B2 (en) 2009-07-08 2017-08-22 Steelseries Aps Apparatus and method for managing operations of accessories in multi-dimensions
US8719714B2 (en) 2009-07-08 2014-05-06 Steelseries Aps Apparatus and method for managing operations of accessories
EP2457142B1 (en) 2009-07-22 2019-12-25 Immersion Corporation Interactive touch screen gaming metaphors with haptic feedback across platforms
KR101657963B1 (ko) * 2009-12-08 2016-10-04 삼성전자 주식회사 단말기의 터치 면적 변화율에 따른 운용 방법 및 장치
US20110149042A1 (en) * 2009-12-18 2011-06-23 Electronics And Telecommunications Research Institute Method and apparatus for generating a stereoscopic image
CA2719659C (en) * 2010-11-05 2012-02-07 Ibm Canada Limited - Ibm Canada Limitee Haptic device with multitouch display
CN106964150B (zh) * 2011-02-11 2021-03-02 漳州市爵晟电子科技有限公司 一种动作定位点控制系统及其穿套式定点控制设备
WO2012121961A1 (en) 2011-03-04 2012-09-13 Apple Inc. Linear vibrator providing localized and generalized haptic feedback
US9218727B2 (en) 2011-05-12 2015-12-22 Apple Inc. Vibration in portable devices
US9710061B2 (en) * 2011-06-17 2017-07-18 Apple Inc. Haptic feedback device
US8830188B2 (en) 2011-06-21 2014-09-09 Microsoft Corporation Infrastructural haptics on wall scale interactive displays
US9220977B1 (en) 2011-06-30 2015-12-29 Zynga Inc. Friend recommendation system
DE102011107279B4 (de) * 2011-07-15 2013-10-31 Brose Fahrzeugteile Gmbh & Co. Kommanditgesellschaft, Hallstadt Fehlervermeidung bei der gestengesteuerten Öffnung eines Kraftfahrzeug-Stellelements
US9778737B1 (en) * 2011-08-31 2017-10-03 Amazon Technologies, Inc. Game recommendations based on gesture type
US10522452B2 (en) * 2011-10-18 2019-12-31 Taiwan Semiconductor Manufacturing Company, Ltd. Packaging methods for semiconductor devices including forming trenches in workpiece to separate adjacent packaging substrates
US9582178B2 (en) 2011-11-07 2017-02-28 Immersion Corporation Systems and methods for multi-pressure interaction on touch-sensitive surfaces
US20130124327A1 (en) 2011-11-11 2013-05-16 Jumptap, Inc. Identifying a same user of multiple communication devices based on web page visits
KR102024006B1 (ko) * 2012-02-10 2019-09-24 삼성전자주식회사 진동 장치간 진동 전달을 제어하는 장치 및 방법
US8493354B1 (en) 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
US8711118B2 (en) * 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
TW201334843A (zh) * 2012-02-20 2013-09-01 Fu Li Ye Internat Corp 具有觸控面板媒體的遊戲控制方法及該遊戲媒體
US20140015773A1 (en) * 2012-02-24 2014-01-16 Thomson Licensing Haptic sensation for touch-screen interfaces
US8570296B2 (en) 2012-05-16 2013-10-29 Immersion Corporation System and method for display of multiple data channels on a single haptic display
US9703378B2 (en) * 2012-06-13 2017-07-11 Immersion Corporation Method and apparatus for representing user interface metaphors as physical changes on a shape-changing device
US9245428B2 (en) * 2012-08-02 2016-01-26 Immersion Corporation Systems and methods for haptic remote control gaming
US9280206B2 (en) * 2012-08-20 2016-03-08 Samsung Electronics Co., Ltd. System and method for perceiving images with multimodal feedback
US9292136B2 (en) * 2012-10-02 2016-03-22 At&T Intellectual Property I, L.P. Notification system for providing awareness of an interactive surface
US9330544B2 (en) * 2012-11-20 2016-05-03 Immersion Corporation System and method for simulated physical interactions with haptic effects
US9836150B2 (en) 2012-11-20 2017-12-05 Immersion Corporation System and method for feedforward and feedback with haptic effects
US9202350B2 (en) * 2012-12-19 2015-12-01 Nokia Technologies Oy User interfaces and associated methods
US9195382B2 (en) * 2013-01-29 2015-11-24 Google Inc. Intelligent window sizing and control
US9884257B2 (en) * 2013-03-06 2018-02-06 Tencent Technology (Shenzhen) Company Limited Method for preventing misoperations of intelligent terminal, and intelligent terminal
US9866924B2 (en) * 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
US9687730B2 (en) 2013-03-15 2017-06-27 Steelseries Aps Gaming device with independent gesture-sensitive areas
US9041647B2 (en) * 2013-03-15 2015-05-26 Immersion Corporation User interface device provided with surface haptic sensations
US9415299B2 (en) 2013-03-15 2016-08-16 Steelseries Aps Gaming device
US9423874B2 (en) 2013-03-15 2016-08-23 Steelseries Aps Gaming accessory with sensory feedback device
US9409087B2 (en) 2013-03-15 2016-08-09 Steelseries Aps Method and apparatus for processing gestures
US9604147B2 (en) 2013-03-15 2017-03-28 Steelseries Aps Method and apparatus for managing use of an accessory
EP2778852B1 (en) 2013-03-15 2017-05-03 Immersion Corporation Programmable haptic peripheral
US9939900B2 (en) * 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
US10295823B2 (en) 2013-07-02 2019-05-21 Pine Development Corporation Systems and methods for eliciting cutaneous sensations using electromagnetic radiation
USD723625S1 (en) 2013-08-27 2015-03-03 Steelseries Aps Gaming device
US9652945B2 (en) 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9619029B2 (en) * 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US9164587B2 (en) * 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US9639158B2 (en) * 2013-11-26 2017-05-02 Immersion Corporation Systems and methods for generating friction and vibrotactile effects
FR3015383B1 (fr) * 2013-12-19 2017-01-13 Dav Dispositif de controle pour vehicule automobile et procede de commande
US9248840B2 (en) * 2013-12-20 2016-02-02 Immersion Corporation Gesture based input system in a vehicle with haptic feedback
US9875019B2 (en) 2013-12-26 2018-01-23 Visteon Global Technologies, Inc. Indicating a transition from gesture based inputs to touch surfaces
US9817489B2 (en) 2014-01-27 2017-11-14 Apple Inc. Texture capture stylus and method
JP6264542B2 (ja) * 2014-01-30 2018-01-24 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法
JP6319328B2 (ja) * 2014-02-14 2018-05-09 富士通株式会社 教育用触感提供装置、及び、システム
US9396629B1 (en) 2014-02-21 2016-07-19 Apple Inc. Haptic modules with independently controllable vertical and horizontal mass movements
FR3018122A1 (fr) * 2014-02-28 2015-09-04 Orange Procede de controle d'acces par retour haptique
CN103885708A (zh) * 2014-02-28 2014-06-25 宇龙计算机通信科技(深圳)有限公司 触觉交互的方法及系统
US10067566B2 (en) 2014-03-19 2018-09-04 Immersion Corporation Systems and methods for a shared haptic experience
US9594429B2 (en) 2014-03-27 2017-03-14 Apple Inc. Adjusting the level of acoustic and haptic output in haptic devices
US9449477B2 (en) 2014-04-02 2016-09-20 Pine Development Corporation Applications of systems and methods for eliciting cutaneous sensations by electromagnetic radiation
US12008892B2 (en) * 2014-05-16 2024-06-11 Not Impossible, Llc Vibrotactile control systems and methods
US20170098350A1 (en) * 2015-05-15 2017-04-06 Mick Ebeling Vibrotactile control software systems and methods
US10379614B2 (en) 2014-05-19 2019-08-13 Immersion Corporation Non-collocated haptic cues in immersive environments
US10133351B2 (en) * 2014-05-21 2018-11-20 Apple Inc. Providing haptic output based on a determined orientation of an electronic device
US20160202760A1 (en) * 2014-06-06 2016-07-14 Microsoft Technology Licensing Llc Systems and methods for controlling feedback for multiple haptic zones
US9715279B2 (en) 2014-06-09 2017-07-25 Immersion Corporation Haptic devices and methods for providing haptic effects via audio tracks
US9588586B2 (en) * 2014-06-09 2017-03-07 Immersion Corporation Programmable haptic devices and methods for modifying haptic strength based on perspective and/or proximity
JP6341417B2 (ja) * 2014-06-10 2018-06-13 任天堂株式会社 振動生成システム、振動生成プログラム、および振動生成方法
CN106462321A (zh) 2014-06-24 2017-02-22 苹果公司 用于视频系统的应用程序菜单
EP2963387B1 (en) * 2014-06-30 2019-07-31 STMicroelectronics Srl Micro-electro-mechanical device with compensation of errors due to disturbance forces, such as quadrature components
US9886090B2 (en) 2014-07-08 2018-02-06 Apple Inc. Haptic notifications utilizing haptic input devices
AU2015306091B2 (en) * 2014-08-20 2021-04-01 Touchgram Pty Ltd A system and a method for sending a touch message
US9690381B2 (en) 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
JP6390277B2 (ja) * 2014-09-02 2018-09-19 ソニー株式会社 情報処理装置、制御方法、およびプログラム
FR3025902B1 (fr) * 2014-09-16 2017-12-08 E-Concept Souris vibrante multi-dimensions
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
US9400570B2 (en) 2014-11-14 2016-07-26 Apple Inc. Stylus with inertial sensor
US9535550B2 (en) 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
KR101666532B1 (ko) * 2014-12-01 2016-10-14 김정훈 실시간 진동 피드백을 제공하는 진동 마우스
US9919208B2 (en) 2014-12-11 2018-03-20 Immersion Corporation Video gameplay haptics
US9575573B2 (en) 2014-12-18 2017-02-21 Apple Inc. Stylus with touch sensor
US9600076B2 (en) 2014-12-19 2017-03-21 Immersion Corporation Systems and methods for object manipulation with haptic feedback
US9658693B2 (en) 2014-12-19 2017-05-23 Immersion Corporation Systems and methods for haptically-enabled interactions with objects
US20160189427A1 (en) * 2014-12-31 2016-06-30 Immersion Corporation Systems and methods for generating haptically enhanced objects for augmented and virtual reality applications
JP6610658B2 (ja) * 2015-03-18 2019-11-27 株式会社ニコン 電子機器、およびプログラム
US10613629B2 (en) 2015-03-27 2020-04-07 Chad Laurendeau System and method for force feedback interface devices
JP2018513455A (ja) 2015-04-21 2018-05-24 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ エッチング入力の動的表現
US20160317909A1 (en) * 2015-04-30 2016-11-03 Barry Berman Gesture and audio control of a pinball machine
CN104932691A (zh) * 2015-06-19 2015-09-23 中国航天员科研训练中心 带有触觉感知反馈的手势实时交互系统
JP2017010387A (ja) * 2015-06-24 2017-01-12 キヤノン株式会社 システム、複合現実表示装置、情報処理方法及びプログラム
US20170024010A1 (en) 2015-07-21 2017-01-26 Apple Inc. Guidance device for the sensory impaired
CN107924236B (zh) * 2015-09-08 2021-09-21 索尼公司 信息处理装置、方法和存储介质
US10013060B2 (en) * 2015-09-18 2018-07-03 Immersion Corporation Systems and methods for providing haptic effects in response to deformation of a cover for an electronic device
US10776618B2 (en) * 2015-11-19 2020-09-15 Lg Electronics Inc. Mobile terminal and control method therefor
CN105498205B (zh) * 2015-12-10 2020-04-24 联想(北京)有限公司 一种电子游戏控制设备及控制方法
US10200332B2 (en) * 2015-12-14 2019-02-05 Immersion Corporation Delivery of haptics to select recipients of a message
US9895607B2 (en) * 2015-12-15 2018-02-20 Igt Canada Solutions Ulc Haptic feedback on a gaming terminal display
US20170232348A1 (en) * 2016-02-05 2017-08-17 Prizm Labs, Inc. Methods for executing an instance of a virtual multiplayer game at multiple local devices
CN105536249B (zh) * 2016-02-18 2023-09-01 高创(苏州)电子有限公司 游戏系统
JP2017134802A (ja) * 2016-03-04 2017-08-03 望月 玲於奈 ユーザーインターフェースプログラム
US10772394B1 (en) 2016-03-08 2020-09-15 Apple Inc. Tactile output for wearable device
JP6591924B2 (ja) * 2016-03-31 2019-10-16 日本電信電話株式会社 皮膚覚提示システム
US9898142B2 (en) * 2016-04-01 2018-02-20 Ford Global Technologies, Llc Touch detection on a curved surface
US10585480B1 (en) 2016-05-10 2020-03-10 Apple Inc. Electronic device with an input device having a haptic engine
US9829981B1 (en) 2016-05-26 2017-11-28 Apple Inc. Haptic output device
US10671186B2 (en) 2016-06-15 2020-06-02 Microsoft Technology Licensing, Llc Autonomous haptic stylus
US10649529B1 (en) 2016-06-28 2020-05-12 Apple Inc. Modification of user-perceived feedback of an input device using acoustic or haptic output
US10845878B1 (en) 2016-07-25 2020-11-24 Apple Inc. Input device with tactile feedback
US10372214B1 (en) 2016-09-07 2019-08-06 Apple Inc. Adaptable user-selectable input area in an electronic device
US11794094B2 (en) * 2016-10-17 2023-10-24 Aquimo Inc. Method and system for using sensors of a control device for control of a game
US10078370B2 (en) * 2016-11-23 2018-09-18 Immersion Corporation Devices and methods for modifying haptic effects
JP2017157195A (ja) * 2016-12-19 2017-09-07 望月 玲於奈 ユーザーインターフェースプログラム
US10437359B1 (en) 2017-02-28 2019-10-08 Apple Inc. Stylus with external magnetic influence
EP3396478B1 (en) * 2017-04-28 2023-06-14 Deere & Company Apparatus, method and computer programme for controlling a machine
KR102389063B1 (ko) 2017-05-11 2022-04-22 삼성전자주식회사 햅틱 피드백을 제공하는 방법 및 이를 수행하는 전자 장치
US10437336B2 (en) 2017-05-15 2019-10-08 Microsoft Technology Licensing, Llc Haptics to identify button regions
US10471347B2 (en) * 2017-05-24 2019-11-12 Nintendo Co., Ltd. Information processing system, information processing apparatus, storage medium storing information processing program, and information processing method
US10743805B2 (en) 2017-06-02 2020-08-18 International Business Machines Corporation Haptic interface for generating preflex stimulation
JP6613267B2 (ja) * 2017-06-02 2019-11-27 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法
US10969870B2 (en) * 2017-07-10 2021-04-06 Sharp Kabushiki Kaisha Input device
US10915174B1 (en) * 2017-07-20 2021-02-09 Apple Inc. Electronic devices with directional haptic output
US10775889B1 (en) 2017-07-21 2020-09-15 Apple Inc. Enclosure with locally-flexible regions
US10768747B2 (en) 2017-08-31 2020-09-08 Apple Inc. Haptic realignment cues for touch-input displays
TWI651120B (zh) * 2017-09-01 2019-02-21 玩猴遊戲股份有限公司 遊戲控制方法與電子裝置
US11054932B2 (en) 2017-09-06 2021-07-06 Apple Inc. Electronic device having a touch sensor, force sensor, and haptic actuator in an integrated module
US10556252B2 (en) 2017-09-20 2020-02-11 Apple Inc. Electronic device having a tuned resonance haptic actuation system
US10768738B1 (en) 2017-09-27 2020-09-08 Apple Inc. Electronic device having a haptic actuator with magnetic augmentation
US10866697B2 (en) * 2017-10-24 2020-12-15 Microchip Technology Incorporated Touch-sensitive user-interface including configurable virtual widgets
GB2568923B (en) * 2017-11-30 2020-09-30 Cyrex Ltd Electrical stimulator apparatus with contactless feedback from a user
JP6888558B2 (ja) 2018-01-19 2021-06-16 豊田合成株式会社 触感提示装置
US10996755B2 (en) * 2018-02-28 2021-05-04 Google Llc Piezoelectric haptic feedback module
US10353579B1 (en) * 2018-03-28 2019-07-16 Disney Enterprises, Inc. Interpreting user touch gestures to generate explicit instructions
US20190324538A1 (en) * 2018-04-20 2019-10-24 Immersion Corporation Haptic-enabled wearable device for generating a haptic effect in an immersive reality environment
JP6548776B1 (ja) * 2018-04-20 2019-07-24 株式会社Ｃｙｇａｍｅｓ プログラム、電子装置、方法、及びシステム
JP7155613B2 (ja) * 2018-05-29 2022-10-19 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
US10942571B2 (en) 2018-06-29 2021-03-09 Apple Inc. Laptop computing device with discrete haptic regions
US10936071B2 (en) 2018-08-30 2021-03-02 Apple Inc. Wearable electronic device with haptic rotatable input
US10613678B1 (en) 2018-09-17 2020-04-07 Apple Inc. Input device with haptic feedback
US10966007B1 (en) 2018-09-25 2021-03-30 Apple Inc. Haptic output system
US11143523B2 (en) 2018-10-09 2021-10-12 International Business Machines Corporation Providing raised patterns and haptic feedback for mapping applications
US10678264B2 (en) * 2018-10-10 2020-06-09 Midea Group Co., Ltd. Method and system for providing remote robotic control
US20200192480A1 (en) * 2018-12-18 2020-06-18 Immersion Corporation Systems and methods for providing haptic effects based on a user's motion or environment
JP6560840B1 (ja) * 2019-04-19 2019-08-14 株式会社Ｃｙｇａｍｅｓ プログラム、電子装置、方法、及びシステム
CN110109726B (zh) * 2019-04-30 2022-08-23 网易（杭州）网络有限公司 虚拟对象的接收处理方法及传输方法、装置和存储介质
USD913017S1 (en) * 2019-06-03 2021-03-16 Nazar Kamangar Interactive multimedia table
CN111113414B (zh) * 2019-12-19 2022-08-30 长安大学 一种基于屏幕标识的机器人三维空间尺度提示方法及系统
US11024135B1 (en) 2020-06-17 2021-06-01 Apple Inc. Portable electronic device having a haptic button assembly
US20210402292A1 (en) * 2020-06-25 2021-12-30 Sony Interactive Entertainment LLC Method of haptic responses and interacting
CN111782435B (zh) * 2020-07-02 2021-08-06 重庆紫光华山智安科技有限公司 一种视频监控管理平台级联异常恢复处理方法及系统
KR102419901B1 (ko) * 2020-09-16 2022-07-13 주식회사 익센트릭게임그루 이머시브 콘텐츠 제공 시스템
US20220111290A1 (en) * 2020-10-09 2022-04-14 Contact Control Interfaces, LLC Haptic engine for spatial computing
CN116670635A (zh) * 2020-12-31 2023-08-29 斯纳普公司 具有触觉反馈的实时视频通信界面
EP4272059A1 (en) 2020-12-31 2023-11-08 Snap Inc. Electronic communication interface with haptic feedback response
US20220206584A1 (en) * 2020-12-31 2022-06-30 Snap Inc. Communication interface with haptic feedback response
US11989348B2 (en) 2020-12-31 2024-05-21 Snap Inc. Media content items with haptic feedback augmentations
US11517812B2 (en) 2021-02-19 2022-12-06 Blok Party, Inc. Application of RFID gamepieces for a gaming console
US11199903B1 (en) * 2021-03-26 2021-12-14 The Florida International University Board Of Trustees Systems and methods for providing haptic feedback when interacting with virtual objects
US12050729B2 (en) 2021-03-31 2024-07-30 Snap Inc. Real-time communication interface with haptic and audio feedback response
JP7219862B2 (ja) * 2021-06-02 2023-02-09 株式会社Ｎｔｔコノキュー 通信システム、通信方法及び通信プログラム
US11567575B2 (en) * 2021-06-14 2023-01-31 Microsoft Technology Licensing, Llc Haptic response control
WO2023215975A1 (en) * 2022-05-09 2023-11-16 D-Box Technologies Inc. Method and system for adaptive motion simulation in gaming
JP7274157B1 (ja) * 2022-08-01 2023-05-16 株式会社アルヴィオン 操作対象機器の操作用のプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001265520A (ja) * 2000-03-17 2001-09-28 Fuji Electric Co Ltd 端末機の入力装置

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0275665B1 (en) * 1986-12-18 1993-03-17 Michael Anthony Smithard Improvements in and relating to educational devices
JP3537238B2 (ja) 1995-09-22 2004-06-14 株式会社ナムコ ゲーム装置及びゲーム装置の制御方法
JP3514925B2 (ja) * 1995-10-09 2004-04-05 任天堂株式会社 コントローラパック
AU1328597A (en) * 1995-11-30 1997-06-19 Virtual Technologies, Inc. Tactile feedback man-machine interface device
US6028593A (en) * 1995-12-01 2000-02-22 Immersion Corporation Method and apparatus for providing simulated physical interactions within computer generated environments
TW404846B (en) 1998-01-23 2000-09-11 Koninkl Philips Electronics Nv Multiperson tactual virtual environment
JP2000005445A (ja) * 1998-06-26 2000-01-11 Sony Corp ネットワークゲーム装置
JP4728595B2 (ja) * 2000-03-16 2011-07-20 株式会社セガ 情報処理方法
JP2001352414A (ja) * 2000-06-07 2001-12-21 Toshiba Corp 釣りゲーム機能を備えた無線電話装置とコンピュータ読み取り可能な記録媒体
JP3949912B2 (ja) 2000-08-08 2007-07-25 株式会社エヌ・ティ・ティ・ドコモ 携帯型電子機器、電子機器、振動発生器、振動による報知方法および報知制御方法
EP1330811B1 (en) * 2000-09-28 2012-08-22 Immersion Corporation Directional tactile feedback for haptic feedback interface devices
JP2002123840A (ja) * 2000-10-17 2002-04-26 Nippon Telegr & Teleph Corp <Ntt> 臨場感型仮想現実提供処理方法および装置
JP3888099B2 (ja) * 2001-08-17 2007-02-28 富士ゼロックス株式会社 タッチパネル装置
KR20040062601A (ko) * 2001-10-30 2004-07-07 임머숀 코퍼레이션 가상 애완동물과 상호작용시 촉각 피드백을 제공하는방법들 및 장치
JP2003180896A (ja) * 2001-12-17 2003-07-02 Kazuyoshi Tsukamoto バーチャルスポーツシステム
TW543493U (en) 2002-04-01 2003-07-21 Lite On Technology Corp The game apparatus for a personal digital assistant
JP4447823B2 (ja) * 2002-06-14 2010-04-07 ソニー株式会社 携帯情報機器
JP2005317041A (ja) * 2003-02-14 2005-11-10 Sony Corp 情報処理装置、情報処理方法、及びプログラム
CN1280069C (zh) * 2003-11-01 2006-10-18 中国科学院合肥智能机械研究所 一种柔性触觉传感器及触觉信息检测方法
JP4345534B2 (ja) * 2004-03-17 2009-10-14 ソニー株式会社 触覚機能付き入力装置、情報入力方法及び電子機器
KR100853605B1 (ko) 2004-03-23 2008-08-22 후지쯔 가부시끼가이샤 핸드헬드 장치에서의 경사 및 평행 이동 운동 성분들의구별
US20050212760A1 (en) 2004-03-23 2005-09-29 Marvit David L Gesture based user interface supporting preexisting symbols
US7280096B2 (en) * 2004-03-23 2007-10-09 Fujitsu Limited Motion sensor engagement for a handheld device
US7394459B2 (en) * 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
JP2005332063A (ja) * 2004-05-18 2005-12-02 Sony Corp 触覚機能付き入力装置、情報入力方法及び電子機器
JP4869568B2 (ja) 2004-06-14 2012-02-08 ソニー株式会社 入力装置および電子機器
JP4473685B2 (ja) * 2004-09-01 2010-06-02 任天堂株式会社 ゲーム装置およびゲームプログラム
SE528188C8 (sv) * 2004-10-25 2006-10-31 Vibrosense Dynamics Ab Apparat för identifiering av bibrotaktila tröskelvärden på mekanoreceptorer i huden
EP1851606A1 (en) 2005-02-24 2007-11-07 Nokia Corporation Motion-input device for a computing terminal and method of its operation
JP4167683B2 (ja) 2005-10-19 2008-10-15 株式会社タイトー ゲーム装置、ゲームサーバ装置
US8639485B2 (en) 2005-11-14 2014-01-28 Immersion Medical, Inc. Systems and methods for editing a model of a physical system for a simulation
US7480870B2 (en) * 2005-12-23 2009-01-20 Apple Inc. Indication of progress towards satisfaction of a user input condition
JP4119917B2 (ja) * 2005-12-27 2008-07-16 株式会社タイトー 銃型コントローラ、銃型コントローラを用いたゲーム装置
JP2007221413A (ja) * 2006-02-16 2007-08-30 Nagoya Institute Of Technology 触覚メディア転送方式
JP2007301270A (ja) * 2006-05-15 2007-11-22 Sony Computer Entertainment Inc ゲーム制御プログラム、ゲーム制御方法、ゲーム装置
JP2008033739A (ja) 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置
CN104656900A (zh) * 2006-09-13 2015-05-27 意美森公司 用于游戏厅游戏触觉的系统和方法
US7890863B2 (en) * 2006-10-04 2011-02-15 Immersion Corporation Haptic effects with proximity sensing
JP4926799B2 (ja) * 2006-10-23 2012-05-09 キヤノン株式会社 情報処理装置、情報処理方法
US8120584B2 (en) * 2006-12-21 2012-02-21 Cypress Semiconductor Corporation Feedback mechanism for user detection of reference location on a sensing device
JP4925817B2 (ja) * 2006-12-28 2012-05-09 株式会社コナミデジタルエンタテインメント シューティング玩具
US8621348B2 (en) * 2007-05-25 2013-12-31 Immersion Corporation Customizing haptic effects on an end user device
US9317110B2 (en) * 2007-05-29 2016-04-19 Cfph, Llc Game with hand motion control
JP4739302B2 (ja) * 2007-09-14 2011-08-03 独立行政法人科学技術振興機構 貫通触感覚提示装置
WO2009037379A1 (en) * 2007-09-18 2009-03-26 Senseg Oy Method and apparatus for sensory stimulation
JP2009080720A (ja) * 2007-09-27 2009-04-16 Kyocera Mita Corp 情報入力装置
CN100511104C (zh) * 2007-11-22 2009-07-08 上海交通大学 基于触觉的模拟视幻觉定位系统
US20090167507A1 (en) 2007-12-07 2009-07-02 Nokia Corporation User interface
EP2457142B1 (en) 2009-07-22 2019-12-25 Immersion Corporation Interactive touch screen gaming metaphors with haptic feedback across platforms
KR101623748B1 (ko) * 2009-09-01 2016-05-25 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 이동 단말기 및 이동 단말기의 메시지 작성 방법
US9459697B2 (en) * 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US20150062086A1 (en) * 2013-08-29 2015-03-05 Rohildev Nattukallingal Method and system of a wearable ring device for management of another computing device
US20150070263A1 (en) * 2013-09-09 2015-03-12 Microsoft Corporation Dynamic Displays Based On User Interaction States

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001265520A (ja) * 2000-03-17 2001-09-28 Fuji Electric Co Ltd 端末機の入力装置

Also Published As

Publication number Publication date
CN102473034B (zh) 2015-04-01
KR20120051710A (ko) 2012-05-22
JP5932917B2 (ja) 2016-06-08
WO2011011552A1 (en) 2011-01-27
US20110021272A1 (en) 2011-01-27
US9235969B2 (en) 2016-01-12
KR20190077113A (ko) 2019-07-02
US8502651B2 (en) 2013-08-06
EP2457142B1 (en) 2019-12-25
US20110018697A1 (en) 2011-01-27
US20140009273A1 (en) 2014-01-09
JP7186635B2 (ja) 2022-12-09
US20170168573A1 (en) 2017-06-15
WO2011011546A1 (en) 2011-01-27
KR101962081B1 (ko) 2019-03-25
EP2457141B1 (en) 2020-05-06
US20190073037A1 (en) 2019-03-07
JP2021180873A (ja) 2021-11-25
KR20170081287A (ko) 2017-07-11
KR20170104652A (ko) 2017-09-15
US9671866B2 (en) 2017-06-06
US9373233B2 (en) 2016-06-21
JP5823962B2 (ja) 2015-11-25
CN102473035B (zh) 2015-01-21
CN104679247B (zh) 2018-07-24
KR101993848B1 (ko) 2019-06-28
CN102473035A (zh) 2012-05-23
KR101755051B1 (ko) 2017-07-06
KR20180077309A (ko) 2018-07-06
JP2017201533A (ja) 2017-11-09
JP6181726B2 (ja) 2017-08-16
JP2019096347A (ja) 2019-06-20
KR20170026642A (ko) 2017-03-08
US10139911B2 (en) 2018-11-27
US20170357323A1 (en) 2017-12-14
JP6877249B2 (ja) 2021-05-26
KR20120053004A (ko) 2012-05-24
US20130328814A1 (en) 2013-12-12
KR101875354B1 (ko) 2018-07-05
US8469806B2 (en) 2013-06-25
US9921655B2 (en) 2018-03-20
KR101873943B1 (ko) 2018-07-04
KR20190032632A (ko) 2019-03-27
JP2013500516A (ja) 2013-01-07
JP7469266B2 (ja) 2024-04-16
EP2457142A1 (en) 2012-05-30
CN104503578B (zh) 2018-02-06
JP5613236B2 (ja) 2014-10-22
KR20180049186A (ko) 2018-05-10
CN104503578A (zh) 2015-04-08
JP2016026361A (ja) 2016-02-12
JP2015018562A (ja) 2015-01-29
EP2457141A1 (en) 2012-05-30
CN102473034A (zh) 2012-05-23
JP2013500517A (ja) 2013-01-07
CN104679247A (zh) 2015-06-03
US20160231814A1 (en) 2016-08-11

Similar Documents

Publication Publication Date Title
JP7469266B2 (ja) 操作ジェスチャの入力中に，及び，仮想装置の操作に関連して，複雑な触覚刺激を提供するシステム及び方法
US20180341332A1 (en) Systems and Methods for a Shared Haptic Experience
KR101741376B1 (ko) 다중 작동 핸드헬드 디바이스
JP2023152432A (ja) プログラム及び情報処理装置
JP2024039732A (ja) プログラム、情報処理方法および情報処理装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right