KR20180051482A - 정보 처리 장치, 방법 및 컴퓨터 프로그램 - Google Patents

정보 처리 장치, 방법 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20180051482A
KR20180051482A KR1020187001671A KR20187001671A KR20180051482A KR 20180051482 A KR20180051482 A KR 20180051482A KR 1020187001671 A KR1020187001671 A KR 1020187001671A KR 20187001671 A KR20187001671 A KR 20187001671A KR 20180051482 A KR20180051482 A KR 20180051482A
Authority
KR
South Korea
Prior art keywords
virtual object
listener
tactile
vibration
user
Prior art date
Application number
KR1020187001671A
Other languages
English (en)
Other versions
KR102639118B1 (ko
Inventor
유스케 나카가와
료 요코야마
아키히로 고모리
다카시 노자키
이쿠오 야마노
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20180051482A publication Critical patent/KR20180051482A/ko
Application granted granted Critical
Publication of KR102639118B1 publication Critical patent/KR102639118B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A41—WEARING APPAREL
    • A41D—OUTERWEAR; PROTECTIVE GARMENTS; ACCESSORIES
    • A41D1/00—Garments
    • A41D1/002—Garments adapted to accommodate electronic equipment
    • A—HUMAN NECESSITIES
    • A41—WEARING APPAREL
    • A41D—OUTERWEAR; PROTECTIVE GARMENTS; ACCESSORIES
    • A41D1/00—Garments
    • A41D1/02—Jackets
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/218—Input arrangements for video game devices characterised by their sensors, purposes or types using pressure sensors, e.g. generating a signal proportional to the pressure applied by the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/31—Communication aspects specific to video games, e.g. between several handheld game devices at close range
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A63F13/577—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using determination of contact between game characters or objects, e.g. to avoid collision between virtual racing cars
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M19/00—Current supply arrangements for telephone systems
    • H04M19/02—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone
    • H04M19/04—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone the ringing-current being generated at the substations
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2250/00—Miscellaneous game characteristics
    • A63F2250/16—Use of textiles
    • A63F2250/166—Garments
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/308—Details of the user interface
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Textile Engineering (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

유저가 보다 임장감 있는 촉각 피드백을 얻을 수 있다. 속성을 갖는 가상 오브젝트를 포함하는 가상 공간에 관한 데이터를 생성하는 가상 공간 데이터 생성부와, 상기 가상 오브젝트에 대한 접촉을 검지하는 리스너를 배치하는 리스너 배치부와, 상기 리스너가 배치된 가상 오브젝트와, 상기 가상 오브젝트와, 다른 가상 오브젝트가 접촉하였을 때, 상기 가상 오브젝트의 속성 정보 혹은 상기 다른 가상 오브젝트의 속성 정보 중 적어도 하나에 기초하여, 촉각 디바이스를 동작시키는 촉각 데이터를 생성하는 촉각 데이터 생성부를 구비하는 정보 처리 장치이다.

Description

정보 처리 장치, 방법 및 컴퓨터 프로그램
본 개시는, 정보 처리 장치, 방법 및 컴퓨터 프로그램에 관한 것이다.
스마트폰 또는 게임에 사용되는 컨트롤러에는, 유저에게 촉각 피드백을 제공하기 위한 진동 디바이스가 구비되어 있다.
특허문헌 1에는, 문자 입력을 행하기 위한 입력 장치가 개시되어 있고, 특허문헌 1에 개시되어 있는 입력 장치는, 유저의 조작에 대응하는 진동에 의한 피드백을 유저에 대하여 행하는 것이 개시되어 있다.
일본 특허 공개 제2011-59821호 공보
특허문헌 1에 개시되어 있는 바와 같은 입력 장치에서는, 단조로운 진동에 의한 피드백이 유저에게 제공되기 때문에, 유저는 임장감이 있는 촉각 피드백을 받을 수 없다. 그래서, 본 개시에서는, 유저가 보다 임장감 있는 촉각 피드백을 얻기 위한 정보 처리 장치, 방법 및 컴퓨터 프로그램이 제안된다.
본 개시에 따르면, 속성을 갖는 가상 오브젝트를 포함하는 가상 공간에 관한 데이터를 생성하는 가상 공간 데이터 생성부와, 상기 가상 오브젝트에 대한 접촉을 검지하는 리스너를 배치하는 리스너 배치부와, 상기 리스너가 배치된 가상 오브젝트와, 상기 가상 오브젝트와, 다른 가상 오브젝트가 접촉하였을 때, 상기 가상 오브젝트의 속성 정보 혹은 상기 다른 가상 오브젝트의 속성 정보 중 적어도 하나에 기초하여, 촉각 디바이스를 동작시키는 촉각 데이터를 생성하는 촉각 데이터 생성부를 구비하는 정보 처리 장치가 제공된다.
또한, 본 개시에 따르면, 속성을 갖는 가상 오브젝트를 포함하는 가상 공간에 관한 데이터를 생성하는 것과, 상기 가상 오브젝트에 대한 접촉을 검지하는 리스너를 배치하는 것과, 상기 리스너가 상기 가상 오브젝트에 배치되는 것과, 상기 가상 오브젝트와, 다른 가상 오브젝트가 접촉하였을 때, 상기 가상 오브젝트의 속성 정보 혹은 상기 다른 가상 오브젝트의 속성 정보 중 적어도 하나에 기초하여, 촉각 디바이스를 동작시키는 촉각 데이터를 생성하는 것을 포함하는, 방법이 제공된다.
또한, 본 개시에 따르면, 프로세서에 속성을 갖는 가상 오브젝트를 포함하는 가상 공간에 관한 데이터를 생성시키고, 상기 가상 오브젝트에 대한 접촉을 검지하는 리스너를 배치시키고, 상기 리스너를 상기 가상 오브젝트에 배치시키고, 상기 가상 오브젝트와, 다른 가상 오브젝트가 접촉하였을 때, 상기 가상 오브젝트의 속성 정보 혹은 상기 다른 가상 오브젝트의 속성 정보 중 적어도 하나에 기초하여, 촉각 디바이스를 동작시키는 촉각 데이터를 생성시키는, 컴퓨터 프로그램이 제공된다.
이상 설명한 바와 같이 본 개시에 따르면, 유저는 보다 임장감 있는 촉각 피드백을 얻을 수 있다.
또한, 상기 효과는 반드시 한정되는 것은 아니며, 상기 효과와 함께, 또는 상기 효과 대신에, 본 명세서에 나타난 어느 효과, 또는 본 명세서로부터 파악될 수 있는 다른 효과가 발휘되어도 된다.
도 1은, 본 개시의 본 실시 형태의 시스템의 구성을 도시하는 도면이다.
도 2는, 본 개시의 실시 형태의 시스템의 구성을 도시하는 블록도이다.
도 3은, 가상 오브젝트 및 가상 오브젝트에 구비되는 리스너를 도시하는 도면이다.
도 4는, 본 개시의 실시 형태에 있어서 진동의 피드백이 발생하는 이벤트를 도시하는 도면이다.
도 5는, 본 개시의 실시 형태에 있어서 진동의 피드백이 발생하는 이벤트의 다른 예를 도시하는 도면이다.
도 6은, 본 개시의 실시 형태의 시스템에서 행해지는 처리의 예를 도시하는 흐름도이다.
도 7은, 본 개시의 실시 형태에 있어서 진동의 피드백이 발생하는 이벤트의 다른 예를 도시하는 도면이다.
도 8은, 진동에 의해 가상 오브젝트의 형상 및 질감이 표현되는 방법을 도시하는 도면이다.
도 9는, 진동에 의해 가상 오브젝트의 형상 및 질감이 표현되는 방법을 도시하는 도면이다.
도 10은, 진동에 의해 가상 오브젝트의 형상 및 질감이 표현되는 방법을 도시하는 도면이다.
도 11은, 진동에 의해 가상 오브젝트의 형상 및 질감이 표현되는 방법을 도시하는 도면이다.
도 12는, 진동에 의해 가상 오브젝트의 형상 및 질감이 표현되는 방법을 도시하는 도면이다.
도 13은, 본 개시의 실시 형태에 있어서의 진동 디바이스를 복수 구비한 웨어러블 단말기의 예를 도시하는 도면이다.
도 14는, 본 개시의 실시 형태에 있어서의 복수의 리스너가 배치된 가상 오브젝트의 예를 도시하는 도면이다.
도 15는, 본 개시의 실시 형태에 있어서의 복수의 리스너 사이의 결합 요소를 도시하는 도면이다.
도 16은, 복수의 리스너와 충돌하는 가상 오브젝트의 크기의 관계의 예를 도시하는 도면이다.
도 17은, 본 개시의 실시 형태의 시스템의 구성의 다른 예를 도시하는 블록도이다.
도 18은, 본 개시의 실시 형태에 있어서의 진동 디바이스를 복수 구비한 웨어러블 단말기의 다른 예를 도시하는 도면이다.
도 19는, 본 개시의 실시 형태에 있어서의 진동 데이터의 생성 방법을 도시하는 도면이다.
도 20은, 본 개시의 실시 형태에 있어서의 진동 데이터의 생성 방법을 도시하는 도면이다.
도 21은, 본 개시의 실시 형태에 있어서의 진동 데이터의 생성 방법을 도시하는 도면이다.
이하에 첨부 도면을 참조하면서, 본 개시의 적합한 실시 형태에 대하여 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 번호를 붙임으로써 중복 설명을 생략한다.
또한, 설명은 이하의 순서로 행한다.
1. 본 실시 형태의 시스템의 구성
2. 가상 오브젝트와의 접촉을 검지하는 리스너
3. 유저에 대한 진동의 피드백
4. 본 실시 형태의 시스템에 있어서의 처리
5. 조작 가상 오브젝트에 대한 접촉 이외에 의해 발생하는 피드백
6. 가상 오브젝트의 형상 및 재질에 기초하는 진동에 의한 피드백
7. 복수의 진동 디바이스를 갖는 웨어러블 단말기
8. 리스너가 접촉을 검지하는 모드
9. 스피커를 구비하는 웨어러블 단말기
10. 진동 데이터의 생성 방법
11. 보충 설명
12. 결론
<1. 본 실시 형태의 시스템의 구성>
도 1은, 본 개시의 실시 형태에 있어서의 시스템의 구성을 도시하는 도면이다. 본 실시 형태의 시스템은, 게임기(100)와, 컨트롤러(200)와, 표시 장치(300)로 구성된다. 게임기(100)는, 기억 매체에 기억된 게임 소프트웨어 등을 읽어들임으로써 게임 소프트웨어에 관한 처리를 행한다. 예를 들어, 게임기(100)는, 게임을 행하는 가상 공간의 데이터를 생성하고, 또한 게임기(100)는 컨트롤러(200)로부터의 정보에 기초하여 유저가 조작하는 조작 가상 오브젝트(400a)에 대한 처리를 행한다.
또한, 게임기(100)는, 생성된 게임의 가상 공간에 관한 영상 데이터를 표시 장치(300)에 송신한다. 또한, 도 1에 도시되는 예에서는, 가상 공간에는 유저가 조작하는 조작 가상 오브젝트(400a)와, 그 밖의 구형의 가상 오브젝트(400b)가 배치된다. 또한, 이하에서는, 가상 공간에 관한 데이터를 생성하는 정보 처리 장치의 일례로서 게임기(100)가 설명된다.
컨트롤러(200)는, 유저가 조작 가상 오브젝트(400a)를 조작하기 위해 사용된다. 컨트롤러(200)는, 게임기(100)와 무선으로 접속되어 있고, 게임기(100)에 유저의 조작에 관한 정보를 송신한다. 표시 장치(300)는, 게임기(100)로부터 영상 데이터를 수신하고, 게임에 관한 가상 공간을 표시한다.
이상에서는, 본 실시 형태의 시스템의 개요에 대하여 설명되었다. 이하에서는, 본 실시 형태의 시스템의 내부 구성이 설명된다. 도 2는, 본 실시 형태의 시스템의 내부 구성을 도시하는 블록도이다. 또한, 도 2에서는, 게임기(100)와 컨트롤러(200)의 내부 구성에 대하여 설명된다.
본 실시 형태의 게임기(100)는, 처리부(102)와, 가상 공간 데이터 생성부(104)와, 리스너 배치부(106)와, 물리 엔진(108)과, 촉각 엔진(110)과, 통신부(116)를 구비한다. 또한, 촉각 엔진(110)은, 진동 데이터 생성부(112)와, 음성 데이터 생성부(114)를 갖는다. 처리부(102)는, 게임기(100)의 각 부와 접속되고, 각 부로부터 수취하는 여러 가지 정보를 처리하고, 또한 각 부로의 정보의 수수를 행한다. 가상 공간 데이터 생성부(104)는, 게임 소프트웨어 등의 정보에 기초하여 가상 공간에 관한 데이터를 생성한다. 가상 공간 데이터 생성부(104)가 생성하는 가상 공간에 관한 데이터에는, 가상 공간 내에 배치되는 가상 오브젝트(400)에 관한 정보가 포함된다.
리스너 배치부(106)는, 유저가 조작하는 조작 가상 오브젝트(400a)에, 조작 가상 오브젝트(400a)에 대한 접촉을 검지하는 리스너를 배치한다. 리스너의 배치 방법에 대해서는 후술된다. 물리 엔진(108)은, 가상 공간에 있어서의 여러 가지 연산을 행한다. 예를 들어 물리 엔진(108)은, 가상 공간에 있어서의 접촉 판정, 강체 연산 및 유체 연산 등을 행한다. 또한, 물리 엔진(108)이 처리하는 파라미터는, 예를 들어 가상 오브젝트(400)의 질량, 강성, 재질, 크기, 형상, 위치, 속도 등의 가상 오브젝트(400)의 속성 정보를 포함한다. 즉 물리 엔진(108)이 처리하는 파라미터에는, 복수의 가상 오브젝트(400)가 접촉할 때의 접촉 위치에 관한 정보 및 가상 오브젝트(400)가 접촉할 때의 상대 속도가 포함되어도 된다.
촉각 엔진(110)은, 물리 엔진(108)의 연산 결과에 기초하여 진동 데이터를 생성하는 진동 데이터 생성부(112)와, 음성 데이터를 생성하는 음성 데이터 생성부(114)로 구성된다. 진동 데이터 생성부(112)는, 물리 엔진(108)이 처리하는 파라미터에 기초하여 컨트롤러(200)의 진동 디바이스(208)를 진동시키기 위한 진동 데이터를 생성한다. 음성 데이터 생성부(114)는, 물리 엔진(108)이 처리하는 파라미터에 기초하여 음성 데이터를 생성한다. 또한, 진동 데이터 생성부(112)는, 촉각 데이터 생성부의 일례이다.
통신부(116)는, 컨트롤러(200) 등의 다른 장치와 정보를 송수신하기 위해 사용된다. 통신부(116)는, Bluetooth(등록 상표) 등의 근거리 무선 통신 인터페이스여도 된다. 또한, 통신부(116)는 상술한 인터페이스에 한정되지 않고, ZigBee(등록 상표) 등의 근거리 무선 통신 인터페이스여도 된다.
이상에서는, 게임기(100)의 구성에 대하여 설명되었다. 이하에서는 컨트롤러(200)의 구성에 대하여 설명된다. 본 실시 형태의 컨트롤러(200)는, 처리부(202)와, 가속도 센서(204)와, 자이로 센서(206)와, 진동 디바이스(208)와, 통신부(210)를 구비한다.
처리부(202)는, 게임기(100)로부터 수신한 정보를 처리하고, 또한 컨트롤러(200)가 갖는 가속도 센서(204) 및 자이로 센서(206)로부터의 정보를 처리한다. 처리부(202)는, 예를 들어 가속도 센서(204) 및 자이로 센서(206)로부터 취득한 정보를 처리하여 컨트롤러(200)의 가속도 또는 기울기 등의 상태를 산출하도록 구성되어도 된다. 또한, 처리부(202)는, 가속도 센서(204) 및 자이로 센서(206)로부터 얻어진 정보를 간단히 게임기(100)에 송신하고, 정보를 수취한 게임기(100)가 컨트롤러(200)의 상태를 판정하도록 구성되어도 된다.
가속도 센서(204)는, 유저의 조작에 기초하는 컨트롤러(200)의 가속도를 검지한다. 또한, 자이로 센서(206)는 유저의 조작에 기초하는 컨트롤러(200)의 각속도 및 각가속도를 검지한다. 진동 디바이스(208)는, 게임기(100)가 생성한 진동 데이터에 기초하여 진동함으로써, 유저에게 진동의 촉각 피드백을 행한다. 또한, 진동 디바이스는 촉각 디바이스의 일례이다.
진동 디바이스(208)는, 형상에 치우침이 있는 추가 모터의 회전축에 설치된 편심 모터와 같은 진동자를 구비한 디바이스여도 된다. 또한, 진동 디바이스(208)는, 보이스 코일 모터, 피에조 액추에이터 또는 전자기 리니어 액추에이터와 같은 진동자를 구비한 디바이스여도 된다. 보이스 코일 모터는, 광대역으로 진동할 수 있고, 또한 응답 속도가 빠르므로, 편심 모터보다 다채로운 촉각 피드백을 행할 수 있다. 또한, 보이스 코일 모터는, 가청 대역의 소리를 발생시킬 수도 있다. 또한, 통신부(210)는, 게임기(100) 등의 다른 장치와 정보를 송수신하기 위해 사용된다.
<2. 가상 오브젝트와의 접촉을 검지하는 리스너>
이상에서는, 본 실시 형태에 있어서의 게임기(100) 및 컨트롤러(200)의 구성에 대하여 설명되었다. 이하에서는, 본 실시 형태에 있어서 유저가 조작하는 조작 가상 오브젝트(400a)에 배치되는 리스너에 대하여 설명된다.
도 3은, 본 개시의 리스너(500)를 개념적으로 도시한 도면이다. 도 3에 도시되는 바와 같이 리스너(500)는, 유저가 조작하는 조작 가상 오브젝트(400a)에 배치된다. 리스너(500)는, 배치되는 조작 가상 오브젝트(400a)에 대한 접촉을 검지하고, 리스너(500)에 다른 가상 오브젝트(400)가 접촉하면, 물리 엔진(108)은 이 접촉을 인식하고, 진동 데이터 생성부(112)는 물리 엔진(108)으로부터의 정보에 기초하여 진동 데이터를 생성한다. 즉, 리스너(500)에 다른 가상 오브젝트(400)가 접촉함으로써 컨트롤러(200)의 진동 디바이스(208)가 진동하고, 유저는 조작 가상 오브젝트(400a)에 다른 가상 오브젝트(400)가 접촉함에 따른 촉각의 피드백을 받을 수 있다.
또한, 도 3에서는 유저가 조작하는 조작 가상 오브젝트(400a)는 구체로 도시되어 있지만, 조작 가상 오브젝트(400a)는 사람 모양이어도 되고, 막대형이어도 된다. 또한, 도 3에서는 리스너(500)는, 조작 가상 오브젝트(400a)의 일부에 배치되어 있지만, 리스너(500)는 조작 가상 오브젝트(400a)의 전체에 배치되어도 된다. 또한, 리스너(500)는, 조작 가상 오브젝트(400a)의 표면에 배치되어도 되고, 또한 조작 가상 오브젝트(400a)의 내부에 배치되어도 되며, 리스너(500)의 배치 방법은 특별히 한정되지 않는다.
또한, 리스너(500)는 조작 가상 오브젝트(400a)에 대한 접촉을 검지할 뿐만 아니라, 조작 가상 오브젝트(400a)에 전해지는 소리를 검지해도 된다. 또한, 리스너(500)는, 조작 가상 오브젝트(400a)에 다른 가상 오브젝트(400)가 접촉함으로써 발생하는 소리를 검지해도 된다.
<3. 유저에 대한 진동의 피드백>
이상에서는, 조작 가상 오브젝트(400a)에 대한 접촉을 검지하는 리스너(500)에 대하여 설명되었다. 이하에서는, 본 실시 형태의 시스템에 있어서 유저에게 진동에 의한 피드백이 행해지는 예가 설명된다. 도 4에서는, 유저가 컨트롤러(200)를 조작함으로써, 조작 가상 오브젝트(400a)가 조작되는 모습이 도시되어 있다.
도 4에서는 컨트롤러(200) 및 컨트롤러(200)에 대응하는 조작 가상 오브젝트(400a)는 2개 있으며, 한쪽의 조작 가상 오브젝트(400a)에 대하여 구형의 가상 오브젝트(400b)가 충돌한다고 하는 이벤트가 발생하고 있다. 이때, 도 4에 도시되는 바와 같이, 구형의 가상 오브젝트(400b)가 충돌한 조작 가상 오브젝트(400a)에 대응하는 컨트롤러(200)는 진동한다. 한편, 구형의 가상 오브젝트(400b)가 충돌하지 않은 조작 가상 오브젝트(400a)에 대응하는 컨트롤러(200)는 진동하지 않는다.
본 실시 형태의 시스템에서는, 각각의 가상 오브젝트(400)는 그 가상 오브젝트(400)에 대응하는 속성이 관련지어져 있고, 각각의 가상 오브젝트(400)는 그 속성에 따른 진동 데이터를 갖고 있다. 그리고, 진동 데이터 생성부(112)는, 각각의 가상 오브젝트(400)가 갖는 진동 데이터에 기초하여 진동 데이터를 생성해도 된다. 또한, 상술한 바와 같이 가상 오브젝트(400)의 속성은, 가상 오브젝트(400)의 질량, 강성, 재질, 크기, 형상 등을 포함해도 된다.
유저는 게임 등을 행하고 있을 때, 유저가 조작하는 조작 가상 오브젝트(400a)의 촉각이 아니라, 조작 가상 오브젝트(400a)에 접촉하는 가상 오브젝트(400)의 속성에 기초하는 피드백을 바라는 경우가 있다. 따라서, 본 실시 형태의 시스템에서는, 조작 가상 오브젝트(400a)에 접촉한 다른 가상 오브젝트(400b)가 갖는 속성에 기초하여 진동 데이터가 생성된다.
따라서, 예를 들어, 조작 가상 오브젝트(400a)와 충돌한 다른 가상 오브젝트(400b)의 질량이 크면 클수록, 유저에게 피드백되는 진동은 커져도 된다. 또한, 조작 가상 오브젝트(400a)와 충돌한 다른 가상 오브젝트(400)의 강성이 높으면 높을수록, 컨트롤러(200)가 진동하는 시간이 짧아져도 된다. 또한, 조작 가상 오브젝트(400a)와 충돌한 다른 가상 오브젝트(400)의 강성이 낮을 때, 긴 여운이 남는 진동이 유저에게 피드백되어도 된다.
또한, 조작 가상 오브젝트(400a)와 다른 가상 오브젝트(400)가 충돌하였을 때의 상대 속도 또는 접촉 위치에 따라 유저에게 피드백되는 진동이 바뀌어도 된다. 예를 들어, 조작 가상 오브젝트(400a)와 다른 가상 오브젝트(400)가 충돌하였을 때의 상대 속도가 클 때, 큰 진동이 유저에게 피드백되어도 된다. 또한, 조작 가상 오브젝트(400a)에 다른 가상 오브젝트(400)의 모서리가 충돌하였을 때, 작고 짧은 진동이 유저에게 피드백되어도 된다.
도 5를 사용하여 보다 상세하게 본 실시 형태의 진동에 의한 피드백에 대하여 설명된다. 도 5는, 입방체인 나무의 가상 오브젝트(400c)가 조작 가상 오브젝트(400a)에 접촉하였을 때의 모습을 도시하는 도면이다. 따라서, 유저는, 나무가 접촉한 촉각 피드백을 얻을 수 있다. 이때, 예를 들어, 나무의 가상 오브젝트(400c)가 금속의 속성을 갖는 가상 오브젝트(400)보다 작은 질량을 갖는다고 하는 속성을 갖고 있을 때, 유저는 금속의 속성을 갖는 가상 오브젝트(400)가 접촉한 경우와 비교하여 작은 진동에 의한 피드백을 받아도 된다.
또한, 조작 가상 오브젝트(400a)에 나무의 가상 오브젝트(400c)의 모서리가 충돌한 경우, 유저는, 조작 가상 오브젝트(400a)에 나무의 가상 오브젝트(400c)의 면이 충돌한 경우에 비하여, 작고 짧은 진동에 의한 피드백을 받아도 된다.
도 5에서는 접촉하는 가상 오브젝트(400)가 나무의 속성을 갖는 경우에 대하여 설명되었다. 그러나, 예를 들어 접촉하는 가상 오브젝트(400)가 금속의 속성을 갖고 있는 경우, 컨트롤러(200)는 잔향이 있는 것 같이 진동해도 된다. 또한, 접촉하는 가상 오브젝트(400)가 고무의 속성을 갖고 있는 경우, 컨트롤러(200)는 잔향이 없는 것 같이 진동해도 된다.
즉 접촉하는 가상 오브젝트(400)가 금속의 속성을 갖고 있는 경우, 컨트롤러(200)는 처음에 날카롭고 큰 진동으로 진동하고, 그 후 최초의 진동보다 작은 진동이 잠시 동안 계속되도록 진동해도 된다. 또한, 접촉하는 가상 오브젝트(400)가 고무의 속성을 갖고 있는 경우, 컨트롤러(200)는 처음에 둔하고 큰 진동으로 진동하고, 그 후에는 진동하지 않아도 된다.
이와 같이, 조작 가상 오브젝트(400a)에 접촉하는 가상 오브젝트(400)가 갖는 속성 정보에 기초하여 컨트롤러(200)가 진동함으로써, 유저가 얻을 수 있는 가상적인 임장감이 향상된다. 또한, 가상 오브젝트(400)가 속성 정보에 따른 진동 데이터를 가짐으로써, 진동 데이터의 생성이 실시간으로 행해진다. 즉 진동 데이터가 실시간으로 생성됨으로써, 유저에 대한 진동에 의한 피드백이 가상 공간 내에서 접촉이 발생하고 나서 지연 없이 행해진다. 또한, 진동 데이터가 각 가상 오브젝트(400)에 매핑됨으로써, 용이하게 진동 데이터를 각 가상 오브젝트(400)에 부여할 수 있다.
또한, 상술한 예에서는 조작 가상 오브젝트(400a)에 접촉하는 가상 오브젝트(400)가 갖는 속성에 기초하여 진동 데이터가 생성되었다. 그러나, 진동 데이터는 조작 가상 오브젝트(400a)가 갖는 속성에 따라 생성되어도 된다. 또한, 진동 데이터는, 조작 가상 오브젝트(400a)가 갖는 속성 및 조작 가상 오브젝트(400a)에 접촉하는 가상 오브젝트(400)가 갖는 속성에 기초하여 생성되어도 된다. 이에 의해, 유저가 얻을 수 있는 가상적인 임장감이 보다 향상된다.
또한, 진동 피드백의 구성은 복수로 나누어져도 된다. 예를 들어, 진동 피드백은 「충돌 시」와 「여운」의 2개의 단계로 나누어져도 된다. 이때 충돌의 단계에서는, 컨트롤러(200)는 조작 가상 오브젝트(400a)가 갖는 속성에 따라 진동하고, 여운의 단계에서는, 컨트롤러(200)는 조작 가상 오브젝트(400a)에 접촉하는 가상 오브젝트(400)가 갖는 속성에 기초하여 진동해도 된다. 또한, 충돌하는 측 또는 충돌되는 측 중 어느 쪽의 가상 오브젝트(400)의 속성에 기초하여 컨트롤러(200)가 진동할지를 선택하는 모드가 설정되어도 되며, 유저는 이 모드를 선택할 수 있어도 된다.
또한, 상술한 바와 같이 리스너(500)는 가상 오브젝트(400)의 접촉과 함께, 소리를 검지해도 된다. 상술한 바와 같이 도 4에서는, 조작 가상 오브젝트(400a)에 구형의 가상 오브젝트(400b)가 접촉하지 않은 컨트롤러(200)는 진동하지 않는다. 그러나, 구형의 가상 오브젝트(400b)가 접촉하지 않은 조작 가상 오브젝트(400a)의 리스너(500)는, 충돌에 의해 발생한 소리를 검지하고, 컨트롤러(200)에 구비된 스피커 또는 진동 디바이스(208)로부터 충돌음이 출력되어도 된다.
<4. 본 실시 형태의 시스템에 있어서의 처리>
이상에서는, 본 실시 형태의 시스템에 있어서의 유저에 대한 진동에 의한 피드백에 대하여 설명되었다. 이하에서는, 본 실시 형태의 시스템의 각 구성이 행하는 처리에 대하여 설명된다. 도 6은, 게임기(100)의 각 구성이 행하는 처리를 도시하는 흐름도이다.
처음에 S100에 있어서, 촉각 엔진(110)은 유저가 조작하는 조작 가상 오브젝트(400a)가 갖는 속성을 인식한다. 다음으로 S102에 있어서, 물리 엔진(108)은, 리스너(500)에 대한 접촉을 검지한다. 즉 물리 엔진(108)은, 조작 가상 오브젝트(400a)에 다른 가상 오브젝트(400)가 충돌한 것 등을 검지한다.
다음으로 S104에 있어서 처리부(102)는, 리스너(500)가 접촉을 검지하는 검지 모드가 조작 가상 오브젝트(400a)가 갖는 속성에 기초하여 진동이 피드백되는 모드인지 여부를 판정한다. S104에 있어서 처리부(102)가, 리스너(500)가 접촉을 검지하는 검지 모드가 조작 가상 오브젝트(400a)가 갖는 속성에 기초하여 진동이 피드백되는 모드라고 판정하면, 처리는 S106으로 진행한다.
S106에 있어서 촉각 엔진(110)은 조작 가상 오브젝트(400a)에 부수되는 진동 데이터를 취득한다. 다음으로 S110에 있어서 물리 엔진(108)은, 조작 가상 오브젝트(400a)와 다른 가상 오브젝트(400)가 충돌하였을 때의 상대 속도, 접촉 위치 등을 산출한다.
다음으로 S112에 있어서 처리부(102)는, 물리 엔진(108)이 산출한 상대 속도, 접촉 위치 등에 관한 정보 및 S104에서 판정된 모드에 관한 정보를 촉각 엔진(110)에 보내고, 촉각 엔진(110)의 진동 데이터 생성부(112)는 취득한 정보에 기초하여 출력하는 진동 데이터를 생성한다. 여기서 진동 데이터 생성부(112)는, 조작 가상 오브젝트(400a)가 갖는 속성에 기초한 진동 데이터와 물리 엔진(108)이 산출한 상대 속도, 접촉 위치 등의 정보에 기초하여 출력하는 진동 데이터를 생성한다.
S104에 있어서, 처리부(102)가, 리스너(500)가 접촉을 검지하는 검지 모드가 조작 가상 오브젝트(400a)가 갖는 속성에 기초하여 진동이 피드백되는 모드가 아니라고 판정하면, 처리는 S108로 진행한다. S108에 있어서 촉각 엔진(110)은, 유저가 조작하지 않는 가상 오브젝트(400), 즉 조작 가상 오브젝트(400a)에 충돌한 가상 오브젝트(400)에 부수되는 진동 데이터를 취득한다.
그리고, 상술한 처리와 마찬가지로, S110에 있어서 물리 엔진(108)은 상대 속도, 접촉 위치 등을 산출한다. 그리고, S112에 있어서 촉각 엔진(110)의 진동 데이터 생성부(112)는, 조작 가상 오브젝트(400a)에 충돌한 가상 오브젝트(400)가 갖는 속성에 기초한 진동 데이터와 물리 엔진(108)이 산출한 상대 속도, 접촉 위치 등의 정보에 기초하여 출력하는 진동 데이터를 생성한다. 또한, 상술한 바와 같이 진동 데이터 생성부(112)는, 조작 가상 오브젝트(400a)가 갖는 속성과 조작 가상 오브젝트(400a)에 충돌한 가상 오브젝트(400)가 갖는 속성과, 물리 엔진(108)이 산출한 상대 속도, 접촉 위치 등의 정보에 기초하여 출력하는 진동 데이터를 생성해도 된다.
<5. 조작 가상 오브젝트에 대한 접촉 이외에 의해 발생하는 피드백>
이상에서는, 유저가 조작하는 조작 가상 오브젝트(400a)에 다른 가상 오브젝트(400)가 접촉하였을 때 진동에 의한 피드백이 행해지는 예가 설명되었다. 이하에서는, 조작 가상 오브젝트(400a)에 다른 가상 오브젝트(400)가 충돌하지 않을 때 진동에 의한 피드백이 행해지는 예가 설명된다.
도 7은, 조작 가상 오브젝트(400a)로부터 이격된 위치에 있는 충격파 발생원(800)에 의해 발생하는 충격파(802)에 기초하여 진동에 의한 피드백이 행해지는 예를 도시하는 도면이다. 또한, 충격파 발생원(800)은 예를 들어 폭발이어도 되고, 충격파(802)의 전반은 물리 엔진(108)에 의해 가상 공간 내에서 시뮬레이션되어도 된다.
도 7의 예에서는, 가상 공간 내에서 발생한 폭발에 의해 발생한 충격파(802)가 조작 가상 오브젝트(400a)에 배치된 리스너(500)에 전해짐으로써, 진동에 의한 피드백이 행해진다. 이때 진동에 의한 피드백은, 조작 가상 오브젝트(400a)와 충격파 발생원(800)의 사이의 매체의 성질에 따라 행해져도 된다.
예를 들어 매체가 공기인 경우의 진동에 의한 피드백과, 매체가 물인 경우의 진동에 의한 피드백은, 진동의 강도가 상이해도 된다. 이때 매체가 물인 경우의 진동은, 매체가 공기인 경우의 진동에 비하여 약해도 된다. 이것은, 시뮬레이션되는 충격파(802)의 전반 특성이 매체에 따라 상이하기 때문이다.
이에 의해 유저는, 예를 들어 유저가 조작하는 조작 가상 오브젝트(400a)가 수중에 있음을 진동에 의한 피드백에 의해 느낄 수 있기 때문에, 유저가 얻을 수 있는 가상적인 임장감이 보다 향상된다.
또한, 진동 데이터는, 가상 공간 내에서 시뮬레이션되는 충격파(802)의 전반에 구애되지 않고, 단순하게 충격파 발생원(800)과 조작 가상 오브젝트(400a)의 거리에 따라 생성되어도 된다. 이에 의해, 보다 단순한 구성을 갖는 물리 엔진(108)에 의해서도 진동에 의한 피드백이 행해진다.
<6. 가상 오브젝트의 형상 및 재질에 기초하는 진동에 의한 피드백>
이상에서는, 충격파(802)에 기초하여 진동에 의한 피드백이 행해지는 예에 대하여 설명되었다. 이하에서는, 가상 오브젝트(400)의 형상 및 재질에 기초하는 진동에 의한 피드백에 대하여 보다 상세하게 설명된다.
도 8 내지 도 11은, 반원형의 가상 오브젝트(400d) 상을 조작 가상 오브젝트(400a)가 통과하는 모습을 도시하는 도면이다. 이하에서는 이러한 상황에 있어서의 진동에 의한 피드백에 대하여 설명된다. 또한, 반원형의 가상 오브젝트(400d)는 마찰이 적은(매끈매끈한 촉감을 갖는) 표면을 갖는다.
도 8 내지 도 9에 도시되는 바와 같이, 조작 가상 오브젝트(400a)가 이동하여 반원형의 가상 오브젝트(400d)의 단부에 접촉하였을 때, 진동 시간이 짧은 진동의 피드백이 행해진다. 다음으로 도 10과 같이, 조작 가상 오브젝트(400a)가 반원형의 가상 오브젝트(400d)의 표면을 이동하고 있는 동안에는, 진동에 의한 피드백은 행해지지 않는다. 다음으로 도 11에 도시되는 바와 같이, 조작 가상 오브젝트(400a)가 반원형의 가상 오브젝트(400d)의 다른 한쪽의 단부에 내릴 때, 다시 진동 시간이 짧은 진동의 피드백이 행해진다.
이상 설명한 바와 같이, 조작 가상 오브젝트(400a)가 접촉한 면의 형상이 변화하는 타이밍(도 9 및 도 11의 상태)에 진동 시간이 짧은 진동이 유저에게 제시됨으로써, 면의 형상 변화를 유저는 느낄 수 있다. 또한, 마찰이 적은 면을 조작 가상 오브젝트(400a)가 이동하고 있는 동안(도 10의 상태)에는, 진동이 제시되지 않음으로써, 매끈한 촉감을 유저는 느낄 수 있다. 또한, 이때, 조작 가상 오브젝트(400a)는, 반원형의 가상 오브젝트(400d)의 표면을 따라 움직이므로, 시각에 의해서도 유저는 반원형의 가상 오브젝트(400d)의 부푼 형상을 느낄 수 있다.
또한, 마찰이 큰(거칠거칠한 촉각을 갖는) 면을 조작 가상 오브젝트(400a)가 이동하는 경우에는, 상이한 진동 피드백이 행해져도 된다. 도 12는, 반원형의 가상 오브젝트의 일부(400e)가, 마찰이 큰 면을 갖는 경우의 모습을 도시하는 도면이다. 이때 조작 가상 오브젝트(400a)가 반원형의 가상 오브젝트의 마찰이 큰 면(400e) 위를 이동할 때, 마찰감을 상기시키는 진동이 연속적으로 유저에게 제공됨으로써, 유저는 거칠거칠한 촉감을 느낄 수 있다. 또한, 유저가 조작 가상 오브젝트(400a)를 조작하는 속도에 따라 진동이 바뀌어도 된다. 예를 들어, 도 12의 예에 있어서 유저가 조작 가상 오브젝트(400a)를 조작하는 속도가 빨라지면 빨라질수록, 컨트롤러(200)가 진동하는 시간 간격이 짧아져도 된다.
또한, 마찰이 작은 면으로부터 마찰이 큰 면으로 조작 가상 오브젝트(400a)가 이동하는 경우, 유저에게 제공되는 진동이 변화하기 때문에, 유저는 그 진동의 변화로부터 질감이 바뀌었음을 감지할 수 있다.
<7. 복수의 진동 디바이스를 갖는 웨어러블 단말기>
이상에서는, 컨트롤러(200)와 같은 유저가 파지하는 장치에 의해, 진동에 의한 피드백이 행해지는 예가 설명되었다. 이하에서는, 복수의 진동 디바이스(208)를 갖는 재킷형 웨어러블 단말기에 대하여 설명된다.
도 13은, 재킷형 웨어러블 단말기(700)의 외관의 일례를 도시하는 도면이다. 재킷형 웨어러블 단말기(700)는, 복수의 진동 디바이스(208a 내지 208f)를 구비하고 있다. 또한, 복수의 진동 디바이스(208a 내지 208f)는, 도 13에 도시되는 바와 같이 좌우 대칭으로 배치되어도 된다.
도 14는, 재킷형 웨어러블 단말기(700)에 대응하도록 리스너(500a 내지 500f)가 조작 가상 오브젝트(400a)에 배치되는 것을 도시하는 도면이다. 리스너(500a 내지 500f)의 각각은, 재킷형 웨어러블 단말기(700)의 진동 디바이스(208a 내지 208f)의 각각에 대응한다. 상술한 바와 같이 리스너(500a 내지 500f)에 다른 가상 오브젝트(400)가 접촉하였을 때, 접촉한 리스너(500)에 대응하는 진동 디바이스(208)가 진동한다. 예를 들어 리스너(500a)에 다른 가상 오브젝트(400)가 접촉하였을 때, 진동 디바이스(208a)가 진동함으로써 유저에 대하여 진동에 의한 피드백이 행해진다.
도 13 및 도 14에서 도시되는 바와 같이, 복수의 진동 디바이스(208)에 대하여 복수의 리스너(500)가 배치되는 경우, 복수의 리스너(500) 사이의 결합 관계에 기초하여 진동에 의한 피드백이 행해져도 된다. 도 15는, 이러한 복수의 리스너(500) 사이의 결합 관계를 도시하는 도면이다. 도 15에서 도시되는 점선은, 복수의 리스너(500) 사이의 결합 관계를 나타내는 결합 요소(502)이다. 결합 요소(502)는, 스프링 요소이거나, 댐퍼 요소이거나, 시간 지연 요소이거나 해도 된다. 즉 결합 요소(502)는, 충격의 전반 특성에 관한 요소이며, 전반 속도 또는 전반의 감쇠에 관한 요소여도 된다.
결합 요소(502)에 따라 진동의 전반이 시뮬레이션됨으로써, 하나의 리스너(500)에 발생한 접촉에 의한 진동이 주변의 리스너(500)에 전반된다. 예를 들어, 리스너(500a)에 다른 가상 오브젝트(400)가 접촉한 경우, 리스너(500b, 500d, 500e)에 진동이 전해져도 된다.
또한, 결합 요소(502)가 시간 지연의 요소로 됨으로써, 주변의 리스너(500)는 충돌이 발생한 리스너(500)보다 지연된 타이밍에 진동한다. 예를 들어, 리스너(500a)에 다른 가상 오브젝트(400)가 접촉한 경우, 처음에 리스너(500b, 500d 및 500e)에 진동이 전해지고, 조금 지연되어 리스너(500c 및 500f)에 진동이 전해져도 된다. 이에 의해, 유저는 진동의 확산을 느낄 수 있다.
또한, 결합 요소(502)가 스프링 요소로 됨으로써, 유저는 반발력이 있는 물체(예를 들어 내부에 기체를 갖는 볼과 같은 물체)가 충돌한 것 같은 촉각을 느낄 수 있다. 또한, 결합 요소(502)가 댐퍼 요소로 됨으로써, 유저는 충격이 흡수되는 옷을 입고 있는 것 같은 촉각을 느낄 수 있다.
이상과 같이, 복수의 리스너(500) 사이의 결합 관계에 기초하여 진동에 의한 피드백이 행해짐으로써, 유저는 보다 다양한 진동에 의한 피드백을 느낄 수 있다.
또한, 충돌하는 가상 오브젝트(400)의 크기에 따라, 충돌을 검지하는 리스너(500)의 수가 변화해도 된다. 도 16은, 충돌하는 가상 오브젝트(400)의 크기와 충돌을 검지하는 리스너(500)의 관계를 도시하는 도면이다.
예를 들어, 도 16에서 도시되는 바와 같이, 직경이 리스너(500)의 폭 또는 높이의 1개분보다 작은 가상 오브젝트(400f)가 리스너(500)에 충돌한 경우, 하나의 리스너(500)가 충돌을 검지해도 된다. 또한, 직경이 리스너(500)의 폭 또는 높이의 1개분보다 크고 2개분보다 작은 가상 오브젝트(400g)가 리스너(500)에 충돌한 경우, 세로 2개 가로 2개의 합계 4개의 리스너(500)가 충돌을 검지해도 된다. 또한, 직경이 리스너(500)의 폭 또는 높이의 2개분보다 크고 3개분보다 작은 가상 오브젝트(400h)가 리스너(500)에 충돌한 경우, 세로 3개 가로 2개의 합계 6개의 리스너(500)가 충돌을 검지해도 된다.
또한, 충돌하는 가상 오브젝트(400)의 질량 또는 속도, 또는 질량 및 속도로부터 얻어지는 가상 오브젝트(400)의 운동 에너지의 크기에 따라, 충돌을 검지하는 리스너(500)의 수가 변화해도 된다. 또한, 동시에, 제공되는 진동의 강도가 변화해도 된다. 즉, 충돌하는 가상 오브젝트(400)의 질량, 속도 또는 운동 에너지가 클수록 충돌을 검지하는 리스너(500)의 수가 많아져도 되고, 진동의 강도가 강해져도 된다.
또한, 상술한 충돌을 검지하는 리스너(500)의 수 및 진동의 강도는, 리스너(500)가 배치되는 조작 가상 오브젝트(400a)의 속성에 기초하여 변화해도 된다. 예를 들어, 복수의 리스너(500)가 배치된 조작 가상 오브젝트(400a)가, 고무와 같은 충격을 흡수하는 속성을 갖고 있는 경우, 충돌을 검지하는 리스너(500)의 수는 적어져도 된다. 또한, 이때 충돌에 의해 유저에게 피드백되는 진동의 크기는 작아져도 된다.
<8. 리스너가 접촉을 검지하는 검지 모드>
이상에서는, 복수의 진동 디바이스(208)에 대한 복수의 리스너(500)가 조작 가상 오브젝트(400a)에 배치되는 예가 설명되었다. 이하에서는, 리스너(500)가 접촉을 검지하는 범위에 대하여 설명된다. 상술된 바와 같이, 조작 가상 오브젝트(400a)에 배치된 리스너(500)는 다른 가상 오브젝트(400)와의 접촉을 검지한다. 그러나, 유저에 따라, 피드백을 받고 싶다고 생각하는 빈도가 상이할 것이라고 생각된다.
그래서 본 실시 형태에서는, 리스너(500)가 접촉을 검지하는 범위가 상이한 복수의 모드가 설정된다. 복수의 모드는, 「리스너(500)가 진동을 전혀 검지하지 않는 모드」와, 「리스너(500)가, 가상 오브젝트(400)가 리스너(500)에 접촉하였을 때 진동을 검지하는 모드」와, 「리스너(500)가 모든 진동을 검지하는 모드」를 포함한다. 여기서 「리스너(500)가, 가상 오브젝트(400)가 리스너(500)에 접촉하였을 때 진동을 검지하는 모드」와, 「리스너(500)가 모든 진동을 검지하는 모드」의 차이점은, 예를 들어 상술한 충격파 발생원(800)에 의한 충격파(802)를 검지하는지 여부여도 되고, 또한 어떠한 특정의 속성을 갖는 가상 오브젝트(400)와의 접촉에 의한 진동을 검지하는지 여부여도 된다.
또한, 상술한 바와 같이 리스너(500)는 소리도 검지한다. 따라서, 마찬가지로 리스너(500)가 소리를 검지하는 범위가 상이한 복수의 모드가 설정되어도 된다. 예를 들어 소리에 관한 복수의 모드는, 「리스너(500)가 소리를 전혀 검지하지 않는 모드」와, 「리스너(500)가 일정 범위의 소리를 검지하는 모드」와, 「리스너(500)가 모든 소리를 검지하는 모드」를 포함한다.
상술한 바와 같이 리스너(500)가 진동 및 소리를 검지하는 범위에 관하여 복수의 모드가 설정됨으로써, 유저는 자신의 기호에 맞는 모드를 선택할 수 있다.
또한, 가상 공간 내에서는, 유저가 조작하는 조작 가상 오브젝트(400a)는, 유저가 의도하지 않는 곳에서 다른 가상 오브젝트(400)와 접촉하는 경우가 있다. 예를 들어 유저가 사람 모양의 조작 가상 오브젝트(400a)를 조작하고 있는 경우, 사람 모양의 조작 가상 오브젝트(400a)의 발밑에서 풀이나 돌 등의 가상 오브젝트(400)와의 접촉이 일어나는 경우가 있다. 이때 모든 접촉을 리스너(500)가 검지하고, 진동에 의한 피드백이 유저에 대하여 행해지는 것은 바람직하지 않다.
그래서 본 실시 형태에서는, 또한, 상술한 리스너(500)가 진동 및 소리를 검지하는 범위에 관한 모드에 추가하여, 시선 검지 디바이스로부터의 정보에 기초하여 리스너(500)가 진동 및 소리를 검지하는 모드가 설정되어도 된다.
도 17은, 시선 검지 디바이스(600)를 구비하는 시스템의 구성을 도시하는 도면이다. 본 실시 형태의 시스템은, 유저의 시선을 검지하는 시선 검지 디바이스(600)를 갖고, 시선 검지 디바이스(600)는 시선 검지부(602) 및 게임기(100)와 무선으로 접속하기 위한 통신부(604)를 갖는다.
시선 검지 디바이스(600)는, 예를 들어 유저의 헤드에 장착되는 장치(예를 들어 헤드 기어와 같은 장치)여도 된다. 이 경우, 시선 검지부(602)는 촬상부를 구비하고, 촬상부에 의해 촬상된 화상에 기초하여 유저의 시선이 검지되어도 된다. 또한, 시선 검지부(602)는 자이로 센서 및/또는 가속도 센서여도 되고, 당해 센서가 검지하는 각속도, 각가속도, 가속도에 기초하여, 유저의 시선이 검지되어도 된다.
이상과 같은 구성을 본 실시 형태의 시스템이 갖는 경우, 리스너(500)는, 시선 검지 디바이스(600)로부터의 정보에 기초하는 가상 공간 내에서의 유저의 시야 내에 있는 가상 오브젝트(400)와 조작 가상 오브젝트(400a)의 접촉을 검지해도 된다. 이때, 리스너(500)는, 가상 공간 내에서의 유저의 시야 내에 없는 가상 오브젝트(400)와 조작 가상 오브젝트(400a)의 접촉을 검지하지 않아도 된다.
이와 같이 시선 검지 디바이스(600)로부터의 정보에 기초하는 가상 공간 내에서의 유저의 시야에 관한 정보가 사용됨으로써, 유저가 기대하지 않은 타이밍에 진동이 빈발하는 것이 방지되고, 유저가 어떠한 가상 오브젝트(400)에 주목하고 있을 때 진동에 의한 피드백이 얻어진다.
또한, 이상의 실시 형태에서는 가상 공간 내에서의 유저의 시야를 검지하기 위해 시선 검지 디바이스(600)가 사용되었다. 그러나, 통상의 디스플레이의 경우, 디스플레이 내에 묘화되어 있는 범위가 유저의 시야의 범위로 되어도 된다.
<9. 스피커를 구비하는 웨어러블 단말기>
이상에서는, 시선 검지 디바이스(600)를 갖는 시스템의 실시 형태에 대하여 설명되었다. 이하에서는, 스피커를 구비하는 재킷형 웨어러블 단말기(700)의 동작에 대하여 설명된다. 도 18은, 스피커(212)를 구비하는 재킷형 웨어러블 단말기(700)의 외관을 도시하는 도면이다. 도 18로부터 이해되는 바와 같이, 유저의 귀에 가까운 위치에 스피커(212)가 배치된다.
도 18에 도시되는 보이스 코일 모터와 같은 소리를 출력할 수 있는 진동 디바이스(208)와 스피커(212)를 구비하는 재킷형 웨어러블 단말기(700)에 의해, 진동과 소리가 별개로 유저에게 제공됨으로써, 가상 오브젝트(400)의 위치 관계가 표현된다.
예를 들어 사람은 소리의 발생원의 방향을 좌우 귀의 음량차 및 위상차로 지각하기 때문에, 스피커(212)로부터 출력되는 소리에 의해 소리의 발생원의 방향이 표현된다. 또한, 소리의 발생원과의 거리는 주로 소리의 크기로 지각되기 때문에, 보이스 코일 모터와 같은 진동 디바이스(208)에서 출력되는 소리의 크기를 바꾸어, 가상 오브젝트(400)가 가상 공간 내에서 접촉한 위치를 표현할 수 있다.
이때 예를 들어, 가상 공간 내에 있어서 유저의 가슴에서 가상 오브젝트(400)와의 접촉이 발생한 경우, 유저의 가슴 근처에 배치되어 있는 순으로, 진동 디바이스(208a, 208d)로부터 큰 소리가 출력되고, 진동 디바이스(208b, 208e)로부터 중간 정도의 소리가 출력되고, 진동 디바이스(208c, 208f)로부터 작은 소리가 출력된다. 이때 예를 들어, 유저의 귀에서부터 진동 디바이스(208)까지의 거리의 2승에 반비례시켜 먼 위치의 진동 디바이스(208)일수록 작은 음량이 출력되도록 제어가 행해져도 된다.
또한, 진동 디바이스(208)가 진동할 때 발생하는 진동음이 유저에게 들리지 않는 것이 바람직하기 때문에, 진동 디바이스(208)의 진동음을 상쇄하도록, 스피커(212) 또는 다른 진동 디바이스(208)가 제어되어도 된다. 이때 재킷형 웨어러블 단말기(700)에서는 유저의 귀에 대한 스피커(212)의 상대 위치가 고정적이기 때문에, 진동 디바이스(208)에 입력되는 파형에 기초하여 스피커(212)가 제어됨으로써, 마이크로폰을 사용하지 않고 진동 디바이스(208)의 진동음을 상쇄할 수 있다.
또한, 스피커(212) 부근에 마이크로폰을 배치하고, 유저의 귀에 닿을 것으로 상정되는 소리를 마이크로폰에 의해 검출하고, 실시간으로 역위상의 소리가 재생됨으로써, 고정밀도로 진동 디바이스(208)의 진동음을 상쇄할 수 있음과 함께, 주변의 소리도 상쇄할 수 있다.
<10. 진동 데이터의 생성 방법>
이상에서는, 스피커(212)를 구비하는 재킷형 웨어러블 단말기(700)의 동작에 대하여 설명되었다. 이하에서는, 본 실시 형태의 시스템에서 사용되는 진동 데이터의 생성 방법에 대하여 설명된다. 도 19 내지 도 22는, 본 실시 형태의 시스템에서 사용되는 진동 데이터가 생성되는 과정을 도시하는 도면이다.
도 19의 좌측 도면은, 실물체(예를 들어 마찰 계수가 큰 면)를 덧그렸을 때의 가속도 데이터를 가속도 센서로 샘플링하였을 때의 파형이다. 또한, 도 19의 우측 도면은, 샘플링된 파형(도 19의 좌측 도면)의 주파수 성분을 나타낸 그래프이다.
도 20은, 핑크 노이즈의 파형 및 주파수 성분을 나타내는 그래프이다. 도 21의 좌측 도면은, 도 19의 우측 도면에서 표시된 주파수 특성을 이용하여 도 20의 핑크 노이즈에 이퀄라이저를 걸었을 때의 파형이다.
이상과 같이 본 실시 형태의 시스템에서 사용되는 진동 데이터는, 실체물로부터 얻어진 파형에 기초하여 핑크 노이즈에 이퀄라이저를 걸어 생성된다. 그리고 「이퀄라이저가 걸린 핑크 노이즈」가, 조작 가상 오브젝트(400a)의 속도에 따라 재생된다. 이에 의해 「연속적인 촉감의 표현」과 「물체 고유의 촉각의 표현」이 양립된다.
<11. 보충 설명>
이상, 첨부 도면을 참조하면서 본 개시의 적합한 실시 형태에 대하여 상세하게 설명하였지만, 본 개시의 기술적 범위는 이러한 예에 한정되지 않는다. 본 개시의 기술 분야에 있어서의 통상의 지식을 갖는 자라면, 특허청구범위에 기재된 기술적 사상의 범주 내에 있어서, 각종 변경예 또는 수정예에 상도할 수 있다는 것은 명확하며, 이들에 대해서도 당연히 본 개시의 기술적 범위에 속한다.
예를 들어, 상술한 예에서는 촉각 데이터의 예로서 진동 데이터가 설명되었다. 그러나, 촉각 데이터는 진동 데이터에 한정되지 않는다. 예를 들어 촉각 데이터는, 전기 자극에 관한 촉각 데이터여도 되고, 또한 열에 관한 촉각 데이터여도 된다. 이때 리스너(500)는, 열 또는 전기 자극을 검지해도 된다.
또한, 상술한 진동 데이터와 마찬가지로 가상 오브젝트(400)가 갖는 속성에 기초하여, 열 또는 전기 자극에 관한 촉각 데이터가 생성되어도 된다. 예를 들어, 조작 가상 오브젝트(400a)가 금속의 속성을 갖고 있을 때, 금속은 열전도율이 높으므로, 급격하게 열이 전해지도록 촉각 데이터가 생성되어도 된다. 한편, 조작 가상 오브젝트(400a)가 나무의 속성을 갖고 있을 때, 나무는 금속보다 열전도율이 낮으므로, 금속의 속성을 갖는 가상 오브젝트(400)에 열원이 치우친 경우보다 완만하게 열이 전해지도록 촉각 데이터가 생성되어도 된다. 또한, 마찬가지로 조작 가상 오브젝트(400a)가 금속의 속성을 갖고 있을 때, 금속은 전기 전도율이 높으므로, 강한 전기 자극이 유저에게 피드백되도록 촉각 데이터가 생성되어도 된다. 한편, 조작 가상 오브젝트(400a)가 나무의 속성을 갖고 있을 때, 나무는 금속보다 전기 전도율이 낮으므로, 촉각 데이터는 생성되지 않아도 된다.
또한, 상술한 바와 같이 조작 가상 오브젝트(400a)로부터 이격된 위치에 있는 충격파 발생원(800)으로부터의 충격파(802)를 리스너(500)가 검지하는 실시 형태가 설명되었다. 이때, 재킷형 웨어러블 단말기(700)는 진동하는 한편, 유저가 파지하는 컨트롤러(200)는 진동하지 않아도 된다. 즉, 기기의 구성(또는 종류)에 의해 촉각 피드백이 상이해도 된다.
또한, 상술한 물리 엔진(108) 및 촉각 엔진(110)은 범용의 프로세서를 사용하여 실현되어도 된다. 또한, 당해 프로세서를 상술한 바와 같이 동작시키기 위한 컴퓨터 프로그램이 제공되어도 된다. 또한, 이러한 프로그램이 기억된 기억 매체가 제공되어도 된다.
<12. 결론>
이상 설명한 바와 같이, 본 개시의 시스템은, 가상 오브젝트(400)와 관련지어진 속성 정보에 따라 진동 데이터가 생성된다. 또한, 본 개시의 시스템은, 리스너(500)가 배치된 조작 가상 오브젝트(400a)와 다른 가상 오브젝트(400)가 접촉하였을 때의 상대 속도 또는 접촉 위치에 기초하여 진동 데이터가 생성된다. 이에 의해 유저는, 임장감이 있는 진동에 의한 피드백을 받을 수 있다.
또한, 본 개시의 시스템에서는, 리스너(500)가 배치된 조작 가상 오브젝트(400a)에 접촉한 다른 가상 오브젝트(400)와 관련지어진 속성 정보에 기초하여 진동 데이터가 생성된다. 유저는, 게임 등을 행하고 있을 때, 유저가 조작하는 조작 가상 오브젝트(400a)의 촉각이 아니라, 조작 가상 오브젝트(400a)에 접촉하는 가상 오브젝트(400)의 촉각에 의한 피드백을 바란다. 따라서, 상술한 구성에 의해, 유저는 보다 임장감이 있는 피드백을 받을 수 있다.
또한, 본 개시의 시스템에서는, 가상 오브젝트(400)가 속성 정보에 따른 진동 데이터를 가짐으로써, 진동 데이터의 생성이 실시간으로 행해진다. 또한, 진동 데이터가 각 가상 오브젝트(400)에 매핑됨으로써, 용이하게 진동 데이터를 각 가상 오브젝트(400)에 부여할 수 있다.
또한, 본 개시의 시스템에서는, 복수의 리스너(500) 사이의 결합 관계에 기초하여 진동에 의한 피드백이 행해짐으로써, 유저는 보다 다양한 진동에 의한 피드백을 느낄 수 있다.
또한, 이하와 같은 구성도 본 개시의 기술적 범위에 속한다.
(1) 속성을 갖는 가상 오브젝트를 포함하는 가상 공간에 관한 데이터를 생성하는 가상 공간 데이터 생성부와,
상기 가상 오브젝트에 대한 접촉을 검지하는 리스너를 배치하는 리스너 배치부와,
상기 리스너가 배치된 가상 오브젝트와,
상기 가상 오브젝트와, 다른 가상 오브젝트가 접촉하였을 때, 상기 가상 오브젝트의 속성 정보 혹은 상기 다른 가상 오브젝트의 속성 정보 중 적어도 하나에 기초하여, 촉각 디바이스를 동작시키는 촉각 데이터를 생성하는 촉각 데이터 생성부를 구비하는 정보 처리 장치.
(2) 상기 리스너가 배치된 상기 가상 오브젝트는, 유저가 조작하는 상기 가상 오브젝트인, 상기 (1)에 기재된 정보 처리 장치.
(3) 상기 촉각 데이터는 진동에 관한 데이터인, 상기 (1) 또는 상기 (2)에 기재된 정보 처리 장치.
(4) 상기 가상 공간 데이터 생성부는, 상기 가상 오브젝트에 속성을 관련짓도록 상기 가상 오브젝트를 형성하는, 상기 (1) 내지 상기 (3) 중 어느 한 항에 기재된 정보 처리 장치.
(5) 상기 가상 오브젝트의 상기 속성 정보는, 상기 가상 오브젝트의 질량, 강성, 재질, 크기, 형상, 위치, 속도 중 적어도 하나를 포함하는, 상기 (4)에 기재된 정보 처리 장치.
(6) 상기 촉각 데이터 생성부는, 상기 유저가 조작하는 상기 가상 오브젝트의 상기 속성에 기초하여 상기 촉각 데이터를 생성하는, 상기 (5)에 기재된 정보 처리 장치.
(7) 상기 촉각 데이터 생성부는, 상기 유저가 조작하는 상기 가상 오브젝트와는 상이한 상기 다른 가상 오브젝트의 상기 속성에 기초하여 상기 촉각 데이터를 생성하는, 상기 (5)에 기재된 정보 처리 장치.
(8) 상기 촉각 데이터 생성부는, 상기 유저가 조작하는 상기 가상 오브젝트의 상기 속성 및 상기 유저가 조작하는 상기 가상 오브젝트와는 상이한 상기 다른 가상 오브젝트의 상기 속성의 양쪽에 기초하여 상기 촉각 데이터를 생성하는, 상기 (5)에 기재된 정보 처리 장치.
(9) 상기 촉각 데이터 생성부는, 또한 상기 리스너가 배치된 가상 오브젝트와, 다른 가상 오브젝트의 상대 속도 또는 접촉 위치에 따라 상기 촉각 데이터를 생성하는, 상기 (1) 내지 상기 (8) 중 어느 한 항에 기재된 정보 처리 장치.
(10) 상기 촉각 데이터 생성부는, 상기 리스너가 배치된 상기 가상 오브젝트로부터 이격된 위치에 존재하는 충격의 발생원에 기초하는 상기 촉각 데이터를 생성하는, 상기 (1) 내지 상기 (9) 중 어느 한 항에 기재된 정보 처리 장치.
(11) 상기 촉각 데이터 생성부는, 상기 리스너가 배치된 상기 가상 오브젝트와, 상기 충격의 발생원의 사이의 매체에 기초하여 상기 촉각 데이터를 생성하는, 상기 (10)에 기재된 정보 처리 장치.
(12) 상기 리스너 배치부는, 복수의 상기 리스너를 상기 가상 오브젝트에 배치하고,
상기 촉각 데이터 생성부는, 상기 복수의 상기 리스너 중 적어도 하나에 대응하는 상기 촉각 디바이스에 대한 상기 촉각 데이터와, 상기 복수의 상기 리스너 사이의 결합 관계에 기초하여, 상기 복수의 상기 리스너 중 다른 리스너에 대응하는 상기 촉각 디바이스에 대한 상기 촉각 데이터를 생성하는, 상기 (1) 내지 상기 (11) 중 어느 한 항에 기재된 정보 처리 장치.
(13) 상기 결합 관계는 전반 특성에 관한, 상기 (12)에 기재된 정보 처리 장치.
(14) 상기 전반 특성은 전반 속도 또는 전반의 감쇠에 관한, 상기 (13)에 기재된 정보 처리 장치.
(15) 또한, 촉각 데이터 생성부는, 유저의 시선을 검지하는 시선 검지부로부터의 정보에 기초하여 상기 촉각 데이터를 생성하는, 상기 (1) 내지 상기 (14) 중 어느 한 항에 기재된 정보 처리 장치.
(16) 상기 촉각 데이터 생성부는, 상기 가상 공간에 있어서의 상기 유저의 시야 내의 상기 가상 오브젝트와, 상기 유저가 조작하는 상기 가상 오브젝트의 접촉에 기초하여 상기 촉각 데이터를 생성하는, 상기 (15)에 기재된 정보 처리 장치.
(17) 상기 촉각 데이터는, 전기 자극 또는 열에 관한 데이터인, 상기 (1) 내지 상기 (16) 중 어느 한 항에 기재된 정보 처리 장치.
(18) 속성을 갖는 가상 오브젝트를 포함하는 가상 공간에 관한 데이터를 생성하는 것과,
상기 가상 오브젝트에 대한 접촉을 검지하는 리스너를 배치하는 것과,
상기 리스너가 상기 가상 오브젝트에 배치되는 것과,
상기 가상 오브젝트와, 다른 가상 오브젝트가 접촉하였을 때, 상기 가상 오브젝트의 속성 정보 혹은 상기 다른 가상 오브젝트의 속성 정보 중 적어도 하나에 기초하여, 촉각 디바이스를 동작시키는 촉각 데이터를 생성하는 것을 포함하는, 방법.
(19) 프로세서에 속성을 갖는 가상 오브젝트를 포함하는 가상 공간에 관한 데이터를 생성시키고,
상기 가상 오브젝트에 대한 접촉을 검지하는 리스너를 배치시키고,
상기 리스너를 상기 가상 오브젝트에 배치시키고,
상기 가상 오브젝트와, 다른 가상 오브젝트가 접촉하였을 때, 상기 가상 오브젝트의 속성 정보 혹은 상기 다른 가상 오브젝트의 속성 정보 중 적어도 하나에 기초하여, 촉각 디바이스를 동작시키는 촉각 데이터를 생성시키는, 컴퓨터 프로그램.
100: 게임기
102: 처리부
104: 가상 공간 데이터 생성부
106: 리스너 배치부
108: 물리 엔진
110: 촉각 엔진
112: 진동 데이터 생성부
114: 음성 데이터 생성부
116: 통신부
200: 컨트롤러
202: 처리부
204: 가속도 센서
206: 자이로 센서
208: 진동 디바이스
210: 통신부
212: 스피커
300: 표시 장치
400: 가상 오브젝트
400a: 조작 가상 오브젝트
500: 리스너
502: 결합 요소
600: 시선 검지 디바이스
602: 시선 검지부
604: 통신부
700: 웨어러블 단말기
800: 충격파 발생원
802: 충격파

Claims (19)

  1. 속성을 갖는 가상 오브젝트를 포함하는 가상 공간에 관한 데이터를 생성하는 가상 공간 데이터 생성부와,
    상기 가상 오브젝트에 대한 접촉을 검지하는 리스너를 배치하는 리스너 배치부와,
    상기 리스너가 배치된 가상 오브젝트와,
    상기 가상 오브젝트와, 다른 가상 오브젝트가 접촉하였을 때, 상기 가상 오브젝트의 속성 정보 혹은 상기 다른 가상 오브젝트의 속성 정보 중 적어도 하나에 기초하여, 촉각 디바이스를 동작시키는 촉각 데이터를 생성하는 촉각 데이터 생성부를 구비하는, 정보 처리 장치.
  2. 제1항에 있어서, 상기 리스너가 배치된 상기 가상 오브젝트는, 유저가 조작하는 상기 가상 오브젝트인, 정보 처리 장치.
  3. 제1항에 있어서, 상기 촉각 데이터는 진동에 관한 데이터인, 정보 처리 장치.
  4. 제2항에 있어서, 상기 가상 공간 데이터 생성부는, 상기 가상 오브젝트에 속성을 관련짓도록 상기 가상 오브젝트를 형성하는, 정보 처리 장치.
  5. 제4항에 있어서, 상기 가상 오브젝트의 상기 속성 정보는, 상기 가상 오브젝트의 질량, 강성, 재질, 크기, 형상, 위치, 속도 중 적어도 하나를 포함하는, 정보 처리 장치.
  6. 제5항에 있어서, 상기 촉각 데이터 생성부는, 상기 유저가 조작하는 상기 가상 오브젝트의 상기 속성에 기초하여 상기 촉각 데이터를 생성하는, 정보 처리 장치.
  7. 제5항에 있어서, 상기 촉각 데이터 생성부는, 상기 유저가 조작하는 상기 가상 오브젝트와는 상이한 상기 다른 가상 오브젝트의 상기 속성에 기초하여 상기 촉각 데이터를 생성하는, 정보 처리 장치.
  8. 제5항에 있어서, 상기 촉각 데이터 생성부는, 상기 유저가 조작하는 상기 가상 오브젝트의 상기 속성 및 상기 유저가 조작하는 상기 가상 오브젝트와는 상이한 상기 다른 가상 오브젝트의 상기 속성의 양쪽에 기초하여 상기 촉각 데이터를 생성하는, 정보 처리 장치.
  9. 제1항에 있어서, 상기 촉각 데이터 생성부는, 또한 상기 리스너가 배치된 가상 오브젝트와, 다른 가상 오브젝트의 상대 속도 또는 접촉 위치에 따라 상기 촉각 데이터를 생성하는, 정보 처리 장치.
  10. 제1항에 있어서, 상기 촉각 데이터 생성부는, 상기 리스너가 배치된 상기 가상 오브젝트로부터 이격된 위치에 존재하는 충격의 발생원에 기초하는 상기 촉각 데이터를 생성하는, 정보 처리 장치.
  11. 제10항에 있어서, 상기 촉각 데이터 생성부는, 상기 리스너가 배치된 상기 가상 오브젝트와, 상기 충격의 발생원의 사이의 매체에 기초하여 상기 촉각 데이터를 생성하는, 정보 처리 장치.
  12. 제1항에 있어서, 상기 리스너 배치부는, 복수의 상기 리스너를 상기 가상 오브젝트에 배치하고,
    상기 촉각 데이터 생성부는, 상기 복수의 상기 리스너 중 적어도 하나에 대응하는 상기 촉각 디바이스에 대한 상기 촉각 데이터와, 상기 복수의 상기 리스너 사이의 결합 관계에 기초하여, 상기 복수의 상기 리스너 중 다른 리스너에 대응하는 상기 촉각 디바이스에 대한 상기 촉각 데이터를 생성하는, 정보 처리 장치.
  13. 제12항에 있어서, 상기 결합 관계는 전반 특성에 관한, 정보 처리 장치.
  14. 제13항에 있어서, 상기 전반 특성은 전반 속도 또는 전반의 감쇠에 관한, 정보 처리 장치.
  15. 제1항에 있어서, 또한 촉각 데이터 생성부는, 유저의 시선을 검지하는 시선 검지부로부터의 정보에 기초하여 상기 촉각 데이터를 생성하는, 정보 처리 장치.
  16. 제15항에 있어서, 상기 촉각 데이터 생성부는, 상기 가상 공간에 있어서의 상기 유저의 시야 내의 상기 가상 오브젝트와, 상기 유저가 조작하는 상기 가상 오브젝트의 접촉에 기초하여 상기 촉각 데이터를 생성하는, 정보 처리 장치.
  17. 제1항에 있어서, 상기 촉각 데이터는 전기 자극 또는 열에 관한 데이터인, 정보 처리 장치.
  18. 속성을 갖는 가상 오브젝트를 포함하는 가상 공간에 관한 데이터를 생성하는 것과,
    상기 가상 오브젝트에 대한 접촉을 검지하는 리스너를 배치하는 것과,
    상기 리스너가 상기 가상 오브젝트에 배치되는 것과,
    상기 가상 오브젝트와, 다른 가상 오브젝트가 접촉하였을 때, 상기 가상 오브젝트의 속성 정보 혹은 상기 다른 가상 오브젝트의 속성 정보 중 적어도 하나에 기초하여, 촉각 디바이스를 동작시키는 촉각 데이터를 생성하는 것을 포함하는, 방법.
  19. 프로세서에 속성을 갖는 가상 오브젝트를 포함하는 가상 공간에 관한 데이터를 생성시키고,
    상기 가상 오브젝트에 대한 접촉을 검지하는 리스너를 배치시키고,
    상기 리스너를 상기 가상 오브젝트에 배치시키고,
    상기 가상 오브젝트와, 다른 가상 오브젝트가 접촉하였을 때, 상기 가상 오브젝트의 속성 정보 혹은 상기 다른 가상 오브젝트의 속성 정보 중 적어도 하나에 기초하여, 촉각 디바이스를 동작시키는 촉각 데이터를 생성시키는, 컴퓨터 프로그램.
KR1020187001671A 2015-09-08 2016-08-31 정보 처리 장치, 방법 및 컴퓨터 프로그램 KR102639118B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562215572P 2015-09-08 2015-09-08
US62/215,572 2015-09-08
PCT/JP2016/075581 WO2017043400A1 (ja) 2015-09-08 2016-08-31 情報処理装置、方法およびコンピュータプログラム

Publications (2)

Publication Number Publication Date
KR20180051482A true KR20180051482A (ko) 2018-05-16
KR102639118B1 KR102639118B1 (ko) 2024-02-22

Family

ID=58239593

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187001671A KR102639118B1 (ko) 2015-09-08 2016-08-31 정보 처리 장치, 방법 및 컴퓨터 프로그램

Country Status (6)

Country Link
US (5) US10331214B2 (ko)
EP (3) EP3349096B1 (ko)
JP (2) JP6834962B2 (ko)
KR (1) KR102639118B1 (ko)
CN (2) CN107924236B (ko)
WO (2) WO2017043400A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020122267A1 (ko) * 2018-12-10 2020-06-18 (주)리얼감 강도를 이용한 포스 피드백 방법 및 시스템
WO2020122282A1 (ko) * 2018-12-13 2020-06-18 (주)리얼감 포스 피드백 방법 및 시스템, 기계로 읽을 수 있는 저장 매체
KR20200081915A (ko) * 2018-12-28 2020-07-08 중앙대학교 산학협력단 가상현실 노래방 인터랙션 방법 및 장치
KR20200091257A (ko) * 2019-01-22 2020-07-30 (주)스코넥엔터테인먼트 가상 현실 제어 시스템
KR20200134952A (ko) * 2019-05-24 2020-12-02 한양대학교 산학협력단 임의 위치에서 발생하는 진동 피드백 구현 장치 및 방법
WO2023239107A1 (ko) * 2022-06-08 2023-12-14 한국전자기술연구원 핸드트래킹 기반 슈도햅틱 피드백을 활용한 실감형 인터랙션 방법

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107924236B (zh) * 2015-09-08 2021-09-21 索尼公司 信息处理装置、方法和存储介质
CN106371573B (zh) * 2015-12-04 2020-06-02 北京智谷睿拓技术服务有限公司 触觉反馈的方法、装置和虚拟现实交互系统
WO2018110434A1 (ja) 2016-12-15 2018-06-21 株式会社ソニー・インタラクティブエンタテインメント 振動デバイス、及び制御システム
JP6799077B2 (ja) * 2016-12-15 2020-12-09 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、コントローラデバイス、コントローラデバイスの制御方法、及びプログラム
JP6626992B2 (ja) 2016-12-15 2019-12-25 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、振動制御方法、及びプログラム
KR102088672B1 (ko) * 2016-12-22 2020-03-13 시티즌 도케이 가부시키가이샤 공작 기계 및 그의 제어 장치
US10592199B2 (en) 2017-01-24 2020-03-17 International Business Machines Corporation Perspective-based dynamic audio volume adjustment
WO2018193514A1 (ja) * 2017-04-18 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
WO2018193513A1 (ja) * 2017-04-18 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
US11013990B2 (en) 2017-04-19 2021-05-25 Sony Interactive Entertainment Inc. Vibration control apparatus
JP6757466B2 (ja) 2017-04-26 2020-09-16 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
WO2018216780A1 (ja) * 2017-05-24 2018-11-29 株式会社ミライセンス 刺激伝達装置
JP6613267B2 (ja) * 2017-06-02 2019-11-27 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法
JP6837921B2 (ja) 2017-06-02 2021-03-03 任天堂株式会社 ゲームプログラム、情報処理装置、情報処理システム、および、情報処理方法
JP6653293B2 (ja) 2017-06-05 2020-02-26 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法
WO2018230790A1 (ko) 2017-06-13 2018-12-20 주식회사 비햅틱스 헤드 마운티드 디스플레이
JP6771435B2 (ja) 2017-07-20 2020-10-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および位置情報取得方法
JP6893561B2 (ja) 2017-08-24 2021-06-23 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
CN111033441B (zh) 2017-08-24 2023-09-12 索尼互动娱乐股份有限公司 振动控制装置
WO2019043781A1 (ja) 2017-08-29 2019-03-07 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置、振動制御方法、及びプログラム
CN109690450B (zh) 2017-11-17 2020-09-29 腾讯科技（深圳）有限公司 Vr场景下的角色模拟方法和终端设备
CN111465913B (zh) * 2017-12-19 2024-07-02 索尼公司 信息处理装置和方法以及程序
JP2021073749A (ja) * 2018-03-07 2021-05-13 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
US11709550B2 (en) 2018-06-19 2023-07-25 Sony Corporation Information processing apparatus, method for processing information, and program
JPWO2020026443A1 (ja) * 2018-08-03 2021-08-19 株式会社ソニー・インタラクティブエンタテインメント 触覚表現用振動制御システム、触覚表現用振動発生装置、触覚表現用振動制御装置、および触覚表現用振動制御方法
US10569167B1 (en) * 2018-08-22 2020-02-25 Abdul Hotaki System and methods for providing wireless feedback to a video game
EP3861384A4 (en) * 2018-10-01 2022-05-11 LEIA Inc. HOLOGRAPHIC REALITY SYSTEM, MULTI-VIEW DISPLAY DEVICE, AND METHOD
WO2020079853A1 (ja) 2018-10-19 2020-04-23 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、コントローラ装置、情報処理装置、及びプログラム
JPWO2020079854A1 (ja) * 2018-10-19 2021-09-02 株式会社ソニー・インタラクティブエンタテインメント コントローラ装置、その制御方法、及びプログラム
JP2020080122A (ja) * 2018-11-14 2020-05-28 ソニー株式会社 情報処理装置、情報処理方法、および記憶媒体
WO2020132784A1 (en) * 2018-12-24 2020-07-02 Intel Corporation Methods and apparatus to detect collision of virtual camera with objects in three-dimensional volumetric model
JP7456388B2 (ja) * 2019-01-21 2024-03-27 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
US11397508B1 (en) * 2019-06-11 2022-07-26 Hyper Reality Partners, Llc Virtual experience pillars
JP7360282B2 (ja) * 2019-09-10 2023-10-12 株式会社東海理化電機製作所 制御装置、制御方法、及びプログラム
JP7360281B2 (ja) * 2019-09-10 2023-10-12 株式会社東海理化電機製作所 制御装置、制御方法、及びプログラム
JP2021067877A (ja) * 2019-10-25 2021-04-30 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、ヘッドマウントディスプレイ、および画像表示方法
WO2021145025A1 (ja) 2020-01-16 2021-07-22 ソニーグループ株式会社 情報処理装置、情報処理端末及びプログラム
JP7170680B2 (ja) * 2020-02-13 2022-11-14 任天堂株式会社 ゲームシステム、ゲームプログラム、情報処理装置、および、ゲーム処理方法
WO2022123667A1 (ja) * 2020-12-09 2022-06-16 日本電信電話株式会社 触覚システム
WO2022269799A1 (ja) * 2021-06-23 2022-12-29 日本電信電話株式会社 擬似触覚提示装置、擬似触覚提示方法、およびプログラム
WO2023108131A1 (en) * 2021-12-10 2023-06-15 Shaw Industries Group, Inc. Visceral surface covering simulator and method of use
WO2023153232A1 (ja) * 2022-02-08 2023-08-17 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
WO2023171078A1 (ja) * 2022-03-07 2023-09-14 アルプスアルパイン株式会社 触覚提示装置、シートシステム、及び触覚提示方法
WO2024090303A1 (ja) * 2022-10-24 2024-05-02 ソニーグループ株式会社 情報処理装置及び情報処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080094351A1 (en) * 2006-10-23 2008-04-24 Canon Kabushiki Kaisha Information processing apparatus and information processing method
US20110021272A1 (en) * 2009-07-22 2011-01-27 Immersion Corporation System and method for providing complex haptic stimulation during input of control gestures, and relating to control of virtual equipment
JP2011059821A (ja) 2009-09-07 2011-03-24 Sony Corp 入力装置、入力方法及びプログラム
WO2013018267A1 (ja) * 2011-07-29 2013-02-07 パナソニック株式会社 提示制御装置、及び提示制御方法
US20150070145A1 (en) * 2013-09-09 2015-03-12 Immersion Corporation Electrical stimulation haptic feedback interface

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6084587A (en) * 1996-08-02 2000-07-04 Sensable Technologies, Inc. Method and apparatus for generating and interfacing with a haptic virtual reality environment
JP4567817B2 (ja) 1997-09-11 2010-10-20 ソニー株式会社 情報処理装置及びその制御方法
US7084869B2 (en) 2000-03-31 2006-08-01 Massachusetts Institute Of Technology Methods and apparatus for detecting and correcting penetration between objects
WO2005094679A1 (en) * 2004-03-26 2005-10-13 Boston Medical Center Corporation A system and method for gait synchronized vibratory stimulation of the feet
JP4484570B2 (ja) * 2004-04-14 2010-06-16 富士ゼロックス株式会社 音響情報処理装置、音響情報提供方法
KR101310969B1 (ko) 2006-12-01 2013-09-23 삼성전자주식회사 디바이스의 환경을 분석하는 방법 및 이를 이용한 디바이스
WO2008075638A1 (ja) * 2006-12-19 2008-06-26 Nec Corporation 共通データ生成方法およびその装置
CN101496954B (zh) * 2008-01-28 2012-11-21 联想(北京)有限公司 一种游戏控制器及其游戏处理方法
CN101394439B (zh) * 2008-11-10 2011-11-02 华为终端有限公司 自动控制终端振动强度的方法、终端
JP5197521B2 (ja) * 2009-07-29 2013-05-15 京セラ株式会社 入力装置
TWI473490B (zh) 2009-09-03 2015-02-11 Htc Corp 調整事件提示程度的方法與其行動電子裝置及電腦程式產品
US8487759B2 (en) * 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
JP5668076B2 (ja) * 2009-11-17 2015-02-12 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 電子デバイスにおける触覚帯域を増加するためのシステム及び方法
US8540571B2 (en) * 2010-03-31 2013-09-24 Immersion Corporation System and method for providing haptic stimulus based on position
JP5195859B2 (ja) * 2010-09-27 2013-05-15 トヨタ自動車株式会社 睡眠装置
US8352643B2 (en) * 2010-09-30 2013-01-08 Immersion Corporation Haptically enhanced interactivity with interactive content
US20120190460A1 (en) * 2011-01-21 2012-07-26 Cecil Sessions Vibrating Gaming Vest
JP5920862B2 (ja) 2011-03-08 2016-05-18 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、コンピュータプログラム、および情報処理システム
KR101328054B1 (ko) * 2011-08-09 2013-11-08 엘지전자 주식회사 실감 진동을 발생시키는 영상표시장치 및 실감 진동 구현방법
JP2013054645A (ja) 2011-09-06 2013-03-21 Denso Wave Inc 光学的情報読取装置
US9101812B2 (en) * 2011-10-25 2015-08-11 Aquimo, Llc Method and system to analyze sports motions using motion sensors of a mobile device
JP2013150201A (ja) 2012-01-20 2013-08-01 Nec Access Technica Ltd 端末装置、報知制御方法、プログラム
CN103246379A (zh) * 2012-02-10 2013-08-14 联想移动通信科技有限公司 触摸反馈方法、装置及无线终端
US8711118B2 (en) * 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
JP2013187148A (ja) * 2012-03-09 2013-09-19 Gs Yuasa Corp 制御弁式鉛蓄電池
EP2856289A4 (en) * 2012-05-25 2016-01-06 Immerz Inc HAPTIC INTERFACE FOR PORTABLE ELECTRONIC DEVICE
US9874964B2 (en) * 2012-06-04 2018-01-23 Sony Interactive Entertainment Inc. Flat joystick controller
CN104768455B (zh) * 2012-09-11 2018-01-02 L.I.F.E.公司 可穿戴式通信平台
US20140198130A1 (en) * 2013-01-15 2014-07-17 Immersion Corporation Augmented reality user interface with haptic feedback
KR20140112648A (ko) 2013-03-13 2014-09-24 삼성전기주식회사 수평 진동 발생 장치
US9436282B2 (en) * 2013-03-14 2016-09-06 Immersion Corporation Contactor-based haptic feedback generation
US9606721B2 (en) * 2013-07-22 2017-03-28 Lg Electronics Inc. Mobile terminal and control method thereof
US20150105129A1 (en) * 2013-10-15 2015-04-16 Kevin Chapman Video Game Body Suit
US9619029B2 (en) * 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US9164587B2 (en) * 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US9671826B2 (en) * 2013-11-27 2017-06-06 Immersion Corporation Method and apparatus of body-mediated digital content transfer and haptic feedback
CN103995584B (zh) * 2014-04-29 2017-11-17 深圳超多维光电子有限公司 立体交互方法及其显示装置、操作棒和系统
US9679546B2 (en) * 2014-05-16 2017-06-13 Not Impossible LLC Sound vest
US10379614B2 (en) * 2014-05-19 2019-08-13 Immersion Corporation Non-collocated haptic cues in immersive environments
JP2015231098A (ja) 2014-06-04 2015-12-21 ソニー株式会社 振動装置、および振動方法
GB201410648D0 (en) * 2014-06-14 2014-07-30 Pape Lise S Walking aid providing tactile and visual cues to trigger and improve mobility
CN204484695U (zh) * 2014-06-30 2015-07-22 岳川凯 一种可穿戴式导盲系统
JP2016025620A (ja) 2014-07-24 2016-02-08 ソニー株式会社 画像処理システム、クライアントシステム、画像処理方法、および記憶媒体
US9690381B2 (en) 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
KR102254705B1 (ko) * 2014-09-19 2021-05-24 삼성전자주식회사 단말 장치 및 그 제어방법
CN104545936A (zh) * 2014-12-31 2015-04-29 戴晓伟 腰部姿态检测方法及检测结果的触觉反馈方法
CN107924236B (zh) * 2015-09-08 2021-09-21 索尼公司 信息处理装置、方法和存储介质
EP3483701B1 (en) * 2016-07-07 2023-11-01 Sony Group Corporation Information processing device, information processing method, and program
KR20180019270A (ko) * 2016-08-16 2018-02-26 (주)알비케이이엠디 증강현실 또는 가상현실 구현 기기와 연동되는 햅틱 디바이스
KR102442179B1 (ko) * 2017-11-17 2022-09-08 삼성전자주식회사 웨어러블 장치를 통하여 햅틱 피드백을 제공하는 전자 장치 및 그 방법
US10569167B1 (en) * 2018-08-22 2020-02-25 Abdul Hotaki System and methods for providing wireless feedback to a video game

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080094351A1 (en) * 2006-10-23 2008-04-24 Canon Kabushiki Kaisha Information processing apparatus and information processing method
US20110021272A1 (en) * 2009-07-22 2011-01-27 Immersion Corporation System and method for providing complex haptic stimulation during input of control gestures, and relating to control of virtual equipment
JP2013500516A (ja) * 2009-07-22 2013-01-07 イマージョン コーポレーション 操作ジェスチャの入力中に，及び，仮想装置の操作に関連して，複雑な触覚刺激を提供するシステム及び方法
JP2011059821A (ja) 2009-09-07 2011-03-24 Sony Corp 入力装置、入力方法及びプログラム
WO2013018267A1 (ja) * 2011-07-29 2013-02-07 パナソニック株式会社 提示制御装置、及び提示制御方法
US20150070145A1 (en) * 2013-09-09 2015-03-12 Immersion Corporation Electrical stimulation haptic feedback interface
JP2015062115A (ja) * 2013-09-09 2015-04-02 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 電気刺激ハプティックフィードバックインターフェース

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020122267A1 (ko) * 2018-12-10 2020-06-18 (주)리얼감 강도를 이용한 포스 피드백 방법 및 시스템
WO2020122282A1 (ko) * 2018-12-13 2020-06-18 (주)리얼감 포스 피드백 방법 및 시스템, 기계로 읽을 수 있는 저장 매체
KR20200081915A (ko) * 2018-12-28 2020-07-08 중앙대학교 산학협력단 가상현실 노래방 인터랙션 방법 및 장치
KR20200091257A (ko) * 2019-01-22 2020-07-30 (주)스코넥엔터테인먼트 가상 현실 제어 시스템
KR20200134952A (ko) * 2019-05-24 2020-12-02 한양대학교 산학협력단 임의 위치에서 발생하는 진동 피드백 구현 장치 및 방법
WO2023239107A1 (ko) * 2022-06-08 2023-12-14 한국전자기술연구원 핸드트래킹 기반 슈도햅틱 피드백을 활용한 실감형 인터랙션 방법

Also Published As

Publication number Publication date
KR102639118B1 (ko) 2024-02-22
EP3349096A4 (en) 2019-04-10
EP3349096A1 (en) 2018-07-18
EP3349097B1 (en) 2020-04-01
US20210191517A1 (en) 2021-06-24
JPWO2017043400A1 (ja) 2018-06-21
WO2017043610A1 (ja) 2017-03-16
WO2017043400A1 (ja) 2017-03-16
JP6822408B2 (ja) 2021-01-27
JP6834962B2 (ja) 2021-02-24
CN107924236A (zh) 2018-04-17
US10838500B2 (en) 2020-11-17
CN107924236B (zh) 2021-09-21
US20180203510A1 (en) 2018-07-19
CN107949818B (zh) 2021-07-27
US20190272038A1 (en) 2019-09-05
EP3690613A1 (en) 2020-08-05
JPWO2017043610A1 (ja) 2018-06-28
US10331214B2 (en) 2019-06-25
EP3349097A4 (en) 2019-04-10
US10942573B2 (en) 2021-03-09
US20180203509A1 (en) 2018-07-19
US20200026355A1 (en) 2020-01-23
CN107949818A (zh) 2018-04-20
US10353470B2 (en) 2019-07-16
EP3349096B1 (en) 2023-08-23
EP3349097A1 (en) 2018-07-18
US11314333B2 (en) 2022-04-26

Similar Documents

Publication Publication Date Title
KR20180051482A (ko) 정보 처리 장치, 방법 및 컴퓨터 프로그램
US10347093B2 (en) Programmable haptic devices and methods for modifying haptic effects to compensate for audio-haptic interference
CN108399003B (zh) 带有选择的触觉元数据的触觉广播
JP6504157B2 (ja) 体感導入装置、体感導入システム、及び体感導入方法
JP2020072962A (ja) プログラマブル触覚周辺装置
US10444844B2 (en) Systems and methods for providing haptic feedback via a case
KR20180065874A (ko) 햅틱 서라운드 기능성
CN105653026A (zh) 触觉控制器
CN105739674A (zh) 高带宽触觉效果的音频增强仿真
JP6360851B2 (ja) 仮想空間表示システム、ゲームシステム、仮想空間表示プログラムおよびゲームプログラム
JP5860629B2 (ja) 音源定位制御プログラムおよび音源定位制御装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right