WO2020141878A4 - 가상현실 공간의 감각 인지 시스템 및 방법 - Google Patents

가상현실 공간의 감각 인지 시스템 및 방법 Download PDF

Info

Publication number
WO2020141878A4
WO2020141878A4 PCT/KR2020/000013 KR2020000013W WO2020141878A4 WO 2020141878 A4 WO2020141878 A4 WO 2020141878A4 KR 2020000013 W KR2020000013 W KR 2020000013W WO 2020141878 A4 WO2020141878 A4 WO 2020141878A4
Authority
WO
WIPO (PCT)
Prior art keywords
electrode
event
current
computer device
application
Prior art date
Application number
PCT/KR2020/000013
Other languages
English (en)
French (fr)
Other versions
WO2020141878A3 (ko
WO2020141878A2 (ko
Inventor
조나연
이상철
한지훈
Original Assignee
주식회사 웨이브컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 웨이브컴퍼니 filed Critical 주식회사 웨이브컴퍼니
Publication of WO2020141878A2 publication Critical patent/WO2020141878A2/ko
Publication of WO2020141878A3 publication Critical patent/WO2020141878A3/ko
Publication of WO2020141878A4 publication Critical patent/WO2020141878A4/ko
Priority to US17/361,380 priority Critical patent/US20210322870A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • A—HUMAN NECESSITIES
    • A41—WEARING APPAREL
    • A41D—OUTERWEAR; PROTECTIVE GARMENTS; ACCESSORIES
    • A41D1/00—Garments
    • A—HUMAN NECESSITIES
    • A41—WEARING APPAREL
    • A41D—OUTERWEAR; PROTECTIVE GARMENTS; ACCESSORIES
    • A41D1/00—Garments
    • A41D1/002—Garments adapted to accommodate electronic equipment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/837—Shooting of targets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8076—Shooting
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/013—Force feedback applied to a game

Definitions

  • the present invention relates to a system and method for recognizing a sense in a virtual reality space.
  • Virtual Reality or Augmented Reality means that a specific environment or situation is created as 3D content with a three-dimensional effect through a computer, and the person using the 3D content is interacting with the actual surrounding situation and environment. It is a generic term for the human-computer interface that makes it look like it is.
  • a head mounted display (HMD) is applied for the display of 3D content and sound output, and a wearing suit with a sensor is applied to input commands from the user.
  • HMD head mounted display
  • a wearing suit with a sensor is applied to input commands from the user.
  • a physical-based sensor is used.
  • a control method that recognizes the user's motion is also proposed.
  • digital tactile sensation such as vibration can be recognized through a technology such as haptics, for example, through a touch screen, a mouse, or a suit worn by a user.
  • the digital tactile sensation is still limited to vibration, and for example, a user who plays a shooting game (FPS) in a virtual reality space cannot output the sensation he feels when he is shot.
  • FPS shooting game
  • an object of the present invention is to provide a sensory recognition system that enables a user to perceive an event occurring in a virtual reality with a realistic sense.
  • the object of the above is a computer device in which an application to be executed in virtual reality is installed, a suit worn by a user while executing the application and having a plurality of separated electrically conductive line patterns and electrodes connected thereto, and a communication connection to the computer device And a current application device that applies a current to the electrode, and the current application device generates a current of a waveform matched to the skin sensation corresponding to an event that occurs while executing the application in virtual reality, It is achieved by a sensory perception system in a virtual reality space, characterized in that applying to the selected electrode.
  • the computer device includes: a location mapping unit that maps a body position of a user object of the application to a position of an electrode of the suit and stores the mapping in a database; An event analysis unit that analyzes an event that occurs to a user in the application and determines a type of the event and a body position of the user object; A code extraction unit for extracting an event code and an electrode code of the suit mapped to the body position of the user object from the database based on the analysis information determined by the event analysis unit; And a main control unit controlling the execution of the application and operation of each part.
  • the current application device comprises: an electrode position determining unit that codes and stores electrodes installed in the suit, and selects a specific electrode based on the electrode code of the suit received from the computer device; A waveform generator configured to filter a current of a specific waveform from a battery based on the event code received from the computer device; And a control unit for applying a current of the generated specific waveform to an electrode selected by the electrode position determining unit.
  • the computer device and the current applying device may be implemented by being integrated into a single device.
  • the object of the above is a computer device in which an application to be executed in virtual reality is installed, a suit worn by a user while executing the application and having a plurality of separated electrically conductive line patterns and electrodes connected thereto, and a communication connection to the computer device It is applied to a sensory recognition system in a virtual reality space consisting of a current application device that applies current to the electrode, and when an event occurs to a user while the application of the computer device is running in virtual reality, the type of the event and the Determining a body position of a user object where an event occurs; Extracting an event code and an electrode code of the suit mapped to the body position of the user object from the database based on the determination result; Transmitting, by the computer device, the extracted event code and electrode code to the current application device; Filtering, by the current application device, to generate a current of a specific waveform from a battery based on an event code received from the computer device, and selecting a specific electrode based on the electrode code of the suit received from the computer device;
  • the user can realistically feel the execution effect by delivering a skin sensation corresponding to an event occurring to the user in an application executed in virtual reality.
  • the virtual skin sensation is matched with the waveform of the current so that the sensation can be easily recognized.
  • the intensity of the event can be realized realistically.
  • 1 is a block diagram showing the sensory perception system of the present invention.
  • FIG. 2 is a functional block diagram of a computer device.
  • FIG. 3 is a functional block diagram of a current application device.
  • FIG. 4 is a flow chart showing the sensory recognition method of the present invention.
  • a first-person shooter which is a kind of shooting game, is described as an example. It refers to a game where you fight with weapons or tools on the same screen as.
  • the present invention is not limited thereto, and can be applied to all kinds of applications that generate events that may affect a user's skin sensation.
  • 1 is a block diagram showing the sensory perception system of the present invention.
  • the sensory recognition system includes a suit 110 including an electrically conductive line pattern 111 and an electrode 112, a current application device 200, and a computer device 300.
  • the suit 110 is a garment worn by a user using a virtual reality device, and may be made of, for example, a garment fabric, and an electrically conductive line pattern 111 is formed on the inner surface thereof.
  • the line pattern 111 may be composed of an electrically conductive silicone rubber layer, and it is formed by mixing conductive powder with a silicone resin as a binder to provide high electrical conductivity and adhesion to the fabric, so that when the suit 110 is bent and pulled, By withstanding, electrical conductivity can be maintained.
  • the suit 110 can be conveniently washed due to the excellent adhesion, elasticity, and flexibility of the electrically conductive silicone rubber layer constituting the line pattern 111, and the suit 110 is not damaged even after washing.
  • a plurality of line patterns 111 are formed, one end is electrically connected to the pattern forming apparatus 200, and an electrode 112 is formed at the other end, and the electrode 112 may be an electrically conductive pad or a metal snap. have.
  • the electrode 112 serves to transmit a skin sensation corresponding to an event occurring in an executed program to the human skin through a current waveform.
  • the computer device 300 has an FPS program installed, a database 301 related to the FPS program is provided, and all event information affecting a corresponding user is stored in the database 301.
  • the computer device 300 may be a Windows-based compatible computer or a device equipped with an operating system that can be particularly applied to the present invention, and is collectively referred to as a computer device.
  • FIG. 2 is a functional block diagram of a computer device.
  • the location mapping unit 340 maps the body position of the user object of the FPS and the location of the electrode 112 of the suit 110 for the FPS, and stores the mapping in the database 301.
  • the location mapping unit 340 receives the location information and maps the body image location of the user object provided by the FPS.
  • the event analysis unit 320 serves to analyze an event occurring to a user in the FPS, and determines the type of the event and a body position of the generated user object.
  • the event analysis unit 320 indicates that the type of event is'gunshot' and the user object The position of the gunshot is detected from the fact that the position on the body is the'shoulder part'.
  • the intensity information of the gunshot may be classified into'strong, medium, weak' and included.
  • the code extraction unit 330 is based on the analysis information provided by the event analysis unit 320 at the request of the control unit 310, from the database 301, the event code, the body image position of the user object and the mapped suit 110 Extract the electrode code.
  • the transmission/reception unit 350 transmits the event code extracted at the request of the control unit 310 and the electrode code of the suit to the current application device 200.
  • the control unit 310 may be a microprocessor and controls the execution of the FPS and the operation of each part 320, 330, 340, and 350.
  • the FPS executed in the computer device 300 may be displayed through the large screen display 130 or may be displayed through a head mount display (HMD) 120 mounted by a user.
  • HMD head mount display
  • the current application device 200 is connected to the computer device 300 through a short-range wireless communication method including wired or wireless, for example, RF, Wi-Fi, and Bluetooth.
  • a short-range wireless communication method including wired or wireless, for example, RF, Wi-Fi, and Bluetooth.
  • the current application device 200 may be configured to be mounted on a waist like a belt or worn on a wrist like a wrist watch.
  • FIG. 3 is a functional block diagram of a current application device.
  • the electrode position determining unit 240 codes the electrode 112 installed in the suit 110 and stores it in the memory 230, and transmits the electrode position code to the computer device 300 as described above, and the position mapping unit 340 ) Maps the body position of the user object provided by the FPS and the position of the electrode 112 of the suit 110.
  • the waveform generator 220 filters a current of a specific waveform from the battery 260 based on the event code received from the computer device 300.
  • the electrode position determining unit 240 selects a specific electrode from among the electrodes 112 stored in the memory 230 based on the electrode code of the suit received from the computer device 300.
  • the control unit 210 may be a microprocessor, and applies a current of a specific waveform to the electrode 112 selected by the electrode position determination unit 240 so that the user feels sensation in the corresponding body part.
  • FIG. 4 is a flow chart showing the sensory recognition method of the present invention.
  • the event analysis unit 330 of the computer device 300 indicates that the type of the event is'gunshot', and the user object of the FPS It is determined from the fact that the position of the body image is the'shoulder part', and the strength of the gunshot can be further determined.
  • the code extracting unit 330 generates an event code from the database 301 based on the analysis information determined by the event analysis unit 320 at the request of the control unit 310, and the electrode code of the suit mapped to the body image position of the user object. Extract.
  • the control unit 310 of the computer device 300 transmits the event code and the electrode code extracted through the transmission/reception unit 350 to the current application device 200.
  • the waveform generator 220 of the current applying device 200 filters the current of a specific waveform from the battery 260 based on the event code received from the computer device 300.
  • the waveform of the current applied from the battery 260 may be composed of a square wave, a sawtooth wave, a sine wave, a pulse wave, or a combination thereof by filtering, or may have a symmetrical, asymmetrical and monophasic or biphasic form. have.
  • Such a waveform of the current may be prepared through a number of experiments to respond to various types of sensations felt by the human body, such as pain, tingling, itching, and tingling.
  • the intensity of the gunshot is additionally transmitted, and a current having a magnitude corresponding to the intensity of the gunshot can be generated by adjusting the intensity of the current.
  • the electrode position determining unit 240 selects a specific electrode from among the electrodes 112 stored in the memory 230 based on the electrode code of the suit received from the computer device 300.
  • the controller 210 applies a current of a specific waveform to the selected electrode 112 so that the user feels a painful sensation due to a gunshot wound in the shoulder. Let's do it.
  • the intensity of the gunshot wound is large, the intensity of the current is increased to make the pain feel more, and if the intensity is small, the intensity of the current can be reduced to make the pain less felt.
  • the sensory recognition system has been exemplified that the current application device 200 and the computer device 300 are separated from each other, but is not limited thereto.
  • the function of the computer device 300 may be absorbed and implemented as a single integrated device.
  • the sensory recognition system of the present invention can be applied to a game suit to realistically deliver a skin sensation corresponding to an event occurring to a user in a game application executed in virtual reality so that the user can feel the game execution effect vividly. It can be said that the possibility is high.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Textile Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

가상현실 내에서 사용자에게 발생하는 이벤트를 현실적인 감각으로 인지할 수 있도록 하는 감각 인지 시스템이 개시된다. 상기 시스템은, 가상현실에서 실행되는 애플리케이션이 설치된 컴퓨터 장치, 상기 애플리케이션을 실행하면서 사용자가 착용하며 다수의 분리된 전기전도성 라인 패턴과 이에 연결되는 전극을 구비한 수트, 및 상기 컴퓨터 장치에 통신 연결되고 상기 전극에 전류를 인가하는 전류 인가장치로 구성되며, 상기 전류 인가장치는, 상기 애플리케이션을 가상현실에서 실행하는 중 발생하는 이벤트에 대응하는 피부 감각에 매칭된 파형의 전류를 생성하여 상기 전극 중 선택된 전극에 인가한다.

Description

가상현실 공간의 감각 인지 시스템 및 방법
본 발명은 가상현실 공간 내에서 감각을 인지하는 시스템 및 방법에 관한 것이다.
가상현실(Virtual Reality) 또는 증강현실(Augmented Reality)이란 컴퓨터를 통해 어떤 특정한 환경이나 상황을 입체감 있는 3D 콘텐츠로 제작하여, 그 3D 콘텐츠를 사용하는 사람이 마치 실제 주변 상황, 환경과 상호작용하고 있는 것처럼 만들어 주는 인간-컴퓨터 사이의 인터페이스 등을 총칭한다.
이와 같이 가상현실 기술 3D 콘텐츠의 보편화와 더불어, 더욱 몰입도 높은 가상현실 서비스를 제공할 수 있는 다양한 디지털 디바이스가 개발되고 있다.
가령 3D 콘텐츠의 디스플레이와 사운드 출력을 위해 헤드 마운트 디스플레이(HMD)가 적용되고, 사용자로부터 명령 입력을 위해 센서가 부착된 착용 수트가 적용되기도 하며, 국내 등록특허 제1656025호와 같이, 물리기반센서를 통한 사용자의 모션을 인식한 제어방법도 제안되고 있다.
또한, 진동과 같은 디지털 촉감은 햅틱과 같은 기술에 의해, 가령 터치 스크린이나 마우스 또는 사용자가 착용한 수트를 통하여 인지할 수 있다.
그러나 아직까지 디지털 촉감은 진동에 한정되어 있어, 가령 가상현실 공간에서 슈팅 게임(FPS)을 수행하는 사용자가 총을 맞을 때 느끼는 감각을 출력할 수 없다. 다시 말해, 가상현실에서 발생하는 아픔이나 간지러움과 같은 피부 감각을 현실적으로 느끼도록 하는 방법은 아직까지 알려진 바가 없다.
따라서, 본 발명의 목적은 가상현실 내에서 사용자에게 발생하는 이벤트를 현실적인 감각으로 인지할 수 있도록 하는 감각 인지 시스템을 제공하는 것이다.
본 발명의 목적은 이벤트의 종류와 크기에 대응하여 현실적인 감각을 쉽게 구현할 수 있는 감각 인지 시스템을 제공하는 것이다.
상기의 목적은, 가상현실에서 실행되는 애플리케이션이 설치된 컴퓨터 장치, 상기 애플리케이션을 실행하면서 사용자가 착용하며 다수의 분리된 전기전도성 라인 패턴과 이에 연결되는 전극을 구비한 수트, 및 상기 컴퓨터 장치에 통신 연결되고 상기 전극에 전류를 인가하는 전류 인가장치로 구성되며, 상기 전류 인가장치는, 상기 애플리케이션을 가상현실에서 실행하는 중 발생하는 이벤트에 대응하는 피부 감각에 매칭된 파형의 전류를 생성하여 상기 전극 중 선택된 전극에 인가하는 것을 특징으로 하는 가상현실 공간의 감각 인지 시스템에 의해 달성된다.
바람직하게, 상기 컴퓨터 장치는, 상기 애플리케이션의 사용자 객체의 신체상 위치와 상기 수트의 전극의 위치를 매핑하여 데이터베이스에 저장하는 위치 매핑부; 상기 애플리케이션에서 사용자에게 발생하는 이벤트를 분석하여 이벤트의 종류와 발생한 사용자 객체의 신체상 위치를 판정하는 이벤트 분석부; 상기 이벤트 분석부가 판정한 분석 정보에 기초하여 상기 데이터베이스로부터 이벤트 코드, 상기 사용자 객체의 신체상 위치와 매핑된 수트의 전극코드를 추출하는 코드 추출부; 및 상기 애플리케이션의 실행과 각 부분의 동작을 제어하는 주 제어부를 포함한다.
바람직하게, 상기 전류 인가장치는, 상기 수트에 설치된 전극을 코드화하여 저장하고, 상기 컴퓨터 장치로부터 수신한 수트의 전극코드에 기초하여 특정 전극을 선택하는 전극위치 판정부; 상기 컴퓨터 장치로부터 수신한 이벤트 코드에 기초하여 배터리로부터 특정 파형의 전류가 생성되도록 필터링 하는 파형 생성부; 및 상기 전극위치 판정부가 선택한 전극으로 상기 생성된 특정 파형의 전류를 인가하는 제어부를 포함한다.
바람직하게, 상기 컴퓨터 장치와 상기 전류 인가장치는 단일의 장치로 통합되어 구현될 수 있다.
상기의 목적은, 가상현실에서 실행되는 애플리케이션이 설치된 컴퓨터 장치, 상기 애플리케이션을 실행하면서 사용자가 착용하며 다수의 분리된 전기전도성 라인 패턴과 이에 연결되는 전극을 구비한 수트, 및 상기 컴퓨터 장치에 통신 연결되고 상기 전극에 전류를 인가하는 전류 인가장치로 구성되는 가상현실 공간의 감각 인지 시스템에 적용되며, 상기 컴퓨터 장치의 상기 애플리케이션을 가상현실로 실행하는 중 사용자에게 이벤트가 발생하면 상기 이벤트의 종류와 상기 이벤트가 발생하는 사용자 객체의 신체상 위치를 판정하는 단계; 상기 판정의 결과에 기초하여 데이터베이스로부터 이벤트 코드, 상기 사용자 객체의 신체상 위치와 매핑된 수트의 전극코드를 추출하는 단계; 상기 컴퓨터 장치가 상기 추출된 이벤트 코드와 전극코드를 상기 전류 인가장치에 전송하는 단계; 상기 전류 인가장치가 상기 컴퓨터 장치로부터 수신한 이벤트 코드에 기초하여 배터리로부터 특정 파형의 전류가 생성되도록 필터링 하고, 상기 컴퓨터 장치로부터 수신한 수트의 전극코드에 기초하여 특정 전극을 선택하는 단계; 및 상기 선택된 전극으로 상기 특정 파형의 전류를 인가하여 사용자가 이벤트에 의한피부 감각을 느끼도록 하는 것을 특징으로 하는 가상현실 공간의 감각 인지 방법에 의해 달성된다.
본 발명에 의하면, 가상현실에서 실행되는 애플리케이션에서 사용자에게 발생하는 이벤트에 상응하는 피부 감각을 현실적으로 사용자가 전달함으로써 실행 효과를 생생하게 느끼도록 할 수 있다.
또한, 가상의 피부 감각을 전류의 파형으로 매칭되도록 함으로써 감각을 쉽게 인지할 수 있도록 한다.
더욱이, 전류의 세기를 조정함으로써 쉽게 이벤트의 강도를 현실적으로 구현할 수 있다.
도 1은 본 발명의 감각 인지 시스템을 보여주는 구성도이다.
도 2는 컴퓨터 장치의 기능 블록도이다.
도 3은 전류 인가장치의 기능 블록도이다.
도 4는 본 발명의 감각 인지 방법을 보여주는 흐름도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나 과도하게 축소된 의미로 해석되지 않아야 한다.
이하의 설명에서는 본 발명의 감각 인지 시스템 및 방법을 설명하기 위해 슈팅 게임의 일종인 FPS(First-person shooter)를 예로 들어 설명하는데, FPS는, 잘 알려진 것처럼, 플레이어의 시점, 내가 사물을 보는 시점과 같은 화면에서 무기나 도구를 이용해 전투를 벌이는 게임을 말한다.
그러나 본 발명은 이에 한정되지 않고, 사용자의 피부감각에 영향을 줄 수 있는 이벤트를 생성하는 모든 종류의 어플리케이션에 적용될 수 있음은 물론이다.
도 1은 본 발명의 감각 인지 시스템을 보여주는 구성도이다.
감각 인지 시스템은, 전기전도성 라인 패턴(111)과 전극(112)을 구비한 수트(110), 전류 인가장치(200) 및 컴퓨터 장치(300)로 구성된다.
수트(110)는 가상현실 장치를 이용하는 사용자가 착용하는 의복으로, 가령, 의복 원단으로 제작될 수 있으며, 내면에 전기전도성 라인 패턴(111)이 형성된다.
라인 패턴(111)은 전기전도성 실리콘 고무층으로 구성할 수 있는데, 바인더로서 실리콘 수지에 전도성 분말이 혼합되어 형성되어 높은 전기전도성과 원단과의 접착력을 구비하여 수트(110)를 구부리고 당겼을 때 이를 잘 견딤으로써 전기전도성을 유지할 수 있다.
따라서, 라인 패턴(111)을 구성하는 전기전도성 실리콘 고무층의 우수한 점착력과 탄성과 유연성에 의해 수트(110)를 편리하게 세탁할 수 있고, 세탁 후에도 수트(110)가 손상되지 않도록 한다.
라인 패턴(111)은 다수 개가 형성되어 일단은 패턴 형성장치(200)에 전기적으로 연결되고, 타단에는 전극(112)이 형성되는데, 전극(112)은 전기전도성 패드이거나 금속 스냅(snap)일 수 있다.
후술하는 것처럼, 전극(112)은 실행되는 프로그램에서 발생하는 이벤트에 대응하는 피부 감각을 전류 파형을 통하여 인체의 피부에 전달하는 역할을 한다.
컴퓨터 장치(300)에는 FPS 프로그램이 설치되고, FPS 프로그램에 관련된 데이터베이스(301)를 구비하며, 해당 사용자에게 영향을 주는 모든 이벤트 정보가 데이터베이스(301)에 저장된다.
컴퓨터 장치(300)는 윈도 베이스의 통상의 호환 가능한 컴퓨터이거나, 본 발명에 특히 적용될 수 있는 운영체제를 구비한 장치일 수 있으며, 통칭하여 컴퓨터 장치라 한다.
도 2는 컴퓨터 장치의 기능 블록도이다.
위치 매핑부(340)는 FPS의 사용자 객체의 신체상 위치와 FPS를 위한 수트(110)의 전극(112)의 위치를 매핑하여 데이터베이스(301)에 저장한다.
후술하는 것처럼, 전류 인가장치(200)에 연결된 각 전극(112)의 위치를 특정되어 있기 때문에 위치 매핑부(340)는 해당 위치정보를 수신하여 FPS가 제공하는 사용자 객체의 신체상 위치를 매핑한다.
이때, 수트(110)에 설치된 전극(112) 밀도를 고려해야 하는데, FPS가 제공하는 사용자 객체의 신체상 위치와 전극(112)의 위치가 일대일로 매칭되는 경우는 별 문제가 없지만, FPS가 제공하는 사용자 객체의 신체상 위치가 더 조밀한 경우, 다수의 사용자 객체의 신체상 위치가 하나의 전극(112) 위치에 대응하도록 매핑할 수 있다.
이벤트 분석부(320)는 FPS 내에서 사용자에게 발생하는 이벤트를 분석하는 역할을 하며, 이벤트의 종류와 발생한 사용자 객체의 신체상 위치를 판정한다.
예를 들어, 도 1의 화면에 표시한 것처럼, FPS 내에서 상대의 사격에 의해 왼쪽 어깨 부분에 총을 맞았을 때, 이벤트 분석부(320)는 이벤트의 종류가 '총상'이고, 사용자 객체의 신체상 위치가 '어깨 부분'이라는 것으로부터 총상의 위치를 검출한다.
추가로, FPS가 총상의 강도를 지정함으로써, 총상의 강도정보가 '강, 중, 약'으로 구별되어 포함될 수 있다.
코드 추출부(330)는 제어부(310)의 요청에 의해 이벤트 분석부(320)가 제공하는 분석 정보에 기초하여 데이터베이스(301)로부터 이벤트 코드, 사용자 객체의 신체상 위치와 매핑된 수트(110)의 전극코드를 추출한다.
송수신부(350)는 제어부(310)의 요청으로 추출된 이벤트 코드와 수트의 전극코드를 전류 인가장치(200)에 전송한다.
제어부(310)는 마이크로프로세서일 수 있고, FPS의 실행과 각 부분(320, 330, 340, 350)의 동작을 제어한다.
컴퓨터 장치(300)에서 실행되는 FPS는 대화면 디스플레이(130)를 통하여 표시되거나, 사용자가 장착한 HMD(Head Mount Display, 120)를 통하여 표시될 수 있다.
전류 인가장치(200)는 유선 또는 무선, 가령 RF, 와이파이, 블루투스 등을 포함하는 근거리 무선 통신방식을 통하여 컴퓨터 장치(300)와 연결된다.
전류 인가장치(200)는, 가령 벨트처럼 허리에 장착하거나 손목시계처럼 손목에 착용하도록 구성될 수 있다.
도 3은 전류 인가장치의 기능 블록도이다.
전극위치 판정부(240)는 수트(110)에 설치된 전극(112)을 코드화하여 메모리(230)에 저장하고, 상기한 것처럼, 전극위치 코드를 컴퓨터 장치(300)에 전달하여 위치 매핑부(340)가 FPS가 제공하는 사용자 객체의 신체상 위치와 수트(110)의 전극(112) 위치를 매핑하도록 한다.
파형 생성부(220)는 컴퓨터 장치(300)로부터 수신한 이벤트 코드에 기초하여 배터리(260)로부터 특정 파형의 전류가 생성되도록 필터링 한다.
전극위치 판정부(240)는 컴퓨터 장치(300)로부터 수신한 수트의 전극코드에 기초하여 메모리(230)에 저장된 전극(112) 중 특정 전극을 선택한다.
제어부(210)는 마이크로프로세서일 수 있으며, 전극위치 판정부(240)가 선택한 전극(112)으로 특정 파형의 전류를 인가함으로써 사용자가 해당 신체 부분에서 감각을 느끼도록 한다.
이하, 본 발명의 감각 인지 방법에 대해 도 1 내지 4를 참조하여 상세하게 설명한다.
도 4는 본 발명의 감각 인지 방법을 보여주는 흐름도이다.
이해를 쉽게 하도록 사용자가 수트(110)를 입고 HMD(120)를 착용하고 컴퓨터 장치(300)에 설치된 FPS를 가상현실에서 실행하는 중 어깨 부분에 총상을 입었을 때 사용자가 어깨 부분에 총상에 대응하는 통증을 느끼는 과정으로 한정하여 설명한다.
가상현실에서 FPS를 실행하는 중 상대의 총격에 의해 어깨 부분에 총상을 입는 이벤트가 발생하면, 컴퓨터 장치(300)의 이벤트 분석부(330)는 이벤트의 종류가 '총상'이고, FPS의 사용자 객체의 신체상 위치가 '어깨 부분'이라는 것으로부터 판정하며, 총상의 강도를 더 판정할 수 있다.
코드 추출부(330)는 제어부(310)의 요청에 의해 이벤트 분석부(320)가 판정한 분석 정보에 기초하여 데이터베이스(301)로부터 이벤트 코드, 사용자 객체의 신체상 위치와 매핑된 수트의 전극코드를 추출한다.
컴퓨터 장치(300)의 제어부(310)는 송수신부(350)를 통하여 추출된 이벤트 코드와 전극코드를 전류 인가장치(200)에 전송한다.
전류 인가장치(200)의 파형 생성부(220)는 컴퓨터 장치(300)로부터 수신한 이벤트 코드에 기초하여 배터리(260)로부터 특정 파형의 전류가 생성되도록 필터링 한다.
배터리(260)로부터 인가되는 전류의 파형은 필터링에 의해 구형파, 톱니파, 싸인파, 펄스파 또는 이들의 조합으로 구성되거나, 대칭, 비대칭 그리고 단상(monophasic) 또는 이상(biphasic)의 형태를 구비할 수 있다.
이러한 전류의 파형은 인체가 느끼는 감각, 가령 아픔, 따가움, 간지러움, 따끔함 등의 다양한 종류에 대응하도록 다수의 실험을 통하여 마련될 수 있다.
이때, 상기한 것처럼, 총상의 강도가 추가로 전달되며, 전류의 세기를 조정함으로써 총상의 강도에 대응하는 크기를 갖는 전류를 생성할 수 있다.
또한, 전극위치 판정부(240)는 컴퓨터 장치(300)로부터 수신한 수트의 전극코드에 기초하여 메모리(230)에 저장된 전극(112) 중 특정 전극을 선택한다.
상기한 것처럼, 특정 파형의 전류가 생성되고, 전극(112)이 선택되면, 제어부(210)는 선택된 전극(112)으로 특정 파형의 전류를 인가함으로써 사용자가 어깨 부분에서 총상의 의한 아픈 감각을 느끼도록 한다.
상기한 것처럼, 총상의 강도가 크다면 전류의 세기를 크게 하여 아픔을 더 느끼게 하고, 강도가 작다면 전류의 세기를 줄여 아픔을 덜 느끼게 할 수 있다.
상기의 실시 예에서, 감각 인지 시스템은 전류 인가장치(200)와 컴퓨터 장치(300)가 분리되어 구성되는 것을 예로 들었지만, 이에 한정되지 않는다. 가령, 전류 인가장치(200)가 마이크로프로세서를 구비하고 운영체제가 설치된 경우, 컴퓨터 장치(300)의 기능을 흡수하여 단일의 통합 장치로 구현할 수 있다.
이상에서는 본 발명의 실시 예를 중심으로 설명하였지만, 당업자의 수준에서 다양한 변경을 가할 수 있음은 물론이다. 따라서, 본 발명의 권리범위는 상기한 실시 예에 한정되어 해석될 수 없으며, 이하에 기재되는 청구범위에 의해 해석되어야 한다.
본 발명의 감각 인지 시스템은 게임용 수트에 적용하여 가상현실에서 실행되는 게임 애플리케이션에서 사용자에게 발생하는 이벤트에 상응하는 피부 감각을 현실적으로 사용자가 전달하여 게임실행 효과를 생생하게 느끼도록 할 수 있어 그 산업상 이용가능성이 높다고 할 수 있다.

Claims (5)

  1. 가상현실에서 실행되는 애플리케이션이 설치된 컴퓨터 장치, 상기 애플리케이션을 실행하면서 사용자가 착용하며 다수의 분리된 전기전도성 라인 패턴과 이에 연결되는 전극을 구비한 수트, 및 상기 컴퓨터 장치에 통신 연결되고 상기 전극에 전류를 인가하는 전류 인가장치로 구성되며,
    상기 전류 인가장치는, 상기 애플리케이션을 가상현실에서 실행하는 중 발생하는 이벤트에 대응하는 피부 감각에 매칭된 파형의 전류를 생성하여 상기 전극 중 선택된 전극에 인가하는 것을 특징으로 하는 가상현실 공간의 감각 인지 시스템.
  2. 청구항 1에서,
    상기 컴퓨터 장치는,
    상기 애플리케이션의 사용자 객체의 신체상 위치와 상기 수트의 전극의 위치를 매핑하여 데이터베이스에 저장하는 위치 매핑부;
    상기 애플리케이션에서 사용자에게 발생하는 이벤트를 분석하여 이벤트의 종류와 발생한 사용자 객체의 신체상 위치를 판정하는 이벤트 분석부;
    상기 이벤트 분석부가 판정한 분석 정보에 기초하여 상기 데이터베이스로부터 이벤트 코드, 상기 사용자 객체의 신체상 위치와 매핑된 수트의 전극코드를 추출하는 코드 추출부; 및
    상기 애플리케이션의 실행과 각 부분의 동작을 제어하는 주 제어부를 포함하는 것을 특징으로 하는 가상현실 공간의 감각 인지 시스템.
  3. 청구항 1에서,
    상기 전류 인가장치는,
    상기 수트에 설치된 전극을 코드화하여 저장하고, 상기 컴퓨터 장치로부터 수신한 수트의 전극코드에 기초하여 특정 전극을 선택하는 전극위치 판정부;
    상기 컴퓨터 장치로부터 수신한 이벤트 코드에 기초하여 배터리로부터 특정 파형의 전류가 생성되도록 필터링 하는 파형 생성부; 및
    상기 전극위치 판정부가 선택한 전극으로 상기 생성된 특정 파형의 전류를 인가하는 제어부를 포함하는 것을 특징으로 하는 가상현실 공간의 감각 인지 시스템.
  4. 청구항 1에서,
    상기 컴퓨터 장치와 상기 전류 인가장치는 단일의 장치로 통합되어 구현되는 것을 특징으로 하는 가상현실 공간의 감각 인지 시스템.
  5. 가상현실에서 실행되는 애플리케이션이 설치된 컴퓨터 장치, 상기 애플리케이션을 실행하면서 사용자가 착용하며 다수의 분리된 전기전도성 라인 패턴과 이에 연결되는 전극을 구비한 수트, 및 상기 컴퓨터 장치에 통신 연결되고 상기 전극에 전류를 인가하는 전류 인가장치로 구성되는 가상현실 공간의 감각 인지 시스템에 적용되며,
    상기 컴퓨터 장치의 상기 애플리케이션을 가상현실로 실행하는 중 사용자에게 이벤트가 발생하면 상기 이벤트의 종류와 상기 이벤트가 발생하는 사용자 객체의 신체상 위치를 판정하는 단계;
    상기 판정의 결과에 기초하여 데이터베이스로부터 이벤트 코드, 상기 사용자 객체의 신체상 위치와 매핑된 수트의 전극코드를 추출하는 단계;
    상기 컴퓨터 장치가 상기 추출된 이벤트 코드와 전극코드를 상기 전류 인가장치에 전송하는 단계;
    상기 전류 인가장치가 상기 컴퓨터 장치로부터 수신한 이벤트 코드에 기초하여 배터리로부터 특정 파형의 전류가 생성되도록 필터링 하고, 상기 컴퓨터 장치로부터 수신한 수트의 전극코드에 기초하여 특정 전극을 선택하는 단계; 및
    상기 선택된 전극으로 상기 특정 파형의 전류를 인가하여 사용자가 이벤트에 의한피부 감각을 느끼도록 하는 것을 특징으로 하는 가상현실 공간의 감각 인지 방법.
PCT/KR2020/000013 2019-01-03 2020-01-02 가상현실 공간의 감각 인지 시스템 및 방법 WO2020141878A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/361,380 US20210322870A1 (en) 2019-01-03 2021-06-29 System and method for recognizing sense in virtual reality space

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0000655 2019-01-03
KR1020190000655A KR20200084586A (ko) 2019-01-03 2019-01-03 가상현실 공간의 감각 인지 시스템 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/361,380 Continuation US20210322870A1 (en) 2019-01-03 2021-06-29 System and method for recognizing sense in virtual reality space

Publications (3)

Publication Number Publication Date
WO2020141878A2 WO2020141878A2 (ko) 2020-07-09
WO2020141878A3 WO2020141878A3 (ko) 2020-08-27
WO2020141878A4 true WO2020141878A4 (ko) 2020-10-15

Family

ID=71407374

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/000013 WO2020141878A2 (ko) 2019-01-03 2020-01-02 가상현실 공간의 감각 인지 시스템 및 방법

Country Status (3)

Country Link
US (1) US20210322870A1 (ko)
KR (1) KR20200084586A (ko)
WO (1) WO2020141878A2 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101366444B1 (ko) * 2012-02-10 2014-02-25 전북대학교산학협력단 실시간 상호 연동 가능한 가상 사격 시스템
US9690370B2 (en) * 2014-05-05 2017-06-27 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
KR101703440B1 (ko) * 2015-09-02 2017-02-06 김명철 가상체험용 웨어러블 장치
US10102722B2 (en) * 2015-12-18 2018-10-16 Immersion Corporation Wearable article having an actuator that performs non-haptic and haptic operations
KR101906814B1 (ko) * 2018-03-28 2018-10-12 주식회사 비햅틱스 촉각자극 제공 장치

Also Published As

Publication number Publication date
WO2020141878A3 (ko) 2020-08-27
KR20200084586A (ko) 2020-07-13
WO2020141878A2 (ko) 2020-07-09
US20210322870A1 (en) 2021-10-21

Similar Documents

Publication Publication Date Title
US11592902B2 (en) Wearable electronic haptic feedback system for VR/AR and gaming
US6930590B2 (en) Modular electrotactile system and method
US10437335B2 (en) Wearable electronic, multi-sensory, human/machine, human/human interfaces
US10761608B2 (en) Method and wearable apparatus for synchronizing a user with a virtual environment
CN108829245B (zh) 一种基于多模态脑机交互技术的虚拟沙盘交互控制系统
KR102432846B1 (ko) 웨어러블 디바이스 및 웨어러블 디바이스의 피드백 제공 방법
Edlinger et al. A hybrid brain-computer interface for smart home control
US10695574B2 (en) Sensory input through non-invasive brain stimulation
CN107092353B (zh) 一种手部触感参数的采集及模拟还原系统和方法
CN104991650B (zh) 一种手势控制器及一种虚拟现实系统
CN107943282A (zh) 一种基于增强现实和可穿戴设备的人机交互系统及方法
Adame et al. A wearable navigation aid for blind people using a vibrotactile information transfer system
WO2013129770A1 (ko) 다양하고 정교한 정보전달을 위한 입력 지점과 출력 지점이 분리된 햅틱 인터페이스
CN102755745A (zh) 一种全身式仿真游戏设备
WO2020141878A4 (ko) 가상현실 공간의 감각 인지 시스템 및 방법
EP3492138A1 (en) Electrical stimulator apparatus with contactless feedback from a user
CN205302186U (zh) 一种基于外部输入的虚拟现实控制系统
CN109793295A (zh) 一种智能手套
KR102288562B1 (ko) 가상현실 공간의 감각 인지 시스템 및 방법
CN111743250A (zh) 虚拟格斗训练系统、方法和存储介质
CN207220802U (zh) 体感检测装置
CN108654080A (zh) 一种控制输入设备及控制输入方法
CN207928682U (zh) 一种脑卒中康复训练装置
GB2571809A (en) Electrical stimulator apparatus with contactless feedback from a user
CN115756164A (zh) 虚拟现实体验装置及其控制方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20736133

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20736133

Country of ref document: EP

Kind code of ref document: A2