KR102076617B1 - 햅틱시스템, 햅틱시스템제어방법, 및 게임시스템 - Google Patents

햅틱시스템, 햅틱시스템제어방법, 및 게임시스템 Download PDF

Info

Publication number
KR102076617B1
KR102076617B1 KR1020140082877A KR20140082877A KR102076617B1 KR 102076617 B1 KR102076617 B1 KR 102076617B1 KR 1020140082877 A KR1020140082877 A KR 1020140082877A KR 20140082877 A KR20140082877 A KR 20140082877A KR 102076617 B1 KR102076617 B1 KR 102076617B1
Authority
KR
South Korea
Prior art keywords
haptic
signal
user
visual information
biosignal
Prior art date
Application number
KR1020140082877A
Other languages
English (en)
Other versions
KR20160004510A (ko
Inventor
류제하
이창규
정대현
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020140082877A priority Critical patent/KR102076617B1/ko
Priority to US14/791,264 priority patent/US20160004313A1/en
Publication of KR20160004510A publication Critical patent/KR20160004510A/ko
Application granted granted Critical
Publication of KR102076617B1 publication Critical patent/KR102076617B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/375—Electroencephalography [EEG] using biofeedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/486—Bio-feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/013—Force feedback applied to a game
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Cardiology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

본 발명에 따른 햅틱시스템에는, 시각정보에 대한 반응으로서 사용자의 생체신호를 측정하는 적어도 하나의 생체신호측정장치; 상기 사용자가 장착하여 촉감정보를 제공하는 적어도 하나의 햅틱정보제시장치; 및 상기 생체신호의 변화가 있는 때에 상기 햅틱정보제시장치를 동작시키는 컨트롤러가 포함된다.
본 발명에 따르면, 캘리브레이션의 문제가 없으므로 어느 사용환경에서든 사용자가 편리하게 사용할 수 있다. 또한, 사용자의 위치 및 동작을 정확하게 알아낼 수 있다.

Description

햅틱시스템, 햅틱시스템제어방법, 및 게임시스템{haptic system and control method for the system}
본 발명은 햅틱시스템, 햅틱시스템제어방법, 및 게임시스템에 관한 것이다. 더 상세하게는, 사용자가 더 편리하게 햅틱시스템을 사용하고 즐길 수 있는 햅틱시스템, 햅틱시스템제어방법, 및 게임시스템에 관한 것이다.
햅틱시스템은 촉감 등의 새로운 감각기관을 이용하여 사용자에게 정보를 전달할 수 있는 장치이다. 상기 햅틱시스템의 전형적인 사용형태로는 사용자의 손가락이 개인단말기의 화면에 터치하였을 때 터치된 상태를 감지하여 손가락에 진동 등의 느낌을 주는 사용형태가 있다.
상기 햅틱시스템의 전형적인 사용형태에서 더 나가아, 햅틱시스템은 사람 신체의 움직임을 감지하여, 가상객체 혹은 원격지에 위치한 실제객체(이하 객체라고 한다)와 접촉하였을 때, 진동이나 압력 등의 방식으로 사용자에게 이를 부여하는 햅틱시스템도 제안되고 있다. 상기되는 햅틱시스템은 원격진료, 가상게임, 및 수리장치 등에 활용될 수 있다. 이와 같은 햅틱시스템의 사용형태에 있어서는, 사용자의 움직임을 감지하여 어느 위치에 놓여있는 가를 삼차원 공간상에서 파악하는 것이 필수적으로 요구된다.
사용자의 움직임을 파악하는 종래기술로는, 사용자의 움직임을 센서로 감지하거나 촬영 이미지를 기하학적으로 분석하여 위치와 운동을 파악하는 방법이 사용되어왔다. 일례로서, 다양한 상표명으로 제시되는 모션 트래킹 기술(motion tracking technique)이 있다.
상기 모션트래킹은 다수의 방향에서 사용자의 움직임 이미지로 캡쳐하고, 사용자 이미지를 분석하여 객체와의 접촉을 파악한다. 이 경우에는 사용자가 있는 환경에서 사용자의 좌표와 객체가 놓이는 환경에서 객체의 좌표를 서로 캘리브레이션을 해야만 햅틱시스템을 동작시킬 수 있다. 상기 캘리브레이션은 햅틱시스템의 환경마다 달라지기 때문에 햅틱시스템의 사용을 복잡하게 만들고 어려움을 야기한다. 또한, 캘리브레이션이 되더라도 이미지의 렌더링등과 같은 복잡한 계산과정이 필요하기 때문에 객체와 사용자와의 접촉을 정확하게 알아내기가 어렵다.
별도의 센서를 사용하는 경우에는 정확한 접촉을 파악할 수 없는 문제점과 함께 센서가 고가인 문제점이 있고, 움직임을 파악할 수 있는 동작범위가 제한적인 문제점이 있다.
본 발명은 상기되는 문제점을 해결하고자 하는 발명자의 부단한 노력에 의하여 창출된 것으로서, 저렴하고, 사용자환경과 객체환경의 캘리브레이션의 어려움이 없고, 정확하게 사용자와 객체의 접촉을 파악할 수 있고, 사용자의 이동성에 대한 제한이 없는 햅틱시스템, 햅틱시스템제어방법, 및 게임시스템을 제안한다.
본 발명에 따른 햅틱시스템에는, 시각정보에 대한 반응으로서 사용자의 생체신호를 측정하는 적어도 하나의 생체신호측정장치; 상기 사용자가 장착하여 촉감정보를 제공하는 적어도 하나의 햅틱정보제시장치; 및 상기 생체신호의 변화가 있는 때에 상기 햅틱정보제시장치를 동작시키는 컨트롤러가 포함된다.
여기서 상기 시각정보를 제공하는 시각정보표시장치는 상기 컨트롤러에 의해서 제어될 수 있고, 상기 시각정보는 입체감을 가지는 정보일 수 있다.
또한, 상기 상기 생체신호로는 근전계신호 및 뇌파신호가 바람직하게 예시될 수 있다.
또한, 상기 햅틱시스템은 게임시스템에 적용됨으로써 산업상의 이용가치가 극대화되는 장점을 기대할 수 있다.
본 발명의 다른 측면에 따른 햅틱시스템제어방법에는, 시각정보에 반응하는 생체신호를 측정하는 것; 및 상기 생체신호의 변화를 감지하여 햅틱장치를 구동하는 것이 포함되고, 상기 생체신호는 근전계 및 뇌파 중의 적어도 하나는 포함되는 것을 특징으로 한다.
여기서, 상기 생체신호의 변화가 상기 시각정보에 상응하는 변화인 경우에만 상기 햅틱장치를 구동하도록 할 수 있고, 상기 생체신호가 소정의 패턴으로 측정되는 지를 판단하여 그 패턴에 대응하여 상기 햅틱장치를 동작시킬 수 있다. 이와 같은 경우에는 사용자에게 다양한 햅틱정보를 제공해 줄 수 있고, 사용자의 만족감이 한층 더 증진되는 효과를 기대할 수 있다.
본 발명의 햅틱시스템, 햅틱시스템제어방법, 및 게임시스템에 따르면, 캘리브레이션의 문제가 없으므로 어느 사용환경에서든 사용자가 편리하게 사용할 수 있다.
또한, 사용자의 위치 및 동작을 정확하게 알아낼 수 있다.
또한, 이미지처리등과 같은 복잡한 계산이 요청되지 않으므로 신속하게 햅틱시스템을 동작시킬 수 있다.
또한, 저렴한 가격으로 제공될 수 있기 때문에 게임용도와 같은 개인용으로도 사용될 수 있어서 산업적으로 큰 이용가능성을 기대할 수 있다.
또한, 사용자의 이동 및 동작을 파악할 수 없는 범위에 제한이 없으므로 공간상의 제약없이 햅틱시스템을 동작시킬 수 있는 장점이 있다.
도 1은 제 1 실시예에 따른 햅틱시스템이 사용되는 모습을 보이는 도면.
도 2는 제 1 실시예에 따른 햅틱시스템제어방법을 설명하는 흐름도.
도 3은 제 2 실시예에 따른 햅틱시스템이 사용되는 모습을 보이는 도면.
도 4는 제 2 실시예에 따른 햅틱시스템제어방법을 설명하는 흐름도.
도 5는 제 3 실시예에 따른 햅틱시스템이 사용되는 모습을 보이는 도면.
도 6은 제 4 실시예에 따른 햅틱시스템제어방법을 설명하는 흐름도.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 그러나, 본 발명의 사상은 이하의 실시예로 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에 포함되는 다른 실시예를 구성요소의 부가, 변경, 삭제, 및 추가 등에 의해서 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상에 포함된다.
<제 1 실시예>
도 1은 제 1 실시예에 따른 햅틱시스템이 사용되는 모습을 보이는 도면이다.
도 1을 참조하면, 햅틱시스템(1)과, 시각정보표시장치(5)와, 사용자가 도시된다. 상기 햅틱시스템(1)에는 사용자의 생체신호를 측정하여 생채신호정보를 알아내는 생체신호측정장치(2)와, 컨트롤러(3)의 제어에 따라서 사용자에게 햅틱정보를 제공하는 햅틱정보제시장치(4)가 포함된다. 상기 시각정보표시장치(5)는 사용자에게 시각정보를 제공하는 장치이다. 사용자는 상기 시각정보표시장치(5)에서 표시되는 시각정보를 느끼고, 상기 시각정보에 대응되는 판단을 한 다음에 근육을 움직여서 동작을 한다.
상기 시각정보표시장치(5)는 일반적인 디스플레이도 사용될 수 있고, 홀로그래픽과 같은 삼차원 영상표시장치일 수도 있고, 2.5D디스플레이 등이 사용될 수 있다. 상기 생체신호측정장치는 사용자의 신체에 장착되어 근육의 수축과 이완에 따라서 발생하는 근전계측정장치 등이 사용될 수 있다. 상기 햅틱정보제시장치(4)는 사용자의 피부, 예시적으로 손바닥에 장착되어 압박감을 제공하는 기구 등이 사용될 수 있다.
상기 햅틱시스템의 동작을 상세하게 설명한다.
상기 시각정보표시장치(5)에서 이미지 정보가 제공되면, 사용자는 시각을 통하여 이를 인식하고 뇌에서 이를 판단하여 근육을 수축시키거나 이완시키게 된다. 이때 근육에서는 근전계가 발생하고, 이는 사용자에게 장착되는 생체신호측정장치(2)에 의해서 측정될 수 있다. 상기 생체신호측정장치(2)에서 측정된 정보는 컨트롤러(3)에 전달된다. 상기 컨트롤러(3)는 근전계가 변화한 것을 개시신호로 활용하여 햅틱정보제시장치(4)를 동작시켜서 사용자에게 햅틱정보를 제공한다.
보다 구체적인 동작예를 설명한다.
상기 시각정보표시장치(5)에 두더지가 간헐적으로 올라올 때 이를 손바닥으로 때리는 게임을 예로 든다. 상기 시각정보표시장치(5)에는 임의의 시간간격으로 두더지나 나타났다가 잠시 후 사라지는 동영상이 제시된다. 이때 사용자는 동영상을 보면서 두더지가 나타났을 때 손바닥을 내려치는 동작을 수행한다. 사용자가 손바닥을 내려치는 동작을 수행하기 위해서는 팔꿈치부근 또는 손목부근의 근육을 수축 및 이완시키게 되고, 해당하는 근육부근에는 생체신호측정장치(2)로서 근전계측정장치의 감지부가 장착되어 있다. 상기 생체신호측정장치(2)는 근전계를 측정하여 사용자가 근육을 사용하는 것을 감지하고, 근전계 신호를 컨트롤러(3)에 이를 전달한다. 컨트롤러(3)는 근육을 사용하는 것을 개시신호로 하여 곧바로 또는 소정의 시간간격을 두고서, 사용자의 손바닥에 장착되는 햅틱정보제시장치(4)를 동작시킨다. 상기 햅틱정보제시장치(4)는 손바닥에 압력 또는 충격을 가하여 사용자에게 두더지를 때린 감각을 전달할 수 있다.
상기 시각정보표시장치(5)는 2차원이미지 뿐만이 아니라, 2.5차원, 또는 삼차원으로 제공될 수 있다. 이 경우에는 사용자 신체의 다른 위치에 있는 적어도 두 개 이상의 근육의 근전계 신호를 측정하여 활용할 수 있다. 예를 들어 사용자가 삼차원 공간에서 어느 방향으로 어느 동작을 하는 지를 근전계를 통하여 파악할 수 있다. 나아가서, 사용자의 움직임에 따라서, 적어도 두 개 이상의 햅틱정보제시장치(4)를 제공하여 다양한 햅틱정보를 사용자에게 부여할 수 있다.
상기되는 설명에서 본 바와 같은 햅틱시스템은 두더지 게임과 같은 게임시스템으로 사용될 수 있다.
도 2는 제 1 실시예에 따른 햅틱시스템제어방법을 설명하는 흐름도이다.
도 2를 참조하면, 햅틱시스템은 사용자의 생체신호를 측정하고(S1), 측정된 생체신호에서 변화가 감지되면(S2), 햅틱장치를 구동하여 사용자에게 햅틱정보를 제공할 수 있다(S3). 한편, 상기 생체신호는 근전계신호가 바람직하다.
본 실시예에 따르면, 애초에 캘리브레이션등이 필요하지 않으므로 어느 사용환경에서든 바로 사용할 수 있다. 또한, 근전계의 감지만으로 사용자의 동작을 감지하므로 이미지 처리등과 같은 복잡한 계산이 요청되지 않아 신속하게 햅틱시스템을 동작시킬 수 있다. 또한, 근전계 측정기만 제공됨으로써 저렴한 가격으로 제공될 수 있고, 게임용도와 같은 용도로서 산업적으로 큰 이용가능성을 기대할 수 있다. 또한, 근전계측정만으로 동작이 가능하므로 사용자의 이동 및 동작을 파악할 수 없는 범위에 제한이 없고, 따라서 공간상의 제약없이 햅틱시스템을 동작시킬 수 있는 장점이 있다.
<제 2 실시예>
본 발명의 제 2 실시예는 시각정보표시장치(5)가 햅틱시스템에 포함되는 것에 있어서 차이가 있고, 나머지는 제 1 실시예와 동일하다. 구체적인 설명이 없는 부분은 제 1 실시예의 설명을 그대로 적용할 수 있다.
도 3은 제 2 실시예에 따른 햅틱시스템이 사용되는 모습을 보이는 도면이다.
제 2 실시예에 따른 햅틱시스템(11)에는, 시각정보표시장치(5)와, 생체신호측정장치(2)와, 컨트롤러(3)와, 햅틱정보제시장치(4)가 포함된다.
상기 시각정보표시장치(5)는 일반적인 디스플레이도 사용될 수 있고, 홀로그래픽과 같은 삼차원 영상표시장치일 수도 있고, 2.5D디스플레이 등이 사용될 수 있다. 상기 시각정보표시장치(5)는 컨트롤러(3)의 제어 하에서 동작한다. 상기 생체신호측정장치는 사용자의 신체에 장착되어 근육의 수축과 이완에 따라서 발생하는 근전계측정장치 등이 사용될 수 있다. 상기 햅틱정보제시장치(4)는 손바닥에 장착되어 압박감을 제공하는 기구 등이 사용될 수 있다.
상기 햅틱시스템의 동작을 상세하게 설명한다.
상기 컨트롤러(3)의 제어에 따라서 상기 시각정보표시장치(5)에서 이미지 정보가 제공되면, 사용자는 시각을 통하여 이를 인식하고 뇌에서 이를 판단하여 근육을 수축시키거나 이완시키게 된다. 이때 근육에서는 근전계가 발생하고, 이는 사용자에게 장착되는 생체신호측정장치(2)에 의해서 측정될 수 있다. 상기 생체신호측정장치(2)에서 측정된 정보는 컨트롤러(3)에 전달된다. 상기 컨트롤러(3)는 근전계가 발생한 것이 시각정보표시장치의 이미지와 동기화가 되어 있는 지를 판단한 다음에, 상기 햅틱정보제시장치(4)를 다양한 방식으로 동작시켜서 사용자에게 햅틱정보를 제공한다.
보다 구체적인 동작예를 설명한다.
상기 컨트롤러(3)의 제어에 따라서 시각정보표시장치(5)에 두더지가 간헐적으로 올라올 때 이를 손바닥으로 때리는 게임을 한다. 상기 시각정보표시장치(5)에는 임의의 시간간격으로 두더지나 나타났다가 잠시 후 사라지는 동영상이 제시된다. 이때 사용자는 동영상을 보면서 두더지가 나타났을 때 손바닥을 내려치는 동작을 수행한다. 사용자가 손바닥을 내려치는 동작을 수행하기 위해서는 팔꿈치 부근 또는 손목부근의 근육을 수축 및 이완시키게 되고, 이때 해당하는 근육부근에는 생체신호측정장치(2)로서 근전계측정장치의 감지부가 장착되어 있다. 상기 생체신호측정장치(2)는 근전계변화를 측정하여 사용자가 근육을 사용하는 것을 감지하고, 근전계 신호를 컨트롤러(3)에 이를 전달한다. 상기 컨트롤러(3)는 상기 시각정보표시장치(5)에 두더지가 올라와 있는 때에 상기 근전계 신호가 변화한 때가 서로 동기화되어 발생하였는지를 판단한다. 예를 들어, 동영상에서 두더지가 올라와 있는 상태와 근전계 신호의 발생시점이 동기화가 되어 있는 때에는 사용자가 두더지를 정확히 맞힌 것으로써, 사용자의 손바닥에 장착되는 햅틱정보제시장치(4)가 움직이도록 동작시켜 사용자에게 두더지를 올바르게 타격한 느낌을 전달할 수 있다. 상기 동기화가 되어 있지 않은 때에는 햅틱정보제시장치(4)를 동작시키지 않을 수 있다. 이때, 동기화는 사용자의 신경계 및 뇌의 판단 등을 위하여 약간의 시간간격이 있을 수 있고, 이 또한, 본 사상의 범위에 포함된다.
상기 시각정보표시장치(5)는 삼차원 또는 2.5차원로 제공는 경우에는, 사용자가 전방으로 손을 뻣는 동작, 및 손가락의 잡는 동작 등도, 상응하는 부위에 근전계를 측정하는 생체신호측정장치(2)를 장착하여 이를 측정하고, 대응하는 사용자의 피부에 햅틱정보제시장치(4)를 장착하여 햅틱정보를 제공할 수 있다.
제 2 실시예 또한 두더지 게임과 같은 게임시스템으로 사용될 수 있는 것도 물론이다.
도 4는 제 2 실시예에 따른 햅틱시스템제어방법을 설명하는 흐름도이다.
도 4를 참조하면, 시각정보가 표시되는 상태에서 사용자의 생체신호를 측정한다(S11). 측정된 생체신호에서 변화가 감지되면(S12), 시각정보에 상응하는 생체신호의 변화인지를 판단한다(S13). 만약, 상기 시각정보에 상응하는, 즉, 시각정보와 생체신호의 시간적인 동기화 수준이 일정수준을 넘어서면-즉, 시각정보와 생체신호변화의 시간차이가 실질적으로 없으면-, 제 1 햅틱신호를 발생시키고(S14), 시각정보에 상응하는 생체신호의 시간적인 동기화 수준이 일정수준 이하이면-즉, 시각정보와 생체신호변화의 시간차이가 실질적으로 있으면-,, 제 2 햅틱신호를 발생시킬 수 있다(S15). 상기 생체신호는 근전계신호가 바람직하다. 상기 제 1 햅틱신호는 사용자에게 충격이나 압력을 주는 것일 수 있다. 상기 제 2 햅틱신호는 사용자에게 약한 충격이나 약한 압력을 주는 것이거나, 햅틱신호를 주지 않는 것일 수 있다. 다른 경우에 따르면, 상기 제 2 햅칙신호는 햅틱의 강도를 조절하는 것으로서 더욱 큰 만족감을 부여할 수도 있다.
본 실시예에 따르면 게임을 흥미를 더 증진시킬 수 있고, 사용자의 만족수준을 더 높일 수 있다. 또한, 제시되는 삼차원 이미지 정보에 동기화되는 정도를 이용하여 사용자의 위치 및 동작을 더 정확하게 알아낼 수 있다.
<제 3 실시예>
본 발명의 제 3 실시예는 생체신호측정장치가 사용자의 근전계를 측정하는 것이 아니라 뇌파를 측정하는 것에 있어서만 차이가 있고 나머지는 제 1 실시예 및 제 2 실시예와 동일하다. 구체적인 설명이 없는 부분은 제 1, 2 실시예의 설명을 그대로 적용할 수 있다. 제 1 실시예에 본 기술이 적용되는 경우에는 근전계에 대한 설명이 뇌파에 대한 설명으로만 변경되는 것으로 용이하게 이해할 수 있고, 이하에서는 제 2 실시예의 경우를 더 상세하게 설명한다.
도 5는 제 3 실시예에 따른 햅틱시스템이 사용되는 모습을 보이는 도면이다.
제 3 실시예에 따른 햅틱시스템(11)에는, 시각정보표시장치(5)와, 생체신호측정장치(2)와, 컨트롤러(3)와, 햅틱정보제시장치(4)가 포함된다.
상기 시각정보표시장치(5)는 일반적인 디스플레이도 사용될 수 있고, 홀로그래픽과 같은 삼차원 영상표시장치일 수도 있고, 2.5D디스플레이 등이 사용될 수 있다. 상기 시각정보표시장치(5)는 컨트롤러(3)의 제어 하에서 동작한다. 상기 생체신호측정장치로는 사용자의 머리부분에 장착되어 EEG등의 뇌파를 측정하는 장치가 사용될 수 있다. 상기 햅틱정보제시장치(4)는 손바닥에 장착되어 압박감을 제공하는 기구 등이 사용될 수 있다.
상기 햅틱시스템의 동작을 상세하게 설명한다.
상기 컨트롤러(3)의 제어에 따라서 상기 시각정보표시장치(5)에서 이미지 정보가 제공되면, 사용자는 시각을 통하여 이를 인식하고 뇌에서 이를 판단하여 근육을 수축시키거나 이완시키게 된다. 이때 근육의 수축 및 이완시에는 뇌파의 변화가 발생한다. 또한 시각적인 큰 자극에 의해서도 뇌파의 변화가 발생한다. 상기 뇌파는 사용자의 머리에 장착되는 생체신호측정장치(2)에 의해서 측정될 수 있다. 상기 생체신호측정장치(2)에서 측정된 뇌파변화는 컨트롤러(3)에 전달된다. 상기 컨트롤러(3)는 뇌파변화가 발생한 것이 시각정보표시장치의 이미지와 동기화가 되어 있는 지를 판단한 다음에, 상기 햅틱정보제시장치(4)를 동작시켜서 사용자에게 햅틱정보를 제공한다.
보다 구체적인 동작예를 설명한다.
상기 컨트롤러(3)의 제어에 따라서 시각정보표시장치(5)에 두더지가 간헐적으로 올라올 때 이를 손바닥으로 때리는 게임을 한다. 상기 시각정보표시장치(5)에는 임의의 시간간격으로 두더지나 나타났다가 잠시 후 사라지는 동영상이 제시된다. 이때 사용자는 동영상을 보면서 두더지가 나타났을 때 손바닥을 내려치는 동작을 수행한다. 사용자가 손바닥을 내려치는 동작을 수행하기 위해서는, 두더지가 올라왔음을 사용자가 판단하는 것과, 팔꿈치 부근 또는 손목부근의 근육을 수축 및 이완시키는 동작을 수행하는 것과, 관련되는 뇌파가 발생한다. 이 뇌파의 변화를 생체신호측정장치(2)가 측정하여 상기 컨트롤러(3)에 전달한다. 상기 컨트롤러(3)는 상기 시각정보표시장치(5)에 두더지가 올라와 있는 때에 상기 뇌파의 변화가 발생한 때가 서로 동기화되었는지를 판단한다. 예를 들어, 동영상에서 두더지가 올라와 있는 상태와 뇌파변화의 발생시점이 동기화가 되어 있는 때에는 사용자가 두더지를 정확히 맞힌 것으로써 사용자의 손바닥에 장착되는 햅틱정보제시장치(4)를 동작시켜 사용자에게 두더지를 올바르게 타격한 것으로 판단시킬 수 있다. 물론 시간상으로 동기화가 안되어 있거나 지나치게 떨어져 있는 때에는 햅틱정보제시장치(4)를 동작시키지 않을 수 있다. 이때, 상기 동기화에는 사용자의 신경계 및 뇌의 판단 등을 위하여 약간의 시간간격이 있을 수 있고, 이 또한, 본 사상의 범위에 포함된다.
제 3 실시예 또한 두더지 게임과 같은 게임시스템으로 사용될 수 있는 것도 물론이다.
제 3 실시예의 경우에는, 제 1, 2 실시예의 효과를 다 가지면서, 생체신호측정장치와 햅틱정보제시장치가 동일하거나 인접한 장소에 설치되어야 하는 경우를 대비하여 사용할 수 있을 것이다.
<제 4 실시예>
제 4 실시예는 뇌파의 변화와 근전계의 변화를 함께 이용하는 경우와 관련되는 실시예로서, 이전에 제공된 실시예의 각 설명은 마찬가지로 적용될 수 있고, 특별히 달라지는 부분에 대해서만 상세하게 설명한다.
도 6은 제 4 실시예에 따른 햅틱시스템제어방법을 설명하는 흐름도이다.
도 6을 참조하면, 시각정보가 표시되는 상태에서 사용자의 생체신호를 측정한다(S21). 이때 생체신호는 뇌파의 변화와 근전계의 변화를 함께 측정한다. 측정된 생체신호에서 변화가 감지되면(S22), 생체신호가 일정의 패턴으로 측정되었는지를 판단한다(S23). 예를 들어, 근육의 움직임을 위한 뇌파는 실제 근육의 움직임보다 약간 정도 앞서서 나타나게 된다. 따라서 뇌파의 변화가 발생한 다음에 근전계신호가 변화한 시간을 측정하는 것에 따라서, 사용자가 특정한 시각정보에 상응하는 사용자의 변화를 더욱 정확하고 구체적으로 확인할 수 있다. 또 다른 예로서 사용자의 움직임에 따라서, 제 1 위치근육의 근전계가 먼저 변화하고 제 2 위치근육의 근전계가 나중에 변화하는 것에 따라서, 사용자가 어떠한 움직임을 하였는지를 정확하게 알아낼 수 있고 어떠한 시각정보에 대응하는 것인 지를 알 수 있다. 예를 들어, 두더지를 내려치는 동작에 있어서는 팔꿈치 부근의 근육을 먼저 사용하고 나중에 손목부근의 근육을 사용할 수 있는 것이다. 반대의 경우는 반대순서로 근육을 움직일 가능성이 높다. 상기 생체신호의 패턴을 이용하면 사용자가 특정의 시각정보에 반응하였는지를 알아낼 수 있는 경우의 수가 획기적으로 늘어날 수 있다.
이후에는, 상기 시각정보에 상응하는, 즉, 시각정보와 생체신호의 시간적인 동기가 일정수준을 넘어서면, 상기 생체신호에 대응하여 상기 제 1 햅틱신호를 발생시키고(S24), 시각정보에 상응하는 생체신호가 아니면 상기 제 2 햅틱신호를 발생시킬 수 있다(S25). 상기 햅틱신호는 두가지의 경우로 제한되지 않고 다양한 경우로 주어질 수 있고, 사용자의 움직임이 복잡해 지는 경우에는 더 다양한 경우로 제시될 수 있다.
본 실시예에 따르면 시각정보에 대한 사용자의 다양한 생체신호를 감지하고 이에 따른 햅틱신호를 부여하여 사용자의 만족감을 더욱 증진시킬 수 있다. 또한, 생체신호를 보다 정확하게 판단하여 햅틱시스템을 정확하게 제어할 수 있다.
본 발명의 시스템은 개인용으로 적합한 저렴한 가격으로 제공가능하기 때문에, 큰 산업적인 시장을 만들어 낼 수 있을 것으로 기대된다.
1: 햅틱시스템
2: 생체신호측정장치
4: 햅틱정보제시장치

Claims (10)

  1. 시각정보에 대한 반응으로서 사용자의 생체신호를 측정하는 적어도 하나의 생체신호측정장치;
    상기 사용자가 장착하여 촉감정보를 제공하는 적어도 하나의 햅틱정보제시장치; 및
    상기 생체신호의 변화가 있는 때에 상기 햅틱정보제시장치를 동작시키는 컨트롤러가 포함되고,
    상기 컨트롤러는
    상기 생체신호의 변화가 상기 시각정보와 상응하여 시간적으로 동기화된 변화인 경우 제1 햅틱 신호에 따라 상기 햅틱정보제시장치를 구동하고, 시간적으로 동기화된 변화가 아닌 경우 제2 햅틱 신호에 따라 상기 햅틱정보제시장치를 구동하고,
    상기 제1 햅틱 신호는 사용자에게 충격이나 압력을 주는 것이고,
    상기 제2 햅틱 신호는 상기 제1 햅틱 신호보다 약한 충격이나 압력을 주는 것인
    햅틱시스템.
  2. 제 1 항에 있어서,
    시각정보표시장치를 더 포함하고,
    상기 시각정보표시장치는 상기 시각정보를 제공하고, 상기 컨트롤러에 의해서 제어되는 햅틱시스템.
  3. 제 2 항에 있어서,
    상기 시각정보는 입체감을 가지는 정보인 햅틱시스템.
  4. 제 1 항에 있어서,
    상기 생체신호에는 적어도 하나의 근전계신호가 포함되는 햅틱시스템.
  5. 제 1 항에 있어서,
    상기 생체신호에는 적어도 하나의 뇌파신호가 포함되는 햅틱시스템.
  6. 제 1 항에 있어서,
    상기 생체신호에는 적어도 하나의 뇌파신호와 적어도 하나의 근전계신호가 포함되는 햅틱시스템.
  7. 제 1 항 내지 제 6 항 중의 어느 하나의 햅틱시스템이 사용되는 게임시스템.
  8. 시각정보에 반응하는 생체신호를 측정하는 것; 및
    상기 생체신호의 변화를 감지하여 상기 생체신호의 변화가 상기 시각정보와 상응하여 시간적으로 동기화된 변화인 경우 제1 햅틱 신호에 따라 햅틱장치를 구동하고, 시간적으로 동기화된 변화가 아닌 경우 제2 햅틱 신호에 따라 상기 햅틱장치를 구동하는 것이 포함되고,
    상기 생체신호는 근전계 및 뇌파 중의 적어도 하나는 포함되는 것이고,
    상기 제1 햅틱 신호는 사용자에게 충격이나 압력을 주는 것이고,
    상기 제2 햅틱 신호는 상기 제1 햅틱 신호보다 약한 충격이나 압력을 주는 것인
    햅틱시스템제어방법.
  9. 삭제
  10. 제 8 항에 있어서,
    상기 생체신호가 소정의 패턴으로 측정되는 지를 판단하여 그 패턴에 대응하여 상기 햅틱장치를 동작시키는 햅틱시스템제어방법.
KR1020140082877A 2014-07-03 2014-07-03 햅틱시스템, 햅틱시스템제어방법, 및 게임시스템 KR102076617B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140082877A KR102076617B1 (ko) 2014-07-03 2014-07-03 햅틱시스템, 햅틱시스템제어방법, 및 게임시스템
US14/791,264 US20160004313A1 (en) 2014-07-03 2015-07-03 Haptic system, method for controlling the same, and game system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140082877A KR102076617B1 (ko) 2014-07-03 2014-07-03 햅틱시스템, 햅틱시스템제어방법, 및 게임시스템

Publications (2)

Publication Number Publication Date
KR20160004510A KR20160004510A (ko) 2016-01-13
KR102076617B1 true KR102076617B1 (ko) 2020-02-12

Family

ID=55016987

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140082877A KR102076617B1 (ko) 2014-07-03 2014-07-03 햅틱시스템, 햅틱시스템제어방법, 및 게임시스템

Country Status (2)

Country Link
US (1) US20160004313A1 (ko)
KR (1) KR102076617B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10318004B2 (en) * 2016-06-29 2019-06-11 Alex Shtraym Apparatus and method for providing feedback at a predetermined distance
KR102043333B1 (ko) 2017-06-21 2019-11-13 율촌화학 주식회사 디스플레이 장치용 풀-커버 보호 필름

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090121688A (ko) * 2008-05-22 2009-11-26 김도엽 촉각시스템 및 이를 구비하는 장애인을 위한 장치
KR101689713B1 (ko) * 2010-08-24 2016-12-26 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
KR101462869B1 (ko) * 2012-08-06 2014-11-18 성균관대학교산학협력단 복수 개의 채널에서 측정되는 인간 뇌파의 채널 간 상관관계를 분석하는 방법 및 복수 개의 채널에서 측정되는 인간 뇌파의 채널 간 상관관계를 이용하여 인간 의도를 인식하는 방법
US9521976B2 (en) * 2013-01-24 2016-12-20 Devon Greco Method and apparatus for encouraging physiological change through physiological control of wearable auditory and visual interruption device
US9235968B2 (en) * 2013-03-14 2016-01-12 Otoy, Inc. Tactile elements for a wearable eye piece
US9872968B2 (en) * 2013-04-17 2018-01-23 Sri International Biofeedback virtual reality sleep assistant

Also Published As

Publication number Publication date
US20160004313A1 (en) 2016-01-07
KR20160004510A (ko) 2016-01-13

Similar Documents

Publication Publication Date Title
US10281982B2 (en) Inflatable actuators in virtual reality
US10966606B1 (en) System and method for measuring the head position and postural sway of a subject
KR101485591B1 (ko) 초음파를 이용한 비침습적 뇌 자극을 통한 촉감 생성 장치, 방법 그리고 이를 이용한 컴퓨터 판독 가능한 기록 매체
TWI476633B (zh) 傳輸觸覺資訊的系統和方法
Chang et al. Towards pervasive physical rehabilitation using Microsoft Kinect
CA2731775C (en) 3d monocular visual tracking therapy system for the rehabilitation of human upper limbs
EP2905005B1 (en) Rehabilitation system
EP2443620B1 (en) Hemorrhage control simulator
WO2015123771A1 (en) Gesture tracking and control in augmented and virtual reality
US10342458B2 (en) Finger segment tracker and digitizer
KR101694402B1 (ko) 투사 영상을 이용한 보행 재활 치료 보조 시스템 및 방법
US10762988B2 (en) Motor training
JP2011516915A (ja) モーションコンテンツベースの学習装置及び方法
WO2011112820A2 (en) Therapeutic manipulation device
US20190155387A1 (en) Haptic Accessory Apparatus
CA2625748A1 (en) Interface device
KR102076617B1 (ko) 햅틱시스템, 햅틱시스템제어방법, 및 게임시스템
Wang et al. HapticSphere: Physical support to enable precision touch interaction in mobile mixed-reality
Yazdian et al. Compliance display using a tilting-plate tactile feedback device
Aguilar-Lazcano et al. Performance analysis of Leap motion controller for finger rehabilitation using serious games in two lighting environments
JP6576218B2 (ja) 作業療法支援装置
JP2013533999A (ja) オプションを提示するための方法及び装置
JP2010057611A (ja) 身体訓練装置およびプログラム
JP2005520615A (ja) 測定装置と測定誤差を減らす方法
US20070146312A1 (en) Interactive control system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant