KR101338043B1 - 실감 인터랙션을 이용한 인지재활 시스템 및 방법 - Google Patents

실감 인터랙션을 이용한 인지재활 시스템 및 방법 Download PDF

Info

Publication number
KR101338043B1
KR101338043B1 KR1020120022516A KR20120022516A KR101338043B1 KR 101338043 B1 KR101338043 B1 KR 101338043B1 KR 1020120022516 A KR1020120022516 A KR 1020120022516A KR 20120022516 A KR20120022516 A KR 20120022516A KR 101338043 B1 KR101338043 B1 KR 101338043B1
Authority
KR
South Korea
Prior art keywords
user
cognitive rehabilitation
sensory
information
display unit
Prior art date
Application number
KR1020120022516A
Other languages
English (en)
Other versions
KR20130101395A (ko
Inventor
김래현
권규현
김건희
송교현
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020120022516A priority Critical patent/KR101338043B1/ko
Priority to PCT/KR2013/001704 priority patent/WO2013133583A1/ko
Publication of KR20130101395A publication Critical patent/KR20130101395A/ko
Application granted granted Critical
Publication of KR101338043B1 publication Critical patent/KR101338043B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/09—Rehabilitation or training

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Rehabilitation Tools (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 물리적인 객체와 인터랙티브 디스플레이를 이용한 실감 인터랙션을 제공하는 인지재활 시스템 및 방법에 관한 것이다. 본 발명에 따른 인지재활 시스템은, 다양한 센서가 설치된 실감 객체와, 디스플레이에 접촉된 사물과 사용자의 접촉을 인식하고 인지재활 콘텐츠를 표현하는 인터랙티브 디스플레이와, 사용자의 행동을 인식하고 사물의 위치를 추정하는 촬영부와, 사용자의 생체 정보를 인식하는 생체신호 인식부와, 인지재활 프로그램 진행상황 및 결과 그리고 사용자의 행위 및 신체상태를 모니터링하고 이를 바탕으로 인지재활 콘텐츠를 추천하고 진행하는 인지재활 관리자와, 사용자가 실감 객체를 가지고 인터랙션하면서 인지재활 및 훈련을 할 수 있는 인지재활 콘텐츠 엔진을 포함한다.
본 발명은 혼합 객체로 형성되는 실험 기구와, 실험 기구에 대응하는 가상 객체를 활용하여 가상 공간에서 진행되는 과학실험을 실제 실험과 유사한 방법으로 수행할 수 있도록 하는 혼합 객체, 실감 과학실험 시스템 및 그 제공 방법에 관한 것이다. 이를 위해 본 발명의 일실시예에 따른 실감 과학실험 시스템은 물리 객체로 형성되어 사용자의 조작에 따른 인터랙션 정보를 생성하는 실험기구와, 사용자의 실험 조작 상황에 대응되는 정보를 표시하는 디지털 실험대와, 실험기구로부터 인터랙션 정보를 수신하여 사용자의 실험 조작 상황을 판단하고, 판단된 실험 조작 상황을 기초로 실험 기구에 대응하는 가상 객체를 디지털 실험대에 표시하는 제어부를 포함한다.

Description

실감 인터랙션을 이용한 인지재활 시스템 및 방법{Cognitive Rehabilitation System and Method Using Tangible Interaction}
본 발명은 인지재활 시스템 및 방법에 관한 것으로, 특히 물리적인 객체(Tangible Object)와 인터랙티브 디스플레이를 이용하여 인재재활 프로그램을 사용자가 실감적이고 손쉽게 사용할 수 있도록 하는 새로운 형태의 인지재활 시스템 및 방법에 관한 것이다.
사람-컴퓨터 인터랙션(Human-Computer Interaction, HCI)은 사용자와 컴퓨터 간의 의사소통을 제공하는 방법으로, 사용자가 새로운 인터페이스를 통해 가상 공간의 컨텐츠와 인터랙션을 손쉽고 직관적으로 수행할 수 있도록 해준다.
일반적으로, 사람-컴퓨터 인터랙션은 현실 공간에 존재하며 컨트롤러 역할을 하는 키보드 또는 마우스 등으로부터의 컨트롤에 의해 가상 공간, 즉 화면 상에 존재하는 객체가 반응하여 변화를 표현할 수 있도록 해주는 사용자 인터페이스를 제공하고 있다.
그러나, 이러한 사용자 인터페이스는 키보드 또는 마우스 등과 같은 컨트롤러를 사용함에 있어 사용자가 컨트롤러의 조작 방법 등을 별도로 숙지하여 익숙해져야 하며, 특정한 모양 및 조작 형태로 제작된 하나의 컨트롤러가 여러 기능을 수행해야 하기 때문에, 사용자가 각 기능에 연관된 실제 물체를 만지거나 조작하는 느낌을 경험할 수 없는 문제점이 있다.
최근에는 이러한 문제점을 해결하기 위해 사용자에게 실제 물체를 조작하는 경험을 느낄 수 있도록 하기 위해 실감형 사용자 인터페이스(Tangible User Interface, TUI)에 대한 연구가 활발히 이루어지고 있다.
실감형 사용자 인터페이스는 키보드, 마우스 또는 펜 모양 마우스 등의 원격 컨트롤러를 사용하지 않고 실제 조작해야 할 가상 공간, 즉 화면 상에 존재하는 대상의 위치에서 특정한 물리적 객체를 활용하는 인터페이스를 말한다. 예를 들어, 붓 형태의 디바이스를 사용하여 화면 상에 직접 그림을 그리는 인터페이스가 대표적이라 할 수 있다.
하지만, 인지능력에 손상을 입은 사용자는 마우스와 키보드와 같은 장치를 정확하게 조작하기가 어렵고, 보이는 화면과 조작하는 장치와의 시점 분리에 적응하기가 쉽지 않다. 또한, 마우스와 키보드로 정보를 입력받기 때문에 사용자의 실제 행동, 상태를 정확하게 판단할 수 없다는 문제가 있다.
한국공개특허 제10-2007-0041790호 “실험장치와 연동시키는 가상실험 인터페이스” 역시 실험계측 장치로부터 얻어지는 데이터를 기초로 데이터 출력부를 통하여 이미지 등으로 출력시키는 시뮬레이션 방법을 개시하고 있으나, 역시 기존의 가상 이미지를 이용함으로써 실감이 떨어진다.
한국공개특허 제10-2007-0041790호
본 발명은 전술한 바와 같은 문제점을 해결하기 위해 안출된 것으로, 사용자가 손쉽게 잡고 조작할 수 있는 실감 객체와 사용자의 행동에 따라 상호적으로 반응하는 인터랙티브 디스플레이, 그리고 사용자의 상태를 측정하는 복합센서 모듈을 이용하여 측정된 사용자의 행위와 상태에 따라 실시간으로 반응하는 인지재활 시스템 및 방법을 제공하는데 그 목적이 있다.
전술한 목적을 달성하기 위한 본 발명의 일실시예에 따른 인지재활 시스템은 물리 객체로 형성되어 사용자의 조작에 따른 인터랙션 정보를 생성하는 실감 객체와, 상기 사용자의 조작 상황에 대응하는 정보를 표시하는 디스플레이부와, 상기 실감 객체 또는 상기 디스플레이부를 통하여 상기 사용자에게 인지재활 콘텐츠를 제공하는 제어부를 포함하되, 상기 제어부는 상기 실감 객체로부터 상기 인터랙션 정보를 수신하여 상기 사용자의 조작 상황을 판단하고, 상기 판단된 조작 상황을 기초로 상기 실감 객체에 대응하는 가상 객체를 생성하고, 상기 생성된 가상 객체를 상기 디스플레이부에 표시할 수 있다.
상기 제어부는 상기 판단된 조작 상황을 기초로 인재재활과 관련된 이벤트 정보를 상기 디스플레이부에 더 표시할 수 있다.
또한, 본 발명의 일실시예에 따른 인재재활 시스템은 사용자의 상기 실감 객체의 조작 상황 및 상기 디스플레이부를 촬영하여 영상 정보를 생성하는 촬영부를 더 포함하고, 상기 제어부는 상기 촬영부에서 생성된 상기 영상 정보를 이용하여 상기 사용자의 조작 상황을 판단할 수 있다.
또한, 본 발명의 일실시예에 따른 인재재활 시스템은 사용자의 생체 정보를 인식하는 생체신호 인식부를 더 포함하고, 상기 제어부는 상기 생체신호 인식부에서 인식된 상기 사용자의 생체 정보를 기초로 상기 사용자의 신체 상태를 판단할 수 있다.
상기 생체신호 인식부는 뇌파 측정 장치, 근전도 측정 장치, 피부전기반응 측정 장치, 안구 측정 장치, 혈압 측정 장치, 체온 측정 장치 중 하나 이상을 포함할 수 있다.
상기 제어부는 상기 판단된 사용자의 신체 상태에 따라 인지재활 콘텐츠를 조절할 수 있다.
상기 실감 객체, 상기 디스플레이부, 상기 제어부, 상기 촬영부 및 상기 생체신호 인식부는 각각 유선 또는 무선 통신을 수행하는 통신 모듈을 구비하며, 상기 구비된 통신 모듈을 통해 상호간에 정보를 송수신할 수 있다.
상기 제어부는 상기 통신 모듈을 통하여 상기 물리 객체의 ID 정보를 수신함으로써 상기 실감 객체를 인식할 수 있다.
상기 실감 객체는 가속도, 기울기, 압력, 온도 중 어느 하나 이상을 센싱할 수 있는 센서 모듈을 포함할 수 있다.
또한, 상기 실감 객체는 출력 모듈을 더 포함하고, 상기 제어부는 상기 인터랙션 정보에 대응하는 디지털 피드백을 상기 출력 모듈을 통하여 출력시킬 수 있다.
상기 디스플레이부는 터치스크린 장치를 포함하여 형성되며, 상기 제어부는 상기 실감 객체와 상기 터치스크린 장치와의 접촉 위치를 감지하고, 상기 접촉 위치에 상기 가상 객체를 표시할 수 있다.
또한, 본 발명의 일실시예에 따른 인지재활 시스템은 상기 디스플레이부에 상기 가상 객체가 표시되도록 영상을 투영하는 프로젝션 장치를 더 포함할 수 있다.
또한, 상기 디스플레이부는 사운드 출력부를 더 포함하고, 상기 제어부는 상기 판단된 조작 상황을 기초로 상기 사운드 출력부를 통하여 안내 음성을 제공할 수 있다.
또한, 상기 실감 객체와 상기 가상 객체는 하나의 물체를 구성할 수 있다.
본 발명의 일실시예에 따른 인지재활 방법은, 실감 객체 또는 디스플레이부를 통하여 사용자에게 인지재활 콘텐츠를 제공하는 단계와, 상기 사용자의 실감 객체 조작에 따른 인터랙션 정보를 상기 실감 객체로부터 수신하는 단계와, 상기 인터랙션 정보로부터 사용자의 조작 상황을 판단하는 단계와, 상기 판단된 조작 상황을 기초로 상기 실감 객체에 대응되는 가상 객체를 생성하는 단계와, 상기 가상 객체를 디스플레이부에 표시하는 단계를 포함할 수 있다.
또한, 본 발명의 일실시예에 따른 인지재활 방법은 상기 판단된 조작 상황을 기초로 인지재활과 관련된 이벤트 정보를 상기 디스플레이부에 표시하는 단계와, 상기 인터랙션 정보에 대응되는 디지털 피드백을 상기 실감 객체의 출력 모듈을 통하여 출력시키는 단계를 더 포함할 수 있다.
상기 인터랙션 정보는 상기 물리 객체에 부착된 센서 모듈로부터 센싱되는 가속도, 기울기, 압력, 온도 중 하나 이상의 정보일 수 있다.
또한, 본 발명의 일실시예에 따른 인지재활 방법은, 촬영부를 이용하여 상기 실감 객체의 조작 상황 및 상기 디스플레이부를 촬영하여 영상 정보를 생성하는 단계와, 상기 영상 정보를 이용하여 상기 사용자의 조작 상황을 판단하는 단계를 더 포함할 수 있다.
또한, 본 발명의 일실시예에 따른 인지재활 방법은 상기 실감 객체의 ID 정보를 수신함으로써 상기 실감 객체를 인식하는 단계를 더 포함할 수 있다.
상기 가상 객체를 생성하는 단계는, 상기 실감 객체와 상기 디스플레이부에 형성되는 터치스크린 장치와의 접촉 위치에 상기 가상 객체를 표시하는 단계를 포함할 수 있다.
또한, 본 발명의 일실시예에 따른 인지재활 방법은, 생체신호 인식부를 이용하여 사용자의 생체 정보를 인식하는 단계와, 상기 인식된 생체 정보를 기초로 상기 사용자의 신체 상태를 판단하는 단계와, 상기 판단된 사용자의 신체 상태에 따라 인지재활 콘텐츠를 조절하는 단계를 더 포함할 수 있다.
상기 생체 정보는 뇌파, 근전도, 피부전기반응, 안구 정보 중 하나 이상을 포함할 수 있다.
또한, 본 발명의 일실시예에 따른 인지재활 방법은 상기 판단된 조작 상황을 기초로 사운드 출력부를 통하여 안내 음성을 제공하는 단계를 더 포함할 수 있다.
상기 물리 객체와 상기 가상 객체는 하나의 물체를 구성할 수 있다.
본 발명에 따른 실감 인터랙션을 이용한 인지재활 시스템 및 방법에 의하면, 다양한 인지재활 콘텐츠를 보다 쉽고 현실감 있게 경험할 수 있다. 특히, 기존의 컴퓨터 기반의 인지재활 시스템들은 수행하는 과정보다는 디지털 환경에서의 업무 수행 결과에 초점이 맞추어져 있지만, 실제 인지재활 치료사들은 실제 도구를 가지고 인지재활 및 훈련을 진행하고 그 효과를 증명하고 있다. 본 발명에 따른 실감 인터랙션을 이용한 인지재활 시스템 및 방법을 컴퓨터 기반의 프로그램과 실제 도구를 이용하는 인지재활 방법의 장점을 모두 가질 수 있다.
도 1은 본 발명의 일실시예에 따른 인지재활 시스템의 개략 구성도이다.
도 2는 본 발명의 일실시예에 따른 인지재활 시스템의 실감 객체의 개략 구성도이다.
도 3은 본 발명의 일실시예에 따른 인지재활 시스템의 동작을 설명하는 상세 구성도이다.
도 4는 본 발명의 일실시예에 따른 인지재활 방법을 설명하는 순서도이다.
도 5는 본 발명의 일실시예에 따른 인지재활 시스템에 적용되는 통핑통을 나타내는 도면이다.
도 6은 본 발명의 일실시예에 따른 인지재활 시스템에 적용되는 시럽통을 나타내는 도면이다.
도 7은 본 발명의 일실시예에 따른 인지재활 시스템을 설명하는 개념도이다.
도 8a 및 도 8b는 본 발명의 일실시예에 따른 인지재활 시스템이 제공하는 쿠키 만들기 및 토핑 뿌리기 화면을 나타내는 도면이다.
이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다. 그러나, 첨부도면 및 이하의 설명은 본 발명에 따른 실감 인터랙션을 이용한 인지재활 시스템 및 방법의 가능한 일실시예에 불과하며, 본 발명의 기술적 사상은 아래의 내용에 의해 한정되지 아니한다.
도 1은 본 발명의 일실시예에 따른 인지재활 시스템의 개략 구성도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 인지재활 시스템은 촬영부(10)와, 실감 객체(20)와, 디스플레이부(30)와, 생체신호 인식부(40)와, 제어부(50)를 포함하여 구성된다.
실감 객체(10)는 물리 객체로 형성되어 사용자의 조작에 따른 인터랙션 정보를 생성하는 역할을 한다. 특히, 실감 객체는 본 발명의 인지재활 시스템에 적용되는 물리 객체 즉, 후술할 토핑 통, 시럽통 등으로 구성될 수 있다. 실감 객체(10)의 상세 구성 및 동작은 도 2와 관련하여 후술한다.
디스플레이부(30)는 인지재활 콘텐츠 및 사용자의 조작 상황에 대응하는 정보를 표시하는 역할을 한다. 이때, 디스플레이부(30)는 사용자의 조작 상황을 청각적으로 안내하는 사운드 출력부(미도시)를 더 포함할 수 있다. 디스플레이부(30)는 터치스크린 장치로 이루어질 수 있으며, 실험 기구(20)가 터치스크린 장치에 놓여지는 경우, 터치되는 좌표를 후술할 제어부(40)로 전송할 수 있다.
촬영부(10)는 사용자의 실감 객체(20)의 조작 상황 및 디스플레이부(30)를 촬영하여 영상 정보를 생성하는 역할을 한다. 촬영부(10)는 카메라로 이루어질 수 있으며, 자세하게는 RGB 정보를 그래도 활용하는 일반 카메라 또는 적외선(IR) 카메라로 이루어질 수 있다. 또한, 촬영부(10)는 디스플레이부(30)와 일체로 결합되어 설치되거나, 디스플레이부(30)와 분리되어 사용자의 조작 상황 및 디스플레이부(30)를 촬영할 수 있도록 디스플레이부(30)의 상부, 좌측 또는 하부에 별도로 설치될 수 있다.
생체신호 인식부(40)는 사용자의 생체 신호를 인식하는 역할을 한다. 생체신호 인식부(40)에서 인식된 생체 신호는 후술할 제어부(50)에 의해 사용자의 신체 상태를 판단하는데 이용된다. 생체신호 인식부(40)는 뇌파 측정 장치(Electroencephalography: EEG), 피부전기반응 측정 장치(Galvanic Skin Reflex: GSR), 안구 측정 장치, 혈압 측정 장치, 체온 측정 장치 등 다양한 센서 모듈을 포함하여 구성될 수 있다.
제어부(40)는 실감 객체(20)로부터 수신되는 영상 정보를 이용하여 사용자의 조작 상황을 판단하고, 판단된 조작 상황을 기초로 실감 객체(20)에 대응하는 가상 객체를 생성하여 디스플레이부(30)에 표시하는 역할을 한다. 제어부(40)는 인지재활 시스템을 전체적으로 제어하는 컨트롤러의 역할을 하며, 기본적으로는 인지재활 콘텐츠를 실감 객체(20) 및 디스플레이부(30)를 통하여 사용자에게 제공하는 역할도 수행한다.
즉, 제어부(40)는 소프트웨어인 인지재활 콘텐츠 엔진 및 인지재활 관리자 모듈을 포함하여 구성되고, 디스플레이부(30)에 인지재활 콘텐츠를 화면으로 표시하거나, 실감 객체(20)에 빛, 진동 등의 인터페이스로 인지재활 콘텐츠 및 피드백 저보를 제공할 수 있다. 제어부(40)의 자세한 동작은 후에 상술한다.
이때, 실감 객체(20) 및 가상 객체는 하나의 특정 물체를 구성할 수 있다. 즉, 물리 객체로 형성되는 실감 객체(20)는 특정 물체의 일부분에 해당하며, 가상 객체는 특정 물체에서 실감 객체(20)에 해당하는 부분을 제외한 나머지 부분에 해당한다. 예를 들어, 실감 객체(20)가 쿠키를 만들 때의 토핑통인 경우에, 토핑통의 일부분만을 물리 객체로 구성하여 실감 객체(20)를 구성하고, 가상 객체는 실감 객체(20)가 디스플레이부(30)에 접촉하는 경우의 토핑통의 나머지 부분을 의미할 수 있다. 물론, 실감 객체(20) 자체가 하나의 물리 객체를 완전하게 구성하도록 구성하고, 가상 객체는 실감 객체(20)에 대응되는 미리 설정된 모양을 구성하도록 할 수 도 있다. 후술할, 본 발명의 일실시예에 따른 인지재활 시스템에서는 쿠키통 또는 시럽통과 같은 실감 객체를 구성하고, 가상 객체는 쿠키 모양 또는 시럽 모양으로 형성되도록 하는 것을 예로 들어 설명한다.
도 2는 본 발명의 일실시예에 따른 인지재활 시스템의 실감 객체의 개략 구성도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 실감 객체(20)는 센서 모듈(22)과, 출력 모듈(24)과, 통신 모듈(26)과, 마이크로 컨트롤러 유닛(26)을 포함하여 구성된다.
센서 모듈(22)는 실감 객체(20)에 설치되어 사용자의 조작에 따른 인터랙션 정보를 생성하는 역할을 한다. 여기서 '인터랙션 정보(Interaction Information)'이라 함은 사용자가 실감 객체(20)를 조작하는 경우 사용자의 실감 객체(20) 조작과 관련되는 일련의 정보를 의미한다.
이때, 센서 모듈(22)은 통신 모듈(블루투스 모듈, RFID 센서 모듈, GPS 센서 모듈 등)과 , 가속도 센서 모듈, 기울기 센서 모듈, 압력 센서 모듈, 온도 센서 모듈 등이 될 수 있다. 이러한 센서 모듈(22)로부터 센싱되는 정보는 후술할 마이크로 컨트롤러 유닛(MCU: 6)로 전달되어 실감 객체(20)의 조작 상황을 판단하는데 이용된다.
출력 모듈(24)은 실감 객체(20)에 설치되어 물리 객체(20)의 조작 상황에 맞는 디지털 피드백을 출력하는 역할을 한다. 여기서, '디지털 피드백(Digital Feedback)을 출력한다'라 함은 실감 객체(20)의 조작 상황에 맞는 화면 정보, 소리 정보, 진동 등의 정보를 사용자에게 제공하는 것을 의미한다.
출력 모듈(26)은 디스플레이 모듈, 사운드 출력 모듈, 발광 모듈, 액츄에이터 모듈 등이 될 수 있다. 디스플레이 모듈은 LCD 패널과 같은 것으로 구성되어 각종 정보를 영상으로 사용자에게 제공할 수 있다. 사운드 출력 모듈은 상황에 맞는 특정 소리 정보를 사용자에게 제공할 수 있으며, 발광 모듈은 상황에 맞는 색깔의 빛을 사용자에게 제공할 수 있다. 액츄에이터 모듈은 진동 등의 움직임 정보를 사용자에게 제공할 수 있다.
마이크로 컨트롤러 유닛(MCU: 28)은 센서 모듈(22)에서 생성된 인터랙션 정보를 수신하여, 인터랙션 정보에 대응하는 디지털 피드백을 출력 모듈(24)를 통하여 출력시키는 역할을 한다. 즉, MCU(28)는 수신된 인터랙션 정보를 이용하여 현재 실감 객체(20)의 조작 상황에 맞는 디지털 피드백의 종류를 결정하여 상기 출력 모듈(24)을 통해 출력시킨다.
도 3은 본 발명의 일실시예에 따른 인지재활 시스템의 동작을 설명하는 상세 구성도이다.
도 3에서 볼 수 있듯이, 촬영부(10)는 카메라로 형성되며, 실감 객체(20)는 토핑통 등의 물체로 형성될 수 있으며, 디스플레이부(30)는 터치스크린 장치로 이루어지는 테이블탑 디스플레이 장치로 형성될 수 있다.
실감 객체(20)에는 앞에서 언급한 바와 같이 블루투스 등의 통신 모듈과, 가속도, 기울기, 압력, 온도 등을 센싱할 수 있는 센서 모듈이 부착될 수 있다. 또한, 출력 모듈로서 디스플레이 모듈, 사운드 출력 모듈, 발광 모듈, 액츄에이터 모듈 등도 설치될 수 있다. 각 센서 모듈의 역할에 대해서는 제어부(50)의 동작과 관련하여 후술하기로 한다.
촬영부(10)는 사용자의 실감 객체(20)의 조작 및 디스플레이부(30)를 촬영하여 영상 정보를 생성하여 제어부(50)의 영상 처리 모듈(41)로 전송한다. 즉, 촬영부(10)는 사용자의 실감 객체(20)의 조작, 즉 인터랙션 영상 정보를 촬영하며, 디스플레이부(30)의 디스플레이 영상 정보를 촬영한다.
이렇게 촬영부(10)에서 생성된 영상 정보는 제어부(50)의 영상 처리 모듈(51)로 전송된다. 영상 처리 모듈(51)은 영상 인식 기술 등을 통해 영상 정보 내의 실감 객체(20)의 위치 및 동작을 인식한다. 즉, 제어부(50)는 실감 객체(20)의 조작 영상 정보와 디스플레이부(30)의 영상 정보를 비교하여 그 차이값을 통해 실감 객체(20)의 위치 및 동작을 트래킹한다.
또한, 제어부(50)는 이와 더불어 실감 객체(20)에 설치되어 있는 RFID 센서 모듈, GPS 센서 모듈 등의 각종 센서 모듈로부터 ID 정보, 위치 정보 등을 추가적으로 수신하여 실감 객체(20)의 보다 정확한 상태 정보를 인식할 수도 있다.
실감 객체(20)에 부착된 각종 센서 모듈에서 센싱되는 인터랙션 센서 정보를 제어부(50)의 센서 처리 모듈(53)로 전송된다. 이때, 인터랙션 센서 정보에는 실감 객체(20)의 위치, 상태(놓여짐, 손에 잡힘, 기울어짐, 움직임 등) 정보일 수 있다. 센서 처리 모듈(53)은 이러한 인터랙션 센서 정보를 수신하여 실감 객체(20)의 종류, 위치, 동작 등을 인식할 수 있다.
예를 들어, 센서 처리 모듈(53)은 가속도 센서 모듈로부터 수신되는 정보를 이용하여 실감 객체(20)의 동작 상태를 인식할 수 있으며, 기울기 센서 모듈로부터 수신되는 정보를 이용하여 실감 객체(20)의 기울어진 상태를 인식할 수 있으며, 압력 센서 모듈로부터 수신되는 정보를 이용하여 실감 객체(20)에 가해지는 압력 상태를 인식할 수 있으며, 온도 센서 모듈로부터 수신되는 정보를 이용하여 실감 객체(20)의 온도를 인식할 수 있다. 영상 처리 모듈(51)과 센서 처리 모듈(53)은 상호보완적이며, 환경에 따라 같이 사용할 수도 있으며, 어느 하나만 단독으로 사용할 수도 있다.
이러한 방식으로 영상 처리 모듈(51)과 센서 처리 모듈(53)이 각각 영상 정보와 인터랙션 센서 정보로부터 실감 객체(20)의 종류, 위치, 동작 등을 인식하고 이 정보들을 상황 인식 모듈(55)로 전달한다.
생체신호 인식부(40)는 사용자의 생체 신호를 인식하는 역할을 하며, 앞에서 언급한 뇌파 측정 장치(Electroencephalography: EEG), 피부전기반응 측정 장치(Galvanic Skin Reflex: GSR), 안구 측정 장치, 혈압 측정 장치, 체온 측정 장치 등 다양한 센서 모듈을 포함하여 구성될 수 있다.
생체신호 인식부(40)에서 인식된 신체 상태 정보는 센서 처리 모듈(53)로 전송되고, 상황 인식 모듈(55)은 센처 처리 모듈(53)로부터 이 신체 상태 정보를 수신하여 사용자의 현재 신체 상태를 판단할 수 있다. 즉, 사용자가 현재 긴장화고 있는지, 집중하고 있는지 등을 판단할 수 있다.
도 3을 참조하면, 본 발명의 일실시예에 따른 인지재활 시스템의 제어부(50)는 영상 처리 모듈(51)과, 센서 처리 모듈(53)과, 상황 인식 모듈(53)과, 의사 결정 모듈(57)과, 출력 제어 모듈(59)을 포함하여 구성된다.
상황 인식 모듈(55)은 영상 처리 모듈(51)과 센서 처리 모듈(53)로부터 수신한 정보를 바탕으로 사용자의 실험 조작 상황을 종합적으로 판단한다. 또한, 상황 인식 모듈(55)은 디스플레이부(30)로부터 실험 기구(20)와 디스플레이부(30)의 접촉 지점인 터치 위치 정보를 수신하여 이를 실험 조작 상황 판단에 이용할 수 있다.
출력 제어 모듈(59)은 의사 결정 모듈(57)로부터 가상 객체, 이벤트 정보 및 디지털 피드백 정보를 수신하여 디스플레이부(30) 및 실감 객체(20)에 출력시키는 역할을 한다. 이때, 출력 제어 모듈(59)은 상기 실감 객체(20)가 디지털 실험대(30)의 디스플레이부와 접촉하는 경우 상기 접촉하는 터치 위치에 가상 객체를 출력시킬 수 있다. 물론, 실감 객체(20)가 디스플레이부(30)와 접촉하지 않는 경우라 하더라도, 실감 객체(20)의 수직 아래 쪽 위치에 대응하는 디스플레이부(30)의 부분에 가상 객체를 표시할 수 있다.
후술하겠지만, 본 발명에 따른 인지재활 시스템은 실감 객체(20)로 토핑통, 시럽통 등을 구성하고, 사용자가 토핑통 및 시럽통으로 디스플레이부(20)에 제공되는 인지재활 콘텐츠에 대응하여 쿠키 만들기 과제를 수행하게 함으로써, 사용자의 집중력 등의 인지 능력을 측정하고, 재활 훈련을 시킬 수 있다.
도 4는 본 발명의 일실시예에 따른 인지재활 방법을 설명하는 순서도로써, 도 4를 참조하여 본 발명에 따른 인지재활 시스템의 동작을 설명하면 다음과 같다.
본 발명의 일실시예에 따른 인지재활 시스템의 제어부(50)는 디스플레이부(30)또는 실감 객체(20)에 인지재활 콘텐츠를 제공한다(100). 즉, 제어부(50)는 디스플레이부(30)에 쿠키만들기 게임 인터페이스를 제공하고, 실감 객체(20)에는 쿠키만들기 게임과 연관되는 이벤트 정보를 출력시킬 수 있다. 즉, 실감 객체(20)에 빛을 발생시키거나, 진동을 줌으로써 사용자에게 인지재활 피드백을 제공할 수 있다.
이렇게, 인지재활 콘텐츠가 제공되면, 사용자는 실감 객체(20) 또는 디스플레이부(30)에 제공되는 인지재활 콘텐츠에 따라서, 사용자는 실감 객체(20)를 움직이고, 필요한 경우 실감 객체(20)를 디스플레이부(30) 위에 놓아두는 등의 동작을 취할 수 있다. 사용자가 실감 객체(20)를 움직이고, 기울이는 등의 동작을 하면 이러한 인터랙션 정보가 실감 객체(20)에 설치된 다양한 센서에서 감지되어 제어부(50)로 전송되고, 생체신호 인식부(40)에서 사용자의 생체신호가 인식되어 제어부(50)로 전송된다(110).
제어부(50)는 인터랙션 정보 및 사용자의 생체신호를 기초로 사용자의 조작 상황 및 사용자의 신체 상태를 판단하고(120), 판단된 결과를 기초로 디스플레이부(30)에 표시할 가상 객체 및 도움말 등의 이벤트 정보 및 사용자의 피드백에 대응되는 인지재활 콘텐츠를 생성하여(130), 실감 객체(20) 또는 디스플레이부(30)에 표시한다(140).
이런 방식으로 사용자의 실감 객체(20)의 조작 및 신체 상태에 따라서, 제어부(50)는 계속된 피드백 정보를 사용자에게 제공할 수 있으며, 사용자는 실제 쿠키를 만드는 듯한 체험을 하면서 인지재활 능력을 검사 및 훈련할 수 있게 된다.
본 발명의 일실시예에 따른 인지재활 시스템이 제공하는 인지재활 콘텐츠 중 쿠키 만들기 게임을 예로 들어 설명하면 다음과 같다. 도 5에는 쿠키 만들기 게임에 사용되는 토핑통(20a)가 도시되어 잇으며, 도 6에는 쿠키 만들기 게임에 사용되는 시럽통(20b)이 도시되어 있다.
토핑통(20a) 및 시럽통(20b)는 가속도 센서와 같은 동작 인식 센서가 설치되어 사용자가 토핑하는 동작 및 시럽통(20b)으로 시럽을 뿌리는 동작을 인식할 수 있도록 구성되었다.
도 7은 본 발명의 일실시예에 따른 인지재활 시스템을 설명하는 개념도이다.
도 7에는 본 발명의 일실시예에 따른 인지재활 시스템의 인터랙티브 디스플레이 즉, 디스플레이부(30), 실감 객체(20), 생체신호 인식부(40) 및 제어부(50)가 어떻게 상호 동작하는지 개념적으로 도시되어 있다.
제어부(50)에는 인지재활 콘텐츠를 제공하는 소프트웨어로서 인지재활 콘텐츠 엔진(52) 및 인터랙션 정보 및 사용자의 신체 상태 정보를 모니터링하고 각 상황에 맞는 콘텐츠를 추천하는 인지재활 관리자(54)가 구성된다.
제어부(50)는 도 7에 도시된 바와 같이 인지재활 콘텐츠 엔진(52)을 기초로 디스플레이부(30)에 쿠키 만들기 게임을 표시하고, 사용자는 쿠키용 틀, 토핑통, 시럽통 등의 실감 객체(20)를 이용하여 인지재활 콘텐츠에 대응되는 동작을 수행할 수 있다.
또한, 앞에서 언급한 것처럼, 생체신호 인식부(40)는 사용자의 현재 생체 신호를 인식하여 제어부(50)로 전송하고, 제어부(50)는 이 생체 신호를 기초로 사용자의 현재 신체 상태를 판단할 수 있게 된다.
도 8a 및 도 8b는 본 발명의 일실시예에 따른 인지재활 시스템이 제공하는 쿠키 만들기 및 토핑 뿌리기 화면을 나타내는 도면이다.
즉, 도 8a에 도시된 바와 같이, 사용자는 디스플레이부(30)를 통해 제공되는 쿠키 만들기 게임 콘텐츠를 통하여 필요한 쿠키의 종류와 개수를 기억하고 게임을 진행할 수 있다. 사용자가 쿠키틀을 이용하여 디스플레이부(30)에 놓으면 해당 쿠키틀 모양으로 가상 객체가 디스플레이부(30)에 표시되어 쿠키가 생성된다. 이런 방식으로 쿠키가 완성되면 도 8b에 도시된 바와 같이 만들어진 쿠키가 컨베이어 벨트를 통하여 이동하게 되고, 사용자는 자신이 만든 쿠키가 정 중앙에 위치할 때 토핑통을 흔들어 토핑을 뿌릴 수 있다.
도시되지는 않았지만, 사용자가 쿠키 만들기 게임을 다 수행하면, 사용자의 동작을 기초로 인지게임 점수를 제공할 수 있다. 사용자는 이러한 방법으로 인지재활 훈련 및 테스트를 실감있게 수행할 수 있게 된다.
10: 촬영부 20: 실감 객체
30: 디스플레이부 40: 생체신호 인식부
50: 제어부

Claims (26)

  1. 물리 객체로 형성되어 사용자의 조작에 따른 인터랙션 정보를 생성하는 실감 객체;
    상기 사용자의 조작 상황에 대응하는 정보를 표시하는 디스플레이부;
    상기 실감 객체 또는 상기 디스플레이부를 통하여 상기 사용자에게 인지재활 콘텐츠를 제공하는 제어부; 및
    상기 사용자의 생체 정보를 인식하는 생체신호 인식부를 포함하되,
    상기 제어부는 상기 실감 객체로부터 상기 인터랙션 정보를 수신하여 상기 사용자의 조작 상황을 판단하고, 상기 판단된 조작 상황을 기초로 상기 실감 객체에 대응하는 가상 객체를 생성하고, 상기 생성된 가상 객체를 상기 디스플레이부에 표시하고,
    상기 제어부는 상기 생체신호 인식부에서 인식된 상기 사용자의 생체 정보를 기초로 상기 사용자의 신체 상태를 판단하고,
    상기 제어부는 상기 판단된 조작상황 및 신체상태를 기초로 상기 가상객체에 관련된 이벤트 정보를 생성하여 상기 디스플레이부에 표시하는 것을 특징으로 하는 인지재활 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 사용자의 상기 실감 객체의 조작 상황 및 상기 디스플레이부를 촬영하여 영상 정보를 생성하는 촬영부를 더 포함하고,
    상기 제어부는 상기 촬영부에서 생성된 상기 영상 정보를 이용하여 상기 사용자의 조작 상황을 판단하는 것을 특징으로 하는 인지재활 시스템.
  4. 삭제
  5. 제1항에 있어서,
    상기 생체신호 인식부는,
    뇌파 측정 장치, 근전도 측정 장치, 피부전기반응 측정 장치, 안구 측정 장치, 혈압 측정 장치, 체온 측정 장치 중 하나 이상을 포함하는 것을 특징으로 하는 인지재활 시스템.
  6. 제1항에 있어서,
    상기 제어부는 상기 판단된 사용자의 신체 상태에 따라 인지재활 콘텐츠를 조절하는 것을 특징으로 하는 인지재활 시스템.
  7. 제1항에 있어서,
    상기 실감 객체, 상기 디스플레이부, 상기 제어부 및 상기 생체신호 인식부는 각각 유선 또는 무선 통신을 수행하는 통신 모듈을 구비하며, 상기 구비된 통신 모듈을 통해 상호간에 정보를 송수신하는 것을 특징으로 하는 인지재활 시스템.
  8. 제7항에 있어서,
    상기 제어부는 상기 통신 모듈을 통하여 상기 물리 객체의 ID 정보를 수신함으로써 상기 실감 객체를 인식하는 것을 특징으로 하는 인지재활 시스템.
  9. 제1항에 있어서,
    상기 실감 객체는 가속도, 기울기, 압력, 온도 중 어느 하나 이상을 센싱할 수있는 센서 모듈을 포함하는 것을 특징으로 하는 인지재활 시스템.
  10. 제9항에 있어서,
    상기 실감 객체는 출력 모듈을 더 포함하고,
    상기 제어부는 상기 인터랙션 정보에 대응하는 디지털 피드백을 상기 출력 모듈을 통하여 출력시키는 것을 특징으로 하는 인지재활 시스템.
  11. 제1항에 있어서,
    상기 디스플레이부는 터치스크린 장치를 포함하여 형성되며,
    상기 제어부는 상기 실감 객체와 상기 터치스크린 장치와의 접촉 위치를 감지하고, 상기 접촉 위치에 상기 가상 객체를 표시하는 것을 특징으로 하는 인지재활 시스템.
  12. 제1항에 있어서,
    상기 디스플레이부에 상기 가상 객체가 표시되도록 영상을 투영하는 프로젝션 장치를 더 포함하는 것을 특징으로 하는 인지재활 시스템.
  13. 제1항에 있어서,
    상기 디스플레이부는 사운드 출력부를 더 포함하고,
    상기 제어부는 상기 판단된 조작 상황을 기초로 상기 사운드 출력부를 통하여 안내 음성을 제공하는 것을 특징으로 하는 인지재활 시스템.
  14. 제1항에 있어서,
    상기 실감 객체와 상기 가상 객체는 하나의 물체를 구성하는 것을 특징으로 하는 인지재활 시스템.
  15. 실감 객체 또는 디스플레이부를 통하여 사용자에게 인지재활 콘텐츠를 제공하는 단계;
    상기 사용자의 상기 실감 객체 조작에 따른 인터랙션 정보를 상기 실감 객체로부터 수신하는 단계;
    상기 인터랙션 정보로부터 상기 사용자의 조작 상황을 판단하는 단계;
    상기 판단된 조작 상황을 기초로 상기 실감 객체에 대응되는 가상 객체를 생성하는 단계;
    상기 가상 객체를 상기 디스플레이부에 표시하는 단계;
    생체신호 인식부를 이용하여 상기 사용자의 생체 정보를 인식하는 단계; 및
    상기 인식된 생체 정보를 기초로 상기 사용자의 신체 상태를 판단하는 단계를 더 포함하되,
    상기 판단된 조작상황 및 신체상태를 기초로 상기 가상객체에 관련된 이벤트 정보를 생성하여 표시하는 것을 특징으로 하는 인지재활 방법.
  16. 삭제
  17. 제15항에 있어서,
    상기 인터랙션 정보에 대응하는 디지털 피드백을 상기 실감 객체의 출력 모듈을 통하여 출력시키는 단계를 더 포함하는 것을 특징으로 하는 인지재활 방법.
  18. 제15항에 있어서,
    상기 인터랙션 정보는 상기 실감 객체에 부착된 센서 모듈로부터 센싱되는 가속도, 기울기, 압력, 온도 중 하나 이상의 정보인 것을 특징으로 하는 인지재활 방법.
  19. 제15항에 있어서,
    촬영부를 이용하여 상기 사용자의 상기 실감 객체의 조작 상황 및 상기 디스플레이부를 촬영하여 영상 정보를 생성하는 단계; 및
    상기 영상 정보를 이용하여 상기 사용자의 조작 상황을 판단하는 단계를 더 포함하는 것을 특징으로 하는 인지재활 방법.
  20. 제15항에 있어서,
    상기 실감 객체의 ID 정보를 수신함으로써 상기 실감 객체를 인식하는 단계를 더 포함하는 것을 특징으로 하는 인지재활 방법.
  21. 제15항에 있어서,
    상기 가상 객체를 생성하는 단계는,
    상기 실감 객체와 상기 디스플레이부에 형성되는 터치스크린 장치와의 접촉 위치에 상기 가상 객체를 표시하는 단계를 포함하는 것을 특징으로 하는 인지재활 방법.
  22. 삭제
  23. 제15항에 있어서,
    상기 생체 정보는 뇌파, 근전도, 피부전기반응, 혈압, 체온, 안구 정보 중 하나 이상을 포함하는 것을 특징으로 하는 인지재활 방법.
  24. 제23항에 있어서,
    상기 판단된 사용자의 인지 상태에 따라 인지재활 콘텐츠를 조절하는 단계를 더 포함하는 것을 특징으로 하는 인지재활 방법.
  25. 제15항에 있어서,
    상기 판단된 조작 상황을 기초로 사운드 출력부를 통하여 안내 음성을 제공하는 단계를 더 포함하는 것을 특징으로 하는 인지재활 방법.
  26. 제15항에 있어서,
    상기 실감 객체와 상기 가상 객체는 하나의 물체를 구성하는 것을 특징으로 하는 인지재활 방법.

KR1020120022516A 2012-03-05 2012-03-05 실감 인터랙션을 이용한 인지재활 시스템 및 방법 KR101338043B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120022516A KR101338043B1 (ko) 2012-03-05 2012-03-05 실감 인터랙션을 이용한 인지재활 시스템 및 방법
PCT/KR2013/001704 WO2013133583A1 (ko) 2012-03-05 2013-03-04 실감 인터랙션을 이용한 인지재활 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120022516A KR101338043B1 (ko) 2012-03-05 2012-03-05 실감 인터랙션을 이용한 인지재활 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20130101395A KR20130101395A (ko) 2013-09-13
KR101338043B1 true KR101338043B1 (ko) 2013-12-09

Family

ID=49117006

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120022516A KR101338043B1 (ko) 2012-03-05 2012-03-05 실감 인터랙션을 이용한 인지재활 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR101338043B1 (ko)
WO (1) WO2013133583A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017069305A1 (ko) * 2015-10-22 2017-04-27 주식회사 싸이버메딕 체감형 도구 모듈을 이용한 가상현실 바이오피드백 재활훈련 장치 및 그 제어방법
WO2019066510A1 (ko) * 2017-09-28 2019-04-04 주식회사 네오펙트 패그보드 훈련 방법 및 그 프로그램
TWI694854B (zh) * 2017-09-28 2020-06-01 南韓商耐奧飛特股份有限公司 釘板訓練方法及其電腦程式產品

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9394757B2 (en) 2014-01-30 2016-07-19 Olympic Research, Inc. Well sealing via thermite reactions
US9228412B2 (en) 2014-01-30 2016-01-05 Olympic Research, Inc. Well sealing via thermite reactions
KR101686629B1 (ko) * 2015-01-30 2016-12-14 한국과학기술연구원 사용자의 압력 정보의 입력에 의해 지시되는 가상 공간 상의 위치를 결정하는 방법, 장치 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
KR20180045278A (ko) * 2016-10-25 2018-05-04 포항공과대학교 산학협력단 생체신호연동 가상현실 인지재활 시스템
KR102009753B1 (ko) * 2017-06-09 2019-08-12 동명대학교산학협력단 가상현실에 기반하는 객체 처리장치 및 그 동작 방법
US10290190B2 (en) 2017-07-31 2019-05-14 Facebook, Inc. Providing temperature sensation to a user based on content presented to the user
KR102019157B1 (ko) 2018-05-30 2019-09-09 (주)휴먼아이티솔루션 가상현실 기반 인지 재활 훈련 관리 시스템
KR102168977B1 (ko) * 2018-07-10 2020-10-22 연세대학교 원주산학협력단 인지재활 훈련 장치 및 방법
CN109034389A (zh) * 2018-08-02 2018-12-18 黄晓鸣 信息推荐系统的人机交互式修正方法、装置、设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010026818A (ja) 2008-07-18 2010-02-04 Geisha Tokyo Entertainment Inc 画像処理プログラム、画像処理装置及び画像処理方法
KR20100032267A (ko) * 2008-09-17 2010-03-25 (주)지아트 증강 현실 수동 조작 도구 및 이를 이용한 증강 현실 저작 방법과 그 시스템
KR20100132592A (ko) * 2009-06-10 2010-12-20 연세대학교 산학협력단 감성인식장치의 개인별 최적화시스템 및 그 최적화 방법
KR20110054376A (ko) * 2009-11-17 2011-05-25 한국과학기술연구원 실감 인터랙션 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010026818A (ja) 2008-07-18 2010-02-04 Geisha Tokyo Entertainment Inc 画像処理プログラム、画像処理装置及び画像処理方法
KR20100032267A (ko) * 2008-09-17 2010-03-25 (주)지아트 증강 현실 수동 조작 도구 및 이를 이용한 증강 현실 저작 방법과 그 시스템
KR20100132592A (ko) * 2009-06-10 2010-12-20 연세대학교 산학협력단 감성인식장치의 개인별 최적화시스템 및 그 최적화 방법
KR20110054376A (ko) * 2009-11-17 2011-05-25 한국과학기술연구원 실감 인터랙션 시스템 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017069305A1 (ko) * 2015-10-22 2017-04-27 주식회사 싸이버메딕 체감형 도구 모듈을 이용한 가상현실 바이오피드백 재활훈련 장치 및 그 제어방법
WO2019066510A1 (ko) * 2017-09-28 2019-04-04 주식회사 네오펙트 패그보드 훈련 방법 및 그 프로그램
TWI694854B (zh) * 2017-09-28 2020-06-01 南韓商耐奧飛特股份有限公司 釘板訓練方法及其電腦程式產品

Also Published As

Publication number Publication date
WO2013133583A1 (ko) 2013-09-12
KR20130101395A (ko) 2013-09-13

Similar Documents

Publication Publication Date Title
KR101338043B1 (ko) 실감 인터랙션을 이용한 인지재활 시스템 및 방법
US11568643B2 (en) Automatic control of wearable display device based on external conditions
CN114341779B (zh) 用于基于神经肌肉控制执行输入的系统、方法和界面
CN110832441B (zh) 用于虚拟、增强和混合现实显示系统的键盘
EP3549109B1 (en) Virtual user input controls in a mixed reality environment
EP3425481B1 (en) Control device
US10317997B2 (en) Selection of optimally positioned sensors in a glove interface object
CN110945405A (zh) 眼睛跟踪校准技术
JP2022535315A (ja) 自己触覚型仮想キーボードを有する人工現実システム
CN104023802B (zh) 使用神经分析的电子装置的控制
CN107710132A (zh) 用于施加用于表面约束控制的自由空间输入的方法和装置
TW202105129A (zh) 具有用於閘控使用者介面元件的個人助理元件之人工實境系統
WO2018102615A1 (en) A system for importing user interface devices into virtual/augmented reality
KR101291602B1 (ko) 혼합 객체, 실감 과학실험 시스템 및 그 제공 방법
JPWO2021059363A1 (ja) アニメーション制作方法
JP2024048680A (ja) 制御装置、制御方法、プログラム
Walsh et al. Assistive pointing device based on a head-mounted camera
Wolf Overcoming challenges of controller-based and free-handed interaction in cross-reality
Yee et al. Advanced and natural interaction system for motion-impaired users
KR20170060721A (ko) 서비스 프로토타이핑에서의 ux 프로파일링을 위한 실감형 테스트 시스템
KR20240062067A (ko) 촉감을 제공하는 성인 콘텐츠용 vr 장치
KR20240151240A (ko) 제스처 및 음성 제어 인터페이스 장치
Deneke Enabling people with motor impairments to get around in 360° video experiences: Concept and prototype of an adaptable control systemEnabling people with motor impairments to get around in 360° video experiences: Concept and prototype of an adaptable control system
Forson Gesture Based Interaction: Leap Motion
JP2020067810A (ja) 仮想空間におけるキャラクタの制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161201

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171201

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181203

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191203

Year of fee payment: 7