KR102441307B1 - 소통형 재활 및 직업 프로그램을 통한 복합센서 기반 뇌질환 및 정신질환 예방 가상현실 시스템 - Google Patents

소통형 재활 및 직업 프로그램을 통한 복합센서 기반 뇌질환 및 정신질환 예방 가상현실 시스템 Download PDF

Info

Publication number
KR102441307B1
KR102441307B1 KR1020220028679A KR20220028679A KR102441307B1 KR 102441307 B1 KR102441307 B1 KR 102441307B1 KR 1020220028679 A KR1020220028679 A KR 1020220028679A KR 20220028679 A KR20220028679 A KR 20220028679A KR 102441307 B1 KR102441307 B1 KR 102441307B1
Authority
KR
South Korea
Prior art keywords
user
activity
score
content
virtual reality
Prior art date
Application number
KR1020220028679A
Other languages
English (en)
Inventor
조진수
김정윤
이다연
Original Assignee
가천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가천대학교 산학협력단 filed Critical 가천대학교 산학협력단
Priority to KR1020220028679A priority Critical patent/KR102441307B1/ko
Application granted granted Critical
Publication of KR102441307B1 publication Critical patent/KR102441307B1/ko
Priority to PCT/KR2022/017247 priority patent/WO2023171875A1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/389Electromyography [EMG]
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/09Rehabilitation or training

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Primary Health Care (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Physiology (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Cardiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Psychiatry (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Psychology (AREA)
  • Epidemiology (AREA)
  • Computing Systems (AREA)
  • Remote Sensing (AREA)

Abstract

본 발명은 소통형 재활 및 직업 프로그램을 통한 복합센서 기반 뇌질환 및 정신질환 예방 가상현실 시스템에 관한 것으로서, 더욱 상세하게는 가상현실 콘텐츠를 수행 중인 사용자의 뇌파, 심박 및 근전도 데이터를 실시간으로 측정하여 가상현실 콘텐츠 상에서 사용자가 분식 조리 업무를 간접 체험함과 동시에, 복수의 사용자가 가상현실 공간에서 상호작용하면서 사용자의 신체적 정신적 건강 증진 효과를 기대할 수 있는, 소통형 재활 및 직업 프로그램을 통한 복합센서 기반 뇌질환 및 정신질환 예방 가상현실 시스템에 관한 것이다.

Description

소통형 재활 및 직업 프로그램을 통한 복합센서 기반 뇌질환 및 정신질환 예방 가상현실 시스템 {Virtual reality system for preventing brain diseases and mental diseases based on complex sensors through communication-type rehabilitation and vocational programs}
본 발명은 소통형 재활 및 직업 프로그램을 통한 복합센서 기반 뇌질환 및 정신질환 예방 가상현실 시스템에 관한 것으로서, 더욱 상세하게는 가상현실 콘텐츠를 수행 중인 사용자의 뇌파, 심박 및 근전도 데이터를 실시간으로 측정하여 가상현실 콘텐츠 상에서 사용자가 분식 조리 업무를 간접 체험함과 동시에, 복수의 사용자가 가상현실 공간에서 상호작용하면서 사용자의 신체적 정신적 건강 증진 효과를 기대할 수 있는, 소통형 재활 및 직업 프로그램을 통한 복합센서 기반 뇌질환 및 정신질환 예방 가상현실 시스템에 관한 것이다.
가상현실(Virtual Reality)이란 컴퓨터 시스템에서 생성한 3차원 가상공간과 사용자 간의 상호 작용을 이루는 기술로서, 사용자는 이러한 가상공간에서 인체의 오감(시각, 청각, 후각, 미각, 촉각)을 통해 몰입감을 느끼고, 실제로 그 공간에 존재하는 것과 같은 현실감을 제공하는 융합기술이다. 현대에는 이러한 가상현실 시장의 VR(Virtual Reality)카페 등의 단순히 놀이와 재미의 목적으로 가상현실 시스템을 체험해 볼 수 있는 경우를 많이 볼 수 있다. 예를 들어, 코로나바이러스의 확산으로 인해 외부활동이 제한됨에 따라 VR 체험기기를 사용하여 가정 또는 학교에서 직업체험활동을 할 수 있는 콘텐츠가 제작되고 있다. 또한 최근에는, 언택트(Untact) 시대가 도래하면서 의료 관련 프로그램이나 비대면 심리상담 프로그램의 수요가 증가하고 있는 추세이고 경증의 우울감 해소를 위한 프로그램이 필요하게 되었다. 이와 같이 가상현실 시스템은 단순히 재미를 위한 가상현실 체험을 제공하는 것이 아닌, 가상현실을 이용하여 정신적 장애를 가진 사용자들의 치료를 목적으로 콘텐츠를 제공할 수 있다.
구체적으로 가상현실 기술은 간단한 장치만으로도 공간과 시간에 제약을 크게 받지 않고, 언제 어디서나 가상현실 체험이 가능하기 때문에 사용자가 이를 통해 몸을 움직임으로써, 운동기능을 향상시키고 무기력함을 개선할 효과를 기대할 수 있다.
결과적으로 가상현실 기술은 사용자로 하여금 집중 및 활동을 수행할 수 있는 다양한 콘텐츠를 제공하여 뇌와 신체의 적극적 활용을 도모하고, 가상현실 콘텐츠를 체험하는 뇌파나 심박 등의 생체정보를 실시간으로 측정하여 사용자의 집중도 및 신체적 상태를 분석해 볼 수 있다. 따라서 이러한 가상현실 기술을 활용하여 사용자가 다양한 체험을 경험할 수 있는 콘텐츠를 제공함과 동시에 정신적 신체적 활동을 유도함으로써, 사용자의 건강을 증진시키기 위한 목적의 연구가 필요한 상황이다.
본 발명은 소통형 재활 및 직업 프로그램을 통한 복합센서 기반 뇌질환 및 정신질환 예방 가상현실 시스템에 관한 것으로서, 더욱 상세하게는 가상현실 콘텐츠를 수행 중인 사용자의 뇌파, 심박 및 근전도 데이터를 실시간으로 측정하여 가상현실 콘텐츠 상에서 사용자가 분식 조리 업무를 간접 체험함과 동시에, 복수의 사용자가 가상현실 공간에서 상호작용하면서 사용자의 신체적 정신적 건강 증진 효과를 기대할 수 있는, 소통형 재활 및 직업 프로그램을 통한 복합센서 기반 뇌질환 및 정신질환 예방 가상현실 시스템을 제공하는 것을 목적으로 한다.
상기와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에서는, 소통형 재활 및 직업 프로그램을 통한 복합센서 기반 뇌질환 및 정신질환 예방 가상현실 시스템으로서, 상기 가상현실 시스템은, 사용자`의 두부(頭部)에 부착되어 사용자의 뇌파를 측정하는 뇌파측정모듈, 사용자의 손가락에 부착되어 사용자의 심박을 측정하는 심박측정모듈 및 사용자의 팔을 포함하는 신체 일부에 부착되어 사용자의 근전도를 측정하는 근전도측정모듈을 포함하는 센서부; 사용자가 일정 시간 동안 제시되는 식재료를 암기하고, 제시되는 복수의 선지 중 조리에 사용되는 식재료를 선택하고, 선택한 식재료를 바탕으로 떡볶이, 튀김, 순대를 포함하는 분식 메뉴를 조리하는 활동을 수행함과 동시에 사용자의 집중 및 활동상태를 분석할 수 있는 가상현실 콘텐츠를 실행하고, 사용자의 가상현실 콘텐츠 수행결과에 대한 평가를 도출하는 VR시스템부; 및 상기 VR시스템부로부터 실행되는 가상현실 콘텐츠의 영상 및 음향정보를 수신하여 사용자에게 제공하는 HMD모듈;을 포함하고, 상기 VR시스템부는, 상기 센서부로부터 상기 뇌파, 심박 및 근전도 데이터를 수신하는 센싱정보수집부; 상기 HMD모듈을 착용한 사용자의 상기 뇌파, 심박 및 근전도 데이터를 실시간으로 적용하여 상기 가상현실 콘텐츠에서의 분식 조리업무를 수행할 수 있는 가상현실 콘텐츠를 실행하고 가상현실 콘텐츠를 수행하는 사용자의 집중 및 활동 상태를 판별하는 콘텐츠실행부; 상기 콘텐츠실행부로부터 수신한 사용자의 가상현실 콘텐츠 수행결과에 기초하여 스코어를 산출하되 가상현실 콘텐츠 몰입도 및 활동량에 기초하여 사용자에 가중치를 부여하여 스코어를 산출하는 스코어산출부; 및 상기 가상현실 콘텐츠를 수행하는 복수의 사용자가 접속하여 가상현실 콘텐츠를 협력 수행하면서 타 사용자와 상호작용할 수 있는 소셜서버를 생성하는 소셜서버생성부;를 포함할 수 있다.
본 발명의 일 실시예에서는, 상기 소셜서버생성부는, 복수의 사용자 각각으로부터 수신한 나이, 키, 및 몸무게에 대한 매칭기준값을 산출하고, 상기 매칭기준값에 기초하여 복수의 사용자가 접속할 수 있는 소셜서버를 생성할 수 있다.
본 발명의 일 실시예에서는, 상기 콘텐츠실행부는, 상기 사용자에게 식재료정보, 주문정보, 및 레시피정보를 암기하는 집중형콘텐츠를 제공하고 상기 사용자의 뇌파 데이터에 기초하여 사용자의 집중상태를 판별하고, 상기 사용자의 집중상태에 기초하여 집중스코어를 산출하는 암기단계; 상기 사용자에게 분식조리업무를 수행할 수 있는 활동형콘텐츠를 제공하고 상기 사용자가 조작한 컨트롤러의 움직임 및 상기 사용자의 근전도 데이터에 기초하여 사용자의 활동상태를 판별하고, 상기 사용자의 활동상태에 기초하여 활동스코어를 산출하는 조리단계; 및 상기 사용자에게 휴식을 취할 수 있는 휴식콘텐츠를 제공하고 상기 사용자의 심박수 데이터에 기초하여 사용자의 안정상태를 판별하고, 상기 집중스코어 및 상기 활동스코어에 기초하여 산출한 최종스코어를 제공하는 안정단계;를 수행할 수 있다.
본 발명의 일 실시예에서는, 상기 암기단계는, 상기 사용자로부터 사용자정보를 입력받고 상기 사용자의 뇌파 데이터에 대한 측정을 시작하여 상기 사용자의 뇌파 데이터에 기초하여 사용자의 집중상태 돌입여부를 결정하고, 집중형콘텐츠의 난이도를 결정하는 게임준비단계; 상기 사용자가 기설정된 시간 이상 집중상태를 유지한 사용자에게 집중형콘텐츠를 디스플레이하는 집중형콘텐츠제공단계;를 포함하고, 상기 집중형콘텐츠는, 상기 사용자에게 위치와 순서를 무작위로 하여 복수의 이미지를 디스플레이하고, 상기 사용자가 복수의 이미지가 디스플레이된 순서 및 위치를 암기하는 제1집중형콘텐츠; 사용자에게 분식조리에 사용되는 복수의 식재료를 이미지로 제시하고, 상기 사용자가 복수의 식재료 중 조리에 사용되는 식재료를 선택하는 제2집중형콘텐츠; 및 손님의 주문순서 및 주문내역을 포함하는 주문정보, 상기 주문정보에 해당되는 요리의 레시피정보, 및 업무가 진행되는 순서에 대한 정보를 암기하는 제3집중형콘텐츠;를 포함할 수 있다.
본 발명의 일 실시예에서는, 상기 스코어산출부는, 상기 집중형콘텐츠를 수행 중인 사용자의 집중상태에 기초하여 사용자별 집중스코어를 산출하는 집중스코어산출단계;를 수행하고, 상기 암기단계에서 상기 사용자의 뇌파 데이터에 기초하여 사용자의 집중상태를 판별하는 기준은, 상기 사용자의 뇌파 종류 및 주파수가 10 내지 13 hz의 주파수를 갖는 알파파로 기설정된 시간인 3초 이상 측정될 때 집중상태로 판별하고, 상기 사용자의 뇌파 종류 및 주파수가 10 내지 12 hz의 주파수를 갖는 미들 알파파로 기설정된 시간인 3초 이상 측정될 때 제1집중상태로 판별하고, 상기 사용자의 뇌파 종류 및 주파수가 12 내지 13 hz의 주파수를 갖는 SMR파로 기설정된 시간인 3초 이상 측정될 때 제2집중상태로 판별할 수 있다.
본 발명의 일 실시예에서는, 상기 집중스코어는, 상기 암기단계에서 사용자의 집중상태 유지시간에 기초하여 산출하는 종합집중스코어; 및 상기 암기단계에서 사용자의 제2집중상태 유지시간에 기초하여 산출하는, 제2집중스코어를 포함하고, 상기 집중스코어를 산출하는 방식은, 상기 종합집중스코어 및 상기 제2집중스코어를 합산하여 결정하되, 상기 제2집중스코어에 상기 종합집중스코어보다 큰 값을 갖는 가중치를 부여하여 산출할 수 있다.
본 발명의 일 실시예에서는, 상기 조리단계는, 상기 암기단계를 완료한 사용자에 대하여 가상현실 콘텐츠 내에서 상기 사용자에게 분식조리업무에 사용되는 식재료 및 조리도구를 제공하고 상기 사용자의 근전도 데이터에 대한 측정을 시작하는 조리준비단계; 및 상기 사용자에게 분식조리업무를 수행할 수 있는 활동형콘텐츠를 제공하고, 상기 사용자가 조작한 컨트롤러의 움직임 및 상기 사용자의 근전도 데이터에 기초하여 사용자의 활동상태를 판별하는 활동형콘텐츠제공단계;를 포함할 수 있다.
본 발명의 일 실시예에서는, 상기 스코어산출부는, 상기 활동형콘텐츠를 수행 중인 사용자의 활동상태에 기초하여 사용자별 활동스코어를 산출하는, 활동스코어산출단계;를 수행하고 상기 조리단계에서 사용자의 근전도 데이터에 기초하여 사용자의 활동상태를 판별하는 기준은, 상기 사용자의 근전도 데이터 변화량이 20 내지 450 hz인 경우 활동상태로 판별하고, 상기 사용자의 근전도 데이터 변화량이 20 내지 235 hz인 경우 제1활동상태로 판별하고, 상기 사용자의 근전도 데이터 변화량이 236 내지 450 hz인 경우 제2활동상태로 판별할 수 있다.
본 발명의 일 실시예에서는, 상기 활동스코어는, 상기 사용자가 상기 조리단계에서 수행한 상기 활동형콘텐츠에 대한 종합수행결과에 기초하여 산출하는 종합활동스코어; 조리 사용에 사용되는 야채 및 고기를 손질하는 콘텐츠로서, 활동요구량이 제1활동요구량을 초과하는 제1활동형콘텐츠에 대한 사용자의 수행결과에 기초하여 산출하는 제1활동스코어; 손질된 재료를 사용하여 떡볶이를 제조하는 콘텐츠로서, 활동요구량이 제1활동요구량 미만이고 제2활동요구량 이상인 제2활동형콘텐츠에 대한 사용자의 수행결과에 기초하여 산출하는 제2활동스코어; 및 튀김을 튀기는 콘텐츠로서, 활동요구량이 제2활동요구량 미만인 제3활동형콘텐츠에 대한 사용자의 수행결과에 기초하여 산출하는 제3활동스코어;를 포함하고, 상기 활동스코어를 산출하는 방식은, 상기 종합활동스코어, 제1활동스코어, 제2활동스코어 및 제3활동스코어를 합산하여 결정하되 제1활동스코어, 제2활동스코어 및 제3활동스코어를 산출한 콘텐츠에 대한 활동요구량 및 수행시간을 반영하여 각각 상이한 가중치를 부여하여 결정할 수 있다.
본 발명의 일 실시예에서는, 상기 안정단계는, 상기 가상현실 콘텐츠 내에서 상기 조리단계를 완료한 상기 사용자를 조리실에서 휴식공간으로 이동시키는 배경이동단계; 상기 사용자에게 휴식을 취할 수 있는 휴식콘텐츠를 제공하고, 상기 사용자의 심박수가 60 내지 72 인 경우, 사용자를 안정상태로 판별하는 휴식콘텐츠제공단계; 및 상기 집중스코어 및 상기 활동스코어를 합산하고, 상기 사용자의 가상현실 콘텐츠의 수행결과를 반영하여 최종스코어를 산출하여 제공하는, 스코어제공단계;를 포함할 수 있다.
상기와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에서는, 소통형 재활 및 직업 프로그램을 통한 복합센서 기반 뇌질환 및 정신질환 예방 가상현실 시스템의 구현방법으로서, 상기 가상현실 시스템의 구현방법은, 뇌파측정모듈에 의해 사용자의 뇌파를 측정하는 뇌파측정단계, 심박측정모듈에 의해 사용자의 근전도를 측정하는 근전도측정단계를 포함하는 센서단계; 사용자가 일정 시간 동안 제시되는 식재료를 암기하고, 제시되는 복수의 선지 중 조리에 사용되는 식재료를 선택하고, 선택한 식재료를 바탕으로 떡볶이, 튀김, 순대를 포함하는 분식 메뉴를 조리하는 활동을 수행함과 동시에 사용자의 집중 및 활동상태를 분석할 수 있는 가상현실 콘텐츠를 실행하고, 사용자의 가상현실 콘텐츠 수행결과에 대한 평가를 도출하는 VR단계; 및 상기 VR단계에서 실행되는 가상현실 콘텐츠의 영상 및 음향정보를 수신하여 사용자에게 제공하는 HMD단계;를 포함하고, 상기 VR단계는, 상기 센서단계에서 상기 뇌파, 심박 및 근전도 데이터를 수신하는 센싱정보수집단계; HMD모듈을 착용한 사용자의 상기 뇌파, 심박 및 근전도 데이터를 실시간으로 적용하여 상기 가상현실 콘텐츠에서의 분식 조리업무를 수행할 수 있는 가상현실 콘텐츠를 실행하고 가상현실 콘텐츠를 수행하는 사용자의 집중 및 활동 상태를 판별하는 콘텐츠실행단계; 상기 콘텐츠실행단계에서 수신한 사용자의 가상현실 콘텐츠 수행결과에 기초하여 스코어를 산출하되 가상현실 콘텐츠 몰입도 및 활동량에 기초하여 사용자에 가중치를 부여하여 스코어를 산출하는 스코어산출단계; 및 상기 가상현실 콘텐츠를 수행하는 복수의 사용자가 접속하여 가상현실 콘텐츠를 협력 수행하면서 타 사용자와 상호작용할 수 있는 소셜서버를 생성하는 소셜서버생성단계;를 포함하는, 가상현실 시스템의 구현방법을 제공한다.
상기와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에서는, 1 이상의 프로세서 및 1 이상의 메모리를 갖는 컴퓨팅장치에서 수행되는 소통형 재활 및 직업 프로그램을 통한 복합센서 기반 뇌질환 및 정신질환 예방 가상현실 시스템 을 구현하기 위한 컴퓨팅-판독가능 매체로서, 상기 컴퓨팅-판독가능 매체는, 컴퓨팅 장치로 하여금 이하의 단계들을 수행하도록 하는 명령들을 저장하며, 상기 이하의 단계들은, 뇌파측정모듈에 의해 사용자의 뇌파를 측정하는 뇌파측정단계, 심박측정모듈에 의해 사용자의 근전도를 측정하는 근전도측정단계를 포함하는 센서단계; 사용자가 일정 시간 동안 제시되는 식재료를 암기하고, 제시되는 복수의 선지 중 조리에 사용되는 식재료를 선택하고, 선택한 식재료를 바탕으로 떡볶이, 튀김, 순대를 포함하는 분식 메뉴를 조리하는 활동을 수행함과 동시에 사용자의 집중 및 활동상태를 분석할 수 있는 가상현실 콘텐츠를 실행하고, 사용자의 가상현실 콘텐츠 수행결과에 대한 평가를 도출하는 VR단계; 및 상기 VR단계에서 실행되는 가상현실 콘텐츠의 영상 및 음향정보를 수신하여 사용자에게 제공하는 HMD단계;를 포함하고, 상기 VR단계는, 상기 센서단계에서 상기 뇌파, 심박 및 근전도 데이터를 수신하는 센싱정보수집단계; HMD모듈을 착용한 사용자의 상기 뇌파, 심박 및 근전도 데이터를 실시간으로 적용하여 상기 가상현실 콘텐츠에서의 분식 조리업무를 수행할 수 있는 가상현실 콘텐츠를 실행하고 가상현실 콘텐츠를 수행하는 사용자의 집중 및 활동 상태를 판별하는 콘텐츠실행단계; 상기 콘텐츠실행단계에서 수신한 사용자의 가상현실 콘텐츠 수행결과에 기초하여 스코어를 산출하되 가상현실 콘텐츠 몰입도 및 활동량에 기초하여 사용자에 가중치를 부여하여 스코어를 산출하는 스코어산출단계; 및 상기 가상현실 콘텐츠를 수행하는 복수의 사용자가 접속하여 가상현실 콘텐츠를 협력 수행하면서 타 사용자와 상호작용할 수 있는 소셜서버를 생성하는 소셜서버생성단계;를 포함하는, 컴퓨팅-판독가능 매체를 제공한다.
본 발명의 일 실시예에 따르면, 사용자에게 분식 조리 업무를 체험할 수 있는 가상현실 콘텐츠를 제공함으로써, 가상현실 시스템 사용자의 집중도의 증가 및 신체활동 유도를 통해 신체적 정신적 건강을 증진함과 동시에 분식 조리 업무를 간접적으로 경험할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 사용자는 자신과 나이, 키, 몸무게가 유사한 타 사용자와 동일한 소셜서버에 접속하여, 가상현실 콘텐츠를 협력 수행함으로써 사용자의 신체적 정신적 건강을 증진할 수 있다.
본 발명의 일 실시예에 따르면, 사용자의 뇌파, 심박 및 근전도와 같은 생체정보에 기초하여 현재 사용자 상태에 따른 콘텐츠를 설정하여 제공함으로써 사용자의 집중 및 안정을 유도할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 사용자는 본인이 선택한 분식 조리 업무의 조리과정 전반에 대한 업무를 반복 체험함으로써 분식 조리 분야에 대한 경험을 쌓을 수 있다.
본 발명의 일 실시예에 따르면, 가상현실 시스템 사용자의 뇌파, 심박 및 근전도와 같은 생체정보를 통해 사용자의 상태를 판단하고, 현재 사용자 상태에 적절한 피드백을 제공하여 콘텐츠의 난이도를 조절함으로써, 사용자 맞춤형의 가상현실 콘텐츠를 제공할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 사용자는 주문정보 및 레시피정보의 암기를 통해 집중력 향상 및 뇌 건강을 증진할 수 있고, 구체적으로 사용자의 뇌파 데이터를 측정함으로써 치매, 뇌졸증, 발작을 포함하는 질환을 예방할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 사용자는 식재료의 손질 및 조리를 위한 신체적 움직임을 통해 이동하고 신체건강을 증진시킬 수 있고, 구체적으로 사용자의 근전도 데이터를 측정함으로써, 동맥질환, 저/고혈압, 심근경색, 심낭염, 부정맥을 포함하는 질환을 예방할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 분식조리 업무를 수행한 후 휴식을 취함으로써 긴장과 피로를 완화시킬 수 있고, 구체적으로 사용자의 심박수 데이터를 측정함으로써, 중증근무력증, 진행성근디스트로피, 다발성근염, 근위축성축색경화증을 포함하는 신경/근육 질환을 예방할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 가상현실 콘텐츠에서 수행 중에 도출되는 사용자별 평가정보 및 생체정보를 외부 전문가에게 전달하여 사용자의 진료, 치료, 및 상담데이터로 활용할 수 있는 효과를 발휘할 수 있다.
도 1은 본 발명의 일 실시예에 따른 가상현실 시스템의 체험공간에서의 사용자 및 사용자의 신체에 착용되는 센서부를 구성하는 모듈들을 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 가상현실 시스템의 내부 구성을 개략적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 VR시스템부의 내부 구성을 개략적으로 도시한다.
도 4는 본 발명의 일 실시예에 따른 콘텐츠실행부의 수행 단계를 개략적으로 도시한다.
도 5는 본 발명의 일 실시예에 따른 집중형콘텐츠제공단계에서 제1집중형콘텐츠가 HMD모듈에서 디스플레이 되는 화면을 개략적으로 도시한다.
도 6은 본 발명의 일 실시예에 따른 집중형콘텐츠제공단계에서 제2집중형콘텐츠가 HMD모듈에서 디스플레이 되는 화면을 개략적으로 도시한다.
도 7은 본 발명의 일 실시예에 따른 집중형콘텐츠제공단계에서 제3집중형콘텐츠가 HMD모듈에서 디스플레이 되는 화면을 개략적으로 도시한다.
도 8은 본 발명의 일 실시예에 따른 활동형콘텐츠제공단계에서 활동형콘텐츠가 HMD모듈에서 디스플레이 되는 화면을 개략적으로 도시한다.
도 9는 본 발명의 일 실시예에 따른 안정단계에서 HMD모듈에서 디스플레이 되는 화면을 개략적으로 도시한다.
도 10은 본 발명의 일 실시예에 따른 스코어산출부의 동작을 개략적으로 도시한다.
도 11은 본 발명의 일 실시예에 따른 소셜서버생성부에 의해 복수의 사용자가 접속하여 가상현실 콘텐츠를 수행하는 과정을 도시한다.
도 12는 본 발명의 일 실시예에 따른 컴퓨팅 장치의 내부구성을 개략적으로 도시한다.
이하에서는, 다양한 실시예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.
또한, 다양한 양상들 및 특징들이 다수의 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.
본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 '~부', '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.
또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나 이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 가상현실 시스템의 체험공간에서의 사용자 및 사용자의 신체에 착용되는 센서부를 구성하는 모듈들을 개략적으로 도시한다.
본 발명의 가상현실 시스템은 센서부(1000), 컨트롤러(1400), VR시스템부(3000), 및 HMD모듈(2000)을 포함하고, 사용자는 가상현실 시스템을 통해 제공되는 분식 조리 업무 전반을 경험할 수 있는 가상현실 콘텐츠를 체험할 수 있다. 또한, 가상공간에서의 체험을 통하여 집중 및 기억력 향상의 효과를 얻을 수 있고, 사용자는 가상현실 콘텐츠를 체험하면서 식재료를 손질하고 조리하는 과정에서 수반되는 신체적 활동을 통해 운동효과를 얻을 수 있다. 또한 사용자는 자신과 나이, 키, 몸무게 등 신체조건이 유사한 타 사용자와 동일한 소셜서버에서 가상현실 콘텐츠를 수행할 수도 있다.
도 1에 도시된 바와 같이 가상현실 시스템을 통해 가상현실을 체험하는 사용자는 자신의 신체에 뇌파측정모듈(1100), 심박측정모듈(1200) 및 근전도측정모듈(1300)을 부착할 수 있고, 동작센서모듈(1410)을 포함하는 컨트롤러(1400)를 소지하여 가상현실 콘텐츠 체험 시 필요에 따른 입력(예를 들어, 버튼, 핸드트래킹)을 할 수 있고, 컨트롤러(1400)에 포함되는 동작센서모듈(1410)에 의하여 사용자의 움직임이 측정될 수 있다. 컨트롤러(1400)를 통해 수신된 사용자의 입력 및 동작은 VR시스템부(3000)에 송신되어 가상현실 콘텐츠에 반영된다. 사용자는 도 1에 도시된 바와 같이 가상현실 체험공간의 영역을 설정하는 베이스스테이션이 설치된 공간에서 사용자의 동작에 따른 HMD모듈(2000) 및 컨트롤러(1400)의 움직임이 인식될 수 있다.
도 1에 도시된 바와 같은 환경에서 제공되는 본 발명의 가상현실 콘텐츠는, 외상후스트레스장애(PTSD), 공황장애, 경도인지장애, 및 주의력 결핍 과잉 행동장애(ADHD) 등과 같은 정신적 장애를 가진 사용자가 가상현실 콘텐츠를 제공하는 가상공간에서의 체험을 통해 식재료, 주문정보 및 레시피를 암기하는 과정에서 수반되는 정신적 활동, 식재료의 손질 및 조리과정에서 수반되는 신체적 활동을 통해 사용자의 집중을 유도하고 집중력 향상 효과를 얻을 수 있고, 무기력감을 해소할 수 있는 효과를 발휘할 수 있다.
본 발명에서의 정신적 장애는 외상후스트레스장애(PTSD)와 같은 상술한 정신적 장애의 종류에 한정되지 않고, 경미한 정신적 장애로부터 중증 정신적장애에 이르기까지 본 발명의 가상현실 시스템을 통해 제공되는 가상공간에서의 체험을 통하여 치료효과를 얻을 수 있는 모든 종류의 정신적 장애를 포함할 수 있다.
이하에서는, 가상현실 시스템의 구성에 대하여 더욱 자세하게 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 가상현실 시스템의 내부 구성을 개략적으로 도시한다.
도 2에 도시된 바와 같이, 소통형 재활 및 직업 프로그램을 통한 복합센서 기반 조작 및 몰입형 가상현실 시스템으로서, 상기 가상현실 시스템은, 사용자의 두부(頭部)에 부착되어 사용자의 뇌파를 측정하는 뇌파측정모듈, 사용자의 손가락에 부착되어 사용자의 심박을 측정하는 심박측정모듈 및 사용자의 팔을 포함하는 신체 일부에 부착되어 사용자의 근전도를 측정하는 근전도측정모듈을 포함하는 센서부; 사용자가 일정 시간 동안 제시되는 식재료를 암기하고, 제시되는 복수의 선지 중 조리에 사용되는 식재료를 선택하고, 선택한 식재료를 바탕으로 떡볶이, 튀김, 순대를 포함하는 분식 메뉴를 조리하는 활동을 수행함과 동시에 사용자의 집중 및 활동상태를 분석할 수 있는 가상현실 콘텐츠를 실행하고, 사용자의 가상현실 콘텐츠 수행결과에 대한 평가를 도출하는 VR시스템부; 및 상기 VR시스템부로부터 실행되는 가상현실 콘텐츠의 영상 및 음향정보를 수신하여 사용자에게 제공하는 HMD모듈;을 포함할 수 있다.
본 발명의 일 실시예에 따르면, 도 2에 도시된 바와 같이 상기 VR시스템부(3000)는 HMD모듈(2000)에 포함될 수 있다. 또한 본 발명의 다른 실시예에서는 동작센서모듈(1410)을 포함하는 컨트롤러(1400)는 센서부(1000)에 포함될 수 있다.
상기 뇌파측정모듈(1100)은, 델타파, 세타파, 알파파, 베타파, 및 감마파를 포함하는 뇌파를 센싱하여 측정한다. 뇌파측정모듈(1100)은 사용자의 이마에 위치함이 바람직하고, 뇌파에 관한 데이터는 특정저장매체를 거치지 않고도 오픈 사운드 컨트롤 형식의 포맷으로 전송되어 다른 장치와 블루투스 통신을 포함하는 무선통신을 통해 컴퓨터로 전송할 수 있다. 각각 다른 주파수 대역의 뇌파는 서로 다른 특징을 지니며 이에 기초하여 사용자의 정신활동 상태를 알아낼 수 있다. 정신적으로 불안정한 상태에서는 베타타 내지 알파파에 기초하여 사용자의 정신 활동 상태를 파악할 수 있고, 안정된 상태에서는 알파파 내지 세타파에 기초하여 정신 활동 상태를 파악할 수 있다. 바람직하게는, 상기 알파파는, SMR파, 미들알파, 및 슬로우알파를 포함하고, 상기 알파파는 사용자의 집중도를 판단하는 지표가 될 수 있다. 상기 사용자의 뇌파가 SMR파 인 경우, 사용자는 약간의 집중상태일 수 있고, 상기 사용자의 뇌파가 미들알파인 경우, 사용자는 안정되고 집중된 상태일 수 있다. 또한, 상기 사용자의 뇌파가 슬로우알파인 경우에는 사용자는 명상상태일 수 있다. 이와 같이 각각 다른 주파수 대역의 뇌파는 서로 다른 특징을 지니기 때문에 이에 기초하여 사용자의 정신 활동 상태를 알아낼 수 있다.
상기 심박측정모듈(1200)은, 사용자의 손가락에 끼워지는 형태로 부착되어 사용자의 심박을 측정할 수 있다. 심박수, 맥박파형, 분당심박수, 심박음유무, 심박 및 심박간격표시 및 혈류지수 중 1 이상을 포함하는 심박과 관련된 정보가 심박측정모듈(1200)에 디스플레이될 수 있다.
상기 근전도측정모듈(1300)은, 사용자가 주로 사용하는 손의 팔 또는 팔꿈치에 장착하여 사용자의 근전도를 측정할 수 있다. 근수축, 주파수, 활성도 중 1 이상을 포함하여 사용자의 근육 움직임을 판별할 수 있는 정보가 근전도측정모듈(1300)에 디스플레이될 수 있다.
사용자는 이와 같은 심박, 뇌파 및 근전도를 측정하는 모듈들을 착용하고 가상현실 콘텐츠를 체험함으로써, 심박, 뇌파 및 근전도를 포함하는 생체정보에 기초하여 정신적 및 신체적 상태에 따라 사용자에게 제공되는 집중형콘텐츠 및 활동형콘텐츠의 조건이 다르게 반영된 가상현실 콘텐츠를 제공받을 수 있다.
한편, 가상현실 시스템은 가상현실 콘텐츠를 조작하기 위한 컨트롤러(1400)를 포함한다. 도 1에 도시된 바와 같이 사용자는 양손에 컨트롤러(1400)를 쥐고 움직임으로써, 가상현실 콘텐츠에서의 동작 및 제어에 대한 입력을 하며 VR콘텐츠를 이용할 수 있다. 컨트롤러(1400)는 움직임을 감지할 수 있는 동작센서모듈(1410)을 포함함으로써, 사용자의 손의 움직임을 감지하고, 사용자가 조작할 수 있는 버튼, 다이얼, 터치센서 등 입력도구를 포함하여 사용자가 다양한 입력을 할 수 있도록 한다.
상기 VR시스템부(3000)는 센서부(1000)로부터 입력되는 뇌파, 심박 및 근전도와 같은 생체정보를 기초로 사용자가 분식 조리 전반을 경험할 수 있는 가상현실콘텐츠를 실행할 수 있고, 가상현실 콘텐츠의 수행결과에 대한 평가를 수행할 수 있다.
상기 HMD모듈(2000)은 사용자의 머리에 착용되어 가상현실 콘텐츠의 영상 및 음향정보를 사용자에게 제공하고, 사용자가 가상현실을 체험할 수 있도록 한다. 사용자는 분식 조리 업무를 수행할 수 있는 가상현실을 체험하기 위하여 안경을 착용하는 방식으로 HMD모듈(2000)을 착용하고 HMD모듈(2000)을 통하여 가상현실 콘텐츠의 영상 및 음향정보를 제공받음으로써, 가상현실 상에서 제공되는 콘텐츠를 실제로 체험하는 것과 같이 사실적인 체험을 경험할 수 있다.
도 3은 본 발명의 일 실시예에 따른 VR시스템부의 내부 구성을 개략적으로 도시한다.
도 3에 도시된 바와 같이 상기 VR시스템부는, 상기 센서부로부터 상기 뇌파, 심박 및 근전도 데이터를 수신하는 센싱정보수집부; 상기 HMD모듈을 착용한 사용자의 상기 뇌파, 심박 및 근전도 데이터를 실시간으로 적용하여 상기 가상현실 콘텐츠에서의 분식 조리업무를 수행할 수 있는 가상현실 콘텐츠를 실행하고 가상현실 콘텐츠를 수행하는 사용자의 집중 및 활동 상태를 판별하는 콘텐츠실행부; 및 상기 콘텐츠실행부로부터 수신한 사용자의 가상현실 콘텐츠 수행결과에 기초하여 스코어를 산출하되 가상현실 콘텐츠 몰입도 및 활동량에 기초하여 사용자에 가중치를 부여하여 스코어를 산출하는 스코어산출부; 상기 가상현실 콘텐츠를 수행하는 복수의 사용자가 접속하여 가상현실 콘텐츠를 협력 수행하면서 타 사용자와 상호작용할 수 있는 소셜서버를 생성하는 소셜서버생성부; 및 상기 구성에 필요한 정보를 저장할 수 있는 DB를 포함할 수 있다.
구체적으로, 상기 센싱정보수집부(3100)는, 가상현실 시스템의 센서부(1000)로부터 측정된 사용자의 뇌파, 심박 및 근전도를 포함하는 생체신호를 수신한다. 수신된 사용자의 생체신호는 콘텐츠실행부(3200)로 송신되어 사용자가 체험하는 가상현실 콘텐츠에 피드백을 제공하는 데 기초가 되는 정보로 활용된다. 상기 콘텐츠실행부(3200)는, 센싱정보수집부(3100)로부터 송신된 사용자의 생체신호에 기초하여 사용자가 체험하는 가상현실 콘텐츠의 업무환경조건을 다르게 설정할 수 있다.
바람직하게는 상기 콘텐츠실행부(3200)는, 상기 사용자의 뇌파에 기초하여 사용자에 제공하는 집중형콘텐츠 및 가상현실 콘텐츠의 전반적인 난이도를 결정한다.
이후, 콘텐츠실행부(3200)는, 사용자에게 집중형콘텐츠를 제공하는 암기단계(S100); 사용자에게 활동형콘텐츠를 제공하는 조리단계(S200); 사용자에게 휴식콘텐츠를 제공하는 안정단계(S300);를 순차적으로 수행할 수 있는 가상현실 콘텐츠를 제공한다.
상기 과정은 사용자의 생체신호에 기초하여 업무환경조건을 설정함으로써, 사용자는 자신에게 적합한 난이도의 콘텐츠를 제공받고, 높은 스코어를 얻기 위해 집중력을 높이고 활발하게 활동함으로써 정신적, 신체적 건강을 함께 증진시킬 수 있다.
상기 스코어산출부(3300)는, 상기 가상현실 콘텐츠가 실행 중 이거나 종료된 후, 상기 사용자의 콘텐츠 몰입도, 콘텐츠 수행결과에 기초하여 스코어를 산출한다.
바람직하게는, 상기 스코어산출부(3300)에서 스코어를 산출하는 기준은 사용자의 집중형콘텐츠 수행에 따른 집중스코어 및 활동형콘텐츠 수행에 따른 활동스코어를 합산하여 결정되고, 추가적으로 상기 사용자의 가상현실 콘텐츠의 수행결과가 더 반영되어 결정될 수 있다.
소셜서버생성부(3400)는 복수의 사용자가 커뮤니케이션하거나 상호작용할 수 있는 소셜서버를 생성하고, 복수의 사용자는 생성된 소셜서버에 접속하여 타 사용자와 가상현실 콘텐츠를 협력 수행할 수 있다. 구체적으로 가상현실시스템은 복수의 사용자 개개인에 대한 나이, 키, 몸무게와 같은 신체정보를 수신하여, 신체조건이 유사한 사용자를 동일 소셜서버에 접속시킴으로써, 복수의 사용자가 상호작용하며 가상현실 콘텐츠를 협력 수행하게 할 수 있다.
한편, 상기 VR시스템부(3000)의 DB(3500)에는 도 3에 도시된 바와 같이 사용자로부터 입력 수신한 사용자의 식별정보, 나이, 이름, 키, 몸무게 등을 포함하는 사용자정보, 가상현실 콘텐츠에서의 수행결과, 스코어를 산출하는 기준을 포함하는 평가정보, 센서부(1000)에 의하여 측정된 사용자의 뇌파, 심박 및 근전도를 포함하는 생체정보가 저장되어 있을 수 있다.
DB(3500)에 저장된 사용자정보는 상기 가상현실 콘텐츠의 난이도를 결정하는 데 사용될 수 있고, 상기 사용자정보, 가상현실 콘텐츠에서의 수행결과 및 생체정보는 정신장애를 가진 사용자의 치료 및 상담의 목적으로 의사 혹은 상담사와 같은 의료진에게 전달되어, 사용자의 진료, 치료 및 상담데이터로 활용할 수 있는 효과를 발휘할 수 있다.
도 3에 도시된 VR시스템부(3000)는 도시된 구성요소 외의 다른 요소들을 더 포함할 수 있으나, 편의상 본 발명의 실시예들에 따른 분식 조리 업무를 체험할 수 있는 가상현실 콘텐츠를 제공하는 가상현실 시스템과 관련된 구성요소들만을 표시하였다.
이하에서는, 상기 콘텐츠실행부(3200)의 구체적인 동작에 대하여 더욱 자세하게 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 콘텐츠실행부의 수행 단계를 개략적으로 도시한다.
상기 콘텐츠실행부는 상기 사용자에게 식재료정보, 주문정보, 및 레시피정보를 암기하는 집중형콘텐츠를 제공하고 상기 사용자의 뇌파 데이터에 기초하여 사용자의 집중상태를 판별하고, 상기 사용자의 집중상태에 기초하여 집중스코어를 산출하는 암기단계; 상기 사용자에게 분식조리업무를 수행할 수 있는 활동형콘텐츠를 제공하고 상기 사용자가 조작한 컨트롤러의 움직임 및 상기 사용자의 근전도 데이터에 기초하여 사용자의 활동상태를 판별하고, 상기 사용자의 활동상태에 기초하여 활동스코어를 산출하는 조리단계; 및 상기 사용자에게 휴식을 취할 수 있는 휴식콘텐츠를 제공하고 상기 사용자의 심박수 데이터에 기초하여 사용자의 안정상태를 판별하고, 상기 집중스코어 및 상기 활동스코어에 기초하여 산출한 최종스코어를 제공하는 안정단계;를 수행할 수 있다.
상기 암기단계는 상기 사용자로부터 사용자정보를 입력받고 상기 사용자의 뇌파 데이터에 대한 측정을 시작하여 상기 사용자의 뇌파 데이터에 기초하여 사용자의 집중상태 돌입여부를 결정하고, 집중형콘텐츠의 난이도를 결정하는 게임준비단계; 상기 사용자가 기설정된 시간 이상 집중상태를 유지한 사용자에게 집중형콘텐츠를 디스플레이하는 집중형콘텐츠제공단계;를 포함하고, 상기 집중형콘텐츠는, 상기 사용자에게 위치와 순서를 무작위로 하여 복수의 이미지를 디스플레이하고, 상기 사용자가 복수의 이미지가 디스플레이된 순서 및 위치를 암기하는 제1집중형콘텐츠; 사용자에게 분식조리에 사용되는 복수의 식재료를 이미지로 제시하고, 상기 사용자가 복수의 식재료 중 조리에 사용되는 식재료를 선택하는 제2집중형콘텐츠; 및 손님의 주문순서 및 주문내역을 포함하는 주문정보, 상기 주문정보에 해당되는 요리의 레시피정보, 및 업무가 진행되는 순서에 대한 정보를 암기하는 제3집중형콘텐츠;를 포함할 수 있다.
상기 조리단계는 상기 암기단계를 완료한 사용자에 대하여 가상현실 콘텐츠 내에서 상기 사용자에게 분식조리업무에 사용되는 식재료 및 조리도구를 제공하고 상기 사용자의 근전도 데이터에 대한 측정을 시작하는 조리준비단계; 및 상기 사용자에게 분식조리업무를 수행할 수 있는 활동형콘텐츠를 제공하고, 상기 사용자가 조작한 컨트롤러의 움직임 및 상기 사용자의 근전도 데이터에 기초하여 사용자의 활동상태를 판별하는 활동형콘텐츠제공단계;를 포함할 수 있다.
또한 상기 활동형콘텐츠는 야채 및 고기를 손질하는 제1활동형콘텐츠, 손질된 재료를 사용하여 떡볶이를 조리하는 제2활동형콘텐츠, 및 튀김을 튀기는 제3활동형콘텐츠를 포함할 수 있다.
상기 안정단계는 상기 가상현실 콘텐츠 내에서 상기 조리단계를 완료한 상기 사용자를 조리실에서 휴식공간으로 이동시키는 배경이동단계; 상기 사용자에게 휴식을 취할 수 있는 휴식콘텐츠를 제공하고, 상기 사용자의 심박수가 60 내지 72 인 경우, 사용자를 안정상태로 판별하는 휴식콘텐츠제공단계; 및 상기 집중스코어 및 상기 활동스코어를 합산하고, 상기 사용자의 가상현실 콘텐츠의 수행결과를 반영하여 최종스코어를 산출하여 제공하는, 스코어제공단계;를 포함할 수 있다.
본 발명의 일 실시예에 따른 가상현실 시스템의 수행단계를 더욱 상세하게 설명하자면, 본 발명의 가상현실 시스템은 암기단계(S100)에서 사용자에게 집중형콘텐츠를 제공하고 사용자의 뇌파에 기초하여 집중상태를 판별한다.
구체적으로 암기단계(S100)는 사용자의 정보를 수신하여 가상현실 콘텐츠를 준비하고 사용자에게 암기해야 하는 콘텐츠를 제공하는 단계로서, 사용자의 정보를 수신하고, 사용자의 뇌파 데이터에 대한 측정을 시작하여 사용자의 집중상태 돌입여부를 결정하고, 집중형콘텐츠의 난이도를 결정하는 게임준비단계(S110) 및 집중형콘텐츠를 제공하는 집중형콘텐츠제공단계(S120);를 포함한다.
바람직하게는 가상현실 시스템은 상기 게임준비단계(S110);에서 사용자로부터 사용자 식별정보, 나이, 이름, 키, 몸무게 등을 포함하는 사용자정보를 수신할 수 있고, 상기 사용자정보는 가상현실 콘텐츠의 난이도를 결정하고, 사용자 상태를 판별하고, 스코어를 산출하는 기준이 될 수 있다. 일례로 60 이상의 나이를 갖는 사용자에게 난이도가 낮은 가상현실 콘텐츠를 제공할 수 있고, 25세 이하의 나이를 갖는 사용자에게 난이도가 높은 가상현실 콘텐츠를 제공할 수 있다.
또한, 게임준비단계(S110)에서 가상현실 시스템은 사용자의 뇌파 데이터에 기초하여 사용자의 집중상태 돌입여부를 판별할 수 있고, 집중상태의 몰입도에 기초하여 가상현실 콘텐츠의 난이도를 결정할 수 있다.
구체적으로 사용자의 뇌파 종류 및 주파수가 10 내지 13 hz의 주파수를 갖는 알파파로 기설정된 시간 이상 측정될 때 사용자를 집중상태로 판별하여 집중형콘텐츠를 제공할 수 있다.
바람직하게는 사용자의 뇌파 종류 및 주파수가 10 내지 12 hz의 주파수를 갖는 미들알파파로 기설정된 시간 이상 측정될 때 사용자를 제1집중상태로 판별하여 보통의 난이도를 갖는 집중형콘텐츠를 제공할 수 있고, 상기 사용자의 뇌파 종류 및 주파수가 12 내지 13 hz의 주파수를 갖는 SMR파로 기설정된 시간 이상 측정될 때 제2집중상태로 판별하고 해당 사용자에게 상기 집중형콘텐츠보다 난이도가 높은 집중형콘텐츠를 제공할 수 있다.
결과적으로 본원 발명의 가상현실 시스템은 사용자의 집중상태의 돌입여부와 함께 몰입도에 기초하여 집중형콘텐츠의 난이도를 결정함으로써, 집중도가 높은 사용자가 높은 스코어를 기록할 수 있게 유도할 수 있다.
이어서, 가상현실 시스템은 상기 게임준비단계(S110)에서 결정된 난이도를 갖는 집중형콘텐츠를 사용자에게 제공할 수 있다. 집중형콘텐츠제공단계(S120);에서 사용자에게 제공되는 집중형콘텐츠에는 식재료정보, 주문정보, 레시피정보를 암기하는 방식의 콘텐츠이고, 사용자는 집중형콘텐츠를 암기함으로써 분식 조리 업무 전반에 대한 개략적인 과정을 파악할 수 있다.
바람직하게는 집중형콘텐츠는 사용자에게 위치와 순서를 무작위로 하여 복수의 텍스트를 디스플레이하고, 상기 사용자가 복수의 이미지가 디스플레이된 순서 및 위치를 암기하는 제1집중형콘텐츠; 사용자에게 분식조리에 사용되는 복수의 식재료를 이미지로 제시하고, 상기 사용자가 복수의 식재료 중 조리에 사용되는 식재료를 선택하는 제2집중형콘텐츠; 손님의 주문순서 및 주문내역을 포함하는 주문정보, 상기 주문정보에 해당되는 요리의 레시피정보, 및 업무가 진행되는 순서에 대한 정보를 암기하는 제3집중형콘텐츠를 포함하는 형태로 구성될 수 있다.
상술한 바와 같이 집중형콘텐츠제공단계(S120)에서 집중형콘텐츠는 사용자의 뇌파 데이터에 기초하여 사용자가 집중상태일 때 사용자에게 제공된다. 또한 사용자의 집중상태가 높을수록 사용자는 더 높은 난이도의 집중형콘텐츠를 제공받을 수 있고, 사용자는 난이도가 높은 집중형콘텐츠를 통해 더 높은 스코어를 기록할 수 있게 된다.
결과적으로 사용자가 가상현실 콘텐츠의 수행의 결과로 도출되는 스코어를 높게 기록하게 하기 위해서는 가상현실 콘텐츠에 몰입할 필요가 있다.
구체적으로 가상현실 시스템은 사용자의 뇌파 데이터가 13 hz 이상의 주파수를 갖는 감마파 혹은 베타파에 해당하거나, 8 hz 이하의 주파수를 갖는 델타파 혹은 세타파에 해당하는 경우, 사용자를 저집중상태로 판별하고 해당 경우에서 사용자는 집중형콘텐츠를 제공받지 못할 수 있다.
또한 사용자의 뇌파 데이터가 8 내지 13 hz의 주파수를 갖는 알파파에 해당하는 경우, 사용자를 집중상태로 판별하고 집중형콘텐츠를 제공할 수 있다.
바람직하게는 상기 뇌파 데이터가 10 내지 12 hz의 주파수를 갖는 미들 알파파에 해당하는 경우, 사용자를 제1집중상태로 판별하고 중간 난이도의 집중형콘텐츠를 제공할 수 있고, 상기 뇌파 데이터가 12 내지 13 hz의 주파수를 갖는 SMR파에 해당하는 경우, 사용자를 제2집중상태로 판별하고 가장 높은 난이도의 집중형콘텐츠를 제공할 수 있다.
사용자는 집중상태의 유지시간에 기초하여 산출하는 종합집중스코어와 집중상태보다 몰입도가 높은 제2집중상태의 유지시간에 기초하여 산출하는 제2집중스코어를 획득할 수 있다. 상술한 바와 같이 제2집중스코어는 종합집중스코어보다 높은 가중치를 부여함이 바람직하다.
결과적으로 본 발명의 가상현실 시스템은 사용자의 뇌파 종류 및 주파수에 기초하여 집중 상태를 판별할 수 있고, 사용자가 높은 스코어를 기록하기 위해 가상현실 콘텐츠 집중도를 높이도록 유도할 수 있다. 이와 같이 사용자는 식재료정보, 주문정보, 레시피정보를 암기하고 집중하는 과정을 통해 집중력을 발달시킬 수 있고, 인지 능력 및 뇌 건강을 증진시킬 수 있다.
한편, 암기단계(S100)에서 측정되는 사용자의 뇌파 데이터는 사용자 또는 관리자에게 디스플레이될 수 있다. 구체적으로 뇌파측정모듈(1100)을 통해 수집되는 사용자의 뇌파 데이터는 시각정보로 변환되어 사용자 또는 관리자에게 제공될 수 있다. 바람직하게는 사용자가 뇌파 데이터에 대한 정보를 시각정보로 제공하되 집중상태에 해당하는 영역만을 표시하고, 저집중상태에 해당하는 영역에 블러(blur)효과를 적용하거나 해당 영역을 삭제할 수 있다. 또한 집중상태에 해당하는 영역을 디스플레이하되 사용자의 집중도가 높은 제2집중상태에 해당하는 영역에 색상을 달리하거나 강조 처리하여 가시성을 높여 디스플레이할 수 있다.
결과적으로 사용자 또는 관리자는 사용자의 집중상태 진입여부 및 몰입도를 용이하게 파악할 수 있다. 일례로 사용자는 컨트롤러(1400) 조작에 의해 움직이는 포인터를 가상현실 콘텐츠 상에서 구현되는 상태확인레이어(미도시)에 위치함으로써 집중상태에 따른 데이터를 확인할 수 있다.
조리단계(S200)는, 상기 암기단계를 완료한 사용자에 대하여 가상현실 콘텐츠 내에서 상기 사용자에게 분식조리업무에 사용되는 식재료 및 조리도구를 제공하고 상기 사용자의 근전도 데이터에 대한 측정을 시작하는 조리준비단계(S210); 및 상기 사용자에게 분식조리업무를 수행할 수 있는 활동형콘텐츠를 제공하고, 상기 사용자가 조작한 컨트롤러의 움직임 및 상기 사용자의 근전도 데이터에 기초하여 사용자의 활동상태를 판별하는 활동형콘텐츠제공단계(S220);를 포함할 수 있다.
구체적으로 조리준비단계(S210)에서 사용자는 컨트롤러(1400) 조작에 따라 가상현실 콘텐츠 내에서 분식조리 업무를 수행하는 데 필요한 식재료 및 조리도구를 준비할 수 있다.
바람직하게는 사용자는 식재료보관함에 저장되는 식재료를 조리대로 가져올 수 있고 사용자는 식재료의 종류 및 양을 정확하게 가져오고 지정된 위치에 준비함으로써 높은 스코어를 기록할 수 있다. 일례로 사용자는 식재료보관함에 저장된 식재료 중 떡 150g, 고추장 200g, 어묵 300g 등 식재료의 종류 및 양을 선별하여 가져올 수 있고, 해당 식재료에 대한 정보는 상기 암기단계(S100)에서 제공된 집중형콘텐츠, 더 구체적으로는 제2집중형콘텐츠에 포함됨이 바람직하다.
이어서 사용자는 컨트롤러(1400) 조작에 따라 조리하고자 하는 요리에 적합한 조리도구를 선택, 탐색하고 조리대로 가져올 수 있다. 사용자는 조리하고자 하는 요리에 적합한 조리도구를 가져오고 지정된 위치에 준비함으로써 높은 스코어를 기록할 수 있다.
일례로 사용자는 조리대에 준비된 조리도구 중 칼, 주걱, 도마 등의 조리도구를 가져올 수 있고, 해당 조리도구에 대한 정보는 상기 암기단계(S100)에서 제공된 집중형콘텐츠에 포함됨이 바람직하다.
이어서 사용자는 컨트롤러(1400) 조작에 따라 조리하고자 하는 요리에 해당하는 식재료를 세척하고 손질할 수 있다. 사용자는 준비된 식재료를 적합한 방식으로 손질함으로써 높은 스코어를 기록할 수 있다.
일례로 사용자는 떡, 고추장, 어묵 등의 식재료를 적합한 크기로 자르거나 다져 조리를 준비할 수 있고, 해당 조리 과정에 대한 정보는 상기 암기단계(S100)에서 제공된 집중형콘텐츠에 포함됨이 바람직하다.
조리준비단계(S210);를 완료한 사용자는 활동형콘텐츠제공단계(S220)를 수행하여 분식조리 업무를 수행할 수 있다. 구체적으로 활동형콘텐츠제공단계(S220)에서 사용자는 컨트롤러(1400) 조작에 따라 조리하고자 하는 떡볶이, 튀김, 순대와 같이 조리하고자 하는 분식 요리를 조리하고, 지정된 조리순서 및 조리방법으로 조리함으로써 높은 스코어를 기록할 수 있다.
상기 조리단계(S200);에서 사용자는 컨트롤러(1400)의 조작을 통해 조리도구 및 식재료를 변경하거나 조리할 수 있고, 요리를 조리함으로써 발생하는 사용자의 움직임 및 근전도신호는 동작센서모듈(1410) 및 근전도측정모듈(1300)에 의해 측정되어 사용자의 활동상태를 판별하는 기준이 될 수 있다. 구체적으로 근전도측정모듈(1300)에 의해 측정되는 근전도 변화량에 따른 주파수가 높고, 동작센서모듈(1410)에 의해 감지되는 사용자의 움직임의 빠르고, 움직임의 지속시간이 길수록 사용자는 높은 스코어를 기록할 수 있다.
구체적으로 사용자의 움직임에 따른 근전도 데이터가 450 hz 이상의 주파수를 가지거나, 20 hz 이하의 주파수를 가지는 경우, 사용자를 비활동상태로 분류할 수 있고 해당 상태의 사용자를 조리단계(S200)를 수행하지 않는 상태로 판별하고 스코어를 부여하지 않을 수 있다. 또한 사용자의 움직임에 따른 근전도 데이터가 20 내지 450 hz의 주파수를 가지는 경우, 사용자를 활동상태로 분류할 수 있다. 더 구체적으로 상기 근전도 데이터가 20 내지 235 hz의 주파수를 가지는 경우, 사용자를 약한 활동을 유지하는 제1활동상태로 판별할 수 있고, 상기 근전도 데이터가 235 내지 450 hz의 주파수를 가지는 경우, 사용자를 강한 활동을 유지하는 제2활동상태로 판별할 수 있다.
결과적으로 본원 발명의 가상현실 시스템은 사용자의 활동상태의 돌입여부와 함께 활동량을 측정함으로써, 활동량이 높은 사용자가 높은 스코어를 기록할 수 있게 유도할 수 있다.
한편, 조리단계(S200)에서 사용자가 기록할 수 있는 활동스코어는 사용자의 활동상태 및 각 단계에 대한 활동요구량, 각 단계의 수행시간에 기초하여 결정될 수 있다. 구체적으로 근전도측정모듈(1300)에 의해 측정되는 근전도 변화량에 따른 주파수가 높고, 동작센서모듈(1410)에 의해 감지되는 사용자의 움직임의 빠르고, 움직임의 지속시간이 길수록 사용자는 높은 스코어를 기록할 수 있다.
바람직하게는 조리단계(S200)에서 사용자가 기록할 수 있는 활동스코어는 종합활동스코어, 제1활동스코어, 제2활동스코어 및 제3활동스코어를 합산하여 결정할 수 있다.
종합활동스코어는 조리단계(S200)의 전반적인 수행과정에서 사용자가 기록한 수행결과에 대한 기초적인 스코어이고, 제1활동스코어는 활동요구량이 가장 높은 제1활동형콘텐츠를 수행한 사용자의 수행결과에 대한 스코어로 가장 높은 값을 갖는 가중치를 부여하여 산출할 수 있고, 제2활동스코어는 활동요구량이 중간인 제2활동형콘텐츠를 수행한 사용자의 수행결과에 대한 스코어로 중간값을 갖는 가중치를 부여하여 산출할 수 있고, 제3활동스코어는 활동요구량이 낮은 제3활동형콘텐츠를 수행한 사용자의 수행결과에 대한 스코어로 낮은 값을 갖는 가중치를 부여하여 산출할 수 있다.
한편, 조리단계(S200)에서 사용자의 움직임을 판별하고 스코어를 판별하는 기준에는 컨트롤러(1400)의 동작센서모듈(1410)에서 측정되는 움직임의 속도 및 지속시간이 포함될 수 있다. 구체적으로 조리단계(S200)에서 요구되는 행위를 기설정된 시간 및 기설정된 횟수 이상 수행하는 사용자에게 스코어를 부여할 수 있다.
일례로 제1활동형콘텐츠는 조리 사용에 사용되는 야채 및 고기를 손질하는 하는 콘텐츠로서, 사용자는 상기 제1활동형콘텐츠를 수행하는 동안 3분 및 30회 이상 움직임을 수행함으로써 제1활동스코어를 기록할 수 있고, 제2활동형콘텐츠는 손질된 재료를 사용하여 떡볶이를 조리하는 콘텐츠로서 사용자는 상기 제2활동형콘텐츠를 수행하는 동안 5분 및 50회 이상 움직임을 수행함으로써 제2활동스코어를 기록할 수 있고, 제3활동형콘텐츠는 튀김을 튀기는 콘텐츠로서 사용자는 상기 제3활동형콘텐츠를 수행하는 동안 1분 및 10회 이상 움직임을 수행함으로써 제3활동스코어를 기록할 수 있다.
이와 같이 본원 발명에서는 각 활동형콘텐츠마다 요구되는 움직임을 상이하게 함으로써, 사용자의 활동 상태에 대한 정확한 스코어를 산출할 수 있다.
결과적으로 본 발명의 가상현실 시스템은 사용자의 근전도 데이터 및 사용자의 움직임에 기초하여 활동 상태를 판별할 수 있고, 사용자가 높은 스코어를 기록하기 위해 가상현실 콘텐츠에 적극적으로 참여하도록 유도할 수 있다. 사용자는 신체적 활동을 통해 조리업무를 수행함으로써 신체 건강을 증진시킬 수 있고 요리를 완성하는 과정에서 성취감을 얻음으로써 정서적 안정을 느낄 수 있다.
한편, 조리단계(S200)에서 측정되는 사용자의 근전도 데이터 및 사용자의 움직임을 측정한 데이터는 사용자 또는 관리자에게 디스플레이될 수 있다. 구체적으로 근전도측정모듈(1300) 및 동작센서모듈(1410)을 통해 수집되는 데이터는 시각정보로 변환되어 사용자 또는 관리자에게 제공될 수 있다.
바람직하게는 사용자가 활동상태일 때 해당하는 영역에 색상을 달리하거나 강조 처리하여 가시성을 높여 디스플레이할 수 있고, 사용자가 비활동상태일 때 해당하는 영역에 블러(blur)효과를 적용하여 사용자 또는 관리자는 사용자의 활동상태 진입여부를 용이하게 파악할 수 있다. 일례로 사용자는 컨트롤러(1400) 조작에 의해 움직이는 포인터를 가상현실 콘텐츠 상에서 구현되는 상태확인레이어(미도시)에 위치함으로써 활동상태에 따른 데이터를 확인할 수 있다.
한편, 상술한 바와 같이 본원 발명에서는 복수의 사용자가 소셜서버에 접속하여 가상현실 콘텐츠를 협력 수행할 수 있다. 구체적으로 사용자는 암기단계(S100) 및 조리단계(S200)에서 제공되는 집중형콘텐츠 및 활동형콘텐츠를 타 사용자와 함께 수행할 수도 있다.
일례로 활동형콘텐츠는 분식 조리 순서에 따라 제1활동형콘텐츠, 제2활동형콘텐츠, 및 제3활동형콘텐츠를 포함하는 형태로 구성될 수 있고, 복수의 사용자 개개인에게 활동형콘텐츠를 할당하고, 복수의 사용자 개개인이 할당받은 콘텐츠를 동시에 수행하는 방식으로 가상현실 콘텐츠를 협력 수행할 수 있다. 상기와 같은 방식으로 본원 발명에서는 복수의 사용자가 함께 가상현실 콘텐츠를 수행함으로써 콘텐츠 수행에 따른 지루함을 경감할 수 있다.
안정단계(S300)는 상기 조리단계(S200)를 완료한 사용자에게 휴식콘텐츠를 제공하고 가상현실 콘텐츠 수행결과에 따른 스코어를 산출하여 제공하는 단계로서, 가상현실 콘텐츠의 배경을 이동시키는 배경이동단계(S310); 휴식콘텐츠를 제공하는 휴식단계(S320); 가상현실 콘텐츠 수행에 따른 스코어를 제공하는 스코어제공단계(S330);를 포함한다.
구체적으로 배경이동단계(S310)는 상기 조리단계(S200)를 완료한 사용자의 가상현실 콘텐츠 배경을 이동하는 것으로서, 사용자는 휴식콘텐츠를 제공받기에 앞서 가상현실 콘텐츠의 배경을 조리실에서 휴식을 취할 수 있는 적절한 장소로 변경될 수 있다.
바람직하게는 배경이동단계(S310)에서 변경되는 배경정보는 해변, 숲, 가정집 등이 포함될 수 있고, 해당 목록은 게임준비단계(S110)에서 사용자에게 제공되어 사용자는 휴식을 취하고자 하는 1 이상의 배경정보를 직접 선택할 수 있다.
휴식단계(S320)는 상기 조리단계(S200)를 완료한 사용자에게 휴식콘텐츠를 제공하는 단계로서, 사용자는 휴식을 취할 수 있는 콘텐츠를 제공받고 휴식을 취하는 과정에서 근육이 이완됨에 따라 신체적 긴장을 완화할 수 있고, 정서적 안정을 얻을 수 있다.
구체적으로 사용자는 휴식을 취할 수 있는 1 이상의 가구 목록을 제공받고 선택한 가구에서 휴식을 취할 수 있고, 심박측정모듈(1200)에 의해 측정되는 사용자의 심박 데이터에 기초하여 사용자의 안정상태를 판별할 수 있다. 바람직하게는 사용자가 휴식을 취할 수 있는 가구목록에는 침대, 소파, 안마의자, 온돌, 선베드 등이 포함될 수 있고 사용자는 해당 가구목록 중 1개의 가구를 컨트롤러(1400)을 통해 선택할 수 있다.
휴식단계(S320)에서 사용자의 안정상태를 판별하는 기준은 심박측정모듈(1200)에 의해 측정되는 사용자의 심박 데이터에 기초하여 결정되고 상기 게임준비단계(S110)에서 수신한 사용자 정보 반영될 수 있다. 구체적으로 사용자의 안정상태를 판별하는 기준에는 사용자의 나이, 운동강도, 컨첸츠 수행시간 등이 반영될 수 있다. 일례로 통상의 26에서 35세의 사용자의 경우 73 내지 76 심박수를 가지는 경우 일상적인 상태로 판별하고 72 이하의 심박수를 가지는 경우 사용자를 안정상태로 판별할 수 있다. 또한 상술한 바와 같이 나이가 많거나, 콘텐츠 수행에 따른 운동강도가 높거나, 콘텐츠 수행시간이 긴 경우 안정상태를 판별하는 심박수 기준은 증가할 수 있다. 이는 일반적으로 기초 대사량이 높은 운동선수의 경우 평균 심박수가 낮고, 고령자나 운동경험이 적은 사람의 경우 평균 심박수가 높게 나타나는 경향을 반영하는 것으로서, 사용자의 안정상태를 판별함에 있어 사용자 정보를 고려하여 사용자별로 정확한 진단을 수행하기 위한 것이다.
한편, 휴식단계(S320)에서 측정되는 사용자의 심박 데이터는 사용자 또는 관리자에게 디스플레이될 수 있다. 구체적으로 심박측정모듈(1200)을 통해 수집되는 심박 데이터는 시각정보로 변환되어 사용자 또는 관리자에게 제공될 수 있다. 바람직하게는 사용자가 안정상태일 때 해당하는 영역에 색상을 달리하거나 강조 처리하여 가시성을 높여 디스플레이할 수 있고, 사용자가 활동상태일 때 해당하는 영역에 블러(blur)효과를 적용하여 사용자 또는 관리자는 사용자의 안정상태 진입여부를 용이하게 파악할 수 있다. 일례로 사용자는 컨트롤러(1400) 조작에 의해 움직이는 포인터를 가상현실 콘텐츠 상에서 구현되는 상태확인레이어(미도시)에 위치함으로써 안정상태에 따른 데이터를 확인할 수 있다.
스코어제공단계(S330)는 가상현실 콘텐츠 수행결과에 따른 산출한 스코어를 사용자에게 제공하는 것으로서 상기 휴식단계(S320)와 동시에 수행될 수 있다. 구체적으로 사용자는 가상현실 콘텐츠의 각 단계에서의 얻은 점수를 확인할 수 있고 상기 스코어는 각 단계에서 사용자의 콘텐츠 수행결과에 기초하여 결정될 수 있다.
사용자는 집중 및 활동상태에 기초한 스코어를 확인함으로써 정신 및 신체적으로 취약한 분야를 정량적으로 확인할 수 있고, 추후 해당 분야에 대한 집중적인 훈련계획을 수립할 수 있다.
한편, 스코어제공단계(S330)에서 스코어 정보는 시각정보로 변환되어 사용자에게 디스플레이될 수 있다. 구체적으로 사용자가 낮은 점수를 기록한 단계에 해당하는 영역에 색상을 달리하거나 강조 처리하여 가시성을 높여 디스플레이할 수 있다. 바람직하게는 사용자와 비슷한 연령 또는 신체조건을 가지는 사람의 평균 점수를 함께 디스플레이하여 사용자는 본인의 신체 및 정신적 상태를 명확히 알 수 있다. 일례로 사용자는 컨트롤러(1400) 조작에 의해 움직이는 포인터를 가상현실 콘텐츠 상에서 구현되는 스코어확인레이어(미도시)에 위치함으로써 가상현실 콘텐츠 수행에 따른 스코어를 확인할 수 있다.
이와 같은 방식으로, 본 발명의 가상현실 시스템은, 사용자의 뇌파, 심박 및 근전도 데이터에 기초하여 사용자의 집중 및 활동상태를 판별할 수 있고, 사용자는 컨트롤러(1400)를 조작하여 주문정보의 암기, 식재료의 손질 및 조리, 휴식을 수행할 수 있고, 결과적으로 사용자는 가상현실 콘텐츠를 수행하는 과정에서 집중 및 안정을 취하여 정신적 건강을 증진함과 동시에 신체활동을 통해 신체 건강을 증진시킬 수 있도록 하는 효과를 발휘할 수 있다.
도 5는 본 발명의 일 실시예에 따른 집중형콘텐츠제공단계에서 제1집중형콘텐츠가 HMD모듈에서 디스플레이 되는 화면을 개략적으로 도시한다.
도 5에 도시된 바와 같이 집중형콘텐츠제공단계(S120)에서는 사용자에게 위치와 순서를 무작위로 하여 복수의 이미지를 디스플레이하고, 상기 사용자가 복수의 이미지가 디스플레이된 순서 및 위치를 암기하는 제1집중형콘텐츠;를 제공할 수 있다.
구체적으로 도 5의 (a)에 도시된 바와 같이 가상현실 시스템은 사용자에게 사자, 연필, 책, 휴지와 같은 복수의 이미지를 위치 및 순서를 무작위로 하여 디스플레이할 수 있다. 바람직하게는 상기 복수의 이미지는 일정시간(예를 들어 5초)동안 표시되었다가 사라지는 방식으로 사용자에게 디스플레이될 수 있고, 사용자는 이와 같이 디스플레이되는 복수의 이미지를 암기하여야 한다.
이어서 도 5의 (b)에 도시된 바와 같이 모든 이미지가 최소 1 차례 디스플레이된 후, 사용자에게 모든 이미지가 제시되고, 사용자는 제시된 이미지 중에서 앞선 단계에서 디스플레이된 위치 및 순서에 맞게 이미지를 선택하는 방식으로 콘텐츠를 수행할 수 있다.
구체적으로 사용자가 위치와 순서가 맞는 이미지를 선택하는 경우 해당 이미지가 사라지고, 그렇지 않은 경우 해당 이미지의 색상이 변경되는 방식으로 콘텐츠가 수행될 수 있다. 사용자는 제시된 모든 이미지를 지우는 방식으로 제1집중형콘텐츠를 수행할 수 있다.
이와 같이 사용자는 제1집중형콘텐츠를 수행하는 과정에서 콘텐츠에 몰입할 수 있고, 해당 과정에서 측정되는 사용자의 뇌파 데이터에 기초하여 사용자에 대한 집중스코어를 산출할 수 있다.
한편, 제1활동형콘텐츠에서 제공되는 이미지의 수 및 이미지가 디스플레이되는 시간은 집중상태의 몰입도에 기초하여 결정될 수 있다. 구체적으로 제1활동형콘텐츠에서 제공되는 이미지의 수 및 이미지가 디스플레이되는 시간에 따라 제1활동형콘텐츠의 난이도가 될 수 있고, 상술한 바와 같이 이는 게임준비단계(S110)단계에서 측정된 사용자의 뇌파 데이터에 기초하여 결정될 수 있다.
바람직하게는 사용자가 가상현실 콘텐츠에 몰입할수록, 제공되는 이미지 수를 증가시키고, 이미지가 디스플레이되는 시간을 감소시키는 방식으로 콘텐츠의 난이도를 조절할 수 있다.
도 6은 본 발명의 일 실시예에 따른 집중형콘텐츠제공단계에서 제2집중형콘텐츠가 HMD모듈에서 디스플레이 되는 화면을 개략적으로 도시한다.
도 6에 도시된 바와 같이 집중형콘텐츠제공단계(S120)에서는 사용자에게 분식조리에 사용되는 복수의 식재료를 이미지로 제시하고, 상기 사용자가 복수의 식재료 중 조리에 사용되는 식재료를 선택하는 제2집중형콘텐츠를 제공할 수 있다.
구체적으로 가상현실 시스템은 사용자의 전면에 분식 조리 업무에 사용되는 식재료를 이미지로 제시하고, 사용자는 제시된 식재료에 대한 복수의 이미지 중 자신이 조리하고자 하는 분식 메뉴에 대한 식재료를 선택하는 방식으로 제2집중형콘텐츠를 수행할 수 있다.
일례로 도 6에 도시된 바와 같이 사용자가 가상현실 콘텐츠상에서 떡볶이를 조리하고자 하는 경우, 사용자는 분식 요리에 사용되는 복수의 식재료 중 떡, 고추장, 대파, 어묵, 물과 같이 분식 조리에 사용되는 식재료만을 선택하는 방식으로 콘텐츠를 수행할 수 있다.
상술한 제1집중형콘텐츠와 같이 사용자는 제2집중형콘텐츠를 수행하는 과정에서 콘텐츠에 몰입할 수 있고, 해당 과정에서 측정되는 사용자의 뇌파 데이터에 기초하여 사용자에 대한 집중스코어를 산출할 수 있다.
도 7은 본 발명의 일 실시예에 따른 집중형콘텐츠제공단계에서 제3집중형콘텐츠가 HMD모듈에서 디스플레이 되는 화면을 개략적으로 도시한다.
도 7에 도시된 바와 같이 집중형콘텐츠제공단계(S120)에서는 손님의 주문순서 및 주문내역을 포함하는 주문정보, 상기 주문정보에 해당되는 요리의 레시피정보, 및 업무가 진행되는 순서에 대한 정보를 암기하는 제3집중형콘텐츠를 제공할 수 있다.
구체적으로 도 7의 왼쪽에 도시된 바와 같이 사용자가 조작한 컨트롤러(1400)에 의한 포인터가 가상현실 콘텐츠의 초기위치에 위치하거나 주문정보를 디스플레이하는 인터페이스에 위치하지 않은 상태에서 사용자는 암기상태에 돌입하고, 뇌파측정모듈(1100)은 사용자의 뇌파 데이터에 대한 측정을 시작할 수 있다. 가상현실 시스템은 기설정된 이상 집중상태를 유지하는 사용자에게 주문정보를 포함하는 제3집중형콘텐츠를 제공할 수 있다.
본 발명의 일 실시예에서는 가상현실 콘텐츠의 포인터의 초기위치는 가상현실 콘텐츠의 중앙일 수 있고, 해당 포인터는 사용자가 조작한 컨트롤러(1400)에 의해 조작될 수 있다. 사용자는 기설정된 시간 이상 집중상태를 유지한 상태에서 해당 포인터를 주문자의 주문정보를 디스플레이하는 인터페이스 위에 위치함으로써 제3집중형콘텐츠를 제공받을 수 있다. 또한 해당 단계에서 기설정된 시간이상 집중상태를 유지하지 못하는 경우, 사용자의 포인터가 주문자의 주문정보를 디스플레이하는 인터페이스 위에 위치하여도 사용자에게 제3집중형콘텐츠가 디스플레이되지 않는다.
도 7의 오른쪽은 기설정된 시간 이상 집중상태를 유지한 사용자에게 제3집중형콘텐츠를 제공하는 화면이다. 구체적으로 사용자는 컨트롤러(1400)를 조작하여 포인트를 이동함으로써, 복수의 주문자 중 1인을 선택하여 해당 주문자의 주문정보 및 레시피가 포함되어 있는 주문정보를 확인할 수 있다.
상술한 바와 같이 집중상태의 유지시간이 긴 사용자는 난이도가 높은 제3집중형콘텐츠를 제공받음으로써 보다 높은 스코어를 기록할 수 있다. 구체적으로 뇌파측정모듈(1100)에 의해 측정되는 사용자의 뇌파가 3초 이상 12 내지 13 hz의 주파수를 갖는 SMR파로 측정되었을 때 높은 난이도의 제3집중형콘텐츠를 제공할 수 있고, 뇌파측정모듈(1100)에 의해 측정되는 사용자의 뇌파가 3초 이상 10 내지 12 hz의 주파수를 갖는 미들알파파로 측정되었을 때 중간 난이도의 제3집중형콘텐츠를 제공할 수 있다. 또한, 뇌파측정모듈(1100)에 의해 측정되는 사용자의 뇌파가 3초 이상 집중상태를 유지하지 못하거나, 13 hz 이상의 주파수 및 8 hz 이하의 주파수를 가질 때 사용자는 제3집중형콘텐츠를 제공받지 못하거나 가장 낮은 난이도의 제3집중형콘텐츠를 제공받을 수 있다.
도 8은 본 발명의 일 실시예에 따른 활동형콘텐츠제공단계에서 활동형콘텐츠가 HMD모듈에서 디스플레이 되는 화면을 개략적으로 도시한다.
도 5 내지 7에서 상술한 암기단계(S100)를 수행한 사용자는 계속해서 조리단계(S200)를 수행할 수 있다. 도 8은 조리단계(S200)에서 사용자가 착용한 HMD모듈(2000)을 통해 보여지는 화면으로 사용자는 앞선 암기단계(S100)에서 수행한 집중형콘텐츠에 기초하여 조리단계(S200)를 수행할 수 있다.
사용자는 컨트롤러(1400)를 조작하여 활동형콘텐츠를 수행할 수 있고, 해당 사용자의 움직임 및 근전도 데이터는 동작센서모듈(1410) 및 근전도측정모듈(1300)에 의하여 측정될 수 있다.
구체적으로 조리단계(S200)에서 사용자는 상술한 바와 같이 조리준비단계(S210), 활동형콘텐츠제공단계(S220)를 순차적으로 수행하여 가상현실 콘텐츠 상에서 조리업무를 수행할 수 있다. 바람직하게는 사용자는 각 단계에서 적합한 식재료 및 조리도구를 선택하여 조리하고 주문정보에 포함되는 주문순서대로 요리를 완성시킴으로써 높은 스코어를 기록할 수 있다.
사용자는 음식을 조리함에 있어 수반되는 신체 활동을 통해 육체적 건강을 증진시킴과 동시에 요식업 업무 전반에 대한 경험을 습득할 수 있다. 구체적으로 사용자가 콘텐츠를 수행하는 데 있어 수반되는 신체활동이 많을수록 높은 스코어를 기록할 수 있다.
바람직하게는 활동요구량이 높은 제1활동형콘텐츠를 수행 중에 높은 값의 가중치를 갖는 제1활동스코어를 기록할 수 있고, 활동요구량이 중간인 제2활동형콘텐츠 수행 중에 중간값의 가중치를 갖는 제2활동스코어를 기록할 수 있고, 활동요구량이 낮은 제3활동형콘텐츠 수행 중에 낮은값의 가중치를 갖는 제3활동스코어를 기록할 수 있다.
본 발명의 일 실시예에서는 고기 및 야채를 다지는 행위를 수행하는 사용자의 움직임이 5분 및 50회 이상 반복될 때 사용자에게 높은 스코어를 부여하고, 해당 시간 및 횟수 이하의 움직임을 가지는 사용자에게 낮은 스코어를 부여할 수 있고, 해당 스코어의 기준은 상기 게임준비단계(S110)에서 수신한 사용자정보에 기초하여 결정될 수 있다.
바람직하게는 근전도측정모듈(1300) 및 동작센서모듈(1410)에 의하여 측정되는 사용자의 데이터가 20 내지 235 hz의 주파수를 가지고 4분 이상 반복되었을 때 중간 정도의 스코어를 부여할 수 있고, 근전도측정모듈(1300) 및 동작센서모듈(1410)에 의하여 측정되는 사용자의 데이터가 235 내지 450 hz의 주파수를 가지고 5분 이상 반복되었을 때 가장 높은 스코어를 부여할 수 있다. 결과적으로 사용자가 가상현실콘텐츠 상에서 높은 스코어를 기록하기 위해 보다 많은 신체 활동을 수행하여 활동상태를 유지하도록 유도할 수 있다.
도 9는 본 발명의 일 실시예에 따른 안정단계에서 HMD모듈에서 디스플레이 되는 화면을 개략적으로 도시한다.
도 8에서 상술한 조리단계(S200)를 수행한 사용자는 계속해서 안정단계(S300)를 수행할 수 있다. 도 9는 안정단계(S300)에서 사용자가 착용한 HMD모듈(2000)을 통해 보여지는 화면으로 집중형콘텐츠 및 활동형콘텐츠를 완료한 사용자는 이후 휴식을 취하는 안정단계(S300)를 수행할 수 있다.
사용자는 컨트롤러(1400)를 조작하여 안정단계(S300)의 배경 및 가구를 선택할 수 있고, 휴식을 취하는 과정에서 해당 사용자의 심박수 데이터는 심박측정모듈(1200)에 의하여 측정될 수 있다. 또한 사용자는 휴식을 취함과 동시에 가상현실 콘텐츠를 수행함에 따른 수행결과 및 스코어를 확인할 수 있다. 구체적으로 안정단계(S300)에서 사용자는 상술한 바와 같이 배경이동단계(S310), 휴식단계(S320), 스코어제공단계(S330)를 순차적으로 수행하여 휴식을 취하고 가상현실 콘텐츠를 종료할 수 있다.
도 9의 (a)에 도시된 바와 같이 사용자는 컨트롤러(1400)를 조작하여 본인의 기호에 따라 선택된 배경 및 가구에서 휴식을 취할 수 있다. 구체적으로 사용자에게 제공되는 배경에는 숲, 해변, 가정집 등이 포함될 수 있고, 사용자가 휴식을 취할 수 있는 가구목록에는 침대, 소파, 안마의자, 온돌, 선베드 등이 포함될 수 있다. 결과적으로 사용자에게 휴식을 취할 수 있는 최적의 환경을 제공함으로써 사용자는 가상현실 콘텐츠 수행에 따른 정신적, 육체적 피로도를 해소하고 긴장을 완화시킬 수 있다.
또한 도 9의 (b)에 도시된 바와 같이 사용자는 가상현실 콘텐츠를 수행함에 따른 수행결과 및 스코어를 확인할 수 있다. 구체적으로 사용자는 본인과 유사한 신체조건을 가지는 유저와의 점수를 비교하여 본인의 신체적, 정신적 상태를 확인할 수 있고, 각 단계에서 기록한 스코어와 집중 및 활동상태를 시각정보로 확인할 수 있다. 또는 사용자는 소셜서버에서 함께 콘텐츠를 수행한 사용자의 스코어를 확인할 수도 있다.
이와 같이 사용자의 생체신호와 집중 및 활동상태에 따른 데이터를 가상현실 콘텐츠상에서 직관적으로 디스플레이 함으로써, 사용자가 자신의 상태를 인식할 수 있도록 할 수 있고, 사용자 스스로 안정을 취할 수 있는 효과를 발휘할 수 있다.
이와 같이 본 발명에서는 사용자의 뇌파, 심박 및 근전도 데이터를 모두 적용하여 분식 조리 업무를 체험하는 가상현실 콘텐츠를 생성함으로써, 사용자의 안정 및 집중을 유도할 수 있는 효과를 발휘할 수 있다.
도 10은 본 발명의 일 실시예에 따른 스코어산출부의 동작을 개략적으로 도시한다.
도 5 내지 9에서 상술한 집중형콘텐츠, 활동형콘텐츠 및 안정콘텐츠가 모두 종료된 후, 스코어산출부(3300)는, 콘텐츠실행부로부터 수신한 사용자의 가상현실 콘텐츠 수행결과에 기초하여 스코어를 산출하되 가상현실 콘텐츠 몰입도 및 활동량에 기초하여 사용자에 가중치를 부여하여 스코어를 산출할 수 있다.
구체적으로 사용자에 대한 최종스코어는 집중스코어와 활동스코어를 합산하여 결정하되, 콘텐츠 암기상태, 조리순서, 조리상태, 및 콘텐츠 수행시간을 더 반영하여 최종스코어를 산출할 수 있다.
상술한 바와 같이 집중스코어는 사용자의 집중상태 몰입도에 기초하여 산출되는 스코어로서, 집중상태 유지시간에 기초하여 산출하는 종합집중스코어와 제2집중상태 유지시간에 기초하여 산출하는 제2집중스코어를 합산하여 결정할 수 있다. 구체적으로 집중상태의 유지시간에 비례하여 집중스코어를 산출함으로써 사용자가 집중상태에 오래 유지하도록 유도할 수 있고, 집중상태에 대한 몰입도가 높은 제2집중상태에 높은 가중치를 부여함으로써 사용자가 콘텐츠에 더욱 몰입하도록 유도할 수 있다.
활동스코어는 사용자의 활동상태 및 활동량에 기초하여 산출되는 스코어로서, 활동형콘텐츠에 대한 종합수행결과에 기초하여 산출하는 종합활동스코어, 각기 다른 활동요구량을 갖는 단계에서 사용자의 수행결과에 기초하여 산출하는 제1활동스코어, 제2활동스코어 및 제3활동스코어를 합산하여 산출할 수 있다.
구체적으로 제1활동스코어는 활동요구량이 높은 제1활동형콘텐츠 수행 중에 산출되는 스코어로서 사용자는 야채 및 고기를 손질하는 과정에서 요구되는 행위를 기설정된 시간 및 기설정된 횟수 이상 수행함으로써 높은 값의 가중치를 갖는 제1활동스코어를 기록할 수 있고, 제2활동스코어는 활동요구량이 중간인 제2활동형콘텐츠를 수행 중에 산출되는 스코어로서 사용자는 떡볶이를 조리하는 과정에서 요구되는 행위를 기설정된 시간 및 기설정된 횟수 이상 수행함으로써 중간 값의 가중치를 갖는 제2활동스코어를 기록할 수 있고, 제3활동스코어는 활동요구량이 낮은 제3활동형콘텐츠를 수행 중에 산출되는 스코어로서 사용자는 튀김을 튀기는 과정에서 요구되는 행위를 기설정된 시간 및 기설정된 횟수 이상 수행함으로써 낮은 값의 가중치를 갖는 제3활동스코어를 기록할 수 있다.
결과적으로 사용자는 집중상태를 오래 유지하고 깊게 몰입함으로써 높은 집중스코어를 달성할 수 있고, 활동상태를 오래 유지하고 많은 신체운동을 수행함으로써 높은 활동스코어를 달성할 수 있다.
한편, 스코어산출부(3300)는 집중형콘텐츠의 암기상태, 조리순서, 요리의 조리상태 및 조리 제한시간 등을 더 반영하여 최종스코어를 산출할 수 있다.
구체적으로 조리단계(S200)에서 제출된 요리의 완성도가 높을수록, 사용자가 조리 제한시간 내에 요리를 완성하는 경우 스코어를 가점할 수 있다. 또한 사용자가 잘못된 식재료를 사용하거나 조리순서가 잘못되었을 경우 스코어를 감점할 수 있다.
이와 같이 본원 발명에서는 사용자가 콘텐츠에 얼마나 몰입하고 활동적이었는지 여부와, 암기상태, 조리순서, 조리상태, 제한시간 내에 요리를 완성하였는지 여부와 같이 가상현실 콘텐츠 수행결과에 대한 스코어를 산출함으로써 사용자에 대한 보다 정확한 평가 및 진단을 수행할 수 있다.
이와 같은 방식으로, 상기 스코어산출부(3300)는, 가상현실 콘텐츠를 실행하는 동안의 사용자의 뇌파, 심박 및 근전도 데이터와 같은 생체정보에 기초하여 스코어를 산출하되, 사용자의 콘텐츠 수행결과를 반영하여 최종스코어를 산출함으로써, 사용자가 보다 높은 점수를 얻기 위하여 자신의 정신과 신체의 안정을 취하고 콘텐츠활동에 몰입하고, 콘텐츠 참여도를 향상할 수 있는 효과를 발휘할 수 있다.
도 11은 본 발명의 일 실시예에 따른 소셜서버생성부에 의해 복수의 사용자가 접속하여 가상현실 콘텐츠를 수행하는 과정을 도시한다.
본원 발명의 가상현실 시스템은 사용자로 하여금 가상현실 공간에서 가상현실 콘텐츠를 수행하게 함으로써, 신체적 정신적 건강을 증진하고 치매, 뇌졸증, 심근경색과 같은 다양한 질환을 예방하기 위함이다. 이러한 효과를 기대하기 위해서 사용자는 가상현실 콘텐츠를 반복 수행할 필요가 있으나, 이와 같이 동일한 콘텐츠를 반복 수행하는 경우 사용자가 쉽게 흥미를 잃고 지루해질 우려가 있다.
따라서 본원 발명에서는 복수의 사용자가 접속할 수 있는 소셜서버를 생성하고, 사용자 간에 상호작용하고 콘텐츠를 협력하여 수행함으로써 가상현실 콘텐츠에 대한 사용자의 참여도를 향상할 수 있다.
도 11의 (a)에 도시된 바와 같이, 본원 발명에서는 복수의 사용자가 접속할 수 있는 소셜서버를 생성하고, 복수의 사용자를 상기 소셜서버에 접속시켜 사용자 상호간에 협력하여 가상현실 콘텐츠를 수행하게 할 수 있다.
구체적으로 소셜서버생성부(3400)는 복수의 사용자 개개인으로부터 나이, 키, 몸무게를 수신하고, 사용자 개개인에 대한 매칭기준값을 생성할 수 있고, 사용자 개개인별로 생성된 매칭기준값이 유사한 사용자끼리 매칭하여 동일 소셜서버에 접속시킬 수 있다.
이와 같이 본원 발명에서는 연령대 및 신체능력이 유사한 사용자를 매칭시킴으로써, 복수의 사용자가 협력하여 수행하는 가상현실 콘텐츠의 난이도가 특정 사용자에게 치우치지 않게 조절할 수 있다.
한편, 본 발명의 다른 실시예에서 사용자에 대한 매칭기준값은 사용자의 질환정보를 고려하여 산출될 수도 있다. 구체적으로 본원 발명은 상술한 바와 같이 치매, 뇌졸증, 심근경색과 같은 다양한 질환을 예방하기 위함이고, 가상현실 시스템은 사용자에 대한 병력정보를 수신하고, 이에 대한 매칭기준값을 산출할 수 있다.
이와 같은 방식으로 사용자는 동일한 질환을 앓고 있는 사용자와 함께 가상현실 콘텐츠를 협력 수행하고, 심리적 위안을 가질 수 있다.
도 11의 (b)에 도시된 바와 같이, 소셜서버에 접속한 복수의 사용자는 상호간에 상호작용하거나 콘텐츠를 공동으로 수행할 수 있다. 구체적으로 특정 사용자가 야채 및 고기를 손질하는 제1활동형콘텐츠를 수행하는 경우, 타 사용자는 떡볶이를 조리하는 제2활동형콘텐츠를 수행하는 방식으로 복수의 사용자 개개인별로 주어진 콘텐츠를 수행할 수 있다.
또한 이 과정에서 복수의 사용자는 타 사용자와 커뮤니케이션하고 상호간에 피드백을 제공함으로써, 콘텐츠를 반복 수행하는 과정에서의 지루함을 경감할 수 있다.
도 12는 본 발명의 일 실시예에 따른 컴퓨팅 장치의 내부구성을 개략적으로 도시한다.
상기 실시예에 따른 가상현실 시스템의 구현방법은 도 12에 도시된 컴퓨팅 장치(11000)에 의하여 구현될 수 있다. 상기 도 2의 VR시스템부(3000)는 상기 도 12에 도시된 컴퓨팅장치(11000)의 구성요소들을 포함할 수 있다.
도 12에 도시한 바와 같이, 컴퓨팅 장치(11000)은 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/Osubsystem)(11400), 전력회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅 장치(11000)는 상기 센서부(1000), VR시스템부(3000), 및 HMD모듈(2000)을 포함하거나, 상기 입/출력 서브시스템(11400)에 의하여 상기 센서부(1000), VR시스템부(3000), 및 HMD모듈(2000)에 연결될 수 있다.
메모리(11200)는 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그 밖에 다양한 데이터를 포함할 수 있다.
이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.
주변장치 인터페이스(11300)는 컴퓨팅장치(11000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.
입/출력 서브시스템은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.
전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.
통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅장치와 통신을 가능하게 할 수 있다.
또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅장치와 통신을 가능하게 할 수도 있다.
이러한 도 12의 실시예는, 컴퓨팅장치(11000)의 일례일 뿐이고, 컴퓨팅장치(11000)는 도 12에 도시된 일부 컴포넌트가 생략되거나, 도 11에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅장치는 도 9에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(11600)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 어플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 컴퓨팅장치(11000)에 설치될 수 있다. 일 예로, 파일 배포 시스템은 컴퓨팅장치(11000)의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅장치 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (12)

  1. 소통형 재활 및 직업 프로그램을 통한 복합센서 기반 뇌질환 및 정신질환 예방 가상현실 시스템으로서,
    상기 가상현실 시스템은, 사용자`의 두부(頭部)에 부착되어 사용자의 뇌파를 측정하는 뇌파측정모듈, 사용자의 손가락에 부착되어 사용자의 심박을 측정하는 심박측정모듈 및 사용자의 팔을 포함하는 신체 일부에 부착되어 사용자의 근전도를 측정하는 근전도측정모듈을 포함하는 센서부; 사용자가 일정 시간 동안 제시되는 식재료를 암기하고, 제시되는 복수의 선지 중 조리에 사용되는 식재료를 선택하고, 선택한 식재료를 바탕으로 떡볶이, 튀김, 순대를 포함하는 분식 메뉴를 조리하는 활동을 수행함과 동시에 사용자의 집중 및 활동상태를 분석할 수 있는 가상현실 콘텐츠를 실행하고, 사용자의 가상현실 콘텐츠 수행결과에 대한 평가를 도출하는 VR시스템부; 및 상기 VR시스템부로부터 실행되는 가상현실 콘텐츠의 영상 및 음향정보를 수신하여 사용자에게 제공하는 HMD모듈;을 포함하고,
    상기 VR시스템부는,
    상기 센서부로부터 상기 뇌파, 심박 및 근전도 데이터를 수신하는 센싱정보수집부;
    상기 HMD모듈을 착용한 사용자의 상기 뇌파, 심박 및 근전도 데이터를 실시간으로 적용하여 상기 가상현실 콘텐츠에서의 분식 조리업무를 수행할 수 있는 가상현실 콘텐츠를 실행하고 가상현실 콘텐츠를 수행하는 사용자의 집중 및 활동 상태를 판별하는 콘텐츠실행부;
    상기 콘텐츠실행부로부터 수신한 사용자의 가상현실 콘텐츠 수행결과에 기초하여 스코어를 산출하되 가상현실 콘텐츠 몰입도 및 활동량에 기초하여 사용자에 가중치를 부여하여 스코어를 산출하는 스코어산출부; 및
    상기 가상현실 콘텐츠를 수행하는 복수의 사용자가 접속하여 가상현실 콘텐츠를 협력 수행하면서 타 사용자와 상호작용할 수 있는 소셜서버를 생성하는 소셜서버생성부;를 포함하고,
    상기 콘텐츠실행부는,
    상기 사용자에게 식재료정보, 주문정보, 및 레시피정보를 암기하는 집중형콘텐츠를 제공하고 상기 사용자의 뇌파 데이터에 기초하여 사용자의 집중상태를 판별하고, 상기 사용자의 집중상태에 기초하여 집중스코어를 산출하는 암기단계;
    상기 사용자에게 분식조리업무를 수행할 수 있는 활동형콘텐츠를 제공하고 상기 사용자가 조작한 컨트롤러의 움직임 및 상기 사용자의 근전도 데이터에 기초하여 사용자의 활동상태를 판별하고, 상기 사용자의 활동상태에 기초하여 활동스코어를 산출하는 조리단계; 및
    상기 사용자에게 휴식을 취할 수 있는 휴식콘텐츠를 제공하고 상기 사용자의 심박수 데이터에 기초하여 사용자의 안정상태를 판별하고, 상기 집중스코어 및 상기 활동스코어에 기초하여 산출한 최종스코어를 제공하는 안정단계;를 수행하고,
    상기 스코어산출부는,
    상기 집중형콘텐츠를 수행 중인 사용자의 집중상태에 기초하여 사용자별 집중스코어를 산출하는 집중스코어산출단계; 및
    상기 활동형콘텐츠를 수행 중인 사용자의 활동상태에 기초하여 사용자별 활동스코어를 산출하는, 활동스코어산출단계;를 수행하고
    상기 암기단계에서 상기 사용자의 뇌파 데이터에 기초하여 사용자의 집중상태를 판별하는 기준은,
    상기 사용자의 뇌파 종류 및 주파수가 10 내지 13 hz의 주파수를 갖는 알파파로 기설정된 시간인 3초 이상 측정될 때 집중상태로 판별하고,
    상기 사용자의 뇌파 종류 및 주파수가 10 내지 12 hz의 주파수를 갖는 미들 알파파로 기설정된 시간인 3초 이상 측정될 때 제1집중상태로 판별하고,
    상기 사용자의 뇌파 종류 및 주파수가 12 내지 13 hz의 주파수를 갖는 SMR파로 기설정된 시간인 3초 이상 측정될 때 제2집중상태로 판별하고,
    상기 조리단계에서 사용자의 근전도 데이터에 기초하여 사용자의 활동상태를 판별하는 기준은,
    상기 사용자의 근전도 데이터 변화량이 20 내지 450 hz인 경우 활동상태로 판별하고,
    상기 사용자의 근전도 데이터 변화량이 20 내지 235 hz인 경우 제1활동상태로 판별하고,
    상기 사용자의 근전도 데이터 변화량이 236 내지 450 hz인 경우 제2활동상태로 판별하고,
    상기 집중스코어는,
    상기 암기단계에서 사용자의 집중상태 유지시간에 기초하여 산출하는 종합집중스코어; 및
    상기 암기단계에서 사용자의 제2집중상태 유지시간에 기초하여 산출하는, 제2집중스코어를 포함하고,
    상기 집중스코어를 산출하는 방식은,
    상기 종합집중스코어 및 상기 제2집중스코어를 합산하여 결정하되, 상기 제2집중스코어에 상기 종합집중스코어보다 큰 값을 갖는 가중치를 부여하여 산출하고,
    상기 활동스코어는,
    상기 사용자가 상기 조리단계에서 수행한 상기 활동형콘텐츠에 대한 종합수행결과에 기초하여 산출하는 종합활동스코어;
    조리 사용에 사용되는 야채 및 고기를 손질하는 콘텐츠로서, 활동요구량이 제1활동요구량을 초과하는 제1활동형콘텐츠에 대한 사용자의 수행결과에 기초하여 산출하는 제1활동스코어;
    손질된 재료를 사용하여 떡볶이를 조리하는 콘텐츠로서, 활동요구량이 제1활동요구량 미만이고 제2활동요구량 이상인 제2활동형콘텐츠에 대한 사용자의 수행결과에 기초하여 산출하는 제2활동스코어; 및
    튀김을 튀기는 콘텐츠로서, 활동요구량이 제2활동요구량 미만인 제3활동형콘텐츠에 대한 사용자의 수행결과에 기초하여 산출하는 제3활동스코어;를 포함하고,
    상기 활동스코어를 산출하는 방식은,
    상기 종합활동스코어, 제1활동스코어, 제2활동스코어 및 제3활동스코어를 합산하여 결정하되 제1활동스코어, 제2활동스코어 및 제3활동스코어를 산출한 콘텐츠에 대한 활동요구량 및 수행시간을 반영하여 각각 상이한 가중치를 부여하여 결정하고,
    상기 집중형콘텐츠는,
    상기 사용자가 집중상태가 아닌 것으로 판별될 때, 가장 낮은 난이도로 제공되고,
    상기 사용자가 제1집중상태인 것으로 판별될 때, 중간 난이도로 제공되고,
    상기 사용자가 제2집중상태인 것으로 판별될 때, 가장 높은 난이도로 제공되는, 제3집중형콘텐츠를 포함하는, 가상현실 시스템.
  2. 청구항 1에 있어서,
    상기 소셜서버생성부는,
    복수의 사용자 각각으로부터 수신한 나이, 키, 및 몸무게에 대한 매칭기준값을 산출하고, 상기 매칭기준값에 기초하여 복수의 사용자가 접속할 수 있는 소셜서버를 생성하는, 가상현실 시스템.
  3. 삭제
  4. 청구항 1에 있어서,
    상기 암기단계는,
    상기 사용자로부터 사용자정보를 입력받고 상기 사용자의 뇌파 데이터에 대한 측정을 시작하여 상기 사용자의 뇌파 데이터에 기초하여 사용자의 집중상태 돌입여부를 결정하고, 집중형콘텐츠의 난이도를 결정하는 게임준비단계;
    상기 사용자가 기설정된 시간 이상 집중상태를 유지한 사용자에게 집중형콘텐츠를 디스플레이하는 집중형콘텐츠제공단계;를 포함하고,
    상기 집중형콘텐츠는,
    상기 사용자에게 위치와 순서를 무작위로 하여 복수의 이미지를 디스플레이하고, 상기 사용자가 복수의 이미지가 디스플레이된 순서 및 위치를 암기하는 제1집중형콘텐츠; 및
    사용자에게 분식조리에 사용되는 복수의 식재료를 이미지로 제시하고, 상기 사용자가 복수의 식재료 중 조리에 사용되는 식재료를 선택하는 제2집중형콘텐츠;를 더 포함하고,
    상기 제3집중형콘텐츠는,
    손님의 주문순서 및 주문내역을 포함하는 주문정보, 상기 주문정보에 해당되는 요리의 레시피정보, 및 업무가 진행되는 순서에 대한 정보를 암기하는 콘텐츠인, 가상현실 시스템.
  5. 삭제
  6. 삭제
  7. 청구항 1에 있어서,
    상기 조리단계는,
    상기 암기단계를 완료한 사용자에 대하여 가상현실 콘텐츠 내에서 상기 사용자에게 분식조리업무에 사용되는 식재료 및 조리도구를 제공하고 상기 사용자의 근전도 데이터에 대한 측정을 시작하는 조리준비단계; 및
    상기 사용자에게 분식조리업무를 수행할 수 있는 활동형콘텐츠를 제공하고, 상기 사용자가 조작한 컨트롤러의 움직임 및 상기 사용자의 근전도 데이터에 기초하여 사용자의 활동상태를 판별하는 활동형콘텐츠제공단계;를 포함하는, 가상현실 시스템.
  8. 삭제
  9. 삭제
  10. 청구항 1에 있어서,
    상기 안정단계는,
    상기 가상현실 콘텐츠 내에서 상기 조리단계를 완료한 상기 사용자를 조리실에서 휴식공간으로 이동시키는 배경이동단계;
    상기 사용자에게 휴식을 취할 수 있는 휴식콘텐츠를 제공하고, 상기 사용자의 심박수가 60 내지 72 인 경우, 사용자를 안정상태로 판별하는 휴식콘텐츠제공단계; 및
    상기 집중스코어 및 상기 활동스코어를 합산하고, 상기 사용자의 가상현실 콘텐츠의 수행결과를 반영하여 최종스코어를 산출하여 제공하는, 스코어제공단계;를 포함하는, 가상현실 시스템.
  11. 소통형 재활 및 직업 프로그램을 통한 복합센서 기반 뇌질환 및 정신질환 예방 가상현실 시스템의 구현방법으로서,
    상기 가상현실 시스템의 구현방법은, 뇌파측정모듈에 의해 사용자의 뇌파를 측정하는 뇌파측정단계, 심박측정모듈에 의해 사용자의 근전도를 측정하는 근전도측정단계를 포함하는 센서단계; 사용자가 일정 시간 동안 제시되는 식재료를 암기하고, 제시되는 복수의 선지 중 조리에 사용되는 식재료를 선택하고, 선택한 식재료를 바탕으로 떡볶이, 튀김, 순대를 포함하는 분식 메뉴를 조리하는 활동을 수행함과 동시에 사용자의 집중 및 활동상태를 분석할 수 있는 가상현실 콘텐츠를 실행하고, 사용자의 가상현실 콘텐츠 수행결과에 대한 평가를 도출하는 VR단계; 및 상기 VR단계에서 실행되는 가상현실 콘텐츠의 영상 및 음향정보를 수신하여 사용자에게 제공하는 HMD단계;를 포함하고,
    상기 VR단계는,
    상기 센서단계에서 상기 뇌파, 심박 및 근전도 데이터를 수신하는 센싱정보수집단계;
    HMD모듈을 착용한 사용자의 상기 뇌파, 심박 및 근전도 데이터를 실시간으로 적용하여 상기 가상현실 콘텐츠에서의 분식 조리업무를 수행할 수 있는 가상현실 콘텐츠를 실행하고 가상현실 콘텐츠를 수행하는 사용자의 집중 및 활동 상태를 판별하는 콘텐츠실행단계;
    상기 콘텐츠실행단계에서 수신한 사용자의 가상현실 콘텐츠 수행결과에 기초하여 스코어를 산출하되 가상현실 콘텐츠 몰입도 및 활동량에 기초하여 사용자에 가중치를 부여하여 스코어를 산출하는 스코어산출단계; 및
    상기 가상현실 콘텐츠를 수행하는 복수의 사용자가 접속하여 가상현실 콘텐츠를 협력 수행하면서 타 사용자와 상호작용할 수 있는 소셜서버를 생성하는 소셜서버생성단계;를 포함하고,
    상기 콘텐츠실행단계는,
    상기 사용자에게 식재료정보, 주문정보, 및 레시피정보를 암기하는 집중형콘텐츠를 제공하고 상기 사용자의 뇌파 데이터에 기초하여 사용자의 집중상태를 판별하고, 상기 사용자의 집중상태에 기초하여 집중스코어를 산출하는 암기단계;
    상기 사용자에게 분식조리업무를 수행할 수 있는 활동형콘텐츠를 제공하고 상기 사용자가 조작한 컨트롤러의 움직임 및 상기 사용자의 근전도 데이터에 기초하여 사용자의 활동상태를 판별하고, 상기 사용자의 활동상태에 기초하여 활동스코어를 산출하는 조리단계; 및
    상기 사용자에게 휴식을 취할 수 있는 휴식콘텐츠를 제공하고 상기 사용자의 심박수 데이터에 기초하여 사용자의 안정상태를 판별하고, 상기 집중스코어 및 상기 활동스코어에 기초하여 산출한 최종스코어를 제공하는 안정단계;를 포함하고,
    상기 스코어산출단계는,
    상기 집중형콘텐츠를 수행 중인 사용자의 집중상태에 기초하여 사용자별 집중스코어를 산출하는 집중스코어산출단계; 및
    상기 활동형콘텐츠를 수행 중인 사용자의 활동상태에 기초하여 사용자별 활동스코어를 산출하는, 활동스코어산출단계;를 포함하고
    상기 암기단계에서 상기 사용자의 뇌파 데이터에 기초하여 사용자의 집중상태를 판별하는 기준은,
    상기 사용자의 뇌파 종류 및 주파수가 10 내지 13 hz의 주파수를 갖는 알파파로 기설정된 시간인 3초 이상 측정될 때 집중상태로 판별하고,
    상기 사용자의 뇌파 종류 및 주파수가 10 내지 12 hz의 주파수를 갖는 미들 알파파로 기설정된 시간인 3초 이상 측정될 때 제1집중상태로 판별하고,
    상기 사용자의 뇌파 종류 및 주파수가 12 내지 13 hz의 주파수를 갖는 SMR파로 기설정된 시간인 3초 이상 측정될 때 제2집중상태로 판별하고,
    상기 조리단계에서 사용자의 근전도 데이터에 기초하여 사용자의 활동상태를 판별하는 기준은,
    상기 사용자의 근전도 데이터 변화량이 20 내지 450 hz인 경우 활동상태로 판별하고,
    상기 사용자의 근전도 데이터 변화량이 20 내지 235 hz인 경우 제1활동상태로 판별하고,
    상기 사용자의 근전도 데이터 변화량이 236 내지 450 hz인 경우 제2활동상태로 판별하고,
    상기 집중스코어는,
    상기 암기단계에서 사용자의 집중상태 유지시간에 기초하여 산출하는 종합집중스코어; 및
    상기 암기단계에서 사용자의 제2집중상태 유지시간에 기초하여 산출하는, 제2집중스코어를 포함하고,
    상기 집중스코어를 산출하는 방식은,
    상기 종합집중스코어 및 상기 제2집중스코어를 합산하여 결정하되, 상기 제2집중스코어에 상기 종합집중스코어보다 큰 값을 갖는 가중치를 부여하여 산출하고,
    상기 활동스코어는,
    상기 사용자가 상기 조리단계에서 수행한 상기 활동형콘텐츠에 대한 종합수행결과에 기초하여 산출하는 종합활동스코어;
    조리 사용에 사용되는 야채 및 고기를 손질하는 콘텐츠로서, 활동요구량이 제1활동요구량을 초과하는 제1활동형콘텐츠에 대한 사용자의 수행결과에 기초하여 산출하는 제1활동스코어;
    손질된 재료를 사용하여 떡볶이를 조리하는 콘텐츠로서, 활동요구량이 제1활동요구량 미만이고 제2활동요구량 이상인 제2활동형콘텐츠에 대한 사용자의 수행결과에 기초하여 산출하는 제2활동스코어; 및
    튀김을 튀기는 콘텐츠로서, 활동요구량이 제2활동요구량 미만인 제3활동형콘텐츠에 대한 사용자의 수행결과에 기초하여 산출하는 제3활동스코어;를 포함하고,
    상기 활동스코어를 산출하는 방식은,
    상기 종합활동스코어, 제1활동스코어, 제2활동스코어 및 제3활동스코어를 합산하여 결정하되 제1활동스코어, 제2활동스코어 및 제3활동스코어를 산출한 콘텐츠에 대한 활동요구량 및 수행시간을 반영하여 각각 상이한 가중치를 부여하여 결정하고,
    상기 집중형콘텐츠는,
    상기 사용자가 집중상태가 아닌 것으로 판별될 때, 가장 낮은 난이도로 제공되고,
    상기 사용자가 제1집중상태인 것으로 판별될 때, 중간 난이도로 제공되고,
    상기 사용자가 제2집중상태인 것으로 판별될 때, 가장 높은 난이도로 제공되는, 제3집중형콘텐츠를 포함하는, 가상현실 시스템의 구현방법.
  12. 1 이상의 프로세서 및 1 이상의 메모리를 갖는 컴퓨팅장치에서 수행되는 소통형 재활 및 직업 프로그램을 통한 복합센서 기반 뇌질환 및 정신질환 예방 가상현실 시스템 을 구현하기 위한 컴퓨터 판독 가능 기록 매체로서, 상기 컴퓨터 판독 가능 기록 매체는, 컴퓨팅 장치로 하여금 이하의 단계들을 수행하도록 하는 명령들을 저장하며, 상기 이하의 단계들은,
    뇌파측정모듈에 의해 사용자의 뇌파를 측정하는 뇌파측정단계, 심박측정모듈에 의해 사용자의 근전도를 측정하는 근전도측정단계를 포함하는 센서단계; 사용자가 일정 시간 동안 제시되는 식재료를 암기하고, 제시되는 복수의 선지 중 조리에 사용되는 식재료를 선택하고, 선택한 식재료를 바탕으로 떡볶이, 튀김, 순대를 포함하는 분식 메뉴를 조리하는 활동을 수행함과 동시에 사용자의 집중 및 활동상태를 분석할 수 있는 가상현실 콘텐츠를 실행하고, 사용자의 가상현실 콘텐츠 수행결과에 대한 평가를 도출하는 VR단계; 및 상기 VR단계에서 실행되는 가상현실 콘텐츠의 영상 및 음향정보를 수신하여 사용자에게 제공하는 HMD단계;를 포함하고,
    상기 VR단계는,
    상기 센서단계에서 상기 뇌파, 심박 및 근전도 데이터를 수신하는 센싱정보수집단계;
    HMD모듈을 착용한 사용자의 상기 뇌파, 심박 및 근전도 데이터를 실시간으로 적용하여 상기 가상현실 콘텐츠에서의 분식 조리업무를 수행할 수 있는 가상현실 콘텐츠를 실행하고 가상현실 콘텐츠를 수행하는 사용자의 집중 및 활동 상태를 판별하는 콘텐츠실행단계;
    상기 콘텐츠실행단계에서 수신한 사용자의 가상현실 콘텐츠 수행결과에 기초하여 스코어를 산출하되 가상현실 콘텐츠 몰입도 및 활동량에 기초하여 사용자에 가중치를 부여하여 스코어를 산출하는 스코어산출단계; 및
    상기 가상현실 콘텐츠를 수행하는 복수의 사용자가 접속하여 가상현실 콘텐츠를 협력 수행하면서 타 사용자와 상호작용할 수 있는 소셜서버를 생성하는 소셜서버생성단계;를 포함하고,
    상기 콘텐츠실행단계는,
    상기 사용자에게 식재료정보, 주문정보, 및 레시피정보를 암기하는 집중형콘텐츠를 제공하고 상기 사용자의 뇌파 데이터에 기초하여 사용자의 집중상태를 판별하고, 상기 사용자의 집중상태에 기초하여 집중스코어를 산출하는 암기단계;
    상기 사용자에게 분식조리업무를 수행할 수 있는 활동형콘텐츠를 제공하고 상기 사용자가 조작한 컨트롤러의 움직임 및 상기 사용자의 근전도 데이터에 기초하여 사용자의 활동상태를 판별하고, 상기 사용자의 활동상태에 기초하여 활동스코어를 산출하는 조리단계; 및
    상기 사용자에게 휴식을 취할 수 있는 휴식콘텐츠를 제공하고 상기 사용자의 심박수 데이터에 기초하여 사용자의 안정상태를 판별하고, 상기 집중스코어 및 상기 활동스코어에 기초하여 산출한 최종스코어를 제공하는 안정단계;를 포함하고,
    상기 스코어산출단계는,
    상기 집중형콘텐츠를 수행 중인 사용자의 집중상태에 기초하여 사용자별 집중스코어를 산출하는 집중스코어산출단계; 및
    상기 활동형콘텐츠를 수행 중인 사용자의 활동상태에 기초하여 사용자별 활동스코어를 산출하는, 활동스코어산출단계;를 포함하고
    상기 암기단계에서 상기 사용자의 뇌파 데이터에 기초하여 사용자의 집중상태를 판별하는 기준은,
    상기 사용자의 뇌파 종류 및 주파수가 10 내지 13 hz의 주파수를 갖는 알파파로 기설정된 시간인 3초 이상 측정될 때 집중상태로 판별하고,
    상기 사용자의 뇌파 종류 및 주파수가 10 내지 12 hz의 주파수를 갖는 미들 알파파로 기설정된 시간인 3초 이상 측정될 때 제1집중상태로 판별하고,
    상기 사용자의 뇌파 종류 및 주파수가 12 내지 13 hz의 주파수를 갖는 SMR파로 기설정된 시간인 3초 이상 측정될 때 제2집중상태로 판별하고,
    상기 조리단계에서 사용자의 근전도 데이터에 기초하여 사용자의 활동상태를 판별하는 기준은,
    상기 사용자의 근전도 데이터 변화량이 20 내지 450 hz인 경우 활동상태로 판별하고,
    상기 사용자의 근전도 데이터 변화량이 20 내지 235 hz인 경우 제1활동상태로 판별하고,
    상기 사용자의 근전도 데이터 변화량이 236 내지 450 hz인 경우 제2활동상태로 판별하고,
    상기 집중스코어는,
    상기 암기단계에서 사용자의 집중상태 유지시간에 기초하여 산출하는 종합집중스코어; 및
    상기 암기단계에서 사용자의 제2집중상태 유지시간에 기초하여 산출하는, 제2집중스코어를 포함하고,
    상기 집중스코어를 산출하는 방식은,
    상기 종합집중스코어 및 상기 제2집중스코어를 합산하여 결정하되, 상기 제2집중스코어에 상기 종합집중스코어보다 큰 값을 갖는 가중치를 부여하여 산출하고,
    상기 활동스코어는,
    상기 사용자가 상기 조리단계에서 수행한 상기 활동형콘텐츠에 대한 종합수행결과에 기초하여 산출하는 종합활동스코어;
    조리 사용에 사용되는 야채 및 고기를 손질하는 콘텐츠로서, 활동요구량이 제1활동요구량을 초과하는 제1활동형콘텐츠에 대한 사용자의 수행결과에 기초하여 산출하는 제1활동스코어;
    손질된 재료를 사용하여 떡볶이를 조리하는 콘텐츠로서, 활동요구량이 제1활동요구량 미만이고 제2활동요구량 이상인 제2활동형콘텐츠에 대한 사용자의 수행결과에 기초하여 산출하는 제2활동스코어; 및
    튀김을 튀기는 콘텐츠로서, 활동요구량이 제2활동요구량 미만인 제3활동형콘텐츠에 대한 사용자의 수행결과에 기초하여 산출하는 제3활동스코어;를 포함하고,
    상기 활동스코어를 산출하는 방식은,
    상기 종합활동스코어, 제1활동스코어, 제2활동스코어 및 제3활동스코어를 합산하여 결정하되 제1활동스코어, 제2활동스코어 및 제3활동스코어를 산출한 콘텐츠에 대한 활동요구량 및 수행시간을 반영하여 각각 상이한 가중치를 부여하여 결정하고,
    상기 집중형콘텐츠는,
    상기 사용자가 집중상태가 아닌 것으로 판별될 때, 가장 낮은 난이도로 제공되고,
    상기 사용자가 제1집중상태인 것으로 판별될 때, 중간 난이도로 제공되고,
    상기 사용자가 제2집중상태인 것으로 판별될 때, 가장 높은 난이도로 제공되는, 제3집중형콘텐츠를 포함하는, 컴퓨터 판독 가능 기록 매체.


KR1020220028679A 2022-03-07 2022-03-07 소통형 재활 및 직업 프로그램을 통한 복합센서 기반 뇌질환 및 정신질환 예방 가상현실 시스템 KR102441307B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220028679A KR102441307B1 (ko) 2022-03-07 2022-03-07 소통형 재활 및 직업 프로그램을 통한 복합센서 기반 뇌질환 및 정신질환 예방 가상현실 시스템
PCT/KR2022/017247 WO2023171875A1 (ko) 2022-03-07 2022-11-04 소통형 재활 및 직업 프로그램을 통한 복합센서 기반 뇌질환 및 정신질환 예방 가상현실 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220028679A KR102441307B1 (ko) 2022-03-07 2022-03-07 소통형 재활 및 직업 프로그램을 통한 복합센서 기반 뇌질환 및 정신질환 예방 가상현실 시스템

Publications (1)

Publication Number Publication Date
KR102441307B1 true KR102441307B1 (ko) 2022-09-06

Family

ID=83281301

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220028679A KR102441307B1 (ko) 2022-03-07 2022-03-07 소통형 재활 및 직업 프로그램을 통한 복합센서 기반 뇌질환 및 정신질환 예방 가상현실 시스템

Country Status (2)

Country Link
KR (1) KR102441307B1 (ko)
WO (1) WO2023171875A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023171875A1 (ko) * 2022-03-07 2023-09-14 가천대학교 산학협력단 소통형 재활 및 직업 프로그램을 통한 복합센서 기반 뇌질환 및 정신질환 예방 가상현실 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120011772A (ko) * 2010-07-20 2012-02-08 삼성전자주식회사 생체 정보를 활용한 가상 세계 조작 장치 및 방법
KR20190072190A (ko) * 2017-12-15 2019-06-25 동의대학교 산학협력단 가상현실 3d 요리게임 시스템 및 방법
KR20210022944A (ko) * 2019-08-21 2021-03-04 한국과학기술연구원 생체신호 기반 아바타 제어시스템 및 방법
KR20210028786A (ko) * 2019-09-04 2021-03-15 주식회사 옴니씨앤에스 Vr 환경에서의 개인 또는 그룹 치료 시스템 및 그 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101928415B1 (ko) * 2016-12-09 2018-12-12 주식회사 옴니씨앤에스 가상 현실을 이용하여 정신 건강을 관리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR102441307B1 (ko) * 2022-03-07 2022-09-06 가천대학교 산학협력단 소통형 재활 및 직업 프로그램을 통한 복합센서 기반 뇌질환 및 정신질환 예방 가상현실 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120011772A (ko) * 2010-07-20 2012-02-08 삼성전자주식회사 생체 정보를 활용한 가상 세계 조작 장치 및 방법
KR20190072190A (ko) * 2017-12-15 2019-06-25 동의대학교 산학협력단 가상현실 3d 요리게임 시스템 및 방법
KR20210022944A (ko) * 2019-08-21 2021-03-04 한국과학기술연구원 생체신호 기반 아바타 제어시스템 및 방법
KR20210028786A (ko) * 2019-09-04 2021-03-15 주식회사 옴니씨앤에스 Vr 환경에서의 개인 또는 그룹 치료 시스템 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023171875A1 (ko) * 2022-03-07 2023-09-14 가천대학교 산학협력단 소통형 재활 및 직업 프로그램을 통한 복합센서 기반 뇌질환 및 정신질환 예방 가상현실 시스템

Also Published As

Publication number Publication date
WO2023171875A1 (ko) 2023-09-14

Similar Documents

Publication Publication Date Title
Mandryk et al. Physiological measures for game evaluation
US8062129B2 (en) Physiological user interface for a multi-user virtual environment
JP6294946B2 (ja) 従業員のバイオメトリック健康の監視および改善のためのシステム、コンピュータ媒体、およびコンピュータにより実行される方法
JP6298500B2 (ja) 従業員の健康および生産性の監視および改善のためのフロアマットシステムおよび関連するコンピュータ媒体、ならびにコンピュータにより実行される方法
Iani et al. Effects of task difficulty and invested mental effort on peripheral vasoconstriction
JP6049711B2 (ja) 従業員の健康および生産性の監視および改善のための椅子パッドシステムおよび関連するコンピュータ媒体、ならびにコンピュータにより実行される方法
Novak et al. Workload estimation in physical human–robot interaction using physiological measurements
Novak et al. Psychophysiological measurements in a biocooperative feedback loop for upper extremity rehabilitation
JP6018631B2 (ja) 従業員の健康および生産性の監視および改善のための、システム、コンピュータ媒体、およびコンピュータにより実行される方法
KR102151494B1 (ko) 사용자의 활동을 통한 뇌 건강 및 신체건강을 위한 활동형 피드백 가상현실 시스템 및 구현방법
JP2019057301A (ja) 従業員の認知的健康および感情的健康を監視および改善するための、システム、コンピュータ媒体、およびコンピュータにより実行される方法
Chen et al. Implications of wearables, fitness tracking services, and quantified self on healthcare
US10307100B2 (en) Methods and systems of controlling a subject's body feature having a periodic wave function
MXPA06010498A (es) Metodos y dispositvo para liberar estres.
JP2014523040A (ja) アバターを使用して監視された健康状態に基づいて従業員を指導するためのシステム、コンピュータ媒体、およびコンピュータにより実行される方法
KR102441307B1 (ko) 소통형 재활 및 직업 프로그램을 통한 복합센서 기반 뇌질환 및 정신질환 예방 가상현실 시스템
Delmastro et al. Long-term care: how to improve the quality of life with mobile and e-health services
Fiľo et al. The relation between physical and mental load, and the course of physiological functions and cognitive performance
KR102403883B1 (ko) 복합센서 기반 이탈리아 요식업 직무 간접 경험을 통한 집중 및 활동형 가상현실 시스템 및 그 구현방법
KR102405130B1 (ko) 햄버거 프랜차이즈 요식업 체험을 위한 복합센서 기반 집중 및 활동형 가상현실 시스템 및 그 구현방법
Ponte et al. Monitoring game-based motor rehabilitation of patients at home for better plans of care and quality of life
Cervantes et al. CogniDron-EEG: A system based on a brain–computer interface and a drone for cognitive training
KR102441306B1 (ko) 소통형 재활 및 직업 프로그램을 통한 복합센서 기반 조작 및 몰입형 가상현실 시스템
US20050261557A1 (en) Computer-based method and apparatus for evaluation of sensory and physiological parameters
KR102151492B1 (ko) 사용자의 집중을 통한 뇌 건강을 위한 몰입형 피드백 가상현실 시스템 및 구현방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant