KR102420359B1 - 감정맞춤형 cbt용 ai제어모듈을 통한 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성장치 및 방법 - Google Patents

감정맞춤형 cbt용 ai제어모듈을 통한 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성장치 및 방법 Download PDF

Info

Publication number
KR102420359B1
KR102420359B1 KR1020220003080A KR20220003080A KR102420359B1 KR 102420359 B1 KR102420359 B1 KR 102420359B1 KR 1020220003080 A KR1020220003080 A KR 1020220003080A KR 20220003080 A KR20220003080 A KR 20220003080A KR 102420359 B1 KR102420359 B1 KR 102420359B1
Authority
KR
South Korea
Prior art keywords
metaverse
virtual space
emotion
cbt
eeg
Prior art date
Application number
KR1020220003080A
Other languages
English (en)
Inventor
송예원
Original Assignee
송예원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 송예원 filed Critical 송예원
Priority to KR1020220003080A priority Critical patent/KR102420359B1/ko
Application granted granted Critical
Publication of KR102420359B1 publication Critical patent/KR102420359B1/ko
Priority to US17/986,065 priority patent/US11759136B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/375—Electroencephalography [EEG] using biofeedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064—Evaluating the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4836—Diagnosis combined with treatment in closed-loop systems or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744—Displaying an avatar, e.g. an animated cartoon character
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/165—Wearable interfaces

Abstract

본 발명에서는 기존의 뇌파 검사법이 해석하기 어렵고 숙련된 판독자의 경우라도 해석에 주관적인 요소가 많은 영향을 미칠 수 있다는 문제점과, 장시간의 EEG 기록상에서 직접 눈으로 안정상태를 찾아내는 것은 상당히 어려우며, 뇌파(EEG)신호의 측정시 신호의 진폭은 측정 여건에 따라 달라질 수 있고, 같은 정도의 안정상태나 흥분상태라 하더라도 각 피험자마다 알파파나 베타파의 에너지는 다를 수 있으므로, 해석의 주관적 판단으로 인하여 진단의 신뢰도가 떨어지는 문제점, 그리고, 뇌파측정을 하더라도, 현장에서 바로 뇌파분석에 따른 사용자의 감정인식과, 그 감정을 현장에서 치료해줄 수 있는 장치가 없고, 무엇보다 남들에게 자기자신의 감정이 노출될까봐, 치료를 거부하거나 회피하여, 치료시기를 놓치는 안타까운 문제점을 개선하고자, 다채널 EEG헬멧모듈(100), 메타버스구동용 HMD 모듈(200), EEG-BCI 모듈(300), 감정맞춤형 CBT용 AI제어모듈(400)로 구성됨으로서, 메타버스 가상공간에서 사용자가 과거에 느꼈던 기쁨, 공포, 슬픔, 즐거움, 분노, 혐오, 우울증에 관한 이벤트상황을 연출할 수 있어, 집중도(Attention)나 안정도(Relaxation)를 기존에 비해 80% 향상시킬 수 있고, 뇌파신호 중 움직임, 호흡과 같은 인공산물과 잡음을 제거시킬 수 있어, 에러율을 줄이고, 기존보다 1.5배~3배 향상된 양질의 뇌파(EEG)신호를 측정할 수가 있고, 감정맞춤형 CBT용 AI제어모듈의 제어하에, 신호처리된 뇌파(EEG)신호를 웨이브렛 변환과 파워스펙트럼으로 분석한 후, 학습한 감정데이터와 매칭시켜, 현재 사용자의 뇌파에 따른 감정데이터를 생성시킬 수 있어, 기존보다 80% 향상된 객관성과 신뢰도가 높은 감정데이터를 생성시킬 수 있으며, 실제 노출보다 메타버스 가상공간에서 기쁨, 공포, 슬픔, 즐거움, 분노, 혐오, 우울증의 감정에 관한 사용자의 비합리적인 사고를 바꾸기 위해 일련의 설득과 논쟁을 통해 구체적인 행동과제를 부여하면서 잘못된 시각과 해석을 수정해나가는 인지적행동치료(cognitive behavioural therapy)방식을 통해, 기존에 비해 사용자의 자기효능감을 증가시켜, 감정치료효율을 70%까지 높일 수 있는 감정맞춤형 CBT용 AI제어모듈을 통한 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성장치 및 방법을 제공하는데 그 목적이 있다.

Description

감정맞춤형 CBT용 AI제어모듈을 통한 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성장치 및 방법{Apparatus and method for generating 1:1 emotion-tailored cognitive behavioral therapy in metaverse space through AI control module for emotion-customized CBT}
본 발명은 사용자가 메타버스 가상공간에서 보고, 느끼고 있을 때, 뇌파를 측정하고, 측정한 뇌파의 감정상태(기쁨, 공포, 슬픔, 즐거움, 분노, 혐오, 우울증)를 기준으로, 1:1 감정맞춤형 인지적행동치료용 메타버스 가상공간콘텐츠를 메타버스 가상공간에 생성시킬 수 있는 감정맞춤형 CBT용 AI제어모듈을 통한 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성장치에 관한 것이다.
인간은 시각, 청각, 미각, 촉각, 후각의 다섯 가지 감각기관을 가지고 있고 이러한 감각기관을 통해 여러 가지의 감정을 느낄 수 있으며, 표정이나 음성을 통해서 주로 표현된다.
이러한 감정표현을 측정하기위해 피험자의 주관적인 평가를 토대로 하는 심리적 평가법과 생리신호를 이용하는 생리적 평가법으로 크게 나눌 수 있다.
이때 이용되는 생리신호에서 자율신경계에 의해 나타나는 것은 혈합(blood pressure), 심전도(electro cardiogram, ECG), 맥박(pulse), 피부 온도(skin temperature) 등이 있고, 중추신경계에 의한 것은 뇌파(electroencephalogram, EEG)가 있다.
인간의 감정(emotion)을 연구할 때에는 자율신경계에 의한 신호보다는 뇌파를 많이 이용하고 있는데, 이는 인간의 모든 행동과 정신적 사고 작용은 두뇌에 의해 이루어지고 있고 인간의 사고활동에 대하여 두뇌와 기능 상태를 과학적으로 조사하기 위한 방법이 인체에 무해한 뇌파 측정이기 때문이다.
뇌파는 시간경과에 따라 계속적인 측정이 가능하며, 비침습적인 방법으로 널리 이용이 되고 있다.
뇌파에 대한 연구는 신경의 전기적인 활성을 나타내고 그것을 시각화 할 수 있다.
그렇기 때문에 뇌파는 뇌의 활성을 이용하여 뇌기능에 대한 변화를 알아보기 위한 지표로 널리 사용이 되고 있다.
현재까지, 감정이 유발된 상황 하에서 획득한 뇌파를 분석하고 그 결과들을 토대로 해당 감정상태를 정의하려는 노력은 주로 심리학자들에 의해서 많이 이루어져왔다.
이에, 최근에 이러한 감정과 관련된 정보는 정신활동을 지배하는 뇌가 활성화될 때 발생하는 뇌파를 통해서도 파악이 가능하여, 뇌파검사를 통해 뇌파를 측정한다.
하지만, 기존의 뇌파 검사법은 해석하기 어렵고 숙련된 판독자의 경우라도 해석에 주관적인 요소가 많은 영향을 미칠 수 있다는 문제점이 발생되었다.
또한, 장시간의 EEG 기록상에서 직접 눈으로 안정상태를 찾아내는 것은 상당히 어려우며, 뇌파(EEG)신호의 측정시 신호의 진폭은 측정 여건에 따라 달라질 수 있고, 같은 정도의 안정상태나 흥분상태라 하더라도 각 피험자마다 알파파나 베타파의 에너지는 다를 수 있으므로, 해석의 주관적 판단으로 인하여 진단의 신뢰도가 떨어지는 문제점이 있었다.
그리고, 뇌파측정을 하더라도, 현장에서 바로 뇌파분석에 따른 사용자의 감정인식과, 그 감정을 현장에서 치료해줄 수 있는 장치가 없고, 무엇보다 남들에게 자기자신의 감정이 노출될까봐, 치료를 거부하거나 회피하여, 치료시기를 놓치는 안타까운 문제점이 있었다.
국내등록특허공보 제10-2239039호(2021.04.12)
상기의 문제점을 해결하기 위해 본 발명에서는 메타버스 가상공간에서 사용자가 과거에 느꼈던 기쁨, 공포, 슬픔, 즐거움, 분노, 혐오, 우울증에 관한 이벤트상황을 연출할 수 있고, 뇌파신호 중 움직임, 호흡과 같은 인공산물과 잡음을 제거시킬 수 있으며, 감정맞춤형 CBT용 AI제어모듈의 제어하에, 신호처리된 뇌파(EEG)신호를 웨이브렛 변환과 파워스펙트럼으로 분석한 후, 학습한 감정데이터와 매칭시켜, 현재 사용자의 뇌파에 따른 감정데이터를 생성시킬 수 있고, 실제 노출보다 메타버스 가상공간에서 기쁨, 공포, 슬픔, 즐거움, 분노, 혐오, 우울증에 관한 사용자의 비합리적인 사고를 바꾸기 위해 일련의 설득과 논쟁을 통해 구체적인 행동과제를 부여하면서 잘못된 시각과 해석을 수정해나가는 인지적행동치료(cognitive behavioural therapy)방식을 통해, 기존에 비해 사용자의 자기효능감을 증가시켜, 감정치료효율을 높일 수 있는 감정맞춤형 CBT용 AI제어모듈을 통한 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성장치 및 방법을 제공하는데 그 목적이 있다.
상기의 목적을 달성하기 위해 본 발명에 따른 감정맞춤형 CBT용 AI제어모듈을 통한 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성장치는
사용자가 메타버스 가상공간에서 보고, 느끼고 있을 때, 뇌파를 측정하고, 측정한 뇌파의 감정상태를 기준으로, 1:1 감정맞춤형 인지적행동치료용 메타버스 가상공간콘텐츠를 메타버스 가상공간에 생성시키도록 구성됨으로서 달성된다.
또한, 상기 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성장치는 보다 구체적으로,
헬멧과 같이 머리부위에 착용하여, 메타버스 가상공간을 보고, 느끼면서, 움직이는 뇌의 활동에 따라 변화하는 뇌파신호(EEG : Electroencephalogram)를 다채널로 측정하는 다채널 EEG헬멧모듈(100)과,
다채널 EEG헬멧모듈 일측에 위치되고, 헤드 마운트 디스플레이(HMD)구조로 사용자의 헤드상에 착용되어, 뇌파를 측정하는 감정유도용 메타버스 가상공간을 구동시키거나, 또는 감정맞춤형 CBT용 AI제어모듈로부터 분석한 감정상태에 따른 1:1 감정맞춤형 인지적행동치료용 메타버스 가상공간을 구동시키는 메타버스구동용 HMD 모듈(200)과,
다채널 EEG헬멧모듈과 감정맞춤형 CBT용 AI제어모듈 사이에 위치되어, BCI(Brain Computer Interface)망을 형성시켜, 다채널 EEG헬멧모듈에서 측정한 뇌파(EEG)신호를 감정맞춤형 CBT용 AI제어모듈쪽으로 전달시키는 EEG-BCI 모듈(300)과,
EEG-BCI 모듈을 통해 다채널 EEG헬멧모듈에서 측정한 뇌파(EEG)신호를 입력받아, 웨이브렛 변환과 파워스펙트럼으로 분석한 후, 학습하면서 추론하여 현재 사용자의 뇌파에 따른 감정데이터를 생성시키고, 생성된 감정데이터에 맞는 1:1 감정맞춤형 인지적행동치료용 메타버스 가상공간콘텐츠를 메타버스구동용 HMD 모듈쪽으로 전송시키도록 제어하는 감정맞춤형 CBT용 AI제어모듈(400)로 구성되는 것을 특징으로 한다.
이상에서 설명한 바와 같이, 본 발명에서는
첫째, 메타버스 가상공간에서 사용자가 과거에 느꼈던 기쁨, 공포, 슬픔, 즐거움, 분노, 혐오, 우울증에 관한 이벤트상황을 연출할 수 있어, 집중도(Attention)나 안정도(Relaxation)를 기존에 비해 80% 향상시킬 수 있다.
둘째, 뇌파신호 중 움직임, 호흡과 같은 인공산물과 잡음을 제거시킬 수 있어, 에러율을 줄이고, 기존보다 1.5배~3배 향상된 양질의 뇌파(EEG)신호를 측정할 수가 있다.
셋째, 감정맞춤형 CBT용 AI제어모듈의 제어하에, 신호처리된 뇌파(EEG)신호를 웨이브렛 변환과 파워스펙트럼으로 분석한 후, 학습한 감정데이터와 매칭시켜, 현재 사용자의 뇌파에 따른 감정데이터를 생성시킬 수 있어, 기존보다 80% 향상된 객관성과 신뢰도가 높은 감정데이터를 생성시킬 수 있다.
넷째, 실제 노출보다 메타버스 가상공간에서 기쁨, 공포, 슬픔, 즐거움, 분노, 혐오, 우울증의 감정에 관한 사용자의 비합리적인 사고를 바꾸기 위해 일련의 설득과 논쟁을 통해 구체적인 행동과제를 부여하면서 잘못된 시각과 해석을 수정해나가는 인지적행동치료(cognitive behavioural therapy)방식을 통해, 기존에 비해 사용자의 자기효능감을 증가시켜, 감정치료효율을 70%까지 높일 수 있다.
도 1은 본 발명에 따른 감정맞춤형 CBT용 AI제어모듈을 통한 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성장치(1)의 구성요소를 도시한 블럭도,
도 2는 본 발명에 따른 감정맞춤형 CBT용 AI제어모듈을 통한 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성장치(1)의 구성요소를 도시한 구성도,
도 3은 본 발명에 따른 다채널 EEG헬멧모듈과 메타버스구동용 HMD 모듈의 구성요소를 도시한 사시도,
도 4는 본 발명에 따른 본 발명에 따른 다채널 EEG헬멧모듈과 메타버스구동용 HMD 모듈의 구성요소를 도시한 분해사시도,
도 5는 본 발명에 따른 차동증폭회로부의 구성요소를 도시한 회로도,
도 6은 본 발명에 따른 다채널 EEG헬멧모듈의 다채널 EEG-BCI 뇌파전극셀을 사용자의 머리 외피(=두피)에 접촉시키는 것을 도시한 일실시예도,
도 7은 본 발명에 따른 감정맞춤형 CBT용 AI(Cognitive Behavioural Therapy)제어모듈의 구성요소를 도시한 사시도,
도 8은 본 발명에 따른 감정맞춤형 CBT용 AI칩의 구성요소를 도시한 블럭도,
도 9는 본 발명에 따른 뇌파신호처리제어부의 구성요소를 도시한 블럭도,
도 10은 본 발명에 따른 뇌파신호처리부의 구성요소를 도시한 블럭도,
도 11은 뇌파(EEG)데이터에 섞여있는 인공물의 파형에 관한 파형도,
도 12는 본 발명에 따른 뇌파분류부에 포함된 선형분류기의 구성요소를 도시한 블럭도,
도 13은 본 발명에 따른 선형분류기에 포함된 선형판별분석(LDA : Linear Discriminant analysis)부의 구성요소를 도시한 블럭도,
도 14는 본 발명에 따른 선형판별분석(LDA : Linear Discriminant analysis)부의 선형판별함수를 도식적으로 나타낸 그래프,
도 15는 본 발명에 따른 파워 스펙트럼 분석제어부의 구성요소를 도시한 블럭도,
도 16은 본 발명에 따른 웨이브렛 변환알고리즘엔진부의 구성요소를 도시한 구성도,
도 17은 본 발명에 따른 파워 스펙트럼 분석제어부의 구성요소를 도시한 블럭도,
도 18은 본 발명에 따른 상호상관(cross correlation) 맵핑(mapping)제어부를 통해 맵핑한 뇌맵핑, 측정된 뇌파신호, 파워스펙트럼, 베타파 그래프를 도시한 일실시예도,
도 19는 본 발명에 따른 공간패턴 분포제어부를 통해 여러 부위에서 동시 측정한 뇌파(EEG)신호를 통해 공간패턴 분포도를 수행시키는 것을 도시한 일실시예도,
도 20은 본 발명에 따른 파워 스펙트럼 분석제어부를 통해, 뇌파(EEG)신호를 주파수 성분별로 분석해 낸 것을 테이블표로 표시한 일실시예도,
도 21은 본 발명에 따른 AI형 감정데이터추출부에 포함된 CRNN(Convolutional Recurrent Neural Networks) 인공지능 알고리즘부가 구성된 것을 도시한 블럭도,
도 22는 본 발명에 따른 RNN에서 정교해진 시계열 특징맵을 이용하여 기쁨, 공포, 혐오에 관한 감정데이터를 인식시키는 것을 도시한 일실시예도,
도 23은 본 발명에 따른 CRNN(Convolutional Recurrent Neural Networks) 인공지능 알고리즘부의 구성요소를 도시한 블럭도,
도 24는 본 발명에 따른 컨볼루션 레이어부를 통해, 파워 스펙트럼 분포구조로 이루어진 입력 이미지를 특정 필터(Filter(Kernel))를 이용하여 탐색하면서 이미지의 특징들을 추출하고, 추출한 특징들을 특징맵(Feature Map)으로 생성시키는 것을 도시한 일실시예도,
도 25는 본 발명에 따른 리커런트 레이어부를 통해 컨볼루션 레이어부에서의 출력을 입력으로 받아, 장단기 기억(LSTM)신경망구조를 통해, 시퀀스 단위로 처리시키는 것을 도시한 일실시예도,
도 26은 본 발명에 따른 사람의 뇌파 중 정상적인 상황에서도 짧은 시간 동안 발작 때와 비슷한 파형이 나타낸 것을 도시한 일실시예도,
도 27은 본 발명에 따른 리커런트 레이어부를 통해 특성(Specificity)과 감광도(Sensitivity)를 도시한 그래프,
도 28은 본 발명에 따른 리커런트 레이어부에서 시간 임계값(Time threshold) tp를 적용하여 1초의 시간마다 시프팅하며 발작을 판정하는 것을 도시한 일실시예도,
도 29는 본 발명에 따른 리커런트 레이어부를 통해, 기쁨, 즐거움과 같은 정상파에서 공포, 슬픔, 분노, 혐오, 우울증와 같은 이상뇌파로 넘어가는 구간의 데이터를 바탕으로 트레이닝 데이터를 만드는 것을 도시한 일실시예도,
도 30은 본 발명에 따른 CBT용 메타버스 가상공간콘텐츠생성제어부의 구성 중 메타버스 플랫폼 구성요소를 도시한 블럭도,
도 31은 본 발명에 따른 CBT용 메타버스 가상공간콘텐츠생성제어부의 구성 중 CBT용 메타버스 가상공간콘텐츠 인지적행동치료프로그램 구성요소를 도시한 블럭도,
도 32는 본 발명에 따른 메타버스구동용 HMD 모듈에 우울증형 CBT용 메타버스 가상공간콘텐츠생성제어부를 통해 생성된 우울증형 CBT용 메타버스 가상공간콘텐츠를 구동시키는 것을 도시한 일실시예도,
도 33은 본 발명에 따른 감정맞춤형 CBT용 AI제어모듈을 통한 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성방법을 도시한 순서도,
도 34는 본 발명에 따른 메타버스구동용 HMD 모듈에서 감정상태에 따른 1:1 감정맞춤형 인지적행동치료용 메타버스 가상공간을 구동시키는 것 중 우울증형 CBT용 메타버스 가상공간콘텐츠생성제어부를 통해 생성된 우울증형 CBT용 메타버스 가상공간콘텐츠를 구동시키는 과정을 구체적으로 도시한 순서도.
먼저, 본 발명에서 설명되는 CBT는 인지적행동치료(Cognitive Behavioural Therapy)로서, 심리적인 문제로 고통을 겪고 있는 사람을 정성껏 보살피면서, 문제의 본질을 탐색하고 해결방법을 훈련하여, 보다 건강하고 적응적인 삶을 살아갈 수 있도록 안내하는 전문적인 심리치료(psychotherapy) 방법을 말한다.
이를 본 발명에서는 감정맞춤형 CBT용 AI제어모듈을 통해 메타버스공간에서 1:1 감정맞춤형 인지적행동치료용 메타버스 가상공간콘텐츠로 구동시키는 것을 특징으로 한다.
이하, 본 발명에 따른 바람직한 실시예를 도면을 첨부하여 설명한다.
도 1은 본 발명에 따른 감정맞춤형 CBT용 AI제어모듈을 통한 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성장치(1)의 구성요소를 도시한 블럭도에 관한 것이고, 도 2는 본 발명에 따른 감정맞춤형 CBT용 AI제어모듈을 통한 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성장치(1)의 구성요소를 도시한 구성도에 관한 것으로, 이는 사용자가 메타버스 가상공간에서 보고, 느끼고 있을 때, 뇌파를 측정하고, 측정한 뇌파의 감정상태를 기준으로, 1:1 감정맞춤형 인지적행동치료용 메타버스 가상공간콘텐츠를 메타버스 가상공간에 생성시키도록 구성된다.
상기 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성장치(1)는 보다 구체적으로, 다채널 EEG헬멧모듈(100), 메타버스구동용 HMD 모듈(200), EEG-BCI 모듈(300), 감정맞춤형 CBT용 AI제어모듈(400)로 구성된다.
먼저, 본 발명에 따른 다채널 EEG헬멧모듈(100)에 관해 설명한다.
상기 다채널 EEG헬멧모듈(100)은 헬멧과 같이 머리부위에 착용하여, 메타버스 가상공간을 보고, 느끼면서, 움직이는 뇌의 활동에 따라 변화하는 뇌파신호(EEG : Electroencephalogram)를 다채널로 측정하는 역할을 한다.
여기서, EEG(Electroencephalogram)는 대뇌 피질의 전기적 활동을 기록한 것으로, 뇌의 활동, 측정시의 상태 및 뇌기능에 따라 변화하는 전기적인 신호로서, 뇌파를 측정한 신호를 말한다.
또한, 뇌파에 반영되는 뇌의 전기적 활동은 신경세포, 교세포, 혈뇌장벽에 의해 결정되는데 주로 신경세포에 의해 발생한다.
상기 다채널 EEG헬멧모듈(100)은 도 3 및 도 4에 도시한 바와 같이, EEG헬멧모듈몸체(110)와, 다채널 EEG-BCI 뇌파전극셀(120), 차동증폭회로부(130)로 구성된다.
첫째, 본 발명에 따른 EEG헬멧모듈몸체(110)에 관해 설명한다.
상기 EEG헬멧모듈몸체(110)는 헬멧형상으로 형성되어, 각 기기를 외압으로부터 보호하고 지지하는 역할을 한다.
이는 사용자의 머리 외피에 접촉되는 다채널 EEG-BCI 뇌파전극셀이 20채널~100채널로 형성되어 구성된다.
도 6은 본 발명에 따른 다채널 EEG헬멧모듈의 다채널 EEG-BCI 뇌파전극셀을 사용자의 머리 외피(=두피)에 접촉시키는 것을 도시한 일실시예도에 관한 것이다.
둘째, 본 발명에 따른 다채널 EEG-BCI 뇌파전극셀(120)에 관해 설명한다.
상기 다채널 EEG-BCI 뇌파전극셀(120)은 다채널 원통형 셀구조로 이루어져 사용자의 머리 외피에 접촉되도록 EEG헬멧모듈몸체의 표면둘레에 형성되어, 사용자의 뇌파를 측정하는 역할을 한다.
이는 20채널~100채널로 이루어진다.
그리고, 두피와 화학작용이 거의 없는 완전비분극(Perfectly nonpolarizable) 전극에 가까운 특성을 가지는 은-염화은(Ag-AgCl)전극으로 구성된다.
상기 다채널 EEG-BCI 뇌파전극셀(120)은 일예로, 두피에 22채널(AF3, AF4,F3,Fz,FC1,FCz,Fpz, AFz,FT7,C3,C1,Cz,C2,C4,CP1,CP2,P3,Pz,P4,T9,O1,Oz), 귓뒤바퀴 근육인 후이개근 부위(좌측에 그라운드 A1, 우측에 레프런스 A2)에 각 1군데씩 총 24군데인, 24채널에서 뇌파(EEG) 신호를 측정한다.
뇌 무게의 반을 차지하는 교세포들은 신경세포가 연접해 있는 부위인 시냅스에서 이온, 분자의 흐름을 조정하고, 신경세포들 간의 구조 유지, 지탱, 보수 역할을 한다.
혈뇌장벽은 뇌혈관 속에 있는 각종 물질 중 필요한 물질만 선별해서 통과시키는 역할을 한다.
교세포와 혈뇌장벽에 의한 뇌파의 변화는 조금씩 천천히 일어나며, 이에 비해 신경세포의 활동에 의한 뇌파의 변화는 크고, 빠르며 다양하게 발생한다.
대부분의 신경세포는 대뇌피질의 회백질에 위치하며 피질표면에 수직하게 배열된 각추세포가 동시에 활성화되면 이때의 전류가 이차전류를 유발하고 이 전류의 흐름들이 외부에 측정 가능한 영역을 생성한다.
뇌파는 진동하는 주파수의 범위에 따라 인위적으로 델타 -δ파(0.2 ~ 3.99 Hz), 쎄타 -θ파(4 ~ 7.99 Hz), 알파 -α파(8 ~ 12.99 Hz), 베타 -β파(13 ~ 29.99 Hz), 감마- g파(30~50 Hz)로 구분하여 부른다.
상기 델타 -δ파는 흥분상태에서 주로 검출되는 것으로, 정상인의 깊은 수면 시나 신생아의 경우 두드러지게 나타난다. 일예로, 깨어 있는 사람에게서 델타파가 평균범위보다 매우 많이 나타난다면 대뇌피질부위의 악성 종양 또는 마취, 혼수 상태관련 질병일 수 있다. 일예로, 건강한 정상인의 경우인데도 델타파가 두드러진다면 뇌파 측정시 눈을 깜박이거나 몸을 심하게 움직인 경우가 대부분이다.
이러한 눈움직임이나 몸움직임에 의해 발생하는 잡음(artifact)의 주파수 영역은 델타파 주파수 영역과 거의 일치하므로 마치 델타파가 증가한 것처럼 보일 수 있다. 따라서 본 발명에서는 정밀한 뇌파분석을 위해, 눈움직임과 몸움직임이 필수적으로 발생하므로 보통 델타파의 파워증감은 초기에 측정하도록 구성된다.
상기 쎄타 -θ파는 정서안정 또는 수면으로 이어지는 과정에서 주로 나타나는 파로 성인보다는 어린이에게 더 많이 분포한다. 쎄타파는 기억력, 초능력, 창의력, 집중력, 불안해소 등 많은 다양한 상태와 관련된 특성을 나타낸다.
상기 알파 -α파는 주로 안정상태에서 주로 검출되는 것으로, 긴장이완과 같은 편안한 상태에서 주로 나타나며, 안정되고 편안한 상태 일수록 진폭이 증가한다. 일반적으로 규칙적인 파동의 형태로 연속적으로 나타나며, 두정부와 후두부에서 가장 크게 기록되고 전두부에 가장 작게 나타나는 특성이 있다. 특히 안정된 알파파가 나타나는 때는 눈을 감고 진정한 상태에 있을 때이며, 눈을 뜨고 물체를 주시하거나 정신적으로 흥분하게 되면 알파파는 억제된다. 이 현상을 ‘알파 저지’라고 한다. 알파파는 뇌의 발달과 밀접한 관계가 있고 유아기에는 4 ~ 6Hz에서 측정되나, 그 후 나이가 들수록 주파수도 증가하여 20세 정도 성인의 값에 이르게 된다.
상기 베타 -β파는 주로 전두부에서 많이 나타나며, 깨어 있을 때, 말할 때와 같이 모든 의식적인 활동을 할 때 나타난다. 특히, 불안한 상태나 긴장시, 복잡한 계산처리시에 우세하게 나타난다.
상기 감마- g파는 베타파보다 더 빠르게 진동하는 형태로 정서적으로 더욱 초조한 상태이거나 추리, 판단등의 고도의 인지정보처리와 관련된 특성을 가진다.
이처럼, 본 발명에 따른 다채널 EEG-BCI 뇌파전극셀(120)을 통해, 델타 -δ파, 쎄타 -θ파, 알파 -α파, 베타 -β파, 감마- g파를 측정한다.
셋째, 본 발명에 따른 차동증폭회로부(130)에 관해 설명한다.
상기 차동증폭회로부(130)는 다채널 EEG-BCI 뇌파전극셀에서 측정한 뇌파(EEG)신호를 차동증폭시켜 잡음을 제거시키는 역할을 한다.
뇌파는 인체주변에서 관측되는 잡음에 비해 매우 미약한 신호로 측정이 매우 곤란하다.
그래서, 본 발명에서는 저잡음 특성과 고이득을 갖는 차동증폭회로부(130)가 포함되어 구성된다.
도 5에 도시한 바와 같이, 소스임피던스가 10K옴 이상을 갖는 전극의 영향을 줄이기 위해서 전극으로 입력된 EEG신호를 임피던스 변환기를 거쳐 저출력 저항값을 갖는 신호로 변환하여 차동증폭기 IC(U1)(131)로 입력하도록 구성된다.
여기서, 차동 증폭기 IC는 공통 입력임피던스가 1014Ω 이상인 연산 증폭기를 사용함으로써, 입력신호에 미치는 영향을 최소화하도록 구성된다.
상기 차동증폭회로는 동상이득이 이상적으로 제로값이되어야 하나, 정입력과 부입력의 저항값의 차이에 기인한 전압의 불일치가 생긴다.
이 불완전함을 정량화하기 위하여 동상제거비(CMRR : Common Mode Rejection Ratio)는 다음의 수학식 1과 같다.
Figure 112022002668459-pat00001
여기서, Gd는 차동이득을 나타내고, Gc는 동상이득을 나타낸다.
이 계수는 공통선 잡음제거에 영향을 미치는 것을 최소화하기 위해서 고입력 임피던스와 높은 CMRR를 가지며, 이득은 저항값을 조정함으로써 변화시킬 수 있는 계측용 증폭기(instrumentation amplifier) IC(U2)(132)를 사용하여 효과적으로 60Hz 동상전압을 제거할 수 있도록 구성된다.
이처럼, 차동증폭기 IC(U1), 계측용 증폭기(instrumentation amplifier) IC(U2)로 이루어진 차동증폭회로부를 통해, 10배로 증폭된, 저잡음, 고정밀도의 뇌파(EEG)신호를 측정할 수가 있다.
다음으로, 본 발명에 따른 메타버스구동용 HMD 모듈(200)에 관해 설명한다.
상기 메타버스구동용 HMD 모듈(200)은 다채널 EEG헬멧모듈 일측에 위치되고, 헤드 마운트 디스플레이(HMD)구조로 사용자의 헤드상에 착용되어, 뇌파를 측정하는 감정유도용 메타버스 가상공간을 구동시키거나, 또는 감정맞춤형 CBT용 AI제어모듈로부터 분석한 감정상태에 따른 1:1 감정맞춤형 인지적행동치료용 메타버스 가상공간을 구동시키는 역할을 한다.
이는 도 5에 도시한 바와 같이, 메타버스 가상공간구동형 HMD모듈본체(210), 메타버스 가상공간구동형 HMD 디스플레이부(220), 메타버스 가상공간구동형 마이크로 광학부(Micro-Optics)(230), 메타버스 가상공간구동형 MEMS 기판부(240), 메타버스 가상공간구동형 HMD 제어부(250), 메타버스 가상공간구동형 HMD 배터리부(260), 메타버스 가상공간구동형 HMD 무선통신부(270)로 구성된다.
첫째, 본 발명에 따른 메타버스 가상공간구동형 HMD모듈본체(210)에 관해 설명한다.
상기 메타버스 가상공간구동형 HMD모듈본체(210)는 안경처럼 머리에 착용하여, 각 기기를 외압으로부터 보호하고 지지하는 역할을 한다.
이는 사용자 시선 부위 일측에 메타버스 가상공간구동형 HMD 디스플레이부가 형성되고, 그 메타버스 가상공간구동형 HMD 디스플레이부 전단 일측에 메타버스 가상공간구동형 마이크로 광학부(Micro-Optics)가 형성되며, 측면 일측에 메타버스 가상공간구동형 MEMS 기판부가 형성되고, 그 메타버스 가상공간구동형 MEMS 기판부 일측에 메타버스 가상공간구동형 HMD 제어부가 형성되며, 메타버스 가상공간구동형 HMD모듈본체의 후면 또는 측면 타측에 메타버스 가상공간구동형 HMD 배터리부가 형성되고, 그 메타버스 가상공간구동형 HMD 배터리부 일측에 메타버스 가상공간구동형 HMD 무선통신부가 형성되어 구성된다.
둘째, 본 발명에 따른 메타버스 가상공간구동형 HMD 디스플레이부(220)에 관해 설명한다.
상기 메타버스 가상공간구동형 HMD 디스플레이부(220)는 메타버스 가상공간구동형 HMD모듈본체의 사용자 시선 부위에 위치되어, 뇌파를 측정하는 감정유도용 메타버스 가상공간을 구동시키거나, 또는 감정맞춤형 CBT용 AI제어모듈로부터 분석한 감정상태에 따른 1:1 감정맞춤형 인지적행동치료용 메타버스 가상공간을 디스플레이시키는 역할을 한다.
이는 3D형태로 메타버스 가상공간이 디스플레이된다.
셋째, 본 발명에 따른 메타버스 가상공간구동형 마이크로 광학부(Micro-Optics)(230)에 관해 설명한다.
상기 메타버스 가상공간구동형 마이크로 광학부(Micro-Optics)(230)는 메타버스 가상공간구동형 HMD 디스플레이부 전단 일측에 위치되어, 감정유도용 메타버스 가상공간, 1:1 감정맞춤형 인지적행동치료용 메타버스 가상공간을 VR화면으로 구현시키는 역할을 한다.
이는 180도, 360도의 광각을 가진다.
넷째, 본 발명에 따른 메타버스 가상공간구동형 MEMS 기판부(240)에 관해 설명한다.
상기 메타버스 가상공간구동형 MEMS 기판부(240)는 메타버스 가상공간구동형 HMD모듈본체의 측면 일측에 위치되어, 기계부품, 센서, 액츄에이터, 전자 회로를 하나의 실리콘 기판 위에 초소형 MEMS 구조로 패키지 어셈블리형태로 형성된다.
다섯째, 본 발명에 따른 메타버스 가상공간구동형 HMD 제어부(250)에 관해 설명한다.
상기 메타버스 가상공간구동형 HMD 제어부(250)는 메타버스 가상공간구동형 MEMS 기판부 내에 위치되어, 각 기기의 전반적인 동작을 제어하면서, 뇌파를 측정하는 감정유도용 메타버스 가상공간을 구동시키거나, 또는 감정맞춤형 CBT용 AI제어모듈로부터 분석한 감정상태에 따른 1:1 감정맞춤형 인지적행동치료용 메타버스 가상공간을 디스플레이시키도록 제어하는 역할을 한다.
이는 기쁨, 공포, 슬픔, 즐거움, 분노, 혐오, 우울증에 관한 감정을 유도하기 위해 감정유도용 메타버스 가상공간을 구동시킨다.
즉, 메타버스 가상공간에서 영화, 드라마, 또는 기쁨, 공포, 슬픔, 즐거움, 분노, 혐오, 우울증을 일으키는 이벤트프로그램을 형성시킨다.
여기서, 영화, 드라마, 또는 기쁨, 공포, 슬픔, 즐거움, 분노, 혐오, 우울증을 일으키는 이벤트프로그램은 감정맞춤형 CBT용 AI(Cognitive Behavioural Therapy)제어모듈로부터 미리 다운로드받아 저장시킨다.
또한, 1:1 감정맞춤형 인지적행동치료용 메타버스 가상공간은 기쁨, 공포, 슬픔, 즐거움, 분노, 혐오, 우울증을 인지적행동치료하는 인지적행동치료프로그램 이벤트를 가상공간상에서 형성시킨다.
그리고, 메타버스 가상공간에서 사용자의 비합리적인 사고를 바꾸기 위해 일련의 설득과 논쟁을 통해 구체적인 행동과제를 부여하면서 잘못된 시각과 해석을 수정해나가는 인지적행동치료(cognitive behavioural therapy)방식으로 이루어진다.
여섯째, 본 발명에 따른 메타버스 가상공간구동형 HMD 배터리부(260)에 관해 설명한다.
상기 메타버스 가상공간구동형 HMD 배터리부(260)는 메타버스 가상공간구동형 HMD모듈본체의 후면 또는 측면 타측에 위치되어, 각 기기에 전원을 공급하는 역할을 한다.
이는 리튬이온배터리, 또는 리튬이온폴리머배터리로 구성된다.
일곱째, 본 발명에 따른 메타버스 가상공간구동형 HMD 무선통신부(270)에 관해 설명한다.
상기 메타버스 가상공간구동형 HMD 무선통신부(270)는 메타버스 가상공간구동형 HMD 배터리부 일측에 위치되어, 근거리 또는 원거리에 위치한 감정맞춤형 CBT용 AI제어모듈과 무선통신망으로 연결시켜, 양방향데이터통신을 수행하는 역할을 한다.
여기서, 무선통신망은 WiFi통신모듈, 근거리무선통신모듈, 이동통신(5G, 4G, 3G)모듈 중 어느 하나 또는 둘 이상이 선택되어 이루어진다.
다음으로, 본 발명에 따른 EEG-BCI 모듈(300)에 관해 설명한다.
상기 EEG-BCI 모듈(300)은 다채널 EEG헬멧모듈과 감정맞춤형 CBT용 AI제어모듈 사이에 위치되어, BCI(Brain Computer Interface)망을 형성시켜, 다채널 EEG헬멧모듈에서 측정한 뇌파(EEG)신호를 감정맞춤형 CBT용 AI제어모듈쪽으로 전달시키는 역할을 한다.
이는 BCI 기반에서 대뇌 피질에 분포하고 있는 신경세포(neuron) 들의 활동전위(action potential)가 두피에 투영되어 나타나는 전기적 활동을 기록하도록 구성된다.
그리고, 두피(scalp)에서 뇌파를 측정하고, 두뇌 상의 정신적인 작용을 입력시그널값으로 구동되도록 구성된다.
또한, 감정맞춤형 CBT용 AI제어모듈을 통해 머신러닝 학습 방법을 통하여 뇌파의 특성 분석 및 분류하므로, 통계적인 데이터를 얻고 머신러닝을 통해 학습하도록 구성된다.
다음으로, 본 발명에 따른 감정맞춤형 CBT용 AI제어모듈(400)에 관해 설명한다.
상기 감정맞춤형 CBT(Cognitive Behavioural Therapy)용 AI제어모듈(400)은 EEG-BCI 모듈을 통해 다채널 EEG헬멧모듈에서 측정한 뇌파(EEG)신호를 입력받아, 웨이브렛 변환과 파워스펙트럼으로 분석한 후, 학습하면서 추론하여 현재 사용자의 뇌파에 따른 감정데이터를 생성시키고, 생성된 감정데이터에 맞는 1:1 감정맞춤형 인지적행동치료용 메타버스 가상공간콘텐츠를 메타버스구동용 HMD 모듈쪽으로 전송시키도록 제어하는 역할을 한다.
이는 도 7에 도시한 바와 같이, 하드웨어 구성요소인 감정맞춤형 CBT용 AI칩보드(410), 감정맞춤형 CBT용 AI 소켓부(420), 감정맞춤형 CBT용 AI칩부(430)가 포함되어 구성된다.
상기 감정맞춤형 CBT용 AI칩보드(410)는 감정맞춤형 CBT용 AI소켓부, 감정맞춤형 CBT용 AI칩을 외압에 의해 흔들리지 않도록 지지하는 역할을 한다.
상기 감정맞춤형 CBT용 AI 소켓부(420)는 감정맞춤형 CBT용 AI칩인 감정맞춤형 CBT용 AI칩을 SoC(System of Chip) 타입으로 꽂아서 사용하는 역할을 한다.
이는 감정맞춤형 CBT용 AI칩을 장착한 후 상단에 냉각장치(방열판, 방열핀, 냉각팬)가 포함되어 구성된다.
상기 감정맞춤형 CBT용 AI칩(430)은 측정한 뇌파(EEG)신호를 입력받아, 웨이브렛 변환과 파워스펙트럼으로 분석한 후, 학습하면서 추론하여 현재 사용자의 뇌파에 따른 감정데이터를 생성시키고, 생성된 감정데이터에 맞는 1:1 감정맞춤형 인지적행동치료용 메타버스 가상공간콘텐츠를 추출시키도록 제어하는 역할을 한다.
이는 도 8에 도시한 바와 같이, 뇌파신호처리제어부(431), 뇌파 분석 알고리즘엔진부(432), AI형 감정데이터추출부(433), CBT용 메타버스 가상공간콘텐츠생성제어부(434)로 구성된다.
첫째, 본 발명에 따른 뇌파신호처리제어부(431)에 관해 설명한다.
상기 뇌파신호처리제어부(431)는 EG-BCI 모듈을 통해 다채널 EEG헬멧모듈에서 측정한 뇌파(EEG)신호를 입력받아 뇌파신호를 처리하는 역할을 한다.
이는 도 9에 도시한 바와 같이, 뇌파신호수집부(431a), 뇌파신호처리부(431b)로 구성된다.
[뇌파신호수집부(431a)]
상기 뇌파신호수집부(431a)는 EG-BCI 모듈을 통해 다채널 EEG헬멧모듈에서 다채널로 측정한 EEG 신호를 수집하는 역할을 한다.
[뇌파신호처리부(431b)]
상기 뇌파신호처리부(431b)는 전처리, 특징추출, 분류를 거쳐 신호처리 한 뇌파(EEG)신호를 뇌파 분석 알고리즘엔진부로 전달시키는 역할을 한다.
이는 도 10에 도시한 바와 같이, 뇌파전처리부(431b-1), 뇌파특징추출부(431b-2), 뇌파분류부(431b-3)로 구성된다.
상기 뇌파전처리부(431b-1)는 입력되는 뇌파신호 중 움직임, 호흡과 같은 인공산물과 잡음을 제거시키는 역할을 한다.
즉, 사용자의 두뇌 활동은 전극에 의해 측정된 신호가 증폭되어 적합한 신호로 준비된다.
그리고, 뇌파는 신경세포들이 협동하는 과정에서 동기화된 신호가 두개골을 거쳐 두피까지 전달되었을 때 관찰되는 신호로 여러개의 전극을 통해 측정된다.
이때 전극의 위치는 그 위치에 따라 세분화된 뇌의 기능과 관계가 있기 때문에 뇌파의 공간속성을 결정하고 각 전극으로부터 측정된 시계열 신호의 주파수 성분은 신경세포의 협동 양상을 반영하기 때문에 뇌파의 스펙트럼 속성을 결정하는 중요한 요소가 된다.
뇌파(EEG) 신호는 불완전하기 때문에 항상 인공물(artifacts)을 포함한다.
잡음을 제거하는 방법은 잡음이 섞여있는 데이터 자체를 제거하거나, 잡음이 섞인 데이터로부터 잡음만을 제거하는 것으로 나눌 수 있다.
뇌파(EEG)신호처리에 있어서, 눈이나 사지운동의 노이즈가 가장 큰 문제이다.
인공물의 발생원인은 크게 신체적인 부분과 기술적인 부분으로 구분할 수 있으며, 이를 제거하기 위해서는 전처리가 필요하다.
도 11은 뇌파(EEG)데이터에 섞여있는 인공물의 파형에 관한 파형도이다.
이러한 인공물은 눈이나 사지의 운동을 별도 센서를 사용하여 안전도(EOG : ElectroOculoGraphy)와 근전도(EMG : ElectroMyoGraphy) 활동도를 기록하여 제거하도록 구성된다.
또한, 뇌파(EEG)신호를 증폭시켜 잡음을 제거한다.
즉, 증폭된 EEG 신호는 유한 임펄스 응답(finite impulse response, FIR) 대역통과필터(Band Pass Filter)를 사용하여 9Hz 이하, 13Hz 이상의 주파수를 제거하여 원하는 주파수 성분(9~13Hz)을 추출한다.
상기 뇌파특징추출부(431b-2)는 전처리 과정을 통해 정제된 뇌파 데이터 안에서 분류목적에 맞는 특징을 추출하는 역할을 한다.
이는 전처리 과정을 통해 정제된 뇌파 데이터 안에서 한 종류의 물체에 대해서는 유사한 값, 다른 종류에 대해서는 다른 값을 가지는 특성을 선택한다.
뇌파특징추출부는 원천(raw) 신호를 형태 번역기에 의해 논리적 제어로 분류되어 상대적인 형태 벡터로 변화시키는 역할을 한다.
BCI 특징 벡터의 특징은 EEG 신호가 나쁜 신호대잡음비(SNR)를 가지고 있기 때문에 노이즈가 많고 아웃라이어를 가진다.
또한, 뇌파(EEG)신호가 시간에 따라 급격히 변하기 때문에 고정적이지도 않기 때문에 뇌파분류부를 거치게 된다.
상기 뇌파분류부(431b-3)는 선택된 특징이 미리 정의된 특정 패턴들 중 어떤 패턴에 속하는지 판별하여 분류시키는 역할을 한다.
이는 도 12에 도시한 바와 같이, 선형분류기(431b-3a)가 포함되어 구성된다.
상기 선형분류기(431b-3a)는 클래스를 분류할 때 선형함수를 사용하는 판별 알고리즘역할을 수행한다.
잡음이 강할 경우에, 선형방식도 실패할 수 있으므로, 잡음의 영향을 줄이고, 분류기의 복잡도를 줄이기 위해 조절기를 사용하도록 구성된다.
이는 도 13에 도시한 바와 같이, 선형판별분석(LDA : Linear Discriminant analysis)부(431b-3a')가 포함되어 구성된다.
상기 선형판별분석(LDA : Linear Discriminant analysis)부(431b-3a')는 클래스간 분산과 클래스 내 분산의 비율을 최대화하는 방식으로 데이터에 대한 특징 벡터의 차원을 축소하여 분석시키는 역할을 한다.
이는 가능한 클래스간의 분별 정보를 최대한 유지시키면서 차원을 축소시킨다.
그리고, 특정한 데이터 군에서 클래스간 변이와 클래스 내 변이의 비를 최대화하여 최대 분리능력을 보장하도록 구성된다.
또한, 클래스 내 주파수가 불균일하고 그들의 성능이 무질서하게 생성된 평가데이터로 조사된 경우 쉽게 조절되도록 구성된다.
상기 선형판별분석(LDA : Linear Discriminant analysis)부는 다른 클래스를 표현하는 데이터를 분리하는 초평면을 사용한다.
도 14는 선형판별분석(LDA : Linear Discriminant analysis)부의 선형판별함수를 도식적으로 나타낸 그래프이다.
즉, 두 클래스문제에 대하여 특성벡터의 클래스는 벡터가 초평면의 어느 쪽인지에 결정된다.
본 발명에 따른 선형판별분석(LDA : Linear Discriminant analysis)부(431b-3a')는 두 개의 클래스가 있을 때 각 클래스가 속한 데이터가 가우시안 분포를 따른다고 가정한다.
이때, 분리하는 초평면은 두 클래스의 평균값간의 거리를 최대화하고, 클래스 내 변이를 최소화하는 투영을 찾아서 구할 수 있다.
둘째, 본 발명에 따른 뇌파 분석 알고리즘엔진부(432)에 관해 설명한다.
상기 뇌파 분석 알고리즘엔진부(432)는 뇌파신호처리제어부를 통해 신호처리된 뇌파(EEG)신호를 웨이브렛 변환과 파워스펙트럼으로 뇌파 분석시키는 역할을 한다.
이는 도 15에 도시한 바와 같이, 웨이브렛 변환알고리즘엔진부(432a), 파워 스펙트럼 분석제어부(432b)로 구성된다.
[웨이브렛 변환알고리즘엔진부(432a)]
상기 웨이브렛 변환알고리즘엔진부(432a)는 신호처리된 뇌파(EEG)신호에서 사건의 진행에 따른 각 주파수 대역의 스펙트럼 변화를 추적하는 역할을 한다.
이는 신호처리, 압축과 복원, 웨이브렛 신경회로망에 널리 사용되고 있는 도구로서 주파수 축으로의 데이터 변환시 시간정보를 잃어버리지 않는 장점을 갖는다.
그리고, 임의의 신호 y(n)를 웨이브렛 변환해서 저주파수 영역과 고주파수 영역의 신호들로 나누고, 이것을 다시 원래의 신호로 재구성하는 웨이브렛 해석하도록 구성된다.
즉, 도 16에 도시한 바와 같이, 임의의 신호에 웨이브렛 변환을 가하면 저역통과필터(LPF) h(n)을 통과한 고주파 신호 y0(n)과, 고역통과필터(HPF) h(n)을 통과한 고주파 신호 y1(n)으로 나누어지도록 구성된다.
여기서, g(n)과 h(n)을 분해필터라고 한다.
두 주파수 영역의 서브 샘플링(subsampling) 신호를 원래의 신호로 재구성하기 위해서는 합성필터라고 부르는 저역통과필터 g'(n)과 고역통과필터 h'(n)을 이용해서 각각의 신호를 업 샘플링(upsampling) 한다.
본 발명에 따른 뇌파(EEG)신호는 다채널 EEG헬멧모듈의 다채널 EEG-BCI 뇌파전극셀을 통해 검출된 생체신호를 256hz의 샘플링주파수로 A/D변환하여 텍스트 파일로 데이터 베이스화한 데이터로 8개의 EEG 채널중에서 알파파가 강하게 나타나는 전두엽 검출신호를 사용한다.
그리고, 뇌파(EEG)신호의 샘플링 주파수가 256Hz이므로 나이키스트의 원리에 따라 0~128Hz를 유효한 주파수 범위로 볼 수 있으며, 웨이브렛을 사용하여 7단계까지 분해하면 표 1에 기재한 바와 같이, 주파수 범위를 나타낼 수 있다.
레벨 A 주파수 D 주파수
1 cA1 0Hz~64Hz cD1 64Hz~128Hz
2 cA2 0Hz~32Hz cD2 32Hz~64Hz
3 cA3 0Hz~16Hz cD3 16Hz~32Hz
4 cA4 0Hz~8Hz cD4 8Hz~16Hz
5 cA5 0Hz~4Hz cD5 4z~8Hz
6 cA6 0Hz~2Hz cD6 2Hz~4Hz
7 cA7 0Hz~1Hz cD7 1Hz~2Hz
표 1에 기재된 바와 같이, 알파파의 주파수는 7단계로 분리된 웨이블렛 구성 중 cD4에 포함된다.
cD4를 다시 웨이브렛 분해하면 cD4Aa(8~12Hz)와 cD4D1(12~16Hz)로 나눌 수 있으며, cD4A1의 주파수는 알파파의 일반적인 주파수인 8~12Hz와 일치한다.
또한 16~34Hz에 해당하는 벡타파의 경우는 16~32Hz의 범위인 cD3 구성과 거의 일치함을 알 수 있다.
본 발명에서는 cD4A1을 알파파로, cD3를 베타파로 추출하여 사용한다.
[파워 스펙트럼 분석제어부(432b)]
상기 파워 스펙트럼 분석제어부(432b)는 웨이브렛 변환알고리즘엔진부를 통해 추출완료한 각 주파수 대역에서, 시간에 따라 변화하는 시계열 신호를 주파수 영역으로 변환하여 여러개의 파로 분리시키도록 제어시키는 역할을 한다.
이는 파워 스펙트럼 분포구조를 가지도록 구성된다.
즉, 파워스펙트럼 분포는 머리표면의 각 측정부위마다 조금씩 다른 양상을 나타낸다.
머리표면 아래의 대뇌피질은 뇌의 구조에서 보는 바와 같이, 전두엽(Frontal lobe), 두정부엽(parietal lobe), 측두엽(temporal lobe), 후두엽(occipital lobe)으로 나뉘며 담당 역할이 조금씩 다르다.
일예로, 뒤통수에 해당하는 후두엽에는 일차시각피질이 있어, 일차적인 시각정보 처리를 담당하며, 정수리 근처에 해당하는 두정부엽에는 체성 감각 피질이 있어 운동감각 관련 정보처리를 담당한다.
사용하는 다채널 EEG헬멧모듈의 측정 가능한 전극수가 많을수록 동시에 여러 부위의 뇌파의 양상을 관찰할 수 있다.
본 발명에서는 20채널~100채널의 다채널 EEG-BCI 뇌파전극셀이 포함되어 구성된다.
상기 파워 스펙트럼 분석제어부(432b)는 도 17에 도시한 바와 같이, 상호상관(cross correlation) 맵핑(mapping)제어부(432b-1)와, 공간패턴 분포제어부(432b-2)가 포함되어 구성된다.
상기 상호상관(cross correlation) 맵핑(mapping)제어부(432b-1)는 여러 부위에서 동시 측정한 뇌파(EEG)신호에서 어떤 부위끼리 동기화가 되어있는지를 보기 위해, 전극 쌍 사이의 상호상관(cross correlation) 맵핑(mapping)을 수행하는 역할을 한다.
이는 도 18에 도시한 바와 같이, 상호상관(cross correlation) 맵핑(mapping)제어부(432b-1)를 통해 맵핑한 뇌맵핑(a), 측정된 뇌파신호(b), 파워스펙트럼(c), 베타파 그래프(d)에 관한 것이다.
상기 공간패턴 분포제어부(432b-2)는 도 19에 도시한 바와 같이, 여러 부위에서 동시 측정한 뇌파(EEG)신호를 통해 공간패턴 분포도를 수행시키는 역할을 한다.
상기 파워 스펙트럼 분석제어부는 고속 푸리에 변환부(432b-3)가 포함되어 구성된다.
상기 고속 푸리에 변환부(432b-3)는 이산 푸리에 변환(DFT: discrete Fourier transform)과 그 역변환을 빠르게 수행시키는 역할을 한다.
즉, 스펙트럼 추정은 유한개의 데이터 수열을 몇개의 부분 열로 나누어 각각의 파워 스펙트럼을 추정한 후, 각 부분 열이 독립이라고 간주하여 평균화하여 추정한다.
따라서 윈도우함수를 사용하여 데이터를 나누기 때문에 구간의 양단에서 데이터가 불연속적으로 변환되어 이상적인 스펙트럼과 다르게 왜곡된 성분이 발생할 수 있다.
본 발명에서는 시간적으로 EEG 데이터의 길이를 20분 이상의 데이터(256Hz, 360,000 샘플이상)로 충분히 길게 검출하도록 구성된다.
수학식 2는 시간적으로 변화하는 주파수 변화에 따른 신호의 양상(H(fn))을 수학식으로 나타낸 것이다.
Figure 112022002668459-pat00002
여기서, 시간상수 hk를 중심으로 변환시키면 다음의 수학식 3과 같이 표현된다.
Figure 112022002668459-pat00003
상기 수학식 3의 양변에 절대값을 취하고, 제곱한 후 "
Figure 112022002668459-pat00004
"을 취해 모두 합하면 수학식 4가 유도되고, 원 신호의 제곱의 합과 고속푸리에 변환을 거친 신호의 제곱의 합은 총 파워값이 된다.
Figure 112022002668459-pat00005
이러한 정리를 만족하는 파워 스펙트럼은 수학식 5와 같이 정의된다.
Figure 112022002668459-pat00006
Figure 112022002668459-pat00007
Figure 112022002668459-pat00008
이러한 과정을 통해 이루어진 파워 스펙트럼 분석제어부(432b)를 통해, 도 20에 도시한 바와 같이, 뇌파(EEG)신호를 주파수 성분별로 분석해 낼 수 있다.
셋째, 본 발명에 따른 AI형 감정데이터추출부(433)에 관해 설명한다.
상기 AI형 감정데이터추출부(433)는 뇌파 분석 알고리즘엔진부를 통해 주파수 영역으로 여러개의 파로 분리시킨 파워 스펙트럼 분포구조를 기준으로, CRNN(Convolutional Recurrent Neural Networks) 인공지능 알고리즘을 통해 학습하면서, 추론하여 기쁨, 공포, 슬픔, 즐거움, 분노, 혐오, 우울증에 해당하는 감정데이터와 매칭시켜, 현재 사용자의 감정상태를 추출시키는 역할을 한다.
이는 도 21에 도시한 바와 같이, CRNN(Convolutional Recurrent Neural Networks) 인공지능 알고리즘부(433a)가 포함되어 구성된다.
상기 CRNN(Convolutional Recurrent Neural Networks) 인공지능 알고리즘부(433a)는 CNN과 RNN을 섞은 모델로 파워 스펙트럼 분포구조로 이루어진 이미지를 입력으로 받아 시계열 정보를 갖는 특징 맵을 추출하고, 추출한 특징 맵을 바탕으로 RNN을 통해 시퀀스별 감정데이터를 기쁨, 공포, 슬픔, 즐거움, 분노, 혐오, 우울증에 해당하는 감정데이터와 매칭시켜, 현재 사용자의 감정데이터를 추출시키는 역할을 한다.
이는 CNN과 RNN을 합친 구조로, 이미지로부터 텍스트 시퀀스를 추출하여 문자를 인식시키는 인공지능알고리즘이다.
이는 컨볼루션 연산을 통해 특징 맵을 추출해내고, 웨이트와 바이어스를 학습하여 더욱 정교한 특징맵을 만드는 CNN의 장점과, 과거 정보와 현재 정보를 이용해 판별하기 때문에, 시계열 데이터 예측에 강력한 RNN의 장점을 통합한 모델이다.
즉, 컨볼루션 레이어를 거치면서 입력으로부터 시계열 정보를 가진 특징 맵을 추출해 내고, 추출한 시계열 특징 맵을 RNN의 입력(input)으로 사용하여 출력을 만들어 낸다.
여기서, 시계열 특징 맵은 시차별로 주파수 영역을 여러개의 파로 분리시킨 파워 스펙트럼 분포구조를 갖는다.
그리고, 학습이 진행될수록 CNN 단에서 나오는 시계열 특징 맵은 정교해지고, RNN에서는 정교해진 시계열 특징맵을 이용하여 기쁨, 공포, 슬픔, 즐거움, 분노, 혐오, 우울증에 해당하는 감정데이터를 인식시키는 능력을 키워 나간다.
도 22는 본 발명에 따른 RNN에서 정교해진 시계열 특징맵을 이용하여 기쁨, 공포, 혐오에 관한 감정데이터를 인식시키는 것을 도시한 일실시예도에 관한 것이다.
또한, CRNN은 임의의 길이의 시계열 데이터를 다룰 수 있다.
본 발명에서는 주파수 영역으로 여러개의 파로 분리시킨 파워 스펙트럼 분포구조에 CRNN을 적용하여 기쁨, 즐거움의 정상파에서 공포, 슬픔, 분노, 혐오, 우울증와 같은 이상뇌파로 변화하는 시점의 데이터에서 시계열 특징을 만들고, 이 특징을 이용하여 사람마다, 그리고, 발생할 때마다 길이가 다른 뇌상태를 검출해서, 감정데이터를 생성시키고자 한다.
상기 CRNN(Convolutional Recurrent Neural Networks) 인공지능 알고리즘부(433a)는 도 23에 도시한 바와 같이, 컨볼루션 레이어부(433a-1)와 리커런트 레이어부(433a-2)로 구성된다.
상기 컨볼루션 레이어부(433a-1)는 파워 스펙트럼 분포구조로 이루어진 입력 이미지를 특정 필터(Filter(Kernel))를 이용하여 탐색하면서 이미지의 특징들을 추출하고, 추출한 특징들을 특징맵(Feature Map)으로 생성시키는 역할을 한다.
이는 7개의 레이어로 구성된다.
즉, 도 24에 도시한 바와 같이, 레이어 1,3,5에서는 이전 레이어의 데이터에 의해 컨볼루션을 진행하여 새로운 특징맵을 만든다.
여기서, 특징맵은 주파수 영역으로 여러개의 파로 분리시킨 파워 스펙트럼 분포구조로 이루어진다.
이때, 필터 사이즈는 (1 *3 * n)이며, 스트라이드 사이즈는 (1*1)이다.
n의 크기는 각 레이어마다 다르며, n의 크기에 따라 만들어지는 특징 맵의 개수가 정해진다.
레이어 2,4,6에서는 맥스 폴링(Max Polling)을 진행하며, 특징 맵의 크기를 줄인다.
이때 필터 사이즈는 (1*2)이며, 스트라이드 사이즈는 (1*1)이다.
레이어 7에서는 컨볼루션 레이어의 출력을 리커렌트 레이어의 입력으로 넣어 주기 위하여, 플래튼 작업을 수행하여 데이터를 1차원으로 만들어 출력 Ct를 얻는다.
컨볼루션 레이어에서의 학습은 1초단위로 진행되며, 5초 동안 만들어진 5개의 특징 맵을 다음 단계인 리커렌트 레이어로 넘겨준다.
여기서, 중요한 점은 현재 시점의 출력 Ct 와 이전 시점의 출력 Ct-4, Ct-3, Ct-2, Ct-1을 만들 때 사용하는 웨이트와 바이어스가 5쌍 존재한다.
모델은 컨볼루션 레이어 단계에서 학습을 통해 현재의 입력에 대해 어떠한 특징이 중요한지를 선택하는 한편, 이전 4초간의 데이터에서는 각각 어떠한 특징 맵을 만들어야 현재의 출력에 대한 모델의 로스(Loss)가 줄어드는지를 학습한다.
즉, 특징 맵을 만들 때 현재의 입력에 대한 특징 맵을 만드는 방식과 이전의 입력에 대한 특징 맵을 만드는 방식이 다르다.
상기 리커런트 레이어부(433a-2)는 컨볼루션 레이어부에서의 출력을 입력으로 받아, 장단기 기억(LSTM)신경망구조를 통해, 시퀀스 단위로 처리시키는 역할을 한다.
이는 5초 단위로 구성된 특징 맵의 집합을 받아 1초 단위로 처리하기 때문에, 시퀀스 길이는 5로 설정하고, 히든 스테이트의 길이는 512로 설정한다.
즉, 도 25에 도시한 바와 같이, 기본적으로 LSTM 구조를 사용하며, 3층의 멀티 레이어 구조이다.
리커런트 레이어부의 출력 Rt는 마지막 시퀀스의 히든 스테이트 정보에 웨이트를 곱하고 바이어스를 더하여 정상신호인지 발작신호인지 판단한다.
출력의 경우 정상신호의 경우 0을, 발작신호의 경우 1을 출력한다.
하지만, 사람의 뇌파는 도 26에 도시한 바와 같이(공포, 슬픔, 분노, 혐오, 우울증와 같은 이상뇌파와 비슷한 파형을 갖는 정상파데이터) 정상적인 상황에서도 짧은 시간 동안 발작 때와 비슷한 파형이 종종 나타나기 때문에 1초라는 단기적인 시간만으로 발작을 판단하는 것은 오판의 확률을 키울 수 있다.
이러한 문제점을 보완하기 위하여 본 발명에 따른 리커런트 레이어부(433a-2)는 시간 임계값(Time threshold) tp를 적용하도록 구성된다.
tp는 3초에서 7초 길이의 윈도우로 Rt의 결과가 tp초의 시간만큼 연속적으로 발작이라고 판단하였을 때 비로소 발작이라고 판단한다.
tp길이는 각각의 환자마다 정상상태의 오판율을 최소화할 수 있는 시간으로 정한다.
즉, 도 27과 같은 모델의 경우, 특성(Specificity)이 가장 높으면서, 감광도(Sensitivity)의 손해가 적은 5초로 지정하였으며, 도 28에 도시한 바와 같이, tp를 적용하여 1초의 시간마다 시프팅하며 발작을 판정한다.
본 발명에 따른 CRNN(Convolutional Recurrent Neural Networks) 인공지능 알고리즘은 한 번의 학습이 끝날 때마다 컨볼루션 레이어부와 리커런트 레이어부의 웨이트 들과 바이어스 들을 업데이트한다.
웨이트 값들과 바이어스 값들은 초기에 임의의 값으로 설정되며, 학습이 진행될수록 로스값이 작아지는 방향으로 최적화한다.
활성 함수로는 ReLU(Rectified Linear unit)함수를 사용하며, Loss 함수로는 크로스 엔트로피의 평균값을 사용한다. 학습률은 0.001로 진행하며, 학습 횟수는 5000회가 되도록 구성된다.
본 발명에 따른 리커런트 레이어부(433a-2)에서는 도 29에 도시한 바와 같이, 기쁨, 즐거움과 같은 정상파에서 공포, 슬픔, 분노, 혐오, 우울증와 같은 이상뇌파로 넘어가는 구간의 데이터를 바탕으로 트레이닝 데이터를 만든다.
공포, 슬픔, 분노, 혐오, 우울증와 같은 이상뇌파 데이터의 길이는 모드 상이하다.
데이터에 표시되어 있는 공포, 슬픔, 분노, 혐오, 우울증와 같은 이상뇌파의 시작 시간과 종료 시간은 오차를 고려해 정상파 데이터의 길이는 공포, 슬픔, 분노, 혐오, 우울증와 같은 이상뇌파 데이터 길이의 2배를 사용하도록 설정된다.
다음으로, 테스팅 데이터의 경우 공포, 슬픔, 분노, 혐오, 우울증와 같은 이상뇌파이 포함되어 있는 1~4시간의 데이터를 그대로 사용한다.
테스트는 리브 온 아웃(Leave-one-out)방식을 사용한다.
리브 온 아웃(Leave-one-out)방식은 샘플 중 하나를 돌아가면서 제외시키고, 나머지 샘플들을 가지고 모델을 만든다.
이후 만들어진 모델과 제외한 샘플을 가지고, 테스트하고, 이 과정을 샘플의 수만큼 진행하고 난 후 평균을 내어 성능을 평가하는 방식이다.
일예로, 샘플 파일이 5개가 있다면, 총 5번의 학습을 진행하며, 5 개의 모델을 만든다.
각각의 학습을 진행할 때는 순서대로 1개의 샘플을 제외하고 학습을 진행하며, 제외된 1개의 샘플로 테스트하는 방식이다.
이후 만들어진 모델들의 성능을 평균을 내어 모델의 성능을 평가하고, 기쁨, 공포, 슬픔, 즐거움, 분노, 혐오, 우울증에 해당하는 감정데이터와 매칭시켜, 현재 사용자의 감정데이터를 추출시킨다.
넷째, 본 발명에 따른 CBT용 메타버스 가상공간콘텐츠생성제어부(434)에 관해 설명한다.
상기 CBT용 메타버스 가상공간콘텐츠생성제어부(434)는 생성된 감정데이터에 맞는 1:1 감정맞춤형 인지적행동치료용 메타버스 가상공간콘텐츠를 메타버스구동용 HMD 모듈쪽으로 전송시키도록 제어하는 역할을 한다.
이는 메타버스 플랫폼 구성으로, 도 30에 도시한 바와 같이, CBT용 메타제이프레임(MetaJFrame)부(434a), CBT용 메타애니메이터(MetaAnimator)부(434b), CBT용 메타클립(MetaClip)부(434c), CBT용 메타비지터(MetaVisitor)부(434d), CBT용 메타지알에프(MetaGRF)부(434e), CBT용 메타이벤트리스너(MetaEventListener)부(434f) 로 구성된다.
상기 CBT용 메타제이프레임(MetaJFrame)부(434a)는 오픈 그래픽 라이브러리(OpenGL)의 제이프레임 클래스(JFrame Class)를 상속받은 클래스로 주로 메타버스의 풀스크린(FullScreen) 제어, 또는 UI(User Interface) 컴포넌트(버튼 등의 구성요소)의 컨테이너(Container)(컴포넌트들을 담는 장소)역할을 한다.
상기 CBT용 메타애니메이터(MetaAnimator)부(434b)는 프레임 레이트(Frame rate)와 동시에 처리할 수 있는 프로그램의 단위를 나타내는 메타버스 쓰레드(Thread)를 관리하는 클래스, 그리고 메타버스 프레임 레이트와 각종 쓰레드를 관리하는 역할을 한다.
상기 CBT용 메타클립(MetaClip)부(434c)는 메타버스상의 객체를 정의하기 위한 최상위 추상 클래스의 역할을 수행한다.
상기 CBT용 메타비지터(MetaVisitor)부(434d)는 메타버스상의 객체들의 제어나 움직임을 위한 인터페이스역할을 수행한다.
상기 CBT용 메타지알에프(MetaGRF)부(434e)는 현장공간 3D 데이터를 저장하기 위해 자료관리를 해주는 자체 저장 역할을 수행한다.
상기 CBT용 메타이벤트리스너(MetaEventListener)부(434f)는 재현되는 메타버스이벤트의 코드를 정의한 후, 메타버스상에서 이벤트를 구현시키도록 제어한다.
이처럼, CBT용 메타제이프레임(MetaJFrame)부(434a), CBT용 메타애니메이터(MetaAnimator)부(434b), CBT용 메타클립(MetaClip)부(434c), CBT용 메타비지터(MetaVisitor)부(434d), CBT용 메타지알에프(MetaGRF)부(434e), CBT용 메타이벤트리스너(MetaEventListener)부(434f)로 이루어진 CBT용 메타버스 가상공간콘텐츠생성제어부(434)는 CBT용 메타버스 가상공간콘텐츠 인지적행동치료프로그램 구성으로,
도 31에 도시한 바와 같이, 기쁨형 CBT용 메타버스 가상공간콘텐츠생성제어부(434g), 공포형 CBT용 메타버스 가상공간콘텐츠생성제어부(434h), 슬픔형 CBT용 메타버스 가상공간콘텐츠생성제어부(434i), 즐거움형 CBT용 메타버스 가상공간콘텐츠생성제어부(434j), 분노형 CBT용 메타버스 가상공간콘텐츠생성제어부(434k), 혐오형 CBT용 메타버스 가상공간콘텐츠생성제어부(434l), 우울증형 CBT용 메타버스 가상공간콘텐츠생성제어부(434m)로 구성된다.
상기 기쁨형 CBT용 메타버스 가상공간콘텐츠생성제어부(434g)는 사용자가 기뻐했던 과거 상황을 비슷하게 메타버스 가상공간에서 생성시킨 후, 전문가인 의사와 서로 대화와 상의하면서, 현재 메타버스 가상공간에서 느끼는 기쁨 감정을 유지할 수 있는 가상공간컨텐츠를 생성시키도록 제어시키는 역할을 한다.
상기 공포형 CBT용 메타버스 가상공간콘텐츠생성제어부(434h)는 사용자가 공포를 가졌던 과거 상황을 비슷하게 메타버스 가상공간에서 생성시킨 후, 전문가인 의사와 서로 대화와 상의하면서, 사용자의 공포에 대한 두려움을 하나씩 해소해나가면서, 공포를 가졌던 과거 상황속의 대상과 거리를 조금씩 줄여나가는 가상공간컨텐츠를 생성시키도록 제어시키는 역할을 한다.
상기 슬픔형 CBT용 메타버스 가상공간콘텐츠생성제어부(434i)는 사용자가 슬픔을 가졌던 과거 상황을 비슷하게 메타버스 가상공간에서 생성시킨 후, 전문가인 의사와 서로 대화와 상의하면서, 사용자의 슬픔에 대한 두려움을 하나씩 해소해나가면서, 슬픔을 가졌던 과거 상황속의 대상과 거리를 조금씩 줄여나가는 가상공간컨텐츠를 생성시키도록 제어시키는 역할을 한다.
상기 즐거움형 CBT용 메타버스 가상공간콘텐츠생성제어부(434j)는 사용자가 즐거워했던 과거 상황을 비슷하게 메타버스 가상공간에서 생성시킨 후, 전문가인 의사와 서로 대화와 상의하면서, 현재 메타버스 가상공간에서 느끼는 즐거운 감정을 유지할 수 있는 가상공간컨텐츠를 생성시키도록 제어시키는 역할을 한다.
상기 분노형 CBT용 메타버스 가상공간콘텐츠생성제어부(434k)는 사용자가 분노를 가졌던 과거 상황을 비슷하게 메타버스 가상공간에서 생성시킨 후, 전문가인 의사와 서로 대화와 상의하면서, 사용자의 분노에 대한 두려움을 하나씩 해소해나가면서, 분노를 가졌던 과거 상황속의 대상과 거리를 조금씩 줄여나가는 가상공간컨텐츠를 생성시키도록 제어시키는 역할을 한다.
상기 혐오형 CBT용 메타버스 가상공간콘텐츠생성제어부(434l)는 사용자가 혐오를 가졌던 과거 상황을 비슷하게 메타버스 가상공간에서 생성시킨 후, 전문가인 의사와 서로 대화와 상의하면서, 사용자의 혐오에 대한 두려움을 하나씩 해소해나가면서, 혐오를 가졌던 과거 상황속의 대상과 거리를 조금씩 줄여나가는 가상공간컨텐츠를 생성시키도록 제어시키는 역할을 한다.
상기 우울증형 CBT용 메타버스 가상공간콘텐츠생성제어부(434m)는 사용자가 우울증을 가졌던 과거 상황을 비슷하게 메타버스 가상공간에서 특정 아바타로 생성시킨 후, 우울증을 앓고 있는 특정 아바타를 사용자로 하여금 대화와 위로를 해주도록 하고, 반대로 우울증을 앓고 있는 특정 아바타에게 사용자가 말해줬던 대화와 위로내용 그대로, 사용자 본인에게도 들려주어 사용자의 우울증에 대한 두려움을 하나씩 해소해나가면서, 우울증을 가졌던 과거 상황속의 대상과 거리를 조금씩 줄여나가는 가상공간컨텐츠를 생성시키도록 제어시키는 역할을 한다.
이하, 본 발명에 따른 감정맞춤형 CBT용 AI제어모듈을 통한 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성방법의 구체적인 동작과정에 관해 설명한다.
도 33은 본 발명에 따른 감정맞춤형 CBT용 AI제어모듈을 통한 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성방법을 도시한 순서도에 관한 것이다.
먼저, 메타버스구동용 HMD 모듈을 사용자의 헤드상에 착용하고, 다채널 EEG헬멧모듈을 헬멧과 같이 머리부위에 착용한다(S10).
다음으로, 메타버스구동용 HMD 모듈에서 뇌파를 측정하는 감정유도용 메타버스 가상공간을 구동시킨다(S20).
다음으로, 다채널 EEG헬멧모듈에서, 사용자가 다채널 EEG헬멧모듈을 헬멧과 같이 머리부위에 착용하여, 메타버스 가상공간을 보고, 느끼면서, 움직이는 뇌의 활동에 따라 변화하는 뇌파신호(EEG : Electroencephalogram)를 다채널로 측정한다(S30).
다음으로, EEG-BCI 모듈을 통해, BCI(Brain Computer Interface)망을 형성시켜, 다채널 EEG헬멧모듈에서 측정한 뇌파(EEG)신호를 감정맞춤형 CBT용 AI제어모듈쪽으로 전달시킨다(S40).
다음으로, 감정맞춤형 CBT용 AI제어모듈을 통해, 다채널 EEG헬멧모듈에서 측정한 뇌파(EEG)신호를 입력받아, 웨이브렛 변환과 파워스펙트럼으로 뇌파를 분석한다(S50).
다음으로, 감정맞춤형 CBT용 AI제어모듈을 통해 뇌파분석한 데이터를 기준으로, 학습하면서 추론하여 현재 사용자의 뇌파에 따른 감정데이터를 생성시킨다(S60).
다음으로, 감정맞춤형 CBT용 AI제어모듈을 통해 생성된 감정데이터에 맞는 1:1 감정맞춤형 인지적행동치료용 메타버스 가상공간콘텐츠를 메타버스구동용 HMD 모듈쪽으로 전송시킨다(S70).
끝으로, 메타버스구동용 HMD 모듈에서 감정상태에 따른 1:1 감정맞춤형 인지적행동치료용 메타버스 가상공간을 구동시킨다(S80).
[공포형 CBT용 메타버스 가상공간콘텐츠]
이는 공포형 CBT용 메타버스 가상공간콘텐츠생성제어부(442)를 통해 생성된다.
즉, 사용자가 공포를 가졌던 과거 상황을 비슷하게 메타버스 가상공간에서 생성시킨 후, 전문가인 의사와 서로 대화와 상의하면서, 사용자의 공포에 대한 두려움을 하나씩 해소해나가면서, 공포를 가졌던 과거 상황속의 대상과 거리를 조금씩 줄여나가는 가상공간컨텐츠를 생성시킨다.
일예로, 사용자의 감정분석결과, 까마귀에 관한 공포를 가진 것으로 나왔을 경우에는 메타버스 가상공간에서, 과거 상황을 비슷하게 재현시켜, 먼거리에서 까마귀를 보게하도록 유도시킨 후, 전문가인 의사는 공포를 갖고 있는 사용자와 메타버스 가상공간에서 그 느낌을 서로 상의해가면서 공포를 갖고 있는 사용자의 두려움을 하나씩 해소해나가면서, 까마귀와의 거리를 줄여나가는 방식으로 진행된다.
[우울증형 CBT용 메타버스 가상공간콘텐츠]
이는 우울증형 CBT용 메타버스 가상공간콘텐츠생성제어부(447)를 통해 생성된다.
즉, 사용자가 우울증을 가졌던 과거 상황을 비슷하게 메타버스 가상공간에서 특정 아바타로 생성시킨 후, 우울증을 앓고 있는 특정 아바타를 사용자로 하여금 대화와 위로를 해주도록 하고, 반대로 우울증을 앓고 있는 특정 아바타에게 사용자가 말해줬던 대화와 위로내용 그대로, 사용자 본인에게도 들려주어 사용자의 우울증에 대한 두려움을 하나씩 해소해나가면서, 우울증을 가졌던 과거 상황속의 대상과 거리를 조금씩 줄여나가는 가상공간컨텐츠를 생성시킨다.
일예로, 도 32 및 도 34에 도시한 바와 같이, 사용자의 감정분석결과, 우울증으로 나왔을 경우에는 자신이 별도의 메타버스 가상공간에 들어와 있는 듯한 느낌을 주면서, 메타버스 가상공간에 성인 아바타 하나와 아동 아바타 하나, 그리고, 의자 두개와 거울 하나를 형성시킨다(S81).
그리고, 의자에는 성인 아바타 하나와 아동 아바타 하나를 서로 마주보고 않도록 유도한다.
또한, 성인 아바타의 모습은 옆에 위치한 가상의 거울에도 그대로 투영되도록 구성된다.
이때, 거울에 비친 성인 아바타의 모습이 스스로의 움직임을 그대로 따라하는 것을 보며, 사용자는 성인 아바타와 자신을 강하게 동일시하도록 한다.
이어서, 성인 아바타의 맞은편에 앉은 아동 아바타는 우울함에 빠져 울음을 터뜨리게 유도한다(S82).
이어서, 아동 아바타에게 연민을 표현하고 위로해줄 것을 성인 아바타인 우울증 환자에게 주문요청한다(S83).
이어서, 성인 아바타인 우울증 환자가 위로의 말과 동작을 취하여, 아동 아바타가 점차적으로 울음을 그치도록 안내한다(S84).
이어서, 성인 아바타와 아동 아바타의 입장을 바꿔서, 아동 아바타가 우울증 환자가 돼도록 설정한다(S85).
이어서, 우울증 환자인 아동 아바타는 우울증 환자 본인인 취한 성인 아바타의 행동, 그대로 위로의 말과 동작을 받음으로서, 자기 자신으로부터 위로를 받는 것과 같은 체험을 하도록 안내한다(S86).
끝으로, 상기와 같은 과정을 시간주기별로, 일자주기별로 반복해서 진행한다(S87).
1 : 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성장치
100 : 다채널 EEG헬멧모듈
110 : 헬멧형상의 몸체
120 : 다채널 EEG-BCI 뇌파전극셀
200 : 메타버스구동용 HMD 모듈
210 : 메타버스 가상공간구동형 HMD모듈본체
220 : 메타버스 가상공간구동형 HMD 디스플레이부
230 : 메타버스 가상공간구동형 마이크로 광학부(Micro-Optics)
240 : 메타버스 가상공간구동형 MEMS 기판부
250 : 메타버스 가상공간구동형 HMD 제어부
260 : 메타버스 가상공간구동형 HMD 배터리부
270 : 메타버스 가상공간구동형 HMD 무선통신부
300 : EEG-BCI 모듈
400 : 감정맞춤형 CBT용 AI제어모듈
410 : 뇌파신호처리제어부
420 : 뇌파 분석 알고리즘엔진부
430 : AI형 감정데이터추출부
440 : CBT용 메타버스 가상공간콘텐츠생성제어부

Claims (11)

  1. 사용자가 메타버스 가상공간에서 보고, 느끼고 있을 때, 뇌파를 측정하고, 측정한 뇌파의 감정상태를 기준으로, 1:1 감정맞춤형 인지적행동치료용 메타버스 가상공간콘텐츠를 메타버스 가상공간에 생성시키는 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성장치에 있어서,
    상기 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성장치는
    헬멧과 같이 머리부위에 착용하여, 메타버스 가상공간을 보고, 느끼면서, 움직이는 뇌의 활동에 따라 변화하는 뇌파신호(EEG : Electroencephalogram)를 다채널로 측정하는 다채널 EEG헬멧모듈(100)과,
    다채널 EEG헬멧모듈 일측에 위치되고, 헤드 마운트 디스플레이(HMD)구조로 사용자의 헤드상에 착용되어, 뇌파를 측정하는 감정유도용 메타버스 가상공간을 구동시키거나, 또는 감정맞춤형 CBT용 AI제어모듈로부터 분석한 감정상태에 따른 1:1 감정맞춤형 인지적행동치료용 메타버스 가상공간을 구동시키는 메타버스구동용 HMD 모듈(200)과,
    다채널 EEG헬멧모듈과 감정맞춤형 CBT용 AI제어모듈 사이에 위치되어, BCI(Brain Computer Interface)망을 형성시켜, 다채널 EEG헬멧모듈에서 측정한 뇌파(EEG)신호를 감정맞춤형 CBT용 AI제어모듈쪽으로 전달시키는 EEG-BCI 모듈(300)과,
    EEG-BCI 모듈을 통해 다채널 EEG헬멧모듈에서 측정한 뇌파(EEG)신호를 입력받아, 웨이브렛 변환과 파워스펙트럼으로 뇌파를 분석한 후, 학습하면서 추론하여 현재 사용자의 뇌파에 따른 감정데이터를 생성시키고, 생성된 감정데이터에 맞는 1:1 감정맞춤형 인지적행동치료용 메타버스 가상공간콘텐츠를 메타버스구동용 HMD 모듈쪽으로 전송시키도록 제어하는 감정맞춤형 CBT용 AI제어모듈(400)로 구성되는 것을 특징으로 하는 감정맞춤형 CBT용 AI제어모듈을 통한 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성장치.
  2. 삭제
  3. 제1항에 있어서, 상기 다채널 EEG헬멧모듈(100)은
    헬멧형상으로 형성되어, 각 기기를 외압으로부터 보호하고 지지하는 EEG헬멧모듈몸체(110)와,
    다채널 원통형 셀구조로 이루어져 사용자의 머리 외피에 접촉되도록 EEG헬멧모듈몸체의 표면둘레에 형성되어, 사용자의 뇌파를 측정하는 다채널 EEG-BCI 뇌파전극셀(120)과,
    다채널 EEG-BCI 뇌파전극셀에서 측정한 뇌파(EEG)신호를 차동증폭시켜 잡음을 제거시키는 차동증폭회로부(130)로 구성되는 것을 특징으로 하는 감정맞춤형 CBT용 AI제어모듈을 통한 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성장치.
  4. 제1항에 있어서, 상기 메타버스구동용 HMD 모듈(200)은
    안경처럼 머리에 착용하여, 각 기기를 외압으로부터 보호하고 지지하는 메타버스 가상공간구동형 HMD모듈본체(210)와,
    메타버스 가상공간구동형 HMD모듈본체의 사용자 시선 부위에 위치되어, 뇌파를 측정하는 감정유도용 메타버스 가상공간을 구동시키거나, 또는 감정맞춤형 CBT용 AI제어모듈로부터 분석한 감정상태에 따른 1:1 감정맞춤형 인지적행동치료용 메타버스 가상공간을 디스플레이시키는 메타버스 가상공간구동형 HMD 디스플레이부(220)와,
    메타버스 가상공간구동형 HMD 디스플레이부 전단 일측에 위치되어, 감정유도용 메타버스 가상공간, 1:1 감정맞춤형 인지적행동치료용 메타버스 가상공간을 VR화면으로 구현시키는 메타버스 가상공간구동형 마이크로 광학부(Micro-Optics)(230)와,
    메타버스 가상공간구동형 HMD모듈본체의 측면 일측에 위치되어, 기계부품, 센서, 액츄에이터, 전자 회로를 하나의 실리콘 기판 위에 초소형 MEMS 구조로 패키지 어셈블리형태로 형성되는 메타버스 가상공간구동형 MEMS 기판부(240)와,
    메타버스 가상공간구동형 MEMS 기판부 내에 위치되어, 각 기기의 전반적인 동작을 제어하면서, 뇌파를 측정하는 감정유도용 메타버스 가상공간을 구동시키거나, 또는 감정맞춤형 CBT용 AI제어모듈로부터 분석한 감정상태에 따른 1:1 감정맞춤형 인지적행동치료용 메타버스 가상공간을 디스플레이시키도록 제어하는 메타버스 가상공간구동형 HMD 제어부(250)와,
    메타버스 가상공간구동형 HMD모듈본체의 후면 또는 측면 타측에 위치되어, 각 기기에 전원을 공급하는 메타버스 가상공간구동형 HMD 배터리부(260)와,
    메타버스 가상공간구동형 HMD 배터리부 일측에 위치되어, 근거리 또는 원거리에 위치한 감정맞춤형 CBT용 AI제어모듈과 무선통신망으로 연결시켜, 양방향데이터통신을 수행하는 메타버스 가상공간구동형 HMD 무선통신부(270)로 구성되는 것을 특징으로 하는 감정맞춤형 CBT용 AI제어모듈을 통한 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성장치.
  5. 제1항에 있어서, 상기 감정맞춤형 CBT용 AI제어모듈(400)은
    감정맞춤형 CBT용 AI소켓부, 감정맞춤형 CBT용 AI칩을 외압에 의해 흔들리지 않도록 지지하는 감정맞춤형 CBT용 AI 칩보드(410)와,
    감정맞춤형 CBT용 AI칩을 SoC(System of Chip) 타입으로 꽂아서 사용하는 감정맞춤형 CBT용 AI 소켓부(420)와,
    측정한 뇌파(EEG)신호를 입력받아, 웨이브렛 변환과 파워스펙트럼으로 분석한 후, 학습하면서 추론하여 현재 사용자의 뇌파에 따른 감정데이터를 생성시키고, 생성된 감정데이터에 맞는 1:1 감정맞춤형 인지적행동치료용 메타버스 가상공간콘텐츠를 추출시키도록 제어하는 감정맞춤형 CBT용 AI 칩(430)으로 구성되는 것을 특징으로 하는 감정맞춤형 CBT용 AI제어모듈을 통한 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성장치.
  6. 제5항에 있어서, 상기 감정맞춤형 CBT용 AI 칩(430)은
    EEG-BCI 모듈을 통해 다채널 EEG헬멧모듈에서 측정한 뇌파(EEG)신호를 입력받아 뇌파신호를 처리하는 뇌파신호처리제어부(431)와,
    뇌파신호처리제어부를 통해 신호처리된 뇌파(EEG)신호를 웨이브렛 변환과 파워스펙트럼으로 뇌파 분석시키는 뇌파 분석 알고리즘엔진부(432)와,
    뇌파 분석 알고리즘엔진부를 통해 주파수 영역으로 여러개의 파로 분리시킨 파워 스펙트럼 분포구조를 기준으로, CRNN(Convolutional Recurrent Neural Networks) 인공지능 알고리즘을 통해 학습하면서, 추론하여 기쁨, 공포, 슬픔, 즐거움, 분노, 혐오, 우울증에 해당하는 감정데이터와 매칭시켜, 현재 사용자의 감정상태를 추출시키는 AI형 감정데이터추출부(433)와,
    생성된 감정데이터에 맞는 1:1 감정맞춤형 인지적행동치료용 메타버스 가상공간콘텐츠를 메타버스구동용 HMD 모듈쪽으로 전송시키도록 제어하는 CBT용 메타버스 가상공간콘텐츠생성제어부(434)로 구성되는 것을 특징으로 하는 감정맞춤형 CBT용 AI제어모듈을 통한 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성장치.
  7. 제6항에 있어서, 상기 뇌파 분석 알고리즘엔진부(432)는
    신호처리된 뇌파(EEG)신호에서 사건의 진행에 따른 각 주파수 대역의 스펙트럼 변화를 추적하는 웨이브렛 변환알고리즘엔진부(432a)와,
    웨이브렛 변환알고리즘엔진부를 통해 추출완료한 각 주파수 대역에서, 시간에 따라 변화하는 시계열 신호를 주파수 영역으로 변환하여 여러개의 파로 분리시키도록 제어시키는 파워 스펙트럼 분석제어부(432b)로 구성되는 것을 특징으로 하는 감정맞춤형 CBT용 AI제어모듈을 통한 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성장치.
  8. 제6항에 있어서, 상기 CBT용 메타버스 가상공간콘텐츠생성제어부(434)는
    오픈 그래픽 라이브러리(OpenGL)의 제이프레임 클래스(JFrame Class)를 상속받은 클래스로 주로 메타버스의 풀스크린(FullScreen) 제어, 또는 UI(User Interface) 컴포넌트의 컨테이너(Container)역할을 하는 CBT용 메타제이프레임(MetaJFrame)부(434a)와,
    프레임 레이트(Frame rate)와 동시에 처리할 수 있는 프로그램의 단위를 나타내는 메타버스 쓰레드(Thread)를 관리하는 클래스, 그리고 메타버스 프레임 레이트와 각종 쓰레드를 관리하는 CBT용 메타애니메이터(MetaAnimator)부(434b)와,
    메타버스상의 객체를 정의하기 위한 최상위 추상 클래스의 역할을 수행하는 CBT용 메타클립(MetaClip)부(434c)과,
    메타버스상의 객체들의 제어나 움직임을 위한 인터페이스역할을 수행하는 CBT용 메타비지터(MetaVisitor)부(434d)와,
    현장공간 3D 데이터를 저장하기 위해 자료관리를 해주는 자체 저장 역할을 수행하는 CBT용 메타지알에프(MetaGRF)부(434e)와,
    재현되는 메타버스이벤트의 코드를 정의한 후, 메타버스상에서 이벤트를 구현시키도록 제어하는 CBT용 메타이벤트리스너(MetaEventListener)부(434f)로 구성되는 것을 특징으로 하는 감정맞춤형 CBT용 AI제어모듈을 통한 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성장치.
  9. 제6항에 있어서, 상기 CBT용 메타버스 가상공간콘텐츠생성제어부(434)는
    사용자가 기뻐했던 과거 상황을 비슷하게 메타버스 가상공간에서 생성시킨 후, 전문가인 의사와 서로 대화와 상의하면서, 현재 메타버스 가상공간에서 느끼는 기쁨 감정을 유지할 수 있는 가상공간컨텐츠를 생성시키도록 제어시키는 기쁨형 CBT용 메타버스 가상공간콘텐츠생성제어부(434g)와,
    사용자가 공포를 가졌던 과거 상황을 비슷하게 메타버스 가상공간에서 생성시킨 후, 전문가인 의사와 서로 대화와 상의하면서, 사용자의 공포에 대한 두려움을 하나씩 해소해나가면서, 공포를 가졌던 과거 상황속의 대상과 거리를 조금씩 줄여나가는 가상공간컨텐츠를 생성시키도록 제어시키는 공포형 CBT용 메타버스 가상공간콘텐츠생성제어부(434h)와,
    사용자가 슬픔을 가졌던 과거 상황을 비슷하게 메타버스 가상공간에서 생성시킨 후, 전문가인 의사와 서로 대화와 상의하면서, 사용자의 슬픔에 대한 두려움을 하나씩 해소해나가면서, 슬픔을 가졌던 과거 상황속의 대상과 거리를 조금씩 줄여나가는 가상공간컨텐츠를 생성시키도록 제어시키는 슬픔형 CBT용 메타버스 가상공간콘텐츠생성제어부(434i)와,
    사용자가 즐거워했던 과거 상황을 비슷하게 메타버스 가상공간에서 생성시킨 후, 전문가인 의사와 서로 대화와 상의하면서, 현재 메타버스 가상공간에서 느끼는 즐거운 감정을 유지할 수 있는 가상공간컨텐츠를 생성시키도록 제어시키는 즐거움형 CBT용 메타버스 가상공간콘텐츠생성제어부(434j)와,
    사용자가 분노를 가졌던 과거 상황을 비슷하게 메타버스 가상공간에서 생성시킨 후, 전문가인 의사와 서로 대화와 상의하면서, 사용자의 분노에 대한 두려움을 하나씩 해소해나가면서, 분노를 가졌던 과거 상황속의 대상과 거리를 조금씩 줄여나가는 가상공간컨텐츠를 생성시키도록 제어시키는 분노형 CBT용 메타버스 가상공간콘텐츠생성제어부(434k)와,
    사용자가 혐오를 가졌던 과거 상황을 비슷하게 메타버스 가상공간에서 생성시킨 후, 전문가인 의사와 서로 대화와 상의하면서, 사용자의 혐오에 대한 두려움을 하나씩 해소해나가면서, 혐오를 가졌던 과거 상황속의 대상과 거리를 조금씩 줄여나가는 가상공간컨텐츠를 생성시키도록 제어시키는 혐오형 CBT용 메타버스 가상공간콘텐츠생성제어부(434l)와,
    사용자가 우울증을 가졌던 과거 상황을 비슷하게 메타버스 가상공간에서 특정 아바타로 생성시킨 후, 우울증을 앓고 있는 특정 아바타를 사용자로 하여금 대화와 위로를 해주도록 하고, 반대로 우울증을 앓고 있는 특정 아바타에게 사용자가 말해줬던 대화와 위로내용 그대로, 사용자 본인에게도 들려주어 사용자의 우울증에 대한 두려움을 하나씩 해소해나가면서, 우울증을 가졌던 과거 상황속의 대상과 거리를 조금씩 줄여나가는 가상공간컨텐츠를 생성시키도록 제어시키는 우울증형 CBT용 메타버스 가상공간콘텐츠생성제어부(434m)로 구성되는 것을 특징으로 하는 감정맞춤형 CBT용 AI제어모듈을 통한 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성장치.
  10. 메타버스구동용 HMD 모듈을 사용자의 헤드상에 착용하고, 다채널 EEG헬멧모듈을 헬멧과 같이 머리부위에 착용하는 단계(S10)와,
    메타버스구동용 HMD 모듈에서 뇌파를 측정하는 감정유도용 메타버스 가상공간을 구동시키는 단계(S20)와,
    다채널 EEG헬멧모듈에서, 사용자가 다채널 EEG헬멧모듈을 헬멧과 같이 머리부위에 착용하여, 메타버스 가상공간을 보고, 느끼면서, 움직이는 뇌의 활동에 따라 변화하는 뇌파신호(EEG : Electroencephalogram)를 다채널로 측정하는 단계(S30)와,
    EEG-BCI 모듈을 통해, BCI(Brain Computer Interface)망을 형성시켜, 다채널 EEG헬멧모듈에서 측정한 뇌파(EEG)신호를 감정맞춤형 CBT용 AI제어모듈쪽으로 전달시키는 단계(S40)와,
    감정맞춤형 CBT용 AI제어모듈을 통해, 다채널 EEG헬멧모듈에서 측정한 뇌파(EEG)신호를 입력받아, 웨이브렛 변환과 파워스펙트럼으로 뇌파를 분석하는 단계(S50)와,
    감정맞춤형 CBT용 AI제어모듈을 통해 뇌파분석한 데이터를 기준으로, 학습하면서 추론하여 현재 사용자의 뇌파에 따른 감정데이터를 생성키는 단계(S60)와,
    감정맞춤형 CBT용 AI제어모듈을 통해 생성된 감정데이터에 맞는 1:1 감정맞춤형 인지적행동치료용 메타버스 가상공간콘텐츠를 메타버스구동용 HMD 모듈쪽으로 전송시키는 단계(S70)와,
    메타버스구동용 HMD 모듈에서 감정상태에 따른 1:1 감정맞춤형 인지적행동치료용 메타버스 가상공간을 구동시키는 단계(S80)로 이루어지는 것을 특징으로 하는 감정맞춤형 CBT용 AI제어모듈을 통한 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성방법.
  11. 제10항에 있어서, 상기 메타버스구동용 HMD 모듈에서 감정상태에 따른 1:1 감정맞춤형 인지적행동치료용 메타버스 가상공간을 구동시키는 단계(S80)는
    사용자의 감정분석결과, 우울증으로 나왔을 경우에는 자신이 별도의 메타버스 가상공간에 들어와 있는 듯한 느낌을 주면서, 메타버스 가상공간에 성인 아바타 하나와 아동 아바타 하나, 그리고, 의자 두개와 거울 하나를 형성시키는 단계(S81)와,
    성인 아바타의 맞은편에 앉은 아동 아바타는 우울함에 빠져 울음을 터뜨리게 유도하는 단계(S82)와,
    아동 아바타에게 연민을 표현하고 위로해줄 것을 성인 아바타인 우울증 환자에게 주문요청하는 단계(S83)와,
    성인 아바타인 우울증 환자가 위로의 말과 동작을 취하여, 아동 아바타가 점차적으로 울음을 그치도록 안내하는 단계(S84)와,
    성인 아바타와 아동 아바타의 입장을 바꿔서, 아동 아바타가 우울증 환자가 돼도록 설정하는 단계(S85)와,
    우울증 환자인 아동 아바타는 우울증 환자 본인인 취한 성인 아바타의 행동, 그대로 위로의 말과 동작을 받음으로서, 자기 자신으로부터 위로를 받는 것과 같은 체험을 하도록 안내하는 단계(S86)와,
    S81,S82,S83,S84,S85,S86의 과정을 시간주기별로, 일자주기별로 반복해서 진행하는 단계(S87)가 포함되어 이루어지는 것을 특징으로 하는 감정맞춤형 CBT용 AI제어모듈을 통한 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성방법.
KR1020220003080A 2022-01-10 2022-01-10 감정맞춤형 cbt용 ai제어모듈을 통한 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성장치 및 방법 KR102420359B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220003080A KR102420359B1 (ko) 2022-01-10 2022-01-10 감정맞춤형 cbt용 ai제어모듈을 통한 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성장치 및 방법
US17/986,065 US11759136B2 (en) 2022-01-10 2022-11-14 Apparatus and method for generating 1:1 emotion-tailored cognitive behavioral therapy in meta verse space through artificial intelligence control module for emotion-tailored cognitive behavioral therapy

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220003080A KR102420359B1 (ko) 2022-01-10 2022-01-10 감정맞춤형 cbt용 ai제어모듈을 통한 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성장치 및 방법

Publications (1)

Publication Number Publication Date
KR102420359B1 true KR102420359B1 (ko) 2022-07-14

Family

ID=82406882

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220003080A KR102420359B1 (ko) 2022-01-10 2022-01-10 감정맞춤형 cbt용 ai제어모듈을 통한 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성장치 및 방법

Country Status (2)

Country Link
US (1) US11759136B2 (ko)
KR (1) KR102420359B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102505380B1 (ko) 2022-11-30 2023-03-06 송태홍 인공지능을 활용한 사용자 과거 불안유발상황 파악 및 선제적 행동치료 제시 서비스 제공 방법, 장치 및 시스템
KR102534418B1 (ko) * 2022-07-22 2023-05-30 주식회사 라이펙스 메타버스상에서의 가상 전자명함 판매 활성화 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150123423A (ko) * 2014-04-24 2015-11-04 세종대학교산학협력단 뇌파를 이용하여 사용자의 감정을 분류하는 방법 및 시스템
KR20180123458A (ko) * 2018-11-07 2018-11-16 한국과학기술연구원 생체신호 기반의 환자 맞춤형 중독치료 시스템 및 방법
KR102239039B1 (ko) 2018-11-12 2021-04-12 성균관대학교산학협력단 뇌파 기반의 사용자 감성 인식 방법 및 장치
KR20210099556A (ko) * 2018-09-21 2021-08-12 스티브 커티스 사용자의 감정 상태의 모니터링 및 목표 상태 보강을 통해 사용자 간의 상호 작용의 향상을 위한 시스템 및 방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9101279B2 (en) * 2006-02-15 2015-08-11 Virtual Video Reality By Ritchey, Llc Mobile user borne brain activity data and surrounding environment data correlation system
US11253701B2 (en) * 2010-01-06 2022-02-22 Evoke Neuroscience, Inc. Transcranial stimulation device and method based on electrophysiological testing
US20160235323A1 (en) * 2013-09-25 2016-08-18 Mindmaze Sa Physiological parameter measurement and feedback system
EP3064130A1 (en) * 2015-03-02 2016-09-07 MindMaze SA Brain activity measurement and feedback system
CN108883335A (zh) * 2015-04-14 2018-11-23 约翰·詹姆斯·丹尼尔斯 用于人与机器或人与人的可穿戴式的电子多感官接口
US10685488B1 (en) * 2015-07-17 2020-06-16 Naveen Kumar Systems and methods for computer assisted operation
US10176642B2 (en) * 2015-07-17 2019-01-08 Bao Tran Systems and methods for computer assisted operation
US10149958B1 (en) * 2015-07-17 2018-12-11 Bao Tran Systems and methods for computer assisted operation
EP3332322A4 (en) * 2015-08-06 2018-08-22 Avishai Abrahami Cognitive state alteration system integrating multiple feedback technologies
WO2017222997A1 (en) * 2016-06-20 2017-12-28 Magic Leap, Inc. Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions
KR20180022306A (ko) * 2016-08-24 2018-03-06 한국과학기술연구원 생체신호 기반의 환자 맞춤형 중독치료 시스템 및 방법
WO2018142228A2 (en) * 2017-01-19 2018-08-09 Mindmaze Holding Sa Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location including for at least one of a virtual and augmented reality system
US20170173262A1 (en) * 2017-03-01 2017-06-22 François Paul VELTZ Medical systems, devices and methods
CA3065383A1 (en) * 2017-05-30 2018-12-06 Interaxon Inc. Wearable computing device with electrophysiological sensors
US10698492B2 (en) * 2017-09-28 2020-06-30 John James Daniels Wearable electronic, multi-sensory, human/machine, human/human interfaces
US20220273907A1 (en) * 2017-12-31 2022-09-01 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to enhance emotional response
US11478603B2 (en) * 2017-12-31 2022-10-25 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to enhance emotional response
WO2019239367A1 (en) * 2018-06-14 2019-12-19 Inner Cosmos Llc Virtual user interface system and methods for use thereof
WO2020010320A1 (en) * 2018-07-05 2020-01-09 The Platypus Institute, Inc. Identifying and strengthening physiological/neurophysiological states predictive of superior performance
US20220133194A1 (en) * 2020-05-24 2022-05-05 Optios, Inc. Measuring and strengthening physiological/neurophysiological states predictive of superior performance

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150123423A (ko) * 2014-04-24 2015-11-04 세종대학교산학협력단 뇌파를 이용하여 사용자의 감정을 분류하는 방법 및 시스템
KR20210099556A (ko) * 2018-09-21 2021-08-12 스티브 커티스 사용자의 감정 상태의 모니터링 및 목표 상태 보강을 통해 사용자 간의 상호 작용의 향상을 위한 시스템 및 방법
KR20180123458A (ko) * 2018-11-07 2018-11-16 한국과학기술연구원 생체신호 기반의 환자 맞춤형 중독치료 시스템 및 방법
KR102239039B1 (ko) 2018-11-12 2021-04-12 성균관대학교산학협력단 뇌파 기반의 사용자 감성 인식 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102534418B1 (ko) * 2022-07-22 2023-05-30 주식회사 라이펙스 메타버스상에서의 가상 전자명함 판매 활성화 장치 및 방법
KR102505380B1 (ko) 2022-11-30 2023-03-06 송태홍 인공지능을 활용한 사용자 과거 불안유발상황 파악 및 선제적 행동치료 제시 서비스 제공 방법, 장치 및 시스템

Also Published As

Publication number Publication date
US11759136B2 (en) 2023-09-19
US20230218215A1 (en) 2023-07-13

Similar Documents

Publication Publication Date Title
CN110765920B (zh) 基于卷积神经网络的运动想象分类方法
Bhatti et al. Human emotion recognition and analysis in response to audio music using brain signals
Greco et al. Advances in Electrodermal activity processing with applications for mental health
Onton et al. High-frequency broadband modulation of electroencephalographic spectra
Minhad et al. Happy-anger emotions classifications from electrocardiogram signal for automobile driving safety and awareness
Murugappan et al. Inferring of human emotional states using multichannel EEG
US11759136B2 (en) Apparatus and method for generating 1:1 emotion-tailored cognitive behavioral therapy in meta verse space through artificial intelligence control module for emotion-tailored cognitive behavioral therapy
Seal et al. An EEG database and its initial benchmark emotion classification performance
Lehtonen EEG-based brain computer interfaces
da Silva Junior et al. Exploratory study of the effect of binaural beat stimulation on the EEG activity pattern in resting state using artificial neural networks
Al-Shargie Early detection of mental stress using advanced neuroimaging and artificial intelligence
Baghdadi et al. Dasps: a database for anxious states based on a psychological stimulation
Abdulwahab et al. A Systematic Review of Brain-Computer Interface Based EEG
KR20080107961A (ko) 오감 정보 처리기법 및 뇌파를 활용한 사용자 적응형임상진단/치료시스템
Son et al. EEG-based emotion classification for verifying the Korean emotional movie clips with support vector machine (SVM)
Muhammad et al. Design and Development of Low-cost Wearable Electroencephalograms (EEG) Headset
Islam et al. A Review on Emotion Recognition with Machine Learning Using EEG Signals
Hassib Mental task classification using single-electrode brain computer interfaces
da Silva Júnior et al. Using artificial neural networks on multi-channel eeg data to detect the effect of binaural stimuli in resting state
Yousefi et al. A New Solution to the Brain State Permanency for Brain-Based Authentication Methods
Kanaga et al. A Pilot Investigation on the Performance of Auditory Stimuli based on EEG Signals Classification for BCI Applications
Mangia Cognitive assessment and rehabilitation of subjects with traumatic brain injury
Arpaia et al. Wearable Brain-Computer Interfaces: Prototyping EEG-Based Instruments for Monitoring and Control
Henshaw Improved brain-computer interface methods with application to gaming
Abdulwahab et al. A Survey in Implementation and Applications of Electroencephalograph (EEG)-Based Brain-Computer Interface

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant