KR102388596B1 - 동하는 상태에서 뇌와 관련된 신호를 수집하고, 디지털 컨텐츠 기반 치료 정보를 제공하는 장치 및 방법 - Google Patents

동하는 상태에서 뇌와 관련된 신호를 수집하고, 디지털 컨텐츠 기반 치료 정보를 제공하는 장치 및 방법 Download PDF

Info

Publication number
KR102388596B1
KR102388596B1 KR1020220032204A KR20220032204A KR102388596B1 KR 102388596 B1 KR102388596 B1 KR 102388596B1 KR 1020220032204 A KR1020220032204 A KR 1020220032204A KR 20220032204 A KR20220032204 A KR 20220032204A KR 102388596 B1 KR102388596 B1 KR 102388596B1
Authority
KR
South Korea
Prior art keywords
brain
user
information
state
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020220032204A
Other languages
English (en)
Inventor
김성연
Original Assignee
액티브레인바이오(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 액티브레인바이오(주) filed Critical 액티브레인바이오(주)
Priority to KR1020220032204A priority Critical patent/KR102388596B1/ko
Application granted granted Critical
Publication of KR102388596B1 publication Critical patent/KR102388596B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4836—Diagnosis combined with treatment in closed-loop systems or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
    • A61B5/0036—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room including treatment, e.g., using an implantable medical device, ablating, ventilating
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/112—Gait analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/12—Audiometering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue
    • A61B5/14542—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14553—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases specially adapted for cerebral tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064—Evaluating the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4082—Diagnosing or monitoring movement diseases, e.g. Parkinson, Huntington or Tourette
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4094—Diagnosing or monitoring seizure diseases, e.g. epilepsy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/742—Details of notification to user or communication with user or patient; User input means using visual displays
    • A61B5/7435—Displaying user selection data, e.g. icons in a graphical user interface
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/12—Audiometering
    • A61B5/121—Audiometering evaluating hearing capacity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Neurology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Neurosurgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Psychology (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Social Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Educational Technology (AREA)
  • Optics & Photonics (AREA)
  • Acoustics & Sound (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

본 발명의 일 양상인 디지털 컨텐츠 기반 치료 정보 제공 장치는, 사용자의 뇌와 관련된 신호를 수집하는 뇌 신호 측정부; 상기 뇌 신호 측정부의 신호 수집 동작을 위해, 상기 사용자의 뇌를 자극하기 위한 뇌 신호 자극부; 및 상기 수집된 신호를 기초로, 상기 사용자의 뇌 상태를 판단하는 진단부; 를 포함하고, 상기 뇌 신호 측정부는, 상기 뇌 신호 자극부에 의한 뇌 자극을 기초로, 상기 사용자의 fNIRS(functional near-infrared spectroscopy) 데이터를 획득하고, 상기 획득된 fNIRS 데이터를 이용하여 상기 사용자의 뇌의 복수의 영역 중 활성화된 제 1 뇌 활성화 영역을 추출하며, 상기 진단부는, 상기 제 1 뇌 활성화 영역을 기초로, 상기 사용자의 제 1 뇌 상태를 판단하고, XR(Extended Reality) 환경에서, 상기 판단된 제 1 뇌 상태에 대응하여 결정된 컨텐츠를 상기 사용자에 제공하는 관리부;를 더 포함할 수 있다.

Description

동하는 상태에서 뇌와 관련된 신호를 수집하고, 디지털 컨텐츠 기반 치료 정보를 제공하는 장치 및 방법 {device and method that collect signals related to the brain in an active state and provide digital therapeutics information}
본 발명은 디지털 컨텐츠 기반 치료 정보 제공 장치 및 방법에 관한 것으로, 더욱 상세하게는 사용자가 활동하는 상태에서 뇌와 관련된 신호를 수집하고, 이를 기초로 사용자의 뇌 상태를 판단하여 디지털치료제(digital therapeutics)를 제공하는 장치 및 방법에 관한 것이다.
뇌는 우리의 행동과 환경에 따라 회로를 새롭게 바꾸기도 하고, 새로운 기능을 만들어 내거나 세포를 만들어 성장하기도 한다. 그리고 우리가 어떤 생각을 하는가에 따라 뇌 영역의 기능이 바뀌기도 한다.
뇌 영역 중에서 학습과 기억력을 담당하는 히포캠퍼스(hippocampus)는 새로운 신경세포(neuron)를 생산(neurogenesis)하는 역할을 하며, 가장 신경 발생이 활발하게 일어나는 영역이다. 히포캠퍼스 다음으로, 신경세포 생산과 신경 발생이 활발한 부위는 영역은 후각 관련 영역으로서, 새로운 냄새를 맡으면 뇌는 냄새를 감별하는 새로운 뇌세포를 만들어 낸다.
그러나 뇌 세포를 포함한 모든 신경섬유소는 장기간 생존하는 것이 아니라 시간이 지나면서 소멸한다. 세포의 소멸은 노화 또는 퇴화를 의미하므로, 소멸되는 것보다 세포의 생산 및 신경 발달이 활발해야 한다. 따라서, 신경섬유소, 특히 뇌 세포를 활발하게 하기 위해서는 신경 발생의 속도 그리고 신경세포의 생존 기간에 영향을 미치는 요인들을 찾아내는 것이 매우 중요하다.
뇌 세포의 생산, 신경 발생, 신경 발생의 속도 및 생존 기간 등을 활발하게 하는 것을 활성화라고 할 때, 기존에는 뇌를 활성화하기 위한 방법으로 운동이나 음식, 자극제, 게임, 음악, 명상 등이 활용하였다. 그러나 최근 신경과학자들에 의해 상기 요인들이 발견되었고, 발견된 요인들을 적용해서 뇌를 활성화하여 뇌 기능을 향상시키는 방법들이 개발되고 있다.
한편, 뇌기능을 검사하거나 진단하는 경우에는, 컴퓨터 단층 촬영(Computer Tomography, CT), 자기 공명 영상(Magnetic Resonace Imaging, MRI), 양전자 방출 단층 촬영(Proton Emission Tomography, PET), 뇌전도(electroencephalograph, EEG), 뇌자도(magnetoencephalography, MEG), 기능적 자기 공명 영상(Fuctional Magnetic Resonace Imaging, FMRI) 등 다양한 방식을 이용하고 있다.
대한민국 특허 등록번호 제10-1754291호 (2017년 7월 6일 공고) 대한민국 특허 공개번호 제10-2016-0058812호 (2016년 5월 25일 공개) 대한민국 특허 등록번호 10-1768393호 (2017년 8월 17일 공고) 대한민국 특허 등록번호 10-1295187호 (2013년 8월 9일 공고)
본 발명은 전술한 종래의 문제점을 해소하고자 디지털 컨텐츠 기반 치료 정보 제공 장치 및 방법을 제공하고자 한다.
구체적으로 본 발명은, 사용자가 활동하는 상태에서 뇌와 관련된 신호를 수집하고, 이를 기초로 사용자의 뇌 상태를 판단하여 디지털치료제(digital therapeutics)를 제공하는 장치 및 방법을 제공하고자 한다.
또한, 본 발명은, 사용자에 대한 뇌 자극을 수행하여, 상기 사용자의 fNIRS 데이터를 획득하고, 획득된 fNIRS 데이터를 이용하여 뇌의 복수의 영역 중 활성화된 영역을 추출하며, 뇌 활성화 영역을 기초로, 사용자의 뇌 상태를 판단하고, XR(Extended Reality) 환경에서, 판단된 뇌 상태에 대응하여 결정된 콘텐츠를 사용자에 제공하며, 컨텐츠에 대응하여 사용자가 미션을 수행하는 과정을 통해, 디지털치료제(digital therapeutics)를 제공하는 장치 및 방법을 제공하고자 한다.
또한, 본 발명은, 상기 미션을 수행한 사용자의 fNIRS 데이터를 기준으로, 활성화된 뇌 활성화 영역을 추가적으로 추출하고, 추가적으로 획득한 뇌 활성화 영역을 기초로 뇌 상태를 판단한 후, 초기의 뇌 상태 정보 및 추가로 획득한 뇌 상태 정보를 이용하여 사용자의 뇌 상태 개선과 관련된 정보를 결정 및 제공하는 디지털치료제(digital therapeutics)의 제공 장치 및 방법을 제공하고자 한다.
또한, 본 발명은 무증상기의 뇌 기능 측정을 통해 사전 예측 및 조기 진단이 가능한 인공지능 기반 뇌 분석 기술을 사용자에게 제공하고자 한다.
또한, 본 발명은 활동 상태의 뇌를 측정하여 이미지화 한 뇌 활성화 데이터를 기초로, 채널위치 별 기능적 근적외선 분광기기 신호의 시계열 블록 평균을 머리에 매핑하는 방식으로 비침습적으로 뇌기능을 계측하는 기술을 사용자에게 제공하고자 한다.
또한, 본 발명은 뇌 활성화 영역 및 상태 인지 알고리즘과 분석 시각화 기술을 사용자에게 제공하고자 한다.
또한, 본 발명은 뇌 활성화 정보 획득을 위한 자극 기술을 사용자에게 제공하고자 한다.
또한, 본 발명은 여러 명의 뇌 변화와 Inter-brain synchrony(동시성)을 측정하는 Hyper-scanning 기술을 사용자에게 제공하고자 한다.
또한, 본 발명은 청각 정보를 활용하여 뇌 활성화 상태를 판단하는 기술을 사용자에게 제공하고자 한다.
또한, 본 발명은 생체 정보(유전자 정보, 청력 정보, 걸음걸이 패턴 정보, 스트레스 정보, 심전도 변화 정보, 수면 상태 및 집중력 변화 정보, EEG 변화 및 산소포화도 변화 정보 등)를 활용하여 뇌 활성화 상태를 판단하는 기술을 사용자에게 제공하고자 한다.
또한, 본 발명은 영상 정보(MRI, PET, CT, fMRI, X-ray 등)를 활용하여 뇌 활성화 상태를 판단하는 기술을 사용자에게 제공하고자 한다.
또한, 본 발명은 복수의 데이터 간의 상관관계 처리를 기반으로 한 예측, 진단, 치료 기술을 사용자에게 제공하고자 한다.
또한, 본 발명은 바이오 마커로 활용 가능한 실시간 데이터 획득 및 분석 기술을 사용자에게 제공하고자 한다.
또한, 본 발명은 치매, 경도인지장애(MCI), 파킨슨병, 우울증, 뇌졸중, 뇌전증, 뇌종양 및 발달장애 관련, 문제 예방, 관리, 진단, 치료 기술을 사용자에게 제공하고자 한다.
또한, 본 발명은 메타버스 환경을 기초로, 뇌 기능을 측정하여 사용자에게 피드백을 제공하는 기술을 사용자에게 제공하고자 한다.
한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기의 기술적 과제를 달성하기 위한 본 발명의 일 양상인 디지털 컨텐츠 기반 치료 정보 제공 방법은, 사용자에 대한 뇌 자극을 수행하여, 상기 사용자의 fNIRS(functional near-infrared spectroscopy) 데이터를 획득하는 제 1 단계; 상기 획득된 fNIRS 데이터를 이용하여 상기 사용자의 뇌의 복수의 영역 중 활성화된 제 1 뇌 활성화 영역을 추출하는 제 2 단계; 상기 제 1 뇌 활성화 영역을 기초로, 상기 사용자의 제 1 뇌 상태를 판단하는 제 3 단계; XR(Extended Reality) 환경에서, 상기 판단된 제 1 뇌 상태에 대응하여 결정된 콘텐츠를 상기 사용자에 제공하는 제 4 단계; 상기 컨텐츠에 대응하여 상기 사용자가 미션을 수행하는 제 5 단계; 상기 미션을 수행한 사용자의 fNIRS 데이터를 기준으로, 상기 복수의 영역 중 활성화된 제 2 뇌 활성화 영역을 추출하는 제 6 단계; 상기 제 2 뇌 활성화 영역을 기초로, 상기 사용자의 제 2 뇌 상태를 판단하는 제 7 단계; 및 상기 제 1 뇌 상태 정보 및 상기 제 2 뇌 상태 정보를 이용하여 상기 사용자의 뇌 상태 개선과 관련된 정보를 결정하는 제 8 단계;를 포함할 수 있다.
또한, 상기 제 4 단계는, 상기 제1 상태를 베이스 라인으로 결정하는 제 4-1 단계; 상기 제 1 상태에 대응하여, 상기 제 1 뇌 활성화 영역의 활성화를 위한 상기 콘텐츠를 결정하는 제 4-2 단계; 및 상기 XR 환경 체험을 위해, 상기 사용자가 착용한 기기를 통해, 상기 콘텐츠를 상기 사용자에 제공하는 제 4- 3 단계;를 포함할 수 있다.
또한, 상기 제 5 단계는, 상기 컨텐츠의 플레이 진행 정도에 따라 변화하는 상기 미션을 상기 사용자가 수행하는 제 5-1 단계; 및 상기 사용자가 미션을 수행하는 상태의 상기 사용자의 뇌 관련 정보를 실시간으로 제공하는 제 5-2 단계;를 포함할 수 있다.
또한, 상기 컨텐츠는, 정서안정을 위한 콘텐츠(Relaxation), 스트레스 상황 관리 콘텐츠(Problem-solving), 참여도 관리 콘텐츠(Engagement), 감정 조절 콘텐츠(Self-control) 및 충동 행동 컨트롤 콘텐츠 (Impulse Control)를 포함할 수 있다.
또한, 상기 사용자는 복수이고, 상기 컨텐츠는, 상기 복수의 사용자 중 적어도 일부가 함께 상기 미션을 수행하는 그룹 테라피(Group therapy) 컨텐츠를 더 포함할 수 있다.
또한, 상기 제 3 단계에서, 상기 제 1 뇌상태를 기초로, 상기 사용자의 뇌 질환을 판단하고, 상기 뇌 질환은, 치매, 경도인지장애(MCI), 파킨슨병, 우울증, 뇌졸중, 뇌전증, 뇌종양 및 발달장애를 포함할 수 있다.
또한, 상기 제 4 단계에서, 상기 판단한 뇌 질환의 치료와 관련하여, 상기 콘텐츠가 결정될 수 있다.
또한, 상기 제 1 단계 이전에, 상기 사용자와 관련된 신체 정보 및 상기 사용자와 관련된 의료 영상 정보를 수집하는 제 0.5 단계;를 더 포함하고, 상기 제 3 단계에서, 상기 제 1 뇌 활성화 영역 정보, 상기 신체 정보 및 상기 의료 영상 정보를 함께 이용하여 상기 제 1 뇌 상태를 판단할 수 있다.
또한, 상기 제 3 단계에서, 미리 축적된 데이터 베이스를 기반으로, 상기 복수의 영역 각각과 관련된 활성화 정보, 상기 신체 정보 및 상기 의료 영상 정보 간의 상관관계를 추가적으로 이용하여, 상기 제 1 뇌 상태를 판단할 수 있다.
또한, 상기 신체 정보는, 상기 사용자의 청력 손상 정도, 상기 사용자의 걸음걸이 패턴, 스트레스 정도, 심전도 변화, 수면 상태 및 집중력 변화, EEG 변화 및 산소포화도 변화 중 적어도 하나를 포함하고, 상기 의료 영상 정보는, 상기 사용자와 관련된 MRI 영상, 상기 사용자와 관련된 CT 영상 및 상기 사용자와 관련된 fMRI 영상 중 적어도 하나를 포함할 수 있다.
또한, 상기 제 8 단계 이후에는, 상기 제 1 뇌 상태 정보, 상기 제 2 뇌 상태 정보 및 상기 뇌 상태 개선 정보 중 적어도 하나를 상기 사용자에 제공하는 제 9 단계;를 더 포함할 수 있다.
또한, 상기 제 1 단계는, 복수의 광원을 통해 상기 사용자의 두피에 광을 조사하는 제 1-1 단계; 및 상기 복수의 광원 각각에 대응하는 검출부를 통해 상기 광이 조사된 두피에서 상기 fNIRS 데이터를 검출하는 제 1-2 단계;를 포함하고, 상기 fNIRS 데이터는, 상기 두피를 통해 전달되는 근적외선 광 세기의 변화를 나타내고, 이동 평균 저대역 필터(moving average low-pass filter)를 통해 아티팩트(artifact)가 제거된 데이터이며, 상기 제 3 단계에서, 상기 제 1 뇌 상태를 판단하기 위해, 전력 스펙트럼 분석 방식(power spectrum) 및 z-score 분석 방식이 이용될 수 있다.
또한, 상기 제 3 단계에서, 상기 제 1 뇌 활성화 영역을 기초로 상기 사용자의 움직임을 제어하는 SMA(Supplementary Motor Area) 영역에 대한 분석 데이터를 산출하고, 상기 산출된 분석 데이터를 기초로 상기 제 1 뇌 상태를 결정할 수 있다.
또한, 상기 제 3 단계에서, 상기 사용자에 특정 이벤트가 발생된 상황에서, 상기 SMA 영역에 대한 분석 데이터 값이 기준선을 중심으로 증가할수록 상기 대상체가 움직임에 제약이 있는 상태인 것으로 결정하고, 분석 데이터 값이 기준선을 중심으로 감소할수록 상기 대상체가 움직임에 능숙한 상태인 것으로 결정할 수 있다.
한편, 상기의 기술적 과제를 달성하기 위한 본 발명의 다른 일 양상인 디지털 컨텐츠 기반 치료 정보 제공 장치는, 사용자의 뇌와 관련된 신호를 수집하는 뇌 신호 측정부; 상기 뇌 신호 측정부의 신호 수집 동작을 위해, 상기 사용자의 뇌를 자극하기 위한 뇌 신호 자극부; 및 상기 수집된 신호를 기초로, 상기 사용자의 뇌 상태를 판단하는 진단부; 를 포함하고, 상기 뇌 신호 측정부는, 상기 뇌 신호 자극부에 의한 뇌 자극을 기초로, 상기 사용자의 fNIRS(functional near-infrared spectroscopy) 데이터를 획득하고, 상기 획득된 fNIRS 데이터를 이용하여 상기 사용자의 뇌의 복수의 영역 중 활성화된 제 1 뇌 활성화 영역을 추출하며, 상기 진단부는, 상기 제 1 뇌 활성화 영역을 기초로, 상기 사용자의 제 1 뇌 상태를 판단하고, XR(Extended Reality) 환경에서, 상기 판단된 제 1 뇌 상태에 대응하여 결정된 콘텐츠를 상기 사용자에 제공하는 관리부;를 더 포함하며, 상기 컨텐츠에 대응하여 상기 사용자가 미션을 수행하는 경우, 상기 뇌 신호 측정부는, 상기 미션을 수행한 사용자의 fNIRS 데이터를 기준으로, 상기 복수의 영역 중 활성화된 제 2 뇌 활성화 영역을 추출하고, 상기 진단부는, 상기 제 2 뇌 활성화 영역을 기초로, 상기 사용자의 제 2 뇌 상태를 판단하고, 상기 제 1 뇌 상태 정보 및 상기 제 2 뇌 상태 정보를 이용하여 상기 사용자의 뇌 상태 개선과 관련된 정보를 결정할 수 있다.
본 발명은 디지털 컨텐츠 기반 치료 정보 제공 장치 및 방법을 제공할 수 있다.
구체적으로 본 발명은, 사용자가 활동하는 상태에서 뇌와 관련된 신호를 수집하고, 이를 기초로 사용자의 뇌 상태를 판단하여 디지털치료제(digital therapeutics)를 제공하는 장치 및 방법을 제공할 수 있다.
또한, 본 발명은, 사용자에 대한 뇌 자극을 수행하여, 상기 사용자의 fNIRS 데이터를 획득하고, 획득된 fNIRS 데이터를 이용하여 뇌의 복수의 영역 중 활성화된 영역을 추출하며, 뇌 활성화 영역을 기초로, 사용자의 뇌 상태를 판단하고, XR(Extended Reality) 환경에서, 판단된 뇌 상태에 대응하여 결정된 콘텐츠를 사용자에 제공하며, 컨텐츠에 대응하여 사용자가 미션을 수행하는 과정을 통해, 디지털치료제(digital therapeutics)를 제공하는 장치 및 방법을 제공할 수 있다.
또한, 본 발명은, 상기 미션을 수행한 사용자의 fNIRS 데이터를 기준으로, 활성화된 뇌 활성화 영역을 추가적으로 추출하고, 추가적으로 획득한 뇌 활성화 영역을 기초로 뇌 상태를 판단한 후, 초기의 뇌 상태 정보 및 추가로 획득한 뇌 상태 정보를 이용하여 사용자의 뇌 상태 개선과 관련된 정보를 결정 및 제공하는 디지털치료제(digital therapeutics)의 제공 장치 및 방법을 제공할 수 있다.
또한, 본 발명은 무증상기의 뇌 기능 측정을 통해 사전 예측 및 조기 진단이 가능한 인공지능 기반 뇌 분석 기술을 사용자에게 제공하고자 한다.
또한, 본 발명은 활동 상태의 뇌를 측정하여 이미지화 한 뇌 활성화 데이터를 기초로, 채널위치 별 기능적 근적외선 분광기기 신호의 시계열 블록 평균을 머리에 매핑하는 방식으로 비침습적으로 뇌기능을 계측하는 기술을 사용자에게 제공하고자 한다.
또한, 본 발명은 뇌 활성화 영역 및 상태 인지 알고리즘과 분석 시각화 기술을 사용자에게 제공하고자 한다.
또한, 본 발명은 뇌 활성화 정보 획득을 위한 자극 기술을 사용자에게 제공하고자 한다.
또한, 본 발명은 여러 명의 뇌 변화와 Inter-brain synchrony(동시성)을 측정하는 Hyper-scanning 기술을 사용자에게 제공할 수 있다.
또한, 본 발명은 청각 정보를 활용하여 뇌 활성화 상태를 판단하는 기술을 사용자에게 제공할 수 있다.
또한, 본 발명은 생체 정보(유전자 정보, 청력 정보, 걸음걸이 패턴 정보, 스트레스 정보, 심전도 변화 정보, 수면 상태 및 집중력 변화 정보, EEG 변화 및 산소포화도 변화 정보 등)를 활용하여 뇌 활성화 상태를 판단하는 기술을 사용자에게 제공할 수 있다.
또한, 본 발명은 영상 정보(MRI, PET, CT, fMRI, X-ray 등)를 활용하여 뇌 활성화 상태를 판단하는 기술을 사용자에게 제공할 수 있다.
또한, 본 발명은 복수의 데이터 간의 상관관계 처리를 기반으로 한 예측, 진단, 치료 기술을 사용자에게 제공할 수 있다.
또한, 본 발명은 바이오 마커로 활용 가능한 실시간 데이터 획득 및 분석 기술을 사용자에게 제공할 수 있다.
또한, 본 발명은 치매, 경도인지장애(MCI), 파킨슨병, 우울증, 뇌졸중, 뇌전증, 뇌종양 및 발달장애 관련, 문제 예방, 관리, 진단, 치료 기술을 사용자에게 제공할 수 있다.
또한, 본 발명은 메타버스 환경을 기초로, 뇌 기능을 측정하여 사용자에게 피드백을 제공하는 기술을 사용자에게 제공할 수 있다.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명과 관련하여, 인공지능 기반 뇌 정보 제공 장치의 블록 구성도를 도시한 것이다.
도 2은 본 발명과 관련하여, 인공지능 기반 뇌 정보 제공 장치의 구성요소인 뇌 신호 측정부의 블록 구성도를 도시한 것이다.
도 3은 본 발명과 관련하여, 뇌 신호 측정부의 동작을 설명하기 위한 도면이다.
도 4a 및 도 4b는 본 발명에 적용되는 기능적 근적외선 분광분석법을 설명하기 위한 도면이다.
도 5 및 도 6은 본 발명과 관련하여, 뇌 신호 측정부가 측정한 신호를 뇌 관련 정보로 시각화하여 표시하는 일례를 도시한 것이다.
도 7a 내지 도 7c는 본 발명과 관련하여, 뇌 신호 측정부가 측정한 신호, 시각화된 정보 및 처리된 정보의 일례를 도시한 것이다.
도 8은 본 발명과 관련하여, 인공지능 기반 뇌 정보 제공 장치의 구성요소인 뇌 신호 자극부의 블록 구성도를 도시한 것이다.
도 9는 본 발명과 관련하여, 사용자 데이터 수집부의 블록 구성도를 도시한 것이다.
도 10은 본 발명과 관련하여, 영상 획득부의 블록 구성도를 도시한 것이다.
도 11은 본 발명의 실시예에 따른 z-score 분석 방식을 이용하여 산출된 SMA 영역에서의 분석 데이터를 나타내는 예시도이다.
도 12는 본 발명에 따른 멀티센서 바이오데이터 기반 활성형 XR 디지털 치료 제공 모델의 일례를 설명하기 위한 도면이다.
도 13 및 도 14는 본 발명에 따라 획득되는 생체 데이터의 일례를 도시한 것이다.
도 15는, 본 발명에 따른 디지털 컨텐츠 기반 치료 정보 제공 방법 및 시스템의 적용 일례를 설명하기 위한 도면이다.
도 16은 본 발명이 제공하는 디지털 컨텐츠 기반 치료 정보 제공 방법을 설명하는 순서도의 일례를 도시한 것이다.
도 17 및 도 18은, 본 발명과 관련하여 복수의 데이터 간의 상관관계 처리를 기반으로 한 예측, 진단, 치료 기술을 사용자에게 제공하는 방법을 설명하기 위한 도면이다.
도 19a 내지 도 19c는 XR(Extended Reality) 환경에서, 사용자의 뇌 상태에 대응하여 결정된 콘텐츠를 제공하는 일례를 도시한 것이다.
도 20a 내지 도 20c는 XR 환경에서 제공된 컨텐츠에 대응하여 사용자가 미션을 수행하고, 뇌 상태를 모니터링하는 일례를 도시한 것이다.
퇴행성 뇌 질환
2019년 기준 우리나라의 고령인구(65세 이상)의 비율은 전체 인구의 13.2%이나, 고령인구의 급속한 증가로 2025년을 기점으로 그 비율이 20%에 달하는 초 고령화 사회로 진입할 것으로 예상된다.
향후 45년간 유소년 및 생산가능인구의 비중은 각각 3.7%p, 23.3%p씩 감소할 것으로 예측되고, 2060년에는 고령 인구의 비율이 40.1%를 차지할 것으로 예상된다.
향후 노인부양비는 지속적으로 상승하여, 2050년에는 미국의 2배 수준에 달하며, 2060년에는 일본과 함께 세계에서 제일 높은 나라가 될 것으로 예상된다.
초고령화 사회에서 예견되는 치매 인구의 급격한 증가세가 나타나는데, 치매의 유병율은 나이가 증가할수록 증가하는 추세를 보이며, 60세부터는 유병율이 4-5년마다 두 배씩 증가하여 80세 인구 1/3 이상이 치매 증상을 보이고 있다.
따라서, 치매는 앞으로 초고령화 사회로 접어들 현 시대에서 극복해야 할 중요한 당면 과제 중 하나이고, 세계 치매 유병자의 수는 스페인 인구보다 많은 4천6백으로, 20년마다 두 배씩 증가하여 2050년에는 1억3천만 명으로 급증할 것으로 예상된다.
동아시아권의 치매인구 수는 2050년까지 193% 증가할 것으로 예상되며, 국내 치매 환자 수는 2050년에 271만 명에 도달할 것으로 추정된다.
따라서 국가 치매 관리 비용의 상승 및 경제, 사회적 부담이 발생되고 있는데, 치매 환자수의 급증은 국가 치매 관리 비용의 상승을 야기하고, 2019년 기준 연간 약 1조원 (GDP의 약 0.7%)의 국가치매관리비용이 발생하고 있으며, 향후 10년마다 2배씩 증가하여 2050년에는 130조원 (GDP의 약 2.0%)을 상회할 것으로 추정된다.
이러한 치매 유발로 인한 경제적 비용은 심장병이나 암보다 각각 2배, 3배 이상으로 치매로 인한 전 세계적 사회경제적 비용은 2015년 기준 818억 달러가 소요되었고, 2030년 2조 달러로 증가할 것으로 전망된다.
치매로 인한 국내의 사회경제적 손실이 연간 2조원에 육박하고 있으며, 최근 4년간 2배 이상 급증하고 있다(출처: 건강보험정책연구원 조사 보고서).
세계적 인구 고령화에 따른 퇴행성 뇌 질환의 발병률 증가와 이로 인한 사회적 문제로 증대되고 있는데, 치매 등 퇴행성 뇌 질환 치료제 및 예방을 위한 연구가 활발하지만, 여전히 답보 상태이고, 현재의 치매 진단 기술은 대학병원 및 전문병원 급에서 고가의 정밀검사를 통해 진행되어 낮은 심리적, 지리적, 경제적 접근성을 보이는 문제가 있다.
현재 치매환자의 검진률 45%에 불과하고(4대암 유병자 90% 이상), 치매 환자의 비침습 치매 진단법은 다양한 분야에서 제안이 되었으나, 실시간 모니터링을 통해 정보를 종합하여 진단하는 연구는 진행된 바 없다,
또한, 치매 치료제 개발 실패율은 약 9.6%이며, 많은 기대를 모은 아밀로이드 베타표적 치료제인 솔라네주맙은 최근 임상 3상 시험에서 최종 실패를 발표하는 등 답보 상태이다.
치매 치료제 개발 성공률이 1%에 미치지 못하는 이유는 치매의 발병 기전을 아직 명확히 밝혀내지 못했기 때문이다.
종래 진단 기술의 문제점
현재의 치매 진단은 뇌 이미징, 뇌파검사, 혈액검사, 뇌척수액 검사, 신경심리검사 등 여러 검사를 토대로 종합적인 판단에 의거하여 이루어진다.
비용과 관련하여, 뇌 이미징은 뇌 위축 등의 형태를 직접적으로 볼 수 있어 널리 이용되며, 자기공명촬영 (MRI), 단일광자방출촬영 (SPECT), 양자방출단층촬영(PET) 등 여러 가지 이미징기술을 이용하며, 이중 PET 이미징은 조기 진단에 도 도움이 되고 있다.
신경심리검사는 기억력, 주의집중력, 언어능력, 시공간감각, 계산능력 등을 검사하여 전반적인 인지기능 저하를 살펴보는 검사로 조기진단뿐만 아니라 병의 진행과정 모니터링 또는 치료약물의 효과를 판단하는 용도로 사용된다.
하지만, 이 검사의 가장 큰 문제는 검사의 정확도가 치매진행률과 비례하다는 점으로, 뚜렷한 증상이 없는 매우 초기단계에서는 오진률이 크다는 문제점이 있다.
또한, 뇌 척수액 검사의 경우 직접적으로 뇌의 축척된 바이오마커들을 검출할 수 있다는 장점이 있으나 뇌 척수액 채집과정이 고통스럽고 불편하다는 단점이 있다.
아동의 뇌 발달과 관련된 종래기술의 문제점
2019년 현재 지적장애 인구는 21.3만명, 자폐성 장애는 2.9만명, ADHD 인구는 206만명으로 나타나고 있다.
지적 장애와 자폐성장애의 경우 치료를 통한 효과가 더딘 반면 ADHD 인구는 소아시기에 적절한 치료를 받게 되면 성인기로 지속되지 않기 때문에 초기에 진단과 치료를 필요로 한다.
기존의 MRI, fMRI, CT 등으로 아동의 뇌상태를 측정하기 위해서는 아동의 발달적 특성과 달리 움직임이 적어야 하며, 영유아의 경우에는 수면제 및 마취제 투여가 필수이다.
이때, 2살 미만 영유아가 여러 번 마취제에 노출되었을 때 영구적 학습장애 발생 위험성이 2배 이상 증가한다.
또한, 뇌발달 등 각종 신약을 만들기 위해서는 많은 시간 투자를 해야 할 뿐만 아니라 실시간으로 일정 기간의 바이오 데이터 수집이 필요하다.
뇌 발달의 경우 다자간 상호작용을 통해 뇌의 발달을 확인하는 방법도 있으나 기존 제품은 다자간 뇌상태 측정을 위한 하이퍼스캐닝이 어려워 뇌발달 측정 방법의 다양성이 요구되고, 이를 해결하기 위한 제품 개발 및 이동형 뇌상태 측정기기 개발 요구가 확대되고 있는 실정이다.
본 발명의 목적
따라서 본 명세서에서는, 인구고령화에 따라 급증하는 퇴행성 뇌질환 질병 및 귀질환의 조기 진단 및 치유 기능의 기술 개발을 위한 딥러닝 학습용 데이터셋 구축을 통해 뇌신경 질환의 사회문제 해결에 기여하고자 한다.
즉, 상기 문제점들을 해소하기 위해, Active MRI 치매 뇌활동 평가 및 조기 진단 딥러닝 기술의 필요하다.
임상적인 증상이 관찰되기 훨씬 전부터 뇌의 구조 및 기능의 감퇴가 발생하므로 뇌 기능 측정을 통한 예측이나 조기 진단이 치매 발병이나 예후에 중요하다.
AI가 스스로 인식, 이해할 수 있으려면 AI SW가 사물간 연관성을 이해할 수 있는 형태로 가공된 대규모 AI 학습용 데이터 확보가 중요하고, 기계학습 기반의 AI 성능은 다양한 환경에서 수집된 방대한 데이터의 활용에 좌우되며 앞으로는 데이터와 AI간 시너지가 중요하다.
다른 본 발명의 목적으로서, 본 명세서에서는, 아동의 실시간 뇌 측정을 위한 다자간 무선 뇌신호 측정기기 및 뇌발달 검사 서비스를 제공하고자 한다.
본 발명의 기술을 통해, 아동의 뇌발달 상태를 확인하고 건강하게 성장할 수 있도록 1) ADHD 등의 뇌질환을 예방 및 진단하며 2) 일상생활 및 학습에서의 집중력을 기르는 데 있어 경험 가치를 제공하고자 한다.
또한, 본 명세서에서는, 뇌 상태 측정 결과를 일정기간 동안 수집 가능할 수 있는 디바이스를 제안하고, 수집된 데이터를 기반으로 뇌질환 등 질병의 위험도를 예측하고 일상생활 및 학습에서 적용가능한 집중력 등의 뇌발달 프로그램을 제공하는 솔루션을 제공하고자 한다.
또 다른 본 발명의 목적으로서, 본 명세서에서는, 비대면 학습 및 감정 노동 분야 지원을 위해 멀티모달 감성 데이터 네트워크 구축과 N차원의 감성 매핑 공간을 활용한 감성 인지/교감용 인공지능(Human-centered AI) 서비스를 제공할 수 있다.
감성인식기술로는, ICT를 활용한 이벤트 스트림(사용자 행동) 및 비접촉 생체 반응을 통한 사회감성 인지와 감성교감의 지능 수준을 정의하고, N차원의 감성 매핑 공간에서 기본감성과 사회감성을 인식할 수 있는 기술이 적용된다.
또한, 비접촉 생체 반응으로는, 일상생활에서 가용한 센서 카메라, AI스피커 등을 활용하여 오감 기반의 생체신호 측정하여 활용될 수 있다.
또한, 사용자의 행동 이벤트와 비접촉 생체 반응을 유니모달 형태의 데이터 네트워크에서 사회감성과 매핑이 가능한 멀티모달 데이터 네트워크로 단계적으로 확장하고 인공지능을 통해 성장과 진화가 가능한 데이터 네트워크를 제안 및 구축할 수 있다.
또한, 감성 AI 서비스로서, 멀티모달 감성 데이터 네트워크를 활용해서 학습자와 감정 노동자의 예측 불가능한 행위나 감성을 인지적 수준에서 직관적 수준으로 극복하는 새로운 차원의 인간 중심적인 인공지능 서비스를 제공하고자 한다.
이러한 본 발명의 목적들을 달성하기 위해, 본 발명은 사용자가 활동하는 상태에서 뇌와 관련된 신호를 수집하고, 이를 기초로 사용자의 뇌 상태를 판단하여 디지털치료제(digital therapeutics)를 제공하는 장치 및 방법을 제공하고자 한다.
또한, 본 발명은, 사용자에 대한 뇌 자극을 수행하여, 상기 사용자의 fNIRS 데이터를 획득하고, 획득된 fNIRS 데이터를 이용하여 뇌의 복수의 영역 중 활성화된 영역을 추출하며, 뇌 활성화 영역을 기초로, 사용자의 뇌 상태를 판단하고, XR(Extended Reality) 환경에서, 판단된 뇌 상태에 대응하여 결정된 콘텐츠를 사용자에 제공하며, 컨텐츠에 대응하여 사용자가 미션을 수행하는 과정을 통해, 디지털치료제(digital therapeutics)를 제공하는 장치 및 방법을 제공하고자 한다.
또한, 본 발명은, 상기 미션을 수행한 사용자의 fNIRS 데이터를 기준으로, 활성화된 뇌 활성화 영역을 추가적으로 추출하고, 추가적으로 획득한 뇌 활성화 영역을 기초로 뇌 상태를 판단한 후, 초기의 뇌 상태 정보 및 추가로 획득한 뇌 상태 정보를 이용하여 사용자의 뇌 상태 개선과 관련된 정보를 결정 및 제공하는 디지털치료제(digital therapeutics)의 제공 장치 및 방법을 제공하고자 한다.
또한, 본 발명은 무증상기의 뇌 기능 측정을 통해 사전 예측 및 조기 진단이 가능한 인공지능 기반 뇌 분석 기술을 사용자에게 제공하고자 한다.
또한, 본 발명은 활동 상태의 뇌를 측정하여 이미지화 한 뇌 활성화 데이터를 기초로, 채널위치 별 기능적 근적외선 분광기기 신호의 시계열 블록 평균을 머리에 매핑하는 방식으로 비침습적으로 뇌기능을 계측하는 기술을 사용자에게 제공하고자 한다.
또한, 본 발명은 뇌 활성화 영역 및 상태 인지 알고리즘과 분석 시각화 기술을 사용자에게 제공하고자 한다.
또한, 본 발명은 뇌 활성화 정보 획득을 위한 자극 기술을 사용자에게 제공하고자 한다.
또한, 본 발명은 여러 명의 뇌 변화와 Inter-brain synchrony(동시성)을 측정하는 Hyper-scanning 기술을 사용자에게 제공하고자 한다.
또한, 본 발명은 청각 정보를 활용하여 뇌 활성화 상태를 판단하는 기술을 사용자에게 제공하고자 한다.
또한, 본 발명은 생체 정보(유전자 정보, 청력 정보, 걸음걸이 패턴 정보, 스트레스 정보, 심전도 변화 정보, 수면 상태 및 집중력 변화 정보, EEG 변화 및 산소포화도 변화 정보 등)를 활용하여 뇌 활성화 상태를 판단하는 기술을 사용자에게 제공하고자 한다.
또한, 본 발명은 영상 정보(MRI, PET, CT, fMRI, X-ray 등)를 활용하여 뇌 활성화 상태를 판단하는 기술을 사용자에게 제공하고자 한다.
또한, 본 발명은 복수의 데이터 간의 상관관계 처리를 기반으로 한 예측, 진단, 치료 기술을 사용자에게 제공하고자 한다.
또한, 본 발명은 바이오 마커로 활용 가능한 실시간 데이터 획득 및 분석 기술을 사용자에게 제공하고자 한다.
또한, 본 발명은 치매, 경도인지장애(MCI), 파킨슨병, 우울증, 뇌졸중, 뇌전증, 뇌종양 및 발달장애 관련, 문제 예방, 관리, 진단, 치료 기술을 사용자에게 제공하고자 한다.
또한, 본 발명은 메타버스 환경을 기초로, 뇌 기능을 측정하여 사용자에게 피드백을 제공하는 기술을 사용자에게 제공하고자 한다.
이하 본 발명의 바람직한 실시 예에 따른 인공지능 기반 뇌 정보 제공 장치 및 방법을 첨부된 도면을 참조하여 상세하게 설명한다.
이하, 도면을 참조하여 본 발명의 바람직한 일 실시례에 대해서 설명한다. 또한, 이하에 설명하는 실시례는 특허청구범위에 기재된 본 발명의 내용을 부당하게 한정하지 않으며, 본 실시 형태에서 설명되는 구성 전체가 본 발명의 해결 수단으로서 필수적이라고는 할 수 없다.
인공지능 기반 뇌 정보 제공 장치
도 1은 본 발명과 관련하여, 인공지능 기반 뇌 정보 제공 장치의 블록 구성도를 도시한 것이다.
도 1을 참조하면, 본 발명에 따른 인공지능 기반 뇌 정보 제공 장치(1)는, 뇌 신호 측정부(10), 뇌 신호 자극부(20), 사용자 데이터 수집부(30), 영상 획득부(40), 진단부(50) 및 관리부(60)를 포함할 수 있다.
먼저, 뇌 신호 측정부(10)는, 사용자의 뇌와 관련된 신호를 수집하는 기능을 제공한다.
구체적으로, 본 발명에 따른 뇌 신호 측정부(10)는, 사용자의 뇌에 근적외선을 조사하고, 상기 뇌의 대뇌 피질을 투과한 빛을 검출하며, 검출된 빛을 기초로, 상기 사용자의 뇌 혈류 내의 헤모글로빈 산소화 정도를 판단하고, 판단된 헤모글로빈 산소화 정도를 기초로, 상기 사용자의 뇌의 복수의 영역 중 활성화된 적어도 하나의 뇌 활성화 영역을 추출하는 기능을 제공한다.
본 발명의 큰 특징으로서, 뇌 신호 측정부(10)의 신호 수집 동작은, 상기 사용자가 움직이는 상태에서 수행될 수 있다.
다음으로, 뇌 신호 자극부(20)는, 뇌 신호 측정부(10)의 신호 수집 동작을 위해, 상기 사용자의 뇌를 자극하는 기능을 제공한다.
나아가 뇌 신호 자극부(20)는, 관리부(60)의 제어에 따라, 사용자의 뇌 상태 개선을 위해, 사용자의 뇌를 자극하는 기능을 제공할 수도 있다.
또한, 사용자 데이터 수집부(30)는 사용자와 관련된 신체 정보를 수집하는 기능을 제공한다.
사용자와 관련된 신체 정보는, 사용자의 청각 정보, 걸음걸이 정보, 스트레스 정보, 심전도 정보, 수면 정보, 집중 정보, 감정 변화 정보 등을 포함할 수 있다.
또한, 영상 획득부(40)는, 사용자와 관련된 의료 영상을 수집하는 기능을 제공한다.
본 발명에 따른 영상 획득부(40)는, 사용자와 관련된 MRI 영상을 수집하는 MRI 영상 획득부, 상기 사용자와 관련된 CT 영상을 수집하는 CT 영상 획득부, 상기 사용자와 관련된 fMRI 영상을 수집하는 fMRI 영상 획득부 등이 이용될 수 있다.
또한, 진단부(50)는 뇌 신호 측정부(10)가 수집한 신호를 기초로, 상기 사용자의 뇌 상태를 판단하는 기능을 제공한다.
진단부(50)는, 사용자의 뇌 질환을 판단할 수 있고, 대상이 되는 뇌 질환은, 치매, 파킨슨병, 뇌졸중, 뇌전증, 뇌종양 및 발달장애를 포함할 수 있다.
마지막으로, 관리부(60)는 진단부(50)가 판단한 상기 사용자의 뇌 상태에 대응하여, 상기 사용자의 뇌 상태 개선을 위한 정보를 제공하는 기능을 제공한다.
예를 들어, 미리 설정된 기준을 적용하여, 상기 사용자의 뇌 상태를 기반으로, 일정 기간 이내 상기 사용자가 치매, 파킨슨병, 뇌졸중, 뇌전증, 뇌종양 및 발달장애 중 적어도 하나에 해당될 것으로 예측되는 경우, 관리부(60)의 제어에 따라, 상기 사용자의 뇌 상태 개선을 위해, 상기 사용자의 뇌를 자극하기 위한 뇌 신호 자극부(20)의 동작이 트리거 될 수 있다.
이하에서는, 본 발명의 각각의 구성요소의 구체적 구조 및 기능에 대해 도면을 참조하여 설명한다.
뇌 신호 측정부
도 2는 본 발명과 관련하여, 인공지능 기반 뇌 정보 제공 장치의 구성요소인 뇌 신호 측정부의 블록 구성도를 도시한 것이다.
도 2를 참조하면, 뇌 신호 측정부(10)는, 뇌 신호 획득부(11), 뇌 신호 처리부(12), 뇌 신호 분석부(13), 통신부(14) 및 디스플레이부(15)를 포함할 수 있다.
먼저, 뇌 신호 획득부(11)는, 사용자의 뇌에 근적외선을 조사하고, 상기 뇌의 대뇌 피질을 투과한 빛을 검출하는 기능을 제공한다.
여기서 뇌 신호 측정부(11)의 신호 수집 동작은, 상기 사용자가 움직이는 상태에서 수행되는 특징을 갖는다.
다음으로, 뇌 신호 처리부(12)는, 상기 검출된 빛을 기초로, 상기 사용자의 뇌 혈류 내의 헤모글로빈 산소화 정도를 판단하는 기능을 제공한다.
뇌 신호 처리부(12)는, 검출된 빛을 기초로, 상기 사용자의 뇌 혈류 내의 산화 헤모글로빈 농도(Oxy Hb)와 환원 헤모글로빈 농도(Deoxy Hb)를 추출함으로써, 상기 헤모글로빈 산소화 정도를 판단한다.
또한, 뇌 신호 분석부(13)는, 판단된 헤모글로빈 산소화 정도를 기초로, 상기 사용자의 뇌의 복수의 영역 중 활성화된 적어도 하나의 뇌 활성화 영역을 추출하는 기능을 제공한다.
여기서, 적어도 하나의 뇌 활성화 영역에서는, 뇌 혈류 내의 산화 헤모글로빈에 의해 수송된 산소가 소비됨으로써, 산화 헤모글로빈 농도(Oxy Hb)가 감소하고, 상기 산화 헤모글로빈 농도(Oxy Hb)의 감소에 대응하여 상기 환원 헤모글로빈 농도(Deoxy Hb)가 증가되는 특성을 갖는다.
상기 산화 헤모글로빈 농도(Oxy Hb)와 상기 환원 헤모글로빈 농도(Deoxy Hb)는, 가시광 영역과 근적외광 영역에서 변화되는 광 특성을 가지고, 결국, 본 발명에 따른 뇌 신호 측정부(10)는, 상기 근적외선 조사에 의한 근적외 분광법(fNIRS: functional Near-Infrared Spectroscopy)을 통해, 상기 신호를 수집하게 된다.
한편, 뇌 신호 분석부(13)는, 사용자의 뇌 영역을 복수로 분할하고, 상기 복수로 분할된 뇌 영역 각각이, 일정 시간 단위로 상기 뇌 활성화 영역으로 변화되었는지 또는 상기 뇌 활성화 영역에서 비 활성화 영역으로 변화되었는지 여부를 판단할 수 있다.
이를 기초로, 진단부(50)는, 일정 시간 단위를 기준으로, 복수의 분할된 뇌 영역 각각의 뇌 활성화 변화를 이용하여 상기 사용자의 뇌 상태를 판단할 수 있다.
또한, 통신부(14)는, 뇌 신호 측정부(10)와 다른 구성요소(뇌 신호 자극부(20), 사용자 데이터 수집부(30), 영상 획득부(40), 진단부(50), 관리부(60) 등)들 간의 네트워크를 구축하여 데이터를 통신할 수 있도록 지원한다.
여기서 이용될 수 있는 상기 무선 통신 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
또한, 근거리 통신(short range communication)의 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra-Wideband), ZigBee 등이 이용될 수 있다.
또한, 디스플레이부(15)는, 상기 복수의 분할된 뇌 영역 각각의 뇌 활성화 변화를 시간에 따라 표시하는 기능을 제공한다.
디스플레이부(15)는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
도 3은 본 발명과 관련하여, 뇌 신호 측정부의 동작을 설명하기 위한 도면이다.
도 3을 참조하면, 사용자가 움직이는 상태에서 실시간으로 다자간 뇌 상태 및 발달상황을 측정하게 된다. 즉, 특별한 제한 없이 실시간 및 무선으로 뇌 신호를 측정하고 분석할 수 있도록 다중 사용자의 뇌 신호를 동시에 측정할 수 있는 뇌 신호 측정기기가 제안된다.
본 발명에 따른, 뇌 신호 측정부(10)는, 사용자의 헤드를 모두 덮는 풀 커버(full cover) 형태 또는 사용자 헤드의 전면부에 밀착되는 전면부 형태가 될 수 있다.
또한, 아동용으로 활용될 상황을 고려하여 본 발명에 따른, 뇌 신호 측정부(10)는, 아동 맞춤형 디자인을 적용하고 사용자 친화적 환경을 구성하여 경험가치를 제공하기 위해 UI/UX 맞춤형 디자인이 고려될 수 있다.
본 발명에서는, 저전력 블루투스 프로토콜(BLE)을 이용한 장시간 사용이 가능한 웨어러블 뇌신호 측정 기술이 적용될 수 있고, 플렉서블 기판을 이용하여 유아의 머리 모양에 맞도록 설계된 뇌신호 측정 기기의 초경량화가 가능하다.
또한, 뇌활성화 분석을 통한 집중력, 뇌발달을 생리학적 측면에서 측정할 수 있는
뇌신호 분석 알고리즘, 채널 상태가 변하여도 데이터의 신뢰성 보장할 수 있는 데이터 전송 알고리즘 및 뇌 활성화 영역 상태 인지 알고리즘 등이 활용될 수 있다.
한편, 도 4a 및 도 4b는 본 발명에 적용되는 기능적 근적외선 분광분석법을 설명하기 위한 도면이다.
도 4a를 참조하면, 본 발명에 적용되는, 기능적 근적외선 분광분석법(functional Near-infrared spectroscopy, fNIRS) 기술에서, fNIRS란 약 650~1000nm의 파장을 가지는 근적외선 영역의 빛을 뇌에 조사하여 뇌조직을 투과한 빛을 검출하여 비침습적으로 뇌의 혈류 변화에 따른 헤모글로빈의 농도의 변화를 수술 등의 위험 없이 계측할 수 있는 영상 기술이다.
본 발명에 적용되는 fNIRS 기술은 환자가 고정된 상황이 아닌 움직일 수 있는 Live 상황에서 실시간 뇌측정을 수행하기 위한 기능적 근적외선 분광분석법을 사용한다.
기능적 근적외선 분광분석법은 약 650~1000nm의 파장을 가지는 근적외선 영역의 빛을 뇌에 조사하여 뇌조직을 투과한 빛을 검출하여 비침습적으로 뇌의 혈류 변화에 따른 헤모글로빈의 농도의 변화를 수술 등의 위험 없이 계측할 수 있는 영상 기술이다.
이러한 기능적 근적외선 분광분석법은, 기존 평가방식보다 실시간으로 결과를 보여주고, 기기구입 및 관리비용이 낮고, 측정된 결과가 사회성을 직접적으로 보여주어 신뢰도를 높일 수 있다.
도 4b는 현재의 뇌 측정 기술과 본 발명에 적용되는 기능적 근적외선 분광분석법 비교하여 정리한 것이다.
본 발명에서는, 비식별화된 MRI 뇌 이미지를 수집하고, 활성화된 MRI 뇌 촬영술 영상 자료와 판독 임상 자료를 수집하며, 뇌 영상 판독 전문의의 피드백을 받아, 이를 종합하고, 영상 전처리를 통해, 레이블된 뇌 촬영영상과 엑셀 파일 등으로 임상 정보를 구조화시킬 수 있다.
즉, 병원에서 운영하고 있는 의료데이터베이스에서 MRI 진단을 위해 촬영한 비활성화된 MRI 뇌를 촬영한 촬영 영상 및 임상 정보 등을 수집하고, 이를 통해 영상판독문 및 병리판독문을 활용하여 정확한 난청, 이명 및 더 나아가 치매의 기준을 정의하는 것이 가능하다.
또한, MRI 촬영영상의 진단 결과는 난청, 이명, 정상의 PSAP 결과 데이터와 MRI 뇌 이미지 영상으로 구분하고, 난청, 이명, 정상의 경우 판독 당시 오진이 있을 수 있으므로 특수한 환경에서 데이터 구축을 실시할 수 있다.
후술하는 난청 세부 기준으로서, PSAP 검사 결과 난청으로 확진된 환자 뇌 촬영 영상 이미지가 이용될 수 있고, 이명 세부 기준으로서, PSAP 검사 결과 이명으로 확진된 환자 뇌 촬영 영상 이미지가 이용될 수 있으며, 정상 세부 기준으로서, PSAP 검사 결과 정상으로 확진 된 환자 뇌 촬영 영상 이미지가 이용될 수 있다.
또한, 백그라운드 서비스를 등록하고, 기관방문 전 설문지 작성을 수행하며, 뇌 측정 당일 기관을 방문하고, 뇌 측정 전 기분, 활력 등 인터뷰를 실시하며, 뇌 측정을 위한 태스크를 선택하고, 태스크를 수행하며, 충분한 자료가 수집되었는지 여부를 판단에 측정을 종료하거나 이전 단계를 다시 수행하게 된다.
또한, 본 발명에 적용되는 영상 데이터는 활성화 뇌MRI 영상 촬영 영상이미지 데이터로 정의될 수 있다.
또한, 영상 데이터 비식별화는, 비식별화 방법 및 비식별화 tag 구조(RAW data 양식)으로 처리될 수 있다.
또한, 본 발명에 적용되는 메타데이터는, 영상정보에 대한 환자의 메타정보를 수집하여, 난청, 이명 환자에 한해서는 추가적인 정보를 통해 품질검수에 활용함으로써 신뢰성을 확보하는 것으로 정의될 수 있다.
한편, 도 5 및 도 6은 본 발명과 관련하여, 뇌 신호 측정부가 측정한 신호를 뇌 관련 정보로 시각화하여 표시하는 일례를 도시한 것이다.
도 5 및 도 6을 참조하면, 뇌에 근적외선을 조사하면 대뇌 피질을 투과한 빛을 검출하여 처리하면 산화헤모글로빈과 환원 헤모글로빈의 농도를 측정하여 뇌의 활성화 영역을 수술 없이 안전한 방법으로 확인할 수 있다.
또한, 사용상 위험성이 거의 없으며, 주변의 잡음의 영향을 거의 받지 않는 장점이 있다.
또한, 편의성과 휴대성이 매우 높으며 다른 뇌 측정 영상 장비에 비해 저렴하다는 장점이 있다.
도 7a 내지 도 7c는 본 발명과 관련하여, 뇌 신호 측정부가 측정한 신호, 시각화된 정보 및 처리된 정보의 일례를 도시한 것이다.
도 7a 내지 도 7c를 참조하면, 채널 위치 별 기능적 근적외선 분광기기 신호의 시계열 블록 평균이 도시된다.
또한, 채널 위치 별 기능적 근적외선 분광기기 신호의 시계열 블록 평균을 머리에 매핑한 일례가 도시된다.
본 발명에서는, 기계 학습 적용을 위해, 알고리즘 편향 방지위한 데이터 구성 및 수집방법이 다음과 같이 이용될 수 있다.
샘플편향과 관련하여, 수집된 데이터가 AI 시스템이 실행될 것으로 예상되는 환경을 대표하거나 정확하게 나타내지 않을 때 발생될 수 있다.
어떤 알고리즘도 전체 데이터세트에 대해 학습할 수는 없으며 전체 데이터세트에서 대체로 신중하게 선택한 부분집합의 데이터세트를 학습한다. 따라서 샘플 편향을 줄이기 위해서는 부분집합의 데이터세트를 선택할 때, 충분히 큰 데이터세트뿐 아니라 전체 데이터세트를 대표할 수 있는 서브세트를 선택하는 것이 중요하다.
또한, 측정 편향과 관련하여, 어떤 것을 관찰 또는 측정하는데 사용된 장치에 의해 시스템적으로 값이 왜곡되는 문제가 있는 경우 발생하며 이러한 종류의 편향은 데이터를 특정 방향으로 왜곡하는 경향이 있다.
측정 편향이 있는 도구는 모델이 작동할 환경을 그대로 복제하지 못하며 학습 데이터가 실제데이터를 왜곡되어 편향된 결과를 가져오게 되고, 측정 편향은 단순히 더 많은 데이터를 수집한다고 피할 수 있는 것이 아니다.
따라서 이를 해결하기 위해 데이터 수집시 편향된 결과를 가져오지 못하는 환경구성을 하여 데이터를 수집할 수 있다.
비침습적인 뇌기능 계측방법으로 근적외 분광법(fNIRS: functional Near-Infrared Spectroscopy)은 근적외광을 이용해서 뇌의 혈류변화를 비침습적으로 계측하는 방법이며, 계측원리는 근적외광을 이용한 뇌혈류의 헤모글로빈 산소화 정도의 측정에 바탕을 두고 있다.
생체에 근적외광을 조사하여 조직을 투과한 fNIRS 신호를 검출하여 처리하면 산화 헤모글로빈 농도(Oxy Hb)와 환원 헤모글로빈 농도(Deoxy Hb)를 측정할 수 있다.
뇌의 활성화 영역은 혈액 속의 Oxy Hb에 의해 수송된 산소를 소비하고, Oxy Hb는 Deoxy Hb로 변하고, 이 두 가지 헤모글로빈은 가시광과 근적외광 영역에서 광 특성을 가지며, 기능적 근적외 분광법으로 측정한 이들의 농도는 뇌활동의 척도로서 사용 가능하다.
이러한 본 발명에 따른 방식은, 평상시 뛰거나 움직이는 태에서 측정이 가능하고, 검사 후 AI를 통해 짧은 시간 내로 결과를 제공받을 수 있는 장점이 있다.
또한, 약물사용 없이 측정이 가능하고, 주변소리 통제가 가능하다는 장점이 있다.
본 발명에서는 적합한 모델을 만들기 위해 이상 탐지 대상 항목과 연관성이 높다고 판단한 변수 중에서 설명력이 가장 높은 변수들을 선정한다.
또한, 각 부분 집합에 대해 adjust R^2를 측정하여 값이 가장 큰 부분 집합 중 가장 적은 개수의 변수로 구성된 항목을 선정하게 된다.
또한, 인공지능 학습용 데이터 구축을 효율적으로 하기 위해, 저작도구가 필요하다.
즉, 이미지 라벨링 앱 솔루션으로 서버에 저장된 라벨링 프로젝트의 정보와 라벨링 대상 이미지, 라벨 목록, 참조 이미지 등 자동으로 태깅, 라벨링 해주는 기능이 필요하다.
인공지능 학습용 데이터 운영관리를 위한 저작도구 방안으로서, 이미지 추가, 저장 및 생성 기능이 이용될 수 있다.
해당 자동화툴 저작도구를 이용하여 검사하고 싶은 이미지를 추가할 수 있고, 휴대용 MRI를 활용하여 뇌나 골절부위를 추가 한후 플러스 버튼을 눌러 추가 저장 및 생성 기능을 접목할 수도 있다.
또한, 어노테이션 기능을 활용한 저작도구로서, 어노테이션 기능을 활용하여 추가 저장 및 생성한 이미지에 대해 tagging 작업과 특이점 및 메모기능을 통해 추가 정보 기입 작업을 수행할 수 있다.
인공지능 학습용 데이터 운영관리를 위한 활용 방안으로, 활성화된 MRI 뇌 이미지에 대하여 정상과 난청, 이명 판독 시범 모델의 검증을 위하여 cross validation을 수행할 수 있다.
또한, 다양한 판독 척도를 활용하여 성능을 평가하고, 평가 척도로서 민감도, 특이도, ROC curve의 AUC를 측정하고, 이를 기준으로 github를 통해 의료인공지능 학습 데이터의 판독 시범 모델을 구축할 수 있다.
전술한 것과 같이, 뇌 신호 측정부(10)는, 사용자의 뇌와 관련된 신호를 수집하고, 뇌 신호 측정부(10)의 신호 수집 동작은, 상기 사용자가 움직이는 상태에서 수행된다.
한편, 진단부(50)는, 상기 수집된 신호를 기초로, 상기 사용자의 뇌 상태를 판단하게 된다.
구체적으로, 진단부(50)는 일정 기간 동안 연속하여 추출된 상기 적어도 하나의 뇌 활성화 영역을 기초로, 상기 사용자의 뇌 상태를 판단할 수 있다.
여기서 진단부(50)는, 사용자의 뇌 질환을 판단할 수 있고, 뇌 질환은, 치매, 파킨슨병, 뇌졸중, 뇌전증, 뇌종양 및 발달장애를 포함할 수 있다.
나아가 진단부(50)가 판단한 상기 사용자의 뇌 상태에 대응하여, 상기 사용자의 뇌 상태 개선을 위한 정보를 제공하는 관리부(60)가 추가적으로 활용될 수 있다.
예를 들어, 미리 설정된 기준을 적용하여, 상기 사용자의 뇌 상태를 기반으로, 일정 기간 이내 상기 사용자가 치매, 파킨슨병, 뇌졸중, 뇌전증, 뇌종양 및 발달장애 중 적어도 하나에 해당될 것으로 예측되는 경우, 관리부(60)는 후술하는 뇌 신호 자극부(20)를 제어하여, 사용자의 뇌 상태 개선을 위해, 상기 사용자의 뇌를 자극하기 위한 신호가 사용자에게 제공되도록 할 수 있다.
뇌 신호 자극부
뇌 신호 자극부(20)는, 뇌 신호 측정부(10)의 신호 수집 동작을 위해, 상기 사용자의 뇌를 자극하는 기능을 제공한다.
나아가 뇌 신호 자극부(20)는, 관리부(60)의 제어에 따라, 사용자의 뇌 상태 개선을 위해, 사용자의 뇌를 자극하는 기능을 제공할 수도 있다.
도 8은 본 발명과 관련하여, 인공지능 기반 뇌 정보 제공 장치의 구성요소인 뇌 신호 자극부의 블록 구성도를 도시한 것이다.
뇌 신호 자극부(20)는 뇌 세포들이 소통하기 위해 연결되는 부분을 의미하는 시냅스를 집중적으로 자극하며 시작된다. 장기 기억으로 뇌 영역을 활성화시키기 위해서는 장소(place), 감정(emotion), 스토리(story)를 통해 뇌 영역을 자극해야 한다.
따라서 뇌 신호 자극부(20)는 전시, 음악, 움직임 등의 활동이 이루어지는 공간에 배치된 자연물을 기반으로 하여 다차원적인 환경적 자극을 통해 집중적으로 타겟팅된 뇌 영역의 활동을 강화하고, 뇌 영역의 기능을 선택적으로 활성화시킨다. 미국 정신과 협회에서 정의한 DSM-V(Diagnostic and Statistical Manual of Mental Disorders) 의 뇌 영역 분류 기준에 따르면 뇌 영역은 주로 주의집중력, 시공간능력, 기억력, 집행능력, 언어능력, 계산능력 및 소리 인지력 등으로 분류할 수 있다. 즉, 본 발명은 자연물, 특히 식물과 소리, 촉감, 향, 시각, 기억 등 다차원적인 환경적 자극을 통해 집중력, 공감력, 창의력, 기억력, 힐링 등 다양한 뇌 영역의 활동을 집중적으로 강화하고, 기능을 활성화한다.
본 발명의 바람직한 실시 예에 따른 뇌 활성화 시스템(10)은 도 12 및 도 13에 도시된 바와 같이, 자연물이 설치된 공간 내에서 미리 타겟팅된 뇌 영역의 활동을 집중적으로 강화하여 뇌 영역의 기능을 활성화시키도록 시스템화된 다차원적인 환경적 자극을 가하는 뇌 활성화 장치(24) 및 상기 공간에서 타겟팅된 뇌 영역에 다차원적인 환경적 자극을 가하도록 뇌 활성화 장치(24)의 구동을 제어하는 관리 서버(21)를 포함한다.
뇌 활성화 장치(24)는 미리 타겟팅된 뇌 영역의 활동을 집중적으로 강화하고 뇌 영역의 기능을 활성화시키기 위해, 공간에서 연출하고자 하는 컨셉에 대응되는 미디어 아트를 구현하는 미디어부(30), 음향을 출력하는 음향부(40), 빛을 조사하거나 조명하는 조명부(50) 및 자연물의 향기를 사용자에게 전달하는 향기 전달부(60)를 포함할 수 있다.
사용자 데이터 수집부, 영상 획득부, 진단부 및 관리부
사용자 데이터 수집부(30)는 사용자와 관련된 신체 정보를 수집하는 기능을 제공한다.
사용자와 관련된 신체 정보는, 사용자의 청각 정보, 걸음걸이 정보, 스트레스 정보, 심전도 정보, 수면 정보, 집중 정보, 감정 변화 정보, 뇌파 정보, 산소포화도 정보 등을 포함할 수 있다.
도 9는 본 발명과 관련하여, 사용자 데이터 수집부의 블록 구성도를 도시한 것이다.
도 9를 참조하면, 사용자 데이터 수집부(30)는, 사용자의 청각 정보를 수집하는 청각 정보 수집부(31)를 포함할 수 있다.
이때, 진단부(50)는, 상기 수집된 청각 정보를 기초로 상기 사용자의 청력 손상 정도를 판단하며, 적어도 하나의 뇌 활성화 영역 및 상기 사용자의 청력 손상 정도를 함께 이용하여 상기 사용자의 뇌 상태를 판단할 수 있다.
구체적으로, 사용자의 청력 손상은, 난청에 의한 것이고, 상기 진단부(50)는, 사용자 관련 신체 정보, 상기 사용자의 좌우 순음 역치 평균값, 상기 사용자의 난청 정도 및 상기 청각 정보 수집부 관련 정보를 추가적으로 이용하여 상기 사용자의 뇌 상태를 판단할 수 있다.
다른 일예로서, 사용자의 청력 손상은, 이명에 의한 것이고, 진단부(50)는, 사용자 관련 신체 정보, 상기 사용자의 좌우 순음 역치 평균값, 상기 사용자의 이명 정도 및 상기 청각 정보 수집부 관련 정보를 추가적으로 이용하여 상기 사용자의 뇌 상태를 판단할 수 있다.
한편, 뇌 신호 측정부(10)의 신호 수집 동작은, 상기 사용자의 청력 손상이 발생된 상태에서, 상기 사용자가 움직이는 동안 수행될 수도 있다.
또한, 사용자 데이터 수집부(30)는, 사용자의 걸음걸이 정보를 수집하는 걸음걸이 정보 수집부(32), 사용자의 스트레스 정보를 수집하는 스트레스 정보 수집부(33), 사용자의 심전도 정보를 수집하는 심전도 정보 수집부(34), 사용자의 수면 정보를 수집하는 수면 정보 수집부(35) 및 사용자의 집중 정보를 수집하는 집중 정보 수집부(36), 비접촉식 감정 변화 수집부(37), 사용자의 EEG(electroencephalogram) 정보를 수집하는 뇌파 정보 수집부(38) 및 사용자의 산소포화도(oxygen saturation) 정보를 수집하는 산소포화도 정보 수집부(39)를 포함할 수 있다.
이때, 진단부(50)는, 사용자 데이터 수집부(30)에 의해 수집된 청각 정보를 기초로, 상기 사용자의 청력 손상 정도를 판단하고, 수집된 정보들을 기초로 상기 사용자의 걸음걸이 패턴, 스트레스 정도, 심전도 변화, 수면 상태 및 집중력 변화, EEG 변화 및 산소포화도 변화 중 적어도 하나를 판단할 수 있다.
또한, 진단부(50)는, 사용자의 청력 손상 정도, 걸음걸이 패턴, 스트레스 정도, 심전도 변화, 수면 상태 및 집중력 변화, EEG 변화 및 산소포화도 변화 중 적어도 하나와 상기 적어도 하나의 뇌 활성화 영역을 함께 이용하여 상기 사용자의 뇌 상태를 판단할 수 있다.
또한, 뇌 신호 측정부(10)의 신호 수집 동작은, 상기 사용자의 걸음걸이가 변화화는 상태, 상기 사용자의 스트레스가 변화하는 상태, 상기 사용자의 심전도가 변화하는 상태, 상기 사용자의 수면 조건이 변화하는 상태 및 상기 사용자의 집중력이 변화하는 상태 중 적어도 하나가 적용된 상황에서, 상기 사용자가 움직이는 동안 수행될 수 있다.
또한, 사용자 데이터 수집부(30)는, 사용자와의 관계에서 비접촉식 감정 변화 수집부(37)를 포함할 수 있다.
이러한 비접촉식 감정 변화 수집부(37)는, 사용자의 아이 트래킹(Eye tracking)을 기초로 상기 사용자의 얼굴 랜드마크 마스킹 데이터 수집하여 비 접촉식으로 상기 사용자의 감정 변화 정보를 수집하는 비접촉식 감정 변화 수집부가 이용될 수 있다.
이때, 진단부(50)는, 상기 적어도 하나의 뇌 활성화 영역 및 상기 사용자의 감정 변화 정보를 함께 이용하여 상기 사용자의 뇌 상태를 판단할 수 있다.
또한, 비접촉식 감정 변화 수집부(37)는, 사용자의 음성 변화를 기초로 상기 사용자의 감정 변화 정보를 수집하는 비접촉식 감정 변화 수집부가 이용될 수 있다.
이때, 진단부(50)는, 상기 적어도 하나의 뇌 활성화 영역 및 상기 사용자의 감정 변화 정보를 함께 이용하여 상기 사용자의 뇌 상태를 판단할 수 있다.
구체적으로, 진단부(50)는 일정 기간 동안 연속하여 추출된 상기 적어도 하나의 뇌 활성화 영역을 기초로, 상기 사용자의 뇌 상태를 판단할 수 있다.
여기서 진단부(50)는, 사용자의 뇌 질환을 판단할 수 있고, 뇌 질환은, 치매, 파킨슨병, 뇌졸중, 뇌전증, 뇌종양 및 발달장애를 포함할 수 있다.
나아가 진단부(50)가 판단한 상기 사용자의 뇌 상태에 대응하여, 상기 사용자의 뇌 상태 개선을 위한 정보를 제공하는 관리부(60)가 추가적으로 활용될 수 있다.
이하에서는, 사용자 데이터 수집부(30)의 종류 중 대표적으로, 청각 정보 수집부(31)와 비접촉식 감정 변화 수집부(37)를 이용한 진단부(50)의 기능에 대해 설명한다.
먼저, 청각 정보 수집부(31)를 이용하는 실시예에 대해 구체적으로 설명한다.
고령사회에 따른 치매 인구가 급증하고 있고, 우리나라는 고령사회로 진입되면서 노인의 문제로만 인식되었던 치매가 최근에는 젊은 층으로까지 확대되어 사회적 문제로 인식되고 있다.
특히, 치매 환자 중 중증 치매 환자의 비율은 2016년 32%에서 2018년 30%로 감소 추세로 전환되었고, 이는 중증 치매 환자에 대한 약물치료 및 다양한 치매 프로그램을 통해서 환자들의 증세가 호전되고 있으나, 반대로 초기치매가 증가 되는 것으로 분석된다.
소음성 난청과 관련하여, 괴롭고 원치 않는 큰 소리를 소음이라 하는데 이러한 소음에 의해서 발생하는 감음 신경성 난청을 소음성난청이라 한다.
이는 소리를 감지하는 기관, 즉 달팽이관이 손상된 경우이며 특히 외유모세포가 주로 손상 받게 되고, 보통 75db 이하의 소리는 난청을 유발하지 않으나 사무실이나 대화환경이 60dB 정도이며 버스, 지하철, 식당 내의 소음이 80 dB 정도, MP3나 휴대용 CD플레이어를 이어폰으로 들을 경우 최대 음량이 100dB 정도, 모터사이클은 120dB, 비행기 소음이 140dB, 총소리가 170dB 에 이른다. 옆 사람이 다 들릴 정도로 이어폰 듣는 것은 100 - 115dB 정도가 됨. 85dB 이상 소음에 지속적으로 노출될 때는 귀에 손상을 줄 수 있다.
100dB에서 보호장치 없이 15분 이상 노출될 때, 110dB에서 1분 이상 규칙적으로 노출될 때 청력 손실의 위험에 처하고, 버스, 지하철 내의 소음이 보통 80㏈ 정도인데, 이러한 장소에서 청소년들이 음악소리를 들으려고 90㏈ 이상의 소리크기를 유지해야 하며 이를 반복 되풀이하면 난청에 이르게 된다.
소리의 강도는 음파의 진폭에 의해 결정되며 dB(데시벨)로 측정하고, 소리의 강도가10dB씩 증가할 때마다 소음의 크기는 두 배씩 증가하며, 대개 75dB 이하에서는 청력에 손상을 미치지 않는다.
소음성 난청 증상 관련하여, 소음성난청 발생 시 텔레비전이나 라디오 등도 크게 켜 놓는 양상을 보이고, 친구들 말을 잘 알아 듣지 못해 '사오정' 가는귀 라는 말을 듣게 된다.
주변이 조금만 시끄러워도 상대방의 이야기를 정확히 못 알아 듣고 딴 소리를 하며 공통적으로 고음 영역, 특히 4 k㎐에서 청력저하를 보이며 귀가 울어대는 이명을 동반하는 경우 많다.
청각 손상, 이명 외에도 불쾌감, 불안감, 불면증, 피로, 스트레스, 두통에 시달리는 등 정상 생활에 어려움을 겪을 수 있으며. 심한 경우 맥박과 혈압에도 영향을 주며 소화장애 및 자율신경계 이상을 초래할 수 있다.
소음성 난청 진단과 관련하여, 순음청력검사 및 이명검사, 이음향방사검사, 음누가검사, 청성뇌간유발반응검사 등 청력을 주파수 별로 정확히 측정하는 검사를 시행하고, 장기간 소음노출 후 서서히 진행되는 청력소실, 특히 4kHz 주변의 고음영역의 청력손실이 뚜렷한 경우 진단을 하게 된다.
소음성난청으로 한번 망가진 청력을 근본적으로 되돌릴 수 있는 방법 없는데, 이는 이미 손상된 청각세포는 회복되지 않기 때문이다. 특히, 수일 이내에 갑자기 소리가 들리지 않는다면 돌발성난청일 수 있으며 이러한 경우 정확한 검사와 더불어 스테로이드 호르몬, 혈관 확장제, 항바이러스제 등으로 치료를 받아야 한다.
이 경우에는 반드시 일정기간 귀를 쉬게 해주어야 회복을 기대할 수 있다.
돌발성 난청은, 뚜렷한 원인이 없이 갑자기 일어나는 감각신경성 난청 (귀가 잘 안 들리는 것)을 돌발성 난청이라 하며, 일반적으로 한쪽 귀에 나타나나 드물게 양측성인 경우도 있고, 때때로 난청과 더불어 이명 및 현기증을 동반하는 경우도 있다.
보통 응급질환으로 간주하여 조기에 입원치료를 시작하여야 하고, 아직까지 명확하지 않지만 청각 신경에 발생한 바이러스 감염, 내이 혈류의 장애, 달팽이관내 막의 파열, 그리고 내이 면역 질환, 신경학적 질환, 종양, 이독성 약물 등으로 발생원인을 추정하고 있다.
돌발성 난청 환자의1~2% 정도에서 청신경종양이 있을 수 있는데, 이는 자기공명영상(MRI)촬영을 통해 진단하고, 대개 입원하여 조용한 분위기에서 안정을 취하면서 부신피질 호르몬제, 혈관 확장 및 혈류 개선제, 대사 개선제, 진정제 등의 병용요법을 시행. 그 외에 저염식, 고단백 식이 권유. 발생 시 초기에 적극적으로 치료한 환자에서 치료율이 높은 것으로 알려져 있다.
치료의 결과는 대개 1/3에서 완전한 회복을 보이며 1/3은 발생 시보다 청력이 개선되지만 정상으로 회복되지는 못하며 1/3이하에서는 치료에 큰 반응을 보이지 않을 수 있다.
치매에 걸릴 위험은 가벼운 청력 손실이 있는 노인의 경우 2배, 중간 정도의 청력 손실이 있는 경우 3배가 된다.
심각한 청력 손실을 가지고 있는 사람들에게, 그 위험은 청력 손실을 겪지 않은 사람들보다 5배의 발생 위험이 있고, Lancet 연구에 따르면 치매 발별에 대한 9가지 잠재적 위험 요인 중 난청이 9%로 가장 높았다.
청력 손실은 특히 배경 소음이 있는 상태에서 언어 지각력을 저하시키는 알츠하이머 병의 초기 증상이 될 수 있다.
또한, 청력 손실은 인지 자원에 대한 요구를 증가시키고, 뇌는 청각 능력이 떨어지면서 훨씬 더 열심히 일해야 한다.
대화를 이해하고 이해하려는 노력은 뇌가 뇌의 다른 부분, 특히 기억력으로부터 인지 능력을 빌려 가는 것을 요구하고, 기본적으로 더 많은 정보를 받아들일수록 기억으로 전달되는 정보가 줄어들게 된다.
청력 손실은 뇌 조직개편 및 또는 사회적 박탈을 초래하여 인지능력 저하를 초래하고, 청각 능력의 감소는 종종 사회적 상호작용과 관여의 감소를 야기한다.
이에 따라 환경에 접근하고 상호작용하는 데 필요한 인지 기능이 감소하고, 난청 예방을 통한 치매의 진행 75%까지 늦출 수 있는 연구결과가 있다.
또한, 난청 같은 조기 감지 및 치료는 인지기능 저하를 예방하거나 감소시키는데 매우 중요하다.
60세 이상 노인 중 경도난청이 있는 경우 정상청력 인구보다 2배, 심한 난청의 경우 치매 확률이 5배가 높게 나타나고 있다(Lin, Albert, 2014).
난청인구 중 30%가 이명경험, 난청치료와 더불어 이명에 대한 검사, 치료가 추가적으로 제공 필요하고(Healthy Hearing, 2019), 이명환자를 대상으로 실험한 결과 이명은 청각기능에 영향을 미친 뒤 인지기능에 영향을 미치고(특히 집중과 사고), 치매에 영향 미치는 것을 확인하였다.
결국, 이명은 치매로 이어질 확률이 높다(Mahoney, Rohrer, Goll, Fox, Rossor, Warren, 2010).
1996년부터 2014년까지 이명관련 문헌 18편을 분석한 결과, 이명은 인지능력을 낮추고, 불안/우울증을 높이고 있다(Tegg-Quinn, Bennett, Eikelboom, & Baguley, 2016).
결국, 청각문제 -> 문장듣기문제 -> 단어듣기 -> 전체적 이해문제 -> 반응문제 -> 경도인지장애로 이어지게 된다.
30dB마다 청각손상이 있으면 2배 정도 인지장애를 가진 확률 있고, 이러한 것들이 순차적으로 발생하는 것이 아니라 청각, 인지, 시각 중 하나라도 문제가 발생하면 인지장애로 이어지게 된다(이수정, 이승진, 송지연, 김형희, 2014).
본 발명에서 사용자 데이터 수집부(30)는, 사용자의 청각 정보를 수집하는 청각 정보 수집부(31)를 포함할 수 있다.
이때, 진단부(50)는, 상기 수집된 청각 정보를 기초로 상기 사용자의 청력 손상 정도를 판단하며, 적어도 하나의 뇌 활성화 영역 및 상기 사용자의 청력 손상 정도를 함께 이용하여 상기 사용자의 뇌 상태를 판단할 수 있다.
구체적으로, 사용자의 청력 손상은, 난청에 의한 것이고, 상기 진단부(50)는, 사용자 관련 신체 정보, 상기 사용자의 좌우 순음 역치 평균값, 상기 사용자의 난청 정도 및 상기 청각 정보 수집부 관련 정보를 추가적으로 이용하여 상기 사용자의 뇌 상태를 판단할 수 있다.
다른 일예로서, 사용자의 청력 손상은, 이명에 의한 것이고, 진단부(50)는, 사용자 관련 신체 정보, 상기 사용자의 좌우 순음 역치 평균값, 상기 사용자의 이명 정도 및 상기 청각 정보 수집부 관련 정보를 추가적으로 이용하여 상기 사용자의 뇌 상태를 판단할 수 있다.
한편, 뇌 신호 측정부(10)의 신호 수집 동작은, 상기 사용자의 청력 손상이 발생된 상태에서, 상기 사용자가 움직이는 동안 수행될 수도 있다.
다음으로, 비접촉식 감정 변화 수집부(37)를 이용한 진단부(50)의 기능에 대해 설명한다.
비접촉식 감정 변화 수집부(37)를 기초로, 개인 감성 인식을 위한 생체데이터 수집 및 데이터 증강이 가능해질 수 있다.
다양한 도메인(연령대, 성별, 액세서리의 유무 등)에 대해 균일한 분포로 6가지 기본 감정을 나타내고 있는 텍스트 및 표정데이터를 수집할 수 있다.
기본 감성 6가지(화남, 혐오, 공포, 행복, 슬픔, 놀람) 및 중립에 대하여 성별, 나이, 지역을 고려한 대규모 일상 음성 데이터 및 해당 감성을 나타내는 라벨링 데이터를 수집할 수 있다.
수집한 데이터에 대한 기본 감정 라벨 태깅하고, Eye tracking을 포함한 얼굴 랜드마크 마스킹 데이터를 수집할 수 있다.
또한, 대상의 의도 파악을 위한 pose estimation 영상 및 이미지를 수집하고, 감성 간 데이터 불균형 해소를 위한 음성 증강 기술이 제공될 수 있다.
생체 데이터 기반 개인감성 인식 관련, 수집한 데이터를 이용해 훈련된 DNN(Deep Neural Network) 모델을 통한 감정을 인식할 수 있다.
감성 인식 성능 향상을 위하여 수집된 데이터에 대한 노이즈 제거, 음성 구간 추출 등 전처리 기술 개발 및 적용 가능하고, 감성 인식에 적합한 음성 특징 선별 및 특징 추출 모듈이 적용될 수 있다.
또한, 딥러닝 기반 발화 단위 기본 감정 인식 모델이 적용가능하고, 대상 데이터에 대한 기본 감정 추론 및 음성데이터를 활용한 개인감정 인식을 위해 음성의 시계열 특징 추출이 가능하다.
딥러닝 기술 중 시계열 데이터를 고려한 순환신경망(Recurrent Neural Network), 주의집중기법을 사용하는 트랜스포머(transformer) 등을 활용한 감정 인식 AI 모델이 적용될 수 있고, 설계한 감정 인식 AI 모델 학습 및 bayesian optimization 등과 같은 하이퍼파라미터 튜닝 기술을 이용하여 최적의 감정 인식이 가능하게 할 수 있다.
또한, 이미지와 영상에서 눈, 코, 입, 눈썹, 얼굴 윤곽에 대한 인식이 가능하고, 수집된 eye tracking 데이터와 얼굴 랜드마크 시계열 데이터로부터 집중도 추출이 가능하다(연속적인 데이터를 이용하므로 어텐션(attention) 기반의 인공 신경망 기술 사용 가능).
개인감성 및 일상상황 추적을 통한 사회감성 인식 기술이 적용될 수 있고, 감정 임베딩 고도화, 감정을 하나로 분류하는 것이 아닌 연속적인 공간에 표현할 수 있고 시계열 데이터의 연속성을 반영하는 임베딩 공간으로 강화, 시각, 음성, 자연어에서 추출한 감정 임베딩을 결합하여 multi-modal 감정 분석 등이 이에 적용된다.
사회 감성의 인식을 위해 음성으로부터 텍스트, d-vector 기반 화자 임베딩, 기 개발한 음성 감성 인식 기술을 이용하여 개인 감성을 추출 및 벡터화 기술이 적용될 수 있다.
감정으로 인해 어조가 평탄하지 않은 일상 대화 음성에 대해 성능 저하를 억제하기 위한 CMVN(Cepstral mean and variance normalization)을 적용한 특징 추출하여 적용 가능하고, 상황정보에 따라 바뀔 수 있는 어법, 단어의 특징을 고려할 수 있도록 도메인 적응 (Domain adaptation)을 적용한 언어모델이 적용될 수 있다.
비접촉식 감정 변화 수집부(37)는, 사용자의 아이 트래킹(Eye tracking)을 기초로 상기 사용자의 얼굴 랜드마크 마스킹 데이터 수집하여 비 접촉식으로 상기 사용자의 감정 변화 정보를 수집하는 비접촉식 감정 변화 수집부가 이용될 수 있다.
이때, 진단부(50)는, 상기 적어도 하나의 뇌 활성화 영역 및 상기 사용자의 감정 변화 정보를 함께 이용하여 상기 사용자의 뇌 상태를 판단할 수 있다.
또한, 비접촉식 감정 변화 수집부(37)는, 사용자의 음성 변화를 기초로 상기 사용자의 감정 변화 정보를 수집하는 비접촉식 감정 변화 수집부가 이용될 수 있다.
이때, 진단부(50)는, 상기 적어도 하나의 뇌 활성화 영역 및 상기 사용자의 감정 변화 정보를 함께 이용하여 상기 사용자의 뇌 상태를 판단할 수 있다.
구체적으로, 진단부(50)는 일정 기간 동안 연속하여 추출된 상기 적어도 하나의 뇌 활성화 영역을 기초로, 상기 사용자의 뇌 상태를 판단할 수 있다.
여기서 진단부(50)는, 사용자의 뇌 질환을 판단할 수 있고, 뇌 질환은, 치매, 경도인지장애(MCI), 파킨슨병, 우울증, 뇌졸중, 뇌전증, 뇌종양 및 발달장애를 포함할 수 있다.
나아가 진단부(50)가 판단한 상기 사용자의 뇌 상태에 대응하여, 상기 사용자의 뇌 상태 개선을 위한 정보를 제공하는 관리부(60)가 추가적으로 활용될 수 있다.
도 10은 본 발명과 관련하여, 영상 획득부의 블록 구성도를 도시한 것이다.
본 발명에 따른 영상 획득부(40)는, 사용자와 관련된 의료 영상을 수집하는 기능을 제공한다.
본 발명에 따른 영상 획득부(40)는, 사용자와 관련된 MRI 영상을 수집하는 MRI 영상 획득부(41), 상기 사용자와 관련된 CT 영상을 수집하는 CT 영상 획득부(42), 상기 사용자와 관련된 fMRI 영상을 수집하는 fMRI 영상 획득부(43), PET 영상을 획득하는 PET 영상 획득부(44), X-Ray 영상을 획득하는 X-Ray 영상 획득부(45) 등이 이용될 수 있다.
이때, 진단부(50)는, 상기 적어도 하나의 뇌 활성화 영역, 상기 사용자와 관련된 신체 정보 및 상기 사용자와 관련된 의료 영상을 함께 이용하여 상기 사용자의 뇌 상태를 판단할 수 있다.
진단부(50)는, 사용자의 뇌 질환을 판단할 수 있고, 대상이 되는 뇌 질환은, 치매, 파킨슨병, 뇌졸중, 뇌전증, 뇌종양 및 발달장애를 포함할 수 있다.
마지막으로, 관리부(60)는 진단부(50)가 판단한 상기 사용자의 뇌 상태에 대응하여, 상기 사용자의 뇌 상태 개선을 위한 정보를 제공하는 기능을 제공한다.
예를 들어, 미리 설정된 기준을 적용하여, 상기 사용자의 뇌 상태를 기반으로, 일정 기간 이내 상기 사용자가 치매, 파킨슨병, 뇌졸중, 뇌전증, 뇌종양 및 발달장애 중 적어도 하나에 해당될 것으로 예측되는 경우, 관리부(60)의 제어에 따라, 상기 사용자의 뇌 상태 개선을 위해, 상기 사용자의 뇌를 자극하기 위한 뇌 신호 자극부(20)의 동작이 트리거 될 수 있다.
수집된 신호를 기초로, 상기 사용자의 뇌 상태를 판단하는 진단부
먼저, 뇌 신호 자극부(20)는 대상체의 뇌에 자극을 주기 위한 자극 신호를 생성하고, 생성된 자극 신호를 출력할 수 있다. 예를 들어, 뇌 신호 자극부(20)는 뇌 자극을 위한 가상 현실(Virtual Reality, VR) 영상을 제공하는 HMD (Head Mouted Display) 장치일 수 있으나, 이에 한정되지 않는다. 다양한 실시예에서 뇌 신호 자극부(20)는 대상체의 시각, 청각 및 촉각 등 중 적어도 하나에 관련하여 뇌 자극을 위한 콘텐츠를 제공하기 위한 다양한 장치일 수 있다.
이러한 뇌 신호 자극부(20)가 HMD 장치인 경우 HMD 장치는 대상체의 머리에 장착되어 대상체가 실제와 유사한 공간적, 시간적 체험이 가능하도록 대상체에게 가상 현실을 위한 뇌 자극 컨텐츠를 제공함과 동시에, 사용자의 생체 데이터를 획득하여 가상 체험을 진행 중인 사용자의 신체적, 인지적, 감정적 변화를 감지할 수 있는 복합 가상 체험 장치일 수 있다. 예를 들어, 뇌 자극 컨텐츠는 영화, 애니메이션, 광고, 또는 홍보 영상 등과 같은 비-인터랙티브(non-interactive) 영상 및 게임, 전자 매뉴얼, 전자 백과사전 또는 홍보 영상 등과 같이 사용자와 상호 활동적으로 이루어지는 인터랙티브(interactive) 영상을 포함할 수 있으며, 이에 한정되지 않는다. 여기서, 영상은 3차원 영상일 수 있으며, 스테레오스코픽(Stereoscopic) 영상이 포함될 수 있다.
이러한 HMD 장치는 사용자의 머리에 착용 가능한 구조로 형성되고, 가상 현실을 위한 다양한 뇌 자극 컨텐츠를 HMD 장치 내부의 표시부를 통해 표시하는 형태로 구현될 수 있다.
또한, HMD 장치가 표시부를 구비하는 경우 대상체가 HMD 장치를 착용할 시 대상체가 뇌 자극 컨텐츠를 확인할 수 있도록 표시부의 일면이 대상체의 얼굴에 대향하도록 배치될 수 있다.
다양한 실시예에서 뇌 신호 자극부(20)는 대상체가 실제로 보고 만지는 감각적 효과를 느껴 생생한 가상 현실 환경에 몰입하도록 장갑, 옷 등과 같은 특수 장비를 더 포함할 수 있다.
다음으로, 뇌 신호 측정부(10)는 대상체의 뇌 자극에 의해 발생되는 fNIRS 데이터를 획득하기 위한 장치로서, fNIRS 데이터를 획득하기 위해 사용되는 복수의 광원 및 복수의 광원 각각에 대응하는 검출부를 포함할 수 있다.
구체적으로, 뇌 신호 측정부(10)는 복수의 광원 및 복수의 광원 각각으로부터 근적외선을 검출하고, 각 광원과 한 쌍으로 배치되는 검출부를 포함할 수 있다. 이러한 뇌 신호 측정부(10)는 광원 및 검출부가 n x m 행렬의 형태로 배치되고(n, m은 자연수), 대상체의 두피 전체를 감싸기 위한 모자 형태로 구현될 수 있다. 그러나, 뇌 신호 측정부(10)는 이와 같은 형태로 한정되지 않으며, 대상체의 두피로부터 근적외선을 검출하기 위한 다양한 형태로 구현될 수 있다. 이와 같이 배치된 광원과 검출부 사이의 영역에 채널(channel)이 형성되며, 형성된 채널 내에서 근적외선이 검출될 수 있다.
뇌 신호 측정부(10)는 복수의 광원을 통해 대상체의 두피로 광을 조사하고, 조사된 광에 의해 두피로부터 방출된 근적외선 중 대상체의 움직임을 제어하는 뇌 영역인 SMA(supplementary motor area) 영역에 해당하는 근적외선을, 각 광원과 쌍을 이루는 검출부를 통해 검출하여 SMA 영역의 fNIRS 데이터를 획득할 수 있다. 뇌 신호 측정부(10)는 획득된 fNIRS 데이터를 진단부(50)로 전달할 수 있다.
진단부(50)는 fNIRS 데이터를 이용하여 대상체의 상태를 결정하기 위한 장치로서, 태블릿 PC(Personal Computer), 노트북 및/또는 PC 등 중 적어도 하나를 포함할 수 있다.
구체적으로, 진단부(50)는 뇌 신호 측정부(10)로부터 수신된 fNIRS 데이터를 이용하여 SMA 영역에 대한 분석 데이터를 산출하고, 산출된 분석 데이터를 기초로 대상체의 상태를 결정할 수 있다. 여기서, SMA 영역은 대상체의 움직임을 계획하고, 이를 실현 또는 통제하는 역할을 수행하는 뇌 영역이며, 예를 들어 사람의 상지 또는 하지의 운동, 눈 운동 또는 손 운동 등을 할 경우 활성화될 수 있다.
분석 데이터를 산출하기 위해 진단부(50)는 전력 스펙스럼 분석(power spectrum analysis) 및 z-score 분석을 수행할 수 있으나, 이에 한정되지 않으며, 대상체의 상태를 결정하기 위한 다양한 데이터 분석 방식이 이용될 수 있다.
이러한 분석 방식을 통해서 산출된 분석 데이터를 기초로 대상체의 상태를 결정하기 위해 진단부(50)는 패턴 분석 방식(pattern mining) 및 머신 러닝 방식(machine learning) 중 적어도 하나를 이용할 수 있다.
패턴 분석 방식을 이용하는 경우 진단부(50)는 분석 데이터를 기초로 분석 패턴을 생성하도록 학습된 패턴 생성 모델을 이용하여 대상체의 분석 패턴을 생성할 수 있다. 이때, 패턴 생성 모델은 클러스터링 알고리즘에 기초하는 모델일 수 있다.
진단부(50)는 이와 같이 생성된 분석 패턴을 기초로 사용자의 상태를 확률적으로 예측하도록 학습된 상태 예측 모델을 이용하여 대상체의 상태를 결정할 수 있다. 여기서, 대상체의 상태는 대상체가 특정 질병 환자인 경우 치료를 위한 자극 콘텐츠를 제공했을 때 제공된 자극 콘텐츠에 의해 변화되는 행동적 패턴을 의미할 수 있다. 예를 들어, 진단부(50)는 운동 능력이 어느 정도인지, 균형 감각이 어느 정도인지, 학습 효능(learing efficacy)을 가지는지, 운동 감각이 있는지, 움직임을 계획(planing)하는지 및/또는 공감각이 있는지 여부 등과 같은 대상체 상태를 결정할 수 있으나, 이에 한정되지 않는다.
머신 러닝 방식을 이용하는 경우 진단부(50)는 분석 데이터를 기초로 대상체의 상태를 예측하기 위한 예측 모델을 이용하여 대상체의 상태를 결정할 수 있다. 예를 들어, 예측 모델은 DNN(Deep Neural Network), CNN(Convolutional Neural Network), DCNN(Deep Convolution Neural Network), RNN(Recurrent Neural Network), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network), SSD(Single Shot Detector) 모델 또는 U-net을 기반으로 하는 예측 모델일 수 있으나, 이에 한정되지 않는다.
다양한 실시예에서 진단부(50)는 이와 같이 결정된 상태를 모니터링하거나, 결정된 상태에 대한 피드백 데이터를 제공할 수 있다. 예를 들어, 진단부(50)는 대상체의 운동 능력이 어느 정도인지, 균형 감각이 어느 정도인지, 학습 효능을 가지는지, 운동 감각이 있는지, 움직임을 계획하는지 및/또는 공감각이 있는지 등을 나타내는 모니터링 데이터 또는 피드백 데이터를 제공할 수 있다.
다양한 실시예에서 전체 시스템은 외부 자극에 대한 뇌 영역 fNIRS 데이터를 대상체의 움직임 상태에서 측정하여 뇌활성화, 뇌질환 등 뇌상태를 진단할 수 있다.
이와 같이 본 발명은 사람의 움직임을 제어하는 SMA 영역의 fNIRS 데이터를 이용하여 대상체의 상태를 결정하고, 이를 모니터링 또는 피드백 데이터로서 제공함으로써, 파킨슨병 환자 또는 사고로 인해 신체 일부가 마비된 환자들과 같이 자유롭게 움직이지 못하는 대상체에게 치료를 위한 적절한 자극 신호를 줄 수 있고, 대상체의 뇌가 제대로 작동하는지 또는 정상인지 여부를 시공간적 또는 실시간으로 확인할 수 있다.
뇌 신호 자극부(20)는 영상 재생 장치 및 입력 장치를 포함한다. 영상 재생 장치는 입력 장치와 유/무선 통신으로 연결될 수 있다. 제시된 실시예에서 뇌 신호 자극부(20)는 도 1의 뇌 신호 자극부(20)를 의미하며, 영상 재생 장치는 가상 현실 영상을 재생하는 HMD 장치로 가정하여 설명한다.
먼저, 영상 재생 장치는 통신부, 센싱부, 표시부, 저장부 및 제어부를 포함한다.
통신부는 영상 재생 장치가 외부 장치와 통신이 가능하도록 연결한다. 통신부는 유/무선 통신을 이용하여 진단부(50)와 연결되어 다양한 데이터를 송수신할 수 있다. 여기서, 다양한 데이터는 가상 현실 콘텐츠일 수 있으며, 가상 현실 콘텐츠는 1인칭 또는 3인칭 게임 콘텐츠일 수 있다. 예를 들어, 3인칭 게임 콘텐츠는 대상체와 매칭되는 아바타를 포함할 수 있으며, 아바타는 대상체의 외형과 유사하게 구현될 수 있다.
센싱부는 사용자의 머리 움직임을 감지하기 위한 움직임 센서를 포함하고, 움직임 센서를 통해 사용자의 머리 움직임을 감지하여 감지 신호를 출력할 수 있다. 그러나, 이에 한정되지 않으며, 머리 움직임을 감지하기 위한 다양한 센서가 이용될 수 있다.
표시부는 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 배너 또는 심볼 등)를 표시할 수 있다. 구체적으로, 표시부는 통신부를 통해 수신되거나 저장부에 저장된 가상 현실 콘텐츠를 표시할 수 있다.
저장부는 대상체의 뇌에 자극을 주기 위해 사용되는 다양한 데이터를 저장할 수 있다. 예를 들어, 저장부는 가상 현실 콘텐츠를 저장할 수 있다.
다양한 실시예에서 저장부는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 영상 재생 장치는 인터넷(internet)상에서 상기 저장부의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
제어부는 통신부, 센싱부, 표시부 및 저장부와 동작 가능하게 연결되며, 대상체의 뇌에 자극을 주기 위해 사용되는 가상 현실 콘텐츠를 제공하기 위한 다양한 명령들을 수행할 수 있다.
구체적으로, 제어부는 통신부를 통해 수신되거나, 저장부에 저장된 가상 현실 콘텐츠를 표시부를 통해 표시할 수 있다. 예를 들어, 가상 현실 콘텐츠가 3인칭 게임 콘텐츠인 경우 3인칭 게임 콘텐츠는 대상체에 대응하는 아바타를 포함할 수 있다. 이러한 경우 제어부는 아바타를 생성하기 위한 사용자 인터페이스를 제공할 수 있다.
다양한 실시예에서 제어부는 대상체의 입력 장치 조작에 의해 가상 현실 콘텐츠에 관련된 사용자 인터페이스를 제어할 수 있다. 예를 들어, 제어부는 대상체의 입력 장치 조작에 의해 아바타 생성을 위한 사용자 인터페이스를 제어하여 대상체와 유사한 외형을 갖는 아바타를 생성할 수 있다.
다양한 실시예에서 제어부는 센싱부를 통해서 사용자의 머리 움직임을 감지하고, 사용자의 머리 방향에 대응하여 가상 현실 콘텐츠를 재생하여 표시할 수 있다.
입력 장치(예: 컨트롤러 등)는 영상 재생 장치와 연결되고, 대상체가 영상 재생 장치에 연결된 입력 장치를 조작하여 영상 재생 장치의 표시부를 통해 표시되는 가상 현실 콘텐츠에 관련된 사용자 인터페이스를 제어할 수 있다.
뇌 신호 측정부(10)는 광원, 검출부 및 데이터 송신부를 포함한다.
광원은 복수개로 구비되고, n x m 행렬의 형태로 배치되어 광을 두피로 조사할 수 있다.
검출부는 광원에 대응하여 광원과 한 쌍으로 구비되어 n x m 행렬의 형태로 배치될 수 있다.
이와 같이 배열된 광원 및 검출부 사이에 채널이 형성되고, 검출부는 채널 내에서 근적외선을 검출하여 fNIRS 데이터를 획득할 수 있다.
데이터 송신부는 획득된 fNIRS 데이터를 유선 또는 무선 통신을 통해 진단부(50)로 전달할 수 있다.
진단부(50)는 데이터 수신부, 전처리부, 분석 데이터 산출부 및 상태 결정부를 포함한다.
먼저, 데이터 수신부는 뇌 신호 측정부(10)로부터 fNIRS 데이터를 수신할 수 있다.
전처리부는 fNIRS 데이터의 생물학적 또는 기술적 아티팩트(artifact)를 제거하기 위한 전처리를 수행할 수 있다. 예를 들어, 전처리부는 이동 평균 저대역 필터(moving average low-pass filter)를 적용하여 전처리를 수행할 수 있으나, 이에 한정되지 않으며, 아티팩트를 제거하기 위한 다양한 필터가 이용될 수 있다.
분석 데이터 산출부는 특정 샘플링 시간 간격으로 SMA 영역에 관련된 채널에 대응하여 전처리된 데이터를 수집하고, 수집된 데이터를 기반하여 옥시(oxy) 및 디옥시(deoxy)-헤모글로빈(hemoglobin)의 농도 변화를 나타내는 Δ데이터를 획득할 수 있다.
분석 데이터 산출부는 Δ데이터를 분석하여 분석 데이터를 생성할 수 있다. 구체적으로, 분석 데이터 산출부는 2개의 분석 방식을 이용하여 분석 데이터를 생성하는데, 예를 들어 2개의 분석 방식은 전력 스펙트럼 분석 방식 및 z-score 분석 방식을 포함할 수 있다.
먼저, 분석 데이터 산출부는 뇌 영역을 식별하기 위해 전력 스펙트럼 분석 방식을 이용하여 전력 스펙트럼 값을 산출할 수 있다. 예를 들어, 분석 데이터 산출부는 고속 푸리에 변환(fast Fourier transform)을 이용하여 시계열 데이터(즉, 특정 샘플링 시간 간격으로 수집된 Δ데이터)를 주파수 영역으로 변환하고, 특정 주파수 범위를 갖는 근접 주파수 윈도우 내에서 전력을 산출할 수 있다.
다음으로, z-score 분석 방식을 이용하여 분석 데이터를 산출하기 위해 분석 데이터 산출부는 x(t) ≡Δ인 fNIRS 데이터를, z(t) = [x(t)- M0]/SD0와 같은 수학식을 이용하여 시계열 z-score 값(z(t))으로 변환할 수 있다. 여기서, M0 및 SD0는 기준 시간 범위(t) 동안 Δ데이터의 평균값 및 표준 편차를 의미할 수 있다.
분석 데이터 산출부는 이와 같은 분석 방식들을 이용하여 전력값 및 z-score 값을 SMA 영역에 대한 분석 데이터로서 산출할 수 있다.
상태 결정부는 산출된 분석 데이터를 기초로 대상체의 상태를 결정할 수 있다. 구체적으로, 상태 결정부는 패턴 분석 방식 및 머신 러닝 방식 중 적어도 하나를 이용하여 대상체의 상태를 결정할 수 있다. 여기서, 상태 결정부는 대상체의 운동 능력이 어느 정도인지, 균형 감각이 어느 정도인지, 학습 효능(learing efficacy)을 가지는지, 운동 감각이 있는지, 움직임을 계획하는지 및/또는 공감각이 있는지 여부를 대상체의 상태로서 결정할 수 있다.
먼저, 패턴 분석 방식을 이용하는 경우 상태 결정부는 분석 데이터 패턴을 생성하도록 학습된 패턴 생성 모델을 이용하여 SMA 영역의 분석 데이터 패턴을 생성할 수 있다. 이때, 패턴 생성 모델은 클러스터링 알고리즘에 기초하는 모델일 수 있다. 예를 들어, 분석 데이터 패턴을 생성하기 위해 패턴 생성 모델은 클러스터링 알고리즘을 반복적으로 수행하여 복수개의 SMA 영역의 분석 데이터 각각에 대한 실루엣의 평균값을 산출하고, 평균값이 가장 급격하게 증가하는 패턴의 개수 중 가장 작은 값을 갖는 패턴의 개수를 최적 패턴 개수로 결정할 수 있다. 나아가, 패턴 생성 모델은 클러스터링 알고리즘을 이용하여, 결정된 최적 패턴 개수를 기초로 복수개의 SMA 영역의 분석 데이터에 대한 패턴을 그룹화함으로써 하나의 SMA 영역의 분석 데이터 패턴을 생성할 수 있다.
다양한 실시예에서 상태 결정부는 패턴 생성 모델을 이용하여 미리 결정된 시간 간격으로 대상체에 대한 SMA 영역의 분석 데이터를 복수회 산출함에 따라 생성된 복수개의 동일한 SMA 영역의 분석 데이터에 대한 클러스터링(clustering)을 수행할 수 있다.
다양한 실시예에서 상태 결정부는 패턴 생성 모델을 이용하여 복수개의 SMA 영역의 분석 데이터 중 두 개의 선택된 분석 데이터에 대한 유사도 및 비유사도 행렬을 산출하고, 산출된 유사도 및 비유사도를 기초로 상기 두 개의 분석 데이터에 대한 상관관계를 결정할 수 있다. 나아가, 상태 결정부(404)는 분석 데이터 간의 상관관계, 및 최적 패턴 개수를 기초로, 하나의 분석 데이터 패턴을 생성할 수 있다.
다음으로, 상태 결정부는 SMA 영역의 분석 데이터 패턴을 기초로 대상체의 상태를 확률적으로 예측하도록 학습된 상태 예측 모델을 이용하여 대상체의 상태를 예측할 수 있다. 이때, 상태 예측 모델은 대상체와 상이한 복수의 표본 대상체에 대하여 SMA 영역의 분석 데이터를 산출하고, 상태 예측 모델을 이용하여 복수개의 SMA 영역의 분석 데이터 각각에 대한 패턴을 생성하고, 생성된 각 패턴을 그룹화하여 복수의 표본 대상체 각각에 대한 하나의 분석 데이터 패턴을 생성하고, 생성된 각 분석 데이터 중 대상체의 상태와 연관된 패턴을 결정하는 단계에 의해 트레이닝된 예측 모델일 수 있다.
상태 결정부는 상태 예측 모델을 이용하여 미리 결정된 상태와 연관된 패턴 및 대상체에 대한 분석 데이터 패턴을 비교하여 비교 결과를 기초로 대상체의 상태를 확률적으로 결정할 수 있다. 예를 들어, 상태 결정부(404)는 대상체의 운동 능력이 어느 정도인지, 균형 감각이 어느 정도인지, 학습 효능을 가지는지, 운동 감각이 있는지, 움직임을 계획하는지 및/또는 공감각이 있는지 등 결정할 수 있다.
다음으로, 머신 러닝 방식을 이용하는 경우 상태 결정부는 분석 데이터를 기초로 대상체의 상태를 예측하도록 사전 학습된 상태 예측 모델을 이용할 수 있다. 예를 들어, 상태 예측 모델은 다른 대상체들의 분석 데이터를 기초로 학습되는 다양한 학습 모델에 기초할 수 있다. 예를 들어, 본 발명의 다양한 실시예에서 이용되는 예측 모델들은 DNN, CNN, DCNN, RNN, RBM, DBN, SSD 모델 또는 U-net을 기반으로 하는 예측 모델일 수 있으나, 이에 제한되는 것은 아니다.
다시 말해서, 상태 결정부는 대상체의 분석 데이터를 입력으로 하여 대상체의 상태, 즉 운동 능력이 어느 정도인지, 균형 감각이 어느 정도인지, 학습 효능을 가지는지, 운동 감각이 있는지, 움직임을 계획하는지 및/또는 공감각이 있는지 등을 예측하도록 사전 학습된 상태 예측 모델을 이용하여, 대상체의 상태를 예측할 수 있다.
이와 같이 본 발명은 대상체의 SMA 영역에 대한 분석 데이터를 이용하여 대상체의 상태를 결정함으로써, 대상체가 뇌 질환자인지 결정하거나, 뇌 질환 예방을 위한 지표를 제공할 수 있다.
하기에서는 인공지능 기반 뇌 정보 제공 장치(1)에서 기능적 근적외선 분광법을 이용하여 대상체의 상태를 결정하기 위한 방법에 대해서 도 5를 참조하여 설명하도록 한다.
인공지능 기반 뇌 정보 제공 장치(1)는 대상체에 대한 뇌 자극을 수행하여 대상체의 움직임을 제어하는 SMA 영역의 fNIRS 데이터를 획득한다. 구체적으로, 인공지능 기반 뇌 정보 제공 장치(1)은 뇌 신호 자극부(20)에 의해서 대상체로의 뇌 자극을 수행하고, 뇌 신호 측정부(10)를 통해 대상체의 SMA 영역에 대한 fNIRS 데이터를 획득할 수 있다. 여기서, SMA 영역에 대한 fNIRS 데이터는 복수의 쌍을 이루는 광원 및 검출부 사이에 형성된 채널 중 SMA 영역에 관련된 채널 내에서 획득되어 진단부(50)로 전달될 수 있다.
인공지능 기반 뇌 정보 제공 장치(1)은 획득된 fNIRS 데이터를 이용하여 SMA 영역에 대한 분석 데이터를 산출한다(S510). 구체적으로, 인공지능 기반 뇌 정보 제공 장치(1)은 진단부(50)를 통해 전력 스펙트럼 분석 및 z-score 분석을 이용하여 SMA 영역에 대한 분석 데이터를 산출할 수 있다. 이러한 산출 방식은 상기에서 언급한 바와 같이 수행될 수 있다.
인공지능 기반 뇌 정보 제공 장치(1)은 산출된 분석 데이터를 기초로 대상체의 상태를 결정한다. 구체적으로, 인공지능 기반 뇌 정보 제공 장치(1)은 진단부(50)를 통해 패턴 분석 방식 및 머신 러닝 방식 중 적어도 하나를 이용하여 대상체의 상태를 결정할 수 있다. 이와 같이 결정된 상태는 질병 환자인 대상체의 질병 치료 또는 질병 진행을 지연시키기 위한 피드백 데이터로서 제공되거나, 질병 예방을 위한 모니터링 데이터로서 제공될 수 있다. 또한 이러한 피드백 데이터 및 모니터링 데이터에 의해 사용자는 대상체의 뇌가 제대로 작동하는지 또는 정상인지 여부를 시공간적 또는 실시간으로 확인할 수 있다.
하기에서는 z-score 분석 방식을 이용하여 산출된 SMA 영역에서의 분석 데이터를 기반으로 대상체의 상태를 결정하기 위한 방법을 도 11을 참조하여 설명하도록 한다.
도 11은 본 발명의 실시예에 따른 z-score 분석 방식을 이용하여 산출된 SMA 영역에서의 분석 데이터를 나타내는 예시도이다.
도 11을 참조하면, 분석 데이터는 SMA 영역에서 시계열 z-score 값으로 나타낼 수 있다. 일반적으로, SMA 영역은 대상체의 움직임을 계획하고 통제하는 영역이므로, 대상체가 어떠한 움직임을 수행할 경우 SMA 영역의 활동이 증가하여 SMA 영역의 시계열 z-score 값은 기준선(z-score=0)을 중심으로 점차 증가하는 값을 가진다.
대상체에 대한 특정 이벤트가 발생되면 특정 이벤트가 발생된 구간(600, 602, 604, 606)에서 SMA 영역의 시계열 z-score 값들은 점차 기준선보다 작은 값을 가지도록 감소한다. 여기서, 특정 이벤트는 대상체가 움직임을 익히고, 능숙해지는 경우를 의미한다. 대상체가 움직임을 빠르게 배울수록 시계열 z-score 값들의 기울기는 급격하게 감소할 수 있다.
대상체의 움직임에 제약이 있거나 대상체가 하기 어려운 움직임을 하는 경우에도 대상체의 SMA 영역 활동이 증가하여 뇌 활성화가 증가될 수 있다. 예를 들어, 대상체가 새로운 움직임 또는 운동(예: 테니스, 수영, 복싱 등)을 수행할 경우 움직임을 주관하는 SMA 영역의 활동은 증가하고, SMA 영역에서 새로운 움직임 또는 운동을 실행하고 익히려는 계획이 활성화될 수 있다. 이를 통해 대상체는 새로운 움직임 또는 운동을 익히거나 실행할 수 있다. 대상체가 이러한 움직임 또는 운동에 능숙해지면 SMA 영역의 활동은 점차 감소하게 되어 대상체가 덜 능동적이고, 더 자연스럽고, 덜 계획적이며, 덜 노력하여 해당 움직임 또는 운동을 수행할 수 있다.또한, 파킨슨병 환자 또는 사고로 인해 신체 일부가 마비된 환자들의 경우 환자들의 머리에 뇌 신호 자극부(20)를 착용시키고, 뇌 신호 자극부(20)를 통해 다양한 뇌 자극 콘텐츠를 재생시킴으로써, 환자들의 뇌 질환 치료를 위한 자극 신호를 줄 수 있다. 이러한 경우 진단부(50)는 뇌 신호 측정부(10)로부터 획득된 fNIRS 데이터를 기반으로 환자들의 SMA 영역에 대한 분석 데이터를 산출하고, 산출된 분석 데이터를 이용하여 환자의 상태를 결정한 후 결정된 환자 상태를 기반으로 치료를 위한 뇌 자극 콘텐츠를 제공할 수 있다. 파킨슨병 환자 또는 신체 일부가 마비된 환자들은 SMA 영역의 활동이 미미하거나, SMA 영역이 비활동할 수 있으므로, 뇌 신호 자극부(20)를 통해 환자들의 SMA 영역 활동을 점차적으로 증가시키기 위한 뇌 자극 콘텐츠를 제공함으로써, 이러한 환자들의 뇌 질환 치료를 도울 수 있다.
이와 같이 본 발명은 대상체의 운동 능력 또는 균형 감각 등과 같은 행동적 구현에 관련된 SMA 영역에서의 fNIRS 데이터를 이용하여 대상체의 상태를 결정함으로써, 대상체가 SMA 영역의 활성화가 떨어지는 뇌 질환에 걸렸는지를 진단할 수 있다.
또한, 본 발명은 대상체의 결정된 상태를 모니터링 데이터 또는 피드백 데이터로서 제공함으로써, 이러한 데이터를 이용하여 파킨슨병 등과 같은 뇌 질환을 예방하거나 치료하기 위한 적절한 자극 신호를 생성할 수 있다.
또한, 본 발명은 SMA 영역에서의 분석 데이터를 이용하여 대상체의 뇌 영역이 제대로 동작하고 있는지 또는 정상인지 여부를 시공간적으로 또는 실시간으로 확인할 수 있다.
멀티센서 바이오데이터 기반 활성형 XR 디지털 치료 제공 모델
도 12는 본 발명에 따른 멀티센서 바이오데이터 기반 활성형 XR 디지털 치료 제공 모델의 일례를 설명하기 위한 도면이다.
여기서 XR 환경은, AR(Augmented Reality), VR(Virtual Reality) 및 MR(Mixed Reality) 중 적어도 하나를 포함할 수 있다.
도 12를 참조하면, 멀티센서 바이오데이터 기반 활성형 XR 디지털 치료 제공은 도 12에 도시된 것과 같이, 3 단계로 구성된다.
Measure -> Evaluation -> Solution
Measure 단계에서는, 의료기기(PET, CT, MRI, X-Ray) 정보, 유전자 검사, 혈액 검사 결과 등의 정보가 수집될 수 있다.
또한, 웨어러블 기기(스마트 워치, 밴드, 심박계)를 통해 정보가 수집되고, 설문지와 어플리케이션을 통해 획득된 정보가 추가적으로 활용될 수 있다.
다음으로, Evaluation 단계에서는, 액티브 브레인을 통한 뇌 활성화 평가, XR 환경을 통한 뇌 활성화 극대화, 행동치료 방법론(CEBT) 등이 적용될 수 있다.
또한, 뇌 질환 초기 바이오 마커로 활용하거나 바이오 데이터를 지속적으로 추적 관리하는 기능이 적용될 수 있다.
나아가 조기 진단에 해당 정보가 활용될 수 있다.
마지막으로, Solution 단계에서는, 인지 장애 개선 등 복수의 디지털 치료제로 활용 가능하고, 병행 사용하여 복약 행동을 개선하는 것으로 활용 가능하다.
또한, 신약 개발 보조에 활용될 수 있다.
“Measure”단계에서, 데이터 획득에 사용된 주요 장비 및 데이터와 관련하여, 도 13 및 도 14는 본 발명에 따라 획득되는 생체 데이터의 일례를 도시한 것이다.
한편, 도 15는, 본 발명에 따른 디지털 컨텐츠 기반 치료 정보 제공 방법 및 시스템의 적용 일례를 설명하기 위한 도면이다.
도 15에서는, 스마트병원 시스템과 연계한 멀티모달 바이오데이터 기반 XR 콘텐츠 플랫폼 구성의 일례가 도시된다.
도 15를 참조하면, 휴식할 때의 뇌 뿐만 아니라 어떤 행동을 할 때의 동적인 뇌의 활성 상태를 측정하고, 여러 종류의 뇌 관련 바이오데이터를 수집, 분석하며, XR환경의 뇌 활성화에 대해 바이오데이터로 검증할 수 있다.
또한, XR 환경에서 우울증에 작용하는 뇌 부위, 정의 가능, 해당 부분 활성화시킬 수 있는 CBT 방법의 적용이 가능하고, 치료용 XR 콘텐츠만 개발하는 것이 아닌 동적인 상태의 뇌 측정과 각종 바이오센서를 이용한 바이오 데이터 수집을 XR 콘텐츠 체험과 동시에 진행함으로써 실시간으로 개인 상태에 맞춤으로 제공, 치료 효과 증대를 유도할 수 있다.
향후 상기 측정+치료 모델은 기존 우울증 진단에 활용되지 않았던 새로운 데이터이고, 즉, 치료 모듈이 예방 모듈로 활용될 수 있다.
디지털 컨텐츠 기반 치료 정보 제공 방법
도 16은 본 발명이 제공하는 디지털 컨텐츠 기반 치료 정보 제공 방법을 설명하는 순서도의 일례를 도시한 것이다.
도 16을 참조하면, 가장 먼저, 사용자에 대한 뇌 자극을 수행하여, 상기 사용자의 fNIRS(functional near-infrared spectroscopy) 데이터를 획득하는 단계(S1)가 진행된다.
다음으로, 상기 획득된 fNIRS 데이터를 이용하여 상기 사용자의 뇌의 복수의 영역 중 활성화된 제 1 뇌 활성화 영역을 추출하는 단계(S2)가 진행된다.
이후, 제 1 뇌 활성화 영역을 기초로, 상기 사용자의 제 1 뇌 상태를 판단하는 단계(S3)가 진행된다.
S3 단계에서, 제 1 뇌상태를 기초로, 상기 사용자의 뇌 질환을 판단하고, 상기 뇌 질환은, 치매, 경도인지장애(MCI), 파킨슨병, 우울증, 뇌졸중, 뇌전증, 뇌종양 및 발달장애를 포함할 수 있다.
S1 단계 이전에, 상기 사용자와 관련된 신체 정보 및 상기 사용자와 관련된 의료 영상 정보를 수집하는 제 0.5 단계를 더 포함하고, 상기 S3 단계에서, 제 1 뇌 활성화 영역 정보, 상기 신체 정보 및 상기 의료 영상 정보를 함께 이용하여 상기 제 1 뇌 상태를 판단하는 과정이 진행될 수 있다.
S3 단계에서, 미리 축적된 데이터 베이스를 기반으로, 상기 복수의 영역 각각과 관련된 활성화 정보, 상기 신체 정보 및 상기 의료 영상 정보 간의 상관관계를 추가적으로 이용하여, 상기 제 1 뇌 상태를 판단할 수 있다.
여기서, 신체 정보는, 상기 사용자의 청력 손상 정도, 상기 사용자의 걸음걸이 패턴, 스트레스 정도, 심전도 변화, 수면 상태 및 집중력 변화, EEG 변화 및 산소포화도 변화 중 적어도 하나를 포함할 수 있다.
또한, 의료 영상 정보는, 상기 사용자와 관련된 MRI 영상, 상기 사용자와 관련된 CT 영상 및 상기 사용자와 관련된 fMRI 영상 중 적어도 하나를 포함할 수 있다.
S1 단계는, 복수의 광원을 통해 상기 사용자의 두피에 광을 조사하는 제 1-1 단계 및 상기 복수의 광원 각각에 대응하는 검출부를 통해 상기 광이 조사된 두피에서 상기 fNIRS 데이터를 검출하는 제 1-2 단계를 포함할 수 있다.
여기서 fNIRS 데이터는, 상기 두피를 통해 전달되는 근적외선 광 세기의 변화를 나타내고, 이동 평균 저대역 필터(moving average low-pass filter)를 통해 아티팩트(artifact)가 제거된 데이터일 수 있다.
또한, S3 단계에서, 상기 제 1 뇌 상태를 판단하기 위해, 전력 스펙트럼 분석 방식(power spectrum) 및 z-score 분석 방식이 이용될 수 있다.
또한, 제 1 뇌 활성화 영역을 기초로 상기 사용자의 움직임을 제어하는 SMA(Supplementary Motor Area) 영역에 대한 분석 데이터를 산출하고, 상기 산출된 분석 데이터를 기초로 상기 제 1 뇌 상태를 결정할 수 있다.
또한, 상기 사용자에 특정 이벤트가 발생된 상황에서, 상기 SMA 영역에 대한 분석 데이터 값이 기준선을 중심으로 증가할수록 상기 대상체가 움직임에 제약이 있는 상태인 것으로 결정하고, 분석 데이터 값이 기준선을 중심으로 감소할수록 상기 대상체가 움직임에 능숙한 상태인 것으로 결정할 수 있다.
한편, XR(Extended Reality) 환경에서, 상기 판단된 제 1 뇌 상태에 대응하여 결정된 콘텐츠를 상기 사용자에 제공하는 단계(S4)가 수행된다.
S4 단계는, 제1 상태를 베이스 라인으로 결정하는 제 4-1 단계, 제 1 상태에 대응하여, 상기 제 1 뇌 활성화 영역의 활성화를 위한 상기 콘텐츠를 결정하는 제 4-2 단계 및 XR 환경 체험을 위해, 상기 사용자가 착용한 기기를 통해, 상기 콘텐츠를 상기 사용자에 제공하는 제 4- 3 단계를 포함할 수 있다.
또한, 상기 컨텐츠는, 정서안정을 위한 콘텐츠(Relaxation), 스트레스 상황 관리 콘텐츠(Problem-solving), 참여도 관리 콘텐츠(Engagement), 감정 조절 콘텐츠(Self-control) 및 충동 행동 컨트롤 콘텐츠 (Impulse Control)를 포함할 수 있다.
또한, 사용자는 복수이고, 상기 컨텐츠는, 상기 복수의 사용자 중 적어도 일부가 함께 상기 미션을 수행하는 그룹 테라피(Group therapy) 컨텐츠를 더 포함할 수 있다.
또한, 판단한 뇌 질환의 치료와 관련하여, 상기 콘텐츠가 결정될 수 있다.
또한, 컨텐츠에 대응하여 상기 사용자가 미션을 수행하는 단계(S5)가 진행된다.
S5 단계는, 컨텐츠의 플레이 진행 정도에 따라 변화하는 상기 미션을 상기 사용자가 수행하는 제 5-1 단계 및 사용자가 미션을 수행하는 상태의 상기 사용자의 뇌 관련 정보를 실시간으로 제공하는 제 5-2 단계를 포함할 수 있다.
또한, 도시하지는 않았지만 S5 단계에서는, 미션을 수행하는 과정 중의 상기 사용자의 fNIRS 데이터를 기준으로, 상기 복수의 영역 중 활성화된 제 3 뇌 활성화 영역을 추출하고, 상기 제 3 뇌 활성화 영역을 기초로, 상기 사용자의 제 3 뇌 상태를 판단하는 과정을 더 포함할 수 있다.
또한, 미션을 수행한 사용자의 fNIRS 데이터를 기준으로, 상기 복수의 영역 중 활성화된 제 2 뇌 활성화 영역을 추출하는 단계(S6)가 진행된다.
또한, 제 2 뇌 활성화 영역을 기초로, 상기 사용자의 제 2 뇌 상태를 판단하는 단계(S7)가 진행된다.
또한, 제 1 뇌 상태 정보 및 상기 제 2 뇌 상태 정보를 이용하여 상기 사용자의 뇌 상태 개선과 관련된 정보를 결정하는 단계(S8)가 진행된다.
만약, S5 단계에서 미션을 수행하는 과정 중의 상기 사용자의 fNIRS 데이터를 기준으로, 상기 복수의 영역 중 활성화된 제 3 뇌 활성화 영역을 추출하고, 상기 제 3 뇌 활성화 영역을 기초로, 상기 사용자의 제 3 뇌 상태를 판단하는 과정을 더 포함된 경우, S8 단계는, 제 1 뇌 상태 정보, 제 2 뇌 상태 정보 및 제 3 뇌 상태 정보를 함께 이용하여 상기 사용자의 뇌 상태 개선과 관련된 정보를 결정할 수도 있다.
또한, 제 1 뇌 상태 정보, 상기 제 2 뇌 상태 정보 및 상기 뇌 상태 개선 정보 중 적어도 하나를 상기 사용자에 제공하는 단계(S9)가 진행될 수 있다.
도 17 및 도 18은, 본 발명과 관련하여 복수의 데이터 간의 상관관계 처리를 기반으로 한 예측, 진단, 치료 기술을 사용자에게 제공하는 방법을 설명하기 위한 도면이다.
도 17을 참조하면, fNIRS, ECG, EEG, GSR, EMG를 기반으로, 정상대조군의 기억력, 판단력, 집중력, 감정 변화, 스트레스 데이터를 측정하고, fNIRS, ECG, EEG, GSR, EMG 데이터 간의 Correlation을 확인하며, XR 컨텐츠 적용 환경에서 디지털 치료제를 통한 cure를 수행하고, cure 과정에서의 Active Brain 데이터(fNIRS) 및 다른 바이오 데이터(ECG, EEG, GSR, EMG) 간의 Correlation 확인할 수 있다.
도 17에서는, Active Brain Scanner, Smart watch, ECG Patch 등을 착용한 후 XR 컨텐츠 적용 환경에서 action task를 수행하고, 정상대조군의 fNIRS, ECG, EEG, GSR, EMG 데이터 획득할 수 있다,
또한, action task를 수행하는 과정에서의 정상대조군의 기억력, 판단력, 집중력, 감정 변화, 스트레스 변화를 판단할 수 있다.
또한, Active Brain 데이터(fNIRS) 및 다른 바이오 데이터(ECG, EEG, GSR, EMG) 간의 Correlation을 확인할 수 있다.
또한, Active Brain Scanner, Smart watch, ECG Patch 등을 착용한 후 XR 컨텐츠 적용 환경에서 cure task 수행하고, cure task를 수행하는 과정에서의 뇌 활성화 및 CNS 효율 증진을 통해, 정상대조군의 기억력 증가, 판단력 향상, 집중력 증가, 감정 변화, 스트레스 감소 효과를 확인할 수 있다.
또한, cure 과정에서의 Active Brain 데이터(fNIRS) 및 다른 바이오 데이터(ECG, EEG, GSR, EMG) 간의 Correlation을 확인할 수 있다.
한편, 도 18을 참조하면, 치매군, 경도인지장애군, 정상대조군 각각에 대해, fNIRS, ECG, EEG, GSR를 기반으로, 기억력, 판단력, 집중력, 감정 변화, 스트레스 데이터를 측정하고, 뇌 MRI 영상 데이터 및 SNSB(치매 선별 검사) 데이터를 획득하며, MRI 영상 데이터의 치매군, 경도인지장애군, 정상대조군 분류를 기준으로, Active Brain 데이터(fNIRS), 다른 바이오 데이터(ECG, EEG, GSR), MRI 영상 데이터 및 SNSB 데이터 간의 Correlation을 확인할 수 있다.
도 18에서는, 치매군, 경도인지장애군, 정상대조군 각각에 대해, Active Brain Scanner, ECG Patch 등을 착용한 후 XR 컨텐츠 적용 환경에서 action task를 수행하고, SNSB(치매 선별 검사) 시행하며, 뇌 MRI 영상을 획득하고, 치매군, 경도인지장애군, 정상대조군 각각의 fNIRS, ECG, EEG, GSR 데이터, SNSB 데이터 및 뇌 MRI 영상 데이터를 획득하는 단계가 진행될 수 있다.
또한, action task를 수행하는 과정에서의 치매군, 경도인지장애군, 정상대조군 각각의 fNIRS, ECG, EEG, GSR 데이터 확인하고, MRI 영상 데이터를 기준으로 판단된 치매군, 경도인지장애군, 정상대조군 각각에 대한 fNIRS, ECG, EEG, GSR 데이터와 SNSB 데이터 간의 Correlation을 확인할 수 있다.
도 19a 내지 도 19c는 XR(Extended Reality) 환경에서, 사용자의 뇌 상태에 대응하여 결정된 콘텐츠를 제공하는 일례를 도시한 것이다.
도 19a는 베이스라인 측정의 일례를 도시한 것이고, 도 19b는 XR-CBT 액티비티를 진행하는 일례를 도시한 것이며, 도 19c는 사용자 맞춤 큐레이션의 일례를 도시한 것이다.
즉, 사용자는, Active Brain Scanner를 비롯, 스마트밴드, ECG패치등의 바이오센서 & XR체험을 위한 AR글래스 착용하고, 잔잔한 배경의 XR콘텐츠로 사용자의 베이스라인의 뇌 상태, 멀티 모달 바이오데이터를 측정, 우울 척도를 진단하고 사용자가 직접 확인할 수 있게 보여준다.
또한, 측정된 데이터 토대로 개인 맞춤형 콘텐츠를 구성하고, 다수의 XR 액티비티 종류와 CBT 방법론을 융합, 20개 이상의 다양한 XR-CBT 콘텐츠 조합으로 개인의 실시간 뇌 상태에 가장 효과적으로 활성시킬 수 있게 큐레이션 후 제공할 수 있다.
또한, 콘텐츠를 진행하고, 사용자가 움직임을 취하는 상태에서 실시간으로 뇌 상태, 활성도 및 바이오데이터를 보여줌으로써 뇌에 미치는 효과를 스스로 확인할 수 있게 할 수 있다.
또한, 한 콘텐츠 체험 후 데이터에 기반하여 다음으로 진행할 콘텐츠 큐레이션 후 제공하고, 콘텐츠 체험 종료 후 베이스라인 측정시의 데이터와, 체험 후 데이터를 비교분석한 결과를 제공해 치료 효과를 확인할 수 있다.
따라서 사용자가 움직일 때나 어떤 행동(Task)을 취할 때의 뇌 활성상태를 실시간으로 측정할 수 있는 기술력을 바탕으로, XR콘텐츠를 사용할 때의 뇌 상태를 Active Brain Scanner 로 수집하는 뇌 활성 데이터, 멀티 모달 바이오센서로 수집하는 여러 생체 데이터 (ECG, REP 등)를 수집 및 분석함으로써 사용자 맞춤의 효과적인 치료 콘텐츠 구성 및 제공이 가능하다.
또한, 사용자가 경험하는 XR 콘텐츠는 CBT방법론과 융합, 치료 효과를 수반하고 몰입감(Engagement)과 체내화(embodiment)를 극대화(maximization)하는 방법으로, 게임화(gamification) 방법을 사용하여 자극을 줌으로써 짧은 시간에도 사용자의 뇌를 최대한으로 활성화시킬 수 있다.
또한, 휴식상태의 뇌가 아닌(MRI등) 활성화된 뇌를 측정하여, 보다 정밀한 치료에 기여하고, 뇌의 활성화된 부위와 정도를 실시간으로 사용자 본인이 확인할 수 있으며 사용자 맞춤형 XR-CBT 콘텐츠 큐레이션 제공 및 치료 효과 검증이 가능하고 여러 바이오데이터의 측정과 융합시킴으로써 우울증 조기 진단과 치료에 활용이 가능하다.
도 20a 내지 도 20c는 XR 환경에서 제공된 컨텐츠에 대응하여 사용자가 미션을 수행하고, 뇌 상태를 모니터링하는 일례를 도시한 것이다.
도 20a 내지 도 20c에 도시된 것과 같이, XR-CBT 융합 콘텐츠는 치료의 목적으로 활용될 수 있다.
인지행동치료(CBT)는 사고·신념·가치 등의 인지적 측면과 동시에 구체적으로 나타난 정신신체 행동(psychomotor behavior)의 측면에 관련된 개념·원리·이론을 체계적으로 통합하여 부적응 행동을 치료하려는 정신치료의 방법으로, 상담자가 내담자의 긍정적인 행동, 생각 변화를 이끌어내기 위해 여러 기법을 활용하여 상담하는 심리 치료 방법이다.
우울증의 경우 우울증을 앓는 사람이 우울증을 유발하는 부정적인 사고 패턴 혹은 행동을 인지하고 바꾸도록 도와주는 것이 한 방법이며 현재의 문제에 집중하고 그 문제를 어떻게 해결할 것인지에 주력하며, '실제 세상'에서 새로운 스킬을 연습하는 것 등이 우울증 CBT가 될 수 있다.
또한, Online CBT(온라인 인지행동치료)는 여러 연구결과 우울증에 항우울제와 비슷하게 우울증 증상 완화에 도움을 주는 것을 밝혀졌다.
국내에서는 Online CBT가 많이 보급되지 않았으나, 해외에서는 Online CBT를 우울증 치료 및 관리방법으로 많이 사용하고 있다.
또한, Gamified CBT는 컴퓨터를 이용한 치료법(computerized) 와 게임화(gamification)한 것으로, 대면 접촉을 최소화하면서도 효과적으로 CBT 를 진행할 수 있는 방법. 사용자 참여도를 높이고, 몰입도와 재미를 극대화함으로써 새로운 사용자경험을 (user experience) 제공하고 집중력 향상, 학습 촉진 및 긍정적인 행동 변화를 유도해 치료 효과를 만들어낼 수 있다.
본 발명에 따른 XR은 몰입감과 공존감을 통해 사용자에게 확장된 경험을 제공함으로써 회복과 치유의 효과를 향상시킬 수 있다.
가상환경에서 사용자에게 목표 의식과 함께 치료 동기를 부여함으로써 자칫 지루할 수 있는 반복적 훈련을 성공적으로 마칠 수 있게 한다.
또한, 사용자의 심리적 불안과 스트레스를 낮출 수 있는 최적의 환경을 구성해 몰입감 높은 명상과 정신적 치유를 경험하도록 할 수 있다.
기존 우울증 CBT는 오랜 기간에 걸쳐 많은 세션을 진행해야 하고, 몰입도 및 자기참여도가 낮으며, 본인 상태 또는 치료 효과를 바로 확인하기가 어려워 치료의 동기부여가 어렵다는 한계가 있다.
우울증 치료를 위한 '뇌 활성화'를 위해서는 몰입도를 향상시키는 것이 매우 중요한데, 특정 공간에 적합한 환경에서 콘텐츠 체험을 제공하여 XR 체험 진행시, 행동 변화에 영향을 끼치는 몰입도를 극대화시켜 뇌의 상태에 대한 효과적인 측정 뿐만 아니라 치료의 수단으로도 활용이 가능하다.
본 발명에 따른 XR-CBT 결합형 DTx는 기존의 XR 환경의 장점인 몰입감과 공존감 등을 느끼며, Online CBT와 유사한 치료 효과를 기대할 수 있으며 다양한 사용자의 각기 다른 증상 및 뇌 활성 상태에 따른 XR-CBT콘텐츠 큐레이션을 통해 치료의 폭을 넓힐 수 있다.
콘텐츠 종류
(1) 정서안정을 위한 콘텐츠 (Relaxation)
이완 행동과 이완 훈련은 특히 불안 및 우울 증상 개선에 보통에서 높은 효과를 보여줌을 메타 분석을 통해 증명됨. 침착함 유지와 감정 조절만으로 불안 증상이 크게 감소하며 과도한 걱정과 부정적인 사고를 무력화시키는데 도움을 줄 수 있다.
(2) 스트레스 상황 관리 콘텐츠 (Problem-solving)
문제해결(Problem-Solving) 치료는 스트레스 상황을 관리하는 능력들을 훈련. 문제적 상황에 대한 해결을 통해 스트레스의 부정적 영향을 낮춰주며 자기효능감을 높여준다.
(3) 참여도 관리 콘텐츠 (Engagement)
사용자 참여도를 높여 집중력 향상, 학습 효과 향상. 실제 상황에서 경험을 하는 것처럼 촉진기술(기량)을 배우는 발판을 마련하며 이러한 경험이 조금 더 몰입되고 재미있게 한다.
(4) 감정 조절 콘텐츠 (Self-control)
Active Brain 과 Multi-Modal 바이오데이터로 실시간으로 사용자의 감정 또는 자신의 반응을 확인할 수 있기 때문에 사용자 본인의 행동(또는 무 활동)이 미치는 영향 또는 생성시키는 감정을 확인하며 본인의 감정과 행동을 조절할 수 있다는 것을 각인시켜 불안, 걱정 감소시킬 수 있다.
(5) 그룹 테라피 (Group therapy)
혼자 과제(task)를 수행하는게 아닌 다른 사람과 같이 수행하는 느낌을 줌으로써 다른 사람과의 상호작용을 격려하고 긍정심리학적으로 중요한 요소 중 하나인 감사하는 마음을 유도한다. 감사(gratitude)를 표현하는 것은 임상적으로 웰빙과 행복감을 야기시키며 우울증과 불안에 관련된 증상들을 완화시킬 수 있다.
(6) 충동 행동 컨트롤 콘텐츠 (Impulse Control)
청기백기처럼, 지시에 따라 적절한 순간이 올 때까지 충동을 억제함으로써 지시에 집중해야 하는 상황에서의 주의력을 높이고 충동 통제력 향상. 적절한 주의를 기울이고 상황변화에 따라 주의를 기울일 대상도 적절히 바꾸면서 주의 전환 기술을 향상시킬 수 있다.
콘텐츠 시나리오
(1) 콘텐츠를 시작하기에 앞서 자신의 상태를 확인할 수 있도록 구성하고 해당 내용을 기반하여 사용자 맞춤형 콘텐츠 추천한다.
(2) 자신의 상황에 맞는 콘텐츠를 추천 받아 체험할 수 있다. 실시간으로 체험 중에 데이터를 전달받아 해당 내용을 통해 다음 콘텐츠를 연계적으로 추천할 수 있도록 구성하여 치료의 효과를 극대화할 수 있도록 한다
(3) 콘텐츠 완료 후 다시 한번 상태를 확인하여 콘텐츠 체험 전의 데이터와 비교 분석을 통해 사용자의 변화를 확인하고 이를 데이터셋에 기반한 분석을 통해 이후 치료 시에 반영할 수 있다.
여러 종류의 XR 액티비티에 각각 적용 가능한 CBT 방법들을 매칭시킴으로써 20종류 이상의 다양한 XR-CBT 융합 콘텐츠 구성할 예정. 해당 콘텐츠들을 Active Brain Scanner 와 바이오센서에서 얻는 Multi-modal biodata 기반으로 사용자 맞춤으로 큐레이션하여 치료의 반복 또는 재방문이 필요한 상황에도 지루하지 않게 지속적으로 치료 참여 유도가 가능하다.
한 예로, 래프팅-Relaxation 콘텐츠를 체험한 사용자의 감정이 안정되는지와 실시간 뇌 활성 상태를 Active Brain Screening 및 바이오데이터로 확인. 사용자 본인 또한 상태를 확인함으로써 콘텐츠의 효과를 눈으로 보고 실감할 수 있다.
수집된 데이터로 체험 후 다음 체험 콘텐츠를 큐레이션. 이미 래프팅 액티비티를 경험했으므로 야구-Group Therapy 또는 낚시-Impulse Control 콘텐츠 중 선택하게 함으로써 콘텐츠를 통한 기대효과를 알려주고 새로운 액티비티를 경험하며 성취도를 확인하게 할 수 있다.
전체 체험 종료 후 체험 전의 데이터와 체험 후의 데이터를 비교분석한 결과를 확인함으로써 치료 효과를 스스로 느낄 수 있다.
본 발명에 따른 효과
전술한 구성이 적용되는 경우, 본 발명은 디지털 컨텐츠 기반 치료 정보 제공 장치 및 방법을 제공할 수 있다.
구체적으로 본 발명은, 사용자가 활동하는 상태에서 뇌와 관련된 신호를 수집하고, 이를 기초로 사용자의 뇌 상태를 판단하여 디지털치료제(digital therapeutics)를 제공하는 장치 및 방법을 제공할 수 있다.
또한, 본 발명은, 사용자에 대한 뇌 자극을 수행하여, 상기 사용자의 fNIRS 데이터를 획득하고, 획득된 fNIRS 데이터를 이용하여 뇌의 복수의 영역 중 활성화된 영역을 추출하며, 뇌 활성화 영역을 기초로, 사용자의 뇌 상태를 판단하고, XR(Extended Reality) 환경에서, 판단된 뇌 상태에 대응하여 결정된 콘텐츠를 사용자에 제공하며, 컨텐츠에 대응하여 사용자가 미션을 수행하는 과정을 통해, 디지털치료제(digital therapeutics)를 제공하는 장치 및 방법을 제공할 수 있다.
또한, 본 발명은, 상기 미션을 수행한 사용자의 fNIRS 데이터를 기준으로, 활성화된 뇌 활성화 영역을 추가적으로 추출하고, 추가적으로 획득한 뇌 활성화 영역을 기초로 뇌 상태를 판단한 후, 초기의 뇌 상태 정보 및 추가로 획득한 뇌 상태 정보를 이용하여 사용자의 뇌 상태 개선과 관련된 정보를 결정 및 제공하는 디지털치료제(digital therapeutics)의 제공 장치 및 방법을 제공할 수 있다.
또한, 본 발명은 무증상기의 뇌 기능 측정을 통해 사전 예측 및 조기 진단이 가능한 인공지능 기반 뇌 분석 기술을 사용자에게 제공하고자 한다.
또한, 본 발명은 활동 상태의 뇌를 측정하여 이미지화 한 뇌 활성화 데이터를 기초로, 채널위치 별 기능적 근적외선 분광기기 신호의 시계열 블록 평균을 머리에 매핑하는 방식으로 비침습적으로 뇌기능을 계측하는 기술을 사용자에게 제공하고자 한다.
또한, 본 발명은 뇌 활성화 영역 및 상태 인지 알고리즘과 분석 시각화 기술을 사용자에게 제공하고자 한다.
또한, 본 발명은 뇌 활성화 정보 획득을 위한 자극 기술을 사용자에게 제공하고자 한다.
또한, 본 발명은 여러 명의 뇌 변화와 Inter-brain synchrony(동시성)을 측정하는 Hyper-scanning 기술을 사용자에게 제공할 수 있다.
또한, 본 발명은 청각 정보를 활용하여 뇌 활성화 상태를 판단하는 기술을 사용자에게 제공할 수 있다.
또한, 본 발명은 생체 정보(유전자 정보, 청력 정보, 걸음걸이 패턴 정보, 스트레스 정보, 심전도 변화 정보, 수면 상태 및 집중력 변화 정보, EEG 변화 및 산소포화도 변화 정보 등)를 활용하여 뇌 활성화 상태를 판단하는 기술을 사용자에게 제공할 수 있다.
또한, 본 발명은 영상 정보(MRI, PET, CT, fMRI, X-ray 등)를 활용하여 뇌 활성화 상태를 판단하는 기술을 사용자에게 제공할 수 있다.
또한, 본 발명은 복수의 데이터 간의 상관관계 처리를 기반으로 한 예측, 진단, 치료 기술을 사용자에게 제공할 수 있다.
또한, 본 발명은 바이오 마커로 활용 가능한 실시간 데이터 획득 및 분석 기술을 사용자에게 제공할 수 있다.
또한, 본 발명은 치매, 경도인지장애(MCI), 파킨슨병, 우울증, 뇌졸중, 뇌전증, 뇌종양 및 발달장애 관련, 문제 예방, 관리, 진단, 치료 기술을 사용자에게 제공할 수 있다.
또한, 본 발명은 메타버스 환경을 기초로, 뇌 기능을 측정하여 사용자에게 피드백을 제공하는 기술을 사용자에게 제공할 수 있다.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.
상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 당업자는 상술한 실시예들에 기재된 각 구성을 서로 조합하는 방식으로 이용할 수 있다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.

Claims (8)

  1. 뇌 신호 자극부가 사용자에 대한 뇌 자극을 수행하여, 뇌 신호 측정부가 상기 사용자의 fNIRS(functional near-infrared spectroscopy) 데이터를 획득하는 제 1 단계;
    상기 뇌 신호 측정부가 상기 획득된 fNIRS 데이터를 이용하여 상기 사용자의 뇌의 복수의 영역 중 활성화된 제 1 뇌 활성화 영역을 추출하는 제 2 단계;
    진단부가 상기 제 1 뇌 활성화 영역을 기초로, 상기 사용자의 제 1 뇌 상태를 판단하는 제 3 단계;
    관리부가 AR(Augmented Reality), VR(Virtual Reality) 및 MR(Mixed Reality) 중 적어도 하나를 포함하는 XR(Extended Reality) 환경에서, 상기 판단된 제 1 뇌 상태에 대응하여 결정된 컨텐츠를 상기 사용자에 제공하는 제 4 단계;
    상기 컨텐츠에 대응하여 상기 사용자가 미션을 수행하는 제 5 단계;
    상기 뇌 신호 측정부가 상기 미션을 수행한 사용자의 fNIRS 데이터를 기준으로, 상기 복수의 영역 중 활성화된 제 2 뇌 활성화 영역을 추출하는 제 6 단계;
    상기 진단부가 상기 제 2 뇌 활성화 영역을 기초로, 상기 사용자의 제 2 뇌 상태를 판단하는 제 7 단계; 및
    상기 진단부가 상기 제 1 뇌 상태 정보 및 상기 제 2 뇌 상태 정보를 이용하여 상기 사용자의 뇌 상태 개선과 관련된 정보를 결정하는 제 8 단계;를 포함하되,

    상기 제 1 단계 이전에,
    상기 사용자와 관련된 신체 정보 및 상기 사용자와 관련된 의료 영상 정보 중 적어도 하나를 수집하는 제 0.5 단계;를 더 포함하고,

    상기 신체 정보는,
    상기 사용자의 청력 손상 정도, 상기 사용자의 걸음걸이 패턴, 스트레스 정도, 심전도 변화, 수면 상태 및 집중력 변화, EEG 변화 및 산소포화도 변화 중 적어도 하나를 포함하며,

    상기 의료 영상 정보는,
    상기 사용자와 관련된 MRI 영상, 상기 사용자와 관련된 CT 영상, 상기 사용자와 관련된 fMRI 영상, 상기 사용자와 관련된 PET 영상 및 상기 사용자와 관련된 X-Ray 영상 중 적어도 하나를 포함하고,

    상기 제 3 단계에서 상기 진단부는,
    상기 신체 정보 및 상기 의료 영상 정보 중 적어도 하나와 미리 축적된 데이터 베이스를 기반으로 한 상기 복수의 영역 각각과 관련된 활성화 정보를 함께 이용하여 상기 제 1 뇌 상태를 판단하며,

    상기 제 1 단계는,
    복수의 광원을 통해 상기 사용자의 두피에 광을 조사하는 제 1-1 단계; 및
    상기 복수의 광원 각각에 대응하는 검출부를 통해 상기 광이 조사된 두피에서 상기 fNIRS 데이터를 검출하는 제 1-2 단계;를 포함하고,

    상기 fNIRS 데이터는,
    상기 두피를 통해 전달되는 근적외선 광 세기의 변화를 나타내고, 필터(filter)를 통해 아티팩트(artifact)가 제거된 데이터인 디지털 컨텐츠 기반 치료 정보 제공 방법.
  2. 제 1항에 있어서,
    상기 제 4 단계는,
    상기 제 1 상태를 베이스 라인으로 결정하는 제 4-1 단계;
    상기 제 1 상태에 대응하여, 상기 제 1 뇌 활성화 영역의 활성화를 위한 상기 컨텐츠를 결정하는 제 4-2 단계; 및
    상기 XR 환경 체험을 위해, 상기 사용자가 착용한 기기를 통해, 상기 컨텐츠를 상기 사용자에 제공하는 제 4-3 단계; 를 포함하는 디지털 컨텐츠 기반 치료 정보 제공 방법.
  3. 제 2항에 있어서,
    상기 제 5 단계는,
    상기 컨텐츠의 플레이 진행 정도에 따라 변화하는 상기 미션을 상기 사용자가 수행하는 제 5-1 단계; 및
    상기 사용자가 미션을 수행하는 상태의 상기 사용자의 뇌 관련 정보를 실시간으로 제공하는 제 5-2 단계;를 포함하는 디지털 컨텐츠 기반 치료 정보 제공 방법.
  4. 제 3항에 있어서,
    상기 사용자는 복수이고,
    상기 컨텐츠는,
    상기 복수의 사용자 중 적어도 일부가 함께 상기 미션을 수행하는 그룹 테라피(Group therapy) 컨텐츠를 더 포함하는 디지털 컨텐츠 기반 치료 정보 제공 방법.
  5. 제 4항에 있어서,
    상기 제 3 단계에서,
    상기 제 1 뇌상태를 기초로, 상기 사용자의 뇌 질환을 판단하고,
    상기 뇌 질환은, 치매, 경도인지장애(MCI), 파킨슨병, 우울증, 뇌졸중, 뇌전증, 뇌종양 및 발달장애를 포함하는 디지털 컨텐츠 기반 치료 정보 제공 방법.
  6. 제 5항에 있어서,
    상기 제 8 단계 이후에는,
    상기 제 1 뇌 상태 정보, 상기 제 2 뇌 상태 정보 및 상기 뇌 상태 개선 정보 중 적어도 하나를 상기 사용자에 제공하는 제 9 단계;를 더 포함하는 디지털 컨텐츠 기반 치료 정보 제공 방법.
  7. 제 6항에 있어서,
    상기 제 3 단계에서, 상기 제 1 뇌 상태를 판단하기 위해,
    시계열 기반 분석 방법, 전력 스펙트럼 분석 방식(power spectrum) 및 z-score 분석 방식 중 적어도 하나가 이용되고,

    상기 제 3 단계에서,
    상기 제 1 뇌 활성화 영역을 기초로 상기 사용자의 움직임을 제어하는 SMA(Supplementary Motor Area) 영역에 대한 분석 데이터를 산출하고, 상기 산출된 분석 데이터를 기초로 상기 제 1 뇌 상태를 결정하며,

    상기 제 3 단계에서,
    상기 사용자에 특정 이벤트가 발생된 상황에서, 상기 SMA 영역에 대한 분석 데이터 값이 기준선을 중심으로 증가할수록 상기 사용자가 움직임에 제약이 있는 상태인 것으로 결정하고, 분석 데이터 값이 기준선을 중심으로 감소할수록 상기 대상체가 움직임에 능숙한 상태인 것으로 결정하는 디지털 컨텐츠 기반 치료 정보 제공 방법.
  8. 사용자의 뇌와 관련된 신호를 수집하는 뇌 신호 측정부;
    상기 뇌 신호 측정부의 신호 수집 동작을 위해, 상기 사용자의 뇌를 자극하기 위한 뇌 신호 자극부; 및
    상기 수집된 신호를 기초로, 상기 사용자의 뇌 상태를 판단하는 진단부; 를 포함하고,

    상기 뇌 신호 측정부는,
    상기 뇌 신호 자극부에 의한 뇌 자극을 기초로, 상기 사용자의 fNIRS(functional near-infrared spectroscopy) 데이터를 획득하고,
    상기 획득된 fNIRS 데이터를 이용하여 상기 사용자의 뇌의 복수의 영역 중 활성화된 제 1 뇌 활성화 영역을 추출하며,

    상기 진단부는,
    상기 제 1 뇌 활성화 영역을 기초로, 상기 사용자의 제 1 뇌 상태를 판단하고,

    XR(Extended Reality) 환경에서, 상기 판단된 제 1 뇌 상태에 대응하여 결정된 컨텐츠를 상기 사용자에 제공하는 관리부;를 더 포함하며,

    상기 컨텐츠에 대응하여 상기 사용자가 미션을 수행하는 경우,
    상기 뇌 신호 측정부는,
    상기 미션을 수행한 사용자의 fNIRS 데이터를 기준으로, 상기 복수의 영역 중 활성화된 제 2 뇌 활성화 영역을 추출하고,

    상기 진단부는,
    상기 제 2 뇌 활성화 영역을 기초로, 상기 사용자의 제 2 뇌 상태를 판단하고,
    상기 제 1 뇌 상태 정보 및 상기 제 2 뇌 상태 정보를 이용하여 상기 사용자의 뇌 상태 개선과 관련된 정보를 결정하며,

    상기 신호 수집 동작 이전에 상기 진단부는, 상기 사용자와 관련된 신체 정보 및 상기 사용자와 관련된 의료 영상 정보 중 적어도 하나를 수집하고,

    상기 신체 정보는,
    상기 사용자의 청력 손상 정도, 상기 사용자의 걸음걸이 패턴, 스트레스 정도, 심전도 변화, 수면 상태 및 집중력 변화, EEG 변화 및 산소포화도 변화 중 적어도 하나를 포함하며,

    상기 의료 영상 정보는,
    상기 사용자와 관련된 MRI 영상, 상기 사용자와 관련된 CT 영상, 상기 사용자와 관련된 fMRI 영상, 상기 사용자와 관련된 PET 영상 및 상기 사용자와 관련된 X-Ray 영상 중 적어도 하나를 포함하고,

    상기 진단부는,
    상기 신체 정보 및 상기 의료 영상 정보 중 적어도 하나와 미리 축적된 데이터 베이스를 기반으로 한 상기 복수의 영역 각각과 관련된 활성화 정보를 함께 이용하여 상기 제 1 뇌 상태를 판단하며,

    상기 뇌 신호 측정부는,
    복수의 광원을 통해 상기 사용자의 두피에 광을 조사하고,
    상기 복수의 광원 각각에 대응하는 검출부를 통해 상기 광이 조사된 두피에서 상기 fNIRS 데이터를 검출하며,

    상기 fNIRS 데이터는,
    상기 두피를 통해 전달되는 근적외선 광 세기의 변화를 나타내고, 필터(filter)를 통해 아티팩트(artifact)가 제거된 데이터인 디지털 컨텐츠 기반 치료 정보 제공 장치.
KR1020220032204A 2021-06-30 2022-03-15 동하는 상태에서 뇌와 관련된 신호를 수집하고, 디지털 컨텐츠 기반 치료 정보를 제공하는 장치 및 방법 Active KR102388596B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220032204A KR102388596B1 (ko) 2021-06-30 2022-03-15 동하는 상태에서 뇌와 관련된 신호를 수집하고, 디지털 컨텐츠 기반 치료 정보를 제공하는 장치 및 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210085714A KR102379132B1 (ko) 2021-06-30 2021-06-30 디지털 컨텐츠 기반 치료 정보 제공 장치 및 방법
KR1020220032204A KR102388596B1 (ko) 2021-06-30 2022-03-15 동하는 상태에서 뇌와 관련된 신호를 수집하고, 디지털 컨텐츠 기반 치료 정보를 제공하는 장치 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020210085714A Division KR102379132B1 (ko) 2021-06-30 2021-06-30 디지털 컨텐츠 기반 치료 정보 제공 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102388596B1 true KR102388596B1 (ko) 2022-04-25

Family

ID=78179300

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020210085714A Active KR102379132B1 (ko) 2021-06-30 2021-06-30 디지털 컨텐츠 기반 치료 정보 제공 장치 및 방법
KR1020220032204A Active KR102388596B1 (ko) 2021-06-30 2022-03-15 동하는 상태에서 뇌와 관련된 신호를 수집하고, 디지털 컨텐츠 기반 치료 정보를 제공하는 장치 및 방법
KR1020220032203A Active KR102388595B1 (ko) 2021-06-30 2022-03-15 뇌 상태를 판단하고, 디지털 컨텐츠 기반의 치료 정보를 제공하는 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020210085714A Active KR102379132B1 (ko) 2021-06-30 2021-06-30 디지털 컨텐츠 기반 치료 정보 제공 장치 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220032203A Active KR102388595B1 (ko) 2021-06-30 2022-03-15 뇌 상태를 판단하고, 디지털 컨텐츠 기반의 치료 정보를 제공하는 장치

Country Status (4)

Country Link
US (1) US20230000430A1 (ko)
EP (1) EP4111966B1 (ko)
JP (1) JP7307970B2 (ko)
KR (3) KR102379132B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025009768A1 (ko) * 2023-07-05 2025-01-09 재단법인대구경북과학기술원 광학적 듀얼 뇌신호 측정기

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024019458A1 (ko) * 2022-07-18 2024-01-25 서울대학교병원 신경망을 이용한 뇌 mri 분석 방법 및 장치
KR102737404B1 (ko) * 2022-08-16 2024-12-03 고려대학교 산학협력단 뇌 기능 예측 시스템 및 방법
KR102538308B1 (ko) * 2022-12-08 2023-05-31 주식회사 카티스 통합 경두개 직류전류 자극기(tDCS)-근적외선 분광기(fNIRS) 기반 착용 가능 휴대용 뇌기능 활성화 증진 및 모니터링 시스템의 운용 클라우드 서버와 클라우드 서버 운용방법
KR102567515B1 (ko) * 2022-12-08 2023-08-17 주식회사 카티스 통합 경두개 직류전류 자극기(tDCS)-근적외선 분광기(fNIRS) 기반 착용 가능 휴대용 뇌기능 활성화 증진 및 모니터링 장치 및 방법
CN115644824B (zh) * 2022-12-26 2023-03-14 北京航空航天大学 基于虚拟现实的多模态多参数神经反馈训练系统和方法
WO2024164042A1 (en) * 2023-02-06 2024-08-15 The Bionics Institute Of Australia Multimodal characterisation of tinnitus
WO2024220565A2 (en) * 2023-04-18 2024-10-24 University Of Houston System Method and system for detection of cognitive impairment

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101295187B1 (ko) 2012-01-20 2013-08-09 (주)가바플러스 치매 예방을 위한 뇌기능 향상 시스템 및 그 운용방법
KR20160058812A (ko) 2013-09-20 2016-05-25 트랜스뮤럴 바이오테크, 에스.엘. 질환을 진단하기 위한 영상 분석 기법
KR101754291B1 (ko) 2017-04-04 2017-07-06 이현섭 개인 맞춤형 뇌질병 진단 및 상태 판정을 위한 의료 영상 처리 시스템 및 방법
KR101768393B1 (ko) 2016-09-27 2017-08-17 인제대학교 산학협력단 뇌파를 이용한 개인별 뇌기능 이상부위 측정장치
KR20180114692A (ko) * 2017-04-11 2018-10-19 재단법인대구경북과학기술원 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템
KR20200117089A (ko) * 2019-04-02 2020-10-14 사회복지법인 삼성생명공익재단 가상현실 컨텐츠 제어 시스템 및 이를 이용한 가상현실 컨텐츠 제어 방법
KR102165590B1 (ko) * 2019-11-15 2020-10-14 가천대학교 산학협력단 경도인지장애 치료를 위한 소셜 가상현실 시스템 및 소셜 가상현실을 제공하는 방법

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5724987A (en) * 1991-09-26 1998-03-10 Sam Technology, Inc. Neurocognitive adaptive computer-aided training method and system
US20040092809A1 (en) * 2002-07-26 2004-05-13 Neurion Inc. Methods for measurement and analysis of brain activity
US9101279B2 (en) * 2006-02-15 2015-08-11 Virtual Video Reality By Ritchey, Llc Mobile user borne brain activity data and surrounding environment data correlation system
EP2763588B1 (en) * 2011-10-09 2022-07-06 The Medical Research, Infrastructure, And Health Services Fund Of The Tel Aviv Medical Center Virtual reality for movement disorder diagnosis
WO2014178323A1 (ja) * 2013-05-01 2014-11-06 株式会社国際電気通信基礎技術研究所 脳活動解析装置、脳活動解析方法およびバイオマーカー装置
JP6744301B2 (ja) 2014-10-23 2020-08-19 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア 認知を増強する方法及びそれを実施するためのシステム
WO2017196879A1 (en) * 2016-05-09 2017-11-16 Magic Leap, Inc. Augmented reality systems and methods for user health analysis
WO2018027151A1 (en) * 2016-08-04 2018-02-08 The General Hospital Corporatin System and mehod for detecting acute brain function impairment
CN110325112A (zh) * 2017-01-04 2019-10-11 斯托瑞阿普股份有限公司 使用虚拟现实疗法修改生物测定活动的系统和方法
KR102022586B1 (ko) * 2017-08-24 2019-09-18 김경모 Vr 장치 및 밴드를 이용한 뇌파 측정 시스템
JP2021511612A (ja) 2018-01-25 2021-05-06 ニューロスティアー、インコーポレイテッド 脳活動を分析するためのシステム及び方法、並びに拡張現実に関する応用例
KR102365118B1 (ko) * 2018-10-29 2022-02-22 사회복지법인 삼성생명공익재단 생체 신호 분석 시스템 및 이를 이용한 생체 신호 분석 방법
WO2021090331A1 (en) 2019-11-04 2021-05-14 Embright Infotech Private Limited A system and method of diagnosing or predicting the levels of autism spectrum disorders (asd) using xr-ai platform
KR102282101B1 (ko) * 2020-06-23 2021-08-02 김성연 기능적 근적외선 분광법을 이용한 대상체의 상태를 결정하기 위한 방법 및 시스템
KR102241759B1 (ko) * 2020-07-22 2021-04-20 (주)엔브레인 인공지능 기반 뇌 정보 제공 장치
WO2022051632A1 (en) * 2020-09-03 2022-03-10 Dandelion Science Corp. Artificial intelligence-guided visual neuromodulation for therapeutic or performance-enhancing effects
KR102269428B1 (ko) * 2020-10-29 2021-06-29 주식회사 엑스알텍 인공지능과 빅데이터를 기반으로 하고 가상 현실을 활용한 치매 및 뇌질환 진단, 예방 치료 시스템 및 솔루션
KR102211048B1 (ko) 2020-12-01 2021-02-04 (주)엔브레인 청각 정보를 이용한 인공지능 기반 뇌 정보 제공 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101295187B1 (ko) 2012-01-20 2013-08-09 (주)가바플러스 치매 예방을 위한 뇌기능 향상 시스템 및 그 운용방법
KR20160058812A (ko) 2013-09-20 2016-05-25 트랜스뮤럴 바이오테크, 에스.엘. 질환을 진단하기 위한 영상 분석 기법
KR101768393B1 (ko) 2016-09-27 2017-08-17 인제대학교 산학협력단 뇌파를 이용한 개인별 뇌기능 이상부위 측정장치
KR101754291B1 (ko) 2017-04-04 2017-07-06 이현섭 개인 맞춤형 뇌질병 진단 및 상태 판정을 위한 의료 영상 처리 시스템 및 방법
KR20180114692A (ko) * 2017-04-11 2018-10-19 재단법인대구경북과학기술원 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템
KR20200117089A (ko) * 2019-04-02 2020-10-14 사회복지법인 삼성생명공익재단 가상현실 컨텐츠 제어 시스템 및 이를 이용한 가상현실 컨텐츠 제어 방법
KR102165590B1 (ko) * 2019-11-15 2020-10-14 가천대학교 산학협력단 경도인지장애 치료를 위한 소셜 가상현실 시스템 및 소셜 가상현실을 제공하는 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025009768A1 (ko) * 2023-07-05 2025-01-09 재단법인대구경북과학기술원 광학적 듀얼 뇌신호 측정기
KR20250007272A (ko) * 2023-07-05 2025-01-14 재단법인대구경북과학기술원 광학적 뇌신호 측정 장치 및 방법
KR102795537B1 (ko) 2023-07-05 2025-04-15 재단법인대구경북과학기술원 광학적 뇌신호 측정 장치 및 방법

Also Published As

Publication number Publication date
KR102379132B1 (ko) 2022-03-30
JP7307970B2 (ja) 2023-07-13
US20230000430A1 (en) 2023-01-05
EP4111966B1 (en) 2023-07-26
EP4111966A1 (en) 2023-01-04
JP2023004800A (ja) 2023-01-17
KR102388595B1 (ko) 2022-04-25

Similar Documents

Publication Publication Date Title
KR102388596B1 (ko) 동하는 상태에서 뇌와 관련된 신호를 수집하고, 디지털 컨텐츠 기반 치료 정보를 제공하는 장치 및 방법
KR102298943B1 (ko) 사용자가 움직이는 상태에서 판단된 뇌 정보 및 뇌 활성화 개선을 위한 인공지능 기반 정보 제공 방법
KR102298940B1 (ko) 사용자가 움직이는 상태에서 판단된 뇌 정보 및 뇌 활성화 개선을 위한 정보를 제공하는 인공지능 기반 장치
US12076570B2 (en) Systems and methods for cooperative invasive and noninvasive brain stimulation
Schmidt et al. Wearable affect and stress recognition: A review
EP3463062B1 (en) System for analyzing brain activity
JP7323137B2 (ja) 人工知能に基づく脳情報提供装置及び方法
Wu et al. Emerging wearable biosensor technologies for stress monitoring and their real-world applications
KR102211050B1 (ko) 의료 영상 정보를 이용한 인공지능 기반 뇌 정보 제공 장치
KR102211051B1 (ko) 뇌 활성화 개선을 위한 정보를 제공하는 인공지능 기반 장치
KR102211048B1 (ko) 청각 정보를 이용한 인공지능 기반 뇌 정보 제공 장치
Zhang et al. The effect of EEG and fNIRS in the digital assessment and digital therapy of Alzheimer’s disease: a systematic review
Nia et al. FEAD: Introduction to the fNIRS-EEG affective database-video stimuli
KR102222335B1 (ko) 사용자가 움직이는 상태에서 수집된 정보를 기초로 뇌 정보를 제공하는 인공지능 기반 장치
KR102211030B1 (ko) 뇌 자극을 이용한 인공지능 기반 뇌 정보 제공 장치
KR102211049B1 (ko) 생체 정보를 이용한 인공지능 기반 뇌 정보 제공 장치
KR20250033493A (ko) 디지털 컨텐츠 정보 제공 방법 및 시스템
Walvekar et al. Recent Advances of Artificial Intelligence Tools in Attention-Deficit Hyperactivity Disorder (ADHD)
Zou Towards Emotionally Intelligent Buildings: An Integrated Approach to Quantify Human Emotions in Designed Spaces
Salehzadeh A framework to measure human behaviour whilst reading
VAN LAERHOVEN Wearable affect and stress recognition: A review
de Gouveia Faria Towards the Identification of Psychophysiological States in EEG

Legal Events

Date Code Title Description
A107 Divisional application of patent
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20220315

Patent event code: PA01071R01D

Filing date: 20210630

Application number text: 1020210085714

PA0201 Request for examination
A302 Request for accelerated examination
PA0302 Request for accelerated examination

Patent event date: 20220321

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20220315

Patent event code: PA03021R04I

Comment text: Divisional Application of Patent

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220331

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220415

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220418

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20250226

Start annual number: 4

End annual number: 4