KR20210150124A - 사용자 상태를 예측하기 위한 방법 및 그 장치 - Google Patents

사용자 상태를 예측하기 위한 방법 및 그 장치 Download PDF

Info

Publication number
KR20210150124A
KR20210150124A KR1020200067095A KR20200067095A KR20210150124A KR 20210150124 A KR20210150124 A KR 20210150124A KR 1020200067095 A KR1020200067095 A KR 1020200067095A KR 20200067095 A KR20200067095 A KR 20200067095A KR 20210150124 A KR20210150124 A KR 20210150124A
Authority
KR
South Korea
Prior art keywords
model
data
biometric data
user
user state
Prior art date
Application number
KR1020200067095A
Other languages
English (en)
Other versions
KR102424403B1 (ko
Inventor
이태헌
이홍구
Original Assignee
주식회사 룩시드랩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 룩시드랩스 filed Critical 주식회사 룩시드랩스
Priority to KR1020200067095A priority Critical patent/KR102424403B1/ko
Priority to US17/777,253 priority patent/US20230080175A1/en
Priority to PCT/KR2021/006429 priority patent/WO2021246700A1/ko
Publication of KR20210150124A publication Critical patent/KR20210150124A/ko
Priority to KR1020220089071A priority patent/KR20220104672A/ko
Application granted granted Critical
Publication of KR102424403B1 publication Critical patent/KR102424403B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G06N3/0427—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Psychology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Cardiology (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Business, Economics & Management (AREA)

Abstract

본 발명의 실시예에 따른 사용자 상태를 예측하기 위한 방법 및 그 장치가 제공된다. 본 발명의 실시예에 따른 사용자 상태 예측 방법은, 복수의 사용자들에 대한 제1 생체 데이터를 획득하는 단계; 상기 획득된 제1 생체 데이터 및 고정된 학습 파라미터를 기초로 예측 모델을 파인 튜닝(Fine Tuning)하는 단계; 및 적어도 하나의 사용자에 대한 사용자 상태를 예측하기 위한 제2 생체 데이터를 입력으로, 상기 파인 튜닝된 예측 모델을 이용하여 예측된 사용자 상태를 출력하는 단계를 포함하고, 상기 고정된 학습 파라미터는, 상기 예측 모델과 상이하며, 상기 복수의 사용자들에 대한 제1 생체 데이터를 입력으로 상기 복수의 사용자들에 대한 사용자 상태를 예측하도록 학습된 제1 모델에 기반하여 추출된다.

Description

사용자 상태를 예측하기 위한 방법 및 그 장치{METHOD AND APPARATUS FOR PREDICTING USER STATE}
본 발명은 사용자 상태를 예측하기 위한 방법 및 그 장치에 관한 것이다.
일반적으로 EEG(ElectroEncephaloGraphy), ECG(ElectroCardioGram) 등과 같은 생체 데이터는 사용자의 신체 또는 심리 상태를 표현하는 정보로서, 의학, 심리학 또는 교육 등의 다양한 분야에서 활용되고 있다.
최근에는 머신 러닝 또는 딥러닝과 같은 인공지능의 발달로 인해 이를 이용하여 생체 데이터를 이해하기 위한 다양한 분석들이 시도되었다.
그러나, 생체 데이터는 기존의 이미지 또는 음성 데이터와 다르게 데이터 수집 과정이 어려워서 이를 분석하기 위해 수집될 수 있는 데이터 양이 적다는 문제점이 있다. 또한, 사용자에게 어떠한 자극이 주어질 경우 생체 데이터를 측정하는 장비, 환경, 사용자의 상태 등에 따라 수집되는 생체 데이터에 차이가 발생할 수 있다. 뿐만 아니라, 숙련된 다수의 전문의가 수집된 생체 데이터를 분석할 경우 서로 다른 분석 결과가 나올 수 있어 분석 정확도가 떨어질 수 있다.
이에, 수집되는 데이터 양이 적은 생체 데이터를 기반으로 사용자 상태를 정확하게 예측하기 위한 방법이 요구된다.
본 발명이 해결하고자 하는 과제는 사용자 상태를 예측하기 위한 방법 및 그 장치를 제공하는 것이다.
구체적으로, 본 발명이 해결하고자 하는 과제는 데이터 양이 적은 생체 데이터를 기반으로 사용자 상태를 정확하게 예측하기 위한 방법 및 그 장치를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 실시예에 따른 사용자 상태를 예측하기 위한 방법 및 그 장치가 제공된다. 본 발명의 실시예에 따른 사용자 상태 예측 방법은, 복수의 사용자들에 대한 제1 생체 데이터를 획득하는 단계; 상기 획득된 제1 생체 데이터 및 고정된 학습 파라미터를 기초로 예측 모델을 파인 튜닝(Fine Tuning)하는 단계; 및 적어도 하나의 사용자에 대한 사용자 상태를 예측하기 위한 제2 생체 데이터를 입력으로, 상기 파인 튜닝된 예측 모델을 이용하여 예측된 사용자 상태를 출력하는 단계를 포함하고, 상기 고정된 학습 파라미터는, 상기 예측 모델과 상이하며, 상기 복수의 사용자들에 대한 제1 생체 데이터를 입력으로 상기 복수의 사용자들에 대한 사용자 상태를 예측하도록 학습된 제1 모델에 기반하여 추출된다.
본 발명의 실시예에 따른 사용자 상태 예측 장치는, 데이터를 송수신하도록 구성된 통신부; 및 상기 통신부와 연결하도록 구성된 제어부를 포함하고, 상기 제어부는, 상기 통신부를 통해 복수의 사용자들에 대한 제1 생체 데이터를 획득하고, 상기 획득된 제1 생체 데이터 및 고정된 학습 파라미터를 기초로 예측 모델을 파인 튜닝(Fine Tuning)하고, 적어도 하나의 사용자에 대한 사용자 상태를 예측하기 위한 제2 생체 데이터를 입력으로, 상기 파인 튜닝된 예측 모델을 이용하여 예측된 사용자 상태를 출력하도록 구성되고, 상기 고정된 학습 파라미터는, 상기 예측 모델과 상이하며, 상기 복수의 사용자들에 대한 제1 생체 데이터를 입력으로 상기 복수의 사용자들에 대한 사용자 상태를 예측하도록 학습된 제1 모델에 기반하여 추출된다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은 사전 학습을 통해 고정된 학습 파라미터를 이용함으로써, 적은 양의 생체 데이터를 이용하더라도 사용자 상태를 정확하게 예측할 수 있다.
또한 본 발명은 기존의 예측 모델보다 성능이 향상된 예측 모델을 제공할 수 있다.
또한 본 발명은 서로 다른 생체 데이터를 한번에 활용하여 사용자 상태를 예측할 수 있다.
또한 본 발명은 학습된 파라미터를 분석함으로써, 생체 신호 내에서 중요하게 살펴보아야 할 신호 패턴을 추출해낼 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 실시예에 따른 사용자 상태 예측 시스템을 설명하기 위한 개략도이다.
도 2는 본 발명의 실시예에 따른 전자 장치에 대한 개략도이다.
도 3은 본 발명의 실시예에 따른 전자 장치에서 사용자 상태를 예측하기 위한 방법을 설명하기 위한 예시도이다.
도 4는 본 발명의 실시예에 따른 학습된 파라미터에 대응하는 신호 모양 또는 패턴을 나타내는 예시도이다.
도 5는 본 발명의 실시예에 따른 전자 장치에서 사용자 상태를 예측하는 방법을 설명하기 위한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는(3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~ 를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된)프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 명세서에서 사용되는 “생체 데이터”는, 사용자의 신체 또는 심리적 상태를 나타내는 뇌전도 신호(ElectroEncephaloGram, EEG), 및 심전도 신호(ElectroCardioGram, ECG) 등 중 적어도 하나일 수 있으나, 이에 한정되지 않는다.
본 명세서에서 사용되는 “측정 장치”는, 사용자의 생체 데이터를 획득하도록 구성된 모든 장치를 포함할 수 있다. 예를 들어, “측정 장치”는 HMD(Head Mounted Display) 장치뿐만 아니라, 헤드셋(headset), 스마트링(smart ring), 스마트 와치(smart watch), 이어셋(earset), 및/또는 이어폰(earphone) 등과 같이 사용자의 신체 일부에 접촉/착용되고, 사용자의 생체 데이터를 획득하는 센서가 포함된 디바이스와, 가상 현실, 증강 현실 또는/및 혼합 현실에 관련된 멀티미디어 콘텐츠를 출력하는 콘텐츠 출력 장치를 포함할 수 있다. 예를 들어, HMD 장치가 표시부를 구비하는 경우 측정 장치는 HMD 장치일 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 사용자 상태 예측 시스템을 설명하기 위한 개략도이다.
도 1을 참조하면, 사용자 상태 예측 시스템(100)은 생체 데이터를 기초로 사용자 상태를 예측하도록 구성된 시스템으로, 사용자에 대한 생체 데이터를 측정하도록 구성된 측정 장치(110) 및 생체 데이터에 기반하여 사용자 상태를 예측하도록 구성된 전자 장치(120)를 포함할 수 있다. 사용자 상태 예측 시스템(100)은 복수의 사용자 각각에 대한 생체 데이터를 저장하도록 구성된 클라우드 서버(130)를 더 포함할 수 있다.
먼저, 측정 장치(110)는 사용자의 머리에 장착되어 사용자가 실제와 유사한 공간적, 시간적 체험이 가능하도록 사용자에게 가상 현실을 위한 멀티미디어 콘텐츠를 제공함과 동시에, 사용자의 생체 데이터를 획득하여 가상 체험을 진행 중인 사용자의 신체적, 인지적, 감정적 변화를 감지할 수 있는 복합 가상 체험 장치일 수 있다. 예를 들어, 멀티미디어 콘텐츠는 영화, 애니메이션, 광고, 또는 홍보 영상 등과 같은 비-인터랙티브(non-interactive) 영상 및 게임, 전자 매뉴얼, 전자 백과사전 또는 홍보 영상 등과 같이 사용자와 상호 활동적으로 이루어지는 인터랙티브(interactive) 영상을 포함할 수 있으며, 이에 한정되지 않는다. 여기서, 영상은 3차원 영상일 수 있으며, 스테레오스코픽(Stereoscopic) 영상이 포함될 수 있다.
측정 장치(110)는 사용자의 머리에 착용 가능한 구조로 형성되는 HMD 장치일 수 있으며, 이러한 경우 가상 현실을 위한 다양한 멀티미디어 콘텐츠를 HMD 장치 내부에서 처리하는 형태로 구현되거나, HMD 장치의 일부에 멀티미디어 콘텐츠를 제공하는 콘텐츠 출력 장치가 장착되고 장착된 콘텐츠 출력 장치 내부에서 멀티미디어 콘텐츠를 처리하는 형태로 구현될 수 있다. 예를 들어, 이러한 멀티미디어 콘텐츠는 사용자의 인지 능력을 테스트하기 위한 콘텐츠, 사용자의 건강 상태를 측정하기 위한 콘텐츠, 및/또는 치매, 알츠하이머병 또는 파킨슨병 등과 같은 뇌 퇴행성 질환을 판단하거나 진단하기 위한 콘텐츠 등을 포함할 수 있다.
HMD 장치가 표시부를 구비하는 경우 사용자가 HMD 장치를 착용할 시 사용자가 멀티미디어 콘텐츠를 확인할 수 있도록 표시부의 일면이 사용자의 얼굴에 대향하도록 배치될 수 있다.
다양한 실시예에서 HMD 장치의 일부에는 콘텐츠 출력 장치를 수용할 수 있는 수용 공간이 형성될 수 있다. 수용 공간 내에 콘텐츠 출력 장치가 수용된 경우 콘텐츠 출력 장치의 일면(예: 콘텐츠 출력 장치의 표시부가 위치된 일면)이 사용자의 얼굴에 대향하도록 배치될 수 있다. 예를 들면, 콘텐츠 출력 장치는 스마트폰, 태블릿 PC 등과 같은 휴대용 단말장치 또는 PC에 연결되어 PC로부터 제공되는 멀티미디어 콘텐츠를 출력할 수 있는 휴대용 모니터 등을 포함할 수 있다.
HMD 장치의 일측에는 사용자의 생체 데이터를 획득하는 적어도 하나의 센서(미도시)가 형성될 수 있다. 예를 들어, 적어도 하나의 센서는 사용자의 뇌전도 및 심전도 신호 등 중 적어도 하나를 측정하는 뇌파 센서를 포함할 수 있다.
다양한 실시예에서 적어도 하나의 센서는 사용자의 피부에 접촉 가능한 위치에 형성되고, 사용자가 HMD 장치를 착용할 시 사용자의 피부에 접촉되어 사용자의 생체 데이터를 획득할 수 있다. 본 명세서에서는 HMD 장치가 사용자의 생체 데이터를 획득하는 적어도 하나의 센서를 포함하는 것으로 설명되지만, 이에 제한되지 않고, HMD 장치와 별도의 모듈을 통해 사용자의 생체 데이터를 획득하는 적어도 하나의 센서가 HMD 장치의 하우징에 장착되는 형식으로 구현될 수 있다. HMD 장치라는 표현은 이러한 모듈을 포함하거나 모듈 자체도 상정하도록 의도된다.
이러한 측정 장치(110)는 전자 장치(120)의 요청에 따라 사용자의 생체 데이터를 획득하고, 획득된 생체 데이터를 전자 장치(120)로 전달할 수 있다. 다양한 실시예에서 측정 장치(110)는 측정된 생체 데이터를 클라우드 서버(130)로 전달할 수도 있다. 이를 통해 전달된 생체 데이터는 클라우드 서버(130)에 저장될 수 있다.
전자 장치(120)는 측정 장치(110)와 통신 가능하도록 연결되고, 측정 장치(110)로부터 사용자의 생체 데이터를 획득하여 획득된 생체 데이터를 기반으로 하여 사용자 상태를 예측하기 위한 PC(Personal Computer), 노트북, 워크스테이션(workstation), 또는 스마트 TV 등일 수 있으나, 이에 한정되지 않는다. 여기서, 사용자 상태는 수면 상태, 건강 상태, 인지 상태, 감정 상태 및/또는 치매 진행 상태 등을 포함할 수 있으나, 이에 한정되지 않는다.
구체적으로, 전자 장치(120)는 측정 장치(110) 또는 클라우드 서버(130)로부터 복수의 사용자들에 대한 제1 생체 데이터를 획득하고, 획득된 제1 생체 데이터 및 고정된 학습 파라미터를 기초로 사용자 상태를 예측하기 위한 예측 모델을 파인 튜닝(fine tuning)할 수 있다. 여기서, 제1 생체 데이터는 시계열적인 생체 데이터로서, 복수의 사용자들 각각에 대한 뇌파 데이터일 수 있으나, 이에 한정되지 않는다.
파인 튜닝을 위해 전자 장치(120)는 상술한 예측 모델과 상이하고, 복수의 사용자들에 대한 제1 생체 데이터를 입력으로 사용자 상태를 예측하도록 학습된 제1 모델을 이용하여 고정된 학습 파라미터를 추출할 수 있다. 다시 말해서, 전자 장치(120)는 제1 생체 데이터를 입력으로 하여 사용자 상태를 예측하도록 제1 모델을 학습시킬 수 있다. 여기서, 제1 모델은 복수의 레이어 및 상술한 예측 모델과 동일한 구성의 제2 모델을 포함할 수 있다. 또한 복수의 레이어는 제1 생체 데이터와 제1 모델에서 이용되는 기 설정된 학습 파라미터 간의 유사도를 나타내는 유사도 데이터를 이용하여 특징 데이터를 산출하기 위한 제1 레이어 및 특징 데이터를 압축하기 위한 제2 레이어를 포함할 수 있다.
이러한 학습을 통해 제1 모델에서 이용되는 학습 파라미터가 업데이트되며, 학습이 완료되면 전자 장치(120)는 업데이트된 학습 파라미터를 고정된 학습 파라미터로서 제1 모델로부터 추출할 수 있다. 전자 장치(120)는 고정된 학습 파라미터를 예측 모델에 적용함으로써, 파인 튜닝을 수행할 수 있다.
전자 장치(120)는 적어도 하나의 사용자에 대한 사용자 상태를 예측하기 위한 제2 생체 데이터를 입력으로, 파인 튜닝된 예측 모델을 이용하여 예측된 사용자 상태를 출력함으로써, 적어도 하나의 사용자에 대한 사용자 상태를 나타내는 데이터를 제공할 수 있다.
한편, 클라우드 서버(130)는 복수의 사용자들 각각에 대한 생체 데이터를 수집하고, 수집된 생체 데이터를 복수의 사용자들 각각에 대응하여 저장할 수 있다. 이러한 클라우드 서버(130)는 측정 장치(110) 또는 전자 장치(120)로부터 생체 데이터를 수신하여 저장하고, 전자 장치(120)의 요청에 따라 생체 데이터를 전자 장치(120)로 전달할 수 있다.
이와 같이 본 발명은 사전 학습을 통해 고정된 학습 파라미터를 이용함으로써, 적은 양의 생체 데이터를 이용하더라도 사용자 상태를 정확하게 예측할 수 있다.
하기에서는 도 2를 참조하여 전자 장치(120)에 대해서 상세하게 설명하도록 한다.
도 2는 본 발명의 실시예에 따른 전자 장치에 대한 개략도이다.
도 2를 참조하면, 전자 장치(200)는 통신부(210), 표시부(220), 저장부(230) 및 제어부(240)를 포함한다. 제시된 실시예에서 전자 장치(200)는 도 1의 전자 장치(120)를 의미한다.
통신부(210)는 전자 장치(200)가 외부 장치와 통신이 가능하도록 연결한다. 통신부(210)는 유/무선 통신을 이용하여 측정 장치(110)와 연결되어 다양한 데이터를 송수신할 수 있다. 구체적으로, 통신부(210)는 측정 장치(110)로부터 복수의 사용자들에 대한 제1 생체 데이터를 수신하고, 사용자 상태를 예측하기 위한 제2 생체 데이터를 수신할 수 있다.
표시부(220)는 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 배너 또는 심벌 등)를 표시할 수 있다. 예를 들어, 표시부(220)는 예측된 사용자 상태를 나타내는 인터페이스 화면을 표시할 수 있다.
저장부(230)는 생체 데이터에 기반하여 사용자 상태를 예측하기 위해 사용되거나, 이를 통해서 생성되는 다양한 데이터를 저장할 수 있다.
다양한 실시예에서 저장부(230)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 전자 장치(200)는 인터넷(internet)상에서 상기 저장부(230)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
제어부(240)는 통신부(210), 표시부(220) 및 저장부(230)와 동작 가능하게 연결되며, 생체 데이터에 기반하여 사용자 상태를 예측하기 위한 다양한 명령들을 수행할 수 있다.
특히, 제어부(240)는 측정 장치(110) 또는 클라우드 서버(130)로부터 복수의 사용자들에 대한 제1 생체 데이터를 획득하고, 획득된 제1 생체 데이터 및 고정된 학습 파라미터를 기초로 예측 모델을 파인 튜닝하고, 사용자 상태를 예측하기 위한 제2 생체 데이터를 입력으로, 파인 튜닝된 예측 모델을 이용하여 예측된 사용자 상태를 출력할 수 있다. 여기서, 고정된 학습 파라미터는 예측 모델과 상이하고, 제1 생체 데이터를 입력으로 사용자 상태를 예측하도록 학습된 제1 모델에 기반하여 추출될 수 있다.
이와 같이 예측 모델을 파인 튜닝하는 과정에 대해서 하기에서 구체적으로 설명하도록 한다.
먼저, 제어부(240)는 복수의 사용자들에 대한 제1 생체 데이터를 입력으로 제1 모델이 사용자 상태를 예측하도록 학습시키고, 학습이 완료되면 제1 모델의 고정된 학습 파라미터를 추출할 수 있다. 예를 들어, 제1 모델은 제1 생체 데이터의 특징을 추출하기 위한 복수의 레이어 및 예측 모델과 동일한 구성의 제2 모델을 포함할 수 있다. 여기서, 제2 모델은 예측 모델과 동일한 구성을 가질 뿐, 예측 모델과는 상이한 모델을 의미한다.
복수의 레이어는 제1 생체 데이터로부터 특징을 추출하기 위한 다양한 연산을 수행하는 레이어들을 포함할 수 있다. 이러한 레이어들은 제1 생체 데이터와 기 설정된 학습 파라미터 간의 유사도를 나타내는 유사도 데이터를 특징 데이터로서 산출하기 위한 제1 레이어, 및 특징 데이터를 압축하기 위한 제2 레이어를 포함할 수 있다. 여기서, 기 설정된 학습 파라미터는 제1 레이어에서 유사도 판단(또는 결정)을 위해 사용되는 복수의 가중치(weight)를 포함할 수 있다.
제어부(240)는 제1 레이어를 통해 제1 생체 데이터와 기 설정된 학습 파라미터 간의 유사도 데이터를 산출하고, 산출된 유사도 데이터에 합성곱 연산을 수행하여 특징 데이터를 산출할 수 있다.
유사도 데이터를 산출하기 위해 제어부(240)는 코사인 유사도 연산(Cosine Similarity)을 이용할 수 있으나, 이에 한정되지 않으며, 유사도 산출을 위한 다양한 연산이 이용될 수 있다. 예를 들어, 제어부(240)는 제1 생체 데이터 및 학습 데이터를 1차원 벡터로 변환하고, 제1 생체 데이터의 1차원 벡터와 학습 파라미터의 1차원 벡터 사이의 코사인값을 유사도 데이터로서 산출할 수 있다. 이러한 경우 학습 파라미터의 길이는 제1 생체 데이터의 주파수 영역대를 포함하도록 설정될 수 있다.
제어부(240)는 이와 같이 산출된 코사인값에 대한 합성곱 연산을 수행하고, 그 결과 값을 활성화 벡터 형태로 인코딩하여 인코딩된 결과 값을 특징 데이터로서 산출할 수 있다. 제어부(240)는 제2 레이어를 통해 특징 데이터를 압축하여 압축된 데이터를 생성할 수 있다.
제어부(240)는 압축된 데이터를 입력으로 하여 사용자 상태를 예측하도록 학습된 제2 모델을 이용하여 사용자 상태를 라벨링(Labeling) 또는 분류할 수 있다. 다시 말해서, 이와 같은 동작으로 복수의 레이어들 및 제2 모델을 포함하는 제1 모델이 학습될 수 있다.
다양한 실시예에서 제1 레이어는 코사인 유사도 기반 합성곱 레이어(Cosine Similarity based Convolutional layer)이고, 제2 레이어는 최대 풀링 레이어(Max Pooling layer)일 수 있으나, 이에 한정되지 않는다.
이와 같이 복수의 레이어들을 통해 특징 데이터를 산출하기 위해 제어부(240)는 하기의 <수학식 1>을 이용할 수 있다.
Figure pat00001
여기서, x는 신경망(neural network)의 입력값, w는 합성곱 필터의 가중치 벡터, o는 합성곱 필터로부터의 출력 벡터, wk는 합성곱 레이어의 k번째 필터 벡터, ok는 합성곱 레이어로부터의 k번째 채널 출력 벡터, E는 신경망의 출력값, L은 합성곱 필터의 길이, i*, j*는 최대 활성화 값을 가지는 합성곱 출력 벡터의 인덱스를 의미할 수 있다.
이러한 학습을 통해서 제1 모델의 학습 파라미터가 업데이트되면 제어부(240)는 업데이트된 학습 파라미터를 고정된 학습 파라미터로서 제1 모델로부터 추출할 수 있다. 여기서, 고정된 학습 파라미터는 사용자의 상태를 예측할 수 있도록 학습된 파라미터를 의미할 수 있다.
제어부(240)는 고정된 학습 파라미터를 예측 모델에 적용시켜 파인 튜닝(Fine Tuning)을 수행할 수 있다. 다시 말해서, 제어부(240)는 복수의 레이어 및 제2 모델로 이루어진 제1 모델에서 업데이트된 학습 파라미터를, 예측 모델을 구성하는 레이어들의 파라미터로서 업데이트할 수 있다.
제어부(240)는 측정 장치(110)로부터 적어도 하나의 사용자의 제2 생체 데이터를 획득하고, 획득된 제2 생체 데이터를 입력으로, 파인 튜닝된 예측 모델을 이용하여 사용자 상태를 라벨링하거나 분류할 수 있다. 예를 들어, 파인 튜닝된 예측 모델은 다층 신경망 분류기(MLP based classifier)일 수 있으나, 이에 한정되지 않는다.
이와 같이 본 발명은 사전 학습을 통해 추출된 학습 파라미터를 예측 모델에 적용함으로써, 적은 양의 생체 데이터 또는 서로 다른 생체 데이터를 이용하여 사용자 상태를 정확하게 예측할 수 있다.
하기에서는 전자 장치(120)에서 사용자 상태를 예측하기 위한 방법을 도 1 및 도 3을 참조하여 구체적으로 설명하도록 한다.
도 3은 본 발명의 실시예에 따른 전자 장치에서 사용자 상태를 예측하기 위한 방법을 설명하기 위한 예시도이다.
도 1 및 도 3을 참조하면, 전자 장치(120)는 도 3의 (a)와 같이 측정 장치(110) 또는 클라우드 서버(130)로부터 학습을 위해 사용되는 복수의 사용자에 대한 제1 생체 데이터(300)를 수신하고, 수신된 제1 생체 데이터(300)를 1차원 벡터(305)로 변환할 수 있다. 측정 장치(110)에 의해서 수집되는 생체 신호는 수집 당시 채널마다 1차원 신호의 형태를 가진다. 여기서, 1차원 벡터(305)는 파이토치(Pytorch), 또는 텐서플로우(Tensorflow) 등과 같은 딥러닝 프레임워크(Deep learning Framework)에서 처리할 수 있는 데이터 형태인 1차원 텐서를 의미할 수 있다.
전자 장치(120)는 이와 같이 1차원 벡터(305)를 입력으로 하여 사용자 상태를 예측하기 위한 제1 모델(310)을 학습시킬 수 있다. 여기서, 제1 모델(310)은 생체 데이터로부터 특징 데이터를 추출하기 위한 복수의 레이어들(315) 및 복수의 레이어들(315)로부터 출력된 출력 데이터를 입력으로 하여 사용자 상태를 예측하도록 학습되는 제2 모델(320)을 포함할 수 있다. 예를 들어, 복수의 레이어들(315)은 코사인 유사도 기반 합성곱 레이어(325) 및 최대 풀링 레이어(330)를 포함하고, 제2 모델(320)은 생체 신호가 사용자의 어떠한 상태를 나타내는지 라벨링 또는 분류하기 위한 선형 분류기(linear classifiers)일 수 있으나, 이에 한정되지 않는다.
복수의 레이어들(315) 중 코사인 유사도 기반 합성곱 레이어(325)는 복수의 1차원 필터를 가지고, 이러한 복수의 1차원 필터를 이용하여 생체 데이터의 1차원 벡터(305)에서 유의미한 신호 모양 또는 패턴에 해당하는 특징 데이터가 추출될 수 있다. 예를 들어, 뇌파 신호를 이용하여 사용자의 수면 상태를 예측하고자 할 경우 수면 뇌파 신호는 수면2 상태(sleep stage 2)에서 수면방추파(sleep spindles) 및 K-복합체(K-complex)가 나타나며, 이러한 수면방추파 및 K-복합체는 수면 뇌파 신호의 유의미한 신호 모양 또는 패턴에 해당하는 특징 데이터가 될 수 있다. 다양한 실시예에서 사용자의 인지 상태를 예측하고자 할 경우 뇌파 신호는 사용자의 인지 상태(예: 주의력, 언어, 시공간 기능, 기억력, 및/또는 추상적 사고력/집행 가능 등)를 결정하기 위한 유의미한 신호 모양 또는 패턴에 해당하는 특징 데이터가 포함될 수 있다.
이와 같은 특징 데이터를 추출하도록 학습시키기 위해 전자 장치(120)는 1차원 벡터(305)와, 코사인 유사도 기반 합성곱 레이어(325)가 가지는 적어도 하나의 필터(filter)의 가중치(weight) 사이의 코사인 유사도값을 산출하고, 산출된 코사인 유사도값에 합성곱 연산을 수행하여 특징 데이터를 산출할 수 있다. 여기서, 산출된 특징 데이터는 1차원 벡터(305)의 각 조각과, 복수의 필터의 각 가중치 사이의 유사도 값을 포함할 수 있다. 또한, 코사인 유사도 기반 합성곱 레이어(325)는 복수의 필터의 개수에 대응하여 출력 채널이 할당되고, 출력 채널별로 코사인 유사도값이 산출될 수 있다. 예를 들어, 코사인 유사도 기반 합성곱 레이어(325)가 64개, 또는 256개 등의 필터를 가지는 경우 필터마다 64개, 또는 256개 등의 출력 채널이 할당될 수 있다. 이러한 경우 특징 데이터는 출력 채널별로 산출된 코사인 유사도값을 포함할 수 있다.
복수의 레이어들(315) 중 최대 풀링 레이어(330)는 산출된 특징 데이터를 압축하여 압축 데이터를 출력할 수 있다. 다시 말해서, 전자 장치(120)는 최대 풀링 레이어(330)를 통해 출력 채널별로 산출된 코사인 유사도값 중 가장 큰 값을 가지는 코사인 유사도값을 포함하도록 압축하여 압축 데이터를 출력할 수 있다. 여기서, 출력 채널이 64개인 경우 압축 데이터는 64개의 값들로 이루어진 벡터일 수 있다.
이러한 학습에 의해 복수의 필터는 뇌파 신호에 존재하는 신호 모양 또는 패턴 등과 같은 특징 데이터가 추출될 수 있도록 업데이트되므로, 압축 데이터에 해당하는 벡터값이 1에 가까운 경우 입력된 생체 데이터는 복수의 필터를 통해 추출 가능한 신호 모양 또는 패턴이 존재한다고 판단될 수 있다.
다시 말해서, 출력된 압축 데이터는 입력값에 해당하는 생체 데이터에 복수의 필터에 대응하는 신호 모양 또는 패턴이 존재하는지를 나타내는 정보를 포함할 수 있다.
전자 장치(120)는 압축 데이터를 입력으로 하여 사용자가 어떤 상태인지를 라벨링 또는 분류하도록 학습된 제2 모델(320)을 이용하여 라벨링된 또는 분류된 사용자 상태를 출력할 수 있다. 예를 들어, 전자 장치(120)는 입력된 생체 데이터가 수면 뇌파 데이터인 경우 사용자가 수면 상태 중 어떤 수면 상태에 해당하는지 라벨링 또는 분류할 수 있다.
다양한 실시예에서 입력값에 해당하는 생체 데이터에 복수의 채널이 존재하면 생체 데이터의 채널마다 상술한 학습 과정이 반복될 수 있다. 이러한 학습을 통해 제1 모델(310)의 파라미터 또한 업데이트(즉, 학습)될 수 있다.
이와 같은 학습 과정 이후에 전자 장치(120)는 제1 모델(310)에서 고정된 학습 파라미터를 추출하고, 고정된 학습 파라미터를 예측 모델(345)에 적용시켜 파인 튜닝을 수행할 수 있다. 예를 들어, 전자 장치(120)는 코사인 유사도 기반 합성곱 레이어(325)의 복수의 업데이트된 필터를 고정된 학습 파라미터로서 추출하거나, 코사인 유사도 기반 합성곱 레이어(325)의 업데이트된 필터 및 제2 모델(320)의 업데이트된 필터를 고정된 학습 파라미터로서 추출할 수 있으나, 이에 한정되지 않는다. 이러한 학습 과정을 통해서 업데이트된 학습 파라미터는 도 4와 같은 신호 모양 또는 패턴에 대응되도록 학습된 파라미터일 수 있다.
전자 장치(120)는 이와 같이 추출된 고정된 학습 파라미터를 예측 모델(345)을 구성하는 복수의 레이어들 중 앞단에 위치한 레이어들에 적용시킬 수 있으나, 이에 한정되지 않는다.
전자 장치(120)는 도 3의 (b)와 같이 측정 장치(110) 또는 클라우드 서버(130)로부터 제2 생체 데이터를 수신하고, 수신된 제2 생체 데이터를 입력으로, 파인 튜닝된 예측 모델(345)을 이용하여 예측된 사용자 상태(350)를 출력할 수 있다.
이와 같이 사전 학습된 파라미터를 예측 모델에 적용함으로써, 적은 양의 생체 데이터를 이용하여 사용자 상태를 정확하게 예측할 수 있다.
하기에서는 전자 장치(120)에서 사용자 상태를 예측하기 위한 방법에 대해서 도 5를 참조하여 설명하도록 한다.
도 5는 본 발명의 실시예에 따른 전자 장치에서 사용자 상태를 예측하는 방법을 설명하기 위한 흐름도이다. 하기에서 서술하는 동작들은 전자 장치(200)의 제어부(240)에 의해서 수행될 수 있다.
도 5를 참조하면, 전자 장치(200)는 복수의 사용자들에 대한 제1 생체 데이터를 획득하고(S500), 획득된 제1 생체 데이터 및 고정된 학습 파라미터를 기초로 예측 모델을 파인 튜닝한다(S510).
구체적으로, 전자 장치(200)는 측정 장치(110) 또는 클라우드 서버(130)로부터 복수의 사용자들에 대한 제1 생체 데이터를 수신하고, 수신된 제1 생체 데이터를 입력으로 하여 사용자 상태를 예측하도록 제1 모델을 학습할 수 있다. 예를 들어, 제1 모델은 제1 생체 데이터로부터 특징 데이터를 추출하기 위한 복수의 레이어들 및 복수의 레이어들로부터 출력된 출력 데이터를 입력으로 하여 사용자 상태를 라벨링 또는 분류하기 위한 제2 모델을 포함할 수 있다. 이러한 학습을 통해 제1 모델의 학습 파라미터 또한 업데이트되며, 업데이트된 학습 파라미터가 고정된 학습 파라미터로서 추출될 수 있다. 전자 장치(200)는 이와 같이 고정된 학습 파라미터를 예측 모델에 적용하여 파인 튜닝을 수행할 수 있다.
전자 장치(200)는 적어도 하나의 사용자에 대한 사용자 상태를 예측하기 위한 제2 생체 데이터를 입력으로, 파인 튜닝된 예측 모델을 이용하여 예측된 사용자 상태를 출력한다(S520).
이를 통해서 본 발명은 사전 학습을 통해 고정된 학습 파라미터를 이용함으로써, 적은 양의 생체 데이터를 이용하더라도 사용자 상태를 정확하게 예측할 수 있다.
본 발명의 실시예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 사용자 상태 예측 시스템
110: 측정 장치
120, 200: 전자 장치
130: 클라우드 서버

Claims (18)

  1. 사용자 상태 예측 장치에 의해서 수행되는 사용자 상태 예측 방법에 있어서,
    복수의 사용자들에 대한 제1 생체 데이터를 획득하는 단계;
    상기 획득된 제1 생체 데이터 및 고정된 학습 파라미터를 기초로 예측 모델을 파인 튜닝(Fine Tuning)하는 단계; 및
    적어도 하나의 사용자에 대한 사용자 상태를 예측하기 위한 제2 생체 데이터를 입력으로, 상기 파인 튜닝된 예측 모델을 이용하여 예측된 사용자 상태를 출력하는 단계를 포함하고,
    상기 고정된 학습 파라미터는,
    상기 예측 모델과 상이하며, 상기 복수의 사용자들에 대한 제1 생체 데이터를 입력으로 상기 복수의 사용자들에 대한 사용자 상태를 예측하도록 학습된 제1 모델에 기반하여 추출되는, 사용자 상태 예측 방법.
  2. 제1항에 있어서, 상기 파인 튜닝하는 단계는,
    상기 제1 생체 데이터를 입력으로 상기 제1 모델을 이용하여 상기 고정된 학습 파라미터를 추출하는 단계; 및
    상기 고정된 학습 파라미터를 상기 예측 모델에 적용하는 단계를 포함하는, 사용자 상태 예측 방법.
  3. 제2항에 있어서, 상기 고정된 학습 파라미터를 추출하는 단계는,
    상기 제1 생체 데이터를 입력으로 하여 상기 제1 모델을 학습시키는 단계; 및
    학습에 의해 상기 제1 모델의 업데이트된 학습 파라미터를 상기 고정된 학습 파라미터로서 상기 제1 모델로부터 추출하는 단계를 포함하는, 사용자 상태 예측 방법.
  4. 제3항에 있어서, 상기 제1 모델은,
    복수의 레이어 및 상기 예측 모델과 동일한 구성의 제2 모델을 포함하는, 사용자 상태 예측 방법.
  5. 제4항에 있어서, 상기 복수의 레이어는,
    상기 제1 생체 데이터와 기 설정된 학습 파라미터 간의 유사도를 나타내는 유사도 데이터를 이용하여 특징 데이터를 산출하기 위한 제1 레이어 및 상기 특징 데이터를 압축하기 위한 제2 레이어를 포함하는, 사용자 상태 예측 방법.
  6. 제5항에 있어서, 상기 제1 모델을 학습시키는 단계는,
    상기 제1 레이어를 통해 상기 유사도 데이터를 산출하는 단계;
    상기 산출된 유사도 데이터에 합성곱 연산(convolution)을 수행하여 상기 특징 데이터를 산출하는 단계;
    상기 제2 레이어를 통해 상기 산출된 특징 데이터를 압축하는 단계; 및
    상기 압축된 데이터를 입력으로 제2 모델을 이용하여 상기 복수의 사용자들에 대한 사용자 상태를 라벨링(Labeling) 또는 분류하는 단계를 포함하는, 사용자 상태 예측 방법.
  7. 제6항에 있어서, 상기 제1 레이어를 통해 상기 유사도 데이터를 산출하는 단계는,
    상기 제1 생체 데이터 및 상기 학습 파라미터를 1차원 벡터로 변환하는 단계; 및
    상기 제1 생체 데이터의 1차원 벡터와 상기 학습 파라미터의 1차원 벡터 사이의 코사인 값을 상기 유사도 데이터로서 산출하는 단계를 포함하는, 사용자 상태 예측 방법.
  8. 제5항에 있어서, 상기 제1 레이어는,
    코사인 유사도 기반 합성곱 레이어(Cosine Similarity based Convolutional layer)인, 사용자 상태 예측 방법.
  9. 제5항에 있어서, 상기 제2 레이어는,
    최대 풀링 레이어(Max Pooling layer)인, 사용자 상태 예측 방법.
  10. 데이터를 송수신하도록 구성된 통신부; 및
    상기 통신부와 연결하도록 구성된 제어부를 포함하고,
    상기 제어부는,
    상기 통신부를 통해 복수의 사용자들에 대한 제1 생체 데이터를 획득하고,
    상기 획득된 제1 생체 데이터 및 고정된 학습 파라미터를 기초로 예측 모델을 파인 튜닝(Fine Tuning)하고,
    적어도 하나의 사용자에 대한 사용자 상태를 예측하기 위한 제2 생체 데이터를 입력으로, 상기 파인 튜닝된 예측 모델을 이용하여 예측된 사용자 상태를 출력하도록 구성되고,
    상기 고정된 학습 파라미터는,
    상기 예측 모델과 상이하며, 상기 복수의 사용자들에 대한 제1 생체 데이터를 입력으로 상기 복수의 사용자들에 대한 사용자 상태를 예측하도록 학습된 제1 모델에 기반하여 추출되는, 사용자 상태 예측 장치.
  11. 제10항에 있어서, 상기 제어부는,
    상기 제1 생체 데이터를 입력으로 상기 제1 모델을 이용하여 상기 고정된 학습 파라미터를 추출하고,
    상기 고정된 학습 파라미터를 상기 예측 모델에 적용하도록 구성되는, 사용자 상태 예측 장치.
  12. 제11항에 있어서, 상기 제어부는,
    상기 제1 생체 데이터를 입력으로 하여 상기 제1 모델을 학습시키고,
    학습에 의해 상기 제1 모델의 업데이트된 학습 파라미터를 상기 고정된 학습 파라미터로서 상기 제1 모델로부터 추출하도록 구성되는, 사용자 상태 예측 장치.
  13. 제12항에 있어서, 상기 제1 모델은,
    복수의 레이어 및 상기 예측 모델과 동일한 구성의 제2 모델을 포함하는, 사용자 상태 예측 장치.
  14. 제13항에 있어서, 상기 복수의 레이어는,
    상기 제1 생체 데이터와 기 설정된 학습 파라미터 간의 유사도를 나타내는 유사도 데이터를 이용하여 특징 데이터를 산출하기 위한 제1 레이어 및 상기 특징 데이터를 압축하기 위한 제2 레이어를 포함하는, 사용자 상태 예측 장치.
  15. 제14항에 있어서, 상기 제어부는,
    상기 제1 레이어를 통해 상기 유사도 데이터를 산출하고,
    상기 산출된 유사도 데이터에 합성곱 연산(convolution)을 수행하여 상기 특징 데이터를 산출하고,
    상기 제2 레이어를 통해 상기 산출된 특징 데이터를 압축하고,
    상기 압축된 데이터를 입력으로 제2 모델을 이용하여 상기 복수의 사용자들에 대한 사용자 상태를 라벨링(Labeling) 또는 분류하도록 구성되는, 사용자 상태 예측 장치.
  16. 제15항에 있어서, 상기 제어부는,
    상기 제1 생체 데이터 및 상기 학습 파라미터를 1차원 벡터로 변환하고,
    상기 제1 생체 데이터의 1차원 벡터와 상기 학습 파라미터의 1차원 벡터 사이의 코사인 값을 상기 유사도 데이터로서 산출하도록 구성되는, 사용자 상태 예측 장치.
  17. 제14항에 있어서, 상기 제1 레이어는,
    코사인 유사도 기반 합성곱 레이어(Cosine Similarity based Convolutional layer)인, 사용자 상태 예측 장치.
  18. 제14항에 있어서, 상기 제2 레이어는,
    최대 풀링 레이어(Max Pooling layer)인, 사용자 상태 예측 장치.
KR1020200067095A 2020-06-03 2020-06-03 사용자 상태를 예측하기 위한 방법 및 그 장치 KR102424403B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200067095A KR102424403B1 (ko) 2020-06-03 2020-06-03 사용자 상태를 예측하기 위한 방법 및 그 장치
US17/777,253 US20230080175A1 (en) 2020-06-03 2021-05-24 Method and device for predicting user state
PCT/KR2021/006429 WO2021246700A1 (ko) 2020-06-03 2021-05-24 사용자 상태를 예측하기 위한 방법 및 그 장치
KR1020220089071A KR20220104672A (ko) 2020-06-03 2022-07-19 사용자 상태를 예측하기 위한 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200067095A KR102424403B1 (ko) 2020-06-03 2020-06-03 사용자 상태를 예측하기 위한 방법 및 그 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220089071A Division KR20220104672A (ko) 2020-06-03 2022-07-19 사용자 상태를 예측하기 위한 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20210150124A true KR20210150124A (ko) 2021-12-10
KR102424403B1 KR102424403B1 (ko) 2022-07-22

Family

ID=78831511

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200067095A KR102424403B1 (ko) 2020-06-03 2020-06-03 사용자 상태를 예측하기 위한 방법 및 그 장치
KR1020220089071A KR20220104672A (ko) 2020-06-03 2022-07-19 사용자 상태를 예측하기 위한 방법 및 그 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220089071A KR20220104672A (ko) 2020-06-03 2022-07-19 사용자 상태를 예측하기 위한 방법 및 그 장치

Country Status (3)

Country Link
US (1) US20230080175A1 (ko)
KR (2) KR102424403B1 (ko)
WO (1) WO2021246700A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230127577A (ko) * 2022-02-25 2023-09-01 성균관대학교산학협력단 합성곱 신경망을 이용한 심실성 부정맥 예측 방법 및 장치
WO2023191564A1 (ko) * 2022-03-30 2023-10-05 중앙대학교 산학협력단 심층신경망 기반의 관심질병 예측 장치, 방법 및 이를 위한 컴퓨터 판독가능 프로그램

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220095715A (ko) * 2020-12-30 2022-07-07 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190062148A (ko) 2017-11-27 2019-06-05 연세대학교 산학협력단 수면 분석 방법 및 이를 이용한 수면 분석 디바이스
KR20190105180A (ko) * 2018-02-23 2019-09-16 광운대학교 산학협력단 합성곱 신경망 기반의 병변 진단 장치 및 방법
KR102058884B1 (ko) * 2019-04-11 2019-12-24 주식회사 홍복 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법
KR20200009595A (ko) * 2018-07-19 2020-01-30 한국전자통신연구원 온바디 센서 기반 감정-섭식 패턴 자동 생성 서버 및 그 방법
KR20200011818A (ko) * 2018-07-25 2020-02-04 삼성전자주식회사 사용자의 신체 상태를 추정하기 위한 방법 및 디바이스
KR20200017797A (ko) * 2018-08-09 2020-02-19 주식회사 룩시드랩스 사용자의 감정을 판단하기 위한 방법 및 이를 위한 장치
KR20200046598A (ko) * 2018-10-25 2020-05-07 고려대학교 산학협력단 뉴로 피드백을 이용한 수면 유도 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190062148A (ko) 2017-11-27 2019-06-05 연세대학교 산학협력단 수면 분석 방법 및 이를 이용한 수면 분석 디바이스
KR20190105180A (ko) * 2018-02-23 2019-09-16 광운대학교 산학협력단 합성곱 신경망 기반의 병변 진단 장치 및 방법
KR20200009595A (ko) * 2018-07-19 2020-01-30 한국전자통신연구원 온바디 센서 기반 감정-섭식 패턴 자동 생성 서버 및 그 방법
KR20200011818A (ko) * 2018-07-25 2020-02-04 삼성전자주식회사 사용자의 신체 상태를 추정하기 위한 방법 및 디바이스
KR20200017797A (ko) * 2018-08-09 2020-02-19 주식회사 룩시드랩스 사용자의 감정을 판단하기 위한 방법 및 이를 위한 장치
KR20200046598A (ko) * 2018-10-25 2020-05-07 고려대학교 산학협력단 뉴로 피드백을 이용한 수면 유도 장치 및 방법
KR102058884B1 (ko) * 2019-04-11 2019-12-24 주식회사 홍복 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230127577A (ko) * 2022-02-25 2023-09-01 성균관대학교산학협력단 합성곱 신경망을 이용한 심실성 부정맥 예측 방법 및 장치
WO2023191564A1 (ko) * 2022-03-30 2023-10-05 중앙대학교 산학협력단 심층신경망 기반의 관심질병 예측 장치, 방법 및 이를 위한 컴퓨터 판독가능 프로그램
KR20230140788A (ko) * 2022-03-30 2023-10-10 중앙대학교 산학협력단 심층신경망 기반의 관심질병 예측 장치, 방법 및 이를 위한 컴퓨터 판독가능 프로그램

Also Published As

Publication number Publication date
KR20220104672A (ko) 2022-07-26
KR102424403B1 (ko) 2022-07-22
US20230080175A1 (en) 2023-03-16
WO2021246700A1 (ko) 2021-12-09

Similar Documents

Publication Publication Date Title
KR102424403B1 (ko) 사용자 상태를 예측하기 위한 방법 및 그 장치
Pantic et al. Toward an affect-sensitive multimodal human-computer interaction
Gunes et al. Categorical and dimensional affect analysis in continuous input: Current trends and future directions
RU2708807C2 (ru) Алгоритм комплексного дистанционного бесконтактного мультиканального анализа психоэмоционального и физиологического состояния объекта по аудио- и видеоконтенту
Jerritta et al. Emotion recognition from facial EMG signals using higher order statistics and principal component analysis
US11301775B2 (en) Data annotation method and apparatus for enhanced machine learning
Buettner et al. Machine learning based diagnosis of diseases using the unfolded EEG spectra: Towards an intelligent software sensor
Peter et al. Emotion in human-computer interaction
US20220319536A1 (en) Emotion recognition method and emotion recognition device using same
US20220067376A1 (en) Method for generating highlight image using biometric data and device therefor
EP2509006A1 (en) Method and device for detecting affective events in a video
Paredes et al. Sensor-less sensing for affective computing and stress management technology
Du et al. Deep learning-based mental health monitoring scheme for college students using convolutional neural network
Feng et al. A digital twin-driven method for product performance evaluation based on intelligent psycho-physiological analysis
Griffith et al. System identification methods for dynamic models of brain activity
Hou Deep Learning-Based Human Emotion Detection Framework Using Facial Expressions
KR20230054286A (ko) 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 시스템 및 방법
McTear et al. Affective conversational interfaces
Calandra et al. CoWME: a general framework to evaluate cognitive workload during multimodal interaction
KR102341937B1 (ko) 일상생활에서 발생하는 감정 변화 원인을 파악하는 방법 및 그 시스템
KR102094936B1 (ko) Bci 시스템의 신뢰성 향상 방법
Rumahorbo et al. Exploring Recurrent Neural Network Models for Depression Detection Through Facial Expressions: A Systematic Literature Review
Saisanthiya et al. Heterogeneous Convolutional Neural Networks for Emotion Recognition Combined with Multimodal Factorised Bilinear Pooling and Mobile Application Recommendation.
Durkee et al. Multi-model approach to human functional state estimation
US20230329627A1 (en) User interface providing device and method for supporting cognitive activity

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant