WO2021246700A1 - 사용자 상태를 예측하기 위한 방법 및 그 장치 - Google Patents

사용자 상태를 예측하기 위한 방법 및 그 장치 Download PDF

Info

Publication number
WO2021246700A1
WO2021246700A1 PCT/KR2021/006429 KR2021006429W WO2021246700A1 WO 2021246700 A1 WO2021246700 A1 WO 2021246700A1 KR 2021006429 W KR2021006429 W KR 2021006429W WO 2021246700 A1 WO2021246700 A1 WO 2021246700A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
data
biometric data
user
layer
Prior art date
Application number
PCT/KR2021/006429
Other languages
English (en)
French (fr)
Inventor
이태헌
이홍구
Original Assignee
주식회사 룩시드랩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 룩시드랩스 filed Critical 주식회사 룩시드랩스
Priority to US17/777,253 priority Critical patent/US20230080175A1/en
Publication of WO2021246700A1 publication Critical patent/WO2021246700A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Definitions

  • the present invention relates to a method and apparatus for predicting a user state.
  • biometric data such as EEG (ElectroEncephaloGraphy) and ECG (ElectroCardioGram)
  • EEG ElectroEncephaloGraphy
  • ECG ElectroCardioGram
  • biometric data has a problem in that the amount of data that can be collected to analyze it is small because the data collection process is difficult. Also, when a stimulus is given to the user, a difference may occur in the collected biometric data depending on the equipment for measuring the biometric data, the environment, the user's condition, and the like. In addition, when a large number of experienced specialists analyze the collected biometric data, different analysis results may be obtained, which may decrease the analysis accuracy.
  • An object of the present invention is to provide a method and an apparatus for predicting a user state.
  • an object of the present invention is to provide a method and an apparatus for accurately predicting a user's state based on biometric data with a small amount of data.
  • a user state prediction method includes: acquiring first biometric data for a plurality of users; Fine tuning a predictive model based on the obtained first biometric data and a fixed learning parameter; and outputting a user state predicted using the fine-tuned prediction model by inputting second biometric data for predicting a user state for at least one user, wherein the fixed learning parameter is It is different from the prediction model, and is extracted based on the first model learned to predict the user state of the plurality of users by inputting the first biometric data for the plurality of users.
  • a user state prediction apparatus includes: a communication unit configured to transmit and receive data; and a control unit configured to be connected to the communication unit, wherein the control unit obtains first biometric data for a plurality of users through the communication unit, and predicts based on the obtained first biometric data and a fixed learning parameter fine-tuning a model, and outputting a predicted user state using the fine-tuned predictive model by inputting second biometric data for predicting a user state for at least one user, the The fixed learning parameter is different from the prediction model and is extracted based on a first model trained to predict user states for the plurality of users by inputting first biometric data for the plurality of users.
  • the present invention can accurately predict a user's state even when a small amount of biometric data is used by using a learning parameter fixed through prior learning.
  • the present invention can provide a predictive model with improved performance compared to a conventional predictive model.
  • the present invention can predict a user's state by utilizing different biometric data at once.
  • the effect according to the present invention is not limited by the contents exemplified above, and more various effects are included in the present specification.
  • FIG. 1 is a schematic diagram for explaining a user state prediction system according to an embodiment of the present invention.
  • FIG. 2 is a schematic diagram of an electronic device according to an embodiment of the present invention.
  • FIG. 3 is an exemplary diagram for explaining a method for predicting a user state in an electronic device according to an embodiment of the present invention.
  • FIG. 4 is an exemplary diagram illustrating a signal shape or pattern corresponding to a learned parameter according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a method of predicting a user state in an electronic device according to an embodiment of the present invention.
  • expressions such as “have,” “may have,” “includes,” or “may include” refer to the presence of a corresponding characteristic (eg, a numerical value, function, operation, or component such as a part). and does not exclude the presence of additional features.
  • expressions such as “A or B,” “at least one of A or/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together.
  • “A or B,” “at least one of A and B,” or “at least one of A or B” means (1) includes at least one A, (2) includes at least one B; Or (3) it may refer to all cases including both at least one A and at least one B.
  • first may modify various elements, regardless of order and/or importance, and refer to one element. It is used only to distinguish it from other components, and does not limit the components.
  • first user equipment and the second user equipment may represent different user equipment regardless of order or importance.
  • the first component may be named as the second component, and similarly, the second component may also be renamed as the first component.
  • a component eg, a first component is "coupled with/to (operatively or communicatively)" to another component (eg, a second component);
  • another component eg, a second component
  • the certain element may be directly connected to the other element or may be connected through another element (eg, a third element).
  • a component eg, a first component
  • another component eg, a second component
  • a device configured to may mean that the device is “capable of” with other devices or parts.
  • a processor configured (or configured to perform) A, B, and C refers to a dedicated processor (eg, an embedded processor) for performing the corresponding operations, or by executing one or more software programs stored in a memory device.
  • a generic-purpose processor eg, a CPU or an application processor
  • biological data may be at least one of an electroencephalogram (EEG), an electrocardiogram (ECG), and the like indicating the user's physical or psychological state, but is not limited thereto.
  • EEG electroencephalogram
  • ECG electrocardiogram
  • measuring device may include any device configured to acquire biometric data of a user.
  • a “measurement device” includes a headset, a smart ring, a smart watch, an earset, and/or an earphone, as well as a Head Mounted Display (HMD) device. It may include a device that is in contact/wear on a part of the user's body and includes a sensor for obtaining the user's biometric data, and a content output device that outputs multimedia content related to virtual reality, augmented reality, and/or mixed reality. have.
  • the HMD device includes a display unit
  • the measurement device may be an HMD device.
  • FIG. 1 is a schematic diagram for explaining a user state prediction system according to an embodiment of the present invention.
  • a user state prediction system 100 is a system configured to predict a user state based on biometric data, and a measurement device 110 configured to measure biometric data for a user and a user state based on the biometric data and an electronic device 120 configured to predict
  • the user state prediction system 100 may further include a cloud server 130 configured to store biometric data for each of a plurality of users.
  • the measurement device 110 is mounted on the user's head to provide multimedia content for virtual reality to the user so that the user can experience a spatial and temporal similar to the real one, and at the same time acquire the user's biometric data to conduct a virtual experience
  • multimedia content includes non-interactive images such as movies, animations, advertisements, or promotional images, and interactive images that are interactively performed with users such as games, electronic manuals, electronic encyclopedias or promotional images.
  • multimedia content includes non-interactive images such as movies, animations, advertisements, or promotional images, and interactive images that are interactively performed with users such as games, electronic manuals, electronic encyclopedias or promotional images.
  • the image may be a 3D image, and a stereoscopic image may be included.
  • the measuring device 110 may be an HMD device that is formed in a structure that can be worn on the user's head.
  • various multimedia contents for virtual reality are processed inside the HMD device, or multimedia contents are placed in a part of the HMD device. It can be implemented in the form of processing the multimedia content inside the mounted content output device to provide a content output device.
  • multimedia content may include content for testing a user's cognitive ability, content for measuring a user's health status, and/or content for determining or diagnosing a brain degenerative disease such as dementia, Alzheimer's disease, or Parkinson's disease and the like.
  • one surface of the display unit may be disposed to face the user's face so that the user can check multimedia content when the user wears the HMD device.
  • a receiving space for accommodating the content output device may be formed in a portion of the HMD device.
  • one surface of the content output device eg, one surface on which the display unit of the content output device is located
  • the content output device may include a portable terminal device such as a smart phone or a tablet PC, or a portable monitor connected to the PC to output multimedia content provided from the PC.
  • At least one sensor for acquiring the user's biometric data may be formed on one side of the HMD device.
  • the at least one sensor may include an EEG sensor that measures at least one of a user's EEG and ECG signals.
  • the at least one sensor may be formed at a position that can be contacted with the user's skin, and when the user wears the HMD device, the at least one sensor may come into contact with the user's skin to acquire the user's biometric data.
  • the HMD device includes at least one sensor for acquiring the user's biometric data
  • the present disclosure is not limited thereto, and at least one sensor for acquiring the user's biometric data through a module separate from the HMD device is the HMD. It may be implemented in a form mounted on the housing of the device.
  • the expression HMD device is intended to include such a module or contemplate the module itself.
  • the measuring device 110 may obtain the user's biometric data according to the request of the electronic device 120 , and transmit the obtained biometric data to the electronic device 120 .
  • the measuring device 110 may transmit the measured biometric data to the cloud server 130 .
  • the biometric data transmitted through this may be stored in the cloud server 130 .
  • the electronic device 120 is communicatively connected to the measuring device 110 , and obtains the user's biometric data from the measuring device 110 , and a personal computer (PC) for predicting a user's state based on the obtained biometric data , a laptop computer, a workstation, or a smart TV, but is not limited thereto.
  • the user state may include, but is not limited to, a sleep state, a health state, a cognitive state, an emotional state, and/or a dementia progress state.
  • the electronic device 120 obtains first biometric data for a plurality of users from the measurement device 110 or the cloud server 130, and based on the obtained first biometric data and the fixed learning parameter, the user A prediction model for predicting a state may be fine-tuned.
  • the first biometric data is time-series biometric data, and may be EEG data for each of a plurality of users, but is not limited thereto.
  • the electronic device 120 extracts a fixed learning parameter by using a first model that is different from the above-described prediction model and is trained to predict a user state by inputting first biometric data for a plurality of users as an input. can do.
  • the electronic device 120 may train the first model to predict the user state by receiving the first biometric data as an input.
  • the first model may include a plurality of layers and a second model having the same configuration as the aforementioned prediction model.
  • the plurality of layers includes a first layer for calculating feature data using similarity data indicating a degree of similarity between the first biometric data and a preset learning parameter used in the first model and a second layer for compressing the feature data can do.
  • the learning parameter used in the first model is updated through such learning, and when learning is completed, the electronic device 120 may extract the updated learning parameter as a fixed learning parameter from the first model.
  • the electronic device 120 may perform fine tuning by applying the fixed learning parameter to the predictive model.
  • the electronic device 120 outputs a user state predicted using a fine-tuned prediction model by inputting second biometric data for predicting a user state for at least one user as an input, thereby providing a user state for at least one user. You can provide data representing
  • the cloud server 130 may collect biometric data for each of the plurality of users and store the collected biometric data corresponding to each of the plurality of users.
  • the cloud server 130 may receive and store biometric data from the measurement device 110 or the electronic device 120 , and transmit the biometric data to the electronic device 120 according to a request from the electronic device 120 .
  • the present invention can accurately predict a user's state even when using a small amount of biometric data by using a fixed learning parameter through prior learning.
  • FIG. 2 is a schematic diagram of an electronic device according to an embodiment of the present invention.
  • the electronic device 200 includes a communication unit 210 , a display unit 220 , a storage unit 230 , and a control unit 240 .
  • the electronic device 200 refers to the electronic device 120 of FIG. 1 .
  • the communication unit 210 connects the electronic device 200 to enable communication with an external device.
  • the communication unit 210 may be connected to the measurement device 110 using wired/wireless communication to transmit/receive various data.
  • the communication unit 210 may receive first biometric data for a plurality of users from the measurement device 110 , and may receive second biometric data for predicting a user state.
  • the display unit 220 may display various contents (eg, text, image, video, icon, banner or symbol, etc.) to the user.
  • the display unit 220 may display an interface screen indicating the predicted user state.
  • the storage unit 230 may be used to predict a user's state based on biometric data or may store various data generated through it.
  • the storage unit 230 includes a flash memory type, a hard disk type, a multimedia card micro type, and a card type memory (eg, SD or XD). memory, etc.), RAM (Random Access Memory, RAM), SRAM (Static Random Access Memory), ROM (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory) , a magnetic memory, a magnetic disk, and an optical disk may include at least one type of storage medium.
  • the electronic device 200 may operate in relation to a web storage that performs the storage function of the storage unit 230 on the Internet.
  • the controller 240 is operatively connected to the communication unit 210 , the display unit 220 , and the storage unit 230 , and may perform various commands for predicting a user state based on biometric data.
  • the controller 240 obtains first biometric data for a plurality of users from the measurement device 110 or the cloud server 130, and a predictive model based on the obtained first biometric data and fixed learning parameters may be fine-tuned, and the user state predicted using the fine-tuned prediction model may be output with the second biometric data for predicting the user state as an input.
  • the fixed learning parameter is different from the prediction model, and may be extracted based on the first model learned to predict the user state by inputting the first biometric data.
  • the controller 240 may train the first model to predict a user state by inputting first biometric data for a plurality of users, and when the learning is completed, extract a fixed learning parameter of the first model.
  • the first model may include a plurality of layers for extracting features of the first biometric data and a second model having the same configuration as the prediction model.
  • the second model only has the same configuration as the predictive model, but refers to a model different from the predictive model.
  • the plurality of layers may include layers that perform various operations for extracting features from the first biometric data. These layers may include a first layer for calculating similarity data indicating a degree of similarity between the first biometric data and a preset learning parameter as feature data, and a second layer for compressing the feature data.
  • the preset learning parameter may include a plurality of weights used for determining (or determining) similarity in the first layer.
  • the controller 240 may calculate similarity data between the first biometric data and a preset learning parameter through the first layer, and perform a convolution operation on the calculated similarity data to calculate feature data.
  • the controller 240 may use a cosine similarity operation, but is not limited thereto, and various operations for calculating the similarity may be used.
  • the controller 240 may convert the first biometric data and the learning data into a one-dimensional vector, and calculate a cosine value between the one-dimensional vector of the first biometric data and the one-dimensional vector of the learning parameter as similarity data.
  • the length of the learning parameter may be set to include the frequency range of the first biometric data.
  • the controller 240 may perform a convolution operation on the cosine value calculated as described above, encode the result value in the form of an activation vector, and calculate the encoded result value as feature data.
  • the controller 240 may generate compressed data by compressing the feature data through the second layer.
  • the controller 240 may label or classify the user state using the second model trained to predict the user state by receiving the compressed data as an input.
  • the first model including the plurality of layers and the second model may be learned through such an operation.
  • the first layer may be a cosine similarity based convolutional layer
  • the second layer may be a max pooling layer, but is not limited thereto.
  • the controller 240 may use the following ⁇ Equation 1>.
  • x is the input value of the neural network
  • w is the weight vector of the convolution filter
  • o is the output vector from the convolution filter
  • w k is the k-th filter vector of the convolution layer
  • o k is the convolution layer
  • E may mean an output value of a neural network
  • L may be a length of a convolution filter
  • i* and j* may mean an index of a convolutional output vector having a maximum activation value.
  • the controller 240 may extract the updated learning parameter from the first model as a fixed learning parameter.
  • the fixed learning parameter may mean a parameter learned to predict the user's state.
  • the controller 240 may perform fine tuning by applying the fixed learning parameter to the predictive model. In other words, the controller 240 may update the learning parameters updated in the first model including the plurality of layers and the second model as parameters of layers constituting the predictive model.
  • the control unit 240 obtains at least one user's second biometric data from the measurement device 110, and uses the obtained second biometric data as an input to label or classify the user's state using a fine-tuned predictive model.
  • the fine-tuned prediction model may be a multi-layer neural network classifier (MLP based classifier), but is not limited thereto.
  • the present invention can accurately predict a user's state using a small amount of biometric data or different biometric data by applying the learning parameters extracted through prior learning to the predictive model.
  • FIG. 3 is an exemplary diagram for explaining a method for predicting a user state in an electronic device according to an embodiment of the present invention.
  • the electronic device 120 includes first biometric data for a plurality of users used for learning from the measurement device 110 or the cloud server 130 as shown in FIG. 300 ), and the received first biometric data 300 may be converted into a one-dimensional vector 305 .
  • the bio-signals collected by the measuring device 110 have the form of a one-dimensional signal for each channel at the time of collection.
  • the one-dimensional vector 305 may mean a one-dimensional tensor, which is a data form that can be processed by a deep learning framework such as Pytorch or Tensorflow.
  • the electronic device 120 may learn the first model 310 for predicting the user state by inputting the one-dimensional vector 305 as an input as described above.
  • the first model 310 includes a plurality of layers 315 for extracting feature data from biometric data and a first model that is learned to predict a user state by inputting output data output from the plurality of layers 315 as an input.
  • Two models 320 may be included.
  • the plurality of layers 315 includes a cosine similarity-based convolution layer 325 and a maximum pooling layer 330
  • the second model 320 labels what state of the user the biosignal represents.
  • it may be linear classifiers for classifying, but is not limited thereto.
  • the cosine similarity-based convolutional layer 325 among the plurality of layers 315 has a plurality of one-dimensional filters, and a signal shape or pattern significant in the one-dimensional vector 305 of biometric data using the plurality of one-dimensional filters Feature data corresponding to may be extracted.
  • Feature data corresponding to may be extracted.
  • sleep spindles and K-complexes appear in sleep EEG signals in sleep stage 2.
  • the sleep spindle wave and the K-complex may be characteristic data corresponding to a significant signal shape or pattern of the sleep EEG signal.
  • the EEG signal is a significant signal shape or Feature data corresponding to the pattern may be included.
  • the electronic device 120 performs a cosine between the one-dimensional vector 305 and the weight of at least one filter of the cosine similarity-based convolution layer 325 .
  • a similarity value may be calculated, and feature data may be calculated by performing a convolution operation on the calculated cosine similarity value.
  • the calculated feature data may include a similarity value between each piece of the one-dimensional vector 305 and each weight of the plurality of filters.
  • an output channel may be allocated corresponding to the number of a plurality of filters, and a cosine similarity value may be calculated for each output channel. For example, when the cosine similarity-based convolutional layer 325 has 64 or 256 filters, 64 or 256 output channels may be allocated to each filter. In this case, the feature data may include a cosine similarity value calculated for each output channel.
  • the maximum pooling layer 330 among the plurality of layers 315 may compress the calculated feature data to output compressed data.
  • the electronic device 120 may output the compressed data by compressing it to include the cosine similarity value having the largest value among the cosine similarity values calculated for each output channel through the maximum pooling layer 330 .
  • the compressed data may be a vector consisting of 64 values.
  • the plurality of filters are updated so that feature data such as signal shape or pattern existing in the EEG signal can be extracted. It may be determined that an extractable signal shape or pattern exists.
  • the output compressed data may include information indicating whether a signal shape or pattern corresponding to a plurality of filters exists in the biometric data corresponding to the input value.
  • the electronic device 120 may output a labeled or classified user state using the second model 320 trained to label or classify a user's state by receiving the compressed data as an input. For example, when the input biometric data is sleep EEG data, the electronic device 120 may label or classify which sleep state the user corresponds to among sleep states.
  • the above-described learning process may be repeated for each channel of the biometric data.
  • parameters of the first model 310 may also be updated (ie, learned).
  • the electronic device 120 may perform fine tuning by extracting a fixed learning parameter from the first model 310 and applying the fixed learning parameter to the predictive model 345 .
  • the electronic device 120 extracts the plurality of updated filters of the cosine similarity-based convolution layer 325 as fixed learning parameters, or the updated filter of the cosine similarity-based convolution layer 325 and the second
  • the updated filter of the model 320 may be extracted as a fixed training parameter, but is not limited thereto.
  • the learning parameter updated through this learning process may be a parameter learned to correspond to a signal shape or pattern as shown in FIG. 4 .
  • the electronic device 120 may apply the extracted fixed learning parameter to layers located at the front end among the plurality of layers constituting the prediction model 345 , but is not limited thereto.
  • the electronic device 120 receives the second biometric data from the measuring device 110 or the cloud server 130 as shown in FIG. 345), the predicted user state 350 may be output.
  • the user's state can be accurately predicted using a small amount of biometric data.
  • FIG. 5 is a flowchart illustrating a method of predicting a user state in an electronic device according to an embodiment of the present invention. The operations described below may be performed by the controller 240 of the electronic device 200 .
  • the electronic device 200 obtains first biometric data for a plurality of users ( S500 ), and fine-tunes a predictive model based on the obtained first biometric data and a fixed learning parameter. (S510).
  • the electronic device 200 receives the first biometric data for a plurality of users from the measurement device 110 or the cloud server 130, and predicts the user's state by using the received first biometric data as an input.
  • the first model may be trained.
  • the first model includes a plurality of layers for extracting feature data from the first biometric data, and a second model for labeling or classifying a user state by inputting output data output from the plurality of layers as an input can do.
  • the learning parameters of the first model are also updated, and the updated learning parameters may be extracted as fixed learning parameters.
  • the electronic device 200 may perform fine tuning by applying the fixed learning parameter to the prediction model.
  • the electronic device 200 receives the second biometric data for predicting the user state of at least one user as an input, and outputs the predicted user state using a fine-tuned prediction model ( S520 ).
  • the present invention can accurately predict a user's state even with a small amount of biometric data by using a learning parameter fixed through prior learning.
  • the apparatus and method according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the computer readable medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the computer software field.
  • Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floppy disks.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Psychology (AREA)
  • Cardiology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Fuzzy Systems (AREA)

Abstract

본 발명의 실시예에 따른 사용자 상태를 예측하기 위한 방법 및 그 장치가 제공된다. 본 발명의 실시예에 따른 사용자 상태 예측 방법은, 복수의 사용자들에 대한 제1 생체 데이터를 획득하는 단계; 상기 획득된 제1 생체 데이터 및 고정된 학습 파라미터를 기초로 예측 모델을 파인 튜닝(Fine Tuning)하는 단계; 및 적어도 하나의 사용자에 대한 사용자 상태를 예측하기 위한 제2 생체 데이터를 입력으로, 상기 파인 튜닝된 예측 모델을 이용하여 예측된 사용자 상태를 출력하는 단계를 포함하고, 상기 고정된 학습 파라미터는, 상기 예측 모델과 상이하며, 상기 복수의 사용자들에 대한 제1 생체 데이터를 입력으로 상기 복수의 사용자들에 대한 사용자 상태를 예측하도록 학습된 제1 모델에 기반하여 추출된다.

Description

사용자 상태를 예측하기 위한 방법 및 그 장치
본 발명은 사용자 상태를 예측하기 위한 방법 및 그 장치에 관한 것이다.
일반적으로 EEG(ElectroEncephaloGraphy), ECG(ElectroCardioGram) 등과 같은 생체 데이터는 사용자의 신체 또는 심리 상태를 표현하는 정보로서, 의학, 심리학 또는 교육 등의 다양한 분야에서 활용되고 있다.
최근에는 머신 러닝 또는 딥러닝과 같은 인공지능의 발달로 인해 이를 이용하여 생체 데이터를 이해하기 위한 다양한 분석들이 시도되었다.
그러나, 생체 데이터는 기존의 이미지 또는 음성 데이터와 다르게 데이터 수집 과정이 어려워서 이를 분석하기 위해 수집될 수 있는 데이터 양이 적다는 문제점이 있다. 또한, 사용자에게 어떠한 자극이 주어질 경우 생체 데이터를 측정하는 장비, 환경, 사용자의 상태 등에 따라 수집되는 생체 데이터에 차이가 발생할 수 있다. 뿐만 아니라, 숙련된 다수의 전문의가 수집된 생체 데이터를 분석할 경우 서로 다른 분석 결과가 나올 수 있어 분석 정확도가 떨어질 수 있다.
이에, 수집되는 데이터 양이 적은 생체 데이터를 기반으로 사용자 상태를 정확하게 예측하기 위한 방법이 요구된다.
본 발명이 해결하고자 하는 과제는 사용자 상태를 예측하기 위한 방법 및 그 장치를 제공하는 것이다.
구체적으로, 본 발명이 해결하고자 하는 과제는 데이터 양이 적은 생체 데이터를 기반으로 사용자 상태를 정확하게 예측하기 위한 방법 및 그 장치를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 실시예에 따른 사용자 상태를 예측하기 위한 방법 및 그 장치가 제공된다. 본 발명의 실시예에 따른 사용자 상태 예측 방법은, 복수의 사용자들에 대한 제1 생체 데이터를 획득하는 단계; 상기 획득된 제1 생체 데이터 및 고정된 학습 파라미터를 기초로 예측 모델을 파인 튜닝(Fine Tuning)하는 단계; 및 적어도 하나의 사용자에 대한 사용자 상태를 예측하기 위한 제2 생체 데이터를 입력으로, 상기 파인 튜닝된 예측 모델을 이용하여 예측된 사용자 상태를 출력하는 단계를 포함하고, 상기 고정된 학습 파라미터는, 상기 예측 모델과 상이하며, 상기 복수의 사용자들에 대한 제1 생체 데이터를 입력으로 상기 복수의 사용자들에 대한 사용자 상태를 예측하도록 학습된 제1 모델에 기반하여 추출된다.
본 발명의 실시예에 따른 사용자 상태 예측 장치는, 데이터를 송수신하도록 구성된 통신부; 및 상기 통신부와 연결하도록 구성된 제어부를 포함하고, 상기 제어부는, 상기 통신부를 통해 복수의 사용자들에 대한 제1 생체 데이터를 획득하고, 상기 획득된 제1 생체 데이터 및 고정된 학습 파라미터를 기초로 예측 모델을 파인 튜닝(Fine Tuning)하고, 적어도 하나의 사용자에 대한 사용자 상태를 예측하기 위한 제2 생체 데이터를 입력으로, 상기 파인 튜닝된 예측 모델을 이용하여 예측된 사용자 상태를 출력하도록 구성되고, 상기 고정된 학습 파라미터는, 상기 예측 모델과 상이하며, 상기 복수의 사용자들에 대한 제1 생체 데이터를 입력으로 상기 복수의 사용자들에 대한 사용자 상태를 예측하도록 학습된 제1 모델에 기반하여 추출된다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은 사전 학습을 통해 고정된 학습 파라미터를 이용함으로써, 적은 양의 생체 데이터를 이용하더라도 사용자 상태를 정확하게 예측할 수 있다.
또한 본 발명은 기존의 예측 모델보다 성능이 향상된 예측 모델을 제공할 수 있다.
또한 본 발명은 서로 다른 생체 데이터를 한번에 활용하여 사용자 상태를 예측할 수 있다.
또한 본 발명은 학습된 파라미터를 분석함으로써, 생체 신호 내에서 중요하게 살펴보아야 할 신호 패턴을 추출해낼 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 실시예에 따른 사용자 상태 예측 시스템을 설명하기 위한 개략도이다.
도 2는 본 발명의 실시예에 따른 전자 장치에 대한 개략도이다.
도 3은 본 발명의 실시예에 따른 전자 장치에서 사용자 상태를 예측하기 위한 방법을 설명하기 위한 예시도이다.
도 4는 본 발명의 실시예에 따른 학습된 파라미터에 대응하는 신호 모양 또는 패턴을 나타내는 예시도이다.
도 5는 본 발명의 실시예에 따른 전자 장치에서 사용자 상태를 예측하는 방법을 설명하기 위한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는(3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~ 를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된)프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 명세서에서 사용되는 “생체 데이터”는, 사용자의 신체 또는 심리적 상태를 나타내는 뇌전도 신호(ElectroEncephaloGram, EEG), 및 심전도 신호(ElectroCardioGram, ECG) 등 중 적어도 하나일 수 있으나, 이에 한정되지 않는다.
본 명세서에서 사용되는 “측정 장치”는, 사용자의 생체 데이터를 획득하도록 구성된 모든 장치를 포함할 수 있다. 예를 들어, “측정 장치”는 HMD(Head Mounted Display) 장치뿐만 아니라, 헤드셋(headset), 스마트링(smart ring), 스마트 와치(smart watch), 이어셋(earset), 및/또는 이어폰(earphone) 등과 같이 사용자의 신체 일부에 접촉/착용되고, 사용자의 생체 데이터를 획득하는 센서가 포함된 디바이스와, 가상 현실, 증강 현실 또는/및 혼합 현실에 관련된 멀티미디어 콘텐츠를 출력하는 콘텐츠 출력 장치를 포함할 수 있다. 예를 들어, HMD 장치가 표시부를 구비하는 경우 측정 장치는 HMD 장치일 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 사용자 상태 예측 시스템을 설명하기 위한 개략도이다.
도 1을 참조하면, 사용자 상태 예측 시스템(100)은 생체 데이터를 기초로 사용자 상태를 예측하도록 구성된 시스템으로, 사용자에 대한 생체 데이터를 측정하도록 구성된 측정 장치(110) 및 생체 데이터에 기반하여 사용자 상태를 예측하도록 구성된 전자 장치(120)를 포함할 수 있다. 사용자 상태 예측 시스템(100)은 복수의 사용자 각각에 대한 생체 데이터를 저장하도록 구성된 클라우드 서버(130)를 더 포함할 수 있다.
먼저, 측정 장치(110)는 사용자의 머리에 장착되어 사용자가 실제와 유사한 공간적, 시간적 체험이 가능하도록 사용자에게 가상 현실을 위한 멀티미디어 콘텐츠를 제공함과 동시에, 사용자의 생체 데이터를 획득하여 가상 체험을 진행 중인 사용자의 신체적, 인지적, 감정적 변화를 감지할 수 있는 복합 가상 체험 장치일 수 있다. 예를 들어, 멀티미디어 콘텐츠는 영화, 애니메이션, 광고, 또는 홍보 영상 등과 같은 비-인터랙티브(non-interactive) 영상 및 게임, 전자 매뉴얼, 전자 백과사전 또는 홍보 영상 등과 같이 사용자와 상호 활동적으로 이루어지는 인터랙티브(interactive) 영상을 포함할 수 있으며, 이에 한정되지 않는다. 여기서, 영상은 3차원 영상일 수 있으며, 스테레오스코픽(Stereoscopic) 영상이 포함될 수 있다.
측정 장치(110)는 사용자의 머리에 착용 가능한 구조로 형성되는 HMD 장치일 수 있으며, 이러한 경우 가상 현실을 위한 다양한 멀티미디어 콘텐츠를 HMD 장치 내부에서 처리하는 형태로 구현되거나, HMD 장치의 일부에 멀티미디어 콘텐츠를 제공하는 콘텐츠 출력 장치가 장착되고 장착된 콘텐츠 출력 장치 내부에서 멀티미디어 콘텐츠를 처리하는 형태로 구현될 수 있다. 예를 들어, 이러한 멀티미디어 콘텐츠는 사용자의 인지 능력을 테스트하기 위한 콘텐츠, 사용자의 건강 상태를 측정하기 위한 콘텐츠, 및/또는 치매, 알츠하이머병 또는 파킨슨병 등과 같은 뇌 퇴행성 질환을 판단하거나 진단하기 위한 콘텐츠 등을 포함할 수 있다.
HMD 장치가 표시부를 구비하는 경우 사용자가 HMD 장치를 착용할 시 사용자가 멀티미디어 콘텐츠를 확인할 수 있도록 표시부의 일면이 사용자의 얼굴에 대향하도록 배치될 수 있다.
다양한 실시예에서 HMD 장치의 일부에는 콘텐츠 출력 장치를 수용할 수 있는 수용 공간이 형성될 수 있다. 수용 공간 내에 콘텐츠 출력 장치가 수용된 경우 콘텐츠 출력 장치의 일면(예: 콘텐츠 출력 장치의 표시부가 위치된 일면)이 사용자의 얼굴에 대향하도록 배치될 수 있다. 예를 들면, 콘텐츠 출력 장치는 스마트폰, 태블릿 PC 등과 같은 휴대용 단말장치 또는 PC에 연결되어 PC로부터 제공되는 멀티미디어 콘텐츠를 출력할 수 있는 휴대용 모니터 등을 포함할 수 있다.
HMD 장치의 일측에는 사용자의 생체 데이터를 획득하는 적어도 하나의 센서(미도시)가 형성될 수 있다. 예를 들어, 적어도 하나의 센서는 사용자의 뇌전도 및 심전도 신호 등 중 적어도 하나를 측정하는 뇌파 센서를 포함할 수 있다.
다양한 실시예에서 적어도 하나의 센서는 사용자의 피부에 접촉 가능한 위치에 형성되고, 사용자가 HMD 장치를 착용할 시 사용자의 피부에 접촉되어 사용자의 생체 데이터를 획득할 수 있다. 본 명세서에서는 HMD 장치가 사용자의 생체 데이터를 획득하는 적어도 하나의 센서를 포함하는 것으로 설명되지만, 이에 제한되지 않고, HMD 장치와 별도의 모듈을 통해 사용자의 생체 데이터를 획득하는 적어도 하나의 센서가 HMD 장치의 하우징에 장착되는 형식으로 구현될 수 있다. HMD 장치라는 표현은 이러한 모듈을 포함하거나 모듈 자체도 상정하도록 의도된다.
이러한 측정 장치(110)는 전자 장치(120)의 요청에 따라 사용자의 생체 데이터를 획득하고, 획득된 생체 데이터를 전자 장치(120)로 전달할 수 있다. 다양한 실시예에서 측정 장치(110)는 측정된 생체 데이터를 클라우드 서버(130)로 전달할 수도 있다. 이를 통해 전달된 생체 데이터는 클라우드 서버(130)에 저장될 수 있다.
전자 장치(120)는 측정 장치(110)와 통신 가능하도록 연결되고, 측정 장치(110)로부터 사용자의 생체 데이터를 획득하여 획득된 생체 데이터를 기반으로 하여 사용자 상태를 예측하기 위한 PC(Personal Computer), 노트북, 워크스테이션(workstation), 또는 스마트 TV 등일 수 있으나, 이에 한정되지 않는다. 여기서, 사용자 상태는 수면 상태, 건강 상태, 인지 상태, 감정 상태 및/또는 치매 진행 상태 등을 포함할 수 있으나, 이에 한정되지 않는다.
구체적으로, 전자 장치(120)는 측정 장치(110) 또는 클라우드 서버(130)로부터 복수의 사용자들에 대한 제1 생체 데이터를 획득하고, 획득된 제1 생체 데이터 및 고정된 학습 파라미터를 기초로 사용자 상태를 예측하기 위한 예측 모델을 파인 튜닝(fine tuning)할 수 있다. 여기서, 제1 생체 데이터는 시계열적인 생체 데이터로서, 복수의 사용자들 각각에 대한 뇌파 데이터일 수 있으나, 이에 한정되지 않는다.
파인 튜닝을 위해 전자 장치(120)는 상술한 예측 모델과 상이하고, 복수의 사용자들에 대한 제1 생체 데이터를 입력으로 사용자 상태를 예측하도록 학습된 제1 모델을 이용하여 고정된 학습 파라미터를 추출할 수 있다. 다시 말해서, 전자 장치(120)는 제1 생체 데이터를 입력으로 하여 사용자 상태를 예측하도록 제1 모델을 학습시킬 수 있다. 여기서, 제1 모델은 복수의 레이어 및 상술한 예측 모델과 동일한 구성의 제2 모델을 포함할 수 있다. 또한 복수의 레이어는 제1 생체 데이터와 제1 모델에서 이용되는 기 설정된 학습 파라미터 간의 유사도를 나타내는 유사도 데이터를 이용하여 특징 데이터를 산출하기 위한 제1 레이어 및 특징 데이터를 압축하기 위한 제2 레이어를 포함할 수 있다.
이러한 학습을 통해 제1 모델에서 이용되는 학습 파라미터가 업데이트되며, 학습이 완료되면 전자 장치(120)는 업데이트된 학습 파라미터를 고정된 학습 파라미터로서 제1 모델로부터 추출할 수 있다. 전자 장치(120)는 고정된 학습 파라미터를 예측 모델에 적용함으로써, 파인 튜닝을 수행할 수 있다.
전자 장치(120)는 적어도 하나의 사용자에 대한 사용자 상태를 예측하기 위한 제2 생체 데이터를 입력으로, 파인 튜닝된 예측 모델을 이용하여 예측된 사용자 상태를 출력함으로써, 적어도 하나의 사용자에 대한 사용자 상태를 나타내는 데이터를 제공할 수 있다.
한편, 클라우드 서버(130)는 복수의 사용자들 각각에 대한 생체 데이터를 수집하고, 수집된 생체 데이터를 복수의 사용자들 각각에 대응하여 저장할 수 있다. 이러한 클라우드 서버(130)는 측정 장치(110) 또는 전자 장치(120)로부터 생체 데이터를 수신하여 저장하고, 전자 장치(120)의 요청에 따라 생체 데이터를 전자 장치(120)로 전달할 수 있다.
이와 같이 본 발명은 사전 학습을 통해 고정된 학습 파라미터를 이용함으로써, 적은 양의 생체 데이터를 이용하더라도 사용자 상태를 정확하게 예측할 수 있다.
하기에서는 도 2를 참조하여 전자 장치(120)에 대해서 상세하게 설명하도록 한다.
도 2는 본 발명의 실시예에 따른 전자 장치에 대한 개략도이다.
도 2를 참조하면, 전자 장치(200)는 통신부(210), 표시부(220), 저장부(230) 및 제어부(240)를 포함한다. 제시된 실시예에서 전자 장치(200)는 도 1의 전자 장치(120)를 의미한다.
통신부(210)는 전자 장치(200)가 외부 장치와 통신이 가능하도록 연결한다. 통신부(210)는 유/무선 통신을 이용하여 측정 장치(110)와 연결되어 다양한 데이터를 송수신할 수 있다. 구체적으로, 통신부(210)는 측정 장치(110)로부터 복수의 사용자들에 대한 제1 생체 데이터를 수신하고, 사용자 상태를 예측하기 위한 제2 생체 데이터를 수신할 수 있다.
표시부(220)는 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 배너 또는 심벌 등)를 표시할 수 있다. 예를 들어, 표시부(220)는 예측된 사용자 상태를 나타내는 인터페이스 화면을 표시할 수 있다.
저장부(230)는 생체 데이터에 기반하여 사용자 상태를 예측하기 위해 사용되거나, 이를 통해서 생성되는 다양한 데이터를 저장할 수 있다.
다양한 실시예에서 저장부(230)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 전자 장치(200)는 인터넷(internet)상에서 상기 저장부(230)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
제어부(240)는 통신부(210), 표시부(220) 및 저장부(230)와 동작 가능하게 연결되며, 생체 데이터에 기반하여 사용자 상태를 예측하기 위한 다양한 명령들을 수행할 수 있다.
*특히, 제어부(240)는 측정 장치(110) 또는 클라우드 서버(130)로부터 복수의 사용자들에 대한 제1 생체 데이터를 획득하고, 획득된 제1 생체 데이터 및 고정된 학습 파라미터를 기초로 예측 모델을 파인 튜닝하고, 사용자 상태를 예측하기 위한 제2 생체 데이터를 입력으로, 파인 튜닝된 예측 모델을 이용하여 예측된 사용자 상태를 출력할 수 있다. 여기서, 고정된 학습 파라미터는 예측 모델과 상이하고, 제1 생체 데이터를 입력으로 사용자 상태를 예측하도록 학습된 제1 모델에 기반하여 추출될 수 있다.
이와 같이 예측 모델을 파인 튜닝하는 과정에 대해서 하기에서 구체적으로 설명하도록 한다.
먼저, 제어부(240)는 복수의 사용자들에 대한 제1 생체 데이터를 입력으로 제1 모델이 사용자 상태를 예측하도록 학습시키고, 학습이 완료되면 제1 모델의 고정된 학습 파라미터를 추출할 수 있다. 예를 들어, 제1 모델은 제1 생체 데이터의 특징을 추출하기 위한 복수의 레이어 및 예측 모델과 동일한 구성의 제2 모델을 포함할 수 있다. 여기서, 제2 모델은 예측 모델과 동일한 구성을 가질 뿐, 예측 모델과는 상이한 모델을 의미한다.
복수의 레이어는 제1 생체 데이터로부터 특징을 추출하기 위한 다양한 연산을 수행하는 레이어들을 포함할 수 있다. 이러한 레이어들은 제1 생체 데이터와 기 설정된 학습 파라미터 간의 유사도를 나타내는 유사도 데이터를 특징 데이터로서 산출하기 위한 제1 레이어, 및 특징 데이터를 압축하기 위한 제2 레이어를 포함할 수 있다. 여기서, 기 설정된 학습 파라미터는 제1 레이어에서 유사도 판단(또는 결정)을 위해 사용되는 복수의 가중치(weight)를 포함할 수 있다.
제어부(240)는 제1 레이어를 통해 제1 생체 데이터와 기 설정된 학습 파라미터 간의 유사도 데이터를 산출하고, 산출된 유사도 데이터에 합성곱 연산을 수행하여 특징 데이터를 산출할 수 있다.
유사도 데이터를 산출하기 위해 제어부(240)는 코사인 유사도 연산(Cosine Similarity)을 이용할 수 있으나, 이에 한정되지 않으며, 유사도 산출을 위한 다양한 연산이 이용될 수 있다. 예를 들어, 제어부(240)는 제1 생체 데이터 및 학습 데이터를 1차원 벡터로 변환하고, 제1 생체 데이터의 1차원 벡터와 학습 파라미터의 1차원 벡터 사이의 코사인값을 유사도 데이터로서 산출할 수 있다. 이러한 경우 학습 파라미터의 길이는 제1 생체 데이터의 주파수 영역대를 포함하도록 설정될 수 있다.
제어부(240)는 이와 같이 산출된 코사인값에 대한 합성곱 연산을 수행하고, 그 결과 값을 활성화 벡터 형태로 인코딩하여 인코딩된 결과 값을 특징 데이터로서 산출할 수 있다. 제어부(240)는 제2 레이어를 통해 특징 데이터를 압축하여 압축된 데이터를 생성할 수 있다.
제어부(240)는 압축된 데이터를 입력으로 하여 사용자 상태를 예측하도록 학습된 제2 모델을 이용하여 사용자 상태를 라벨링(Labeling) 또는 분류할 수 있다. 다시 말해서, 이와 같은 동작으로 복수의 레이어들 및 제2 모델을 포함하는 제1 모델이 학습될 수 있다.
다양한 실시예에서 제1 레이어는 코사인 유사도 기반 합성곱 레이어(Cosine Similarity based Convolutional layer)이고, 제2 레이어는 최대 풀링 레이어(Max Pooling layer)일 수 있으나, 이에 한정되지 않는다.
이와 같이 복수의 레이어들을 통해 특징 데이터를 산출하기 위해 제어부(240)는 하기의 <수학식 1>을 이용할 수 있다.
Figure PCTKR2021006429-appb-M000001
여기서, x는 신경망(neural network)의 입력값, w는 합성곱 필터의 가중치 벡터, o는 합성곱 필터로부터의 출력 벡터, wk는 합성곱 레이어의 k번째 필터 벡터, ok는 합성곱 레이어로부터의 k번째 채널 출력 벡터, E는 신경망의 출력값, L은 합성곱 필터의 길이, i*, j*는 최대 활성화 값을 가지는 합성곱 출력 벡터의 인덱스를 의미할 수 있다.
이러한 학습을 통해서 제1 모델의 학습 파라미터가 업데이트되면 제어부(240)는 업데이트된 학습 파라미터를 고정된 학습 파라미터로서 제1 모델로부터 추출할 수 있다. 여기서, 고정된 학습 파라미터는 사용자의 상태를 예측할 수 있도록 학습된 파라미터를 의미할 수 있다.
제어부(240)는 고정된 학습 파라미터를 예측 모델에 적용시켜 파인 튜닝(Fine Tuning)을 수행할 수 있다. 다시 말해서, 제어부(240)는 복수의 레이어 및 제2 모델로 이루어진 제1 모델에서 업데이트된 학습 파라미터를, 예측 모델을 구성하는 레이어들의 파라미터로서 업데이트할 수 있다.
제어부(240)는 측정 장치(110)로부터 적어도 하나의 사용자의 제2 생체 데이터를 획득하고, 획득된 제2 생체 데이터를 입력으로, 파인 튜닝된 예측 모델을 이용하여 사용자 상태를 라벨링하거나 분류할 수 있다. 예를 들어, 파인 튜닝된 예측 모델은 다층 신경망 분류기(MLP based classifier)일 수 있으나, 이에 한정되지 않는다.
이와 같이 본 발명은 사전 학습을 통해 추출된 학습 파라미터를 예측 모델에 적용함으로써, 적은 양의 생체 데이터 또는 서로 다른 생체 데이터를 이용하여 사용자 상태를 정확하게 예측할 수 있다.
하기에서는 전자 장치(120)에서 사용자 상태를 예측하기 위한 방법을 도 1 및 도 3을 참조하여 구체적으로 설명하도록 한다.
도 3은 본 발명의 실시예에 따른 전자 장치에서 사용자 상태를 예측하기 위한 방법을 설명하기 위한 예시도이다.
도 1 및 도 3을 참조하면, 전자 장치(120)는 도 3의 (a)와 같이 측정 장치(110) 또는 클라우드 서버(130)로부터 학습을 위해 사용되는 복수의 사용자에 대한 제1 생체 데이터(300)를 수신하고, 수신된 제1 생체 데이터(300)를 1차원 벡터(305)로 변환할 수 있다. 측정 장치(110)에 의해서 수집되는 생체 신호는 수집 당시 채널마다 1차원 신호의 형태를 가진다. 여기서, 1차원 벡터(305)는 파이토치(Pytorch), 또는 텐서플로우(Tensorflow) 등과 같은 딥러닝 프레임워크(Deep learning Framework)에서 처리할 수 있는 데이터 형태인 1차원 텐서를 의미할 수 있다.
전자 장치(120)는 이와 같이 1차원 벡터(305)를 입력으로 하여 사용자 상태를 예측하기 위한 제1 모델(310)을 학습시킬 수 있다. 여기서, 제1 모델(310)은 생체 데이터로부터 특징 데이터를 추출하기 위한 복수의 레이어들(315) 및 복수의 레이어들(315)로부터 출력된 출력 데이터를 입력으로 하여 사용자 상태를 예측하도록 학습되는 제2 모델(320)을 포함할 수 있다. 예를 들어, 복수의 레이어들(315)은 코사인 유사도 기반 합성곱 레이어(325) 및 최대 풀링 레이어(330)를 포함하고, 제2 모델(320)은 생체 신호가 사용자의 어떠한 상태를 나타내는지 라벨링 또는 분류하기 위한 선형 분류기(linear classifiers)일 수 있으나, 이에 한정되지 않는다.
복수의 레이어들(315) 중 코사인 유사도 기반 합성곱 레이어(325)는 복수의 1차원 필터를 가지고, 이러한 복수의 1차원 필터를 이용하여 생체 데이터의 1차원 벡터(305)에서 유의미한 신호 모양 또는 패턴에 해당하는 특징 데이터가 추출될 수 있다. 예를 들어, 뇌파 신호를 이용하여 사용자의 수면 상태를 예측하고자 할 경우 수면 뇌파 신호는 수면2 상태(sleep stage 2)에서 수면방추파(sleep spindles) 및 K-복합체(K-complex)가 나타나며, 이러한 수면방추파 및 K-복합체는 수면 뇌파 신호의 유의미한 신호 모양 또는 패턴에 해당하는 특징 데이터가 될 수 있다. 다양한 실시예에서 사용자의 인지 상태를 예측하고자 할 경우 뇌파 신호는 사용자의 인지 상태(예: 주의력, 언어, 시공간 기능, 기억력, 및/또는 추상적 사고력/집행 가능 등)를 결정하기 위한 유의미한 신호 모양 또는 패턴에 해당하는 특징 데이터가 포함될 수 있다.
이와 같은 특징 데이터를 추출하도록 학습시키기 위해 전자 장치(120)는 1차원 벡터(305)와, 코사인 유사도 기반 합성곱 레이어(325)가 가지는 적어도 하나의 필터(filter)의 가중치(weight) 사이의 코사인 유사도값을 산출하고, 산출된 코사인 유사도값에 합성곱 연산을 수행하여 특징 데이터를 산출할 수 있다. 여기서, 산출된 특징 데이터는 1차원 벡터(305)의 각 조각과, 복수의 필터의 각 가중치 사이의 유사도 값을 포함할 수 있다. 또한, 코사인 유사도 기반 합성곱 레이어(325)는 복수의 필터의 개수에 대응하여 출력 채널이 할당되고, 출력 채널별로 코사인 유사도값이 산출될 수 있다. 예를 들어, 코사인 유사도 기반 합성곱 레이어(325)가 64개, 또는 256개 등의 필터를 가지는 경우 필터마다 64개, 또는 256개 등의 출력 채널이 할당될 수 있다. 이러한 경우 특징 데이터는 출력 채널별로 산출된 코사인 유사도값을 포함할 수 있다.
복수의 레이어들(315) 중 최대 풀링 레이어(330)는 산출된 특징 데이터를 압축하여 압축 데이터를 출력할 수 있다. 다시 말해서, 전자 장치(120)는 최대 풀링 레이어(330)를 통해 출력 채널별로 산출된 코사인 유사도값 중 가장 큰 값을 가지는 코사인 유사도값을 포함하도록 압축하여 압축 데이터를 출력할 수 있다. 여기서, 출력 채널이 64개인 경우 압축 데이터는 64개의 값들로 이루어진 벡터일 수 있다.
이러한 학습에 의해 복수의 필터는 뇌파 신호에 존재하는 신호 모양 또는 패턴 등과 같은 특징 데이터가 추출될 수 있도록 업데이트되므로, 압축 데이터에 해당하는 벡터값이 1에 가까운 경우 입력된 생체 데이터는 복수의 필터를 통해 추출 가능한 신호 모양 또는 패턴이 존재한다고 판단될 수 있다.
다시 말해서, 출력된 압축 데이터는 입력값에 해당하는 생체 데이터에 복수의 필터에 대응하는 신호 모양 또는 패턴이 존재하는지를 나타내는 정보를 포함할 수 있다.
전자 장치(120)는 압축 데이터를 입력으로 하여 사용자가 어떤 상태인지를 라벨링 또는 분류하도록 학습된 제2 모델(320)을 이용하여 라벨링된 또는 분류된 사용자 상태를 출력할 수 있다. 예를 들어, 전자 장치(120)는 입력된 생체 데이터가 수면 뇌파 데이터인 경우 사용자가 수면 상태 중 어떤 수면 상태에 해당하는지 라벨링 또는 분류할 수 있다.
다양한 실시예에서 입력값에 해당하는 생체 데이터에 복수의 채널이 존재하면 생체 데이터의 채널마다 상술한 학습 과정이 반복될 수 있다. 이러한 학습을 통해 제1 모델(310)의 파라미터 또한 업데이트(즉, 학습)될 수 있다.
이와 같은 학습 과정 이후에 전자 장치(120)는 제1 모델(310)에서 고정된 학습 파라미터를 추출하고, 고정된 학습 파라미터를 예측 모델(345)에 적용시켜 파인 튜닝을 수행할 수 있다. 예를 들어, 전자 장치(120)는 코사인 유사도 기반 합성곱 레이어(325)의 복수의 업데이트된 필터를 고정된 학습 파라미터로서 추출하거나, 코사인 유사도 기반 합성곱 레이어(325)의 업데이트된 필터 및 제2 모델(320)의 업데이트된 필터를 고정된 학습 파라미터로서 추출할 수 있으나, 이에 한정되지 않는다. 이러한 학습 과정을 통해서 업데이트된 학습 파라미터는 도 4와 같은 신호 모양 또는 패턴에 대응되도록 학습된 파라미터일 수 있다.
전자 장치(120)는 이와 같이 추출된 고정된 학습 파라미터를 예측 모델(345)을 구성하는 복수의 레이어들 중 앞단에 위치한 레이어들에 적용시킬 수 있으나, 이에 한정되지 않는다.
전자 장치(120)는 도 3의 (b)와 같이 측정 장치(110) 또는 클라우드 서버(130)로부터 제2 생체 데이터를 수신하고, 수신된 제2 생체 데이터를 입력으로, 파인 튜닝된 예측 모델(345)을 이용하여 예측된 사용자 상태(350)를 출력할 수 있다.
이와 같이 사전 학습된 파라미터를 예측 모델에 적용함으로써, 적은 양의 생체 데이터를 이용하여 사용자 상태를 정확하게 예측할 수 있다.
하기에서는 전자 장치(120)에서 사용자 상태를 예측하기 위한 방법에 대해서 도 5를 참조하여 설명하도록 한다.
도 5는 본 발명의 실시예에 따른 전자 장치에서 사용자 상태를 예측하는 방법을 설명하기 위한 흐름도이다. 하기에서 서술하는 동작들은 전자 장치(200)의 제어부(240)에 의해서 수행될 수 있다.
*도 5를 참조하면, 전자 장치(200)는 복수의 사용자들에 대한 제1 생체 데이터를 획득하고(S500), 획득된 제1 생체 데이터 및 고정된 학습 파라미터를 기초로 예측 모델을 파인 튜닝한다(S510).
구체적으로, 전자 장치(200)는 측정 장치(110) 또는 클라우드 서버(130)로부터 복수의 사용자들에 대한 제1 생체 데이터를 수신하고, 수신된 제1 생체 데이터를 입력으로 하여 사용자 상태를 예측하도록 제1 모델을 학습할 수 있다. 예를 들어, 제1 모델은 제1 생체 데이터로부터 특징 데이터를 추출하기 위한 복수의 레이어들 및 복수의 레이어들로부터 출력된 출력 데이터를 입력으로 하여 사용자 상태를 라벨링 또는 분류하기 위한 제2 모델을 포함할 수 있다. 이러한 학습을 통해 제1 모델의 학습 파라미터 또한 업데이트되며, 업데이트된 학습 파라미터가 고정된 학습 파라미터로서 추출될 수 있다. 전자 장치(200)는 이와 같이 고정된 학습 파라미터를 예측 모델에 적용하여 파인 튜닝을 수행할 수 있다.
전자 장치(200)는 적어도 하나의 사용자에 대한 사용자 상태를 예측하기 위한 제2 생체 데이터를 입력으로, 파인 튜닝된 예측 모델을 이용하여 예측된 사용자 상태를 출력한다(S520).
이를 통해서 본 발명은 사전 학습을 통해 고정된 학습 파라미터를 이용함으로써, 적은 양의 생체 데이터를 이용하더라도 사용자 상태를 정확하게 예측할 수 있다.
본 발명의 실시예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
[이 발명을 지원한 국가연구개발사업]
[과제고유번호]1711117604
[과제번호]GK20C0300
[부처명]과학기술정보통신부
[과제관리(전문)기관명](재)기가코리아사업단
[연구사업명]범부처GigaKOREA사업(R＆D)
[연구과제명]5G 기반 인터랙티브 실감 미디어기술 개발 및 실증
[기여율]1/1
[과제수행기관명]에스케이브로드밴드(주)
[연구기간]2020.01.01 ~ 2020.12.31

Claims (18)

  1. 사용자 상태 예측 장치에 의해서 수행되는 사용자 상태 예측 방법에 있어서,
    복수의 사용자들에 대한 제1 생체 데이터를 획득하는 단계;
    상기 획득된 제1 생체 데이터 및 고정된 학습 파라미터를 기초로 예측 모델을 파인 튜닝(Fine Tuning)하는 단계; 및
    적어도 하나의 사용자에 대한 사용자 상태를 예측하기 위한 제2 생체 데이터를 입력으로, 상기 파인 튜닝된 예측 모델을 이용하여 예측된 사용자 상태를 출력하는 단계를 포함하고,
    상기 고정된 학습 파라미터는,
    상기 예측 모델과 상이하며, 상기 복수의 사용자들에 대한 제1 생체 데이터를 입력으로 상기 복수의 사용자들에 대한 사용자 상태를 예측하도록 학습된 제1 모델에 기반하여 추출되는, 사용자 상태 예측 방법.
  2. 제1항에 있어서, 상기 파인 튜닝하는 단계는,
    상기 제1 생체 데이터를 입력으로 상기 제1 모델을 이용하여 상기 고정된 학습 파라미터를 추출하는 단계; 및
    상기 고정된 학습 파라미터를 상기 예측 모델에 적용하는 단계를 포함하는, 사용자 상태 예측 방법.
  3. 제2항에 있어서, 상기 고정된 학습 파라미터를 추출하는 단계는,
    상기 제1 생체 데이터를 입력으로 하여 상기 제1 모델을 학습시키는 단계; 및
    학습에 의해 상기 제1 모델의 업데이트된 학습 파라미터를 상기 고정된 학습 파라미터로서 상기 제1 모델로부터 추출하는 단계를 포함하는, 사용자 상태 예측 방법.
  4. 제3항에 있어서, 상기 제1 모델은,
    복수의 레이어 및 상기 예측 모델과 동일한 구성의 제2 모델을 포함하는, 사용자 상태 예측 방법.
  5. 제4항에 있어서, 상기 복수의 레이어는,
    상기 제1 생체 데이터와 기 설정된 학습 파라미터 간의 유사도를 나타내는 유사도 데이터를 이용하여 특징 데이터를 산출하기 위한 제1 레이어 및 상기 특징 데이터를 압축하기 위한 제2 레이어를 포함하는, 사용자 상태 예측 방법.
  6. 제5항에 있어서, 상기 제1 모델을 학습시키는 단계는,
    상기 제1 레이어를 통해 상기 유사도 데이터를 산출하는 단계;
    상기 산출된 유사도 데이터에 합성곱 연산(convolution)을 수행하여 상기 특징 데이터를 산출하는 단계;
    상기 제2 레이어를 통해 상기 산출된 특징 데이터를 압축하는 단계; 및
    상기 압축된 데이터를 입력으로 제2 모델을 이용하여 상기 복수의 사용자들에 대한 사용자 상태를 라벨링(Labeling) 또는 분류하는 단계를 포함하는, 사용자 상태 예측 방법.
  7. 제6항에 있어서, 상기 제1 레이어를 통해 상기 유사도 데이터를 산출하는 단계는,
    상기 제1 생체 데이터 및 상기 학습 파라미터를 1차원 벡터로 변환하는 단계; 및
    상기 제1 생체 데이터의 1차원 벡터와 상기 학습 파라미터의 1차원 벡터 사이의 코사인 값을 상기 유사도 데이터로서 산출하는 단계를 포함하는, 사용자 상태 예측 방법.
  8. 제5항에 있어서, 상기 제1 레이어는,
    코사인 유사도 기반 합성곱 레이어(Cosine Similarity based Convolutional layer)인, 사용자 상태 예측 방법.
  9. 제5항에 있어서, 상기 제2 레이어는,
    최대 풀링 레이어(Max Pooling layer)인, 사용자 상태 예측 방법.
  10. 데이터를 송수신하도록 구성된 통신부; 및
    상기 통신부와 연결하도록 구성된 제어부를 포함하고,
    상기 제어부는,
    상기 통신부를 통해 복수의 사용자들에 대한 제1 생체 데이터를 획득하고,
    상기 획득된 제1 생체 데이터 및 고정된 학습 파라미터를 기초로 예측 모델을 파인 튜닝(Fine Tuning)하고,
    적어도 하나의 사용자에 대한 사용자 상태를 예측하기 위한 제2 생체 데이터를 입력으로, 상기 파인 튜닝된 예측 모델을 이용하여 예측된 사용자 상태를 출력하도록 구성되고,
    상기 고정된 학습 파라미터는,
    상기 예측 모델과 상이하며, 상기 복수의 사용자들에 대한 제1 생체 데이터를 입력으로 상기 복수의 사용자들에 대한 사용자 상태를 예측하도록 학습된 제1 모델에 기반하여 추출되는, 사용자 상태 예측 장치.
  11. 제10항에 있어서, 상기 제어부는,
    상기 제1 생체 데이터를 입력으로 상기 제1 모델을 이용하여 상기 고정된 학습 파라미터를 추출하고,
    상기 고정된 학습 파라미터를 상기 예측 모델에 적용하도록 구성되는, 사용자 상태 예측 장치.
  12. 제11항에 있어서, 상기 제어부는,
    상기 제1 생체 데이터를 입력으로 하여 상기 제1 모델을 학습시키고,
    학습에 의해 상기 제1 모델의 업데이트된 학습 파라미터를 상기 고정된 학습 파라미터로서 상기 제1 모델로부터 추출하도록 구성되는, 사용자 상태 예측 장치.
  13. 제12항에 있어서, 상기 제1 모델은,
    복수의 레이어 및 상기 예측 모델과 동일한 구성의 제2 모델을 포함하는, 사용자 상태 예측 장치.
  14. 제13항에 있어서, 상기 복수의 레이어는,
    상기 제1 생체 데이터와 기 설정된 학습 파라미터 간의 유사도를 나타내는 유사도 데이터를 이용하여 특징 데이터를 산출하기 위한 제1 레이어 및 상기 특징 데이터를 압축하기 위한 제2 레이어를 포함하는, 사용자 상태 예측 장치.
  15. 제14항에 있어서, 상기 제어부는,
    상기 제1 레이어를 통해 상기 유사도 데이터를 산출하고,
    상기 산출된 유사도 데이터에 합성곱 연산(convolution)을 수행하여 상기 특징 데이터를 산출하고,
    상기 제2 레이어를 통해 상기 산출된 특징 데이터를 압축하고,
    상기 압축된 데이터를 입력으로 제2 모델을 이용하여 상기 복수의 사용자들에 대한 사용자 상태를 라벨링(Labeling) 또는 분류하도록 구성되는, 사용자 상태 예측 장치.
  16. 제15항에 있어서, 상기 제어부는,
    상기 제1 생체 데이터 및 상기 학습 파라미터를 1차원 벡터로 변환하고,
    상기 제1 생체 데이터의 1차원 벡터와 상기 학습 파라미터의 1차원 벡터 사이의 코사인 값을 상기 유사도 데이터로서 산출하도록 구성되는, 사용자 상태 예측 장치.
  17. 제14항에 있어서, 상기 제1 레이어는,
    코사인 유사도 기반 합성곱 레이어(Cosine Similarity based Convolutional layer)인, 사용자 상태 예측 장치.
  18. 제14항에 있어서, 상기 제2 레이어는,
    최대 풀링 레이어(Max Pooling layer)인, 사용자 상태 예측 장치.
PCT/KR2021/006429 2020-06-03 2021-05-24 사용자 상태를 예측하기 위한 방법 및 그 장치 WO2021246700A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/777,253 US20230080175A1 (en) 2020-06-03 2021-05-24 Method and device for predicting user state

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200067095A KR102424403B1 (ko) 2020-06-03 2020-06-03 사용자 상태를 예측하기 위한 방법 및 그 장치
KR10-2020-0067095 2020-06-03

Publications (1)

Publication Number Publication Date
WO2021246700A1 true WO2021246700A1 (ko) 2021-12-09

Family

ID=78831511

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/006429 WO2021246700A1 (ko) 2020-06-03 2021-05-24 사용자 상태를 예측하기 위한 방법 및 그 장치

Country Status (3)

Country Link
US (1) US20230080175A1 (ko)
KR (2) KR102424403B1 (ko)
WO (1) WO2021246700A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220095715A (ko) * 2020-12-30 2022-07-07 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법
US20220358357A1 (en) * 2021-05-06 2022-11-10 Accenture Global Solutions Limited Utilizing a neural network model to predict content memorability based on external and biometric factors
KR102624549B1 (ko) * 2022-02-25 2024-01-12 성균관대학교산학협력단 합성곱 신경망을 이용한 심실성 부정맥 예측 방법 및 장치
KR102646783B1 (ko) * 2022-03-30 2024-03-13 중앙대학교 산학협력단 심층신경망 기반의 관심질병 예측 장치, 방법 및 이를 위한 컴퓨터 판독가능 프로그램

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190062148A (ko) * 2017-11-27 2019-06-05 연세대학교 산학협력단 수면 분석 방법 및 이를 이용한 수면 분석 디바이스
KR20190105180A (ko) * 2018-02-23 2019-09-16 광운대학교 산학협력단 합성곱 신경망 기반의 병변 진단 장치 및 방법
KR102058884B1 (ko) * 2019-04-11 2019-12-24 주식회사 홍복 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법
KR20200009595A (ko) * 2018-07-19 2020-01-30 한국전자통신연구원 온바디 센서 기반 감정-섭식 패턴 자동 생성 서버 및 그 방법
KR20200046598A (ko) * 2018-10-25 2020-05-07 고려대학교 산학협력단 뉴로 피드백을 이용한 수면 유도 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102668240B1 (ko) * 2018-07-25 2024-05-22 삼성전자주식회사 사용자의 신체 상태를 추정하기 위한 방법 및 디바이스
KR102186580B1 (ko) * 2018-08-09 2020-12-03 주식회사 룩시드랩스 사용자의 감정을 판단하기 위한 방법 및 이를 위한 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190062148A (ko) * 2017-11-27 2019-06-05 연세대학교 산학협력단 수면 분석 방법 및 이를 이용한 수면 분석 디바이스
KR20190105180A (ko) * 2018-02-23 2019-09-16 광운대학교 산학협력단 합성곱 신경망 기반의 병변 진단 장치 및 방법
KR20200009595A (ko) * 2018-07-19 2020-01-30 한국전자통신연구원 온바디 센서 기반 감정-섭식 패턴 자동 생성 서버 및 그 방법
KR20200046598A (ko) * 2018-10-25 2020-05-07 고려대학교 산학협력단 뉴로 피드백을 이용한 수면 유도 장치 및 방법
KR102058884B1 (ko) * 2019-04-11 2019-12-24 주식회사 홍복 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법

Also Published As

Publication number Publication date
KR20210150124A (ko) 2021-12-10
KR102424403B1 (ko) 2022-07-22
US20230080175A1 (en) 2023-03-16
KR20220104672A (ko) 2022-07-26

Similar Documents

Publication Publication Date Title
WO2021246700A1 (ko) 사용자 상태를 예측하기 위한 방법 및 그 장치
CN110507335B (zh) 基于多模态信息的服刑人员心理健康状态评估方法及系统
WO2020159093A1 (ko) 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치
CN109730701A (zh) 一种情绪数据的获取方法及装置
RU2708807C2 (ru) Алгоритм комплексного дистанционного бесконтактного мультиканального анализа психоэмоционального и физиологического состояния объекта по аудио- и видеоконтенту
Myroniv et al. Analyzing user emotions via physiology signals
CN114581823B (zh) 基于时序特征的虚拟现实视频情感识别方法及系统
WO2020251135A1 (ko) 감정 인식 방법 및 이를 이용한 감정 인식용 디바이스
CN110367976B (zh) 脑电波信号检测方法、相关设备和存储介质
CN111920420A (zh) 一种基于统计学习的患者行为多模态分析与预测系统
Yan et al. EmoGlass: An end-to-end AI-enabled wearable platform for enhancing self-awareness of emotional health
Apicella et al. A survey on EEG-based solutions for emotion recognition with a low number of channels
EP2509006A1 (en) Method and device for detecting affective events in a video
WO2021201582A1 (ko) 피부 병변의 원인 분석 방법 및 장치
Liu et al. Affective Computing for Healthcare: Recent Trends, Applications, Challenges, and Beyond
CN113723206A (zh) 一种基于量子神经网络算法的脑电波识别方法
WO2024080450A1 (ko) 행동 패턴 및 의료 영상을 이용한 정신 건강 질환 평가 방법 및 장치
WO2023060720A1 (zh) 情绪状态展示方法、装置及系统
Aly et al. Acting Emotions: a comprehensive dataset of elicited emotions
Oliveira et al. Facial expressions to identify post-stroke: A pilot study
Deenadayalan et al. EEG based learner’s learning style and preference prediction for E-learning
WO2021137395A1 (ko) 심층신경망 알고리즘 기반의 문제 행동 분류 시스템 및 방법
WO2023063772A1 (ko) 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 시스템 및 방법
Chin et al. An affective interaction system using virtual reality and brain-computer interface
WO2019139447A1 (ko) 생체 데이터를 이용한 컨텐츠 평가 장치 및 이를 이용한 컨텐츠 평가 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21817333

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21817333

Country of ref document: EP

Kind code of ref document: A1