KR102097558B1

KR102097558B1 - 전자 장치 및 그의 레이블링 방법

Info

Publication number: KR102097558B1
Application number: KR1020170146268A
Authority: KR
Inventors: 진상현; 안진웅; 양승태; 이기현
Original assignee: 재단법인대구경북과학기술원
Priority date: 2017-11-03
Filing date: 2017-11-03
Publication date: 2020-04-07
Also published as: KR20190050664A

Abstract

전자 장치가 개시된다. 본 전자 장치는 버튼을 포함하는 사용자 입력부, 사용자의 뇌신호 및 생체 신호를 측정하는 센서, 사용자에게 청각 자극을 제공하기 위한 오디오를 출력하는 오디오 출력부 및 센서를 통해 상기 사용자의 뇌신호 및 생체 신호를 측정하는 동안 오디오 출력부를 통해 오디오를 출력하고, 버튼을 통해 입력된 출력된 오디오에 대한 사용자의 반응에 기초하여 사용자의 의식 상태를 판단하고, 측정된 뇌신호 및 생체 신호를 판단된 의식 상태별로 구분하여 레이블링하는 프로세서를 포함한다.

Description

전자 장치 및 그의 레이블링 방법 { ELECTRONIC APPARATUS AND LABELING METHOD THEREOF }

본 발명은 전자 장치 및 그의 레이블링 방법에 관한 것으로, 뇌신호 및 생체 신호를 사용자의 의식 상태에 따라 구분하여 레이블링하는 전자 장치 및 그의 레이블링 방법에 관한 것이다.

졸음을 감지하는 연구는 대부분 사용자가 졸음 상태에 들어섰을 때 비교적 큰 변화를 보이는 뇌파, 눈꺼풀 개폐시간(Blinking Duration) 또는 머리가 숙여지는 정도 등을 중심으로 진행되어 왔다.

또한, 수술 중에 사용되는 마취제 중 진정제 효과를 나타내는 지표로 뇌파의 주파수와 위상을 이용하여 환자의 의식 상태를 추측하는 지수(Bispectral Index)가 일반적으로 사용되고 있다.

이러한 뇌파를 이용한 졸음 상태 또는 마취 심도 모니터링 기술은 측정된 신호의 특징(feature)을 이용하여 의식상태를 판단하고 있어, 측정된 신호의 품질에 따라 모니터의 오류 가능성이 크다. 또한, 뇌파는 몸의 움직임, 근육의 긴장, 주변 소음 및 진동 등 많은 요소들로부터 잡음이 유입됨으로 정확하게 모니터링 하지 못하는 문제점이 있다.

또한, 눈꺼풀 개폐시간에 따라 졸음 상태를 판단하는 것은 일반적으로 소형카메라를 이용하여 눈의 깜박이는 정도와 눈 감고 있는 시간 등을 분석하여 판단하고 있다. 이 경우, 외부에서 들어오는 자연광이나 안경의 반사광에 장애를 일으킬 수 있으며, 다른 장애물에 의해 눈이 가려지는 등의 문제가 있다.

따라서, 본 발명의 목적은 뇌신호 및 생체 신호의 측정 대상인 사용자에게 외부 자극을 가하고, 그에 대한 사용자의 반응을 물리적인 장치를 통해 측정하여 사용자의 의식 상태를 판단하고, 측정된 뇌신호 및 생체 신호를 사용자의 의식 상태에 따라 구분하여 레이블링할 수 있는 전자 장치 및 그의 레이블링 방법을 제공함에 있다.

상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치는 버튼을 포함하는 사용자 입력부, 사용자의 뇌신호 및 생체 신호를 측정하는 센서, 상기 사용자에게 청각 자극을 제공하기 위한 오디오를 출력하는 오디오 출력부 및 상기 센서를 통해 상기 사용자의 뇌신호 및 생체 신호를 측정하는 동안, 상기 오디오 출력부를 통해 상기 오디오를 출력하고, 상기 버튼을 통해 입력된 상기 출력된 오디오에 대한 사용자의 반응에 기초하여 상기 사용자의 의식 상태를 판단하고, 상기 측정된 뇌신호 및 생체 신호를 상기 판단된 의식 상태별로 구분하여 레이블링하는 프로세서를 포함한다.

여기에서, 상기 의식 상태는 각성 상태, 졸림 상태 및 무의식 상태를 포함할 수 있다.

또한, 상기 프로세서는 상기 버튼을 통해 입력된 사용자의 반응에 기초하여 상기 출력된 오디오에 대한 사용자의 반응 시간 및 반응 유무를 판단하고, 상기 반응 시간 및 반응 유무에 기초하여 상기 사용자의 의식 상태를 판단할 수 있다.

이 경우, 상기 프로세서는 상기 사용자의 반응 시간이 기설정된 시간 이하이면 상기 사용자의 의식 상태가 각성 상태인 것으로 판단하고, 상기 사용자의 반응 시간이 기설정된 시간보다 길면 상기 사용자의 의식 상태가 졸림 상태인 것으로 판단하고, 상기 사용자의 반응이 존재하지 않으면 상기 사용자의 의식 상태가 무의식 상태인 것으로 판단할 수 있다.

한편, 상기 뇌신호는 fNIRS 신호, EEG 신호, MEG 신호 및 fMRI 신호 중 적어도 하나를 포함하고, 상기 생체 신호는 맥파 신호, 심전도 신호, 피부 전도도 신호 및 피부 온도 신호 중 적어도 하나를 포함할 수 있다.

한편, 본 발명의 일 실시 예에 따른 레이블링 방법은 사용자의 뇌신호 및 생체 신호를 측정하는 동안 오디오를 출력하는 단계, 버튼을 통해 입력된 상기 출력된 오디오에 대한 사용자의 반응에 기초하여 상기 사용자의 의식 상태를 판단하는 단계 및 상기 측정된 뇌신호 및 생체 신호를 상기 판단된 의식 상태별로 구분하여 레이블링하는 단계를 포함한다.

또한, 상기 판단하는 단계는 상기 버튼을 통해 입력된 사용자의 반응에 기초하여 상기 출력된 오디오에 대한 사용자의 반응 시간 및 반응 유무를 판단하고, 상기 반응 시간 및 반응 유무에 기초하여 상기 사용자의 의식 상태를 판단할 수 있다.

여기에서, 상기 판단하는 단계는 상기 사용자의 반응 시간이 기설정된 시간 이하이면 상기 사용자의 의식 상태가 각성 상태인 것으로 판단하고, 상기 사용자의 반응 시간이 기설정된 시간보다 길면 상기 사용자의 의식 상태가 졸림 상태인 것으로 판단하고, 상기 사용자의 반응이 존재하지 않으면 상기 사용자의 의식 상태가 무의식 상태인 것으로 판단할 수 있다.

이상과 같은 본 발명의 다양한 실시 예에 따르면, 청각 자극에 대한 사용자의 반응이라는 객관적 수치를 기준으로 사용자의 의식 상태를 판단한다는 점에서, 자연스러운 상태에서 뇌신호 및 생체 신호에 대한 장시간 측정이 가능하며, 연속적인 의식 상태 변화에 대해서도 측정이 가능하게 된다. 즉, 깨어 있는 사용자가 졸린 상태가 되었다 잠이 들고, 다시 깨어나 각성 상태, 졸림 상태 및 무의식 상태가 연속적으로 변경되는 과정에서도 측정되는 뇌신호 및 생체 신호를 사용자의 의식 상태에 따라 구분하여 레이블링할 수 있게 된다.

또한, 외부 자극 가령, 청각 자극에 대한 사용자의 반응을 기준으로 의식 상태를 구분한다는 점에서, 뇌신호 및 생체 신호를 동시에 측정할 때, 이를 측정하는 장치의 종류 및 특성(가령, 채널 수 및 샘플링 수 등)에 상관없이 의식 상태별로 뇌신호 및 생체 신호를 자동으로 레이블링할 수 있게 된다.

또한, 자연스러운 상태에서 장시간 동안 측정이 가능하며 연속적인 의식 변화에 대해서도 사용자의 의식 상태별 뇌신호 및 생체 신호의 측정이 가능하다는 점에서, 적은 시간으로 많은 양의 데이터를 레이블링할 수 있어 빅데이터 구축에 적합하고, 따라서, 학습 모델을 만들기 위해 이용되기에 적합하다.

도 1은 본 발명의 일 실시 예에 따른 사용자의 뇌신호 및 생체 신호를 사용자의 의식 상태에 따라 구분하는 전자 장치를 설명하기 위한 도면,
도 2는 본 발명의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도,
도 3은 본 발명의 일 실시 예에 따른 뇌신호를 측정하는 방법을 설명하기 위한 도면,
도 4 내지 도 7은 본 발명의 일 실시 예에 따른 사용자의 의식 상태에 따라 측정된 뇌신호 및 생체 신호를 나타내는 도면들, 그리고
도 8은 본 발명의 일 실시 예에 따른 사용자의 의식 상태에 따라 뇌신호 및 생체 신호를 레이블링하는 방법을 설명하기 위한 흐름도이다.

본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다." 또는 "구성되다." 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

실시 예에 있어 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.

이하에서, 첨부된 도면을 이용하여 본 개시에 대하여 구체적으로 설명한다.

도 1은 본 발명의 일 실시 예에 따른 사용자의 뇌신호 및 생체 신호를 사용자의 의식 상태에 따라 구분하는 전자 장치를 설명하기 위한 도면이다.

도 1을 참조하면, 전자 장치(100)는 사용자(10)의 뇌신호 및 생체 신호를 측정할 수 있다.

이를 위해, 전자 장치(100)는 뇌신호 및 생체 신호를 측정하기 위한 센서(110)를 포함할 수 있다. 이 경우, 센서(110)는 사용자(10)의 다양한 신체 부위 가령, 두피, 이마, 귀 주위, 관자놀이, 손가락, 가슴, 팔목, 팔꿈치 안쪽, 다리 등을 통해 사용자의 뇌신호 및 생체 신호를 측정할 수 있다.

그리고, 전자 장치(100)는 사용자(10)의 의식 상태를 판단하고, 측정된 뇌신호 및 생체 신호를 사용자(10)의 의식 상태별로 구분하여 레이블(label)링할 수 있다.

이 경우, 전자 장치(100)는 사용자(10)의 의식 상태를 판단하기 위해, 사용자(10)에게 청각 자극을 제공할 수 있다. 구체적으로, 전자 장치(100)는 뇌신호 및 생체 신호가 측정되고 있는 사용자(10)에게 청각 자극을 제공하고, 청각 자극에 대한 사용자(10)의 반응에 기초하여 사용자(10)의 의식 상태를 판단할 수 있다.

이를 위해, 사용자 입력부(120)는 버튼(20)을 구비할 수 있다. 예를 들어, 도 1과 같이, 의자에 앉거나 누워있는 사용자(10)를 대상으로 뇌신호 및 생체 신호를 측정하는 경우, 버튼(20)은 사용자의 한 손 또는 양손 근처에 마련될 수 있으며, 사용자(10)는 버튼(20)을 눌러 청각 자극에 대한 반응을 제공할 수 있다.

이 경우, 전자 장치(100)는 청각 자극에 대한 사용자(10)의 반응에 기초하여 사용자(10)의 의식 상태가 각성, 졸림, 무의식 중 어떠한 상태인지를 판단하고, 측정된 뇌신호 및 생체 신호를 각성 상태, 졸림 상태, 무의식 상태별로 구분할 수 있다.

즉, 전자 장치(100)는 뇌신호 및 생체 신호가 각성 상태에서 측정된 것인지, 뇌신호 및 생체 신호가 졸림 상태에서 측정된 것인지 또는 뇌신호 및 생체 신호가 무의식 상태에서 측정된 것인지를 판단하여, 각 상태별로 측정된 뇌신호 및 생체 신호를 구분하여 저장할 수 있다.

이와 같이, 본 발명에 따르면, 청각 자극에 대한 사용자의 반응이라는 객관적 수치를 기준으로 사용자의 의식 상태를 판단한다는 점에서, 자연스러운 상태에서 뇌신호 및 생체 신호에 대한 장시간 측정이 가능하며, 연속적인 의식 상태 변화에 대해서도 측정이 가능하게 된다. 즉, 깨어 있는 사용자가 졸린 상태가 되었다 잠이 들고, 다시 깨어나 각성 상태, 졸림 상태 및 무의식 상태가 연속적으로 변경되는 과정에서도 측정되는 뇌신호 및 생체 신호를 사용자의 의식 상태에 따라 구분하여 레이블링할 수 있게 된다.

한편, 뇌-기계 인터페이스(Brain-Computer Interface, BCI) 또는 휴먼-컴퓨터 인터렉션(Human-Computer Interaction, HCI) 기술을 안정적으로 사용하기 위해서는 사용자의 의식 상태 변화를 반영한 기술 개발이 필수적이며, 이때, 정확한 의식 상태 변화를 추정하기 위해 기계 학습을 통한 학습 모델의 생성이 요구된다.

이때, 학습 모델을 만들기 위해서는 많은 양의 학습 데이터(training data)가 필요하며, 데이터의 양이 많을수록 더욱 정확한 의식 상태 추정이 가능하게 된다.

이와 관련하여, 본 발명에 따르면, 자연스러운 상태에서 장시간 동안 측정이 가능하며 연속적인 의식 변화에 대해서도 사용자의 의식 상태별 뇌신호 및 생체 신호의 측정이 가능하다는 점에서, 적은 시간으로 많은 양의 데이터를 레이블링할 수 있어 빅데이터 구축에 적합하고, 따라서, 학습 모델을 만들기 위해 이용되기에 적합하다.

도 2는 본 발명의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.

도 2를 참조하면, 전자 장치(100)는 센서(110), 오디오 출력부(120), 사용자 입력부(130) 및 프로세서(140)를 포함한다.

센서(110)는 사용자의 뇌신호 및 생체 신호를 측정한다.

여기에서, 뇌신호는 신경생리학적(neurophysiology), 혈류역학적(hemodynamic) 변화에 따른 뇌파 신호(Electroencephalogram, EEG), 뇌혈류 신호, MEG(magnetoencephalography) 신호, fMRI(functional Magnetic Resonance Imaging) 신호를 포함할 수 있다.

여기에서, 뇌파 신호는 뇌의 수많은 신경에서 발생한 전기적인 신호를 의미하고, 뇌혈류 신호는 신경 활동에 수반하는 뇌혈류의 변화를 나타내는 신호를 의미할 수 있다. 그리고, MEG 신호는 뇌 속에 전류가 흐름에 따라 발생된 자기장이 머리 밖으로 전파될 때, 머리 주변에 형성된 자기장 신호 및 그의 분로를 의미하고, fMRI 신호는 뇌가 시각, 청각, 움직임, 감각과 같은 자극을 받을 때, 뇌의 어떤 부분이 활성되는지를 나타내는 신호를 의미할 수 있다.

이 경우, 센서(110)는 복수의 전극을 통해 사용자의 두피의 복수의 위치에서 뇌파 신호를 측정하고, 또한, 기능적 근적외선 분광법(functional near-infrared spectroscopy, fNIRS)에 의해 두피의 복수의 위치에서 뇌혈류 신호를 측정할 수 있다.

예를 들어, 도 3과 같이, 센서(110)는 18 개의 전극을 이용하여, 사용자의 전두엽 및 두정엽 부위에서 18 개의 채널을 통해 뇌파 신호를 측정할 수 있고, 사용자의 전두엽 및 두정엽 부위에서 35 개의 채널을 통해 뇌혈류의 변화를 측정할 수 있다. 이때, 뇌혈류 신호는 가령, 750nm, 805nm, 830nm의 파장을 갖는 근적외선에 의해 측정될 수 있다.

한편, 도 3에 도시된 채널은 일 예일 뿐이고, 센서(110)는 다양한 위치에서 다양한 개수의 채널을 통해 뇌신호를 측정할 수 있음은 물론이다.

또한, 센서(110)는 자기 센서를 포함하여, 사용자의 뇌에서 방출되는 자기장을 통해 MEG 신호를 측정할 수 있다. 여기에서, 자기 센서는 초전도 현상을 이용하여 미세한 자기장을 측정하기 위한 SQUID(superconducting quantum interference device)를 포함할 수 있다.

또한, 센서(110)는 에코 평면 영상법(Echo Planar Imaging) 등의 기법을 통해 MRI 영상을 획득하기 위한 장치를 포함하여, MRI 영상으로부터 fMRI 신호를 획득할 수 있다.

한편, 생체 신호는 신경생리학적(neurophysiology) 변화에 따른 맥파(Photo PlethysmoGraph, PPG) 신호, 심전도(electrocardiogram, ECG) 신호, 피부 전도도(Galvanic Skin Response, GSR) 신호 및 피부 온도(Skin Temperature, SKT) 신호를 포함할 수 있다.

이를 위해, 센서(110)는 사용자의 맥파를 측정하기 위해 사용자의 손가락에 삽입 가능한 형태로 구현된 맥파 센서를 포함할 수 있다. 이 경우, 맥파 센서는 940nm의 파장을 갖는 적외선을 이용하여 사용자의 맥파를 측정할 수 있다. 이때, 맥파 센서는 0.976ms의 시간 간격을 갖는 내부 클럭을 이용하여 PPG 신호를 획득할 수 있으며, 초당 샘플 수는 256 개가 될 수 있다.

또한, 센서(110)는 사용자의 가슴 등에 부착되는 적어도 하나의 패치를 통해 사용자의 심전도를 측정할 수 있다. 이때, 심전도 측정 범위는 ±5.5mV이고, 분해능은 16bits, 초당 샘플 수는 1926 개가 될 수 있다.

한편, 피부 전도도는 피부에 땀이 발생할 대 증가되는 피부의 전도성을 의미하는데, 이 경우, 센서(110)는 피부 전도도를 나타내는 피부 전도도 신호를 측정하기 위한 모듈을 포함할 수 있다.

또한, 피부 온도는 체온과는 구별되는 신체의 특정 부위들에 대한 온도 지표를 의미하는데, 센서(110)는 피부 온도를 나타내는 신호를 측정하기 위한 모듈을 포함할 수 있다.

이와 같이, 센서(110)는 다양한 센서를 포함하여, 사용자의 뇌신호 및 생체 신호를 측정할 수 있다.

오디오 출력부(120)는 사용자에게 청각 자극을 제공하기 위한 오디오를 출력한다.

여기에서, 오디오는 사용자에게 청각적인 자극을 주기 위한 것이라는 점에서 사용자가 들을 수 있는 가청 범위 내의 주파수를 갖는 오디오 신호일 수 있다.

이 경우, 오디오 출력부(120)는 스피커를 포함하여, 스피커를 통해 오디오를 출력하거나, 출력 단자를 포함하여, 출력 단자에 연결된 이어폰, 헤드폰 등과 같은 오디오 출력 기기로 오디오를 출력할 수 있다.

사용자 입력부(130)는 사용자의 반응을 입력받기 위한 구성으로, 버튼을 포함할 수 있다. 구체적으로, 사용자 입력부(130)는 사용자가 누를 수 있는 물리적인 버튼을 포함할 수 있으며, 뇌신호 및 생체 신호를 측정 중인 사용자의 한 손 또는 양손 주위에 배치될 수 있다.

프로세서(140)는 전자 장치(100)의 구성요소에 대한 전반적인 동작을 제어한다. 예를 들어, 프로세서(140)는 운영 체제 또는 응용 프로그램을 구동하여 프로세서(140)에 연결된 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 또한, 프로세서(140)는 다른 구성요소들 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장할 수 있다.

이를 위해, 프로세서(140)는 해당 동작을 수행하기 위한 전용 프로세서(예, 임베디드 프로세서) 또는 메모리 디바이스에 저장된 하나 이상의 소프트웨어 프로그램을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)로 구현될 수 있다.

특히, 프로세서(140)는 센서(110)를 통해 사용자의 뇌신호 및 생체 신호를 측정하는 동안, 오디오 출력부(120)를 통해 오디오를 출력하고, 버튼을 통해 입력된 오디오에 대한 사용자의 반응에 기초하여 사용자의 의식 상태를 판단할 수 있다.

여기에서, 사용자의 의식 상태는 각성 상태, 졸림 상태 및 무의식 상태를 포함할 수 있다.

구체적으로, 프로세서(140)는 버튼을 통해 입력된 사용자의 반응에 기초하여 출력된 오디오에 대한 사용자의 반응 시간 및 반응 유무를 판단하고, 반응 시간 및 반응 유무에 기초하여 사용자의 의식 상태를 판단할 수 있다.

먼저, 반응 시간을 판단하기 위해, 프로세서(140)는 센서(110)를 통해 사용자의 뇌신호 및 생체 신호를 측정하는 동안 오디오 출력부(120)를 통해 오디오를 출력하고, 오디오가 출력된 시간을 판단할 수 있다. 그리고, 오디오가 출력된 이후, 프로세서(140)는 버튼이 눌려지는 경우, 버튼이 눌려진 시간 즉, 사용자가 오디오에 대해 반응한 시간을 판단할 수 있다. 이후, 프로세서(140)는 오디오가 출력된 시간과 버튼이 눌려진 시간 사이의 시간 차를 산출하여, 사용자의 반응 시간을 판단할 수 있다.

또한, 반응 유무를 판단하기 위해, 프로세서(140)는 센서(110)를 통해 사용자의 뇌신호 및 생체 신호를 측정하는 동안 오디오 출력부(120)를 통해 오디오를 출력하고, 오디오가 출력된 시간을 판단할 수 있다. 그리고, 오디오가 출력된 이후, 프로세서(140)는 버튼이 눌려졌는지 여부를 판단할 수 있다. 이에 따라, 프로세서(140)는 오디오가 출력된 이후 버튼이 눌려졌으면 사용자의 반응이 존재하는 것으로 판단하고, 버튼이 눌려지지 않은 경우 사용자의 반응이 존재하지 않은 것으로 판단할 수 있다.

이와 같은 방법에 따라, 프로세서(140)는 출력된 오디오에 대한 사용자의 반응 시간 및 반응 유무를 판단할 수 있다.

이후, 프로세서(140)는 사용자의 반응 시간 및 반응 유무에 기초하여 사용자의 의식 상태를 판단할 수 있다.

구체적으로, 프로세서(140)는 사용자의 반응 시간이 기설정된 시간 이하이면 사용자의 의식 상태가 각성 상태인 것으로 판단하고, 사용자의 반응 시간이 기설정된 시간보다 길면 사용자의 의식 상태가 졸림 상태인 것으로 판단하고, 사용자의 반응이 존재하지 않으면 사용자의 의식 상태가 무의식 상태인 것으로 판단할 수 있다.

즉, 사용자가 깨어있는 경우 사용자는 버튼을 눌러 오디오에 대해 즉각적으로 반응을 할 수 있으나, 사용자가 졸린 상태에 있는 경우 의식이 흐릿하다는 점에서 버튼을 눌러 오디오에 대해 반응을 할 수는 있으나, 즉각적인 반응을 보일 수는 없다. 또한, 사용자가 무의식 상태에 있는 경우, 사용자는 오디오에 대해 반응을 할 수 없다.

이에 따라, 프로세서(140)는 사용자의 반응 시간 및 반응 유무에 기초하여, 사용자의 반응이 오디오가 출력된 이후 기설정된 시간 내에 이루어진 경우에는 사용자가 각성 상태인 것으로 판단하고, 사용자의 반응이 오디오가 출력된 이후 기설정된 시간을 경과하여 이루어진 경우에는 사용자가 졸림 상태인 것으로 판단할 수 있다. 또한, 프로세서(140)는 오디오를 출력한 이후 사용자가 별다른 반응을 보이지 않는 경우에는 사용자는 무의식 상태인 것으로 판단할 수 있다.

한편, 상술한 예 이외에도, 프로세서(140)는 사용자의 반응 정확도 및 반응 유무에 기초하여 사용자의 의식 상태를 판단할 수도 있다.

이 경우, 반응 정확도를 판단하기 위해, 프로세서(140)는 센서(110)를 통해 사용자의 뇌신호 및 생체 신호를 측정하는 동안 오디오 출력부(120)를 통해 오디오를 출력하고, 오디오가 출력된 시간을 판단할 수 있다. 그리고, 오디오가 출력된 이후, 프로세서(140)는 버튼이 눌려진 정도를 판단할 수 있다. 이에 따라, 프로세서(140)는 오디오가 출력된 이후 버튼이 완전히 눌려지거나 버튼의 눌려진 정도가 기설정된 레벨 이상인 경우, 반응 정확도가 제1 레벨에 속하는 것으로 판단하고, 버튼이 눌려졌지만 눌려진 정도가 기설정된 레벨 미만인 경우, 반응 정확도가 제2 레벨에 속하는 것으로 판단할 수 있다.

그리고, 프로세서(140)는 사용자의 반응 정확도가 제1 레벨에 속하면 사용자의 의식 상태가 각성 상태인 것으로 판단하고, 사용자의 반응 정확도가 제2 레벨에 속하면 사용자의 의식 상태가 졸림 상태인 것으로 판단하고, 사용자의 반응이 존재하지 않으면 사용자의 의식 상태가 무의식 상태인 것으로 판단할 수 있다.

즉, 사용자가 깨어있는 경우 사용자는 버튼을 정확히 눌러 오디오에 대해 반응을 할 수 있으나, 사용자가 졸린 상태에 있는 경우 의식이 흐릿하다는 점에서 버튼을 누를 수는 있으나 버튼을 끝까지 누르지 못할 수 있다. 또한, 사용자가 무의식 상태에 있는 경우, 사용자는 오디오에 대해 반응을 할 수 없다.

이에 따라, 프로세서(140)는 사용자의 반응 정확도 및 반응 유무에 기초하여, 오디오가 출력된 이후 사용자가 버튼을 누른 정도가 특정한 레벨 이상인 경우, 사용자가 각성 상태인 것으로 판단하고, 오디오가 출력된 이후 사용자가 버튼을 누른 정보가 특정한 레벨 미만인 경우 사용자가 졸림 상태인 것으로 판단할 수 있다. 또한, 프로세서(140)는 오디오를 출력한 이후 사용자가 별다른 반응을 보이지 않는 경우에는 사용자는 무의식 상태인 것으로 판단할 수 있다.

한편, 전술한 예 이외에도, 프로세서(140)는 어떠한 버튼이 눌려졌는지에 따라 반응 정확도를 판단할 수도 있다.

예를 들어, 버튼이 사용자의 왼손 및 오른손 주위에 배치되고, 오디오 출력부(130)를 통해 출력되는 오디오가 두 개의 버튼 중 어느 하나의 버튼 또는 두 개의 버튼을 모두 누를 것을 요청하는 음성(가령, "왼쪽 버튼을 눌러주세요", "오른쪽 버튼을 눌러주세오" 또는 "양쪽의 버튼을 눌러주세요")인 경우를 가정한다.

이 경우, 프로세서(140)는 출력되는 음성에 부합하는 버튼이 눌려졌는지 여부에 기초하여 반응 정확도를 판단할 수 있다.

예를 들어, 프로세서(140)는 "왼쪽 버튼을 눌러주세요"와 같은 음성을 오디오 출력부(130)를 통해 출력한 후, 사용자가 어떠한 버튼을 눌렀는지를 판단할 수 있다. 이때, 프로세서(140)는 사용자가 왼쪽 버튼을 누른 것으로 판단되는 경우, 음성에 대한 사용자의 반응이 정확한 것으로 판단할 수 있다. 다만, 프로세서(140)는 사용자가 오른쪽 버튼을 누르거나, 또는 양쪽 버튼 모두를 누르거나, 버튼을 누르지 않는 경우에는, 음성에 대한 사용자의 반응이 부정확한 것으로 판단할 수 있다.

한편, 프로세서(140)는 측정된 뇌신호 및 생체 신호를 판단된 의식 상태별로 구분하여 레이블링할 수 있다.

즉, 프로세서(140)는 사용자의 의식 상태가 각성 상태인 것으로 판단되면, 센서(110)를 통해 측정되고 있는 뇌신호 및 생체 신호가 각성 상태에서 측정된 것으로 레이블링하고, 사용자의 의식 상태가 졸림 상태인 것으로 판단되면, 센서(110)를 통해 측정되고 있는 뇌신호 및 생체 신호가 졸림 상태에서 측정된 것으로 레이블링하고, 사용자의 의식 상태가 무의식 상태인 것으로 판단되면, 센서(110)를 통해 측정되고 있는 뇌신호 및 생체 신호가 무의식 상태에서 측정된 것으로 레이블링할 수 있다.

이와 같이, 프로세서(140)는 측정되는 뇌신호 및 생체 신호를 사용자의 의식 상태에 따라 구분하여 전자 장치(100)에 저장할 수 있다.

이를 위해, 전자 장치(100)에는 측정된 뇌신호 및 생체 신호 및 뇌신호 및 생체 신호가 사용자가 어떠한 상태에서 측정된 것인지에 대한 정보를 저장하기 위한 메모리(미도시)를 더 포함할 수 있다.

한편, 이와 같이, 사용자의 의식 상태에 따라 레이블된 뇌신호 및 생체 신호는 지도 학습(supervised learning)을 위해 이용될 수 있다.

도 4 내지 도 7은 본 발명의 일 실시 예에 따른 사용자의 의식 상태에 따라 측정된 뇌신호 및 생체 신호를 나타내는 도면들이다.

도 4는 본 발명의 일 실시 예에 따른 사용자의 의식 상태에 따라 측정된 NIRS 신호를 나타낸다.

구체적으로, 도 4(a)는 사용자가 각성 상태인 경우에 측정된 NIRS 신호를 시간 축에서 나타낸 것이고, 도 4(b)는 사용자가 졸림 상태인 경우에 측정된 NIRS 신호를 시간 축에서 나타낸 것이고, 도 4(c)는 사용자가 무의식 상태인 경우에 측정된 NIRS 신호를 시간 축에서 나타낸 것이다. 그리고, 도 4(d)는 이들 신호를 주파수 측면에서 나타낸 것이다.

도 4를 참조하면, 사용자의 의식 상태에 따라 저주파 대역에서 파워(dB) 값의 크기가 차이가 커지고, 또한, 무의식 상태로 변화됨에 따라 저주파 성분이 강해지는 것을 알 수 있다.

도 5는 본 발명의 일 실시 예에 따른 사용자의 의식 상태에 따라 측정된 EEG 신호를 나타낸다.

구체적으로, 도 5(a)는 사용자가 각성 상태인 경우에 측정된 EEG 신호를 나타낸 것이고, 도 5(b)는 사용자가 졸림 상태인 경우에 측정된 EEG 신호를 나타낸 것이고, 도 5(c)는 사용자가 무의식 상태인 경우에 측정된 EEG 신호를 나타낸 것이다.

도 5를 참조하면, 사용자의 의식 상태가 각성 상태에서 무의식 상태로 변화됨에 따라 Alpha band의 반응이 약해지는 것을 알 수 있다.

도 6은 본 발명의 일 실시 예에 따른 사용자의 의식 상태에 따라 측정된 ECG 신호를 나타낸다.

구체적으로, 도 6(a)는 사용자가 각성 상태인 경우에 측정된 ECG 신호를 시간 축에서 나타낸 것이고, 도 6(b)는 사용자가 졸림 상태인 경우에 측정된 ECG 신호를 시간 축에서 나타낸 것이고, 도 6(c)는 사용자가 무의식 상태인 경우에 측정된 ECG 신호를 시간 축에서 나타낸 것이다. 그리고, 도 6(d)는 이들 신호의 피크 평균값을 나타낸 것이고, 도 6(e)는 이들 신호의 피크 투 피크 값을 나타낸 것이다.

도 6을 참조하면, 사용자의 의식 상태에 따른 ECG 신호의 피크 평균값은 유사하게 나타나지만, ECG 신호의 피크 투 피크 값은 각성 상태, 졸림 상태, 무의식 상태 순으로 높게 나타나는 것을 알 수 있다. 또한, 편차는 졸림 상태에서 가장 크게 나타났으며, 무의식 상태, 각성 상태의 순을 갖는 것을 알 수 있다.

도 7은 본 발명의 일 실시 예에 따른 사용자의 의식 상태에 따라 측정된 PPG 신호를 나타낸다.

구체적으로, 도 7(a)는 사용자가 각성 상태인 경우에 측정된 PPG 신호를 시간 축에서 나타낸 것이고, 도 7(b)는 사용자가 졸림 상태인 경우에 측정된 PPG 신호를 시간 축에서 나타낸 것이고, 도 7(c)는 사용자가 무의식 상태인 경우에 측정된 PPG 신호를 시간 축에서 나타낸 것이다. 그리고, 도 7(d)는 이들 신호의 피크 평균값을 나타낸 것이고, 도 7(e)는 이들 신호의 피크 투 피크 값을 나타낸 것이다.

도 7을 참조하면, 사용자의 의식 상태에 따른 PPG 신호의 피크 평균값은 유사하게 나타나지만, PPG 신호의 피크 투 피크 값은 각성 상태, 졸림 상태, 무의식 상태 순으로 높게 나타나는 것을 알 수 있다. 또한, 편차는 졸림 상태에서 가장 크게 나타났으며, 무의식 상태, 각성 상태의 순을 갖는 것을 알 수 있다.

이와 같이, 본 발명의 다양한 실시 예에 따르면, 청각 자극에 대한 사용자의 반응에 기초하여 사용자의 상태를 판단하고, 판단된 상태별로 뇌신호 및 생체 신호를 획득할 수 있게 된다.

도 8은 본 발명의 일 실시 예에 따른 사용자의 의식 상태에 따라 뇌신호 및 생체 신호를 레이블링하는 방법을 설명하기 위한 흐름도이다.

먼저, 사용자의 뇌신호 및 생체 신호를 측정하는 동안 오디오를 출력한다(S810). 여기에서, 뇌신호는 fNIRS 신호 및 EEG 신호 중 적어도 하나를 포함하고, 생체 신호는 맥파 신호 및 심전도 신호 중 적어도 하나를 포함할 수 있다.

그리고, 버튼을 통해 입력된 출력된 오디오에 대한 사용자의 반응에 기초하여 사용자의 의식 상태를 판단한다(S820). 이 경우, 의식 상태는 각성 상태, 졸림 상태 및 무의식 상태를 포함할 수 있다.

이후, 측정된 뇌신호 및 생체 신호를 판단된 의식 상태별로 구분하여 레이블링한다(S830).

한편, S820 단계는, 버튼을 통해 입력된 사용자의 반응에 기초하여 출력된 오디오에 대한 사용자의 반응 시간 및 반응 유무를 판단하고, 반응 시간 및 반응 유무에 기초하여 사용자의 의식 상태를 판단할 수 있다.

구체적으로, 사용자의 반응 시간이 기설정된 시간 이하이면 사용자의 의식 상태가 각성 상태인 것으로 판단하고, 사용자의 반응 시간이 기설정된 시간보다 길면 사용자의 의식 상태가 졸림 상태인 것으로 판단하고, 사용자의 반응이 존재하지 않으면 사용자의 의식 상태가 무의식 상태인 것으로 판단할 수 있다.

한편, 이와 관련하여 뇌신호 및 생체 신호를 사용자의 의식 상태에 따라 구분하여 레이블링하는 구체적인 방법은 상술한 바 있다.

한편, 본 개시의 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.

일 실시 예에 따르면, 본 개시에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

100 : 전자 장치 110 : 센서
120 : 오디오 출력부 130 : 사용자 입력부
140 : 프로세서

Claims

뇌신호 및 생체 신호를 사용자의 의식 상태에 따라 구분하여 레이블링하는 전자 장치에 있어서,
버튼을 포함하는 사용자 입력부;
사용자의 뇌신호 및 생체 신호를 측정하는 센서;
상기 사용자에게 청각 자극을 제공하기 위한 오디오를 출력하는 오디오 출력부; 및
상기 센서를 통해 상기 사용자의 뇌신호 및 생체 신호를 측정하는 동안, 상기 오디오 출력부를 통해 상기 오디오를 출력하고, 상기 버튼을 통해 입력된 상기 출력된 오디오에 대한 사용자의 반응에 기초하여 상기 사용자의 의식 상태를 판단하고, 상기 측정된 뇌신호 및 생체 신호를 상기 판단된 의식 상태별로 구분하여 레이블링하는 프로세서;를 포함하고,
상기 프로세서는,
상기 버튼이 완전히 눌려지거나 상기 버튼의 눌려진 정도가 기설정된 레벨 이상인 경우, 반응 정확도를 제1 레벨로 판단하고, 상기 버튼의 눌려진 정도가 기설정된 레벨 미만인 경우, 반응 정확도를 제2 레벨로 판단하며,
상기 반응 정확도가 제1 레벨인 경우 상기 사용자의 의식 상태가 각성 상태인 것으로 판단하고, 상기 반응 정확도가 제2 레벨인 경우 상기 사용자의 의식 상태가 졸림 상태인 것으로 판단하며, 상기 사용자의 반응이 없는 경우 상기 사용자의 의식 상태가 무의식 상태인 것으로 판단하고,
상기 사용자의 의식 상태가 판단될 때 측정된 뇌신호 및 생체 신호를 획득하여 상기 판단된 사용자의 의식 상태에 따라 상기 획득된 뇌신호 및 생체 신호를 구분하여 레이블링하는, 전자 장치.
삭제
삭제
제1항에 있어서,
상기 프로세서는,
상기 사용자의 반응 시간이 기설정된 시간 이하이면 상기 사용자의 의식 상태가 각성 상태인 것으로 판단하고, 상기 사용자의 반응 시간이 기설정된 시간보다 길면 상기 사용자의 의식 상태가 졸림 상태인 것으로 판단하고, 상기 사용자의 반응이 존재하지 않으면 상기 사용자의 의식 상태가 무의식 상태인 것으로 판단하는, 전자 장치.
제1항에 있어서,
상기 뇌신호는, fNIRS 신호, EEG 신호, MEG 신호 및 fMRI 신호 중 적어도 하나를 포함하고,
상기 생체 신호는, 맥파 신호, 심전도 신호, 피부 전도도 신호 및 피부 온도 신호 중 적어도 하나를 포함하는, 전자 장치.
뇌신호 및 생체 신호를 사용자의 의식 상태에 따라 구분하여 레이블링하는 방법에 있어서,
오디오 출력부가 사용자의 뇌신호 및 생체 신호를 측정하는 동안 오디오를 출력하는 단계;
프로세서가 버튼을 통해 입력된 상기 출력된 오디오에 대한 사용자의 반응에 기초하여 상기 사용자의 의식 상태를 판단하는 단계; 및
상기 프로세서가 상기 측정된 뇌신호 및 생체 신호를 상기 판단된 의식 상태별로 구분하여 레이블링하는 단계;를
상기 판단하는 단계는,
상기 버튼이 완전히 눌려지거나 상기 버튼의 눌려진 정도가 기설정된 레벨 이상인 경우, 반응 정확도를 제1 레벨로 판단하고, 상기 버튼의 눌려진 정도가 기설정된 레벨 미만인 경우, 반응 정확도를 제2 레벨로 판단하며,
상기 반응 정확도가 제1 레벨인 경우 상기 사용자의 의식 상태가 각성 상태인 것으로 판단하고, 상기 반응 정확도가 제2 레벨인 경우 상기 사용자의 의식 상태가 졸림 상태인 것으로 판단하며, 상기 사용자의 반응이 없는 경우 상기 사용자의 의식 상태가 무의식 상태인 것으로 판단하고,
상기 레이블링하는 단계는,
상기 사용자의 의식 상태가 판단될 때 측정된 뇌신호 및 생체 신호를 획득하여 상기 판단된 사용자의 의식 상태에 따라 상기 획득된 뇌신호 및 생체 신호를 구분하여 레이블링하는, 레이블링 방법.
삭제
삭제
제6항에 있어서,
상기 판단하는 단계는,
상기 사용자의 반응 시간이 기설정된 시간 이하이면 상기 사용자의 의식 상태가 각성 상태인 것으로 판단하고, 상기 사용자의 반응 시간이 기설정된 시간보다 길면 상기 사용자의 의식 상태가 졸림 상태인 것으로 판단하고, 상기 사용자의 반응이 존재하지 않으면 상기 사용자의 의식 상태가 무의식 상태인 것으로 판단하는, 레이블링 방법.
제6항에 있어서,
상기 뇌신호는, fNIRS 신호, EEG 신호, MEG 신호 및 fMRI 신호 중 적어도 하나를 포함하고,
상기 생체 신호는, 맥파 신호, 심전도 신호, 피부 전도도 신호 및 피부 온도 신호 중 적어도 하나를 포함하는, 레이블링 방법.