KR20160003597A - 인지처리작업의 피로 평가 방법 및 이를 적용하는 장치 - Google Patents

인지처리작업의 피로 평가 방법 및 이를 적용하는 장치 Download PDF

Info

Publication number
KR20160003597A
KR20160003597A KR1020150181102A KR20150181102A KR20160003597A KR 20160003597 A KR20160003597 A KR 20160003597A KR 1020150181102 A KR1020150181102 A KR 1020150181102A KR 20150181102 A KR20150181102 A KR 20150181102A KR 20160003597 A KR20160003597 A KR 20160003597A
Authority
KR
South Korea
Prior art keywords
fatigue
hrv
user
vlf
sympathetic
Prior art date
Application number
KR1020150181102A
Other languages
English (en)
Other versions
KR101663241B1 (ko
Inventor
노수진
이정년
황민철
Original Assignee
상명대학교서울산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상명대학교서울산학협력단 filed Critical 상명대학교서울산학협력단
Publication of KR20160003597A publication Critical patent/KR20160003597A/ko
Application granted granted Critical
Publication of KR101663241B1 publication Critical patent/KR101663241B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405Determining heart rate variability
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A61B5/04004
    • A61B5/0402
    • A61B5/0476
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168Evaluating attention deficit, hyperactivity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4884Other medical applications inducing physiological or psychological stress, e.g. applications for stress testing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7285Specific aspects of physiological measurement analysis for synchronising or triggering a physiological measurement or image acquisition with a physiological event or waveform, e.g. an ECG signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Developmental Disabilities (AREA)
  • Software Systems (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Educational Technology (AREA)

Abstract

인지처리작업시 유발되는 피로를 평가하는 방법 및 장치에 관해 개시된다. 피로 평가 방법은, ERP 작업을 수행하는 사용자로부터 다수 구간의 HRV 요소를 추출하는 단계; 상기 다수 구간에서 상기 ERP 작업의 정확도를 분석하는 단계; 상기 ERP 작업의 정확도에 근거하여, 상기 HRV 요소의 변화량을 구하는 단계; 그리고 상기 HRV 요소의 변화량으로부터 HRV 요소 임계치를 계산하는 단계; 상기 HRV 요소 임계치에 상기 사용자로부터 추출되는 HRV 요소들의 값을 비교하여 사용자 피로 여부를 판단하는 단계; 를 포함한다.

Description

인지처리작업의 피로 평가 방법 및 이를 적용하는 장치{Method and Apparatus for evaluation of fatigue in ERP task}
본 발명은 물리적인 접촉 없이 인간의 의사 또는 의도를 컴퓨터를 비롯한 외부기기에 전달하여 제어 및 소통하는 방법 및 시스템에 관한 것이다.
뇌-컴퓨터 인터페이스(HCI, Brain-Computer Interface)는 물리적인 접촉 없이 인간의 의사 또는 의도를 컴퓨터를 비롯한 외부기기에 전달하여 제어 및 소통하는 기술로서, 깜박임 기반의 시각 자극을 제시하여 사용자의 뇌파를 측정, 분석하여 장비들과 인터랙션(Interaction)하는 차세대 인터페이스 분야이다.
이러한 기술은 시간 해상도, 기기의 규모, 가격이 우수하여 장애인을 위한 복지형 인터페이스, 가정이나 업무공간의 자동화 등의 분야에 발전적으로 활용되고 있다. 그러나 아티팩트(Artifact)의 혼입을 방지하기 위한 신체 움직임의 제한에서 오는 사용자의 불편함과 피로감이 집중력 및 동기 저하로 연결되어 뇌파 기반의 BCI 연구의 한계점으로 제시되고 있다.
집중은 인지처리작업(ERP task, Event Related Potential Task)을 수행하는데 반드시 요구된다. 장시간의 반복적 주의집중작업은 정신 피로, 시각피로, 근육피로를 유발하고 피로해진 사용자의 작업수행 효율성은 저하된다. 이는 사용자 피로가 집중상태에 영향을 미치기 때문이다.
이러한 BCI 기술의 과제는 시스템 정확도와 사용 만족도를 향상시키는 데에 기여한다.
Fazel-Rezai, R., Allison, B. Z., Guger, C., Sellers, E. W., Kleih, S. C., Kubler, A. (2012). P300 brain computer interface: Current challenges and emerging trends. Frontiers in Neuroengineering, 5 Tran, Y., Wijesuriya, N., Tarvainen, M., Karjalainen, P., Craig, A. (2009). The relationship between spectral changes in heart rate variability and fatigue. Journal of Psychophysiology, 23(3), 143-151. Tasaki, M., Wang, H., Sakai, M., Watanabe, M., Jin, Q., Wei, D. (2010). Evaluation of drowsiness during driving based on heart rate analysis-A driving simulation study. Bioinformatics and Biomedicine Workshops (BIBMW), 2010 IEEE International Conference on, 411-416. Takamoto, K., Sakai, S., Hori, E., Urakawa, S., Umeno, K., Ono, T., et al. (2009). Compression on trigger points in the leg muscle increases parasympathetic nervous activity based on heart rate variability. The Journal of Physiological Sciences, 59(3), 191-197. Trejo, L. J., Kochavi, R., Kubitz, K., Montgomery, L. D., Rosipal, R., Matthews, B. (2005). Measures and models for predicting cognitive fatigue. Defense and Security, 105-115. Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. (2002). Brain?omputer interfaces for communication and control. Clinical Neurophysiology, 113(6), 767-791. Kleih, S., Nijboer, F., Halder, S., Kubler, A. (2010). Motivation modulates the P300 amplitude during brain?omputer interface use. Clinical Neurophysiology, 121(7), 1023-1031. McCarthy, G., Donchin, E. (1981). A metric for thought: A comparison of P300 latency and reaction time. Science, 211(4477), 77-80. Mun, S., Park, M., Park, S., Whang, M. (2012). SSVEP and ERP measurement of cognitive fatigue caused by stereoscopic 3D. Neuroscience Letters, Ryu, K., Myung, R. (2005). Evaluation of mental workload with a combined measure based on physiological indices during a dual task of tracking and mental arithmetic. International Journal of Industrial Ergonomics, 35(11), 991-1009.
본 발명은 인지처리작업시 발생하는 사용자의 피로를 평가하는 방법과 이를 적용하는 장치를 제공한다.
이러한 본 발명은 피로를 유발하는 ERP 작업과 개인의 특성에 따라 다르게 나타나는 HRV(Heart Rate Variability) 피로 패턴을 교감신경 피로(sympathetic fatigue)와 부교감신경 피로(parasympathetic fatigue)로 구분하여 사용자에게 피드백 함으로써 사용자가 스스로 피로를 해소하고 집중 상태를 회복할 수 있도록 하는 방법 및 시스템을 제공한다.
본 발명에 따른 인지처리작업의 피로 평가 방법: 은
ERP 작업을 수행하는 사용자로부터 다수 구간의 HRV 요소를 추출하는 단계;
상기 다수 구간에서 상기 ERP 작업의 정확도를 분석하는 단계;
상기 ERP 작업의 정확도에 근거하여, 상기 HRV 요소의 변화량을 구하는 단계; 그리고
상기 HRV 요소의 변화량으로부터 HRV 요소 임계치를 계산하는 단계; 상기 HRV 요소 임계치에 상기 사용자로부터 추출되는 HRV 요소들의 값을 비교하여 사용자 피로 여부를 판단하는 단계; 를 포함한다.
본 발명에 따른 피로 평가 방법의 구체적인 실시 예에 따르면, 상기 HRV 요소는 는 ECG 또는 PPG 신호로부터 획득할 수 있다.
본 발명에 따른 피로 평가 방법의 구체적인 실시 예에 따르면, 상기 HRV 요소의 임계치는 주파수 대역이 서로 다른 HF(High Frequency) 대역, 및 VLF(Very Low Frequency) 대역에서 구할 수 있다.
본 발명에 따른 피로 평가 방법의 구체적인 다른 실시 예에 따르면, 상기 HF 대역의 HRV 요소를 이용해 부교감 피로 여부를 판단하고, 그리고, 상기 VLF 대역의 HRV 요소를 이용해 교감 피로 여부를 판단할 수 있다.
본 발명에 따른 피로 평가 방법의 구체적인 또 다른 실시 예에 따르면, 상기 HRV 요소의 임계치는 HRV 요소에서 음(-)의 값을 나타내는 구간들 값의 평균값과, 양(+)의 값을 나타내는 구간들 값의 평균값으로부터 구해질 수 있다.
본 발명에 따른 피로 평가 방법의 구체적인 실시 예에 따르면, HF 대역에서 양(+)의 평균값과 음의 평균값에 비해 크면 부교감피로 유발로 판단하고, VLF 대역에서 양(+)의 평균값과 음의 평균값에 비해 크면 교감피로 유발로 판단할 수 있다.
본 발명에 따른 피로 평가 방법의 구체적인 실시 예에 따르면, 상기 HF는 0.15~0.4Hz, VLF는 0.0033~0.04Hz의 범위이다.
본 발명에 따른 피로 평가 방법의 구체적인 실시 예에 따르면, 상기 HRV 요소는 ECG 또는 PPG 신호로부터 획득할 수 있다.
본 발명에 따른 인지처리작업 피로평가 장치는 상기 인지처리작업의 피로 평가 방법을 수행하는 것으로,
사용자로부터 HRV 요소를 획득하기 위한 센서,
상기 사용자로부터 EEG 신호를 추출하는 센서;
상기 센서들로부터의 신호를 처리하는 신호처리 시스템; 그리고 상기 신호 처리시스템에서의 처리결과를 표시하는 표시장치;를 구비한다.
도1a, 1b는 본 발명에 따른 HRV 분석을 이용한 교감/부교감피로 평가 알고리즘의 일 실시예를 도시한다.
도2는 교감피로(sympathetic fatigue)의 패턴의 한 예를 도시한다.
도3은 부교감피로(parasympathetic fatigue)의 패턴을 도시한다.
도4는 교감피로가 발생한 피험자의 경우, HRV 요소 중 하나인 HF(%) 변화량의 임계치를 설정하는 방법의 일 실시 예를 도시한다.
도5는 부교감피로(parasympathetic fatigue)가 발생한 피험자의 경우, HRV 요소 중 하나인 HF(%) 변화량의 임계치를 설정하는 방법을 도시한다.
도10은 국제10-20 법에 따른 EEG(Electroencephalogram) 전극 부착위치를 보인다.


도11은 본 발명에 따른 교감/부교감 피로 판단 시스템의 전체 구조를 개략적으로 도시한다.
본 발명은, 피험자 또는 사용자의 피로를 ECG(ElectroCardioGraphy) 신호 또는 PPG(photo-plethysmography) 신호에 포함된 심박(Heartbeats)간의 시간(time interval)의 변화를 이용한 HRV(Heart Rate Variability) 분석을 이용하여, 개인에 따라 교감 피로와 부교감 피로로 분별하고, 이를 통해 피험자에게 휴식 피드백을 제공함으로써 피로 회복과 함께 집중력도 회복될 수 있도록 하는 방법을 제시한다.
즉, 본 발명은 인지처리작업(ERP Task) 중 일어나는 피로를 두 단계를 나누어 패턴을 분류하고, 이를 적용하여 사용자가 인지적 작업을 처리할 때 사용자에 맞게 휴식을 제공함으로써 보다 능률적인 작업이 수행되도록 하는 것이다.
본 발명에서 적용하는 ERP Task, 즉 인지처리작업은 소위 오드볼 파라다임(Oddball Paradigm)을 사용한 방법으로 사용자가 집중할 필요 없는 자극들을 제공하다가, 일정한 확률로 사용자가 인지 반응을 보여야 하는 자극을 제공하는 방법을 의미한다.
뇌-컴퓨터 인터페이스(BCI)에서 아티팩트의 감소를 위해 사용자에게 주어지는 신체적 움직임의 제한은 피로감 및 이에 따른 집중력 및 동기 저하로 이어진다. BCI를 이용한 인지처리작업에서 "집중(Attention)"은 매우 중요하며, "집중"에 실패하면 인지처리작업자체가 불가능하게 되는데, 본 발명은 사용자의 피로 여부를 판단하여 집중력의 회복 시점을 판단한다.
본 발명의 방법은 P300 기반 BCI 시스템을 적용한다. 잘 알려진 바와 같이 뇌파는 EEG P300은 뇌파의 한 특질로서, 인지 자극 후 300 ms 후에 나타나는 전기적 반응이다.
도11을 참조하면, 본 발명에 따른 시스템은 상기 EEG 센서(5) 및 EEG 센서(5)가 연결되는 EEG 측정장치(6), EEG 측정장치(6)로부터의 신호를 저장하고 이 신호를 처리하여 피험자(2)의 피로 상태를 교감/부교감 피로로 평가하고 이를 표시하는 디스플레이(1)를 갖춘 컴퓨터(4)를 구비한다. 컴퓨터(4)는 EEG 센서(5)와 별도로 심박을 검출하는 것으로 잘 알려진 PPG 센서(7) 또는 ECG 센서가 마련될 수 있다. 그리고 마우스 또는 키보드 등의 입력장치(3)를 포함한다. 한편, 피험자(2)의 손가락(2a)의 자극을 위한 진동 자극장치(7)가 마련되며, 이는 상기 컴퓨터에 의해 진동 주파수 또는 변조 주파수에 의해 진동 자극을 제시한다.
상기 EEG 센서(5)의 전극은 도2에 도시된 바와 같은 국제10-20 법(international10-20 electrode system) 따라 피험자(2)의 두피에 부착된다.
본 발명에서는 BCI 기반의 인지처리작업 도중 유발되는 사용자 피로를 HRV 분석을 통하여 교감 피로와 부교감 피로로 나누고, 이 두 가지의 피로 패턴에 따라 개인별 HRV 요소 임계치(Components threshold)를 설정하였다. 도출된 임계치에 비추어, 인지처리작업 수행 도중 피험자에게 피로가 유발된 것으로 판단되는 경우, 피험자에게 피로회복을 위한 일련의 조치로서 예를 들어 휴식 시간 제공 등의 취할 수 있도록 한다.
도1a은 본 발명에 따른 HRV 분석을 이용한 교감/부교감피로 평가 알고리즘의 개략을 나타낸다.
도1a를 참조하면, 본 발명에 따르면, ERP 테스크(S1)를 수행하면서 EEG 신호, PPG 또는 ECG 신호를 검출한다. PPG 또는 ECG 신호를 이용해서는 HRV(VLF, HF)의 비율을 검출하며(S2a), EEG를 이용해서는 인지 정확도를 검출한다(S2b). 위의 두 결과를 이용해서는 교감, 부교감 피로 패턴을 검출한다(S2~S5). 여기에서, HRV (0.0033Hz ~ 0.4Hz) 영역을 분석하며 HF(High Frequency, 0.15~0.4Hz), VLF(Very Low Frequency, 0.0033~0.04Hz)를 자연로그 값을 취하여 2축으로 이루어 다음과 같은 수치 기준으로 9개의 존으로 나누어 봤을 때 사용자가 인지 처리과정에서 정확률이 떨어질 때 다양한 패턴으로 나뉘어 보인다.
도1b은 본 발명에 따른 HRV 분석을 이용한 교감/부교감피로 평가 알고리즘을 구체적으로 도시한다.
본 발명의 방법은 소정 구간, 예를 들어 12구간 중 정확도(Accuracy)가 평균 정확도보다 낮은 구간일 때의 HRV 요소의 패턴을 확인한다. 정확도가 낮을 때, VLF(0.0033Hz~0.04Hz)가 증가하면 교감 피로를 느끼는 사용자라고 판단한다. 반대로 정확도가 낮을 때, HF(High Frequency, 0.15~0.4 Hz)가 증가하면 부교감 피로를 느끼는 사용자라고 판단하였다. 교감, 부교감 피로에 따라 HRV 요소의 임계치를 설정한다. 이러한 방법을 구체적으로 설명하면, 다음과 같다. 본 발명에서 HRV는 ECG 또는 PPG 신호를 통해서 추출할 수 있다.
사용자에 대한 HRV 요소 임계치 설정을 위하여, HCI를 이용한 인지처리작업을 시작(S1)되면, 인지처리작업(ERP task)의 전체 수행시간을 소정 시간 단위, 예를 들어 3분 단위로 나누어 구간별로 HRV분석(S2a)와 인지처리작업의 수행 정확도 분석(S2b)를 수행한다.
여기에서 전체 구간은 예를 들어 12 구간으로 설정하며, 12 구간에 대한 HRV 요소 추출 및 분석을 수행하고(S2a), 또한 구간별 정확도와 전체 평균 정확도를 구한다(S2b). 다음 단계(S3)에서, HF 요소 및 VLF 요소에 대한 구간별 정확도 중, 평균 정확도보다 작은 구간을 선택한다. 그리고 선택된 구간들에서 HRV 변화량이 양(+)인 구간의 수①와 음(-)인 구간의 수②를 계수(count)한다.
다음 단계(S4)에서, 교감 피로에 관계된 VLF 요소에서, HRV 변화량이 양(+)인 구간의 수가 음(-)인 구간의 수 보다 크면(① > ②), 교감 피로가 발생한 것으로 판단한다. 또한, 부교감에 관계된 HF 요소에서, HRV 변화량이 양(+)인 구간의 수가 음(-)인 구간의 수 보다 크면(① > ②), 부교감 피로가 발생한 것으로 판단된다.
다음 단계(S5)에서, 위의 단계(S4)에서 구해진 교감 피로 및 부교감 피로결과에 따라 HRV 요소 임계치를 설정한다. 이 임계치는 HRV 요소에서 음의 값을 가지는 구간들의 변화량의 평균과, 양의 값을 가지는 구간들 값의 평균값이다.
이 후, 일상적인 인지처리작업 중, 위에서 결정된 HRV 요소 임계치를 기준으로 사용자의 피로 유발 여부를 판단하고, 피로가 발생되었다고 판단되는 경우, 사용자에게 휴식 피드백을 제공한다.
도2 내지 도5는 HRV 요소 중 HF(%)를 사용하여 교감/부교감피로(Sympathetic/parasympathetic fatigue)를 분류하고 임계치(threshold)를 설정한 예이다. 도2~5에서 S15는 교감피로를 느끼는 집단의 한 사용자의 예를 의미하며, S22는 부교감피로를 느끼는 집단의 한 사용자의 예를 의미한다.
도2는 교감피로(sympathetic fatigue)의 패턴의 한 예를 도시한다. 도2에서, 정확도가 낮은 3, 4 10, 11, 12구간에서 HF(%) 변화량이 감소하는 패턴을 보인다. 이것은 교감신경이 활성화(Activated) 되었음을 의미한다.
도3은 부교감피로(parasympathetic fatigue)의 패턴을 도시한다. 도3에서, 정확도가 낮은 1, 2, 6, 10구간에서 HF(%) 변화량이 증가는 패턴을 보인다. 이것은 부교감신경이 활성화 되었음을 의미한다.
도4는 교감피로가 발생한 피험자의 경우, HRV 요소 중 하나인 HF(%) 변화량의 임계치를 설정하는 방법의 일 실시 예를 도시한다.
예를 들어, HF(%) 변화량이 음(-)의 값을 나타내는 3, 4, 5, 7, 9, 10, 12구간의 평균값을 임계치로 한다. 여기에서, 음의 값을 나타내는 모든 구간에 대해 평균값을 계산할 수 도 있으나, 다른 실시 예에 따르면, 좀더 정확한 평균값을 구하기 위하여 음의 값을 나타내는 구간에 대한 필터링이 수행될 수 있는데, 예를 들어 음의 값 중 최고치와 최저치의 구간을 제외한 구간에 대해서만 계산할 수 도 있다. 이러한 필터링 조건은 사용자의 특징이나 검사 조건에 따라 변동될 수 도 있다.
도5는 부교감피로(parasympathetic fatigue)가 발생한 피험자의 경우, HRV 요소 중 하나인 HF(%) 변화량의 임계치를 설정하는 방법을 도시한다. HF(%) 변화량이 양(+)의 값을 나타내는 1, 2, 5, 6, 8, 10 구간의 평균값을 임계치로 할 수 있다..
여기에서, 음의 값을 나타내는 구간에 대한 평균값의 계산 방법에서와 마찬가지로 양의 값을 가지는 모든 구간에 대해 평균값을 계산할 수 도 있으나, 다른 실시 예에 따르면, 좀더 정확한 평균값을 구하기 위하여 양의 값을 나타내는 구간에 대한 필터링이 수행될 수 있는데, 예를 들어 음의 값 중 최고치와 최저치의 구간을 제외한 구간에 대해서만 계산할 수 도 있다. 이러한 필터링 조건은 사용자의 특징이나 검사 조건에 따라 변동될 수 도 있다. 이상과 같은 방법에 의해 평균값을 구한 후, 이를 기준으로 피로 여부를 판단한다. 즉, 정확도(Accuracy)가 평균 정확도보다 낮은 구간일 때의 HRV 요소의 패턴을 확인한다. 정확도가 낮을 때, VLF(Very low frequency)가 증가하면 교감 피로를 느끼는 사용자라고 판단하며, 반대로 정확도가 낮을 때, HF(High Frequency)가 증가하면 부교감 피로를 느끼는 사용자라고 판단하였다. 이러한 결과에 따라 사용자에게 휴식이 필요하다 판단되며, 사용자에게 휴식에 대한 정보를 제공하여, 사용자가 인지처리작업을 벗어나 의식적으로 휴식할 수 있도록 한다.
도6내지 9는 교감/부교감 피로의 판단에 따른 패턴을 나타내 보인다. 도6내지 도9의 패턴은 HRV (0.0033Hz ~ 0.4Hz) 영역을 분석하며 HF: High Frequency (0.15~0.4Hz), VLF: Very Low Frequency (0.0033 ~0.04Hz)를 자연로그(ln) 값을 취하여 2축으로 이루어 다음과 같은 수치 기준으로 9개의 존으로 나누었다. 이때에, 사용자가 인지 처리과정에서 정확률이 떨어지면, 아래와 같은 다양한 패턴을 보인다. 평가에 따르면, 부교감 피로의 경우 도6내지 도8에 도시된 바와 같이, Zone 7과 Zone 8에 집중된 패턴이 나타난다. 그리고 교감 피로의 경우는 도9에 도시된 바와 같이 Zone 3과 Zone 4에 패턴이 집중적으로 나타난다.
상기와 같은 본 발명은 HCI 기반의 인지처리작업 시 유발되는 사용자의 피로를 평가하고, 그 결과에 따라 사용자에게 휴식 피드백을 제공할 수 있도록 할 수 있다.
이러한 방법은 사용자 개별적으로 수행되며, 사용자 각각의 피로 평가 기준이 HRV 요소 임계치를 설정한다. HRV 요소 임계치를 기준으로 사용자 개인별 교감 피로와 부교감 피로가 분류되며, 그 결과에 따라 장시간의 반복적 인지처리작업에 임하는 사용자에게 휴식의 필요성을 통보한다.
이러한 방법에 따르면, 사용자의 몸을 구속하는 아티팩트 유발 방지 구조가 요구되는 HCI 기반의 인지처리작업시의 사용자 피로 발생의 선제적 판단 및 이에 따른 휴식의 제공으로 사용자의 집중 저하를 적극적으로 억제할 수 있다. 이러한 본 발명은 장애인을 위한 인터페이스, 가정이나 업무공간의 자동화 등의 분야에 보다 적극적으로 활용될 수 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 보호범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.

Claims (9)

  1. ERP 작업을 수행하는 사용자로부터 다수 구간의 HRV 요소를 추출하는 단계;
    상기 다수 구간에서 상기 ERP 작업의 정확도를 분석하는 단계;
    상기 ERP 작업의 정확도에 근거하여, 상기 HRV 요소의 변화량을 구하는 단계; 그리고
    상기 HRV 요소의 변화량으로부터, 서로 다른 HF(High Frequency) 대역, 및 VLF(Very Low Frequency) 대역에서 HRV 요소 임계치를 계산하는 단계; 그리고
    상기 HRV 요소 임계치에 상기 사용자로부터 추출되는 HRV 요소들의 값을 비교하여 사용자 피로 여부를 판단하되, HF 대역에서 양(+)의 값이 음(-)의 값에 비해 크면 부교감피로 유발로 판단하고, 그리고 VLF 대역에서 양(+)의 값이 음(-)의 값에 비해 크면 교감피로 유발로 판단하는 단계; 를 포함하는 인지처리작업의 피로 평가 방법.
  2. 제1항에 있어서,
    HF 대역에서 양(+)의 평균값과 음의 평균값을 비교하여 부교감피로 유발 여부를 판단하고, VLF 대역에서 양(+)의 평균값과 음의 평균값을 비교하여 교감피로 유발 여부를 판단하는 것을 특징으로 하는 인지처리 작업의 피로 평가 방법
  3. 제1항 또는 제2항에 있어서,
    상기 HRV 요소는 ECG 또는 PPG 신호로부터 획득하는 것을 특징으로 하는 인지처리 작업의 피로 평가 방법.
  4. 제3항에 있어서,
    상기 HF는 0.15~0.4Hz, VLF는 0.0033~0.04Hz의 범위인 것을 특징으로 하는 인지처리 작업의 피로 평가 방법.
  5. 제1항 또는 제2항에 있어서,
    상기 HF는 0.15~0.4Hz, VLF는 0.0033~0.04Hz의 범위인 것을 특징으로 하는 인지처리 작업의 피로 평가 방법.
  6. 제1항 또는 제2항의 방법을 수행하는 것으로,
    사용자로부터 HRV 요소를 추출하기 위한 하는 센서,
    상기 사용자로부터 EEG 신호를 추출하는 센서;
    상기 센서들로부터의 신호를 처리하여 사용자의 교감/부교감 피로를 평가하는 신호처리 시스템; 그리고
    상기 신호 처리시스템에서의 처리결과를 표시하는 표시장치;를 구비하는 인지처리작업 피로 평가 장치.
  7. 제5항에 있어서,
    상기 HRV 요소를 검출하는 센서는 PPG 또는 ECG 전극인 것을 특징으로 하는 인지처리 작업 피로 평가 장치.
  8. 제7항에 있어서,
    상기 HF는 0.15~0.4Hz, VLF는 0.0033~0.04Hz의 범위인 것을 특징으로 하는 인지처리 작업의 피로 평가 장치.
  9. 제6항에 있어서,
    상기 HF는 0.15~0.4Hz, VLF는 0.0033~0.04Hz의 범위인 것을 특징으로 하는 인지처리 작업의 피로 평가 장치
KR1020150181102A 2014-02-05 2015-12-17 인지처리작업의 피로 평가 방법 및 이를 적용하는 장치 KR101663241B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20140012871 2014-02-05
KR1020140012871 2014-02-05

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020150018126A Division KR101644587B1 (ko) 2014-02-05 2015-02-05 인지처리작업의 피로 평가 방법 및 이를 적용하는 장치

Publications (2)

Publication Number Publication Date
KR20160003597A true KR20160003597A (ko) 2016-01-11
KR101663241B1 KR101663241B1 (ko) 2016-10-06

Family

ID=54056923

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020150018126A KR101644587B1 (ko) 2014-02-05 2015-02-05 인지처리작업의 피로 평가 방법 및 이를 적용하는 장치
KR1020150181102A KR101663241B1 (ko) 2014-02-05 2015-12-17 인지처리작업의 피로 평가 방법 및 이를 적용하는 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020150018126A KR101644587B1 (ko) 2014-02-05 2015-02-05 인지처리작업의 피로 평가 방법 및 이를 적용하는 장치

Country Status (1)

Country Link
KR (2) KR101644587B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180090717A (ko) * 2017-02-03 2018-08-13 재단법인 실감교류인체감응솔루션연구단 비접촉 영상 기반 3d 인지피로 평가방법 및 시스템

Non-Patent Citations (13)

* Cited by examiner, † Cited by third party
Title
Fazel-Rezai, R., Allison, B. Z., Guger, C., Sellers, E. W., Kleih, S. C., Kubler, A. (2012). P300 brain computer interface: Current challenges and emerging trends. Frontiers in Neuroengineering, 5
Kleih, S., Nijboer, F., Halder, S., Kubler, A. (2010). Motivation modulates the P300 amplitude during brain뻙omputer interface use. Clinical Neurophysiology, 121(7), 1023-1031.
McCarthy, G., Donchin, E. (1981). A metric for thought: A comparison of P300 latency and reaction time. Science, 211(4477), 77-80.
Mun, S., Park, M., Park, S., Whang, M. (2012). SSVEP and ERP measurement of cognitive fatigue caused by stereoscopic 3D. Neuroscience Letters,
Ryu, K., Myung, R. (2005). Evaluation of mental workload with a combined measure based on physiological indices during a dual task of tracking and mental arithmetic. International Journal of Industrial Ergonomics, 35(11), 991-1009.
Takamoto, K., Sakai, S., Hori, E., Urakawa, S., Umeno, K., Ono, T., et al. (2009). Compression on trigger points in the leg muscle increases parasympathetic nervous activity based on heart rate variability. The Journal of Physiological Sciences, 59(3), 191-197.
Tasaki, M., Wang, H., Sakai, M., Watanabe, M., Jin, Q., Wei, D. (2010). Evaluation of drowsiness during driving based on heart rate analysis-A driving simulation study. Bioinformatics and Biomedicine Workshops (BIBMW), 2010 IEEE International Conference on, 411-416.
Tran, Y., Wijesuriya, N., Tarvainen, M., Karjalainen, P., Craig, A. (2009). The relationship between spectral changes in heart rate variability and fatigue. Journal of Psychophysiology, 23(3), 143-151.
Trejo, L. J., Kochavi, R., Kubitz, K., Montgomery, L. D., Rosipal, R., Matthews, B. (2005). Measures and models for predicting cognitive fatigue. Defense and Security, 105-115.
Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. (2002). Brain뻙omputer interfaces for communication and control. Clinical Neurophysiology, 113(6), 767-791.
김종화 외 2인, 'ECG와 PPG를 이용한 실시간 연속 혈압 측정 시스템', 감성과학, Vol.11, No.2, 2008.06. pp.235-244 *
박상인 외 4인, '3D TV 시청으로 유발된 시각피로가 자율신경계 기능에 미치는 영향', 감성과학, Vol.14, No.4, 2011.12. pp.653-662 *
장진흥 외 1인, '감성콘텐츠 자극에 의한 HRV 신호와 피로의 연관성에 관한 연구', 한국지능시스템학회 2011년도 춘계학술대회 학술발표논문집 제21권 제1호, 2011.04, pp.167-168 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180090717A (ko) * 2017-02-03 2018-08-13 재단법인 실감교류인체감응솔루션연구단 비접촉 영상 기반 3d 인지피로 평가방법 및 시스템

Also Published As

Publication number Publication date
KR101663241B1 (ko) 2016-10-06
KR101644587B1 (ko) 2016-08-02
KR20150092727A (ko) 2015-08-13

Similar Documents

Publication Publication Date Title
Pourmohammadi et al. Stress detection using ECG and EMG signals: A comprehensive study
Xing et al. Effects of physical fatigue on the induction of mental fatigue of construction workers: A pilot study based on a neurophysiological approach
Xu et al. Cluster-based analysis for personalized stress evaluation using physiological signals
Jochumsen et al. Detecting and classifying movement-related cortical potentials associated with hand movements in healthy subjects and stroke patients from single-electrode, single-trial EEG
Butkevičiūtė et al. Removal of movement artefact for mobile EEG analysis in sports exercises
US9801553B2 (en) System, method, and computer program product for the real-time mobile evaluation of physiological stress
Cashaback et al. Muscle fatigue and contraction intensity modulates the complexity of surface electromyography
Shukla et al. Efficient wavelet-based artifact removal for electrodermal activity in real-world applications
JP7262006B2 (ja) ストレス評価装置、ストレス評価方法及びプログラム
WO2012158984A1 (en) Methods and apparatus for assessment of atypical brain activity
US20180249939A1 (en) Stress detection and management system
US20150025334A1 (en) Method and system for monitoring pain of patients
Gao et al. Synchronous analysis of brain regions based on multi-scale permutation transfer entropy
KR20200071647A (ko) 가상/증강현실 콘텐츠 및 생체신호에 기반한 정신질환 진단 및 치유를 위한 바이오피드백 방법
Jochumsen et al. Online multi-class brain-computer interface for detection and classification of lower limb movement intentions and kinetics for stroke rehabilitation
Ramírez et al. Assessment of emotional states through physiological signals and its application in music therapy for disabled people
US11166665B2 (en) Index output device, index output method, and index output program
Ghaderyan et al. Dynamic Hilbert warping, a new measure of RR-interval signals evaluated in the cognitive load estimation
KR101663241B1 (ko) 인지처리작업의 피로 평가 방법 및 이를 적용하는 장치
Ribeiro et al. A New Intelligent Approach for Automatic Stress Levels Assessment based on Multiple Physiological Parameters Monitoring
US11766215B2 (en) Detection and response to arousal activations
Hou et al. Low-cost wireless electrooculography speller
Chęć et al. Physiological Computing Gaming-Use of Electrocardiogram as an Input for Video Gaming
Butkevičiūtė et al. Mobile platform for fatigue evaluation: Hrv analysis
Aggarwal et al. Eye gaze–induced mental stress alters the heart rate variability analysis

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20190905

Year of fee payment: 4