KR101357800B1 - 인지 피로 평가 방법 및 이를 적용하는 장치 - Google Patents

인지 피로 평가 방법 및 이를 적용하는 장치 Download PDF

Info

Publication number
KR101357800B1
KR101357800B1 KR1020120151363A KR20120151363A KR101357800B1 KR 101357800 B1 KR101357800 B1 KR 101357800B1 KR 1020120151363 A KR1020120151363 A KR 1020120151363A KR 20120151363 A KR20120151363 A KR 20120151363A KR 101357800 B1 KR101357800 B1 KR 101357800B1
Authority
KR
South Korea
Prior art keywords
component
cognitive fatigue
cognitive
eeg
fatigue
Prior art date
Application number
KR1020120151363A
Other languages
English (en)
Inventor
박상인
황민철
원명주
황성택
이의철
Original Assignee
상명대학교서울산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상명대학교서울산학협력단 filed Critical 상명대학교서울산학협력단
Priority to KR1020120151363A priority Critical patent/KR101357800B1/ko
Application granted granted Critical
Publication of KR101357800B1 publication Critical patent/KR101357800B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346Analysis of electrocardiograms
    • A61B5/349Detecting specific parameters of the electrocardiograph cycle
    • A61B5/352Detecting R peaks, e.g. for synchronising diagnostic apparatus; Estimating R-R interval
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25Bioelectric electrodes therefor
    • A61B5/279Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/291Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/372Analysis of electroencephalograms
    • A61B5/374Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • A61B5/378Visual stimuli

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명의 뇌-심장 연결성을 이용한 인지 피로 측정 방법 및 이를 적용하는 장치를 제시한다. 인지 피로 측정 방법;은 EEG 신호와 ECG 신호를 이용해 HEP 데이터를 추출하고, HEP 데이터의 특정 주파수의 파워 증감을 기준 값에 비교하여 피험자의 인지 피로 유발 여부를 판단한다.

Description

인지 피로 평가 방법 및 이를 적용하는 장치{Evaluation method of cognitive fatigue and apparatus adopting the method}
본 발명은 인지 피로(cognitive fatigue) 평가 방법 및 이를 적용하는 장치에 관한 것으로 상세하게 뇌-심장 연결성 분석을 통한 인지 피로 평가 방법 및 이를 적용하는 장치에 관한 것이다.
최근 3D 산업은 2009년 3D(Dimensional) 영화 "아바타"(Avatar, Nickelodeon Animation Studios in USA)의 성공 이후로 급격한 성장을 이루어왔다. 3D 영화의 성공을 기반으로 의료시스템, 교육 등의 다양한 분야에서 3D 영상 기술 도입이 시도되고 있다. 3D 영상은 기존의 2D 영상에 비해 영상 컨텐츠에 대한 현실감과 몰입도가 높은 것으로 알려져 있다. 이러한 3D 영상 컨텐츠 기술의 이점을 통해, 영화 이외에도 의료 교육 등의 다양한 분야에 빠르게 확산되고 있다[9, 10]. 그러나, 3D 영상 기술은 높은 현실감과 몰입도 같은 이점을 가질 뿐 아니라 다양한 인체 안전성(human factors) 이슈 또한 내포하고 있다. 대표적인 인체 안전성 이슈는 크게 인지 피로(cognitive fatigue) 또는 시각 피로(visual fatigue)와 영상멀미(VIMS, visually induced motion sickness) 두 가지로 구분할 수 있다. 시각 피로는 인지 피로(cognitive fatigue)와 표리 관계를 가지며 눈 피로와 두통을 수반하고 심한 신체 통증까지 수반되는 증상을 나타낸다. 영상 멀미는 어지러움, 구토 등의 증상을 유발 한다[9]. 이러한 인체 안전성 이슈는 3D 산업 발전의 큰 저해 요인으로 작용할 가능성이 높기 때문에 3D 산업 발전을 위해 선결되어야 할 중요한 문제이다[11], [18], [22]. 특히 시각 피로는 영상멀미나 다른 인체 안전성 이슈에 비해 그 위험도는 낮으나, 가장 빈번하게 보고되고 있는 문제이므로 인체 안전성 이슈 중에서도 가장 시급하게 해결되어야 한다[21].
현재까지 진행된 시각 피로 또는 인지 피로 관련 연구 결과에 따르면, 피로 유발 요인은 크게 디스플레이(Display), 컨텐츠(Contents), 디바이스(Device), 시청자의 특성(Viewers characteristics), 시청환경(Viewing environment) 등 다섯 가지로 분류할 수 있다[13]. 3D 영상 시청에 따른 시각 피로를 최소화하기 위해서는 세부 유발요인에 대한 평가를 통해 컨텐츠 및 디스플레이 제작자, 시청자 등에 대한 안전 가이드라인이 제시되어 한다. 그러나 세부 유발요인에 따른 시각 피로 평가를 위해서는 시각 피로를 정량적으로 평가할 수 있는 방법론적 연구가 선행되어야 가능하다[18], [22]. 따라서 시각 피로를 정량적으로 평가할 수 있는 객관적이고 신뢰성 있는 방법의 개발이 시급한 실정이다.
시각 피로를 평가하는 방법은 크게 주관적 평가, 영상, 생체신호의 세 가지로 구분할 수 있다[8]. 주관적 평가를 이용한 시각 피로 평가는 설문을 통해 주관적으로 느껴지는 피험자의 평가에 기초 한다. 대표적으로 LCD(Liquid Crystal Display)와 PDP(Plasma Display Panel)의 시각 피로를 주관적 평가를 통해 비교한 연구[31], 2D HDTV(High Definition Television)와 3D HDTV의 시각 피로를 주관적 평가를 통해 비교한 연구[35] 등이 있으며, 그 이외에도 주관적 평가를 통해 시각 피로를 평가하는 다양한 연구들이 진행되고 있다[3], [6]. 그러나 주관적 평가를 통한 시각 피로 평가방법은 피험자의 개인차로 인해 정량적으로 비교 평가하기에는 한계가 있다.
생체 신호를 이용한 인지(시각) 피로 평가는 신뢰성이 높고 객관적이며, 정량적으로 인지 피로를 평가 할 수 있다는 장점이 있다. 인지 피로 평가에 이용되는 대표적인 생체신호에는 심전도(ECG, electrocardiogram)와 뇌파 (EEG, Electroencephalography)가 있다. 심전도를 이용해서는 R-피크(R peak)의 간격(R-R)을 계산하고, 스펙트럼(spectrum) 분석을 통해 교감과 부교감 신경계의 활성도를 평가할 수 있다. 연구에 따르면, 인지 피로가 증가할수록 교감신경계의 활성도가 증가한다는 결과가 보고되었다[28]. 뇌파 또한 스펙트럼 분석을 통해 각 주파수 대역별 파워 값을 추출할 수 있으며, 이를 인지 피로 평가에 이용한 연구가 있다.
대부분의 3D 영상은 양안의 시차를 이용해 좌안과 우안에 각각의 영상을 투사하고, 두 영상이 융합되는 과정을 통해 입체를 인지하게 된다[26]. 2D영상에 비해 3D 영상은 많은 양의 정보를 가지고 있기 때문에 이를 융합하는 과정에서 인지적 부하(負荷) 또는 로드(load)가 발생할 수 있다[36]. 이처럼 최근 인지 피로를 단순한 눈의 피로로 보는 것이 아니라, 시각정보 처리과정의 과부하로 보는 견해가 있다. 즉, 인지 피로는 시각적 불편함 보다는 인간의 시각정보 처리과정의 과부하로 인한 인지피로와 관련이 깊다[2], [10], [7]. 또한 사람이 인지적 피로를 느끼게 되면 어느 한 곳에 집중하기 어려워지고 정보처리 과정의 신경적 리소스(neuronal resources)를 반영하는 유발전위(EP, Evoked Potential) 성분(P1, P3, P7, and etc.)이 나타난다[15], [18],[19], [32].
사건관련 전위(ERP, Event-relate potential)를 통한 인지 피로 연구는 이러한 유발전위 반응을 이용해 인지피로를 평가한다. Li 등의 연구[15]에서는 2D와 3D 영상 컨텐츠 시청에 따른 오드볼 패러다임(Oddball Paradigm) 태스크 결과, P700 성분이 나타나고 잠복기(latency)가 증가하는 결과를 보고하였다. Mun 등의 연구[18]에서는 P600 성분이 나타나고 잠복기가 증가하는 결과를 나타내었다. 일반적인 인지 태스크의 경우 P300 성분이 나타나는 것으로 알려져 있으나, 상기 연구에서 P700과 P600의 후기 성분이 나타난 것은 인지적 로드로 인한 잠복기의 증가로 기인하는 것으로 보고되었다[28]. 사건관련 전위를 이용한 인지 피로 평가는 인지 피로를 인지적 관점에서 접근함으로써 객관적이고 정량적으로 인지 피로를 평가할 수 있는 이점이 있다. 그러나 사건관련 전위 측정을 위해 표적 자극(target)을 제시해야 하기 때문에 실시간 평가에 적용하기에는 한계가 있다. 또한 인지 기능과 관련된 인체 내의 전반적인 매커니즘이 고려되지 않고 뇌파에 대한 단편적인 접근을 통해 인지 반응을 평가하는 한계가 있다.
3D 영상 산업의 발전을 위해서는 3D 영상 산업 발전의 저해요인으로 작용하고 있는 인지 피로 유발요인에 대한 규명이 시급하다. 세부적인 인지 피로유발요인에 대한 규명을 위해 이를 정량적으로 평가할 수 있는 방법론적 연구가 진행되어 왔으나, 객관적인 인지 피로 평가방법론의 부재, 환경의 제약, 단일 파라미터를 통한 접근 등의 한계점이 존재한다. 3D 영상 컨텐츠에 의한 인지 피로를 정량적으로 평가할 수 있는 방법론이 명확하게 확립된 이후에 비로소 세부 유발요인에 대한 규명이 이루어질 수 있고, 휴먼 팩터(human factor) 문제를 최소화할 수 있는 가이드라인의 제시가 가능하다. 이러한 관점에서 정량적 인지피로 평가 방법론 연구는 매우 중요하다.
[1] Blakemore, C. (1970). Binocular depth perception and the optic chiasm, 10(1), Vision Research, 43-47.
[2] Blake, R., and Wilson, H. (2011). Binocular vision, Vision Research, 51(7), 754-770.
[3] Chen, M., and Lin C. (2004). Comparison of TFT-LCD and CRT on visual recognition and subjective preference, International Journal of Industrial Ergonomics, 34(3), 167-174.
[4] Cherland, E. (2012). The Polyvagal Theory: Neurophysiological Foundations of Emotions, Attachment, Communication, Self-Regulation, Journal of the Canadian Academy of Child and Adolescent Psychiatry, 21(4), 313-314.
[5] Darwin, E. (1872). The expression of the emotions in man and animals, New York: D. Appleton.
[6] Iwakiri, K., Mori, I., Sotoyama, M., Horiguchi, K., Ochiai, T., Jonai, H., and Saito, S. (2004). Survey on visual and musculoskeletal symptoms in VDT workers, Journal of Occupational Health, 46(6), 201-212.
[7] Kapoula, Z., Evdokimidis, I., Smyrnis, N., Bucci, M. P., and Constantinidis, T. S. (2002). EEG cortical potentials preceeding vergence and combine saccade-vergemce eye movement, Neuroreport, 13(15), 1893-1897.
[8] Kim, Y. J., Lee, E. C., Whang, M., and Park, K. R. (2011). A survey of objective measurement of fatigue caused by visual stimuli, Journal of the Ergonomics of Korea, 30(1), 195-202.
[9] Lambooij, M., IJsselsteijn, W. A., and Heynderickx, I. (2007) Visual discomfort in stereoscopic displays: a review, Stereoscopic Displays and Virtual Reality Systems XIV, 6490(1), 64900I(1)-64900I(11).
[10] Lambooij, M., Fortuin, M., Heynderickx, I., and IJsselsteijn, W. (2009). Visual discomfort and visual fatigue of stereoscopic displays: a review, Journal of Imaging Science, 53(3), 30201-30214.
[11] Lee, E. C., Heo, H., and Park, K. R. (2010). The comparative measurements of eyestrain caused by 2D and 3D displays, Consumer Electronics, IEEE Transactions on, 56(3), 1677-1683.
[12] Lepore, F., Ptito, M., and Lassonde, M. (1986). Stereoperception in cats following section of the corpus callosum and/or the optic chiasma, Experimental Brain Research, 61(2), 258-264.
[13] Li, H.-C. O. (2010). 3D Human Factors : Steps to standardizing guidelines for human-friendly 3D, The Korean Information Display Society, 27(3), 36-41.
[14] Li, H.-C. O. (2010). Human factor research on the measurement of subjective three dimensional fatigue, The Korean Society of Broadcast Engineers, 15(5), 607-706.
[15] Li, H-C. 0., Seo, I., Kham, K., and Lee, S. (2008). Measurement of 3D Visual Fatigue using Event-Related Potential(ERP): 3D Oddball Paradigm, 3DTV CONFERENCE.
[16] McCraty, R., Atkinson, M., Tomasino, D., and Bradley, R. T. (2009). The coherent heart: Heart-brain interactions, psychophysiological coherence, and the emergence of system-wide order, Integral Review, 5(2), 10-115.
[17] McCraty, R., and Watkins, A. (1996). Autonomic assessment report: a comprehensive heart rate variability analysis, HeartMath Research Center, 1-42.
[18] Mun, S., Park, M. C., Park, S. I., and Whang, M. (2012). SSVEP and ERP measurement of cognitive fatigue caused by stereoscopic 3D, Neuroscience Letters, 525(2), 89-94.
[19] Murata, A., Uetake, A., and Takasawa, Y. (2005). Evaluation of mental fatigue using feature parameter extracted from event-related potential, International Journal of Industrial Ergonomics, 35(8), 761-770.
[20] Naatanen R. (1990). The role of attention in auditory information processing as revealed by event-related potentials and other brain measures of cognitive function, Behavioral and Brain Sciences, 13(2), 201-233.
[21] Pan, J., and Tomplins, W. J. (1985). A real-time QRS detection algorithm, Biomedical Engineering, IEEE Transactions on, 32(3), 230-236.
[22] Park, S. I., Whang, M., Kim, J. H., Mun, S. C., and Ahn, S. M. (2011). Autonomic nervous system response affected by 3D visual fatigue evoked during watching 3D TV, Korean Society for Emotion & Sensibility, 14(4), 653-662.
[23] Porges, S. W. (1972). Heart rate variability: an autonomic correlation of reaction time performance . Bulletin of the psychonomic Society, 1, 270-272.
[24] Porges, S. W. (2007). A phy logenetic journey through the vagus and ambiguous Xth cranial nervous: a commentary on contemporary heart rate variability research, Biological Phychology, 74, 301-307.
[25] Porges, S. W. (2011). The polyvagal theory: Neurophysiological foundations of emotions, attachment, communication, and self-regulation, WW Norton & Company, New York & London.
[26] Qian, N. (1977). Binocular disparity and the percaption of depth, Neuron, 18(3), 359-368.
[27] Rawenwaaij-Arts, CAM., Kallee, LAA., and Hopman, JCM. (1996). Task force of the european society of cardiology and the north american society of pacing and electrophysiology, heart rate variability standards of measurement, physiological interpretation, and clinical use, Circulation, 93, 1043-1065.
[28] Sakamoto, K., Asahara, S., Sakashita, S., Yamashita, K., and Okada, A. (2012). Influence of 3DTV video contents on physiological and psychological measurements of emotional, Consumer Electronics, 2012 IEEE 16th International Symposium on, 1-4.
[29] Sokolov, E. N. (1963). Perception and the conditioned reflex, Oxford: Pergamon Press.
[30] Standing S. (2005). Gray's anatomy: the anatomical basis of clinical practice, Edinburgh: Churchill Livingstone.
[31] Takahashi, M. (2006). LCD vs PDP picture quality status and the task of FPD TVs, Korean Display Conference COEX.
[32] Toffanin, P., Jong, R., Johnson, A., and Martens, S. (2009). Using frequency tagging to quantify attentional deployment in a visual divided attention task, International Journal of Psychophysiolosical, 72(3), 289-298.
[33] Wolk, C., and Velden, M. (1989). Revision of the baroreceptor hypothesis on the basis of the new cardiac cycle effect. In N. W. Bond & D. A. T. Siddle (Eds.), Psychobiology: Issues and applications, 371-379.
[34] Wolk, C., Velden, M., Zimmerman, U., and Krug, S. (1989). The interrelation between phasic blood pressure and heart rate changes in the context of the "baroreceptor hypothesis", Journal of Psychophysiology, 397-402.
[35] Yano, S., Ide, S., Mitsuhashi, T., and Thwaites, H. (2002). A study of visual fatigue and visual comfort for 3D HDTV/HDTV images, Displays, 23(1), 191-201.
[36] 이승현. (2010). 3D 디스플레이 기술 및 시장 동향, Semiconductor Insights, 35, 6-10.
본 발명의 목적은 선행 연구들의 한계점을 보완한 새로운 인지 피로 평가방법 및 이를 적용하는 장치를 제시하는 것이다.
따라서 본 발명은 구심성 경로를 통한 뇌-심장 연결성을 기반으로 시각정보처리 과정의 과부하를 시각 피로 또는 인지 피로로 정의하고 이를 정량적으로 평가할 수 있는 방법 및 이를 적용하는 장치를 제안한다.
본 발명에 따른 인지 피로 평가 방법: 은
피험자로부터 심전도(ECG) 신호와 뇌전도(EEG) 신호를 임의 시간 동안 검출하는 단계;
상기 심전도 신호가 가지는 특정 성분에 동기화하는 성분으로서, 상기 뇌전도 신호로부터 서로 다른 시간 범위의 제1성분, 제2성분을 추출하는 단계;
상기 제1성분과 제2 성분 중 적어도 어느 하나의 파워를 계산하는 단계; 그리고
임의 값을 기준으로 상기 파워의 증감을 판단하여 상기 피험자의 인지 피로의 발생 유무를 결정하는 단계; 를 포함한다.
본 발명에 따른 인지 피로 평가 장치:는
EEG 센서와 ECG 센서를 포함하는 전극부;
상기 전극부를 통해 피험자로부터 EEG 신호와 ECG 신호를 검출하는 측정장치;
상기 인지 피로 평가 방법을 적용하여 상기 EEG 신호와 ECG 신호로부터 얻어진 데이터를 처리하여 피험자의 인지 피로를 평가하는 데이터 처리 시스템;을 포함한다.
본 발명에 따른 인지 피로 평가 방법 및 이를 적용하는 장치의 구체적인 실시 예에 따르면,
상기 심전도의 특정 성분은 R-피크(R-peak) 발생 시점이며, 제1성분은 R-피크 발생 시점으로부터 50-250ms의 범위에서 추출된 뇌파 성분이며, 제2성분은 상기 시점으로부터 250-600ms 범위에서 추출되는 뇌파 성분이다.
본 발명에 따른 인지 피로 평가 방법 및 이를 적용하는 장치의 구체적인 다른 실시 예에 따르면, 제1성분과 제2성분은 상기 EEG 신호 중 알파 대역(8-13Hz)에서 추출된다.
본 발명에 따른 인지 피로 평가 방법 및 이를 적용하는 장치의 구체적인 또 다른 실시 예에 따르면, 제1성분의 주파수는 10Hz이며, 제2성분의 주파수는 9-12Hz 이다.
본 발명에 따른 인지 피로 평가 방법 및 이를 적용하는 장치의 구체적인 또 다른 실시 예에 따르면, 상기 EEG 신호는, 국제 10-20 전극 시스템(international10-20 electrode system)에서 F3와 F4 지점에서 검출한다.
도1은 구심성 경로(afferent pathway)및 원심성 경로(efferent pathway)에 의한 뇌-심장 연결성을 보여 준다.
도2는 본 발명에 따른 인지 피로 평가 방법에 이용되는 HEP의 시간-파워(전위) 파형도이다.
도 3은 본 발명에 따른 인지 피로 평가 방법에서, HEP 데이터로부터 추출된 제1성분과 제2성분의 스펙트럼을 도시한다.
도4는 본 발명에 따른 인지 피로 평가 방법의 실제 실험 환경을 보이는 사진이다.
도5는 본 발명에 따라 뇌-심장 연결성을 보장하기 위한 훈련(task)의 흐름도이다.
도6은 본 발명에 따라 EEG, ECG, EOG 전극 부착 위치를 도시한다.
도7은 본 발명에 따른 인지 피로 평가 장치의 블록도이다.
도8은 본 발명에 따라 EEG, EOG, ECG 데이터로부터의 HEP 데이터 추출 및 그 처리 과정을 도시한다.
도9는 본 발명에 따라 2D 및 3D영상 콘텐츠 시청 후, 측정된 제1성분에서 전극별 알파파의 파워를 도시한다.
도10은 본 발명에 따라 2D 및 3D영상 콘텐츠 시청 후, 측정된 제2성분에서 전극별 알파파의 파워를 도시한다.
이하, 첨부된 도면을 참조하면서 본 발명에 따른 인지 피로 평가 방법 및 이를 적용하는 인지 피로 평가 장치의 실시 예에 대해 설명한다.
인지 피로는 다양한 시각적 자극에 의해 발생하여, 예를 들어 2D 또는 3D 영상 컨텐츠 등에 의해 증가할 수 있다. 본 발명은 모든 유형의 외적 자극에 따른 인지 피로를 평가하며, 이를 위하여 의도적으로 뇌-심장 연결성(heat-brain interaction)에 기초한 HEP(heart beat evoked potential)의 분석이 이용된다.
HEP의 초기 성분인 제1성분(first component)은 시각정보(visual sensory input)에 따른 심장활동의 정보가 미주신경을 통해 대뇌에 전달되는 속도를 반영하는 지표이며, HEP의 후기 성분인 제2성분(second component)은 심장의 혈류가 대뇌에 도달하는 속도를 반영하는 지표이다. 심장활동 정보의 전달 속도가 빠르다는 것은 인지적 기능이 그만큼 활발히 작용함을 나타내며, 혈류의 대뇌 전달 속도가 빠르다는 것은 대뇌의 정보처리과정이 활발히 일어남을 나타낸다.
본 발명은 모든 유형의 외적 자극에 따른 인지 피로를 평가하며, 이를 위하여 상기한 바와 같이 뇌-심장 연결성(heat-brain interaction)에 기초한 HEP 분석을 이용한다. 뇌-심장 연결성은 의도적인 특정한 준비 또는 훈련(task)에 의해 유도되며, 이에 대해서 후에 설명된다.
도1은 구심성 경로(afferent pathway)및 원심성 경로(efferent pathway)에 의한 뇌-심장 연결성을 보여 준다.
잘 알려진 바와 같이, 심장의 미주신경(vagus)은 혈압, 심박, 심장리듬과 같은 심장변화의 정보를 구심성 경로(afferent pathway)를 통해 뇌로 전달한다. 심장으로부터 발생된 구심성 신호는 뇌간의 고립로핵(NTS, nucleus of tractus solitarius)에 전달되고, 고립로핵(NTS)은 시상(thalamus), 시상하부(hypothalamus), 그리고 편도체(amygdala)를 거쳐 대뇌피질(cortex)에 도달한다. 이로 인해, 뇌와 심장을 연결하는 구심성 경로(afferent pathway)는 수행 능력(performance)과 인지 기능(cognitive function)의 정보를 반영한다[16], [33], [34].
심장박동에서 나타나는 R-피크(R-peak)의 정보(information)가 구심성 경로(afferent pathway)를 통해 뇌와 동기화 되면 뇌파의 알파파의 활성도(전위 또는 파워)가 증가한다. 도2는 HEP의 시간-전위(파워) 파형도이다.
HEP는 초기 성분 또는 제1성분(first component)과 후기 성분 또는 제2성분(second component)을 포함한다. 제1성분은 심장의 R-피크 발생 이후 또는 발생 시점으로부터, 50-250 ms의 시간 영역에서 나타나는 유발전위 반응이다.
상기 제1성분은 심장에서 뇌로 전달되는 구심성 신호(afferent signal)가 도달하는 시간정보를 포함하며, 따라서, 제1성분의 알파 대역(10Hz)의 파워에 의해 신경적 정보 전달속도를 높고 낮음을 정량적으로 판단할 수 있다. 예를 들어, 파워 값이 증가할수록 또는 높을수록 뇌에서 심장으로 가는 신경적 정보의 전달속도가 증가하거나 높다라고 판단할 수 있다.
상기 제2성분은 R-피크 발생 이후, 250-600 ms에서 나타나는 유발전위 반응으로서, 심장에서 뇌로 전달되는 혈류가 도달하는 시간정보를 포함한다. 예를 들어, 제2성분의 알파파(9-12Hz, 특히 9 Hz, 12 Hz 대역)의 파워 값이 증가하거나 높다는 것은 뇌에서 심장으로 가는 혈류의 전달속도가 증가하거나 빠르다는 것을 의미한다.
본 발명에서는 상기 제1성분과 제2성분으로부터 특정 대역의 파워를 인지 피로 평가 기준으로 이용한다. 도 3은 제1성분과 제2성분의 스펙트럼으로서, (a)는 상기 제1성분의 주파수 별 파워 변화, (b)는 제2성분의 주파수별 파워 변화를 보인다. 도3의 (a)에 도시된 바와 같이 제1성분에서는 스펙트럼 분석으로 도출된 각 주파수 대역에 파워 값 중 알파대역(8 - 13Hz)에 해당하는 10Hz 대역의 파워 값을 의미한다. 그리고 도 3의 (b)에 도시된 바와 같이 제 2성분에서는 스펙트럼 분석으로 도출된 각 주파수 대역에 파워 값 중 알파대역(8 - 13Hz)에 해당하는 9, 12Hz 대역의 파워 값을 의미한다. 본 발명에서는 제 1성분과 제 2성분에서 스펙트럼 분석을 통해 추출된 알파파 대역의 파워를 인지피로 평가 기준으로 이용한다.
이하, 본 발명의 인지 피로 평가 방법을 도출하는 과정에서 수행된 실험 방법 및 그 결과를 설명한다.
본 실험에 참여한 피험자는 상명대학교 및 대학원 재학생 28명 (남, 여 각각 14명, 평균나이: 24.1±3.1)을 대상으로 하였다. 실험에 참여한 피험자는 자율 및 중추신경계와 시각 기능에 이상이나 과거력이 없고 정상 및 교정시력이 0.8 이상인 사람을 대상으로 진행 하였다. 또한 3D 영상 컨텐츠 시청군(視聽群)에 대해 입체시(立體視, stereopsis) 테스트를 실시하고 입체를 보는 능력에 이상이 없는 피험자를 대상으로 실험을 진행하였다. 실험에 참여하기 전, 자율 및 중추신경계에 영향을 끼칠 수 있는 카페인, 음주, 흡연 등을 제한하였고 충분한 수면을 통해 실험 당일 피로를 최소화할 수 있도록 하였다. 또한, 피험자로부터 연구목적을 제외하고 실험에 대한 대략적인 사항에 대해 설명한 후 자발적 참여의지에 대한 피험자 동의서를 받았으며, 실험에 참여한 대가로 소정의 금액을 지불하여 실험에 적극적으로 참여할 수 있는 동기를 부여하였다.
실험에 참여한 28명의 피험자는 무작위로 각각 14명씩 2D 또는 3D 영상 컨텐츠 시청군으로 분류하였다. 피험자는 편안한 의자에 앉아 "스텝업-3D"(Summit Entertainment, Touchstone Pictures in USA, 2010)를 1시간 동안 시청하였고 컨텐츠는 40인치 LED-3DTV(Samsung, UN40ES6800F)와 블루레이 플레이어(Samsung BD-ES6000)를 통해 제시하였다. 시청거리는 3DC 안전시청 권고안(3H-6H, H: 디스플레이 높이)에 따라 1.68 미터(3H, H: 0.56 미터)로 하였다. 실험 환경은 도4에 도시된 바와 같다.
도4에 도시된 바와 같이 환경에서 2D와 3D 영상 컨텐츠를 제시한 후, 이에 따른 인지 피로를 확인하기 위해 시청전과 후에 주관평가와 인지피로를 평가할 수 있는 태스크를 실시하였다. 주관평가는 시각적 스트레스(VS, visual stress), 안구통증(EP, eye pain), 신체통증(BP, body pain), 상 흐림(IBP, image blurring factors)의 4요인으로 구성되었고 5점 척도로 설문을 실시하였다[14]. 설문 양식은 표 1과 같다.
설문 문항 -1점 -- 2점 -- 3점 -- 4점 -- 5점
매우 그렇지 않다 --- 매우 그렇다
시각적 스트레스 1 목에 별다른 통증이 없었다          
2 괴로웠다(힘들었다)
3 상이 뚜렷하게 보였다
4 시청을 그만하고 싶은 욕구가 있었다
5 스트레스를 받았다
6 눈물이 고이지 않았다
7 신경이 날카로워지는 느낌이었다
8 피곤하였다
9 혼란스러웠다
10 멍해지는 느낌이었다
11 머리가 아팠다
12 눈을 감고 싶은 욕구가 있었다
13 졸렸다
14 속이 울렁거렸다
15 어지러웠다          
안구통증 16 눈이 뻐근하였다
17 눈이 뻑뻑한 느낌이었다
18 눈이 충혈 된 느낌이었다
19 눈이 아팠다
20 눈이 건조해 지는 것 같았다
21 눈 주변(언저리)에 통증을 느꼈다
22 눈 안쪽에 통증이 느껴졌다
23 눈물이 고이는 것 같았다
24 시력이 저하되는 듯한 느낌 이었다
25 눈 깜빡거림이 후반부로 갈수록 증가하였다
신체적 통증 26 어깨가 뻐근했다          
27 목이 뻐근했다
28 등이 아팠다
29 팔과 손가락이 아팠다          
상 흐림 30 상이 이중으로 보였다
31 상이 뚜렷하게 보이지 않았다 (흐리게 보였다)
32 머리가 맑아지는 느낌이었다
33 원하는 곳에 초점을 맞추기 힘들었다          

한편, 인지 피로를 측정하기 위하여 전술한 바와 같이 뇌-심장 연결성을 보장하기 위한 훈련(task)를 실시하였다. 이러한 훈련으로는 소위 "Heart Lock-In Technique(Heart math)"를 적용할 수 있다[17], [27]. 도5는 상기 훈련 방법의 흐름도이다. 도5를 참조하면서 각 단계별로 상세히 설명한다.
1. Pre-subjective evaluation
이 단계는 2D 또는 3D 영상 컨텐츠 시청 전의 인지 피로도를 주관적으로 평가하는 과정이다. 여기에서의 주관적 평가 파라미터에는 시각적 스트레스(VS, visual stress), 안구통증(EP, eye pain), 신체통증(BP, body pain), 상 흐림(IBP, image blurring factors) 등의 4가지 요소가 포함된다. 각 요소의 세부 설문 항목이 존재하며, 주관평가는 5점 척도(1-매우 그렇다 / 3- 보통이다 / 5- 매우 그렇지 않다)로 실시하였다.
2. Sensor attachment
-EEG: 피험자에게 다수의 EEG 센서가 마련된 EEG캡(cap)을 씌우고 8ch(F3, F4, C3, C4, P3, P4, O1, O2) 데이터를 측정하였다. 검출된 아날로그 EEG 신호는 EEG 증폭기(EEG 100C)를 통해 증폭하고 DAQ board(NI-DAQ-Pad9205)를 통해 디지털화하여 PC에 저장하였다.
- EOG: EOG 센서를 수직(vertical) 1 채널(동공 기준 위, 아래 2.5 cm)과 수평(horizontal) 1 채널(좌, 우 눈 꼬리 2 cm)에 부착한 상태에서 아날로그 EOG 신호를 검출하였고, 검출된 EOG 신호는 EOG 증폭기(EOG 100C)를 통해 증폭하고 DAQ board(NI-DAQ-Pad9205)를 통해 디지털화하여 PC에 저장하였다.
-ECG: ECG 센서를 좌우 손목에 부착하여(Lead I) 아날로그 ECG 신호를 검출한 후 이를 ECG 증폭기(ECG 100C)를 통해 신호를 증폭하고 DAQ board(NI-DAQ-Pad9205)를 통해 디지털화하여 PC에 저장하였다.
3. Pre-heart lock-in task for HEP
- ECG의 R-피크와 EEG의 알파파와의 동기화 현상을 유발하기 위한 태스크로 피험자자신의 심장박동에 집중하는 훈련 또는 태스크이며, 이 과정을 통해 해 시청전의 3D 시각 피로(인지 피로) 평가에 활용한다.
4. Viewing 2D & 3D contents
- 피험자는 2D와 3D 영상 컨텐츠 시청군으로 분류되어 있으며 각각의 그룹에 따라 2D 또는 3D 컨텐츠를 1시간씩 시청하였다.
5. Post-heart lock-in task for HEP
- 상기 "Pre-heart lock-in task for HEP"와 동일한 태스크로서 2D 또는 3D 영상 컨텐츠 시청 후에 실시하였으며, 이 과정을 통해 2D 또는 3D 영상 컨텐츠 시청 후의 시각 피로(인지 피로) 평가에 활용한다.
6. Post-subjective evaluation
- 위의 첫단계인 "Pre-subjective evaluation"와 동일한 태스크로 이를 통해 2D 또는 3D 영상 컨텐츠 시청후의 3D 인지 피로 평가에 활용한다.
7. Removal of sensor & Subjective interview
- 모든 전 과정을 거친 후, 피험자에게 부착되었던 모든 센서를 제거한 후 전체 과정을 종료하였다.
- 센서 제거 후, 실험을 통해 느낀 점, 실제로 어느 정도 피로감이 느껴지는지, 2D에 비해 3D가 실제로 더 피로한 지, 실험 중에 특이사항이나 불편한 점은 있었는지(실험에 영향을 주었을 만한 요인에 대한 확인) 등의 정성적 데이터를 확보하였다.
상기와 같은 과정을 거친 후, 피험자로부터 HEP 데이터 수집 및 신호 처리를 수행하였다.
도6은 EEG, ECG, EOG 전극 부착 위치를 도시하고, 도 7은 전체 평가 시스템의 블록도이다.
먼저, 도6에 도시된 바와 같이, EEG 신호를 검출하기 위하여 국제 10-20 전극 시스템(international10-20 electrode system)를 적용하여 F3, F4, C3, C3, P3, P4, O1, O2 지점에 전극을 부착하였다. 따라서, EEG 신호는 전체적으로 8 채널을 통해 측정된 후 데이터화하였다. 이때에 AFz 지점을 그라운드로 Cz 지점을 레퍼런스로 하여 저항이 5 KΩ 이하가 되도록 하였다. 그리고 ECG신호의 측정에서는 표준사지유도법I (Standard lumb lead I)이 적용되어 왼손-오른손을 통한 1 채널로 신호를 수집하여 데이터화하였다. 또한 EOG 신호의 측정에는 수직(vertical) 1 채널(동공 기준 위, 아래 2.5 cm)과 수평(horizontal) 1 채널(좌, 우 눈 꼬리 2 cm)이 이용되었다.
도 7은 도 4에 도시된 인지 평가 시스템을 블록화하여 도시한 것이다. 도7을 참조하면, 본 발명에 따른 인지 피로 측정장치는 상기 EEG, ECG, EOG 센서를 포함하는 전극부(5)는 피험자(2)로부터 EEG, ECT, EOG 신호를 검출하는 것으로 EEG, ECG 및 EOG 측정장치(6)에 연결된다. 이 측정장치는 각 신호를 증폭하여 인터페이스 장치를 통해 컴퓨터(4)로 전송한다. 인지 평가 시스템의 데이터 처리 시스템으로서의 컴퓨터(4)는 상기 측정장치(6)로부터의 신호를 데이터화하여 저장한다. 컴퓨터(4)는 BPF(band pass filter) 모듈, ICA(Independent Component Analysis) 분석모듈, "QRS 검출 알고리즘"에 의한 R-피크 검출모듈, R-피크를 이용해 EEG로부터 HEP 데이터를 추출하는 데이터 추출 모듈, HEP데이터로부터 전술한 제1성분, 제2성분을 분리하는 성분분리 모듈; 분리된 제1성분과 제2성분을 이용하여 피험자의 인지 피로를 평가하는 모듈을 가진다. 상기 컴퓨터가 가지는 모듈들은 소프트웨어 형태로 상기 컴퓨터에 로딩되며, 부분적으로 하드웨어의 지원을 받을 수 있다.
이상과 같은 컴퓨터(4)는 디스플레이(1)를 통해 입체시(stereopsis) 측정을 위한 소프트웨어를 모듈 형태로 포함할 수 있으며, 별도로 마련된 모니터(4a)를 통해 EEG, ECG, EOG 신호 상태를 모니터링할 수 도 있다. 또한, 후술하는 트레이닝 세션을 수행 또는 모니터링 한다. 상기 컴퓨터(4)에 마련되는 키보드 등의 입력 장치(3)는 상기와 같은 작동을 위한 조작 등 전체 시스템의 제어에 이용된다.
도8에는 상기 EEG, EOG, ECG 데이터로부터의 HEP 데이터 추출 및 그 처리 과정이 도시되어 있다.
피험자로부터의 검출되는 EEG, ECG, EOG 신호는 각각 측정장치인 EEG100C, ECG100C, EOG100C amplifier(Biopac system Inc., USA)를 통해 증폭하고, NI-DAQ-Pad9205(National Instrument Inc., USA)를 이용하여 500 Hz의 속도로 수집(또는 축적)하여 데이터화하였다. 수집된 원형 데이터는 랩뷰(Labview) 2010 software(National Instrument Inc., USA)를 사용하여 처리 하였다.
측정을 통해 얻어진 원형(raw) EEG 데이터를 BPF(band pass filter)에 필터링하여 0.5-30 Hz 범위 외의 불필요 성분을 제거하였고, ERP(Event-Related Potential) 분석에서와 마찬가지로 ICA(Independent Component Analysis) 분석을 거쳐 EEG 데이터부터 EOG 성분을 제거함으로써 눈 깜박임에 의한 artifact 영향(또는 노이즈)을 최소하였다. 그리고 ECG 데이터로부터는 "QRS 검출 알고리즘"을 통해 R-피크를 검출하였다[21]. 검출된 R-피크를 기준으로 -100 ms에서 600 ms 사이의 데이터를 분할 또는 분리하였다. 분할된 데이터들은 분할된 데이터들의 총 평균을 구하는 "Grand Average Technique"에 의해 처리하여 HEP 데이터를 추출하였다. 추출된 HEP 데이터는 초기 성분인 제1성분(50-250 ms)과 후기 성분인 제2성분(250-600 ms)으로 분류하고, 각각 FFT(fast fourier transform) 분석을 통해 각 성분을 대역 별로 분리한 후 각 성분의 알파 대역의 파워 값을 추출하였다[16], [17].
이하, 본 발명에 따른 실험 결과에 대해 설명한다.
본 발명의 실험을 통해 무작위로 2D와 3D 영상 컨텐츠 시청군으로 피험자를 분류하고(between subject design) 두 그룹간의 인지 피로 차이를 확인하였다. 따라서 본 연구를 통해 얻어진 실험 데이터는 두 그룹 간 기저라인의 차이가 있을 수 있으므로 정규화 과정이 필요하다. 이에 따라, 모든 실험 데이터는 수식 (1)을 이용하여 각각 시청 전 대비 시청 후의 변화량을 계산하고 결과 수치를 비교하였다.
Figure 112012106762605-pat00001
<HEP의 제1성분>
HEP의 제1성분의 알파 파워 값 분석결과는 도9에 도시된 바와 같다. 2D컨텐츠와 3D 영상 컨텐츠 시청군 모두 모든 측정지점에서 알파파(10 Hz) 파워 값이 증가하는 패턴을 나타내었다. 그러나, 2D 컨텐츠 시청군에 비해 3D 영상 컨텐츠 시청군의 알파파(10Hz) 파워 값이 P4 지점을 제외하고 더 큰 폭으로 증가하였다. 특히 F3와 F4 지점에서 두 그룹간의 유의(有意)한 차이를 확인할 수 있었다(F3: t = -2.238, p = .039, F4: t = -2.749, p = .012). 그러나 F3와 F4 지점을 제외한 C3, C4, P3, P4, O1, O2 지점에서는 유의한 차이를 확인할 수 없었다(C3: t = -.963, p = .344, C4: t = -.182, p = .857, P3: t = -1.896, p = .078, P4: t = -1.351, p = .198, O1: t = -2.107, p = .053, O2: t = -.326, p = .747).
<HEP의 제2성분>
HEP의 제2성분의 알파 파워 값 분석결과는 도10에 도시된 바와 같다. 2D컨텐츠와 3D 영상 컨텐츠 시청군에서 P4 지점을 제외한 모든 측정지점(F3, F4, C3, C4, P3, O1, O2)에서 알파파(9 Hz, 12 Hz)의 파워 값이 증가하는 패턴을 나타내었다. 그러나 2D 컨텐츠 시청군에 비해 3D 영상 컨텐츠 시청군의 알파파(9 Hz, 12 Hz) 파워 값이 P4 지점을 제외하고 더 큰 폭으로 증가하였다. 특히 F3와 F4 지점에서 두 그룹간의 유의한 차이를 확인할 수 있었다(F3: t = -2.285, p = .039, F4: t = -2.749, p = .012). 그러나 F3와 F4 지점을 제외한 C3, C4, P3, P4, O1, O2 지점에서는 유의한 차이를 확인할 수 없었다(C3: t = -.967, p = .351, C4: t = -.909, p = .372, P3: t = -1.030, p = .316, P4: t = 1.886, p = .075, O1: t = -1.537, p = .146, O2: t = -.895, p = .379).
<결론>
3D 인지 피로가 3D 산업 발전의 큰 저해요인으로 작용하고 있는 시점에서 3D 인지 피로를 유발하는 세부유발요인에 대한 평가는 3D 산업 발전을 위해 매우 시급한 실정이다. 이러한 세부유발요인 규명을 위해서는 인지 피로를 정량적으로 평가할 수 있는 표준화된 방법이 선행되어야 한다. 따라서 본 발명을 통해서, HEP 초기 및 후기 성분의 알파 파워 값이 인지 피로를 정량적으로 평가할 수 있는 새로운 평가 변수로써의 이용 가능함을 확인하였다. 이하에서 선행 연구에 사용된 파라미터를 통해 인지 피로를 평가한 결과와 논의점을 정리하면 다음과 같다.
첫째, HEP 초기 성분 분석결과, 2D 컨텐츠 시청군보다 3D 영상 컨텐츠 시청군의 알파 파워 값이(10 Hz) F3와 F4 지점에서 더 크게 증가하는 결과를 확인하였다. 이 결과는 구심성 경로를 통한 미주신경의 신경적 정보전달 속도가 3D 영상 컨텐츠 시청군에서 더 빠른 것으로 해석할 수 있다[16]. "Poly-vagal Theory"에 따르면 외부 환경으로부터 들어오는 모든 감각 정보를 인지하는 것은 뇌에서만 처리되는 것은 아니다. 외부로부터 들어온 감각정보에 의해 즉각적인 심장반응의 변화가 우선적으로 발생하고, 이 정보는 구심성 경로를 통해 대뇌에 전달된다. 이로 인해 대뇌는 감각정보를 인지하게 되고, 그에 따른 명령을 원심성 경로(efferent pathway)를 통해 심장에 전달하게 된다. 즉, 감각정보의 인지과정은 구심성과 원심성 경로를 통한 뇌와 심장의 양방향성 연결성에 의해 발생한다는 이론을 뜻한다[4], [25]. 그리고 이러한 주장은 많은 선행 연구들을 통해서 보고되고 있다[5], [29], [23], [24]. 따라서 구심성 경로를 통한 신경적 정보전달이 활발히 일어나는 것은 눈을 통해 들어오는 시각정보량이 증가한 것으로 해석할 수 있으며, 이를 통해 대뇌의 시각정보처리 시스템이 시각정보를 처리과정에 있어서 과부하 현상을 나타내는 것으로 보인다. 따라서 HEP 초기 성분의 알파 파워 값이(10 Hz) 증가하는 것은 인지과정의 로드이며, 본 연구에서도 2D와 3D 영상 컨텐츠 시청군 사이의 유의한 차이를 보이는 결과를 확인하였다.
둘째, HEP 후기 성분 분석결과, 2D 컨텐츠 시청군보다 3D 영상 컨텐츠 시청군의 알파파(9 Hz, 12 Hz)의 파워 값이 F3와 F4지점에서 더 크게 증가하는 결과를 확인하였다. HEP 후기 성분의 알파파(9 Hz, 12 Hz)의 파워 값이 증가하는 것은 구심성 경로를 통한 미주신경의 혈류의 전달 속도가 3D 영상 컨텐츠 시청군에서 더 빠른 것으로 해석할 수 있다[16]. 일반적으로 대뇌의 정보 처리량이 증가하게 되면 많은 혈류를 요하게 된다[20]. 이러한 관점에서 3D 영상 컨텐츠 시청군의 혈류 전달속도가 2D 컨텐츠 시청군보다 빠르게 나타나는 것은 시각정보처리과정이 활발히 일어나고 있음을 시사한다. 따라서 HEP 후기 성분의 알파파(9 Hz, 12 Hz) 파워 값이 증가하는 것은 인지피로가 증가하는 것으로 판단할 수 있으며, 본 발명의 실험 결과에서도 2D와 3D 영상 컨텐츠 시청군 사이에 유의한 차이를 보이는 결과를 확인하였다.
본 발명의 연구 결과를 통해 HEP 초기 및 후기 성분의 알파 파워 값을 통해 3D 인지피로를 평가할 수 있는 새로운 파라미터로서 이용될 수 있는 가능성을 확인하였다. 그러나 F3와 F4 지점을 제외한 다른 지점에서는 유의미한 결과를 확인할 수 없었다. 이는 좌안과 우안을 통해 들어온 영상의 깊이 정보를 인식하기 위해 융합되는 과정에서 일어나는 현상으로 보인다. 일반적으로 좌안과 우안으로 들어온 시각정보는 시신경 교차점(optic chiasma)에서 하나의 상으로 융합되며, 이를 통해 깊이정보를 인지하게 된다[1], [12], [30]. 이처럼 좌우상을 융합하는데 있어서 전두엽에 위치한 시신경 교차점이 3D 깊이 정보를 인지하는 과정에서 나타나는 인지적 로드로 해석할 수 있다. 따라서 F3와 F4 지점에서 유의한 차이를 보인 것으로 판단된다.
상기와 같은 연구 결과에 따라 시각 및 인지피로가 유발되었다고 판단할 수 있는 경우는 다음과 같다.
1. HEP 초기 성분의 알파파(10Hz)의 파워 값이 시각적으로 피로하지 않은 상태로 보는 기준 값에 비해 증가한 경우
2. HEP 후기 성분의 알파파(9 Hz, 12 Hz)의 파워 값이 시각적으로 피로하지 않은 상태로 보는 기준 값에 비해 증가한 경우
상기와 같은 본 발명에 의해 제안된 인지 피로 평가 방법을 통해 인지 피로를 정량적으로 평가할 수 있으며, 3D 인지 피로를 유발할 수 있는 다양한 세부유발요인에 대한 규명에 활용할 수 있을 것으로 기대된다. 이로 인해 3D 영상 컨텐츠 산업 발전에 저해요인으로 작용하고 있는 3D 영상 컨텐츠에 의한 시각피로를 최소화하는데 기여할 수 있는 원천적 발명으로서 그 의의가 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 보호범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.
1: 디스플레이
2: 피험자
3: 입력장치
4: 컴퓨터
5: 전극부
6: 측정장치

Claims (13)

  1. 피험자로부터 심전도(ECG) 신호와 뇌전도(EEG) 신호를 임의 시간 동안 검출하는 단계;
    상기 심전도 신호가 가지는 특정 성분에 동기하는 성분으로서, 상기 뇌전도 신호로부터 서로 다른 시간 범위의 제1성분, 제2성분을 추출하는 단계;
    상기 제1성분과 제2 성분 중 적어도 어느 하나의 파워를 계산하는 단계; 그리고
    임의 값을 기준으로 상기 파워의 증감을 판단하여 상기 피험자의 인지 피로의 발생 유무를 결정하는 단계;를 포함하는 인지 피로 평가 방법.
  2. 제1항에 있어서,
    상기 심전도의 특정 성분은 R-피크(R-peak) 발생 시점이며,
    상기 제1성분은 R-피크 발생 시점으로부터 50-250ms의 범위에서 추출된 뇌파 성분이며, 그리고
    상기 제2성분은 상기 시점으로부터 250-600ms 범위에서 추출되는 뇌파 성분인 것을 특징으로 하는 인지 피로 평가 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 제1성분과 제2성분은 상기 EEG 신호 중 알파 대역(8-13Hz)에서 추출하는 것을 특징으로 하는 인지 피로 평가 방법.
  4. 제3항에 있어서,
    제1성분의 주파수는 10Hz이며, 제2성분의 주파수는 9-12Hz 인 것을 특징으로 하는 인지 피로 평가 방법.
  5. 제1항 또는 제2항에 있어서,
    제1성분의 주파수는 10Hz이며, 제2성분의 주파수는 9-12Hz 인 것을 특징으로 하는 인지 피로 평가 방법.
  6. 제1항 또는 제2항에 있어서,
    EEG 신호는, 국제 10-20 전극 시스템(international10-20 electrode system)에서 F3와 F4 지점에서 검출하는 것을 특징으로 하는 인지 피로 평가 방법.
  7. 제3항에 있어서,
    EEG 신호는, 국제 10-20 전극 시스템(international10-20 electrode system)에서 F3와 F4 지점에서 검출하는 것을 특징으로 하는 인지 피로 평가 방법.
  8. EEG 센서와 ECG 센서를 포함하는 전극부;
    상기 전극부를 통해 피험자로부터 EEG 신호와 ECG 신호를 검출하는 측정장치;
    제1항 또는 제2항에 기재된 인지 피로 평가 방법을 적용하여 상기 EEG 신호와 ECG 신호로부터 얻어진 데이터를 처리하여 피험자의 인지 피로를 평가하는 데이터 처리 시스템;을 포함하는 인지 피로 평가 장치.
  9. 제8항에 있어서,
    상기 제1성분과 제2성분은 상기 EEG 신호 중 알파 대역(8-13Hz)에서 추출되는 것을 특징으로 하는 인지 피로 평가 장치.
  10. 제8항에 있어서,
    제1성분의 주파수는 10Hz이며, 제2성분의 주파수는 9-12Hz 인 것을 특징으로 하는 인지 피로 평가 장치.
  11. 제8항에 있어서, 상기
    EEG 신호는, 국제 10-20 전극 시스템(international10-20 electrode system)에서 F3와 F4 지점에서 검출하는 것을 특징으로 하는 인지 피로 평가 장치.
  12. 제9항에 있어서,
    상기 EEG 신호는, 국제 10-20 전극 시스템(international10-20 electrode system)에서 F3와 F4 지점에서 검출하는 것을 특징으로 하는 인지 피로 평가 장치.
  13. 제10항에 있어서,
    상기 EEG 신호는, 국제 10-20 전극 시스템(international10-20 electrode system)에서 F3와 F4 지점에서 검출하는 것을 특징으로 하는 인지 피로 평가 장치.
KR1020120151363A 2012-12-21 2012-12-21 인지 피로 평가 방법 및 이를 적용하는 장치 KR101357800B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120151363A KR101357800B1 (ko) 2012-12-21 2012-12-21 인지 피로 평가 방법 및 이를 적용하는 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120151363A KR101357800B1 (ko) 2012-12-21 2012-12-21 인지 피로 평가 방법 및 이를 적용하는 장치

Publications (1)

Publication Number Publication Date
KR101357800B1 true KR101357800B1 (ko) 2014-02-04

Family

ID=50269708

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120151363A KR101357800B1 (ko) 2012-12-21 2012-12-21 인지 피로 평가 방법 및 이를 적용하는 장치

Country Status (1)

Country Link
KR (1) KR101357800B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180060237A (ko) * 2016-11-28 2018-06-07 대한민국(국립재활원장) 피험자 피로도를 반영한 뇌파 분석 방법 및 시스템
US20180235498A1 (en) * 2017-02-17 2018-08-23 Sangmyung University Industry-Academy Cooperation Foundation Method and system for detecting information of brain-heart connectivity by using pupillary variation
KR20180095430A (ko) * 2017-02-17 2018-08-27 상명대학교산학협력단 동공 반응을 이용한 뇌-심장 연결성 정보 추출 방법 및 시스템
KR20200019162A (ko) * 2017-02-17 2020-02-21 상명대학교산학협력단 동공 반응을 이용한 심장 시간 정보 추출 방법 및 시스템
US11179093B2 (en) * 2017-09-27 2021-11-23 Apexk Inc. Apparatus and method for evaluating cognitive function

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008301841A (ja) 2007-06-05 2008-12-18 National Institute Of Advanced Industrial & Technology 精神的疲労の検出方法、装置及びプログラム
KR20100104330A (ko) * 2009-03-17 2010-09-29 광운대학교 산학협력단 3차원 아드볼 패러다임을 이용하여 객관적으로 3차원 디스플레이 유발 피로감을 측정할 수 있는 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008301841A (ja) 2007-06-05 2008-12-18 National Institute Of Advanced Industrial & Technology 精神的疲労の検出方法、装置及びプログラム
KR20100104330A (ko) * 2009-03-17 2010-09-29 광운대학교 산학협력단 3차원 아드볼 패러다임을 이용하여 객관적으로 3차원 디스플레이 유발 피로감을 측정할 수 있는 방법 및 장치

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180060237A (ko) * 2016-11-28 2018-06-07 대한민국(국립재활원장) 피험자 피로도를 반영한 뇌파 분석 방법 및 시스템
KR101889387B1 (ko) 2016-11-28 2018-09-20 대한민국 피험자 피로도를 반영한 뇌파 분석 방법 및 시스템
US20180235498A1 (en) * 2017-02-17 2018-08-23 Sangmyung University Industry-Academy Cooperation Foundation Method and system for detecting information of brain-heart connectivity by using pupillary variation
KR20180095430A (ko) * 2017-02-17 2018-08-27 상명대학교산학협력단 동공 반응을 이용한 뇌-심장 연결성 정보 추출 방법 및 시스템
CN108451496A (zh) * 2017-02-17 2018-08-28 祥明大学校产学协力团 检测脑心连通性的信息的方法及其系统
KR20200019162A (ko) * 2017-02-17 2020-02-21 상명대학교산학협력단 동공 반응을 이용한 심장 시간 정보 추출 방법 및 시스템
US10667714B2 (en) 2017-02-17 2020-06-02 Sangmyung University Industry-Academy Cooperation Foundation Method and system for detecting information of brain-heart connectivity by using pupillary variation
KR102165831B1 (ko) * 2017-02-17 2020-10-14 상명대학교산학협력단 동공 반응을 이용한 뇌-심장 연결성 정보 추출 방법 및 시스템
KR102193726B1 (ko) * 2017-02-17 2020-12-21 상명대학교산학협력단 동공 반응을 이용한 심장 시간 정보 추출 방법 및 시스템
US11179093B2 (en) * 2017-09-27 2021-11-23 Apexk Inc. Apparatus and method for evaluating cognitive function
US20210393190A1 (en) * 2017-09-27 2021-12-23 Apexk Inc. Apparatus and method for evaluating cognitive function

Similar Documents

Publication Publication Date Title
Tauscher et al. Immersive EEG: evaluating electroencephalography in virtual reality
Sclocco et al. Brain circuitry supporting multi-organ autonomic outflow in response to nausea
Naqvi et al. EEG based time and frequency dynamics analysis of visually induced motion sickness (VIMS)
Park et al. Evaluation of 3D cognitive fatigue using heart–brain synchronization
Naqvi et al. Does 3D produce more symptoms of visually induced motion sickness?
Poltavski et al. Accommodative response and cortical activity during sustained attention
Folmer et al. Electrophysiological assessments of cognition and sensory processing in TBI: applications for diagnosis, prognosis and rehabilitation
Park et al. Does visual fatigue from 3D displays affect autonomic regulation and heart rhythm?
Cléry et al. Atypical visual change processing in children with autism: an electrophysiological study
Lorteije et al. Delayed response to animate implied motion in human motion processing areas
Schuller et al. Perception of static eye gaze direction facilitates subsequent early visual processing
KR101357800B1 (ko) 인지 피로 평가 방법 및 이를 적용하는 장치
Calore et al. Analysis of brain activity and response during monoscopic and stereoscopic visualization
US20180220885A1 (en) Method and system for noncontact vision-based 3d cognitive fatigue measuring by using task evoked pupillary response
Yamasaki et al. Selective impairment of optic flow perception in amnestic mild cognitive impairment: evidence from event-related potentials
Wijers et al. Foveal and parafoveal spatial attention and its impact on the processing of facial expression: An ERP study
Rastelli et al. Neural dynamics of neglected targets in patients with right hemisphere damage
Roberts et al. Vestibular and oculomotor influences on visual dependency
Farina et al. Neurophysiological correlates of eye movement desensitization and reprocessing sessions: preliminary evidence for traumatic memories integration
Gomez-Pilar et al. Assessment of neurofeedback training by means of motor imagery based-BCI for cognitive rehabilitation
VerMaas et al. Children with cerebral palsy display altered neural oscillations within the visual MT/V5 cortices
Illman et al. Reproducibility of Rolandic beta rhythm modulation in MEG and EEG
Lindı́n et al. Changes in P300 amplitude during an active standard auditory oddball task
Begum et al. Influence of education level on design-induced N170 and P300 components of event related potentials in the human brain
Samima et al. Correlation of P300 ERPs with visual stimuli and its application to vigilance detection

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170109

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180213

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190110

Year of fee payment: 6