KR20180090717A - 비접촉 영상 기반 3d 인지피로 평가방법 및 시스템 - Google Patents

Abstract

비접촉 방법으로 동공 반응에 기반하여 3D 인지피로를 평가하는 방법에 관해 기술된다. 평가 방법은, 목표 자극(Target Stimulus)에 노출된 피험자로부터 동공 영상을 획득하고, 상기 동공 영상으로부터 TEPR(task evoked pupillary response)을 산출하고, 상기 TEPR의 파형에서 포지티브 도미넌트 피이크를 검출하고, 상기 도미넌트 피이크의 잠복기(Latency)를 추출하고, 그리고 상기 잠복기를 기준값(reference value)에 비교하여 피험자의 인지피로 발생 여부를 판단한다.

Description

비접촉 영상 기반 3D 인지피로 평가방법 및 시스템{Noncontact vision-based 3D cognitive fatigue measuring method by using task evoked pupillary response and System using the method}

본 발명은 비접촉 영상을 기반으로, 동공 반응을 유발하는 태스크(TEPR, task evoked pupillary response)를 이용해 3D 인지피로(3 Dimensional cognitive fatigue)를 측정 또는 평가하는 방법 및 시스템에 관한 것이다.

시청자(Viewer)는 2D 콘텐츠 보다는 높은 실재감과 역동성을 가지는 3D 콘텐츠에 더 몰입하는 경향이 있다. 그러나 과도한 몰입은 종종 시각적 불편 및 피로와 같은 불리한 휴먼팩터(인적요소, Human factor)을 유발한다.

3D 휴먼 팩터는, 시청자의 특성 (연령, 성별, 시청 위치, 시각적 기능 및 능력), 콘텐츠 요인 (색, 휘도 및 대비), 시청 환경 (주변 광도, 시청 거리, 시청 각도 및 시청 시간), 디스플레이 (크로스토오크, 해상도, 디스플레이 조도 및 재생 빈도) 및 장치 (3D 안경 및 카메라 설정) 등에 세부유발 요인에 의해 정의된다.

이러한 휴먼 팩터들은 3D 시청 경험을 향상시키기 위하여 시각적 피로 회복에 상관 지어져 왔고, 그 결과로 시각적 피로를 최소화하면서 시청 경험을 향상시키기 위해 정량적 측정 방법이 개발되었다.

3D 시각 피로는 주관적 평가(subjective rating)에 의해 정량적으로 측정되었으며, 그 외에 심장 반응, 뇌 반응, 시각 능력 등에 의해서도 정량적으로 측정되었다.

최근에는, 3D 시각 피로를 측정하기 위한 인지 부하(Cognitive Load)가 활용되었다. 인지 과정(cognitive processing)의 둔화(degradation)는 시각적 불쾌감의 주요 요인이다. 보다 깊은 품질의 3D 콘텐츠는 2D 콘텐츠 보다 더 많은 신경 자원 프로세스(neural resource process)를 요구한다. 일반적으로 시각적 피로는 집중 과정에서 생성되어 신경 자원의 감소 또는 쇠퇴를 초래한다. 따라서 3D 시각 피로는 시각적 지각(visual perception) 또는 기능(function) 보다는 인지적 부하(cognitive load)을 기반으로 이해되어야 한다. 3D 인지 부하는 ERP(event-related potential) 및 HEP(heartbeat evoked potential)을 분석하여 시각적 피로를 결정합니다. 그러나 바이오 센서는 측정 부하를 유발하는 피부에 부착 되어야 하기 때문에 실제 측정에는 한계가 있다.

따라서, 이러한 제한을 극복하기 위해 비접촉 측정이 이용된다. 따라서 본 연구는 생리 반응을 포함한 인간 행동의 동공 반응을 기반으로 3D 시각 피로를 측정하는 비접촉식 방법을 개발하는 데 그 목적이 있습니다.

PSV(pupil size variation)는 구심성 신경경로와 원심성 신경경로(afferent and efferent neural pathway)를 통하는 중추 신경계 (CNS, central nervous system)와 밀접한 관계가 있다. 콘텐츠가 시각적 정보로 인지되는 동안, 눈, 특히 망막 수용체의 감광성 망막 신경절 세포는 시각 정보를 시신경 유두(Optic Disc)를 통해 시신경으로 전달하고, 그리고 상완 중뇌의 전정 핵 (pretectal nucleus)의 시냅스로 전달한다.

시개 전핵(pretectal nucleus)은 안구운동핵(nuclei of oculomotor) 중의 하나 인 덧눈돌림신경핵(Edinger-Westphal nucleus)에 시각 정보를 전달한다. 그러면, 괄약근(sphincter)과 확장기 근육(dilator muscles)을 통한 동공 크기의 신경 제어에 더하여, 동안신경(oculomotor nerve)과 안신경(ophthalmic nerve)은 각각 자극 된다.

PSV는 또한 인지 부하(Cognitive load), 지각(perception), 기억력(memory), 주의력(attention) 및 뇌 활동(brain activity)에 의해 기능적으로 영향을 받는다. 도1은 신경 회로망(neural network)의 세부 사항을 보인다.

따라서 3D 시각 피로는 인지 부하와 주의력 수준과 같은 인지 기능과의 관계를 나타내게 된다. 따라서, 인지 부하(Cognitive load)의 영향을 받는 PSV는 3D 인지피로의 지표(indicator)로서 제시되었다.

동공 지름은 인간 두뇌의 프로세스 부하 (인지 부하)가 증가할 때 증가된다. 다른 연구에 따르면, 인지 부하가 높을수록 동공 지름, 평균 동공 지름 변화(MPDC, mean pupil diameter change), TEPR(task-evoked pupillary response) 진폭 및 지속 시간이 증가한다고 보고되었다. 동공 지름의 저주파 대역(LF, 0-1.6 Hz)과 과 고주파 대역(HF, 1.6-4 Hz) 사이의 비율은 인지 부하 하에서 유의하게 낮았다. 따라서, 동공 리듬은 인지 부하와 관련되어 있으며 3D인지피로의 측정치로 관측된다.

Blakemore C., 1970. Binocular depth perception and the optic chiasm. Vision Res., 10, 43-47. Boksem M.A., Meijman T.F., Lorist M.M., 2005. Effects of mental fatigue on attention: An ERP study. Brain Res. Cogn. Brain Res., 25, 107-116. Campbell D.T., Fiske D.W., 1959. Convergent and discriminant validation by the multitrait-multimethod matrix. Psychol. Bull., 56, 81-105. Cherland E., 2012. The Polyvagal Theory: Neurophysiological foundations of emotions, attachment, communication, and self-regulation. J. Am. Acad. Child Adolesc. Psychiatr., 21, 313-314. Darwin C., 1998. The expression of the emotions in man and animals. 3rd ed. New York: Oxford University Press. Daugman J., 2004. How iris recognition works. IEEE Trans. Circuits Syst. Video Technol., 14, 21-30. Dunnett C.W., 1955. Amultiple comparisons procedure for comparing several treatments with a control. J. Am. Stat. Assoc., 50, 1096-1121. Gonzalez R.C., Woods R.E., 2008. Digital image processing. 2nd ed. Nueva Jersey. Guerra P.M., Sanchez-Adam A., Miccoli L., Polich J., Vila J., 2016. Heart rate and P300: Integrating peripheral and central indices of cognitive processing. Int. J. Psychophysiol., 100, 1-11. Hansen A.L., Johnsen B.H., Thayer J.F., 2003. Vagal influence on working memory and attention. Int. J. Psychophysiol., 48, 263-274. Isreal J.B., Chesney G.L., Wickens C D., Donchin E., 1980. P300 and tracking difficulty: Evidence for multiple resources in dual-task performance. Psychophysiology, 17, 259-273. Kim Y., Lee E.C., 2011. EEG based comparative measurement of visual fatigue caused by 2D and 3D. in Proc. HCI International 2011, Communications in computer and information science, 174, 289-292. Lambooij M.T.M., Ijsselsteijn W.A., Heynderick I., 2007. Visual discomfort in stereoscopic displays: a review. Proc. SPIE-IS and T Electronic Imaging, SPIE 6490, 1-13. Lambooij M.T.M., Fortuin M., Heynderick I., Ijsselsteijn W., 2009. Visual discomfort and visual fatigue of stereoscopic displays: a review. J. Imaging Sci. Technol., 53, 1-14. Lane R.D., Reiman E.M., Ahern G.L., Thayer J.F., 2001. Activity in medial prefrontal cortex correlates with vagal component of heart rate variability during emotion. Brain Cogn., 47, 97-100. Lee E.C., Lee S., Won S.C., Park K.R., 2009. Minimizing eyestrain on LCD TV based on edge difference and scene change. IEEE. T. Consum. Electr., 55, 2294-2300. Lee E.C., Heo H., Park K.R., 2010. The comparative measurements of eyestrain caused by 2D and 3D displays. IEEE. T. Consum. Electr., 56, 1677-1683. Lepore F., Ptito M., Lassonde M., 1986. Stereoperception in cats following section of the corpus callosum and/or the optic chiasma. Exp. Brain Res., 61, 258-264. Li H., Seo J., Kham K., Lee S., 2008. Measurement of 3D visual fatigue using event-related potential (ERP): 3D oddball paradigm. in Proc. 3DTV Conference: The True Vision-Capture, Transmission and Display of 3D Video, 213-216. Li H., 2010. Human factor research on the measurement of subjective three dimensional fatigue. J. Broadcast. Eng., 15, 607-616. Machado S., Arias-Carrion O., Sampaio I., Bittencourt J., Velasques B., Teixeira S., Nardi A.E., Piedade R., Ribeiro, P., 2014. Source imaging of P300 visual evoked potentials and cognitive functions in healthy subjects. Clin. EEG Neurosci., 45, 262-268 Martin F.H., Garfield J., 2006. Combined effects of alcohol and caffeine on the late components of the event-related potential and on reaction time. Biol. Psychol., 71, 63-73. McCraty R., Watkins A., 1996. Autonomic assessment report: A comprehensive heart rate variability analysis. Boulder Creek: Institute of HeartMath, 1-42. McCraty R., Atkinson M., Tomasino D., Bradley R., 2009. The coherent heart: Heart-brain interactions, psychophysiological coherence, and the emergence of system-wide order. Integral Review, 5, 10-115. Mun S.C., Park M.C., Park S., Whang M., 2012. SSVEP and ERP measurement of cognitive fatigue caused by stereoscopic 3D. Neurosci. Lett., 525, 89-94. Pan J., Tompkins W.J., 1985. A real-time QRS detection algorithm. IEEE Trans. Biomed. Eng., 32, 230-236. Park S., Mun S.C., Kim J.H., Ahn S.M., Whang M., 2011. Autonomic nervous system response affected by 3D visual fatigue evoked during watching 3D TV. The journal of the Korean Society for Emotion and Sensibility, 14, 653-662. Park S., Won M.J., Mun S.C., Lee E.C., Whang M., 2014. Does visual fatigue from 3D displays affect autonomic regulation and heart rhythm. Int J Psychophysiol., 92, 42-48. Park S., Won M.J., Lee E.C., Mun S., Park M.C., Whang M., 2015. Evaluation of 3D cognitive fatigue using heart-brain synchronization. Int J Psychophysiol., 97, 120-130. Polich J., 2007. Updating P300: an integrative theory of P3a and P3b. Clin. Neurophysiol., 118, 2128-2148. Porges S.W., 1972. Heart rate variability: an autonomic correlation of reaction time performance. Psychon. Bull. Rev., 1, 270-272. Porges S.W., 2007. The polyvagal perspective. Biol. Psychol., 74, 116-143. Porges S.W., 2011. The polyvagal theory: Neurophysiological foundations of emotions, attachment, communication, and self-regulation. 1st ed. New York: W. W. Norton. Sakamoto K., Asahara S., Sakashita S., Yamashita K., Okada A., 2012. Influence of 3DTV video contents on physiological and psychological measurements of emotion. in Proc. Consumer Electronics, IEEE 16th International Symposium, 1-4. Sokolov E.N., 1963. Perception and the conditioned reflex. Pergamon Press; Oxford, U.K. Standing S., 2005. Gray's anatomy: The anatomical basis of clinical practice. 39th ed. London: Churchill Livingstone. Takahashi M., 2006. LCD vs PDP picture quality status and the task of FPD TVs. in Proc. Korean Display Conf. COEX, Seoul. Toffanin P., Jong R., Johnson A., Martens S., 2009. Using frequency tagging to quantify attentional deployment in a visual divided attention task. Int. J. Psychophysiol., 72, 289-298. Trejo L.J., Kochavi R., Kubitz K., Montgomery L.D., Rosipal R., Mattews B., 2006. EEG-based estimation of mental fatigue: convergent evidence for a three-state model. in Proc. C. Stephanidis, ed. Universal access in HCI, Part II, HCII 2007. LNCS 4555. Berlin: Springer Verlag, 201-211. Wickens C.D., 1991. Processing resources and attention. Multiple-task performance, NY Academic Press; USA. Wolk C., Velden M., Zimmerman U., Krug S., 1989. The interrelation between phasic blood pressure and heart rate changes in the context of the 'baroreceptor hypothesis'. J. Psychophysiol., 3, 397-402. Yano S., Ide S., Mitsuhashi T., Thwaites H., 2002. A study of visual fatigue and visual comfort for 3D HDTV/HDTV. Displays, 23, 191-201.

본 발명은 비접촉 방법의 사용에 따라 접촉식 측정 장치의 부착 부담을 극복할 수 있는 동공 반응에 기반한 인지피로 또는 시각 피로를 측정하는 방법에 관한 것이다.

본 발명은 동공 반응을 얻기 위하여 영상 정보를 피험자로부터 획득하며, 이 영상의 정보 처리에 얻어진 동공 반응을 이용하여 2D 또는 3D 인지피로를 평가하는 방법을 제시한다.

본 발명에 따른 평가 방법:은

목표 자극(Target Stimulus)에 노출된 피험자로부터 동공 영상을 획득하는 단계;

상기 동공 영상으로부터 TEPR(task evoked pupillary response)을 산출하는 단계;

상기 TEPR의 파형에서 도미넌트 피이크를 검출하는 단계;

상기 도미넌트 피이크의 잠복기(Latency)를 추출하는 단계;

상기 잠복기를 기준값(reference value)에 비교하여 피험자의 인지피로 발생 여부를 판단하는 단계; 를 포함한다.

본 발명의 일 실시 예에 따르면,

상기 영상 데이터를 검출하는 단계:는

상기 피험자의 안면 영상을 적외선 카메라에 의해 획득하는 단계;

상기 안면 영상에서 동공 영상을 추출하는 단계; 그리고

상기 동공 영상으로부터 PSV(Pupil Size Variation)를 추출하는 단계;

PSV로부터 TEPR을 산출하는 단계;를 포함한다.

본 발명의 다른 실시 예에 따르면,

상기 PSV를 추출하는 단계:는

상기 안면 영상의 원형 데이터를 소정 주파수로 샘플링하는 단계; 그리고

상기 샘플링에 의해 얻어진 데이터로부터 상기 PSV를 산출하는 단계; 를 포함한다.

본 발명의 다른 실시 예에 따르면,

상기 PSV로부터 -200 내지 1000ms의 목표 자극 개시(Target Simue start)에 기초하여 1200ms 에포크(epoch)로 다수 분할된 단위(unit) PSV를 산출하는 단계를 더 포함한다.

본 발명의 구체적인 실시 예에 따르면, 다수 분할된 상기 단위 PSV들을 그랜드 평균 기법(grand average technique)으로 결합하여 상기 TEPR을 구한다.

상기 방법을 수행하는 본 발명에 따른 평가 시스템:은

상기 피험자의 안면 영상을 획득하는 적외선 카메라;

상기 적외선 카메라로부터 상기 영상 데이터를 처리하는 영상 처리부;

상기 영상 데이터로부터 TEPR를 산출하고 TEPR로부터 도미넌트 피이크의 잠복기를 구하고, 상기 잠복기를 기준값에 비교하여 인지피로 여부를 판단하는 인지피로 분석부;를 포함한다.

본 발명의 한 실시 예에 따르면,

상기 영상 처리부:는 상기 안면 영상에서 동공 영상을 추출하고, 그리고 상기 동공 영상으로부터 소정 주파수 샘플링에 의해 PSV를 추출할 수 있다.

본 발명의 다른 실시 예에 따르면,

상기 분석부:는 상기 PSV로부터 -200 내지 1000ms의 목표 자극 개시에 기초하여 1200ms 에포크로 다수 분할된 단위 PSV를 산출할 수 있다.

본 발명의 다른 실시 예에 따르면, 다수 분할된 상기 단위 PSV들을 그랜드 평균 기법(grand average technique)으로 결합하여 상기 TEPR을 구할 수 있다.

도1은 구심성 및 원심성 경로 사이에서 동공과 뇌 사이의 신경 경로를 개략적으로 보인다.
도2는 인지 부하(Cognitive Load) 제시를 위한 실험적 자극 및 그 절차를 보인다.
도3은 본 발명에 따른 실험의 절차의 흐름을 개략적으로 보이는 블록다이어그램이다.
도4는 본 발명에 따른 실제 실험 장치 및 환경을 보인다.
도5는 적외선 카메라로 획득된 영상으로부터 동공 영역의 검출을 보이며, (A)는 피험자 눈을 포함하는 안면의 그레이스케일 이미지, (B) 는 동공영역의 이진화한 이미지, (D)는 반사된 빛의 조건에 기초하여 2진화 역상을 이용하여 다중 선택 지역으로부터의 동공 영역 검출을 보인다.
도6은 TEPR 잠복기를 위한 신호 처리 및 정의를 보인다.
도6에서 (A)는 동공의 직경(크기) 변화, (B)는 눈깜박임 효과를 제거하기 위하여 1Hz에서 리샘플링된 동공 직경 변화, (C)는 목표 개시에 기초한 프레임 차 및 PSV를 이용한 동공 크기의 변동(Variation)를 보이며, (D)는 분리된 PSV 신호 모두에 대한 그랜드 평균(Grand Average)를 보인다.
도7은 ERP, HEP 및 TEPR의 분석을 위한 신호 처리(Signal processing)를 보인다.
도8은 2D 및 3D 조건을 위한 4개의 인자(factor)의 주관적 평가의 평균의 차이를 보인다.
도9는 2D 및 3D 조건에 대해 제시된 목표에 대한 평균 정확도 (왼쪽) 및 응답 시간 (오른쪽)을 보인다. 양쪽 값은 각각의 관찰 조건 전후의 차이 값으로부터 계산되었다. (*, p < 0.05; **, p < 0.0019).
도10은 2D 및 3D 조건에서 8개소의 뇌영역에서의 평균 ERP 잠복기를 보인다.
도11은 2D 및 3D 조건에 대한 8 개 뇌 영역의 HEP 첫 번째 (R 피크 이후 50-250 ms 기간의 알파 파워) 및 두 번째 (R 피크 이후 250-600 ms 기간의 알파 파워) 구성 요소에 대한 평균값을 보인다.
도12는 참가자(피험자) 3, 7 및 12의 2D 및 3D 콘텐츠를 시청하기 전후의 TEPR 잠복기의 변화의 예를 보인다.
도 13은 2D 및 3D 조건에 대한 동공 응답의 평균 TEPR 잠복기의 차이를 보인다.
도 14는 2D 및 3D 시청 테스트를 통한 주관적 평가(Subjective evaluation), 성능 및 ERP 대기 시간, HEP의 알파 파워 및 TEPR 잠복기 간의 MTMM 행렬 상관계수(multi-trait and multi-method matrix Correlation coefficients)를 보인다.
도15는 국제10-20 법에 따른 EEG(Electroencephalogram) 전극 부착 위치를 보인다.

이하, 첨부된 도면을 참조하면서 본 발명에 따른 비접촉 영상 기반 3D 인지피로 측정 방법의 실시 예를 상세히 설명한다.

본 발명에 따른 3D 인지피로 측정 방법은 비접촉식(non-contact method)으로 획득하는 영상 데이터에 기반하므로 신체에 부착하는 센서를 포함하는 접촉식 측정장치의 부착에 따른 피험자의 부담을 감소 또는 제거한다.

이러한 방법을 수행하는 본 발명의 인지 피로 측정 시스템:은 적외선 카메라를 포함하는 컴퓨터 기반의 구조를 가진다.

즉, 본 발명에 따른 시스템:은

상기 피험자의 안면 영상을 획득하는 적외선 카메라;

상기 적외선 카메라로부터 상기 영상 데이터를 처리하는 영상 처리부;

상기 영상 데이터로부터 얻어지는 동공 크기 변화로부터 TEPR을 검출하고 TEPR로부터 도미넌트 피이크의 잠복기를 구하고, 상기 잠복기를 기준값에 비교하여 인지피로 여부를 판단하는 인지피로 분석부;를 포함한다.

여기에서, 상기 영상 처리부, 분석(판단)부 등을 컴퓨터 시스템의 하드웨어 기반 소프트웨어 장치에 의해 구현될 수 있다.

본 발명에 따르면, 3D인지피로는 동공 반응의 TEPR(Task Evoked Pupillary Response) 지연 또는 잠복기(latency, 이하 잠복기로 통칭)에 의해 평가된다. 본 발명의 실험에서는 주관적 평가(시각 스트레스, 안구 통증, 신체 통증 및 이미지 흐림), 성능 (정확도, 응답 시간), ERP (latency) 및 HEP (Alpha Activation)와 같은 3D인지피로에 대한 다른 지표를 관찰한다. TEPR 잠복기의 결과는 다속성-다방법 행렬(Multitrait-Multimethod(MTMM) Matrix)(test-retest reliability, discriminant, and convergent validity)를 사용하여 다른 지표들(indicators)과 비교된다.

도1은 구심성 및 원심성 경로 사이에서 동공과 뇌 사이의 신경 경로의 이해를를 돕기 위한 도면이다. 도2는 본 발명의 실험에 따른 인지 피로의 부하를 위한 실험적 자극 및 그 절차를 보인다. 도3은 본 발명에 따른 실험의 절차의 흐름을 개략적으로 보인다. 도4는 본 발명에 따른 실제 실험 장치 및 환경을 보인다.

실험 참가자(피험자, participant)

23 세에서 31 세 (평균 26.5 ± 0.1 세)의 13 명의 대학생 (7 명의 여성)이 실험에 참여했다. 모든 참가자는 오른 손잡이였고 정상 또는 교정된 정상 시력(즉 0.8 이상)을 가졌다. 그들은 심혈관 질환, 중추 신경계 및 시력 질환에 대한 가족이나 병력이 없었다. 모든 참가자는 실험 전 24 시간 동안 술, 담배 및 카페인을 절제하고 충분한 수면을 취하도록 요청하였다. 또한 참가자에게 통지된 제한 및 요구 사항에 대해 동의 받았다. 이 실험에서 사용된 모든 프로토콜은 한국 서울 상명대학교의 제도 심사위원회(Institutional Review Board)의 승인을 받았다.

ERP, HEP, TEPR을 위한 자극(Stimuli)

ERP 와 TEPR 반응(인지피로)를 측정하기 위한 자극기(Stimulator)는 선행 연구(Mun et al., 2012; Park et al., 2014; Park et al., 2015)를 응용하여 개발되었다.

이하의 설명에서 도2가 참조된다. 자극기는 무작위(randomly)로 12 개의 영숫자 (non-target: "A"- "K"+ target : "5")를 생성했다. 이 영숫자 문자는 6 Hz의 속도로 업데이트되었다. 1회의 시도(One trial or One task)는 길이가 10 초인 60 개의 영숫자를 포함하는 5 개의 시퀀스로 구성되었다.

한 블록(One block)은 2초의 시행 간격을 포함한 5 회의 시도 (60 초)로 구성되며, 전체 테스크(Total task, 작업)는 15 블록으로 구성되었다. 무작위로 생성된 영숫자 문자(alphanumeric characters)인 대상(target) 간의 간격은 ERP 및 TEPR 데이터의 오버 랩핑(데이터 분리의 문제)을 방지하기 위해 최소 1 초로 설정하였다. 참가자들에게 자극은 화면의 양측, 즉 왼쪽과 오른쪽에 나타나며, 십자선은 그 중앙에 있었다. 그런 다음, 주의를 기울이거나 무시할 대상 (제시된 목표, attended target)의 방향이 화살표로 참가자에게 통보되었다. 위에서 설명된 자극기의 세부 사항이 도2에 보여 준다.

실험과정(Experimental procedure)

도3은 전체 실험 절차를 보여 준다. 각 참가자는 주관적이 평가에 의한 시각적 상태(Visual State)를 보고하도록 하였다.

주관적 평가(Subjective ratings)는 시각적 스트레스(Visual Stress(VS), 15 items), 눈 통증(Eye Pain(EP), 10 items), 신체 통증(Body Pain(BP), 4 items), 상흐림(Image Blurring Factor(IBF), 4 items) 등과 같은 4개의 팩터로 구성된다.

참가자는 비디오를 시청하기 전과 후에 33 개의 항목(items)에 대해 1 - 5 점 척도(scale)를 사용하여 주관적인 시각 불편 함을 스스로 보고하도록 요구되었다. 각 참가자(subject)는 인지 태스크(cognitive task) 이전에, 학습 효과를 최소화하고 퍼포먼스를 극대화하기 위한 훈련 세션(training session)를 수행했다.

훈련 세션은 각 참가자(subject)가 목표를 정의하는 80 % 이상의 높은 정확도를 달성할 때까지 수행되었다. 시각적 피로를 최소화하기 위해 참가자들에게 10 분 휴식 시간이 주어진 후 인지 테스크(cognitive task)이 계속되었다. 인지 테스크 중, 가능한 한 빨리 키보드의 스페이스 바를 누름으로써 디스플레이 상에 제시된 방향(attended direction)의 목표를 탐지하도록 하였다. 사용된 모니터는 800 x 600 해상도와 120 Hz의 수직 재생 율(vertical refresh rate)를 가지는 17 인치 CRT 모니터였다. 참가자의 눈으로부터 자극기의 디스플레이까지의 거리는 약 60 cm였다.

태스크를 진행하는 동안, 참가자들은 한 쌍의 십자 표시에 눈을 고정시키고 제시 목표(attended target)에 집중하도록 요구되었다. 퍼포먼스(performance)는 목표 응답의 반응 지연과 함께 응답 시간과 목표 응답의 정확도로 정의된다. 목표 발현(Target onset) 후, 200 내지 1200 ms(밀리초) 사이의 반응 시간은 추후 분석을 위한 유효한 응답으로 고려되었다. 목표 제시 중, 응답 시간인 뇌전도(EEG, ), 심전도 (ECG, electrocardiography) 및 동공 데이터를 수집하여 ERP, HEP 및 TEPR 분석에 대한 입력으로 활용되었고, 이 분석은 2D 및 3D 비디오를 시청하기 전/후에 각각 수행되었다.

그 다음, 참가자들은 실험 과정에서 영상 콘텐츠인 “쿵푸 판다 3(Kung Fu Panda 3”)((DreamWorks Animation Oriental DreamWorks, 20th Century Fox CJ Entertainment, 2016)를 2D 와 3D 버전으로 시청하였다. 참가자는 첫 번째 실험일에 2D 또는 3D 버전의 동영상 콘텐츠 (무작위)를 보았고 다음 실험 일 (예: 첫날 3D, 두 번째 날 2D, 모든 대상에 대해 무작위로 제시 됨)의 다른 차원(3D 또는 2D)의 동영상 콘텐츠를 보았다. 블루레이(blu-ray) 플레이어 (BD-ES6000, 삼성)는 다음과 같은 사양의 LED-3DTV (UN40ES6800F, 삼성)에서 2D 및 3D 콘텐츠를 재생하는 데 사용되었다.

- 3D type: Active Shutter Glass

- Size: 40 inches (width: 936 mm, height: 559 mm).

- Spatial resolution: 1920 pixels x 1080 pixels.

- Aspect ratio: 16 (horizontal):9 (Vertical)

- Ratio of brightness to darkness: over 1,000,000:1 (mega DCR).

참가자들은, 가정과 같은 환경에서, 70 분 동안 2D 및 3D 영상을 보았다. 시청 거리(viewing distance)는 화면으로부터 1.68 미터였다. 상기 거리는 화면 높이의 3배가 되어야 하는 3DC 안전가이드라인(3D Consortium Safety Guidelines)에 의거하여 계산되었다. 도4는 본 발명의 실험에서 사용된 실제 실험 환경의 셋업을 보인다.

데이터 획득 및 신호 처리(Data acquisition and signal processing)

EEG, EOG(electrooculogram), ECG 및 동공 이미지(pupil image)가 영상 콘텐츠 시정 전후에 각각 측정되었다.

EEG 신호는, 도15에 도시된 바와 같은 국제 "10-20"시스템에 기초하여, 두피의 8 개 채널(F3, F4, C3, C4, P3, P4, O1 및 O2)로부터 500 Hz 샘플링 속도로 기록되었다(ground : FAz, reference : 두 귀의 전극 사이의 평균 및 DC 레벨 : 0 Hz - 150 Hz) 및 Mitsar-EEG 202 Machine (Mitsar Inc., Russia)을 사용하여 측정 하였다.

전극 임피던스는 3 kΩ 이하로 유지되었고, ECG 및 EOG 신호는 미국 BIOPAC 시스템의 ECG 100C 및 EOG 100C 증폭기를 사용하여 500Hz 샘플링 속도로 기록되었고, DAQ 보드 (NI-DAQ-Pad9205, National Instruments Inc)에 의해 이진화(binarization) 되었다. 이러한 시스템에 사용된 전원 장치는 MP100(BIOPAC system Inc., USA)이었다.

ECG 신호는 Lead-III 방법을 사용하여 한 채널에서 측정되었다. EOG 신호는 수직 및 수평의 두 채널에서 측정되어 눈 깜박임 및 안구 운동에 대한 노이즈를 제거하였다. 동공 이미지는 GS3-U3-23S6M-C 적외선 카메라 (Point Grey Research Inc., 캐나다)를 사용하여 125 fps에서 960 x 400의 해상도로 기록되었다. 전원 공급 장치로서 MP100(BIOPAC system Inc., USA)이 사용되었다.

도5는 적외선 카메라로 획득된 영상으로부터 동공 영역의 검출을 보이며, (A)는 피험자 눈을 포함하는 안면의 그레이스케일 이미지, (B) 는 동공영역의 이진화한 이미지, (D)는 반사된 빛의 조건에 기초하여 2진화 역상(reversed image)을 이용하여 다중 선택 지역으로부터의 동공 영역 검출을 보인다.

도5에 도시된 바와 같이, 동공 검출에서 적외선 카메라에 의해 획득(captured)된 이미지는 영상 처리 과정이 요구된다. 적외선 카메라의 그레이-스케일 이미지는 먼저 Gonzalez and Woods (2002)가 제안한 방법을 사용하여 결정된 특정 임계 값으로 이진화되었다. 동공 영역은 CED (Circular Edge Detection) 알고리즘에 의해 다음의 식1에 기초하여 검출되었다 (Daugman, 2004; Lee et al., 2009; Lee et al., 2010) .

<식1>

여기에서, I(x, y), (x _o, y _o)는

검출된 중심 위치(detected center location)의 (x, y) 위치들(positions)이며, 그리고 r 은 동공의 반경이다.

도6은 TEPR 잠복기를 위한 신호 처리 및 정의를 보인다.

TEPR 잠복기(latency)는 아래와 같이 프로세싱(처리) 되었다.

(1) 동공의 직경은 검출된 동공 영역으로부터 계산되었다.

(2) 추출된 동공 직경은 눈 깜박임에 의한 비검출 동공 구간을 제외하고, 동공 직경이 검출 가능한 구간의 데이터를 1Hz로 리샘플링 (window size: 1s, resolution: 1s) 하는 과정을 거친다.

(3) 1Hz로 리샘플링된 동공 직경은 각각 이전 동공 직경 데이터간의 차이값을 통해 PSV(Pupil Size Variation) 데이터로 계산된다.

(4) 그리고, PSV(Pupil Size Variation), 즉 동공의 크기 신호는 각 태스크의 목표 개시(Target Onset) (-200 내지 1000 밀리 초에 기초(시작)하여 1200 ms의 에포크(Epoch)로 나누어진다. 이렇게 일정 시간 간격으로 나누어진 데이터는 단위 PSV이며, 이를 통해서 TERP 가 얻어진다.

(5) 목표 자극을 기준으로 분할된 단위 PSV들을 "그랜드 평균 기법(grand average technique)"을 사용하여 결합하여 TEPR을 산출했다.

(6) 상기 TEPR로부터 잠복기(Latency)를 구하게 되는데, TEPR 잠복기는 도미넌트 포지티브 피크의 시간 값으로 정의(결정)된다.

이러한 포지티브 도미넌트 피크는 도6에 도시된 바와 같이, 본 발명의 실험에서 인지피로 평가를 위한 지표로 지정되었다.

이에 더하여, ERP 잠복기(Mun et al., 2012, Park et al., 2015)과 HEP (Park et al., 2015)의 알파 파워(alpha power)이 도7에 도시된 바와 같이, 종래 연구를 응용하는 동일한 방법을 이용하여 추출되었다. 도7은 ERP, HEP 및 TEPR의 분석을 위한 신호 처리(Signal processing)를 보인다.

통계적 분석(Statistical Analysis)

본 발명의 실험 방법은 2D 및 3D 콘텐츠 "피험자 내 설계(within subject design)"를 경험하면서 3D 인지피로에 대한 시청자의 경험을 테스트하고 비교하기 위해 고안되었다. Mann-Whiteny 검정(test)은 정규성 테스트(Normality Test)로 검정되었다. Bonferroni 교정(correction)은 다수의 연구 가설에 의한 1종 오류로 인한 p-value 오류 (Dunnett, 1955)로 인한 문제를 해결하면서 통계적 유의성(statistical significances)을 도출하기 위해 수행되었다.

모든 측정은 시청 전후에 측정 된 값을 뺀 값으로 계산되었다. 통계적 유의 수준은 각 가설의 수 (즉, α = .05 / n)에 기초하여 제어되었다. 이 실험에서 각 측정의 통계적 유의 수준은 각각 0.0125 (주관적 평가, α = 0.05 / 4) 및 0.0019 (퍼포먼스, ERP 및 HEP, α = 0.05 / 26)로 설정되었다. 또한 실용적인 유의성을 확인하기 위해 r(비모수)의 절대값을 기준으로 한 효과크기 (Effect-size)도 계산했다.

이 경우 r의 표준값은 0.10, 0.30 및 0.50이며 효과값을 위하여 일반적으로 작은, 중간 및 큰 것으로 간주된다. 또한, 주관적 평가, 퍼포먼스, ERP, HEP 및 TEPR-MTMM (다속성다측정방법) 매트릭스와 같은 다양한 3D인지피로 지표 간의 성능 검정을 위해 검증-재검증 신뢰도(test-retest reliability), 수렴 타당성(convergent validity) 및 판별 타당성(discriminant validity)을 검증하기 위해, MTMM(multi-trait and multi-method) 행렬(matrix)이 사용되었다.

데이터 샘플의 속성이 다중 속성(다속성) 및 다중 방법(다방법)으로 결정되면, MTMM 매트릭스는 여러 측정 간의 관계를 확인했다.

Monotrait-MonoMethod(신뢰성 대각선), MonoMethod-Heterotrait 및 HeteroMethod-Monotrait를 확인함으로써 검증-재검증 신뢰도, 판별 타당성 및 수렴 타당성을 시험하고 검증 하였다 (Campbell and Fiske, 1959; Park et al., 2015) .

결론(Results)

<주관적 평가(Subjective evaluation)>

도8은 2D 및 3D 조건을 위한 4개의 인자(factor)의 주관적 평가의 평균의 차이를 보인다. 도8에 도시된 바와 같이, 3D 시청 조건에서의 주관적 평가는, 2D 시청 조건에 비교하여 아래와 같이 극단적으로 증가하였다. 주간적 척도는 4 요소(VS: Visual Stress; EP: Eye Pain; BP: Body Pain; IBF: Image Blurring Factor) 각각에 대한 5점 척도로 평가되었고, 각 2D, 3D 시청 전후의 사이의 차이값을 계산하였다. (*, p < 0.05; **, p < 0.0125; ***, p < 0.001). 주관적 척도 4요소 중에서 Visual Stress 요소를 제외한 3요소 (Eye Pain; Body Pain, and Image Blurring Factor) 에서 통계적인 유의성을 확인하였다.

Eye Pain(EP) :

Z = -2.729, p = 0.0064, r = 0.535 (Large Effect-Size)

Body Pain(BP):

Z = -3.044, p = 0.0023, r = 0.597(Large Effect-Size)

Image Blurring Factor (IBF):

Z = -2.878, p = 0.0001, r = 0.761(large Effect-Size)

2D와 3D 시청 조건에서, 주관적 평가에 따른 유의한 차이의 평균 (M)과 표준 편차 (SD)는 아래와 같다.

Eye Pain(EP):

2D: M = 0.131, SD = 0.434

3D: M = 0.631, SD = 0.670)

Body Pain(BP):

2D: M = -0.012, SD = 0.729

3D : M = 0.923, SD = 1.044)

Image Blurring Factor(IBF):

2D : M = 0.051, SD = 0.257,

3D : M = 1.208, SD = 1.271).

3D 관찰 조건의 VS 항목은 2D 관찰 조건과 비교하여 누적 적이지만 유의하지 않았다 (Z = -2.311, p = 0.0208, - r = 0.453).

<퍼포먼스( Performance)

이 실험이 목표로 했던 퍼포먼스는 정확도와 응답 시간이었다. 도 9에 도시 된 바와 같이, 3D 시청 조건의 정확도는 2D 시청 조건에 비해 감소되었다. 그러나 이러한 감소는 유의하지 않았다 (Z = -2.489, p = 0.0128, r = 0.488-).

결과의 차이에 대한 평균 (M) 및 표준 편차 (SD) 값은 응답 시간 (2D: M = -19.854, SD = 35.949, 3D: M = 95.256, SD = 102.833)과 같은 결과로 나타났다. 3D 시청 조건에서의 응답 시간은 2D 시청 조건 (Z = -3.154, p = 0.0016, r = 0.619)에 비해 유의하게 감소했다.

<ERP 잠복기(latency)>

도10은 2D 및 3D 조건에서 8개소의 뇌영역에서의 평균 ERP 잠복기를 보인다. ERP 잠복기 값(P600)은 각 시청 조건의 전후의 차이값로부터 계산되었다. (***, p < 0.001).

도10에 도시된 바와 같이, 3D 시청 조건에서의 ERP 잠복기(latency)는, P4 (Z = -3.853, p = 0.0001, r = 0.756), O1 (Z = -3.772, p = 0.0002, r = 0.740), O2 (Z = -3.928, p = 0.0001, r = 0.770) 영역들에서 2D 시청 조건과 비교하여 지연(delay)이 나타났다. 다른 뇌 영역 (F3, F4, C3, C4 및 P3)에서 유의한 효과는 발견되지 않았다.

ERP 잠복기의 증가의 유의한 차이는 P4 (2D: M = -7.077, SD = 17.429, 3D : M = 35.538, SD = 21.925), O1 (2D : M = -8.769, SD = 14.434, 3D : M = 21.692, SD = 14.290) 및 O2 (2D : M = -2.615, SD = 19.931, 3D : M = 43.385, SD = 31.057) 지점에서 P600, 즉 자극 후 600 ms에서 나타났다.

<HEP의 알파 파워(Alpha power of HEP)>

도11은 2D 및 3D 조건에 대한 8 개 뇌 영역의 HEP 첫 번째 (R 피크 이후 50-250 ms 기간의 알파 파워) 및 두 번째 (R 피크 이후 250-600 ms 기간의 알파 파워) 구성 요소에 대한 평균값을 보인다. 이 값은 각 관찰 조건 전후의 차이 값으로부터 계산되었다 (*, p <0.05; **, p <0.0019; ***, p <0.001)

도 11에 도시 된 바와 같이, 제 1 HEP 성분의 알파 파워는 F4 (Z = -3.359, p = 0.0008, r = 0.659)의 영역에서의 2D 시청 조건에 비해 3D 시청 조건에서 상당한 증가를 나타냈다. HEP의 첫 번째 성분에서 알파 파워의 차이에 대한 평균 (M) 및 표준 편차 (SD)는 F4 영역(2D : M = -0.00020, SD = 0.00039, 3D : M = 0.00058, SD = 0.00022)에서 나타났다.

유의한 결과는 다른 뇌 영역 (F3, C3, C4, P3, P4, O1, O2)에서는 발견되지 않았다. HEP의 두번째 성분의 알파 파워는 또한 F3 (Z = -4.282, p = 0.0001, r = 0.840) 및 F4 (Z = -4.231, p = 0.0001, r = 0.830)에서 2D 시청 조건에 비해 3D 시청 조건에서 상당한 증가를 보였다.

HEP의 두 번째 성분의 알파 파워의 차이에 대한 평균 (M) 및 표준 편차 (SD)는 다음과 같이 나타났다.

F3 영역 (2D: M = -0.00001, SD = 0.00017, 3D: M = 0.00088, SD = 0.00044)

F4 영역 (2D: M = -0.00001, SD = 0.00089, 3D: M = 0.00089, SD = 0.00095)

중요한 결과는 다른 뇌 영역 C3, C4, P3, P4, O1 및 O2에서 발견되지 않았다.

<TEPR 잠복기(latency)>

도12는 참가자(피험자) 3, 7 및 12의 2D 및 3D 콘텐츠를 시청하기 전후의 TEPR 파형 또는 잠복기의 변화의 예를 보인다. 도12에서 좌측의 3개의 그래프는 2D 시청 전후, 우측의 3개의 그래프는 3D 시청 전후의 잠복기 변화를 보인다.

TEPR 잠복기에서 이전 보기(before viewing 2D and 3D)에 대해서는 점선, 이후 보기(after viewing 2D and 3D)에 대해서는 실선으로 표시되었다. 참가자 3, 7 및 12에 대한 2D 시청 전후의 TEPR 대기 시간의 차이는 각각 8 ms, 40 ms 및 40 ms를 나타냈다. 참가자 3, 7, 12의 3D 시청 전후의 TEPR 대기 시간의 차이는 각각 168 ms, 176 ms 및 240 ms였다.

도12에 도시된 바와 같이, 2D 시청 전과 후의 두 가지 조건의 차이는 TEPR 파형의 도미넌트 포지티브 피크의 위치가 미세한 차이로 나타났다. 흥미롭게도 3D 시청의 경우, 도미넌트 포지티브 피크의 위치가 시청 전에 비해 후에 지연(delay)을 보였다.

도 13은 2D 및 3D 조건에 대한 동공 응답의 평균 TEPR 잠복기의 차이를 보인다. TEPR 잠복기의 값은 각 시청 조건 전후의 차이 값으로부터 계산되었다(***, p <0.001).

도13에 도시 된 바와 같이, TEPR 잠복기가 2D 시청 조건 (Z = -4.185, p = 0.0001, r = 0.821)보다 3D 시청 조건에서 더 높았다. 2D 시청과 3D 시청에 따른 TEPR 잠복기의 차이에 대한 평균 (M)과 표준 편차 (SD)는 다음과 같다.

2D : M = 27.077, SD = 46.281

3D : M = 176.000, SD = 38.431

<MTMM 행렬(matrix)>

MTMM 분석을 이용하여, 시험-재시험 신뢰도, 판별 타당성 및 수렴 유효성을 비교하였다. 이 실험 설계는 다중 방법이 2D 및 3D보기 조건에 포함되도록 정의되었다.

또한, 도14의 테이블에 도시된 바와 같이, 교정된 통계적 유의성 측정치에 기초하여, 다중 속성(multi-trait)은, 주관적 평가 인자 (EP, BP, IBF), 성능 인자 (반응 시간), ERP 대기 시간 인자 (P4, O1, O2 에서 뇌 영역의 잠복기), HEP 인자 (뇌영역 F4에서의 HEP의 첫번째 성분과 뇌영역 F3와 F4에서의 두 번째 성분의 알파 활성) 및 TEPR 인자 (TEPR 잠복기)와 같은 시각 피로의 측정에 관여하였다.

도 14는 2D 및 3D 시청 테스트를 통한 주관적 평가(Subjective evaluation), 성능 및 ERP 대기 시간, HEP의 알파 파워 및 TEPR 잠복기 간의 MTMM 행렬 상관계수(multi-trait and multi-method matrix Correlation coefficients)를 보인다.

도14를 참조하면, 신뢰도(Cronbach의 알파 계수)는 MmonoTrait-MonoMethod의 어두운 주 대각선으로 표시된다. 판별 타당성은 연한 회색의 이등분 - 삼차원 삼각형으로 표시된다. 수렴 유효성은 어두운 회색으로 MonoTrait-HeteroMethod 대각선으로 표시된다. 다른 속성간의 상관 계수(Correlation coefficients)는 .20(p>.01)보다 작으면 나타나지 않는다.

도14에서 약어로서 표기된 SR_EP, SR_BP 및 SR_IBF 는 각각 EP(eye pain), BP(body pain), IBF(image blurring factor)에 대한 주관적 평가(Subjective Ratings 또는 Subjective Evaluation)를 나타내며, P_RT 는 퍼포먼스(performance)의 반응시간(reaction time)을 나타낸다. E(L)_P4, E(L)_O1, 및 E(L)_O2 는 뇌영역 P4, O1 및 O2 에서의 ERP 잠복기(latency)를 나타낸다. 또한, H(F)_F4 는 F4 뇌영역에서 HEP의 첫번째 성분, H(S)_F3 and H(S)_F4-HEP second component 는 각각 뇌영역 F3 및 F4 에서의 HEP의 두 번째 성분을 나타내며, T(L) 은 TEPR 잠복기(latency)를 나타낸다.

검증-재검증의 타당성(validity of the test re-test)은 2D 및 3D 시청 조건 (멀티 메소드) 사이의 MTMM 행렬의 주요 대각선으로 정의된다. SR_EP, SR_BP, and SR_IBF 와 같은 주관적 평가는 2D (0.595, 0.596, 0.595) 및 3D (0.432, 0.421 및 0.396) 시청 테스트 모두에서 낮은 신뢰도를 나타냈다. 퍼포먼스 반응시간(P_RT)도 2D (0.611) 및 3D (0.517) 시청 테스트에서 낮은 신뢰성을 보였다. P4 영역에서 ERP 잠복기(ERP(L)_P4)은 2D (0.665) 및 3D (0.539) 시청 테스트에서 낮은 신뢰도를 나타냈다.

뇌영역 O1 및 O2 에서의 ERP 잠복기(ERP(L)_O1 및 ERP(L)_O2)은 2D 시청 테스트 (0.582 및 0.568)에서 낮은 신뢰성을 나타내었지만, 3D 시청 테스트(0.719 및 0.714)에서는 높은 신뢰성을 보였다. F4 영역에서 첫번째 성분의 HEP 알파 파워 2D 시청 테스트에서 낮은 신뢰도(0.695)를 보였으나 3D 시청 테스트에서 높은 신뢰도(0. 746)을 보였다.

F3 영역에서 HEP의 두번째 성분의 알파 파워(HEP(S)_F3)는 2D 시청 테스트에서 낮은 신뢰도(0.687)을 보였고, 3D 시청 테스트에서는 높은 신뢰도(0.744)를 보였다.

F4 영역에서 HEP의 두 번째 성분의 알파 파워(HEP(S)_F4)는 2D (0.795) 및 3D (0.776) 시청 테스트에서 높은 신뢰성을 보였다. TEPR 잠복기(TEPR_L)는 2D (0.778) 및 3D (0.742) 시청 테스트 모두에서 높은 신뢰성을 보였다. 2D 및 3D 시청 테스트 간의 신뢰성 계수(reliability coefficients)는 F4 영역의 두 번째 성분 및 다른 측정 값보다 TEPR 대기 시간의 HEP 알파 출력과 내적으로 일치한다.

판별 타당성의 타당성(validity of discriminant validity)은 heterotrait-monomethod 삼각형으로 결정되었다. TEPR 잠복기는 ERP (0.469-0.916)와 HEP 측정 (0.421-0.966)과 높은 상관 계수를 나타냈다. TEPR 잠복기와 HEP의 두 번째 성분 (F4 영역) 사이의 상관 계수는 강한 양의 상관 관계 (0.641에서 0.966)를 보였다. 그러나 TEPR 잠복기와 다른 측정치 사이의 상관 계수는 HEP와 ERP 측정치에 비해 상대적으로 낮았다 (-0.371 ~ 0.458). 또한, HEP / ERP와 다른 측정치 사이의 상관 계수 는 상대적으로 낮았다 (-0.371-0.694 / -0.420-0.694). ERP, HEP, TEPR 척도 사이의 판별 타당성(discriminant validity)은 강력하지 않았다. 이러한 측정은 주관적 평가 및 성과 측정과 차이가 있었다. 수렴의 타당성은 monotrait-heteromethod diagonal으로 정의되었다. SR_EP, SR_BP 및 SR_IBF 와 같은 주관적 평가는 0.212 에서 0.262로 낮은 상관 관계를 보였다. 퍼포먼스(P_RT)는 -0.261로 낮은 상관 관계를 보였다. 뇌영역 P4, O1 및 O2 에서 ERP 잠복기 (ERP(L)_P4, ERP(L)_O1 및 ERP(L)_O2)는 -0.233에서 0.335로 낮은 상관 관계를 보였다. HEP 측정치 (HEP(F)_F4, HEP(S)_F3, HEP(S)_F4)는 0.337에서 0.587로 중간 상관 관계를 보였다. HEP (HEP(S)_F4)와 TEPR 잠복기(TEPR_L)의 측정치는 다른 측정치보다 높은 상관 관계 (0.587와 0.519)를 보였다.

<논의(Discussion)>

3D 시각 피로는, 시청자 경험을 향상시키기 위해 측정하고 계량화하기 위하여 연구되었다. 시각 피로(visual fatigue)는 시각적 불편(visual discomfort)함보다는 인지 처리(cognitive process)의 저하(degradation)의 결과로 나타난다. 인지 기능(cognitive function)과 관련된 ERP와 HEP 측정은 이전의 연구(Mun et al., 2012; Park et al., 2015) 에서 시각 피로의 지표로 제안되었으며, 다른 지표들(indicatorㄴ)보다 높은 신뢰성을 보였다. 그러나 센서가 피부에 부착되어야 하기 때문에 시각적 피로에 대한 이러한 이전 지표, 일반적으로 바이오 센서는 실용적으로 제한적이었다. 따라서 본 발명에서는 비접촉 방법을 사용하여 측정 부하를 극복하는 동공 반응 (TEPR latency)에 기반한 새로운 방법을 제안한다. 또한 MTMM 분석을 통해 신뢰도에 대한 다른 측정법 (주관적 평가, 퍼포먼스, ERP, HEP)와 비교 하였다. 주관적 평가에 따르면, 참가자가 3D 비디오를 본 후에 주관적인 시각적 피로 (시력 통증, 신체 통증 및 이미지 번짐 요인)를 경험했지만 2D 비디오를 본 후에는 그렇지 않은 것으로 나타났다. 시각적 피로는 주관적 평가 결과를 바탕으로 한 실험 설계에 의해 확인되었다. 타겟(대상)에 대한 응답 시간은 2D 비디오보다 3D 비디오를 시청 한 후에 크게 증가하였다.

타겟에 대한 참가자의 응답 시간의 증가는, 주어진 태스크에 대한 시청자의 집중의 어려움, 그리고 인간의 두뇌에서의 인지 부하의 증가에 기인하였다. 결과적으로, 참가자가 2D 비디오와 비교하여 3D 비디오를 본 후 ERP 잠복기가 크게 지연(증가)하였다. ERP의 P300은 인지 기능과 관련된 지표로 잘 알려져 있다 (Isreal et al., 1980; Wickens, 1991; Li et al., 2008; Polich, 2007; Mun et al., 2012; ., 2014, Guerra et al., 2016). P300 요소를 지연시키는 것은 인간 시각 기능의 저하, 즉 인지 부하 (피로)와 관련이 있다. 이전의 연구에서는 P300에서 P600 및 P700으로 ERP 잠복기(지연 시간)가 크게 증가(지연)되었다고 보고되었으며(Li et al., 2008; Mun et al., 2012; Park et al., 2015), 본 연구에서도 같은 결과가 나왔다. HEP의 첫 번째와 두 번째 요소의 알파 출력은 2D 비디오보다 3D 비디오를 시청 한 후에 증가하였다. HEP의 첫 번째 (R- 피크 이후 50-250 ms) 및 두 번째 (R- 피크 이후 250-600 ms) 구성 요소의 알파 파워는 시간 간격(Time Interval)을 보였는데, 이는 심장 정보 및 혈액 압력파가 미주 신경의 구심성 경로를 통해 심장에서 뇌로 전달되게 하기 위한 것이다 (Wolk et al., 1989; McCraty et al., 2009; Park et al., 2015). HEP의 첫 번째와 두 번째 성분의 알파 파워를 높이는 것은, 뇌에서의 정보 처리의 저하로 인하여 심장과 뇌 사이의 의사 소통을 하는 동안 심장 정보와 혈류를 요구한다는 것을 의미한다. 앞서 언급했듯이, 인지 부하(cognitive load)인 시각 피로(visual fatigue)는, 주관적 평가, 응답 시간, ERP 대기 시간 및 HEP의 첫 번째 및 두 번째 성분에서 알파 파워의 결과를 따른 현재 실험 설계에 의해 유발되었다.

본 발명의 연구에서, TEPR 잠복기는 동공 지름의 전체 평균에서 유발 전위(Evoked potential)에 의한 도미넌트 동공 반응의 시간 값으로 정의된다.

TEPR 잠복기는 참가자가 3D 비디오를 본 후에 상당히 지연되었지만, 2D 비디오를 시청했을 때에는 약간의 차이가 있었다. 이것은 인지 부하(Hess and Polt, 1964; Ahern and Beatty, 1979; Klingner et al., 2008), 지각(Hakerem and Sutton, 1966; Norman, 1966), 기억(Kahneman and Beatty, 1966; Beatty and Kahneman, 1966), 주의력(Hink et al., 1977; Beatty, 1988),) 및 두뇌 활동(Just and Carpenter, 1993; Just et al., 1996)과 같은 뇌 처리에 의해 기능적으로 영향을 받는 동공 지름에 의해 입증되었다.

본 발명 이전의 연구들은 동공 지름의 증가와 동공 크기의 변화가 인지 부하의 저하와 밀접한 상관 관계가 있음을 발견했다. 타겟이 참가자들에게 제시되었을 때 동공의 반응 (동공 지름)은 전체 시도에서 각 시도(trial)에 대한 평균값으로 처리되었다. 연속 동공의 반응은 전체 평균에 의해 지배되었고, 간헐적인 반응은 감쇄되었다.

앞서 언급했듯이, TEPR 잠복기는 표적(타겟)을 제시 한 후 동공 크기 변화에서 우세한 위치(dominant location)와 관련이 있다. 이러한 반응을 지연시키는 것은 시각 정보를 처리하는 개인의 인지 능력의 저하와 관련이 있으며, 이 발견은 이 본 발명의 연구에서 확인되었다.

MTMM 분석 결과에서 HEP 및 TEPR 측정은 다른 측정과 비교하여 2D 및 3D 시청 테스트에서 높은 신뢰성을 보였다. 이 측정은 다중 방법 (2D 및 3D 시청 조건)에 대한 반복 측정의 강력한 신뢰성도 나타냈다. 일반적으로 전기 생리학 측정 (ERP 및 HEP)은 응답 시간 및 주관적 평가와 같은 비전기 생리학적 측정보다 높은 신뢰성을 보였다. TEPR 잠복기의 경우 전기 생리학 측정과 비교하여 동등하거나 더 높은 신뢰성이 있었다.

이러한 측정에는 HEP 및 TEPR 측정이 ERP 측정보다 높은 유효성을 나타내는 검증-재검증 유효성이 있었다. HEP, ERP 및 TEPR 측정 간의 상관 계수는 강한 양의 상관 관계를 보였다. 그러나, 이 측정은 응답 시간과 주관적 평가에서 낮은 상관 계수를 보였다. 따라서 HEP, ERP 및 TEPR 측정은 비전기 생리학적 측정으로서 판별 타당성을 갖는 것으로 나타났다. 이러한 측정은 3D 시각적 (인지) 피로를 평가하는 방향이 같다. 또한, HEP 및 TEPR 측정은 높은 수렴 유효성(convergent validity)을 갖는 것으로 나타났다. ERP (Boksem et al., 2006; Martin and Garfield, 2006; Li et al., 2008; Toffanin et al., 2009; Mun et al., 2012; Park et al., 2015) 및 HEP (McCraty and Watkins , 1996; Hansen et al., 2003; McCraty et al., 2009; Park et al., 2015)은 정신적 작업 부하와 관련된 인지 기능의 지표로 잘 알려져 있다. TEPR 잠복기에서, ERP 및 HEP 측정과 판별 타당성이 낮았다. 즉, TEPR 잠복기는 정신 작업 부하의 측정 일 수 있습니다. 이전의 연구들은 또한 동공 반응이 인지 기능과 관련이 있다는 것을 증명했다. TEPR 잠복기는 검증-재검증 신뢰도와 HEP 측정치와 동등한 수렴 유효성을 보유하며 다른 측정치보다 높다. 그 결과는 3D 시각 피로 평가에서 HEP를 제외한 다른 측정치와 비교하여 TEPR 잠복기의 우월성을 보여 주었다. 결론적으로 TEPR 잠복기는 다른 측정보다 3D 시각 피로의 더 나은 정량적 평가 파라미터로 권장된다.

<결론( Conclusion)>

이 발명의 목적은 비접촉 방법을 사용하여 측정 부하를 극복하는 동공 반응 (TEPR)에 기반한 3D인지피로를 측정하는 방법을 평가하는데 있다. 참가자가 3D인지피로감을 경험할 때 TEPR 잠복기는 유의미한 지연을 보였다. 주관적 평가, 반응 시간, ERP 잠복기 및 HEP의 알파 파워와 같은 다른 측정치들은 이전 연구들과 공통점이 있는 유의 한 차이를 보였다. MTMM 분석의 결과에서 TEPR 잠복기와 HEP의 알파 파워는 다른 측정보다 강한 인지 성과 3D인지피로와 높은 상관 관계를 보였다. 본 발명의 실험은 TEPR 대기 시간이 3D 시각 피로를 정량적으로 결정하는 데 유용함을 보여주었다. 또한, TEPR 잠복기는 측정 부담없이 비접촉으로 3D 시각 피로를 쉽게 평가할 수 있기 때문에, 제안된 방법은 센서 부착에 의한 유용성, 시간 제약 및 부담에 비해 유리하다. 시청자의 특성, 시각적 콘텐츠, 시청 환경, 디스플레이 및 장치 요소와 같은 3D 시각 피로의 원인은 제안된 카메라 기반 방법을 사용하여 보다 쉽게 결정할 수 있으므로 3D 기술의 개선을 검증하는 데 활용할 수 있다.

Claims (9)

1. 목표 자극(Target Stimulus)에 노출된 피험자로부터 동공 영상을 획득하는 단계;
   상기 동공 영상으로부터 TEPR(task evoked pupillary response)을 산출하는 단계;
   상기 TEPR의 파형에서 도미넌트 피이크를 검출하는 단계;
   상기 도미넌트 피이크의 잠복기(Latency)를 추출하는 단계;
   상기 잠복기를 기준값(reference value)에 비교하여 피험자의 인지피로 발생 여부를 판단하는 단계; 를 포함하는 비접촉 영상 기반 인지피로 평가방법.
2. 제1항에 있어서,
   상기 영상 데이터를 검출하는 단계:는
   상기 피험자의 안면 영상을 적외선 카메라에 의해 획득하는 단계;
   상기 안면 영상에서 동공 영상을 추출하는 단계; 그리고
   상기 동공 영상으로부터 PSV(Pupil Size Variation)를 추출하는 단계;
   PSV로부터 TEPR을 산출하는 단계;를 포함하는, 비접촉 영상 기반 인지피로 평가방법.
3. 제2항에 있어서,
   상기 PSV를 추출하는 단계:는
   상기 안면 영상의 원형 데이터를 소정 주파수로 리샘플링하는 단계; 그리고
   상기 샘플링에 의해 얻어진 데이터로부터 상기 PSV를 산출하는 단계; 를 포함하는 비접촉 영상 기반 인지피로 평가방법.
4. 제3항에 있어서,
   상기 PSV로부터 -200 내지 1000ms의 목표 자극 개시(Target Simue start)에 기초하여 1200ms 에포크(epoch)로 다수 분할된 단위(unit) PSV를 산출하는 단계를 더 포함하는 비접촉 영상 기반 인지피로 평가방법.
5. 제4항에 있어서,
   다수 분할된 단위 PSV들을 그랜드 평균 기법(grand average technique) 으로 결합하여 상기 TEPR을 구하는 것을 특징으로 하는 비접촉 영상 기반 인지피로 평가 방법.
6. 제1항에 기재된 인지피로 측정 방법을 수행하는 인지피로 평가 시스템에 있어서,
   상기 피험자의 안면 영상을 획득하는 적외선 카메라;
   상기 적외선 카메라로부터 상기 영상 데이터를 처리하는 영상 처리부;
   상기 영상 데이터로부터 TEPR를 산출하고 TEPR로부터 도미넌트 피이크의 잠복기를 구하고, 상기 잠복기를 기준값에 비교하여 인지피로 여부를 판단하는 인지피로 분석;를 포함하는 비접촉 영상 기반 인지피로 평가 시스템.
7. 제6항에 있어서,
   상기 영상 처리부:는
   상기 안면 영상에서 동공 영상을 추출하고, 그리고 상기 동공 영상으로부터 소정 주파수 샘플링에 의해 PSV를 추출하는, 비접촉 영상 기반 인지피로 평가 시스템.
8. 제7항에 있어서,
   상기 분석부는 상기 PSV로부터 -200 내지 1000ms의 목표 자극 개시에 기초하여 1200ms 에포크로 다수 분할된 단위 PSV를 산출하는, 비접촉 영상 기반 인지피로 평가 시스템.
9. 제8항에 있어서,
   상기 분석부는
   다수 분할된 상기 단위 PSV들을 그랜드 평균 기법(grand average technique)으로 결합하여 상기 TEPR을 구하는 것을 특징으로 하는 비접촉 영상 기반 인지피로 평가 시스템.

Images