KR102187260B1 - 영상멀미 민감도 측정 방법 및 장치 - Google Patents

Abstract

영상 멀미에 대한 민감도를 측정하는 방법 및 장치에 대해 기술된다. 민감도 측정 방법:은 피험자로부터 동공 영상을 획득하는 단계; 상기 동공 영상으로부터 동공 영역을 검출하는 단계; 상기 동공 영역으로부터 다수의 동공의 중심 좌표를 추출하는 단계; 상기 동공 영상에서의 동공의 중심 좌표의 변화를 검출하여 피험자의 영상멀미의 민감도를 정의하는 단계;를 포함한다.

Description

영상멀미 민감도 측정 방법 및 장치{Method and apparatus for determining sensitivity of motion sickness}

본 개시는 영상에 의한 멀미 민감도 측정 방법 및 장치에 관한 것이다.

가상현실은 기존의 디스플레이 기술에 비해 360도의 영상정보와 사물 및 가상환경과의 깊이감을 기반으로 사용자에게 실재감, 현실감, 몰입감을 제공 한다[1,2]. 머리 착용 디스플레이 (Head Mounted Display, HMD)의 보급 및 대중화에 따라, 가상현실 (Virtual Reality, VR) 기술이 교육, 게임, 엔터테인먼트, 건축, 제조, 의료, 일상생활 등의 다양한 분야에 긍정적인 효과를 주고 있다[3,4]. 그러나 가상현실을 경험한 많은 사용들로부터 불안, 긴장, 발한, 방향 감각 상실 등의 증상을 동반한 멀미증상이 보고되고 있다[2,5]. 이는 사용자들이 가상현실 기술의 긍정적인 경험을 방해하는 주요한 요인으로 가상현실 산업 발전에 저해요인으로 작용할 가능성이 높다[3,6].

많은 선행연구들은 이러한 영상멀미 문제를 해결하기 위해 영상멀미 정량화 및 경감을 위한 피드백 연구들을 진행해 오고 있다. 영상멀미 정량화 연구는 사용자의 행태반응, 생체신호, 뇌 활성도 등을 이용해 영상멀미를 정량적으로 평가할 수 있는 방법론을 개발해 오고 있다. 이를 기반으로 영상멀미를 유발할 가능성이 있는 세부유발 요인들 (사용자 특성, 콘텐츠 및 디바이스 요인)을 검증하고 개발자 및 사용자에게 가이드라인을 제시 하거나 혹은 실시간으로 사용자의 영상멀미 상태를 모니터링하고 그 상태에 대한 피드백을 제시하고자 한다. 영상멀미 경감을 위한 피드백 연구는 사용자가 영상멀미를 느끼는 정도에 따라 디바이스의 시야각, 렌즈 거리 등을 조절하거나[7,8] 혹은 콘텐츠의 재생속도, 깊이감 등을 조절하여[9] 영상멀미를 경감시키고 장시간 가상현실 콘텐츠를 경험할 수 있도록 도움을 주고자 한다.

이러한 연구들은 사용자가 가상현실 기술을 유용하고 효율적으로 활용하는 데에 있어서 큰 도움을 줄 수 있다. 그러나 영상멀미 예측 기술 또한 그 필요성이 요구되고 있는 실정이나 현재 연구된 바가 거의 없다.

영상멀미는 현상을 가장 잘 설명하는 이론으로 알려진 것은 감각 충돌 이론 (Sensory Conflict Theory)과 자세 불안정성 이론 (Posture Instability Theory)이다. 감각충돌이론은 서로 다른 감각정보들 사이의 불일치 현상을 의미하는 것으로 가상현실에서 제공되는 시각 정보와 그에 대응하는 신체 움직임 사이의 불일치 현상으로 영상멀미를 설명한다[10]. 이는 뇌의 정보처리 과정의 비효율적인 처리과정으로 인지부하를 유발할 수 있다. 자세불안정성 이론은 가상현실 콘텐츠로부터 제시되는 영상의 움직임에 의해 유발되는 불안정한 자세 혹은 익숙하지 않은 움직임 패턴에 대한 경험을 안정적인 상태로 유지하려는 과정에서 영상멀미가 유발되는 것으로 설명하고 있다[11]. 이는 영상멀미에 대한 민감도가 안정적인 균형을 유지하는 능력과 높은 상관성이 있는 것으로 해석할 수 있다.

상기 두 이론을 고려했을 때 영상멀미에 대한 민감도는 뇌의 정신부하 상태와 안정적인 균형 유지능력에 영향을 받을 것으로 판단할 수 있다. 따라서 본 연구에서는 가상현실 콘텐츠를 경험하기 이전의 사용자의 정신부하 및 균형유지 능력의 상태를 영상멀미에 대한 민감도를 예측할 수 있는 지표로 활용하고 자 한다. 이러한 두 가지 기능을 잘 평가할 수 있는 지표 중의 하나가 <주된 응시 위치> 또는 <기본주시눈위치> (Cardinal Gaze Position)이다. 우리의 시선은 머리 움직임 및 회전에 대한 시각혼란을 줄이기 위한 전정안구반사 (Vestibulo-Ocular Reflex, VOR)기능을 한다. 전정안구반사는 머리 움직임 및 회전에 대해 정보를 전정계 및 시각계에 전달하고 이 두 정보를 기반으로 시선이 이를 보정하여 시각멀미를 느끼지 못하게 하려는 운동을 의미한다[12]. 따라서 전정안구반사는 움직임에 대한 시선의 균형유지 능력을 평가할 수 있는 지표로 활용 가능하다. 또한, 시선의 위치를 유지하는 능력은 집중과 밀접한 연관성이 있으며, 집중하는 능력은 인지부하가 낮을수록 높아지는 양의 상관관계를 보인다[13].

[1] J. Bailenson, K. Patel, A. Nielsen, R. Bajscy, S. H. Jung and G. Kurillo. (2008). The effect of interactivity on learning physical actions in virtual reality. Media Psychology, 11(3), 354-376. DOI: 10.1080/15213260802285214 [2] J. E. Bos, W. Bles and E. L. Groen. (2008). A theory on visually induced motion sickness. Displays, 29(2), 47-57. [3] J. D. Moss and E. R. Muth. (2011). Characteristics of head-mounted displays and their effects on simulator sickness. Human factors, 53(3), 308-319. DOI: 10.1177/0018720811405196 [4] M. Kesim and Y. Ozarslan. (2012). Augmented reality in education: current technologies and the potential for education. Procedia-Social and Behavioral Sciences, 47, 297-302. DOI: 10.1016/j.sbspro.2012.06.654 [5] S. Sharples, S. Cobb, A. Moody and J. R. Wilson. (2008). Virtual reality induced symptoms and effects (VRISE): Comparison of head mounted display (HMD), desktop and projection display systems. Displays, 29(2), 58-69. DOI: 10.1016/j.displa.2007.09.005 [6] J. Hakkinen, T. Vuori and M. Paakka. (2002, October). Postural stability and sickness symptoms after HMD use. In IEEE International Conference on Systems, Man and Cybernetics (Vol. 1, pp. 147-152). DOI: 10.1109/ICSMC.2002.1167964 [7] A. S. Fernandes and S. K. Feiner. (2016, March). Combating VR sickness through subtle dynamic field-of-view modification. In 3D User Interfaces (3DUI), 2016 IEEE Symposium on (pp. 201-210). IEEE.DOI: 10.1109/3DUI.2016.7460053 [8] G. Nie, Y. Liu and Y. Wang. (2017, October). [POSTER] Prevention of Visually Induced Motion Sickness Based on Dynamic Real-Time Content-Aware Non-salient Area Blurring. In Mixed and Augmented Reality (ISMAR-Adjunct), 2017 IEEE International Symposium on (pp. 75-78). IEEE. DOI: 10.1109/ISMAR-Adjunct.2017.35 [9] N. Padmanaban, T. Ruban, V. Sitzmann, A. M. Norcia and G. Wetzstein. (2018). Towards a Machine-Learning Approach for Sickness Prediction in 360° Stereoscopic Videos. IEEE Transactions on Visualization and Computer Graphics, (1), 1594-1603. DOI: 10.1109/TVCG.2018.2793560 [10] C. M. Oman. (1990). Motion sickness: a synthesis and evaluation of the sensory conflict theory. Canadian journal of physiology and pharmacology, 68(2), 294-303. DOI: 10.1139/y90-044 [11] T. A. Stoffregen, K. Yoshida, S. Villard, L. Scibora and B. G. Bardy. (2010). Stance width influences postural stability and motion sickness. Ecological Psychology, 22(3), 169-191. DOI: 10.1080/10407413.2010.496645 [12] J. E. Roy and K. E. Cullen. (1998). A neural correlate for vestibulo-ocular reflex suppression during voluntary eye-head gaze shifts. Nature neuroscience, 1(5), 404. DOI: https://doi.org/10.1038/1619 [13] S. Mun, M. C. Park, S. Park and M. Whang. (2012). SSVEP and ERP measurement of cognitive fatigue caused by stereoscopic 3D. Neuroscience letters, 525(2), 89-94. DOI: 10.1016/j.neulet.2012.07.049 [14] J. Daugman. (2004). Iris recognition border-crossing system in the UAE. International Airport Review, 8(2), 49-53. [15] E. C. Lee, K. R. Park, M. Whang and K. Min. (2009). Measuring the degree of eyestrain caused by watching LCD and PDP devices. International Journal of Industrial Ergonomics, 39(5), 798-806. DOI: 10.1016/j.ergon.2009.02.008 [16] S. Park, M. J. Won, D. W. Lee and M. Whang. (2018). Non-contact measurement of heart response reflected in human eye. International Journal of Psychophysiology, 123, 179-198. DOI: 10.1016/j.ijpsycho.2017.07.014 [17] M. Sa_lam and N. Lehnen. (2014). Gaze stabilization in chronic vestibular-loss and in cerebellar ataxia: Interactions of feedforward and sensory feedback mechanisms. Journal of Vestibular Research, 24(5, 6), 425-431. DOI: 10.3233/VES-140538 [18] E. J. Song and A. L. Jung. (2017). A Study for Reducing of Cyber Sickness on Virtual Reality. Journal of Digital Contents Society, 18(3), 429-434. [19] S. Park, M. J. Won, S. Mun, E. C. Lee and M. Whang. (2014). Does visual fatigue from 3D displays affect autonomic regulation and heart rhythm?. International Journal of Psychophysiology, 92(1), 42-48. DOI: 10.1016/j.ijpsycho.2014.02.003 [20] S. Park, M. J. Won, E. C. Lee, S. Mun, M. C. Park and M. Whang. (2015). Evaluation of 3D cognitive fatigue using heart-brain synchronization. International Journal of Psychophysiology, 97(2), 120-130. DOI: 10.1016/j.ijpsycho.2015.04.006 [21] S. Mun, M. Whang, S. Park and M. C. Park (2017). Effects of mental workload on involuntary attention: A somatosensory ERP study. Neuropsychologia, 106, 7-20. DOI: 10.1016/j.neuropsychologia.2017.08.021 [22] J. Kang and C. Kim. (2018). A convergence study on the influence of full immersion virtual reality on the autonomic nervous system of healthy adults. Journal of the Korea Convergence Society, 9(3), 131-135. DOI: 10.15207/JKCS.2018.9.3.131

모범적인 실시 예는 피험자에게 불편을 초래하지 않는 비접촉식 영상 처리기법에 의한 영상멀미 민감도를 측정하는 방법 및 장치를 제시한다.

모범적인 실시 예에 따른 영상멀미 민감도 측정 방법:은

피험자로부터 동공 영상을 획득하는 단계;

상기 동공 영상으로부터 동공 영역을 검출하는 단계;

상기 동공 영역으로부터 다수의 동공의 중심 좌표를 추출하는 단계;

상기 동공 영상에서의 동공의 중심 좌표의 변화를 검출하여 피험자의 영상멀미의 민감도를 평가하는 단계;를 포함한다.

모범적 실시 예에 따르면, 상기 동공 영상으로부터 동공 영역을 검출하는 과정:은 상기 동공 영상을 이진화하는 단계;와 이진화된 동공 영상으로부터 동공 영역을 검출하는 단계;를 포함할 수 있다.

모범적 실시 예에 따르면, 상기 동공 영역을 검출함에 있어서 원형 검출 알고리즘을 적용할 수 있다.

모범적 실시 예에 따르면, 상기 동공의 중심 좌표를 검출함에 있어서 동공 영상에 대한 이동평균 (Sliding Moving Average) 기법에 의한 리샘플링을 적용할 수 있다.

모범적 실시 예에 따르면, 상기 중심 좌표를 추출하는 단계와 민감도를 평가하는 단계:는

다수의 동공 중심 좌표를 X-Y 평면 상태에 플로팅하는 단계;

상기 X-Y 평면에서 소정 범위의 좌표를 포함하는 타원 영역을 정의 하는 단계;

상기 타원 영역의 장축 반경과 단축 반경을 상기 민감도 판단을 위한 지표로 검출하는 단계; 그리고

상기 지표를 이용하여 상기 민감도를 평가하는 단계;를 포함할 수 있다.

모범적 실시 예에 따르면, 상기 타원 영역의 면적 (PCP_A)와 상기 단축 반경에 대한 장축 반경의 비율(PCP_R)을 구하고, 상기 면적과 비율을 민감도 평가 기준으로 적용할 수 있다.

모범적 실시 예에 따르면 영상멀미 민감도 측정 장치:는

동공 영상을 촬영하여 카메라;

상기 동공 영상으로부터 동공 영역을 검출하고, 상기 동공 영역으로부터 다수의 동공의 중심 좌표를 추출하고, 그리고 상기 동공 영상에서의 동공의 중심 좌표의 변화를 검출하여 피험자의 영상멀미의 민감도를 정의하는 프로세싱 장치;를 포함한다.

모범적 실시 예에 따르면, 상기 카메라는 HMD(Head Mount Display)에 장착될 수 있다.

모범적 실시 예에 따르면, 상기 프로세싱 장치는 상기 동공의 중심 좌표를 검출함에 있어서 동공 영상에 대한 이동평균 (Sliding Moving Average) 기법에 의한 리샘플링을 수행할 수 있다.

모범적 실시 예에 따르면, 상기 프로세싱 장치는, 다수의 동공 중심 좌표를 X-Y 평면 상태에 플로팅하고, 상기 X-Y 평면에서 소정 범위의 좌표를 포함하는 타원 영역을 정의 하고, 상기 타원 영역의 장축 반경과 단축 반경을 상기 민감도 판단을 위한 지표로 검출하고, 그리고 상기 지표를 이용하여 상기 민감도를 평가할 수 있다.

도1은 모범적 실시 예에 따른 영상멀미 민감도 측정의 실제 실험 환경을 보여 준다.
도2는 모범적 실시 예에 따른 영상멀미 민감도 측정의 전체 실험의 과정을 보여 준다.
도3은 모범적 실시 예에 따른 영상멀미 민감도 측정에서 민감도 측정 지표(indicator) 추출과정을 보여 준다.
도4는 모범적 실시 예에 따른 영상멀미 민감도 측정 실험에서 기본시선눈위치(CGP)의 움직임 패턴을 예시한다.
도5는 모범적 실시 예에 따른 영상멀미 민감도 측정 실험에서 독립 표본 t검정 결과를 보인다.
도6은 모범적 실시 예에 따른 영상멀미 민감도 측정 실험에서 CGP의 안전성이 영상멀미 민감도에 미치는 영향을 확인하기 위해 피어슨 상관분석 결과를 보인다.
도7은 모범적 실시 예에 따른 영상멀미 민감도 측정 실험에서 회귀모델 검증실험 및 결과를 보인다.

이하 첨부된 도면을 참고하면서 모범적 실시 예에 따른 영상멀미의 측정방법 및 장치의 실시 예를 상세하게 설명한다.

모범적 실시 예는 가상현실 콘텐츠 경험 이전에 영상멀미의 민감도를 측정하는 방법 및 장치에 관한 것이다. 이러한 모범적 실시 예는 실험 참가자 또는 컨텐트 시청자의 <주된 응시 위치> 또는 <기본 주시 위치> 즉, CGP (Cardinal Gaze Position)의 패턴을 이용하여 영상멀미의 민감도를 측정한다.

모범적인 실시 예 따른 영상멀미 민감도 측정 장치는 영상 카메라와 영상 카메라로부터의 영상을 처리하여 영상멀미 민감도를 측정하는 프로세싱 장치를 포함한다. 상기 프로세싱 장치는 영상 처리 및 분석용 툴 또는 소프트웨어 및 이것이 실행되는 하드웨어 시스템을 가진다. 이러한 프로세싱 장치는 컴퓨터 기반의 장치, 분석 알고리즘을 담고 있는 소프트웨어 및 이 소프트웨어가 구동할 수 있는 하드웨어를 포함하는 범용 컴퓨터 또는 전용 장치일 수 있다.

상기와 같은 프로세싱 장치로부터의 처리 결과는 디스플레이 장치에 의해 표시될 수 있으며, 입력 수단으로서 일반적인 외부 인터페이스 장치, 예를 들어 키보드, 마우스 등을 더 포함할 수 있다.

1. 실험 참가자

본 실험에는 20명 (남자: 10명, 여자: 10명, 평균 나이: 28.42±3.17세)의 대학 및 대학원생이 실험에 참여했다. 실험 결과에 영향을 미칠 수 있는 중추신경계, 자율신경계, 전정계, 시각계의 병력 및 가족력이 없는 실험 참가자를 대상으로 하였다. 또한, 신체 반응에 영향을 미칠 수 있는 요인으로 흡연 및 음주를 제한하였고 실험 당일 피로를 최소화하기 위해 실험 전날 충분한 수면을 취하도록 권고하였다. 실험 목적을 제외하고 실험에 대한 전반적인 내용에 대해 충분히 설명하였고 실험 참여에 대한 동의 받았다. 본 연구의 모든 실험 디자인은 상명대학교 생명윤리위원회 (Sangmyung University Institutional Bioethics Review Board, SMUIBRB)의 승인을 받아 진행하였다.

2. 실험 환경

실험 참가자들의 영상멀미를 유발시키기 위해 HMD(Head Mount Display)를 통해 가상현실 컨텐츠를 소정 시간 시청하도록 하였다. 도1은 실제 실험 환경을 보여 주며, 도2는 전체 실험의 과정을 보여 준다. 본 실험에서는 HMD로서 HTC 사 (HTC Inc., Taiwan ＆ Valve Inc., USA)의 "HTC VIVE"를 사용하였고, 가상현실 콘텐츠는 "Ultimate Booster Experience" (GexagonVR, 2016)이었고, 시청시간은 15분으로 정하였다. 콘텐츠 시청 전에, LED 모니터 (27MP68HM, LG Inc., Korea) 중앙에 제시되는 플러스 모양의 아이콘 (+)을 3분 동안 응시하도록 하였고 태스크가 진행되는 동안 영상 카메라를 이용해 동공 영상을 획득하였다. 콘텐츠 시청 후에는 영상멀미에 대한 주관적인 상태를 확인하기 위해 SSQ(Simulator Sickness Questionnaire) 설문을 실시하였다. 이러한 실험을 통해서 콘텐츠 시청 전의 동공반응과 시청 후에 영상멀미 경험에 대한 민감도를 비교 분석 하였다.

본 실험에서 사용된 SSQ 설문은 16개의 설문 문항을 포함하고 있고 각각의 설문 문항들은 매스꺼움 (Nausea), 시신경 (Oculo-Motor), 방향감각상실 (Disorientation)의 3개의 요인에 중복 포함되어 구성되어 있다.

- 설문항목(16)은 다음과 같다.

(1) 일반적인 불편감 (General Discomfort)

(2) 피로 (Fatigue)

(3) 두통 (Headache)

(4) 눈 통증 (Eyestrain)

(5) 초점 맞추기 어려움 (Difficulty Focusing)

(6) 타액분비 증가 (Increased Salivation)

(7) 땀 흘림 (Sweating)

(8) 메스꺼움 (Nausea)

(9) 집중 곤란 (Difficulty Concentrating)

(10) 머리의 팽만감 (Fullness of Head)

(11) 시야 흐림 (Blurred Vision)

(12) 일반적인 어지러움 (Dizzy: Eyes Open)

(13) 일반적인 어지러움 (Dizzy: Eyes Close)

(14) 회전성 어지러움 (Vertigo)

(15) 거북감 (Stomach Awareness)

(16) 트림 (Burping)

설문에서 사용된 3개의 요인은 다음과 같다.

(1) 매스꺼움 (Nausea, N: 1, 6, 7, 8, 9, 15, 16)

(2) 시신경 (Oculo-Motor, O: 1, 2, 3, 4, 5, 9, 11)

(3) 방향감각상실 (Disorientation, D: 5, 8, 10, 11, 12, 13, 14)

실험 참가자들로부터 위와 같은 16개의 SSQ 설문 항목에 대해 4 단계 (0-3) 스케일로 설문을 받았고 각각의 항목에 대한 점수는 상기 3개의 요인에 대해 가중치를 부여하여 다음 식 1)을 이용해 통합 영상멀미 점수 (SSQ Score)로 계산하였다.

3. 신호 처리 및 지표 (indicator) 정의

동공 영상을 취득하기 위해 동공 영상을 취득하였다. 본 실험에서는 HTC VIVE 안에 내장된 ‘Pupil Labs eye trackers' (Pupil Labs GmbH Inc., Germany)를 이용해 1280 x 720 해상도 및 초당 30 fps (Frame Per Second)의 속도로 동공 영상을 취득하였다. 취득된 그레이 스케일 (Gray Scale) 영상은 이진화와 원형 검출 알고리즘 (Circular edge detection, CED)의 과정을 거쳐 동공 영역을 검출하였다. 상기 과정은 선행 연구들을 참조하여 진행하였고, 원형 검출 알고리즘은 아래의 식 2와 같다.

검출된 동공 영역으로부터 영상멀미를 검출 또는 측정하기 위한 지표(indicator)를 아래와 같은 단계를 통해 추출하였다.

단계1: 검출된 동공 영역에서 x와 y축 좌표 정보를 30 fps로 추출

단계2: 눈 깜박임 반응으로 인한 동공 좌표 정보의 손실을 최소화하기 위해 이동 평균 (Sliding Moving Average) 기법을 이용하여 30 fps 데이터를 1 fps 데이터로 리샘플링 (Re-Sampling) 처리 (Window Size: 30 fps, shift interval: 30 fps)

단계3: 리샘플링된 동공 좌표 데이터는 시계열 데이터 (Time serial data)로 2차원 X-Y 평면에 플로팅(Plotting)

단계4: 2차원 평면에 플로팅된 동공 좌표 데이터는 전체 샘플의 95% 이상이 포함 되도록 타원의 영역을 정의

단계5: 상기 타원의 영역으로부터 장축과 단축의 길이 정보를 추출하고 수식 (3)를 이용하여 영상멀미 예측을 위한 지표(indicator)인 타원의 면적 (Area of Pupil Center Position, PCPA)과 타원의 장축 및 단축의 비율 (Ration between major ＆ minor axes, PCPR)로 정의

위에서 플로팅(Plotting)이란 임의 가상 평면 상에 동공 좌표 정보를 배열하는 수학적 기법으로서 이는 상기 타원의 면적(크기) 및 타원의 장단축의 비율을 계산하는 수학적 방법을 의미한다.

도3은 상기와 같은 지표(indicator) 추출과정을 보여 준다. 도3의 (A)는 동공 영역 검출과정으로서 (a)는 동공의 그레이 스케일 이미지, (b)는 이미지의 이진화(Binarization), (c)는 CED 알고리즘에 의한 동공 영역 검출을 나타낸다. 도3의 (B)는 30fps 영상의 X, Y 축의 좌표(Coordinate), 도3의 (C)는 1fps에서 리샘플링된 X, Y 의 좌표, 그리고 도3의 (D)는 PCP_A 와 PCP_R 의 정의(Definition)를 보여준다. 아래의 식은 PCP_A 와 PCP_R 각각의 계산식이다.

즉, PCP_A 와 PCP_R 는 2차원 평면상에 플로팅된 동공 좌표에 의해 형성되는 타원의 장축(major axis) 및 단축(minor axis)의 지름 a, b 로부터 계산되며, 결과적으로 PCP_A 는 타원의 넓이이며 PCP_R 은 타원의 단축 반경에 대한 장축 반경의 비율(ratio)을 나타낸다.

4. 통계 분석

본 실험은 가상현실 콘텐츠 경험 이전의 CGP의 움직임 패턴에 따라 사용자가 경험하는 영상멀미의 민감도를 분석하고 이를 기반으로 영상멀미 예측 모델을 개발하는 것을 목적으로 한다. 따라서 본 실시 예에서 제안된 지표(indicator)들 (PCPA ＆ PCPR)과 SSQ 점수 사이의 상관성을 분석하고 다중회귀분석 (Multi Regression Analysis)을 이용해 영상멀미 예측을 위한 회귀 모형을 도출하였다. 도출된 회귀 모형을 기반으로 새로운 실험참가자의 데이터 샘플을 이용해 도출된 회귀 모형의 정확도를 확인 하였다. 또한, 20명의 실험 참가자를 SSQ 점수를 기준으로 영상멀미를 심하게 느낀 그룹 (상위 10명)과 그렇지 않은 그룹 (하위 10명)으로 구분하여 독립표본 t검정 (Independent t-Test) 통해 통계적 유의성을 확인하였다.

상관 분석은 피어슨 상관 계수 (Pearson's correlation coefficient)를 이용하여 분석하였고 상관 계수에 따라 (1) r ≤ 0.3, 약한, (2) 0.36 ≤ r ≤ 0.67, 중간, (3) 0.68 ≤ r ≤ 1, 강한 (4) r ≥ 0.90, 매우 강한의 기준으로 평가하였다. 통계 검정에서 다중 가설로 인해 발생할 수 있는 1종 오류를 보정하기 위해 본페로니 교정 (Bonferroni correction)을 이용해 통계 검정의 유의 수준 (i.e., α = .05/n)을 보정하였다. 본 실시 예에서는 PCPA와 PCPR의 두 가지 종속 변수에 의해 유의수준은 p < 0.025로 설정되었다 (α = 0.05/2). 또한, 통계적 유의성뿐만 아니라 실질적 유의성 (Practical Significance)도 확인하기 위해 효과 크기 (Effect Size)를 계산하였다. 독립표본 t검정의 효과 크기는 Cohen's d (0.10: small, 0.25: medium, 0.40: large)를 기준으로 하였다.

5. 실험 결과

동공 반응 분석결과에서 VR 콘텐츠 시청 이전에 CGP의 반경 (PCPA)이 좁고 반경의 장축과 단축 사이의 비율 (PCPR)이 1에 가까울수록 콘텐츠 시청 후에 실험 참가자가 느끼는 영상멀미가 감소하는 결과를 확인하였고 대표적인 실험 참가자의 CGP 움직임 패턴을 도4에 도시하였다. 실험 참가자 P6의 경우, VR 콘텐츠 시청 전에 PCPA와 PCPR가 각각 26.507과 1.072로 나타났고 시청 후에 SSQ 점수는 17.247로 확인되었다. 반면, 실험 참가자 P14의 경우, VR 콘텐츠 시청 전에 PCPA와 PCPR가 각각 110.117과 1.802의 결과를 보였고 시청 후에 SSQ 점수는 181.134로 확인되었다

도5는 독립 표본 t검정 결과를 보인다. 전체 20명의 실험 참가자의 SSQ 점수를 기준으로 두 그룹으로 구분하였고 PCPA와 PCPR 모두 영상멀미를 심하게 느끼는 그룹과 그렇지 않은 그룹 사이에 통계적으로 유의한 차이가 확인 되었다 (PCPA: t[18]= -4.632, p = 0.0004, Cohen's d = 2.184 with large effect size; PCPR: t[18]= -3.136, p = 0.0057, Cohen's d = 1.478 with large effect size).

VR 콘텐츠 시청 전에 CGP의 안전성(PCP_A ＆ PCP_R)이 영상멀미 민감도 (SSQ score)에 미치는 영향을 확인하기 위해 피어슨 상관분석을 실시하였고 그 결과는 도6에 나타내었다. PCP_A 와 SSQ 점수 사이의 상관분석 결과 강한 양의 상관관계가 확인되었고 (r = 0.787, p < 0.01) PCP_R 와 SSQ 점수 사이의 상관분석 결과 중간 양의 상관관계가 확인되었다 (r = 0.662, p < 0.01).

아래의 표1은 PCPA 및 PCPR의 지표(indicator)에 대한 응답에서 멀미에 대한 SSQ 점수에 대한 다중 회귀 분석 결과를 보인다.

CGP의 움직임 패턴을 기반으로 영상멀미의 민감도를 예측하기 위해 PCPA와 PCPR를 각각 독립변수로 설정하고 SSQ 점수를 종속변수로 하여 다중회귀분석을 실시하였고 그 결과는 표 1과 같다. PCPA와 PCPR를 이용한 다중 회귀 모델은 SSQ 점수에 대해 통계적으로 유의한 70%의 설명력 (F = 22.650; df = 2, 13; p < 0.001; Durbin-Watson = 1.655)을 갖는 것으로 확인되었다. 다중 회귀 분석을 통해 도출된 SSQ 점수 예측 모델은 식 4와 같다.

6. 회귀모델 검증실험 및 결과

본 실험 결과를 기반으로 영상멀미에 대한 민감도를 예측하기 위한 회귀모델 도출하였고 이를 검증하기 위한 추가 실험을 실시하였다. 검증 실험에는 10명 (남자: 5명, 여자: 5명, 평균 나이: 27.26±3.34세)의 대학 및 대학원생이 실험에 참여했다. 실험 참가자의 모집 조건과 실험 디자인은 모두 본 실험의 조건과 같았다 (2.1 실험참가자 ＆ 2.2 실험디자인). 또한, 검증 실험의 실험참가자는 본 실험에 참여하지 않았던 실험참가자들을 대상으로 하였다. 실험참가자 10명에 대한 검증 실험 결과는 표 2와 도7에 나타내었다.

6. 회귀모델 검증실험 및 결과

검증 실험 분석결과, 실험참가에 의한 설문(Obseved)과 회귀모델에 의한 SSQ 점수 (Expected) 사이에 강한 양의 상관관계 (r = 0.786, p < 0.01)가 있음을 확인하였고 두 SSQ 점수 사이의 차이는 44.150±25.937로 나타났다.

본 발명은 CGP(Cardinal Gaze Position)의 움직임 또는 이동 패턴을 이용하여 영상멀미에 대한 민감도를 측정하는 방법 및 장치를 제시 한다. 이에 따라, VR 콘텐츠 경험 이전에 CGP의 움직임 패턴과 영상멀미에 대한 민감도 수치 (SSQ 점수) 사이의 상관분석, 독립표본 t검정을 통해 통계적 유의성 및 상관성을 확인하였고 다중회귀분석을 통해 예측 모델을 도출하였다.

본 실험에서는 크게 두 가지 유의미한 결과를 확인하였다. 첫째, VR 콘텐츠 경험 이전에 동공 주시눈 좌표의 반경 (PCPA)이 작을수록 영상멀미에 대한 민감도 (SSQ 점수)가 낮은 패턴을 나타내었다. 이들 사이에 상관분석 결과에서도 강한 양의 상관관계가 있음이 확인되었다. 둘째, VR 콘텐츠 경험 이전에 동공 주시눈 좌표 반경의 장축 및 단축 사이의 비율 (PCPR)이 1에 가까울수록 영상멀미에 대한 민감도 (SSQ 점수)가 낮은 패턴을 나타내었고 중간 양의 상관관계가 확인되었다. 또한, SSQ 점수를 기준으로 영상멀미를 심하게 경험한 그룹과 그렇지 않은 그룹으로 구분하여 독립표본 t검정한 결과에서도 PCPA와 PCPR에서 모두 통계적으로 유의미한 차이가 확인되었다.

본 실험에서 발견한 PCPA와 PCPR의 결과는 감각충돌이론 및 자세불안정성이론으로 설명 가능하다. PCPA가 작고 PCPR가 1에 가까운 것은 동공 주시눈 좌표를 제시된 타겟에 대해 안정적인 상태로 유지할 수 있다는 것을 의미한다. 이러한 기능은 전정안구반사와 밀접한 연결성이 있으며, 전정계에 의한 자세 안정성 또는 시각 보정의 기능을 반영하는 지표이다. 따라서 시선을 제시된 타겟에 안정적으로 유지할 수 있는 것은 전정계에 의한 안정적인 균형 유지능력과 양의 상관관계가 있다. 이로 인해 영상멀미에 대한 민감도가 낮아진 것으로 해석할 수 있으며, 불안정한 자세 혹은 익숙하지 않은 움직임 패턴에 대한 경험을 안정적인 상태로 유지하려는 과정인 자세불안정성이론과도 일치한다. 또한, 안정적인 시선의 패턴은 집중과 양의 상관성이 있으며, 이는 정신부하 수준이 낮은 상태를 의미한다.

3D 시각피로와 관련된 몇몇 연구에서, 3D 시각피로를 단순한 시각적 불편감이 아니라, 2D 보다 많은 시각 정보량 처리로 인한 인지부하 현상으로 해석하였다. 본 실험에서는 영상멀미 또한 360도의 영상정보 처리에 따른 정신부하와 서로 다른 감각 정보들 사이의 불일치로 인한 정보처리 과정의 비효율성으로 해석될 수 있으며, 이는 고차원의 인지부하 (High Level Cognitive Load)를 유발할 수 있을 것으로 사료된다. 따라서 인지부하가 상대적으로 낮은 상태의 실험 참가자들이 영상멀미에 대한 민감도가 낮은 결과를 보고한 것으로 판단된다.

최종적으로 상기 두 지표를 이용하여 다중회귀분석을 진행하였고 새로운 실험참가자 10명을 대상으로 예측모델을 검증하였다. 예측모델을 통해 추론된 SSQ 점수가 설문을 통해 취득된 SSQ 점수와 강한 양의 상관관계와 낮은 편차를 보이는 것을 확인하였다. 모범적 실시 예에 따르면 제안된 방법을 통해 사용자의 영상멀미를 예측할 수 있는 가능성을 확인하였다. 머리착용디스플레이를 통해 VR 콘텐츠를 경험하는 과정에서 사용자의 전정계 안정성 유지 및 정신부하 수준은 사용자 마다 차이가 있을 수 있고 같은 사용자라 하더라도 콘텐츠를 경험할 때마다 차이가 있을 수 있다. 본 실험을 통해 VR 콘텐츠 경험 이전에 간단한 테스트를 통해 영상멀미의 민감도를 측정 가능하고, 이러한 민감도를 적절하게 유형의 가이드 라인으로 사용자에게 제시할 수 있는데 활용 가능하다. 이렇게 함으로써 사용자가 영상멀미 경험에 대해 미리 대비하고 사용시간, 사용강도 등을 조절하여 인간 친화적이고 효율적으로 VR 기술을 활용하는데 기여할 수 있을 것이다.

이러한 본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 해당 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 보호범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.

Claims (16)

1. 영상 카메라를 이용하여 피험자로부터 동공 영상을 획득하는 단계; 그리고,
   상기 동공 영상을 분석하는 영상 멀미의 민감도를 분석하는 프로세싱 장치를 이용하여, 상기 동공 영상으로부터 동공 영역을 검출하고, 상기 동공 영역으로부터 다수의 동공의 중심 좌표를 추출하고, 그리고 상기 동공 영상에서의 동공의 중심 좌표의 변화를 검출하여 피험자의 영상멀미의 민감도를 평가하는 단계;를 포함하며,
   상기 프로세싱 장치에 의해 상기 중심 좌표를 추출하고 민감도를 평가하는 단계:는
   다수의 동공 중심 좌표를 X-Y 평면 상태에 플로팅하는 단계;
   상기 X-Y 평면에서 소정 범위의 좌표를 포함하는 타원 영역을 정의 하는 단계;
   상기 타원 영역의 장축 반경과 단축 반경을 상기 민감도 판단을 위한 지표로 검출하는 단계; 그리고
   상기 지표를 이용하여 상기 민감도를 평가하는 단계;를 포함하는, 영상멀미 민감도 측정 방법.
2. 제1항에 있어서,
   상기 동공 영상으로부터 동공 영역을 검출하는 과정:은
   상기 동공 영상을 이진화하는 단계;와
   이진화된 동공 영상으로부터 동공 영역을 검출하는 단계;를 포함하는 영상멀미 민감도 측정 방법.
3. 제2항에 있어서,
   상기 동공 영역을 검출함에 있어서 원형 검출 알고리즘을 적용하는 영상멀미 민감도 측정 방법.
4. 제2항 또는 제3항에 있어서,
   상기 동공의 중심 좌표를 검출함에 있어서 동공 영상에 대한 이동평균 (Sliding Moving Average) 기법에 의한 리샘플링을 적용하는, 영상멀미 민감도 측정 방법.
5. 삭제
6. 삭제
7. 제1항에 있어서,
   상기 타원 영역의 면적 (PCP_A)과 상기 타원 영역의 단축 반경에 대한 장축 반경의 비율(PCP_R)을 구하고, 상기 면적과 비율을 민감도 평가 기준으로 적용하는, 영상멀미 민감도 측정 방법.
8. 삭제
9. 제1항 내지 제3항, 또는 제7항 중의 어느 한 항에 기재된 방법을 수행하는 영상멀미 민감도 측정 장치에 있어서,
   동공 영상을 촬영하여 카메라;
   상기 동공 영상으로부터 동공 영역을 검출하고, 상기 동공 영역으로부터 다수의 동공의 중심 좌표를 추출하고, 그리고 상기 동공 영상에서의 동공의 중심 좌표의 변화를 검출하여 피험자의 영상멀미의 민감도를 정의하는 프로세싱 장치;를 포함하며,
   상기 프로세싱 장치:는
   다수의 동공 중심 좌표를 X-Y 평면 상태에 플로팅하고, 상기 X-Y 평면에서 소정 범위의 좌표를 포함하는 타원 영역을 정의 하고, 상기 타원 영역의 장축 직경(a)과 단축 직경(b)을 상기 민감도 판단을 위한 지표로 검출하고, 그리고 상기 지표를 이용하여 상기 민감도를 평가하는, 영상멀미 민감도 측정 장치.
10. 제9항에 있어서,
    상기 카메라는 HMD(Head Mount Display)에 장착되어 있는, 영상멀미 민감도 측정장치.
11. 제9항에 있어서,
    상기 프로세싱 장치는 상기 동공의 중심 좌표를 검출함에 있어서 동공 영상에 대한 이동평균 (Sliding Moving Average) 기법에 의한 리샘플링을 수행하는, 영상멀미 민감도 측정 장치.
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제

Images