KR20200097108A - 신체 불안정성을 이용한 멀미 민감도 측정 방법 및 장치 - Google Patents

Abstract

개인별 멀미에 대한 민감도를 측정하는 방법 및 장치가 개시된다. 개시된 방법:은 피험자의 신체 불안정성에 따른 부하의 압력 중심(Center of Pressure)의 좌표를 연속 측정하는 단계; 연속 측정된 압력 중심의 좌표를 이용해 압력 중심들이 분포하는 타원 영역을 정의하는 단계; 상기 타원 영역의 넓이 및 타원 영역의 주축과 부축의 길이(직경 또는 반경)를 계산하는 단계; 그리고, 상기 넓이와 길이를 이용하여 상기 신체의 움직임에 따르는 멀미 민감도를 계산하는 단계; 를 포함한다.

Description

신체 불안정성을 이용한 멀미 민감도 측정 방법 및 장치{Method and apparatus for determining sensitivity of motion sickness using body instability}

본 개시는 신체 밸런스의 불안정성을 이용하여 개인별 멀미 민감도를 평가또는 측정 하는 방법 및 장치에 관련한다.

최근 각광을 받고 있는 가상현실(virtual reality) 산업에서, 게임, 엔터테인먼트, 교육, 건축, 제조업, 의료 영상 등 다양한 산업에서 HMD 기기를 이용하는 경우가 늘고 있다 (Zyda, 2005; Pan et al., 2006; Van krevelen ＆ Poelman, 2010; Moss ＆ Muth, 2011; Kesim ＆ Ozarslan, 2012; Ong ＆ Nee, 2013). 가상현실(VR)은 3차원 시각정보를 이용해 사용자들에게 높은 몰입감(immersion), 사실감(realism) 그리고 공존감(co-existence)을 준다고 보고하는 연구들이 있다 (Bailenson et al., 2008; Bos et al., 2088; Lambooji et al., 2009; Kim et al., 2014). 그러나 가상현실(VR)은 시각정보로 인해 유발된 멀미감(visually induced motion sickness, VIMS)과 같은 부정적인 휴먼 팩터(human factor)와도 연관이 깊으며, 어느 정도 사용한 사용자부터 오래 사용한 사용자까지 그 증상이 나타나는 범위도 넓다 (Hettinger ＆ Riccio, 1992; Hakkinen et al., 2002; Kennedy et al., 2010; Moss ＆ Muth, 2011; Naqvi et al., 2013). VIMS는 불쾌감이나 시각적 피로감, 불안감, 창백함, 땀, 메스꺼움, 방향감각 상실 등의 전형적인 증상들을 유발할 수 있다 (Sharples et al., 2008; Bos et al., 2008; Lambooji et al., 2009). 따라서 현재 가상현실 산업군이 당면하고 있는 가장 큰 문제는 가상현실 기기를 사용함으로써 발생하는 멀미감에 대해 이해하고, 멀미감으로 인해 발생하는 문제들을 해결하는 것이다. 가상현실 산업에 있어 가장 큰 걸림돌이 되고 있는 멀미감을 해결함으로써 앞으로의 가상현실산업 발전을 도모하고 사용자들의 사용경험을 증가시켜줄 수 있을 것이라 기대되기 때문이다 (Hakkinen et al., 2002; Moss ＆ Muth, 2011).

전반적으로 시각적 정보로 인해 발생하는 멀미를 연구하는 경우에는 두 가지 방식으로 접근한다. 첫 번째, 멀미감을 정량화 시키는 방법이다. 멀미를 유발하는 요인은 다양하다. 시선의 각도, 시선 고정점, 망막 활면, FOV(Field of View, 시야범위), 자세 불안정과 그 외에 개인적인 요소들로 인해 멀미가 유발될 수 있다 (Smart Jr et al., 2002; Yokata et al., 2005; Diels et al., 2007; Bos et al., 2010; Moss ＆ Muth, 2011). 또한 멀미의 증상이나 강도는 개인의 생리적인 상태, 성별, 행동 등으로 인해 달라질 수 있다 (Bos et al., 2008). 이러한 요소들은 정량적인 측정방법을 사용하여 검증되었으며 그 덕분에 개발자와 사용자가 볼 수 있도록 멀미감의 발생을 최소화시키기 위한 가이드라인이 제작되었다. 이전 연구들이 멀미를 정량화하는 방법으로는 다음과 같은 사람의 반응을 정량화한 것이다. (1) SSQ, MSQ와 같은 자기보고 평가 Kennedy et al., 1993, Golding, 1998). (2) 눈, 머리의 움직임(Webb ＆ Griffin, 2003; Kim et al., 2005) (Merhi et al., 2007)이나 몸의 흔들림과 같은 행동 반응 Yokata et al., 2005; Chardonnet et al., 2015). (3) 심전도(ECG) (Cowings et al., 1990; Ohyama et al., 2007; Zuzewicz et al., 2011; Mali?ska et al., 20l15; Nalivaiko et al., 2015), 피부온도(SKT) (Kim et al., 2005; Nobel et al., 2010), 피부전도도(GSR) (Cowings et al., 1990; Kim et al., 2005), 호흡(RR)과 같은 생리신호 (Cowings et al., 1990; Kim et al., 2005; Kiryu et al., 2008). (4) 뇌 활동 (Kim et al., 2005; Chen et al., 2010; Ko et al., 2011; Lin et al., 2013; Chung et al., 2016)이나 신경학적 영상을 이용한 신경반응(Kim et al., 2011; Miyazaki et al., 2015).

두 번째, 가상현실 기기나 콘텐츠 요소를 이용하여 사용자의 멀미감을 줄여주려는 방법이다. 한 연구는 CRVE라는 사이버 멀미를 완화시키는 가상환경 방법을 제안했는데 이는 사용자가 멀미감을 느끼는 것을 전기생리신호(i.e., ECG, EOG, GSR, PPG, SKT, EGG, and EEG) 등을 이용해 감지했을 때 FOV, 이동속도 등을 조절하는 방식으로 인공신경망 알고리즘을 사용하는 방식이다 (Kim et al., 2008). 다른 연구에서는 가상현실을 체험하는 동안 실시간으로 FOV를 실시간으로 조절하고 실재감을 떨어뜨리지 않으면서 멀미에 대한 민감도를 줄이려는 시도도 있었다 (Fernandes ＆ Feiner, 2016; Nie et al., 2017). 그 외 멀미를 줄이기 위해 속도, 방향, 깊이감 등을 데이터 기반으로 조절하는 방식이다. 이러한 데이터는 비디오 콘텐츠를 통해 축적된 것이며 이 데이터와 멀미감을 머신러닝 알고리즘을 이용해 추정하는 방식이다 (Padmanaban et al., 2018). 이처럼 이전 연구들은 멀미감을 측정하고 줄이려는 시도를 하였지만 사용자가 경험한 멀미감의 정도를 예측하려는 시도는 많지 않았다. 사용자의 특성에 따라 멀미감 역시 달라질 수 있기 때문이다 (Bos et al., 2008). 사용자들이 멀미감에 대한 민감도를 인식하는 것이 가능하다면 멀미감으로 인한 증상들에 대한 대비를 할 수 있을 수 있다. 멀미에 대한 인식은 가상현실 기술에 대한 저항감을 줄여주고 사용자 친화적인 VR 시청환경을 구축하는데 도움이 될 수 있다. 따라서 본 연구의 목적은 사용자의 멀미 민감도를 예측할 수 있는 기술을 개발하는 것이다.

VIMS의 원인에 대한 이론은 크게 두 가지이다. 하나는 감각 충돌(sensory conflict)이라고 하는 이론이며 멀미는 서로 다른 감각(주로 시각, 전정감각) 간 충돌이나 두 감각기관에서 오는 정보가 일치하지 않을 때 발생한다고 주장한다 (Claremont, 1931; Oman, 1990). 예를 들어, 사용자가 VR 환경을 경험할 때, 멀미는 동적 이미지와 관계된 시각정보와 몸의 정보가 서로 차이가 생김으로써 발생하는 것이다. 또 다른 이론은 자세 불안정(Postural instability)이라고 하는 이론으로, 멀미는 몸에 대한 컨트롤에 제한이 있기 때문에 발생하는 것이라고 주장한다. 지금 경험하고 있는 움직임 패턴이 시각정보와 일치하지 않을 때, 새로운 움직임 패턴에 대해 적응하려고 하는데 이 때 메스꺼움, 불완전함 움직임 제어 등으로 인해 몸의 자세나 방향이 불안정해지기 때문에 VIMS가 발생하는 것이다 (Riccio ＆ Stoffregen, 1991; Stoffregen et al., 2010). 이 이론들에 따르면 멀미는 몸의 균형과 전정기관과 연관이 깊다. 따라서 이전 연구에서는 몸의 흔들림(body sway)과 VIMS간 관계를 분석하려고 시도하였고 그 결과, 다음과 같은 상관관계가 있는 것으로 나타났다. 사용자가 멀미를 느끼면 (1) 압력 중심 또는 중력 중심에 (COP 또는 COG)서 느껴지는 움직임의 양, 변화량 그리고 속도가 증가한다. (Stoffregen et al., 2000; Merhi et al., 2007; Villard et al., 2008; Bonnet et al., 2008; Stoffregen et al., 2008; Stoffregen et al., 2010; Takada et al., 2011). (2) COP, 또는 COG 면적이 확장된다 (Villard et al., 2008; Bonnet et al., 2008; Chardonnet et al., 2015), (3) COP 또는 COG 영역의 모양이 타원형에서 원형으로 변한다 (Chardonnet et al., 2015). (4) 전체 경로(Total pathway, TWP) 와 x, y축 방향의 변화량의 제곱근이 증가한다 (Yokota et al., 2005). 요약하면, 멀미는 몸의 균형능력이 줄어들어 발생하는 것이고 이러한 현상은 자세 불안정 이론(postural instability theory) 으로 설명할 수 있다 (Riccio ＆ Stoffregen, 1991; Stoffregen et al., 2010).

Bailenson, J., Patel, K., Nielsen, A., Bajscy, R., Jung, S. H., and Kurillo, G. (2008). The effect of interactivity on learning physical actions in virtual reality. Media Psychology, 11(3), 354-376. Bolbecker, A. R., Hong, S. L., Kent, J. S., Klaunig, M. J., O'Donnell, B. F., and Hetrick, W. P. (2011). Postural control in bipolar disorder: increased sway area and decreased dynamical complexity. PLoS One, 6(5), e19824. Bonnet, C. T., Faugloire, E., Riley, M. A., Bardy, B. G., and Stoffregen, T. A. (2008). Self-induced motion sickness and body movement during passive restraint. Ecological Psychology, 20(2), 121-145. Bos, J. E., Bles, W., and Groen, E. L. (2008). A theory on visually induced motion sickness. Displays, 29(2), 47-57. Bos, J. E., de Vries, S. C., van Emmerik, M. L., and Groen, E. L. (2010). The effect of internal and external fields of view on visually induced motion sickness. Applied ergonomics, 41(4), 516-521. Chardonnet, J. R., Mirzaei, M. A., and Merienne, F. (2015). Visually induced motion sickness estimation and prediction in virtual reality using frequency components analysis of postural sway signal, International Conference on Artificial Reality and Telexistence Eurographics Symposium on Virtual Environments (2015) (pp. 9-16). Chen, Y. C., Duann, J. R., Chuang, S. W., Lin, C. L., Ko, L. W., Jung, T. P., and Lin, C. T. (2010). Spatial and temporal EEG dynamics of motion sickness. NeuroImage, 49(3), 2862-2870. Chuang, S. W., Chuang, C. H., Yu, Y. H., King, J. T., and Lin, C. T. (2016). EEG alpha and gamma modulators mediate motion sickness-related spectral responses. International journal of neural systems, 26(02), 1650007-1650021. Claremont, C. A. (1931). The psychology of seasickness. Psyche, 11, 86-90. Cohen, P., West, S. G., and Aiken, L. S. (2014). Applied multiple regression/correlation analysis for the behavioral sciences. Psychology Press. Cowings, P. S., Naifeh, K. H., and Toscano, W. B. (1990). The stability of individual patterns of autonomic responses to motion sickness stimulation. Aviation, space, and environmental medicine, 61(5), 399-405. Diels, C., Ukai, K., and Howarth, P. A. (2007). Visually induced motion sickness with radial displays: effects of gaze angle and fixation. Aviation, space, and environmental medicine, 78(7), 659-665. Fernandes, A. S., and Feiner, S. K. (2016, March). Combating VR sickness through subtle dynamic field-of-view modification. In 3D User Interfaces (3DUI), 2016 IEEE Symposium on(pp. 201-210). IEEE. Golding, J. F. (1998). Motion sickness susceptibility questionnaire revised and its relationship to other forms of sickness. Brain research bulletin, 47(5), 507-516. Hakkinen, J., Vuori, T., and Paakka, M. (2002, October). Postural stability and sickness symptoms after HMD use. In IEEE International Conference on Systems, Man and Cybernetics (Vol. 1, pp. 147-152). Hettinger, L. J., and Riccio, G. E. (1992). Visually induced motion sickness in virtual environments. Presence: Teleoperators and Virtual Environments, 1(3), 306-310. Kim, Y. Y., Kim, H. J., Kim, E. N., Ko, H. D., and Kim, H. T. (2005). Characteristic changes in the physiological components of cybersickness. Psychophysiology, 42(5), 616-625. Kim, J., Napadow, V., Kuo, B., and Barbieri, R. (2011, August). A combined HRV-fMRI approach to assess cortical control of cardiovagal modulation by motion sickness. In Engineering in Medicine and Biology Society, EMBC, 2011 Annual International Conference of the IEEE (pp. 2825-2828). IEEE. Kiryu, T., Tada, G., Toyama, H., and Iijima, A. (2008, August). Integrated evaluation of visually induced motion sickness in terms of autonomic nervous regulation. In Engineering in Medicine and Biology Society, 2008. EMBS 2008. 30th Annual International Conference of the IEEE (pp. 4597-4600). IEEE. Kennedy, R. S., Lane, N. E., Berbaum, K. S., and Lilienthal, M. G. (1993). Simulator sickness questionnaire: An enhanced method for quantifying simulator sickness. The international journal of aviation psychology, 3(3), 203-220. Kennedy, R. S., Drexler, J., and Kennedy, R. C. (2010). Research in visually induced motion sickness. Applied ergonomics, 41(4), 494-503. Kesim, M., and Ozarslan, Y. (2012). Augmented reality in education: current technologies and the potential for education. Procedia-Social and Behavioral Sciences, 47, 297-302. Kim, K., Rosenthal, M. Z., Zielinski, D. J., and Brady, R. (2014). Effects of virtual environment platforms on emotional responses. Computer methods and programs in biomedicine, 113(3), 882-893. Kim, Y. Y., Kim, E. N., Park, M. J., Park, K. S., Ko, H. D., and Kim, H. T. (2008). The application of biosignal feedback for reducing cybersickness from exposure to a virtual environment. Presence: Teleoperators and Virtual Environments, 17(1), 1-16. Ko, L. W., Wei, C. S., Jung, T. P., and Lin, C. T. (2011, July). Estimating the level of motion sickness based on EEG spectra. In International Conference on Foundations of Augmented Cognition (pp. 169-176). Springer, Berlin, Heidelberg. Lambooij, M., Fortuin, M., Heynderickx, I., and IJsselsteijn, W. (2009). Visual discomfort and visual fatigue of stereoscopic displays: A review. Journal of Imaging Science and Technology, 53(3), 30201-1. Lin, C. T., Tsai, S. F., and Ko, L. W. (2013). EEG-based learning system for online motion sickness level estimation in a dynamic vehicle environment. IEEE transactions on neural networks and learning systems, 24(10), 1689-1700. Maliρska, M., Zu¿ewicz, K., Bugajska, J., and Grabowski, A. (2015). Heart rate variability (HRV) during virtual reality immersion. International Journal of Occupational Safety and Ergonomics, 21(1), 47-54. Merhi, O., Faugloire, E., Flanagan, M., and Stoffregen, T. A. (2007). Motion sickness, console video games, and head-mounted displays. Human Factors, 49(5), 920-934. Miyazaki, J., Yamamoto, H., Ichimura, Y., Yamashiro, H., Murase, T., Yamamoto, T., Umeda, M.,and Higuchi, T. (2015). Inter-hemispheric desynchronization of the human MT+ during visually induced motion sickness. Experimental brain research, 233(8), 2421-2431. Moss, J. D., and Muth, E. R. (2011). Characteristics of head-mounted displays and their effects on simulator sickness. Human factors, 53(3), 308-319. Nobel, G., Tribukait, A., Mekjavic, I. B., and Eiken, O. (2010). Histaminergic and cholinergic neuron systems in the impairment of human thermoregulation during motion sickness. Brain research bulletin, 82(3-4), 193-200. Nalivaiko, E., Davis, S. L., Blackmore, K. L., Vakulin, A., and Nesbitt, K. V. (2015). Cybersickness provoked by head-mounted display affects cutaneous vascular tone, heart rate and reaction time. Physiology and behavior, 151, 583-590. Naqvi, S. A. A., Badruddin, N., Malik, A. S., Hazabbah, W., and Abdullah, B. (2013, July). Does 3D produce more symptoms of visually induced motion sickness?. In Engineering in Medicine and Biology Society (EMBC), 2013 35th annual international conference of the IEEE (pp. 6405-6408). IEEE. Nie, G., Liu, Y., and Wang, Y. (2017, October). [POSTER] Prevention of Visually Induced Motion Sickness Based on Dynamic Real-Time Content-Aware Non-salient Area Blurring. In Mixed and Augmented Reality (ISMAR-Adjunct), 2017 IEEE International Symposium on (pp. 75-78). IEEE. Ohyama, S., Nishiike, S., Watanabe, H., Matsuoka, K., Akizuki, H., Takeda, N., and Harada, T. (2007). Autonomic responses during motion sickness induced by virtual reality. Auris Nasus Larynx, 34(3), 303-306. Oliveira, L. F., Simpson, D. M., and Nadal, J. (1996). Calculation of area of stabilometric signals using principal component analysis. Physiological measurement, 17(4), 305-312. Oman, C. M. (1990). Motion sickness: a synthesis and evaluation of the sensory conflict theory. Canadian journal of physiology and pharmacology, 68(2), 294-303. Ong, S. K., and Nee, A. Y. C. (2013). Virtual and augmented reality applications in manufacturing. Springer Science and Business Media. Padmanaban, N., Ruban, T., Sitzmann, V., Norcia, A. M., and Wetzstein, G. (2018). Towards a Machine-Learning Approach for Sickness Prediction in 360° Stereoscopic Videos. IEEE Transactions on Visualization and Computer Graphics, (1), 1594-1603. Pan, Z., Cheok, A. D., Yang, H., Zhu, J., and Shi, J. (2006). Virtual reality and mixed reality for virtual learning environments. Computers and Graphics, 30(1), 20-28. Riccio, G. E., and Stoffregen, T. A. (1991). An ecological theory of motion sickness and postural instability. Ecological psychology, 3(3), 195-240. Sharples, S., Cobb, S., Moody, A., and Wilson, J. R. (2008). Virtual reality induced symptoms and effects (VRISE): Comparison of head mounted display (HMD), desktop and projection display systems. Displays, 29(2), 58-69. Smart Jr, L. J., Stoffregen, T. A., and Bardy, B. G. (2002). Visually induced motion sickness predicted by postural instability. Human Factors, 44(3), 451-465. Stoffregen, T. A., Hettinger, L. J., Haas, M. W., Roe, M. M., and Smart, L. J. (2000). Postural instability and motion sickness in a fixed-base flight simulator. Human Factors, 42(3), 458-469. Stoffregen, T. A., Faugloire, E., Yoshida, K., Flanagan, M. B., and Merhi, O. (2008). Motion sickness and postural sway in console video games. Human Factors, 50(2), 322-331. Stoffregen, T. A., Yoshida, K., Villard, S., Scibora, L., and Bardy, B. G. (2010). Stance width influences postural stability and motion sickness. Ecological Psychology, 22(3), 169-191. Takada, H., Matsuura, Y., Takada, M., and Miyao, M. (2011, July). Comparison in Degree of the Motion Sickness Induced by a 3-D Movie on an LCD and an HMD. In International Conference on Virtual and Mixed Reality (pp. 371-379). Springer, Berlin, Heidelberg. Taylor, R. (1990). Interpretation of the correlation coefficient: a basic review. Journal of diagnostic medical sonography, 6(1), 35-39. Van Krevelen, D. W. F., and Poelman, R. (2010). A survey of augmented reality technologies, applications and limitations. International journal of virtual reality, 9(2), 1-21. Villard, S. J., Flanagan, M. B., Albanese, G. M., and Stoffregen, T. A. (2008). Postural instability and motion sickness in a virtual moving room. Human factors, 50(2), 332-345. Webb, N. A., and Griffin, M. J. (2003). Eye movement, vection, and motion sickness with foveal and peripheral vision. Aviation, space, and environmental medicine, 74(6), 622-625. Yokota, Y., Aoki, M., Mizuta, K., Ito, Y., and Isu, N. (2005). Motion sickness susceptibility associated with visually induced postural instability and cardiac autonomic responses in healthy subjects. Acta oto-laryngologica, 125(3), 280-285. Zuzewicz, K., Saulewicz, A., Konarska, M., and Kaczorowski, Z. (2011). Heart rate variability and motion sickness during forklift simulator driving. International Journal of Occupational Safety and Ergonomics, 17(4), 403-410. Zyda, M. (2005). From visual simulation to virtual reality to games. Computer, 38(9), 25-32.

본 개시는 개인별로 상이한 멀미 민감도를 평가 또는 측정하는 방법 및 장치를 제시한다.

모범적 실시 예에 따른 멀미 민감도 측정 방법:은

피험자의 신체 불안정성에 따른 부하의 압력 중심(Center of Pressure) 좌표를 연속 검출하는 단계;

연속 검출된 압력 중심의 좌표를 이용해 압력 중심들이 분포하는 타원 영역을 정의하는 단계;

상기 타원 영역의 넓이 및 타원 영역의 주축과 부축의 길이(직경 또는 반경)를 계산하는 단계;

그리고, 상기 넓이와 길이를 이용하여 상기 신체의 움직임에 따르는 멀미 민감도를 계산하는 단계; 를 포함한다.

모범적인 실시 예에 따르면, 연속 측정된 상기 압력 중심을 소정 주파수로 리샘플링하여 상기 타원 영역의 정의에 사용할 수 있다.

모범적 실시 예에 따르면, 상기 리샘플링을 위하여 이동 평균(sliding moving average) 기법이 이용될 수 있다.

모범적인 실시 예에 따르면, 상기 압력 중심의 좌표 변화는 다수의 압력 센서를 갖춘 밸런스 보드를 이용해 측정할 수 있다.

모범적인 실시 예에 따르면, 상기 밸런스 보드는 상기 피험자의 체중이 실리는 사분면을 가지는 보드와 보드의 사분면 배치되는 압력 센서를 포함할 수 있다.

모범적 실시 예에 따르면, 상기 민감도는 상기 타원영역의 면적과 타원 영역의 부축에 대한 주축의 비율을 이용하여 산출할 수 있다.

모범적 실시 예에 따르면, 상기 민감도(MS _SR )은 아래의 식에 의해 산출할 수 있다.

위에서 COP_A는 타원 영역의 면적, COP_R은 타원의 부축의 길이에 대한 주축의 길이의 비율이다.

상기 방법을 실행하는 멀미 민감도 측정 장치:는

상기 피험자의 자세 불안정성에 따른 압력 중심의 변화 데이터를 검출하는 밸런스 보드; 그리고

상기 밸런스 보드로부터의 압력 중심 변화 데이터를 처리하여 상기 피험자의 멀미 민감도를 평가하는 프로세싱 장치;를 포함할 수 있다.

본 개시에 따르면 가상 공간에서의 멀미뿐 아니라 실제 공간에서의 멀미의정도를 예측할 수 있다. 특히 가상 현실을 체험하기 전에 개인별 특성인 멀미 민감도를 측정함으로써 사전에 특정 가상 현실에 대한 노출 여부를 결정할 수 있다. 이러한 모범적 실시 예는 현실에서뿐 아니라 HMD를 사용하는 가상현실(virtual reality) 산업에서, 게임, 엔터테인먼트, 교육, 건축, 제조업, 의료 영상 등 다양한 산업에서 선제적 피험자의 보호 방법으로 적용될 수 있다.

도1은 본 개시에 다른 모범적 실시 예에서 사용하는 시뮬레이션 화면을 예시한다.
도2는 본 개시에 다른 모범적 실시 예에서, 실험 환경을 예시한다.
도3은 본 개시에 다른 모범적 실시 예의 실험에서 사용하는 HMD, 페달 시스템등의 하드웨어를 예시한다.
도4은 본 개시에 다른 모범적 실시 예의 신호 처리 과정을 보이는 블록다이어그램이다.
도5는 X-Y 평면 상에 플로팅된 다수의 COP 샘플에 의한 정의되는 타원 면적(COP _A )과 부축에 대한 주축의 비율 COP _R 에 대한 정의를 보인다.
도6과 도7은 본 개시에 다른 모범적 실시 예의 실험에서, 피험자3과 4의 COP _A , COP _R , 및 MS _SR 샘플은 도시한다.
도8 및 도9는 본 개시에 다른 모범적 실시 예의 실험에서 COP _A 와 MS _SR 의 상관 분석 결과를 각각 보인다.
도10은 본 개시에 다른 모범적 실시 예에 따른 회귀모델을 통해 예측된 멀미 비율을 비교해 보인다.
도11은 본 개시에 다른 모범적 실시 예에서 적용하는 밸런스 보드의 다른 사용 례를 예시한다.

이하 첨부된 도면을 참고하면서 본 개시의 모범적 실시 예에 따른 멀미 민감도 측정 방법 및 장치의 실시 예를 상세하게 설명한다.

모범적 실시 예는 가상현실 콘텐츠 경험 이전에 신체 불균형을 이용하여 개인별 멀미의 민감도를 측정하는 방법 및 장치에 관한 것이다. 이러한 모범적 실시 예는 컨텐츠 시청 전, 피험자의 압력 중심 위치변화를 추출하고, 이를 이용하여 피험자의 체중에 의해 가해지는 부하의 중심 위치, 즉 압력 중심(COP)의 이동 패턴을 영상멀미의 민감도를 측정한다.

모범적인 실시 예 따른 멀미 민감도 측정 장치는 COP를 측정하는 밸런스 보드와 이로부터 획득되는 압력 신호를 이용해 압력 중심 변화를 처리하여 멀미 민감도를 측정하는 프로세싱 장치를 포함한다. 도11에 도시된 바와 같이 밸런스 보드(1)는 피험자(10)가 올라 서거나, 도2에 도시된 바와 같이 앉을 수 있는 것으로, 그 내부에 적어도 4개의 압력 센서가 마련되며 이들 압력 센서는 전후 좌우 4 방향으로의 압력 변화를 검출할 수 있도록 4 개의 분할 영역(4분면)에 각각 배치되어 피험자의 자세 중심 즉 압력 중심 정보를 연속적으로 검출한다.

상기 프로세싱 장치는 밸런스 보드에 내장된 적어도 4개의 압력 센서로부터의 압력 신호를 처리 하고 이를 분석하는 분석용 툴 또는 소프트웨어 및 이것이 실행되는 하드웨어 시스템을 가진다. 이러한 프로세싱 장치는 컴퓨터 기반의 장치, 분석 알고리즘을 담고 있는 소프트웨어 및 이 소프트웨어가 구동할 수 있는 하드웨어를 포함하는 범용 컴퓨터 또는 전용 장치일 수 있다.

상기와 같은 프로세싱 장치로부터의 처리 결과는 디스플레이 장치에 의해 표시될 수 있으며, 입력 수단으로서 일반적인 외부 인터페이스 장치, 예를 들어 키보드, 마우스 등을 더 포함할 수 있다.

본 개시에서 제시하는 실험은 신체 불안정성에 따른 신체에 의한 COP(Center of Pressure)의 면적과 소정의 비율을 통해 멀미 주관평가를 얻고 그리고 이러한 주관적 평가의 객관성을 평가하기 위한 회귀분석이 실시되었다.

1. 실험 참가자

21-29세 사이의 성인 남녀 피험자 (남8, 여8)이 본 연구에 참여하였으며 평균 나이는 25.16 ± 2.78세 이었으며, 실험 참가에 대한 대가로 소정의 비용을 지불하였다. 모든 피험자는 중추신경계와 전정기관 관련 가족력, 병력이 없었으며 나안 시력 또는 교정 시력이 0.8 이상이었다. 모든 피험자는 실험 24시간 전부터 술, 카페인을 섭취하지 않고 흡연하지 않도록 하였으며 충분한 수면을 취했다. 실험 전 실험에 대한 상세한 설명을 하였으며 실험 중 하면 안 되는 행동 등에 대한 설명과 이에 대한 사전 동의를 받았다. 본 연구의 실험과정은 상명대학교 윤리위원회의 허가를 받아 진행하였다.

2. 실험 환경

영상 멀미를 유발하기 위해 도1에 시뮬레이션 화면에 보여진 바와 같은 "NoLimits 2 Roller Coaster Simulation" (Ole Lange, Mad Data GmbH ＆ Co. KG, 2014)라는 VR 콘텐츠를 15분 동안 시청하였으며, 이 실험에 사용한 HMD(Head-Mounted Display) 기기는 HTC VIVE (HTC Inc., Taiwan ＆ Valve Inc., USA) 이다.

도2에 도시된 바와 같이 실험하는 동안 피험자는 HMD를 착용하고 COP를측정하기 위한 밸런스 보드(balance board)에 앉아서 페달을 밟을 수 있도록 하였다. 영상을 시청하면서 피험자는 패달을 밟아서 자신의 멀미 정도를 평가(입력) 하도록 하였다. 페달의 샘플링은 10Hz 이었으며 이동 평균(moving average at window size 1s and resolution 1s) 기법을 사용하여 1Hz로 리샘플링 하였다. 피험자가 멀미를 느낄 때 페달을 앞으로 내려 밟도록 하였다. 이 페달 시스템은 도2에 도시된 바와 같이 페달과 (T.Flight Rudder Pedals, Thrustmaster, USA), 아두이노 보드(Arduino Uno R3, Arduino, Italy), 그리고 초음파 센서(US-016, SMG, China)로 구성되었다. 페달과 땅이 닫는 거리(i.e., 액셀러레이터 페달의 각도)는 페달 앞에 부착되어 있는 초음파 센서에 의해 측정하였다.

본 실험에서 사용되는 밸런스 보드는 COP(Body's Center of Pressure)의 변화를 측정하기 위해, 수평을 유지하는 보드 평면의 4분 면에 압력 센서가 각각 부착되어 있는 구조를 가진다. 피험자의 자세에 따라 작동하는 4분면 상의 4개의 센서들을 이용해 X축(anterior-posterior direction; AP) 및 Y축 (medial-lateral direction; ML)에서의 COP의 이동을 기록하였다.

한 실시 예에 따르면, 밸런스 보드로 힘판(force platform, Wii Balance Board(WBB), Nintendo, Japan)이 사용될 수 있다.

실험을 진행함에 있어서, 도3에 도시된 바와 같이, 피험자들은 레퍼런스 구간 (자극을 보기 전) 힘판 (Wii Balance Board (WBB), Nintendo, Japan)을 사용해 눈을 뜬 채로 균형감각을 5분간 측정하였다. 20Hz 샘플링으로 측정하였으며 이는 이동평균(moving average at window size 1s and resolution 1s) 기법을 사용하여 1Hz로 리샘플링하였다. 레퍼런스를 측정하는 동안 피험자들의 움직임을 최대한 제한하였으며 몸의 균형을 잘 유지하도록 요구하였다. 이렇게 측정한 균형감각은 VR 콘텐츠를 시청하는 동안 이루어진 주관 평가(Subjective rating, SR)와 비교하여 이 둘간 상관관계를 비교하고자 하였다.

3. 지표 정의 및 신호 처리

멀미(MS _SR ) 에 대한 주관평가(SR)는 멀미를 느낀 시간과 전체 VR 콘텐츠를 시청한 시간의 비율로 정의하였고 아래의 식 1과 같다. 본 실험에서 멀미가 느껴진다는 기준은 SR 점수(score) 가 0.5 이상일 때로 정했으며 이는 피험자들의 관찰영상과 인터뷰를 기반으로 정해졌다. 그 이유는 피험자들이 극단적인 멀미를 느꼈을 때 SR 점수가 모두 0.5 이상이었기 때문이다.

밸런스 보드의 압력중심부(COP)의 면적(COP _A ) 과 비율 (COP _R )은 피험자들의 균형감을 검증하는 지표로서 정의하였다. 그 이유는 몸의 균형 감각의 감소는 COP 면적의 증가와 COP의 장축 또는 주축(main axis)와 단축 또는 부축(minor axis)간의 불균형과 관계가 있기 때문이다 (Stoffregen et al., 2000; Merhi et al., 2007; Villard et al., 2008; Bonnet et al., 2008; Stoffregen et al., 2008; Stoffregen et al., 2010; Takada et al., 2011; Chardonnet et al., 2015). 타원의 전후 종축(main or anterior-posterior axis)과 중간 횡축(minor or medio-later axes)은 기존 연구가 제시한 대로 측정하였다 (Bolbecker et al., 2011). 타원의 두 축의 길이(반경 또는 직경)는 X-Y 2차원 평면에 플로팅된 전체 샘플 중, 95%가 포함되도록 정의 하였다 (Oliveira et al., 1996).

와

은 다음과 같은 계산식(2), (3)을 통해 계산하였다. 각 지표의 정의는 도5에 제시하였다. 도5는 X-Y 평면 상에 플로팅된 다수의 COP 샘플에 의한 정의되는 타원 면적 및 COP가 분포하는 타원 면적(COP _A )과 부축에 대한 주축의 길이(반경 또는 직경)비율 COP _R 의 정의를 보인다.

a: 주축(major axis)의 길이(반지름 또는 지름),

b: 부축(minor axis)의 길이(반지름 또는 지름)

a: 주축(major axis)의 길이

b: 부축(minor axis)의 길이

4. 분석

첫 번째 분석에서, VR 콘텐츠를 경험하기 전에 몸의 균형을 유지하는 능력과 멀미의 강도를 느끼는 능력을 검증하기 위하여 상관 분석을 실시했다. MS _SR ,COP _{A ,} 및COP_R 상관계수(r) 는 -1 부터 1 까지 범위로 나타난다. (1: 양의 상관 관계; 0: 상관 관계없음; -1 :음의 상관관계).

상관 관계에 대한 기준은 다음과 같다.

(1) r

0.35 은 약한 상관 관계를 의미한다.

(2) 0.36

r

0.67 보통의 상관 관계를 의미한다.

(3) 0.68

r

1 강한 상관 관계를 의미한다.

(4) r

0.90 아주 강한 상관 관계를 의미한다.

두 번째 분석에서, 멀미의 강도를 예측하기 위하여 몸의 균형을 기반으로 다중 회귀 분석을 실시 하였으며 변수 선택 방법으로는 모두 선택법을 이용하였다.

종속변수는(

) 이었으며 독립변수는 COP_A 및 COP _R 이다 ((i.e., MS _SR = B1?COP _A + B2 ? COP _R + C, 여기에서 B1, B2, C 는 회귀 상수)

마지막 분석에서, 위와 같은 과정으로 도출된 회귀 모델은 회귀 모델 도출시 사용하지 않은 피험자 샘플을 사용하여 상관분석을 통해 멀미 점수 측정과 예측사이의 관계를 검증하였다. 모든 통계분석(i.e., 상관분석, 다중회귀분석)은 IBM SPSS Statistics 21.0K (SPSS Inc., USA).를 통해 진행하였다.

5. 결과

피험자3과 4의 COP _A , COP _R , 및 MS _SR 샘플은 도6과 도7에 각각 나타내었다. 피험자 3(도6)과 피험자 4(도6)를 비교했을 때 피험자 3은 멀미증상을 자주 보고하였고 피험자 4는 극단적으로 적게 보고하였다. 피험자 4(COP _A : 1955.26 and COP _R : 1.03)에 비하여 피험자 3의 COP _A 와 COP _R (COP _A : 29357.12 and COP _R : 2.68)는 넓어지고 증가하였다.

COP _A 와 MS _SR 사이의 상관분석 결과, 강한 양의 상관 관계가 있었다. (r = 0.871, p < 0.05).

와 MS _SR 사이의 상관분석 결과, 보통 수준의 양의 상관관계가 있었다 (r = 0.674, p < 0.05). 16명 피험자의 데이터와 이를 사용한 상관분석 결과는 표1 과 도8, 9에 각각 제시하였다. 도8 및 도9는 COP _A 와 MS _SR 의 상관 분석 결과를 각각 보인다.

본 연구에서 몸의 균형 데이터를 통해 멀미를 느끼는 정도를 예측하기 위해 다중회귀분석이 실시되었다. 아래의 표 2 에 다중회귀분석 결과를 제시하였다. 독립변수는 몸의 균형 데이터인 COP의 면적과 COP 비율이었으며 종속변수는 주관평가 점수(N16)였다.

COP _A 와 COP _R 을 독립변수로 한 모델은 MS _SR 변동을 74% 설명하고 있으며 모두 유의하다. (F = 22.650; df = 2, 13; p < 0.001; Durbin-Watson = 1.655). COP의 면적과 비율을 통해 멀미 주관평가 점수를 예측하는 회귀식은 수(4)와 같다.

6. 다중회귀 모델 검증

21세-28세 사이 성인 남녀 10명이 다중회귀분석 검증실험에 참여하였으며 평균 연령은 25.07 ± 2.42세 이었다. 검증실험 피험자 중 누구도 본 실험에 참여하지 않았다. 피험자 모집조건과 실험 디자인은 위에서 언급한 내용과 동일하다.

검증실험에서 추출한 COP _A 과 COP _R 는 위에서 제시한 방식과 동일하게 하였으며 MS _SR 역시 마찬가지로 수집하였다. 주관평가를 통해 측정한 멀미 비율(OMS _SR ) 과 COP _A 과 COP _R 값을 이용하여 회귀모델을 통해 예측된 멀미 비율을 비교한 결과는 표3과 도10에 나타내었다. 비교 결과, 실제 측정한 멀미와 예측한 멀미 간 차이는 0.042 ± 0.022 였고 이들간 상관분석 결과 강한 양의 상관관계를 보였다 (r = 0.772, p < 0.05).

본 개시에 따른 멀미 평가 방법은 신체의 불균형에 따른 COP의 면적 및 비율을 이용한다. 본 개시에 따른 멀미 평가 방법은 몸의 균형을 유지하는 능력이 사용자가 경험하는 멀미 민감도와 큰 연관이 있을 것이라는 가설에 기초한다. 그리고 이것이 본 실험을 통해 멀미의 정도를 예측할 수 있는 중요한 요소가 될 수 있음이 확인되었다. 또한 몸의 균형감각이 좋은 사람은 멀미에 취약하지 않은데 이는 멀미가 자세 불안정과 양의 상관관계가 있기 때문이다. 본 개시에 자세 불안정과 멀미간 상관관계를 분석하고 회귀분석모델을 통해 멀미 민감도를 예측할 수 있는 방법 및 장치를 제시한다. 이를 통하여 개인별 멀미의 민감도를 측정할 수 있다.

이러한 본 발명은 가상 공간에서의 멀미뿐 아니라 실제 공간에서의 멀미의정도를 예측할 수 있다. 특히 전술한 바와 같이 극심한 영상 멀미를 초래하는 가상 현실을 체험하기 전에 개인별 특성인 영상 멀미 민감도를 측정함으로써 사전에 특정 가상 현실에 대한 노출 여부를 결정할 수 있다. 다양한 실시 예로 구현될 수 있는 본 발명은 HMD를 사용하는 가상현실(virtual reality) 산업에서, 게임, 엔터테인먼트, 교육, 건축, 제조업, 의료 영상 등 다양한 산업에서 선제적 피험자의 보호 방법으로 적용될 수 있다.

Claims (14)

1. 피험자의 신체 불안정성에 따른 부하의 압력 중심(Center of Pressure)의 좌표를 연속 측정하는 단계;
   연속 측정된 압력 중심의 좌표를 이용해 압력 중심들이 분포하는 타원 영역을 정의하는 단계;
   상기 타원 영역의 넓이 및 타원 영역의 주축과 부축의 길이(직경 또는 반경)를 계산하는 단계;
   그리고, 상기 넓이와 길이를 이용하여 상기 신체의 움직임에 따르는 멀미 민감도를 계산하는 단계; 를 포함하는 신체 불안정성을 이용한 멀미 민감도 측정 방법.
2. 제1항에 있어서,
   연속 검출된 상기 압력 중심을 소정 주파수로 리샘플링하여 상기 타원 영역의 정의하는, 신체 불안정성을 이용한 멀미 민감도 측정 방법.
3. 제2항에 있어서,
   상기 리샘플링을 위하여 이동 평균(sliding moving average) 기법을 적용하는, 신체 불안정성을 이용한 멀리 민감도 측정 방법.
4. 제1항에 있어서,
   상기 압력 중심의 좌표 변화는 다수의 압력 센서를 갖춘 밸런스 보드를 이용해 측정하는, 신체 불안정성을 이용한 멀리 민감도 측정 방법.
5. 제1항에 있어서,
   상기 밸런스 보드는 상기 피험자의 체중이 실리는 사분면을 가지는 보드와 보드의 사분면에 배치되는 압력 센서를 포함하는, 신체 불안정성을 이용한 멀리 민감도 측정 방법.
6. 제1항에 있어서,
   상기 민감도는 상기 타원영역의 면적과 타원 영역의 부축에 대한 주축의 비율을 이용하여 산출하는, 신체 불안정성을 이용한 멀리 민감도 측정 방법.
7. 제6항에 있어서,
   상기 민감도(MS _SR )은 아래의 식에 의해 산출하는, 신체 불안정성을 이용한 멀리 민감도 측정 방법.
   

   

   
   위에서, COP_A: 타원 영역의 면적, 그리고 COP_R은 타원의 부축의 길이에 대한 주축의 길이의 비율
8. 제1항에 기재된 방법을 수행하는 신체 불안정성을 이용한 멀리 민감도 측정 장치에 있어서,
   상기 압력 중심의 변화 데이터를 검출하는 밸런스 보드; 그리고
   상기 밸런스 보드로부터의 압력 중심 변화 데이터를 처리하여 상기 피험자의 멀미 민감도를 평가하는 프로세싱 장치;를 포함하는, 신체 불안정성을 이용한 멀리 민감도 측정 장치.
9. 제8항에 있어서,
   상기 프로세싱 장치:는 연속 검출된 상기 압력 중심을 소정 주파수로 리샘플링하여 상기 타원 영역의 정의하고, 그리고, 상기 리샘플링을 위하여 이동 평균(sliding moving average) 기법을 적용하는, 신체 불안정성을 이용한 멀리 민감도 측정 장치.
10. 제8항 또는 제9항에 있어서,
    상기 밸런스 보드는 상기 피험자의 체중이 실리는 사분면을 가지는 보드와 보드의 사분면 배치되는 압력 센서를 포함하는, 신체 불안정성을 이용한 멀리 민감도 측정 장치.
11. 제8항 또는 제9항에 있어서, 상기 민감도는 상기 타원영역의 면적과 타원 영역의 부축에 대한 주축의 비율을 이용하여 산출하는, 신체 불안정성을 이용한 멀리 민감도 측정 장치.
12. 제11항에 있어서,
    상기 민감도(MS _SR )은 아래의 식에 의해 산출하는, 신체 불안정성을 이용한 멀리 민감도 측정 장치.
    

    

    
    위에서, COP_A: 타원 영역의 면적, 그리고 COP_R은 타원의 부축의 길이에 대한 주축의 길이의 비율
13. 제8항 또는 제9항에 있어서,
    상기 민감도(MS _SR )은 아래의 식에 의해 산출하는, 신체 불안정성을 이용한 멀리 민감도 측정 장치.
    

    

    
    위에서, COP_A: 타원 영역의 면적, 그리고 COP_R은 타원의 부축의 길이에 대한 주축의 길이의 비율
14. 제7항에 있어서,
    상기 민감도(MS _SR )은 아래의 식에 의해 산출하는, 신체 불안정성을 이용한 멀리 민감도 측정 장치.
    

    

    
    위에서, COP_A: 타원 영역의 면적, 그리고 COP_R은 타원의 부축의 길이에 대한 주축의 길이의 비율

Images