KR20180095431A - 동공 반응을 이용한 심장 시간 정보 추출 방법 및 시스템 - Google Patents

Abstract

본 발명은 인간 생리학적 상태에 따라 변화하는 심장 시간 정보를 추출하는방법을 제시한다. 본 발명의 방법:은 피험자로부터 동공 움직임 영상을 획득하는 단계; 상기 동공 움직임 영상으로부터 동공 움직임 변화(PSV, Pupil Size Variation)신호를 추출하는 단계; 그리고 상기 PSV로부터 소정 주파수 범위에서 RRI(R-peak to R-peak interval)를 추출하는 단계; 상기 RRI로부터 심장 시간 도메인의 파라미터를 추출하는 단계;를 포함한다.

Description

동공 반응을 이용한 심장 시간 정보 추출 방법 및 시스템{Method and system for detecting of Time Domain in Heart by using Noncontact Measurement of Pupillary Variation}

본 발명은 동공 영상을 이용하여 비접촉 방식에 의해 심장 시간 정보를 추출하는 방법 및 이를 적용하는 시스템에 관한 것이다.

생체 신호 모니터링(VSM, Vital Signal Monitoring)에 있어서, 인체에 부착되는 센서를 이용해 생리 정보를 획득할 수 있다. 이러한 생리 정보에는 electrocardiogram (ECG), photo-plethysmograph (PPG), blood pressure (BP), galvanic skin response (GSR), skin temperature (SKT), respiration (RSP) and electroencephalogram (EEG)가 포함된다.

심장과 뇌는 신체의 주요 기관으로서, 사건(event)에 대한 반응과 의학적 진단(medical diagnosis)에 사용되는 인간 행동과 정보를 평가하는 능력(ability)을 제공한다. VSM은 유 헬스 케어(U-health care), 감성정보 통신기술(emotional information and communication technology (e-ICT), 인간 인자(human factor), 휴먼 컴퓨터 인터페이스(HCI) 및 보안(security) 등 다양한 분야에 응용 가능하다.

ECG 및 EEG는 생체 신호를 측정하기 위해 인체에 부착되는 센서를 사용해야 하는 불편이 있다. 생체 신호를 측정하기 위해 센서를 사용할 때 인체는 상당한 스트레스와 불편을 경험한다. 또한 부착형 센서의 사용에 따른 비용 부담, 부수적으로 수반되는 하드웨어에 의해 피험자의 움직임 등에 제한이 따른다. 따라서 VSM 기술은 비접촉(Non-contact), 비침습(Non-invasive), 비강압적((Non-obtrusive) 방법을 사용하여 측정 비용을 낮추면서도 피험자의 자유로운 움직임을 허용하는 것이 필요하다.

최근 VSM 기술은 휴대용 웨어러블 장치에 통합되어 휴대용 측정 장치의 개발을 가능하게 한다. 이 휴대용 장치는 시계, 팔찌 또는 안경과 같은 액세서리에 내장된 VSM을 사용하여 심박수(Heart Rate) 및 호흡(Respiration)을 측정 할 수 있다.

웨어러블 기기 기술은 3~5 년 내에 휴대용 기기에서 "부착형(attachable)" 기기로 이행 될 것으로 예상된다. 한편, 부착 가능한 장치는 장차 "복용할 수 있는(eatable)" 장치(device)로 전환 될 것으로 예상된다.

저비용으로 자유로운 움직임을 허용하는 비접촉, 비침습 및 비강압적(Non-obtrusive) 방식으로 생리적 신호를 측정하는 VSM 기술에 대한 연구는 여전히 만족스럽지 않으며 따라서 앞으로도 더 지속될 필요가 있다.

<참고 문헌>

Abbas, A. K., Heimann, K., Jergus, K., Orlikowsky, T., and Leonhardt, S. (2011). Neonatal non-contact respiratory monitoring based on real-time infrared thermography, Biomedical Engineering Online, 10(1), 93-110.

Abbas, A. K., Heiman, K., Orlikowsky, T., and Leonhardt, S. (2010). Non-contact respiratory monitoring based on real-time IR-thermography, In World Congress on Medical Physics and Biomedical Engineering, 1306-1309.

Ahern, S., and Beatty, J. (1979). Pupillary responses during information processing vary with Scholastic Aptitude Test scores, Science, 205(4412), 1289-1292.

Andreassi, J. L. (2013). Psychophysiology: Human behavior ＆ physiological response, Psychology Press.

Balakrishnan, G., Durand, F., and Guttag, J. (2013). Detecting pulse from head motions in video, In Computer Vision and Pattern Recognition (CVPR), 2013 IEEE Conference on, 3430-3437.

Baron, A. D., Steinberg, H. E. L. M. U. T., Brechtel, G. I. N. G. E. R., and Johnson, A. (1994). Skeletal muscle blood flow independently modulates insulin-mediated glucose uptake, American Journal of Physiology-Endocrinology and Metabolism, 266(2), E248-E253.

Beatty, J., and Kahneman, D. (1966). Pupillary changes in two memory tasks, Psychonomic Science, 5(10), 371-372.

Beatty, J. (1988). Pupillometric signs of selective attention in man, Neurophysiology and psychophysiology, Experimental and Clinical Applications, 138-143.

Beatty, J., and Lucero-Wagoner, B. (2000). The pupillary system, Handbook of Psychophysiology, 2, 142-162.

Bonvallet, M., and Zbrozyna, A. (1963). Les commandes reticulaires du systeme autonome et en particulier de l'innervation sympathique et parasympathique de la pupille, Archives Italiennes de Biologie, 101(2), 174-207.

Boric-Lubeke, O., and Lubecke, V. M. (2002). Wireless house calls: using communications technology for health care and monitoring, Microwave Magazine, 3(3), 43-48.

Brovelli, A., Lachaux, J. P., Kahane, P., and Boussaoud, D. (2005). High gamma frequency oscillatory activity dissociates attention from intention in the human premotor cortex, Neuroimage, 28(1), 154-164.

Cahn, B. R., and Polich, J. (2006). Meditation states and traits: EEG, ERP, and neuroimaging studies, Psychological Bulletin, 132(2), 180.

Camm, A. J., Malik, M., Bigger, J. T., Breithardt, G., Cerutti, S., Cohen, R. J., and Singer, D. H. (1996). Heart rate variability. Standards of measurement, physiological interpretation, and clinical use, European Heart Journal, 17(3), 354-381.

Casolo, G. C., Stroder, P., Signorini, C., Calzolari, F., Zucchini, M., Balli, E., Sulla, A., and Lazzerini, S. (1992). Heart rate variability during the acute phase of myocardial infarction, Circulation, 85(6), 2073-2079.

Chekmenev, S. Y., Rara, H., and Farag, A. A. (2005). Non-contact, wavelet-based measurement of vital signs using thermal imaging, In The first international conference on graphics, vision, and image processing (GVIP), Cairo, Egypt, 107-112.

Chekmenev, S. Y., Farag, A. A., Miller, W. M., Essock, E. A., and Bhatnagar, A. (2009). Multiresolution approach for noncontact measurements of arterial pulse using thermal imaging, In Augmented Vision Perception in Infrared, Springer London, 87-112.

Chen, S., Epps, J., and Chen, F. (2013). An investigation of pupil-based cognitive load measurement with low cost infrared webcam under light reflex interference, In Engineering in Medicine and Biology Society (EMBC), 2013 35th Annual International Conference of the IEEE, 3202-3205.

Cohen, J. (2013). Statistical power analysis for the behavioral sciences, Academic press.

Chun, H. S., and Kweon, S. C. (2014). A study on the application trend of wearable device and policy implications, In KICS 2014 Conference, 507-508.

Daugman, J. (2004). How iris recognition works, Circuits and Systems for Video Technology, IEEE Transactions on, 14(1), 21-30.

Droitcour, A., Lubecke, V., Lin, J., and Boric-Lubecke, O. (2001). A microwave radio for Doppler radar sensing of vital signs, In Microwave Symposium Digest, 2001 IEEE MTT-S International, 175-178.

Dunnett, C. W. (1955). A multiple comparison procedure for comparing several treatments with a control, Journal of the American Statistical Association, 50(272), 1096-1121.

Egner, T., and Gruzelier, J. H. (2004). EEG biofeedback of low beta band components: frequency-specific effects on variables of attention and event-related brain potentials, Clinical Neurophysiology, 115(1), 131-139.

Feshchenko, V. A., Reinsel, R. A., and Veselis, R. A. (2001). Multiplicity of the α Rhythm in Normal Humans, Journal of Clinical Neurophysiology, 18(4), 331-344.

Fletcher, R., and Han, J. (2009). Low-cost differential front-end for Doppler radar vital sign monitoring, In Microwave Symposium Digest, 2009. MTT'09. IEEE MTT-S International, IEEE, 1325-1328.

Fotiou, F., Fountoulakis, K. N., Tsolaki, M., Goulas, A., and Palikaras, A. (2000). Changes in pupil reaction to light in Alzheimer's disease patients: a preliminary report, International journal of psychophysiology, 37(1), 111-120.

Fuster, J., (1980). The Prefrontal Cortex: Anatomy, Physiology and Neuropsychology of the Frontal Lobe, Raven Press, New York.

Garbey, M., Sun, N., Merla, A., and Pavlidis, I. (2007). Contact-free measurement of cardiac pulse based on the analysis of thermal imagery, Biomedical Engineering, IEEE Transactions on, 54(8), 1418-1426.

Gastaut, H. (1952). Electrocorticographic study of the reactivity of rolandic rhythm, Revue neurologique, 87(2), 176.

Gault, T. R., Blumenthal, N., Farag, A., and Starr, T. (2010). Extraction of the superficial facial vasculature, vital signs waveforms and rates using thermal imaging, In Computer Vision and Pattern Recognition Workshops (CVPRW), 2010 IEEE Computer Society Conference on, pp. 1-8.

Glass, A. (1991). Significance of EEG alpha asymmetries in cerebral dominance, International Journal of Psychophysiology, 11(1), 32-33.

Gu, C., Li, C., Lin, J., Long, J., Huangfu, J., and Ran, L. (2010). Instrument-based noncontact Doppler radar vital sign detection system using heterodyne digital quadrature demodulation architecture, Instrumentation and Measurement, IEEE Transactions on, 59(6), 1580-1588.

Hakerem, G. A. D., and Sutton, S. (1966). Pupillary response at visual threshold, Nature, 212(5016), 485-486.

Hansen, A. L., Johnsen, B. H., and Thayer, J. F. (2003). Vagal influence on working memory and attention, International Journal of Psychophysiology, 48(3), 263-274.

Heller, P. H., Perry, F., Jewett, D. L., and Levine, J. D. (1990). Autonomic components of the human pupillary light reflex, Investigative Ophthalmology ＆ Visual science, 31(1), 156-162.

Hess, E. H., and Polt, J. M. (1964). Pupil size in relation to mental activity during simple problem-solving, Science, 143(3611), 1190-1192.

Hink, R. F., Van Voorhis, S. T., Hillyard, S. A., and Smith, T. S. (1977). The division of attention and the human auditory evoked potential, Neuropsychologia, 15(4), 597-605.

Howard, M. W., Rizzuto, D. S., Caplan, J. B., Madsen, J. R., Lisman, J., Aschenbrenner-Scheibe, R., Schulze-Bonhage, A., and Kahana, M. J. (2003). Gamma oscillations correlate with working memory load in humans, Cerebral Cortex, 13(12), 1369-1374.

Huang, H. P., Liu, Y. H., Wang, C. P., and Huang, T. H. (2013). Automatic artifact removal in EEG using independent component analysis and one-class classification strategy, Journal of Neuroscience and Neuroengineering, 2(2), 73-78.

Ille, N., Berg, P., and Scherg, M. (2002). Artifact correction of the ongoing EEG using spatial filters based on artifact and brain signal topographies, Journal of Clinical Neurophysiology, 19(2), 113-124.

Jang, H. S., Kim, J., Kim, K. S., and Pak, C. H. (2014). Human brain activity and emotional responses to plant color stimuli, Color Research ＆ Application, 39(3), 307-316.

Janig, W. (1996). Neurobiology of visceral afferent neurons: neuroanatomy, functions, organ regulations and sensations, Biological Psychology, 42(1), 29-51.

James, C. J., and Hesse, C. W. (2005). Independent component analysis for biomedical signals, Physiological Measurement, 26(1), R15.

Jensen, O., Kaiser, J., and Lachaux, J. P. (2007). Human gamma-frequency oscillations associated with attention and memory, Trends in Neurosciences, 30(7), 317-324.

Junior, E. D. D. S., Da Silva, A. V., Da Silva, K. R., Haemmerle, C. A., Batagello, D. S., Da Silva, J. M., Limae, L. B., Da Silvaa, R. J., Diniza, G. B., Sitaa, L. V., Eliasa, C. F., and Bittencourt, J. C. (2015). The centrally projecting EdingerWestphal nucleusI: Efferents in the rat brain, Journal of Chemical Neuroanatomy, 68, 22-38.

Just, M. A., and Carpenter, P. A. (1993). The intensity dimension of thought: Pupillometric indices of sentence processing. Canadian Journal of Experimental Psychology/Revue Canadienne de Psychologie Experimentale, 47(2), 310.

Just, M. A., Carpenter, P. A., Keller, T. A., Eddy, W. F., and Thulborn, K. R. (1996). Brain activation modulated by sentence comprehension, Science, 274(5284), 114-116.

Kahneman, D., and Beatty, J. (1966). Pupil diameter and load on memory, Science, 154(3756), 1583-1585.

Kanayama, N., Sato, A., and Ohira, H. (2007). Crossmodal effect with rubber hand illusion and gammaband activity, Psychophysiology, 44(3), 392-402.

Kao, T. Y. J., Yan, Y., Shen, T. M., Chen, A. K., and Lin, J. (2013). Design and analysis of a 60-GHz CMOS doppler micro-radar system-in-package for vital-sign and vibration detection, Microwave Theory and Techniques, IEEE Transactions on, 61(4), 1649-1659.

Kim, H. S., Song, G. S., Ahn, H. B., Lee, C. Y., and Kim, J. H. (2015). A Study on the Effects of LED Light's Pulse Width Modulation on Work Concentration, In Knowledge Management in Organizations, 550-560.

Klingner, J., Kumar, R., and Hanrahan, P. (2008). Measuring the task-evoked pupillary response with a remote eye tracker, In Proceedings of the 2008 symposium on Eye tracking research ＆ applications, 69-72.

Kirmizi-Alsan, E., Bayraktaroglu, Z., Gurvit, H., Keskin, Y.H., Emre, M., and Demiralp, T. (2006). Comparative analysis of event-related potentials during Go/NoGo and CPT: decomposition of electrophysiological markers of response inhibition and sustained attention, Brain Research, 1104(1), 114-128.

Kisley, M.A., and Cornwell, Z.M. (2006). Gamma and beta neural activity evoked during a sensory gating paradigm: effects of auditory, somatosensory and cross-modal stimulation, Clinical Neurophysiology, 117(11), 2549-2563.

Kojima, M., Shioiri, T., Hosoki, T., Kitamura, H., Bando, T., and Someya, T. (2004). Pupillary light reflex in panic disorder, European Archives of Psychiatry and Clinical Neuroscience, 254(4), 242-244.

Kourouyan, H. D., and Horton, J. C. (1997). Transneuronal retinal input to the primate EdingerWestphal nucleus, Journal of Comparative Neurology, 381(1), 68-80.

Kozicz, T., Bittencourt, J. C., May, P. J., Reiner, A., Gamlin, P. D., Palkovits, M., Anja, K. E., Claudio, A. B., and Ryabinin, A. E. (2011). The EdingerWestphal nucleus: A historical, structural, and functional perspective on a dichotomous terminology, Journal of Comparative Neurology, 519(8), 1413-1434.

Krause, C. M., Pesonen, M., Haarala Bjornberg, C., and Hamalainen, H. (2007). Effects of pulsed and continuous wave 902 MHz mobile phone exposure on brain oscillatory activity during cognitive processing, Bioelectromagnetics, 28(4), 296-308.

Lee, E. C., Park, K. R., Whang, M., and Min, K. (2009). Measuring the degree of eyestrain caused by watching LCD and PDP devices, International Journal of Industrial Ergonomics, 39(5), 798-806.

Lewandowska, M., Ruminski, J., and Kocejko, T. (2011). Measuring pulse rate with a webcama non-contact method for evaluating cardiac activity, In Computer Science and Information Systems (FedCSIS), 2011 Federated Conference on IEEE, 405-410.

Li, C., Cummings, J., Lam, J., Graves, E., and Wu, W. (2009). Radar remote monitoring of vital signs, Microwave Magazine, IEEE, 10(1), 47-56.

Loewenfeld, I. E., ＆ Lowenstein, O. (1993). The pupil: Anatomy, physiology, and clinical applications (Vol. 2), Wiley-Blackwell.

Lohman, B., Boric-Lubecke, O., Lubecke, V. M., Ong, P. W., and Sondhi, M. M. (2002). A digital signal processor for Doppler radar sensing of vital signs, Engineering in Medicine and Biology Magazine, IEEE, 21(5), 161-164.

Malik, M. (1996). Heart rate variability, Annals of Noninvasive Electrocardiology, 1(2), 151-181.

McCraty R., and Watkins A., (1996). Autonomic assessment report: A comprehensive heart rate variability analysis, Boulder Creek: Institute of HeartMath, 1-42.

McCraty, R., Atkinson, M., Tomasino, D., and Bradley, R.T. (2009). The coherent heart: heart-brain interactions, psychophysiological coherence, and the emergence of system-wide order, Integral Review, 5(2), 10-115.

Montoya, P., Schandry, R., and Muler, A. (1993). Heartbeat evoked potentials (HEP): topography and influence of cardiac awareness and focus of attention, Electroencephalography and Clinical Neurophysiology/Evoked Potentials Section, 88(3), 163-172.

Murthy, R., and Pavlidis, I. (2005). Non-contact monitoring of breathing function using infrared imaging, Technical Report Number UH-CS-05-09, Department of Computer Science, University of Houston, Houston, TX.

Murthy, J. N., van Jaarsveld, J., Fei, J., Pavlidis, I., Harrykissoon, R. I., Lucke, J. F., Faiz, S., and Castriotta, R. J. (2009). Thermal infrared imaging: a novel method to monitor airflow during polysomnography, Sleep, 32(11), 1521.

Na, H. B., and Jang, Y. J. (2014). Study on wearable healthcare device design witch is able to do position-tracking service when an inpatient is in emergency situation, Korea Digital Design Society, 15(1), 721-730.

Nauta, W., and Feirtag, M., (1986). Fundamental Neuroanatomy, Freeman, San Francisco, New York.

Niedermeyer, E. (1997). Alpha rhythms as physiological and abnormal phenomena, International Journal of Psychophysiology, 26(1-3), 31-49.

Niedermeyer, E., and Da Silva, F. L. (2005). Electroencephalography: basic principles, clinical applications, and related fields, Lippincott Williams ＆ Wilkins.

Nieuwenhuys, R., Voogd, J., and Van Huijzen, C., (2007). The Human Central Nervous System: A Synopsis and Atlas, 3rd ed. Springer, New York.

Noguchi, H., and Sakaguchi, T. (1999). Effect of illuminance and color temperature on lowering of physiological activity, Applied Human Science, 18(4), 117-123.

Norman, D. A., and Bobrow, D. G. (1975). On data-limited and resource-limited processes, Cognitive Psychology, 7(1), 44-64.

Paas, F., Tuovinen, J. E., Tabbers, H., and Van Gerven, P. W. (2003). Cognitive load measurement as a means to advance cognitive load theory, Educational Psychologist, 38(1), 63-71.

Palinko, O., and Kun, A. L. (2012). Exploring the effects of visual cognitive load and illumination on pupil diameter in driving simulators, In Proceedings of the Symposium on Eye Tracking Research and Applications, 413-416.

Pan, J., and Tompkins, W.J. (1985). A real-time QRS detection algorithm. Biomedical Engineering, IEEE Transactions on, 230-236.

Pandzic, I. S., and Forchheimer, R. (2002). MPEG-4 facial animation, The standard, implementation and applications. Chichester, England: John Wiley＆Sons.

Park, S., Won, M., Mun, S., Lee, E., and Whang, M. (2014). Does visual fatigue from 3D displays affect autonomic regulation and heart rhythm?, International Journal of Psychophysiology, 92(1), 42-48.

Park, S., Won, M., Lee, E., Mun, S., Park, M., and Whang, M. (2015). Evaluation of 3D cognitive fatigue using heartbrain synchronization, International Journal of Psychophysiology, 97(2), 120-130.

Park, S. J., and Kim, B. (2014). A study on the health care service design by wearable device user activity pattern, In KODDCO 2014 Conference, 321-322.

Partala, T., and Surakka, V. (2003). Pupil size variation as an indication of affective processing, International Journal of Human-Computer Studies, 59(1), 185-198.

Pesaran, B., Pezaris, J. S., Sahani, M., Mitra, P. P., and Andersen, R. A. (2002). Temporal structure in neuronal activity during working memory in macaque parietal cortex, Nature Neuroscience, 5(8), 805-811.

Pfeifer, M. A., Cook, D., Brodsky, J., Tice, D., Parrish, D., Reenan, A., Halter, B., and Porte, D. (1982). Quantitative evaluation of sympathetic and parasympathetic control of iris function, Diabetes Care, 5(5), 518-528.

Pfurtscheller, G., ＆ Klimesch, W. (1992). Event-related synchronization and desynchronization of alpha and beta waves in a cognitive task. In Induced Rhythms in the Brain, pp. 117-128.

Pfurtscheller, G., and Da Silva, F. L. (1999). Event-related EEG/MEG synchronization and desynchronization: basic principles, Clinical Neurophysiology, 110(11), 1842-1857.

Poh, M. Z., McDuff, D. J., and Picard, R. W. (2011). Advancements in noncontact, multiparameter physiological measurements using a webcam, Biomedical Engineering, IEEE Transactions on, 58(1), 7-11.

Porges, S. W. (2007). The polyvagal perspective, Biological Psychology, 74(2), 116-143.

Porges, S. W. (2011). The Polyvagal Theory: Neurophysiological Foundations of Emotions, Attachment, Communication, and Self-regulation (Norton Series on Interpersonal Neurobiology), WW Norton ＆ Company.

Rau, H., Pauli, P., Brody, S., Elbert, T., and Birbaumer, N., (1993). Baroreceptor stimulation alters cortical activity, Psychophysiology 30, 322325.

Reyes del Paso, G. A., Langewitz, W., Mulder, L. J., Roon, A., and Duschek, S. (2013). The utility of low frequency heart rate variability as an index of sympathetic cardiac tone: a review with emphasis on a reanalysis of previous studies, Psychophysiology, 50(5), 477-487.

Russell, J. A. (1980). A circumplex model of affect, Journal of Personality and Social Psychology, 39(6), 1161.

Surakka, V., Tenhunen-Eskelinen, M., Hietanen, J. K., and Sams, M. (1998). Modulation of human auditory information processing by emotional visual stimuli, Cognitive Brain Research, 7(2), 159-163.

Schandry, R., and Montoya, P. (1996). Event-related brain potentials and the processing of cardiac activity, Biological Psychology, 42(1), 75-85.

Scully, C. G., Lee, J., Meyer, J., Gorbach, A. M., Granquist-Fraser, D., Mendelson, Y., ＆ Chon, K. H. (2012). Physiological parameter monitoring from optical recordings with a mobile phone, Biomedical Engineering, IEEE Transactions on, 59(2), 303-306.

Shen, H. N., Lin, L. Y., Chen, K. Y., Kuo, P. H., Yu, C. J., Wu, H. D., and Yang, P. C. (2003). Changes of heart rate variability during ventilator weaning, CHEST Journal, 123(4), 1222-1228.

Shin, D., Lee, G., Shin, D., and Shin, D. (2014). Mental State Measurement System Using EEG Analysis, In Future Information Technology, 451-456.

Siegle, G. J., Steinhauer, S. R., and Thase, M. E. (2004). Pupillary assessment and computational modeling of the Stroop task in depression, International Journal of Psychophysiology, 52(1), 63-76.

Steinhauer, S. R., Condray, R., and Kasparek, A. (2000). Cognitive modulation of midbrain function: task-induced reduction of the pupillary light reflex, International Journal of Psychophysiology, 39(1), 21-30.

Sun, N., Pavlidis, I., Garbey, M., and Fei, J. (2006). Harvesting the thermal cardiac pulse signal, In Medical Image Computing and Computer-Assisted InterventionMICCAI 2006, 569-576.

Suzuki, S., Matsui, T., Kawahara, H., Ichiki, H., Shimizu, J., Kondo, Y., ... ＆ Ishihara, M. (2009). A non-contact vital sign monitoring system for ambulances using dual-frequency microwave radars, Medical ＆ Biological Engineering ＆ Computing, 47(1), 101-105.

Steinberg, H. O., Brechtel, G., Johnson, A., Fineberg, N., and Baron, A. D. (1994). Insulin-mediated skeletal muscle vasodilation is nitric oxide dependent. A novel action of insulin to increase nitric oxide release, Journal of Clinical Investigation, 94(3), 1172.

Tansey, M. A. (1984). EEG sensorimotor rhythm biofeedback training: some effects on the neurologic precursors of learning disabilities, International Journal of Psychophysiology, 1(2), 163-177.

Tarassenko, L., Villarroel, M., Guazzi, A., Jorge, J., Clifton, D. A., and Pugh, C. (2014). Non-contact video-based vital sign monitoring using ambient light and auto-regressive models, Physiological Measurement, 35(5), 807.

Tassorelli, C., Micieli, G., Osipova, V., Rossi, F., and Nappi, G. (1995). Pupillary and cardiovascular responses to the cold-pressor test, Journal of the Autonomic Nervous System, 55(1), 45-49.

Tatum, W.O. (2014). Ellen R. Grass Lecture: Extraordinary EEG, The Neurodiagnostic Journal, 54(1), 3-21.

Tekalp, A. M., and Ostermann, J. (2000). Face and 2-D mesh animation in MPEG-4, Signal Processing: Image Communication, 15(4), 387-421.

Uenoyama, M., Matsui, T., Yamada, K., Suzuki, S., Takase, B., Suzuki, S., Ishihara, M and Kawakami, M. (2006). Non-contact respiratory monitoring system using a ceiling-attached microwave antenna, Medical and Biological Engineering and Computing, 44(9), 835-840.

Uriguen, J. A., and Garcia-Zapirain, B. (2015). EEG artifact removalstate-of-the-art and guidelines, Journal of Neural Engineering, 12(3), 031001.

Van Gerven, P. W. M., Paas, F., Van Merri?nboer, J. J. G., and Schmidt, H. G. (2002). Memory load and task-evoked pupillary responses in agingm, Manuscript Submitted for Publication.

Verney, S. P., Granholm, E., and Dionisio, D. P. (2001). Pupillary responses and processing resources on the visual backward masking task, Psychophysiology, 38(01), 76-83.

Vongpatanasin, W., Taylor, J. A., and Victor, R. G. (2004). Effects of cocaine on heart rate variability in healthy subjects, The American Journal of Cardiology, 93(3), 385-388.

Wang, H. M., and Huang, S. C. (2012). SDNN/RMSSD as a surrogate for LF/HF: a revised investigation, Modelling and Simulation in Engineering, 2012, 16.

Weigold, A. (2014). Wearable computing: Technologies, applications and global markets, BCC Research.

Wilhelm, H. (1998). Neuro-ophthalmology of pupillary functionpractical guidelines, Journal of neurology, 245(9), 573-583.

Wolk, C., Velden, M., Zimmermann, U., and Krug, S. (1989). The interrelation between phasic blood pressure and heart rate changes in the context of the" baroreceptor hypothesis.", Journal of Psychophysiology, 3(4), 397-402.

Zion-Golumbic, E., Golan, T., Anaki, D., and Bentin, S. (2008). Human face preference in gamma-frequency EEG activity, Neuroimage, 39(4), 1980-1987.

본 발명은 동공 영상을 이용하여 인간 생체 신호를 비접촉 방법으로 검출하는 방법 및 시스템을 제시한다.

본 발명은 동공 반응 또는 동공 크기 변화(PSV)를 이용하여 인간의 심장 시간 정보(time domain parameter in heart)를 검출하는 방법 및 이를 적용하는 시스템을 제시한다.

본 발명은 동공 반응 또는 동공 크기 변화(PSV)를 이용하여, 심장 시간 정보로서 HR, BPM, SDNN, rMSSD, pNN50 등의 확장된 파라미터를 측정하는 방법을 제시한다.

본 발명에 따른 심장 시간 정보를 추출하는 방법:은

피험자로부터 동공 움직임 영상을 획득하는 단계;

상기 동공 움직임 영상으로부터 동공 움직임 변화(PSV, Pupil Size Variation) 를 추출하는 단계; 그리고

상기 PSV로부터 소정 주파수 범위에서 RRI(R-peak to R-peak interval)를 추출하는 단계;

상기 RRI로부터 심장 시간 도메인의 파라미터를 추출하는 단계;를 포함한다.

본 발명의 한 실시 예에 따르면, 상기 RRI를 추출하는 주파수 범위는 0.005 Hz ~0.012 Hz 이다.

본 발명의 다른 실시 예에 따르면, 상기 파라미터는 HR(Heart Rate), BPM(Beat Per Minute), SDNN(Standard Deviation of the normal to normal), rMSSD(square root of the mean of the squares of successive normal RR intervals) 또는 pNN50(successive normal RR intervals > 50 ms) 중의 어느 하나를 포함할 수 있다.

본 발명의 일 실시 예에 따르면, 상기 파라미터를 추출하는 주파수 대역은 ECG 신호로부터 얻어지는 파라미터의 주파수 대역에 대해 1/100의 주파수 값을 가질 수 있다.

본 발명의 심장 시간 정보를 추출하는 방법을 수행하는 동공 반응을 이용한 심장 시간 정보 추출 시스템:은 상기 영상을 촬영하는 카메라, 그리고 카메라로부터의 동영상을 처리하여 상기 파라미터를 추출하는 컴퓨터 기반 분석 장치;를 구비할 수 있다.

도1은 본 발명의 실험에서 사용되는 음향 자극(Sound Stimuli)의 대표를 선택하는 절차를 보인다.
도2는 피험자의 상체의 움직임 양을 측정하는 예를 보인다.
도3은 본 발명의 실험 절차를 예시한다.
도4는 피험자로부터 동공 영역(Pupil region)을 검출(detecting)하는 과정을 보인다.
도5는 심장 시간 인덱스 신호를 프로세싱하는 과정을 보인다.
도6은 MNC와 NMC에서 상체, 얼굴에서 X, Y 축의 움직임량의 평균을 보인다. (n = 140, *** p < 0.001).
도7은 동공 반응과 ECG 신호로부터 심박(heart rate)를 검출하는 실시 예를 보인다.
도8은 MNC에서 심장 시간 인덱스(cardiac time index)의 비교 예를 보인다.
도9는 NMC에서 심작 시간 인덱스의 비교 예를 보인다.
도10는 동공 반응을 측정하기 위한 적외선 웹캠 시스템을 예시한다.
도11은 적외선 웹캠과 센서에서 생체 신호를 측정하기 위한 시스템의 인터페이스 화면을 예시한다.

이하 첨부된 도면을 참조하면서, 본 발명에 따라 동공 반응으로부터 심장 시간 인덱스(파라미터)를 추출하는 방법 및 시스템의 실시 예를 설명한다.

그러나, 본 발명 개념의 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명 개념의 범위가 아래에서 상술하는 실시예들로 인해 한정 되어지는 것으로 해석되어져서는 안 된다. 본 발명 개념의 실시예들은 당 업계에서 평균적인 지식을 가진 자에게 본 발명 개념을 보다 완전하게 설명하기 위해서 제공되는 것으로 해석되는 것이 바람직하다. 동일한 부호는 시종 동일한 요소를 의미한다. 나아가, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명 개념은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.

제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는 데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되지 않는다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명 개념의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 반대로 제 2 구성 요소는 제 1 구성 요소로 명명될 수 있다.

본 출원에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로서, 본 발명 개념을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, “포함한다” 또는 “갖는다” 등의 표현은 명세서에 기재된 특징, 개수, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

달리 정의되지 않는 한, 여기에 사용되는 모든 용어들은 기술 용어와 과학 용어를 포함하여 본 발명 개념이 속하는 기술 분야에서 통상의 지식을 가진 자가 공통적으로 이해하고 있는 바와 동일한 의미를 지닌다. 또한, 통상적으로 사용되는, 사전에 정의된 바와 같은 용어들은 관련되는 기술의 맥락에서 이들이 의미하는 바와 일관되는 의미를 갖는 것으로 해석되어야 하며, 여기에 명시적으로 정의하지 않는 한 과도하게 형식적인 의미로 해석되어서는 아니 될 것임은 이해될 것이다.

어떤 실시예가 달리 구현 가능한 경우에 특정한 공정 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 공정이 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 수행될 수도 있다.

이하에서 설명되는 실시 예를 통해 충분히 이해될 수 있는 본 발명은 궁극적으로 정적인 상태 또는 동적인 상태에 있는 피험자에게 신체적 제한이나 심리적 압박감이 없이 웹캠 등과 같은 동영상 카메라를 갖춘 영상 시스템(Vision system)에 의해 심장 정보를 추출하는 것이며, 특히 영상 정보로부터 동공 반응을 검출하고 이로부터 심장의 시간 도메인 정보(Time Domain Index or Parameter)를 추출한다.

본 발명의 실험에서는 동영상을 통해 획득한 동공 변화(PSV, Pupil size variation)으로부터 추출한 심장 시간 도메인 인덱스(파라미터)의 신뢰성을 검증하기 위하여 ECG 신호(ground truth)와 비교 분석하였다.

이러한 본 발명의 실험은 동영상 카메라를 포함하는 영상 장비 및 촬영된 동영상을 처리 및 분석하는 컴퓨터 구조 기반의 분석장치에 의해 수행되었으며, 여기에는 소프트웨어에 의해 제공되는 분석툴이 포함되었다.

실험적 자극(Experimental Stimuli)

생리 상태의 변화를 유발하기 위하여, 본 발명의 실험에서 Russell의 cir-complex 모델을 기반으로 한 소리 자극을 사용했습니다 (Russell, 1980). 사운드 자극은 각성(arousal), 이완(relaxation), 긍정적(positive), 부정적(negative), 그리고 중립적 소리(neutral sounds) 를 포함한 5 가지 팩터(factor)로 구성되었다.

중립적인 소리는 음향 자극의 부재(不在), 즉 음향 자극이 없는 무음(無音) 상태로 정의되었다. 음향 자극을 선택하기 위한 과정은 도1에 도시된 바와 같다.

(S11) 광고, 드라마, 영화와 같은 방송 매체로부터 900개의 음원(음향 자극)이 수집하였다.

(S12) 상기 900개의 음원을 각성(A), 이완(R), 긍정(P) 및 부정(N) 등의 4 개 그룹으로 분류 하였다. 각 그룹은 총 40 개의 사운드 자극에 대한 전문 집단 토론(FGD, focus group discussion)을 기반으로 공통적으로 선택된 10개의 항목으로 구성되었다.

(S13) 이 자극은 75 명의 남성과 75 명의 여성으로 균등하게 나뉘어 진 150 명의 피실험자로부터 수집된 데이터에 기초하여 각 감정에 대한 적합성에 대한 조사를 수행하는데 사용되었다. 평균 나이는 27.36 세(±1.66)였다. 4 가지 팩터(각성, 이완, 긍정 및 부정)에 대한 각 항목(item)을 선택하기 위해 주관적인 평가가 필요했기 때문에 하나 이상의 항목(item)이 중복될 수 있다.

(S14) 각성, 이완, 긍정 및 부정 등의 감성별 음향 자극(Sound Stimuli)이 균등하게 선호되는지 판단하기 위해 적합성에 대한 카이 제곱 검정(chi-square test)을 수행하였다. 표1에 나타난 바와 같이 각 감성 별 음향에 대한 선호도는 모집단(population)에 균등하게 분배하였다(각성: 6 항목, 이완: 6 항목, 긍정: 8 항목, 부정: 4 항목).

표 1은 적합도에 대한 카이 제곱 검정 결과를 보이며, 각 감성에 대해 선택된 항목은 관찰(observation) 및 기대치(expectation value)의 비교(comparison)에 기초한다.

강렬한 동의를 나타내는 “7”에 대한 강한 불일치를 나타내는 “1”을 기초로 한 7 점 척도(seven-points scale)를 사용하여 150 명의 피험자로부터 각각의 감정과 관련된 음향 자극의 재조사(resurvey)가 이루어졌다.

베리맥스 (Varimax) 직각 회전에 기반한 PCA(Principal Component Analysis)를 사용하여 각 감정과 관련된 유효한 음향을 분석했다. 이 분석은 전체 변수 집합에 대한 분산을 설명하는 4가지 요소를 산출했다. 분석 결과에 따라 표 2에 나타낸 바와 같은 각 감정에 대한 대표적인 음향 자극이 도출되었다.

표2에서, 굵은 글씨는 동일한 인자(팩터), 흐린(blur) 글씨는 공통변량(Communalities) <0.5, 배경에 음영이 있는 굵고 밝은 회색 글씨는 각 감정에 대한 대표적 음향 자극을 나타낸다.

실험 절차(Experimental Procedure)

균등하게 분배된 70명의 남녀 학부생 자원 봉사자가 실험에 참가하였다. 참가자 즉 피험자 나이는 20~30세의 범위 내이며 평균 연령은 24.52((± 0.64)세이다.

모든 참가자는 정상 또는 (0.8 이상의 교정시력을 가졌고, 시각 기능, 심혈관 계통 또는 중추 신경계와 관련된 질환의 가족력이나 병력은 없었다. 연구에 앞서 각 참가자로부터 사전에 서면 동의를 얻었다. 이 연구는 서울 상명대학교 (2015-8-1)의 제도 심사위원회 (Institutional Review Board)의 승인 하에 진행되었다.

하나의 시도 또는 시행(Trial)은 5분 동안 수행되는데, 본 발명의 실험은 두 번의 시도(trial)로 구성된다. 첫 번째 시도는 움직이거나 말하지 않는 MNC(movelessness condition)를 기반으로 한다. 두 번째 시도는 단순한 대화와 약간의 움직임을 포함한 자연스러운 운동 상태인 NMC(natural movement condition)를 기반으로 진행되었다.

참가자들은 두 번의 실험을 반복적으로 수행했으며, 시도(Trial) 또는 태스크(Task)의 순서(order)는 참가자에게 무작위로 배정되었다. 두 조건 간의 움직임의 차이를 확인하기 위해 본 실험은 각 피험자의 웹캠(동영상) 이미지를 이용하여 실험 중 움직임의 양을 정량적으로 측정 하였다.

이미지는 Logitech Inc. 의 HD Pro C920 카메라를 이용하여 30fps로 촬영되었으며, 해상도는 1920x1080였다. 움직임은 MPEG-4를 기반으로 상체와 얼굴의 영상으로부터 측정되었다 (Tekalp and Ostermann, 2000; JPandzic and Forchheimer, 2002). 상체의 움직임은 프레임 차이(frame difference)에 기초하여 전체 이미지로부터 추출되었다. 이때에 배경이 고정되어 있기 때문에 상반신 및 얼굴의 움직임을 제오하고 배경 움직임에 대한 것은 본 분석에 포함되지 않았다. 얼굴의 움직임은 Visage Technologies Inc.의 visage SDK 7.4 소프트웨어를 사용하여 프레임 차이를 기반으로 한 84 개의 MPEG-4 애니메이션 포인트로부터 추출되었다. 모든 운동 데이터는 실험 중 각 피험자의 평균값이 사용되었고, 도2에 도시된 바와 같이, 두 시도(trail) 사이의 움직임 차가 비교 되었다.

도2는 피험자의 상체의 움직임 양을 측정하는 예를 보인다. 도2에서 안면(face)은 X 축과 Y 축의 교차점에 위치한다. 도2에서 (A)는 상체 이미지, (B)는 84 개의 MPEG-4 애니메이션 포인트에서 추적된 얼굴(Tracked face) 이미지, (C)와 (D)는 전후 프레임간 차이, (E)는 상체로부터의 움직임 신호(movement signal) 그리고, (F)는 84 개의 MPEG-4 애니메이션 포인트로부터의 움직임 신호(movement signals)를 보인다.

생리학적 상태의 변화를 유발하기 위해, 주어진 테스크(task)의 시도(trial)를 통해서 참가자들에게 음향 자극이 주어졌다. 각 음향 자극은 5 분간의 시도에 걸쳐 총 5 개의 자극에 대해 1 분 동안 무작위로 제시되었다. 기준 자극(reference stimuli)은 태스크(Task or Trial) 시작 3 분 전에 제시되었다. 상세한 실험 절차는 도3에 도시된 바와 같이 센서부착(S31), 측정 테스크(S32) 및 센서 제거(S33)를 포함하며, 그리고 측정 테스크(S32)는 아래와 같이 진행되었다.

이 실험은 창문을 통해 들어오는 햇빛으로 조명이 변화하는 실내에서 수행되었다. 참가자들은 편안한 의자에 앉아있는 동안 1.5m의 거리에서 검은 벽을 바라 보았다. 음향 자극은 이어폰을 사용하여 두 시도에서 동일하게 제시되었다. 피험자들은 움직임이 없는(MNC) 시도 중에 그들의 움직임과 말을 줄이도록 요구되었다. 그러나 자연스러운 움직임(NMC) 시도에서는 피실험자가 간단한 대화와 약간의 움직임을 수반(허락) 되었다. 피실험자들의 간단한 대화 및 움직임을 유발하기 위해 다른 사람에게 자극으로 제시되는 음악에 대한 느낌을 소개하도록 요구 받았으며, 그로 인해 음향 자극에 대한 감정과 사고(thinking)가 포함되었다. 실험 도중에 ECG 및 동공 이미지 데이터를 측정 하였다.

ECG 신호는 lead-I 법으로 1 채널을 통해 500 Hz의 샘플링 레이트로 기록되었다.

ECG 심전도 신호는 ECG 100C 증폭기 기반의 증폭기 시스템(BIOPAC System Inc.)에 의해 기록되었다 이 신호는 NI-DAQ-Pad 9205(National Instrument Inc.)에 의해 디지털화되었다. 동공 영상은 적외선 카메라로서 GS3-U3-23S6M-C(Point Grey Research Inc.)을 이용하여 해상도 960×400, 125fps로 기록되었다

이하 동공 반응(Pupillary Response)으로부터 생체 신호(Vital Signs)을 추출(Extraction) 또는 구성(Recovery)하는 방법에 대해 설명한다.

동공 반응 검출

동공 검출 절차는 도10에 도시된 바와 같은 적외선 카메라 시스템을 사용하여 동영상을 획득하고, 이후 특정한 영상 처리 과정을 요구한다.

도4는 피험자로부터 동공 영역(Pupil region)을 검출(detecting)하는 과정을 보인다. 도4에서, (A)는 피험자로부터 얻은 입력 이미지(그레이 스케일), (B)는 자동 임계 값(auto threshold)에 기반한 이진화 이미지, (C)는 원형 에지 검출(circular edge detection)에 의한 동공 위치의 검출, 그리고 (D)는 동공 영역의 중심 좌표 및 직경에 대한 정보를 포함하여 동공 영역의 실시간 검출 결과를 보인다.

도4에서, 그레이 스케일 이미지(A)는 (B)에 도시된 바와 같이 임계 값에 기초하여 이진화 되었다. 상기 임계값(Threshold)은 아래의 <식1>과 같이 전체 영상의 밝기 값을 이용한 선형 회귀 모형에 의해 정의 되었다.

동공 위치를 결정하는 다음 단계는 <식2>의 원형 에지 검출 알고리즘 (Daugman, 2004; Lee et al., 2009))을 사용함으로써 이진 이미지를 처리한다.

다수의 동공 위치가 선택되는 경우, 적외선 램프에 의한 반사광이 사용되었다. 그런 다음, 동공의 중심 좌표(x, y)와 지름을 포함하는 정확한 동공 위치를 얻었다.

동공 지름 데이터(신호)는 <식 3>에 의해 1 Hz의 주파수로 리샘플(resample) 되었다.

동공 지름 데이터에 대한 리샘플링 절차는 30 데이터 포인트의 샘플링 속도를 포함하며, 일반적인 슬라이딩 이동 평균 기법 (예를 들어, 1 초의 윈도우 사이즈 및 1초의 해상도)를 사용하여 1 초 간격의 평균값을 계산하였다. 그러나, 1초 이상의 눈깜박임으로 인해 추적되지 않은 동공 지름 데이터는 리샘플링 절차에 포함되지 않았다.

심장 활동(Cardiac activity)에서 시간 도메인 인덱스의 추출

심장 박동 지수를 비접촉 방법으로 검출하는 방법에 대해 설명된다. 심장 박동 인덱스(파라미터)들에는 동공 응답으로부터 결정된 HR, BPM, SDNN, rMSSD 및 pNN50가 포함한다. HR(heart rate)은 하트 비트 간격 (R-R 피이크 간격)이며 하트 비트의 속도와 관련이 있다. BPM(Beat per Minute)은 1분 동안의 심박(하트 비트) 수이며, 60 RRI(R-peak to R-peak interval)으로부터 산출된다.

SDNN은 RR 간격의 정상 간격과 정상 간격의 표준 편차(Standard Deviation of the normal to normal)를 의미한다. 이것은 심장의 근본적인 기능으로 쇠퇴와 흐름이 반복되는 혈류의 간만(干滿, ebb and flow)을 반영한다. 이 측정치는 좌심실 기능 이상(left ventricular dysfunction), 피크 크레아틴 키나제 수치(peak creatine kinase levels), 킬립 클래스(Killip class), 심장돌연사(sudden cardiac death)의 지표(indicator)이다(Casole et al., 1992; McCraty and Atkinson, 1996; Wang and Huang, 2012, Park et al., 2014). 이러한 SDNN은 50 밀리 초 이하에서 크게 억압되고 100 밀리 초 이상에서 중간 정도로 억압된다(McCraty and Atkinson, 1996).

rMSSD는 연속적인 정상 RRI의 제곱 평균의 제곱근(square root of the mean of the squares of successive normal RR intervals) 이다. 이 측정치는 HRV(heart rate variability)의 높은 주파수 (short-term variance)를 반영하며 심장에서 부교감 신경계 (미주 신경 손상)의 조절을 나타내는 지표(인덱스)이다(McCraty and Atkinson, 1996; Wang and Huang, 2012; Park et al 2014).

pNN50은 50ms 이상의 연속적 정상 RRI(successive normal RR intervals > 50 ms)의 백분율이다. 이 측정치는 HRV에서 높은 주파수와 밀접한 상관 관계가 있으며 HR의 부교감 신경계 제어 지표이다 (Vongpatanasin, et al., 2004; Wang and Huang, 2012).

아래의 [수4]에 나타낸 바와 같이 정보가 심장과 관련이 있음을 보장하기 위해, 1 Hz에서 재 샘플링 된 동공 지름 데이터는 0.005 Hz 내지 0.012 Hz의 대역 통과 필터 (BPF)에 의해 처리되었다.

대역 통과 필터(BPF)는 Labview 2010에서 제공되는 버터워스 필터(Butterworth Filter)를 기반으로 한 저역 통과 필터 (Low pass filter)와

고역 통과 필터 (High pass filter)를 적용하였다.

는 주파수,

는 저역 차단 주파수,

는 고역 차단 주파수이다. n은 필터의 차수이며 기본값 2가 적용되었다. (참고문헌: Bogdan, M., ＆ Panu, M. (2015, June). LabVIEW modeling and simulation, of the digital filters. In Engineering of Modern Electric Systems (EMES), 2015 13th International Conference on (pp. 1-4). IEEE.)

0.5 Hz ~1.2 Hz의 BPF 범위는 심장의 흐름과 관련이 있고 고조파 주파수에 의해 1/100의 해상도의 고조파(Harmonic frequency)에 의해 적용된다. 그런 다음, 필터링 된 데이터는, 영상 데이터의 영상 프레임으로부터 얻어지는 동공 지름의 프레임 차이를 기반으로 PSV(Pupil Size Variation)를 사용하여 계산되었다. HR(heart rate)은 [수5] 에 나타낸 바와 같이 PSV 신호의 평균값으로부터 계산되었다. 심박(heart rate)의 속도를 의미하는 HR은 ECG 신호의 RRI로부터 계산된 것으로써 ANS(autonomic nervous system)에 의해 제어되어진다(Malik, 1996; McCraty et al., 2009, Park et al., 2014). 이 과정은 도5에 도시 된 바와 같으며, 여기에는 영상 처리를 위한 슬라이딩 윈도우 기법(예를 들어, 30s의 윈도우 사이즈 및 1s의 해상도)을 적용하여 PSV를 추출하였다.

SDNN, rMSSD, pNN50와 같은 다른 심장 주파수 도메인 인덱스(정보)는 RRI 신호로부터 추출되었다. SDNN은 0.5Hz에서 1.2Hz의 정상 범위(normal range)를 기반으로 한 RRI 신호의 표준 편차로부터 계산되었다. rMSSD는 정상 범위의 RRI 신호의 제곱 평균의 제곱근으로부터 계산되었다. 그리고, pNN50은 [수(6)]에 정의된 바와 같이 50ms 이상 차이가 나는 RR 간격들의 계수(counted)된 수 (Wang and Huang, 2012)로부터 계산되었다. X = RRI (millisecond), N = Total Sample Size, NN = Normal to Normal Interval of RRI (500 to 1200ms)

Lead-I의 ECG 신호는 500 Hz 샘플링 레이트로 기록되었으며 0.5 Hz~0.12 Hz의 BPF로 처리되었다. R-피크는 Pan and Tompkins (1985)에 의해 제시(논의)되었던 QRS 검출 알고리즘(detection algorithm)에 의해 상기 심전도 신호(기록 데이터)로부터 추출되었다. RRI는 연속된 두 R-피크로부터 측정된 시간 간격이다. SDNN, rMSSD 및 pNN50은 상기 언급 된 동공 데이터에 기초하여 [수5]로부터 계산되었다. ECG 신호를 처리하기 위한 상세한 과정이 도5에 도시되어 있다. 도5는 심장 시간 인덱스의 신호 처리를 위한 과정을 보여준다.

결과(Result)

동공 반응으로부터, 피험자의 심장 시간 도메인 인덱스, 심장 주파수 도메인 인덱스, EEG 스펙트럼 인덱스 및 HEP 인덱스 등의 성분을 생체 신호로서 추출했다.

동공 반응으로부터 얻은 이들 인덱스들은, 상관 계수((coefficient of correlation, r) 및 평균 오차 값 (ME)에 기초하여, 피험자로부터 직접 측정한 센서 신호(즉, ground truth)로부터의 각 인덱스와 비교되었다. 데이터는 피험자에 대한 MNC와 NMC에서 분석되었다.

두 조건 사이의 이동량의 차이를 검증하기 위해, 이동 데이터(movement data)를 정량적으로 분석했다. 이동 데이터는 p> 0.05의 정상 테스트와 독립적인 t-테스트를 기반으로 한 정규 분포(normal distribution) 였다. 유도된 통계적 유의성에 대해 Bonferroni 보정을 수행했다 (Dunnett, 1955). 통계적 유의 수준은 각 가설의 수 (즉, α = 0.05 / n)에 기초하여 제어되었다. 이동 데이터의 통계적 유의 수준은 0.0167 (상체, X 축 및 Y 축, α = 0.05 / 3)이었다. 코헨의 d(Cohen 's d)의 에 근거한 효과 크기(effect size)도 또한 실제적인 유의성을 확인하기 위해 계산되었다. 코헨의 d에서, 일반적으로 효과 크기에 대한 0.10, 0.25 및 0.40 의 표준 값은 작고, 중간이고, 큰 것으로 간주된다 (Cohen, 2013).

분석 결과에 따르면, 도6및 표3에 나타난 바와 같이, MNC (상체, X 축 및 Y 축)의 움직임 량은, 상체에 대한 NMC의 이동량((t(138) = -5.121, p = 0.000, Cohen's d = 1.366 with large effect size), 얼굴에 대한 X축(t(138) = -6.801, p = 0.000, Cohen's d = 1.158 with large effect size), 그리고 얼굴에 대한 Y 축 (t (138) = -6.255, p = 0.000, Cohen's d = 1.118 with large effect size) 에 비교하여 유의하게 증가하였다.

도6은 MNC와 NMC에서 상체, 얼굴에서 X, Y 축의 움직임량의 평균을 보인다. (n = 140, *** p < 0.001). 표3은 MNC 및 NMC의 조건에서, 모든 피험자들의 상체 및 얼굴의 X, Y 축의 움직임 량의 데이터를 보인다.

심장 시간 도메인 인덱스(Cardiac time domain index)

심장 정보 출력으로서 HR, BPM, SDNN, rMSSD 및 pNN50 등의 시간 도메인 인덱스를 피험자의 동공 반응으로부터 추출하였다.

이들 인덱스 들은 ECG 신호(ground truth)로 부터의 시간 도메인 인덱스들과 비교 되었다.

도7에 동공 반응과 ECG 신호로부터 HR을 각각 추출하는 과정에서의 신호 처리가 예시되어 있다.

이 실험을 통해서 HR, BPM, SDNN, rMSSD, and pNN50 등의 심장 시간 도메인인덱스를 고조파 혼입(entrainment of the harmonic frequency)에 의해 동공 반응로부터 추출할 수 있었다. 0.5 Hz-1.2 Hz 의 범위에서 심장 리듬(cardiac heart rhythm)은 0.005 Hz ~0.012 Hz 범위에서 주기적 동공 리듬(circadian pupillary rhythm)과 밀접하게 연관되었다. 즉, 동공 직경의 크기 변화(Pupil Size Variation)는 1/100f 하모닉 주파수에서 심장리듬과 동기화 되었다. 다른 시간 도메인 인덱스인 BPM, SDNN, rMSSD 및 pNN50 는 HR 신호로부터 산출되었다.

도7은 동공 반응과 ECG 신호로부터 HR을 검출하는 예를 도시한다.

도7의 (A) 는 동공 크기의 프레임 차, (B)는 슬라이딩 이동 평균(window size: 30 fps and resolution: 30 fps))에 기초하여1Hz로 리샘플된 신호, (C) 는 1/100 주파수의 고조파로 0.005~0.012Hz로 밴드 패스 필터링된 신호, (D) 는 동공 크기 변화(pupil size variation)의 신호, (E) 는 동공 반응으로 부터의 심박(heart rate), (F)는 ECG 원형 신호(raw signals), (G) 는 R-피크의 검출(QRS complex) 및 R-peak to R-peak intervals, 그리고 (H) 는 ECG 신호(ground truth)로부터의 HR(heart rate)을 보인다.

도8에 피험자의 동공 반응과 ECG 신호로부터 추출된 심장 시간 인덱스인 HR(A), BPM(B), SDNN(C), rMSSD(D), pNN50(E)를 상호 비교해 보인다.

도8의 (A), (B), (C), (D), (E)에 각각 비교 도시된 바와 같이 MNC에서 동공으로부터 얻은 결과를 ECG 신호(ground truth)의 결과와 비교했을 때, 동공 반응으로부터 얻은 심장 시간 인덱스는 모두 파라미터(HR, BPM, SDNN rMSSD, pNN50) 들과 강한 상관성을 나타내었다.

각 파라미터에 대한 상관계수(r)는 HR에 대해서 0.898 ± 0.064, BPM에 대해서 0.898 ± 0.064, SDNN에 대해서 0.783 ± 0.088, rMSSD에 대해서 0.944 ± 0.059, 그리고 pNN50에 대해서 0.804 ± 0.055 로 산출되었다.

모든 파라미터들의 평균 오차(ME)들간의 차이(difference)는 매우 낮았다. 여기에서, HR에 대해서는 0.009 ± 0.006, BPM에 대해서는 0.825 ± 0.296, SDNN에 대해서는 3.138 ± 3.453, rMSSD에 대해서는 0.143 ± 0.101 for rMSSD, 그리고 pNN50dp 대해서는 1.433 ± 0.346 이었다.

이 과정은 슬라이딩 윈도우 기법으로 진행되었는데, 윈도우 사이즈는 30s 그리고 해상도는 1s 이었으며, 사용된 데이터는 300s 동안 기록된 것이다. 상관 계수(r)와 평균 오차(ME)는 표4에 나타내 보인 바와 같이, 70명의 피험자(N=270)에 대한 평균 값(means value)이었다.

상기한 바와 같이 도8은 MNC에서 심장 시간 인덱스의 실험예의 비교를 보이는데 각각 파라미터 HR (A), BRM (B) SDNN (C), rMSSD (D), PNN50 (E) 에서의 상관 계수(r)와 평균 오차(ME)는 다음과 같다.

(A)r = 0.921, ME = 0.018 for HR

(B)r = 0.918, ME = 1.063 for BPM

(C)r = 0.864, ME = 1.308 for SDNN

(D)r = 0.977, ME = 0.100 for rMSSD

(E)r = 0.838, ME = 1.642 for pNN50

표4는 MNC에서, 심장 시간 인덱스의 상관계수(r)의 평균과 평균 오차(ME)를 보인다(N = 270, p < 0.01).

도9는 피험자(NMC)의 동공 반응 및 ECG 신호로부터 추출된 심장 시간 인덱스의 실험 예를 보인다.

NMC에서의 실측 값(ground truth)과의 비교 결과에서, 동공 반응으로부터의 심장 시간 인텍스는 모든 파라미터에 대해 강한 상관성(r)을 보였다.

(A)r = 0.824 ± 0.091 for HR

(B)r = 0.824 ± 0.090 for BPM,

(C)r = 0.710 ± 0.105 for SDNN

(D)r = 0.938 ± 0.077 for rMSSD. and

(E) r = 0.748 ± 0.082 for pNN50.

그리고 모든 파라미터 평균 오차(ME) 간의 차이(difference)가 작게 나타났다.

(A) ME = 0.013 ± 0.007 for HR,

(B) ME = 1.295 ± 0.585 for BPM

(C) ME = 4.178 ± 2.501 for SDNN

(D) ME = 0.154 ± 0.113 for rMSSD, and

(E) ME = 1.872 ± 0.979 for pNN50.

이 과정은 300s 동안의 기록 데이터를 이용한 슬라이딩 윈도우 기법(윈도우 사이즈: 30s, 해상도: 1s)로 진행되었다. 상관 계수(r)와 평균 오차(ME)는 표5에 보인 바와 같이, 70명의 피험자(in one subject, N=270)에 대한 평균 값(means value)이었다.

도9는 NMC에서 심장 시간 인덱스의 비교 예를 보인다.

(r = 0.915, ME = 0.007 for HR, r = 0.917, ME = 0.934 for BPM, r = 0.841, ME = 3.763 for SDNN, r = 0.996, ME = 0.065 for rMSSD, r = 0.636, ME = 4.957 for pNN50)

표5는 NMC에서 심장 시간 인덱스의 상관 계수(r)와 평균 오차(ME)의 평균을 보인다(N = 270, p < 0.01).

인간의 생체 또는 생리 신호를 검출하는 실시간 시스템은 적외선 카메라, 예를 들어 저가의 적외선 웹캠으로부터 얻어진 동공 영상을 사용하도록 개발되었다. 이 시스템은 적외선 웹캠, 근거리 IR (적외선 조명) 조명기 (IR 램프) 및 분석을 위한 개인용 컴퓨터를 기반으로 구축된다. 적외선 웹캠은 일반적인 USB 웹캠인 고정형과 착용식 장치로 표시되는 휴대용 유형의 두 가지 유형으로 구분된다.

웹캠은 Logitech Inc.의 HD Pro C920이었으며, 이것은 동공 영역을 검출할 수 있도록 적외선 웹캠으로 개조되었다. 이를 위하여, 웹캠 내부의 IR 차단 필터를 제거하고 대신에 Kodac 사의 가시광선 차단용 IR 통과 필터를 대체 삽입하였다. 이로써 개조된 웹캠은 750 nm보다 긴 IR 파장의 영상 촬영이 가능하게 되었다

USB 웹 카메라에 있던 기존의 12mm 렌즈는 3.6mm 렌즈로 교체되어 0.5~1.5m의 측정 거리에서도 촛점이 맺히도록 하였다.

실시간 시스템은 적외선 웹캠을 이용함으로써 HR, BPM, SDNN, rMSSD 그리고 pNN50을 측정할 수 있었다. 이 시스템은 Visual C++ 2010 및 OpenCV 2.4.3를 사용하여 개발되었다. FFT, BPF 등과 같은 신호의 처리를 위해 도15에 도시된 바와 같이 LabVIEW 2010를 사용하였다.

도10은 동공 이미지를 측정(촬영)하는 적외선 웹캠 시스템을 보인다. 도11은적외선 카메라 및 센서를 이용해 인간 생리 신호를 측정하는 실시간 시스템을 보인다. 도11에서, (A) 적외선 동공 이미지 (입력 이미지), (B) 이진화 된 동공 이미지 (C) 동공 영역의 감지 (D) 심장 시간 파라미터(HR, BPM, SDNN, rMSSD, pNN50)을 보인다.

본 발명은 동공의 적외선 이미지에서 인간 생체 신호인 심장 시간 인덱스를비접촉 방법으로 측정을 위한 진보된 방법을 제시한다. 이러한 본 발명은 동공 리듬을 모니터링하는 저가의 적외선 웹캠 시스템을 사용하여 심장 시간 도메인의 매개 변수를 측정 할 수 있다. 이 결과는 70 명의 피험자에 대한 소음 조건 (MNC 및 NMC)과 다양한 생리 상태 (음향의 감성적 자극에 의한 각성 및 발현 수준의 변화)에 대해 확인할 수 있었다. 이러한 본 방법은 단순하고, 비용이 적으며, 비침습적인 측정 시스템을 사용하여 심장 시간 영역에서 파라미터를 측정할 수 있다. VSM 기술이 요구되는 유-헬스 케어, 감성 ICT, 인적 요인, HCI, 보안 등 다양한 산업에 적용될 수 있다.

상기한 설명에서 많은 사항이 구체적으로 기재되어 있으나, 그들은 발명의 범위를 한정하는 것이라기보다, 바람직한 실시 예의 예시로서 해석되어야 한다. 예들 들어, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 전술한 실시 예의 이해를 통해 그 밖에도 다양한 변형 예가 가능함을 알 수 있을 것이다. 이러한 이유로, 본 발명의 기술적 범위는 설명된 실시 예에 의하여 정하여 질 것이 아니고 특허 청구범위에 기재된 기술적 사상에 의해 정하여져야 한다.

Claims (9)

1. 피험자로부터 동공 움직임 영상을 획득하는 단계;
   상기 동공 움직임 영상으로부터 동공 움직임 변화(PSV, Pupil Size Variation) 를 추출하는 단계; 그리고
   상기 PSV로부터 소정 주파수 범위에서 RRI(R-peak to R-peak interval)를 추출하는 단계;
   상기 RRI로부터 심장 시간 도메인의 파라미터를 추출하는 단계;를 포함하는 동공 반응을 이용한 심장 시간 정보 추출 방법.
2. 제1항에 있어서,
   상기 RRI를 추출하는 주파수 범위는 0.005 Hz ~0.012 Hz 인 것을 특징으로 하는 동공 반응을 이용한 심장 시간 정보 추출 방법.
3. 제1항 또는 제2항에 있어서,
   상기 파라미터는 HR(Heart Rate), SDNN(Standard Deviation of the normal to normal), rMSSD(square root of the mean of the squares of successive normal RR intervals) 또는 pNN50(successive normal RR intervals > 50 ms) 중의 어느 하나를 포함하는 것을 특징으로 하는 동공 반응을 이용한 심장 시간 정보 추출 방법.
4. 제3항에 있어서,
   상기 파라미터를 추출하는 주파수 대역은 ECG 신호로부터 얻어지는 파라미터의 주파수 대역에 대해 1/100의 주파수 값을 가지는 것을 특징으로 하는 동공 반응을 이용한 심장 시간 정보 추출 방법.
5. 제1항 또는 제2항에 있어서,
   상기 파라미터를 추출하는 주파수 대역은 ECG 신호로부터 얻어지는 파라미터의 주파수 대역에 대해 1/100의 주파수 값을 가지는 것을 특징으로 하는 동공 반응을 이용한 심장 시간 정보 추출 방법.
6. 제1항 또는 제2항에 기재된 방법을 수행하는 동공 반응을 이용한 심장 시간 정보 추출 시스템에 있어서,
   상기 영상을 촬영하는 카메라,
   카메라로부터의 동영상을 처리하여 상기 파라미터를 추출하는 컴퓨터 기반 분석 장치;를 구비하는 동공 반응을 이용한 뇌-심장 연결성 정보 추출 시스템.
7. 제6항에 있어서,
   상기 파라미터는 HR(Heart Rate), SDNN(Standard Deviation of the normal to normal), rMSSD(square root of the mean of the squares of successive normal RR intervals) 또는 pNN50(successive normal RR intervals > 50 ms) 중의 어느 하나를 포함하는 것을 특징으로 하는 동공 반응을 이용한 심장 시간 정보 추출 시스템.
8. 제7항에 있어서, 상기 파라미터를 추출하는 주파수 대역은 ECG 신호로부터 얻어지는 파라미터의 주파수 대역에 대해 1/100의 주파수 값을 가지는 것을 특징으로 하는 동공 반응을 이용한 심장 시간 정보 추출 시스템.
9. 제6항에 있어서,
   상기 파라미터를 추출하는 주파수 대역은 ECG 신호로부터 얻어지는 파라미터의 주파수 대역에 대해 1/100의 주파수 값을 가지는 것을 특징으로 하는 동공 반응을 이용한 심장 시간 정보 추출 시스템.

Images