KR102165831B1 - 동공 반응을 이용한 뇌-심장 연결성 정보 추출 방법 및 시스템 - Google Patents

Abstract

동공 반응을 이용한 뇌-심장 정보 추출 방법:은 피험자로부터 동공 움직임 영상과 ECG 신호를 획득하는 단계; 상기 동공 움직임 영상으로부터 동공 움직임 신호를 추출하는 단계; 상기 동공 움직임 신호로부터 상기 ECG 신호의 R-피크 이후 소정 시간범위에서 동공 크기 신호를 분리하는 단계; 상기 동공 크기 신호로부터 제1구간과 제2구간의 신호를 추출하는 단계; 그리고 상기 제1구간과 제2구간의 신호 각각에서 소정 주파수의 알파 파워를 각각 산출하는 단계;를 포함한다.

Description

동공 반응을 이용한 뇌-심장 연결성 정보 추출 방법 및 시스템{Method and system for detecting Brain-Heart Connectivity by using Pupillary Variation}

본 발명은 동공 반응(Pupillary Response or Pupil Size Variation)을 이용하여 인체 생체 신호(Human Vital Signs)를 측정하는 방법 및 장치에 관한 것으로, 상세하게 동공 움직임 영상을 이용하여 생체 신호를 측정하는 방법 및 장치에 관한 것이다.

생체 신호 모니터링(VSM, Vital Signal Monitoring)에 있어서, 인체에 부착되는 센서를 이용해 생리 정보를 획득할 수 있다. 이러한 생리 정보에는 electrocardiogram (ECG), photo-plethysmograph (PPG), blood pressure (BP), galvanic skin response (GSR), skin temperature (SKT), respiration (RSP) and electroencephalogram (EEG)가 포함된다.

심장과 뇌는 신체의 주요 기관으로서, 사건(event)에 대한 반응과 의학적 진단(medical diagnosis)에 사용되는 인간 행동과 정보를 평가하는 능력(ability)을 제공한다. VSM은 유 헬스 케어(U-health care), 감성정보 통신기술(emotional information and communication technology (e-ICT), 인간 인자(human factor), 휴먼 컴퓨터 인터페이스(HCI) 및 보안(security) 등 다양한 분야에 응용 가능하다.

ECG 및 EEG는 생체 신호를 측정하기 위해 인체에 부착되는 센서를 사용해야 하는 불편이 있다. 생체 신호를 측정하기 위해 센서를 사용할 때 인체는 상당한 스트레스와 불편을 경험한다. 또한 부착형 센서의 사용에 따른 비용 부담, 부수적으로 수반되는 하드웨어에 의해 피험자의 움직임 등에 제한이 따른다. 따라서 VSM 기술은 비접촉(Non-contact), 비침습(Non-invasive), 비강압적((Non-obtrusive) 방법을 사용하여 측정 비용을 낮추면서도 피험자의 자유로운 움직임을 허용하는 것이 필요하다.

최근 VSM 기술은 휴대용 웨어러블 장치에 통합되어 휴대용 측정 장치의 개발을 가능하게 한다. 이 휴대용 장치는 시계, 팔찌 또는 안경과 같은 액세서리에 내장된 VSM을 사용하여 심박수(Heart Rate) 및 호흡(Respiration)을 측정 할 수 있다.

웨어러블 기기 기술은 3~5 년 내에 휴대용 기기에서 '부착형(attachable)'기기로 이행 될 것으로 예상된다. 한편, 부착 가능한 장치는 장차 "복용할 수 있는(eatable)" 장치(device)로 전환 될 것으로 예상된다.

저비용으로 자유로운 움직임을 허용하는 비접촉, 비침습 및 비강압적(Non-obtrusive) 방식으로 생리적 신호를 측정하는 VSM 기술에 대한 연구는 여전히 만족스럽지 않으며 따라서 앞으로도 더 지속될 필요가 있다.

<참고 문헌>

Abbas, A. K., Heimann, K., Jergus, K., Orlikowsky, T., and Leonhardt, S. (2011). Neonatal non-contact respiratory monitoring based on real-time infrared thermography, Biomedical Engineering Online, 10(1), 93-110.

Abbas, A. K., Heiman, K., Orlikowsky, T., and Leonhardt, S. (2010). Non-contact respiratory monitoring based on real-time IR-thermography, In World Congress on Medical Physics and Biomedical Engineering, 1306-1309.

Ahern, S., and Beatty, J. (1979). Pupillary responses during information processing vary with Scholastic Aptitude Test scores, Science, 205(4412), 1289-1292.

Andreassi, J. L. (2013). Psychophysiology: Human behavior ＆ physiological response, Psychology Press.

Balakrishnan, G., Durand, F., and Guttag, J. (2013). Detecting pulse from head motions in video, In Computer Vision and Pattern Recognition (CVPR), 2013 IEEE Conference on, 3430-3437.

Baron, A. D., Steinberg, H. E. L. M. U. T., Brechtel, G. I. N. G. E. R., and Johnson, A. (1994). Skeletal muscle blood flow independently modulates insulin-mediated glucose uptake, American Journal of Physiology-Endocrinology and Metabolism, 266(2), E248-E253.

Beatty, J., and Kahneman, D. (1966). Pupillary changes in two memory tasks, Psychonomic Science, 5(10), 371-372.

Beatty, J. (1988). Pupillometric signs of selective attention in man, Neurophysiology and psychophysiology, Experimental and Clinical Applications, 138-143.

Beatty, J., and Lucero-Wagoner, B. (2000). The pupillary system, Handbook of Psychophysiology, 2, 142-162.

Bonvallet, M., and Zbrozyna, A. (1963). Les commandes reticulaires du systeme autonome et en particulier de l'innervation sympathique et parasympathique de la pupille, Archives Italiennes de Biologie, 101(2), 174-207.

Boric-Lubeke, O., and Lubecke, V. M. (2002). Wireless house calls: using communications technology for health care and monitoring, Microwave Magazine, 3(3), 43-48.

Brovelli, A., Lachaux, J. P., Kahane, P., and Boussaoud, D. (2005). High gamma frequency oscillatory activity dissociates attention from intention in the human premotor cortex, Neuroimage, 28(1), 154-164.

Cahn, B. R., and Polich, J. (2006). Meditation states and traits: EEG, ERP, and neuroimaging studies, Psychological Bulletin, 132(2), 180.

Camm, A. J., Malik, M., Bigger, J. T., Breithardt, G., Cerutti, S., Cohen, R. J., and Singer, D. H. (1996). Heart rate variability. Standards of measurement, physiological interpretation, and clinical use, European Heart Journal, 17(3), 354-381.

Casolo, G. C., Stroder, P., Signorini, C., Calzolari, F., Zucchini, M., Balli, E., Sulla, A., and Lazzerini, S. (1992). Heart rate variability during the acute phase of myocardial infarction, Circulation, 85(6), 2073-2079.

Chekmenev, S. Y., Rara, H., and Farag, A. A. (2005). Non-contact, wavelet-based measurement of vital signs using thermal imaging, In The first international conference on graphics, vision, and image processing (GVIP), Cairo, Egypt, 107-112.

Chekmenev, S. Y., Farag, A. A., Miller, W. M., Essock, E. A., and Bhatnagar, A. (2009). Multiresolution approach for noncontact measurements of arterial pulse using thermal imaging, In Augmented Vision Perception in Infrared, Springer London, 87-112.

Chen, S., Epps, J., and Chen, F. (2013). An investigation of pupil-based cognitive load measurement with low cost infrared webcam under light reflex interference, In Engineering in Medicine and Biology Society (EMBC), 2013 35th Annual International Conference of the IEEE, 3202-3205.

Cohen, J. (2013). Statistical power analysis for the behavioral sciences, Academic press.

Chun, H. S., and Kweon, S. C. (2014). A study on the application trend of wearable device and policy implications, In KICS 2014 Conference, 507-508.

Daugman, J. (2004). How iris recognition works, Circuits and Systems for Video Technology, IEEE Transactions on, 14(1), 21-30.

Droitcour, A., Lubecke, V., Lin, J., and Boric-Lubecke, O. (2001). A microwave radio for Doppler radar sensing of vital signs, In Microwave Symposium Digest, 2001 IEEE MTT-S International, 175-178.

Dunnett, C. W. (1955). A multiple comparison procedure for comparing several treatments with a control, Journal of the American Statistical Association, 50(272), 1096-1121.

Egner, T., and Gruzelier, J. H. (2004). EEG biofeedback of low beta band components: frequency-specific effects on variables of attention and event-related brain potentials, Clinical Neurophysiology, 115(1), 131-139.

Feshchenko, V. A., Reinsel, R. A., and Veselis, R. A. (2001). Multiplicity of the α Rhythm in Normal Humans, Journal of Clinical Neurophysiology, 18(4), 331-344.

Fletcher, R., and Han, J. (2009). Low-cost differential front-end for Doppler radar vital sign monitoring, In Microwave Symposium Digest, 2009. MTT'09. IEEE MTT-S International, IEEE, 1325-1328.

Fotiou, F., Fountoulakis, K. N., Tsolaki, M., Goulas, A., and Palikaras, A. (2000). Changes in pupil reaction to light in Alzheimer's disease patients: a preliminary report, International journal of psychophysiology, 37(1), 111-120.

Fuster, J., (1980). The Prefrontal Cortex: Anatomy, Physiology and Neuropsychology of the Frontal Lobe, Raven Press, New York.

Garbey, M., Sun, N., Merla, A., and Pavlidis, I. (2007). Contact-free measurement of cardiac pulse based on the analysis of thermal imagery, Biomedical Engineering, IEEE Transactions on, 54(8), 1418-1426.

Gastaut, H. (1952). Electrocorticographic study of the reactivity of rolandic rhythm, Revue neurologique, 87(2), 176.

Gault, T. R., Blumenthal, N., Farag, A., and Starr, T. (2010). Extraction of the superficial facial vasculature, vital signs waveforms and rates using thermal imaging, In Computer Vision and Pattern Recognition Workshops (CVPRW), 2010 IEEE Computer Society Conference on, pp. 1-8.

Glass, A. (1991). Significance of EEG alpha asymmetries in cerebral dominance, International Journal of Psychophysiology, 11(1), 32-33.

Gu, C., Li, C., Lin, J., Long, J., Huangfu, J., and Ran, L. (2010). Instrument-based noncontact Doppler radar vital sign detection system using heterodyne digital quadrature demodulation architecture, Instrumentation and Measurement, IEEE Transactions on, 59(6), 1580-1588.

Hakerem, G. A. D., and Sutton, S. (1966). Pupillary response at visual threshold, Nature, 212(5016), 485-486.

Hansen, A. L., Johnsen, B. H., and Thayer, J. F. (2003). Vagal influence on working memory and attention, International Journal of Psychophysiology, 48(3), 263-274.

Heller, P. H., Perry, F., Jewett, D. L., and Levine, J. D. (1990). Autonomic components of the human pupillary light reflex, Investigative Ophthalmology ＆ Visual science, 31(1), 156-162.

Hess, E. H., and Polt, J. M. (1964). Pupil size in relation to mental activity during simple problem-solving, Science, 143(3611), 1190-1192.

Hink, R. F., Van Voorhis, S. T., Hillyard, S. A., and Smith, T. S. (1977). The division of attention and the human auditory evoked potential, Neuropsychologia, 15(4), 597-605.

Howard, M. W., Rizzuto, D. S., Caplan, J. B., Madsen, J. R., Lisman, J., Aschenbrenner-Scheibe, R., Schulze-Bonhage, A., and Kahana, M. J. (2003). Gamma oscillations correlate with working memory load in humans, Cerebral Cortex, 13(12), 1369-1374.

Huang, H. P., Liu, Y. H., Wang, C. P., and Huang, T. H. (2013). Automatic artifact removal in EEG using independent component analysis and one-class classification strategy, Journal of Neuroscience and Neuroengineering, 2(2), 73-78.

Ille, N., Berg, P., and Scherg, M. (2002). Artifact correction of the ongoing EEG using spatial filters based on artifact and brain signal topographies, Journal of Clinical Neurophysiology, 19(2), 113-124.

Jang, H. S., Kim, J., Kim, K. S., and Pak, C. H. (2014). Human brain activity and emotional responses to plant color stimuli, Color Research ＆ Application, 39(3), 307-316.

Janig, W. (1996). Neurobiology of visceral afferent neurons: neuroanatomy, functions, organ regulations and sensations, Biological Psychology, 42(1), 29-51.

James, C. J., and Hesse, C. W. (2005). Independent component analysis for biomedical signals, Physiological Measurement, 26(1), R15.

Jensen, O., Kaiser, J., and Lachaux, J. P. (2007). Human gamma-frequency oscillations associated with attention and memory, Trends in Neurosciences, 30(7), 317-324.

Junior, E. D. D. S., Da Silva, A. V., Da Silva, K. R., Haemmerle, C. A., Batagello, D. S., Da Silva, J. M., Limae, L. B., Da Silvaa, R. J., Diniza, G. B., Sitaa, L. V., Eliasa, C. F., and Bittencourt, J. C. (2015). The centrally projecting EdingerWestphal nucleusI: Efferents in the rat brain, Journal of Chemical Neuroanatomy, 68, 22-38.

Just, M. A., and Carpenter, P. A. (1993). The intensity dimension of thought: Pupillometric indices of sentence processing. Canadian Journal of Experimental Psychology/Revue Canadienne de Psychologie Experimentale, 47(2), 310.

Just, M. A., Carpenter, P. A., Keller, T. A., Eddy, W. F., and Thulborn, K. R. (1996). Brain activation modulated by sentence comprehension, Science, 274(5284), 114-116.

Kahneman, D., and Beatty, J. (1966). Pupil diameter and load on memory, Science, 154(3756), 1583-1585.

Kanayama, N., Sato, A., and Ohira, H. (2007). Crossmodal effect with rubber hand illusion and gammaband activity, Psychophysiology, 44(3), 392-402.

Kao, T. Y. J., Yan, Y., Shen, T. M., Chen, A. K., and Lin, J. (2013). Design and analysis of a 60-GHz CMOS doppler micro-radar system-in-package for vital-sign and vibration detection, Microwave Theory and Techniques, IEEE Transactions on, 61(4), 1649-1659.

Kim, H. S., Song, G. S., Ahn, H. B., Lee, C. Y., and Kim, J. H. (2015). A Study on the Effects of LED Light's Pulse Width Modulation on Work Concentration, In Knowledge Management in Organizations, 550-560.

Klingner, J., Kumar, R., and Hanrahan, P. (2008). Measuring the task-evoked pupillary response with a remote eye tracker, In Proceedings of the 2008 symposium on Eye tracking research ＆ applications, 69-72.

Kirmizi-Alsan, E., Bayraktaroglu, Z., Gurvit, H., Keskin, Y.H., Emre, M., and Demiralp, T. (2006). Comparative analysis of event-related potentials during Go/NoGo and CPT: decomposition of electrophysiological markers of response inhibition and sustained attention, Brain Research, 1104(1), 114-128.

Kisley, M.A., and Cornwell, Z.M. (2006). Gamma and beta neural activity evoked during a sensory gating paradigm: effects of auditory, somatosensory and cross-modal stimulation, Clinical Neurophysiology, 117(11), 2549-2563.

Kojima, M., Shioiri, T., Hosoki, T., Kitamura, H., Bando, T., and Someya, T. (2004). Pupillary light reflex in panic disorder, European Archives of Psychiatry and Clinical Neuroscience, 254(4), 242-244.

Kourouyan, H. D., and Horton, J. C. (1997). Transneuronal retinal input to the primate EdingerWestphal nucleus, Journal of Comparative Neurology, 381(1), 68-80.

Kozicz, T., Bittencourt, J. C., May, P. J., Reiner, A., Gamlin, P. D., Palkovits, M., Anja, K. E., Claudio, A. B., and Ryabinin, A. E. (2011). The EdingerWestphal nucleus: A historical, structural, and functional perspective on a dichotomous terminology, Journal of Comparative Neurology, 519(8), 1413-1434.

Krause, C. M., Pesonen, M., Haarala Bjornberg, C., and Hamalainen, H. (2007). Effects of pulsed and continuous wave 902 MHz mobile phone exposure on brain oscillatory activity during cognitive processing, Bioelectromagnetics, 28(4), 296-308.

Lee, E. C., Park, K. R., Whang, M., and Min, K. (2009). Measuring the degree of eyestrain caused by watching LCD and PDP devices, International Journal of Industrial Ergonomics, 39(5), 798-806.

Lewandowska, M., Ruminski, J., and Kocejko, T. (2011). Measuring pulse rate with a webcama non-contact method for evaluating cardiac activity, In Computer Science and Information Systems (FedCSIS), 2011 Federated Conference on IEEE, 405-410.

Li, C., Cummings, J., Lam, J., Graves, E., and Wu, W. (2009). Radar remote monitoring of vital signs, Microwave Magazine, IEEE, 10(1), 47-56.

Loewenfeld, I. E., ＆ Lowenstein, O. (1993). The pupil: Anatomy, physiology, and clinical applications (Vol. 2), Wiley-Blackwell.

Lohman, B., Boric-Lubecke, O., Lubecke, V. M., Ong, P. W., and Sondhi, M. M. (2002). A digital signal processor for Doppler radar sensing of vital signs, Engineering in Medicine and Biology Magazine, IEEE, 21(5), 161-164.

Malik, M. (1996). Heart rate variability, Annals of Noninvasive Electrocardiology, 1(2), 151-181.

McCraty R., and Watkins A., (1996). Autonomic assessment report: A comprehensive heart rate variability analysis, Boulder Creek: Institute of HeartMath, 1-42.

McCraty, R., Atkinson, M., Tomasino, D., and Bradley, R.T. (2009). The coherent heart: heart-brain interactions, psychophysiological coherence, and the emergence of system-wide order, Integral Review, 5(2), 10-115.

Montoya, P., Schandry, R., and Muler, A. (1993). Heartbeat evoked potentials (HEP): topography and influence of cardiac awareness and focus of attention, Electroencephalography and Clinical Neurophysiology/Evoked Potentials Section, 88(3), 163-172.

Murthy, R., and Pavlidis, I. (2005). Non-contact monitoring of breathing function using infrared imaging, Technical Report Number UH-CS-05-09, Department of Computer Science, University of Houston, Houston, TX.

Murthy, J. N., van Jaarsveld, J., Fei, J., Pavlidis, I., Harrykissoon, R. I., Lucke, J. F., Faiz, S., and Castriotta, R. J. (2009). Thermal infrared imaging: a novel method to monitor airflow during polysomnography, Sleep, 32(11), 1521.

Na, H. B., and Jang, Y. J. (2014). Study on wearable healthcare device design witch is able to do position-tracking service when an inpatient is in emergency situation, Korea Digital Design Society, 15(1), 721-730.

Nauta, W., and Feirtag, M., (1986). Fundamental Neuroanatomy, Freeman, San Francisco, New York.

Niedermeyer, E. (1997). Alpha rhythms as physiological and abnormal phenomena, International Journal of Psychophysiology, 26(1-3), 31-49.

Niedermeyer, E., and Da Silva, F. L. (2005). Electroencephalography: basic principles, clinical applications, and related fields, Lippincott Williams ＆ Wilkins.

Nieuwenhuys, R., Voogd, J., and Van Huijzen, C., (2007). The Human Central Nervous System: A Synopsis and Atlas, 3rd ed. Springer, New York.

Noguchi, H., and Sakaguchi, T. (1999). Effect of illuminance and color temperature on lowering of physiological activity, Applied Human Science, 18(4), 117-123.

Norman, D. A., and Bobrow, D. G. (1975). On data-limited and resource-limited processes, Cognitive Psychology, 7(1), 44-64.

Paas, F., Tuovinen, J. E., Tabbers, H., and Van Gerven, P. W. (2003). Cognitive load measurement as a means to advance cognitive load theory, Educational Psychologist, 38(1), 63-71.

Palinko, O., and Kun, A. L. (2012). Exploring the effects of visual cognitive load and illumination on pupil diameter in driving simulators, In Proceedings of the Symposium on Eye Tracking Research and Applications, 413-416.

Pan, J., and Tompkins, W.J. (1985). A real-time QRS detection algorithm. Biomedical Engineering, IEEE Transactions on, 230-236.

Pandzic, I. S., and Forchheimer, R. (2002). MPEG-4 facial animation, The standard, implementation and applications. Chichester, England: John Wiley＆Sons.

Park, S., Won, M., Mun, S., Lee, E., and Whang, M. (2014). Does visual fatigue from 3D displays affect autonomic regulation and heart rhythm?, International Journal of Psychophysiology, 92(1), 42-48.

Park, S., Won, M., Lee, E., Mun, S., Park, M., and Whang, M. (2015). Evaluation of 3D cognitive fatigue using heartbrain synchronization, International Journal of Psychophysiology, 97(2), 120-130.

Park, S. J., and Kim, B. (2014). A study on the health care service design by wearable device user activity pattern, In KODDCO 2014 Conference, 321-322.

Partala, T., and Surakka, V. (2003). Pupil size variation as an indication of affective processing, International Journal of Human-Computer Studies, 59(1), 185-198.

Pesaran, B., Pezaris, J. S., Sahani, M., Mitra, P. P., and Andersen, R. A. (2002). Temporal structure in neuronal activity during working memory in macaque parietal cortex, Nature Neuroscience, 5(8), 805-811.

Pfeifer, M. A., Cook, D., Brodsky, J., Tice, D., Parrish, D., Reenan, A., Halter, B., and Porte, D. (1982). Quantitative evaluation of sympathetic and parasympathetic control of iris function, Diabetes Care, 5(5), 518-528.

Pfurtscheller, G., ＆ Klimesch, W. (1992). Event-related synchronization and desynchronization of alpha and beta waves in a cognitive task. In Induced Rhythms in the Brain, pp. 117-128.

Pfurtscheller, G., and Da Silva, F. L. (1999). Event-related EEG/MEG synchronization and desynchronization: basic principles, Clinical Neurophysiology, 110(11), 1842-1857.

Poh, M. Z., McDuff, D. J., and Picard, R. W. (2011). Advancements in noncontact, multiparameter physiological measurements using a webcam, Biomedical Engineering, IEEE Transactions on, 58(1), 7-11.

Porges, S. W. (2007). The polyvagal perspective, Biological Psychology, 74(2), 116-143.

Porges, S. W. (2011). The Polyvagal Theory: Neurophysiological Foundations of Emotions, Attachment, Communication, and Self-regulation (Norton Series on Interpersonal Neurobiology), WW Norton ＆ Company.

Rau, H., Pauli, P., Brody, S., Elbert, T., and Birbaumer, N., (1993). Baroreceptor stimulation alters cortical activity, Psychophysiology 30, 322325.

Reyes del Paso, G. A., Langewitz, W., Mulder, L. J., Roon, A., and Duschek, S. (2013). The utility of low frequency heart rate variability as an index of sympathetic cardiac tone: a review with emphasis on a reanalysis of previous studies, Psychophysiology, 50(5), 477-487.

Russell, J. A. (1980). A circumplex model of affect, Journal of Personality and Social Psychology, 39(6), 1161.

Surakka, V., Tenhunen-Eskelinen, M., Hietanen, J. K., and Sams, M. (1998). Modulation of human auditory information processing by emotional visual stimuli, Cognitive Brain Research, 7(2), 159-163.

Schandry, R., and Montoya, P. (1996). Event-related brain potentials and the processing of cardiac activity, Biological Psychology, 42(1), 75-85.

Scully, C. G., Lee, J., Meyer, J., Gorbach, A. M., Granquist-Fraser, D., Mendelson, Y., ＆ Chon, K. H. (2012). Physiological parameter monitoring from optical recordings with a mobile phone, Biomedical Engineering, IEEE Transactions on, 59(2), 303-306.

Shen, H. N., Lin, L. Y., Chen, K. Y., Kuo, P. H., Yu, C. J., Wu, H. D., and Yang, P. C. (2003). Changes of heart rate variability during ventilator weaning, CHEST Journal, 123(4), 1222-1228.

Shin, D., Lee, G., Shin, D., and Shin, D. (2014). Mental State Measurement System Using EEG Analysis, In Future Information Technology, 451-456.

Siegle, G. J., Steinhauer, S. R., and Thase, M. E. (2004). Pupillary assessment and computational modeling of the Stroop task in depression, International Journal of Psychophysiology, 52(1), 63-76.

Steinhauer, S. R., Condray, R., and Kasparek, A. (2000). Cognitive modulation of midbrain function: task-induced reduction of the pupillary light reflex, International Journal of Psychophysiology, 39(1), 21-30.

Sun, N., Pavlidis, I., Garbey, M., and Fei, J. (2006). Harvesting the thermal cardiac pulse signal, In Medical Image Computing and Computer-Assisted InterventionMICCAI 2006, 569-576.

Suzuki, S., Matsui, T., Kawahara, H., Ichiki, H., Shimizu, J., Kondo, Y., ... ＆ Ishihara, M. (2009). A non-contact vital sign monitoring system for ambulances using dual-frequency microwave radars, Medical ＆ Biological Engineering ＆ Computing, 47(1), 101-105.

Steinberg, H. O., Brechtel, G., Johnson, A., Fineberg, N., and Baron, A. D. (1994). Insulin-mediated skeletal muscle vasodilation is nitric oxide dependent. A novel action of insulin to increase nitric oxide release, Journal of Clinical Investigation, 94(3), 1172.

Tansey, M. A. (1984). EEG sensorimotor rhythm biofeedback training: some effects on the neurologic precursors of learning disabilities, International Journal of Psychophysiology, 1(2), 163-177.

Tarassenko, L., Villarroel, M., Guazzi, A., Jorge, J., Clifton, D. A., and Pugh, C. (2014). Non-contact video-based vital sign monitoring using ambient light and auto-regressive models, Physiological Measurement, 35(5), 807.

Tassorelli, C., Micieli, G., Osipova, V., Rossi, F., and Nappi, G. (1995). Pupillary and cardiovascular responses to the cold-pressor test, Journal of the Autonomic Nervous System, 55(1), 45-49.

Tatum, W.O. (2014). Ellen R. Grass Lecture: Extraordinary EEG, The Neurodiagnostic Journal, 54(1), 3-21.

Tekalp, A. M., and Ostermann, J. (2000). Face and 2-D mesh animation in MPEG-4, Signal Processing: Image Communication, 15(4), 387-421.

Uenoyama, M., Matsui, T., Yamada, K., Suzuki, S., Takase, B., Suzuki, S., Ishihara, M and Kawakami, M. (2006). Non-contact respiratory monitoring system using a ceiling-attached microwave antenna, Medical and Biological Engineering and Computing, 44(9), 835-840.

Uriguen, J. A., and Garcia-Zapirain, B. (2015). EEG artifact removalstate-of-the-art and guidelines, Journal of Neural Engineering, 12(3), 031001.

Van Gerven, P. W. M., Paas, F., Van Merrienboer, J. J. G., and Schmidt, H. G. (2002). Memory load and task-evoked pupillary responses in agingm, Manuscript Submitted for Publication.

Verney, S. P., Granholm, E., and Dionisio, D. P. (2001). Pupillary responses and processing resources on the visual backward masking task, Psychophysiology, 38(01), 76-83.

Vongpatanasin, W., Taylor, J. A., and Victor, R. G. (2004). Effects of cocaine on heart rate variability in healthy subjects, The American Journal of Cardiology, 93(3), 385-388.

Wang, H. M., and Huang, S. C. (2012). SDNN/RMSSD as a surrogate for LF/HF: a revised investigation, Modelling and Simulation in Engineering, 2012, 16.

Weigold, A. (2014). Wearable computing: Technologies, applications and global markets, BCC Research.

Wilhelm, H. (1998). Neuro-ophthalmology of pupillary functionpractical guidelines, Journal of neurology, 245(9), 573-583.

Wolk, C., Velden, M., Zimmermann, U., and Krug, S. (1989). The interrelation between phasic blood pressure and heart rate changes in the context of the" baroreceptor hypothesis.", Journal of Psychophysiology, 3(4), 397-402.

Zion-Golumbic, E., Golan, T., Anaki, D., and Bentin, S. (2008). Human face preference in gamma-frequency EEG activity, Neuroimage, 39(4), 1980-1987.

본 발명은 비침습적으로 인체 생체 정보를 저비용으로 측정하는 새로운 방법 및 시스템을 제시한다.

본 발명은 동공(Pupil)의 리듬(Rhythm) 또는 변화(Variation)을 이용하여 뇌-심장의 연결성에 관련된 파라미터를 추출할 수 있는 방법 및 시스템을 제시한다.

본 발명에 따른 동공 반응을 이용한 뇌-심장 정보 추출 방법:은

피험자로부터 동공 움직임 영상과 ECG 신호를 획득하는 단계;

상기 동공 움직임 영상으로부터 동공 움직임 신호를 추출하는 단계;

상기 동공 움직임 신호로부터 상기 ECG 신호의 R-피크 이후 소정 시간범위에서 동공 크기 신호를 분리하는 단계;

상기 동공 크기 신호로부터 제1구간과 제2구간의 신호를 추출하는 단계; 그리고

상기 제1구간과 제2구간의 신호 각각에서 소정 주파수의 알파 파워를 각각 산출하는 단계;를 포함한다.

본 발명의 일 실시 예는, 상기 분리하는 단계를 다수 회 실행하여 다수의 동공 크기 신호를 얻고, 그리고

상기 다수의 동공 크기 신호를 그랜드 평균 기법에 의해 하나의 동공 크기 신호로 통합하는 단계;를 더 포함한다.

본 발명의 일 실시 예에 따르면, 상기 동공 크기 신호는 상기 R-피크 이후 56~600ms 범위에서 분리한다.

본 발명의 일 실시 예에 따르면, 상기 제1구간은 상기 R-피크로부터 56~248ms의 범위 내의 값이다.

본 발명의 일 실시 예에 따르면, 상기 제2구간은 상기 R-피크로부터 256~600ms의 범위 내의 값이다.

본 발명의 일 실시 예에 따르면, 제1구간의 알파 파워의 주파수는 10Hz, 그리고 제2구간의 알파 파워의 주파수는 9Hz 및 11Hz 이다.

본 발명의 일 실시 예에 따르면, 상기 알파 파워는 총 파워에 대한 각 구간의 주파수 별 파워의 비율이며, 상기 총 파워는 0Hz~62.5Hz 범위의 총 파워이다.

본 발명의 일 실시 예에 따르면, 상기 동공 크기 신호는 동공 사이즈 변화(PSV) 데이터이다.

상기 본 발명의 방법을 수행하는 동공 반응을 이용한 뇌-심장 정보 추출 시스템;은 상기 영상을 촬영하는 카메라,

카메라로부터의 동영상을 처리하여 상기 다수 주파수 밴드의 파워를 계산하는 컴퓨터 기반 분석 장치;를 구비할 수 있다.

본 발명은 동공의 적외선 이미지를 이용하여 인간 생체 신호의 비접촉 측정하기 위한 방법을 제시한다. 본 발명은 동공 반응(Pupillary Response) 또는 PSV(Pupillary Size Variation)를 기반으로 인간의 생체 신호를 검출하는 새로운 기술을 제시한다. 이 기술적 시도는 적외선 웹캠을 기반으로 하여 간단하고 저렴한 비용의 비접촉 측정 방법을 사용하여 인간의 생체 신호를 측정한다. 본 발명의 실시 예는 측정 가능한 생체 신호들의 범주에 HEP(Heartbeat Evoked Potential)의 제1요소(first component) 와 제2요소(Second component)의 알파 활동(Alpha Activity)과 같은 뇌 심장 연결성(Brain-Heart Connectivity)까지 포함하도록 확장된다.

이것은 발생할 수 있는 인간의 생리적 상태를 정량적으로 추론할 수 있는 비접촉 측정 시스템을 이끌어 내었다. 이러한 본 발명의 신뢰성을 검증하는 실험에서 각성, 이완, 긍정, 부정, 중립적 감성의 자극에 의한 인간의 생리 조건의 변화가 검토되었다.

도1은 본 발명의 실험에서 사용되는 음향 자극(Sound Stimuli)의 대표를 선택하는 절차를 보인다.
도2는 피험자의 상체의 움직임 양을 측정하는 예를 보인다.
도3은 본 발명의 실험 절차를 예시한다.
도4는 피험자로부터 동공 영역(Pupil region)을 검출(detecting)하는 과정을 보인다.
도5는 은 본 발명에 따라, 그랜드 평균 기법에 의해 HEP의 두 성분을 추출하여 정량화하는 과정을 보인다.
도6은 MNC와 NMC에서 상체, 얼굴에서 X, Y 축의 움직임량의 평균을 보인다. (n = 140, *** p < 0.001).
도7은 MNC 조건에서 측정된 EEG 센서 신호에 대한 비교 결과를 보인다.
도8은 동공 반응을 측정하기 위한 적외선 웹캠 시스템을 예시한다.
도9는 적외선 웹캠과 센서에서 생체 신호를 측정하기 위한 시스템의 인터페이스 화면을 예시한다.

이하 첨부된 도면을 참조하면서, 본 발명에 따라 동공 반응으로부터 뇌-심장 연결에 대한 파라미터를 추출하는 방법 및 시스템의 실시 예를 설명한다.

그러나, 본 발명 개념의 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명 개념의 범위가 아래에서 상술하는 실시예들로 인해 한정 되어지는 것으로 해석되어져서는 안 된다. 본 발명 개념의 실시예들은 당 업계에서 평균적인 지식을 가진 자에게 본 발명 개념을 보다 완전하게 설명하기 위해서 제공되는 것으로 해석되는 것이 바람직하다. 동일한 부호는 시종 동일한 요소를 의미한다. 나아가, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명 개념은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.

제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는 데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되지 않는다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명 개념의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 반대로 제 2 구성 요소는 제 1 구성 요소로 명명될 수 있다.

본 출원에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로서, 본 발명 개념을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, “포함한다” 또는 “갖는다” 등의 표현은 명세서에 기재된 특징, 개수, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

달리 정의되지 않는 한, 여기에 사용되는 모든 용어들은 기술 용어와 과학 용어를 포함하여 본 발명 개념이 속하는 기술 분야에서 통상의 지식을 가진 자가 공통적으로 이해하고 있는 바와 동일한 의미를 지닌다. 또한, 통상적으로 사용되는, 사전에 정의된 바와 같은 용어들은 관련되는 기술의 맥락에서 이들이 의미하는 바와 일관되는 의미를 갖는 것으로 해석되어야 하며, 여기에 명시적으로 정의하지 않는 한 과도하게 형식적인 의미로 해석되어서는 아니 될 것임은 이해될 것이다.

어떤 실시예가 달리 구현 가능한 경우에 특정한 공정 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 공정이 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 수행될 수도 있다.

이하의 실시 예의 설명에서 충분히 이해될 수 있는 본 발명은 궁극적으로 정적인 상태 또는 동적인 상태에 있는 피험자에게 신체적 제한이나 심리적 압박감이 없이 웹캠 등과 같은 동영상 카메라를 갖춘 영상 시스템(Vision system)에 의해 뇌-심장 연결성에 대한 정보를 추출하는 것이며, 특히 영상 정보로부터 동공 반응을 검출하고 이로부터 뇌-심장 연결성(brain-heart connectivity) 정보를 추출한다.

본 발명의 실험에서는 동영상을 통해 획득한 동공 변화(PSV, Pupil size variation)로부터 추출한 HEP 제 1 및 제 2 구간의 알파 주파수 파워 값의 파라미터의 신뢰성을 검증하기 위하여 EEG 신호로부터 추출한 HEP 제 1 및 제 2 구간의 알파 주파수 파워 값 (ground truth)과 비교 분석하였다.

이러한 본 발명의 실험은 동영상 카메라를 포함하는 영상 장비 및 촬영된 동영상을 처리 및 분석하는 컴퓨터 구조 기반의 분석장치에 의해 수행되었으며, 여기에는 소프트웨어에 의해 제공되는 분석툴이 포함되었다.

실험적 자극(Experimental Stimuli)

생리 상태의 변화를 유발하기 위하여, 본 발명의 실험에서 Russell의 cir-complex 모델을 기반으로 한 소리 자극을 사용했습니다 (Russell, 1980).

사운드 자극은 각성(arousa)l, 이완(relaxation), 긍정적(positive), 부정적(negative), 그리고 중립적 소리(neutral sounds) 를 포함한 5 가지 팩터(factor)로 구성되었다.

중립적인 소리는 음향 자극의 부재(不在), 즉 음향 자극이 없는 무음(無音) 상태로 정의되었다. 음향 자극을 선택하기 위한 과정은 도1에 도시된 바와 같다.

(S11) 광고, 드라마, 영화와 같은 방송 매체로부터 900개의 음원(음향 자극)이 수집하였다.

(S12) 상기 900개의 음원을 각성(A), 이완(R), 긍정(P) 및 부정(N) 등의 4 개 그룹으로 분류 하였다. 각 그룹은 총 40 개의 사운드 자극에 대한 전문 집단 토론(FGD, focus group discussion)을 기반으로 공통적으로 선택된 10개의 항목으로 구성되었다.

(S13) 이 자극은 75 명의 남성과 75 명의 여성으로 균등하게 나뉘어 진 150 명의 피실험자로부터 수집된 데이터에 기초하여 각 감정에 대한 적합성에 대한 조사를 수행하는데 사용되었다. 평균 나이는 27.36 세(±1.66)였다. 4 가지 팩터(각성, 이완, 긍정 및 부정)에 대한 각 항목(item)을 선택하기 위해 주관적인 평가가 필요했기 때문에 하나 이상의 항목(item)이 중복될 수 있다.

(S14) 각성, 이완, 긍정 및 부정 등의 감성별 음향 자극(Sound Stimuli)이 균등하게 선호되는지 판단하기 위해 적합성에 대한 카이 제곱 검정(chi-square test)을 수행하였다. 표1에 나타난 바와 같이 각 감성 별 음향에 대한 선호도는 모집단(population)에 균등하게 분배하였다(각성: 6 항목, 이완: 6 항목, 긍정: 8 항목, 부정: 4 항목).

표 1은 적합도에 대한 카이 제곱 검정 결과를 보이며, 각 감성에 대해 선택된 항목은 관찰(observation) 및 기대치(expectation value)의 비교(comparison)에 기초한다.

삭제

강한 동의를 나타내는 “7”에 대한 강한 불일치를 나타내는 “1”을 기초로 한 7 점 척도(seven- points scale)를 사용하여 150 명의 피험자로부터 각각의 감정과 관련된 음향 자극의 재조사(resurvey)가 이루어졌다.

베리맥스 (Varimax) 직각 회전에 기반한 PCA(Principal Component Analysis)를 사용하여 각 감정과 관련된 유효한 음향을 분석했다. 이 분석은 전체 변수 집합에 대한 분산을 설명하는 4가지 요소를 산출했다. 분석 결과에 따라 표 2에 나타낸 바와 같은 각 감정에 대한 대표적인 음향 자극이 도출되었다.

표2에서, 굵은 글씨는 동일한 인자(팩터), 흐린(blur) 글씨는 공통변량(Communalities) <0.5, 배경에 음영이 있는 굵고 밝은 회색 글씨는 각 감정에 대한 대표적 음향 자극을 나타낸다.

실험 절차(Experimental Procedure)

균등하게 분배된 70명의 남녀 학부생 자원 봉사자가 실험에 참가하였다. 참가자 즉 피험자 나이는 20~30세의 범위 내이며 평균 연령은 24.52((± 0.64)세이다.

모든 참가자는 정상 또는 (0.8 이상의 교정시력을 가졌고, 시각 기능, 심혈관 계통 또는 중추 신경계와 관련된 질환의 가족력이나 병력은 없었다. 연구에 앞서 각 참가자로부터 사전에 서면 동의를 얻었다. 이 연구는 서울 상명대학교 (2015-8-1)의 제도 심사위원회 (Institutional Review Board)의 승인 하에 진행되었다.

하나의 시도 또는 시행(Trial)은 5분 동안 수행되는데, 본 발명의 실험은 두 번의 시도(trial)로 구성된다. 첫 번째 시도는 움직이거나 말하지 않는 MNC(movelessness condition)를 기반으로 한다. 두 번째 시도는 단순한 대화와 약간의 움직임을 포함한 자연스러운 운동 상태인 NMC(natural movement condition)를 기반으로 진행되었다.

참가자들은 두 번의 실험을 반복적으로 수행했으며, 시도(Trial) 또는 태스크(Task)의 순서는 참가자에게 무작위로 배정되었다. 두 조건 간의 움직임의 차이를 확인하기 위해 본 실험은 각 피험자의 웹캠(동영상) 이미지를 이용하여 실험 중 움직임의 양을 정량적으로 측정 하였다.

이미지는 Logitech Inc. 의 HD Pro C920 카메라를 이용하여 30fps로 촬영되었으며, 해상도는 1920x1080였다. 움직임은 MPEG-4를 기반으로 상체와 얼굴의 영상으로부터 측정되었다 (Tekalp and Ostermann, 2000; JPandzic and Forchheimer, 2002). 상체의 움직임은 프레임 차이(frame difference)에 기초하여 전체 이미지로부터 추출되었다. 이때에 배경이 고정되어 있기 때문에 상반신 및 얼굴의 움직임을 제외하고 배경 움직임에 대한 것은 본 분석에 포함되지 않았다. 얼굴의 움직임은 Visage Technologies Inc.의 visage SDK 7.4 소프트웨어를 사용하여 프레임 차이를 기반으로 한 84 개의 MPEG-4 애니메이션 포인트로부터 추출되었다. 모든 운동 데이터는 실험 중 각 피험자의 평균값이 사용되었고, 도2에 도시된 바와 같이, 두 시도(trail) 사이의 움직임 차가 비교 되었다.

도2는 피험자의 상체의 움직임 양을 측정하는 예를 보인다. 도2에서 안면(face)은 X 축과 Y 축의 교차점에 위치한다. 도2에서 (A)는 상체 이미지, (B)는 84 개의 MPEG-4 애니메이션 포인트에서 추적된 얼굴(Tracked face) 이미지, (C)와 (D)는 전후 프레임간 차이, (E)는 상체로부터의 움직임 신호(movement signal) 그리고, (F)는 84 개의 MPEG-4 애니메이션 포인트로부터의 움직임 신호(movement signals)를 보인다.

생리학적 상태의 변화를 유발하기 위해, 주어진 테스크(task)의 시도(trial)를 통해서 참가자들에게 음향 자극이 주어졌다. 각 음향 자극은 5 분간의 시도에 걸쳐 총 5 개의 자극에 대해 1 분 동안 무작위로 제시되었다. 기준 자극(reference stimuli)은 태스크(Task or Trial) 시작 3 분 전에 제시되었다. 상세한 실험 절차는 도3에 도시된 바와 같이. 센서부착(S31), 측정 테스크(S32) 및 센서 제거(S33)를 포함하며, 그리고 측정 테스크(S32)는 아래와 같이 진행되었다.

이 실험은 창문을 통해 들어오는 햇빛으로 조명이 변화하는 실내에서 수행되었다. 참가자들은 편안한 의자에 앉아있는 동안 1.5m의 거리에서 검은 벽을 바라 보았다. 음향 자극은 이어폰을 사용하여 두 시도에서 동일하게 제시되었다. 피험자들은 움직임이 없는(MNC) 시도 중에 그들의 움직임과 말을 줄이도록 요구되었다. 그러나 자연스러운 움직임(NMC) 시도에서는 피실험자가 간단한 대화와 약간의 움직임을 수반(허락) 되었다. 피실험자들의 간단한 대화 및 움직임을 유발하기 위해 다른 사람에게 자극으로 제시되는 음악에 대한 느낌을 소개하도록 요구 받았으며, 그로 인해 음향 자극에 대한 감정과 사고(thinking)가 포함되었다. 실험 도중에 EEG, ECG 및 동공 이미지 데이터를 측정 하였다. EEG신호는 19 개의 채널 (FP1, FP2, F3, Fz, F4, F7, F8, C3, Cz, C4, T7 (T3), T8 (T4), P7 (T5), P8, (T6), P3, Pz, P4, O1 및 O2 영역)으로부터 국제10-20 시스템 (ground: FAz, reference: average between electrodes on the two ears, and DC level: 0 Hz - 150 Hz) 에 의해 기록되었으며, 전극 임피던스는 3 kΩ 이하로 유지되었다.

ECG 신호는 lead-I 법으로 1 채널을 통해 500 Hz의 샘플링 레이트로 기록되었다.

EEG 신호는 Mitsar-EEG 202 Machine을 사용하여 500 Hz 샘플링 속도로 기록되었다. ECG 심전도 신호는 ECG 100C 증폭기 기반의 증폭기 시스템(BIOPAC System Inc.)에 의해 기록되었다 이 신호는 NI-DAQ-Pad 9205(National Instrument Inc.)에 의해 디지털화되었다. 동공 영상은 적외선 카메라로서 GS3-U3-23S6M-C(Point Grey Research Inc.)을 이용하여 해상도 960×400, 125fps로 기록되었다

이하 동공 반응(Pupillary Response)으로부터 생체 신호(Vital Signs)을 추출(Extraction) 또는 구성(Construction)하는 방법에 대해 설명한다.

동공 반응 검출

동공 검출 절차는 도14에 도시된 바와 같은 적외선 카메라 시스템을 사용하여 동영상을 획득하고, 이후 특정한 영상 처리 과정을 요구한다.

도4는 피험자로부터 동공 영역(Pupil region)을 검출(detecting)하는 과정을 보인다. 도4에서, (A)는 피험자로부터 얻은 입력 이미지(그레이 스케일), (B)는 자동 임계 값(auto threshold)에 기반한 이진화 이미지, (C)는 원형 에지 검출(circular edge detection)에 의한 동공 위치의 검출, 그리고 (D)는 동공 영역의 중심 좌표 및 직경에 대한 정보를 포함하여 동공 영역의 실시간 검출 결과를 보인다.

도4에서, 그레이 스케일 이미지(A)는 (B)에 도시된 바와 같이 임계 값에 기초하여 이진화 되었다. 상기 임계값(Threshold)은 아래의 <수1>과 같이 전체 영상의 밝기 값을 이용한 선형 회귀 모형에 의해 정의 되었다.

동공 위치를 결정하는 다음 단계는 <수2>의 원형 에지 검출 알고리즘 (Daugman, 2004; Lee et al., 2009))을 사용함으로써 이진 이미지를 처리한다.

다수의 동공 위치가 선택되는 경우, 적외선 램프에 의한 반사광이 사용되었다. 그런 다음, 동공의 중심 좌표(x, y)와 지름을 포함하는 정확한 동공 위치를 얻었다.

동공 지름 데이터(신호)는 <식 3>에 의해 1 Hz의 주파수로 리샘플(resample) 되었다.

동공 지름 데이터에 대한 리샘플링 절차는 30 데이터 포인트의 샘플링 속도를 포함하며, 일반적인 슬라이딩 이동 평균 기법 (예를 들어, 1 초의 윈도우 사이즈 및 1초의 해상도)를 사용하여 1 초 간격의 평균값을 계산하였다. 그러나, 1초 이상의 눈깜박임으로 인해 추적되지 않은 동공 지름 데이터는 리샘플링 절차에 포함되지 않았다.

HEP 인덱스(지표) 검출(Detecting the Heartbeat Evoked Potential Index)

이 섹션에서 HEP (heartbeat evoked potential) 인덱스의 새로운 비접촉식 감지 방법이 설명된다. HEP 인덱스는 동공 반응(Pupillary Response) 또는 PSV(Pupil Size Variation)으로부터 결정된 HEP의 제1 및 제2구성 요소(component)의 알파 활동(Alpha Activity)으로 구성된다. 잘 알려진 바와 같이, HEP는 심장의 리듬(rhythm)과 혈류(blood flow)에 의해 유발될 수 있는 뇌 알파 활동의 변화와 관련된 현상이다 (Schandry and Montoya, 1996; Park et al., 2014; Park et al., 2015).

심장과 같은 주요 기관(Major organ)에는 내장 구심성 경로를 통해 심장 정보를 심장에서 뇌로 전달하는 미주 신경(vagus nervous)이라는 내장 뉴런이 있다 (Montoya et al., 1993; Park et al., 2014; Park et. al., 2015). 심장의 구심성 정보는 고립핵(nucleus tractus solitarius)에서 통합되어 시상 하부 (hypothalamus), 시상(thalamus), 및 편도체(amygdala)와 같은 중뇌 영역(mid-brain areas)으로 전달된다 (Janig, 1996; Park et al., 2014; Park et al., 2015) . 중뇌 영역은 특히 전 두뇌 영역과 대뇌 피질과 교신(communicate)한다 (Fuster, 1980; Nauta and Feirtag, 1986; Nieuwenhuys et al., 2007; Park et al., 2015). 이 현상은 인지 기능, 인간의 행동, 감정 상태와 밀접하게 관련되어 있다 (Rau et al., 1993; Hansen et al., 2003; McCraty et al., 2009; Park et al., 2015)..

심장-뇌 연결성의 이론에 따르면, 심장 박동은 구심성 및 원심성 경로의 신경 순환계(neurological circulation)에 의해 심장에서 미주 신경(vagus nervous)에 집중(focused) 된다.

도5는 그랜드 평균 기법에 의해 HEP의 두 성분을 추출하여 정량화하는 과정을 보인다. 도5에 도시된 바와 같이, HEP는 두 구간(period)으로 나뉜다.

HEP의 제1구간(요소)은 심박수 정보를 심장에서 뇌로 전송하는 데 필요한 평균 시간 간격이며 R 피크 이후 50ms-250ms 범위 내의 값이다. 10 Hz에서 알파 파워를 높이려면 심장과 뇌 사이의 통신 활성화가 증가하고 있음을 의미한다.

HEP의 제2구간(요소)은 심장 혈압파를 심장에서 뇌로 전달하는 데 필요한 시간 간격을 반영하며, 이는 R 피크 이후 250ms-600ms 범위 내의 값이다. 9 Hz와 12 Hz에서 알파 파워를 높이려면 감각 입력을 기반으로 높은 인지 처리가 발생하고 있음을 의미한다. 이 현상은 FP1과 FP2와 같은 전두엽 피질의 뇌 알파 리듬과 관련이 있다 (Wolk et al., 1989; McCraty et al., 2009; Park et al., 2015). HEP 파형은 R- 피크 값에 기반한 모든 트라이얼 신호(Trial signal)의 그랜드 평균 기법(grand average technique)으로 추출된다. 정량화된 알파 파워의 값(PSD, Power Spectrum Density)는, 도5에 도시 된 바와 같이, 제1및 제2구간의 각 성분의 FFT 분석을 이용하여 얻어진다(Wolk et al., 1989; McCraty et al., 2009; Park et al., 2015).

본 발명의 실험에 따라, 동공 응답으로부터 HEP 파형 신호를 검출하는 절차를 수행했다. 이 과정에서 동공 지름의 프레임 차를 이용하여 125fps에서의 동공 지름 신호를 PSV(Pupil Size Variation)로부터 산출했다.

삭제

삭제

PSV 데이터는 ECG 신호로부터의 R-피크 신호에 기초하여, R-피크 이후 56 ms-600 ms의 범위에서 분리되었다. 이 절차는 100 번 시도에 걸쳐 반복되었다. 모든 PSV 데이터는 그랜드 평균 기법을 사용하여 하나의 PSV 데이터로 통합되었다 (Park et al., 2015). 이 신호는 R-피크 이후 56 ms-248 ms의 시간 프레임으로 표시되는 첫 번째의 제1구간과 R-피크 이후 256 ms-600 ms의 시간 프레임으로 표시되는 두 번째의 제2구간으로 나누어진다. 각 구간은 <수4>과 같은 공지의 FFT 분석을 사용하여 처리되었다.

그리고 제1구간 (즉, 10 Hz) 및 제2구간 (즉, 9 Hz 및 11 Hz)의 알파 파워는, 알파 파워와 0 Hz 내지 62.5 Hz 범위의 총 파워 사이의 비율로부터 계산되었다.

뇌의 FP1 및 FP2 영역의 EEG 신호는 R-피크 위치를 기준으로 R-피크 이후 50 ms-600 ms의 특정 범위에서 추출되었다. R-피크는 QRS 검츨 알고리즘을 사용하여 ECG 신호로부터 검출되었다 (Pan and Tompkins, 1985). 모든 시도는 평균에 의해 처리 된 EEG 신호를 추출했다 (Park et al., 2015). FP1 및 FP2 신호는 그랜드 평균에 의해 HEP 파형 신호에 통합되었다. HEP 파형은 R-피크 이후 50ms-250ms의 제1구간과 R-피크 이후 250ms-600ms의 제2구간으로 나누어지며, 여기서 각 구간은 FFT 분석을 사용하여 처리되며, 제1구간 및 제2구간의 알파 파워는 0 Hz-250 Hz의 범위에서 알파 전력과 총 전력 사이의 비율로부터 계산되었다. EEG 및 ECG 신호를 기반으로 HEP 파형 신호를 처리하는 자세한 절차는 역시 도7에 도시되어 있다.

삭제

결과(Result)

동공 반응으로부터, 피험자의 심장 시간 도메인 인덱스, 심장 주파수 도메인 인덱스, EEG 스펙트럼 인덱스 및 HEP 인덱스 등의 성분을 생체 신호로서 추출했다.

동공 반응으로부터 얻은 이들 인덱스들은, 상관 계수((coefficient of correlation, r) 및 평균 오차 값 (ME)에 기초하여, 피험자로부터 직접 측정한 센서 신호(즉, ground truth)로부터의 각 인덱스와 비교되었다. 데이터는 피험자에 대한 MNC와 NMC에서 분석되었다.

두 조건 사이의 이동량의 차이를 검증하기 위해, 이동 데이터(movement data)를 정량적으로 분석했다. 이동 데이터는 p> 0.05의 정상 테스트와 독립적인 t-테스트를 기반으로 한 정규 분포(normal distribution) 였다. 유도된 통계적 유의성에 대해 Bonferroni 보정을 수행했다 (Dunnett, 1955). 통계적 유의 수준은 각 가설의 수 (즉, α = 0.05 / n)에 기초하여 제어되었다. 이동 데이터의 통계적 유의 수준은 0.0167 (상체, X 축 및 Y 축, α = 0.05 / 3)이었다. 코헨의 d(Cohen 's d)의 에 근거한 효과 크기(effect size)도 또한 실제적인 유의성을 확인하기 위해 계산되었다. 코헨의 d에서, 일반적으로 효과 크기에 대한 0.10, 0.25 및 0.40 의 표준 값은 작고, 중간이고, 큰 것으로 간주된다 (Cohen, 2013).

분석 결과에 따르면, 도8및 표3에 나타난 바와 같이, MNC (상체, X 축 및 Y 축)의 움직임 량은, 상체에 대한 NMC의 이동량((t(138) = -5.121, p = 0.000, Cohen's d = 1.366 with large effect size), 얼굴에 대한 X축(t(138) = -6.801, p = 0.000, Cohen's d = 1.158 with large effect size), 그리고 얼굴에 대한 Y 축 (t (138) = -6.255, p = 0.000, Cohen's d = 1.118 with large effect size) 에 비교하여 유의하게 증가하였다.

표3은 MNC 및 NMC의 조건에서, 모든 피험자들의 상체 및 얼굴의 X, Y 축의 움직임 량의 데이터를 보인다.

HEP 인덱스(지표, Index)

HEP 첫 번째와 두 번째 구간의 알파 활동(Alpha activity)인 심장-뇌 동기화에대한 HEP 인덱스가 동공 반응으로부터 추출되었다. 이들 동공 반응으로부터 추출한 성분을 뇌파 및 심전도 신호 (즉, Ground Truth)로부터의 HEP 인덱스와 비교하였다. 동공 응답(PSV) 및 심전도 신호(EEG)로부터 HEP 인덱스를 추출을 실험하였다.

이 실험은 심장 및 뇌의 리듬 사이의 동기화에 의한 동공 반응으로부터 제1구간 및 제2구간에 대한 HEP 알파 활동을 측정 할 수 있었다. 동공 응답으로부터의 HEP 파형에서 56 m-248 ms의 범위 내의 제1구간의 알파 활동은, ECG 및 EEG 신호로부터의 HEP 파형에서 50 ms-250 ms 범위 내의 제1구간으로부터의 알파 활동과 동기화되었다.

동공 반응으로부터의 HEP 파형에서 256 ms-600 ms의 범위 내의 제2구간의 알파 활동은 ECG 와 EEG 신호로부터의 HEP 파형에서 250 ms-600 ms 범위의 제1구간의 알파 활동과 동기화되었다.

본 발명에 따른 실험에서 동공 응답 및 센서 (EEG 및 ECG) 신호로부터 HEP 인덱스를 검출하였다. 검출된 인덱스에는 (A) 동공 반응에 의한 동공 직경의 변화, (B)는 동공 반응에 따른 심박동 변화, (C) 동공 크기 변화(PSV), (D) 동공 반응으로부터의 심박동(Hear Rate)에 기초한 데이터 분리, (E) 모든 시도(trial)의 그랜드 평균 신호 및 PSV로부터의 제1구간 및 제2구간의 분리, (F) 동공 응답으로부터 데이터의 FFT 분석에 의한 제1구간 및 제2구간의 알파 파워, 그리고 (G) 심박 변화에 대한 ECG 신호, (H) EEG 신호, (I) ECG 신호로부터 심박 데이터의 데이터 분리, (J) 모든 시도 또는 태스크에서의 그랜드 평균 신호 및 EEG 신호로부터의 제1구간 및 제2구간의 데이터로 분리, (K) EEG 신호의 FFT 분석을 이용한 제1구간 및 제2구간의 알파 파워 등이 포함된다.

본 발명에 실험에 따라, HEP 제1구간의 인덱스(알파 파워)와 제2구간 인덱스(알파 파워)의 비교를 시도하였다.

비교된 신호에서, 각각 EEG와 PSV로부터의 그랜드 평균 신호가 포함되었으며, 여기에서 EEG와 PSV의 HEP 제1구간의 알파 파워는 50.276 %, 51.293 %, 그리고 EEG와 PSV의 HEP 제1구간의 알파 파워는 37.673 %, 36.636 % 를 보였다.

본 발명의 실험에 따라, MNC 조건에서 측정된 센서 신호(ground truth)로부터의 HEP의 제1인덱스와 제2인덱스에서 상관관계 및 오차를 비교해 보았다. 그 결과, 동공 응답으로부터의 HEP 인텍스의 알파 파워는 제1구간에서 r = 0.996 및 제2구간에서 r = 0.994 로 모든 파라미터에 대해 강한 상관 관계(r)를 나타내었다. 모든 파라 미터들의 평균 에러(ME)의 차이는, 제1구간 동안 ME = 1.071 (0.100에서 3.600 범위) 및 제2구간에서 ME = 1.048 (0.060에서 3.090 범위)로 낮았다. 제1구간의 알파 파워의 오차(error)는 1 (35), 1.25에서 3 (33) 및 over 3 (2)로 분포되었다. 제2구간의 알파 파워 오차는 1 (36), 1.25 에서 3 (33), 및 over 3 (1)로 분포되었다. 이 과정에 300 초 동안 기록 된 데이터가 사용되었다. 상관 관계와 평균 오차는 70 명의 피험자 (N = 70)의 평균값이었다.

삭제

삭제

본 발명의 실험에 따라, 피험자들의 동공 반응과 센서 신호로부터의 HEP 인덱스의 추출을 시험하였다. 이 실험에서 EEG 및 PSV로부터의 그랜드 평균 신호가 검출되었다. 그 결과, EEG 와 PSV로 부터의 HEP 제1구간의 알파파워가 각각 15.565% 및 17.143 %, 그리고, EEG 와 PSV로 부터의 HEP 제2구간의 알파파워가 각각 4.886 %, 16.505 % 를 나타내 보였다.

도7은 MNC 조건에서 측정된 EEG 센서 신호에 대한 비교 결과를 보인다.

동공 반응으로부터의 HEP 인덱스의 알파 파워의 상관계수는 제1구간에서 r = 0.991이고 제2구간에서 r = 0.988 로 모든 매개 변수에 대해 강한 상관 관계를 나타냈다.

모든 파라 미터들의 평균 에러(ME)의 차이는, 제1구간에 대해 ME = 1.415 (0.010에서 3.900 범위), 그리고 제2구간에 대해1.489 (0.040에서 4.160 범위로 낮았다. 제1구간의 알파 파워의 오차(error)는 1 (30), 1.25~3 (35) 및 over 3 (5)로, 그리고 제2구간의 알파 파워의 오차는 1 (24), 1.25-3 (40) 및 over 3 (6)로 분포되었다.

이 과정에서, 300 초 동안 기록 된 데이터가 사용되었다. 상관 관계와 평균 오차는 70 명의 피험자 (N = 70)의 평균값이었다.

삭제

삭제

심장의 시간 도메인 파라미터의 실시간 검출 시스템

인간의 생체 또는 생리 신호를 검출하는 실시간 시스템은 적외선 카메라, 예었다. 이 시스템은 적외선 웹캠, 근거리 IR (적외선 조명) 조명기 (IR 램프) 및 분석을 위한 개인용 컴퓨터를 기반으로 구축된다. 적외선 웹캠은 일반적인 USB 웹캠인 고정형과 착용식 장치로 표시되는 휴대용 유형의 두 가지 유형으로 구분된다. 웹캠은 Logitech Inc.의 HD Pro C920이었으며, 이것은 동공 영역을 검출할 수 있도록 적외선 웹캠으로 개조되었다. 이를 위하여, 웹캠 내부의 IR 차단 필터를 제거하고 대신에 Kodac 사의 가시광선 차단용 IR 통과 필터를 대체 삽입하였다. 이로써 개조된 웹캠은 750 nm보다 긴 IR 파장의 영상 촬영이 가능하게 되었다

삭제

USB 웹 카메라에 있던 기존의 12mm 렌즈는 3.6mm 렌즈로 교체되어 0.5~1.5m의 측정 거리에서도 촛점이 맺히도록 하였다.

실시간 시스템은 적외선 웹캠을 이용함으로써 HEP 제1, 제2요소의 알파 활동과 같은 심장-뇌 연결성을 측정할 수 있었다. 이 시스템은 Visual C++ 2010 및 OpenCV 2.4.3를 사용하여 개발되었다. FFT, BPF 등과 같은 신호의 처리를 위해 도15에 도시된 바와 같이 LabVIEW 2010를 사용하였다.

도8은 동공 이미지를 측정(촬영)하는 적외선 웹캠 시스템을 보인다. 도9는 적외선 카메라 및 센서를 이용해 인간 생리 신호를 측정하는 실시간 시스템을 보인다.

도9에서, (A) 적외선 동공 이미지 (입력 이미지), (B) 이진화 된 동공 이미지 (C) 동공 영역의 감지 (D) EEG 스펙트럼 매개 변수의 출력 (FP1의 낮은 베타 파워, FP1의 중간 베타 파워, FP1의 SMR 파워, F3의 베타 파워, F8의 높은 베타 파워, C4의 뮤 파워 및 P4의 감마 파워), (E) HEP 파라미터의 출력(HEP의 제1, 제2구간의 알파 파워)를 보인다.

본 발명은 동공의 적외선 이미지에서 인간 생체 신호를 비접촉 방법으로 측정을 위한 진보된 방법을 제시한다. 이러한 본 발명은 동공 리듬을 모니터링하는 저가의 적외선 웹캠 시스템을 사용하여 심장 시간 도메인의 매개 변수를 측정 할 수있다. HEP 인덱스는 HEP의 제1, 제2요소의 알파 출력을 나타낸다. 이 결과는 70 명의 피험자에 대한 소음 조건 (MNC 및 NMC)과 다양한 생리 상태 (음향의 감성적 자극에 의한 각성 및 발현 수준의 변화)에 대해 확인할 수 있었다. 이러한 본 방법은 단순하고, 비용이 적으며, 비침습적인 측정 시스템을 사용하여 심장 시간 영역에서 파라미터를 측정할 수 있다. VSM 기술이 요구되는 유-헬스 케어, 감성 ICT, 인적 요인, HCI, 보안 등 다양한 산업에 적용될 수 있다.

상기한 설명에서 많은 사항이 구체적으로 기재되어 있으나, 그들은 발명의 범위를 한정하는 것이라기보다, 바람직한 실시 예의 예시로서 해석되어야 한다. 예들 들어, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 전술한 실시 예의 이해를 통해 그 밖에도 다양한 변형 예가 가능함을 알 수 있을 것이다. 이러한 이유로, 본 발명의 기술적 범위는 설명된 실시 예에 의하여 정하여 질 것이 아니고 특허 청구범위에 기재된 기술적 사상에 의해 정하여져야 한다.

Claims (12)

1. 동영상 카메라로 피험자의 얼굴 영상을 촬영하여 피험자의 동공 움직임 영상을 획득하는 단계;
   ECG 센서를 이용해 상기 피험자로부터 ECG 신호를 획득하는 단계; 그리고
   분석툴을 포함하는 컴퓨터 구조 기반의 분석장치에 의해 상기 ECG 신호와 동공 움직임 영상을 분석하여 소정 주파수의 알파 파워를 산출하는 단계;를 포함하며;
   상기 알파 파워를 산출하는 단계:는
   상기 분석툴을 이용하여 동공 움직임 영상으로부터 동공 움직임 신호를 추출하고, 상기 ECG 신호의 R-피크 이후 소정 시간 범위에서 상기 동공 움직임 신호로부터 동공 크기 신호를 분리하고, 상기 동공 크기 신호로부터 제1구간과 제2구간의 신호를 추출하고, 그리고 상기 제1구간과 제2구간의 신호 각각에서 상기 알파 파워를 각각 산출하는 것을 특징으로 하는, 동공 반응을 이용한 뇌-심장 연결성 정보 추출 방법.
2. 제1항에 있어서,
   상기 분리하는 단계를 다수 회 실행하여 다수의 동공 크기 신호를 얻고, 그리고
   상기 다수의 동공 크기 신호를 그랜드 평균 기법에 의해 하나의 동공 크기 신호로 통합하는 단계;를 더 포함하는, 동공 반응을 이용한 뇌-심장 연결성 정보 추출 방법.
3. 제1항에 있어서,
   상기 동공 크기 신호는 상기 R-피크 이후 56~600ms 범위에서 분리하는 것을 특징으로 하는 동공 반응을 이용한 뇌-심장 연결성 정보 추출 방법.
4. 제3항에 있어서,
   상기 제1구간은 상기 R-피크로부터 56~248ms의 범위 내의 값인 것을 특징으로 하는, 동공 반응을 이용한 뇌-심장 연결성 정보 추출 방법.
5. 제3항에 있어서,
   상기 제2구간은 상기 R-피크로부터 248~600ms의 범위 내의 값인 것을 특징으로 하는, 동공 반응을 이용한 뇌-심장 연결성 정보 추출 방법.
6. 제1항 내지 제5항 중의 어느 한 항에 있어서,
   제1구간의 알파 파워의 주파수는 10Hz, 그리고 제2구간의 알파 파워의 주파수는 9Hz 및 11Hz 인 것을 특징으로 하는, 동공 반응을 이용한 뇌-심장 연결성 정보 추출 방법.
7. 제6항에 있어서,
   상기 알파 파워는 총 파워에 대한 각 구간의 주파수 별 파워의 비율이며,
   상기 총 파워는 0Hz~62.5Hz 범위의 총 파워인 것을 특징으로 하는, 동공 반응을 인용한 뇌-심장 연결성 정보 추출 방법.
8. 제1항에 있어서,
   상기 동공 크기 신호는 동공 사이즈 변화(PSV) 데이터인 것을 특징으로 하는 동공 반응을 이용한 뇌-심장 연결성 정보 추출 방법.
9. 제1항 내지 제5항 중에 어느 한 항에 기재된 방법을 수행하는 동공 반응을 이용한 뇌-심장 정보 추출 시스템에 있어서,
   상기 얼굴 영상을 촬영하는 카메라,
   상기 카메라로부터의 동영상을 처리하여 상기 제1구간과 제2구간의 신호 각각에서 다수 주파수 밴드의 알파 파워를 계산하는 컴퓨터 기반 분석 장치;를 구비하는 동공 반응을 이용한 뇌-심장 연결성 정보 추출 시스템.
10. 제9항에 있어서,
    제1구간의 알파 파워의 주파수는 10Hz, 그리고 제2구간의 알파 파워의 주파수는 9Hz 및 11Hz 인 것을 특징으로 하는, 동공 반응을 이용한 뇌-심장 연결성 정보 추출 시스템.
11. 제10항에 있어서,
    상기 알파 파워는 총 파워에 대한 각 구간의 주파수 별 파워의 비율이며,
    상기 총 파워는 0Hz~62.5Hz 범위의 총 파워인 것을 특징으로 하는, 동공 반응을 인용한 뇌-심장 연결성 정보 추출 시스템.
12. 제11항에 있어서,
    상기 동공 크기 신호는 동공 사이즈 변화(PSV) 데이터인 것을 특징으로 하는 동공 반응을 이용한 뇌-심장 연결성 정보 추출 시스템.

Images