KR20210062545A - 운전 스케쥴 보조 방법 - Google Patents
운전 스케쥴 보조 방법 Download PDFInfo
- Publication number
- KR20210062545A KR20210062545A KR1020200055482A KR20200055482A KR20210062545A KR 20210062545 A KR20210062545 A KR 20210062545A KR 1020200055482 A KR1020200055482 A KR 1020200055482A KR 20200055482 A KR20200055482 A KR 20200055482A KR 20210062545 A KR20210062545 A KR 20210062545A
- Authority
- KR
- South Korea
- Prior art keywords
- value
- image frame
- driving
- color channel
- heart rate
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 365
- 206010041349 Somnolence Diseases 0.000 claims abstract description 865
- 238000004364 calculation method Methods 0.000 abstract description 7
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 257
- 229910052760 oxygen Inorganic materials 0.000 description 257
- 239000001301 oxygen Substances 0.000 description 257
- 238000001514 detection method Methods 0.000 description 234
- 230000036772 blood pressure Effects 0.000 description 222
- 238000005259 measurement Methods 0.000 description 191
- 108010054147 Hemoglobins Proteins 0.000 description 148
- 102000001554 Hemoglobins Human genes 0.000 description 148
- 239000000090 biomarker Substances 0.000 description 140
- 230000006870 function Effects 0.000 description 124
- 230000008859 change Effects 0.000 description 123
- 238000010586 diagram Methods 0.000 description 102
- 238000011084 recovery Methods 0.000 description 97
- 230000000875 corresponding effect Effects 0.000 description 85
- 230000036760 body temperature Effects 0.000 description 75
- 230000033001 locomotion Effects 0.000 description 72
- 238000002835 absorbance Methods 0.000 description 65
- 230000000284 resting effect Effects 0.000 description 52
- 208000032140 Sleepiness Diseases 0.000 description 49
- 230000037321 sleepiness Effects 0.000 description 49
- 239000008280 blood Substances 0.000 description 45
- 210000004369 blood Anatomy 0.000 description 45
- 238000012545 processing Methods 0.000 description 35
- 210000004204 blood vessel Anatomy 0.000 description 31
- 238000012544 monitoring process Methods 0.000 description 29
- 238000012806 monitoring device Methods 0.000 description 28
- 108010064719 Oxyhemoglobins Proteins 0.000 description 24
- 230000002159 abnormal effect Effects 0.000 description 22
- 230000005856 abnormality Effects 0.000 description 16
- 230000002596 correlated effect Effects 0.000 description 16
- 238000012886 linear function Methods 0.000 description 16
- 238000012887 quadratic function Methods 0.000 description 15
- 206010020772 Hypertension Diseases 0.000 description 14
- 238000012360 testing method Methods 0.000 description 14
- 230000000007 visual effect Effects 0.000 description 14
- 230000000694 effects Effects 0.000 description 13
- 238000011282 treatment Methods 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 11
- 230000008451 emotion Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 11
- 230000036541 health Effects 0.000 description 11
- 230000017531 blood circulation Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000007423 decrease Effects 0.000 description 9
- 238000009532 heart rate measurement Methods 0.000 description 9
- 230000002889 sympathetic effect Effects 0.000 description 9
- 238000000605 extraction Methods 0.000 description 8
- 230000008921 facial expression Effects 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 8
- 238000013186 photoplethysmography Methods 0.000 description 8
- 238000009530 blood pressure measurement Methods 0.000 description 7
- 230000001149 cognitive effect Effects 0.000 description 6
- 230000001276 controlling effect Effects 0.000 description 6
- 238000000691 measurement method Methods 0.000 description 6
- 210000001747 pupil Anatomy 0.000 description 6
- 238000004566 IR spectroscopy Methods 0.000 description 5
- 229940079593 drug Drugs 0.000 description 5
- 239000003814 drug Substances 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 5
- 230000001734 parasympathetic effect Effects 0.000 description 5
- 210000001002 parasympathetic nervous system Anatomy 0.000 description 5
- 238000001454 recorded image Methods 0.000 description 5
- 230000008033 biological extinction Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- -1 heart rate Substances 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000008035 nerve activity Effects 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 238000000611 regression analysis Methods 0.000 description 4
- 230000000638 stimulation Effects 0.000 description 4
- 230000037303 wrinkles Effects 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 208000003443 Unconsciousness Diseases 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 230000005281 excited state Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 210000005037 parasympathetic nerve Anatomy 0.000 description 3
- 230000001766 physiological effect Effects 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000009529 body temperature measurement Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000001631 hypertensive effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- 206010011469 Crying Diseases 0.000 description 1
- 206010012289 Dementia Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 229910003798 SPO2 Inorganic materials 0.000 description 1
- 101100478210 Schizosaccharomyces pombe (strain 972 / ATCC 24843) spo2 gene Proteins 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000003195 fascia Anatomy 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000011886 peripheral blood Substances 0.000 description 1
- 210000005259 peripheral blood Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 239000008279 sol Substances 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 210000002820 sympathetic nervous system Anatomy 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/30—Transportation; Communications
-
- G06Q50/40—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G06K9/00845—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06316—Sequencing of tasks or work
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0633—Workflow analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0872—Driver physiology
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/42—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
Abstract
본 발명은 운전 스케쥴 보조 방법에 관한 것으로, 복수의 운전자의 운전 스케쥴을 보조하기 위한 방법으로서, 보다 상세하게는 제1 운전자가 수행한 제1 운행 정보를 획득하는 단계, 상기 제1 운전자가 탑승한 제1 차량에 배치되는 카메라로부터 획득된 이미지에 기초하여 상기 제1 운전자의 상기 제1 운행에 대한 졸음 파라미터를 획득하는 단계, 제2 운전자가 수행한 제2 운행 정보를 획득하는 단계, 상기 제2 운전자가 탑승한 제2 차량에 배치되는 카메라로부터 획득된 이미지에 기초하여 상기 제2 운전자의 상기 제2 운행에 대한 졸음 파라미터를 획득하는 단계, 상기 제1 및 제2 운행과 상이한 제3 운행의 운전자를 배정하기 위하여 상기 제1 및 제2 운전자에 대한 운전 스케쥴 지수를 산출하는 단계를 포함하되, 상기 운전 스케쥴 지수를 산출하는 단계는 상기 획득된 제1 운행 정보 및 상기 제1 운행에 대한 상기 제1 운전자의 졸음 파라미터를 기초로 상기 제1 운전자의 운전 스케쥴 지수를 산출하는 단계 및 상기 획득된 제2 운행 정보 및 상기 제2 운행에 대한 상기 제2 운전자의 졸음 파라미터를 기초로 상기 제2 운전자의 운전 스케쥴 지수를 산출하는 단계를 포함할 수 있다.
Description
체적변동기록법(Plethysmography)은 인체의 장기나 혈관과 같은 인체의 조직이 혈관에 흐름에 따라 부피가 바뀌게 되면 자연스럽게 모양이나 형태가 달라지게 되는데, 이러한 변화를 측정 및 분석하는 방법에 관한 기술이다.
빛을 이용해 광체적변동기록법(Photoplethysmography, PPG)를 측정하는 가장 일반적인 기술은 인체에 조사한 빛에 대한 투과광의 광량을 분석하는 방법을 이용하며, 흡광도가 흡수하는 물질의 농도 및 흡수층의 두께에 비례한다는 Beer-Lambert법칙으로 설명된다. 이 법칙에 따르면 투과광의 변화는 투과되는 물질의 부피의 변화에 비례하는 신호가 되는 결과가 도출되기 때문에, 물질의 흡수도를 알지 못하는 경우에도 PPG를 이용해 심장의 상태 등을 파악할 수 있다.
최근에는 PPG를 이용한 기술에서 한 단계 더 나아가 rPPG(remote Photoplethysmography)를 이용한 기술이 등장하고 있다. PPG를 이용해 심장박동에 관한 신호를 파악하는 가장 대중화된 기술로서 스마트폰과 같이 카메라와 조명이 근거리에 부착된 장치를 인체에 직접적으로 접촉시켜 빛을 조사하고 곧바로 투과광을 측정해 PPG를 획득하는 기술이 있다면, 최근에는 카메라로 촬영한 영상에서 획득한 신호로부터 혈관의 부피의 변화를 파악하는 rPPG(remote Photoplethysmography)에 관한 기술이 지속적으로 연구 및 개발되고 있는 상황이다.
rPPG를 이용한 기술은 대상체와 측정장비간의 접촉이 요구되지 않는다는 점에서 공항 출입국 관리소, 원격진료 등 카메라를 구비한 장치 및 장소에서 다양하게 응용될 수 있다.
다만 rPPG에 관한 기술은 카메라로 대상체를 촬영하는 과정에서 주변광 및 대상체의 움직임으로 인해 발생하는 노이즈가 신호에 미치는 영향이 크기 때문에, 촬영된 영상으로부터 측정 대상체의 부피 변화에 관련된 신호만을 추출하는 기술이 rPPG를 이용해 생체신호를 측정하는 기술 가운데 핵심기술이라고 볼 수 있다.
일 실시예에 따른 해결하고자 하는 과제는 비 접촉식으로 생체 지수를 획득하는 것이다.
다른 일 실시예에 따른 해결하고자 하는 과제는 생체 지수를 획득하기 위하여 피측정자의 움직임에 따른 노이즈를 저감시키는 것이다.
또 다른 일 실시예에 따른 해결하고자 하는 과제는 생체 지수를 획득하기 위하여 외부광의 세기 변화에 따른 노이즈를 저감시키는 것이다.
또 다른 일 실시예에 따른 해결하고자 하는 과제는 동시에 다양한 생체 지수를 획득하는 것이다.
또 다른 일 실시예에 따른 해결하고자 하는 과제는 다양한 생체 지수를 기초로 생체 정보를 획득하는 것이다.
또 다른 일 실시예에 따른 해결하고자 하는 과제는 동시에 다양한 생체 지수를 연관성 있도록 획득하는 것이다.
또 다른 일 실시예에 따른 해결하고자 하는 과제는 대상체의 심박수 및 심박신호의 LF/HF를 기초로 하여 졸음을 감지하는 것이다.
또 다른 일 실시예에 따른 해결하고자 하는 과제는 연관성 있는 적어도 둘 이상의 생체 지수를 획득하는 스마트 미러 장치에 관한 것이다.
또 다른 일 실시예에 따른 해결하고자 하는 과제는 연관성 있는 적어도 둘 이상의 생체 지수를 획득하는 스마트 미러 장치의 동작 방법에 관한 것이다.
또 다른 일 실시예에 따른 해결하고자 하는 과제는 개폐 장치를 포함하는 스마트 미러 장치에 관한 것이다.
또 다른 일 실시예에 따른 해결하고자 하는 과제는 졸음을 반영하여 운전 스케쥴을 보조하기 위한 것이다.
일 실시예에 따른 비접촉식으로 생체 지수를 측정하는 방법은 피측정자에 대한 복수개의 이미지 프레임을 획득하는 단계, 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 제1 색 채널 값, 제2 색 채널 값 및 제3 색 채널 값을 획득하는 단계, 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 상기 제1 색 채널 값, 상기 제2 색 채널 값 및 상기 제3 색 채널 값을 기초로 제1 차이 값 및 제2 차이값을. 계산하는 단계 - 상기 제1 차이 값은 동일한 이미지 프레임에 대한 상기 제1 색 채널 값과 상기 제2 색 채널 값의 차이 값이고, 상기 제2 차이 값은 동일한 이미지 프레임에 대한 상기 제1 색 채널 값과 상기 제3 색 채널 값의 차이 값을 나타냄- , 제1 미리 설정된 시간동안 획득된 제1 이미지 프레임 그룹에 대하여 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 상기 제1 차이 값 및 상기 제1 이미지 프레임 그룹에 대한 상기 제1 차이 값의 평균 값을 기초로 제1 특성을 획득하는 단계, 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 제2 차이 값 및 상기 제1 이미지 프레임 그룹에 대한 상기 제2 차이 값의 평균 값을 기초로 제2 특성 값을 획득하는 단계 및 상기 제1 특성 값 및 제2 특성 값을 기초로 상기 피측정자에 대한 생체 지수를 결정하는 단계를 포함하되, 상기 제1 색 채널 값은 하나의 이미지 프레임에 대한 제1 색 채널의 평균 픽셀 값이며, 상기 제2 색 채널 값은 하나의 이미지 프레임에 대한 제2 색 채널의 평균 픽셀 값이고, 상기 제3 색 채널 값은 하나의 이미지 프레임에 대한 제3 색 채널의 평균 픽셀 값을 나타낼 수 있다.
일 실시예에 따른 적외선 카메라를 이용하여 생체 지수를 측정하는 방법은 적외선 카메라를 이용하여 피측정자에 대한 복수개의 이미지 프레임을 획득하는 단계, 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 제1 영역 값, 제2 영역 값 및 제3 영역 값을 획득하는 단계, 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 상기 제1 영역 값, 상기 제2 영역 값 및 상기 제3 영역 값을 기초로 제1 차이 값 및 제2 차이 값을 계산하는 단계, 제1 미리 설정된 시간동안 획득된 제1 이미지 프레임 그룹에 대하여 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 상기 제1 차이 값 및 상기 제1 이미지 프레임 그룹에 대한 상기 제1 차이 값의 평균 값을 기초로 제1 특성 값을 획득하는 단계, 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 제2 차이 값 및 상기 제1 이미지 프레임 그룹에 대한 상기 제2 차이 값의 평균 값을 기초로 제2 특성 값을 획득하는 단계 및 상기 제1 특성 값 및 제2 특성 값을 기초로 상기 피측정자에 대한 생체 지수를 결정하는 단계를 포함하되, 상기 제1 영역 값은 하나의 이미지 프레임에서 제1 관심 영역에 대한 평균 픽셀 값이며, 상기 제2 영역 값은 하나의 이미지 프레임에서 제2 관심 영역에 대한 평균 픽셀 값이고, 상기 제3 영역 값은 하나의 이미지 프레임에서 제3 관심 영역에 대한 평균 픽셀 값이며, 상기 제1 차이 값은 동일한 이미지 프레임에 대한 제1 영역 값과 제2 영역 값의 차이 값이고, 상기 제2 차이 값은 동일한 이미지 프레임에 대한 제1 영역 값과 제3 영역 값의 차이 값일 수 있다.
일 실시예에 따른 생체 지수 획득 장치는 상기 피측정자에 대한 이미지 프레임을 획득하기 위한 이미지 획득부 및 상기 이미지 프레임을 이용하여 생체 지수를 획득하기 위한 제어부를 포함하되, 상기 제어부는 획득된 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 제1 색 채널 값, 제2 색 채널 값 및 제3 색 채널 값을 획득하며, 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 상기 제1 색 채널 값, 상기 제2 색 채널 값 및 상기 제3 색 채널 값을 기초로 제1 차이 값 및 제2 차이 값을 계산하고, 제1 미리 설정된 시간동안 획득된 제1 이미지 프레임 그룹에 대하여 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 상기 제1 차이 값 및 상기 제1 이미지 프레임 그룹에 대한 상기 제1 차이 값의 평균 값을 기초로 제1 특성 값을 획득하며, 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 제2 차이 값 및 상기 제1 이미지 프레임 그룹에 대한 상기 제2 차이 값의 평균 값을 기초로 제2 특성 값을 획득하고, 상기 제1 특성 값 및 제2 특성 값을 기초로 상기 피측정자에 대한 생체 지수를 결정하며, 상기 제1 색 채널 값은 하나의 이미지 프레임에서 제1 색 채널에 대한 평균 픽셀 값이며, 상기 제2 색 채널 값은 하나의 이미지 프레임에서 제2 색 채널에 대한 평균 픽셀 값이고, 상기 제3 색 채널 값은 하나의 이미지 프레임에서 제3 색 채널에 대한 평균 픽셀 값이며, 상기 제1 차이 값은 동일한 이미지 프레임에 대한 제1 색 채널 값과 제2 색 채널 값의 차이 값이고, 상기 제2 차이 값은 동일한 이미지 프레임에 대한 제1 색 채널 값과 제3 색 채널 값의 차이 값일 수 있다.
일 실시예에 따른 비접촉식 생체 지수 측정 방법은 피측정자에 대한 복수개의 이미지 프레임을 획득하는 단계, 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 제1 색 채널 값, 제2 색 채널 값 및 제3 색 채널 값을 획득하는 단계, 제1 미리 설정된 시간 동안 획득된 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대하여 상기 제1, 제2 및 제3 색 채널 값을 기초로 제1 특성 값을 획득하는 단계, 제2 미리 설정된 시간 동안 획득된 제2 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대하여 상기 제1, 제2 및 제3 색 채널 값을 기초로 제2 특성 값을 획득하는 단계 및 상기 제1 특성 값 및 상기 제2 특성 값에 기초하여 생체 지수를 결정하는 단계를 포함하되, 상기 제1 이미지 프레임 그룹과 상기 제2 이미지 프레임 그룹은 적어도 일부 오버랩 되며, 상기 생체 지수를 결정하기 위하여, 상기 제1 이미지 프레임 그룹에 포함되되, 상기 제2 이미지 프레임 그룹에 포함되지 않는 제1 이미지 프레임에 대한 제1 특성 값이 이용되며, 상기 제1 이미지 프레임 그룹 및 상기 제2 이미지 프레임 그룹에 포함되는 제2 이미지 프레임에 대한 제1 특성 및 제2 특성 값이 이용되고, 상기 제2 이미지 프레임 그룹에 포함되되, 상기 제1 이미지 프레임 그룹에 포함되지 않는 제3 이미지 프레임에 대한 제2 특성 값이 이용될 수 있다.
일 실시예에 따른 비접촉식 생체 지수 측정 방법은 제1 이미지 프레임 그룹 및 상기 제1 이미지 프레임 그룹과 적어도 일부 오버랩되는 제2 이미지 프레임 그룹을 포함하는 복수개의 이미지 프레임을 획득하는 단계, 상기 제1 이미지 프레임 그룹에 기초하여 생체 지수를 획득하는 단계, 제1 시점에 생체 지수를 출력하는 단계, 상기 제2 이미지 프레임 그룹에 기초하여 제1 생체 지수를 획득하는 단계, 상기 제1 시점보다 늦은 제2 시점에 생체 지수를 출력하는 단계를 포함하되, 상기 제1 시점에 출력되는 생체 지수는 상기 제1 이미지 프레임 그룹에 기초하여 획득된 생체 지수 이며, 상기 제2 시점에 출력되는 생체 지수는 상기 제1 생체 지수와 상기 제1 시점에 출력된 생체 지수의 차이가 기준 값 이하인 경우 상기 제1 생체 지수이며, 상기 제1 생체 지수와 상기 제1 시점에 출력된 생체 지수의 차이가 기준 값을 초과하는 경우 상기 제1 시점에 출력된 생체 지수로부터 보정된 생체 지수일 수 있다.
일 실시예에 따른 생체 지수 측정 방법은 피측정자에 대한 복수개의 이미지 프레임을 획득하는 단계, 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 제1 영역 및 제2 영역을 설정하는 단계, 상기 제1 영역에 대한 제1 색 채널 값, 제2 색 채널 값 및 제3 색 채널 값 중 적어도 둘 이상의 색 채널 값에 기초하여 획득된 제1 특징에 기초하여 상기 피측정자의 산소포화도를 결정하는 단계, 상기 제1 영역에 대한 상기 제1 색 채널 값 및 상기 제2 색 채널 값의 차이 값인 제1 차이 값에 기초하여 획득되는 제2 특징에 기초하여 상기 피측정자의 심박수를 결정하는 단계, 상기 제2 영역에 대한 상기 제1 색 채널 값 및 상기 제2 색 채널 값의 차이 값인 제2 차이값 및 상기 제1 차이 값에 기초하여 획득되는 제3 특징에 기초하여 상기 피측정자의 혈압을 결정하는 단계, 상기 산소포화도, 심박수 및 혈압을 출력하는 단계; 를 포함하되, 상기 제1 특징은 제1 시간 동안 획득된 제1 이미지 프레임 그룹에 기초하여 획득되며, 상기 제2 특징은 제2 시간 동안 획득된 제2 이미지 프레임 그룹에 기초하여 획득되고, 상기 제3 특징은 제3 시간 동안 획득된 제3 이미지 프레임 그룹에 기초하여 획득되며, 상기 산소포화도, 심박수 및 혈압이 서로 연관성 있게 획득되도록 상기 제1 이미지 프레임 그룹, 제2 이미지 프레임 그룹 및 제3 이미지 프레임 그룹은 복수개의 이미지 프레임을 공통으로 포함할 수 있다.
다른 일 실시예에 따른 생체 지수 측정 방법은 피측정자에 대한 복수개의 이미지 프레임을 획득하는 단계, 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 제1 영역, 제2 영역 및 제3 영역을 설정하는 단계, 상기 제1 영역에 대한 제1 색 채널 값, 제2 색 채널 값 및 제3 색 채널 값 중 적어도 둘 이상의 색 채널 값에 기초하여 획득된 제1 특징에 기초하여 상기 피측정자의 산소포화도를 결정하는 단계, 상기 제1 영역에 대한 상기 제1 색 채널 값 및 상기 제2 색 채널 값의 차이 값인 제1 차이 값에 기초하여 획득되는 제2 특징에 기초하여 상기 피측정자의 심박수를 결정하는 단계, 상기 제2 영역에 대한 상기 제1 색 채널 값과 상기 제2 색 채널 값의 차이 값인 제2 차이값 및 상기 제3 영역에 대한 상기 제1 색 채널 값과 상기 제2 색 채널 값의 차이 값인 제3 차이값에 기초하여 획득되는 제3 특징에 기초하여 상기 피측정자의 혈압을 결정하는 단계 및 상기 산소포화도, 심박수 및 혈압을 출력하는 단계를 포함하되, 상기 제1 특징은 제1 시간 동안 획득된 제1 이미지 프레임 그룹에 기초하여 획득되며, 상기 제2 특징은 제2 시간 동안 획득된 제2 이미지 프레임 그룹에 기초하여 획득되고, 상기 제3 특징은 제3 시간 동안 획득된 제3 이미지 프레임 그룹에 기초하여 획득되며, 상기 산소포화도, 심박수 및 혈압이 서로 연관성 있게 획득되도록 상기 제1 이미지 프레임 그룹, 제2 이미지 프레임 그룹 및 제3 이미지 프레임 그룹은 복수개의 이미지 프레임을 공통으로 포함할 수 있다.
또 다른 일 실시예에 따른 생체 지수 측정 방법은 피측정자에 대한 복수개의 이미지 프레임을 획득하는 단계, 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 제1 색 채널 값, 제2 색 채널 값 및 제3 색 채널 값을 획득하는 단계, 상기 제1 색 채널 값, 제2 색 채널 값 및 제3 색 채널 값 중 적어도 둘 이상의 색 채널 값에 기초하여 획득된 제1 특징에 기초하여 상기 피측정자의 산소포화도를 결정하는 단계, 상기 제1 색 채널 값과 상기 제2 색 채널 값의 차이 값인 제1 차이 값 및 상기 제1 색 채널 값과 상기 제3 색 채널 값의 차이 값인 제2 차이 값에 기초하여 획득되는 제2 특징에 기초하여 상기 피측정자의 심박수를 결정하는 단계, 상기 제1 차이 값 및 상기 제2 차이 값에 기초하여 획득되는 제3 특징에 기초하여 상기 피측정자의 혈압를 결정하는 단계 및 상기 산소포화도, 심박수 및 혈압을 출력하는 단계를 포함하되, 상기 제1 특징은 제1 시간 동안 획득된 제1 이미지 프레임 그룹에 기초하여 획득되며, 상기 제2 특징은 제2 시간 동안 획득된 제2 이미지 프레임 그룹에 기초하여 획득되고, 상기 제3 특징은 제3 시간 동안 획득된 제3 이미지 프레임 그룹에 기초하여 획득되며, 상기 산소포화도, 심박수 및 혈압이 서로 연관성 있게 획득되도록 상기 제1 이미지 프레임 그룹, 제2 이미지 프레임 그룹 및 제3 이미지 프레임 그룹은 복수개의 이미지 프레임을 공통으로 포함할 수 있다.
또 다른 일 실시예에 따른 생체 지수 측정 방법은 피측정자에 대한 복수개의 이미지 프레임을 획득하는 단계, 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 적어도 둘 이상의 영역을 설정하는 단계, 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 제1 색 채널 값, 제2 색 채널 값, 제3 색 채널 값, 제4 색 채널 값 및 제5 색 채널 값을 획득하는 단계, 상기 제1 색 채널 값, 제2 색 채널 값 및 제3 색 채널 값 중 적어도 둘 이상의 색 채널 값에 기초하여 획득된 제1 특징에 기초하여 상기 피측정자의 산소포화도를 결정하는 단계, 상기 제1 색 채널 값, 제2 색 채널 값 및 제3 색 채널 값 중 적어도 둘 이상의 색 채널 값에 기초하여 획득된 제2 특징에 기초하여 상기 피측정자의 심박수를 결정하는 단계, 상기 제1 색 채널 값, 제2 색 채널 값 및 제3 색 채널 값 중 적어도 둘 이상의 색 채널 값에 기초하여 획득된 제3 특징에 기초하여 상기 피측정자의 혈압을 결정하는 단계, 상기 제4 색 채널 값에 기초하여 획득된 제4 특징에 기초하여 상기 피측정자의 체온을 결정하는 단계 및 상기 산소포화도, 심박수, 체온 및 혈압을 출력하는 단계를 포함하되, 상기 제1 색 채널 값은 Green 채널 값이며, 상기 제2 색 채널 값은 Red 채널 값 이고, 상기 제3 색 채널 값은 Blue 채널 값이며, 상기 제4 색 채널 값은 Saturation 채널 값이고, 상기 제5 색 채널 값은 Hue 채널 값일 수 있다.
또 다른 일 실시예에 따른 생체 지수 측정 방법은 피측정자에 대한 복수개의 이미지 프레임을 획득하는 단계, 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임을 기초로 N개의 예비 심박수를 획득하는 단계, 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임을 기초로 M개의 예비 산소포화도를 획득하는 단계, 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임을 기초로 K개의 예비 혈압를 획득하는 단계, 상기 N개의 예비 심박수를 기초로 심박수를 획득하는 단계, 상기 M개의 예비 산소포화도를 기초로 산소포화도를 획득하는 단계, 상기 K개의 예비 혈압을 기초로 혈압을 획득하는 단계 및 상기 심박수, 산소포화도 및 혈압을 출력하는 단계를 포함하되, 상기 피측정자가 제1 상태인 시점에서 획득된 이미지 프레임이 제1 이미지 프레임인 경우, 상기 제1 이미지 프레임은 상기 N개의 예비 심박수, 상기 M개의 예비 산소포화도 및 상기 K개의 혈압을 구하기 위한 이미지 프레임에 공통으로 포함될 수 있다.
일 실시예에 따른 생체 정보 획득 방법은 피측정자에 대한 복수개의 이미지 프레임을 획득하는 단계, 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임을 포함하는 제1 이미지 프레임 그룹에 기초하여 제1 생체 지수를 획득하는 단계, 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임을 포함하는 제2 이미지 프레임 그룹에 기초하여 제2 생체 지수를 획득하는 단계, 상기 제1 생체 지수 및 상기 제2 생체 지수 중 적어도 하나를 기초로 생체 정보를 획득하는 단계 및 상기 제1 생체 지수, 상기 제2 생체 지수 및 생체 정보를 출력하는 단계를 포함하되, 상기 피측정자의 특정 상태를 반영하여 생체 정보를 획득하기 위하여 상기 제1 이미지 프레임 그룹과 상기 제2 이미지 프레임 그룹은 적어도 일부 오버랩 될 수 있다.
일 실시예에 따른 심박수를 기초로 하여 졸음을 감지하는 방법은 적어도 하나의 프로세서에서 수행될 수 있고, 대상체의 심박수를 획득하는 단계, 상기 심박수와 기준 심박수를 비교하여 비교결과를 획득하는 단계, 상기 심박수와 기준 심박수를 비교하여 비교결과를 획득하는 단계, 상기 비교결과를 기초로 하여 상기 심박수가 기준 심박수 이하인 상태로 지속되는 지속시간을 획득하는 단계 및 상기 지속시간이 기준 지속시간에 도달하는지 여부를 기초로 상기 대상체의 졸음상태를 결정하는 졸음감지 단계를 포함할 수 있다.
일 실시예에 따른 심박수 및 LF/HF를 기초로 하여 졸음을 감지하는 방법은 적어도 하나의 프로세서에서 수행될 수 있고, 대상체에 대하여 심박수를 획득하는 단계, 상기 심박수와 기준 심박수를 비교하여 비교결과를 획득하는 단계, 상기 비교결과를 기초로 하여 제1 졸음 파라미터를 획득하는 단계, 상기 대상체의 교감신경 활성도 및 부교감신경의 활성도의 비율을 나타내는 LF/HF(Low Frequency/High Frequency) 값을 획득하는 단계, 상기 대상체의 LF/HF값을 기초로 제2 졸음 파라미터를 획득하는 단계 및 상기 제1 졸음 파라미터와 상기 제2 졸음 파라미터 중 적어도 하나를 이용하여 상기 대상체의 졸음상태를 결정하는 졸음감지 단계를 포함할 수 있다.
일 실시예에 따른 스마트 미러 장치는 반사 미러 표면, 피측정자에 대한 복수개의 이미지 프레임을 획득하기 위한 이미지 획득부, 상기 반사 미러 표면 뒤에 배치되며, 상기 반사 미러 표면을 통과해 시각적 정보를 디스플레이 하는 디스플레이부 및 상기 이미지 획득부 및 상기 디스플레이부의 동작을 제어하며 비접촉식으로 생체 지수를 획득하기 위한 제어부를 포함하되, 상기 제어부는 제1 시점에 상기 복수개의 이미지 프레임에 포함되는 제1 이미지 프레임 그룹에 기초하여 획득된 제1 생체 지수가 디스플레이 되도록 상기 디스플레이부를 제어하며, 제2 시점에 상기 복수개의 이미지 프레임에 포함되는 제2 이미지 프레임 그룹에 기초하여 획득된 제2 생체 지수가 디스플레이 되도록 상기 디스플레이부를 제어하고, 상기 제1 생체 지수 및 상기 제2 생체 지수에 연관성이 부여되도록 상기 제1 이미지 프레임 그룹 및 상기 제2 이미지 프레임 그룹은 적어도 하나의 이미지 프레임을 공통으로 포함하며, 상기 제1 이미지 프레임 그룹 및 제2 이미지 프레임 그룹에 공통으로 포함되는 상기 적어도 하나의 이미지 프레임은 상기 제1 및 제2 시점 이전에 상기 반사 미러 표면을 통해 상기 피측정자에게 관측되는 상기 피측정자의 제1 상태에서 획득된 이미지 프레임을 포함할 수 있다.
일 실시예에 따른 스마트 미러 장치의 동작 방법은 온 트리거(on-trigger)를 획득하는 단계, 피측정자에 대한 복수개의 이미지 프레임을 획득하는 단계, 상기 복수개의 이미지 프레임에 포함되는 제1 이미지 프레임 그룹에 기초하여 제1 생체 지수를 획득하는 단계, 상기 복수개의 이미지 프레임에 포함되는 제2 이미지 프레임 그룹에 기초하여 제2 생체 지수를 획득하는 단계, 상기 제1 및 제2 생체 지수를 디스플레이 하는 단계, 오프 트리거(off-trigger)를 획득하는 단계 및 상기 피측정자에 대한 복수개의 이미지 프레임 획득을 중지하는 단계를 포함하되, 상기 제1 생체 지수 및 상기 제2 생체 지수에 연관성이 부여되도록 상기 제1 이미지 프레임 그룹 및 상기 제2 이미지 프레임 그룹은 적어도 하나의 이미지 프레임을 공통으로 포함하며, 상기 온 트리거(on-trigger)는 적어도 하나의 센서로부터 획득되며, 상기 오프 트리거(off-trigger)는 상기 복수개의 이미지 프레임을 획득하기 위한 이미지 센서로부터 획득될 수 있다.
다른 일 실시예에 따른 스마트 미러 장치는 반사 미러 표면, 복수개의 이미지 프레임을 획득하기 위한 이미지 획득부, 상기 반사 미러 표면 뒤에 배치되며, 상기 반사 미러 표면을 통과해 시각적 정보를 디스플레이 하는 디스플레이부, 상기 이미지 획득부 앞에 배치되며, 상기 이미지 획득부의 시야를 개폐하기 위한 개폐부 및 상기 이미지 획득부 및 상기 디스플레이부의 동작을 제어하며 생체 지수를 획득하기 위한 제어부를 포함하되, 상기 개폐부의 표면은 반사 미러로 형성되며, 상기 개폐부가 열림 상태인 경우 상기 제어부는 상기 생체 지수 및 적어도 하나 이상의 시각적 정보가 상기 디스플레이부를 통하여 디스플레이 되도록 상기 디스플레이 부를 제어하며 상기 개폐부가 닫힘 상태인 경우 상기 제어부는 적어도 하나 이상의 시각적 정보가 상기 디스플레이부를 통하여 디스플레이 되도록 상기 디스플레이 부를 제어할 수 있다.
본 발명의 일 실시예에 따르면 비 접촉식으로 생체 지수를 획득하는 방법이 제공될 수 있다.
본 발명의 다른 일 실시예에 따르면 피측정자의 움직임에 따른 노이즈를 저감시키는 방법이 제공될 수 있다.
본 발명의 또 다른 일 실시예에 다르면 외부광의 세기 변화에 따른 노이즈를 저감시키는 방법이 제공될 수 있다.
본 발명의 또 다른 일 실시예에 따르면 동시에 다양한 생체 지수를 획득하는 방법이 제공될 수 있다.
본 발명의 또 다른 일 실시예에 따르면 다양한 생체 지수를 기초로 생체 정보를 획득하는 방법이 제공될 수 있다.
본 발명의 또 다른 일 실시예에 따르면 동시에 다양한 생체 지수를 연관성 있도록 획득하는 방법이 제공될 수 있다.
본 발명의 또 다른 일 실시예에 따르면 연관성 있는 적어도 둘 이상의 생체 지수를 획득하는 스마트 미러 장치가 제공될 수 있다.
본 발명의 또 다른 일 실시예에 따르면 연관성 있는 적어도 둘 이상의 생체 지수를 획득하는 스마트 미러 장치의 동작 방법이 제공될 수 있다.
또 다른 일 실시예에 따른 해결하고자 하는 과제는 대상체의 심박수 및 심박신호의 LF/HF를 기초로 하여 졸음을 감지하는 방법 및 장치가 제공될 수 있다.
본 발명의 또 다른 일 실시예에 따르면 개폐 장치를 포함하는 스마트 미러 장치가 제공될 수 있다.
도 1은 일 실시예에 따른 생체 지수 및 생체 정보 관리 시스템에 관한 도면이다.
도 2는 다른 일 실시예에 따른 생체 지수 및 생체 정보 관리 시스템에 관한 도면이다.
도 3은 일 실시예에 따른 생체 지수 획득 장치를 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 생체 지수 획득 방법을 나타내는 흐름도이다.
도 5는 일 실시예에 따른 생체 지수 획득 방법을 나타내는 도면이다.
도 6은 일 실시예에 따른 생체 정보 획득 방법을 나타내는 흐름도이다.
도 7 및 도 8은 생체 지수 획득 모델을 이용한 생체 지수 획득 방법을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 심박수 측정 방법을 설명하기 위한 흐름도이다.
도 10은 일 실시예에 따른 산소포화도 측정 방법을 설명하기 위한 흐름도이다.
도 11은 다른 일 실시예에 따른 산소포화도 측정 방법을 설명하기 위한 흐름도이다.
도 12는 일 실시예에 따른 혈압 측정 방법을 설명하기 위한 흐름도이다.
도 13은 다른 일 실시예에 따른 혈압 측정 방법을 설명하기 위한 흐름도이다.
도 14는 일 실시예에 따른 체온 측정 방법을 설명하기 위한 흐름도이다.
도 15는 일 실시예에 따른 심박수 획득 방법을 설명하기 위한 흐름도이다.
도 16은 일 실시예에 따른 색 채널 값들에 대한 그래프이다.
도 17은 일 실시예에 따른 노이즈 저감 방법을 설명하기 위한 그래프이다.
도 18은 가시광 대역에서 헤모글로빈과 산소헤모글로빈의 흡광도를 나타낸 도면이다.
도 19는 일 실시예에 따른 특성 값 획득 방법을 설명하기 위한 도면이다.
도 20은 다른 일 실시예에 따른 특성 값 획득 방법을 설명하기 위한 도면이다.
도 21은 복수개의 특성 값을 이용하는 방법에 대해 설명하기 위한 도면이다.
도 22는 특성 값에 대한 그래프로부터 주파수 성분을 추출한 그래프이다.
도 23은 일 실시예에 따른 심박수 획득 방법을 설명하기 위한 도면이다.
도 24는 일 실시예에 따른 출력 심박수의 보정 방법에 대하여 설명하기 위한 흐름도이다.
도 25는 일 실시예에 따른 심박 신호 추출 방법을 설명하기 위한 도면이다.
도 26은 일 실시예에 따른 적외선을 이용한 심박수를 획득 방법을 설명하기 위한 도면이다.
도 27은 일 실시예에 따른 적외선을 이용한 심박수 획득 방법을 설명하기 위한 도면이다.
도 28은 일 실시예에 따른 생체 지수 획득 방법을 설명하기 위한 흐름도 이다.
도 29는 일 실시예에 따른 복수개의 생체 지수 및 생체 정보 획득 방법을 설명하기 위한 도면이다.
도 30은 일 실시예에 따른 복수개의 생체 지수 획득 방법에 대하여 설명하기 위한 도면이다.
도 31은 일 실시예에 따른 복수개의 생체 지수 획득 방법에 대하여 설명하기 위한 도면이다.
도 32는 일 실시예에 따른 복수개의 생체 지수 획득 방법에 대하여 설명하기 위한 도면이다.
도 33은 일 실시예에 따른 복수개의 생체 지수 획득 방법에 대하여 설명하기 위한 도면이다.
도 34는 일 실시예에 따른 복수개의 생체 지수 획득 방법에 대하여 설명하기 위한 도면이다.
도 35는 일 실시예에 따른 복수개의 생체 지수 획득 방법에 대하여 설명하기 위한 도면이다.
도 36은 일 실시예에 따른 연관성 있는 복수개의 생체 지수 획득 방법을 설명하기 위한 도면이다.
도 37은 일 실시예에 따른 복수개의 생체 지수 획득 방법에 대하여 설명하기 위한 도면이다.
도 38은 심박수를 기초로 하여 졸음감지 장치의 구성도이다.
도 39는 심박수를 기초로 하여 졸음을 감지하는 방법의 흐름도이다.
도 40은 피측정자의 심박수를 기초로 하는 피측정자의 평균 심박수에 관한 그래프이다.
도 41는 심박수를 기초로 피측정자가 졸음상태로 감지된 상황을 설명하기 위한 피측정자의 심박수에 관한 그래프이다.
도 42는 노이즈를 포함하는 심박수에 관한 그래프이다.
도 43은 피측정자가 정상상태로 회복된 상황을 설명하기 위한 그래프이다.
도 44은 LF/HF를 기초로 하여 졸음을 감지하는 방법의 흐름도이다.
도 45은 LF/HF를 기초로 피측정자가 졸음상태로 감지된 상황을 설명하기 위한 피측정자의 LF/HF에 관한 그래프이다.
도 46는 LF/HF를 기초로 피측정자가 졸음상태에서 회복되는 상황을 나타내기 위한 피측정자의 LF/HF에 관한 그래프이다.
도 47은 심박수 및 LF/HF를 기초로 하여 졸음을 감지하는 방법의 흐름도이다.
도 48은 일 실시예에 따른 스마트 미러 장치를 설명하기 위한 도면이다.
도 49는 일 실시예에 따른 스마트 미러 장치를 설명하기 위한 도면이다.
도 50은 일 실시예에 따른 가이드 영역이 출력되는 스마트 미러 장치에 대해 설명하기 위한 도면이다.
도 51은 일 실시예에 따른 소정의 정보가 출력되는 스마트 미러 장치에 대해 설명하기 위한 도면이다.
도 52는 일 실시예에 따른 스마트 미러 장치를 설명하기 위한 도면이다.
도 53은 일 실시예에 따른 실시간으로 생체 지수를 측정하는 디스플레이 장치에 대해 설명하기 위한 도면이다.
도 54는 일 실시예에 따른 소정의 정보가 출력되는 스마트 미러 장치에 대해 설명하기 위한 도면이다.
도 55는 일 실시예에 따른 개폐장치가 포함된 스마트 미러 장치에 대해 설명하기 위한 도면이다.
도 56은 일 실시예에 따른 신발장에 배치되는 스마트 미러 장치에 대해 설명하기 위한 도면이다.
도 57은 일 실시예에 따른 스마트 미러 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 58 및 59는 일 실시예에 따른 트리거 신호를 이용한 스마트 미러 장치의 동작을 설명하기 위한 도면이다.
도 60은 일 실시예에 따른 스마트 미러 장치의 동작 방법을 설명하기 위한 도면이다.
도 61은 일 실시예에 따른 스마트 미러 장치의 동작을 설명하기 위한 도면이다.
도 62는 일 실시예에 따른 스마트 미러 장치의 동작 방법을 설명하기 위한 도면이다.
도 63은 일 실시예에 따른 스마트 미러 장치의 동작을 설명하기 위한 도면이다.
도 64는 일 실시예에 따른 스마트 미러 장치의 동작 방법을 설명하기 위한 도면이다.
도 65 및 도 66은 일 실시예에 따른 스마트 미러의 동작을 설명하기 위한 도면이다.
도 67은 일 실시예에 따른 생체 지수 측정 장치를 설명하기 위한 도면이다.
도 68은 일 실시예에 따른 생체 지수 측정 장치를 설명하기 위한 도면이다.
도 69는 일 실시예에 따라 자율 주행 차량에 배치되는 생체 지수 측정 장치를 설명하기 위한 도면이다.
도 70은 일 실시예에 따른 생체 지수 측정 장치의 동작 방법에 대하여 설명하기 위한 흐름도이다.
도 71은 일 실시예에 따른 생체 지수 측정 장치의 동작 방법에 대하여 설명하기 위한 흐름도이다.
도 72는 일 실시예에 따른 생체 지수 측정 장치를 이용한 운전 스케쥴링 보조 장치의 동작 방법에 대하여 설명하기 위한 도면이다.
도 73은 일 실시예에 따른 생체 지수 측정 장치의 동작 방법에 대하여 설명하기 위한 흐름도이다.
도 74는 일 실시예에 따른 운전 지수 산출 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 75는 일 실시예에 따른 영유아 모니터링 장치를 설명하기 위한 도면이다.
도 76은 영유아에 대한 이벤트 발생에 대하여 설명하기 위한 도면이다.
도 77은 일 실시예에 따른 영유아 모니터링 장치의 동작 방법에 대하여 설명하기 위한 흐름도이다.
도 78은 일 실시예에 따른 영유아 모니터링 장치의 동작 방법에 대하여 설명하기 위한 흐름도이다.
도 79는 일 실시예에 따른 영유아 모니터링 시스템을 구현하기 위한 모바일 어플리케이션을 나타낸 도면이다.
도 80은 일 실시예에 따른 독서실에 배치되는 생체 지수 측정 장치를 설명하기 위한 도면이다.
도 81은 일 실시예에 따른 생체 지수 측정 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 82는 일 실시예에 따른 생체 지수 측정 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 83은 일 실시예에 따른 인지 재활 치료에 이용되는 생체 지수 측정 장치를 설명하기 위한 도면이다.
도 84는 일 실시예에 따른 생체 지수 측정 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 85는 일 실시예에 따른 출입국 심사에 이용되는 생체 지수 측정 장치를 설명하기 위한 도면이다.
도 86은 일 실시예에 따른 생체 지수 측정 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 87은 일 실시예에 따른 보안 장치에 이용되는 생체 지수 측정 장치를 설명하기 위한 도면이다.
도 88은 일 실시예에 따른 보안 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 89는 일 실시예에 따른 키오스크에 이용되는 생체 지수 측정 장치를 설명하기 위한 도면이다.
도 90은 일 실시예에 따른 생체 지수 측정 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 2는 다른 일 실시예에 따른 생체 지수 및 생체 정보 관리 시스템에 관한 도면이다.
도 3은 일 실시예에 따른 생체 지수 획득 장치를 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 생체 지수 획득 방법을 나타내는 흐름도이다.
도 5는 일 실시예에 따른 생체 지수 획득 방법을 나타내는 도면이다.
도 6은 일 실시예에 따른 생체 정보 획득 방법을 나타내는 흐름도이다.
도 7 및 도 8은 생체 지수 획득 모델을 이용한 생체 지수 획득 방법을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 심박수 측정 방법을 설명하기 위한 흐름도이다.
도 10은 일 실시예에 따른 산소포화도 측정 방법을 설명하기 위한 흐름도이다.
도 11은 다른 일 실시예에 따른 산소포화도 측정 방법을 설명하기 위한 흐름도이다.
도 12는 일 실시예에 따른 혈압 측정 방법을 설명하기 위한 흐름도이다.
도 13은 다른 일 실시예에 따른 혈압 측정 방법을 설명하기 위한 흐름도이다.
도 14는 일 실시예에 따른 체온 측정 방법을 설명하기 위한 흐름도이다.
도 15는 일 실시예에 따른 심박수 획득 방법을 설명하기 위한 흐름도이다.
도 16은 일 실시예에 따른 색 채널 값들에 대한 그래프이다.
도 17은 일 실시예에 따른 노이즈 저감 방법을 설명하기 위한 그래프이다.
도 18은 가시광 대역에서 헤모글로빈과 산소헤모글로빈의 흡광도를 나타낸 도면이다.
도 19는 일 실시예에 따른 특성 값 획득 방법을 설명하기 위한 도면이다.
도 20은 다른 일 실시예에 따른 특성 값 획득 방법을 설명하기 위한 도면이다.
도 21은 복수개의 특성 값을 이용하는 방법에 대해 설명하기 위한 도면이다.
도 22는 특성 값에 대한 그래프로부터 주파수 성분을 추출한 그래프이다.
도 23은 일 실시예에 따른 심박수 획득 방법을 설명하기 위한 도면이다.
도 24는 일 실시예에 따른 출력 심박수의 보정 방법에 대하여 설명하기 위한 흐름도이다.
도 25는 일 실시예에 따른 심박 신호 추출 방법을 설명하기 위한 도면이다.
도 26은 일 실시예에 따른 적외선을 이용한 심박수를 획득 방법을 설명하기 위한 도면이다.
도 27은 일 실시예에 따른 적외선을 이용한 심박수 획득 방법을 설명하기 위한 도면이다.
도 28은 일 실시예에 따른 생체 지수 획득 방법을 설명하기 위한 흐름도 이다.
도 29는 일 실시예에 따른 복수개의 생체 지수 및 생체 정보 획득 방법을 설명하기 위한 도면이다.
도 30은 일 실시예에 따른 복수개의 생체 지수 획득 방법에 대하여 설명하기 위한 도면이다.
도 31은 일 실시예에 따른 복수개의 생체 지수 획득 방법에 대하여 설명하기 위한 도면이다.
도 32는 일 실시예에 따른 복수개의 생체 지수 획득 방법에 대하여 설명하기 위한 도면이다.
도 33은 일 실시예에 따른 복수개의 생체 지수 획득 방법에 대하여 설명하기 위한 도면이다.
도 34는 일 실시예에 따른 복수개의 생체 지수 획득 방법에 대하여 설명하기 위한 도면이다.
도 35는 일 실시예에 따른 복수개의 생체 지수 획득 방법에 대하여 설명하기 위한 도면이다.
도 36은 일 실시예에 따른 연관성 있는 복수개의 생체 지수 획득 방법을 설명하기 위한 도면이다.
도 37은 일 실시예에 따른 복수개의 생체 지수 획득 방법에 대하여 설명하기 위한 도면이다.
도 38은 심박수를 기초로 하여 졸음감지 장치의 구성도이다.
도 39는 심박수를 기초로 하여 졸음을 감지하는 방법의 흐름도이다.
도 40은 피측정자의 심박수를 기초로 하는 피측정자의 평균 심박수에 관한 그래프이다.
도 41는 심박수를 기초로 피측정자가 졸음상태로 감지된 상황을 설명하기 위한 피측정자의 심박수에 관한 그래프이다.
도 42는 노이즈를 포함하는 심박수에 관한 그래프이다.
도 43은 피측정자가 정상상태로 회복된 상황을 설명하기 위한 그래프이다.
도 44은 LF/HF를 기초로 하여 졸음을 감지하는 방법의 흐름도이다.
도 45은 LF/HF를 기초로 피측정자가 졸음상태로 감지된 상황을 설명하기 위한 피측정자의 LF/HF에 관한 그래프이다.
도 46는 LF/HF를 기초로 피측정자가 졸음상태에서 회복되는 상황을 나타내기 위한 피측정자의 LF/HF에 관한 그래프이다.
도 47은 심박수 및 LF/HF를 기초로 하여 졸음을 감지하는 방법의 흐름도이다.
도 48은 일 실시예에 따른 스마트 미러 장치를 설명하기 위한 도면이다.
도 49는 일 실시예에 따른 스마트 미러 장치를 설명하기 위한 도면이다.
도 50은 일 실시예에 따른 가이드 영역이 출력되는 스마트 미러 장치에 대해 설명하기 위한 도면이다.
도 51은 일 실시예에 따른 소정의 정보가 출력되는 스마트 미러 장치에 대해 설명하기 위한 도면이다.
도 52는 일 실시예에 따른 스마트 미러 장치를 설명하기 위한 도면이다.
도 53은 일 실시예에 따른 실시간으로 생체 지수를 측정하는 디스플레이 장치에 대해 설명하기 위한 도면이다.
도 54는 일 실시예에 따른 소정의 정보가 출력되는 스마트 미러 장치에 대해 설명하기 위한 도면이다.
도 55는 일 실시예에 따른 개폐장치가 포함된 스마트 미러 장치에 대해 설명하기 위한 도면이다.
도 56은 일 실시예에 따른 신발장에 배치되는 스마트 미러 장치에 대해 설명하기 위한 도면이다.
도 57은 일 실시예에 따른 스마트 미러 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 58 및 59는 일 실시예에 따른 트리거 신호를 이용한 스마트 미러 장치의 동작을 설명하기 위한 도면이다.
도 60은 일 실시예에 따른 스마트 미러 장치의 동작 방법을 설명하기 위한 도면이다.
도 61은 일 실시예에 따른 스마트 미러 장치의 동작을 설명하기 위한 도면이다.
도 62는 일 실시예에 따른 스마트 미러 장치의 동작 방법을 설명하기 위한 도면이다.
도 63은 일 실시예에 따른 스마트 미러 장치의 동작을 설명하기 위한 도면이다.
도 64는 일 실시예에 따른 스마트 미러 장치의 동작 방법을 설명하기 위한 도면이다.
도 65 및 도 66은 일 실시예에 따른 스마트 미러의 동작을 설명하기 위한 도면이다.
도 67은 일 실시예에 따른 생체 지수 측정 장치를 설명하기 위한 도면이다.
도 68은 일 실시예에 따른 생체 지수 측정 장치를 설명하기 위한 도면이다.
도 69는 일 실시예에 따라 자율 주행 차량에 배치되는 생체 지수 측정 장치를 설명하기 위한 도면이다.
도 70은 일 실시예에 따른 생체 지수 측정 장치의 동작 방법에 대하여 설명하기 위한 흐름도이다.
도 71은 일 실시예에 따른 생체 지수 측정 장치의 동작 방법에 대하여 설명하기 위한 흐름도이다.
도 72는 일 실시예에 따른 생체 지수 측정 장치를 이용한 운전 스케쥴링 보조 장치의 동작 방법에 대하여 설명하기 위한 도면이다.
도 73은 일 실시예에 따른 생체 지수 측정 장치의 동작 방법에 대하여 설명하기 위한 흐름도이다.
도 74는 일 실시예에 따른 운전 지수 산출 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 75는 일 실시예에 따른 영유아 모니터링 장치를 설명하기 위한 도면이다.
도 76은 영유아에 대한 이벤트 발생에 대하여 설명하기 위한 도면이다.
도 77은 일 실시예에 따른 영유아 모니터링 장치의 동작 방법에 대하여 설명하기 위한 흐름도이다.
도 78은 일 실시예에 따른 영유아 모니터링 장치의 동작 방법에 대하여 설명하기 위한 흐름도이다.
도 79는 일 실시예에 따른 영유아 모니터링 시스템을 구현하기 위한 모바일 어플리케이션을 나타낸 도면이다.
도 80은 일 실시예에 따른 독서실에 배치되는 생체 지수 측정 장치를 설명하기 위한 도면이다.
도 81은 일 실시예에 따른 생체 지수 측정 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 82는 일 실시예에 따른 생체 지수 측정 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 83은 일 실시예에 따른 인지 재활 치료에 이용되는 생체 지수 측정 장치를 설명하기 위한 도면이다.
도 84는 일 실시예에 따른 생체 지수 측정 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 85는 일 실시예에 따른 출입국 심사에 이용되는 생체 지수 측정 장치를 설명하기 위한 도면이다.
도 86은 일 실시예에 따른 생체 지수 측정 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 87은 일 실시예에 따른 보안 장치에 이용되는 생체 지수 측정 장치를 설명하기 위한 도면이다.
도 88은 일 실시예에 따른 보안 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 89는 일 실시예에 따른 키오스크에 이용되는 생체 지수 측정 장치를 설명하기 위한 도면이다.
도 90은 일 실시예에 따른 생체 지수 측정 장치의 동작 방법을 설명하기 위한 흐름도이다.
본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분양에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 판례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.
본 명세서에 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 발명의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 발명이 도면에 의해 한정되는 것은 아니다.
본 명세서에서 본 발명에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다.
일 실시예에 따르면, 비접촉식으로 생체 지수를 측정하는 방법으로서, 피측정자에 대한 복수개의 이미지 프레임을 획득하는 단계, 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 제1 색 채널 값, 제2 색 채널 값 및 제3 색 채널 값을 획득하는 단계, 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 상기 제1 색 채널 값, 상기 제2 색 채널 값 및 상기 제3 색 채널 값을 기초로 제1 차이 값 및 제2 차이값을. 계산하는 단계 - 상기 제1 차이 값은 동일한 이미지 프레임에 대한 상기 제1 색 채널 값과 상기 제2 색 채널 값의 차이 값이고, 상기 제2 차이 값은 동일한 이미지 프레임에 대한 상기 제1 색 채널 값과 상기 제3 색 채널 값의 차이 값을 나타냄-, 제1 미리 설정된 시간동안 획득된 제1 이미지 프레임 그룹에 대하여 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 상기 제1 차이 값 및 상기 제1 이미지 프레임 그룹에 대한 상기 제1 차이 값의 평균 값을 기초로 제1 특성을 획득하는 단계, 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 제2 차이 값 및 상기 제1 이미지 프레임 그룹에 대한 상기 제2 차이 값의 평균 값을 기초로 제2 특성 값을 획득하는 단계 및 상기 제1 특성 값 및 제2 특성 값을 기초로 상기 피측정자에 대한 생체 지수를 결정하는 단계를 포함하되, 상기 제1 색 채널 값은 하나의 이미지 프레임에 대한 제1 색 채널의 평균 픽셀 값이며, 상기 제2 색 채널 값은 하나의 이미지 프레임에 대한 제2 색 채널의 평균 픽셀 값이고, 상기 제3 색 채널 값은 하나의 이미지 프레임에 대한 제3 색 채널의 평균 픽셀 값을 나타내는 생체 지수 측정 방법이 제공될 수 있다.
여기서, 상기 생체 지수는 심박수 및 혈압 중 적어도 하나를 포함할 수 있다.
여기서, 상기 제1, 제2 및 제3 색 채널은 RGB 색공간에 따른 색 채널일 수 있다.
여기서, 헤모글로빈과 산소헤모글로빈의 흡광도를 고려하여, 노이즈를 저감시키기 위하여, 상기 제1 색 채널은 Green 채널로 설정되며, 상기 제2 색 채널은 Red 채널로 설정되고, 상기 제3 색 채널은 Blue 채널로 설정될 수 있다.
여기서, 상기 제1 특성 값은 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 상기 제1 차이 값의 제1 편차 값을 기초로 획득되며, 상기 제2 특성 값은 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 상기 제2 차이 값의 제2 편차 값을 기초로 획득되고, 상기 제1 편차 값은 상기 적어도 하나의 이미지 프레임에 대한 제1 차이 값 및 상기 제1 이미지 프레임 그룹에 대한 상기 제1 차이 값의 평균 값을 기초로 계산되며, 상기 제2 편차 값은 상기 적어도 하나의 이미지 프레임에 대한 제2 차이 값 및 상기 제1 이미지 프레임 그룹에 대한 상기 제2 차이 값의 평균 값을 기초로 계산될 수 있다.
여기서, 상기 제1 특성 값 및 상기 제2 특성 값은 정규화된(normalized) 값일 수 있다.
여기서, 상기 제1 특성 값은 제1 표준 편차 값에 의해 정규화된 값이며, 상기 제2 특성 값은 제2 표준 편차 값에 의해 정규화된 값이되, 상기 제1 표준 편차 값은 상기 제1 이미지 프레임 그룹에 대한 상기 제1 차이 값의 표준 편차 값이며, 상기 제2 표준 편차 값은 상기 제1 이미지 프레임 그룹에 대한 상기 제2 차이 값의 표준 편차 값일 수 있다.
여기서, 상기 피측정자에 대한 생체 지수는 상기 제1 특성 값 및 상기 제2 특성 값의 합으로 획득되는 제3 특성 값에 기초하여 결정될 수 있다.
여기서, 생체 지수를 출력(outputting) 하는 단계를 더 포함하되, 상기 결정된 생체 지수는 제1 생체 지수 및 제2 생체 지수를 포함하며, 상기 출력되는 생체 지수는 상기 제1 생체 지수 및 상기 제2 생체 지수를 기초로 결정될 수 있다.
여기서, 상기 제1 생체 지수는 제2 이미지 프레임 그룹에 기초하여 결정되며 상기 제2 생체 지수는 제3 이미지 프레임 그룹에 기초하여 결정되고, 상기 제1 이미지 프레임 그룹에 포함되는 이미지 프레임의 개수는 상기 제2 및 제3 이미지 프레임 그룹에 포함되는 이미지 프레임의 개수 보다 작으며, 상기 제1 이미지 프레임 그룹은 상기 제2 이미지 프레임 그룹에 포함될 수 있다.
여기서, 상기 제2 이미지 프레임 그룹에 포함되는 이미지 프레임의 개수는 상기 제3 이미지 프레임 그룹에 포함되는 이미지 프레임의 개수와 동일할 수 있다.
여기서, 상기 결정된 생체 지수를 기초로 생체 지수를 출력(outputting) 하는 단계를 더 포함하되, 상기 결정된 생체 지수는 적어도 네 개의 예비 생체 지수를 포함하며, 상기 출력되는 생체 지수는 상기 네 개의 예비 생체 지수를 기초로 결정될 수 있다.
여기서, 상기 결정된 생체 지수를 기초로 생체 지수를 출력(outputting) 하는 단계를 더 포함하되, 상기 출력되는 생체 지수는 제1 생체 지수 및 제2 생체 지수를 포함하며, 상기 제2 생체 지수는 상기 제1 생체 지수와 동일한 종류의 생체 지수이고, 상기 제2 생체 지수는 상기 제1 생체 지수가 출력된 후에 출력되며, 상기 제2 생체 지수와 상기 제1 생체 지수 사이의 차이가 기준 값을 초과하는 경우 상기 제2 생체 지수는 보정되어 출력될 수 있다.
다른 일 실시예에 따르면, 적외선 카메라를 이용하여 비접촉식으로 생체 지수를 측정하는 방법으로서, 적외선 카메라를 이용하여 피측정자에 대한 복수개의 이미지 프레임을 획득하는 단계, 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 제1 영역 값, 제2 영역 값 및 제3 영역 값을 획득하는 단계, 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 상기 제1 영역 값, 상기 제2 영역 값 및 상기 제3 영역 값을 기초로 제1 차이 값 및 제2 차이 값을 계산하는 단계, 제1 미리 설정된 시간동안 획득된 제1 이미지 프레임 그룹에 대하여 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 상기 제1 차이 값 및 상기 제1 이미지 프레임 그룹에 대한 상기 제1 차이 값의 평균 값을 기초로 제1 특성 값을 획득하는 단계, 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 제2 차이 값 및 상기 제1 이미지 프레임 그룹에 대한 상기 제2 차이 값의 평균 값을 기초로 제2 특성 값을 획득하는 단계 및 상기 제1 특성 값 및 제2 특성 값을 기초로 상기 피측정자에 대한 생체 지수를 결정하는 단계를 포함하되, 상기 제1 영역 값은 하나의 이미지 프레임에서 제1 관심 영역에 대한 평균 픽셀 값이며, 상기 제2 영역 값은 하나의 이미지 프레임에서 제2 관심 영역에 대한 평균 픽셀 값이고, 상기 제3 영역 값은 하나의 이미지 프레임에서 제3 관심 영역에 대한 평균 픽셀 값이며, 상기 제1 차이 값은 동일한 이미지 프레임에 대한 제1 영역 값과 제2 영역 값의 차이 값이고, 상기 제2 차이 값은 동일한 이미지 프레임에 대한 제1 영역 값과 제3 영역 값의 차이 값인 생체 지수 측정 방법이 제공될 수 있다.
여기서, 상기 생체 지수는 심박수 및 혈압 중 적어도 하나를 포함할 수 있다.
여기서, 상기 제1 특성 값은 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 상기 제1 차이 값의 제1 편차 값을 기초로 획득되며, 상기 제2 특성 값은 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 상기 제2 차이 값의 제2 편차 값을 기초로 획득되고, 상기 제1 편차 값은 상기 적어도 하나의 이미지 프레임에 대한 제1 차이 값 및 상기 제1 이미지 프레임 그룹에 대한 상기 제1 차이 값의 평균 값을 기초로 계산되며, 상기 제2 편차 값은 상기 적어도 하나의 이미지 프레임에 대한 제2 차이 값 및 상기 제1 이미지 프레임 그룹에 대한 상기 제2 차이 값의 평균 값을 기초로 계산될 수 있다.
또 다른 일 실시예에 따르면, 비접촉식으로 생체 지수를 측정하기 위한 생체 지수 측정 장치로서, 상기 피측정자에 대한 이미지 프레임을 획득하기 위한 이미지 획득부 및 상기 이미지 프레임을 이용하여 생체 지수를 획득하기 위한 제어부를 포함하되, 상기 제어부는 획득된 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 제1 색 채널 값, 제2 색 채널 값 및 제3 색 채널 값을 획득하며, 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 상기 제1 색 채널 값, 상기 제2 색 채널 값 및 상기 제3 색 채널 값을 기초로 제1 차이 값 및 제2 차이 값을 계산하고, 제1 미리 설정된 시간동안 획득된 제1 이미지 프레임 그룹에 대하여 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 상기 제1 차이 값 및 상기 제1 이미지 프레임 그룹에 대한 상기 제1 차이 값의 평균 값을 기초로 제1 특성 값을 획득하며, 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 제2 차이 값 및 상기 제1 이미지 프레임 그룹에 대한 상기 제2 차이 값의 평균 값을 기초로 제2 특성 값을 획득하고 상기 제1 특성 값 및 제2 특성 값을 기초로 상기 피측정자에 대한 생체 지수를 결정하며, 상기 제1 색 채널 값은 하나의 이미지 프레임에서 제1 색 채널에 대한 평균 픽셀 값이며, 상기 제2 색 채널 값은 하나의 이미지 프레임에서 제2 색 채널에 대한 평균 픽셀 값이고, 상기 제3 색 채널 값은 하나의 이미지 프레임에서 제3 색 채널에 대한 평균 픽셀 값이며, 상기 제1 차이 값은 동일한 이미지 프레임에 대한 제1 색 채널 값과 제2 색 채널 값의 차이 값이고, 상기 제2 차이 값은 동일한 이미지 프레임에 대한 제1 색 채널 값과 제3 색 채널 값의 차이 값인 생체 지수 측정 장치가 제공될 수 있다.
여기서, 상기 제1, 제2 및 제3 색 채널은 RGB 색공간에 따른 색 채널이며, 헤모글로빈과 산소헤모글로빈의 흡광도를 고려하여, 노이즈를 저감시키기 위하여, 상기 제1 색 채널은 Green 채널로 설정되며, 상기 제2 색 채널은 Red 채널로 설정되고, 상기 제3 색 채널은 Blue 채널로 설정될 수 있다.
여기서, 상기 제1 특성 값은 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 상기 제1 차이 값의 제1 편차 값을 기초로 획득되며, 상기 제2 특성 값은 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 상기 제2 차이 값의 제2 편차 값을 기초로 획득되고, 상기 제1 편차 값은 상기 적어도 하나의 이미지 프레임에 대한 제1 차이 값 및 상기 제1 이미지 프레임 그룹에 대한 상기 제1 차이 값의 평균 값을 기초로 계산되며, 상기 제2 편차 값은 상기 적어도 하나의 이미지 프레임에 대한 제2 차이 값 및 상기 제1 이미지 프레임 그룹에 대한 상기 제2 차이 값의 평균 값을 기초로 계산될 수 있다.
여기서, 상기 제어부는 상기 결정된 생체 지수를 기초로 생체 정보를 획득하며, 상기 생체 정보는 감정 정보, 졸음 정보, 스트레스 정보, 흥분도 정보 중 적어도 하나를 포함할 수 있다.
또 다른 일 실시예에 따르면, 비접촉식으로 생체 지수를 측정하는 방법으로서, 피측정자에 대한 복수개의 이미지 프레임을 획득하는 단계, 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 제1 색 채널 값, 제2 색 채널 값 및 제3 색 채널 값을 획득하는 단계, 제1 미리 설정된 시간 동안 획득된 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대하여 상기 제1, 제2 및 제3 색 채널 값을 기초로 제1 특성 값을 획득하는 단계, 제2 미리 설정된 시간 동안 획득된 제2 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대하여 상기 제1, 제2 및 제3 색 채널 값을 기초로 제2 특성 값을 획득하는 단계 및 상기 제1 특성 값 및 상기 제2 특성 값에 기초하여 생체 지수를 결정하는 단계를 포함하되, 상기 제1 이미지 프레임 그룹과 상기 제2 이미지 프레임 그룹은 적어도 일부 오버랩 되며, 상기 생체 지수를 결정하기 위하여, 상기 제1 이미지 프레임 그룹에 포함되되, 상기 제2 이미지 프레임 그룹에 포함되지 않는 제1 이미지 프레임에 대한 제1 특성 값이 이용되며, 상기 제1 이미지 프레임 그룹 및 상기 제2 이미지 프레임 그룹에 포함되는 제2 이미지 프레임에 대한 제1 특성 및 제2 특성 값이 이용되고, 상기 제2 이미지 프레임 그룹에 포함되되, 상기 제1 이미지 프레임 그룹에 포함되지 않는 제3 이미지 프레임에 대한 제2 특성 값이 이용되는 생체 지수 측정 방법이 제공될 수 있다.
여기서, 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 상기 제1 색 채널 값, 상기 제2 색 채널 값 및 상기 제3 색 채널 값 중 적어도 일부를 기초로 제1 차이 값을 계산하는 단계를 포함하되, 상기 제1 특성 값은 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 상기 제1 차이 값 및 상기 제1 이미지 프레임 그룹에 대한 상기 제1 차이 값의 평균 값을 기초로 획득되며, 상기 제2 특성 값은 상기 제2 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 상기 제1 차이 값 및 상기 제2 이미지 프레임 그룹에 대한 상기 제2 차이 값의 평균 값을 기초로 획득 되고, 상기 제1 차이 값은 동일한 이미지 프레임에 대한 제1 색 채널 값과 제2 색 채널 값의 차이 값이고, 상기 제2 차이 값은 동일한 이미지 프레임에 대한 제1 색 채널 값과 제3 색 채널 값의 차이 값일 수 있다.
여기서, 상기 제1 특성 값은 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 상기 제1 차이 값의 제1 편차 값을 기초로 획득되며, 상기 제2 특성 값은 상기 제2 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 상기 제1 차이 값의 제2 편차 값을 기초로 획득되고, 상기 제1 편차 값은 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 제1 차이 값 및 상기 제1 이미지 프레임 그룹에 대한 상기 제1 차이 값의 평균 값을 기초로 계산되며, 상기 제2 편차 값은 상기 제2 이미지 프레임 그룹에 포함되는 적어도 적어도 하나의 이미지 프레임에 대한 제1 차이 값 및 상기 제2 이미지 프레임 그룹에 대한 상기 제1 차이 값의 평균 값을 기초로 계산될 수 있다.
또 다른 일 실시예에 따르면, 비접촉식으로 생체 지수를 획득하여 출력하는 생체 지수 출력 방법으로서, 제1 이미지 프레임 그룹 및 상기 제1 이미지 프레임 그룹과 적어도 일부 오버랩되는 제2 이미지 프레임 그룹을 포함하는 복수개의 이미지 프레임을 획득하는 단계, 상기 제1 이미지 프레임 그룹에 기초하여 생체 지수를 획득하는 단계, 제1 시점에 생체 지수를 출력하는 단계, 상기 제2 이미지 프레임 그룹에 기초하여 제1 생체 지수를 획득하는 단계, 상기 제1 시점보다 늦은 제2 시점에 생체 지수를 출력하는 단계를 포함하되, 상기 제1 시점에 출력되는 생체 지수는 상기 제1 이미지 프레임 그룹에 기초하여 획득된 생체 지수 이며, 상기 제2 시점에 출력되는 생체 지수는 상기 제1 생체 지수와 상기 제1 시점에 출력된 생체 지수의 차이가 기준 값 이하인 경우 상기 제1 생체 지수이며, 상기 제1 생체 지수와 상기 제1 시점에 출력된 생체 지수의 차이가 기준 값을 초과하는 경우 상기 제1 시점에 출력된 생체 지수로부터 보정된 생체 지수인 생체 지수 출력 방법이 제공될 수 있다.
여기서, 상기 보정된 생체 지수는 상기 제1 생체 지수가 상기 제1 시점에 출력된 생체 지수보다 큰 경우 상기 제1 시점에 출력된 생체 지수에 미리 설정된 값을 합하여 보정된 생체 지수이며, 상기 제1 생체 지수가 상기 제1 시점에 출력된 생체 지수보다 작은 경우 상기 제1 시점에 출력된 생체 지수에 미리 설정된 값을 감하여 보정된 생체 지수일 수 있다.
일 실시예에 따르면, 심박수, 산소포화도 및 혈압을 포함하는 다양한 생체 지수(Physiological parameter)를 동시에 측정하는 방법으로서, 피측정자에 대한 복수개의 이미지 프레임을 획득하는 단계, 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 제1 영역 및 제2 영역을 설정하는 단계, 상기 제1 영역에 대한 제1 색 채널 값, 제2 색 채널 값 및 제3 색 채널 값 중 적어도 둘 이상의 색 채널 값에 기초하여 획득된 제1 특징에 기초하여 상기 피측정자의 산소포화도를 결정하는 단계, 상기 제1 영역에 대한 상기 제1 색 채널 값 및 상기 제2 색 채널 값의 차이 값인 제1 차이 값에 기초하여 획득되는 제2 특징에 기초하여 상기 피측정자의 심박수를 결정하는 단계, 상기 제2 영역에 대한 상기 제1 색 채널 값 및 상기 제2 색 채널 값의 차이 값인 제2 차이값 및 상기 제1 차이 값에 기초하여 획득되는 제3 특징에 기초하여 상기 피측정자의 혈압을 결정하는 단계, 상기 산소포화도, 심박수 및 혈압을 출력하는 단계; 를 포함하되, 상기 제1 특징은 제1 시간 동안 획득된 제1 이미지 프레임 그룹에 기초하여 획득되며, 상기 제2 특징은 제2 시간 동안 획득된 제2 이미지 프레임 그룹에 기초하여 획득되고, 상기 제3 특징은 제3 시간 동안 획득된 제3 이미지 프레임 그룹에 기초하여 획득되며, 상기 산소포화도, 심박수 및 혈압이 서로 연관성 있게 획득되도록 상기 제1 이미지 프레임 그룹, 제2 이미지 프레임 그룹 및 제3 이미지 프레임 그룹은 복수개의 이미지 프레임을 공통으로 포함하는 생체 지수 측정 방법이 제공될 수 있다.
여기서, 상기 제1 색 채널 값은 Green 채널 값이며, 상기 제2 색 채널 값은 Red 채널 값 이고, 상기 제3 색 채널 값은 Blue 채널 값일 수 있다.
여기서, 상기 제1 특징은 산소헤모글로빈의 흡광도가 헤모글로빈의 흡광도보다 낮은 채널인 제2 색 채널에 대한 상기 제2 색 채널 값 및 산소헤모글로빈의 흡광도가 헤모글로빈의 흡광도 보다 높은 제3 색 채널에 대한 상기 제3 색 채널 값에 기초하여 획득될 수 있다.
여기서, 상기 제2 특징은 상기 제1 영역에 대한 상기 제1 색 채널 값 및 상기 제2 색 채널 값의 차이 값인 제3 차이 값 및 상기 제1 차이 값에 기초하여 획득될 수 있다.
여기서, 외부광에 의한 노이즈를 저감시키도록 상기 제1 색 채널 값은 Green 채널 값이며, 상기 제2 색 채널 값은 Red 채널 값 이고, 상기 제3 색 채널 값은 Blue 채널 값일 수 있다.
여기서, 상기 제2 특징은 상기 제1 차이 값에 기초하여 획득되는 시계열 데이터의 주파수 성분 값을 포함할 수 있다.
여기서, 상기 제3 특징은 상기 제2 차이 값과 상기 제1 차이 값에 기초하여 획득되는 PTT(Pulse Transit Time)을 포함할 수 있다.
여기서, 상기 제4 특징은 상기 제2 영역에 대한 상기 제1 색 채널 값 및 상기 제3 색 채널 값의 차이 값인 제4 차이 값, 상기 제1 차이 값, 상기 제2 차이 값 및 상기 제3 차이 값에 기초하여 획득될 수 있다.
여기서, 상기 제1 영역 및 상기 제2 영역은 상기 피측정자의 얼굴 영역을 포함하며, 상기 제2 영역의 중심과 상기 제1 영역의 중심의 상하 방향 위치가 서로 상이할 수 있다.
다른 일 실시예에 따르면, 심박수, 산소포화도 및 혈압을 포함하는 다양한 생체 지수(Physiological parameter)를 동시에 측정하는 방법으로서, 피측정자에 대한 복수개의 이미지 프레임을 획득하는 단계, 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 제1 영역, 제2 영역 및 제3 영역을 설정하는 단계, 상기 제1 영역에 대한 제1 색 채널 값, 제2 색 채널 값 및 제3 색 채널 값 중 적어도 둘 이상의 색 채널 값에 기초하여 획득된 제1 특징에 기초하여 상기 피측정자의 산소포화도를 결정하는 단계, 상기 제1 영역에 대한 상기 제1 색 채널 값 및 상기 제2 색 채널 값의 차이 값인 제1 차이 값에 기초하여 획득되는 제2 특징에 기초하여 상기 피측정자의 심박수를 결정하는 단계, 상기 제2 영역에 대한 상기 제1 색 채널 값과 상기 제2 색 채널 값의 차이 값인 제2 차이값 및 상기 제3 영역에 대한 상기 제1 색 채널 값과 상기 제2 색 채널 값의 차이 값인 제3 차이값에 기초하여 획득되는 제3 특징에 기초하여 상기 피측정자의 혈압을 결정하는 단계 및 상기 산소포화도, 심박수 및 혈압을 출력하는 단계를 포함하되, 상기 제1 특징은 제1 시간 동안 획득된 제1 이미지 프레임 그룹에 기초하여 획득되며, 상기 제2 특징은 제2 시간 동안 획득된 제2 이미지 프레임 그룹에 기초하여 획득되고, 상기 제3 특징은 제3 시간 동안 획득된 제3 이미지 프레임 그룹에 기초하여 획득되며, 상기 산소포화도, 심박수 및 혈압이 서로 연관성 있게 획득되도록 상기 제1 이미지 프레임 그룹, 제2 이미지 프레임 그룹 및 제3 이미지 프레임 그룹은 복수개의 이미지 프레임을 공통으로 포함하는 생체 지수 측정 방법이 제공될 수 있다.
여기서, 상기 제1 특징은 산소헤모글로빈의 흡광도가 헤모글로빈의 흡광도보다 낮은 채널인 제2 색 채널에 대한 상기 제2 색 채널 값 및 산소헤모글로빈의 흡광도가 헤모글로빈의 흡광도 보다 높은 제3 색 채널에 대한 상기 제3 색 채널 값에 기초하여 획득될 수 있다.
여기서, 상기 제2 특징은 상기 제1 영역에 대한 상기 제1 색 채널 값 및 상기 제2 색 채널 값의 차이 값인 제3 차이 값 및 상기 제1 차이 값에 기초하여 획득될 수 있다.
여기서, 상기 제3 특징은 상기 제2 차이 값과 상기 제1 차이 값에 기초하여 획득되는 PTT(Pulse Transit Time)을 포함할 수 있다.
또 다른 일 실시예에 따르면, 심박수, 산소포화도 및 혈압을 포함하는 다양한 생체 지수(Physiological parameter)를 동시에 측정하는 방법으로서, 피측정자에 대한 복수개의 이미지 프레임을 획득하는 단계, 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 제1 색 채널 값, 제2 색 채널 값 및 제3 색 채널 값을 획득하는 단계, 상기 제1 색 채널 값, 제2 색 채널 값 및 제3 색 채널 값 중 적어도 둘 이상의 색 채널 값에 기초하여 획득된 제1 특징에 기초하여 상기 피측정자의 산소포화도를 결정하는 단계, 상기 제1 색 채널 값과 상기 제2 색 채널 값의 차이 값인 제1 차이 값 및 상기 제1 색 채널 값과 상기 제3 색 채널 값의 차이 값인 제2 차이 값에 기초하여 획득되는 제2 특징에 기초하여 상기 피측정자의 심박수를 결정하는 단계, 상기 제1 차이 값 및 상기 제2 차이 값에 기초하여 획득되는 제3 특징에 기초하여 상기 피측정자의 혈압를 결정하는 단계 및 상기 산소포화도, 심박수 및 혈압을 출력하는 단계를 포함하되, 상기 제1 특징은 제1 시간 동안 획득된 제1 이미지 프레임 그룹에 기초하여 획득되며, 상기 제2 특징은 제2 시간 동안 획득된 제2 이미지 프레임 그룹에 기초하여 획득되고, 상기 제3 특징은 제3 시간 동안 획득된 제3 이미지 프레임 그룹에 기초하여 획득되며, 상기 산소포화도, 심박수 및 혈압이 서로 연관성 있게 획득되도록 상기 제1 이미지 프레임 그룹, 제2 이미지 프레임 그룹 및 제3 이미지 프레임 그룹은 복수개의 이미지 프레임을 공통으로 포함하는 생체 지수 측정 방법이 제공될 수 있다.
여기서, 상기 제1 특징은 산소헤모글로빈의 흡광도가 헤모글로빈의 흡광도보다 낮은 채널인 제2 색 채널에 대한 상기 제2 색 채널 값 및 산소헤모글로빈의 흡광도가 헤모글로빈의 흡광도 보다 높은 제3 색 채널에 대한 상기 제3 색 채널 값에 기초하여 획득될 수 있다.
여기서, 상기 제2 특징은 상기 제1 차이 값 및 상기 제2 차이 값에 기초하여 획득되는 시계열 데이터의 주파수 성분 값을 포함할 수 있다.
여기서, 상기 제3 특징은 상기 제1 차이 값 및 상기 제2 차이 값에 기초하여 획득되는 시계열 데이터의 기울기 성분 값, 최대값, 최소값, 극대 값, 극소 값, 극대값의 평균 값, 극소값의 평균 값, 극대 극소 값 평균에 대한 차이 값 및 평균 값 중 적어도 하나를 포함할 수 있다.
또 다른 일 실시예에 따르면, 심박수, 산소포화도, 혈압 및 체온을 포함하는 다양한 생체 지수(Physiological parameter)를 동시에 측정하는 방법으로서, 피측정자에 대한 복수개의 이미지 프레임을 획득하는 단계, 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 적어도 둘 이상의 영역을 설정하는 단계, 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 제1 색 채널 값, 제2 색 채널 값, 제3 색 채널 값, 제4 색 채널 값 및 제5 색 채널 값을 획득하는 단계, 상기 제1 색 채널 값, 제2 색 채널 값 및 제3 색 채널 값 중 적어도 둘 이상의 색 채널 값에 기초하여 획득된 제1 특징에 기초하여 상기 피측정자의 산소포화도를 결정하는 단계, 상기 제1 색 채널 값, 제2 색 채널 값 및 제3 색 채널 값 중 적어도 둘 이상의 색 채널 값에 기초하여 획득된 제2 특징에 기초하여 상기 피측정자의 심박수를 결정하는 단계, 상기 제1 색 채널 값, 제2 색 채널 값 및 제3 색 채널 값 중 적어도 둘 이상의 색 채널 값에 기초하여 획득된 제3 특징에 기초하여 상기 피측정자의 혈압을 결정하는 단계, 상기 제4 색 채널 값에 기초하여 획득된 제4 특징에 기초하여 상기 피측정자의 체온을 결정하는 단계 및 상기 산소포화도, 심박수, 체온 및 혈압을 출력하는 단계를 포함하되, 상기 제1 색 채널 값은 Green 채널 값이며, 상기 제2 색 채널 값은 Red 채널 값 이고, 상기 제3 색 채널 값은 Blue 채널 값이며, 상기 제4 색 채널 값은 Saturation 채널 값이고, 상기 제5 색 채널 값은 Hue 채널 값인 생체 지수 측정 방법이 제공될 수 있다.
여기서, 상기 제1 특징은 산소헤모글로빈의 흡광도가 헤모글로빈의 흡광도보다 낮은 채널인 제2 색 채널에 대한 상기 제2 색 채널 값 및 산소헤모글로빈의 흡광도가 헤모글로빈의 흡광도 보다 높은 제3 색 채널에 대한 상기 제3 색 채널 값에 기초하여 획득될 수 있다.
여기서, 상기 제2 특징은 상기 제1 색 채널 값과 상기 제2 색 채널 값의 차이 값인 제1 차이 값 및 상기 제1 색 채널 값과 상기 제3 색 채널 값의 차이 값인 제2 차이 값에 기초하여 획득될 수 있다.
여기서, 상기 제2 특징은 상기 제1 차이 값 및 상기 제2 차이 값에 기초하여 획득되는 시계열 데이터의 주파수 성분 값을 포함할 수 있다.
여기서, 상기 제3 특징은 상기 제1 색 채널 값과 상기 제2 색 채널 값의 차이 값인 제1 차이 값 및 상기 제1 색 채널 값과 상기 제3 색 채널 값의 차이 값인 제2 차이 값에 기초하여 획득될 수 있다.
여기서, 상기 제3 특징은 상기 제1 차이 값 및 상기 제2 차이 값에 기초하여 획득되는 시계열 데이터의 기울기 성분 값, 최대값, 최소값, 극대 값, 극소 값, 극대값의 평균 값, 극소값의 평균 값, 극대 극소 값 평균에 대한 차이 값 및 평균 값 중 적어도 하나를 포함할 수 있다.
여기서, 상기 제4 특징은 상기 제4 색 채널 값 및 상기 제5 색 채널 값에 기초하여 획득될 수 있다.
여기서, 상기 제4 특징은 상기 피측정자의 피부온도를 포함할 수 있다.
또 다른 일 실시예에 따르면, 심박수, 산소포화도 및 혈압을 포함하는 다양한 생체 지수(Physiological parameter)를 동시에 측정하는 방법으로서, 피측정자에 대한 복수개의 이미지 프레임을 획득하는 단계, 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임을 기초로 N개의 예비 심박수를 획득하는 단계, 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임을 기초로 M개의 예비 산소포화도를 획득하는 단계, 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임을 기초로 K개의 예비 혈압를 획득하는 단계, 상기 N개의 예비 심박수를 기초로 심박수를 획득하는 단계, 상기 M개의 예비 산소포화도를 기초로 산소포화도를 획득하는 단계, 상기 K개의 예비 혈압을 기초로 혈압을 획득하는 단계 및 상기 심박수, 산소포화도 및 혈압을 출력하는 단계를 포함하되, 상기 피측정자가 제1 상태인 시점에서 획득된 이미지 프레임이 제1 이미지 프레임인 경우, 상기 제1 이미지 프레임은 상기 N개의 예비 심박수, 상기 M개의 예비 산소포화도 및 상기 K개의 혈압을 구하기 위한 이미지 프레임에 공통으로 포함되는 생체 지수 측정 방법이 제공될 수 있다.
또 다른 일 실시예에 따르면, 다양한 생체 지수(Physiological parameter)를 이용하여 생체 정보를 획득하는 방법으로서, 피측정자에 대한 복수개의 이미지 프레임을 획득하는 단계, 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임을 포함하는 제1 이미지 프레임 그룹에 기초하여 제1 생체 지수를 획득하는 단계, 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임을 포함하는 제2 이미지 프레임 그룹에 기초하여 제2 생체 지수를 획득하는 단계, 상기 제1 생체 지수 및 상기 제2 생체 지수 중 적어도 하나를 기초로 생체 정보를 획득하는 단계 및 상기 제1 생체 지수, 상기 제2 생체 지수 및 생체 정보를 출력하는 단계를 포함하되, 상기 피측정자의 특정 상태를 반영하여 생체 정보를 획득하기 위하여 상기 제1 이미지 프레임 그룹과 상기 제2 이미지 프레임 그룹은 적어도 일부 오버랩 되는 생체 정보 획득 방법이 제공될 수 있다.
여기서, 상기 피측정자에 대한 개인적, 통계적 데이터를 획득하는 단계를 더 포함하되, 상기 생체 정보는 상기 제1 생체 지수, 상기 제2 생체 지수 및 획득된 상기 개인적, 통계적 데이터를 기초로 획득될 수 있다.
여기서, 상기 제1 및 제2 생체 지수는 심박수, 산소포화도, 혈압, 체온 중 적어도 하나를 포함하며, 상기 생체 정보는 졸음 정보, 스트레스 정보, 흥분도 정보, 감정 정보 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 심박수를 기초로 하여 졸음을 감지하는 방법은 적어도 하나의 프로세서에서 수행될 수 있고, 대상체의 심박수를 획득하는 단계, 상기 심박수와 기준 심박수를 비교하여 비교결과를 획득하는 단계, 상기 심박수와 기준 심박수를 비교하여 비교결과를 획득하는 단계, 상기 비교결과를 기초로 하여 상기 심박수가 기준 심박수 이하인 상태로 지속되는 지속시간을 획득하는 단계 및 상기 지속시간이 기준 지속시간에 도달하는지 여부를 기초로 상기 대상체의 졸음상태를 결정하는 졸음감지 단계를 포함할 수 있다 기준 지속시간은 제1 기준 지속시간, 제2 기준 지속시간 및 제3 기준 지속시간을 포함하고, 상기 제2 기준 지속시간은 상기 제1 기준 지속시간보다 길고, 상기 제3 기준 지속시간은 상기 제2 기준 지속시간보다 길며, 상기 대상체의 졸음상태는 정상상태, 제1 졸음상태, 제2 졸음상태 및 제3 졸음상태를 포함하고, 상기 제1 졸음상태는 상기 정상상태보다 상기 대상체가 수면 상태에 진입할 가능성이 높은 상태를 나타내고, 상기 제2 졸음상태는 상기 제1 졸음상태보다 상기 대상체가 수면 상태에 진입할 가능성이 높은 상태를 나타내고, 상기 제3 졸음상태는 상기 제2 졸음상태보다 상기 대상체가 수면 상태에 진입할 가능성이 높은 상태를 나타낼 수 있다.
여기서, 상기 졸음감지 단계는, 상기 지속시간이 상기 제1 기준 지속시간보다 길고 상기 제2 기준 지속시간보다 짧은 경우, 상기 대상체의 상기 졸음상태가 상기 제1 졸음상태인 것으로 결정하는 단계, 상기 지속시간이 제2 기준 지속시간보다 길고 제3 기준 지속시간보다 짧은 경우, 상기 대상체의 상기 졸음상태가 상기 제2 졸음상태인 것으로 결정하는 단계, 상기 지속시간이 제3 기준 지속시간보다 길면, 상기 졸음상태가 상기 제2 졸음상태인 것으로 결정하는 단계를 포함할 수 있다.
여기서, 상기 졸음감지 단계는 상기 대상체의 상기 심박수가 상기 기준 심박수 이하인 상태로 지속되는상기 지속시간이 상기 제1 기준 지속시간보다 짧으면, 상기 대상체의 졸음에 관한 상태를 상기 정상상태로 결정하는 단계를 더 포함할 수 있다.
여기서, 상기 제1 졸음상태는 상기 대상체가 졸음을 자각하지는 않으나 신체적으로는 수면 상태에 진입할 가능성이 있는 상태를 나타낼 수 있다.
여기서, 상기 대상체의 상기 심박수는 상기 심박수가 획득된 시점을 포함하는 소정의 시간구간에서의 복수의 심박수들의 평균값을 나타낼 수 있다.
여기서, 상기 대상체의 상기 졸음상태가 상기 제1 졸음상태 내지 상기 제3 졸음상태 중 어느 하나인 경우, 상기 심박수가 상기 기준 심박수 이상인 상태로 지속되는 회복 지속시간을 획득하는 단계, 상기 회복 지속시간이 회복기준 지속시간에 도달하는지 여부를 기초로 상기 대상체의 상기 졸음상태를 결정하는 회복감지 단계를 더 포함할 수 있다.
여기서, 상기 회복기준 지속시간이 제1 회복기준 지속시간, 제2 회복기준 지속시간 및 제3 회복기준 지속시간을 포함하고, 상기 회복감지 단계는, 상기 대상체의 상기 졸음상태가 제3 졸음상태인 경우, 상기 회복 지속시간이 상기 제1 회복기준 지속시간보다 길고 상기 제2 회복기준 지속시간보다 짧으면 상기 대상체의 상기 졸음상태를 상기 제2 졸음상태로 결정하고, 상기 회복 지속시간이 상기 제2 회복기준 지속시간보다 길고 상기 제3 회복기준 지속시간보다 짧으면 상기 대상체의 상기 졸음상태를 상기 제1 졸음상태로 결정하고, 상기 상기 회복 지속시간이 상기 제3 회복기준 지속시간보다 길면 상기 대상체의 상기 졸음상태를 상기 정상상태로 결정하고, 상기 대상체의 상기 졸음상태가 제2 졸음상태인 경우, 상기 회복 지속시간이 상기 제1 회복기준 지속시간보다 길고 상기 제2 회복기준 지속시간보다 짧으면 상기 대상체의 상기 졸음상태를 상기 제1 졸음상태로 결정하고, 상기 회복 지속시간이 상기 제2 회복기준 지속시간보다 길고 상기 제3 회복기준 지속시간보다 짧으면 상기 대상체의 상기 졸음상태를 상기 정상상태로 결정하고, 상기 대상체의 상기 졸음상태가 제1 졸음상태인 경우, 상기 회복 지속시간이 상기 제1 회복기준 지속시간보다 길고 상기 제2 회복기준 지속시간보다 짧으면 상기 대상체의 상기 졸음상태를 상기 정상상태로 결정할 수 있다.
여기서, 상기 제1 기준 지속시간, 상기 제2 기준 지속시간 및 제3 기준 지속시간 중 하나는 상기 제1 회복기준 지속시간, 상기 제2 회복기준 지속시간 및 상기 제3 회복기준 지속시간중 적어도 하나와 동일할 수 있다.
여기서, 상기 제1 기준 지속시간, 상기 제2 기준 지속시간 및 제3 기준 지속시간 은 상기 제1 회복기준 지속시간, 상기 제2 회복기준 지속시간 및 상기 제3 회복기준 지속시간과 모두 상이할 수 있다.
일 실시예에 따르는 적어도 하나의 프로세서에서 수행되는 심박수 및 LF/HF를 기초로 하여 졸음을 감지하는 방법은, 대상체에 대하여 심박수를 획득하는 단계, 상기 심박수와 기준 심박수를 비교하여 비교결과를 획득하는 단계, 상기 비교결과를 기초로 하여 상기 심박수가 변화된 상태로 지속되는 지속시간을 획득하는 단계, 상기 지속시간을 기초로 하여 제1 졸음 파라미터(심박수를 기초로 판단한 졸음단계)를 획득하는 단계, 상기 대상체의 교감신경 활성도 및 부교감신경의 활성도의 비율을 나타내는 대상체의 LF/HF(Low Frequency/High Frequency) 값을 획득하는 단계, 상기 대상체의 LF/HF값을 기초로 제2 졸음 파라미터를 획득하는 단계 및 상기 제1 졸음 파라미터와 상기 제2 졸음 파라미터 중 적어도 하나를 이용하여 상기 대상체의 졸음상태를 결정하는 졸음감지 단계를 포함할 수 있다.
여기서, 상기 지속시간을 획득하는 단계는 상기 비교결과를 기초로 하여 상기 심박수가 상기 기준 심박수 이하인 상태가 지속되는 시간구간의 길이에 기초하여 상기 지속시간을 획득할 수 있다.
여기서, 상기 졸음상태는 제1 졸음상태와 제2 졸음상태를 포함하고, 상기 제2 졸음상태는 상기 제1 졸음상태보다 상기 대상체가 수면 상태에 진입할 가능성이 높은 상태이고, 상기 졸음상태가 상기 지속시간과 제1 기준 지속시간 및 제2 기준 지속시간의 비교 결과를 기초로 획득한 제1 졸음 파라미터 및 상기 대상체의 LF/HF와 제1 기준값 및 제2 기준값과의 비교 결과를 기초로 획득한 제2 졸음 파라미터에 따라 결정되고, 상기 졸음상태는 상기 지속시간이 상기 제1 기준 지속시간보다 크고 상기 대상체의 LF/HF가 상기 제1 기준값보다 작을 때 상기 제1 졸음상태로 결정되고, 상기 졸음상태는 상기 지속시간이 상기 제2 기준간격보다 크거나 또는 상기 대상체의 LF/HF가 상기 제2 기준값보다 작을 때 상기 제2 졸음상태로 결정될 수 있다.
여기서, 상기 졸음상태는 제3 졸음상태를 더 포함하고 상기 제1 졸음상태는 상기 대상체가 졸음을 자각하지는 않으나 신체적으로는 수면 상태에 진입할 가능성이 있는 상태이고, 상기 제2 졸음상태 및 상기 제3 졸음상태는 졸음을 자각하고 또한 신체적으로도 수면 상태에 진입할 가능성이 있는 상태이고, 상기 제3 졸음상태는 상기 제2 졸음상태보다 수면 상태에 진입할 가능성이 높은 상태일 수 있다.
여기서, 상기 졸음상태는 정상상태, 제1 단계 졸음상태, 제2단계 졸음상태 및 제3단계 졸음상태를 포함하고, 상기 제1 단계 졸음상태는 상기 정상상태보다 상기 대상체가 수면 상태에 진입할 가능성이 높은 상태를 나타내고, 상기 제2 단계 졸음상태는 상기 제1 단계 졸음상태 보다 상기 대상체가 수면 상태에 진입할 가능성이 높은 상태를 나타내고, 상기 제3 단계 졸음상태는 상기 제2 단계 졸음상태 보다 상기 대상체가 수면 상태에 진입할 가능성이 높은 상태를 나타내며, 상기 제1 졸음파라미터의 값과 상기 제2 졸음파라미터의 값이 클수록 상기 대상체가 수면 상태에 진입할 가능성이 더 높은 상태를 나타내고, 상기 제1 졸음파라미터의 값과 상기 제2 졸음파라미터 값이 일치하는 경우 일치하는 값을 획득하고, 상기 일치하는 값을 기초로 하여 상기 졸음상태를 정상상태, 제1 단계 졸음상태, 제2 단계 졸음상태 및 제3 단계 졸음상태중 하나로 결정할 수 있다.
여기서, 상기 졸음상태는 정상상태, 제1 단계 졸음상태, 제2단계 졸음상태 및 제3단계 졸음상태를 포함하고, 상기 제1 단계 졸음상태는 상기 정상상태보다 상기 대상체가 수면 상태에 진입할 가능성이 높은 상태를 나타내고, 상기 제2 단계 졸음상태는 상기 제1 단계 졸음상태 보다 상기 대상체가 수면 상태에 진입할 가능성이 높은 상태를 나타내고, 상기 제3 단계 졸음상태는 상기 제2 단계 졸음상태 보다 상기 대상체가 수면 상태에 진입할 가능성이 높은 상태를 나타내며, 상기 제1 졸음파라미터의 값과 상기 제2 졸음파라미터의 값이 클수록 상기 대상체가 수면 상태에 진입할 가능성이 더 높은 상태를 나타내고, 상기 제1 졸음파라미터의 값과 상기 제2 졸음파라미터 값이 일치하는 일치하지 않는 경우 상기 제1 졸음파라미터의 값과 상기 제2 졸음파라미터 값 중 더 큰 값을 획득하고, 상기 더 큰 값을 기초로 하여 상기 졸음상태를 정상상태, 제1 단계 졸음상태, 제2 단계 졸음상태 및 제3 단계 졸음상태중 하나로 결정할 수 있다.
여기서, 상기 졸음상태는 정상상태, 제1 단계 졸음상태, 제2단계 졸음상태 및 제3단계 졸음상태를 포함하고, 상기 제1 단계 졸음상태는 상기 정상상태보다 상기 대상체가 수면 상태에 진입할 가능성이 높은 상태를 나타내고, 상기 제2 단계 졸음상태는 상기 제1 단계 졸음상태 보다 상기 대상체가 수면 상태에 진입할 가능성이 높은 상태를 나타내고, 상기 제3 단계 졸음상태는 상기 제2 단계 졸음상태 보다 상기 대상체가 수면 상태에 진입할 가능성이 높은 상태를 나타내며, 상기 제1 졸음파라미터의 값과 상기 제2 졸음파라미터의 값이 클수록 상기 대상체가 수면 상태에 진입할 가능성이 더 높은 상태를 나타내고, 상기 제1 졸음파라미터의 값과 상기 제2 졸음파라미터 값이 일치하는 일치하지 않는 경우 상기 제1 졸음파라미터의 값과 상기 제2 졸음파라미터 값 중 더 작은 값을 획득하고, 상기 더 작은 값을 기초로 하여 상기 졸음상태를 정상상태, 제1 단계 졸음상태, 제2 단계 졸음상태 및 제3 단계 졸음상태 중 하나로 결정할 수 있다.
여기서, 상기 졸음상태는 정상상태, 제1 단계 졸음상태, 제2단계 졸음상태 및 제3단계 졸음상태를 포함하고, 상기 제1 단계 졸음상태는 상기 정상상태보다 상기 대상체가 수면 상태에 진입할 가능성이 높은 상태를 나타내고, 상기 제2 단계 졸음상태는 상기 제1 단계 졸음상태 보다 상기 대상체가 수면 상태에 진입할 가능성이 높은 상태를 나타내고, 상기 제3 단계 졸음상태는 상기 제2 단계 졸음상태 보다 상기 대상체가 수면 상태에 진입할 가능성이 높은 상태를 나타내며, 상기 제1 졸음파라미터의 값과 상기 제2 졸음파라미터의 값이 클수록 상기 대상체가 수면 상태에 진입할 가능성이 더 높은 상태를 나타내고, 상기 제1 졸음파라미터의 값과 상기 제2 졸음파라미터 값이 일치하는 일치하지 않는 경우 상기 제1 졸음파라미터의 값과 상기 제2 졸음파라미터 값 중 평균값을 획득하고, 상기 평균값을 기초로 하여 상기 졸음상태를 정상상태, 제1 단계 졸음상태, 제2 단계 졸음상태 및 제3 단계 졸음상태중 하나로 결정할 수 있다.
여기서, 상기 방법을 수행하는 프로그램이 기록된 기록매체를 통해 상기 방법을 수행할 수 있다.
또 다른 일 실시예에 따르면, 심박수, 산소포화도, 혈압 및 체온 중 적어도 둘 이상의 생체 지수를 동시에 디스플레이 하는 스마트 미러 장치(Smart mirror device)로서, 반사 미러 표면, 피측정자에 대한 복수개의 이미지 프레임을 획득하기 위한 이미지 획득부, 상기 반사 미러 표면 뒤에 배치되며, 상기 반사 미러 표면을 통과해 시각적 정보를 디스플레이 하는 디스플레이부 및 상기 이미지 획득부 및 상기 디스플레이부의 동작을 제어하며 비접촉식으로 생체 지수를 획득하기 위한 제어부를 포함하되, 상기 제어부는 제1 시점에 상기 복수개의 이미지 프레임에 포함되는 제1 이미지 프레임 그룹에 기초하여 획득된 제1 생체 지수가 디스플레이 되도록 상기 디스플레이부를 제어하며, 제2 시점에 상기 복수개의 이미지 프레임에 포함되는 제2 이미지 프레임 그룹에 기초하여 획득된 제2 생체 지수가 디스플레이 되도록 상기 디스플레이부를 제어하고, 상기 제1 생체 지수 및 상기 제2 생체 지수에 연관성이 부여되도록 상기 제1 이미지 프레임 그룹 및 상기 제2 이미지 프레임 그룹은 적어도 하나의 이미지 프레임을 공통으로 포함하며, 상기 제1 이미지 프레임 그룹 및 제2 이미지 프레임 그룹에 공통으로 포함되는 상기 적어도 하나의 이미지 프레임은 상기 제1 및 제2 시점 이전에 상기 반사 미러 표면을 통해 상기 피측정자에게 관측되는 상기 피측정자의 제1 상태에서 획득된 이미지 프레임을 포함하는 스마트 미러 장치가 제공될 수 있다.
여기서, 상기 제1 및 제2 생체 지수는 심박수, 산소포화도, 혈압, 체온 중 적어도 하나의 생체 지수를 포함할 수 있다.
여기서, 상기 제1 이미지 프레임 그룹 및 상기 제2 이미지 프레임 그룹은 서로 동일할 수 있다.
여기서, 상기 제1 이미지 프레임 그룹 및 상기 제2 이미지 프레임 그룹은 서로 상이할 수 있다.
여기서, 상기 제1 시점 및 상기 제2 시점은 동일한 시점일 수 있다.
여기서, 상기 제1 시점은 상기 제2 시점 보다 앞선 시점이며, 상기 제1 이미지 프레임 그룹 및 제2 이미지 프레임 그룹에 공통으로 포함되는 상기 적어도 하나의 이미지 프레임은 상기 제1 시점 이전에 상기 반사 미러 표면을 통해 상기 피측정자에게 관측되는 피측정자의 제2 상태에서 획득된 이미지 프레임을 포함할 수 있다.
여기서, 상기 제어부는 제3 시점에 상기 복수개의 이미지 프레임에 포함되는 제3 이미지 프레임 그룹에 기초하여 획득된 제3 생체 지수가 디스플레이되도록 상기 디스플레이부를 제어하고, 상기 제1, 제2 및 제3 생체 지수에 연관성이 부여되도록 상기 제1, 제2 및 제3 이미지 프레임 그룹은 적어도 하나의 이미지 프레임을 공통으로 포함하며, 상기 제1, 제2 및 제3 이미지 프레임 그룹에 공통으로 포함되는 적어도 하나의 이미지 프레임은 상기 제1, 제2 및 제3 시점 이전에 상기 반사 미러 표면을 통해 상기 피측정자에게 관측되는 상기 피측정자의 제1 상태에서 획득된 이미지 프레임을 포함할 수 있다.
여기서, 상기 제어부는 제1 시간 동안 상기 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임에 기초하여 상기 제1 및 제2 생체 지수를 획득하며, 제2 시간 동안 상기 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 기초하여 상기 피측정자를 인식하며, 상기 제2 시간은 상기 제1 시간보다 짧되, 상기 제2 시간은 상기 제1 시간에 포함되며, 상기 제1 및 제2 생체 지수가 디스플레이 되기 전에 인식된 상기 피측정자에 대한 정보를 디스플레이 할 수 있다.
여기서, 상기 피측정자에 대한 정보는 이전에 측정되어 저장된 상기 피측정자의 상기 제1 및 제2 생체 지수일 수 있다.
여기서, 상기 제어부는 제4 시점에 제1 정보가 디스플레이 되도록 상기 디스플레이부를 제어하며, 제5 시점에 제2 정보가 디스플레이 되도록 상기 디스플레이를 제어하되, 상기 제1 정보는 날씨 정보 및 시간 정보를 포함하며, 상기 제2 정보는 상기 피측정자에 대한 정보를 포함하고, 상기 제4 시점은 상기 제5 시점보다 앞선 시점이며, 상기 제5 시점은 상기 제1 및 제2 시점보다 앞선 시점일 수 있다.
여기서, 상기 제2 정보는 상기 피측정자의 스케쥴 정보, 투약 정보, 인식 정보, 메신저 정보, 관심 정보 중 적어도 하나의 정보를 포함할 수 있다.
여기서, 상기 제어부는 상기 제4 시점에 상기 제1 정보가 디스플레이 되도록 상기 디스플레이부를 제어하며, 상기 제5 시점에 상기 제1 정보 및 상기 제2 정보가 디스플레이 되도록 상기 디스플레부를 제어하고 상기 제2 시점에 상기 제1 정보, 상기 제2 정보, 상기 제1 생체 지수 및 상기 제2 생체 지수가 디스플레이 되도록 상기 디스플레이부를 제어할 수 있다.
여기서, 상기 복수개의 이미지 프레임에 대한 적어도 세 개의 색 채널 값을 기초로 상기 제1 생체 지수 및 상기 제2 생체 지수를 획득하도록 동작하고, 상기 제1 이미지 프레임 그룹에 포함되는 제1 이미지 프레임을 획득한 시점부터 10초 이내에 상기 제1 생체 지수 및 상기 제2 생체 지수가 모두 디스플레이되도록 동작할 수 있다.
여기서, 상기 제어부는 상기 이미지 획득부를 통해 획득된 이미지 프레임 내에 복수의 사람에 대한 이미지가 포함된 경우, 우선 순위에 따라 선택된 상기 복수의 사람 중 1인에 대한 이미지를 기초로 상기 제1 및 제2 생체 지수를 획득하며, 획득된 상기 제1 및 제2 생체 지수가 디스플레이 되며, 상기 복수의 사람 중 선택된 1인에 대한 정보가 디스플레이 되도록 상기 디스플레이부를 제어할 수 있다.
여기서, 상기 제어부는 제1 피측정자를 포함하는 이미지 프레임이 획득된 후 상기 제1 피측정자 및 제2 피측정자를 포함하는 이미지 프레임이 획득된 경우 상기 제1 피측정자에 대한 이미지를 기초로 상기 제1 및 제2 생체 지수를 획득하며, 상기 제1 피측정자에 대한 정보가 디스플레이 되도록 상기 디스플레이부를 제어할 수 있다.
여기서, 상기 제어부는 상기 획득된 이미지 프레임에 기초하여 상기 복수의 사람에 대한 우선 순위를 결정할 수 있다.
여기서, 상기 제어부는 상기 이미지 획득부를 통해 획득된 이미지 프레임 내에 제1 피측정자 및 제2 피측정자에 대한 이미지가 포함된 경우 상기 복수개의 이미지 프레임에 포함되는 제4 이미지 프레임 그룹에 기초하여 상기 제1 피측정자에 대한 상기 제1 생체 지수를 획득하고, 상기 복수개의 이미지 프레임에 포함되는 제5 이미지 프레임 그룹에 기초하여 상기 제1 피측정자에 대한 상기 제2 생체 지수를 획득하며, 상기 복수개의 이미지 프레임에 포함되는 제6 이미지 프레임 그룹에 기초하여 상기 제2 피측정자에 대한 상기 제1 생체 지수를 획득하고, 상기 복수개의 이미지 프레임에 포함되는 제7 이미지 프레임 그룹에 기초하여 상기 제2 피측정자에 대한 상기 제2 생체 지수를 획득하도록 동작하며, 상기 제4 및 제5 이미지 프레임 그룹은 적어도 하나의 이미지 프레임을 공통으로 포함하고, 상기 제6 및 제7 이미지 프레임 그룹은 적어도 하나의 이미지 프레임을 공통으로 포함할 수 있다.
여기서, 상기 제어부는 상기 제1 생체 지수에 기초하여 생체 정보를 획득하며, 제3 시점에 상기 생체 정보가 디스플레이 되도록 상기 디스플레이부를 제어하되, 실시간으로 상기 제1 생체 지수 및 상기 생체 정보를 디스플레이 하기 위하여 상기 제3 시점에 디스플레이 되는 상기 생체 정보는 상기 제1 시점에 디스플레이 되는 상기 제1 생체 지수에 기초하여 획득되며, 상기 제1 시점은 상기 제3 시점보다 앞선 시점일 수 있다.
여기서, 상기 제어부는 상기 제1 및 제2 생체 지수에 기초하여 상기 생체 정보를 획득하며, 상기 생체 정보의 정확도를 향상시키기 위해 상기 제3 시점에 디스플레이되는 상기 생체 정보는 상기 제1 시점에 디스플레이 되는 상기 제1 생체 지수 및 상기 제2 시점에 디스플레이 되는 상기 제2 생체 지수에 기초하여 획득되며, 상기 제3 시점은 상기 제1 및 제2 시점보다 늦은 시점일 수 있다.
여기서, 상기 생체 정보는 컨디션 정보, 집중도 정보, 졸음 정보, 감정 정보 중 적어도 하나 이상의 생체 정보를 포함할 수 있다.
여기서, 상기 제어부는 상기 제1 생체 지수에 기초하여 생체 정보를 획득하며, 제3 시점에 상기 생체 정보가 디스플레이 되도록 상기 디스플레이부를 제어하되, 정확한 생체 정보를 디스플레이 하기 위하여 상기 제3 시점에 디스플레이 되는 상기 생체 정보는 상기 제3 시점까지 디스플레이 된 상기 제1 생체 지수에 기초하여 획득되며, 상기 제3 시점은 상기 제1 시점 보다 늦은 시점일 수 있다.
여기서, 상기 제3 시점에 디스플레이 되는 상기 생체 정보는 상기 제3 시점까지 디스플레이 된 상기 제1 생체 지수의 평균 값에 기초하여 획득될 수 있다.
여기서, 상기 제어부는 상기 제1 및 제2 생체 지수에 기초하여 상기 생체 정보를 획득하며, 상기 제3 시점에 디스플레이 되는 상기 생체 정보는 상기 제3 시점까지 디스플레이 된 상기 제1 생체 지수 및 상기 제3 시점까지 디스플레이 된 상기 제2 생체 지수에 기초하여 획득되며, 상기 제3 시점은 상기 제1 및 제2 시점 보다 늦은 시점일 수 있다.
여기서, 상기 제1 생체 지수가 갱신되는 주기와 상기 제2 생체 지수가 갱신되는 주기가 서로 상이할 수 있다.
여기서, 상기 제어부는 정보 제공 상황에 대하여 결정하며, 제1 상황의 경우 제1 정보가 디스플레이 되도록 상기 디스플레이부를 제어하고, 제2 상황의 경우 제2 정보가 디스플레이 되도록 상기 디스플레이부를 제어하되, 상기 제1 정보는 제1 및 제2 생체 지수를 포함하되, 상기 제2 정보는 제1 및 제2 생체 지수를 포함하지 않을 수 있다.
여기서, 상기 제어부는 상기 피측정자의 이동 방향에 기초하여 상기 정보 제공 상황에 대하여 결정할 수 있다.
여기서, 상기 스마트 미러 장치는 상기 피측정자의 이동 방향을 감지하기 위한 동작 감지 센서를 더 포함할 수 있다.
여기서, 상기 제어부는 상기 획득된 복수개의 이미지 프레임에 기초하여 상기 정보 제공 상황에 대하여 결정할 수 있다.
여기서, 상기 제1 정보는 외부 날씨 정보, 상기 피측정자의 스케쥴 정보, 시간 정보 중 적어도 하나의 정보를 포함하며, 상기 제2 정보는 내부 온도 정보, 내부 습도 정보, 내부 공기 정보, 보안 정보, 활동 시간 정보 중 적어도 하나의 정보를 포함할 수 있다.
여기서, 상기 제1 정보는 적어도 둘 이상의 생체 지수를 포함하며, 상기 제2 정보는 날씨 정보, 시간 정보, 뉴스 정보, 스케쥴 정보, 투약 정보 중 적어도 하나의 정보를 포함할 수 있다.
여기서, 상기 제어부는 상기 복수개의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 적어도 세 개의 색 채널 값을 획득하며, 상기 적어도 세 개의 색 채널 값을 기초로 제1 차이값 및 제2 차이 값을 획득하고, 상기 제1 차이 값 및 상기 제2 차이 값에 기초하여 상기 제1 생체 지수 및 상기 제2 생체 지수를 획득할 수 있다.
또 다른 일 실시예에 따르면, 심박수, 산소포화도, 혈압 및 체온 중 적어도 둘 이상의 생체 지수를 동시에 디스플레이 하는 스마트 미러 장치(Smart mirror device)의 동작 방법으로서, 온 트리거(on-trigger)를 획득하는 단계, 피측정자에 대한 복수개의 이미지 프레임을 획득하는 단계, 상기 복수개의 이미지 프레임에 포함되는 제1 이미지 프레임 그룹에 기초하여 제1 생체 지수를 획득하는 단계, 상기 복수개의 이미지 프레임에 포함되는 제2 이미지 프레임 그룹에 기초하여 제2 생체 지수를 획득하는 단계, 상기 제1 및 제2 생체 지수를 디스플레이 하는 단계, 오프 트리거(off-trigger)를 획득하는 단계 및 상기 피측정자에 대한 복수개의 이미지 프레임 획득을 중지하는 단계를 포함하되, 상기 제1 생체 지수 및 상기 제2 생체 지수에 연관성이 부여되도록 상기 제1 이미지 프레임 그룹 및 상기 제2 이미지 프레임 그룹은 적어도 하나의 이미지 프레임을 공통으로 포함하며, 상기 온 트리거(on-trigger)는 적어도 하나의 센서로부터 획득되며, 상기 오프 트리거(off-trigger)는 상기 복수개의 이미지 프레임을 획득하기 위한 이미지 센서로부터 획득되는 스마트 미러의 동작 방법이 제공될 수 있다.
여기서, 상기 온 트리거(on-trigger)는 동작 감지 센서, 터치 센서, 마우스, 키보드 중 적어도 하나의 센서로부터 획득될 수 있다.
또 다른 일 실시예에 따르면, 심박수, 산소포화도, 혈압 및 체온 중 적어도 하나 이상의 생체 지수를 디스플레이 하는 스마트 미러 장치(Smart mirror device)로서, 반사 미러 표면, 복수개의 이미지 프레임을 획득하기 위한 이미지 획득부, 상기 반사 미러 표면 뒤에 배치되며, 상기 반사 미러 표면을 통과해 시각적 정보를 디스플레이 하는 디스플레이부, 상기 이미지 획득부 앞에 배치되며, 상기 이미지 획득부의 시야를 개폐하기 위한 개폐부 및 상기 이미지 획득부 및 상기 디스플레이부의 동작을 제어하며 생체 지수를 획득하기 위한 제어부; 를 포함하되, 상기 개폐부의 표면은 반사 미러로 형성되며, 상기 개폐부가 열림 상태인 경우 상기 제어부는 상기 생체 지수 및 적어도 하나 이상의 시각적 정보가 상기 디스플레이부를 통하여 디스플레이 되도록 상기 디스플레이 부를 제어하며 상기 개폐부가 닫힘 상태인 경우 상기 제어부는 적어도 하나 이상의 시각적 정보가 상기 디스플레이부를 통하여 디스플레이 되도록 상기 디스플레이 부를 제어하는 스마트 미러 장치가 제공될 수 있다.
여기서, 상기 제어부는 상기 개폐부가 상기 닫힘 상태로부터 상기 열림 상태가 되는 경우 상기 이미지 획득부에서 이미지 프레임을 획득하도록 상기 이미지 획득부를 제어하며 상기 개폐부가 상기 열림 상태로부터 상기 닫힘 상태가 되는 경우 상기 이미지 획득부에서 이미지 프레임을 획득하지 않도록 상기 이미지 획득부를 제어할 수 있다.
0. 용어의 정의
본 명세서에서 사용되는 '측정'이라는 용어는 재어서 정하는 것, 추측하여 결정하는 것, 일정 양을 기준으로 다른 양들의 크기를 재는 것 모두를 포함하는 개념으로 이해될 수 있다.
본 명세서에서 사용되는 '심박수(Heart rate)'는 심장 박동 수로 이해될 수 있으며, 이는 심장 박동의 결과물로 심장 근처에서 측정되는 박동 수를 의미할 수 있는 '심박수'의 개념과 심장 박동의 결과로 발생한 진동이 말초 혈관으로 전파된 것을 의미할 수 있는 '맥박'의 개념을 모두 포함하는 개념으로 이해될 수 있다.
본 명세서에서 사용되는 '혈압(Blood pressure)'은 심장에서 혈액을 밀어낼 때 혈관 내에 생기는 압력으로 이해될 수 있으며, 이는 측정 부위에 상관 없이 통상의 '혈압'이라고 이해될 수 있는 값(예를 들어, 위팔의 동맥에서 측정한 값)으로 추측될 수 있는 값으로 이해될 수 있다.
본 명세서에서 사용되는 '산소포화도(oxygen saturation)'는 혈액 내 산소의 포화 정도로 이해 될 수 있으며, 보다 구체적으로 혈액 내 총 헤모글로빈에 대한 산소헤모글로빈의 분율로 이해될 수 있다.
본 명세서에서 사용되는 '체온(Core Temperature)'는 사람이나 동물이 가지는 몸의 온도로 이해될 수 있으며, 피부에서 측정될 수 있는 '피부 온도(Skin Temperature)'와 다르게 이해될 수 있다.
본 명세서에서 사용되는 '피부온도(Skin Temperature)'는 측정되는 피부의 표면 온도로 이해될 수 있다.
본 명세서에서 사용되는 '이미지(Image)'는 하나의 이미지 또는 영상에 포함되는 복수개의 이미지를 모두 포함하는 개념으로 이해될 수 있다.
본 명세서에서 사용되는 '색 채널(Color Channel)'은 색 공간(Color space)을 구성하는 각각의 축으로 이해될 수 있으며, 예를 들어, Red 채널, Green 채널, Blue 채널은 RGB 색 공간을 구성하는 Red 축, Green 축, Blue 축을 의미할 수 있으며, 이러한 색 채널은 2차원으로 구성될 수 도 있으며, 3차원, 4차원으로 구성될 수도 있다.
본 명세서에서 사용되는 '피측정자에 대한 이미지'는 피측정자의 측정 대상 위치를 포함하는 이미지로 이해될 수 있으며, 예를 들어, 측정 위치가 피측정자의 얼굴인 경우, 피측정자에 대한 얼굴 영역을 포함하는 이미지로 이해될 수 있다.
본 명세서에서 사용되는 '개인적, 통계적 데이터'란 나이, 성별, 키, 체중 등 피측정자의 수집 가능한 개인적, 통계적 데이터를 의미할 수 있으며, 피측정자의 표정, 주름, 얼굴 색 등 관측 가능한 개인적, 통계적 데이터를 의미할 수도 있고, 피측정자가 포함되거나 피측정자와 관련된 집단을 대상으로 산정된 통계적 데이터(예를 들어, 20대 평균 혈압, 황인 평균 피부 색상, 30대 남성 평균 키, 대한민국 남성의 평균 체중 등)와 같이 수치화될 수 있는 개인적, 통계적 데이터를 의미할 수도 있다.
본 명세서에서 사용되는 '시계열 데이터'는 시간 축에 따라 나열된 데이터를 의미할 수 있으나, 이에 한정되지 않고 시간에 대응될 수 있는 이미지 프레임 축에 따라 나열된 데이터를 의미할 수 있고, 시간축 또는 이미지 프레임 축에 따라 정렬될 수 있는 데이터를 의미할 수 있으며, 통상의 '시계열 데이터'로 이해될 수도 있다.
1. 생체 지수 및 생체 정보 관리 시스템
"생체 지수(physiological parameter)"는 측정 또는 추정될 수 있는 인체의 생리 활동에 따른 결과물을 의미할 수 있으며, 예를 들어, 심박수, 산소포화도, 혈압, 체온, 혈류량 등을 포함할 수 있으나, 이에 한정되지 않으며, 측정 또는 추정될 수 있는 인체의 생리 활동에 따른 다른 결과물들을 의미할 수 있다.
"생체 정보(physiological information)"는 생체 지수 등 인체의 생리 활동에 따른 결과물 및 표정, 자세, 나이 등 개인적, 통계적 데이터 중 적어도 일부를 고려하여 산출될 수 있는 정보를 의미할 수 있으며, 예를 들어, 졸음 정보, 스트레스 정보, 흥분도 정보, 감정 정보 등을 포함할 수 있으나, 이에 한정되지 않는다.
생체 지수 및 생체 정보 관리 시스템은 측정 도는 추정될 수 있는 생체 지수 및 산출될 수 있는 생체 정보를 저장하거나, 공유하거나 분석하여 이를 활용한 개인의 건강 등을 종합 관리할 수 있는 관리 시스템을 의미할 수 있다.
도 1 및 도 2는 각각 일 실시예에 따른 생체 지수 및 생체 정보 관리 시스템에 관한 도면이다.
도 1을 참조하면, 일 실시예에 따른 생체 지수 및 생체 정보 관리 시스템(100)은 생체 지수 획득 장치(10) 및 서버(20)를 포함할 수 있다.
이 때, 상기 생체 지수 획득 장치(10)는 피측정자(subject)의 생체 지수(physiological parameter)를 측정할 수 있다. 보다 구체적으로, 상기 생체 지수 획득 장치(10)는 상기 피측정자(subject)의 생체 지수를 침습적으로 측정할 수 도 있으며, 비칩습적이되 접촉방식으로 측정할 수도 있고, 비 접촉 방식으로 측정할 수도 있다.
예를 들어, 상기 생체 지수 획득 장치(10)는 상기 피측정자에 대한 영상 또는 이미지를 분석하여 상기 피측정자의 심박수, 산소포화도, 혈압 등 생체 지수를 측정할 수 있으나, 이에 한정되지는 않는다.
또한, 상기 생체 지수 획득 장치(10)는 측정된 생체 지수를 기초로 생체 정보(physiological information)를 산출할 수 있다. 보다 구체적으로, 상기 생체 지수 획득 장치(10)는 상기 측정된 생체 지수를 기초로 생체 정보를 산출할 수도 있으며, 상기 측정된 생체 지수 및 표정, 자세 나이 등 개인적, 통계적 데이터를 종합 고려하여 생체 정보를 산출할 수도 있다.
예를 들어, 상기 생체 지수 획득 장치(10)는 심박수, 산소포화도, 혈압 등 측정된 생체 지수를 기초로 상기 피측정자의 감정 정보, 졸음 정보 등 생체 정보를 산출할 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수 획득 장치(10)는 상기 측정된 생체 지수 및 상기 산출된 생체 정보를 저장할 수 있다. 예를 들어, 상기 생체 지수 획득 장치(10)는 상기 피측정자의 측정된 생체 지수 및 산출된 생체 정보를 내부 메모리에 저장할 수 있으나, 이에 한정되지는 않는다.
또한, 상기 생체 지수 획득 장치(10)는 상기 측정된 생체 지수 및 상기 산출된 생체 정보를 디스플레이 할 수 있다. 예를 들어, 상기 생체 지수 획득 장치(10)는 디스플레이를 더 포함할 수 있으며, 상기 디스플레이를 이용하여 상기 피측정자에 대한 측정된 생체 지수 및 산출된 생체 정보를 디스플레이 할 수 있으나, 이에 한정되지 않으며, 외부 디스플레이로 디스플레이 되도록 해당 정보를 전송할 수도 있다.
또한, 상기 생체 지수는 디스플레이를 통해 한번 디스플레이 될 수 있으며, 실시간 적으로 변하는 생체 지수가 지속적으로 디스플레이이 될 수 있다.
또한, 상기 생체 지수 획득 장치(10)는 상기 서버(20)를 향해 상기 피측정자에 대한 상기 생체 지수 및 상기 생체 정보를 전송할 수 있다.
이 때, 상기 서버(20)를 향해 전송된 상기 생체 지수 및 상기 생체 정보는 개인 데이터로 상기 서버(20)에 저장될 수 있다. 예를 들어, 피측정자A로부터 측정된 생체 지수 및 산출된 생체 정보는 상기 피측정자A에 대한 데이터로서 상기 서버(20)에 저장될 수 있으며, 피측정자B로부터 측정된 생체 지수 및 산출된 생체 정보는 상기 피측정자B에 대한 데이터로서 상기 서버(20)에 저장될 수 있다.
또한, 상기 서버(20)는 필요시 외부 단말과 통신하여 피측정자에 대한 생체 지수 및 생체 정보를 전송할 수 있다. 예를 들어, 상기 서버(20)에 생체 지수 및 생체 정보 데이터가 저장된 피측정자A라는 사람이 진료를 받기 위해 병원을 방문한 경우, 피측정자A를 진료하기 위한 의사는 피측정자A에 대한 생체 지수 및 생체 정보를 필요로 할 수 있다. 이 때, 상기 서버(20)는 상기 병원에 배치되는 외부 단말로부터 피측정자A에 대한 생체 지수 및 생체 정보 데이터의 전송을 요청받는 경우 상기 외부 단말과 통신하여 상기 피측정자A에 대한 생체 지수 및 생체 정보 데이터를 전송할 수 있다.
이처럼, 상기 생체 지수 및 생체 정보 관리 시스템(100)은 개인의 건강에 대한 지속적이고 종합적인 관리 서비스를 제공하기 위한 바탕이 될 수 있으며, 상술한 예시뿐만 아니라 상기 생체 지수 및 생체 정보 관리 시스템(100)은 지속적으로 측정되고 저장되어 관리되는 생체 지수 및 생체 정보를 활용한 다양한 종합 관리 서비스 제공을 위한 바탕이 될 수 있음은 자명한 사실이다.
또한, 도 2를 참조하면, 일 실시예에 따른 생체 지수 및 생체 정보 관리 시스템(100)은 이미지 획득 장치(30) 및 서버(20)를 포함할 수 있다.
이 때, 상기 이미지 획득 장치(30)는 피측정자에 대한 영상 또는 이미지를 획득할 수 있다.
또한, 상기 서버(20)는 상기 이미지 획득 장치(30)로부터 피측정자에 대한 영상 또는 이미지를 획득할 수 있다.
또한, 상기 서버(20)는 입력장치, 외부 단말 등으로부터 피측정자에 대한 개인적, 통계적 데이터를 획득할 수 있다.
또한, 상기 서버(20)는 상기 획득된 영상 또는 이미지를 기초로 상기 피측정자의 생체 지수를 측정할 수 있다. 예를 들어, 상기 서버(20)는 상기 획득된 영상 또는 이미지를 분석하여 상기 피측정자의 심박수, 산소포화도, 혈압 등 생체 지수를 측정할 수 있으나, 이에 한정되지는 않는다.
또한, 상기 서버(20)는 측정된 생체 지수를 기초로 생체 정보를 산출할 수 있다. 보다 구체적으로, 상기 서버(20)는 상기 측정된 생체 지수를 기초로 생체 정보를 산출할 수도 있으며, 상기 측정된 생체 지수 및 표정, 자세, 나이 등 개인적, 통계적 데이터를 종합 고려하여 생체 정보를 산출할 수 있다.
예를 들어, 상기 서버(20)는 심박수, 산소포화도, 혈압 등 측정된 생체 지수를 기초로 상기 피측정자의 감정 정보, 졸음 정보 등 생체 정보를 산출할 수 있으나, 이에 한정되지 않는다.
또한, 상기 서버(20)는 상기 측정된 생체 지수 및 상기 산출된 생체 정보를 저장할 수 있다.
또한, 상기 이미지 획득 장치(30) 및 상기 서버(20)를 포함하는 생체 지수 및 생체 정보 관리 시스템(100)은 도 1에서 상술한 생체 지수 및 생체 정보 관리 시스템의 기능을 수행할 수 있음은 명확하므로, 중복된 서술은 생략하기로 한다.
2. 생체 지수 획득 장치의 다양한 실시예들
도 3은 일 실시예에 따른 생체 지수 획득 장치를 설명하기 위한 도면이다.
도 3을 참조하면, 일 실시예에 따른 생체 지수 획득 장치(1000)는 이미지 획득부(1010), 제어부(1020), 저장부(1030) 및 통신부(1040)를 포함할 수 있다. 다만, 상기 생체 지수 획득 장치(1000)는 상기 이미지 획득부(1010), 상기 제어부(1020), 상기 저장부(1030) 및 상기 통신부(1040)중 적어도 일부만을 포함할 수 있다. 예를 들어, 상기 생체 지수 획득 장치(1000)는 상기 이미지 획득부(1010) 및 상기 제어부(1020)만을 포함할 수도 있으나, 이에 한정되지 않고 다양한 방식으로 구현될 수 있다.
또한, 상기 이미지 획득부(1010)는 피측정자에 대한 영상 또는 이미지를 획득할 수 있다. 보다 구체적으로 상기 이미지 획득부(1010)는 촬영 장치를 포함할 수 있으며, 상기 촬영 장치를 이용해 상기 피 측정자에 대한 영상 또는 이미지를 획득할 수 있고, 또는 상기 생체 지수 획득 장치(1000) 외부에 배치되는 촬영 장치로부터 상기 피측정자에 대한 영상 또는 이미지를 획득할 수 있으나, 이에 한정되지는 않는다.
또한, 상기 이미지 획득부(1010)가 촬영 장치로부터 피측정자에 대한 영상 또는 이미지를 획득하는 경우, 상기 촬영 장치는 가시광 이미지를 획득하기 위한 가시광 카메라(Visible camera), 적외선 이미지를 획득하기 위한 적외선 카메라(IR camera) 등으로 제공될 수 있으나, 이에 한정되지 않고, 가시광 이미지 및 적외선 이미지를 획득하기 위한 하이브리드 타입의 카메라가 제공될 수도 있다.
또한, 상기 촬영 장치가 가시광 이미지를 획득하는 경우, 획득된 가시광 이미지는 적어도 하나 이상의 색 채널(Color Channel) 값으로 획득될 수 있다. 예를 들어, 상기 획득된 가시광 이미지는 빨강(Red), 초록(Green), 파랑(Blue) 으로 표현되는 RGB 색공간의 색 채널 값으로 획득될 수 있으며, 색상(Hue), 채도(Saturation), 명도(Value) 로 포현되는 HSV 색공간의 색채널 값으로 획득될 수도 있으나, 이에 한정되지 않으며, YCrCb, YiQ 등 다양한 색공간의 색채널 값으로 획득될 수 있다.
또한, 상기 촬영 장치가 적외선 이미지를 획득하는 경우, 상기 촬영 장치는 상기 촬영 장치 내부 또는 외부에 배치되는 적외선 조명을 통해 적외선 이미지를 획득할 수 있다. 이 때, 상기 적외선 조명은 750nm ~ 3000nm 의 파장 대역인 근적외선(Near infrared) 영역의 적외선을 비출 수 있으나, 이에 한정되지는 않고, 중적외선 영역(middle infrared), 원적외선 영역(Far infrared) 및 극적외선 영역(extreme infrared)의 적외선을 비출 수도 있다.
또한, 상기 제어부(1020)는 상기 이미지 획득부(1010)로부터 획득된 피측정자에 대한 이미지를 이용하여 생체 지수를 획득할 수 있다.
예를 들어, 상기 제어부(1020)는 상기 이미지 획득부(1010)로부터 획득된 피측정자에 대한 이미지를 분석하여 상기 피측정자의 심박수, 산소포화도, 혈압, 체온 등 생체 지수를 획득할 수 있으나, 이에 한정되지 않고 다양한 생체 지수를 획득할 수 있다.
또한, 상기 제어부(1020)는 상기 획득된 생체 지수를 기초로 생체 정보를 산출할 수 있다.
예를 들어, 상기 제어부(1020)는 심박수, 산소포화도, 혈압, 체온 등 획득된 생체 지수를 기초로 상기 피측정자의 감정 정보, 졸음 정보 등 생체 정보를 산출할 수 있으나, 이에 한정되지 않고 다양한 생체 정보를 산출할 수 있다.
또한, 상기 제어부(1020)는 상기 이미지 획득부(1010), 상기 저장부(1030), 및 상기 통신부(1040) 중 적어도 일부의 동작을 제어할 수 있다.
또한, 상기 저장부(1030)는 상기 제어부(1020)에서 획득된 생체 지수 및 생체 정보를 저장할 수 있다. 보다 구체적으로, 상기 저장부(1030)는 한 명의 피측정자에 대한 생체 지수 및 생체 정보를 저장할 수도 있으며, 여러 명의 피측정자들에 대한 생체 지수 및 생체 정보를 각각 저장할 수도 있다.
또한, 상기 통신부(1040)는 상기 제어부(1020)에서 획득된 생체 지수 및 생체 정보를 전송할 수 있다. 보다 구체적으로, 상기 통신부(1040)는 상기 제어부(1020)에서 획득된 생체 지수 및 생체 정보를 관리 서버를 향해 전송할 수도 있으며, 사용자의 단말을 향해 전송할 수도 있다.
3. 생체 지수 및 생체 정보 획득 방법의 다양한 실시예들
3.1 생체 지수 획득 방법
도 4는 일 실시예에 따른 생체 지수 획득 방법을 나타내는 흐름도이다.
도 4를 참조하면 일 실시예에 따른 생체 지수 획득 방법(1100)은 피측정자에 대한 피측정자에 대한 이미지를 획득하는 단계(S1110)를 포함할 수 있다.
이 때, 피측정자에 대한 이미지를 획득하기 위해 가시광 카메라, 적외선 카메라 등 다양한 카메라를 이용해서 이미지를 획득하거나, 다양한 카메라들로부터 이미지를 획득할 수 있음은 상술한 바 이므로 상세한 설명은 생략하기로 한다.
또한, 일 실시예에 따른 생체 지수 획득 방법(1100)은 피부 영역을 검출하는 단계(S1120)를 포함할 수 있다.
이 때, 상기 피부 영역은 상기 피측정자에 대한 이미지 중 상기 피측정자의 피부 영역으로 추정될 수 있는 영역을 의미할 수 있다.
또한, 상기 피부 영역은 심장 박동에 의한 혈관의 변화를 잘 반영할 수 있으며, 이와 같이 상기 피부 영역을 검출하는 것은 생체 지수 획득의 정확성을 향상시킬 수 있다.
또한, 일 실시예에 따르면 상기 피부 영역을 검출하기 위해, 혈관의 확장에 의한 색상의 변화를 반영할 수 있는 피부 영역을 제외한 상기 피측정자의 눈, 머리카락 등 피부 외의 영역이 제거될 수 있다. 예를 들어, 상기 피측정자의 눈, 머리카락 등 피부 외의 영역의 색상 값을 검정색 등 의미 없는 값으로 치환할 수 있으나, 이에 한정되지는 않는다.
또한, 일 실시예에 따르면 상기 피부 영역을 검출하기 위해, 특정 색공간이 이용될 수 있다. 예를 들어, 피부 영역을 검출하는 단계(S1120)는 획득된 피측정자에 대한 이미지를 YCrCb 색공간의 값으로 치환하고, 상기 YCrCb 색공간으로 표현된 이미지를 기초로 피부영역이 검출될 수 있으나, 이에 한정되지는 않는다.
또한, 상기 피부 영역을 검출하기 위해 종래 알려진 다양한 기법을 이용하여 피부 영역을 검출할 수 있음은 자명하다.
또한, 일 실시예에 따른 생체 지수 획득 방법(1110)은 관심 영역을 설정하는 단계(S1130)를 포함할 수 있다.
이 때, 상기 관심 영역은 획득된 피측정자에 대한 이미지 중 데이터 처리를 하기 위해 관심 있는 영역을 의미할 수 있으며, 생체 지수를 획득하기 위해 데이터 처리에 이용될 수 있는 영역을 의미할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따르면 상기 관심 영역을 설정하기 위해, 피측정자의 얼굴 영역이 설정될 수 있다. 예를 들어, 상기 피측정자의 얼굴 내에 포함되는 관심 영역을 설정하기 위해 상기 피측정자의 얼굴 영역이 설정될 수 있다.
보다 구체적으로, 설정된 상기 피측정자의 얼굴 영역의 중심을 기초로 일정 비율을 가지는 영역이 관심 영역으로 설정될 수 있다.
예를 들어, 상기 피측정자의 얼굴 영역의 중심을 기초로 세로로 80%, 가로로 60% 크롭할 수 있으나, 이에 한정되지는 않는다.
또한, 일 실시예에 따르면 상기 관심 영역을 설정하기 위해, 특징점이 이용될 수 있다. 예를 들어, 획득된 피측정자에 대한 이미지에서 상기 피측정자의 코 영역이 특징점으로 추출될 수 있으며, 추출된 특징점을 기초로 관심 영역이 설정될 수 있으나 이에 한정되지 않는다.
보다 구체적으로, 설정된 얼굴 영역에 대하여 추출된 특징점을 중심으로 일정 크기를 가지는 영역이 관심 영역으로 설정될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따르면 상기 관심 영역을 설정하기 위해, 복수개의 특정점이 이용될 수 있다. 예를 들어, 획득된 피측정자에 대한 이미지에서 상기 피측정자의 눈 및 코 영역이 특징점으로 추출될 수 있으며, 추출된 특징점들을 기초로 관심 영역이 설정될 수 있다.
또한, 연속적으로 획득되는 복수개의 이미지 각각에 대해 관심 영역이 설정되는 경우, 복수개의 이미지 각각에 대한 관심 영역을 독립적으로 설정할 수 있으며, 연관성 있도록 설정할 수도 있다.
예를 들어, 복수개의 이미지 각각에 대한 관심 영역을 연관성 있도록 설정하기 위해, 복수개의 이미지 각각에 대한 피측정자의 얼굴 영역이 설정될 수 있으며, 제1 이미지 프레임에서 설정된 얼굴 영역의 중심과 제1 이미지 프레임 다음에 획득되는 제2 이미지 프레임에서 설정된 얼굴 영역의 중심 사이의 차이가 임계치를 초과하지 않는 경우 제2 이미지 프레임의 얼굴 영역은 제1 이미지 프레임에서 설정된 얼굴 영역과 동일하게 설정될 수 있으나, 이에 한정되지는 않는다.
또한, 제1 이미지 프레임에서 설정된 얼굴 영역의 중심과 상기 제2 이미지 프레임에서 설정된 얼굴 영역의 중심 사이의 차이가 임계치를 초과하는 경우 제2 이미지 프레임의 얼굴 영역은 제1 이미지 프레임에서 설정된 얼굴 영역과 상이하도록 설정될 수 있으나 이에 한정되지는 않는다.
또한, 일 실시예에 따른 관심 영역은 획득하고자 하는 생체 지수에 따라 신체부위의 일부를 포함하거나, 얼굴의 일부를 포함하도록 설정될 수 있으며, 적어도 하나 이상의 관심 영역이 설정될 수 있다.
예를 들어, 생체 지수 중 심박수를 획득하기 위해 상기 관심 영역은 볼 영역의 적어도 일부를 포함하도록 설정될 수 있다. 보다 구체적으로, 상기 관심 영역은 혈류에 따라 혈관의 확장 정도를 잘 반영할 수 있어 심박수 획득이 용이한 볼 영역을 포함하도록 설정될 수 있으나 이에 한정되지 않는다.
또한, 예를 들어, 생체 지수 중 혈압을 획득하기 위해 상기 관심 영역은 적어도 둘 이상으로 설정될 수 있으며, 보다 구체적으로, 상기 관심 영역은 혈류의 흐름을 반영하기 위해 얼굴의 상부영역을 포함하는 관심 영역과 얼굴의 하부 영역을 포함하는 관심 영역으로 설정될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 생체 지수 중 혈압을 획득하기 위해 상기 관심 영역은 적어도 둘 이상으로 설정될 수 있으며, 보다 구체적으로, 상기 관심 영역은 심장으로부터 서로 거리가 다른 둘 이상의 관심 영역으로 설정 될 수 있다. 예를 들어, 상기 관심 영역은 손 영역을 포함하는 관심 영역과 얼굴 영역을 포함하는 관심영역으로 설정될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 생체 지수 획득 방법(1110)은 관심 영역에 대한 데이터를 처리하는 단계(S1140)를 포함할 수 있다.
또한, 상기 관심 영역에 대한 데이터를 처리하기 위해 상기 관심 영역에 대한 색 채널 값이 추출될 수 있다. 이 때, 색 채널 값은 상기 관심 영역에 포함되는 픽셀들의 색 채널 픽셀 값의 평균 값일 수 있으며, 평균 픽셀 값으로 지칭될 수도 있다.
예를 들어, RGB 색공간에 따른 색 채널 값이 추출되는 경우, 상기 관심 영역에 포함되는 각 픽셀들의 Red 채널 픽셀 값, Green 채널 픽셀 값, Blue 채널 픽셀 값이 추출 될 수 있으며, 상기 관심 영역에 포함되는 Red 채널 픽셀 값들의 평균 값인 Red 채널 값, Blue 채널 픽셀 값들의 평균값인 Blue 채널 값 및 Green 채널 픽셀 값들의 평균값인 Green 채널 값이 추출될 수 있으나, 이에 한정되지 않으며, HSV, YCrCb 색공간 등 다양한 색공간에 따른 색 채널 값이 추출 될 수 있다.
또한, 특정 색공간에 따라 추출된 색 채널 값은 다른 색공간으로 변환될 수 있다. 예를 들어, RGB 색공간에 따라 추출된 색 채널 값은 HSV, YCrCb 색공간 등 다양한 색공간에 따른 색 채널 값으로 변환될 수 있다.
또한, 상기 관심 영역에 대한 데이터를 처리하기 위해 추출된 색 채널 값은 다양한 색 공간에 따라 추출된 색 채널 값의 적어도 일부에 가중치를 적용하여 조합된 색 채널 값 일 수 있다.
또한, 상기 색 채널 값은 연속적으로 획득되는 복수개의 이미지 프레임 각각에 대하여 추출될 수 있으며, 적어도 일부의 이미지 프레임에 대하여 추출될 수도 있다.
또한, 하나의 이미지 프레임에서 추출된 색 채널 값들은 연산 등을 통해 가공될 수 있다. 보다 구체적으로 하나의 이미지 프레임에서 획득된 복수개의 채널 값들은 서로 더하거나 빼는 등의 연산을 통해 가공될 수 있으며, 예를 들어, 하나의 이미지 프레임에서 획득된 Green 채널 값과 Red 채널 값은 차분연산을 통해 가공될 수 있으나, 이에 한정되지 않고 다양한 채널 값들이 다양한 연산을 통해 가공될 수 있다.
또한, 복수개의 이미지 프레임 각각에서 추출된 색 채널 값들 또는 가공 값들은 연산 등을 통해 가공될 수 있다. 보다 구체적으로, 복수개의 이미지 프레임 각각에서 추출된 색 채널 값들 또는 색 채널 값의 가공 값들은 일정 구간 평균을 구하거나, 편차를 구하는 등의 연산을 통해 가공될 수 있으나, 이에 한정되지 않으며, 일정 구간 동안의 최대값 최소값들의 차이를 구할 수도 있으며, 다양한 연산을 통해 가공될 수 있다.
또한, 복수개의 이미지 프레임 각각에서 추출된 색 채널 값들 및 색 채널 값의 가공 값들이 처리되어 적어도 하나의 시계열 데이터가 획득될 수 있다.
또한, 색 채널 값들, 가공 값들 및 시계열 데이터들 중 적어도 일부를 기초로 생체 지수를 획득하기 위한 특징 값이 추출될 수 있다. 예를 들어, 시계열 데이터의 주파수 성분에 기초하여 심박수를 획득하기 위한 주파수 성분이 추출될 수 있으나, 이에 한정되지는 않는다.
또한, 일 실시예에 따른 생체 지수 획득 방법(1110)은 생체 지수를 획득하는 단계(S1150)를 포함할 수 있다.
또한, 상기 생체 지수를 획득하기 위해 상기 관심 영역으로부터 추출된 특징 값을 이용할 수 있다. 예를 들어, 상기 관심 영역으로부터 추출된 시계열 데이터의 주파수 성분을 기초로 심박수를 획득할 수 있으나, 이에 한정되지 않는다.
또한, 관심 영역에 대한 데이터를 처리하는 단계(S1140) 및 생체 지수를 획득하는 단계(S1150)는 각 생체 지수에 따라 상이할 수 있으므로, 보다 상세한 내용은 해당되는 부분에서 상세히 기술하기로 한다.
도 5는 일 실시예에 따른 생체 지수 획득 방법을 나타내는 도면이다.
도 5를 참조하면, 피측정자에 대한 이미지(1161)는 얼굴 영역을 포함할 수 있으며, 피부 영역을 검출할 수 있고(1162), 관심 영역을 검출할 수 있다(1163). 이에 대한 상세한 설명은 상술한 바 중복되는 서술은 생략하기로 한다.
또한, 도 5를 참조하면 관심 영역에 대한 색 채널 값이 추출될 수 있으며(1164), 추출된 색 채널 값이 처리될 수 있고(1165) 이를 기초로 생체 지수가 획득될 수 있다(1166).
다만, 이에 대해서는 아래에서 해당되는 부분에서 상세히 기술하기로 한다.
3.2 생체 정보 획득 방법
도 6은 일 실시예에 따른 생체 정보 획득 방법을 나타내는 흐름도이다.
도 6을 참조하면, 일 실시예에 따른 생체 정보 획득 방법은 생체 지수를 획득하는 단계(S1210)를 포함할 수 있다.
이때, 상기 생체 지수는 상술한 생체 지수 획득 방법에 의해서 획득 될 수 있으나, 이에 한정되지 않고 ECG 센서 등 외부 센서에 의해 획득될 수 있다.
또한, 상기 생체 지수에 대한 중복된 서술은 생략하기로 한다.
또한, 일 실시예에 따른 생체 정보 획득 방법은 개인적, 통계적 데이터를 획득하는 단계(S1220)를 포함할 수 있다.
이 때, 상기 개인적, 통계적 데이터는 나이, 성별 등 피측정자의 수집 가능한 개인적, 통계적 데이터를 의미할 수 있으며, 피측정자의 표정, 주름 등 관측 가능한 개인적, 통계적 데이터를 의미할 수도 있으나, 이에 한정되지 않고 생체 정보를 획득하기 위한 생체 지수를 제외한 다양한 개인적, 통계적 데이터가 될 수 있다.
또한, 일 실시예에 따른 생체 정보 획득 방법은 생체 정보를 획득하는 단계(S1230)를 포함할 수 있다.
이 때, 상기 생체 정보는 피측정자의 졸음 정보, 감정 정보 등이 될 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 정보를 획득하기 위해 상기 생체 지수가 이용될 수 있다. 예를 들어, 상기 졸음 정보를 획득하기 위해 상기 생체 지수 중 심박수가 이용될 수 있다. 보다 구체적으로, 피측정자의 심박수가 기준 심박수 이하가 되는 경우 상기 피측정자가 졸음 상태인 것으로 볼 수 있으며, 기준 심박수 이하가 되는 시간에 따라서 상기 피측정자의 졸음 정도를 획득할 수 있다.
또한, 예를 들어, 상기 감정 정보를 획득하기 위해, 상기 생체 지수 중 심박수 및 혈압이 이용될 수 있다. 보다 구체적으로, 피측정자의 심박수 및 혈압이 기준 심박수 및 혈압 이상이 되는 경우 상기 피측정자가 흥분 상태에 있는 것으로 볼 수 있다.
또한, 상기 생체 정보를 획득하기 위해 상기 생체 지수 및 상기 개인적, 통계적 데이터가 이용될 수 있다. 예를 들어, 상기 졸음 정보를 획득하기 위해 심박수 및 피측정자의 나이, 성별 등의 개인적, 통계적 데이터가 이용될 수 있다.
또한, 예를 들어, 상기 감정 정보를 획득하기 위해 심박수, 혈압 및 피측정자의 표정, 나이, 성별 등 개인적, 통계적 데이터가 이용될 수 있다.
또한, 상기 생체 정보를 획득하기 위해 상기 생체 지수 및 상기 개인적, 통계적 데이터에 가중치를 부여할 수 있다. 예를 들어, 상기 생체 정보를 획득하기 위해 상기 생체 지수 및 상기 개인적, 통계적 데이터에 서로 다른 가중치를 부여할 수 있으며, 피측정자에 따라 서로 다른 가중치를 부여할 수도 있다.
3.3 생체 지수 획득 모델을 이용한 생체 지수 획득 방법
도 7 및 도 8은 생체 지수 획득 모델을 이용한 생체 지수 획득 방법을 설명하기 위한 도면이다.
도 7의 (a)는 일 실시예에 따른 생체 지수 획득 모델(1302)를 이용한 생체 지수 획득 방법(1300)에 대하여 도시한다.
이 때, 일 실시예에 따른 생체 지수 획득 모델(1302)은 머신 러닝(Machine learning) 방법으로 구현될 수 있다. 예를 들어, 상기 생체 지수 획득 모델(1302)는 지도 학습을 통해 구현된 모델일 수 있으나, 이에 한정되지 않으며, 비지도 학습, 준지도 학습, 강화 학습 등을 통해 구현된 모델일 수 있다.
또한, 일 실시예에 따른 생체 지수 획득 모델(1302)은 인공 신경망(artificial neural network, ANN) 으로 구현될 수 있다. 예를 들어, 상기 생체 지수 획득 모델(1302)은 전방 전달 신경망(Feedforward neural network), 방사 신경망(radial basis function network) 또는 코헨 자기조직 신경망(kohonen self-organizing network) 등으로 구현될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 생체 지수 획득 모델(1302)은 심층 신경망(Deep neural network, DNN)으로 구현될 수 있다. 예를 들어, 상기 생체 지수 획득 모델(1302)은 합성곱신경망(Convolutional neural network, CNN), 순환 인공 신경망(Recurrent neural network, RNN), LSTM(Long Short Term Memory Network) 또는 GRUs(Gated Recurrent Units) 등으로 구현될 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수 획득 모델(1302)에 입력되는 이미지(1301)는 획득된 이미지 데이터 자체일 수 있다.
또한, 상기 생체 지수 획득 모델(1302)에 입력되는 이미지(1302)는 전처리된 이미지 데이터 일 수 있다. 예를 들어, 상기 이미지(1302)는 율러리안 비디오 확대(eulerian video Magnification)될 수 있으나, 이에 한정되지 않고 획득된 RGB 값의 평균 값을 구하는 등의 다양한 전처리가 될 수 있다.
또한, 획득된 생체 지수(1303)는 심박수, 산소포화도, 혈압, 체온 등이 될 수 있다.
또한, 획득된 생체 지수(1303)는 하나일 수 있으며 복수개의 생체 지수가 동시에 획득될 수 있다. 예를 들어, 상기 생체 지수 획득 모델(1302)의 결과물로 심박수가 획득될 수 있으나, 이에 한정되지 않고, 상기 생체 지수 획득 모델(1302)의 결과물로 심박수 및 혈압이 동시에 획득될 수도 있다.
또한, 도 7의 (b)는 다른 일 실시예에 따른 생체 지수 획득 모델(1354)를 이용한 생체 지수 획득 방법(1350)에 대하여 도시한다.
이 때, 상기 생체 지수 획득 모델(1354)은 이미지(1351)로부터 추출된 특징(1352) 및 개인적, 통계적 데이터(1353)을 입력 값으로 획득할 수 있다. 예를 들어, 상기 이미지(1351)로부터 색 채널 값에 대한 시계열 데이터라는 특징이 추출될 수 있으며, 상기 생체 지수 획득 모델(1354)은 상기 색 채널 값에 대한 시계열 데이터 및 개인적, 통계적 데이터를 입력 값으로 획득하여 생체 지수(1355) 결과물로 산출할 수 있다.
또한, 상기 개인적, 통계적 데이터는 나이, 성별, 키, 체중 등 피측정자의 수집 가능한 개인적, 통계적 데이터를 의미할 수 있으며, 피측정자의 표정, 주름, 얼굴 색 등 관측 가능한 개인적, 통계적 데이터를 의미할 수도 있고, 평균 혈압, 평균 색상, 평균 키, 평균 체중 등 수치화될 수 있는 개인적, 통계적 데이터를 의미할 수도 있다.
또한, 상기 생체 지수 획득 모델(1354)은 상술한 생체 지수 획득 모델(1302)의 내용이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.
또한, 도 8은 또 다른 일 실시예에 따른 생체 지수 획득 모델(1405)를 이용한 생체 지수 획득 방법(1400)에 대하여 도시한다.
이 때, 상기 생체 지수 획득 방법(1400)은 특징 추출 모델(1402)을 포함할 수 있으며, 일 실시예에 따른 특징 추출 모델(1402)은 머신 러닝(Machine learning) 방법으로 구현될 수 있다. 예를 들어, 특징 추출 모델(1402)은 지도 학습을 통해 구현된 모델일 수 있으나, 이에 한정되지 않으며, 비지도 학습, 준지도 학습, 강화 학습 등을 통해 구현된 모델일 수 있다.
또한, 일 실시예에 따른 특징 추출 모델(1402)은 인공 신경망(artificial neural network, ANN) 으로 구현될 수 있다. 예를 들어, 상기 생체 지수 획득 모델(1302)은 전방 전달 신경망(Feedforward neural network), 방사 신경망(radial basis function network) 또는 코헨 자기조직 신경망(kohonen self-organizing network) 등으로 구현될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 특징 추출 모델(1402)은 심층 신경망(Deep neural network, DNN)으로 구현될 수 있다. 예를 들어, 상기 생체 지수 획득 모델(1302)은 합성곱신경망(Convolutional neural network, CNN), 순환 인공 신경망(Recurrent neural network, RNN), LSTM(Long Short Term Memory Network) 또는 GRUs(Gated Recurrent Units) 등으로 구현될 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수 획득 모델(1405)은 상기 특징 추출 모델(1402)로부터 추출된 특징(1403) 및 개인적, 통계적 데이터(1404)를 입력 값으로 획득할 수 있으며, 이를 기초로 생체 지수를(1406)를 결과물로 산출 할 수 있다.
또한, 상기 생체 지수 획득 모델(1405)은 상술한 생체 지수 획득 모델(1302)의 내용이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.
도 7 및 도 8을 이용하여 서술한 예시와 같이 생체 지수를 획득하기 위해 머신러닝, 인공 신경망 또는 심층 신경망 모델이 이용될 수 있다.
4. 생체 지수 획득의 다양한 실시예들
4.1 심박수 측정 방법의 다양한 실시예들
살아있는 생물의 신체에서 심장이 박동하는 경우, 심장의 박동에 의해 혈액이 전신으로 운반될 수 있다. 이 때, 혈액은 혈관을 타고 흐르게 되고, 시간에 따라 혈관의 부피가 변할 수 있으며, 혈관에 포함되는 혈액의 양이 변할 수 있다.
따라서, 혈관의 부피의 변화 또는 혈액의 양의 변화를 측정하는 경우 심박수를 획득할 수 있다. 예를 들어, 혈관에 포함되는 혈액의 양이 변하는 경우 혈액에 포함되는 헤모글로빈(hemoglobin) 및 산소 헤모글로빈(oxyhemoglobin)의 양이 변할 수 있으며, 이에 따라 혈액에 의해 반사되는 빛의 양이 변할 수 있다. 따라서, 이와 같이 혈액에 의해 반사되는 빛의 양의 변화를 측정하는 경우 심박수를 획득할 수 있다.
또한, 상술한 예시적 원리 외에도 광으로 심박수를 측정하기 위한 다양한 원리가 적용될 수 있음은 자명하다.
도 9는 일 실시예에 따른 심박수 측정 방법을 설명하기 위한 흐름도이다.
도 9를 참조하면, 일 실시예에 따른 심박수 측정 방법(1500)은 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여, 이미지를 획득하는 단계(S1510), 피부 영역을 검출하는 단계(S1520), 관심 영역을 검출하는 단계(S1530) 및 관심 영역에 대한 데이터를 처리하는 단계(S1540) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지는 않는다.
또한, 상기 이미지를 획득하는 단계(S1510), 상기 피부 영역을 검출하는 단계(S1520) 및 상기 관심 영역을 검출하는 단계(S1530)는 상술한 바 중복되는 서술은 생략하기로 한다.
또한, 상기 관심 영역에 대한 데이터를 처리하는 단계(S1540)는 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여 수행될 수 있다.
또한, 상기 관심 영역에 대한 데이터를 처리하기 위해 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여 상기 관심 영역에 대한 색 채널 값이 추출될 수 있다. 이 때, 상기 색 채널 값은 상기 관심 영역에 포함되는 픽셀들의 색 채널 값의 평균 값일 수 있으며, 평균 픽셀 값으로 지칭 될 수 있다.
또한, 상기 관심 영역에 대한 데이터를 처리하는 단계(S1540)의 상세한 내용은 상술한 바 중복되는 서술은 생략하기로 한다.
또한, 일 실시예에 따른 심박수 측정 방법(1500)은 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 시계열 데이터를 추출하는 단계(S1550) 및 심박수를 획득하는 단계(S1560) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 시계열 데이터를 추출하는 단계(S1550)는 상기 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 수행될 수 있다.
이 때, 상기 이미지 프레임 그룹은 연속적이거나 불연속적인 복수개의 이미지 프레임 그룹을 의미할 수 있다. 예를 들어, 상기 이미지 프레임 그룹은 제1 이미지 프레임부터 제180 이미지 프레임까지 연속적인 이미지 프레임들의 그룹을 의미할 수 있으나, 이에 한정되지 않고, 제1 이미지 프레임부터 제180 이미지 프레임 중 적어도 일부의 이미지 프레임들의 그룹을 의미할 수도 있다.
또한, 상기 심박수를 획득하는 단계(S1560)는 상기 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 수행될 수 있다.
이 때, 상기 심박수를 획득하기 위해 상기 획득된 시계열 데이터의 주파수 성분이 추출될 수 있다. 예를 들어, 상기 심박수를 획득하기 위해 상기 시계열 데이터는 푸리에 변환(fourier transform, FT)에 따라 변환되어 주파수 성분이 추출 될 수 있으나, 이에 한정되지 않으며, 상기 시계열 데이터는 고속 푸리에 변환(Fast fourier transform, FFT), 이산 푸리에 변화(discrete fourier transform, DFT), STFT(short time fourier transfom) 등에 따라 변환 될 수 있으나, 이에 한정되지 않고 주파수 성분을 추출하기 위한 다양한 처리가 될 수 있다.
또한, 상기 심박수는 하나의 심박수를 기초로 획득될 수 있으며, 적어도 둘 이상의 심박수를 기초로 획득될 수 있다. 예를 들어, 하나의 시계열 데이터를 기초로 하나의 심박수가 획득될 수 있으며, 또 다른 하나의 시계열 데이터를 기초로 또 다른 하나의 심박수가 획득 될 수 있고, 획득된 적어도 둘 이상의 심박수를 기초로 최종 심박수가 획득될 수도 있으나, 이에 한정되지는 않는다.
4.2 산소포화도 측정 방법의 다양한 실시예들
산소포화도(SPO2)는 헤모글로빈에 결합한 산소의 양을 의미하는 것으로, 혈액 내 총 헤모글로빈에 대한 산소헤모글로빈의 분율로 나타낼 수 있다.
또한, 헤모글로빈과 산소헤모글로빈은 하나의 파장을 갖는 빛에 대하여 서로 같거나 다른 흡수율을 가질 수 있다. 예를 들어, 헤모글로빈과 산소헤모글로빈은 700nm 대역의 빛에 대하여 흡수도가 상이할 수 있으며, 1000nm 대역의 빛에 대하여 흡수도가 상이할 수 있고, 800nm 대역의 빛에 대하여 흡수도가 유사할 수 있다.
또한, 혈관에 포함되는 혈액의 양이 변하는 경우 혈액에 포함되는 헤모글로빈 및 산소헤모글로빈의 양이 변할 수 있다.
따라서, 제1 파장 대역의 빛에 대한 헤모글로빈의 흡광계수, 산소헤모글로빈의 흡광계수, 제2 파장 대역의 빛에 대한 헤모글로빈의 흡광계수, 산소헤모글로빈의 흡광계수, 혈액의 양의 변화에 따른 제1 파장 대역의 빛의 변화정도 및 혈액의 양의 변화에 따른 제2 파장 대역의 빛의 변화 정도를 이용하면 산소포화도를 획득할 수 있다.
예를 들어, 제1 파장 대역의 빛에 대한 산소헤모글로빈의 흡광도를 
, 제1 파장 대역의 빛에 대한 헤모글로빈의 흡광도를 
, 제2 파장 대역의 빛에 대한 산소헤모글로빈의 흡광도를 
, 제2 파장 대역의 빛에 대한 헤모글로빈의 흡광도를 
, 산소헤모글로빈의 비율을 S 라고 할 때 다음과 같은 수학식 1이 성립할 수 있으며,
<수학식 1>
산소 포화도는 S*100(%)로 표현될 수 있으나, 이에 한정되지 않는다.
또한, 상술한 예시적 원리 외에도 광으로 산소포화도를 측정하기 위한 다양한 원리가 적용될 수 있음은 자명하다.
도 10은 일 실시예에 따른 산소포화도 측정 방법을 설명하기 위한 흐름도이다.
도 10을 참조하면, 일 실시예에 따른 산소포화도 측정 방법(1600)은 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여, 이미지를 획득하는 단계(S1610), 피부 영역을 검출하는 단계(S1620), 관심 영역을 검출하는 단계(S1630) 및 관심 영역에 대한 적어도 두 개의 색 채널 값을 처리하는 단계(S1640) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지는 않는다.
또한, 상기 이미지를 획득하는 단계(S1610), 상기 피부 영역을 검출하는 단계(S1620) 및 상기 관심 영역을 검출하는 단계(S1630)는 상술한 바 중복되는 서술은 생략하기로 한다.
또한, 상기 관심 영역에 대한 적어도 두 개의 색 채널 값을 처리하는 단계(S1640)는 상술한 관심 영역에 대한 데이터를 처리하는 단계의 동작들을 수행할 수 있으므로 중복되는 서술은 생략하기로 한다.
또한, 상기 두 개의 색 채널은 헤모글로빈의 흡광도 및 산소 헤모글로빈의 흡광도를 고려하여 선택될 수 있다. 예를 들어, RGB 색 공간을 이용하는 경우, 헤모글로빈의 흡광도가 산소헤모글로빈의 흡광도 보다 높은 Red 채널과 산소헤모글로빈의 흡광도가 헤모글로빈의 흡광도 보다 높은 Blue 채널이 선택될 수 있으나, 이에 한정되지는 않는다.
또한, 일 실시예에 따른 산소포화도 측정 방법(1600)은 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 적어도 두 개의 색 채널 값에 대한 시계열 데이터를 추출하는 단계(S1650) 및 산소포화도를 획득하는 단계(S1660) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 적어도 두 개의 색 채널 값에 대한 시계열 데이터를 추출하는 단계(S1650)는 상기 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 수행될 수 있다.
이 때, 상기 이미지 프레임 그룹은 연속적이거나 불연속적인 복수개의 이미지 프레임 그룹을 의미할 수 있다. 예를 들어, 상기 이미지 프레임 그룹은 제1 이미지 프레임부터 제180 이미지 프레임까지 연속적인 이미지 프레임들의 그룹을 의미할 수 있으나, 이에 한정되지 않고, 제1 이미지 프레임부터 제180 이미지 프레임 중 적어도 일부의 이미지 프레임들의 그룹을 의미할 수도 있다.
또한, 상기 산소포화도를 획득하는 단계(S1660)는 상기 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 수행될 수 있다.
이 때, 상기 산소포화도를 획득하기 위해 상기 획득된 적어도 두 개의 시계열 데이터의 AC 성분 및 DC 성분이 이용될 수 있다. 이 때, AC 성분은 시계열 데이터의 최대값 및 최소값의 차이를 의미할 수 있고, 최대값들의 평균 및 최소값들의 평균의 차이를 의미할 수도 있으나, 이에 한정되지는 않으며, 통상의 AC 성분으로 이해될 수 있다. 또한, DC 성분은 시계열 데이터의 평균값으로 이해될 수 있으나, 이에 한정되지 않으며, 통상의 DC 성분으로 이해될 수 있다.
또한, 상기 산소포화도를 획득하기 위해, 수학식이 이용될 수 있다.
예를 들어, Red 채널에 대한 산소헤모글로빈의 흡광도를 
, Red 채널에 대한 헤모글로빈의 흡광도를 
, Blue 채널에 대한 산소헤모글로빈의 흡광도를 
, Blue 채널에 대한 헤모글로빈의 흡광도를 
, 산소헤모글로빈의 비율을 S 라고 할 때 다음과 같은 수학식 2가 성립할 수 있다.
<수학식 2>
이 때, 산소포화도는 S*100(%)로 표현될 수 있으나, 이에 한정되지 않는다.
또한, 상술한 예시적 수학식 외에도 적어도 2개의 색채널 값을 이용하여 산소포화도를 구하기 위한 다양한 수학식이 이용될 수 있음은 자명하다.
또한, 상기 산소포화도는 하나의 산소포화도를 기초로 획득될 수 있으며, 적어도 둘 이상의 산소포화도를 기초로 획득될 수 있다. 예를 들어, 적어도 두개의 시계열 데이터를 기초로 하나의 산소포화도가 획득될 수 있으며, 또 다른 적어도 두개의 시계열 데이터를 기초로 또 다른 하나의 산소포화도가 획득될 수 있고, 획득된 적어도 둘 이상의 산소포화도를 기초로 최종 산소포화도가 획득될 수도 있으나, 이에 한정되지는 않는다.
또한, 보다 정확한 산소포화도 획득을 위해 최종 획득된 산소포화도 및 옥시미터(oxymeter)가 이용될 수 있다.
도 11은 다른 일 실시예에 따른 산소포화도 측정 방법을 설명하기 위한 흐름도이다.
도 11을 참조하면, 일 실시예에 따른 산소포화도 측정 방법(1700)은 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여, 이미지를 획득하는 단계(S1710), 피부 영역을 검출하는 단계(S1720), 관심 영역을 검출하는 단계(S1730) 및 관심 영역에 대한 적어도 하나의 색 채널 값을 처리하는 단계(S1740) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 산소포화도 측정 방법(1700)은 복수개의 IR(Infrared) 이미지 프레임을 획득할 수 있으며, 획득된 복수개의 IR 이미지 프레임 중 적어도 하나의 IR 이미지 프레임에 대하여, IR 이미지를 획득하는 단계(S1711), 피부 영역을 검출하는 단계(S1721), 관심 영역을 검출하는 단계(S1731) 및 관심 영역에 대한 IR 데이터를 처리하는 단계(S1741) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 이미지를 획득하는 단계(S1710,S1711), 상기 피부 영역을 검출하는 단계(S1720,S1721) 및 상기 관심 영역을 검출하는 단계(S1730,S1731)는 상술한 바 중복되는 서술은 생략하기로 한다.
또한, 상기 관심 영역에 대한 적어도 하나의 색 채널 값을 처리하는 단계(S1740) 및 상기 관심 영역에 대한 IR 데이터를 처리하는 단계(S1741)는 상술한 관심 영역에 대한 데이터를 처리하는 단계의 동작들을 수행할 수 있으므로 중복되는 서술은 생략하기로 한다.
또한, 상기 적어도 하나의 색 채널 및 상기 IR의 파장 대역은 헤모글로빈의 흡광도 및 산소헤모글로빈의 흡광도를 고려하여 선택될 수 있다. 예를 들어, RGB 색공간을 이용하는 경우, 헤모글로빈의 흡광도가 산소 헤모글로빈의 흡광도 보다 높은 Red 채널이 선택될 수 있고, 산소헤모글로빈의 흡광도가 헤모글로빈의 흡광도보다 높은 880nm 대역의 IR 파장 대역이 선택될 수 있으나, 이에 한정되지는 않는다.
또한, 일 실시예에 따른 산소포화도 측정 방법(1700)은 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 색 채널 값에 대한 시계열 데이터를 추출하는 단계(S1750), IR 데이터에 대한 시계열 데이터를 추출하는 단계(S1751) 및 산소포화도를 획득하는 단계(S1760) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 색 채널 값에 대한 시계열 데이터를 추출하는 단계(S1750) 및 IR 데이터에 대한 시계열 데이터를 추출하는 단계(S1751)는 상술한 시계열 데이터를 추출하는 단계의 동작들이 수행될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 산소포화도를 획득하는 단계(S1760)는 상기 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹 및 상기 획득된 복수개의 IR 이미지 프레임 중 적어도 일부의 IR 이미지 프레임 그룹에 대하여 수행될 수 있다.
이 때, 상기 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹과 상기 획득된 복수개의 IR 이미지 프레임 중 적어도 일부의 IR 이미지 프레임 그룹은 서로 동일할 수 있으며, 상이할 수 있다.
예를 들어, 상기 이미지 프레임과 상기 IR 이미지 프레임이 서로 다른 시퀀스로 획득되는 경우 이미지 프레임 그룹과 IR 이미지 프레임 그룹은 서로 상이할 수 있으며, 상기 이미지 프레임과 상기 IR 이미지 프레임이 서로 동일한 시퀀스로 획득되는 경우 이미지 프레임 그룹과 IR 이미지 프레임 그룹은 서로 동일 할 수 있으나, 이에 한정되지는 않는다.
또한, 상기 산소포화도를 획득하기 위해, 수학식이 이용될 수 있다.
예를 들어, Red 채널에 대한 산소헤모글로빈의 흡광도를 
, Red 채널에 대한 헤모글로빈의 흡광도를 
, 880nm에 대한 산소헤모글로빈의 흡광도를 
, 880nm 대한 헤모글로빈의 흡광도를 
, 산소헤모글로빈의 비율을 S 라고 할 때 다음과 같은 수학식 3이 성립할 수 있다.
<수학식 3>
이 때, 산소포화도는 S*100(%)로 포현될 수 있으나, 이에 한정되지 않는다.
또한, 상술한 예시적 수학식 외에도 적어도 하나의 색채널 값 및 IR 데이터를 이용하여 산소포화도를 구하기 위한 다양한 수학식이 이용될 수 있음은 자명하다.
또한, 상기 산소포화도는 하나의 산소포화도를 기초로 획득될 수 있으며, 적어도 둘 이상의 산소포화도를 기초로 획득될 수 있다. 예를 들어, 적어도 두개의 시계열 데이터를 기초로 하나의 산소포화도가 획득될 수 있으며, 또 다른 적어도 두개의 시계열 데이터를 기초로 또 다른 하나의 산소포화도가 획득될 수 있고, 획득된 적어도 둘 이상의 산소포화도를 기초로 최종 산소포화도가 획득될 수도 있으나, 이에 한정되지는 않는다.
또한, 보다 정확한 산소포화도 획득을 위해 최종 획득된 산소포화도 및 옥시미터(oxymeter)가 이용될 수 있다.
4.3 혈압 측정 방법의 다양한 실시예들
혈압은 혈관을 따라 흐르는 혈액이 혈관의 벽에 주는 압력을 의미할 수 있다.
따라서, 혈압은 혈류의 속도, 혈관 벽의 두께, 혈관에 쌓인 노폐물 등에 영향을 받을 수 있다.
또한, 혈액이 혈관을 따라 흐르는 경우 시간에 따라 혈관의 부피가 변할 수 있으며, 혈관에 포함되는 혈액의 양이 변할 수 있다.
따라서, 혈관의 부피의 변화 속도, 혈액의 양의 변화 속도를 측정하는 경우 혈압을 획득 할 수 있다.
예를 들어, 심장으로부터 거리가 다른 두 지점에서 혈관의 변화를 측정하는 경우 두 지점에서 혈관의 변화의 차이를 기초로 혈압을 구할 수 있으며, 시간에 따라 변화하는 혈관의 변화를 나타낼 수 있는 특징을 추출하여 혈압을 구할 수 있으나, 이에 한정되지 않는다.
또한, 상술한 예시적 원리 외에도 광으로 혈압을 측정하기 위한 다양한 원리가 적용될 수 있음은 자명하다.
도 12는 일 실시예에 따른 혈압 측정 방법을 설명하기 위한 흐름도이다.
도 12를 참조하면, 일 실시예에 따른 혈압 측정 방법(1800)은 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여, 이미지를 획득하는 단계(S1810), 피부 영역을 검출하는 단계(S1820), 제1 관심 영역을 검출하는 단계(S1830), 제2 관심영역을 검출하는 단계(S1831), 제1 관심 영역에 대한 데이터를 처리하는 단계(S1840) 및 제2 관심 영역에 대한 데이터를 처리하는 단계(S1841) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지는 않는다.
또한, 상기 이미지를 획득하는 단계(S1810), 상기 피부 영역을 검출하는 단계(S1820)는 상술한 바 중복되는 서술은 생략하기로 한다.
또한, 상기 제1 관심영역 및 제2 관심영역을 검출하는 단계 (S1830,S1831)의 상세한 내용은 상술한 바 중복되는 서술은 생략하기로 한다.
이 때, 상기 제1 관심 영역 및 제2 관심 영역은 피측정자의 심장으로부터 거리가 상이한 두 영역으로 설정될 수 있다. 예를 들어, 제1 관심 영역은 피측정자의 얼굴의 상부영역으로 설정되고, 제2 관심 영역은 피측정자의 얼굴의 하부 영역으로 설정될 수 있으나, 이에 한정되지 않고, 제1 관심 영역은 피측정자의 얼굴 영역으로 설정되고, 제2 관심 영역은 피측정자의 손등 영역으로 설정될 수도 있다.
또한, 상기 제1 관심 영역에 대한 데이터를 처리하는 단계(S1840) 및 상기 제2 관심 영역에 대한 데이터를 처리하는 단계(S1841)는 상술한 관심 영역에 대한 데이터를 처리하는 단계의 동작들을 수행할 수 있으므로 중복되는 서술은 생략하기로 한다.
또한, 일 실시예에 따른 혈압 측정 방법(1800)은 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 제1 및 제2 관심 영역에 대한 시계열 데이터를 추출하는 단계(S1850), 획득된 시계열 데이터를 기초로 PTT(Pulse transit Time)를 계산하는 단계(S1860) 및 혈압을 획득하는 단계(S1870) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 및 제2 관심 영역에 대한 시계열 데이터를 추출하는 단계(S1850)는 상술한 시계열 데이터를 추출하는 단계의 동작들이 수행될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 상기 획득된 시계열 데이터를 기초로 PTT를 계산하는 단계(S1860)는 상기 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 수행될 수 있다.
이 때, 상기 PTT는 상기 제1 관심 영역에 대한 시계열 데이터 및 상기 제2 관심 영역에 대한 시계열 데이터의 극값에 기초하여 계산될 수 있다. 예를 들어, 상기 제1 관심 영역에 대한 시계열 데이터의 극대값과 상기 제2 관심 영역에 대한 시계열 데이터의 극대값의 시간 차이를 기초로 PTT가 계산될 수 있으나, 이에 한정되지 않고, 상기 제1 관심 영역에 대한 시계열 데이터의 극소값과 상기 제2 관심 영역에 대한 시계열 데이터의 극소값의 시간 차이를 기초로 PTT가 계산 될 수도 있다.
또한, 상기 PTT는 상기 제1 관심 영역에 대한 시계열 데이터 및 상기 제2 관심 영역에 대한 시계열 데이터의 변곡점에 기초하여 계산될 수 있다. 예를 들어, 상기 제1 관심 영역에 대한 시계열 데이터의 변곡점과 상기 제2 관심 영역에 대한 시계열 데이터의 변곡점의 시간 차이를 기초로 PTT가 계산 될 수 있으나, 이에 한정되지 않는다.
또한, 상기 PTT는 상술한 극값, 변곡점 외에도 각 관심 영역에 대한 시계열 데이터의 다양한 지점을 기초로 계산될 수 있다.
또한, 상기 제1 관심 영역에 대한 시계열 데이터 및 상기 제2 관심 영역에 대한 시계열 데이터의 시간 차이는 극값, 변곡점 등 지점에 획득된 프레임에 기초하여 계산될 수 있다. 예를 들어, 제1 관심 영역에 대한 시계열 데이터에서 제10 프레임에 극대값이 획득되고, 제2 관심 영역에 대한 시계열 데이터에서 제12 프레임에 극대값이 획득되는 경우, 상기 제1 관심 영역 및 제2 관심 영역에 대한 시계열 데이터의 시간 차이는 2 개의 프레임이 획득되기 위한 시간일 수 있으며, 이를 기초로 PTT가 계산될 수 있다.
또한, 혈압을 획득하는 단계(S1870)는 상기 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 수행될 수 있다.
또한, 상기 혈압을 획득하기 위해 PTT가 이용될 수 있다. 예를 들어, 상기 혈압을 획득하기 위해 PTT에 대한 함수가 이용될 수 있다. 보다 구체적으로, 수학식 4 와 같은 함수가 이용될 수 있으며, 함수는 PTT를 변수로 하는 1차 함수, 2차 함수, 로그 함수, 지수 함수 등 다양한 함수가 이용될 수 있으나, 이에 한정되지는 않는다.
<수학식 4>
또한, 상기 혈압을 획득하기 위해 PTT 및 개인적, 통계적 데이터가 이용될 수 있다. 예를 들어, 상기 혈압을 획득하기 위해 PTT에 대한 함수 및 나이, 체중, 키 등 개인적, 통계적 데이터의 함수가 이용될 수 있다. 보다 구체적으로, 아래와 같은 수학식 5가 이용될 수 있으며, 함수는 PTT, 체중, 키, 나이를 변수로 하는 1차 함수, 2차 함수, 로그 함수, 지수 함수 등 다양한 함수가 이용될 수 있으나, 이에 한정되지는 않는다.
<수학식 5>
또한, 상기 혈압을 획득하기 위해 상술한 함수를 이용한 회귀분석 방법이 이용될 수 있으나, 이에 한정되지 않는다.
또한, 상기 혈압을 획득하기 위해 상술한 함수를 이용한 머신 러닝(Machine learning) 방법이 이용될 수 있으나, 이에 한정되지 않는다.
또한, 상술한 예시적 수학식 외에도 PTT를 이용하여 혈압을 구하기 위한 다양한 수학식이 이용될 수 있음은 자명하다.
또한, 상기 혈압은 하나의 혈압을 기초로 획득될 수 있으며, 적어도 둘 이상의 혈압을 기초로 획득될 수 있다. 예를 들어, 제1 및 제2 관심 영역에 대한 시계열 데이터를 기초로 계산된 제1 PTT를 기초로 하나의 혈압이 획득될 수 있으며, 제1 및 제2 관심 영역에 대한 다른 시계열 데이터를 기초로 계산된 제2 PTT를 기초로 다른 하나의 혈압이 획득될 수 있고, 획득된 적어도 둘 이상의 혈압을 기초로 최종 혈압이 획득될 수 있으나, 이에 한정되지는 않는다.
도 13은 다른 일 실시예에 따른 혈압 측정 방법을 설명하기 위한 흐름도이다.
도 13을 참조하면, 일 실시예에 따른 혈압 측정 방법(1900)은 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여, 이미지를 획득하는 단계(S1910), 피부 영역을 검출하는 단계(S1920), 관심 영역을 검출하는 단계(S1930) 및 관심 영역에 대한 데이터를 처리하는 단계(S1940) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지는 않는다.
이 때, 상기 이미지를 획득하는 단계(S1910), 상기 피부 영역을 검출하는 단계(S1920), 상기 관심 영역을 검출하는 단계(S1930) 및 상기 관심 영역에 대한 데이터를 처리하는 단계(S1940)에 대한 상세한 내용은 상술한 바 중복되는 서술은 생략하기로 한다.
또한, 일 실시예에 따른 혈압 측정 방법(1900)은 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 시계열 데이터를 추출하는 단계(S1950), 획득된 시계열 데이터를 기초로 특징을 추출하는 단계(S1960) 및 혈압을 획득하는 단계(S1970) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 시계열 데이터를 추출하는 단계(S1950)는 상술한 시계열 데이터 추출하는 단계의 동작들이 수행될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 상기 획득된 시계열 데이터를 기초로 특징을 추출하는 단계(S1960)는 상기 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 수행될 수 있다.
이 때, 상기 특징은 상기 획득된 시계열 데이터의 수학적, 물리적 특징을 의미할 수 있다. 예를 들어, 상기 특징은 상기 획득된 시계열 데이터의 극대값, 극대값의 평균, 극소값, 극소값의 평균, 극대값과 극소값의 차이, 평균, 변곡점, 1차 미분 데이터, 2차 미분 데이터, 특정 시점에서의 기울기 등 수학적 특징을 의미할 수 있으며, 혈액의 변화량, 혈액의 변화 속도, 혈관의 변화량, 혈관의 변화 속도 등 물리적 특징을 의미할 수도 있으나, 이에 한정되지 않는다.
또한, 상기 특징은 상술한 예시적인 특징 외에도 혈압을 획득하기 위한 다양한 특징이 될 수 있음은 자명하다.
또한, 상기 혈압을 획득하는 단계(S1970)는 상기 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 수행될 수 있다.
또한, 상기 혈압을 획득하기 위해 상기 특징이 이용될 수 있다. 예를 들어, 상기 혈압을 획득하기 위해 상기 특징에 대한 함수가 이용될 수 있다. 보다 구체적으로 수학식 6과 같은 함수가 이용될 수 있으며, 함수는 특징을 변수로 하는 1차 함수, 2차 함수, 로그 함수, 지수 함수 등 다양한 함수가 이용될 수 있으나, 이에 한정되지는 않는다.
<수학식 6>
또한, 상기 혈압을 획득하기 위해 상기 특징 및 개인적, 통계적 데이터가 이용될 수 있다. 예를 들어, 상기 혈압을 획득하기 위해 상기 특징에 대한 함수 및 나이, 체중, 키 등 개인적, 통계적 데이터의 함수가 이용될 수 있다. 보다 구체적으로, 아래와 같은 수학식 7이 이용될 수 있으며, 함수는 특징, 체중, 키, 나이를 변수로 하는 1차 함수, 2차 함수, 로그 함수, 지수 함수 등 다양한 함수가 이용될 수 있으나, 이에 한정되지는 않는다.
<수학식 7>
또한, 상기 혈압을 획득하기 위해 상술한 함수를 이용한 회귀분석 방법이 이용될 수 있으나, 이에 한정되지 않는다.
또한, 상기 혈압을 획득하기 위해 상술한 함수를 이용한 머신 러닝(Machine learning) 방법이 이용될 수 있으나, 이에 한정되지 않는다.
또한, 상술한 예시적 수학식 외에도 특징 이용하여 혈압을 구하기 위한 수학식이 이용될 수 있음은 자명하다.
또한, 상기 혈압은 하나의 혈압을 기초로 획득될 수 있으며, 적어도 둘 이상의 혈압을 기초로 획득될 수 있다. 예를 들어, 시계열 데이터를 기초로 계산된 제1 특징을 기초로 하나의 혈압이 획득될 수 있으며, 다른 시계열 데이터를 기초로 계산된 제2 특징을 기초로 다른 하나의 혈압이 획득될 수 있고, 획득된 적어도 둘 이상의 혈압을 기초로 최종 혈압이 획득될 수 있으나, 이에 한정되지는 않는다.
4.4 체온 측정 방법의 다양한 실시예들
도 14는 일 실시예에 따른 체온 측정 방법을 설명하기 위한 흐름도이다.
도 14를 참조하면, 일 실시예에 따른 체온 측정 방법(2000)은 피부 온도를 획득하는 단계(S2010) 및 체온을 획득하는 단계(S2020) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 피부 온도를 획득하는 단계(S2010)는 비접촉방식으로 수행될 수 있다.
예를 들어, 상기 피부 온도를 획득하기 위해 카메라 등의 이미지 센서가 이용될 수 있다. 보다 구체적으로, 상기 피부 온도를 획득하기 위해 카메라 등의 이미지 센서로부터 획득된 이미지의 적어도 하나 이상의 색 채널 값이 이용될 수 있다. 예시적으로, HSV 색공간이 이용되는 경우, 명도(S,Saturation) 값을 이용하여 상기 피부온도가 획득될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 피부 온도를 획득하기 위해 열화상 카메라 등의 센서가 이용될 수 있으며, 적외선 카메라 등의 이미지 센서가 이용될 수 있으나 이에 한정되지 않는다.
또한, 상기 체온을 획득하는 단계(S2020)는 비접촉방식으로 수행될 수 있다.
예를 들어, 상기 체온을 획득하기 위해 피부온도가 이용될 수 있다. 보다 구체적으로, 상기 피부 온도가 측정된 부위와 체온과의 관계를 이용하여 피부 온도를 기초로 체온이 획득될 수 있다.
이 때, 상기 피부 온도는 상기 피부 온도를 획득하는 단계(S2010)로부터 획득될 수 있으며, 다른 외부 센서에 의해 획득될 수도 있다.
또한, 예를 들어, 상기 체온을 획득하기 위해 카메라 등의 이미지 센서가 이용될 수 있다. 보다 구체적으로, 상기 피부 온도를 획득하기 위해 카메라 등의 이미지 센서로부터 획득된 이미지가 이용될 수 있다. 예시적으로, 상기 카메라 등의 이미지 센서로부터 획득된 이미지를 체온 측정 머신러닝 모델에 데이터로 이용하여 체온을 획득할 수도 있으나, 이에 한정되지 않는다.
이하에서는 피부 온도를 획득하는 방법 및 체온을 획득하는 방법에 대하여 상세히 설명하기로 한다.
먼저 카메라 등의 이미지 센서를 이용하여 피부 온도를 획득하는 방법에 대하여 서술하기로 한다.
일 실시예에 따르면, 피부 온도를 획득하기 위해 획득된 이미지의 명도 값이 이용될 수 있다. 예를 들어, 상기 피부 온도를 획득하기 위해 명도 값에 대한 함수가 이용될 수 있다. 보다 구체적으로, 아래와 같은 수학식 8이 이용될 수 있으며, 함수는 명도 값을 변수로 하는 1차 함수, 2차 함수, 로그 함수, 지수 함수 등 다양한 함수가 이용될 수 있으나, 이에 한정되지는 않는다.
<수학식 8>
또한, 일 실시예에 따르면, 피부 온도를 획득하기 위해 획득된 이미지의 명도 값 및 개인적, 통계적 데이터가 이용될 수 있다. 예를 들어, 상기 피부 온도를 획득하기 위해 명도 값에 대한 함수 및 나이, 인종, 성별 등 개인적, 통계적 데이터의 함수가 이용될 수 있다. 보다 구체적으로, 아래와 같은 수학식 9가 이용될 수 있으며, 함수는 명도 값, 나이, 인종, 성별을 변수로 하는 1차 함수, 2차 함수, 로그 함수, 지수 함수 등 다양한 함수가 이용될 수 있으나, 이에 한정되지는 않는다.
<수학식 9>
또한, 일 실시예에 따르면, 피부 온도를 획득하기 위해 획득된 이미지의 명도 값 및 색상 값이 이용될 수 있다. 예를 들어, 상기 피부 온도를 획득하기 위해 명도 값에 대한 함수 및 색상 값에 대한 함수가 이용될 수 있다. 보다 구체적으로, 아래와 같은 수학식 10이 이용될 수 있으며, 함수는 명도 값 및 색상 값을 변수로 하는 1차 함수, 2차 함수, 로그 함수, 지수 함수 등 다양한 함수가 이용될 수 있으나, 이에 한정되지는 않는다.
<수학식 10>
또한, 일 실시예에 따르면, 피부 온도를 획득하기 위해 획득된 이미지의 명도 값, 색상 값 및 개인적, 통계적 데이터가 이용될 수 있다. 예를 들어, 상기 피부 온도를 획득하기 위해 명도 값에 대한 함수, 색상 값에 대한 함수 및 나이, 인종, 성별 등 개인적, 통계적 데이터의 함수가 이용될 수 있다. 보다 구체적으로, 아래와 같은 수학식 11이 이용될 수 있으며, 함수는 명도 값, 색상 값, 나이, 인종, 성별을 변수로 하는 1차 함수, 2차 함수, 로그 함수, 지수 함수 등 다양한 함수가 이용될 수 있으나, 이에 한정되지는 않는다.
<수학식 11>
또한, 일 실시예에 따르면, 피부 온도를 획득하기 위해 획득된 이미지의 명도 값, 색상 값 및 명도 값의 변화 값이 이용될 수 있다. 예를 들어, 상기 피부 온도를 획득하기 위해 명도 값에 대한 함수, 색상 값에 대한 함수 및 명도 값의 변화 값에 대한 함수가 이용될 수 있다. 보다 구체적으로, 아래와 같은 수학식 12가 이용될 수 있으며, 함수는 명도 값, 색상 값 및 명도 값의 변화 값을 변수로 하는 1차 함수, 2차 함수, 로그 함수, 지수 함수 등 다양한 함수가 이용될 수 있으나, 이에 한정되지는 않는다. 또한, 이와 같이 변화 값을 이용하는 경우 외부 환경으로 인한 측정 노이즈를 감소시킬 수 있다.
<수학식 12>
또한, 일 실시예에 따르면, 피부 온도를 획득하기 위해 획득된 이미지의 명도 값, 색상 값, 명도 값의 변화 값 및 개인적, 통계적 데이터가 이용될 수 있다. 예를 들어, 상기 피부 온도를 획득하기 위해 명도 값에 대한 함수, 색상 값에 대한 함수, 명도 값의 변화 값에 대한 함수 및 나이, 인종, 성별 등 개인적, 통계적 데이터의 함수가 이용될 수 있다. 보다 구체적으로, 아래와 같은 수학식 13이 이용될 수 있으며, 함수는 명도 값, 색상 값, 명도 값의 변화 값, 나이, 인종, 성별을 변수로 하는 1차 함수, 2차 함수, 로그 함수, 지수 함수 등 다양한 함수가 이용될 수 있으나, 이에 한정되지는 않는다.
<수학식 13>
또한, 일 실시예에 따르면, 피부 온도를 획득하기 위해 획득된 이미지의 명도 값, 색상 값, 명도 값의 변화 값 및 색상 값의 변화 값이 이용될 수 있다. 예를 들어, 상기 피부 온도를 획득하기 위해 명도 값에 대한 함수, 색상 값에 대한 함수, 명도 값의 변화 값에 대한 함수 및 색상 값의 변화 값에 대한 함수가 이용될 수 있다. 보다 구체적으로, 아래와 같은 수학식 14가 이용될 수 있으며, 함수는 명도 값, 색상 값, 명도 값의 변화 값 및 색상 값의 변화 값을 변수로 하는 1차 함수, 2차 함수, 로그 함수, 지수 함수 등 다양한 함수가 이용될 수 있으나, 이에 한정되지는 않는다. 또한, 이와 같이 변화 값을 이용하는 경우 외부 환경으로 인한 측정 노이즈를 감소시킬 수 있다.
<수학식 14>
또한, 일 실시예에 따르면, 피부 온도를 획득하기 위해 획득된 이미지의 명도 값, 색상 값, 명도 값의 변화 값, 색상 값의 변화 값 및 개인적, 통계적 데이터가 이용될 수 있다. 예를 들어, 상기 피부 온도를 획득하기 위해 명도 값에 대한 함수, 색상 값에 대한 함수, 명도 값의 변화 값에 대한 함수, 색상 값의 변화 값에 대한 함수 및 나이, 인종, 성별 등 개인적, 통계적 데이터의 함수가 이용될 수 있다. 보다 구체적으로, 아래와 같은 수학식 15가 이용될 수 있으며, 함수는 명도 값, 색상 값, 명도 값의 변화 값, 색상 값의 변화 값, 나이, 인종, 성별을 변수로 하는 1차 함수, 2차 함수, 로그 함수, 지수 함수 등 다양한 함수가 이용될 수 있으나, 이에 한정되지는 않는다.
<수학식 15>
또한, 상기 피부 온도를 획득하기 위해 상술한 함수를 이용한 회귀분석 방법이 이용될 수 있으나, 이에 한정되지 않는다.
또한, 상기 피부 온도를 획득하기 위해 상술한 함수를 이용한 머신 러닝(Machine learning) 방법 또는 딥 러닝(Deep learning) 방법이 이용될 수 있으나, 이에 한정되지 않는다.
또한, 상술한 예시적 수학식 외에도 다양한 수학식이 이용될 수 있음은 자명하다. 예를 들어, 상술한 명도 값, 색상 값, 명도 값의 변화 값, 색상 값의 변화 값, 나이, 인종, 성별 등 개인적, 통계적 데이터 중 적어도 일부를 이용한 수학식이 이용될 수 있으며, 이외의 데이터를 이용한 수학식이 이용될 수도 있다.
다음으로, 카메라 등의 이미지 센서를 이용하여 체온을 획득하는 방법에 대하여 서술하기로 한다.
일 실시예에 따르면, 체온을 획득하기 위해 획득된 피부 온도가 이용될 수 있다. 예를 들어, 상기 체온을 획득하기 위해 피부 온도에 대한 함수가 이용될 수 있다. 보다 구체적으로 아래와 같은 수학식 16이 이용될 수 있으며, 함수는 피부 온도를 변수로 하는 1차 함수, 2차 함수, 로그 함수, 지수 함수 등 다양한 함수가 될 수 있으나, 이에 한정되지는 않는다.
<수학식 16>
또한, 일 실시예에 따르면, 실내에서 체온을 획득하는 경우 체온을 획득하기 위해 획득된 피부온도 및 실내 온도가 이용될 수 있다. 예를 들어, 상기 체온을 획득하기 위해 피부 온도에 대한 함수 및 실내 온도에 대한 함수가 이용될 수 있다. 보다 구체적으로 아래와 같은 수학식 17이 이용될 수 있으며, 함수는 피부 온도 및 실내 온도를 변수로 하는 1차 함수, 2차 함수, 로그 함수, 지수 함수 등 다양한 함수가 될 수 있으나, 이에 한정되지는 않는다.
<수학식 17>
또한, 일 실시예에 따르면, 실내에서 체온을 획득하는 경우 체온을 획득하기 위해 획득된 피부온도, 실내 온도 및 심박수가 이용될 수 있다. 예를 들어, 상기 체온을 획득하기 위해 피부 온도에 대한 함수, 실내 온도에 대한 함수 및 심박수에 대한 함수가 이용될 수 있다. 보다 구체적으로 아래와 같은 수학식 18이 이용될 수 있으며, 함수는 피부 온도, 실내 온도 및 심박수를 변수로 하는 1차 함수, 2차 함수, 로그 함수, 지수 함수 등 다양한 함수가 될 수 있으나, 이에 한정되지는 않는다.
<수학식 18>
또한, 일 실시예에 따르면, 다양한 피부 온도가 동시에 이용될 수 있다. 예를 들어, 실내에서 체온을 획득하는 경우 체온을 획득하기 위해 획득된 제1 신체 부위에 대한 제1 피부온도, 제2 신체 부위에 대한 제2 피부온도, 실내 온도 및 심박수가 이용될 수 있다. 예를 들어, 상기 체온을 획득하기 위해 제1 피부 온도에 대한 함수, 제2 피부 온도에 대한 함수, 실내 온도에 대한 함수 및 심박수에 대한 함수가 이용될 수 있다. 보다 구체적으로 아래와 같은 수학식 19가 이용될 수 있으며, 함수는 제1 피부 온도, 제2 피부온도, 실내 온도 및 심박수를 변수로 하는 1차 함수, 2차 함수, 로그 함수, 지수 함수 등 다양한 함수가 될 수 있으나, 이에 한정되지는 않는다.
<수학식 19>
또한, 상기 체온을 획득하기 위해 상술한 함수를 이용한 회귀분석 방법이 이용될 수 있으나, 이에 한정되지 않는다.
또한, 상기 체온을 획득하기 위해 상술한 함수를 이용한 머신 러닝(Machine learning) 방법 또는 딥 러닝(Deep learning) 방법이 이용될 수 있으나, 이에 한정되지 않는다.
또한, 상술한 예시적 수학식 외에도 다양한 수학식이 이용될 수 있음은 자명하다. 예를 들어, 상술한 제1 피부 온도, 제2 피부 온도, 실내 온도, 심박수 중 적어도 일부를 이용한 수학식이 이용될 수 있으며, 이외에도 나이, 성별, 인종, 키, 체중 등 개인적, 통계적 데이터를 이용한 수학식이 이용될 수도 있다.
5. 심박수 측정 방법의 다양한 실시예들
도 15는 일 실시예에 따른 심박수 획득 방법을 설명하기 위한 흐름도이다.
도 15를 참조하면, 일 실시예에 따른 심박수 획득 방법(2100)은 이미지를 획득하는 단계(S2110), 피부 영역을 검출하는 단계(S2120), 관심 영역을 검출하는 단계(S2130), 관심 영역에 대한 데이터를 처리하는 단계(S2140), 특성 값을 획득하는 단계(S2150) 및 심박수를 획득하는 단계(S2160) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지 않는다.
이 때, 상기 이미지를 획득하는 단계(S2110), 피부 영역을 검출하는 단계(S2120) 및 관심 영역을 검출하는 단계(S2130)는 상술한 바 중복되는 서술은 생략하기로 한다.
또한, 상기 관심 영역에 대한 데이터를 처리하는 단계(S2140)는 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대해 수행될 수 있다.
또한, 상기 관심 영역에 대한 데이터를 처리하는 단계(S2140)는 움직임에 의한 노이즈(Motion artifact), 외부 광에 의한 노이즈 등을 저감시키기 위해 수행될 수 있다.
또한, 상기 특성 값을 획득하는 단계(S2150)는 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대해 수행될 수 있다.
또한, 상기 특성 값을 획득하는 단계(S2150)는 움직임에 의한 노이즈, 외부 광에 의한 노이즈 등을 저감시키기 위해 수행될 수 있다.
또한, 상기 심박수를 획득하는 단계(S2160)는 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대해 수행될 수 있다.
이 때, 상기 심박수를 획득하기 위한 이미지 프레임 그룹과 상기 특성 값을 획득하기 위한 이미지 프레임 그룹은 서로 동일할 수 있으며, 상이할 수 있다. 예를 들어, 상기 특성 값을 획득하기 위한 이미지 프레임 그룹은 18개의 이미지 프레임을 포함할 수 있으며, 상기 심박수를 획득하기 위한 이미지 프레임 그룹은 180개의 이미지 프레임을 포함할 수 있으나, 이에 한정되지 않는다.
이하에서는, 관심 영역에 대한 데이터를 처리하는 단계(S2140), 특성 값을 획득하는 단계(S2150) 및 심박수를 획득하는 단계(S2160)에 대하여 더욱 상세히 서술하기로 한다.
도 16은 일 실시예에 따른 색 채널 값들에 대한 그래프이다.
일 실시예에 따르면, 관심 영역에 대한 데이터를 처리하기 위해 상기 관심 영역에 대한 색 채널 값이 추출될 수 있다. 이 때, 색 채널 값은 상기 관심 영역에 포함되는 픽셀들의 색 채널 값의 평균 값일 수 있으며, 평균 픽셀 값으로 지칭될 수도 있다.
도 16을 참조하면, 관심 영역에 대한 데이터를 처리하기 위해 상기 관심 영역에 대한 RGB 색공간에 따른 색 채널 값이 추출될 수 있다. 보다 구체적으로, Red 채널 픽셀 값들의 평균 값인 Red 채널 값, Blue 채널 픽셀 값들의 평균값인 Blue 채널 값 및 Green 채널 픽셀 값들의 평균값인 Green 채널 값이 추출될 수 있다.
예를 들어, RGB 색공간에 따른 색 채널 값이 추출되는 경우, 상기 관심 영역에 포함되는 각 픽셀들의 Red 채널 픽셀 값, Green 채널 픽셀 값, Blue 채널 픽셀 값이 추출 될 수 있으며, 상기 관심 영역에 포함되는 Red 채널 픽셀 값들의 평균 값인 Red 채널 값, Blue 채널 픽셀 값들의 평균값인 Blue 채널 값 및 Green 채널 픽셀 값들의 평균값인 Green 채널 값이 추출될 수 있으나, 이에 한정되지 않으며, HSV, YCrCb 색공간 등 다양한 색공간에 따른 색 채널 값이 추출 될 수 있다.
또한, 특정 색공간에 따라 추출된 색 채널 값은 다른 색공간으로 변환될 수 있다. 예를 들어, RGB 색공간에 따라 추출된 색 채널 값은 HSV, YCrCb 색공간 등 다양한 색공간에 따른 색 채널 값으로 변환될 수 있다.
또한, 상기 관심 영역에 대한 데이터를 처리하기 위해 추출된 색 채널 값은 다양한 색 공간에 따라 추출된 색 채널 값의 적어도 일부에 가중치를 적용하여 조합된 색 채널 값 일 수 있다.
또한, 상기 색 채널 값은 연속적으로 획득되는 복수개의 이미지 프레임 각각에 대하여 추출될 수 있으며, 적어도 일부의 이미지 프레임에 대하여 추출될 수도 있다.
이하에서는, RGB 색 공간에 따라 추출된 색 채널 값을 기준으로 설명하지만, 이에 한정되지 않고 다양한 색 채널 값이 적용될 수 있음은 자명하다.
도 16의 (a)는 RGB 색공간에 따라 추출된 Red 채널 값을 나타내는 그래프이며, (b)는 RGB 색공간에 따라 추출된 Green 채널 값을 나타내는 그래프이고, (c)는 RGB 색공간에 따라 추출된 Blue 채널 값을 나타내는 그래프이다.
도 16에 도시된 바와 같이, 각각의 색 채널 값은 심장의 박동에 따라 값의 변동이 발생할 수 있다.
다만, 각각의 색 채널 값은 심장의 박동에 따라 값의 변동이 발생함과 동시에 피측정자의 움직임이나, 외부광의 세기의 변화에 따라서도 값의 변동이 발생할 수 있다.
따라서, 이와 같이 추출된 색 채널 값을 이용하여 심박수를 획득하기 위해서 피측정자의 움직임이나, 외부광의 세기의 변화에 따른 값의 변동을 저감시키고, 심장 박동에 따른 값의 변동을 극대화 시키는 동작이 필요할 수 있다.
5.1 관심 영역에 대한 데이터를 처리하는 방법의 다양한 실시예들
관심 영역에 대한 데이터를 처리하는 방법에 대해 상술한 내용들이 적용될 수 있음은 자명하며, 상술한 내용들과 중복되는 서술들은 생략하기로 한다.
도 17은 일 실시예에 따른 노이즈 저감 방법을 설명하기 위한 그래프이다.
도 17의 (a)는 RGB 색공간에 따라 추출된 Red 채널 값을 나타내는 그래프 이며, (b)는 RGB 색공간에 따라 추출된 Green 채널 값을 나타내는 그래프이다.
도 17의 (a) 및 (b)를 참조하면, 추출된 색 채널 값은 시간에 따라 변동이 발생하는 것을 알 수 있다.
이 때, 추출된 색 채널 값은 심장의 박동에 따라 변동이 발생하기도 하지만, 피측정자의 움직임이나, 외부광의 세기의 변화에 따라 변동이 발생하기도 할 수 있다.
보다 구체적으로, 색 채널 값의 변동이 크고 느리게 발생하는 것은 피측정자의 움직임이나, 외부광의 세기의 변화에 더 영향을 많이 받아 변동이 발생하는 것이며, 변동이 작고 빠르게 발생하는 것은 피측정자의 심장의 박동에 더 영향을 많이 받아 변동이 발생하는 것일 수 있다.
따라서, 심장의 박동에 따른 변동보다 피측정자의 움직임이나 외부광의 세기의 변화에 따른 값의 변동이 더 크기 때문에 이를 저감 시키기 위해 적어도 두개의 색 채널 값의 상대적 차이를 이용할 수 있다.
예시적으로, 노이즈를 저감시키기 위해 Green 채널 값과 Red 채널 값의 차이 값을 이용할 수 있다. 보다 구체적으로 동일한 이미지 프레임에서 획득된 Green 채널 값과 Red 채널 값은 동일한 움직임 및 동일한 외부광의 세기를 반영할 수 있으며, 동일한 프레임의 Green 채널 값과 Red 채널 값의 차이 값은 피측정자의 움직임 및 외부광의 세기의 변화 등에 따른 노이즈를 저감시킬 수 있으나, 이에 한정되지 않고, 적어도 두개의 색 채널 값의 상대적 차이를 이용하여 노이즈를 저감시킬 수 있다.
도 17의 (c)는 상기 Green 채널 값과 상기 Red 채널 값의 차이 값을 나타내는 그래프이다.
도 17의 (c)에 도시된 바와 같이, 상기 Green 채널 값과 상기 Red 채널 값의 차이 값은 피측정자의 움직임 및 외부광의 세기의 변화 등에 따른 노이즈를 저감시킬 수 있다.
또한, 상술한 노이즈를 저감시키는 방법은 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여 수행될 수 있으며, 연속된 복수개의 이미지 프레임 각각에 대하여 수행될 수도 있다.
또한, 도 17의 (c)에는 도시되지 않았으나, 상기 Green 채널 값과 상기 Blue 채널 값의 차이 값을 이용하여 노이즈를 저감시킬 수도 있으며, 상기 Red 채널 값과 상기 Blue 채널 값의 차이 값을 이용하여 노이즈를 저감시킬 수도 있다.
또한, 상술한 바와 같이 적어도 두개의 색 채널 값의 상대적 차이를 이용하여 노이즈를 저감시키기 위해 차이 값을 구하기 위해 적어도 두 개의 색 채널 값이 선택 될 수 있다.
이 때, 상기 적어도 두 개의 색 채널 값은 혈액의 흡광도를 고려하여 선택될 수 있다.
도 18은 가시광 대역에서 헤모글로빈과 산소헤모글로빈의 흡광도를 나타낸 도면이다.
일 실시예에 따르면, Red 채널은 620nm 내지 750nm 파장 대역 중 적어도 일부를 포함하는 채널일 수 있으며, Green 채널은 495nm 내지 570nm 파장 대역 중 적어도 일부를 포함하는 채널일 수 있으며, Blue 채널은 450nm 내지 495nm 파장 대역 중 적어도 일부를 포함하는 채널일 수 있으나, 이에 한정되지 않으며, Red 채널, Green 채널, Blue 채널 각각 통상 이해될 수 있는 색 채널일 수 있다.
도 18을 참조하면, 빛의 파장 대역에 따른 헤모글로빈과 산소헤모글로빈의 흡광도를 알 수 있다. 예를 들어, 도 18에 도시된 바와 같이 Green 채널에 포함되는 550nm 파장 대역의 빛에 대한 헤모글로빈과 산소 헤모글로빈의 흡광도는 Red 채널에 포함되는 650nm 파장 대역의 빛에 대한 헤모글로빈과 산소 헤모글로빈의 흡광도 보다 높을 수 있다.
또한, 예를 들어, 도 18에 도시된 바와 같이 Green 채널에 포함되는 550nm 파장 대역의 빛에 대한 헤모글로빈과 산소 헤모글로빈의 흡광도는 Blue 채널에 포함되는 470nm 파장 대역의 빛에 대한 헤모글로빈과 산소 헤모글로빈의 흡광도 보다 높을 수 있다.
또한, 심장 박동에 의해 혈액이 전신으로 운반되는 경우, 혈액의 흐름에 의해 혈관의 부피가 변하거나 혈관에 포함되는 혈액의 양이 변할 수 있다.
따라서, 상대적으로 혈액에 포함되는 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 많이 되는 빛의 파장 대역을 포함하는 색 채널 값은 심장 박동에 의한 혈액 양의 변화에 의해 상대적으로 많이 변동될 수 있다.
이에 반해, 상대적으로 혈액에 포함되는 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 적게 되는 빛의 파장 대역을 포함하는 색 채널 값은 심장 박동에 의한 혈액 양의 변화에 의해 상대적으로 적게 변동될 수 있다.
따라서, 일 실시예에 따르면, 헤모글로빈과 산소 헤모글로빈의 흡광도를 고려하여 노이즈를 저감시키기 위한 적어도 두 개의 색 채널이 선택될 수 있다.
예를 들어, 일 실시예에 따르면, 노이즈를 저감시키기 위하여 상대적으로 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 많이 되는 Green 채널 값과 상대적으로 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 적게되는 Red 채널 값의 차이 값이 이용될 수 있다.
또한, 예를 들어, 일 실시예에 따르면, 노이즈를 저감시키기 위하여 상대적으로 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 많이 되는 Green 채널 값과 상대적으로 헤모글로빈과 산소 헤모 글로빈에 의해 흡수가 적게되는 Blue 채널 값의 차이 값이 이용될 수 있다.
또한, 예를 들어, 일 실시예에 따르면, 노이즈를 저감시키기 위하여 상대적으로 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 많이 되는 Blue 채널 값과 상대적으로 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 적게되는 Red 채널 값의 차이 값이 이용될 수 있다.
또한, 예를 들어, 일 실시예에 따르면, 상기 Green 채널 값과 상기 Red 채널 값의 차이 값 및 상기 Green 채널 값과 상기 Blue 채널 값의 차이 값이 동시에 이용될 수 있다.
또한, 상술한 예시들은 차이 값을 기초로 설명 되었으나, 피측정자의 움직임에 의한 노이즈 및 외부 광 등에 의한 노이즈를 저감시키기 위해 차이 값 외에도 각 채널 값에 가중치를 이용하여 가공한 가공 값이 이용될 수 있다.
예를 들어, 아래의 수학식 20과 같이 각 채널 값에 가중치를 이용하여 가공한 가공 값이 이용될 수 있다.
<수학식 20>
또한, 이 때 효율적으로 피측정자의 움직임에 의한 노이즈 및 외부 광에 의한 노이즈를 제거하기 위해 a+b+c=0이 되도록 각 a,b,c 값이 결정될 수 있으며, 이는 각각의 채널 값이 하나의 이미지 프레임에서 유사한 정도의 움직임에 의한 노이즈 및 외부 광에 의한 노이즈를 포함할 수 있어, 노이즈를 효과적으로 저감하는데 유리할 수 있다.
5.2 특성 값 획득의 다양한 실시예들
피측정자의 움직임에 의한 노이즈 및 외부광의 세기 등에 따른 노이즈를 저감시키기 위하여 특성 값(Characteristic Value)이 획득될 수 있다.
이 때, 상기 특성 값은 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 획득될 수 있다.
또한, 상기 특성 값은 획득된 색 채널 값 또는 가공 값의 특성을 의미하는 값 일 수 있다. 예를 들어, 상기 특성 값은 이미지 프레임 그룹에 포함되는 색 채널 값 또는 가공 값의 평균 값, 편차 값, 표준 편차 값 등을 의미할 수 있으나, 이에 한정되지는 않는다.
도 19는 일 실시예에 따른 특성 값 획득 방법을 설명하기 위한 도면이다.
도 19의 (a)는 일 실시예에 따라 획득된 색 채널 값을 나타내는 그래프 이며, 보다 구체적으로 Green 채널 값과 Red 채널 값의 차이 값을 나타내는 그래프이다. 다만, 이는 설명의 편의 상 Green 채널 값과 Red 채널 값의 차이값으로 특정하여 나타낸 것일 뿐, 이에 한정되지 않고 다양한 색 채널 값, 차이 값 및 가공 값 등이 될 수 있다.
도 19의 (a)를 참조하면, Green 채널 값과 Red 채널 값의 차이 값(이하 'G-R 값'으로 서술한다.)은 시간에 따라 값의 변화의 크기가 일정하지 않을 수 있음을 알 수 있다.
이 때, G-R값은 피측정자의 움직임에 의해 값이 일정하지 않을 수 있다. 예를 들어, 피측정자의 움직임이 적은 경우 G-R값의 변화가 작을 수 있으며, 피측정자의 움직임이 많은 경우 G-R값의 변화가 클 수 있으나, 이에 한정되지는 않는다.
또한, G-R값은 외부광의 세기에 따라 값이 일정하지 않을 수 있다. 예를 들어, 외부광의 세기가 약한 경우 G-R값의 변화가 작을 수 있으며, 외부광의 세기가 강한 경우 G-R값의 변화가 클 수 있으나, 이에 한정되지는 않는다.
따라서, 이와 같이 피측정자의 움직임이나 외부광의 세기 등에 의한 노이즈를 저감시키기 위해 특성 값이 추출될 수 있다.
또한, 상기 특성 값을 추출하기 위해 상기 특성 값에 대한 윈도우가 설정될 수 있다.
이 때, 상기 특성 값에 대한 윈도우는 미리 설정된 시간 구간을 의미할 수 있으며, 미리 설정된 프레임 개수를 의미할 수도 있으나, 이에 한정되지 않고 상기 특성 값을 획득하기 위해 복수개의 프레임 중 적어도 일부의 프레임 그룹을 설정하기 위한 윈도우를 의미할 수 있다.
도 19의 (b)는 특성 값에 대한 윈도우를 설명하기 위한 개략도이며, 보다 구체적으로, 180개의 이미지 프레임을 10 등분한 18개의 이미지 프레임으로 설정된 특성 값에 대한 윈도우를 설명하기 위한 개략도이다. 다만, 이는 설명의 편의 상 180개의 이미지 프레임을 10 등분한 18개의 이미지 프레임으로 설정된 특성 값에 대한 윈도우를 나타낸 것일 뿐, 이에 한정되지 않고 다양한 방법과 개수로 특성 값에 대한 윈도우가 설정될 수 있다.
도 19의 (b)를 참조하면, 획득된 복수개의 이미지 프레임은 특성 값에 대한 윈도우에 의해 그룹으로 설정될 수 있다. 예를 들어, 도 19의 (b)에 도시된 바와 같이 180개의 이미지 프레임은 특성 값에 대한 윈도우에 의해 각 18개의 이미지 프레임을 포함하는 그룹으로 설정될 수 있다. 보다 구체적으로, 제1 이미지 프레임부터 제18 이미지 프레임까지 제1 이미지 프레임 그룹(2210)에 포함될 수 있으며, 제19 이미지 프레임부터 제36 이미지 프레임까지 제2 이미지 프레임 그룹(2220)에 포함될 수 있으나 이에 한정되지 않는다.
이 때, 상기 특성 값은 특성 값에 대한 윈도우에 의해 설정된 이미지 프레임 그룹에 대하여 획득될 수 있다. 예를 들어, 상기 특성 값은 제1 이미지 프레임 그룹(2210)에 대한 색 채널 값들에 대하여 획득될 수 있으며, 제2 이미지 프레임 그룹(2220)에 대한 색 채널 값들에 대하여 획득될 수 있다.
또한, 예를 들어, 상기 특성 값이 평균 값인 경우 이미지 프레임 그룹에 대한 색 채널 값의 평균 값이 획득될 수 있다. 보다 구체적으로 제1 이미지 프레임 그룹(2210)에 포함되는 제1 내지 제18 이미지 프레임들에 대한 G-R값들의 평균 값이 획득될 수 있으며, 제2 이미지 프레임 그룹(2220)에 포함되는 제19 내지 제36 이미지 프레임들에 대한 G-R값들의 평균 값이 획득될 수 있으나, 이에 한정되지는 않는다.
또한, 예를 들어, 상기 특성 값이 표준편차 값인 경우 이미지 프레임 그룹에 대한 색 채널 값의 표준편차 값이 획득될 수 있다. 보다 구체적으로 제1 이미지 프레임 그룹(2210)에 포함되는 제1 내지 제18 이미지 프레임들에 대한 G-R값들의 표준 편차 값이 획득될 수 있으며, 제2 이미지 프레임 그룹(2220)에 포함되는 제19 내지 제36 이미지 프레임들에 대한 G-R값들의 표준 편차 값이 획득될 수 있으나, 이에 한정되지는 않는다.
다만, 상술한 예시들에 한정되지 않고, 다양한 특성 값이 이미지 프레임 그룹에 대하여 획득될 수 있다.
또한, 상기 특성 값은 특성 값에 대한 윈도우에 의해 나눠진 이미지 프레임 그룹에 포함되는 적어도 일부의 이미지 프레임에 대하여 획득될 수 있다. 예를 들어, 상기 특성 값은 제1 이미지 프레임 그룹(2210)에 포함되는 18개의 이미지 프레임 중 적어도 일부의 이미지 프레임에 대한 색 채널 값에 대하여 획득될 수 있으며, 제2 이미지 프레임 그룹(2220)에 포함되는 18개의 이미지 프레임 중 적어도 일부의 이미지 프레임에 대한 색 채널 값에 대하여 획득될 수 있다.
또한, 예를 들어, 상기 특성 값이 편차 값인 경우 이미지 프레임 그룹에 포함되는 적어도 일부의 이미지 프레임에 대한 색 채널 값의 편차 값이 획득될 수 있다. 보다 구체적으로, 제1 이미지 프레임 그룹(2210)의 G-R값 평균에 대한 제1 이미지 프레임 그룹에 포함되는 제1 이미지 프레임의 G-R값의 편차 값이 획득될 수 있으며, 제2 이미지 프레임 그룹(2220)의 G-R값 평균에 대한 제2 이미지 프레임 그룹에 포함되는 제19 이미지 프레임의 G-R값의 편차 값이 획득될 수 있으나, 이에 한정되지는 않는다.
또한, 예를 들어, 상기 특성 값이 편차 값인 경우 이미지 프레임 그룹에 포함되는 적어도 일부의 이미지 프레임에 대한 색 채널 값의 편차 값이 획득될 수 있다. 보다 구체적으로, 제1 이미지 프레임 그룹(2210)의 G-R값 평균에 대한 제1 이미지 프레임 그룹에 포함되는 제1 이미지 프레임의 G-R값의 편차 값이 획득될 수 있으며, 제1 이미지 프레임 그룹(2210)에 포함되는 제2 이미지 프레임의 G-R값의 편차 값이 획득될 수 있으나, 이에 한정되지는 않는다.
또한, 획득된 특성 값은 정규화될 수 있다.
예를 들어, 상기 특성 값이 편차 값인 경우 상기 편차 값은 표준편차 값에 의해 정규화 될 수 있다. 보다 구체적으로, 제1 이미지 프레임 그룹(2210)의 G-R값 평균에 대한 제1 이미지 프레임 그룹(2210)에 포함되는 제1 이미지 프레임의 G-R값의 편차 값이 획득된 경우 상기 제1 이미지 프레임의 G-R 값의 편차 값은 상기 제1 이미지 프레임 그룹(2210)의 표준편차 값에 의해 정규화 될 수 있으나, 이에 한정되지 않고 다양한 방법으로 정규화될 수 있다.
또한, 이처럼 정규화 되는 경우 변화량의 크기가 정규화 되어 심장 박동에 의한 값의 변화를 더욱 잘 반영할 수 있으며, 피측정자의 움직임에 의한 노이즈 및 외부광의 세기 변화 등에 따른 노이즈를 효과적으로 저감시킬 수 있다.
도 19의 (c)는 일 실시예에 따라 획득된 특성 값을 나타내는 그래프이며, 보다 구체적으로, G-R값을 기초로 획득된 편차 값을 나타낸 그래프이다. 다만, 이는 설명의 편의상 G-R값을 기초로 획득된 편차 값을 특정하여 나타낸 것일 뿐, 이에 한정되지 않고 댜양한 색 채널 값, 차이 값 및 가공 값에 기초하여 획득된 다양한 특성 값 일 수 있다.
도 19의 (c)를 참조하면, 도 19의 (a)와 비교해서 값의 변화의 크기가 보다 일정한 것을 알 수 있다.
따라서, 상술한 바와 같은 특성 값을 획득하는 것은 피측정자의 움직임에 의한 노이즈 및 외부 광의 세기의 변화 등에 따른 노이즈를 저감시키고 심장 박동에 따른 값의 변화를 더욱 잘 반영할 수 있게 한다.
도 20은 다른 일 실시예에 따른 특성 값 획득 방법을 설명하기 위한 도면이다.
도 20의 (a)는 일 실시예에 따라 획득된 색 채널 값을 나타내는 그래프 이며, 보다 구체적으로 Green 채널 값과 Red 채널 값의 차이 값을 나타내는 그래프이다. 다만, 이는 설명의 편의 상 Green 채널 값과 Red 채널 값의 차이값으로 특정하여 나타낸 것일 뿐, 이에 한정되지 않고 다양한 색 채널 값, 차이 값 및 가공 값 등이 될 수 있다.
도 20의 (a)를 참조하면, Green 채널 값과 Red 채널 값의 차이 값(이하 'G-R 값'으로 서술한다.)은 시간에 따라 값의 변화의 크기가 일정하지 않을 수 있음을 알 수 있다.
이 때, G-R값은 피측정자의 움직임에 의해 값이 일정하지 않을 수 있다. 예를 들어, 피측정자가 제1 상태로 위치하는 시간 구간(2301)에서는 전체적인 G-R 값이 작을 수 있으며, 피측정자가 상기 제1 상태와 상이한 제2 상태로 위치하는 시간 구간(2302)에서는 전체적인 G-R 값이 클 수 있으나, 이에 한정되지 않는다.
또한, G-R값은 외부광의 세기에 따라 값이 일정하지 않을 수 있다. 예를 들어, 상기 피측정자가 제1 상태로 위치하는 시간 구간(2301)에서의 외부광의 세기와 상기 피측정자가 제2 상태로 위치하는 시간 구간(2302)에서의 외부광의 세기가 서로 상이할 수 있으며, 이로 인해 전체적인 G-R 값의 차이가 발생할 수 있으나, 이에 한정되지 않는다.
따라서, 이와 같이 피측정자의 움직임이나 외부광의 세기 등에 의한 노이즈를 저감시키기 위해 특성 값이 추출될 수 있다.
또한, 상기 특성 값을 추출하기 위해 상기 특성 값에 대한 윈도우가 설정될 수 있다.
이 때, 상기 특성 값에 대한 윈도우는 미리 설정된 시간 구간을 의미할 수 있으며, 미리 설정된 프레임 개수를 의미할 수도 있으나, 이에 한정되지 않고 상기 특성 값을 획득하기 위해 복수개의 프레임 중 적어도 일부의 프레임 그룹을 설정하기 위한 윈도우를 의미할 수 있다.
또한, 상기 윈도우에 의해 설정된 적어도 일부의 프레임 그룹은 적어도 일부 오버랩 될 수 있다.
도 20의 (b)는 특성 값에 대한 윈도우를 설명하기 위한 개략도이며, 보다 구체적으로, 180개의 이미지 프레임을 8등분한 크기로 설정된 특성 값에 대한 윈도우를 설명하기 위한 개략도이다. 다만, 이는 설명의 편의상 180개의 이미지 프레임을 8등분한 크기로 설정된 특성값에 대한 윈도우를 나타낸 것일 뿐, 이에 한정되지 않고 다양한 방법과 크기로 특성 값에 대한 윈도우가 설정될 수 있다.
또한, 도 20의 (b)를 참조하면, 획득된 복수개의 이미지 프레임은 특성 값에 대한 윈도우에 의해 그룹으로 설정될 수 있다. 예를 들어, 도 20의 (b)에 도시된 바와 같이 180개의 이미지 프레임은 특성 값에 대한 윈도우에 의해 22개 또는 23개의 이미지 프레임을 포함하는 그룹으로 설정될 수 있다. 보다 구체적으로, 제1 이미지 프레임부터 제22 이미지 프레임까지 제1 이미지 프레임 그룹(2310)에 포함될 수 있다.
또한, 도 20의 (b)를 참조하면, 특성 값에 대한 윈도우에 의해 설정된 이미지 프레임 그룹은 적어도 일부 오버랩 될 수 있다. 예를 들어, 도 20의 (b)에 도시된 바와 같이, 제1 이미지 프레임부터 제22 이미지 프레임까지 제1 이미지 프레임 그룹(2310)에 포함될 수 있으며, 제6 이미지 프레임부터 제28 이미지 프레임까지 제2 이미지 프레임 그룹(2320)에 포함될 수 있고, 제12 이미지 프레임부터 제33 이미지 프레임까지 제3 이미지 프레임 그룹(2330)에 포함될 수 있으며, 제17 이미지 프레임부터 제39 이미지 프레임 그룹(2340)에 포함될 수 있으나, 이에 한정되지는 않는다.
또한, 도 20의 (b)를 참조하면, 특성 값에 대한 윈도우에 의해 설정된 이미지 프레임 그룹은 오버랩되지 않을 수 있다. 예를 들어, 도 20의 (b)에 도시된 바와 같이, 제1 이미지 프레임부터 제22 이미지 프레임까지 제1 이미지 프레임 그룹(2310)에 포함될 수 있으나 제23 이미지 프레임부터 제45 이미지 프레임까지 제5 이미지 프레임 그룹(2350)에 포함될 수 있으나, 이에 한정되지는 않는다.
이 때, 상기 특성 값은 특성 값에 대한 윈도우에 의해 설정된 이미지 프레임 그룹에 대하여 획득될 수 있으며, 상기 이미지 프레임 그룹에 포함되는 적어도 일부의 이미지 프레임에 대하여도 획득될 수 있으나, 이에 대한 상세한 내용은 상술한 내용들이 적용될 수 있으므로 중복된 서술은 생략하기로 한다.
다만, 적어도 일부 오버랩되는 이미지 프레임 그룹들에 포함되는 이미지 프레임에 대하여 획득된 특성 값들의 처리는 이하에서 상세하게 설명하기로 한다.
특성 값을 획득하는 경우 적어도 두 개의 이미지 프레임 그룹이 오버랩 되는 영역에 포함되는 이미지 프레임에 대하여 복수개의 특성값이 획득될 수 있다.
예를 들어, 제1 이미지 프레임 그룹(2310) 및 제2 이미지 프레임 그룹(2320)이 오버랩 되는 제6 내지 제22 이미지 프레임들에 대하여 적어도 두 개의 특성 값이 획득될 수 있다.
보다 구체적으로, 제6이미지 프레임에 대하여, 제1 이미지 프레임 그룹(2310)의 G-R값 평균에 대한 제6 이미지 프레임의 G-R값의 편차 값인 제1 편차 값이 획득될 수 있으며, 제2 이미지 프레임 그룹(2320)의 G-R값 평균에 대한 제6 이미지 프레임의 G-R값의 편차 값인 제2 편차 값이 획득될 수 있으나, 이에 한정되지는 않는다.
또한, 획득된 복수개의 특성 값은 연산을 통해 하나의 특성 값으로 획득될 수 있다. 예를 들어, 상기 제1 편차 값 및 제2 편차 값을 합하여 제6 이미지 프레임의 편차 값을 획득할 수 있으나, 이에 한정되지 않는다.
또한, 상술한 동작들은 세 개, 네 개 등 복수의 이미지 프레임 그룹이 오버랩 되는 영역에 포함되는 이미지 프레임에 대한 특성 값을 획득하기 위해 적용될 수 있다.
또한, 상술한 동작 외에도 통상적으로 이해될 수 있는 슬라이딩 윈도우 방식이 적용될 수도 있다.
도 20의 (c)는 일 실시예에 따라 획득된 특성 값을 나타내는 그래프이며, 보다 구체적으로 G-R값을 기초로 획득된 편차 값을 나타낸 그래프이다. 다만, 이는 설명의 편의상 G-R 값을 기초로 획득된 편차 값을 특정하여 나타낸 것일 뿐, 이에 한정되지 않고 다양한 색 채널 값, 차이 값 및 가공 값에 기초하여 획득된 다양한 특성 값 일 수 있다.
도 20의 (c)를 참조하면, 도 20의 (a)와 비교해서 전체적인 값의 크기가 일정해짐을 알 수 있다.
보다 구체적으로, 피측정자가 제1 상태로 위치하는 시간 구간(2301)에서의 전체적인 특성 값과 피측정자가 제2 상태로 위치하는 시간 구간(2302)에서의 전체적인 특성 값은 서로 유사해질 수 있다.
따라서, 상술한 바와 같이 특성 값을 획득하는 것은 피측정자의 움직임에 의한 노이즈 및 외부 광의 세기 등의 변화에 따른 노이즈를 저감시키고 심장 박동에 따른 값의 변화를 더욱 잘 반영할 수 있게 한다.
5.3 복수개의 특성 값을 이용하는 방법의 다양한 실시예들
상술한 방법들에 따라 획득된 특성 값은 기초가 되는 색 채널 값, 차이 값 및 가공 값에 영향을 받을 수 있다. 따라서, 다양한 색 채널 값, 차이 값 및 가공 값을 기초로 복수개의 특성 값을 획득하여 복수개의 특성 값을 이용하는 것은 보다 정확한 생채 지수의 획득을 가능하게 할 수 있다.
도 21은 복수개의 특성 값을 이용하는 방법에 대해 설명하기 위한 도면이다.
도 21의 (a)는 일 실시예에 따라 획득된 두 개의 특성 값을 나타내는 그래프이며, 보다 구체적으로 G-R값을 기초로 획득된 제1 특성 값과 G-B값을 기초로 획득된 제2 특성 값을 나타내는 그래프이다. 다만, 이는 설명의 편의 상 특정하여 나타낸 것일 뿐, 이에 한정되지 않고 다양한 색 채널 값, 차이 값 및 가공 값에 기초하여 획득된 특성 값이 될 수 있다.
이 때, G-R 값을 기초로 획득된 제1 특성 값은 G-R값에 영향을 받을 수 있다. 예를 들어, 외부 광이 Blue 채널에 가까운 빛인 경우 G-R 값은 심장 박동에 따른 혈액의 변화를 잘 반영하지 못할 수 있다.
또는 예를 들어, Green 채널의 흡광도 및 Red 채널의 흡광도의 차이에 영향을 받아 심장 박동에 따른 혈액의 변화를 반영할 수 있다.
또한, G-B 값을 기초로 획득된 제2 특성 값은 G-B값에 영향을 받을 수 있다. 예를 들어, 외부 광이 Red 채널에 가까운 빛인 경우 G-B 값은 심장 박동에 따른 혈액의 변화를 잘 반영하지 못할 수 있다.
또는 예를 들어, Green 채널의 흡광도 및 Blue 채널의 흡광도의 차이에 영향을 받아 심장 박동에 따른 혈액의 변화를 반영할 수 있다.
또한, 도 21의 (a)를 참조하면, 제1 특성 값과 제2 특성 값은 상호 보완적인 관계를 가질 수 있다. 예를 들어, 제1 특성 값이 심장 박동에 따른 변화를 잘 반영하지 못하는 구간에서 제2 특성 값이 심장 박동에 따른 변화를 잘 반영할 수 있으며, 그 반대의 경우도 포함된다.
따라서, 외부광의 파장의 변화에 따른 노이즈를 저감시키거나, 심장 박동에 따른 혈액의 변화를 더욱 잘 반영할 수 있도록 제1 특성 값 및 제2 특성 값이 이용될 수 있다.
도 21의 (b)는 상기 제1 특성 값 및 상기 제2 특성 값을 이용하여 획득된 제3 특성 값을 나타내는 그래프이며, 보다 구체적으로 상기 제1 특성 값 및 상기 제2 특성 값을 합하여 획득된 제3 특성 값을 나타내는 그래프이다. 다만, 이는 설명의 편의상 특정하여 나타낸 것일 뿐, 이에 한정 되지 않는다.
또한, 상기 제3 특성 값은 상기 제1 특성 값 및 상기 제2 특성 값의 연산에 기초하여 획득될 수 있다 .예를 들어, 상기 제3 특성 값은 상기 제1 특성 값 및 상기 제2 특성 값의 합 연산에 기초하여 획득될 수 있으나, 이에 한정되지 않고, 차이 연산, 곱 연산 등 다양한 연산에 기초하여 획득될 수 있다.
또한, 상기 제3 특성 값은 상기 제1 특성 값 및 상기 제2 특성 값에 다양한 가중치를 부여하여 획득될 수 있다. 예를 들어, 아래의 수학식 21에 기초하여 획득될 수 있으나, 이에 한정되지 않는다.
<수학식 21>
또한, 도 21의 (a) 및 (b)를 참조하면, 상기 제3 특성 값은 상기 제1 특성 값 및 상기 제2 특성 값 보다 심장 박동에 따른 혈액의 변화를 잘 반영할 수 있으며, 외부광의 파장의 변화에 따른 노이즈를 저감시킬 수 있다.
5.4 심박수 획득 방법의 다양한 실시예들
상술한 방법들로부터 획득된 데이터로부터 심박수를 획득하기 위해 심장 박동에 따른 주기적인 변화를 감지할 필요가 있을 수 있다. 예를 들어, 획득된 특성 값으로부터 심박수를 획득하기 위해 특성 값에 가장 많이 포함되는 파장 또는 주파수 성분을 획득할 필요가 있다.
도 22는 도 21의 (b)에 도시된 특성 값에 대한 그래프로부터 주파수 성분을 추출한 그래프이다. 보다 구체적으로 도 22는 특성 값에 대한 그래프를 고속 푸리에 변환하여 주파수 도메인으로 변환한 그래프이다. 다만, 이는 설명의 편의를 위해 고속 푸리에 변환을 특정하여 나타내었으나, 이에 한정되지 않고, 특성 값에 대한 그래프는 고속 푸리에 변환(Fast fourier transform, FFT), 이산 푸리에 변화(discrete fourier transform, DFT), STFT(short time fourier transfom) 등에 따라 변환 될 수 있다.
또한, 특성 값에 대한 그래프는 도 22에 도시된 바와 같이, 주파수 도메인으로 변환될 수 있다.
이 때, 세기가 가장 높은 주파수 인덱스(frequency index)가 획득될 수 있으며, 심박수는 아래와 같은 수학식 22에 의해 획득될 수 있다.
<수학식 22>
예를 들어, 도 22에 도시된 바와 같이, 세기가 가장 높은 주파수 인덱스가 1.2Hz인 경우 심박수는 72bpm이 될 수 있다.
또한, 특성 값에 대한 그래프는 도 22에 도시되지는 않았으나, 주파수*측정시간 도메인으로 변환될 수 있다.
이 때, 세기가 가장 높은 인덱스(wavelength index)가 획득 될 수 있으며, 심박수는 아래와 같은 수학식 23에 의해 획득될 수 있다.
<수학식 23>
예를 들어, 도 22에 도시되지는 않았으나, 세기가 가장 높은 인덱스는 8이며, 측정 시간이 6.6초인 경우, 심박수는 8/6.6*60으로 72bpm이 될 수 있다.
또한, 상술한 예시 외에도 심박수를 획득하기 위한 다양한 수학식이 이용될 수 있다.
또한, 심박수를 획득하기 위해 예비 심박수가 획득될 수 있다. 이 때, 예비 심박수는 심박수를 획득하기 위해 기초가 되는 계산된 심박수 일 수 있다.
도 23은 일 실시예에 따른 심박수 획득 방법을 설명하기 위한 도면이다.
설명하기에 앞서, 이하에서 서술하는 '예비 심박수(preliminary heart rate)'는 심박수 획득 방법에 따라 획득된 심박수를 의미할 수 있으며, 하나의 심박수를 획득하기 위해 기초가 되는 심박수를 의미할 수도 있다. 예를 들어, 상술한 심박수 획득 방법에 따라 획득된 적어도 2개의 심박수는 하나의 최종 심박수를 획득하기 위한 기초가 되는 제1 예비 심박수 및 제2 예비 심박수 일 수 있으나, 이에 한정되지는 않는다.
또한, 상기 예비 심박수는 그 자체로 최종 심박수가 될 수 있으며, 복수개의 예비 심박수를 기초로 최종 심박수가 획득 될 수도 있다.
도 23의 (a)는 시계열 데이터로 획득된 값을 나타내는 그래프이다. 예를 들어, 도 23의 (a)는 시계열 데이터로 획득된 색 채널 값을 의미할 수 있으나, 이에 한정되지 않고, 시계열 데이터로 획득된 차이 값, 가공 값을 의미할 수도 있고, 시계열 데이터로 획득된 특성 값을 의미할 수 있다.
도 23의 (a)에 도시된 바와 같은 시계열 데이터로 획득된 값을 나타내는 그래프를 파장 도메인이나 주파수 도메인으로 변환하는 방법에 대하여 상술한 내용이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
도 23의 (b)는 예비 심박수에 대한 윈도우를 설명하기 위한 개략도이며, 보다 구체적으로, 6초의 크기로 설정된 예비 심박수에 대한 윈도우를 설명하기 위한 개략도이다. 다만, 이는 설명의 편의상 특정한 것일 뿐 이에 한정되지 않으며 다양한 크기로 윈도우가 설정될 수 있다.
이 때, 상기 예비 심박수에 대한 윈도우는 미리 설정된 시간 구간을 의미할 수 있으며, 미리 설정된 프레임 개수를 의미할 수도 있으나, 이에 한정되지 않고 예비 심박수를 획득하기 위해 복수개의 프레임 중 적어도 일부의 프레임 그룹을 설정하기 위한 윈도우를 의미할 수 있다.
또한, 도 23의 (b)를 참조하면, 획득된 복수개의 이미지 프레임은 예비 심박수에 대한 윈도우에 의해 그룹으로 설정될 수 있다. 예를 들어, 도 20의 (b)에 도시된 바와 같이 0초부터 6초 사이에 획득된 이미지 프레임은 제1 이미지 프레임 그룹(2410)에 포함될 수 있으나, 이에 한정되지 않는다.
또한, 도 23의(b)를 참조하면, 예비 심박수에 대한 윈도우에 의해 설정된 이미지 프레임 그룹은 적어도 일부 오버랩 될 수 있다. 예를 들어, 도 23의 (b)에 도시된 바와 같이, 0초부터 6초 사이에 획득된 이미지 프레임은 제1 이미지 프레임 그룹(2410)에 포함될 수 있으며, 0.5초부터 6.5초 사이에 획득된 이미지 프레임은 제2 이미지 프레임 그룹(2420)에 포함될 수 있고, 1초부터 7초 사이에 획득된 이미지 프레임은 제3 이미지 프레임 그룹(2430)에 포함될 수 있으며, 1.5초부터 7.5초 사이에 획득된 이미지 프레임은 제4 이미지 프레임 그룹(2440)에 포함될 수 있으나, 이에 한정되지는 않는다.
이 때, 상기 예비 심박수는 예비 심박수에 대한 윈도우에 의해 설정된 이미지 프레임 그룹에 대하여 획득될 수 있다. 예를 들어, 제1 예비 심박수는 제1 이미지 프레임 그룹(2410)에 포함되는 이미지 프레임들로부터 획득된 특성 값들에 기초하여 획득될 수 있다.
또한, 예비 심박수를 획득하기 위하여 각 이미지 프레임 그룹에서 시계열 데이터로 획득된 값은 파장 도메인 또는 주파수 도메인으로 변환될 수 있다. 예를 들어, 제1 이미지 프레임 그룹에서 시계열 데이터로 획득된 값은 제1 주파수 데이터(2460)로 변환될 수 있으며, 제2 이미지 프레임 그룹에서 시계열 데이터로 획득된 값은 제2 주파수 데이터(2470)로 변환될 수 있고, 제3 이미지 프레임 그룹에서 시계열 데이터로 획득된 값은 제3 주파수 데이터(2480)로 변환될 수 있으며, 제4 이미지 프레임 그룹에서 시계열 데이터로 획득된 값은 제4 주파수 데이터(2490)로 변환될 수 있으나, 이에 한정되지는 않는다.
또한, 제1 내지 제4 주파수 데이터(2460,2470,2480,2490)로부터 제1 내지 제4 예비 심박수를 획득하는 것은 상술한 심박수 획득 방법이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 복수개의 예비 심박수를 기초로 심박수가 획득될 수 있다. 예를 들어, 복수개의 예비 심박수에 대한 연산이 수행되어 심박수가 획득될 수 있으며, 보다 구체적으로 상기 제1 내지 제4 예비 심박수의 평균, 최대값, 최소값 등을 추출하기 위한 연산이 수행되어 심박수가 획득될 수 있으나 이에 한정되지 않는다.
또한, 복수개의 예비 심박수를 기초로 심박수가 획득될 수 있다. 예를 들어, 획득된 복수개의 예비 심박수 중 10의 자리가 상이한 예비 심박수를 제외하고 나머지 심박수에 대한 연산이 수행되어 심박수가 획득될 수 있다.
보다 구체적으로, 제1 예비 심박수가 72bpm, 제2 예비 심박수가 80bpm, 제3 예비 심박수가 75bpm, 제4 예비 심박수가 73bpm인 경우, 10의 자리가 상이한 제2 예비 심박수를 제외하고, 제1, 제3, 제4 예비 심박수에 대한 연산이 수행되어 심박수가 획득될 수 있다. 이 때, 상기 연산은 평균, 최대값, 최소값 등을 추출하기 위한 연산일 수 있다.
또한, 복수개의 예비 심박수를 기초로 심박수가 획득될 수 있다. 예를 들어, 획득된 4개의 예비 심박수의 10의 자리가 쌍을 이뤄 상이한 경우, 획득된 4개의 예비 심박수 중 10의 자리가 이전에 획득된 심박수와 상이한 예비 심박수 쌍을 제외하고 나머지 심박수에 대한 연산이 수행되어 심박수가 획득될 수 있다.
보다 구체적으로, 제1 예비 심박수가 72bpm, 제2 예비 심박수가 80bpm, 제3 예비 심박수가 85bpm, 제4 예비 심박수가 73bpm이며, 이전에 획득된 심박수가 75bpm인 경우 제2 및 제3 예비 심박수를 제외하고, 제1 및 제4 예비 심박수에 대한 연산이 수행되어 심박수가 획득될 수 있다.
또한, 상술한 바와 같이 복수개의 예비 심박수를 이용하여 심박수를 획득하는 경우 보다 노이즈에 강건하고 정확한 심박수가 획득될 수 있다.
5.5 심박수 출력의 다양한 실시예들
상술한 방법들에 의해 획득된 심박수는 디스플레이 등을 통해 출력되거나, 통신부를 이용해 단말이나 서버로 전송될 수 있다. 이하에서는 설명의 편의를 위하여 이와 같은 동작을 심박수의 출력으로 설명하기로한다.
심박수에 대하여 지속적으로 실시간 측정을 하는 경우, 측정되는 심박수에 안정성과 신뢰성을 부여하기 위해 출력되는 심박수에 대하여 보정이 수행될 수 있다.
또한, 출력되는 심박수에 대하여 보정이 수행되는 경우 획득되는 복수개의 이미지 프레임 중 일부에서 좋지 못한 이미지가 획득 되더라도 획득되어 출력되는 심박수에 안정성과 신뢰성을 부여할 수 있다.
도 24는 일 실시예에 따른 출력 심박수의 보정 방법에 대하여 설명하기 위한 흐름도이다.
도 24를 참조하면, 일 실시예에 따른 출력 심박수의 보정 방법(2500)은 제1 심박수를 획득하는 단계(S2510), 제1 심박수와 제1 시점 심박수의 차이를 기준 값과 비교하는 단계(S2520)를 포함할 수 있으나, 이에 한정되지는 않는다.
제1 심박수를 획득하는 단계(S2510)는 상술한 심박수 획득 방법들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
제1 심박수와 제1 시점 심박수의 차이를 기준 값과 비교하는 단계(S2520)에서 상기 제1 시점 심박수는 상기 제1 심박수가 획득되기 전에 획득되거나 출력된 심박수를 의미할 수 있다. 예를 들어, 6.5초에서 제1 심박수가 획득된 경우 제1 시점 심박수는 6초에서 획득된 심박수일 수 있으며, 6초에서 출력된 심박수일 수도 있으나, 이에 한정되지 않는다.
또한, 상기 기준 값은 일정 수치로 정해질 수 있으며, 일정 비율로 정해질 수도 있다. 예를 들어, 상기 기준 값은 10으로 정해질 수 있으며, 이 때, 상기 제1 심박수와 상기 제1 시점 심박수의 차이가 10을 초과하는지를 판단할 수 있으나, 이에 한정되지는 않는다.
또한, 상기 제1 심박수와 제1 시점 심박수의 차이가 기준 값 이하인 경우 상기 제1 심박수를 제2 시점 심박수로 출력하는 단계(S2531)가 수행될 수 있으며, 이 때, 상기 제2 시점은 상기 제1 시점 보다 늦은 시점일 수 있다.
예를 들어, 상기 제1 시점 심박수가 72bpm이며, 상기 제1 심박수가 75bpm이고, 기준 값이 10인 경우 상기 제2 시점에 출력되는 심박수는 75bpm일 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 심박수와 제1 시점 심박수의 차이가 기준 값을 초과하는 경우 상기 제1 시점 심박수로부터 보정된 심박수를 제2 시점 심박수로 출력하는 단계(S2532)가 수행될 수 있으며, 이 때, 상기 제2 시점은 상기 제1 시점 보다 늦은 시점일 수 있다.
또한, 상기 제1 시점 심박수로부터 보정된 심박수를 획득하기 위해 상기 제1 시점 심박수에 대한 연산이 수행될 수 있다. 예를 들어, 상기 제1 시점 심박수에 일정 값을 더하거나 빼는 등의 연산이 수행될 수 있으나, 이에 한정되지는 않는다.
예를 들어, 상기 제1 시점 심박수가 72bpm이며, 상기 제1 심박수가 85bpm이고, 기준 값이 10인경우 상기 제2 시점에 출력되는 심박수는 상기 제1 시점 심박수에 +3bpm을 한 75bpm일 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제1 시점 심박수가 72bpm이며, 상기 제1 심박수가 61bpm이고, 기준 값이 10인 경우 상기 제2 시점에 출력되는 심박수는 상기 제1 시점 심박수에 -3bpm을 한 69bpm일 수 있으나, 이에 한정되지 않는다.
5.6 심박 신호 추출의 다양한 실시예들
심박 신호는 심장 박동에 따라 변동될 수 있는 신호를 의미할 수 있으며, 심장 박동에 따라 변동된다고 추정될 수 있는 신호를 의미할 수 있다.
또한, 획득된 복수개의 이미지 프레임을 기초로 심박 신호가 추출될 수 있다.
도 25는 일 실시예에 따른 심박 신호 추출 방법을 설명하기 위한 도면이다.
먼저, 도 25의 (a)는 시계열 데이터로 획득된 값을 나타내는 그래프이다. 예를 들어, 도 25의 (a)는 시계열 데이터로 획득된 색 채널 값을 의미할 수 있으나, 이에 한정되지 않고, 시계열 데이터로 획득된 차이 값, 가공 값을 의미할 수도 있고, 시계열 데이터로 획득된 특성 값을 의미할 수 있다.
이 때, 상기 시계열 데이터로 획득된 값은 밴드 패스 필터(band pass filter)를 통해 심박 신호로 추출될 수 있다. 보다 구체적으로 상기 시계열 데이터로 획득된 값은 심박수에 해당하는 주파수 대역 또는 파장 대역의 밴드 패스 필터를 통해 심박 신호로 추출될 수 있다.
또한, 상기 심박수에 해당하는 주파수 대역 또는 파장 대역은 통상 이해될 수 있는 주파수 대역 또는 파장 대역일 수 있으나, 이에 한정되지 않고, 상술한 방법들에 의해 획득된 심박수를 기초로 결정되는 주파수 대역 또는 파장 대역일 수 있다.
예를 들어, 통상의 심박수는 60 내지 100bpm일 수 있으며, 해당하는 주파수 대역은 1Hz 내지 1.67Hz일 수 있으며, 이에 해당하는 밴드패스 필터가 이용될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 획득된 심박수가 72bpm인 경우, 해당하는 주파수는 1.2Hz 이며, 이를 기준으로 주파수 대역을 설정할 수 있다. 보다 구체적으로, 0.5Hz 범위의 주파수 대역을 설정하는 경우 0.95Hz 내지 1.45Hz 범위로 주파수 대역이 설정될 수 있으며, 이에 해당하는 밴드 패스 필터가 이용될 수 있으나, 이에 한정되지 않는다.
도 25의 (b)는 도 25의 (a)에 도시된 시계열 데이터로 획득된 값을 밴드 패스 필터를 통해 심박 신호로 추출한 심박 신호 그래프이다.
도 25의 (b)를 참조하면, 시계열 데이터로 획득된 값을 밴드 패스 필터를 통해 심박 신호로 추출할 수 있음을 알 수 있다.
5.7 적외선을 이용한 심박수 측정 방법의 다양한 실시예들
기본적으로 적외선을 이용한 심박수 측정 방법에도 상술한 심박수 측정 방법들이 이용될 수 있다.
도 26은 일 실시예에 따른 적외선을 이용한 심박수 획득 방법을 설명하기 위한 도면이다.
이 때, 상기 적외선은 750nm ~ 3000nm 의 파장 대역인 근적외선(Near infrared) 영역의 적외선이 이용될 수 있으나, 이에 한정되지는 않고, 중적외선 영역(middle infrared), 원적외선 영역(Far infrared) 및 극적외선 영역(extreme infrared)의 적외선이 이용될 수도 있다.
도 26을 참조하면, 일 실시예에 따른 적외선을 이용한 심박수 측정 방법(2600)은 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여, 이미지를 획득하는 단계(S2610), 피부 영역을 검출 하는 단계(S2620), 관심 영역을 검출하는 단계(S2630) 및 관심 영역에 대한 데이터를 처리하는 단계(S2640) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지는 않는다.
또한, 상기 이미지를 획득하는 단계(S2610) 및 상기 피부 영역을 검출하는 단계(S2620)는 상술한 내용들이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.
또한, 관심 영역을 검출하는 단계(S2630)의 상세한 동작들은 상술한 관심 영역을 검출하는 방법들이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.
또한, 관심 영역을 검출하는 단계(S2630)는 제1, 제2 및 제3 관심영역을 검출하는 동작을 포함할 수 있으며, 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여 수행될 수 있다.
또한, 상기 제1, 제2 및 제3 관심 영역은 서로 적어도 일부 오버랩 될 수 있다. 예를 들어, 상기 제1 관심 영역은 상기 제2 및 제3 관심 영역 내에 포함되도록 설정될 수 있으며, 상기 제2 관심 영역은 상기 제3 관심 영역 내에 포함되도록 설정될 수 있으나, 이에 한정되지는 않고 상기 제1 내지 제3 관심영역은 서로 적어도 일부 오버랩 되도록 설정될 수 있다.
또한, 상기 제1, 제2 및 제3 관심 영역은 서로 오버랩 되지 않도록 설정될 수 있다. 예를 들어, 상기 제1 관심 영역 및 상기 제2 관심 영역은 피측정자의 왼쪽 볼에 상하로 위치할 수 있으며, 상기 제3 관심 영역은 피측정자의 오른쪽 볼에 위치할 수 있으나, 이에 한정되지는 않고 상기 제1 내지 제3 관심 영역은 서로 오버랩 되지 않도록 설정될 수 있다.
또한, 상기 제1, 제2 및 제3 관심 영역에 대한 데이터를 처리하는 단계(S2640)의 상세한 동작들은 상술한 관심 영역에 대한 데이터를 처리하는 방법들이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.
또한, 관심 영역에 대한 데이터를 처리하는 단계(S2640)는 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여 수행될 수 있다.
또한, 상기 관심 영역에 대한 데이터를 처리하는 단계(S2640)는 상술한 제1, 제2 및 제3 관심 영역에 대하여 수행될 수 있다.
또한, 상기 제1 내지 제3 관심 영역에 대한 데이터를 처리하기 위해 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여 상기 제1 내지 제3 관심 영역에 대한 IR 세기 값이 추출될 수 있다. 이 때, IR 세기 값은 상기 제1 내지 제3 관심 영역에 포함되는 픽셀들의 IR 세기 값의 평균 값일 수 있으며, 평균 픽셀 값으로 지칭될 수 있다.
또한, 상술한 관심 영역에 대한 데이터를 처리하는 방법을 적용하는 경우 각 관심 영역에 대한 IR 세기 값은 상술한 색 채널 값에 대응될 수 있다. 예를 들어, 제1 관심 영역의 IR 세기 값은 Red 채널 값에 대응될 수 있으며, 제2 관심 영역의 IR 세기 값은 Green 채널 값에 대응될 수 있고, 제3 관심 영역의 IR 세기 값은 Blue 채널 값에 대응될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상술한 G-R 값은 제2 관심 영역의 IR 세기 값과 제1 관심 영역의 IR 세기 값의 차이값과 대응될 수 있으며, 상술한 G-B 값은 제2 관심 영역의 IR 세기 값과 제3 관심 영역의 IR 세기 값의 차이값과 대응될 수 있다.
따라서, 각 관심 영영에 대한 IR 세기 값을 기초로 데이터가 처리될 수 있으며, 상세한 동작은 상술한 관심 영역에 대한 데이터 처리 방법에 따를 수 있다.
또한, 일 실시예에 따른 적외선을 이용한 심박수 측정 방법(2600)은 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 시계열 데이터를 추출하는 단계(S2650) 및 심박수를 획득하는 단계(S2660) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지 않는다.
이 때, 상기 시계열 데이터를 추출하는 단계(S2650) 및 상기 심박수를 획득하는 단계(S2660)는 상술한 내용이 적용될 수 있으므로 중복된 서술은 생략하기로 한다.
도 27은 일 실시예에 따른 적외선을 이용한 심박수 획득 방법을 설명하기 위한 도면이다.
도 27을 참조하면, 피측정자의 얼굴 영역에 적어도 두 개의 관심 영역이 설정될 수 있다. 보다 구체적으로 피측정자의 얼굴 영역에 제1 관심 영역(2710), 제2 관심 영역(2720) 및 제3 관심 영역(2730)이 설정될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 내지 제3 관심 영역(2710,2720,2730)에 대한 IR 세기 값이 추출 될 수 있다.
예를 들어, 상기 제1 관심 영역(2710)에 대한 IR 세기 값(도 27의 (a))이 추출될 수 있으며, 상기 제2 관심 영역(2720)에 대한 IR 세기 값(도 27의 (b))이 추출될 수 있고, 상기 제3 관심 영역(2730)에 대한 IR 세기 값(도 27의 (c))이 추출될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 내지 제3 관심 영역(2710,2720,2730)에 대해 추출된 IR 세기 값을 기초로 상기 제1 내지 제3 관심 영역(2710,2720,2730)에 대한 데이터가 처리될 수 있다. 다만, 이에 대한 상세한 동작은 상술한 바 중복되는 서술은 생략하기로 한다.
또한, 상기 제1 내지 제3 관심 영역(2710,2720,2730)에 대해 처리된 데이터를 기초로 특성 값이 획득될 수 있다. 다만, 이에 대한 상세한 동작은 상술한 바 중복되는 서술은 생략하기로 한다.
또한, 상기 제1 내지 제3 관심 영역(2710,2720,2730)에 대해 추출된 IR 세기 값을 기초로 획득된 특성 값을 이용하여 심박수가 획득될 수 있다. 다만, 이에 대한 상세한 동작은 상술한 바 중복되는 서술은 생략하기로 한다.
6. 일 실시예에 따른 생체 지수 획득 방법.
도 28은 일 실시예에 따른 생체 지수 획득 방법을 설명하기 위한 흐름도 이다.
도 28을 참조하면, 일 실시예에 따른 생체 지수 획득 방법은 피측정자에 대한 복수개의 이미지 프레임을 획득하는 단계(S2810), 제1, 제2 및 제3 색 채널 값을 획득하는 단계(S2820), 제1 차이 값 및 제2 차이 값을 계산하는 단계(S2830), 제1 특성 값 및 제2 특성 값을 획득하는 단계(S2840) 및 제1 및 제2 특성 값을 기초로 상기 피측정자의 생체 지수를 결정하는 단계(S2850) 중 적어도 일부를 포함할 수 있다.
이 때, 상기 복수개의 이미지는 카메라에 의해 획득될 수 있다. 예를 들어, 상기 복수개의 이미지는 가시광 카메라, IR 카메라 등 카메라에 의해 획득 될 수 있다.
또한, 상기 복수개의 이미지는 외부에 배치되는 카메라로부터 획득될 수 있다. 예를 들어, 상기 복수개의 이미지는 외부에 배치되는 가시광 카메라, IR 카메라 등 카메라로부터 획득된 이미지일 수 있다.
또한, 상기 제1, 제2 및 제3 색 채널 값을 획득하는 단계(S2820)는 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대해 수행될 수 있다.
이 때, 상기 제1 색 채널 값은 단계가 수행되는 이미지 프레임의 제1 색 채널에 대한 평균 픽셀 값을 의미할 수 있으며, 상기 제2 색 채널 값은 상기 이미지 프레임의 제2 색 채널에 대한 평균 픽셀 값을 의미할 수 있고, 상기 제3 색 채널 값은 상기 이미지 프레임의 제3 색 채널에 대한 평균 픽셀 값을 의미할 수 있다.
예를 들어, 상기 제1 색 채널 값은 Green 채널 값 일 수 있으며, 상기 제2 색 채널 값은 Red 채널 값 일수 있고, 상기 제3 색 채널 값은 Blue 채널 값 일 수 있으나, 이에 한정되지는 않는다.
또한, 상기 제1 차이 값 및 제2 차이 값을 계산하는 단계(S2830)는 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대해 수행될 수 있다.
이 때, 상기 제1 차이 값은 제1 색 채널 값과 제2 색 채널 값의 차이 값을 의미할 수 있으며, 예를 들어, 상기 제1 차이 값은 동일한 이미지 프레임에 대한 제1 색 채널 값과 제2 색 채널 값의 차이 값을 의미할 수 있으나, 이에 한정되지 않는다.
보다 구체적으로 상기 제1 색 채널 값이 Green 채널 값이고, 제2 색 채널 값이 Red 채널 값인 경우 상기 제1 차이 값은 G-R 값일 수 있으나, 이에 한정되지 않는다.
또한, 상기 제2 차이 값은 제1 색 채널 값과 제3 색 채널 값의 차이 값을 의미할 수 있으며, 예를 들어, 상기 제2 차이 값은 동일한 이미지 프레임에 대한 제1 색 채널 값과 제3 색 채널 값의 차이 값을 의미할 수 있으나, 이에 한정되지 않는다.
보다 구체적으로 상기 제1 색 채널 값이 Green 채널 값이고, 제2 색 채널 값이 Blue 채널 값인 경우 상기 제2 차이 값은 G-B 값 일 수 있으나, 이에 한정되지 않는다.
또한, 제1 특성 값 및 제2 특성 값을 획득하는 단계(S2840)는 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 수행될 수 있다.
예를 들어, 상기 제1 특성 값은 제1 이미지 프레임 그룹에 대하여 획득될 수 있으며, 상기 제1 이미지 프레임 그룹은 기 설정된 시간 동안 획득된 이미지 프레임 그룹을 의미할 수 있다.
또한, 예를 들어, 상기 제2 특성 값은 제2 이미지 프레임 그룹에 대하여 획득될 수 있으며, 상기 제2 이미지 프레임 그룹은 기 설정된 시간 동안 획득된 이미지 프레임 그룹을 의미할 수 있다.
또한, 상기 제1 특성 값은 상기 제1 이미지 프레임 그룹에 대한 상기 제1 차이 값의 평균 값 및 상기 제1 이미지 프레임 그룹에 포함되는 이미지 프레임에 대한 제1 차이 값을 기초로 획득될 수 있다.
예를 들어, 상기 제1 특성 값은 상기 제1 이미지 프레임 그룹에 대한 G-R 값의 평균 값 및 상기 제1 이미지 프레임 그룹에 포함되는 이미지 프레임에 대한 G-R 값을 기초로 획득된 편차 값일 수 있으나, 이에 한정되지 않는다.
또한, 상기 제2 특성 값은 상기 제2 이미지 프레임 그룹에 대한 상기 제1 차이 값의 평균 값 및 상기 제2 이미지 프레임 그룹에 포함되는 이미지 프레임에 대한 제2 차이 값을 기초로 획득될 수 있다.
예를 들어, 상기 제2 특성 값은 상기 제2 이미지 프레임 그룹에 대한 G-B 값의 평균 값 및 상기 제2 이미지 프레임 그룹에 포함되는 이미지 프레임에 대한 G-B 값을 기초로 획득된 편차 값일 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 이미지 프레임 그룹과 상기 제2 이미지 프레임 그룹은 서로 동일할 수 있으나, 이에 한정되지 않고 서로 상이할 수 있다.
또한, 상기 제1 특성 값은 상기 제1 이미지 프레임 그룹에 대한 평균 값, 표준 편차 값 등이 될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 특성 값은 상기 제1 이미지 프레임 그룹에 포함되는 적어도 일부의 이미지 프레임에 대한 편차 값 등이 될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제2 특성 값은 상기 제2 이미지 프레임 그룹에 대한 평균 값, 표준 편차 값 등이 될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제2 특성 값은 상기 제2 이미지 프레임 그룹에 포함되는 적어도 일부의 이미지 프레임에 대한 편차 값 등이 될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 및 제2 특성 값은 정규화 될 수 있다. 예를 들어, 상기 제1 특성 값은 상기 제1 이미지 프레임 그룹에 대한 표준 편차 값을 이용하여 정규화 될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제2 특성 값은 상기 제2 이미지 프레임 그룹에 대한 표준 편차 값을 이용하여 정규화 될 수 있으나, 이에 한정되지 않는다.
또한, 제1 및 제2 특성 값을 기초로 상기 피측정자의 생체 지수를 결정하는 단계(S2850)는 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 수행될 수 있다.
이 때, 상기 생체 지수는 심박수, 혈압, 산소포화도, 체온 등이 될 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수는 상기 제1 특성 값 및 상기 제2 특성 값을 기초로 획득될 수 있다.
예를 들어, 상기 생체 지수는 상기 제1 특성 값 및 상기 제2 특성 값을 합한 제3 특성 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
7. 복수개의 생체 지수 및 생체 정보 획득 방법의 다양한 실시예들
도 29는 일 실시예에 따른 복수개의 생체 지수 및 생체 정보 획득 방법을 설명하기 위한 도면이다.
도 29를 참조하면, 일 실시예에 따른 복수개의 생체 지수 및 생체 정보 획득 방법은 획득된 이미지(3000)를 기초로 복수개의 생체 지수를 획득할 수 있다. 보다 구체적으로, 도 29에 도시된 바와 같이 획득된 이미지(3000)를 기초로 제1 생체 지수(3010), 제2 생체 지수(3020) 및 제3 생체 지수(3030)를 획득할 수 있으나, 이에 한정되지 않고, 적어도 2개 이상의 생체 지수를 획득할 수 있으며, 예를 들어, 4개의 생체 지수를 획득할 수 있다.
이 때, 상기 획득된 이미지(3000)는 가시광 카메라를 이용하여 획득되거나, 외부에 배치되는 가시광 카메라로부터 획득된 가시광 이미지 일 수 있다.
또한, 상기 획득된 이미지(3000)는 적외선 카메라를 이용하여 획득되거나, 외부에 배치되는 적외선 카메라로부터 획득된 적외선 이미지 일 수 있다.
또한, 상기 제1 내지 제3 생체 지수(3010,3020,3030)는 심박수, 산소포화도, 혈압, 체온 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 내지 제3 생체 지수(3010,3020,3030)는 상호간에 서로 연관성있도록 획득될 수 있다. 예를 들어, 상기 제1 내지 제3 생체 지수(3010,3020,3030)는 피측정자의 동일하거나 유사한 상태로부터 획득된 생체지수 일 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 내지 제3 생체 지수(3010,3020,3030)는 상호간에 독립성이 있도록 획득될 수 있다. 예를 들어, 상기 제1 내지 제3 생체 지수(3010,3020,3030)는 피측정자의 상이한 상태로부터 획득된 생체지수 일 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 내지 제3 생체 지수(3010,3020,3030)는 서로 동일한 시간에 출력될 수 있다. 예를 들어, 상기 제1 내지 제3 생체 지수(3010,3020,3030)가 실시간으로 측정되는 경우 서로 동일한 시간에 출력될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 내지 제3 생체 지수(3010,3020,3030)는 서로 상이한 시간에 출력될 수 있다. 예를 들어, 상기 제1 생체 지수가 출력된 후 상기 제2 생체 지수가 출력되고, 상기 제2 생체 지수가 출력된 후 상기 제3 생체 지수가 출력될 수 있다.
또한, 도 29를 참조하면, 일 실시예에 따른 복수개의 생체 지수 및 생체 정보 획득 방법은 획득된 복수개의 생체 지수를 기초로 복수개의 생체 정보를 획득할 수 있다.
보다 구체적으로, 도 29에 도시된 바와 같이 획득된 상기 제1 내지 제3 생체 지수(3010,3020,3030)를 기초로 제1 생체 정보(3040), 제2 생체 정보(3050) 및 제3 생체 정보(3060)를 획득할 수 있으나, 이에 한정되지 않는다.
이 때, 상기 제1 내지 제3 생체 정보(3040,3050,3060)는 졸음 정보, 스트레스 정보, 흥분도 정보, 감정 정보 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 내지 제3 생체 정보(3040,3050,3060)는 상기 제1 내지 제3 생체 지수(3010,3020,3030) 중 적어도 하나의 생체 지수를 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 내지 제3 생체 정보(3040,3050,3060)는 상기 제1 내지 제3 생체 지수(3010,3020,3030)에 더불어 개인적, 통계적 데이터를 고려하여 획득될 수 있으며, 이 때, 상기 개인적, 통계적 데이터는 나이, 성별, 키, 체중 등 피측정자의 수집 가능한 개인적, 통계적 데이터를 의미할 수 있으며, 피측정자의 표정, 주름, 얼굴 색 등 관측 가능한 개인적, 통계적 데이터를 의미할 수도 있고, 피측정자가 포함되거나 피측정자와 관련된 집단을 대상으로 산정된 통계적 데이터(예를 들어, 20대 평균 혈압, 황인 평균 피부 색상, 30대 남성 평균 키, 대한민국 남성의 평균 체중 등)와 같이 수치화될 수 있는 개인적, 통계적 데이터를 의미할 수도 있다.
또한, 상기 제1 내지 제3 생체 정보(3040,3050,3060)는 독립성 있는 생체 지수들을 기초로 획득될 수 있다. 예를 들어, 상기 제1 내지 제3 생체 정보(3040,3050,3060)는 독립성 있도록 획득된 상기 제1 내지 제3 생체 지수(3010,3020,3030)를 기초로 획득될 수 있다.
또한, 상기 제1 내지 제3 생체 정보(3040,3050,3060)는 연관성 있는 생체 지수들을 기초로 획득될 수 있다. 예를 들어, 상기 제1 내지 제3 생체 정보(3040,3050,3060)는 연관성 있도록 획득된 상기 제1 내지 제3 생체 지수(3010,3020,3030)를 기초로 획득될 수 있다.
또한, 상기 제1 내지 제3 생체 정보(3040,3050,3060)가 연관성 있는 생체 지수들을 기초로 획득되는 경우 상기 생체 정보들의 정확성을 향상시킬 수 있다. 예를 들어, 상기 제1 내지 제3 생체 정보(3040,3050,3060)에 포함될 수 있는 고혈압 정보를 획득하기 위하여, 상기 제1 내지 제3 생체 지수(3010,3020,3030)에 포함될 수 있는 심박수 및 혈압을 이용하는 경우 상기 심박수 및 혈압이 서로 연관성 되어 있을 때 상기 고혈압 정보가 더욱 정확해 질 수 있다.
보다 구체적으로, 피측정자가 운동을 하거나, 흥분한 상태에서 혈압을 측정하고, 피측정자가 안정된 상태에서 심박수를 측정하여 이를 기초로 고혈압 정보를 획득하는 경우, 피측정자가 고혈압이 아니더라도 고혈압으로 감지될 가능성이 있다. 그러나 이에 반해 피측정자가 운동을 하거나, 흥분한 상태에서 혈압 및 심박수를 측정하고 이를 기초로 고혈압 정보를 획득하는 경우는 보다 정확히 고혈압 정보를 획득할 수 있다.
이하에서는 복수개의 생체 지수 및 생체 정보 획득 방법에 대하여 더욱 상세하게 기술하기로 한다.
도 30은 일 실시예에 따른 복수개의 생체 지수 획득 방법에 대하여 설명하기 위한 도면이다.
도 30을 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 이미지 프레임(3110)이 획득될 수 있다.
이 때, 상기 이미지 프레임(3110)은 가시광 이미지, 적외선 이미지 등으로부터 획득되는 이미지 프레임일 수 있으나, 이에 한정되지 않는다.
또한, 상기 이미지 프레임(3110)은 복수개의 이미지 프레임을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 도 30을 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 적어도 하나 이상의 픽셀 값(3120)이 획득될 수 있다.
이 때, 상기 픽셀 값(3120) 상기 이미지 프레임을 구성하는 적어도 하나의 픽셀의 세기 값을 의미할 수 있으며, 보다 구체적으로, 적어도 하나의 색 채널에 대한 적어도 하나의 픽셀의 세기 값을 의미할 수 있다. 예를 들어, 상기 이미지 프레임이 640*480 이미지인 경우 상기 이미지 프레임은 640*480개의 픽셀을 포함할 수 있으며, 각 픽셀들에 대한 Red 채널 픽셀 값, Green 채널 픽셀 값 및 Blue 채널 픽셀 값이 획득될 수 있으나, 이에 한정되지 않으며, 다양한 색 공간에 따른 색 채널에 대한 픽셀 값이 획득될 수 있다.
또한, 상기 픽셀 값(3120)은 상기 이미지 프레임을 구성하는 복수개의 픽셀 중 적어도 일부의 픽셀에 대하여만 획득될 수 있다.
또한, 도 30을 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 적어도 하나 이상의 색 채널 값(3130)이 획득될 수 있다.
이 때, 상기 색 채널 값(3130)은 색 채널 픽셀 값의 평균 값을 의미할 수 있다. 예를 들어, Red 채널 값은 Red 채널 픽셀 값의 평균 값을 의미할 수 있으며, Green 채널 값은 Green 채널 픽셀 값의 평균 값을 의미할 수 있고, Blue 채널 값은 Blue 채널 픽셀 값의 평균 값을 의미할 수 있으나, 이에 한정되지 않는다.
명세서 전반적으로는 상기 색 채널 값과 가공 값을 분리하여 설명하였으나, 복수개의 생체 지수를 획득하는 방법을 설명을 설명하기 위하여 이하에서는 상기 가공 값을 상기 색 채널 값에 포함되는 개념으로 설명할 수 있다.
또한, 상기 색 채널 값(3130)은 가공 값을 포함하여 설명될 수 있다. 예를 들어, 상기 색 채널 값은 Red 채널 값과 Green 채널 값의 차이 값인 G-R 값을 포함하여 설명될 수 있으나, 이에 한정되지 않는다.
또한, 상기 색 채널 값(3130)은 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여 획득될 수 있다.
또한, 상기 색 채널 값(3130)은 하나의 색 채널 픽셀 값을 기초로 획득될 수 있으며, 복수개의 색 채널 픽셀 값을 기초로 획득될 수 있다. 예를 들어, Red 채널 값은 Red 채널 픽셀 값을 기초로 획득 될 수 있으며, G-R 값은 Green 채널 픽셀 값 및 Red 채널 픽셀 값을 기초로 획득 될 수 있으나, 이에 한정되지는 않는다.
또한, 도 30을 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 적어도 하나 이상의 시계열 데이터가 획득될 수 있다.
이 때, 상기 시계열 데이터(3140)는 획득된 적어도 하나 이상의 색 채널 값(3130)을 기초로 획득될 수 있으며, 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 획득될 수 있다.
보다 구체적으로, 상기 시계열 데이터(3140)가 제1 이미지 프레임에 대하여 획득된 적어도 하나 이상의 색 채널 값(3130)을 기초로 획득되는 경우, 상기 시계열 데이터는 상기 제1 이미지 프레임을 포함하는 이미지 프레임 그룹에 대하여 획득될 수 있다.
또한, 상기 시계열 데이터(3140)는 상기 색 채널 값(3130)의 시계열 데이터 일 수 있다. 예를 들어, 상기 시계열 데이터(3140)는 Red 채널 값의 시계열 데이터, Green 채널 값의 시계열 데이터, Blue 채널 값의 시계열 데이터, Hue 채널 값의 시계열 데이터, G-R 값의 시계열 데이터 또는 G-B 값의 시계열 데이터 등을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 색 채널 값(3130)을 기초로 획득되는 특성 값의 시계열 데이터(3140)일 수 있다. 예를 들어, 상기 시계열 데이터는 이미지 프레임 그룹에 포함되는 적어도 일부의 이미지 프레임에 대한 색 채널 값의 편차 값, 표준 편차 값 또는 평균 값 등을 포함할 수 있으나, 이에 한정되지 않는다.
예를 들어, 상기 시계열 데이터(3140)는 Red 채널 값의 시계열 데이터 일 수 있으며, G-R 값의 시계열 데이터 일 수도 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 시계열 데이터(3140)는 이미지 프레임 그룹에 포함되는 적어도 일부의 이미지 프레임에 대한 색 채널 값의 편차 값에 대한 시계열 데이터 일 수 있으나, 이에 한정되지 않는다.
또한, 상기 시계열 데이터(3140)는 복수개의 시계열 데이터를 기초로 획득된 시계열 데이터일 수 있다. 예를 들어, 상기 시계열 데이터(3140)는 제1 이미지 프레임을 포함하는 제1 이미지 프레임 그룹에 대한 제1 시계열 데이터 및 제2 이미지 프레임을 포함하는 제2 이미지 프레임 그룹에 대한 제2 시계열 데이터를 기초로 획득된 시계열 데이터 일 수 있으나, 이에 한정되지 않는다.
보다 구체적인 예를 들어, 상기 시계열 데이터(3140)가 180개의 이미지 프레임을 포함하는 이미지 프레임 그룹에 대한 시계열 데이터인 경우, 상기 시계열 데이터(3140)는 제1 내지 제18 이미지 프레임을 포함하는 제1 이미지 프레임 그룹에 대하여 획득된 제1 시계열 데이터, 제19 내지 제36 이미지 프레임을 포함하는 제2 이미지 프레임 그룹에 대하여 획득된 제2 시계열 데이터, 제37 내지 제54 이미지 프레임을 포함하는 제3 이미지 프레임 그룹에 대하여 획득된 제3 시계열 데이터, 제55 내지 제72 이미지 프레임을 포함하는 제4 이미지 프레임 그룹에 대하여 획득된 제4 시계열 데이터, 제73 내지 제90 이미지 프레임을 포함하는 제5 이미지 프레임 그룹에 대하여 획득된 제5 시계열 데이터, 제91 내지 제108 이미지 프레임을 포함하는 제6 이미지 프레임 그룹에 대하여 획득된 제6 시계열 데이터, 제109 내지 제126 이미지 프레임을 포함하는 제7 이미지 프레임 그룹에 대하여 획득된 제7 시계열 데이터, 제127 내지 제144 이미지 프레임을 포함하는 제8 이미지 프레임 그룹에 대하여 획득된 제8 시계열 데이터, 제145 내지 제162 이미지 프레임을 포함하는 제9 이미지 프레임 그룹에 대하여 획득된 제9 시계열 데이터 및 제163 내지 제180 이미지 프레임을 포함하는 제10 이미지 프레임 그룹에 대하여 획득된 제10 시계열 데이터를 기초로 획득될 수 있다.
또한, 도 30을 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 특징(3150)이 획득될 수 있다.
이 때, 상기 특징(3150)은 상기 획득된 시계열 데이터의 수학적, 물리적 특징을 의미할 수 있다. 예를 들어, 상기 특징은 상기 획득된 시계열 데이터의 주파수 성분, 최대값, 최대값의 평균, 최소값, 최소값의 평균, 최대값과 최소값의 차이, 최대값 평균과 최소값 평균의 차이, AC 값, DC값, 평균 값, 변곡점, 1차 미분 데이터, 2차 미분 데이터, 특정 시점에서의 기울기 등 수학적 특징을 의미할 수 있으며, 혈액의 변화량, 혈액의 변화 속도, 혈관의 변화량, 혈관의 변화 속도 등 물리적 특징을 의미할 수도 있으나, 이에 한정되지 않는다.
또한, 상기 특징(3150)은 복수개의 시계열 데이터 사이의 수학적, 물리적 특징을 의미할 수 있다. 예를 들어, 상기 특징은 획득된 복수개의 시계열 데이터 사이의 시간 차이, 극대값 사이의 시간 차이, 극소값 사이의 시간 차이, 변곡점 사이의 시간 차이 등 수학적 특징을 의미할 수 있으며, PTT(Pulse Transit Time), 혈액의 변화 속도 차이, 혈액에 의한 혈관의 변화 시간 차이 등 물리적 특징을 의미할 수도 있으나, 이에 한정되지 않는다.
또한, 상기 특징(3150)은 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 획득될 수 있다.
또한, 상기 특징(3150)은 적어도 하나의 시계열 데이터(3140)를 기초로 획득될 수 있다. 예를 들어, 상기 특징(3150)은 하나의 시계열 데이터를 기초로 획득될 수 있으며, 적어도 둘 이상의 시계열 데이터를 기초로 획득될 수도 있으나, 이에 한정되지 않는다.
또한, 도 30을 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 생체 지수(3160)가 획득될 수 있다.
이 때, 상기 생체 지수(3160)는 심박수, 산소포화도, 혈압, 체온 등을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수(3160)는 서로 다른 특징을 기초로 획득될 수 있다. 예를 들어, 심박수는 시계열 데이터의 주파수 성분을 기초로 획득될 수 있으며, 혈압은 두 개의 시계열 데이터 사이의 PTT 값을 기초로 획득될 수 있고, 산소포화도는 두 개의 시계열 데이터 각각의 AC 값 및 DC 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수(3160)는 복수개가 획득될 수 있다. 예를 들어, 심박수, 산소포화도, 혈압이 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수(3160)는 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 획득될 수 있다.
또한, 복수개의 상기 생체 지수(3160)를 획득하기 위해 기초가 되는 이미지 프레임 그룹은 서로 동일 할 수 있다. 예를 들어, 심박수, 산소포화도, 혈압은 제1 내지 제180 이미지 프레임을 포함하는 이미지 프레임 그룹에 기초하여 획득될 수 있으나, 이에 한정되지 않는다.
또한, 복수개의 상기 생체 지수(3160)를 획득하기 위해 기초가 되는 이미지 프레임 그룹은 서로 상이할 수 있다. 예를 들어, 심박수는 제1 내지 제90 이미지 프레임을 포함하는 제1 이미지 프레임 그룹에 기초하여 획득될 수 있으며, 산소포화도는 제91 내지 제180 이미지 프레임을 포함하는 제2 이미지 프레임 그룹에 기초하여 획득될 수 있고, 혈압은 제181 내지 제270 이미지 프레임을 포함하는 제3 이미지 프레임 그룹에 기초하여 획득될 수 있으나, 이에 한정되지 않는다.
또한, 복수개의 상기 생체 지수(3160)를 획득하기 위해 기초가 되는 이미지 프레임 그룹은 서로 적어도 일부 오버랩 될 수 있다. 예를 들어, 심박수는 제1 내지 제180 이미지 프레임을 포함하는 제1 이미지 프레임 그룹에 기초하여 획득될 수 있으며, 산소포화도는 제30 내지 제100 이미지 프레임을 포함하는 제2 이미지 프레임 그룹에 기초하여 획득될 수 있고, 혈암은 제10 내지 제180 이미지 프레임을 포함하는 제3 이미지 프레임 그룹에 기초하여 획득될 수 있으나, 이에 한정되지 않는다.
또한, 복수개의 상기 생체 지수(3160)를 획득하기 위해 기초가 되는 이미지 프레임 그룹에 포함되는 이미지 프레임 개수는 동일할 수 있으며, 상이할 수 있다.
7.1 일 실시예에 따른 복수개의 생체 지수 획득 방법
도 31은 일 실시예에 따른 복수개의 생체 지수 획득 방법에 대하여 설명하기 위한 도면이다.
도 31을 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 이미지 프레임(3210)이 획득될 수 있다.
이 때, 상기 이미지 프레임(3210)은 가시광 이미지, 적외선 이미지 등으로부터 획득되는 이미지 프레임일 수 있으나, 이에 한정되지 않는다.
또한, 상기 이미지 프레임(3210)은 복수개의 이미지 프레임을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 도 31을 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 적어도 하나 이상의 관심 영역(3220)이 설정될 수 있다. 보다 구체적으로, 제1 관심 영역, 제2 관심 영역, 제3 관심 영역 및 제4 관심 영역이 설정 될 수 있다.
이 때, 상기 제1 관심 영역은 산소포화도를 획득하기 위한 관심 영역일 수 있으며, 상기 제2 관심 영역은 심박수를 획득하기 위한 관심 영역일 수 있고, 상기 제3 관심 영역은 혈압을 획득하기 위한 관심 영역일 수 있으며, 상기 제4 관심 영역은 체온을 획득하기 위한 관심 영역일 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 내지 제4 관심 영역은 서로 동일할 수 있으며, 서로 상이할 수 있다.
또한, 상기 제1 내지 제4 관심 영역은 서로 적어도 일부 오버랩 될 수 있다.
또한, 상기 제1 내지 제4 관심 영역은 획득하기 위한 생체 지수에 기초하여 그 크기 및 영역이 설정될 수 있다. 예를 들어, 심박수를 획득하기 위한 상기 제2 관심 영역은 심장 박동에 의한 혈액의 변화를 잘 감지하기 위하여 피측정자의 볼 영역을 포함하도록 크게 설정될 수 있으며, 혈압을 획득하기 위한 상기 제3 관심 영역은 미세한 혈류 속도를 잘 감지하기 위하여 피측정자의 볼 영역을 포함하도록 세로로 작고 가로로 길게 설정될 수도 있으나, 이에 한정되지 않고 상기 제1 내지 제4 관심 영역은 다양한 크기와 다양한 영역으로 설정될 수 있다.
또한, 도 31을 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 적어도 하나 이상의 픽셀 값(3230)이 획득될 수 있다.
또한, 상기 픽셀 값(3230)은 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여 획득될 수 있다.
보다 구체적으로, 상기 제1 관심 영역에 대하여 RGB 색공간에 따른 Red 채널 픽셀 값, Green 채널 픽셀 값 및 Blue 채널 픽셀 값 중 적어도 일부가 획득될 수 있으며, 상기 제2 관심 영역에 대하여 RGB 색공간에 따른 Red 채널 픽셀 값, Green 채널 픽셀 값 및 Blue 채널 픽셀 값 중 적어도 일부가 획득될 수 있고, 상기 제3 관심 영역에 대하여 RGB 색공간에 따른 Red 채널 픽셀 값, Green 채널 픽셀 값 및 Blue 채널 픽셀 값 중 적어도 일부가 획득될 수 있으며, 상기 제4 관심 영역에 대하여 HSV 색공간에 따른 Hue 채널 픽셀 값, Saturation 채널 픽셀 값, Value 채널 픽셀 값이 획득될 수 있으나, 이에 한정되지 않는다.
또한, 도 31을 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 적어도 하나 이상의 색 채널 값(3240)이 획득될 수 있다.
이 때, 상기 색 채널 값(3240)은 색 채널 픽셀 값의 평균 값을 의미할 수 있으며, 가공 값을 의미할 수도 있으나, 이에 대한 상세한 설명은 상술한 바 중복되는 서술은 생략하기로 한다.
또한, 상기 색 채널 값(3240)은 획득될 생체 지수를 고려하여 획득될 수 있다.
보다 구체적으로, 산소포화도를 획득하기 위한 상기 제1 관심 영역에 대하여 적어도 두 개의 색 채널 값이 획득될 수 있다.
예를 들어, 산소포화도를 획득하기 위한 상기 제1 관심 영역에 대하여 RGB 색공간에 따른 Red 채널 값, Green 채널 값, Blue 채널 값, HSV 색공간에 따른 Hue 채널 값, Saturation 채널 값, Value 채널 값 등의 색 채널 값 중 적어도 두 개의 색 채널 값이 획득될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어 산소포화도를 획득하기 위한 상기 제1 관심 영역에 대하여 Red 채널 값과 Green 채널 값의 차이 값인 G-R 값, Green 채널 값과 Blue 채널 값의 차이 값인 G-B 값, Hue 채널 값과 Value 채널 값의 차이 값인 H-V 값 등의 색 채널 값 중 적어도 두개의 색 채널 값이 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 적어도 두 개의 색 채널 값은 헤모글로빈 및 산소헤모글로빈의 흡광도를 고려하여 선택될 수 있다.
예를 들어, 산소헤모글로빈의 흡광도가 헤모글로빈의 흡광도보다 높은 Blue 채널과 산소헤모글로빈의 흡광도가 헤모글로빈의 흡광도보다 낮은 Red 채널이 선택될 수 있으며, 이에 따라, 상기 적어도 두 개의 색 채널 값은 Red 채널 값과 Blue 채널 값으로 선택될 수 있으나, 이에 한정되지 않는다.
또한, 심박수를 획득하기 위한 상기 제2 관심 영역에 대하여 적어도 두 개의 색 채널 값이 획득될 수 있다.
예를 들어, 심박수를 획득하기 위한 상기 제2 관심 영역에 대하여 RGB 색공간에 따른 Red 채널 값, Green 채널 값, Blue 채널 값, HSV 색공간에 따른 Hue 채널 값, Saturation 채널 값, Value 채널 값 등의 색 채널 값 중 적어도 두 개의 색 채널 값이 획득될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어 심박수를 획득하기 위한 상기 제2 관심 영역에 대하여 Red 채널 값과 Green 채널 값의 차이 값인 G-R 값, Green 채널 값과 Blue 채널 값의 차이 값인 G-B 값, Hue 채널 값과 Value 채널 값의 차이 값인 H-V 값 등의 색 채널 값 중 적어도 두개의 색 채널 값이 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 적어도 두 개의 색 채널 값은 움직임에 의한 노이즈 및 외부 광 등에 의한 노이즈를 저감시키기 위하여 선택될 수 있다.
예를 들어, 노이즈를 저감시키기 위하여 상대적으로 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 많이 되는 Green 채널 값과 상대적으로 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 적게되는 Red 채널 값의 차이 값인 G-R값 및 상대적으로 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 많이 되는 Green 채널 값과 상대적으로 헤모글로빈과 산소 헤모 글로빈에 의해 흡수가 적게되는 Blue 채널 값의 차이 값인 G-B 값이 선택될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 노이즈를 저감시키기 위하여 상대적으로 심장 박동에 의한 변화를 많이 반영하는 Green 채널 값과 상대적으로 심장 박동에 의한 변화를 적게 반영하는 Red 채널 값 및 Blue 채널 값의 차이 값인 G-R 값 및 G-B 값이 선택될 수 있으나, 이에 한정되지 않는다.
또한, 혈압을 획득하기 위한 상기 제3 관심 영역에 대하여 적어도 두 개의 색 채널 값이 획득될 수 있다.
예를 들어, 혈압을 획득하기 위한 상기 제3 관심 영역에 대하여 RGB 색공간에 따른 Red 채널 값, Green 채널 값, Blue 채널 값, HSV 색공간에 따른 Hue 채널 값, Saturation 채널 값, Value 채널 값 등의 색 채널 값 중 적어도 두 개의 색 채널 값이 획득될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어 혈압을 획득하기 위한 상기 제3 관심 영역에 대하여 Red 채널 값과 Green 채널 값의 차이 값인 G-R 값, Green 채널 값과 Blue 채널 값의 차이 값인 G-B 값, Hue 채널 값과 Value 채널 값의 차이 값인 H-V 값 등의 색 채널 값 중 적어도 두개의 색 채널 값이 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 적어도 두 개의 색 채널 값은 움직임에 의한 노이즈 및 외부 광 등에 의한 노이즈를 저감시키기 위하여 선택될 수 있다.
예를 들어, 노이즈를 저감시키기 위하여 상대적으로 헤모글로빈과 산소헤모글로빈에 의해 흡수가 많이 되는 Green 채널 값과 상대적으로 헤모글로빈과 산소헤모글로빈에 의해 흡수가 적게 되는 Red 채널 값의 차이 값인 G-R값 및 상대적으로 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 많이 되는 Green 채널 값과 상대적으로 헤모글로빈과 산소헤모글로빈에 의해 흡수가 적게되는 Blue 채널 값의 차이 값인 G-B 값이 선택될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 노이즈를 저감시키기 위하여 상대적으로 심장 박동에 의한 변화를 많이 반영하는 Green 채널 값과 상대적으로 심장 박동에 의한 변화를 적게 반영하는 Red 채널 값 및 Blue 채널 값의 차이 값인 G-R 값 및 G-B 값이 선택될 수 있으나, 이에 한정되지 않는다.
또한, 체온을 획득하기 위한 상기 제4 관심 영역에 대하여 적어도 두 개의 색 채널 값이 획득될 수 있다.
예를 들어, 체온을 획득하기 위한 상기 제4 관심 영역에 대하여 RGB 색공간에 따른 Red 채널 값, Green 채널 값, Blue 채널 값, HSV 색공간에 따른 Hue 채널 값, Saturation 채널 값, Value 채널 값 등의 색 채널 값 중 적어도 두 개의 색 채널 값이 획득될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어 체온을 획득하기 위한 상기 제4 관심 영역에 대하여 Red 채널 값과 Green 채널 값의 차이 값인 G-R 값, Green 채널 값과 Blue 채널 값의 차이 값인 G-B 값, Hue 채널 값과 Value 채널 값의 차이 값인 H-V 값 등의 색 채널 값 중 적어도 두개의 색 채널 값이 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 적어도 두 개의 색 채널 값은 체온의 특성 및 피측정자의 피부색을 고려하여 선택될 수 있다.
예를 들어, 피측정자의 체온과 연관성 있는 Saturation(명도) 채널 값 및 피측정자의 피부색과 연관성 있는 Hue(색상) 채널 값이 선택될 수 있으나, 이에 한정되지 않는다.
또한, 도 31을 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 적어도 하나 이상의 시계열 데이터(3250)가 획득될 수 있다.
또한, 상기 시계열 데이터(3250)는 획득될 생체 지수를 고려하여 획득될 수 있다.
보다 구체적으로, 산소포화도를 획득하기 위한 상기 제1 관심 영역에 대하여 적어도 두 개의 시계열 데이터가 획득될 수 있다. 예를 들어, 산소포화도를 획득하기 위한 상기 제1 관심 영역에 대하여 제1 시계열 데이터 및 제2 시계열 데이터가 획득될 수 있다.
이 때, 상기 제1 시계열 데이터는 상기 제1 관심 영역에 대하여 획득된 색 채널 값을 기초로 획득될 수 있다. 예를 들어, 산소포화도를 획득하기 위한 상기 제1 관심 영역에 대하여 획득된 색 채널 값이 Red 채널 값인 경우, 상기 제1 시계열 데이터는 Red 채널 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 시계열 데이터는 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 획득될 수 있다.
예를 들어, 상기 제1 시계열 데이터가 제1 이미지 프레임에 대하여 획득된 Red 채널 값을 기초로 획득되는 경우 상기 제1 시계열 데이터는 상기 제1 이미지 프레임을 포함하는 제1 이미지 프레임 그룹에 대하여 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제2 시계열 데이터는 상기 제1 관심 영역에 대하여 획득된 색 채널 값을 기초로 획득될 수 있다. 예를 들어, 산소포화도를 획득하기 위한 상기 제1 관심 영역에 대하여 획득된 색 채널 값이 Blue 채널 값인 경우, 상기 제2 시계열 데이터는 Blue 채널 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제2 시계열 데이터는 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 획득될 수 있다.
예를 들어, 상기 제2 시계열 데이터가 제2 이미지 프레임에 대하여 획득된 Blue 채널 값을 기초로 획득되는 경우 상기 제2 시계열 데이터는 상기 제2 이미지 프레임을 포함하는 제2 이미지 프레임 그룹에 대하여 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 및 제2 이미지 프레임 그룹은 서로 동일 할 수 있으며, 서로 상이할 수 있고, 서로 적어도 일부 오버랩 될 수 있다.
또한, 심박수를 획득하기 위한 상기 제2 관심 영역에 대하여 적어도 하나의 시계열 데이터가 획득될 수 있다. 예를 들어, 심박수를 획득하기 위한 상기 제2 관심 영역에 대하여 제3 시계열 데이터가 획득될 수 있다.
이 때, 상기 제3 시계열 데이터는 상기 제2 관심 영역에 대하여 획득된 색 채널 값을 기초로 획득될 수 있다. 예를 들어, 심박수를 획득하기 위한 상기 제2 관심 영역에 대하여 획득된 색 채널 값이 G-R 값 및 G-B 값인 경우, 상기 제3 시계열 데이터는 G-R 값 및 G-B 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제3 시계열 데이터는 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 획득될 수 있다.
예를 들어, 상기 제3 시계열 데이터가 제3 이미지 프레임에 대하여 획득된 G-R 값 및 G-B 값을 기초로 획득되는 경우 상기 제3 시계열 데이터는 상기 제3 이미지 프레임을 포함하는 제3 이미지 프레임 그룹에 대하여 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제3 시계열 데이터는 상기 제2 관심 영역에 대하여 획득된 특성 값을 기초로 획득될 수 있다. 예를 들어, 상기 제3 시계열 데이터는 상기 제2 관심 영역에 대하여 획득된 G-R 값을 기초로 획득된 특성 값 및 G-B 값을 기초로 획득된 특성 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 혈압을 획득하기 위한 상기 제3 관심 영역에 대하여 적어도 하나의 시계열 데이터가 획득될 수 있다. 예를 들어, 혈압을 획득하기 위한 상기 제3 관심 영역에 대하여 제4 시계열 데이터가 획득될 수 있다.
이 때, 상기 제4 시계열 데이터는 상기 제3 관심 영역에 대하여 획득된 색 채널 값을 기초로 획득될 수 있다. 예를 들어, 혈압을 획득하기 위한 제3 관심 영역에 대하여 획득된 색 채널 값이 G-R 값 및 G-B 값인 경우, 상기 제4 시계열 데이터는 G-R 값 및 G-B 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제4 시계열 데이터는 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 획득될 수 있다.
예를 들어, 상기 제4 시계열 데이터가 제4 이미지 프레임에 대하여 획득된 G-R 값 및 G-B 값을 기초로 획득되는 경우 상기 제4 시계열 데이터는 상기 제4 이미지 프레임을 포함하는 제4 이미지 프레임 그룹에 대하여 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제4 시계열 데이터는 상기 제3 관심 영역에 대하여 획득된 특성 값을 기초로 획득될 수 있다. 예를 들어, 상기 제4 시계열 데이터는 상기 제3 관심 영역에 대하여 획득된 G-R 값을 기초로 획득된 특성 값 및 G-B 값을 기초로 획득된 특성 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1, 제2, 제3 및 제4 이미지 프레임 그룹은 서로 동일할 수 있으나, 이에 한정되지 않고 서로 상이할 수 있으며, 서로 적어도 일부 오버랩 될 수 있다.
또한, 도 31을 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 적어도 하나 이상의 생체 지수 획득 모델(3251)이 이용될 수 있다.
다만, 상기 생체 지수 획득 모델(3251)에 대하여, 상술한 바 중복되는 서술은 생략하기로 한다.
또한, 상기 생체 지수 획득 모델(3251)은 체온을 획득하기 위하여 이용될 수 있다.
보다 구체적으로, 상기 생체 지수 획득 모델(3251)은 체온을 획득하기 위한 상기 제4 관심 영역에 대하여 획득된 색 채널 값을 입력 값으로 할 수 있다. 예를 들어, 상기 생체 지수 획득 모델(3251)은 상기 제4 관심 영역에 대하여 획득된 Hue 채널 값 및 Saturation 채널 값을 입력 값으로 할 수 있으나, 이에 한정되지는 않는다.
또한, 상기 생체 지수 획득 모델(3251)의 입력 값은 색 채널 값, 특성 값, 이미지 프레임 그룹에 대한 색 채널 값의 평균 등이 될 수 있으나, 이에 한정되지 않는다.
또한, 도 31을 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 적어도 하나 이상의 특징(3260)이 획득될 수 있다.
또한, 적어도 하나 이상의 상기 특징(3260)은 획득될 생체 지수를 고려하여 획득될 수 있다.
보다 구체적으로, 산소포화도를 획득하기 위한 상기 제1 관심 영역에 대하여 적어도 하나 이상의 특징이 획득될 수 있다. 예를 들어, 산소포화도를 획득하기 위한 상기 제1 관심 영역에 대하여 제1 특징이 획득될 수 있다.
이 때, 상기 제1 특징은 상기 제1 관심 영역에 대하여 획득된 색 채널 값 또는 시계열 데이터를 기초로 획득될 수 있다. 예를 들어, 상기 제1 관심 영역에 대하여 획득된 색 채널 값이 Red 채널 값 및 Blue 채널 값인 경우, 상기 제1 특징은 상기 Red 채널 값 및 상기 Blue 채널 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제1 특징은 상기 제1 관심 영역에 대하여 획득된 제1 시계열 데이터 및 제2 시계열 데이터를 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 특징은 산소포화도를 획득하기 위한 특징일 수 있다. 예를 들어, 상기 제1 특징은 상기 제1 시계열 데이터에 기초하여 획득된 AC 값, DC 값 상기 제2 시계열 데이터에 기초하여 획득된 AC 값 및 DC 값 일 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제1 특징은 상기 제1 시계열 데이터에 기초하여 획득된 극대값 평균과 극소값 평균의 차이, 상기 제1 시계열 데이터에 기초하여 획득된 평균 값, 상기 제2 시계열 데이터에 기초하여 획득된 극대값 평균과 극소값 평균의 차이 및 상기 제2 시계열 데이터에 기초하여 획득된 평균 값 중 적어도 하나 이상을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 특징은 복수개의 특징을 포함할 수 있다. 예를 들어, 상기 제1 특징은 상기 제1 시계열 데이터에 기초하여 획득된 극대값 평균과 극소값 평균의 차이, 상기 제1 시계열 데이터에 기초하여 획득된 평균 값, 상기 제2 시계열 데이터에 기초하여 획득된 극대값 평균과 극소값 평균의 차이 및 상기 제2 시계열 데이터에 기초하여 획득된 평균 값 중 적어도 둘 이상을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 심박수를 획득하기 위한 상기 제2 관심 영역에 대하여 적어도 하나 이상의 특징이 획득될 수 있다. 예를 들어, 심박수를 획득하기 위한 상기 제2 관심 영역에 대하여 제2 특징이 획득될 수 있다.
이 때, 상기 제2 특징은 상기 제2 관심 영역에 대하여 획득된 색 채널 값 또는 시계열 데이터를 기초로 획득될 수 있다. 예를 들어, 상기 제2 관심 영역에 대하여 획득된 색 채널 값이 G-R 값 및 G-B 값인 경우, 상기 제2 특징은 상기 G-R 값 및 상기 G-B 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제2 특징은 상기 제2 관심 영역에 대하여 획득된 제3 시계열 데이터를 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제2 특징은 심박수를 획득하기 위한 특징일 수 있다. 예를 들어, 상기 제2 특징은 상기 제3 시계열 데이터에 기초하여 획득된 주파수 값, 파장 값, 측정시간동안 주기가 반복된 수에 대한 값 일 수 있으나, 이에 한정되지 않는다.
또한, 혈압을 획득하기 위한 상기 제3 관심 영역에 대하여 적어도 하나 이상의 특징이 획득될 수 있다. 예를 들어, 혈압을 획득하기 위한 상기 제3 관심 영역에 대하여 제3 특징이 획득될 수 있다.
이 때, 상기 제3 특징은 상기 제3 관심 영역에 대하여 획득된 색 채널 값 또는 시계열 데이터를 기초로 획득될 수 있다. 예를 들어, 상기 제3 관심 영역에 대하여 획득된 색 채널 값이 G-R 값 및 G-B 값인 경우, 상기 제3 특징은 상기 G-R 값 및 상기 G-B 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제3 특징은 상기 제3 관심 영역에 대하여 획득된 제4 시계열 데이터를 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제3 특징은 혈압을 획득하기 위한 특징일 수 있다. 예를 들어, 상기 제3 특징은 상기 제4 시계열 데이터에 기초하여 획득된 기울기 값, 최대값, 최소값, 극대값의 평균, 극소값의 평균, 극대값의 평균 및 극소값의 평균의 차이 값 등이 될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제3 특징은 복수개의 특징을 포함할 수 있다. 예를 들어, 상기 제3 특징은 상기 제4 시계열 데이터에 기초하여 획득된 기울기 값, 최대값, 최소값, 극대값의 평균, 극소값의 평균, 극대값의 평균 및 극소값의 평균의 차이 값 중 적어도 둘 이상을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 체온을 획득하기 위한 상기 제4 관심 영역에 대하여 적어도 하나 이상의 특징이 획득될 수 있다. 예를 들어, 체온을 획득하기 위한 상기 제4 관심 영역에 대하여 제4 특징이 획득될 수 있다.
이 때, 상기 제4 특징은 상기 제4 관심 영역에 대하여 획득된 색 채널 값 또는 생체 지수 획득 모델의 출력값을 기초로 획득될 수 있다. 예를 들어, 상기 제4 관심 영역에 대하여 획득된 색 채널 값이 Hue 채널 값 및 Saturation 채널 값인 경우, 상기 제4 특징은 상기 Hue 채널 값 및 상기 Saturation 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제4 특징은 상기 생체 지수 획득 모델의 출력 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제4 특징은 체온을 획득하기 위한 특징일 수 있다. 예를 들어, 상기 제4 특징은 피부 부위, 피부 온도 등 일 수 있으나, 이에 한정되지 않는다.
또한, 도 31을 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 적어도 하나 이상의 생체 지수(3270)가 획득될 수 있다.
보다 구체적으로, 각각의 생체 지수는 대응되는 특징을 기초로 획득될 수 있다. 예를 들어, 산소포화도는 상기 제1 특징을 기초로 획득될 수 있으며, 심박수는 상기 제2 특징을 기초로 획득될 수 있고, 혈압은 상기 제3 특징을 기초로 획득될 수 있으며, 체온은 상기 제4 특징을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
이 때, 상기 제1 특징을 기초로 산소포화도를 획득하기 위하여 상술한 수학식들이 이용될 수 있으며, 중복되는 서술은 생략하기로 한다.
또한, 상기 제2 특징을 기초로 심박수를 획득하기 위하여 상술한 수학식들이 이용될 수 있으며, 중복되는 서술은 생략하기로 한다.
또한, 상기 제3 특징을 기초로 혈압을 획득하기 위하여 상술한 수학식들이 이용될 수 있으며, 중복되는 서술은 생략하기로 한다.
또한, 상기 제4 특징을 기초로 체온을 획득하기 위하여 상술한 수학식들이 이용될 수 있으며, 중복되는 서술은 생략하기로 한다.
또한, 상기 생체 지수(3270)가 복수개인 경우 각각의 생체 지수는 동일한 시점에 획득될 수 있으나, 이에 한정되지 않고 서로 상이한 시간에 획득될 수 있다. 예를 들어, 산소포화도 및 심박수는 측정 후 6초 후에 획득될 수 있으며, 혈압은 측정 후 8초 후에 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수(3270)가 복수개인 경우 각각의 생체 지수는 각각 이미지 프레임 그룹에 기초하여 획득될 수 있다. 예를 들어, 산소포화도는 제5 이미지 프레임 그룹에 기초하여 획득될 수 있으며, 심박수는 제6 이미지 프레임 그룹에 기초하여 획득될 수 있고, 혈압은 제7 이미지 프레임 그룹에 기초하여 획득될 수 있다.
또한, 상기 생체 지수(3270)를 획득하기 위한 각각의 이미지 프레임 그룹은 서로 동일할 수 있으나, 이에 한정되지 않고 서로 상이할 수 있으며, 서로 적어도 일부 오버랩 될 수 있다. 예를 들어, 상기 제5, 제6 및 제7 이미지 프레임 그룹은 서로 동일할 수 있고, 서로 상이할 수 있으며, 서로 적어도 일부 오버랩 될 수 있다.
또한, 상기 생체 지수(3270)를 획득하기 위해 적어도 하나 이상의 예비 생체 지수가 획득될 수 있다. 예를 들어, 심박수를 획득하기 위해 적어도 4개의 예비 심박수가 획득될 수 있다.
다만, 이와 같은 예비 심박수 혹은 예비 생체 지수를 이용하여 심박수 혹은 생체 지수를 획득하는 방법에 관해서는 상술한 내용이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 상기 생체 지수(3270)를 획득하기 위한 예비 생체 지수의 개수는 각 생체 지수 별로 동일할 수 있으나, 상이할 수도 있다. 예를 들어, 상기 심박수를 획득하기 위한 예비 심박수는 적어도 4개 일 수 있으며, 상기 산소포화도 및 상기 혈압을 획득하기 위한 예비 산소포화도 및 예비 혈압은 적어도 2개일 수 있으나 이에 한정되지는 않는다.
7.2 일 실시예에 따른 복수개의 생체 지수 획득 방법
도 32는 일 실시예에 따른 복수개의 생체 지수 획득 방법에 대하여 설명하기 위한 도면이다.
도 32를 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 이미지 프레임(3310)이 획득될 수 있다.
이 때, 상기 이미지 프레임(3310)은 가시광 이미지, 적외선 이미지 등으로부터 획득되는 이미지 프레임일 수 있으나, 이에 한정되지 않는다.
또한, 상기 이미지 프레임(3310)은 복수개의 이미지 프레임을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 도 32를 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 적어도 하나 이상의 관심 영역(3320)이 설정될 수 있다. 보다 구체적으로, 제1 관심 영역, 제2 관심 영역 및 제3 관심 영역이 설정될 수 있다.
이 때, 상기 제1 관심 영역은 산소포화도 및 심박수를 획득하기 위한 관심 영역일 수 있으며, 상기 제2 관심 영역 및 상기 제3 관심 영역은 혈압을 획득하기 위한 관심 영역일 수 있다.
또한, 상기 제1 내지 제3 관심 영역은 서로 동일할 수 있으며, 서로 상이할 수 있다.
또한, 상기 제1 내지 제3 관심 영역은 서로 적어도 일부 오버랩 될 수 있다.
또한, 상기 제1 내지 제3 관심 영역은 획득하기 위한 생체 지수에 기초하여 그 크기 및 영역이 설정될 수 있다. 예를 들어, 심박수 및 산소포화도를 획득하기 위하여 상기 제1 관심 영역은 심장 박동에 의한 혈액의 변화를 잘 감지하기 위하여 피측정자의 볼 영역을 포함하도록 크기가 설정될 수 있으며, 혈압을 획득하기 위한 상기 제2 및 제3 관심 영역은 혈류의 흐름을 잘 반영하기 위하여 혈류의 방향을 따라 영역이 설정될 수 있으나, 이에 한정되지 않고 상기 제1 내지 제3 관심 영역은 다양한 크기와 다양한 영역으로 설정될 수 있다.
또한, 도 32를 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 적어도 하나 이상의 픽셀 값(3330)이 획득될 수 있다.
또한, 상기 픽셀 값(3330)은 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여 획득될 수 있다.
보다 구체적으로, 상기 제1 관심 영역에 대하여 RGB 색공간에 따른 Red 채널 픽셀 값, Green 채널 픽셀 값 및 Blue 채널 픽셀 값 중 적어도 일부가 획득될 수 있으며, 상기 제2 관심 영역에 대하여 RGB 색공간에 따른 Red 채널 픽셀 값, Green 채널 픽셀 값 및 Blue 채널 픽셀 값 중 적어도 일부가 획득될 수 있고, 상기 제3 관심 영역에 대하여 RGB 색공간에 따른 Red 채널 픽셀 값, Green 채널 픽셀 값 및 Blue 채널 픽셀 값 중 적어도 일부가 획득될 수 있으나, 이에 한정되지 않는다.
또한, 도 32를 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 적어도 하나 이상의 색 채널 값(3340)이 획득될 수 있다.
이 때, 상기 색 채널 값(3340)은 색 채널 픽셀 값의 평균 값을 의미할 수 있으며, 가공 값을 의미할 수도 있으나, 이에 대한 상세한 설명은 상술한 바 중복되는 서술은 생략하기로 한다.
또한, 상기 색 채널 값(3340)은 획득될 생체 지수를 고려하여 획득될 수 있다.
보다 구체적으로, 산소포화도 및 심박수를 획득하기 위한 상기 제1 관심 영역에 대하여 적어도 두 개 이상의 색 채널 값이 획득될 수 있다.
예를 들어, 상기 제1 관심 영역에 대하여 RGB 색공간에 따른 Red 채널 값, Green 채널 값, Blue 채널 값, HSV 색공간에 따른 Hue 채널 값, Saturation 채널 값, Value 채널 값 등의 색 채널 값 중 적어도 두 개 이상의 색 채널 값이 획득될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어 상기 제1 관심 영역에 대하여 Red 채널 값과 Green 채널 값의 차이 값인 G-R 값, Green 채널 값과 Blue 채널 값의 차이 값인 G-B 값, Hue 채널 값과 Value 채널 값의 차이 값인 H-V 값 등의 색 채널 값 중 적어도 두 개 이상의 색 채널 값이 획득될 수 있으나, 이에 한정되지 않는다.
또한, 산소포화도를 획득하기 위하여 상기 적어도 두 개 이상의 색 채널 값은 헤모글로빈 및 산소헤모글로빈의 흡광도를 고려하여 선택될 수 있다.
예를 들어, 산소헤모글로빈의 흡광도가 헤모글로빈의 흡광도보다 높은 Blue 채널과 산소헤모글로빈의 흡광도가 헤모글로빈의 흡광도보다 낮은 Red 채널이 선택될 수 있으며, 이에 따라, 상기 적어도 두 개의 색 채널 값은 Red 채널 값과 Blue 채널 값으로 선택될 수 있으나, 이에 한정되지 않는다.
또한, 심박수를 획득하기 위하여 상기 적어도 두 개 이상의 색 채널 값은 움직임에 의한 노이즈 및 외부 광 등에 의한 노이즈를 저감시키도록 선택될 수 있다.
예를 들어, 노이즈를 저감시키기 위하여 상대적으로 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 많이 되는 Green 채널 값과 상대적으로 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 적게되는 Red 채널 값의 차이 값인 G-R값 및 상대적으로 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 많이 되는 Green 채널 값과 상대적으로 헤모글로빈과 산소 헤모 글로빈에 의해 흡수가 적게되는 Blue 채널 값의 차이 값인 G-B 값이 선택될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 노이즈를 저감시키기 위하여 상대적으로 심장 박동에 의한 변화를 많이 반영하는 Green 채널 값과 상대적으로 심장 박동에 의한 변화를 적게 반영하는 Red 채널 값 및 Blue 채널 값의 차이 값인 G-R 값 및 G-B 값이 선택될 수 있으나, 이에 한정되지 않는다.
또한, 혈압을 획득하기 위한 상기 제2 및 제3 관심 영역에 대하여 적어도 두 개의 색 채널 값이 획득될 수 있다.
예를 들어, 혈압을 획득하기 위한 상기 제2 및 제3 관심 영역에 대하여 RGB 색공간에 따른 Red 채널 값, Green 채널 값, Blue 채널 값, HSV 색공간에 따른 Hue 채널 값, Saturation 채널 값, Value 채널 값 등의 색 채널 값 중 적어도 두 개의 색 채널 값이 획득될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어 혈압을 획득하기 위한 상기 제2 및 제3 관심 영역에 대하여 Red 채널 값과 Green 채널 값의 차이 값인 G-R 값, Green 채널 값과 Blue 채널 값의 차이 값인 G-B 값, Hue 채널 값과 Value 채널 값의 차이 값인 H-V 값 등의 색 채널 값 중 적어도 두개의 색 채널 값이 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 적어도 두 개의 색 채널 값은 움직임에 의한 노이즈 및 외부 광 등에 의한 노이즈를 저감시키기 위하여 선택될 수 있다.
예를 들어, 노이즈를 저감시키기 위하여 상대적으로 헤모글로빈과 산소헤모글로빈에 의해 흡수가 많이 되는 Green 채널 값과 상대적으로 헤모글로빈과 산소헤모글로빈에 의해 흡수가 적게 되는 Red 채널 값의 차이 값인 G-R값 및 상대적으로 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 많이 되는 Green 채널 값과 상대적으로 헤모글로빈과 산소헤모글로빈에 의해 흡수가 적게되는 Blue 채널 값의 차이 값인 G-B 값이 선택될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 노이즈를 저감시키기 위하여 상대적으로 심장 박동에 의한 변화를 많이 반영하는 Green 채널 값과 상대적으로 심장 박동에 의한 변화를 적게 반영하는 Red 채널 값 및 Blue 채널 값의 차이 값인 G-R 값 및 G-B 값이 선택될 수 있으나, 이에 한정되지 않는다.
또한, 도 32를 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 적어도 하나 이상의 시계열 데이터(3350)가 획득될 수 있다.
또한, 상기 시계열 데이터(3350)는 획득될 생체 지수를 고려하여 획득될 수 있다.
보다 구체적으로, 산소포화도 및 심박수를 획득하기 위한 상기 제1 관심 영역에 대하여 적어도 두 개 이상의 시계열 데이터가 획득될 수 있다. 예를 들어, 상기 제1 관심 영역에 대하여 산소포화도를 획득하기 위해 제1 시계열 데이터 및 제2 시계열 데이터가 획득될 수 있으며, 심박수를 획득하기 위해 제3 시계열 데이터가 획득될 수 있다.
이 때, 상기 제1 시계열 데이터는 상기 제1 관심 영역에 대하여 획득된 색 채널 값을 기초로 획득될 수 있다. 예를 들어, 상기 제1 관심 영역에 대하여 획득된 색 채널 값이 Red 채널 값인 경우, 상기 제1 시계열 데이터는 Red 채널 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 시계열 데이터는 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 획득될 수 있다.
예를 들어, 상기 제1 시계열 데이터가 제1 이미지 프레임에 대하여 획득된 Red 채널 값을 기초로 획득되는 경우 상기 제1 시계열 데이터는 상기 제1 이미지 프레임을 포함하는 제1 이미지 프레임 그룹에 대하여 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제2 시계열 데이터는 상기 제1 관심 영역에 대하여 획득된 색 채널 값을 기초로 획득될 수 있다. 예를 들어, 상기 제1 관심 영역에 대하여 획득된 색 채널 값이 Blue 채널 값인 경우, 상기 제2 시계열 데이터는 Blue 채널 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제2 시계열 데이터는 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 획득될 수 있다.
예를 들어, 상기 제2 시계열 데이터가 제2 이미지 프레임에 대하여 획득된 Blue 채널 값을 기초로 획득되는 경우 상기 제2 시계열 데이터는 상기 제2 이미지 프레임을 포함하는 제2 이미지 프레임 그룹에 대하여 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제3 시계열 데이터는 상기 제1 관심 영역에 대하여 획득된 색 채널 값을 기초로 획득될 수 있다. 예를 들어, 상기 제1 관심 영역에 대하여 획득된 색 채널 값이 G-R 값 및 G-B 값인 경우, 상기 제3 시계열 데이터는 G-R 값 및 G-B 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제3 시계열 데이터는 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 획득될 수 있다.
예를 들어, 상기 제3 시계열 데이터가 제3 이미지 프레임에 대하여 획득된 G-R 값 및 G-B 값을 기초로 획득되는 경우, 상기 제3 시계열 데이터는 상기 제3 이미지 프레임을 포함하는 제3 이미지 프레임 그룹에 대하여 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제3 시계열 데이터는 상기 제1 관심 영역에 대하여 획득된 특성 값을 기초로 획득될 수 있다. 예를 들어, 상기 제3 시계열 데이터는 상기 제1 관심 영역에 대하여 획득된 G-R 값을 기초로 획득된 특성 값 및 G-B 값을 기초로 획득된 특성 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1, 제2 및 제3 이미지 프레임 그룹은 서로 동일할 수 있으나, 이에 한정되지 않고, 서로 상이할 수 있으며, 서로 적어도 일부 오버랩될 수 있다.
또한, 혈압을 획득하기 위하여 상기 제2 관심 영역 및 제3 관심 영역 각각에 대하여 적어도 하나의 시계열 데이터가 획득될 수 있다. 예를 들어, 상기 제2 관심 영역에 대하여 제4 시계열 데이터가 획득될 수 있으며, 상기 제3 관심 영역에 대하여 제5 시계열 데이터가 획득될 수 있으나, 이에 한정되지 않는다.
이 때, 상기 제4 시계열 데이터는 상기 제2 관심 영역에 대하여 획득된 색 채널 값을 기초로 획득될 수 있다. 예를 들어, 상기 제2 관심 영역에 대하여 획득된 색 채널 값이 G-R 값 및 G-B 값인 경우, 상기 제4 시계열 데이터는 G-R 값 및 G-B 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제4 시계열 데이터는 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 획득될 수 있다.
예를 들어, 상기 제4 시계열 데이터가 제4 이미지 프레임에 대하여 획득된 G-R 값 및 G-B 값을 기초로 획득되는 경우 상기 제4 시계열 데이터는 상기 제4 이미지 프레임을 포함하는 제4 이미지 프레임 그룹에 대하여 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제4 시계열 데이터는 상기 제2 관심 영역에 대하여 획득된 특성 값을 기초로 획득될 수 있다. 예를 들어, 상기 제4 시계열 데이터는 상기 제2 관심 영역에 대하여 획득된 G-R 값을 기초로 획득된 특성 값 및 G-B 값을 기초로 획득된 특성 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제5 시계열 데이터는 상기 제3 관심 영역에 대하여 획득된 색 채널 값을 기초로 획득될 수 있다. 예를 들어, 상기 제3 관심 영역에 대하여 획득된 색 채널 값이 G-R 값 및 G-B 값인 경우, 상기 제5 시계열 데이터는 G-R 값 및 G-B 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제5 시계열 데이터는 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 획득될 수 있다.
예를 들어, 상기 제5 시계열 데이터가 제5 이미지 프레임에 대하여 획득된 G-R 값 및 G-B 값을 기초로 획득되는 경우 상기 제5 시계열 데이터는 상기 제5 이미지 프레임을 포함하는 제5 이미지 프레임 그룹에 대하여 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제5 시계열 데이터는 상기 제3 관심 영역에 대하여 획득된 특성 값을 기초로 획득될 수 있다. 예를 들어, 상기 제5 시계열 데이터는 상기 제3 관심 영역에 대하여 획득된 G-R 값을 기초로 획득된 특성 값 및 G-B 값을 기초로 획득된 특성 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1, 제2, 제3, 제4 및 제5 이미지 프레임 그룹은 서로 동일할 수 있으나, 이에 한정되지 않고 서로 상이할 수 있으며, 서로 적어도 일부 오버랩 될 수 있다.
또한, 도 32를 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 적어도 하나 이상의 특징(3360)이 획득될 수 있다.
또한, 적어도 하나 이상의 상기 특징(3360)은 획득될 생체 지수를 고려하여 획득될 수 있다.
보다 구체적으로, 산소포화도 및 심박수를 획득하기 위한 상기 제1 관심 영역에 대하여 적어도 하나 이상의 특징이 획득될 수 있다. 예를 들어, 산소포화도를 획득하기 위하여 상기 제1 관심 영역에 대한 제1 특징이 획득될 수 있으며, 심박수를 획득하기 위하여 상기 제1 관심 영역에 대한 제2 특징이 획득될 수 있다.
이 때, 상기 제1 특징은 상기 제1 관심 영역에 대하여 획득된 색 채널 값 또는 시계열 데이터를 기초로 획득될 수 있다. 예를 들어, 상기 제1 관심 영역에 대하여 획득된 색 채널 값이 Red 채널 값 및 Blue 채널 값인 경우, 상기 제1 특징은 상기 Red 채널 값 및 상기 Blue 채널 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제1 특징은 상기 제1 관심 영역에 대하여 획득된 제1 시계열 데이터 및 제2 시계열 데이터를 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 특징은 산소포화도를 획득하기 위한 특징일 수 있다. 예를 들어, 상기 제1 특징은 상기 제1 시계열 데이터에 기초하여 획득된 AC 값, DC 값 상기 제2 시계열 데이터에 기초하여 획득된 AC 값 및 DC 값 일 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제1 특징은 상기 제1 시계열 데이터에 기초하여 획득된 극대값 평균과 극소값 평균의 차이, 상기 제1 시계열 데이터에 기초하여 획득된 평균 값, 상기 제2 시계열 데이터에 기초하여 획득된 극대값 평균과 극소값 평균의 차이 및 상기 제2 시계열 데이터에 기초하여 획득된 평균 값 중 적어도 하나 이상을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 특징은 복수개의 특징을 포함할 수 있다. 예를 들어, 상기 제1 특징은 상기 제1 시계열 데이터에 기초하여 획득된 극대값 평균과 극소값 평균의 차이, 상기 제1 시계열 데이터에 기초하여 획득된 평균 값, 상기 제2 시계열 데이터에 기초하여 획득된 극대값 평균과 극소값 평균의 차이 및 상기 제2 시계열 데이터에 기초하여 획득된 평균 값 중 적어도 둘 이상을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제2 특징은 상기 제1 관심 영역에 대하여 획득된 색 채널 값 또는 시계열 데이터를 기초로 획득될 수 있다. 예를 들어, 상기 제1 관심 영역에 대하여 획득된 색 채널 값이 G-R 값 및 G-B 값인 경우, 상기 제2 특징은 상기 G-R 값 및 상기 G-B 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제2 특징은 상기 제1 관심 영역에 대하여 획득된 제3 시계열 데이터를 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제2 특징은 심박수를 획득하기 위한 특징일 수 있다. 예를 들어, 상기 제2 특징은 상기 제3 시계열 데이터에 기초하여 획득된 주파수 값, 파장 값, 측정시간동안 주기가 반복된 수에 대한 값 일 수 있으나, 이에 한정되지 않는다.
또한, 혈압을 획득하기 위한 상기 제2 및 제3 관심 영역에 대하여 적어도 하나 이상의 특징이 획득 될 수 있다. 예를 들어, 혈압을 획득하기 위하여 상기 제2 및 제3 관심 영역에 대하여 제3 특징이 획득될 수 있다.
이 때, 상기 제3 특징은 상기 제2 및 제3 관심 영역에 대하여 획득된 색 채널 값 또는 시계열 데이터를 기초로 획득될 수 있다. 예를 들어, 상기 제2 및 제3 관심 영역에 대하여 획득된 색 채널 값이 G-R 값 및 G-B 값인 경우, 상기 제3 특징은 상기 G-R 값 및 상기 G-B 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제3 특징은 상기 제2 관심 영역에 대하여 획득된 제4 시계열 데이터 및 제3 관심 영역에 대하여 획득된 제5 시계열 데이터를 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제3 특징은 혈압을 획득하기 위한 특징일 수 있다. 예를 들어, 상기 제3 특징은 상기 제4 및 제5 시계열 데이터에 기초하여 획득된 기울기 값, 최대값, 최소값, 극대값의 평균, 극소값의 평균, 극대값의 평균 및 극소값의 평균의 차이 값 등이 될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제3 특징은 상기 제4 및 제5 시계열 데이터 사이의 시간 차이, 극대값 사이의 시간 차이, 극소값 사이의 시간 차이, 변곡점 사이의 시간 차이 등 이 될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제3 특징은 복수개의 특징을 포함할 수 있다. 예를 들어, 상기 제3 특징은 상술한 특징들 중 적어도 둘 이상을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 도 32를 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 적어도 하나 이상의 생체 지수(3370)가 획득될 수 있다.
보다 구체적으로, 각각의 생체 지수는 대응되는 특징을 기초로 획득될 수 있다. 예를 들어, 산소포화도는 상기 제1 특징을 기초로 획득될 수 있으며, 심박수는 상기 제2 특징을 기초로 획득될 수 있고, 혈압은 상기 제3 특징을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
이 때, 상기 제1 특징을 기초로 산소포화도를 획득하기 위하여 상술한 수학식들이 이용될 수 있으며, 중복되는 서술은 생략하기로 한다.
또한, 상기 제2 특징을 기초로 심박수를 획득하기 위하여 상술한 수학식들이 이용될 수 있으며, 중복되는 서술은 생략하기로 한다.
또한, 상기 제3 특징을 기초로 혈압을 획득하기 위하여 상술한 수학식들이 이용될 수 있으며, 중복되는 서술은 생략하기로 한다.
또한, 상기 생체 지수(3370)가 복수개인 경우 각각의 생체 지수는 동일한 시점에 획득될 수 있으나, 이에 한정되지 않고 서로 상이한 시간에 획득될 수 있다. 예를 들어, 산소포화도 및 심박수는 측정 후 6초 후에 획득될 수 있으며, 혈압은 측정 후 8초 후에 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수(3370)가 복수개인 경우 각각의 생체 지수는 각각 이미지 프레임 그룹에 기초하여 획득될 수 있다. 예를 들어, 산소포화도는 제6 이미지 프레임 그룹에 기초하여 획득될 수 있으며, 심박수는 제7 이미지 프레임 그룹에 기초하여 획득될 수 있고, 혈압은 제8 이미지 프레임 그룹에 기초하여 획득될 수 있다.
또한, 상기 생체 지수(3370)를 획득하기 위한 각각의 이미지 프레임 그룹은 서로 동일할 수 있으나, 이에 한정되지 않고 서로 상이할 수 있으며, 서로 적어도 일부 오버랩 될 수 있다. 예를 들어, 상기 제6, 제7 및 제8 이미지 프레임 그룹은 서로 동일할 수 있고, 서로 상이할 수 있으며, 서로 적어도 일부 오버랩 될 수 있다.
또한, 상기 생체 지수(3370)를 획득하기 위해 적어도 하나 이상의 예비 생체 지수가 획득될 수 있다. 예를 들어, 심박수를 획득하기 위해 적어도 4개의 예비 심박수가 획득될 수 있다.
다만, 이와 같은 예비 심박수 혹은 예비 생체 지수를 이용하여 심박수 혹은 생체 지수를 획득하는 방법에 관해서는 상술한 내용이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 상기 생체 지수(3370)를 획득하기 위한 예비 생체 지수의 개수는 각 생체 지수 별로 동일할 수 있으나, 상이할 수도 있다. 예를 들어, 상기 심박수를 획득하기 위한 예비 심박수는 적어도 4개 일 수 있으며, 상기 산소포화도 및 상기 혈압을 획득하기 위한 예비 산소포화도 및 예비 혈압은 적어도 2개일 수 있으나 이에 한정되지는 않는다.
7.3 일 실시예에 따른 복수개의 생체 지수 획득 방법
도 33은 일 실시예에 따른 복수개의 생체 지수 획득 방법에 대하여 설명하기 위한 도면이다.
도 33을 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 이미지 프레임(3410)이 획득될 수 있다.
이 때, 상기 이미지 프레임(3410)은 가시광 이미지, 적외선 이미지 등으로부터 획득되는 이미지 프레임일 수 있으나, 이에 한정되지 않는다.
또한, 상기 이미지 프레임(3410)은 복수개의 이미지 프레임을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 도 33을 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 적어도 하나 이상의 관심 영역(3420)이 설정될 수 있다. 보다 구체적으로, 제1 관심 영역 및 제2 관심 영역이 설정될 수 있다.
이 때, 상기 제1 관심 영역은 산소포화도, 심박수 및 혈압을 획득하기 위한 관심 영역일 수 있으며, 상기 제1 및 제2 관심 영역은 혈압을 획득하기 위한 관심 영역일 수 있다.
또한, 상기 제1 및 제2 관심 영역은 서로 동일할 수 있으며, 서로 상이할 수 있다.
또한, 상기 제1 및 제2 관심 영역은 서로 적어도 일부 오버랩 될 수 있다.
또한, 상기 제1 및 제2 관심 영역은 획득하기 위한 생체 지수에 기초하여 그 크기 및 영역이 설정될 수 있다. 예를 들어, 심박수 및 산소포화도를 획득하기 위하여 상기 제1 관심 영역은 심장 박동에 의한 혈액의 변화를 잘 감지하기 위하여 피측정자의 볼 영역을 포함하도록 크기가 설정될 수 있으며, 혈압을 획득하기 위하여 상기 제1 및 제2 관심 영역은 혈류의 흐름을 잘 반영하기 위하여 혈류의 방향을 따라 영역이 설정될 수 있으나, 이에 한정되지 않고 상기 제1 및 제2 관심 영역은 다양한 크기와 다양한 영역으로 설정될 수 있다.
또한, 도 33을 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 적어도 하나 이상의 픽셀 값(3430)이 획득될 수 있다.
또한, 상기 픽셀 값(3430)은 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여 획득될 수 있다.
보다 구체적으로, 상기 제1 관심 영역에 대하여 RGB 색공간에 따른 Red 채널 픽셀 값, Green 채널 픽셀 값 및 Blue 채널 픽셀 값 중 적어도 일부가 획득될 수 있으며, 상기 제2 관심 영역에 대하여 RGB 색공간에 따른 Red 채널 픽셀 값, Green 채널 픽셀 값 및 Blue 채널 픽셀 값 중 적어도 일부가 획득될 수 있으나, 이에 한정되지 않는다.
또한, 도 33을 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 적어도 하나 이상의 색 채널 값(3440)이 획득될 수 있다.
이 때, 상기 색 채널 값(3440)은 색 채널 픽셀 값의 평균 값을 의미할 수 있으며, 가공 값을 의미할 수도 있으나, 이에 대한 상세한 설명은 상술한 바 중복되는 서술은 생략하기로 한다.
또한, 상기 색 채널 값(3440)은 획득될 생체 지수를 고려하여 획득될 수 있다.
보다 구체적으로, 산소포화도, 심박수 및 혈압을 획득하기 위한 상기 제1 관심 영역에 대하여 적어도 두 개 이상의 색 채널 값이 획득될 수 있다.
예를 들어, 상기 제1 관심 영역에 대하여 RGB 색공간에 따른 Red 채널 값, Green 채널 값, Blue 채널 값, HSV 색공간에 따른 Hue 채널 값, Saturation 채널 값, Value 채널 값 등의 색 채널 값 중 적어도 두 개 이 상의 색 채널 값이 획득될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어 상기 제1 관심 영역에 대하여 Red 채널 값과 Green 채널 값의 차이 값인 G-R 값, Green 채널 값과 Blue 채널 값의 차이 값인 G-B 값, Hue 채널 값과 Value 채널 값의 차이 값인 H-V 값 등의 색 채널 값 중 적어도 두 개 이상의 색 채널 값이 획득될 수 있으나, 이에 한정되지 않는다.
또한, 산소포화도를 획득하기 위하여 상기 적어도 두 개 이상의 색 채널 값은 헤모글로빈 및 산소헤모글로빈의 흡광도를 고려하여 선택될 수 있다.
예를 들어, 산소헤모글로빈의 흡광도가 헤모글로빈의 흡광도보다 높은 Blue 채널과 산소헤모글로빈의 흡광도가 헤모글로빈의 흡광도보다 낮은 Red 채널이 선택될 수 있으며, 이에 따라, 상기 적어도 두 개의 색 채널 값은 Red 채널 값과 Blue 채널 값으로 선택될 수 있으나, 이에 한정되지 않는다.
또한, 심박수를 획득하기 위하여 상기 적어도 두 개 이상의 색 채널 값은 움직임에 의한 노이즈 및 외부 광 등에 의한 노이즈를 저감시키도록 선택될 수 있다.
예를 들어, 노이즈를 저감시키기 위하여 상대적으로 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 많이 되는 Green 채널 값과 상대적으로 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 적게되는 Red 채널 값의 차이 값인 G-R값 및 상대적으로 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 많이 되는 Green 채널 값과 상대적으로 헤모글로빈과 산소 헤모 글로빈에 의해 흡수가 적게되는 Blue 채널 값의 차이 값인 G-B 값이 선택될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 노이즈를 저감시키기 위하여 상대적으로 심장 박동에 의한 변화를 많이 반영하는 Green 채널 값과 상대적으로 심장 박동에 의한 변화를 적게 반영하는 Red 채널 값 및 Blue 채널 값의 차이 값인 G-R 값 및 G-B 값이 선택될 수 있으나, 이에 한정되지 않는다.
또한, 혈압을 획득하기 위한 상기 제1 및 제2 관심 영역에 대하여 적어도 두 개의 색 채널 값이 획득될 수 있다.
예를 들어, 혈압을 획득하기 위한 상기 제1 및 제2 관심 영역에 대하여 RGB 색공간에 따른 Red 채널 값, Green 채널 값, Blue 채널 값, HSV 색공간에 따른 Hue 채널 값, Saturation 채널 값, Value 채널 값 등의 색 채널 값 중 적어도 두 개의 색 채널 값이 획득될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어 혈압을 획득하기 위한 상기 제1 및 제2 관심 영역에 대하여 Red 채널 값과 Green 채널 값의 차이 값인 G-R 값, Green 채널 값과 Blue 채널 값의 차이 값인 G-B 값, Hue 채널 값과 Value 채널 값의 차이 값인 H-V 값 등의 색 채널 값 중 적어도 두개의 색 채널 값이 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 적어도 두 개의 색 채널 값은 움직임에 의한 노이즈 및 외부 광 등에 의한 노이즈를 저감시키기 위하여 선택될 수 있다.
예를 들어, 노이즈를 저감시키기 위하여 상대적으로 헤모글로빈과 산소헤모글로빈에 의해 흡수가 많이 되는 Green 채널 값과 상대적으로 헤모글로빈과 산소헤모글로빈에 의해 흡수가 적게 되는 Red 채널 값의 차이 값인 G-R값 및 상대적으로 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 많이 되는 Green 채널 값과 상대적으로 헤모글로빈과 산소헤모글로빈에 의해 흡수가 적게되는 Blue 채널 값의 차이 값인 G-B 값이 선택될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 노이즈를 저감시키기 위하여 상대적으로 심장 박동에 의한 변화를 많이 반영하는 Green 채널 값과 상대적으로 심장 박동에 의한 변화를 적게 반영하는 Red 채널 값 및 Blue 채널 값의 차이 값인 G-R 값 및 G-B 값이 선택될 수 있으나, 이에 한정되지 않는다.
또한, 도 33을 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 적어도 하나 이상의 시게열 데이터(3450)가 획득될 수 있다.
또한, 상기 시계열 데이터(3450)는 획득될 생체 지수를 고려하여 획득될 수 있다.
보다 구체적으로, 상기 제1 관심 영역에 대하여 적어도 두 개 이상의 시게열 데이터가 획득될 수 있다. 예를 들어, 상기 제1 관심 영역에 대하여 산소포화도를 획득하기 위해 제1 시계열 데이터 및 제2 시계열 데이터가 획득될 수 있으며, 심박수 및 혈압을 획득하기 위해 제3 시계열 데이터가 획득될 수 있다.
이 때, 상기 제1 시계열 데이터는 상기 제1 관심 영역에 대하여 획득된 색 채널 값을 기초로 획득될 수 있다. 예를 들어, 상기 제1 관심 영역에 대하여 획득된 색 채널 값이 Red 채널 값 인 경우, 상기 제1 시계열 데이터는 Red 채널 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 시게열 데이터는 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 획득될 수 있다.
예를 들어, 상기 제1 시계열 데이터가 제1 이미지 프레임에 대하여 획득된 Red 채널 값을 기초로 획득되는 경우 상기 제1 시계열 데이터는 상기 제1 이미지 프레임을 포함하는 제1 이미지 프레임 그룹에 대하여 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제2 시계열 데이터는 상기 제1 관심 영역에 대하여 획득된 색 채널 값을 기초로 획득될 수 있다. 예를 들어, 상기 제1 관심 영역에 대하여 획득된 색 채널 값이 Blue 채널 값인 경우, 상기 제2 시계열 데이터는 Blue 채널 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제2 시계열 데이터는 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 획득될 수 있다.
예를 들어, 상기 제2 시계열 데이터가 제2 이미지 프레임에 대하여 획득된 Blue 채널 값을 기초로 획득되는 경우 상기 제2 시계열 데이터는 상기 제2 이미지 프레임을 포함하는 제2 이미지 프레임 그룹에 대하여 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제3 시계열 데이터는 상기 제1 관심 영역에 대하여 획득된 색 채널 값을 기초로 획득될 수 있다. 예를 들어, 상기 제1 관심 영역에 대하여 획득된 색 채널 값이 G-R 값 및 G-B 값인 경우, 상기 제3 시계열 데이터는 G-R 값 및 G-B 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제3 시계열 데이터는 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 획득될 수 있다.
예를 들어, 상기 제3 시계열 데이터가 제3 이미지 프레임에 대하여 획득된 G-R 값 및 G-B 값을 기초로 획득되는 경우, 상기 제3 시계열 데이터는 상기 제3 이미지 프레임을 포함하는 제3 이미지 프레임 그룹에 대하여 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제3 시계열 데이터는 상기 제1 관심 영역에 대하여 획득된 특성 값을 기초로 획득될 수 있다. 예를 들어, 상기 제3 시계열 데이터는 상기 제1 관심 영역에 대하여 획득된 G-R 값을 기초로 획득된 특성 값 및 G-B 값을 기초로 획득된 특성 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 혈압을 획득하기 위하여 상기 제2 관심 영역에 대하여 적어도 하나의 시계열 데이터가 획득될 수 있으며, 상기 제1 관심 영역에 대하여 획득된 제3 시계열 데이터 및 상기 제2 관심 영역에 대하여 획득된 제4 시계열 데이터를 기초로 혈압이 획득될 수 있다.
이 때, 상기 제4 시계열 데이터는 상기 제2 관심 영역에 대하여 획득된 색 채널 값을 기초로 획득될 수 있다. 예를 들어, 상기 제2 관심 영역에 대하여 획득된 색 채널 값이 G-R 값 및 G-B 값인 경우, 상기 제4 시계열 데이터는 G-R 값 및 G-B 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제4 시계열 데이터는 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 획득될 수 있다.
예를 들어, 상기 제4 시계열 데이터가 제4 이미지 프레임에 대하여 획득된 G-R 값 및 G-B 값을 기초로 획득되는 경우 상기 제4 시계열 데이터는 상기 제4 이미지 프레임을 포함하는 제4 이미지 프레임 그룹에 대하여 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제4 시계열 데이터는 상기 제2 관심 영역에 대하여 획득된 특성 값을 기초로 획득될 수 있다. 예를 들어, 상기 제4 시계열 데이터는 상기 제2 관심 영역에 대하여 획득된 G-R 값을 기초로 획득된 특성 값 및 G-B 값을 기초로 획득된 특성 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1, 제2, 제3 및 제4 이미지 프레임 그룹은 서로 동일할 수 있으나, 이에 한정되지 않고 서로 상이할 수 있으며, 서로 적어도 일부 오버랩 될 수 있다.
또한, 도 33을 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 적어도 하나 이상의 특징(3460)이 획득될 수 있다.
또한, 적어도 하나 이상의 상기 특징(3460)은 획득될 생체 지수를 고려하여 획득될 수 있다.
보다 구체적으로, 상기 제1 관심 영역에 대하여 적어도 하나 이상의 특징이 획득될 수 있다. 예를 들어, 산소포화도를 획득하기 위하여 상기 제1 관심 영역에 대한 제1 특징이 획득될 수 있으며, 심박수를 획득하기 위하여 상기 제1 관심 영역에 대한 제2 특징이 획득될 수 있다.
이 때, 상기 제1 특징은 상기 제1 관심 영역에 대하여 획득된 색 채널 값 또는 시계열 데이터를 기초로 획득될 수 있다. 예를 들어, 상기 제1 관심 영역에 대하여 획득된 색 채널 값이 Red 채널 값 및 Blue 채널 값인 경우, 상기 제1 특징은 상기 Red 채널 값 및 상기 Blue 채널 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제1 특징은 상기 제1 관심 영역에 대하여 획득된 제1 시계열 데이터 및 제2 시계열 데이터를 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 특징은 산소포화도를 획득하기 위한 특징일 수 있다. 예를 들어, 상기 제1 특징은 상기 제1 시계열 데이터에 기초하여 획득된 AC 값, DC 값 상기 제2 시계열 데이터에 기초하여 획득된 AC 값 및 DC 값 일 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제1 특징은 상기 제1 시계열 데이터에 기초하여 획득된 극대값 평균과 극소값 평균의 차이, 상기 제1 시계열 데이터에 기초하여 획득된 평균 값, 상기 제2 시계열 데이터에 기초하여 획득된 극대값 평균과 극소값 평균의 차이 및 상기 제2 시계열 데이터에 기초하여 획득된 평균 값 중 적어도 하나 이상을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 특징은 복수개의 특징을 포함할 수 있다. 예를 들어, 상기 제1 특징은 상기 제1 시계열 데이터에 기초하여 획득된 극대값 평균과 극소값 평균의 차이, 상기 제1 시계열 데이터에 기초하여 획득된 평균 값, 상기 제2 시계열 데이터에 기초하여 획득된 극대값 평균과 극소값 평균의 차이 및 상기 제2 시계열 데이터에 기초하여 획득된 평균 값 중 적어도 둘 이상을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제2 특징은 상기 제1 관심 영역에 대하여 획득된 색 채널 값 또는 시계열 데이터를 기초로 획득될 수 있다. 예를 들어, 상기 제1 관심 영역에 대하여 획득된 색 채널 값이 G-R 값 및 G-B 값인 경우, 상기 제2 특징은 상기 G-R 값 및 상기 G-B 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제2 특징은 상기 제1 관심 영역에 대하여 획득된 제3 시계열 데이터를 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제2 특징은 심박수를 획득하기 위한 특징일 수 있다. 예를 들어, 상기 제2 특징은 상기 제3 시계열 데이터에 기초하여 획득된 주파수 값, 파장 값, 측정시간동안 주기가 반복된 수에 대한 값 일 수 있으나, 이에 한정되지 않는다.
또한, 혈압을 획득하기 위한 상기 제1 및 제2 관심 영역에 대하여 적어도 하나 이상의 특징이 획득 될 수 있다. 예를 들어, 혈압을 획득하기 위하여 상기 제1 및 제2 관심 영역에 대하여 제3 특징이 획득될 수 있다.
이 때, 상기 제3 특징은 상기 제1 및 제2 관심 영역에 대하여 획득된 색 채널 값 또는 시계열 데이터를 기초로 획득될 수 있다. 예를 들어, 상기 제1 및 제2 관심 영역에 대하여 획득된 색 채널 값이 G-R 값 및 G-B 값인 경우, 상기 제3 특징은 상기 G-R 값 및 상기 G-B 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제3 특징은 상기 제1 관심 영역에 대하여 획득된 제3 시계열 데이터 및 제2 관심 영역에 대하여 획득된 제4 시계열 데이터를 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제3 특징은 혈압을 획득하기 위한 특징일 수 있다. 예를 들어, 상기 제3 특징은 상기 제3 및 제4 시계열 데이터에 기초하여 획득된 기울기 값, 최대값, 최소값, 극대값의 평균, 극소값의 평균, 극대값의 평균 및 극소값의 평균의 차이 값 등이 될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제3 특징은 상기 제3 및 제4 시계열 데이터 사이의 시간 차이, 극대값 사이의 시간 차이, 극소값 사이의 시간 차이, 변곡점 사이의 시간 차이 등 이 될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제3 특징은 복수개의 특징을 포함할 수 있다. 예를 들어, 상기 제3 특징은 상술한 특징들 중 적어도 둘 이상을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 도 33을 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 적어도 하나 이상의 생체 지수(3470)가 획득될 수 있다.
보다 구체적으로, 각각의 생체 지수는 대응되는 특징을 기초로 획득될 수 있다. 예를 들어, 산소포화도는 상기 제1 특징을 기초로 획득될 수 있으며, 심박수는 상기 제2 특징을 기초로 획득될 수 있고, 혈압은 상기 제3 특징을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
이 때, 상기 제1 특징을 기초로 산소포화도를 획득하기 위하여 상술한 수학식들이 이용될 수 있으며, 중복되는 서술은 생략하기로 한다.
또한, 상기 제2 특징을 기초로 심박수를 획득하기 위하여 상술한 수학식들이 이용될 수 있으며, 중복되는 서술은 생략하기로 한다.
또한, 상기 제3 특징을 기초로 혈압을 획득하기 위하여 상술한 수학식들이 이용될 수 있으며, 중복되는 서술은 생략하기로 한다.
또한, 상기 생체 지수(3470)가 복수개인 경우 각각의 생체 지수는 동일한 시점에 획득될 수 있으나, 이에 한정되지 않고 서로 상이한 시간에 획득될 수 있다. 예를 들어, 산소포화도 및 심박수는 측정 후 6초 후에 획득될 수 있으며, 혈압은 측정 후 8초 후에 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수(3470)가 복수개인 경우 각각의 생체 지수는 각각 이미지 프레임 그룹에 기초하여 획득될 수 있다. 예를 들어, 산소포화도는 제5 이미지 프레임 그룹에 기초하여 획득될 수 있으며, 심박수는 제6 이미지 프레임 그룹에 기초하여 획득될 수 있고, 혈압은 제7 이미지 프레임 그룹에 기초하여 획득될 수 있다.
또한, 상기 생체 지수(3470)를 획득하기 위한 각각의 이미지 프레임 그룹은 서로 동일할 수 있으나, 이에 한정되지 않고 서로 상이할 수 있으며, 서로 적어도 일부 오버랩 될 수 있다. 예를 들어, 상기 제5, 제6 및 제7 이미지 프레임 그룹은 서로 동일할 수 있고, 서로 상이할 수 있으며, 서로 적어도 일부 오버랩 될 수 있다.
또한, 상기 생체 지수(3470)를 획득하기 위해 적어도 하나 이상의 예비 생체 지수가 획득될 수 있다. 예를 들어, 심박수를 획득하기 위해 적어도 4개의 예비 심박수가 획득될 수 있다.
다만, 이와 같은 예비 심박수 혹은 예비 생체 지수를 이용하여 심박수 혹은 생체 지수를 획득하는 방법에 관해서는 상술한 내용이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 상기 생체 지수(3470)를 획득하기 위한 예비 생체 지수의 개수는 각 생체 지수 별로 동일 할 수 있으나, 상이할 수도 있다. 예를 들어, 상기 심박수를 획득하기 위한 예비 심박수는 적어도 4개 일 수 있으며, 상기 산소포화도 및 상기 혈압을 획득하기 위한 예비 산소포화도 및 예비 혈압은 적어도 2개일 수 있으나 이에 한정되지는 않는다.
7.4 일 실시예에 따른 복수개의 생체 지수 획득 방법
도 34는 일 실시예에 따른 복수개의 생체 지수 획득 방법에 대하여 설명하기 위한 도면이다.
도 34를 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 이미지 프레임(3510)이 획득될 수 있다.
이 때, 상기 이미지 프레임(3510)은 가시광 이미지, 적외선 이미지 등으로부터 획득되는 이미지 프레임일 수 있으나, 이에 한정되지 않는다.
또한, 상기 이미지 프레임(3510)은 복수개의 이미지 프레임을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 도 34를 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 적어도 하나 이상의 관심 영역(3520)이 설정될 수 있다. 보다 구체적으로, 제1 관심 영역이 설정될 수 있다.
이 때, 상기 제1 관심 영역은 산소포화도, 심박수 및 혈압을 획득하기 위한 관심 영역일 수 있다.
또한, 상기 제1 관심 영역은 획득하기 위한 생체 지수에 기초하여 그 크기 및 영역이 설정될 수 있다. 예를 들어, 심박수 및 산소포화도를 획득하기 위하여 상기 제1 관심 영역은 심장 박동에 의한 혈액의 변화를 잘 감지하기 위하여 피측정자의 볼 영역을 포함하도록 크기가 설정될 수 있으나, 이에 한정되지 않고 상기 제1 관심 영역은 다양한 크기와 다양한 영역으로 설정될 수 있다.
또한, 도 34를 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 적어도 하나 이상의 픽셀 값(3530)이 획득될 수 있다.
또한, 상기 픽셀 값(3530)은 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여 획득될 수 있다.
보다 구체적으로, 상기 제1 관심 영역에 대하여 RGB 색공간에 따른 Red 채널 픽셀 값, Green 채널 픽셀 값 및 Blue 채널 픽셀 값 중 적어도 일부가 획득될 수 있으나, 이에 한정되지 않는다.
또한, 도 34를 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 적어도 하나 이상의 색 채널 값(3540)이 획득될 수 있다.
이 때, 상기 색 채널 값(3540)은 색 채널 픽셀 값의 평균 값을 의미할 수 있으며, 가공 값을 의미할 수도 있으나, 이에 대한 상세한 설명은 상술한 바 중복되는 서술은 생략하기로 한다.
또한, 상기 색 채널 값(3540)은 획득될 생체 지수를 고려하여 획득될 수 있다.
보다 구체적으로, 산소포화도, 심박수 및 혈압을 획득하기 위한 상기 제1 관심 영역에 대하여 적어도 두 개 이상의 색 채널 값이 획득될 수 있다.
예를 들어, 상기 제1 관심 영역에 대하여 RGB 색공간에 따른 Red 채널 값, Green 채널 값, Blue 채널 값, HSV 색공간에 따른 Hue 채널 값, Saturation 채널 값, Value 채널 값 등의 색 채널 값 중 적어도 두 개 이 상의 색 채널 값이 획득될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어 상기 제1 관심 영역에 대하여 Red 채널 값과 Green 채널 값의 차이 값인 G-R 값, Green 채널 값과 Blue 채널 값의 차이 값인 G-B 값, Hue 채널 값과 Value 채널 값의 차이 값인 H-V 값 등의 색 채널 값 중 적어도 두 개 이상의 색 채널 값이 획득될 수 있으나, 이에 한정되지 않는다.
또한, 산소포화도를 획득하기 위하여 상기 적어도 두 개 이상의 색 채널 값은 헤모글로빈 및 산소헤모글로빈의 흡광도를 고려하여 선택될 수 있다.
예를 들어, 산소헤모글로빈의 흡광도가 헤모글로빈의 흡광도보다 높은 Blue 채널과 산소헤모글로빈의 흡광도가 헤모글로빈의 흡광도보다 낮은 Red 채널이 선택될 수 있으며, 이에 따라, 상기 적어도 두 개의 색 채널 값은 Red 채널 값과 Blue 채널 값으로 선택될 수 있으나, 이에 한정되지 않는다.
또한, 심박수 및 혈압을 획득하기 위하여 상기 적어도 두 개 이상의 색 채널 값은 움직임에 의한 노이즈 및 외부 광 등에 의한 노이즈를 저감시키도록 선택될 수 있다.
예를 들어, 노이즈를 저감시키기 위하여 상대적으로 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 많이 되는 Green 채널 값과 상대적으로 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 적게되는 Red 채널 값의 차이 값인 G-R값 및 상대적으로 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 많이 되는 Green 채널 값과 상대적으로 헤모글로빈과 산소 헤모 글로빈에 의해 흡수가 적게되는 Blue 채널 값의 차이 값인 G-B 값이 선택될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 노이즈를 저감시키기 위하여 상대적으로 심장 박동에 의한 변화를 많이 반영하는 Green 채널 값과 상대적으로 심장 박동에 의한 변화를 적게 반영하는 Red 채널 값 및 Blue 채널 값의 차이 값인 G-R 값 및 G-B 값이 선택될 수 있으나, 이에 한정되지 않는다.
또한, 도 34를 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 적어도 하나 이상의 시계열 데이터(3550)가 획득될 수 있다.
또한, 상기 시계열 데이터(3550)는 획득될 생체 지수를 고려하여 획득될 수 있다.
보다 구체적으로, 상기 제1 관심 영역에 대하여 적어도 두 개 이상의 시게열 데이터가 획득될 수 있다. 예를 들어, 상기 제1 관심 영역에 대하여 산소포화도를 획득하기 위해 제1 시계열 데이터 및 제2 시계열 데이터가 획득될 수 있으며, 심박수 및 혈압을 획득하기 위해 제3 시계열 데이터가 획득될 수 있다.
이 때, 상기 제1 시계열 데이터는 상기 제1 관심 영역에 대하여 획득된 색 채널 값을 기초로 획득될 수 있다. 예를 들어, 상기 제1 관심 영역에 대하여 획득된 색 채널 값이 Red 채널 값 인 경우, 상기 제1 시계열 데이터는 Red 채널 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 시게열 데이터는 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 획득될 수 있다.
예를 들어, 상기 제1 시계열 데이터가 제1 이미지 프레임에 대하여 획득된 Red 채널 값을 기초로 획득되는 경우 상기 제1 시계열 데이터는 상기 제1 이미지 프레임을 포함하는 제1 이미지 프레임 그룹에 대하여 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제2 시계열 데이터는 상기 제1 관심 영역에 대하여 획득된 색 채널 값을 기초로 획득될 수 있다. 예를 들어, 상기 제1 관심 영역에 대하여 획득된 색 채널 값이 Blue 채널 값인 경우, 상기 제2 시계열 데이터는 Blue 채널 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제2 시계열 데이터는 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 획득될 수 있다.
예를 들어, 상기 제2 시계열 데이터가 제2 이미지 프레임에 대하여 획득된 Blue 채널 값을 기초로 획득되는 경우 상기 제2 시계열 데이터는 상기 제2 이미지 프레임을 포함하는 제2 이미지 프레임 그룹에 대하여 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제3 시계열 데이터는 상기 제1 관심 영역에 대하여 획득된 색 채널 값을 기초로 획득될 수 있다. 예를 들어, 상기 제1 관심 영역에 대하여 획득된 색 채널 값이 G-R 값 및 G-B 값인 경우, 상기 제3 시계열 데이터는 G-R 값 및 G-B 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제3 시계열 데이터는 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 획득될 수 있다.
예를 들어, 상기 제3 시계열 데이터가 제3 이미지 프레임에 대하여 획득된 G-R 값 및 G-B 값을 기초로 획득되는 경우, 상기 제3 시계열 데이터는 상기 제3 이미지 프레임을 포함하는 제3 이미지 프레임 그룹에 대하여 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제3 시계열 데이터는 상기 제1 관심 영역에 대하여 획득된 특성 값을 기초로 획득될 수 있다. 예를 들어, 상기 제3 시계열 데이터는 상기 제1 관심 영역에 대하여 획득된 G-R 값을 기초로 획득된 특성 값 및 G-B 값을 기초로 획득된 특성 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1, 제2 및 제3 이미지 프레임 그룹은 서로 동일할 수 있으나, 이에 한정되지 않고 서로 상이할 수 있으며, 서로 적어도 일부 오버랩 될 수 있다.
또한, 도 34를 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 적어도 하나 이상의 특징(3560)이 획득될 수 있다.
또한, 적어도 하나 이상의 상기 특징(3560)은 획득될 생체 지수를 고려하여 획득될 수 있다.
보다 구체적으로, 상기 제1 관심 영역에 대하여 적어도 하나 이상의 특징이 획득될 수 있다. 예를 들어, 산소포화도를 획득하기 위하여 상기 제1 관심 영역에 대한 제1 특징이 획득될 수 있으며, 심박수를 획득하기 위하여 상기 제1 관심 영역에 대한 제2 특징이 획득될 수 있고, 혈압을 획득하기 위하여 상기 제1 관심 영역에 대한 제3 특징이 획득될 수 있으나, 이에 한정되지 않는다.
이 때, 상기 제1 특징은 상기 제1 관심 영역에 대하여 획득된 색 채널 값 또는 시계열 데이터를 기초로 획득될 수 있다. 예를 들어, 상기 제1 관심 영역에 대하여 획득된 색 채널 값이 Red 채널 값 및 Blue 채널 값인 경우, 상기 제1 특징은 상기 Red 채널 값 및 상기 Blue 채널 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제1 특징은 상기 제1 관심 영역에 대하여 획득된 제1 시계열 데이터 및 제2 시계열 데이터를 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 특징은 산소포화도를 획득하기 위한 특징일 수 있다. 예를 들어, 상기 제1 특징은 상기 제1 시계열 데이터에 기초하여 획득된 AC 값, DC 값 상기 제2 시계열 데이터에 기초하여 획득된 AC 값 및 DC 값 일 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제1 특징은 상기 제1 시계열 데이터에 기초하여 획득된 극대값 평균과 극소값 평균의 차이, 상기 제1 시계열 데이터에 기초하여 획득된 평균 값, 상기 제2 시계열 데이터에 기초하여 획득된 극대값 평균과 극소값 평균의 차이 및 상기 제2 시계열 데이터에 기초하여 획득된 평균 값 중 적어도 하나 이상을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 특징은 복수개의 특징을 포함할 수 있다. 예를 들어, 상기 제1 특징은 상기 제1 시계열 데이터에 기초하여 획득된 극대값 평균과 극소값 평균의 차이, 상기 제1 시계열 데이터에 기초하여 획득된 평균 값, 상기 제2 시계열 데이터에 기초하여 획득된 극대값 평균과 극소값 평균의 차이 및 상기 제2 시계열 데이터에 기초하여 획득된 평균 값 중 적어도 둘 이상을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제2 특징은 상기 제1 관심 영역에 대하여 획득된 색 채널 값 또는 시계열 데이터를 기초로 획득될 수 있다. 예를 들어, 상기 제1 관심 영역에 대하여 획득된 색 채널 값이 G-R 값 및 G-B 값인 경우, 상기 제2 특징은 상기 G-R 값 및 상기 G-B 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제2 특징은 상기 제1 관심 영역에 대하여 획득된 제3 시계열 데이터를 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제2 특징은 심박수를 획득하기 위한 특징일 수 있다. 예를 들어, 상기 제2 특징은 상기 제3 시계열 데이터에 기초하여 획득된 주파수 값, 파장 값, 측정시간동안 주기가 반복된 수에 대한 값 일 수 있으나, 이에 한정되지 않는다.
또한, 상기 제3 특징은 상기 제1 관심 영역에 대하여 획득된 색 채널 값 또는 시계열 데이터를 기초로 획득될 수 있다. 예를 들어, 상기 제1 관심 영역에 대하여 획득된 색 채널 값이 G-R 값 및 G-B 값인 경우, 상기 제3 특징은 상기 G-R 값 및 상기 G-B 값을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제3 특징은 상기 제1 관심 영역에 대하여 획득된 제3 시계열 데이터를 기초로 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제3 특징은 혈압을 획득하기 위한 특징일 수 있다. 예를 들어, 상기 제3 특징은 상기 제3 시계열 데이터에 기초하여 획득된 기울기 값, 최대값, 최소값, 극대값의 평균, 극소값의 평균, 극대값의 평균 및 극소값의 평균의 차이 값 등이 될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제3 특징은 복수개의 특징을 포함할 수 있다. 예를 들어, 상기 제3 특징은 상기 제3 시계열 데이터에 기초하여 획득된 기울기 값, 최대값, 최소값, 극대값의 평균, 극소값의 평균, 극대값의 평균 및 극소값의 평균의 차이 값 중 적어도 둘 이상을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 도 34를 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 적어도 하나 이상의 생체 지수(3570)가 획득될 수 있다.
보다 구체적으로, 각각의 생체 지수는 대응되는 특징을 기초로 획득될 수 있다. 예를 들어, 산소포화도는 상기 제1 특징을 기초로 획득될 수 있으며, 심박수는 상기 제2 특징을 기초로 획득될 수 있고, 혈압은 상기 제3 특징을 기초로 획득될 수 있으나, 이에 한정되지 않는다.
이 때, 상기 제1 특징을 기초로 산소포화도를 획득하기 위하여 상술한 수학식들이 이용될 수 있으며, 중복되는 서술은 생략하기로 한다.
또한, 상기 제2 특징을 기초로 심박수를 획득하기 위하여 상술한 수학식들이 이용될 수 있으며, 중복되는 서술은 생략하기로 한다.
또한, 상기 제3 특징을 기초로 혈압을 획득하기 위하여 상술한 수학식들이 이용될 수 있으며, 중복되는 서술은 생략하기로 한다.
또한, 상기 생체 지수(3570)가 복수개인 경우 각각의 생체 지수는 동일한 시점에 획득될 수 있으나, 이에 한정되지 않고 서로 상이한 시간에 획득될 수 있다. 예를 들어, 산소포화도 및 심박수는 측정 후 6초 후에 획득될 수 있으며, 혈압은 측정 후 8초 후에 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수(3570)가 복수개인 경우 각각의 생체 지수는 각각 이미지 프레임 그룹에 기초하여 획득될 수 있다. 예를 들어, 산소포화도는 제4 이미지 프레임 그룹에 기초하여 획득될 수 있으며, 심박수는 제5 이미지 프레임 그룹에 기초하여 획득될 수 있고, 혈압은 제6 이미지 프레임 그룹에 기초하여 획득될 수 있다.
또한, 상기 생체 지수(3570)를 획득하기 위한 각각의 이미지 프레임 그룹은 서로 동일할 수 있으나, 이에 한정되지 않고 서로 상이할 수 있으며, 서로 적어도 일부 오버랩 될 수 있다. 예를 들어, 상기 제4, 제5 및 제6 이미지 프레임 그룹은 서로 동일할 수 있고, 서로 상이할 수 있으며, 서로 적어도 일부 오버랩 될 수 있다.
또한, 상기 생체 지수(3570)를 획득하기 위해 적어도 하나 이상의 예비 생체 지수가 획득될 수 있다. 예를 들어, 심박수를 획득하기 위해 적어도 4개의 예비 심박수가 획득될 수 있다.
다만, 이와 같은 예비 심박수 혹은 예비 생체 지수를 이용하여 심박수 혹은 생체 지수를 획득하는 방법에 관해서는 상술한 내용이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 상기 생체 지수(3570)를 획득하기 위한 예비 생체 지수의 개수는 각 생체 지수 별로 동일 할 수 있으나, 상이할 수도 있다. 예를 들어, 상기 심박수를 획득하기 위한 예비 심박수는 적어도 4개 일 수 있으며, 상기 산소포화도 및 상기 혈압을 획득하기 위한 예비 산소포화도 및 예비 혈압은 적어도 2개일 수 있으나 이에 한정되지는 않는다.
7.5 일 실시예에 따른 복수개의 생체 지수 획득 방법
도 35는 일 실시예에 따른 복수개의 생체 지수 획득 방법에 대하여 설명하기 위한 도면이다.
도 35를 참조하면, 일 실시예에 따라 복수개의 생체 지수를 획득하기 위해 복수개의 이미지 프레임(3600)이 획득될 수 있다.
이 때, 상기 이미지 프레임(3600)은 가시광 이미지, 적외선 이미지 등으로부터 획득되는 이미지 프레임일 수 있으나, 이에 한정되지 않는다.
또한, 도 35를 참조하면, 적어도 하나 이상의 특징을 기초로 적어도 하나 이상의 생체 지수가 획득될 수 있다.
예를 들어, 도 35에 도시된 바와 같이 제1 특징(3610)을 기초로 제1 생체 지수(3660)가 획득될 수 있으며, 제2 특징(3620)을 기초로 제2 생체 지수(3670)가 획득될 수 있고, 제3 특징(3630)을 기초로 제3 생체 지수(3680)가 획득될 수 있으며, 제4 특징(3640)을 기초로 제4 생체 지수(3690)가 획득될 수 있으나, 이에 한정되지 않고 복수개의 특징을 기초로 하나의 생체 지수가 획득될 수도 있고 하나의 특징을 기초로 복수개의 생체 지수가 획득될 수도 있다.
이 때, 상기 제1 내지 제4 특징은 적어도 하나의 시계열 데이터에 기초하여 획득된 AC 값, DC 값, 극대 값 평균과 극소 값 평균의 차이, 평균 값, 주파수 성분 값, 파장 성분 값, 측정 시간 동안 주기가 반복된 횟수에 대한 값, 기울기 값, 최대값, 최소값, 극대 값의 평균, 극소 값의 평균, 획득 시간 차이, 극대 값 사이의 시간 차이, 극소 값 사이의 시간 차이, 변곡점 사이의 시간 차이, 피부 온도 등의 특징 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 내지 제4 생체 지수는 심박수, 산소포화도, 혈압, 체온, 혈류량 등의 생체 지수 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다.
다만, 상기 특징 및 생체 지수에 관한 상세한 내용은 상술한 바 중복되는 서술은 생략하기로 한다.
또한, 상기 제1 내지 제4 특징 및/또는 생체 지수는 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 기초하여 획득될 수 있다.
예를 들어, 상기 제1 특징 및/또는 상기 제1 생체 지수는 제1 이미지 프레임 그룹에 기초하여 획득될 수 있으며, 상기 제2 특징 및/또는 상기 제2 생체 지수는 제2 이미지 프레임 그룹에 기초하여 획득될 수 있고, 상기 제3 특징 및/또는 상기 제3 생체 지수는 제3 이미지 프레임 그룹에 기초하여 획득될 수 있으며, 상기 제4 특징 및/또는 상기 제4 생체 지수는 제4 이미지 프레임 그룹에 기초하여 획득될 수 있으나 이에 한정되지 않는다.
이 때, 상기 제1 내지 제4 이미지 프레임 그룹은 적어도 두 개 이상의 이미지 프레임을 포함할 수 있다.
예를 들어, 도 35에 도시된 바와 같이, 상기 제1 이미지 프레임 그룹은 N개의 이미지 프레임을 포함할 수 있으며, 상기 제2 이미지 프레임 그룹은 M개의 이미지 프레임을 포함할 수 있고, 상기 제3 이미지 프레임 그룹은 K개의 이미지 프레임을 포함할 수 있으며, 상기 제4 이미지 프레임 그룹은 L개의 이미지 프레임을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 내지 제4 이미지 프레임 그룹에 포함되는 이미지 프레임의 개수는 서로 동일할 수 있다.
예를 들어, 상기 제1 이미지 프레임 그룹은 180개의 이미지 프레임을 포함할 수 있으며, 상기 제2 이미지 프레임 그룹은 180개의 이미지 프레임을 포함할 수 있고, 상기 제3 이미지 프레임 그룹은 180개의 이미지 프레임을 포함할 수 있으며, 상기 제4 이미지 프레임 그룹은 180개의 이미지 프레임을 포함할 수 있으나, 이에 한정되지 않는다.
이 경우, 상기 제1 내지 제4 생체 지수는 동일한 시점에 획득되거나 출력될 수 있으나, 이에 한정되지 않고 서로 상이한 시점에 획득되거나 출력될 수 있다.
또한, 이 경우 상기 제1 내지 제4 생체 지수는 피측정자의 동일한 상태로부터 생체 지수를 획득할 수 있으며 각각의 생체 지수는 서로 연관성이 부여될 수 있다.
또한, 상기 제1 내지 제4 이미지 프레임 그룹에 포함되는 이미지 프레임 개수는 서로 상이할 수 있다.
예를 들어, 상기 제1 이미지 프레임 그룹은 180개의 이미지 프레임을 포함할 수 있으며, 상기 제2 이미지 프레임 그룹은 90개의 이미지 프레임을 포함할 수 있고, 상기 제3 이미지 프레임 그룹은 240개의 이미지 프레임을 포함할 수 있고, 상기 제4 이미지 프레임 그룹은 360개의 이미지 프레임을 포함할 수 있으나, 이에 한정되지 않는다.
이 경우, 상기 제1 내지 제4 생체 지수는 서로 상이한 시점에 획득되거나 출력될 수 있으나, 이에 한정되지 않고 서로 동일한 시점에 획득되거나 출력될 수 있다.
또한, 상기 제1 내지 제4 이미지 프레임 그룹에 포함되는 이미지 프레임의 개수는 획득하고자 하는 생체 지수에 따라 상이할 수 있다.
예를 들어, 제1 생체 지수가 심박수, 제2 생체 지수가 산소포화도, 제3 생체 지수가 혈압, 제4 생체 지수가 체온인 경우, 상기 제1 이미지 프레임 그룹은 180개의 이미지 프레임을 포함할 수 있으며, 상기 제2 이미지 프레임 그룹은 120개의 이미지 프레임을 포함할 수 있고, 상기 제3 이미지 프레임 그룹은 60개의 이미지 프레임을 포함할 수 있으며, 상기 제4 이미지 프레임은 60개의 이미지 프레임을 포함할 수 있으나, 이에 한정되지 않고 획득하고자 하는 생체 지수를 고려하여 이미지 프레임 그룹에 포함되는 이미지 프레임 개수가 설정될 수 있다.
도 36은 일 실시예에 따른 연관성 있는 복수개의 생체 지수 획득 방법을 설명하기 위한 도면이다.
도 36을 참조하면, 일 실시예에 따라 연관성 있는 복수개의 생체 지수를 획득하기 위해 복수개의 이미지 프레임(3700)이 획득될 수 있다.
이 때, 상기 이미지 프레임(3700)은 가시광 이미지, 적외선 이미지 등으로부터 획득되는 이미지 프레임일 수 있으나, 이에 한정되지 않는다.
또한, 도 36을 참조하면, 적어도 하나 이상의 생체 지수는 적어도 하나 이상의 이미지 프레임 그룹에 기초하여 획득될 수 있다.
보다 구체적으로, 도 36에 도시된 바와 같이, 제1 생체 지수(3760)는 제1 이미지 프레임 그룹(3710)에 기초하여 획득될 수 있으며, 제2 생체 지수(3770)는 제2 이미지 프레임 그룹(3720)에 기초하여 획득될 수 있고, 제3 생체 지수(3780)는 제3 이미지 프레임 그룹(3730)에 기초하여 획득될 수 있으며, 제4 생체 지수(3790)는 제4 이미지 프레임 그룹(3740)에 기초하여 획득될 수 있다.
이 때, 각 이미지 프레임 그룹 및 각 생체 지수에 대하여 상술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
도 36을 참조하면, 상기 제1 생체 지수(3710), 상기 제2 생체 지수(3720), 상기 제3 생체 지수(3730) 및 상기 제4 생체 지수(3740)가 서로 연관성 있도록 획득되기 위하여, 상기 제1 이미지 프레임 그룹(3710), 상기 제2 이미지 프레임 그룹(3720), 상기 제3 이미지 프레임 그룹(3730) 및 상기 제4 이미지 프레임 그룹(3740)은 서로 적어도 일부 오버랩 될 수 있다.
예를 들어, 도 36에 도시된 바와 같이, 상기 제1 이미지 프레임 그룹(3710)은 제1 이미지 프레임 내지 제13 이미지 프레임을 포함하며, 상기 제2 이미지 프레임 그룹(3720)은 제6 이미지 프레임 내지 제19 이미지 프레임을 포함하고, 상기 제3 이미지 프레임 그룹(3730)은 제4 이미지 프레임 내지 제 17 이미지 프레임을 포함하며, 상기 제4 이미지 프레임 그룹(3740)은 제9 이미지 프레임 내지 제23 이미지 프레임을 포함할 수 있으나, 이에 한정되지 않는다.
따라서, 상기 제1 내지 제4 이미지 프레임 그룹(3710,3720,3730,3740)은 제9 이미지 프레임 내지 제13 이미지 프레임을 공통으로 포함할 수 있다.
또한, 상술한 바와 같이 제1 내지 제4 이미지 프레임 그룹이 서로 적어도 일부 오버랩 됨에 따라 상기 제1 내지 제4 생체 지수는 서로 연관성있도록 획득될 수 있다.
예를 들어, 상기 제1 내지 제4 이미지 프레임 그룹이 상기 제9 내지 제13 이미지 프레임을 공통으로 포함하기 때문에 상기 제1 내지 제4 생체 지수는 피측정자의 동일한 상태를 포함하여 획득될 수 있고 이에 따라 상기 제1 내지 제4 생체 지수가 상호간에 연관성 있도록 획득될 수 있다.
보다 구체적인 예를 들어, 상기 제9 이미지 프레임이 획득되는 시점에 상기 피측정자의 상태를 제1 상태라고 하는 경우, 상기 제1 내지 제4 생체 지수는 상기 피측정자의 제1 상태를 공통으로 반영하여 획득될 수 있으며, 이에 따라 상기 제1 내지 제4 생체 지수가 상호간에 연관성 있도록 획득될 수 있다.
또한, 상기 제1 내지 제4 생체 지수(3760,3770,3780,3790)가 연관성 있도록 획득되는 경우 보다 정확한 피측정자의 생체 지수를 파악할 수 있다.
또한, 상기 제1 내지 제4 생체 지수(3760,3770,3780,3790)를 기초로 적어도 하나 이상의 생체 정보가 획득될 수 있다.
또한, 상기 생체 정보가 연관성 있는 생체 지수들을 기초로 획득되는 경우 생체 정보의 정확성을 향상시킬 수 있다. 예를 들어, 상기 생체 정보에 포함될 수 있는 고혈압 정보를 획득하기 위하여, 상기 제1 내지 제4 생체 지수에 포함될 수 있는 심박수 및 혈압을 이용하는 경우 상기 심박수 및 혈압이 서로 연관성 되어 있을 때 상기 고혈압 정보가 더욱 정확해 질 수 있다.
보다 구체적으로, 피측정자가 운동을 하거나, 흥분한 상태에서 혈압을 측정하고, 피측정자가 안정된 상태에서 심박수를 측정하여 이를 기초로 고혈압 정보를 획득하는 경우, 피측정자가 고혈압이 아니더라도 고혈압으로 감지될 가능성이 있다. 그러나 이에 반해 피측정자가 운동을 하거나, 흥분한 상태에서 혈압 및 심박수를 측정하고 이를 기초로 고혈압 정보를 획득하는 경우는 보다 정확히 고혈압 정보를 획득할 수 있다.
도 37은 일 실시예에 따른 복수개의 생체 지수 획득 방법에 대하여 설명하기 위한 도면이다.
도 37을 참조하면, 적어도 하나 이상의 생체 지수는 적어도 하나 이상의 예비 생체 지수를 기초로 획득될 수 있다.
예를 들어, 도 37에 도시된 바와 같이, 제1 생체 지수는 N개의 예비 제1 생체 지수를 기초로 획득될 수 있으며, 제2 생체 지수는 M개의 예비 제2 생체 지수를 기초로 획득될 수 있고, 제3 생체 지수는 K개의 예비 제3 생체 지수를 기초로 획득될 수 있으며, 제4 생체 지수는 L개의 에비 제4 생체 지수를 기초로 획득될 수 있다.
다만, 이와 같이 예비 생체 지수를 이용하여 생체 지수를 획득하는 방법에 관해서는 상술한 내용이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
제1 내지 제4 생체 지수 각각을 획득하기 위한 예비 제1 내지 제4 생체 지수의 개수는 서로 동일할 수 있다.
예를 들어, 상기 제1 생체 지수를 획득하기 위한 상기 예비 제1 생체 지수는 4개 일 수 있으며, 상기 제2 생체 지수를 획득하기 위한 상기 예비 제2 생체 지수는 4개 일 수 있고, 상기 제3 생체 지수를 획득하기 위한 상기 예비 제3 생체 지수는 4개 일 수 있으며, 상기 제4 생체 지수를 획득하기 위한 상기 예비 제4 생체 지수는 4개 일 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 내지 제4 생체 지수 각각을 획득하기 위한 예비 제1 내지 제4 생체 지수의 개수는 서로 상이할 수 있다.
예를 들어, 상기 제1 생체 지수를 획득하기 위한 상기 예비 제1 생체 지수는 4개 일 수 있으며, 상기 제2 생체 지수를 획득하기 위한 상기 예비 제2 생체 지수는 2개 일 수 있고, 상기 제3 생체 지수를 획득하기 위한 상기 예비 제3 생체 지수는 2개 일 수 있으며, 상기 제4 생체 지수를 획득하기 위한 상기 예비 제4 생체 지수는 1개 일 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 내지 제4 생체 지수 각각을 획득하기 위한 예비 제1 내지 제4 생체 지수의 개수는 획득하고자 하는 생체 지수에 따라 상이할 수 있다.
예를 들어, 제1 생체 지수가 심박수, 제2 생체 지수가 산소포화도, 제3 생체 지수가 혈압, 제4 생체 지수가 체온인 경우, 상기 심박수를 획득하기 위한 상기 예비 제1 생체 지수는 4개 일 수 있으며, 상기 산소포화도를 획득하기 위한 상기 예비 제2 생체 지수는 2개 일 수 있고, 상기 혈압을 획득하기 위한 상기 예비 제3 생체 지수는 2개 일 수 있으며, 상기 체온을 획득하기 위한 상기 예비 제4 생체 지수는 1개 일 수 있으나, 이에 한정되지 않고 획득하고자 하는 생체 지수를 고려하여 기초가되는 예비 생체 지수의 개수가 설정될 수 있다.
8. 졸음감지 장치 및 방법
8.1 졸음감지 장치
본 명세서에서 제공되는 졸음감지 장치는, 피측정자의 졸음에 관한 상태를 감지하는 장치를 의미할 수 있다. 구체적으로 졸음감지 장치는 피측정자 가 졸고 있는지 여부 및 졸음의 강도 등을 감지할 수 있다.
사람은 일상생활 중에 졸음을 느낄 수 있다. 그리고 경우에 따라 졸음이 안전에 위험을 초래하는 상황이 존재할 수 있다. 예를 들어, 운전자가 운전 중에 졸음을 느끼게 되면 운전에 집중할 수 없고 이에 따라 교통사고가 유발될 수 있다. 이 경우, 졸음감지 장치는 운전자의 졸음에 관한 상태를 감지하고 졸음에 관한 상태를 운전자 또는 관리자에게 알림으로써, 교통사고와 같이 운전자의 안전에 위협이 되는 상황을 방지할 수 있다. 이와 같이, 졸음이 안전에 위험을 초래하는 상황뿐만 아니라 독서실 및 유아 모니터링과 같이 졸음이 중요한 정보로 작용하는 장소 및 분야에서 졸음감지 장치가 사용될 수 있음은 물론이다.
졸음감지 장치는 부착식 전극 센서 또는 웨어러블(wearble) 장치와 같이 피측정자와의 물리적인 접촉을 수반하는 접촉식 장치를 이용하는 방식으로 졸음에 관한 상태를 감지할 수 있다. 또한, 졸음감지 장치는 카메라를 이용하는 비접촉방식으로 피측정자의 졸음에 관한 상태를 감지할 수도 있다. 비접촉방식이 이용되는 경우, 피측정자가 접촉식 장치에 구속되지 않고도 피측정자의 졸음이 감지될 수 있음에 따라, 사용자의 편의성이 증가할 뿐만 아니라 다양한 장소 및 분야에서 졸음감지 장치가 사용될 수 있을 것이다.
비접촉식 졸음감지 장치는 피측정자의 눈 깜빡임 횟수를 측정하거나 동공의 위치를 추적하는 등 외부에 표출되는 피측정자의 이상상태를 감지함으로써 졸음에 관한 상태를 감지할 수 있다. 그러나 피측정자가 눈 깜빡임 또는 동공의 위치를 의식적으로 제어할 때, 졸음에 관한 상태를 정확하게 감지하는 것이 어려울 수 있다. 정확도를 보완하기 위해, 피측정자가 졸음을 느낄 때 나타나는 피측정자의 체내에서 나타나는 정보를 이용한다면, 보다 정확하게 졸음에 관한 상태를 감지할 수 있다. 또한 추가적으로 피측정자가 졸음을 느끼지 않지만 곧 졸음을 느끼게 될 상황에서 나타나는 생체 정보를 이용한다면, 초기단계에 미리 졸음에 관한 상태가 감지될 수 있다.
이러한 장점에 기인하여, 명세서에서 제공되는 졸음감지 장치(6000)는 비접촉식으로 획득한 피측정자의 생체지수를 이용하여 피측정인이 졸음에 관한 상태인지 여부 및 어느 정도 강도의 졸음에 해당하는지를 감지할 수 있다.
일 실시예에 따르는 도 38을 참조하면, 졸음감지 장치(6000)는 피측정자로부터 심박수를 획득하는 획득하는 심박정보 획득부(6100), 획득된 피측정자의 심박수를 기초로 하여 피측정자의 졸음을 감지하는 졸음감지부(6200)를 포함할 수 있다.
물론, 본 발명의 졸음감지 장치(6000)는 상기 언급된 심박정보 획득부(6100), 졸음감지부(6200) 외 다른 구성을 더 포함할 수도 있다. 예를 들어, 졸음감지 장치(6000)는 심박정보 획득부(6100), 졸음감지부(6200) 외에도 알림부(6300)를 더 포함할 수 있다. 여기서, 알림부(6300)는 상기 졸음감지부(6200)에서 감지된 결과를 기초로 하여 피측정자에게 졸음을 깨우기 위한 알림 또는 피측정자가 아닌 개체에 알림을 줄 수 있다. 여기서 피측정자가 아닌 개체는 피측정자리를 관리하는 관리자 또는 피측정자 주변에 있는 제3자를 의미할 수 있다.
일 실시 예에서, 졸음감지 장치(6200)는 다양한 시점에서 피측정자의 졸음을 감지할 수 있다. 즉, 졸음감지 장치(6000)에 포함된 일부 구성 또는 전체 구성은 다양한 시점에서 동작할 수 있고, 하기에서 후술할 다양한 졸음감지 방법의 각 단계 또는 전체 단계 역시 다양한 시점에서 구현될 수 있다.
예를 들어, 졸음감지 장치(6000)는 소정 주기(예를 들어, 매분, 매시간)에 따라 피측정자의 졸음을 감지할 수 있다. 다른 예로서, 졸음감지 장치(6000)는 소정 시간 주기에 따르지 않고, 피측정자의 졸음을 감지할 수 있다. 일 예로, 졸음감지 장치(6000)는 피측정자의 심박에 대한 정보를 획득될 때마다, 즉, 실시간으로 피측정자의 졸음을 감지할 수 있다. 또한, 졸음감지 장치는 연속적으로 피측정자의 졸음을 감지할 수도 있고, 졸음감지를 트리거링하기 위한 신호를 입력받거나 졸음을 감지할 것을 요청받을 때 피측정자의 졸음을 감지할 수 있다.
다른 실시 예에서, 졸음감지 장치(6000)는 최초의 심박수 획득 할 때 졸음감지를 시작할 수도 있다. 예를 들어, 심박정보 획득부(6100)는 피측정자에 대하여 심박수 획득을 위한 측정을 시작한 후 수초 또는 수분 후에 최초로 심박수를 획득할 수 있다. 이 때, 졸음감지 장치(6000)는 상기 최초 심박수가 획득된 때부터 피측정자에 대하여 졸음감지를 시작할 수 있다.
이하에서는, 일 실시예에 따르는 도 38을 참조하여 졸음감지 장치(6000)에 포함된 구성들에 대하여 상세하게 설명한다.
8.1.1 심박정보 획득부
일 실시 예에서, 심박정보 획득부(6100)는 피측정자에 대한 심박수에 대한 정보, 예를 들어, 피측정자의 심박수 또는 교감신경 활성도 대 부교감신경 활성도의 비율 중 적어도 하나를 획득할 수 있다.
여기서, 심박수는 기준시간 동안 심장이 박동한 횟수를 의미할 수 있다. 심박수는 일반적으로 1분의 기준시간 동안 심장의 박동수를 의미하지만, 상기 기준시간은 임의로 설정될 수 있다. 예를 들어, 30초 또는 다른 길이로 설정될 수 있다. 또한, 교감신경 활성도 대 부교감신경 활성도의 비율은 심박 신호에 기인하는 것으로, 여기서, 심박 신호는 심장 박동에 따라 변동될 수 있는 신호를 의미할 수 있으며, 심장 박동에 따라 변동된다고 추정될 수 있는 신호를 의미할 수 있다. 일반적으로, 교감 신경 활성도와 및 부교감신경의 활성도는 피측정자의 졸음 상태는 피측정자와 관련성이 높다. 따라서, 졸음감지 장치는 심박 신호에서 기인한 교감신경 활성도 대 부교감신경 활성도의 비율을 이용하여 피측정자의 졸음을 감지할 수 있다.
또한, 교감 신경의 활성도는 심박 신호의 저주파수 대역에서 그 특징이 나타나고, 부교감 신경의 활성도는 심박 신호의 고주파수 대역에서 그 특징이 나타날 수 있다. 따라서, 본 명세서에서, 심박 신호의 교감신경 활성도 대 부교감신경 활성도 비율은 LF/HF로 표현될 수 있다. LF는 심박 신호의 저주파수 대역(Low Frequency, LF)에서의 특성값을 의미하고, HF는 심박 신호의 고주파수 대역(High Frequency, HF) 에서의 특성값을 의미할 수 있다.
일 실시 예에서, 저주파수 대역과 고주파수 대역은 기준 주파수를 기초로 구분될 수 있다. 일 예로, 상기 저주파수 대역 및 고주파수 대역은 0.15 Hz의 기준 주파수를 기준으로 나누어 지며, 저주파수 대역은 0.04 ~ 0.15Hz 범위의 주파수를 갖는 신호를 포함하고, 고주파수 대역은 0.15 ~ 0.4Hz 범위의 주파수를 갖는 신호를 포함할 수 있다. 물론, 상기 기준 주파수는 0.15Hz 외에도 다른 수치의 주파수로 설정될 수 있다.
일 실시 예에서, 심박정보 획득부(6100)는 퓨리에 변환 등 다양한 방법을 통해 심박 신호를 주파수 도메인상의 신호로 변환할 수 있고, 상기 변환을 통해 심박 신호로부터 저주파수 대역(0.04 - 0.15 Hz) 및 고주파수 대역(0.15 - 0.4 Hz)의 신호를 추출함으로써 LF/HF 값을 획득할 수 있다.
일 실시 예에서 심박정보 획득부(6100)는 침습적 또는 비침습적으로 심박수에 대한 정보를 획득할 수 있다.
또한 다른 실시예에 따르면 심박정보 획득부(6100)는 접촉방식 또는 비접촉방식으로 심박수에 대한 정보를 획득할 수 있다.
구체적으로 심박정보 획득부(6100)는 피측정자와 물리적으로 접촉하지 않는 장치를 이용하는 비접촉방식으로 심박수에 대한 정보를 획득할 수 있다. 예를 들어 심박정보 획득부(6100)는 카메라를 이용하여 피측정자의 이미지를 획득하고, 획득된 이미지를 분석하여 피측정자의 심박수에 대한 정보를 획득할 수 있다. 카메라를 이용하여 비접촉식으로 심박수에 대한 정보를 획득하는 방법 및 장치에 관하여는 전술한바 이하 상세한 설명은 생략하도록 한다.
또한, 심박정보 획득부(6100)는 피측정자와 물리적으로 접촉하는 장치를 이용하는 접촉방식으로 심박수에 대한 정보를 획득할 수도 있음은 물론이다. 예를 들어 심박정보 획득부(6100)는 심박측정을 위한 부착식 센서 또는 다양한 부착식 센서 및 광센서를 포함하는 웨어러블(Wearable) 장치를 이용하여 심박수에 대한 정보를 획득할 수 있다. 설명의 편의를 위하여, 이하에서는 비접촉식 방식으로 심박수에 대한 정보를 획득하는 예를 중심으로 졸음감지 장치 의 구성 및 졸음감지 방법을 설명한다.
일 실시 예에서 심박정보 획득부(6100)는 직접 측정함으로써 심박수에 대한 정보를 획득할 수 있다. 구체적으로 심박정보 획득부는 심박 측정을 위한 장치를 포함하고, 심박측정을 위한 장치에서 측정된 심박수에 대한 정보를 획득할 수 있다. 예를 들어 심박정보 획득부(6100)는 카메라를 포함하고, 카메라에서 획득된 이미지를 분석함으로써 심박수에 대한 정보를 직접 측정할 수 있다.
또한, 심박정보 획득부(6100)는 외부장치에서 측정된 심박수에 대한 정보를 수신함으로써 심박수에 대한 정보를 획득할 수도 있다. 예를 들어 심박수에 대한 정보는 심박 측정을 위한 전극 센서를 포함하는 장치에서 측정되고, 심박정보 획득부(6100)는 측정된 심박수에 대한 정보를 수신할 수 있다. 또한 심박정보 획득부(6100)는 심박정보 획득부(6100)와 외부장치를 매개하는 다른 장치(예를 들어, 서버)를 통해 측정된 심박수에 대한 정보를 수신할 수도 있다.
일 실시 예에서, 졸음감지 장치(6000)가 생체 지수 획득 장치(10)에 포함되는 경우, 심박정보 획득부(6100)는 생체 지수 획득 장치(10)의 메모리에 저장된 심박수를 리드하여 심박수를 획득할 수 있다. 다른 일 실시 예에서, 졸음감지 장치(6000)가 생체 지수 획득 장치(10)에 포함되지 않는 경우, 심박정보 획득부(6100)는 생체 지수 획득 장치(10)에서 측정된 심박수를 졸음감지 장치(6000)에 포함된 통신부(미도시)를 통하여 수신할 수 있다. 물론, 졸음감지 장치(6000)는 생체 지수 획득 장치(10)외 다른 장치로부터 심박수를 획득할 수도 있다.
8.1.2 졸음 감지부
일 실시 예에서 졸음감지부(6200)는 심박수에 대한 정보를 기초로 하여 피측정자가 졸고 있는지 여부 또는 피측정자가 느끼는 졸음의 강도 등을 감지할 수 있다. 구체적으로 졸음감지부(6200)는 심박수에 대한 정보를 기초로 하여 피측정자의 졸음상태 및 정상상태를 감지할 수 있다. 여기서, 졸음상태는 복수의 단계로 나누어 질 수 있다.
본 명세서에서 졸음상태는 피측정자가 일시적으로 수면을 취하는 상태 또는 수면에 취하기 전의 소정 시간내에 수면에 취할 가능성이 높은 상태를 의미할 수 있고, 정상상태는 졸음상태가 아닌, 피측정자가 소정 시간내에 수면에 빠질 가능성이 낮은 상태를 의미할 수 있다.
일 실시 예에서 졸음상태는 졸음의 강도에 따라 복수의 단계(level)로 나누어 질 수 있다. 졸음상태는 경우에 따라 첫번째 단계부터 N번째 단계까지 구분될 수 있다. 본 명세서에서는 설명의 편의를 위해 졸음의 강도가 가장 낮은 단계는 1단계로 표시하고, 졸음의 강도가 가장 높은 단계는 N단계로 표시하도록 한다. 예를 들어 졸음상태는 제1 내지 제3 단계로 나누어질 수 있다. 이 경우, 제1 단계는 졸음의 강도가 가장 낮은 단계를 의미하고 제3 단계는 졸음의 강도가 가장 높은 단계를 의미할 수 있다.
일 실시 예에서 제1 단계 졸음상태는, 피측정자가 신체적으로는 졸음상태에 진입했으나, 피측정자가 졸음을 자각하지 않는 상태를 의미할 수 있다. 예를 들어, 제1 단계 졸음상태에서 피측정자의 심박에 관한 정보는 피측정자가 졸음상태임을 객관적으로 나타내지만, 피측정자는 스스로 졸음을 느끼지 못할 수 있다. 본 명세서에서 해당 졸음상태는 무자각적 졸음상태 또는 무의식적 졸음상태로 표현될 수 있다.
일 실시 예에서 제2 단계 졸음상태 및 제3 단계 졸음상태는 피측정자가 신체적으로 졸음상태에 진입하고 또한 피측정자가 졸음을 자각하는 상태를 의미할 수 있다. 본 명세서에서 해당 상태들은 자각적 졸음상태 또는 의식적 졸음상태로 표현될 수 있다.
일반적으로 피측정자는 자각적 졸음상태에 진입하기 이전에 무자각적 졸음상태에 진입하게 된다. 피측정자가 자각적 졸음상태에 진입한 이후에 졸음에 대한 알림을 받게 되는 경우 피측정자가 이미 졸고있을 때 알림을 받게되므로, 피측정자에게 위험한 상황이 발생할 가능성이 높다. 또한, 위험한 상황이 발생하기 이전에 졸음상태에 대한 알림을 받더라도, 피측정자가 졸음상태에서 벗어나기 위해서는 많은 시간을 필요로 할 수 있다.
이러한 위험상황 방지하기 위해, 졸음감지 장치(6000)는 피측정자가 자각적 졸음상태에 진입하기 이전에 무자각적 졸음상태를 감지할 수 있고, 감지결과를 기초로 하는 알림을 외부에 줄 수 있다. 졸음감지 장치(6000)는 상기 알림을 통해, 피측정자가 졸음을 느끼지 못하는 무자각적 졸음상태일 때부터 졸음상태에 대하여 의식하도록 할 수 있다.
따라서 무자각적 졸음상태에 대한 감지 및 알림은 위험한 상황이 발생하기 이전에 피측정자를 졸음상태에서 벗어나게 할 가능성을 높일 수 있고, 피측정자를 졸음상태로 인한 위험한 상황으로부터 보다 확실하게 보호할 수 있다.
일 실시 예에서, 졸음감지부(6200)는 심박에 관한 정보를 이용하여 피측정자의 졸음상태를 측정할 수 있다. 본 명세서에서 졸음상태는 피측정자가 일시적으로 수면을 취하는 상태 또는 수면에 취하기 직전에 소정 시간내에 수면에 취할 가능성이 높은 상태로써, 정상상태와 비교하여 상대적으로 부교감 신경계가 활성화된 상태이고, 부교감 신경계가 활성화 되면 심박수가 감소하게 된다. 즉, 심박수의 변화는 피측정자의 졸음상태를 추정할 수 있는 바이오 마커로서의 역할을 할 수 있다. 일 예로, 피측정자가 졸음상태에 진입하면, 피측정자의 심박수가 일정 수준 이하로 감소하고, 감소된 심박수는 일정시간동안 지속될 수 있다. 경우에 따라, 졸음감지부(6200)는 감소된 심박수의 지속시간을 통해 피측정자의 졸음상태를 추정할 수 있다.
일 실시예에서, 졸음감지부(6200)는 심박에 관한 정보를 이용하여 피측정자의 정상상태를 측정할 수 있다. 일 예로, 피측정자가 정상상태에 진입하면, 교감신경의 활성화로 인해 피측정자에 심박수가 일정수준 이상으로 증가하고, 증가된 심박수 역시 일정시간동안 지속될 수 있다. 이 경우, 졸음감지부(6200)는 증가한 심박수의 지속시간을 통해 피측정자의 정상상태를 추정할 수 있다.
또한, 다른 일 실시 예에서, 졸음감지부(6200)는 LF/HF를 이용하여 피측정자의 졸음상태 및 정상상태를 측정할 수 있다. 피측정자가 졸음상태에 진입함에 따라, 피측정자의 부교감 신경계가 활성화되고, 심박 신호의 HF값에 대한 LF값은 작아질 수 있다. 또한, 피측정자가 정상상태에 진입하면, 피측정자의 교감신경계가 활성화 되고, HF값에 대한 LF값은 커질 수 있다. 따라서, 졸음감지부는 LF/HF를 통해 피측정자의 졸음상태 및 정상상태를 추정할 수도 있다.
또 다른 일 실시 예에서, 졸음감지부(6200)는 상기 심박수의 변화 및 상기 LF/HF를 동시에 고려하여 피측정자의 졸음상태 또는 정상상태를 추정할 수도 있다.
이와 같은 졸음감지 방법에 대해서는, 이하에서 상세히 설명하도록 한다.
8.1.3 알림부
일 실시 예에서, 알림부(6300)는 외부에 감지된 졸음상태에 대한 정보를 제공할 수 있다. 구체적으로 알림부(6300)는 피측정자가 졸음상태인지 여부, 졸음 단계, 또한, 이 외에도 감지된 졸음상태와 관련된 다양한 정보를 제공할 수도 있다. 예를 들어 알림부(6300)는 졸음상태를 유지한 시간, 각 졸음상태의 단계에 진입한 시각, 졸음상태의 회복 시각 등을 외부에 제공할 수 있다.
일 실시 예에서, 알림부(6300)는 피측정자에게 졸음상태에 관한 정보를 제공할 수 있다. 예를 들어, 알림부(6300)는 피측정자에게 졸음상태의 단계에 대응하는 강도의 알림을 줄 수 있다. 상기 알림은 졸음상태인 피측정자에게 일정한 자극을 가함으로써 피측정자가 졸음상태의 회복을 유도할 수 있다.
다른 실시예에서, 피측정자가 아닌 다른 개체에 피측정자에게 졸음상태에 관한 정보를 제공할 수 있다. 예를 들어, 알림부(6300)는 관리자 또는 서버에 졸음상태에 관한 정보를 제공할 수 있다. 여기서, 관리자는 피측정자의 관리자 또는 피측정자의 졸음상태를 관리하는 개체를 의미할 수 있다. 이와 같은 정보의 제공은, 관리자가 졸음상태에 관한 정보를 기초로 피측정자의 안전을 효과적으로 관리하도록 도울 수 있다.
일 실시 예에서, 알림부(6300)는 감지된 모든 단계의 졸음상태에 대한 정보를 외부에 제공할 수 있다. 예를 들어, 알림부(6300)는 제1 내지 제3 단계 졸음상태에 대하여 피측정자에게 졸음상태에 관한 정보를 제공할 수 있다.
또한, 다른 일실시예에서, 알림부(6300)는 감지된 모든 단계의 졸음상태 중 적어도 일부에 대한 정보만을 외부에 제공할 수 있다.
예를 들어, 알림부(6300)는 제3 단계 졸음상태가 감지된 때에만 제3 단계 졸음상태가 감지된 시각 및 단계에 대한 정보를 관리자에게 제공할 수 있다. 모든 단계의 졸음상태에 대한 알림이 피측정자에게 방해가 되는 경우, 알림부(6300)는 위험성이 높은 졸음 단계에 대한 정보(예를 들어, 제3 단계 졸음상태에 대한 정보)만을 제공하고, 위험성이 낮은 졸음 단계에 대한 정보(예를 들어, 제1 단계 졸음상태에 대한 정보)는 제공하지 않음으로써, 피측정자의 업무의 효율성을 높일 수 있다.
또한, 일 실시 예에서, 알림부(6300)는 피측정자가 정상상태로 감지된 때, 감지된 정상상태에 대한 정보를 제공할 수 있다. 구체적으로 알림부(6300)는 피측정자가 정상상태인지 여부를 포함하여 감지된 정상상태와 관련된 다양한 정보를 제공할 수 있다. 예를 들어 정상상태를 유지한 시간, 정상상태에 진입한 시각 등을 제공할 수 있다.
일 실시 예에서, 알림부(6300)는 피측정자에게 정상상태에 관한 정보를 제공할 수 있다. 예를 들어, 알림부(6300)는 졸음상태인 피측정자가 정상상태로 회복한 경우, 정상상태로 회복되었다는 사실을 알리기 위한 메시지를 출력할 수 있다.
다른 실시예에서, 알림부(6300)는 피측정자가 아닌 다른 개체에 피측정자에게 정상상태에 관한 정보를 제공할 수 있다. 예를 들어, 알림부(6300)는 관리자 또는 서버에 정상상태에 관한 정보를 제공할 수 있다. 이와 같은 정보의 제공은, 관리자가 피측정자가 안전한 상황임을 인지하는 것을 도울 수 있다.
일 실시 예에서, 알림부(6300)는 졸음상태에 관련된 정보를 나타내는 알림 신호를 생성하고, 졸음감지 장치의 외부에 정상상태 및 졸음상태와 관련된 정보가 출력되도록 출력부(미도시)에 알림 신호를 제공할 수 있다.
여기서, 출력부는 외부에 정보를 알릴수 있는 장치로서, 예를 들어, 출력부는 시각적으로 외부에 정보를 표시하는 디스플레이부, 청각적으로 정보를 알릴 수 있는 오디오부 및 촉각적으로 정보를 알릴수 있는 촉각자극부 중 적어도 하나를 포함할 수 있다. 상기 출력부는 졸음감지 장치(6000)에 포함될 수 있고 또한 졸음감지 장치(6000)의 외부장치에 포함될 수도 있다.
출력부가 졸음감지 장치(6000) 외부의 다른 장치에 포함될 경우, 졸음감지 장치(6000)는 통신부(미도시)를 더 포함할 수 있고, 알림부(6300)는 통신부를 통해 알림 신호를 출력부에 제공할 수 있다. 출력부는 알림부(6300)에서 제공된 알림 신호를 수신하고, 알림 신호에 따라, 외부에 졸음에 대한 정보를 출력할 수 있다.
예를 들어 알림부(6300)는 상기 오디오부를 통해 청각적 알림을 줄 수 있다. 이와 같은 청각적 알림은 알림 수신자에게 즉각적인 자극을 줄 수 있고, 소리의 세기에 따라 자극의 강도를 다르게 할 수 있기 때문에 효과적이다.
다른 예를 들어 알림부(6300)는 상기 디스플레이부를 통해 디스플레이에 메시지를 표시해 알림을 줄 수 있다. 이와 같은 시각적 알림은 알림 수신자 이외의 개체가 알림으로 방해받는 상황을 최소화 할 수 있다.
다른 예를 들어 알림부(6300)는 상기 촉각자극부, 예를 들어 진동, 전기자극, 열소자 또는 냉각소자 등을 통해 알림을 줄 수 있다. 이와 같은 촉각적 알림은, 알림 수신자 이외의 개체가 알림으로 방해받는 상황이 발생하지 않고, 즉각적인 자극을 줄 수 있으며 자극의 세기에 따라 자극의 강도를 다르게 할 수 있기 때문에 효과적이다.
또한, 일 실시 예에서, 알림부(6300)는 피측정자에게 감지된 졸음상태의 단계 에 따라 다른 종류 및/또는 강도의 알림을 제공할 수 있다. 이에 따라, 알림부(6300)는 피측정자가 스스로 졸음상태임을 인지하는 데에 적합한 종류 및/또는 피측정자가 졸음상태에서 벗어나는데 필요한 강도로 알림을 제공할 수 있다.
예를 들어, 낮은 강도의 졸음상태인 제1단계 졸음상태가 감지된 경우, 알림부(6300)는 피측정자에게 시각적 메시지를 이용한 알림을 줌으로써 졸음상태임을 인지시킬 수 있다. 또한, 높은 강도의 졸음상태인 제3단계 졸음이 감지된 경우, 알림부(6300)는 피측정자에게 전기자극을 이용한 알림을 줌으로써, 피측정자가 졸음상태에서 벗어나도록 할 수 있다.
다른 예를 들어, 낮은 강도의 졸음상태인 제1단계 졸음상태가 감지된 경우, 알림부(6300)는 피측정자에게 낮은 세기의 알람을 제공하고, 제3단계 졸음이 감지된 경우 알림부(6300)는 피측정자에게 높은 세기의 알람을 제공할 수 있다.
물론, 실시예에 따라, 알림부(6300)는 피측정자에게 감지된 졸음상태의 단계에 관계없이 동일한 종류 및/또는 강도의 알림을 제공할 수도 있다.
또한, 알림부(6300)는 감지된 졸음상태의 단계에 따라 피측정자 및 피측정자가 아닌 개체 중 적어도 어느 하나에 알림을 줄 수 있다.
일 실시 예에서 알림부(6300)는 제1단계 및 제2단계 졸음상태가 감지된 때 피측정자에게 알림을 줄 수 있다. 이 때, 알림부(6300)는 피측정자에게 청각적 알림, 시각적 알림 및 촉각적 알림 중 적어도 하나의 알림을 줄 수 있다.
또한 알림부(6300)는 3단계 졸음상태가 감지된 때, 피측정자 뿐 아니라 피측정자가 아닌 개체에 알림을 줄 수 있다. 구체적으로 알림부(6300)는 알림부(6300)와 피측정자가 아닌 개체를 매개하는 장치 또는 서버를 통해 피측정자가 아닌 개체에 알림을 줄 수 있다. 예를 들어, 피측정자가 아닌 개체가 피측정자를 관리하는 관리자인 경우, 이와 같은 알림은 피측정자가 출력부를 통한 알림의 전원을 끄거나 알림을 무시하는 상황에서 효과적일 수 있다. 이하에서는, 졸음감지 장치(6000)에서 수행되는 졸음감지 방법에 대하여 상세하게 설명한다.
8.2 심박수를 기초로 하는 졸음감지 방법
이하에서는 도 39 내지 도 43을 참조하면 일 실시 예에 따른 심박수를 기초로 하는 졸음감지 방법에 대해서 설명하도록 한다.
일 실시 예에서 심박수를 기초로 하는 졸음감지 방법은 심박수 획득 단계(S6110), 획득된 피측정자의 심박수와 기준 심박수를 비교하는 단계(S6120), 비교결과에 따라 변화된 심박수가 지속되는 시간을 측정하는 지속시간 측정단계(S6130) 및 측정된 심박수 변화의 지속시간을 기초로 하여 단계별로 졸음을 감지하는 단계별 졸음감지 단계(S6140)를 포함할 수 있다.
심박수 획득 단계(S6110)에서, 졸음감지 장치(6000)는 심박정보 획득부(6100)를 이용하여 피측정자의 심박수를 획득할 수 있다.
일 실시 예에서, 졸음감지 장치(6000)는 소정 시간 주기에 따라 피측정자의 심박수를 획득할 수 있다. 여기서, 소정 시간 주기는 1초, 1분, 5분 등 다양한 시간 주기를 포함할 수 있다. 또한, 상기 소정 시간 주기는 고정될 수도 있고, 가변될 수 있음을 물론이다.
다른 일 실시 예에서, 졸음감지 장치(6000)는 소정 시간 주기에 따르지 않고 피측정자의 심박수를 획득할 수 있다. 예를 들어, 졸음감지 장치(6000)는 생체 지수 획득 장치(10) 또는 다른 장치에서 피측정자의 심박수가 측정될 때마다, 즉, 실시간으로, 피측정자의 심박수를 획득할 수 있다.
물론, 생체 지수 획득 장치(10) 또는 다른 장치에서 피측정자의 심박수가 소정 시간 주기에 따라 측정된다면, 졸음감지 장치(6000)는 생체 지수 획득 장치(10) 또는 다른 장치에서 측정되는 소정 시간 주기를 기초로 피측정자의 심박수를 획득할 수 있다.
다른 예로서, 졸음감지 장치(6000)는 외부로부터의 입력 또는 요청에 따라, 생체 지수 획득 장치(10) 또는 다른 장치에 심박수를 제공해줄 것을 요청할 수 있고, 상기 요청을 할 때마다 피측정자의 심박수를 획득할 수 있다
일 실시 예에서, 졸음감지 장치(6000)는 일정 시간구간에 대한 피측정자의 평균 심박수를 획득할 수 있다. 상기 일정 시간구간은 임의로 결정될 수 있다. 여기서, 졸음감지 장치(6000)는 외부 장치로부터 받은 피측정자의 심박수를 이용하여 일정 시간구간에 대한 평균 심박수를 계산할 수 있다. 또한 졸음감지 장치(6000)는 외부장치로부터 피측정자의 일정 시간구간에 대한 평균 심박수를 수신할 수도 있다.
이하에서는 도 40을 참조하여 피측정자의 심박수로서 평균 심박수를 획득할 때 나타나는 효과에 대하여 설명하도록 한다.
일 실시 예에 따르는 도 40을 참조하면, 졸음감지 장치(6000)는 평균 심박수(6003)를 획득함에 따라, 노이즈가 제거된 심박수를 획득할 수 있다.
여기서, 노이즈는 피측정자의 움직임, 또는 외부광 등 다양한 원인에 의하여 발생된 오류를 나타내는 것으로, 노이즈가 심박수에 포함될 경우, 해당 심박수는 피측정자의 상태를 정확하게 반영하기 어려울 수 있다.
예를 들어, 심박정보 획득부(6100)가 1초부터 10초까지 매초 간격으로 심박수를 획득시, 5초일 때 노이즈가 발생한 경우, 졸음감지 장치(6000)는 정확하게 졸음을 감지하지 못할 수 있다. 그러나 심박정보 획득부(6100)가 평균 심박수(6003)를 획득하는 경우, 평균 심박수(6003)를 계산하는 과정에서 노이즈와 다른 값들과의 편차가 보정될 수 있으므로, 졸음감지 장치(6000)는 보다 정확하게 졸음을 감지할 수 있다.
심박정보 획득부(6100)가 피측정자의 심박수를 획득하는 방법은 목차 8.1.1 에서 기재한 바 상세한 설명은 생략하도록 한다.
이하에서는, 도 41를 참조하면 피측정자의 심박수와 기준 심박수를 비교하는 단계(S6120) 및 획득된 피측정자의 심박수가 감소/증가된 상태로 지속되는 지속시간을 측정하는 지속시간 측정단계(S6130)에 대하여 설명하도록 한다.
일 실시 예에 따르는 도 41를 참조하면, 피측정자의 심박수와 기준 심박수를 비교하는 단계(S6120)에서, 졸음감지 장치(6000)는 심박정보 획득부(6100)에 의해 획득된 피측정자의 심박수(6001)와 기준 심박수(6002)를 비교할 수 있다.
여기서, 기준 심박수(6002)는 졸음상태와 정상상태를 구분하기 위한 기준으로서 설정된 심박수를 의미할 수 있다. 전술한 바와 같이 부교감 신경계의 활성화에 따라 졸음상태에서의 심박수는 정상상태일 때보다 심박수보다 감소한다. 따라서, 졸음상태와 정상상태를 구분하기 위해, 감소된 심박수와 동일 또는 유사한 심박수를 기준 심박수(6002)로 설정할 수 있다. 이 경우, 피측정자의 심박수가 기준 심박수(6002) 이하일 때 피측정자는 졸음상태인 것으로 파악될 수 있고, 피측정자의 심박수(6001)가 기준 심박수(6002) 이상일 때 피측정자가 정상상태인 것으로 파악될 수 있을 것이다.
이하에서는, 기준 심박수(6002)를 설정하기 위한 다양한 방법에 대하여 설명한다.
일 실시 예에서 졸음감지 장치(6000)는 최초로 심박수를 획득한 시점부터 일정시간 동안 획득한 심박수의 평균을 이용하여 기준 심박수(6002)를 설정할 수 있다. 상기 일정시간은 1분, 5분 등 다양한 값으로 설정될 수 있다. 일반적으로, 피측정자의 심박수가 최초로 획득된 시점부터 일정시간 동안은 피측정자가 졸음상태가 아닌 정상상태일 가능성이 높다. 따라서, 상기 일정시간 동안 획득된 피측정자의 평균 심박수를 획득하고, 평균 심박수에 미리 정해진 값 a (예를 들어, 상기 a는 1 이하의 실수를 나타냄. 보다 구체적인 예로서, a는 0.9)를 곱한 값을 기준심박수(6002)로서 획득할 수 있다. 상기 미리 정해진 값 a는 위 예시에 한정되지 않는다.
다른 실시예에서 졸음감지 장치(6000)는 휴지기 심박수 및/또는 활동기 심박수를 이용하여 기준 심박수(6002)를 설정할 수 있다. 구체적으로 휴지기 심박수는 피측정자가 이동하지 않는 상태(또는, 이동량이 적을 때)에서의 심박수를 의미할 수 있다. 본 명세서에서는, 피측정자가 깨어있지만 이동하지 않는 상태(또는, 이동량이 적을 때)일 때의 심박수를 제1 휴지기 심박수로 정의하고, 피측정자가 수면상태일 때의 심박수를 제2 휴지기 심박수로 정의하도록 한다.
또한, 활동기 심박수는 피측정자가 활동적으로 이동할 때의 심박수를 의미할 수 있다.
일 실시 예에서, 졸음감지 장치(6000)는 피측정자가 깨어있지만 이동하지 않는 상태(또는, 이동량이 적을 때)라고 인식된 상황에서 측정된 심박수를 제1 휴지기 심박수로 획득할 수 있다. 예를 들어, 졸음감지 장치(6000)는 피측정자가 활동적으로 이동하지 못하는 환경에 있는 경우(예를 들어, 피측정자가 운전석에 앉아있는 경우) 심박수를 최초로 획득한 때부터 일정시간 동안을 피측정자가 깨어있지만 이동하지 않는 상태인 것으로 가정하고, 상기 일정시간 동안 측정된 심박수를 제1 휴지기 심박수로 설정할 수 있다.
또한, 졸음감지 장치(6000)는 피측정자가 수면상태인 것으로 인식된 상황에서 측정된 심박수를 제2 휴지기 심박수로 획득하고, 피측정자가 활동적으로 이동하는 상태인 것으로 인식된 상황에서 측정된 심박수를 활동기 심박수로 획득할 수 있다.
또한, 졸음감지 장치(6000)는 카메라 또는 웨어러블 장치를 이용하여 제1 휴지기 심박수, 제2 휴지기 심박수 및 활동기 심박수를 획득할 수 있다
예를 들어, 졸음감지 장치(6000)는 카메라를 이용하여 피측정자가 이동하는지 여부 및 피측정자의 동공을 추적되는지 여부에 대한 정보를 획득할 수 있다. 일 예로, 졸음감지 장치(6000)는 피측정자가 이동할 때 측정된 심박수를 활동기 심박수로 획득할 수 있다. 또한, 졸음감지 장치(6000)는 카메라를 이용하여 피측정자가 이동하지 않더라도 피측정자의 동공이 지속적으로 추적될 때 측정된 심박수를 제1 휴지기 심박수로 획득하고, 피측정자가 이동하지 않고 피측정자의 동공이 지속적으로 추적되지 않을 때 측정된 심박수를 제2 휴지기 심박수로 획득할 수 있다.
다른 예로서, 졸음감지 장치(6000)는 웨어러블 장치를 이용하여 피측정자가 이동하는지 여부 및 웨어러블 장치가 착용된 신체부위(예를 들어, 손목)을 움직이는지 여부에 대한 정보를 획득할 수 있다. 일 예로, 졸음감지 장치(6000)는 웨어러블 장치를 이용하여 피측정자의 이동이 감지된 때 측정된 심박수를 활동기 심박수로 획득할 수 있다. 또한, 졸음감지 장치(6000)는 피측정자의 이동은 감지되지 않지만 웨어러블 장치가 착용된 신체부위의 이동은 감지될 때 측정된 심박수를 제1 휴지기 심박수로 획득하고, 피측정자의 이동이 감지되지 않고, 상기 신체부위의 이동이 일정시간 동안 감지되지 않은 때 측정된 심박수를 제2 휴지기 심박수로 획득할 수 있다.
또한, 졸음감지 장치(6000)는 졸음감지를 시작하기 이전에 제1 휴지기 심박수, 제2 휴지기 심박수 및 활동기 심박수가 미리 설정할 수도 있고, 졸음감지를 시작하기 이전 또는 이후에 외부로부터 제1 휴지기 심박수, 제2 휴지기 심박수 및 활동기 심박수를 수신할 수도 있다.
일 실시예에 따라, 기준 심박수(6002)는 제1 휴지기 심박수를 기초로 하여 설정될 수 있다. 구체적으로, 기준 심박수(6002)는 제1 휴지기 심박수의 일정한 비율로 설정될 수 있다. 예를 들어 기준 심박수(6002)는 제1 휴지기 심박수에 미리정하진 값 a(예를 들어, 상기 a는 1 이하의 실수를 나타냄. 보다 구체적인 예로서, a는 0.9)를 곱하여 계산될 수 있다. 물론, 상기 미리 정해진 값 a는 위 예시에 한정되지 않는다.
다른 실시예에 따라, 기준 심박수(6002)는 제2 휴지기 심박수를 기초로 하여 설정될 수 있다. 구체적으로, 기준 심박수(6002)는 제2 휴지기 심박수와 동일하게 설정되거나 또는 제2 휴지기 심박수에 미리정해진 값 b(예를 들어, 상기 b는 1 초과의 실수를 나타냄. 보다 구체적인 예로서, b는 1.1)를 곱하여 계산될 수 있다. 물론, 상기 미리 정해진 값 b는 위 예시에 한정되지 않는다.
또한 다른 실시예에 따라, 기준 심박수(6002)는 활동기 심박수를 기초로 하여 설정될 수 있다. 구체적으로, 기준 심박수(6002)는 활동기 심박수에 미리정해진 값 c(예를 들어, 상기 c는 1 이하의 실수를 나타냄. 보다 구체적인 예로서, c는 0.8)를 곱하여 계산될 수 있다. 또한, 일반적으로 활동기 심박수가 제1 휴지기 심박수보다 높게 나타나는 점을 고려하여, 상기 미리 정해진 값 c는 상기 미리 정해진 값 a보다 낮게 설정될 수 있다. 물론, 상기 미리 정해진 값 c는 위 예시에 한정되지 않는다.
상기 기준 심박수(6002)를 설정하는 방법은 제1, 2 휴지기 심박수 및 활동기 심박수의 일정한 비율로 계산하는 방법으로 한정되지 않고, 합, 차 등 다양한 연산이 적용될 수 있음은 물론이다.
구체적으로, 일 실시 예에서, 졸음감지 장치(6000)는 제1, 2 휴지기 심박수 또는 활동기 심박수에 소정 값을 합거나 감하여 기준 심박수(6002)를 설정할 수 있다. 예를 들어, 제1 휴지기 심박수가 75인 경우, 졸음감지 장치는 이를 기초로 하여 기준 심박수(6002)를 (제1 휴지기 심박수 - 10) = 65(회/분)으로 설정할 수 있다. 예를 들어, 제2 휴지기 심박수가 65인 경우, 졸음감지 장치(6000)는 이를 기초로 하여 기준 심박수(6002)를 (제2 휴지기 심박수 + 10) = 65(회/분)으로 설정할 수 있다.
또한 다른 실시예에서, 졸음감지 장치(6000)는 기존에 설정된 기준 심박수(6002)에서 새로운 기준 심박수(6002)로 변경할 수 있다. 즉, 졸음감지 장치(6000)는 기존에 설정된 기준 심박수(6002)를 업데이트하여 새로운 기준 심박수(6002)를 설정할 수 있다.
예를 들어, 졸음감지 장치(6000)는 전술한 바와 같이 피측정자의 심박수를 최초로 획득한 시점부터 일정시간 동안 획득한 심박수를 기초로 하여 기준 심박수(6002)를 설정할 수 있다. 졸음감지 장치(6000)는 상기 일정시간 이후에 획득한 피측정자의 심박수를 기초로 정상상태를 감지할 수 있고, 정상상태로 감지된 시간구간에서의 평균 심박수를 새로운 기준 심박수(6002)로 변경할 수 있다. 또한 졸음감지 장치(6000)는 상기 일정시간 이후에 동일한 피측정자에 대하여 획득된 제1, 2 휴지기 및 활동기 심박수를 기초로 하여 새로운 기준 심박수(6002)로 변경할 수 있다. 이로써, 졸음감지 장치(6000)는 피측정자의 가장 최신의 상태가 반영된 기준 심박수(6002)를 설정할 수 있고, 따라서 졸음감지 장치(6000)는 보다 정확한 기준 심박수(6002)를 기초로 하여 피측정자의 졸음을 감지할 수 있다.
다른 예를 들어, 졸음감지 장치(6000)는 전술한 바와 같이 제1, 2 휴지기 및 활동기 심박수를 기초로 하여 기준 심박수(6002)를 미리 설정할 수 있다. 이 때, 졸음감지 장치(6000)는 상기 제1, 2 휴지기 또는 활동기 심박수를 기초로 하여 기준 심박수(6002)가 설정된 이후에, 소정시간동안 제1, 2 휴지기 또는 활동기 심박수를 새롭게 획득할 수 있다. 졸음감지 장치(6000)는 새롭게 획득된 제1, 2 휴지기 또는 활동기 심박수를 이용하여, 위에서 설명한 기준 심박수(6002)를 설정하는 방식에 따라 새로운 기준 심박수(6002)를 설정할 수 있다.
일 실시예에 따르는 도 41를 참조하면, 피측정자의 심박수(6001)와 기준 심박수(6002)를 비교하는 단계(S6120)에서 졸음감지 장치(6000)는 상기 피측정자의 심박수(6001)와 상기 기준 심박수(6002)를 비교할 수 있다.
일 실시 예에서, 졸음감지 장치(6000)는 피측정자의 심박수(6001)와 기준 심박수(6002)를 비교하여, 피측정자의 심박수(6001)가 기준 심박수(6002) 이하/이상이 되는 시점(t1)을 감지할 수 있다. 상기 감지된 시점(t1)은 단계별 졸음상태 및 정상상태를 측정하기 위한 시작점이 될 수 있다.
즉, 상기 실시예에서, 상기 피측정자의 심박수(6001)가 상기 기준 심박수(6002)의 이하/이상이 되는 시점(t1)의 감지는 단계별 졸음상태 및 정상상태 측정에 대한 트리거(trigger)로서 작용할 수 있다.
지속시간 측정단계(S6130)에서 졸음감지 장치(6000)는 피측정자의 심박수(6001)가 기준 심박수(6002)의 이하가 되는 시점을 기준으로 피측정자의 심박수(6001)가 기준심박수(6002) 이하인 상태가 지속되는 시간을 측정할 수 있다. 또한 졸음감지 장치(6000)는 피측정자의 심박수(6001)가 기준 심박수(6002)의 이상이 되는 시점을 기준으로 피측정자의 심박수(6001)가 기준심박수(6002) 이상인 상태가 지속되는 시간을 측정할 수 있다.
심박수는 졸음 외에도 여러가지 신체적인 요인에 의해 변동될 수 있다. 여러가지 신체적인 요인중에서도 졸음에 의한 심박수의 감소/증가는 감소/증가된 상태로 지속되기 때문에, 심박수가 수초 내지 수분 동안 감소 또는 증가한 상태로 지속되는 것은 졸음상태를 나타내는 좋은 바이오 마커가 될 수 있다.
예를 들어, 사람의 긴장이 해소될 때 심박수는 일시적으로 감소하지만, 감소된 심박수는 쉽게 회복될 수 있다. 졸음감지 장치(6000)가 심박수가 감소한 상태로 지속되는 시간을 기초로 졸음상태를 감지한다면, 졸음감지 장치(6000)는 긴장 해소로 인해 일시적으로 심박수가 감소하는 상황을 졸음상태로서 감지하는 것을 피할 수 있다. 이로써 졸음감지 장치(6000)는 보다 정확하게 졸음상태를 감지할 수 있을 것이다.
또한 피측정자가 더 높은 강도의 졸음상태에 진입할 수록, 졸음으로 인해 감소한 심박수가 지속되는 시간은 길어질 것이다. 따라서, 졸음감지 장치(6000)가 감소한 심박수가 지속되는 시간의 길이를 측정한다면, 피측정자가 어떤 단계의 졸음상태에 진입했는지 파악할 수 있을 것이다. 즉, 지속시간의 길이에 따라 졸음상태의 단계를 나눔으로써, 졸음감지 장치(6000)는 피측정자의 졸음상태를 더 구체적으로 감지할 수 있다.
일 실시 예에 따르는 도 41을 참조하면, 졸음감지 장치(6000)는 피측정자의 심박수(6001)와 기준 심박수(6002)가의 이하가 된 시점(t1)을 기준으로 피측정자의 심박수(6001)가 기준 심박수(6002) 이하인 상태의 지속시간을 측정할 수 있다.
예를 들어 기준 심박수(6002)는 제1 휴지기 심박수의 90%에 해당하는 72(회/분)로 설정될 수 있다. 여기서, 제1 시점에서 피측정자의 심박수가 74(회/분), 제1 시점 직후 제2 시점에서 피측정자의 심박수가 72(회/분)인 경우, 졸음감지 장치(6000)는 제2 시점부터 피측정자의 심박수가 72(회/분)이하인 상태로 지속되는 시간을 측정할 수 있다.
물론, 다른 실시 예에 따라, 졸음감지 장치(6000)는 피측정자의 심박수와 기준 심박수가 이상이 된 시점을 기준으로 피측정자의 심박수가 기준 심박수 이상인 상태의 지속시간을 측정할 수도 있다.
예를 들어, 기준 심박수(6002)가 제1 휴지기 심박수의 90%에 해당하는 72(회/분)로 설정될 수 있다. 여기서, 제3 시점에서 피측정자의 심박수(6001)가 70(회/분), 제3 시점 직후 제4 시점에서 피측정자의 심박수(6001)가 72(회/분)인 경우, 졸음감지 장치(6000)는 제4 시점부터 피측정자의 심박수(6001)가 72(회/분)이상인 상태로 지속되는 시간을 측정할 수 있다.
일 실시 예에 따르는 도 42를 참조하면, 졸음감지 장치(6000)는 피측정자의 심박수(6001)가 기준 심박수(6002) 이하/이상인 상태가 지속되는 시간을 측정할 때, 노이즈가 포함된 심박수가 측정된 시간구간(Δtn)을 보정하여 지속시간을 측정할 수 있다. 일 예로, 졸음감지 장치(6000)는 노이즈로 감지된 심박수를 이전에 측정된 심박수를 기초로 보정할 수 있다. 다른 예로, 노이즈가 포함된 심박수가 측정된 시간구간(Δtn)은 지속시간 측정 시 제외될 수도 있다.
여기서, 노이즈는 피측정자의 움직임, 또는 외부광 등 다양한 원인에 의하여 발생된 오류를 나타내는 것으로, 노이즈가 포함된 심박수는 피측정자의 상태를 반영하기 어려울 수 있다. 일반적으로, 노이즈가 포함된 심박수는 일시적으로 획득되고, 이전에 획득된 피측정자의 심박수 및 이후에 획득되는 심박수와 큰 편차를 갖게 된다.
이를 기초로 하여 일 실시 예에서 졸음감지 장치(6000)는 이전에 획득된 피측정자의 심박수(6001) 및/또는 이후에 획득되는 피측정자의 심박수(6001)와 일정 값 이상 큰 편차를 갖는 심박수를 획득한 경우, 상기 피측정자의 심박수(6001)를 노이즈가 포함된 심박수로 감지할 수 있다. 예를 들어, 졸음감지 장치는 3초 이하의 시간구간 동안 이전에 감지된 심박수 및/또는 이후에 획득되는 심박수와 20 이상의 편차를 갖는 심박수를 획득할 때, 상기 3초동안 획득된 피측정자의 심박수(6001)를 노이즈가 포함된 심박수로 감지할 수 있다. 여기서, 상기 노이즈가 포함된 심박수가 획득되는 시간 및 노이즈가 포함된 심박수와 다른 심박수 간의 편차는 특정한 값으로 한정되지 않는다.
일 실시예에 따라, 노이즈가 포함된 심박수는 기준심박수(6002) 이상의 심박수임에도 불구하고, 졸음감지 장치(6000)는 피측정자의 심박수(6001)가 기준심박수(6002) 이하인 지속시간을 측정할 때, 노이즈를 기준 심박수 이하의 심박수인 것으로 처리하고 지속시간을 측정할 수 있다.
일 실시예에 따라, 노이즈가 포함된 심박수는 기준 심박수 이하의 심박수임에도 불구하고, 졸음감지 장치(6000)는 피측정자의 심박수가 기준심박수 이상인 지속시간을 측정할 때 노이즈를 기준 심박수 이상의 심박수인 것으로 처리하고 지속시간을 측정할 수 있다.
일 실시예에 따라, 노이즈가 포함된 심박수는 기준심박수 이하의 심박수임에도 불구하고, 졸음감지 장치(6000)는 피측정자의 심박수가 기준심박수 이하인 지속시간을 측정할 때 노이즈가 포함된 심박수가 측정된 시간구간(Δtn)을 제외하고 측정할 수 있다.
일 실시예에 따라, 노이즈가 포함된 심박수는 기준 심박수 이하의 심박수임에도 불구하고, 졸음감지 장치(6000)는 피측정자의 심박수가 기준심박수 이상인 지속시간을 측정할 때 노이즈가 포함된 심박수가 측정된 시간구간(Δtn)을 제외하고 측정할 수 있다.
일 실시 예를 따르느 도 41를 참조하면, 단계별 졸음상태 감지 단계(S6140)에서 졸음감지 장치(6000)는 측정된 지속시간과 기준 지속시간과의 비교를 통해 졸음상태 또는 정상상태를 감지할 수 있다.
졸음감지 장치(6000)는 피측정자의 심박수(6001)가 기준 심박수 이하인 상태의 지속시간을 측정하고, 측정된 지속시간이 기준 지속시간(Δta, Δtb, Δtc)에 도달 할 때 졸음상태를 감지할 수 있다. 이 경우, 상기 기준 지속시간(Δta, Δtb, Δtc)은 복수개일 수 있다. 예를 들어, 기준 지속시간(Δta, Δtb, Δtc)은 3개일 수 있고, 제1 기준 지속시간(Δta)은 30초, 제2 기준 지속시간(Δtb)은 60초, 제3 기준 지속시간(Δtc)은 90초로 설정될 수 있다.
이 때, 피측정자의 심박수(6001)가 기준 심박수(6002) 이하인 상태로 지속된 시간이 30초에 도달하면, 졸음감지 장치는 피측정자가 제1 단계 졸음상태인 것으로 감지할 수 있다.
이 때, 피측정자의 심박수(6001)가 기준 심박수(6002) 이하인 상태로 지속된 시간이 60초에 도달하면, 졸음감지 장치(6000)는 피측정자가 제2 단계 졸음상태인 것으로 감지할 수 있다.
이 때, 피측정자의 심박수(6001)가 기준 심박수(6002) 이하인 상태로 지속된 시간이 90초에 도달하면, 졸음감지 장치(6000)는 피측정자가 제3 단계 졸음상태인 것으로 감지할 수 있다.
또한, 졸음감지 장치(6000)는 졸음상태가 감지된 피측정자에 대하여 다른 단계의 졸음상태 또는 정상상태를 감지하기 전까지, 상기 감지된 졸음상태를 유지할 수 있다.
다른 실시예에서, 피측정자의 심박수(6001)가 기준 심박수(6002) 이하인 상태로 지속된 시간이 제1 기준 지속시간(Δta)에 도달하지 못하면, 졸음감지 장치(6000)는 피측정자가 정상상태인 것으로 감지할 수 있다.
예를 들어, 제1 기준 지속시간(Δta)이 30초이고 피측정자의 심박수(6001)가 기준 심박수(6002) 이하인 상태로 10초 지속된 후 기준 심박수 이상의 심박수로 회복했다면, 졸음감지 장치(6000)는 피측정자가 정상상태인 것으로 감지할 수 있다.
이하에서는 도 43을 참조하여 심박수를 기초로 졸음상태의 회복을 감지하는 방법에 관하여 설명한다.
또한, 졸음에 관한 상태 감지 단계(S6140)에서 졸음감지 장치(6000)는 상기 측정된 지속시간이 회복기준 지속시간(Δtd, Δte, Δtf)에 도달한 경우 피측정자가 졸음상태에서 회복된 것으로 감지할 수 있다.
졸음상태의 회복이란 피측정자가 졸음상태에 진입한 이후에 감지된 졸음상태에서 벗어난 상태를 의미할 수 있다. 구체적으로, 졸음상태의 회복은 소정 단계의 졸음 상태가 감지된 이후에 감지된 단계의 졸음상태보다 낮은 단계의 졸음상태가 감지되는 상황을 의미할 수 있다. 또한 졸음상태의 회복은 졸음 상태가 감지된 이후에 정상상태가 감지되는 상황을 의미할 수도 있다.
일 실시예에 따라, 졸음상태가 감지된 피측정자의 심박수(6001)가 회복기준 심박수(6004) 이상인 상태로 지속되는 시간이 회복기준 지속시간(Δtd, Δte, Δtf)에 도달한 경우, 졸음감지 장치(6000)는 피측정자에 대하여 졸음상태의 회복을 감지할 수 있다.
구체적으로 일 실시 예를 따르는 도 46의 (a)를 참조하면, 졸음감지 장치(6000)는 시점(t1)부터 피측정자의 심박수(6002)가 회복기준 심박수(6004) 이상인 상태가 지속되는 지속시간을 측정하고, 상기 지속시간이 회복 기준 지속시간에 도달하는 시점(t1, t2, t3)에 피측정자가 졸음상태로부터 회복된 것을 감지할 수 있다.
여기서, 회복기준 지속시간 회복기준 지속시간은 다양하게 설정될 수 있다. 예를 들어, 회복 지속시간 회복기준 지속시간은 수초, 수십초, 수분, 수십분등 다양한 단위로 설정될 수 있다.
예를 들어, 회복기준 지속시간은 30초로 설정될 수 있다. 이 경우, 졸음감지 장치(6000)는 3단계 졸음상태로 감지된 피측정자의 심박수가 회복기준 심박수(6004) 이상인 상태로 지속되는 시간이 30에 도달한 경우 피측정자가 정상상태로 회복된 것으로 감지할 수 있다.
일 실시예에 따라, 회복기준 지속시간은 복수개로 설정될 수 있다. 예를 들어, 회복기준 지속시간은 3개일 수 있고, 제1 회복기준 지속시간은 20초, 제2 회복기준 지속시간은 40초, 제3 회복기준 지속시은 60초로 설정될 수 있다. 여기서 제1 내지 제3 회복기준 지속시간은 상기 예시에 제안 된 값으로 한정되지 않는다.
일 실시 예에 따르는 도 43의 (a)를 참조하면, 졸음감지 장치(6000)는 제3 단계 졸음상태로 감지된 피측정자의 심박수(6001)가 피측정자의 심박수(6002)가 회복기준 심박수(6004) 이상인 시점(t1)부터 회복기준 심박수(6004) 이상인 상태로 지속되는 지속시간을 측정하고, 상기 지속시간이 제1 회복기준 지속시간에 도달한 시점(t2)에 피측정자가 제2 단계 졸음상태로 회복된 것으로 감지할 수 있다.
또한, 피측정자가 제3 단계 졸음상태에서 제2 단계 졸음상태로 회복된 이후, 졸음감지 장치(6000)는 피측정자의 심박수(6002)가 회복기준 심박수(6004) 이상인 시점(t1)부터 피측정자의 심박수(6001)가 회복기준 심박수(6004) 이상인 상태로 지속되는 지속시간을 측정하고, 상기 지속시간이 제2 회복기준 지속시간에 도달한 시점(t3)에 피측정자가 졸음감지 장치(6000)는 피측정자가 제1 단계 졸음상태로 회복된 것으로 감지할 수 있다.
그러나, 일 실시 예에 따르는 도 43의 (b)를 참조하면, 피측정자가 제3 단계 졸음상태에서 제2 단계 졸음상태로 회복된 이후 피측정자의 심박수(6002)가 회복기준 심박수(6004) 이상인 시점(t4)부터 피측정자의 심박수(6001)가 회복기준 심박수(6004) 이상인 상태로 지속되는 지속시간이 제2 회복 지속시간에 도달하기 이전에, 졸음감지 장치(6000)가 피측정자의 심박수(6001)가 회복기준 심박수(6004) 이하인 시점(t6)을 감지한 경우, 졸음감지 장치(6000)는 피측정자가 제2 단계 졸음상태인 것으로 유지할 수있고, 또한 다시 제3 단계 졸음상태인 것으로 리셋할 수도 있다.
졸음감지 장치(6000)는 피측정자의 평균 심박수(6003)가 회복기준 심박수(6004) 이상인 상태로 지속되는 시간을 기초로 하여 졸음상태의 회복을 감지할 수 있음은 물론이다.
상기 회복기준 심박수(6004)는 졸음상태 감지를 위한 기준 심박수(6002)와 동일할 수 있고, 상이할 수도 있다.
상기 회복기준 지속시간은 졸음상태 감지를 위한 지속시간과 동일할 수 있고, 상이할 수도 있다.
8.3 LF/HF를 기초로 하는 졸음감지 방법
이하에서는 도 44 내지 도47을 참조하면 일 실시 예에 따른 LF/HF를 기초로 하는 졸음감지 방법에 대해서 설명하도록 한다.
일 실시 예에서 LF/HF를 기초로 하는 졸음감지 방법은 피측정자의 LF/HF(6005)를 획득하는 단계(S6210), 피측정자의 LF/HF(6005)와 기준 LF/HF의 크기를 비교하는 단계(S6220) 및 상기 비교결과를 기초로 단계별로 졸음을 감지하는 단계(S6230)를 포함할 수 있다.
상기 졸음감지 방법은 실시예에 따라, 외부에 졸음단계에 따른 알림을 주는 단계를 더 포함할 수 있다.
LF/HF를 획득하는 단계(S6210)에서, 심박정보 획득부(6100)는 피측정자의 LF/HF(6005)를 획득할 수 있다.
일 실시 예에서, 졸음감지 장치(6000)는 소정 시간 주기에 따라 피측정자의 LF/HF(6005)를 획득할 수 있다. 다른 일 실시 예에서, 졸음감지 장치(6000)는 소정 시간 주기에 따르지 않고 피측정자의 LF/HF(6005)를 획득할 수 있다.
물론, 생체 지수 획득 장치(10) 또는 다른 장치에서 피측정자의 LF/HF(6005)가 소정 시간 주기에 따라 측정된다면, 졸음감지 장치(6000)는 생체 지수 획득 장치(10) 또는 다른 장치에서 측정되는 소정 시간 주기를 기초로 피측정자의 LF/HF(6005)를 획득할 수 있다.
다른 예로서, 졸음감지 장치(6000)는 외부로부터의 입력 또는 요청에 따라, 생체 지수 획득 장치(10) 또는 다른 장치에 LF/HF를 제공해줄 것을 요청할 수 있고, 상기 요청을 할 때마다 피측정자의 LF/HF(6005)를 획득할 수 있다
일 실시 예에서, 졸음감지 장치(6000)는 일정 시간구간에 대한 피측정자의 평균 LF/HF를 획득할 수 있다.
졸음감지 장치(6000)는 평균 LF/HF를 획득함에 따라 노이즈가 보정되어 정확하게 졸음을 감지할 수 있는 효과를 가질 수 있으며, 평균 심박수 획득에 따라 얻을 수 있는 효과와 동일한 바 상세한 설명은 생략하도록 한다.
일 실시 예에 따르는 도 45를 참조하면, 획득된 피측정자의 LF/HF(6005)와 기준 LF/HF(6006, 6007, 6008)를 비교하는 단계(S6220)에서 졸음감지 장치(6000)는 획득된 피측정자의 LF/HF(6005)와 기준 LF/HF를 비교할 수 있다.
여기서, 기준 LF/HF(6006, 6007, 6008)는 졸음상태와 정상상태를 구분하기 위한 기준으로서 설정된 값을 의미할 수 있다. 전술한 바와 같이 부교감 신경계의 활성화에 따라 졸음상태에서의 LF/HF는 정상상태일 때의 LF/HF보다 작을 수 있다.
일 실시 예에서 졸음감지 장치(6000)는 최초로 심박 신호의 LF/HF를 획득한 시점부터 일정시간동안 획득한 심박 신호의 LF/HF 평균을 이용하여 기준 LF/HF(6006, 6007, 6008)를 설정할 수 있다. 상기 일정시간은 1분, 5분 등 다양한 값으로 설정될 수 있다. 일반적으로, 피측정자의 LF/HF(6005) 가 최초로 획득된 시점부터 일정시간 동안은 피측정자가 정상상태일 가능성이 높다. 따라서, 상기 일정시간 동안 획득된 피측정자의 평균 LF/HF를 획득하고, 평균 LF/HF에 미리 정해진 값 a (예를 들어, 상기 a는 1 이하의 실수를 나타냄. 보다 구체적인 예로서, a는 0.9)를 곱한 값을 기준 LF/HF 로서 획득할 수 있다. 또한, 졸음감지 장치는 미리 정해진 다른 실수를 이용해 복수의 기준 LF/HF를 설정할 수도 있다. 상기 미리 정해진 값 a는 위 예시에 한정되지 않는다.
다른 실시예에서 졸음감지 장치(6000)는 휴지기 LF/HF 및/또는 활동기 LF/HF를 이용하여 기준 LF/HF(6006, 6007, 6008)를 설정할 수 있다. 이 때, 기준 LF/HF(6006, 6007, 6008)는 복수개일 수 있다.
구체적으로 졸음감지 장치(6000)는 카메라 또는 웨어러블 장치를 이용해 제1 휴지기 심박수를 기초로 하는 제1 휴지기 LF/HF, 제2 휴지기 심박수를 기초로 하는 제2 휴지기 LF/HF, 활동기 심박수를 기초로 하는 활동기 LF/HF를 구할 수 있다.
일 실시예에 따라, 기준 LF/HF(6006, 6007, 6008)는 제1 휴지기 LF/HF를 기초로 하여 설정될 수 있다. 구체적으로, 기준 LF/HF(6006, 6007, 6008)는 제1 휴지기 LF/HF의 일정한 비율로 설정될 수 있다. 예를 들어 기준 LF/HF(6006, 6007, 6008)는 제1 휴지기 LF/HF에 미리정해진 값 0.9를 곱한 제1 기준 LF/HF(6006), 0.8을 곱한 제2 기준 LF/HF(6007) 및 0.7을 곱한 제3 기준LF/HF(6008)으로 설정될 수 있다. 물론, 상기 미리 정해진 값은 위 예시에 한정되지 않는다.
다른 실시예에 따라, 기준 LF/HF(6006, 6007, 6008)는 제2 휴지기 LF/HF를 기초로 하여 설정될 수 있다. 구체적으로, 기준 LF/HF(6006, 6007, 6008)는 제1 휴지기 LF/HF의 일정한 비율로 설정될 수 있다. 예를 들어 기준 LF/HF(6006, 6007, 6008)는 제1 휴지기 LF/HF에 미리정해진 값 1.5을 곱한 제1 기준 LF/HF(6006), 1.3을 곱한 제2 기준 LF/HF(6007) 및 1.1을 곱한 제3 기준 LF/HF(6008)으로 설정될 수 있다. 물론, 상기 미리 정해진 값은 위 예시에 한정되지 않는다.
또한 다른 실시예에 따라, 기준 LF/HF(6006, 6007, 6008)는 활동기 LF/HF를 기초로 하여 설정될 수 있다. 구체적으로, 기준 LF/HF(6006, 6007, 6008)는 활동기 LF/HF에 미리 정해진 값 0.8을 곱한 제1 기준 LF/HF(6006), 0.7을 곱한 제2 기준 LF/HF(6007) 및 0.6을 곱한 제3 기준 LF/HF(6008)으로 설정될 수 있다. 물론, 상기 미리 정해진 값은 위 예시에 한정되지 않는다.
상기 기준 LF/HF(6006, 6007, 6008)를 설정하는 방법은 제1, 2 휴지기 LF/HF 및 활동기 LF/HF의 일정한 비율로 계산하는 방법으로 한정되지 않고, 합, 차 등 다양한 연산이 적용될 수 있음은 물론이다. 또한 다른 실시예에서, 졸음감지 장치(6000)는 기존에 설정된 기준 LF/HF(6006, 6007, 6008)에서 새로운 기준 LF/HF(6006, 6007, 6008)로 변경할 수 있다.
예를 들어, 졸음감지 장치(6000)는 전술한 바와 같이 피측정자의 LF/HF(6005)를 최초로 획득한 시점부터 일정시간동안 획득한 심박수를 기초로 하여 기준 LF/HF(6006, 6007, 6008)를 설정할 수 있다. 졸음감지 장치(6000)는 상기 일정시간 이후에 획득한 피측정자의 LF/HF(6005)를 기초로 정상상태를 감지할 수 있고, 정상상태로 감지된 시간구간에서의 평균 LF/HF를 새로운 기준 LF/HF(6006, 6007, 6008)로 변경할 수 있다. 또한 졸음감지 장치(6000)는 상기 일정시간 이후에 동일한 피측정자에 대하여 획득된 제1, 2 LF/HF 및 활동기 LF/HF를 기초로 하여 새로운 기준 LF/HF(6006, 6007, 6008)로 변경할 수 있다.
다른 예를 들어, 졸음감지 장치(6000)는 전술한 바와 같이 제1, 2 휴지기 및 활동기 LF/HF를 기초로 하여 기준 LF/HF(6006, 6007, 6008)를 미리 설정할 수 있다. 이 때, 졸음감지 장치(6000)는 상기 제1, 2 휴지기 LF/HF 및 활동기 LF/HF를 기초로 하여 기준 LF/HF(6006, 6007, 6008)가 설정된 이후에, 같은 방법으로 동일한 피측정자에 대하여 새롭게 설정된 제1, 2 휴지기 LF/HF 및 활동기 LF/HF를 기초로 하여 새로운 기준 LF/HF(6006, 6007, 6008)를 설정할 수 있다.
또한 졸음감지 장치(6000)는 LF/HF를 최초로 획득한 시점부터 일정시간동안 획득한 LF/HF를 기초로 하여 새로운 기준 LF/HF(6006, 6007, 6008)를 설정할 수 있다.
또한 졸음감지 장치(6000)는 피측정자가 정상상태로 감지된 시간구간동안의 평균 LF/HF를 기초로 하여 새로운 기준 LF/HF(6006, 6007, 6008)를 설정할 수 있다.
일 실시예에 따르는 도 45를 참조하면, 졸음감지 장치(6000)는 피측정자의 LF/HF(6005)가 복수의 기준 LF/HF(6006, 6007, 6008) 중 어느 하나의 이상/이하가 되는 시점(t1, t2, t3, t4)을 감지할 수 있다. 상기 감지된 시점은 단계별 졸음상태 및 정상상태를 측정하는 시점이 될 수 있다.
일 실시 예에서 졸음감지 장치(6000)는 피측정자의 LF/HF(6005)가 기준 LF/HF(6006, 6007, 6008) 이하가 되는 시점(t1, t2, t3)에 졸음상태를 감지할 수 있다.
일 실시 예에서 졸음감지 장치(6000)는 피측정자의 LF/HF(6005)가 복수의 기준 LF/HF(6006, 6007, 6008) 중 하나의 기준 LF/HF 이하가 되는 시점(t1, t2, t3)에, 상기 하나의 기준 LF/HF에 대응되는 단계의 졸음상태를 감지할 수 있다. 여기서, 졸음감지 장치(6000)는 피측정자의 LF/HF(6005)와 상기 하나의 기준 LF/HF뿐 아니라 다른 기준 LF/HF를 추가로 비교한 결과를 기초로 하여 졸음상태를 감지할 수 있다.
구체적으로 복수의 기준 LF/HF(6006, 6007, 6008)는 제1 기준 LF/HF(6006), 제2 기준 LF/HF(6007), 제3 기준 LF/HF(6008)로 설정될 수 있다. 이하 설명의 편의를 위해, 제1 기준 LF/HF(6006)는 가장 낮은 강도의 졸음상태를 감지하기 위한 기준 LF/HF로 정의하도록 한다.
예를 들어, 제1 시점에서 피측정자의 LF/HF(6005)가 제1 기준 LF/HF (6006)이하이고 제2 기준 LF/HF(6007) 이상인 경우, 졸음감지 장치(6000)는 피측정자의 졸음상태를 제1 단계 졸음상태로 판단할 수 있다.
또한, 제1 시점에서 피측정자의 LF/HF(6005)가 제2 기준 LF/HF(6007) 이하이고 제3 기준 LF/HF(6008) 이상인 경우, 졸음감지 장치(6000)는 피측정자의 졸음상태를 제2 단계 졸음상태로 판단할 수 있다.
또한, 제1 시점에서 피측정자의 LF/HF(6005)가 제3 기준 LF/HF(6008) 이하인 경우, 졸음감지 장치(6000)는 피측정자의 졸음상태를 제3 단계 졸음상태로 판단할 수 있다.
이하에서는 도 46을 참조하여 LF/HF를 기초로 졸음상태의 회복을 감지하는 방법에 관하여 설명한다.
일 실시 예에 따르는 도 46의 (a)를 참조하면, 졸음에 관한 상태를 감지하는 단계(S6230)에서 졸음감지 장치(6000)는 상기 측정된 피측정자의 LF/HF(6005)가 회복기준 LF/HF(6006, 6007, 6008, 6010) 이상이 되는 시점 (t1, t2, t3, t4)에 피측정자가 졸음상태에서 회복된 것으로 감지할 수 있다. 여기서 졸음감지 장치(6000)는 피측정자의 LF/HF(6005)와 상기 하나의 회복기준 LF/HF와 다른 회복기준 LF/HF를 추가로 비교한 결과를 기초로 하여 졸음상태의 회복을 감지할 수 있다.
일 실시예에서, 복수의 기준 LF/HF(6006, 6007, 6008, 6010)는 제1 회복기준 LF/HF(6006), 제2 회복기준 LF/HF(6007), 제3 회복기준 LF/HF(6008)로 설정될 수 있다. 이하 설명의 편의를 위해, 제1 회복기준 LF/HF(6006)는 1이하의 회복기준 LF/HF 중 가장 큰 값을 갖는 회복기준 LF/HF인 것으로 설정하도록 한다. 예를 들어 제1 시점에서 피측정자의 LF/HF(6005)가 제3 회복기준 LF/HF(6008) 이하이고, 그 이후의 제2 시점에서 피측정자의 LF/HF(6005)가 제3 회복기준 LF/HF(6008) 이상이고 제2 회복기준 LF/HF(6007) 이하인 경우, 졸음감지 장치(6000)는 상기 제2 시점에서 피측정자의 졸음상태가 제3 단계 졸음상태에서 제2 단계 졸음상태로 회복되었다고 판단할 수 있다. 또한, 피측정자가 제3 단계 졸음상태에서 제2 단계 졸음상태로 회복된 이후 제3 시점에서, 졸음감지 장치(6000)는 피측정자의 LF/HF(6005)가 제2 회복기준 LF/HF(6007) 이상이고 제1 회복기준 LF/HF(6006) 이하인 경우, 졸음감지 장치(6000)는 상기 제3 시점에서 피측정자의 졸음상태가 제2 단계 졸음상태에서 제1 단계 졸음상태로 회복되었다고 판단할 수 있다.
일 실시 예에서 제1 시점에서 피측정자의 LF/HF(6005)가 제3 회복기준 LF/HF(6008) 이하이고, 그 이후의 제2 시점에서 피측정자의 LF/HF(6005)가 제2 회복기준 LF/HF(6007) 이상이고 제1 회복기준 LF/HF(6006) 이하인 경우, 졸음감지 장치(6000)는 상기 제2 시점에서 피측정자의 졸음상태가 제3 단계 졸음상태에서 제1 단계 졸음상태로 회복되었다고 판단할 수 있다.
그러나, 일 실시예를 따르는 도 46의 (b)를 참조하면, 피측정자가 제3 단계 졸음상태에서 제1 단계 졸음상태로 회복된 시점(t6)이후에, 졸음감지 장치(6000)가 피측정자의 LF/HF(6005)가 제2 회복기준 LF/HF(6007)이하로 감소된 시점(t7)을 일정시간 이내에 감지한 경우, 졸음감지 장치(6000)는 피측정자가 제2 단계 졸음상태인 것으로 감지할 수 있다. 또한, 피측정자가 제3 단계 졸음상태로 리셋한 것으로 감지할 수도 있다.
상기 제1 회복기준 LF/HF(6006)는 도 45에서의 제1 기준 LF/HF(6006)와, 상기 제2 회복기준 LF/HF(6010)는 도 45에서의 제2 기준 LF/HF(6007)와, 상기 제3 회복기준 LF/HF(6011)는 도 45에서의 제3 기준 LF/HF(6006)와 동일할 수 있고, 상이할 수도 있다.
또한, 졸음감지 장치(6000)가 졸음상태에서 정상상태로 회복되는 것을 감지하기 위하여 제1 내지 제3 회복기준 LF/HF보다 큰 값을 갖는 제4 회복기준 LF/HF(6010)가 설정될 수도 있다. 예를 들어, 졸음감지 장치(6000)는 졸음상태로 감지된 피측정자의 LF/HF(6005)가 제4 회복기준 LF/HF(6010)의 이상이 되는 시점을 감지한 경우에, 피측정자가 졸음상태에서 정상상태로 회복되었다고 판단할 수도 있다. 일반적으로, 피측정자가 정상상태일 때 LF/HF는 0.9~1 범위내에서 측정된다. 따라서 피측정자가 아주 작은 강도의 졸음상태로 감지된 경우더라도, 피측정자의 LF/HF는 1 이상의 값을 갖기 어려울 수 있다. 즉, 1 이상의 값을 갖는 제4 회복기준 LF/HF(6010)를 회복기준 LF/HF로 설정함으로써, 졸음감지 장치(6000)는 피측정자가 졸음상태에서 완전히 회복된 경우에만 정상상태인 것으로 판단할 수도 있다.
8.4 심박수 및 LF/HF를 기초로 하는 졸음감지 방법
이하에서는 도 47을 참조하여 심박수 및 LF/HF를 기초로 하는 졸음감지 방법에 관하여 설명한다.
일 실시 예에서 심박수 및 LF/HF를 기초로 하는 단계별 졸음감지 단계(S6100, S6200) 및 최종 졸음상태를 결정하는 단계(S6300)를 포함할 수 있다.
상기 졸음감지 방법은 실시 예에 따라, 피측정인/피측정자가 아닌 개체에 졸음상태의 단계에 따라 알림을 주는 단계를 더 포함할 수 있다.
본 목차에서는 목차 8.3에서 설명한 심박수를 기초로 하는 졸음감지 방법 및 목차 8.4에서 설명한 LF/HF를 기초로 하는 졸음감지방법이 모두 적용된 졸음감지 방법을 설명한다.
심박수 및 LF/HF는 동일한 피측정자로부터 획득한 심박에 관한 정보에 기인하지만, 경우에 따라 심박수를 기초로 판단된 졸음상태의 단계와 LF/HF를 기초로 판단된 졸음상태의 단계가 상이할 수 있다. 예를 들어, 졸음감지 장치는 동일한 피측정자로부터 동일한 시점에, 심박수를 기초로 3단계 졸음상태를 감지하고, LF/HF를 기초로 2단계 졸음상태를 감지할 수 있다. 이와 같이, 졸음감지 장치가 동일한 시점에 동일한 피측정자에 대하여 졸음상태를 판단함에도 불구하고 졸음감지 방법에 따라 상이한 졸음단계가 판단되었다는 것은 어느 하나의 졸음감지 방법에 의한 졸음상태 판단 결과가 잘못되었을 가능성이 있음을 의미할 수 있다.
따라서, 이와 같은 오류를 줄이고 보다 정확하게 졸음을 감지하기 위하여, 이하에서는 심박수 및 LF/HF를 함께 기초로 하는 졸음감지 방법에 대하여 설명한다.
일 실시 예에서, 심박수 및 LF/HF를 기초로 하는 졸음감지 방법에서 감지된 졸음에 관한 상태는 최종 졸음상태 및 최종 정상상태라고 표현할 수 있다. 일 실시 예에서, 최종 졸음상태는 졸음의 강도에 따라 복수의 단계로 나누어질 수 있다. 예를 들어 제1 최종 졸음상태, 제2 최종 졸음상태 및 제3 최종 졸음상태로 나누어질 수 있다. 여기서, 제1 최종 졸음상태가 가장 낮은 강도의 최종 졸음상태를 의미하고, 제3 최종 졸음상태가 가장 높은 최종 졸음상태를 의미할 수 있다.
일 실시 예에서, 최종 졸음상태 및 최종 정상사태는 심박수를 기초로 하는 졸음감지 방법 및 LF/HF를 기초로 하는 졸음감지 방법 각각을 기초로 감지된 졸음상태 및 정상상태와 대응되는 상태를 의미할 수 있다. 즉, 최종 졸음상태는 피측정자가 일시적으로 수면을 취하는 상태 또는 수면에 취하기 전의 소정 시간내에 수면에 취할 가능성이 높은 상태를 의미할 수 있고, 최종 정상상태는 최종 졸음상태가 아닌, 피측정자가 소정 시간내에 수면에 빠질 가능성이 낮은 상태를 의미할 수 있다.
전술한 바와 같이 심박수 변화 및 LF/HF 값을 기초로 하는 졸음감지 방법은 각각 졸음의 강도에 따라 정상상태, 제1 단계 졸음상태, 제2 단계 졸음상태 및 제3단계 졸음상태, 총 4단계로 나누어질 수 있다. 여기서 제1 단계 졸음상태는 무자각적/무의식적 졸음상태를 의미할 수 있고, 제2 및 제3 단계 졸음상태는 자각적/의식적 졸음상태를 의미할 수 있다.
일 실시 예에서, 졸음의 강도에 따라 복수의 단계로 나누어진 최종 졸음 상태는 심박수를 기초로 하는 졸음감지 방법 및 LF/HF를 기초로 하는 졸음감지 방법 각각을 기초로 감지된 상기 제1 단계 졸음상태, 제2 단계 졸음상태 및 제3 단계 졸음상태와 대응되는 상태를 의미할 수 있다. 따라서, 제1 최종 졸음상태는 무자각적/무의식적 졸음상태를 의미할 수 있다. 또한 제2 최종 졸음상태 및 제3 최종 졸음상태는 자각적/의식적 졸음상태를 의미할 수 있다.일 실시 예에서, 졸음감지 장치는 소정 시간 주기에 따라 피측정자의 최종 졸음상태를 획득할 수 있다. 상기 소정 시간 주기는 고정될 수도 있고, 가변될 수 있음을 물론이다.
다른 일 실시 예에서, 졸음감지 장치는 소정 시간 주기에 따르지 않고 피측정자의 최종 졸음상태를 획득할 수 있다. 예를 들어, 졸음감지 장치는 생체 지수 획득 장치(10) 또는 다른 장치에서 피측정자의 심박수 및/또는 LF/HF가 측정될 때마다, 즉, 실시간으로, 피측정자의 졸 획득할 수 있다.
물론, 생체 지수 획득 장치(10) 또는 다른 장치에서 피측정자의 심박수 또는 LF/HF가 소정 시간 주기에 따라 측정된다면, 졸음감지 장치는 생체 지수 획득 장치(10) 또는 다른 장치에서 측정되는 소정 시간 주기를 기초로 피측정자의 최종 졸음상태를 획득할 수 있다.
다른 예로서, 졸음감지 장치는 외부로부터의 입력 또는 요청에 따라, 생체 지수 획득 장치(10) 또는 다른 장치에 LF/HF 및 심박수를 제공해줄 것을 요청할 수 있고, 상기 요청을 할 때마다 피측정자의 최종 졸음상태를 획득할 수 있다
일 실시 예에서, 졸음감지 장치는 일정 시간구간에 대한 피측정자의 평균 심박수 및 평균 LF/HF를 획득할 수 있다.
졸음감지 장치는 평균 심박수 및 평균 LF/HF를 획득함에 따라 노이즈가 보정되어 정확하게 졸음을 감지할 수 있는 효과를 가질 수 있으며, 평균 심박수 및 평균 LF/HF획득에 따라 얻을 수 있는 효과와 동일한 바 상세한 설명은 생략하도록 한다.
일 실시 예에서 졸음감지 장치는 심박수를 기초로 감지된 졸음상태의 단계와 LF/HF를 기초로 감지된 졸음상태의 단계에 따라 최종 졸음상태의 단계를 결정될 수 있다. 경우에 따라, 심박수를 기초로 감지된 졸음상태의 단계와 LF/HF를 기초로 감지된 졸음상태의 단계는 일치할 수도 있고 일치하지 않을 수도 있다.
이하 설명의 편의를 위해 심박수를 기초로 감지된 정상상태는 제1 단계 졸음상태보다 낮은 단계의 졸음상태인 것으로 정의한다. 또한 LF/HF를 기초로 감지된 정상상태 역시 제1 단계 졸음상태보다 낮은 단계의 졸음상태인 것으로 정의한다.
심박수를 기초로 감지된 졸음상태의 단계와 LF/HF를 기초로 감지된 졸음상태의 단계가 일치하는 경우, 졸음감지 장치는 상기 일치하는 단계를 최종 졸음상태의 단계로 결정할 수 있다. 예를 들어, 졸음감지 장치가 피측정자에 대하여 심박수를 기초로 제1단계 졸음상태를 감지하고 LF/HF를 기초로 제1 단계 졸음상태를 감지한 경우, 졸음감지 장치는 최종 졸음상태로 제1 단계 최종 졸음상태를 결정할 수 있다. 또한, 졸음감지 장치가 피측정자에 대하여 심박수를 기초로 제2단계 졸음상태를 감지하고 LF/HF를 기초로 제2 단계 졸음상태를 감지한 경우, 졸음감지 장치는 최종 졸음상태로 제2 단계 최종 졸음상태를 결정할 수 있다. 또한, 졸음감지 장치가 피측정자에 대하여 심박수를 기초로 제3 단계 졸음상태를 감지하고 LF/HF를 기초로 제3 단계 졸음상태를 감지한 경우, 졸음감지 장치는 최종 졸음상태로 제3 단계 최종 졸음상태를 결정할 수 있다.
심박수를 기초로 감지된 졸음상태의 단계와 LF/HF를 기초로 감지된 졸음상태의 단계가 일치하지 않는 경우, 졸음감지 장치는, 다양한 상황을 고려하여 최종졸음 단계를 결정할 수 있다.
일 실시예에서 심박수를 기초로 감지된 졸음상태의 단계와 LF/HF를 기초로 감지된 졸음상태의 단계가 일치하지 않는 경우, 졸음감지 장치는 두 개의 단계 가운데 더 높은 단계를 최종 졸음상태의 단계로 결정할 수 있다. 예를 들어, 졸음감지 장치가 피측정자에 대하여 심박수를 기초로 제1 단계 졸음상태를 감지하고 LF/HF를 기초로 제2 단계 졸음상태를 감지한 경우, 졸음감지 장치는 최종 졸음상태로 제2 단계 최종 졸음상태를 결정할 수 있다.
다른 실시예에서 심박수를 기초로 감지된 졸음상태의 단계와 LF/HF를 기초로 감지된 졸음상태의 단계가 일치하지 않는 경우, 졸음감지 장치는 두 개의 단계 가운데 더 낮은 단계를 최종 졸음상태의 단계로 결정할 수 있다. 예를 들어, 졸음감지 장치가 피측정자에 대하여 심박수를 기초로 제1 단계 졸음상태를 감지하고 LF/HF를 기초로 제2 단계 졸음상태를 감지한 경우, 졸음감지 장치는 최종 졸음상태로 제1 단계 최종 졸음상태를 결정할 수 있다.
다른 실시 예에서 심박수를 기초로 감지된 졸음상태의 단계와 LF/HF를 기초로 감지된 졸음상태의 단계가 일치하지 않는 경우, 졸음감지 장치는 두 개의 단계의 평균을 최종 졸음상태의 단계로 결정할 수 있다. 여기서, 상기 평균이 정수가 아닌 경우, 소수 첫 번째 자리의 수에 대하여 버림 또는 올림을 적용할 수 있다. 예를 들어, 졸음감지 장치가 피측정자에 대하여 심박수를 기초로 제1 단계 졸음상태를 감지하고 LF/HF를 기초로 제3 단계 졸음상태를 감지한 경우, 졸음감지 장치는 최종 졸음상태로 두 개의 단계의 평균인 제2 단계 최종 졸음상태를 결정할 수 있다. 다른 예를 들어, 심박수를 기초로 제1 단계 졸음상태가 감지되고 LF/HF를 기초로 제2 단계 졸음상태가 감지된 경우, 졸음감지 장치는 최종 졸음상태로 두 개의 단계의 평균인 1.5에 대하여 소수 첫째자리에서 버림을 적용하여 제1단계 최종 졸음상태를 결정할 수 있다. 또한, 졸음감지 장치는 최종 졸음상태로 두 개의 단계의 평균인 1.5에 대하여 소수 첫째자리에서 올림을 적용하여 제2단계 최종 졸음상태를 결정할 수도 있다.
물론, 경우에 따라, 졸음감지 장치는 심박수를 기초로 감지된 졸음상태의 단계와 LF/HF를 기초로 감지된 졸음상태의 단계 사이의 졸음 단계를 새롭게 정의하고, 새롭계 정의된 졸음 단계를 최종 졸음 단계로써 결정할 수 있다. 예를 들어, 심박수를 기초로 제1 단계 졸음상태가 감지되고 LF/HF를 기초로 제2 단계 졸음상태가 감지된 경우, 졸음감지 장치는 제1 단계 졸음상태 및 제2 단계 졸음상태 사이의 졸음강도를 나타내는 중간단계 졸음상태를 정의하고, 상기 중간 단계 졸음상태를 최종 졸음 단계로 결정할 수 있다.
다른 실시 예에서 심박수를 기초로 감지된 졸음상태의 단계와 LF/HF를 기초로 감지된 졸음상태의 단계가 일치하지 않는 경우, 졸음감지 장치는 이전에 결정된 최종 졸음상태 또는 최종 정상상태를 졸음에 관한 상태로서 유지할 수 있다. 예를 들어, 졸음감지 장치가 피측정자에 대하여 제1 단계 최종 졸음상태를 감지한 상황에서 이후에 심박수를 기초로 제1 단계 졸음상태를 감지하고 LF/HF를 기초로 제3 단계 졸음상태를 감지한 경우, 졸음감지 장치는 이전에 결정된 최종 졸음상태인 제1 단계 최종 졸음상태를 졸음에 관한 상태로서 유지할 수 있다. 예를 들어, 졸음감지 장치가 피측정자에 대하여 최종 정상상태를 감지한 상황에서 심박수를 기초로 제1 단계 졸음상태를 감지하고 LF/HF를 기초로 제3 단계 졸음상태를 감지한 경우, 졸음감지 장치는 이전에 결정된 최종 정상상태를 졸음에 관한 상태로서 유지할 수 있다.
이하에서는, 심박수를 기초로 감지된 졸음상태의 단계 및 LF/HF를 기초로 감지된 졸음상태의 단계가 일치하지 않는 경우를 중심으로 상세하게 설명한다.
8.4.1 구체적인 실시예
일 실시 예에서 심박수를 기초로 감지된 졸음상태의 단계와 LF/HF를 기초로 감지된 졸음상태의 단계가 정상상태로 일치하는 경우에 졸음감지 장치는 피측정자가 최종 정상상태인 것으로 결정할 수 있다.
일 실시 예에서 심박수를 기초로 감지된 졸음상태의 단계와 LF/HF를 기초로 감지된 졸음상태의 단계가 제1 단계 졸음상태로 일치하는 경우에 졸음감지 장치는 피측정자가 제1 단계 최종 졸음상태인 것으로 결정할 수 있다.
일 실시 예에서 심박수를 기초로 감지된 졸음상태의 단계와 LF/HF를 기초로 감지된 졸음상태의 단계가 제2 단계 졸음상태로 일치하는 경우에 졸음감지 장치는 피측정자가 제2 단계 최종 졸음상태인 것으로 결정할 수 있다.
일 실시 예에서 심박수를 기초로 감지된 졸음상태의 단계와 LF/HF를 기초로 감지된 졸음상태의 단계가 제3 단계 졸음상태로 일치하는 경우에 졸음감지 장치는 피측정자가 제3 단계 최종 졸음상태인 것으로 결정할 수 있다.
일 실시 예에서 심박수를 기초로 감지된 졸음상태의 단계와 LF/HF를 기초로 감지된 졸음상태의 단계가 일치하지 않고, 심박수를 기초로 감지된 졸음상태의 단계와 LF/HF를 기초로 감지된 졸음상태의 단계 중 낮은 단계를 최종 졸음상태의 단계로 결정하는 방법(이하 제1 방법이라고 한다.)은 감지되어야 할 단계가 민감하게 감지될 필요성이 낮은 단계를 감지하기 위한 방법으로 적용될 수 있다.
예를 들어, 제1, 제2 및 제3 단계 졸음상태가 감지되면 알림을 주는 경우가 있는데, 경우에 따라 제1, 제2 단계 졸음상태가 피측정자의 안전에 영향 적을 수 있다. 이 때, 빈번하게 알림을 주게되면 피측정자가 불편함을 느끼거나 졸음감지 장치를 동작시키지 않을 수 있다. 또한, 심박수를 기초로 감지된 졸음상태의 단계와 LF/HF를 기초로 감지된 졸음상태의 단계 중 낮은 단계를 최종 졸음상태의 단계로 결정함에 따라, 졸음감지 장치는 더 정확하게 졸음에 관한 상태를 감지할 수도 있다. 즉, 제1 방법에 따르는 졸음감지 장치를 이용해 최종 졸음상태를 결정하는 것이 사용자 편의성 및 정확도 향상에 유리할 수 있다.
일 실시 예에서 심박수를 기초로 감지된 졸음상태의 단계와 LF/HF를 기초로 감지된 졸음상태의 단계가 일치하지 않고, 어느 하나의 졸음상태의 단계가 정상상태를 나타내며, 다른 하나의 졸음상태의 단계가 정상상태보다 한 단계 또는 두 단계가 높은 졸음상태로 감지되는 경우, 졸음감지 장치는 낮은 단계인 정상상태를 기초로 하여 피측정자가 최종 정상상태인 것으로 결정할 수 있다.
예를 들어, 졸음감지 장치가 심박수를 기초로 정상상태 감지하고 LF/HF를 기초로 제1 단계 졸음상태를 감지한 경우, 졸음감지 장치는 피측정자가 최종 정상상태인 것으로 결정할 수 있다.
일 실시 예에서 심박수를 기초로 감지된 졸음상태의 단계와 LF/HF를 기초로 감지된 졸음상태의 단계가 일치하지 않고, 어느 하나의 졸음상태의 단계가 제1 단계 졸음상태를 나타내며, 다른 하나의 졸음상태의 단계가 정상상태보다 한 단계 높은 졸음상태로 감지되는 경우, 졸음감지 장치는 낮은 단계인 제1 단계 졸음상태를 기초로 하여 피측정자가 제1 단계 졸음상태인 것으로 결정할 수 있다.
예를 들어, 졸음감지 장치가 심박수를 기초로 제1 단계 졸음상태를 감지하고 또한 LF/HF를 기초로 제2 단계 졸음상태를 감지한 경우, 졸음감지 장치는 피측정자가 제1 단계 졸음상태인 것으로 결정할 수 있다.
일 실시 예에서 심박수를 기초로 감지된 졸음상태의 단계와 LF/HF를 기초로 감지된 졸음상태의 단계가 일치하지 않고, 어느 하나의 졸음상태의 단계가 제2 단계 졸음상태를 나타내며, 다른 하나의 졸음상태의 단계가 정상상태보다 높은 졸음상태로 감지되는 경우, 졸음감지 장치는 낮은 단계인 제2 단계 졸음상태를 기초로 하여 피측정자가 제2 단계 졸음상태인 것으로 결정할 수 있다.반면에 심박수를 기초로 감지된 졸음상태의 단계와 LF/HF를 기초로 감지된 졸음상태의 단계가 일치하지 않고, 심박수를 기초로 감지된 졸음상태의 단계와 LF/HF를 기초로 감지된 졸음상태의 단계 중 높은 단계를 최종 졸음상태의 단계로 결정하는 방법(이하 제2 방법이라고 한다.)은 민감하게 감지될 필요성이 높은 단계를 감지하기 위한 방법으로 적용될 수 있다.
예를 들어, 제1, 제2 및 제3 단계 졸음상태가 감지되면 알림을 주는 경우가 있는데, 경우에 따라 제3 단계 졸음상태는 가장 높은 강도의 졸음상태로서 피측정자의 안전에 직접적인 영향을 줄 수 있다. 이 때, 제3 단계 졸음상태가 감지되는 즉시 졸음감지 장치가 피측정자에게 강력한 알림을 주지 않게 되면, 피측정자는 심각한 위험상황에 처할 수 있다. 또한, 심박수를 기초로 감지된 졸음상태의 단계와 LF/HF를 기초로 감지된 졸음상태의 단계 중 높은 단계를 최종 졸음상태의 단계로 결정함에 따라, 졸음감지 장치는 더 다양한 상황에 대하여 감지하고자 하는 단계를 최종 졸음상태의 단계로서 결정할 수 있다. 즉, 제2 방법에 따르는 졸음감지 장치를 이요해 최종 졸음상태를 결정하는 것이 사용자 위험 대비에 유리할 수 있다.
일 실시 예에서 심박수를 기초로 감지된 졸음상태의 단계와 LF/HF를 기초로 감지된 졸음상태의 단계가 일치하지 않고, 어느 하나의 졸음상태의 단계가 제3 단계 졸음상태를 나타내며, 다른 하나의 졸음상태의 단계가 제3 단계 졸음상태보다 한 단계, 두 단계 또는 세 단계 낮은 졸음상태로 감지되는 경우, 졸음감지 장치는 높은 단계인 제3 단계 졸음상태를를 기초로 하여 피측정자가 제3 단계 최종 졸음상태인 것으로 결정할 수 있다.
예를 들어, 졸음감지 장치가 심박수를 기초로 제3 단계 졸음상태를 감지하고 LF/HF를 기초로 제1 단계 졸음상태를 감지한 경우, 졸음감지 장치는 피측정자가 제3 단계 졸음상태인 것으로 결정할 수 있다.
다른 실시 예에서, 졸음감지 장치는 제2 최종 졸음상태를 감지하기 위하여 제2 방법에 따를 수도 있다. 경우에 따라, 졸음감지 장치는 제3 단계 졸음상태뿐 아니라 제2 단계 졸음상태 또한 보다 다양항 상황에서 감지해야할 필요성이 있을 수 있기 때문이다. 구체적으로, 피측정자가 화물차량의 운전자 또는 대중교통 차량의 운전자인 경우, 운전자가 교통사고의 위험에 처하게 되면 운전자 외의 주변차량 운전자 및 승객까지 심각한 위험에 처하는 상황이 발생할 수 있다. 따라서 심박수를 기초로 감지된 졸음상태의 단계와 LF/HF를 기초로 감지된 졸음상태의 단계가 일치하지 않고, 어느 하나의 졸음상태의 단계가 제2 단계 졸음상태를 나타내며, 다른 하나의 졸음상태의 단계가 제2 단계 졸음상태보다 한 단계 또는 두 단계 낮은 졸음상태로 감지되는 경우, 졸음감지 장치는 높은 단계인 제2 단계 졸음상태를를 기초로 하여 피측정자가 제2 단계 최종 졸음상태인 것으로 결정할 수도 있다.
예를 들어, 졸음감지 장치가 심박수를 기초로 제2 단계 졸음상태를 감지하고 LF/HF를 기초로 제1 단계 졸음상태를 감지한 경우, 졸음감지 장치는 피측정자가 제2 단계 졸음상태인 것으로 결정할 수 있다.
9. 생체 지수 획득 장치를 이용한 다양한 어플리케이션들
9.1 디스플레이 장치의 다양한 실시예들
상술한 생체 지수 획득 방법 또는 졸음 감지 방법은 다양한 어플리케이션에 이용될 수 있다. 예를 들어, 상기 생체 지수 획득 방법 또는 졸음 감지 방법은 디스플레이 장치에 이용될 수 있다.
이 때, 상기 디스플레이 장치는 미러 디스플레이를 포함하는 스마트 미러를 포함하나, 이에 한정되지 않고, 스마트 폰, 태블릿 등 디스플레이를 포함하는 장치를 의미할 수 있다.
또한, 상기 생체 지수 획득 방법에 따라 획득된 생체 지수 또는 생체 정보는 상기 디스플레이를 통해 출력될 수 있으며, 상기 졸음 감지 방법에 따라 획득된 졸음 정보 역시 디스플레이를 통해 출력될 수 있다.
또한, 상기 디스플레이 장치는 상기 생체 지수 획득 방법에 따라 획득된 생체 지수 또는 생체 정보에 대응되는 동작을 수행할 수 있다.
또한, 상기 디스플레이 장치는 상기 졸음 감지 방법에 따라 획득된 졸음 정보에 대응되는 동작을 수행할 수 있다.
또한, 상기 디스플레이 장치의 사용자는 관심 생체 지수를 설정할 수 있으며, 관심 생체 지수가 설정된 경우 상기 관심 생체 지수만 획득되거나 출력될 수 있다. 예를 들어, 제1 사용자가 심박수를 설정하고 제2 사용자는 혈압을 설정한 경우 제1 사용자에 대하여는 심박수만 획득하고, 제2 사용자에 대하여는 혈압만 획득할 수 있으나, 이에 한정되지 않는다.
또한, 상기 디스플레이 장치는 호텔 로비, 호텔 프론트, 공공 화장실 등 공공 장소에 비치되어 오고가는 사람들의 생체 지수를 측정하기 위해 이용될 수 있으나, 이에 한정되지 않는다.
또한, 이하에서는 상기 생체 지수 측정 장치의 동작으로 설명하지만, 기술된 내용은 차량에 탑재되는 ECU 등 다른 프로세서에서도 수행될 수 있으며, 서버에 포함되는 프로세서에서도 수행될 수 있다.
또한, 상기 생체 지수 측정 장치로 기술되는 장치는 이미지 획득 장치를 의미할 수 있고, 이 경우 기술된 내용에 따른 동작은 ECU 등 다른 프로세서나 서버에 포함되는 프로세서에서 수행될 수 있다.
도 48은 일 실시예에 따른 스마트 미러 장치를 설명하기 위한 도면이다.
도 48에 따르면, 일 실시예에 따른 스마트 미러 장치(7000)는 이미지 센서(7010), 미러 디스플레이(7020) 및 제어부(7030) 중 적어도 하나를 포함할 수 있다. 예를 들어, 상기 스마트 미러 장치(7000)는 상기 미러 디스플레이 (7020) 상기 제어부(7030)로 구성될 수 있으나, 이에 한정되지 않는다.
이 때, 상기 이미지 센서(7010)는 가시광 이미지를 획득하기 위한 가시광 카메라(Visible camera), 적외선 이미지를 획득하기 위한 적외선 카메라(IR camera) 등으로 제공될 수 있으나, 이에 한정되지 않고, 가시광 이미지 및 적외선 이미지를 획득하기 위한 하이브리드 타입의 카메라가 제공될 수도 있다.
또한, 상기 이미지 센서(7010)는 상기 미러 디스플레이(7020)와 하나의 패키지로 제공될 수 있으나, 이에 한정되지 않고 상기 미러 디스플레이(7020)와 구분되는 별도의 유닛으로 제공될 수도 있다.
또한, 상기 이미지 센서(7010)는 복수개의 이미지 프레임을 획득할 수 있으며, 획득된 이미지를 상기 제어부(7030)로 전송할 수 있다.
또한, 상기 미러 디스플레이(7020)는 거울의 기능을 하면서 정보를 전달할 수 있는 매체를 의미할 수 있으나, 이에 한정되지 않는다.
또한, 상기 미러 디스플레이(7020)는 거울의 기능을 할 수 있는 미러 및 정보 전달을 할 수 있는 디스플레이를 포함할 수 있으며, 디스플레이에 미러 필름이 추가된 형태로 제공될 수 있으나, 이에 한정되지 않는다.
또한, 상기 미러 디스플레이(7020)는 한 방향에서 빛을 투과시키되 다른 한 방향에서 반사시키는 반투명 거울을 의미할 수 있는 하프 미러(Half Mirror)를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 미러 디스플레이(7020)는 편광판을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 미러 디스플레이(7020)는 상술한 예시적 원리 및 예시적 요소 외에도 통상적으로 이해될 수 있는 미러 디스플레이를 포함할 수 있으며, 보다 구체적으로 거울의 기능을 하면서 정보를 전달 하는 기능을 하는 장치로 이해될 수 있다.
또한, 상기 제어부(7030)는 상기 이미지 센서(7010)로부터 획득된 복수개의 이미지 프레임을 기초로 생체 지수 및 생체 정보를 획득할 수 있다.
이 때, 상기 제어부(7030)가 상기 이미지 센서(7010)로부터 획득된 복수개의 이미지 프레임을 기초로 생체 지수 및 생체 정보를 획득하는 방법은 상술한 내용이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.
또한, 상기 제어부(7030)는 외부 센서(미도시)로부터 생체 지수 및 생체 정보를 획득할 수 있다. 예를 들어, 상기 제어부(7030)는 피측정자에 부착된 ECG 센서 등을 통해 심박 정보를 획득할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제어부(7030)는 입력 장치(미도시)를 통해 개인적, 통계적 데이터를 획득할 수 있다. 예를 들어, 상기 제어부(7030)는 키보드를 통해 피측정자의 키, 나이, 몸무게 등 개인적, 통계적 데이터를 획득할 수 있으나, 이에 한정되지 않는다.
이 때, 상기 입력 장치는 키보드(keyboard), 마우스(mouse), 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(정압/정전), 조그 휠 및 조그 스위치 등이 될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제어부(7030)는 외부 장치(미도시)를 통해 개인적, 통계적 데이터를 획득할 수 있다. 예를 들어, 상기 제어부(7030)는 피측정자의 스마트폰을 통해 피측정자의 키, 나이, 몸무게 등 개인적, 통계적 데이터를 획득할 수 있으나, 이에 한정되지 않는다.
이 때, 상기 외부 장치는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등과 같은 이동 단말기를 포함할 수 있을 뿐만 아니라, 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기도 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제어부(7030)는 상기 미러 디스플레이(7020)의 동작을 제어할 수 있다. 예를 들어, 상기 제어부(7030)는 상기 이미지 프레임을 기초로 획득된 생체 지수 또는 생체 정보가 출력되도록 상기 미러 디스플레이(7020)의 동작을 제어할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제어부(7030)는 다양한 정보가 출력되도록 상기 미러 디스플레이(7020)의 동작을 제어할 수 있다. 예를 들어, 상기 제어부(7030)는 날씨 정보, 날짜 정보, 달력 정보, 내부 습도 정보, 내부 온도 정보 등 다양한 정보가 출력되도록 상기 미러 디스플레이(7020)의 동작을 제어할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제어부(7030)는 다양한 개인적 정보가 출력되도록 상기 미러 디스플레이(7020)의 동작을 제어할 수 있다. 예를 들어, 상기 제어부(7030)는 피측정자의 스케쥴 정보, 투약 정보 등 다양한 개인적 정보가 출력되도록 상기 미러 디스플레이(7020)의 동작을 제어할 수 있으나, 이에 한정되지 않는다.
도 49는 일 실시예에 따른 스마트 미러 장치를 설명하기 위한 도면이다.
도 49를 참조하면, 일 실시예에 따른 스마트 미러 장치(7100)는 이미지 센서(7110) 및 미러 디스플레이(7120)를 포함할 수 있다.
이 때, 상기 이미지 센서(7110) 및 상기 미러 디스플레이(7120)는 상술한 동작들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
일 실시예에 따르면, 상기 미러 디스플레이(7120)에 기본적 정보가 출력될 수 있다. 예를 들어, 도 49에 도시된 바와 같이 상기 미러 디스플레이(7120)에 날짜 정보, 시간 정보, 외부 기온 정보, 날씨 정보, 달력 정보, 뉴스 정보 등 기본적 정보 중 적어도 하나의 정보가 출력될 수 있으나, 이에 한정되지 않는다.
또한, 상기 미러 디스플레이(7120)에 개인적 정보가 출력될 수 있다. 예를 들어, 도 49에 도시된 바와 같이 상기 미러 디스플레이(7120)에 피측정자의 나이, 키, 몸무게 등 개인적 정보 중 적어도 하나의 정보가 출력될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 도 49에 도시된 바와 같이 상기 미러 디스플레이(7120)에 피측정자의 스케쥴 정보, 투약 정보 등 개인적 정보 중 적어도 하나의 정보가 출력될 수 있으나, 이에 한정되지 않는다.
또한, 상기 미러 디스플레이(7120)에 피측정자의 생체 지수가 출력될 수 있다. 예를 들어, 도 49에 도시된 바와 같이 상기 미러 디스플레이(7120)에 심박수, 산소포화도, 혈압 등 생체 지수 중 적어도 하나의 생체 지수가 출력될 수 있으나, 이에 한정되지 않는다.
이 때, 상기 생체 지수는 상기 이미지 센서(7110)로부터 획득된 이미지 프레임에 기초하여 획득된 것일 수 있으나, 이에 한정되지 않고, 외부 센서 등에 의해 획득된 것일 수 있다.
또한, 상기 미러 디스플레이(7120)에 피측정자의 생체 정보가 출력될 수 있다. 예를 들어, 도 49에 도시된 바와 같이 상기 미러 디스플레이(7120)에 컨디션 정보 등 생체 정보 중 적어도 하나의 생체 정보가 출력될 수 있으나, 이에 한정되지 않는다.
이 때, 상기 생체 정보는 상기 이미지 센서(7110)로부터 획득된 이미지 프레임에 기초하여 획득된 것일 수 있으나, 이에 한정되지 않고, 외부 센서 등에 의해 획득된 것일 수 있다.
또한, 상기 생체 정보는 상기 생체 지수 중 적어도 하나의 생체 지수에 기초하여 획득된 것일 수 있으나, 이에 한정되지 않는다.
또한, 상기 미러 디스플레이(7120)에 피측정자의 생체 신호가 출력될 수 있다. 예를 들어, 도 49에 도시된 바와 같이 상기 미러 디스플레이(7120)에 심박 신호 등 생체 신호 중 적어도 하나의 생체 신호가 출력될 수 있으나, 이에 한정되지 않는다.
이 때, 상기 생체 신호는 상기 이미지 센서(7110)로부터 획득된 이미지 프레임에 기초하여 획득된 것일 수 있으나, 이에 한정되지 않고, 외부 센서 등에 기초하여 획득된 것일 수 있다.
또한, 상기 미러 디스플레이(7120)는 입력 장치를 포함할 수 있다. 예를 들어, 도 49에 도시된 바와 같이 상기 미러 디스플레이(7120)는 터치 패널 등 입력 장치 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 도 49에 도시되지는 않았으나, 상기 스마트 미러 장치(7100)는 사용자의 동공 등을 트레킹 하거나 사용자의 제스쳐를 인식하여 사용자로부터 입력을 받을 수도 있으나, 이에 한정되지 않는다.
또한, 상기 미러 디스플레이(7120)는 상기 입력 장치를 통해 피측정자에 대한 정보를 획득할 수 있으며, 획득된 피측정자에 대한 정보는 상기 미러 디스플레이(7120)에 출력될 수 있다.
또한, 상술한 미러 디스플레이(7120)에 대한 도면 및 설명은 하나의 예시에 불과할 뿐이며, 상기 도 49 및 관련된 설명에 한정되지 않고 다양한 방법으로 다양한 정보들이 출력될 수 있음은 자명하다.
9.1.1 가이드 영역이 출력되는 디스플레이 장치의 다양한 실시예들
도 50은 일 실시예에 따른 가이드 영역이 출력되는 스마트 미러 장치에 대해 설명하기 위한 도면이다.
도 50을 참조하면, 일 실시예에 따른 스마트 미러 장치(7150)는 이미지 센서(7160) 및 미러 디스플레이(7170)를 포함할 수 있으며, 상기 이미지 센서(7160) 및 상기 미러 디스플레이(7170)에는 상술한 내용이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.
또한, 일 실시예에 따른 상기 미러 디스플레이(7170)에는 가이드 영역(7180)이 디스플레이 될 수 있다. 이 때, 상기 가이드 영역(7180)은 측정 대상의 측정 위치를 대략적으로 잡아주는 기능을 할 수 있다.
이미지 센서를 이용하여 생체 지수를 획득하는 경우 피측정자의 측정 위치에 따라 측정 정확도가 차이가 날 수 있으므로, 피측정자의 측정 위치를 가이드 해줄 수 있는 상기 가이드 영역(7180)을 활용하는 경우 피측정자의 생체 지수 측정에 대한 정확도를 향상시킬 수 있다.
또한, 상기 가이드 영역(7180)은 도 50에 도시된 바와 같이 직사각형 형상으로 디스플레이 될 수 있으나, 이에 한정되지 않고, 사람의 얼굴 윤곽, 동그라미, 타원 형상 등 다양한 형상으로 디스플레이 될 수 있다.
또한, 상기 가이드 영역(7180)은 피측정자에 따라 디스플레이 되는 위치가 변할 수 있다. 예를 들어, 키가 큰 피측정자에 대한 상기 가이드 영역(7180)은 상대적으로 상기 미러 디스플레이(7170)의 상부에 위치할 수 있으며, 키가 작은 피측정자에 대한 상기 가이드 영역(7180)은 상대적으로 상기 미러 디스플레이(7170)의 하부에 위치할 수 있으나, 이에 한정되지 않는다.
또한, 상기 가이드 영역(7180)은 실시간으로 위치가 변할 수 있다. 예를 들어, 피측정자가 측정 중 이동하는 경우 상기 가이드 영역(7180)은 피측정자의 이동에 대응하여 실시간으로 위치가 변할 수 있으나, 이에 한정되지 않는다.
또한, 상기 가이드 영역(7180)은 피측정자에 대한 생체 지수를 측정하기 전에 디스플레이 될 수 있다. 예를 들어, 상기 가이드 영역(7180)은 피측정자가 측정영역 내로 들어오기 전에 디스플레이되어 피측정자의 대략적인 측정 위치를 알려주기 위해 기능할 수 있으나, 이에 한정되지 않는다.
또한, 상기 가이드 영역(7180)은 측정 대상이 될 수 있는 사람이 복수명 인 경우 측정 대상이 되는 피측정자를 알려주는 기능을 할 수 있다. 예를 들어, 사람A 및 사람B가 측정 영역에 들어오되, 상기 사람B만이 피측정자가 되는 경우 상기 가이드 영역(7180)은 상기 사람B에 대응되어 디스플레이 될 수 있으나, 이에 한정되지 않는다.
9.1.2. 생체 지수 측정 중 소정의 정보가 디스플레이 되는 디스플레이 장치의 다양한 실시예들
이미지 센서를 이용하여 생체 지수를 획득하는 경우 피측정자의 움직임에 따라 측정 정확도가 차이 날 수 있으므로, 생체 지수 측정 간 피측정자의 움직임을 최소화 하기 위한 기능이 필요할 수 있다.
따라서, 생체 지수 측정 중 소정의 정보가 디스플레이 되는 디스플레이 장치를 이용하는 경우 디스플레이되는 정보를 이용하여 피측정자의 움직임이 최소화되도록 유도할 수 있다.
도 51은 일 실시예에 따른 소정의 정보가 출력되는 스마트 미러 장치에 대해 설명하기 위한 도면이다.
도 51을 참조하면, 일 실시예에 따른 스마트 미러 장치(7200)에는 생체 지수 측정 시간에 따라 서로 다른 정보가 디스플레이 될 수 있다.
보다 구체적으로, 제1 시점(7210)에 피측정자에 대한 생체 지수 측정이 시작될 수 있다.
이 때, 상기 제1 시점(7210)은 피측정자의 측정 대상 영역이 측정 영역 내에 위치하는 시점일 수 있으나, 이에 한정되지 않고, 측정 대상이 될 수 있는 사람이 이미지 센서의 화각 내에 위치하는 시점일 수 있다.
또한, 상기 제1 시점(7210)은 피측정자가 측정을 위한 의사를 입력하는 시점일 수 있다. 예를 들어, 상기 제1 시점(7210)은 상기 피측정자가 측정 버튼을 터치한 시점일 수 있으나, 이에 한정되지 않는다.
또한, 제2 시점(7220)에 제1 정보가 디스플레이 될 수 있다.
이 때, 상기 제2 시점(7220)은 상기 피측정자에 대한 얼굴 인식이 완료된 시점일 수 있으나, 이에 한정되지 않는다.
또한, 상기 제2 시점(7220)은 상기 피측정자에 대한 생체 지수 측정이 시작된 후 소정의 시간이 지난 후의 시점을 의미할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 정보는 상기 피측정자에 대한 인식 정보일 수 있다. 예를 들어, 도 51에 도시된 바와 같이 상기 제2 시점(7220)에 디스플레이되는 상기 제1 정보는 얼굴 인식이 된 상기 피측정자에 대한 인사말 정보 일 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 정보는 측정 진행 시간에 대한 정보일 수 있다. 예를 들어, 상기 제2 시점(7220)이 측정을 시작한지 2초 후의 시점인 경우 2초에 대응되는 정보가 디스플레이 될 수 있다.
또한, 상기 제1 정보는 측정을 위해 남은 시간에 대한 정보일 수 있다. 예를 들어, 생체 지수를 측정하기 위해 6초가 소요되며, 상기 제2 시점(7220)이 측정을 시작한지 2초 후의 시점인 경우 남은 4초에 대응되는 정보가 디스플레이 될 수 있다.
또한, 제3 시점(7230)에 제2 정보가 디스플레이 될 수 있다.
이 때, 상기 제3 시점(7230)은 상기 피측정자에 대한 얼굴 인식이 완료된 후 소정의 시간이 지난 후의 시점을 의미할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제3 시점(7230)은 상기 피측정자에 대한 생체 지수 측정이 시작된 후 소정의 시간이 지난 후의 시점을 의미할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제2 정보는 상기 피측정자에 대한 건강 정보일 수 있다. 예를 들어, 도 51에 도시된 바와 같이 상기 제3 시점(7230)에 디스플레이 되는 상기 제2 정보는 상기 피측정자의 월별 평균 생체 지수일 수 있으나, 이에 한정되지 않는다.
또한, 상기 제2 정보는 측정 진행 시간에 대한 정보일 수 있다. 예를 들어, 상기 제3 시점(7230)이 측정을 시작한지 4초 후의 시점인 경우 4초에 대응되는 정보가 디스플레이 될 수 있다.
또한, 상기 제2 정보는 측정을 위해 남은 시간에 대한 정보일 수 있다. 예를 들어, 생체 지수를 측정하기 위해 6초가 소요되며, 상기 제3 시점(7230)이 측정을 시작한지 4초 후의 시점인 경우 남은 2초에 대응되는 정보가 디스플레이 될 수 있다.
또한, 제4 시점(7240)에 제3 정보가 디스플레이 될 수 있다.
이 때, 상기 제4 시점(7240)은 상기 피측정자에 대한 생체 지수 측정이 완료된 시점을 의미할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제3 정보는 상기 피측정자에 대한 생체 지수에 관련된 정보일 수 있다. 예를 들어, 도 51에 도시된 바와 같이 상기 제4 시점(7240)에 디스플레이 되는 상기 제3 정보는 상기 피측정자의 심박수, 산소포화도, 혈압일 수 있으나, 이에 한정되지 않는다.
또한, 상기 제3 정보는 상기 피측정자에 대한 생체 정보에 관련된 정보일 수 있다. 예를 들어, 도 51에 도시되지는 않았으나, 상기 제4 시점(7240)에 디스플레이되는 상기 제4 정보는 상기 피측정자의 컨디션 지수 등 생체 정보일 수 있으나, 이에 한정되지 않는다.
9.1.3 이미지 센서를 통해 획득되는 이미지를 디스플레이 하는 스마트 미러 장치의 다양한 실시예들
도 52는 일 실시예에 따른 스마트 미러 장치를 설명하기 위한 도면이다.
도 52를 참조하면, 일 실시예에 따른 스마트 미러 장치(7250)는 이미지 센서(7260) 및 미러 디스플레이(7270)를 포함할 수 있다.
이 때, 상기 이미지 센서(7260) 및 상기 미러 디스플레이(7270)는 상술한 동작들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
일 실시예에 따르면 상기 미러 디스플레이(7270)에 이미지가 디스플레이 될 수 있다. 예를 들어, 도 52에 도시된 바와 같이 상기 미러 디스플레이(7270)에 상기 이미지 센서(7260)를 통해 획득되는 이미지가 디스플레이 될 수 있으나, 이에 한정되지 않는다.
또한, 디스플레이 되는 상기 이미지에 측정 대상이 되는 피측정자에 대한 정보가 표시될 수 있다. 예를 들어, 상기 이미지에 포함되는 측정 대상을 표시하는 영역이 표시될 수 있으나, 이에 한정되지 않는다.
이처럼 상기 미러 디스플레이(7270)를 통해 피측정자가 자신의 모습을 볼 수 있음에도 추가적으로 상기 이미지가 디스플레이되는 것은 복수의 측정 대상이 존재할 때 생체 지수 측정의 대상이 되는 피측정자를 명확히 표시해 측정 대상이 될 수 있는 복수의 인원들의 혼선을 방지할 수 있다.
또한, 디스플레이 되는 상기 피측정자에 대한 이미지와 상기 미러 디스플레이(7270)를 통해 반사되는 상기 피측정자의 모습은 서로 다른 위치에 있을 수 있으나, 이에 한정되지 않고 서로 오버랩 될 수도 있다.
9.1.4. 실시간으로 생체 지수를 측정하는 디스플레이 장치의 다양한 실시예들
도 53은 일 실시예에 따른 실시간으로 생체 지수를 측정하는 디스플레이 장치에 대해 설명하기 위한 도면이다.
도 53을 참조하면, 일 실시예에 따른 디스플레이 장치(7300)는 실시간으로 생체 지수를 측정할 수 있으며, 상기 디스플레이 장치(7300)에는 실시간으로 생체 지수가 디스플레이 될 수 있다.
보다 구체적으로, 제1 시점(7310)에 제1 시간 구간에서 획득된 피측정자에 대한 생체 지수가 디스플레이 될 수 있다.
이 때, 상기 제1 시점(7310)은 상기 제1 시간 구간에서 피측정자에 대한 생체 지수가 획득된 후의 시점일 수 있다.
또한, 제2 시점(7320)에 제2 시간 구간에서 획득된 피측정자에 대한 생체 지수가 디스플레이 될 수 있다.
이 때, 상기 제2 시점(7320)은 상기 제2 시간 구간에서 피측정자에 대한 생체 지수가 획득된 후의 시점일 수 있다.
또한, 상기 제2 시간 구간은 상기 제1 시간 구간과 상이할 수 있으며, 적어도 일부 오버랩 될 수 있다.
또한, 상기 제2 시점(7320)은 상기 제1 시점(7310) 보다 후의 시점일 수 있다.
또한, 제3 시점(7330)에 제3 시간 구간에서 획득된 피측정자에 대한 생체 지수가 디스플레이 될 수 있다.
이 때, 상기 제3 시점(7330)은 상기 제3 시간 구간에서 피측정자에 대한 생체 지수가 획득된 후의 시점일 수 있다.
또한, 상기 제3 시간 구간은 상기 제1 및 제2 시간 구간과 상이할 수 있으며, 적어도 일부 오버랩될 수 있다.
또한, 상기 제3 시점(7330)은 상기 제1 및 제2 시점(7310,7320)보다 후의 시점일 수 있다.
또한, 제4 시점(7340)에 제4 시간 구간에서 획득된 피측정자에 대한 생체 지수가 디스플레이 될 수 있다.
이 때, 상기 제4 시점(7340)은 상기 제4 시간 구간에서 피측정자에 대한 생체 지수가 획득된 후의 시점일 수 있다.
또한, 상기 제4 시간 구간은 상기 제1, 제2 및 제3 시간 구간과 상이할 수 있으며, 적어도 일부 오버랩될 수 있다.
또한, 상기 제4 시점(7340)은 상기 제1, 제2 및 제3 시점(7310, 7320, 7330)보다 후의 시점일 수 있다.
또한, 상술한 바와 같이 실시간으로 생체 지수를 획득하는 경우, 최종 생체 지수를 저장하기 위해 특정 시점에서 획득된 생체 지수를 이용할 수 있다. 예를 들어, 처음으로 생체 지수가 획득된 시점에서 획득된 생체 지수를 저장할 수 있으나, 이에 한정되지 않고, 마지막으로 획득된 시점에서 획득된 생체 지수를 저장할 수도 있으며, 생체 지수 측정 중간 시점에서 획득된 생체 지수를 저장할 수도 있다.
또한, 상술한 바와 같이 실시간으로 생체 지수를 획득하는 경우, 최종 생체 지수를 저장하기 위해 복수개의 생체 지수를 이용할 수 있다. 예를 들어, 일정 시간 구간동안 획득된 복수개의 생체 지수들 간의 평균을 최종 생체 지수로 저장할 수 있으나, 이에 한정되지 않는다.
또한, 상술한 바와 같이 실시간으로 생체 지수를 획득하는 경우, 생체 지수 측정간 피측정자의 움직임에 따른 노이즈가 발생하더라도 복수개의 생체 지수를 획득하기 때문에 보다 정확한 생체 지수를 획득할 수 있다.
또한, 상술한 바와 같이 실시간으로 생체 지수를 획득하는 경우, 상기 생체 지수가 디스플레이 되기 위해 갱신되는 주기가 설정될 수 있다. 예를 들어, 사용자는 상기 생체 지수가 디스플레이 되기 위해 갱신되는 주기를 설정할 수 있으며, 설정된 주기에 따라 상기 생체 지수가 갱신될 수 있으나, 이에 한정되지 않는다.
9.1.5. 생체 지수 측정 중 소정의 정보가 디스플레이 되는 디스플레이 장치의 다양한 실시예들
도 54는 일 실시예에 따른 소정의 정보가 출력되는 스마트 미러 장치에 대해 설명하기 위한 도면이다.
도 54를 참조하면, 일 실시예에 따른 스마트 미러 장치(7350)에는 생체 지수 측정 시간에 따라 서로 다른 정보가 디스플레이 될 수 있다.
보다 구체적으로, 제1 시점(7360)은 피측정자에 대한 생체 지수 측정이 시작되거나 시작되기 전 시점일 수 있다.
이 때, 상기 제1 시점(7360)은 피측정자의 측정 대상 영역이 측정 영역 내에 위치하는 시점일 수 있으나, 이에 한정되지 않고, 측정 대상이 될 수 있는 사람이 이미지 센서의 화각 내에 위치하는 시점일 수 있다.
또한, 상기 제1 시점(7360)에 제1 정보가 디스플레이 될 수 있다.
이 때, 상기 제1 정보는 기본정보를 포함할 수 있다. 예를 들어, 도 54에 도시된 바와 같이 날짜, 시간, 날씨 정보 등 기본 정보를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 정보는 가이드 영역에 대한 정보를 포함할 수 있다. 예를 들어, 도 54에 도시된 바와 같이 상기 제1 시점(7360)에 가이드 영역이 디스플레이 될 수 있으나, 이에 한정되지 않는다.
또한, 제2 시점(7370)에 제2 정보가 디스플레이 될 수 있다.
이 때, 상기 제2 시점(7370)은 피측정자에 대한 생체 지수를 측정하고 있는 시점일 수 있으나, 이에 한정되지 않는다.
또한, 상기 제2 시점(7370)은 상기 피측정자에 대한 생체 지수 측정이 시작된 후 소정의 시간이 지난 후의 시점을 의미할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제2 정보는 상기 피측정자에 대한 개인 정보를 포함할 수 있다. 예를 들어, 도 54에 도시된 바와 같이 상기 제2 시점(7370)에 디스플레이 되는 상기 제2 정보는 상기 피측정자의 주요 스케쥴, 투약 정보 등 개인 정보를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제2 정보는 생체 지수 측정과 관련된 정보를 포함할 수 있다. 예를 들어, 도 54에 도시된 바와 같이 상기 제2 시점(7370)에 디스플레이 되는 상기 제2 정보는 상기 피측정자의 생체 지수를 측정하고 있음을 나타내는 정보를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 제3 시점(7380)에 제3 정보가 디스플레이 될 수 있다.
이 때, 상기 제3 시점(7380)은 피측정자에 대한 생체 지수 측정이 완료된 시점일 수 있으나, 이에 한정되지 않으며, 실시간으로 측정하는 경우 적어도 한번의 측정이 완료된 시점일 수 있다.
또한, 상기 제3 정보는 측정된 생체 지수를 포함할 수 있다. 예를 들어, 도 54에 도시된 바와 같이 상기 제3 시점(7380)에 디스플레이 되는 상기 제3 정보는 측정된 심박수, 산소포화도 및 혈압을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 도 54에 도시된 바와 같이 상기 제2 시점(7370)에 상기 제1 정보 및 상기 제2 정보가 동시에 디스플레이 될 수 있으며, 상기 제3 시점(7380)에 상기 제1, 제2 및 제3 정보가 동시에 디스플레이 될 수 있다.
9.1.6. 개폐장치가 포함된 스마트 미러 장치의 다양한 실시예들
도 55는 일 실시예에 따른 개폐장치가 포함된 스마트 미러 장치에 대해 설명하기 위한 도면이다.
도 55를 참조하면, 일 실시예에 따른 스마트 미러 장치(7400)는 이미지 센서(7410), 미러 디스플레이(7420) 및 개폐 장치(7430)를 포함할 수 있다.
이 때, 상기 이미지 센서(7410) 및 상기 미러 디스플레이(7420)는 상술한 내용이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 이하에서 기술하는 상기 개폐 장치(7430)의 열림 상태는 상기 이미지 센서(7410)가 이미지를 획득하기 위한 윈도우가 확보된 상태를 의미할 수 있으며, 상기 개폐 장치(7430)의 닫힘 상태는 상기 이미지 센서(7410)가 이미지를 획득하기 위한 윈도우가 확보되지 않은 상태를 의미할 수 있다.
또한, 상기 열림 상태 및 닫힘 상태를 감지하기 위하여 상기 이미지 센서(7410)가 이용될 수 있으며, 예를 들어, 상기 이미지 센서(7410)에서 감지되는 조도가 기준 값 이하인 경우 상기 닫힘 상태가 감지될 수 있으며, 조도가 기준 값 이상인 경우 상기 열림 상태가 감지될 수 있으나, 이에 한정되지 않으며 다양한 방식으로 상기 이미지 센서(7410)를 이용하여 상기 열림 상태 및 상기 닫힘 상태가 감지될 수 있다.
또한, 상기 열림 상태 및 닫힘 상태를 감지하기 위하여 외부 센서가 이용될 수 있으며, 예를 들어, 상기 외부 센서가 상기 개폐 장치(7430)의 열린 정도를 감지하여 기준 값 이상으로 열린 경우 열린 상태로 감지하고, 기준 값 이하로 열린 경우 닫힘 상태로 감지할 수 있으나, 이에 한정되지 않으며 다양한 방식으로 상기 외부 센서를 이용하여 상기 열림 상태 및 상기 닫힘 상태가 감지될 수 있다.
일 실시예에 따르면, 상기 개폐 장치(7430)는 상기 이미지 센서(7410)에 대한 개폐를 수행할 수 있다. 예를 들어, 상기 개폐 장치(7430)는 내부 수납 공간에 수납된 상기 이미지 센서(7410)의 전방을 열거나 닫아 상기 이미지 센서(7410)로 획득되는 이미지를 조절하거나 외부에서 상기 이미지 센서(7410)를 관측하지 못하게 할 수 있다.
보다 구체적으로, 상기 개폐 장치(7430)가 닫힘 상태로 위치하는 제1 시점(7440)에 상기 이미지 센서(7410)는 상기 개폐 장치(7430)로 인해 외부에서 관측이 불가능할 수 있다.
또한, 상기 제1 시점(7440)에 상기 이미지 센서(7410)는 이미지를 획득하지 않을 수 있다. 예를 들어, 상기 개폐 장치(7430)의 닫힘 동작을 통해 상기 이미지 센서(7410)에 대한 전원을 차단할 수 있으나, 이에 한정되지 않는다.
또한, 상기 개폐 장치(7430)가 열림 상태로 위치하는 제2 시점(7450)에 상기 이미지 센서(7410)는 외부에서 관측이 가능할 수 있다.
또한, 상기 제2 시점(7450)에 상기 이미지 센서(7410)는 이미지를 획득할 수 있다. 예를 들어, 상기 개폐 장치(7430)의 열림 동작을 통해 상기 이미지 센서(7410)에 대한 전원이 공급되도록 할 수 있으나, 이에 한정되지 않는다.
또한 상개 개폐 장치(7430)의 표면은 미러로 형성될 수 있으며, 상기 미러 디스플레이(7420)의 외부 표면과 동일한 물질로 형성될 수 있으나, 이에 한정되지 않는다.
또한 상기 개폐 장치(7430)는 상기 이미지 센서(7410)를 외부 먼지 등으로부터 보호하는 기능을 수행할 수 있다. 예를 들어, 상기 개폐 장치(7430)가 닫힘 상태인 경우 외부의 먼지 등이 상기 이미지 센서(7410)에 접촉되는 것을 방지할 수 있으나, 이에 한정되지 않는다.
9.1.7. 신발장에 배치되는 스마트 미러 장치의 다양한 실시예들
집의 신발장이나, 건물의 출입구에 배치되는 스마트 미러 장치는 출입하는 사람에 대한 생체 지수를 측정할 수 있다. 보통 집의 신발장이나 건물의 출입구는 사람이 옷을 입고 지나다니는 곳으로 이미지 센서로 인한 프라이버시 문제가 적어 생체 지수를 측정하기 위한 이미지 센서의 설치가 용이할 수 있다.
이하에서는, 신발장으로 대표될 수 있는 건물 등의 출입구에 배치되는 스마트 미러 장치에 대하여 기술하기로 하며, 설명의 편의상 신발장에 배치되는 스마트 미러 장치로 설명하기로 한다.
도 56은 일 실시예에 따른 신발장에 배치되는 스마트 미러 장치에 대해 설명하기 위한 도면이다.
도 56을 참조하면, 일 실시예에 따른 스마트 미러 장치(7460)는 이미지 센서(7470) 및 미러 디스플레이(7480)를 포함할 수 있다.
이 때, 상기 이미지 센서(7470) 및 상기 미러 디스플레이(7480)는 상술한 내용이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
일 실시예에 따른 상기 이미지 센서(7470)는 피측정자(7490)에 대한 이미지를 획득할 수 있다. 예를 들어, 상기 이미지 센서(7470)는 상기 스마트 미러 장치(7460)가 위치하는 신발장에 출입하는 상기 피측정자(7490)에 대한 이미지를 획득할 수 있다.
또한, 상기 스마트 미러 장치(7460)는 상기 이미지 센서(7470)로부터 획득된 이미지 프레임에 기초하여 생체 지수를 획득할 수 있다.
또한, 상기 미러 디스플레이(7480)는 상기 피측정자(7490)의 모습을 반사하여 제공할 수 있다. 예를 들어, 상기 피측정자(7490)는 상기 미러 디스플레이를 통해 자신의 모습을 관측할 수 있다.
또한, 상기 미러 디스플레이(7480)는 상기 피측정자(7490)의 생체 지수를 디스플레이 할 수 있다. 예를 들어, 상기 미러 디스플레이(7480)는 상기 이미지 센서(7470)로부터 획득된 이미지 프레임에 기초하여 획득된 생체 지수를 디스플레이 할 수 있으나, 이에 한정되지 않는다.
또한, 상기 미러 디스플레이(7480)는 상기 피측정자(7490)의 생체 정보를 디스플레이 할 수 있다. 예를 들어, 상기 미러 디스플레이(7480)는 획득된 상기 생체 지수를 기초로 획득되는 생체 정보를 디스플레이 할 수 있으나, 이에 한정되지 않는다.
또한, 상기 미러 디스플레이(7480)는 상기 스마트 미러 장치(7460)의 적어도 일부에 형성될 수 있다. 예를 들어, 도 56에 도시된 바와 같이 상기 미러 디스플레이(7480)는 상기 스마트 미러 장치(7460)의 중심 부분에 일정 영역을 차지하도록 배치될 수 있다.
또한, 도 56에 도시되지는 않았으나, 상기 미러 디스플레이(7480)가 기본 정보, 개인 정보 등을 디스플레이 할 수 있음은 자명하다.
9.1.7.1. 트리거 신호(Trigger signal)을 이용하는 스마트 미러 장치의 다양한 실시예들
생체 지수 측정을 위한 스마트 미러 장치가 지속적으로 동작하는 경우 이미지를 획득하고 이를 분석하기 위한 전력소모가 지속될 수 있다. 따라서, 에너지를 절약하고 보다 스마트한 스마트 미러 장치를 제공하기 위하여 트리거 신호가 이용될 수 있다.
도 57은 일 실시예에 따른 스마트 미러 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 57을 참조하면, 일 실시예에 따른 스마트 미러 장치의 동작 방법(7500)은 온 트리거(On-trigger)를 획득하는 단계(S7510), 피측정자의 생체 지수를 획득하는 단계(S7520), 오프 트리거(Off-trigger)를 획득하는 단계(S7530), 스마트 미러 장치의 적어도 하나의 동작을 중지하는 단계(S7540) 중 적어도 하나의 단계를 포함할 수 있으나, 이에 한정되지는 않는다.
보다 구체적으로, 일 실시예에 따른 스마트 미러 장치의 동작 방법(7500)은 온 트리거(On-trigger)를 획득하는 단계(S7510)를 포함할 수 있다.
이 때, 상기 온 트리거(On-trigger)는 상기 스마트 미러 장치의 적어도 하나의 동작을 시작하기 위한 트리거 신호일 수 있다. 예를 들어, 상기 온 트리거(On-trigger)는 이미지 센서가 이미지를 획득하는 동작을 수행하기 위한 트리거 신호일 수 있으나, 이에 한정되지 않으며, 상기 스마트 미러 장치의 전원을 온 시키는 등 상기 스마트 미러 장치의 적어도 하나의 동작을 시작하기 위한 트리거 신호일 수 있다.
또한, 상기 온 트리거는 다양한 방식으로 제공될 수 있다.
예를 들어, 상기 스마트 미러 장치가 동작 감지 센서를 포함하는 경우, 상기 온 트리거는 상기 동작 감지 센서로부터 획득될 수 있다. 보다 구체적으로, 상기 동작 감지 센서로부터 소정의 동작이 감지되는 경우 스마트 미러 장치는 이에 대응되는 트리거 신호를 획득할 수 있으며, 이와 같은 트리거 신호가 상기 온 트리거가 될 수 있으나, 이에 한정되지 않는다.
또한, 이 때, 상기 동작 감지 센서는 상기 스마트 미러 장치 내부에 배치될 수 있으나, 이에 한정되지 않고 상기 스마트 미러 장치 외부에도 배치될 수 있다.
또한, 예를 들어, 상기 스마트 미러 장치가 터치 패널 등 입력 장치를 포함하는 경우, 상기 온 트리거는 상기 입력장치로부터 획득될 수 있다. 보다 구체적으로, 상기 입력장치로부터 소정의 입력을 획득할 수 있으며, 스마트 미러 장치는 이에 대응되는 트리거 신호를 획득할 수 있고, 이와 같은 트리거 신호가 상기 온 트리거가 될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 스마트 미러 장치가 이미지 센서를 포함하는 경우 상기 온 트리거는 상기 이미지 센서로부터 획득될 수 있다. 보다 구체적으로, 신발장에 위치하는 조명 장치가 소정의 동작을 감지하여 빛을 방출할 수 있으며, 상기 이미지 센서가 상기 조명 장치로부터 방출된 빛을 감지할 수 있고, 스마트 미러 장치는 이에 대응되는 트리거 신호를 획득할 수 있으며, 이와 같은 트리거 신호가 상기 온 트리거가 될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 이미지 센서의 화각 내에 출입 문이 포함되는 경우 상기 온 트리거는 상기 출입문의 변화에 기초하여 획득될 수 있다. 보다 구체적으로, 상기 이미지 센서가 상기 출입문의 열림을 판단할 수 있으며, 스마트 미러 장치는 이에 대응되는 트리거 신호를 획득할 수 있고, 이와 같은 트리거 신호가 상기 온 트리거가 될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 스마트 미러 장치의 동작 방법(7500)은 피측정자의 생체 지수를 획득하는 단계(S7520)를 포함할 수 있다.
이 때, 상기 피측정자에 대한 생체 신호는 이미지 센서를 통해 획득되는 이미지 프레임을 기초로 획득될 수 있으나, 이에 대한 상세한 내용은 상술한 바 중복되는 서술은 생략하기로 한다.
또한, 일 실시예에 따른 스마트 미러 장치의 동작 방법(7500)은 오프 트리거(Off-trigger)를 획득하는 단계(S7530)를 포함할 수 있다.
이 때, 상기 오프 트리거(Off-tirgger)는 상기 스마트 미러 장치의 적어도 하나의 동작을 중지하기 위한 트리거 신호일 수 있다. 예를 들어, 상기 오프 트리거는 이미지 센서가 이미지를 획득하는 동작을 중지하기 위한 트리거 신호일 수 있으나, 이에 한정되지 않으며, 상기 스마트 미러 장치의 전원을 오프시키는 등 상기 스마트 미러 장치의 적어도 하나의 동작을 중지하기 위한 트리거 신호일 수 있다.
또한, 상기 오프 트리거는 다양한 방식으로 제공될 수 있다.
예를 들어, 상기 스마트 미러 장치가 동작 감지 센서를 포함하는 경우, 상기 오프 트리거는 상기 동작 감지 센서로부터 획득될 수 있다. 보다 구체적으로, 상기 동작 감지 센서로부터 일정 시간동안 소정의 동작이 감지되지 않는 경우 스마트 미러 장치는 이에 대응되는 트리거 신호를 획득할 수 있으며, 이와 같은 트리거 신호가 상기 오프 트리거가 될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 스마트 미러 장치가 터치 패널 등 입력 장치를 포함하는 경우, 상기 오프 트리거는 상기 입력장치로부터 획득될 수 있다. 보다 구체적으로, 상기 입력장치로부터 소정의 입력을 획득할 수 있으며, 스마트 미러 장치는 이에 대응되는 트리거 신호를 획득할 수 있고, 이와 같은 트리거 신호가 상기 오프 트리거가 될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 스마트 미러 장치가 이미지 센서를 포함하는 경우 상기 오프 트리거는 상기 이미지 센서로부터 획득될 수 있다. 보다 구체적으로 신발장에 위치하는 조명 장치가 일정 시간 소정의 동작이 없음을 감지하여 소등될 수 있으며, 상기 이미지 센서가 소등된 빛의 강도를 감지할 수 있고, 스마트 미러 장치는 이에 대응되는 트리거 신호를 획득할 수 있으며, 이와 같은 트리거 신호가 상기 오프 트리거가 될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 오프 트리거는 상기 스마트 미러 장치의 생체 지수 획득에 기초하여 획득될 수 있다. 보다 구체적으로, 이미지 센서의 화각 내에 측정 대상 영역이 존재하지 않는 경우 생체 지수 획득이 되지 않을 수 있으며, 일정 시간 이상 생체 지수 획득이 되지 않는 경우 스마트 미러 장치는 이에 대응되는 트리거 신호를 획득할 수 있고, 이와 같은 트리거 신호가 상기 오프 트리거가 될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 이미지 센서의 화각 내에 출입문에 포함되는 경우 상기 오프 트리거는 상기 출입문의 변화에 기초하여 획득될 수 있다. 보다 구체적으로, 상기 이미지 센서가 상기 출입문의 열림을 판단할 수 있으며, 스마트 미러 장치는 이에 대응되는 트리거 신호를 획득할 수 있고, 이와 같은 트리거 신호가 상기 오프 트리거가 될 수 있으나, 이에 한정되지 않는다.
도 58 및 59는 일 실시예에 따른 트리거 신호를 이용한 스마트 미러 장치의 동작을 설명하기 위한 도면이다.
도 58 및 59를 참조하면, 일 실시예에 따른 스마트 미러 장치(7550)는 이미지 센서(7560) 및 미러 디스플레이(7570)를 포함할 수 있다.
이 때, 이미지 센서(7560) 및 미러 디스플레이(7570)에는 상술한 내용들이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.
일 실시예에 따라 도 58을 참조하면, 피측정자(7580)가 소정의 온 트리거 발생 영역에 위치하는 경우 스마트 미러 장치의 적어도 하나의 동작이 시작될 수 있다.
이 때, 소정의 온 트리거 발생 영역은 상기 스마트 미러 장치가 동작 감지 센서를 포함하는 경우 동작 감지 센서의 감지 범위일 수 있으며, 신발장에 설치되는 조명 장치의 동작 감지 센서의 감지 범위일 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따라 도 59를 참조하면, 상기 스마트 미러 장치(7550)가 상기 피측정자(7580)로부터 소정의 입력을 받는 경우 스마트 미러 장치의 적어도 하나의 동작이 시작될 수 있다.
이 때, 소정의 입력은 터치 패널 등 입력 장치를 통해 획득될 수 있으나, 이에 한정되지 않는다.
9.1.7.2. 우선순위에 따라 생체 지수를 측정하는 스마트 미러 장치의 다양한 실시예들
스마트 미러 장치의 생체 지수 측정 영역 내에 복수의 사람이 존재하는 경우 우선순위에 따라 생체 지수를 측정할 수 있다.
도 60은 일 실시예에 따른 스마트 미러 장치의 동작 방법을 설명하기 위한 도면이다.
도 60을 참조하면, 일 실시예에 따른 스마트 미러 장치의 동작 방법(7600)은 복수의 사람을 포함하는 이미지를 획득하는 단계(S7610), 생체 지수 측정에 대한 우선순위를 결정하는 단계(S7620), 우선 순위에 따라 생체 지수를 획득하는 단계(S7630) 및 획득된 생체 지수를 출력하는 단계(S7640) 중 적어도 하나의 단계를 포함할 수 있으나, 이에 한정되지 않는다.
보다 구체적으로, 일 실시예에 따른 스마트 미러 장치의 동작 방법(7600)은 복수의 사람을 포함하는 이미지를 획득하는 단계(S7610)를 포함할 수 있으며, 이에 대해 상술한 이미지를 획득하는 내용이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.
또한, 일 실시예에 따른 스마트 미러 장치의 동작 방법(7600)은 생체 지수 측정에 대한 우선 순위를 결정하는 단계(S7620) 및 상기 우선 순위에 따라 생체 지수를 획득하는 단계(S7630)를 포함할 수 있다.
이 때, 상기 우선 순위를 결정하기 위해 생체 지수 측정의 용이성이 고려될 수 있다. 예를 들어, 상기 복수의 사람 중 획득된 이미지에서 보다 큰 영역을 차지하는 사람에 대한 생체 지수가 측정될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 복수의 사람 중 획득된 이미지에서 사람으로 인식된 사람에 대한 생체 지수가 측정될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 복수의 사람 중 획득된 이미지에서 보다 중심에 가까운 영역을 차지하는 사람에 대한 생체 지수가 측정될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 복수의 사람 중 획득된 이미지 내에서 이미지 센서와 보다 가까운 곳에 위치하는 사람에 대한 생체 지수가 측정될 수 있으나, 이에 한정되지 않는다.
또한, 상기 우선 순위를 결정하기 위해 미리 저장된 정보가 활용될 수 있다. 예를 들어, 상기 복수의 사람 중 미리 피측정자로 저장된 사람에 대한 생체 지수가 측정될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 미리 설정된 우선순위에 따라 생체 지수가 획득될 수 있으며, 보다 구체적으로 가족 구성원 중 아이에 대한 우선순위가 높게 설정된 경우, 아이와 아버지가 동시에 생체 지수 측정 영역내에 위치할 때 아이의 생체 지수가 측정될 수 있으나, 이에 한정되지 않는다.
또한, 상기 우선 순위를 결정하기 위해 생체 지수 측정 순서 정보가 활용될 수 있다. 예를 들어, 제1 피측정자에 대한 이미지가 먼저 획득되고 상기 제2 피측정자에 대한 이미지가 나중에 획득된 경우 상기 제1 피측정자에 대한 생체 지수가 측정될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 스마트 미러 장치의 동작 방법(7600)은 획득된 생체 지수를 출력하는 단계(S7640)를 포함할 수 있다.
이 때, 상기 생체 지수는 상기 우선 순위에 따라 결정된 사람에 대한 생체 지수일 수 있다.
또한, 상기 생체 지수를 출력하면서, 측정이 된 사람에 대한 인디케이터(indicator)를 같이 출력할 수 있다. 예를 들어, 상기 우선 순위에 따라 결정되어 생체 지수 측정의 대상이 된 사람에 대한 가이드 영역이 출력될 수 있으나, 이에 한정되지 않는다.
도 61은 일 실시예에 따른 스마트 미러 장치의 동작을 설명하기 위한 도면이다.
도 61을 참조하면, 일 실시예에 따른 스마트 미러 장치(7650)는 이미지 센서(7660) 및 미러 디스플레이(7670)를 포함할 수 있다.
이 때, 상기 이미지 센서(7660) 및 상기 미러 디스플레이(7670)에는 상술한 내용들이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.
일 실시예에 따라 도 61을 참조하면, 제1 사람(7680) 및 제2 사람(7690)이 상기 이미지 센서(7660)의 측정 범위 내에 위치할 수 있다.
또한, 상기 제1 사람(7680)은 상기 스마트 미러 장치(7650)의 생체 지수 측정 대상이 될 수 있다.
예를 들어, 도 61에 도시된 바와 같이 상기 제1 사람(7680)이 상기 제2 사람(7690)보다 상기 이미지 센서(7660)에 가까이 위치하는 경우 상기 제1 사람(7680)이 생체 지수 측정 대상이 될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어 상기 이미지 센서(7660)에서 획득된 이미지에서 상기 제1 사람(7680)에 대한 이미지가 차지하는 영역이 상기 제2 사람(7690)에 대한 이미지가 차지하는 영역보다 큰 경우 상기 제1 사람(7680)이 생체 지수 측정 대상이 될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어 상기 스마트 미러 장치(7650)에서 상기 제1 사람(7680)만이 사람으로 인식되는 경우 상기 제1 사람(7680)이 생체 지수 측정 대상이 될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어 상기 이미지 센서(7660)에서 획득된 이미지에서 상기 제1 사람(7680)에 대한 이미지가 차지하는 영역이 상기 제2 사람(7690)에 대한 이미지가 차지하는 영역보다 중심에 가까운 경우 상기 제1 사람(7680)이 생체 지수 측정 대상이 될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어 상기 제1 사람(7680)에 대한 우선 순위가 상기 제2 사람(7690)에 대한 우선 순위보다 높게 저장되어 있는 경우 상기 제1 사람(7680)이 생체 지수 측정 대상이 될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어 상기 제1 사람(7680)이 피측정자로 저장되어 있는 경우 상기 제1 사람(7680)이 생체 지수 측정 대상이 될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 사람(7680)에 대한 생체 지수가 측정되는 경우 상기 제1 사람(7680)에 대한 생체 지수가 출력될 수 있다. 예를 들어, 도 61에 도시된 바와 같이 상기 제1 사람(7680)에 대한 심박수, 산소포화도, 혈압이 출력될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 사람(7680)에 대한 생체 지수가 측정되는 경우 상기 제1 사람(7680)에 대한 인디케이터가 출력될 수 있다. 예를 들어, 도 61에 도시된 바와 같이 상기 제1 사람(7680)에 대한 가이드 영역이 출력될 수 있으나, 이에 한정되지 않는다.
9.1.7.3. 복수의 피측정자의 생체 지수를 측정하는 스마트 미러 장치의 다양한 실시예들
스마트 미러 장치의 생체 지수 측정 영역 내에 복수의 사람이 존재하는 경우 우선순위에 따라 생체 지수를 측정할 수 있다.
도 62는 일 실시예에 따른 스마트 미러 장치의 동작 방법을 설명하기 위한 도면이다.
도 62를 참조하면, 일 실시예에 따른 스마트 미러 장치의 동작 방법(7700)은 복수의 피측정자를 포함하는 이미지를 획득하는 단계(S7710), 복수의 피측정자에 대한 생체 지수를 획득하는 단계(S7720) 및 복수의 피측정자에 대한 생체 지수를 출력하는 단계(S7730) 중 적어도 하나의 단계를 포함할 수 있으나, 이에 한정되지 않는다.
보다 구체적으로, 일 실시예에 따른 스마트 미러 장치의 동작 방법(7700)은 복수의 피측정자를 포함하는 이미지를 획득하는 단계(S7610)를 포함할 수 있으며, 이에 대해 상술한 이미지를 획득하는 내용이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.
또한, 일 실시예에 따른 스마트 미러 장치의 동작 방법(7700)은 복수의 피측정자에 대한 생체 지수를 획득하는 단계(S7720)를 포함할 수 있으며, 이에 대해 상술한 생체 지수 획득 방법이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.
일 실시예에 따르면, 복수의 피측정자에 대한 생체 지수를 획득하기 위해 복수의 피측정자 각각에 대한 영역이 설정될 수 있다. 예를 들어, 제1 피측정자 및 제2 피측정자가 생체 지수 측정 영역 내에 위치하는 경우 상기 제1 피측정자에 대한 영역 및 상기 제2 피측정자에 대한 영역에 설정될 수 있다.
또한, 복수의 피측정자에 대한 복수의 생체 지수가 획득될 수 있다. 예를 들어, 복수의 피측정자에 대한 심박수, 산소포화도, 혈압이 각각 획득될 수 있으나, 이에 한정되지 않는다.
또한, 복수의 피측정자 각각에 대해 획득되는 복수의 생체 지수의 종류는 서로 상이할 수 있다. 예를 들어, 제1 피측정자의 심박수가 획득되고 제2 피측정자의 산소포화도 및 혈압이 획득될 수 있으나, 이에 한정되지 않는다.
또한, 복수의 피측정자에 대한 복수의 생체 지수를 획득하기 위하여 복수의 피측정자 각각에 대한 세부 영역이 설정될 수 있다. 예를 들어, 제1 피측정자에 대한 영역이 설정되며, 상기 제1 피측정자에 대해 심박수를 측정하기 위한 제1 세부 영역, 산소포화도를 측정하기 위한 제2 세부 영역, 혈압을 측정하기 위한 제3 세부 영역이 설정될 수 있으며, 제2 피측정자에 대한 영역이 설정되고, 상기 제2 피측정자에 대해 심박수를 측정하기 위한 제4 세부 영역, 산소포화도를 측정하기 위한 제5 세부 영역 및 혈압을 측정하기 위한 제6 세부 영역이 설정될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 내지 제6 세부 영역은 서로 상이할 수 있으며, 적어도 일부 오버랩 될 수 있다.
또한, 일 실시예에 따른 스마트 미러 장치의 동작 방법(7700)은 복수의 피측정자에 대한 생체 지수를 출력하는 단계(S7730)를 포함할 수 있다.
이 때, 상기 생체 지수는 복수의 피측정자 각각에 대한 적어도 하나 이상의 생체 지수 일 수 있다.
또한, 상기 생체 지수를 출력하면서, 복수의 피측정자에 대한 인디케이터(indicator)를 같이 출력할 수 있다. 예를 들어, 제1 피측정자 및 제2 피측정자의 생체 지수가 획득된 경우 상기 제1 피측정자 및 상기 제2 피측정자에 대한 가이드 영역이 출력될 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수를 출력하면서, 출력되는 생체 지수가 어떤 피측정자의 것인지 표시하는 인디케이터를 같이 출력할 수 있다. 예를 들어, 제1 피측정자에 대한 생체 지수가 출력되는 경우 제1 피측정자를 식별할 수 있는 인디케이터가 같이 출력될 수 있으며, 제2 피측정자에 대한 생체 지수가 출력되는 경우 제2 피측정자를 식별할 수 있는 인디케이터가 같이 출력될 수 있다.
도 63은 일 실시예에 따른 스마트 미러 장치의 동작을 설명하기 위한 도면이다.
도 63을 참조하면, 일 실시예에 따른 스마트 미러 장치(7750)는 이미지 센서(7760) 및 미러 디스플레이(7770)를 포함할 수 있다.
이 때, 상기 이미지 센서(7760) 및 상기 미러 디스플레이(7770)에는 상술한 내용들이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.
일 실시예에 따라 도 63을 참조하면, 제1 피측정자(7780) 및 제2 피측정자(7790)가 상기 이미지 센서(7760)의 측정 범위 내에 위치할 수 있다.
또한, 상기 제1 피측정자(7780) 및 상기 제2 피측정자(7790)에 대한 생체 지수를 획득하기 위해 획득된 이미지 프레임 내에 복수의 피측정자 각각에 대한 영역이 설정될 수 있다.
또한, 상기 제1 피측정자(7780) 및 상기 제2 피측정자(7790)에 대한 생체 지수가 획득될 수 있다. 예를 들어, 상기 제1 피측정자(7780) 및 상기 제2 피측정자(7790)에 대한 심박수가 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 피측정자(7780) 및 상기 제2 피측정자(7790) 각각에 대한 복수개의 생체 지수가 획득될 수 있다. 예를 들어, 도 63에 도시된 바와 같이 상기 제1 피측정자(7780)에 대한 심박수, 산소포화도 및 혈압이 획득될 수 있으며, 상기 제2 피측정자(7790)에 대한 심박수, 산소포화도 및 혈압이 획득될 수 있으나 이에 한정되지 않는다.
또한, 예를 들어, 도 63에 도시되지는 않았으나, 상기 제1 피측정자(7780)에 대한 심박수가 획득될 수 있으며, 상기 제2 피측정자(7790)에 대한 산소포화도 및 혈압이 획득될 수 있으나 이에 한정되지 않는다.
9.1.7.4. 상황에 따라 다른 정보를 출력하는 스마트 미러 장치의 다양한 실시예들
스마트 미러 장치가 신발장 등 건물의 출입구에 배치되는 경우, 건물에 들어오는 상황과 건물에서 나가는 상황에 사용자에게 필요한 정보가 상이할 수 있다.
따라서, 스마트 미러 장치는 상황에 따라 사용자에게 서로 다른 정보를 제공하도록 서로 다른 정보를 출력할 수 있다.
또한, 상기 스마트 미러 장치는 상황에 따라 사용자에게 서로 다른 생체 지수를 제공하도록 서로 다른 생체 지수를 출력할 수 있다.
도 64는 일 실시예에 따른 스마트 미러 장치의 동작 방법을 설명하기 위한 도면이다.
도 64를 참조하면, 일 실시예에 따른 스마트 미러 장치의 동작 방법(7800)은 정보 제공 상황을 결정하는 단계(S7810), 상기 제1 상황에 따른 제1 정보를 출력하는 단계(S7820) 및 상기 제2 상황에 따른 제2 정보를 출력하는 단계(S7830) 중 적어도 하나의 단계를 포함할 수 있으나, 이에 한정되지 않는다.
보다 구체적으로, 일 실시예에 따른 스마트 미러 장치의 동작 방법(7800)은 정보 제공 상황을 결정하는 단계(S7810)를 포함할 수 있다.
이 때, 상기 정보 제공 상황은 상기 스마트 미러 장치 사용자의 상황을 의미할 수 있다. 예를 들어, 상기 정보 제공 상황은 상기 스마트 미러 장치 사용자가 건물 내로 들어가는 상황 또는 건물 밖으로 나가는 상황을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 정보 제공 상황은 단순히 정보를 제공하기 위해 결정되는 상황을 의미할 수 있다. 예를 들어, 상기 정보 제공 상황은 제1 상황 또는 제2 상황을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 정보 제공 상황은 생체 지수 측정 여부와 관련된 상황을 의미할 수 있다. 예를 들어, 상기 정보 제공 상황은 생체 지수를 측정할 필요가 없는 상황 또는 생체 지수 측정이 필요한 상황을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 정보 제공 상황은 시간과 관련된 상황을 의미할 수 있다. 예를 들어, 상기 정보 제공 상황은 오전 상황 또는 오후 상황을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 정보 제공 상황은 외부 환경에 따른 상황을 의미할 수 있다. 예를 들어, 상기 정보 제공 상황은 외부의 전염병 상황 등 외부 환경에 따른 상황을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 정보 제공 상황을 결정하기 위해 상기 스마트 미러 장치는 추가적 센서를 포함할 수 있다. 예를 들어, 상기 사용자의 출입 상황을 결정하기 위해 동작 감지 센서를 추가로 포함할 수 있으며, 제1 동작 감지 센서에서 사용자의 동작이 먼저 감지되는 경우 제1 상황으로 결정하고 제2 동작 감지 센서에서 사용자의 동작이 먼저 감지되는 경우 제2 상황으로 결정할 수 있으나, 이에 한정되지 않는다.
또한, 상기 정보 제공 상황을 결정하기 위해 상기 스마트 미러 장치에 포함되는 이미지 센서가 이용될 수 있다. 예를 들어, 상기 사용자의 출입 상황을 결정하기 위해 상기 이미지 센서를 통해 획득되는 이미지 프레임이 이용될 수 있으며, 보다 구체적으로, 시계열 적으로 획득되는 복수개의 이미지 프레임에서 상기 사용자에 해당 할 수 있는 영역이 제1 측면에서 중심 부분에 가까워 지는 경우 제1 상황으로 결정하고, 제2 측면에서 중심 부분에 가까워 지는 경우 제2 상황으로 결정할 수 있으나, 이에 한정되지 않는다.
또한, 상기 정보 제공 상황을 결정하기 위해 상기 스마트 미러 장치에 포함되는 이미지 센서가 이용될 수 있다. 예를 들어, 생체 지수 측정 및 정보 제공이 필요한 상황인지 결정하기 위해 상기 이미지 센서를 통해 획득되는 이미지 프레임이 이용될 수 있으며, 보다 구체적으로, 시게열 적으로 획득되는 복수개의 이미지 프레임에서 상기 사용자에 해당 할 수 있는 영역의 이동 속도가 기준 값을 초과하는 경우 제1 상황으로 결정할 수 있으며, 상기 이동 속도가 기준 값 이하인 경우 제2 상황으로 결정할 수 있으나, 이에 한정되지 않는다.
또한, 상기 정보 제공 상황을 결정하기 위해 시간 정보가 이용될 수 있다. 예를 들어, 기준 시간 이전인 경우 제1 상황으로 결정할 수 있으며, 기준 시간 이후인 경우 제2 상황으로 결정할 수 있으나, 이에 한정되지 않는다.
또한, 상기 정보 제공 상황을 결정하기 위해 인식 정보가 이용될 수 있다. 예를 들어, 생체 지수 측정 및 정보 제공이 필요한 상황인지 결정하기 위해 사람에 대한 얼굴 인식 정보가 이용될 수 있으며, 보다 구체적으로, 얼굴인식 결과 등록된 사용자인 경우 제1 상황으로 결정할 수 있으며, 등록되지 않은 사용자인 경우 제2 상황으로 결정할 수 있으나, 이에 한정되지 않는다.
또한, 상기 정보 제공 상황을 결정하기 위해 피측정자의 이동 방향 정보가 이용될 수 있다. 예를 들어, 상기 정보 제공 상황을 결정하기 위해 감지하거나, 외부 센서를 이용하여 감지된 피측정자의 이동 방향 정보가 이용될 수 있으며, 보다 구체적으로, 상기 피측정자가 제1 방향으로 이동하는 경우 제1 상황으로 결정할 수 있으며, 상기 피측정자가 제2 방향으로 이동하는 경우 제2 상황으로 결정할 수 있으나 이에 한정되지 않는다.
또한, 일 실시예에 따른 스마트 미러 장치의 동작 방법(7800)은 제1 상황에 따른 제1 정보를 출력하는 단계(S7820) 및 제2 상황에 따른 제2 정보를 출력하는 단계(S7830)를 포함할 수 있으나, 이에 한정되지 않는다.
이 때, 상기 제1 상황이 건물 밖으로 나가는 상황을 포함하며, 상기 제2 상황이 건물 내로 들어가는 상황을 포함하는 경우 상기 제1 정보 및 제2 정보는 서로 상이할 수 있다.
예를 들어, 상기 제1 정보는 외부 날씨 정보, 오늘의 스케쥴 정보, 외부 날씨에 따른 물품 정보 등을 포함할 수 있으나, 이에 한정되지 않으며, 상기 제1 상황에 따른 정보가 될 수 있다.
또한, 상기 제2 정보는 내부 온도 정보, 내부 습도 정보, 보안 정보, 내부 공기 질 정보 등을 포함할 수 있으나, 이에 한정되지 않으며, 상기 제2 상황에 따른 정보가 될 수 있다.
또한, 상기 제1 정보 및 제2 정보 중 적어도 하나의 정보에 생체 지수 정보가 포함될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 정보에 포함되는 생체 지수와 상기 제2 정보에 포함되는 생체 지수는 서로 상이할 수 있다. 예를 들어, 제1 피측정자의 생체 지수를 제공하는 상황에서 심박수를 출력할 수 있으며, 제2 피측정자의 생체 지수를 제공하는 상황에서 혈압을 출력할 수 있으나, 이에 한정되지 않는다.
도 65 및 도 66은 일 실시예에 따른 스마트 미러의 동작을 설명하기 위한 도면이다.
도 65 및 도 66을 참조하면, 일 실시예에 따른 스마트 미러 장치(7850)는 이미지 센서(7860) 및 미러 디스플레이(7870)를 포함할 수 있다.
이 때, 상기 이미지 센서(7860) 및 상기 미러 디스플레이(7870)에는 상술한 내용들이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.
일 실시예에 따르면, 도 65는 제1 상황에서 상기 스마트 미러 장치(7850)의 동작을 나타낸 도면이며, 도 66은 제2 상황에서 상기 스마트 미러 장치(7850)의 동작을 나타낸 도면일 수 있다.
또한, 상기 제1 상황 및 제2 상황에서 출력되는 정보는 서로 상이할 수 있으며, 이에 대하여 상술한 내용들이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.
또한, 상기 제1 상황 및 제2 상황을 판단하기 위하여 외부 센서(7861)이 이용될 수 있으나, 이에 한정되지 않으며, 제1 상황 및 제2 상황을 결정하기 위한 상술한 예시들이 적용될 수 있다.
또한, 도 65 및 도66에는 도시되지 않았으나, 상기 제1 상황 및 상기 제2 상황에서 출력되는 정보는 서로 적어도 일부 오버랩 될 수 있다. 예를 들어, 상기 제1 상황 및 상기 제2 상황에서 출력되는 정보에 생체 지수가 모두 포함될 수 있으나, 이에 한정되지 않는다.
9.2. 차량에 배치되는 생체 지수 측정 장치의 다양한 실시예들
상술한 생체 지수 획득 방법 및 졸음 감지 방법은 다양한 어플리케이션에 이용될 수 있다. 예를 들어, 상기 생체 지수 획득 방법 또는 졸음 감지 방법은 차량에 배치되는 생체 지수 측정 장치에 이용될 수 있다.
또한, 상기 생체 지수 측정 장치는 상기 생체 지수 획득 방법에 따라 획득된 생체 지수 또는 생체 정보에 대응되는 동작을 수행할 수 있다.
또한, 상기 생체 지수 측정 장치는 상기 졸음 감지 방법에 따라 획득된 졸음 정보에 대응되는 동작을 수행할 수 있다.
또한, 이하에서는 상기 생체 지수 측정 장치의 동작으로 설명하지만, 기술된 내용은 차량에 탑재되는 ECU 등 다른 프로세서에서도 수행될 수 있으며, 서버에 포함되는 프로세서에서도 수행될 수 있다.
또한, 상기 생체 지수 측정 장치로 기술되는 장치는 이미지 획득 장치를 의미할 수 있고, 이 경우 기술된 내용에 따른 동작은 ECU 등 다른 프로세서나 서버에 포함되는 프로세서에서 수행될 수 있다.
도 67은 일 실시예에 따른 생체 지수 측정 장치를 설명하기 위한 도면이다.
도 67에 따르면, 일 실시예에 따른 생체 지수 측정 장치(8010)는 차량(8000)에 배치될 수 있으며, 상기 차량(8000)에 탑승하고 있는 탑승자(8020)의 생체 지수를 측정할 수 있다.
이 때, 상기 생체 지수 측정 장치(8010)는 상기 차량(8000)의 다양한 위치에 배치될 수 있다.
예를 들어, 상기 생체 지수 측정 장치(8010)는 상기 차량(8000)의 오버 헤드 콘솔, 선바이저, 룸미러, 대시보드, 계기판, 스티어링 휠, 샌터패시아, 콘솔 박스 등에 배치될 수 있으나, 이에 한정되지 않는다.
또한, 상기 탑승자(8020)는 운전자가 될 수 있으나, 이에 한정되지 않고 승객 등 차량에 탑승하고 있는 사람이 될 수 있다.
또한, 상기 탑승자(8020)가 복수의 사람인 경우 상기 생체 지수 측정 장치(8010)는 복수의 사람에 대한 생체 지수를 측정할 수 있다.
또한, 상기 생체 지수 측정 장치(8010)는 이미지 센서를 포함하여 상기 이미지 센서로부터 획득되는 이미지 프레임에 기초하여 생체 지수를 획득할 수 있으나, 이에 한정되지 않고 접촉식 센서 등이 이용될 수 있다.
또한, 상기 생체 지수 측정 장치(8010)가 이미지 센서를 포함하는 경우 상기 이미지 센서는 가시광 이미지를 획득하기 위한 가시광 카메라(Visible camera), 적외선 이미지를 획득하기 위한 적외선 카메라(IR camera) 등으로 제공될 수 있으나, 이에 한정되지 않고, 가시광 이미지 및 적외선 이미지를 획득하기 위한 하이브리드 타입의 카메라가 제공될 수도 있다.
또한, 상기 생체 지수 측정 장치(8010)는 외부 광량에 따라 모드를 변경하여 동작할 수 있다. 예를 들어, 외부 광이 많은 주간에 제1 모드로 동작할 수 있으며, 외부 광이 적은 야간에 제2 모드로 동작할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 생체 지수 측정 장치(8010)는 외부 광이 기준 값 이상인 경우 RGB 이미지를 기초로 생체 지수를 획득하는 제1 모드로 동작할 수 있으며, 외부 광이 기준 값 이하인 경우 IR 이미지를 기초로 생체 지수를 획득하는 제2 모드로 동작할 수 있으나, 이에 한정되지 않는다.
도 68은 일 실시예에 따른 생체 지수 측정 장치를 설명하기 위한 도면이다.
도 68을 참조하면, 일 실시예에 따른 생체 지수 측정 장치는 차량의 다양한 위치에 배치될 수 있다.
예를 들어, 도 68에 도시된 바와 같이 제1 생체 지수 측정 장치(8011)는 운전석 쪽의 대쉬보드에 배치될 수 있으며, 제2 생체 지수 측정 장치(8012)는 보조석 쪽의 대쉬보드에 배치될 수 있고, 제3 생체 지수 측정 장치(8013)는 룸미러에 배치될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 내지 제3 생체 지수 측정 장치(8011,8012,8013) 중 적어도 하나의 생체 지수 측정 장치가 차량의 내부에 배치될 수 있다.
또한, 상기 제1 내지 제3 생체 지수 측정 장치(8011,8012,8013) 중 적어도 하나의 생체 지수 측정 장치는 운전자의 생체 지수를 획득할 수 있다.
예를 들어, 상기 제1 내지 제3 생체 지수 측정 장치(8011,8012,8013) 중 적어도 하나의 생체 지수 측정 장치는 상기 운전자의 심박수, 혈압, 산소포화도, 체온 등 생체 지수를 측정할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 내지 제3 생체 지수 측정 장치(8011,8012,8013) 중 적어도 하나의 생체 지수 측정 장치는 획득된 상기 운전자의 생체 지수에 따른 동작을 수행할 수 있다.
예를 들어, 상기 제1 내지 제3 생체 지수 측정 장치(8011,8012,8013) 중 적어도 하나의 생체 지수 측정 장치는 획득된 상기 운전자의 생체 지수가 이상이 있는 경우 가까운 병원을 안내하는 등의 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제1 내지 제3 생체 지수 측정 장치(8011,8012,8013) 중 적어도 하나의 생체 지수 측정 장치는 획득된 상기 운전자의 생체 지수가 이상이 있는 경우 다른 모바일 장치로 이에 대한 정보를 전송할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제1 내지 제3 생체 지수 측정 장치(8011,8012,8013) 중 적어도 하나의 생체 지수 측정 장치는 획득된 상기 운전자의 생체 지수가 이상이 있는 경우 소리, 진동 등 하드웨어적인 알람을 동작시킬 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제1 내지 제3 생체 지수 측정 장치(8011,8012,8013) 중 적어도 하나의 생체 지수 측정 장치는 획득된 상기 운전자의 생체 지수가 이상이 있는 경우 차량을 자율주행 모드로 변경시키기 위한 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 내지 제3 생체 지수 측정 장치(8011,8012,8013) 중 적어도 하나의 생체 지수 측정 장치는 상기 운전자의 생체 정보를 획득할 수 있다.
예를 들어, 상기 제1 내지 제3 생체 지수 측정 장치(8011,8012,8013) 중 적어도 하나의 생체 지수 측정 장치는 상기 운전자의 졸음 정보, 컨디션 정보 등 상기 운전자의 생체 정보를 획득할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 내지 제3 생체 지수 측정 장치(8011,8012,8013) 중 적어도 하나의 생체 지수 측정 장치는 상기 획득된 운전자의 생체 정보에 따른 동작을 수행할 수 있다.
예를 들어, 상기 제1 내지 제3 생체 지수 측정 장치(8011,8012,8013) 중 적어도 하나의 생체 지수 측정 장치는 상기 획득된 운전자의 졸음 정보가 이상이 있는 경우 소리 진동 등 하드웨어 적인 알람을 동작시킬 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제1 내지 제3 생체 지수 측정 장치(8011,8012,8013) 중 적어도 하나의 생체 지수 측정 장치는 획득된 상기 운전자의 졸음 정보가 이상이 있는 경우 가까운 졸음 쉼터를 안내하는 등의 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제1 내지 제3 생체 지수 측정 장치(8011,8012,8013) 중 적어도 하나의 생체 지수 측정 장치는 획득된 상기 운전자의 졸음 정보가 이상이 있는 경우 다른 모바일 장치로 이에 대한 정보를 전송할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제1 내지 제3 생체 지수 측정 장치(8011,8012,8013) 중 적어도 하나의 생체 지수 측정 장치는 획득된 상기 운전자의 졸음 정보가 이상이 있는 경우 차량을 자율 주행 모드로 변경시키기 위한 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제1 내지 제3 생체 지수 측정 장치(8011,8012,8013) 중 적어도 하나의 생체 지수 측정 장치는 획득된 상기 운전자의 컨디션 정보에 따라 적절한 음악을 선택하는 등의 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제1 내지 제3 생체 지수 측정 장치(8011,8012,8013) 중 적어도 하나의 생체 지수 측정 장치는 획득된 상기 운전자의 컨디션 정보에 따라 적절한 컨텐츠를 안내하는 등의 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 내지 제3 생체 지수 측정 장치(8011,8012,8013) 중 적어도 하나의 생체 지수 측정 장치는 승객의 생체 지수를 획득할 수 있다.
예를 들어, 상기 제1 내지 제3 생체 지수 측정 장치(8011,8012,8013) 중 적어도 하나의 생체 지수 측정 장치는 상기 승객의 심박수, 혈압, 산소포화도, 체온 등 생체 지수를 측정할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 내지 제3 생체 지수 측정 장치(8011,8012,8013) 중 적어도 하나의 생체 지수 측정 장치는 획득된 상기 승객의 생체 지수에 따른 동작을 수행할 수 있다.
예를 들어, 상기 제1 내지 제3 생체 지수 측정 장치(8011,8012,8013) 중 적어도 하나의 생체 지수 측정 장치는 획득된 상기 승객의 생체 지수가 이상이 있는 경우 운전자에게 알람을 주는 등의 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제1 내지 제3 생체 지수 측정 장치(8011,8012,8013) 중 적어도 하나의 생체 지수 측정 장치는 획득된 상기 승객의 생체 지수가 이상이 있는 경우 가까운 병원을 안내하는 등의 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제1 내지 제3 생체 지수 측정 장치(8011,8012,8013) 중 적어도 하나의 생체 지수 측정 장치는 획득된 상기 승객의 생체 지수가 이상이 있는 경우 다른 모바일 장치로 이에 대한 정보를 전송할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제1 내지 제3 생체 지수 측정 장치(8011,8012,8013) 중 적어도 하나의 생체 지수 측정 장치는 획득된 상기 승객의 생체 지수가 이상이 있는 경우 차량을 자율 주행 모드로 변경시키기 위한 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 내지 제3 생체 지수 측정 장치(8011,8012,8013) 중 적어도 하나의 생체 지수 측정 장치는 상기 승객의 생체 정보를 획득할 수 있다.
예를 들어, 상기 제1 내지 제3 생체 지수 측정 장치(8011,8012,8013) 중 적어도 하나의 생체 지수 측정 장치는 상기 승객의 졸음 정보, 컨디션 정보 등 상기 승객의 생체 정보를 획득할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 내지 제3 생체 지수 측정 장치(8011,8012,8013) 중 적어도 하나의 생체 지수 측정 장치는 상기 획득된 승객의 생체 정보에 따른 동작을 수행할 수 있다.
예를 들어, 상기 제1 내지 제3 생체 지수 측정 장치(8011,8012,8013) 중 적어도 하나의 생체 지수 측정 장치는 상기 획득된 승객의 생체 정보가 이상이 있는 경우 상기 운전자에게 이에 대한 정보를 알리는 등의 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제1 내지 제3 생체 지수 측정 장치(8011,8012,8013) 중 적어도 하나의 생체 지수 측정 장치는 획득된 상기 승객의 생체 정보가 이상이 있는 경우 다른 모바일 장치로 이에 대한 정보를 전송할 수 있으나, 이에 한정되지 않는다.
도 69는 일 실시예에 따라 자율 주행 차량에 배치되는 생체 지수 측정 장치를 설명하기 위한 도면이다.
도 69를 참조하면, 일 실시예에 따른 생체 지수 측정 장치는 차량의 다양한 위치에 배치될 수 있다.
예를 들어, 도 69에 도시된 바와 같이 제1 생체 지수 측정 장치(8014)는 테이블의 일측에 배치될 수 있으며, 제2 생체 지수 측정 장치(8015)는 테이블의 타측에 배치될 수 있고, 제3 생체 지수 측정 장치(8016)는 자율 주행 차량의 천장 등에 배치될 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 내지 제3 생체 지수 측정 장치(8014,8015,8016) 중 적어도 하나의 생체 지수 측정 장치가 차량의 내부에 배치될 수 있다.
또한, 상기 제1 내지 제3 생체 지수 측정 장치(8014,8015,8016) 중 적어도 하나의 생체 지수 측정 장치는 탑승객의 생체 지수를 획득할 수 있다.
예를 들어, 상기 제1 내지 제3 생체 지수 측정 장치(8014,8015,8016) 중 적어도 하나의 생체 지수 측정 장치는 상기 탑승객의 심박수, 혈압, 산소포화도, 체온 등 생체 지수를 측정할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 내지 제3 생체 지수 측정 장치(8014,8015,8016) 중 적어도 하나의 생체 지수 측정 장치는 획득된 상기 탑승객의 생체 지수에 따른 동작을 수행할 수 있다.
예를 들어, 상기 제1 내지 제3 생체 지수 측정 장치(8014,8015,8016) 중 적어도 하나의 생체 지수 측정 장치는 획득된 상기 탑승객의 생체 지수가 이상이 있는 경우 가까운 병원을 안내하는 등의 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제1 내지 제3 생체 지수 측정 장치(8014,8015,8016) 중 적어도 하나의 생체 지수 측정 장치는 획득된 상기 탑승객의 생체 지수가 이상이 있는 경우 가까운 병원으로 주행하는 등의 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제1 내지 제3 생체 지수 측정 장치(8014,8015,8016) 중 적어도 하나의 생체 지수 측정 장치는 획득된 상기 탑승객의 생체 지수가 이상이 있는 경우 다른 모바일 장치로 이에 대한 정보를 전송할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제1 내지 제3 생체 지수 측정 장치(8014,8015,8016) 중 적어도 하나의 생체 지수 측정 장치는 획득된 상기 탑승객의 생체 지수가 이상이 있는 경우 소리, 진동 등 하드웨어적인 알람을 동작시킬 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제1 내지 제3 생체 지수 측정 장치(8014,8015,8016) 중 적어도 하나의 생체 지수 측정 장치는 획득된 상기 탑승객의 생체 지수가 이상이 있는 경우 이에 대한 정보를 디스플레이 할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 내지 제3 생체 지수 측정 장치(8014,8015,8016) 중 적어도 하나의 생체 지수 측정 장치는 상기 탑승객에 대한 인식 결과에 따른 동작을 수행할 수 있다.
예를 들어, 상기 제1 내지 제3 생체 지수 측정 장치(8014,8015,8016) 중 적어도 하나의 생체 지수 측정 장치는 상기 탑승객의 얼굴을 인식할 수 있으며, 얼굴이 인식된 경우 인식된 탑승객에 대한 정보를 디스플레이 할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제1 내지 제3 생체 지수 측정 장치(8014,8015,8016) 중 적어도 하나의 생체 지수 측정 장치는 상기 탑승객의 얼굴이 인식되고 생체 지수가 획득되는 경우에만 인식된 탑승객에 대한 정보를 디스플레이 할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제1 내지 제3 생체 지수 측정 장치(8014,8015,8016) 중 적어도 하나의 생체 지수 측정 장치는 상기 탑승객의 생체 정보를 획득할 수 있다.
예를 들어, 상기 제1 내지 제3 생체 지수 측정 장치(8014,8015,8016) 중 적어도 하나의 생체 지수 측정 장치 상기 탑승객의 졸음 정보, 컨디션 정보 등 상기 탑승객의 생체 정보를 획득할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 내지 제3 생체 지수 측정 장치(8014,8015,8016) 중 적어도 하나의 생체 지수 측정 장치 획득된 상기 탑승객의 생체 정보에 따른 동작을 수행할 수 있다.
예를 들어, 상기 제1 내지 제3 생체 지수 측정 장치(8014,8015,8016) 중 적어도 하나의 생체 지수 측정 장치 획득된 상기 탑승객의 생체 정보가 이상이 있는 경우 소리, 진동 등 하드웨어 적인 알람을 동작시킬 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제1 내지 제3 생체 지수 측정 장치(8014,8015,8016) 중 적어도 하나의 생체 지수 측정 장치는 획득된 상기 탑승객의 생체 정보가 이상이 있는 경우 다른 모바일 장치로 이에 대한 정보를 전송할 수 있으나, 이에 한정되지 않는다.
또한, 도 68 및 69에 도시되지는 않았으나, 생체 지수 측정 장치는 구급차 등에 배치될 수 있으며, 환자의 생체 지수를 측정하고 생체 정보를 획득하기 위하여 이용될 수도 있다.
9.2.1. 졸음 정보에 따른 동작을 수행하는 생체 지수 측정 장치의 다양한 실시예들
도 70은 일 실시예에 따른 생체 지수 측정 장치의 동작 방법에 대하여 설명하기 위한 흐름도이다.
도 70을 참조하면, 일 실시예에 따른 생체 지수 측정 장치의 동작 방법(8100)은 생체 지수를 획득하는 단계(S8110), 졸음 단계를 판단하는 단계(S8120)를 포함할 수 있으며, 판단된 졸음 단계에 따른 알람을 출력할 수 있다. 예를 들어, 도 70에 도시된 바와 같이 제1 알람(S8130), 제2 알람(S8140) 및 제3 알람(S8150)을 출력할 수 있으나, 이에 한정되지 않는다.
이 때, 상기 생체 지수를 획득하는 단계(S8110)에 대하여는 상술한 생체 지수 획득 방법 등이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.
또한, 상기 졸음 단계를 판단하는 단계(S8120)에 대하여는 상술한 졸음 감지 방법 등이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.
또한, 상기 제1 알람(S8130)은 가장 약한 졸음 단계에서 출력되는 알람일 수 있다.
예를 들어, 상기 제1 알람(S8130)은 시각적 알람을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제2 알람(S8140)은 중간 단계에서 출력되는 알람일 수 있다.
예를 들어, 상기 제2 알람(S8140)은 세기가 약하거나 반복 주기가 긴 청각적 알람을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제3 알람(S8150)은 가장 높은 졸음 단계에서 출력되는 알람일 수 있다.
예를 들어, 상기 제3 알람(S8150)은 세기가 강하거나 반복 주기가 짧은 청각적 알람을 포함할 수 있으나, 이에 한정되지 않는다.
다만, 상술한 제1 내지 제3 알람(S8130,S8140,S8150)은 상술한 예시들로 한정되는 것은 아니며, 졸음 단계에 따라 서로 다른 알람을 출력하는 예시들이 모두 적용될 수 있음은 자명하다.
또한, 일 실시예에 따른 생체 지수 측정 장치의 동작 방법(8100)은 졸음 정보를 전송하는 단계(S8160)를 포함할 수 있다.
또한, 상기 졸음 정보를 전송하는 단계(S8160)는 적어도 일부의 졸음 단계에서만 수행될 수 있다. 예를 들어, 제1 졸음 단계의 경우 상기 졸음 정보를 전송하는 단계(S8160)가 수행되지 않을 수 있으며, 제2 졸음 단계 및 제3 졸음 단계의 경우 상기 졸음 정보를 전송하는 단계(S8160)가 수행될 수 있으나, 이에 한정되지 않는다.
또한, 상기 졸음 정보를 전송하는 단계(S8160)는 관리자에게 졸음 정보를 전송하는 단계를 포함할 수 있다. 예를 들어, 차량의 배차를 수행하는 관리자에게 차량의 운전자의 졸음 단계에 대한 정보를 전송하여 차량의 배차에 반영하도록 할 수 있다.
또한, 상기 졸음 정보를 전송하는 단계(S8160)는 운전자의 모바일 단말에 졸음 정보를 전송하는 단계를 포함할 수 있다. 예를 들어, 운전자의 모바일 단말에 졸음 정보 및 해당 운행 구간에 대한 정보를 전송하여 운전자로 하여금 다음 운행에서 주의를 기울이도록 할 수 있다.
또한, 상기 졸음 정보를 전송하는 단계(S8160)는 도로 관리자에게 졸음 정보를 전송하는 단계를 포함할 수 있다. 예를 들어, 운전자의 졸음 단계에 대한 정보 및 운행 구간에 대한 정보를 전송하여 졸음 지도 등 제작에 이용되도록 할 수 있다.
9.2.2. 생체 지수 및 생체 정보를 활용한 운전 스케쥴링 방법의 다양한 실시예들
도 71은 일 실시예에 따른 생체 지수 측정 장치의 동작 방법에 대하여 설명하기 위한 흐름도이다.
도 71을 참조하면, 일 실시예에 따른 생체 지수 측정 장치의 동작 방법(8200)은 생체 지수를 획득하는 단계(S8210), 생체 정보를 획득하는 단계(S8220) 및 운전 스케쥴링 지수를 산출하는 단계(S8230) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지 않는다.
이 때, 상기 생체 지수를 획득하는 단계(S8210)에 대하여는 상술한 생체 지수 획득 방법 등이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.
또한, 상기 생체 정보를 획득하는 단계(S8220)에 대하여는 상술한 생체 정보 획득 방법 등이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.
또한, 상기 운전 스케쥴링 지수는 운전 스케쥴링을 보조하기위한 지수일 수 있다.
이 때, 상기 운전 스케쥴링 지수는 생체 지수 및 생체 정보에 기초하여 획득될 수 있다. 예를 들어, 상기 운전 스케쥴링 지수는 운전자의 심박수 정보, 졸음 정보 등에 기초하여 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 운전 스케쥴링 지수는 차량의 운행 정보에 기초하여 획득될 수 있다. 예를 들어, 상기 운전 스케쥴링 지수는 차량의 운행 거리, 운행 시간, 운행 횟수 등에 기초하여 획득될 수 있으나, 이에 한정되지 않는다.
또한, 상기 운전 스케쥴링 지수는 운전자의 생체 지수, 생체 정보 및 차량의 운행 정보에 기초하여 획득될 수 있다. 예를 들어, 상기 운전 스케쥴링 지수는 운전자의 졸음 정보, 차량의 운행 거리, 운행 횟수 등에 기초하여 획득될 수 있으나, 이에 한정되지 않는다.
도 72는 일 실시예에 따른 생체 지수 측정 장치를 이용한 운전 스케쥴링 보조 장치의 동작 방법에 대하여 설명하기 위한 도면이다.
도 72를 참조하면, 상기 운전 스케쥴링 보조 장치는 제1 차량에 배치되는 제1 생체 지수 측정 장치 및 제2 차량에 배치되는 제2 생체 지수 측정 장치로부터 정보를 획득할 수 있다.
보다 구체적으로, 상기 제1 생체 지수 측정 장치는 상기 제1 차량에 탑승하고 있는 제1 운전자에 대한 생체 지수 및 생체 정보를 획득할 수 있다. 예를 들어, 상기 제1 생체 지수 측정 장치는 상기 제1 운전자에 대한 심박수 및 졸음 정보를 획득할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제2 생체 지수 측정 장치는 상기 제2 차량에 탑승하고 있는 제2 운전자에 대한 생체 지수 및 생체 정보를 획득할 수 있다. 예를 들어, 상기 제2 생체 지수 측정 장치는 상기 제2 운전자에 대한 심박수 및 졸음 정보를 획득할 수 있으나, 이에 한정되지 않는다.
또한, 도 72에 도시된 바와 같이, 상기 운전 스케쥴링 보조 장치는 상기 제1 생체 지수 측정 장치로부터 획득된 상기 제1 운전자에 대한 생체 지수 및 생체 정보를 획득할 수 있으며, 상기 제2 생체 지수 측정 장치로부터 획득된 상기 제2 운전자에 대한 생체 지수 및 생체 정보를 획득할 수 있으나, 이에 한정되지 않는다.
또한, 도 72에 도시된 바와 같이, 상기 운전 스케쥴링 보조 장치는 제1 차량의 제1 운행에 대한 제1 운행 정보 및 제2 차량의 제2 운행에 대한 제2 운행 정보를 획득할 수 있다.
이 때, 상기 제1 및 제2 운행 정보는 운행 거리, 운행 횟수, 운행 시간 등을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 운전 스케쥴링 보조 장치는 상기 제1 운전자에 대한 생체 지수 및 생체 정보, 상기 제2 운전자에 대한 생체 지수 및 생체 정보, 상기 제1 차량에 대한 제1 운행 정보, 상기 제2 차량에 대한 제2 운행 정보에 기초하여 운전 스케쥴링 지수를 산출할 수 있다.
예를 들어, 상기 제1 운전자에 대한 제1 졸음 정보 및 상기 제1 차량에 대한 제1 운행 정보를 기초로 제1 운전 스케쥴링 지수를 산출할 수 있으며, 상기 제2 운전자에 대한 제2 졸음 정보 및 상기 제2 차량에 대한 제2 운행 정보를 기초로 제2 운전 스케쥴링 지수를 산출 할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제1 운행 정보에 포함되는 제1 운행 거리와 상기 제2 운행 정보에 포함되는 제2 운행 거리가 동일한 경우, 상기 제1 운전자 및 상기 제2 운전자 중 졸음 정보에 따라 졸음 지수가 더 낮은 운전자가 제3 운행을 할 수 있도록 운전 스케쥴링 지수가 산출될 수 있다.
또한, 예를 들어, 상기 제1 운전 스케쥴링 지수를 산출하기 위한 상기 제1 졸음 정보 및 상기 제1 운행 정보에 서로 다른 가중치가 더해져 상기 제1 운전 스케쥴링 지수가 산출 될 수 있다.
보다 구체적으로 상기 제1 운행 정보에 보다 많은 가중치가 더해져 상기 제1 운전 스케쥴링 지수가 산출될 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 제2 운전 스케쥴링 지수를 산출하기 위한 상기 제2 졸음 정보 및 상기 제2 운행 정보에 서로 다른 가중치가 더해져 상기 제2 운전 스케쥴링 지수가 산출될 수 있다.
보다 구체적으로 상기 제2 운행 정보에 보다 많은 가중치가 더해져 상기 제2 운전 스케쥴링 지수가 산출될 수 있으나, 이에 한정되지 않는다.
또한, 상기 운전 스케쥴링 보조 장치는 상기 산출된 운전 스케쥴링 지수를 이용하여 제3 운행에 대한 운전 스케쥴링을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 상기 운전 스케쥴링 보조 장치는 상기 산출된 운전 스케쥴링 지수를 디스플레이 할 수 있으나, 이에 한정되지 않는다.
9.2.3. 차량의 잠금해제에 이용되는 생체 지수 측정 장치의 다양한 실시예들
도 73은 일 실시예에 따른 생체 지수 측정 장치의 동작 방법에 대하여 설명하기 위한 흐름도이다.
도 73을 참조하면, 일 실시예에 따른 생체 지수 측정 장치의 동작 방법(8300)은 피측정자의 얼굴을 인식하는 단계(S8310), 피측정자의 생체 지수를 획득하는 단계(S8320) 및 차량의 동작 중 적어도 일부의 잠금을 해제 하는 단계(S8330) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지 않는다.
이 때, 상기 피측정자의 얼굴을 인식하는 단계(S8310)는 상술한 내용뿐 아니라 통상의 얼굴 인식 방법이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.
또한, 상기 피측정자의 생체 지수를 획득하는 단계(S8320)는 상술한 생체 지수 획득 방법 등이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.
또한, 상기 차량의 동작 중 적어도 일부의 잠금을 해제 하는 단계(S8330)는 상기 피측정자의 얼굴이 인식되고 생체 지수가 획득된 경우 수행될 수 있다.
예를 들어, 상기 피측정자의 얼굴이 인식되었지만 생체 지수가 획득되지 않는 경우 상기 차량의 동작 중 적어도 일부의 잠금을 해제하는 단계(S8330)가 수행되지 않을 수 있으나, 이에 한정되지 않는다.
또한, 이 경우 사진 등을 도용한 잠금 해제를 방지하고 차량에 대한 보안을 보다 강화할 수 있다.
또한, 상기 차량의 동작 중 적어도 일부의 잠금을 해제 하는 단계(S8330)는 상기 피측정자의 인식된 얼굴이 서버에 저장된 아이디에 부합하고, 생체 지수가 획득된 경우 수행될 수 있다.
예를 들어, 상기 피측정자의 얼굴이 인식되고 생체 지수가 획득되었지만, 인식된 상기 피측정자의 얼굴이 서버에 저장된 아이디와 불일치 하는 경우 상기 차량의 동작 중 적어도 일부의 잠금을 해제하는 단계(S8330)가 수행되지 않을 수 있으나, 이에 한정되지 않는다.
또한, 상기 차량의 동작 중 적어도 일부의 잠금을 해제 하는 단계(S8330)는 상기 피측정자의 얼굴이 인식되고 생체 지수가 서버에 저장된 아이디에 부합하는 경우 수행될 수 있다.
예를 들어, 상기 피측정자의 얼굴이 인식되고 생체 지수가 획득되었지만, 획득된 상기 피측정자의 생체 지수가 서버에 저장된 아이디와 불일치 하는 경우 상기 차량의 동작 중 적어도 일부의 잠금을 해제하는 단계(S8330)가 수행되지 않을 수 있으나, 이에 한정되지 않는다.
또한, 상기 차량의 동작 중 적어도 일부의 잠금은 차량의 시동에 대한 잠금일 수 있으나, 이에 한정되지 않는다.
9.2.4. 생체 지수 측정 장치를 이용한 운전 지수 산출 장치의 동작 방법의 다양한 실시예들
도 74는 일 실시예에 따른 운전 지수 산출 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 74를 참조하면, 일 실시예에 따른 운전 지수 산출 장치의 동작 방법(8350)은 운행 정보를 획득하는 단계(S8360), 피측정자에 대한 졸음 정보를 획득하는 단계(S8370) 및 피측정자에 대한 운전 지수를 산출하는 단계(S8380) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지 않는다.
이 때, 상기 운전 지수는 운전자의 운행에 대한 종합적인 평가 지수일 수 있으며, 다양한 정보를 종합 고려하여 산출되는 수치일 수 있으나, 이에 한정되지 않는다.
또한 이 때, 상기 운행 정보는 운행중인 차량에 대한 운행 거리 정보, 운행 횟수 정보, 운행 시간 정보, 운행 구간 정보, 도로정보 등을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 피측정자에 대한 졸음 정보를 획득하는 단계(S8370)는 상술한 졸음 감지 방법이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 상기 피측정자에 대한 운전 지수를 산출하는 단계(S8380)는 상기 운행 정보 및 상기 졸음 정보에 기초하여 운전 지수를 산출하는 단계를 포함할 수 있다.
예를 들어, 운행 시간 동안 졸음이 발생한 횟수, 졸음 정도, 이에 대한 대처 등을 종합 고려하여 운전 지수를 산출할 수 있으나, 이에 한정되지 않는다.
또한, 산출된 운전 지수를 기초로 운전자에 대한 보상이 수여될 수 있다. 예를 들어, 장기간 운전한 운전자의 운전 시간 정보 및 졸음이 발생하지 않은 졸음 정보를 기초로 산출된 운전 지수를 기초로 운전자에 대한 보상이 수여될 수 있으나, 이에 한정되지 않는다.
또한, 상술한 예시들 외에도 운행 시간 및 졸음 정보를 기초로 다양한 방법에 따라 피측정자에 대한 운전 지수가 산출될 수 있다.
9.3. 영유아 모니터링 장치에 배치되는 생체 지수 측정 장치의 다양한 실시예들
카메라 등 이미지 센서를 활용하여 영유아를 모니터링 하는 것은 영유아의 건강 및 안전을 위하여 필수로 자리잡고 있는 추세이다.
또한, 영유아의 생체 지수 등을 측정하여 영유아의 건강 및 안전을 모니터링 하는 것 역시 필수로 자리잡고 있는 추세이다.
그러나, 영유아의 생체 지수를 모니터링 하기 위하여 별도의 센서를 부착하거나 별도의 접촉식 센서를 배치하는 것은 영유아에게 불편함을 초래하여 편안하고 안락한 쉼터로서의 역할을 제한할 수 있다.
따라서, 카메라 등 이미지 센서를 활용하여 영유아를 모니터링함과 동시에 카메라 등 이미지 센서를 활용하여 영유아의 생체 지수 등을 동시에 모니터링 하는 것은 영유아의 건강과 안전을 지킴과 동시에 영유아에게 편안하고 안락한 쉼터를 제공할 수 있다.
도 75는 일 실시예에 따른 영유아 모니터링 장치를 설명하기 위한 도면이다.
도 75를 참조하면, 일 실시예에 따른 영유아 모니터링 장치(8400)는 영유아(8410)의 생체 지수를 비접촉식으로 획득할 수 있다.
보다 구체적으로, 상기 영유아 모니터링 장치(8400)는 이미지 센서를 포함할 수 있으며, 이미지 센서로부터 획득된 이미지 프레임에 기초하여 생체 지수를 획득할 수 있으나, 이에 한정되지는 않는다.
또한, 상기 영유아 모니터링 장치(8400)가 이미지 프레임에 기초하여 생체 지수를 획득하는 것은 상술한 내용들이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.
또한, 상기 영유아 모니터링 장치(8400)는 상기 이미지 센서를 통해 획득된 이미지를 저장하거나 전송할 수 있다.
예를 들어, 상기 영유아 모니터링 장치(8400)는 측정 대상이 되는 영유아(8410)의 적어도 일부를 포함하는 이미지를 획득할 수 있으며, 획득된 이미지를 저장하거나 사용자의 모바일로 전송할 수 있다.
또한, 상기 영유아 모니터링 장치(8400)는 상기 영유아(8410)의 동작을 감지할 수 있다. 예를 들어, 상기 영유아 모니터링 장치(8400)는 상기 영유아(8410)의 뒤집힘을 감지할 수 있으나, 이에 한정되지 않는다.
또한, 상기 영유아 모니터링 장치(8400)는 상기 영유아(8410)로부터 발생하는 소리를 감지할 수 있다. 예를 들어, 상기 영유아 모니터링 장치(8400)는 상기 영유아(8410)의 울음 소리를 감지할 수 있으나, 이에 한정되지 않는다.
또한, 상기 영유아 모니터링 장치(8400)는 소리를 발생시킬 수 있다. 예를 들어, 입력장치로부터 소리에 대한 입력이 있는 경우 상기 영유아 모니터링 장치(8400)는 입력에 대응되는 소리를 출력시킬 수 있으며, 보다 구체적으로 상기 영유아(8410)의 부모의 목소리가 입력되는 경우 이를 출력할 수 있으나, 이에 한정되지 않는다.
또한, 상기 영유아 모니터링 장치(8400)는 조명을 출력할 수 있다. 예를 들어, 입력장치로부터 조명에 대한 입력이 있는 경우 상기 영유아 모니터링 장치(8400)는 입력에 대응되는 조명을 출력시킬 수 있으나, 이에 한정되지 않는다.
또한, 상기 영유아 모니터링 장치(8400)는 상기 영유아(8410)가 존재하는 요람의 동작을 제어할 수 있다. 예를 들어, 입력장치로부터 요람에 대한 입력이 있는 경우 상기 영유아 모니터링 장치(8400)는 입력에 대응되는 요람의 동작을 수행하도록 할 수 있으나, 이에 한정되지 않는다.
또한, 상기 영유아 모니터링 장치(8400)는 알람을 출력할 수 있다. 예를 들어, 상기 영유아(8410)에게 이벤트가 발생한 경우 청각적 알람을 출력할 수 있으나, 이에 한정되지 않으며, 시각적, 촉각적 알람을 출력할 수 있으며, 사용자의 모바일 단말로 정보를 전송할 수도 있다.
또한, 상기 영유아 모니터링 장치(8400)는 상술한 예시들 외에도 상기 영유아(8410)를 모니터링 하기 위한 다양한 동작들을 수행할 수 있다.
9.3.1. 이벤트 발생에 따른 동작을 수행하는 영유아 모니터링 장치의 다양한 실시예들
도 76은 영유아에 대한 이벤트 발생에 대하여 설명하기 위한 도면이다.
도 76을 참조하면, 영유아에 대하여 다양한 이벤트가 발생할 수 있음을 알 수 있다.
도 76의 (a)를 참조하면, 영유아가 뒤집히는 이벤트가 발생할 수 있음을 알 수 있다.
또한, 영유아가 뒤집히는 경우, 호흡을 위한 통로가 차단될 수 있으며, 이 경우 영유아에게 큰 위험을 초래할 수 있다.
또한, 도 76의 (b)를 참조하면, 영유아가 모니터링 영역 밖으로 이동되는 이벤트가 발생할 수 있음을 알 수 있다.
이 경우, 산후조리원 등에서 간호사에 의해 영유아가 이동된 것일 수 있으나, 의도하지 않은 불청객에 의해 영유아가 이동된 것일 수 있다.
또한, 도 76에 도시되지는 않았으나, 영유아의 건강과 안전을 위협할 수 있는 다양한 이벤트들이 발생할 수 있다.
따라서, 이와 같은 이벤트들에 대하여 모니터링하고 추적 관리할 수 있는 영유아 모니터링 장치가 필요할 수 있다.
도 77은 일 실시예에 따른 영유아 모니터링 장치의 동작 방법에 대하여 설명하기 위한 흐름도이다.
도 77을 참조하면, 일 실시예에 따른 영유아 모니터링 장치의 동작 방법(8500)은 생체 지수를 획득하는 단계(S8510), 이벤트 발생을 판단하는 단계(S8520) 및 이벤트에 대응되는 동작을 수행하는 단계(S8530) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지 않는다.
이 때, 상기 생체 지수를 획득하는 단계(S8510)는 상술한 생체 지수 획득 방법이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
일 실시예에 따르면, 상기 이벤트 발생을 판단하는 단계(S8520)는 획득된 생체 지수를 기초로 판단될 수 있다.
예를 들어, 상기 생체 지수를 획득하는 단계(S8510)를 통해 생체 지수가 획득되지 않는 경우 이벤트 발생으로 판단할 수 있다. 보다 구체적인 예를 들면, 생체 지수 획득의 대상이 되는 영유아가 뒤집어진경우 생체 지수가 획득되지 않을 수 있으며, 이 경우 이벤트 발생으로 판단할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 생체 지수를 획득하는 단계(S8510)를 통해 획득된 생체 지수에 이상이 있는 경우 이벤트 발생으로 판단할 수 있다. 보다 구체적인 예를 들면, 생체 지수 획득의 대상이 되는 영유아의 심박수가 이상이 있는 경우 이벤트 발생으로 판단할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따르면, 상기 이벤트 발생을 판단하는 단계(S8520)는 복수개의 생체 지수를 기초로 판단될 수 있다.
예를 들어, 상기 생체 지수를 획득하는 단계(S8510)를 통해 적어도 하나의 생체 지수가 획득되지 않는 경우 제1 이벤트 발생으로 판단할 수 있으며, 모든 생체 지수가 획득되지 않는 경우 제2 이벤트 발생으로 판단할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 생체 지수를 획득하는 단계(S8510)를 통해 획득된 적어도 하나의 생체 지수가 이상이 있는 경우 제1 이벤트 발생으로 판단할 수 있으며, 모든 생체 지수가 이상이 있는 경우 제2 이벤트 발생으로 판단할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따르면, 상기 이벤트 발생을 판단하는 단계(S8520)는 생체 지수의 변화를 기초로 판단될 수 있다.
예를 들어, 상기 생체 지수를 획득하는 단계(S8510)를 통해 획득된 생체 지수에 급격한 변화가 감지되는 경우 이벤트 발생으로 판단할 수 있으며, 보다 구체적인 예를 들어, 생체 지수 획득의 대상이되는 영유아가 수면 상태로부터 기상 상태로 변하는 경우 상기 영유아의 심박수가 상승될 수 있으며, 이 경우를 이벤트 발생으로 판단할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따르면, 상기 이벤트에 대응되는 동작을 수행하는 단계(S8530)는 판단된 이벤트 정보에 대응되는 동작을 수행하는 단계를 포함할 수 있다.
이 때, 상기 이벤트에 대응되는 동작은 시각적, 청각적, 촉각적 알람 등 하드웨어적 알람을 포함할 수 있다. 예를 들어, 영유아 모니터링 장치는 이벤트 발생이 판단되는 경우 청각적 소리 알람을 출력할 수 있으나, 이에 한정되지 않는다.
또한, 상기 이벤트에 대응되는 동작은 이미지를 녹화하기 위한 동작을 포함할 수 있다. 예를 들어, 영유아 모니터링 장치는 이벤트 발생이 판단되는 경우 이미지를 녹화하도록 동작할 수 있으나, 이에 한정되지 않는다.
또한, 상기 이벤트에 대응되는 동작은 이벤트에 대한 정보를 전송하는 동작을 포함할 수 있다. 예를 들어, 영유아 모니터링 장치는 이벤트 발생이 판단되는 경우 사용자의 모바일 단말로 이벤트에 대한 정보를 전송할 수 있으나, 이에 한정되지 않는다.
또한, 상기 이벤트에 대응되는 동작은 이벤트 발생 시점에 대한 정보를 저장하는 동작을 포함할 수 있다. 예를 들어, 영유아 모니터링 장치는 이벤트 발생이 판단되는 경우 이벤트 발생 시점에 대한 정보를 저장할 수 있으나, 이에 한정되지 않는다.
또한, 상기 이벤트에 대응되는 동작은 상술한 예시들 외에도 발생한 이벤트에 대응되는 다양한 동작을 포함할 수 있다.
도 78은 일 실시예에 따른 영유아 모니터링 장치의 동작 방법에 대하여 설명하기 위한 흐름도이다.
도 78을 참조하면, 일 실시예에 따른 영유아 모니터링 장치의 동작 방법(8550)은 생체 지수를 획득하는 단계(S8560), 이벤트 발생을 판단하는 단계(S8570), 제1 이벤트에 대응되는 제1 동작을 수행하는 단계(S8580) 및 제2 이벤트에 대응되는 제2 동작을 수행하는 단계(S8590) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지 않는다.
이 때, 상기 생체 지수를 획득하는 단계(S8560)는 상술한 생체 지수 획득 방법이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
일 실시예에 따르면, 상기 이벤트 발생을 판단하는 단계(S8570)는 획득된 생체 지수를 기초로 판단될 수 있다.
예를 들어, 상기 생체 지수를 획득하는 단계(S8560)를 통해 생체 지수가 획득되지 않는 경우 이벤트 발생으로 판단할 수 있다. 보다 구체적인 예를 들면, 생체 지수 획득의 대상이 되는 영유아가 뒤집어진경우 생체 지수가 획득되지 않을 수 있으며, 이 경우 이벤트 발생으로 판단할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 생체 지수를 획득하는 단계(S8560)를 통해 획득된 생체 지수에 이상이 있는 경우 이벤트 발생으로 판단할 수 있다. 보다 구체적인 예를 들면, 생체 지수 획득의 대상이 되는 영유아의 심박수가 이상이 있는 경우 이벤트 발생으로 판단할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따르면, 상기 이벤트 발생을 판단하는 단계(S8570)는 복수개의 생체 지수를 기초로 판단될 수 있다.
예를 들어, 상기 생체 지수를 획득하는 단계(S8560)를 통해 적어도 하나의 생체 지수가 획득되지 않는 경우 제1 이벤트 발생으로 판단할 수 있으며, 모든 생체 지수가 획득되지 않는 경우 제2 이벤트 발생으로 판단할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 생체 지수를 획득하는 단계(S8560)를 통해 획득된 적어도 하나의 생체 지수가 이상이 있는 경우 제1 이벤트 발생으로 판단할 수 있으며, 모든 생체 지수가 이상이 있는 경우 제2 이벤트 발생으로 판단할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따르면, 상기 이벤트 발생을 판단하는 단계(S8570)는 생체 지수의 변화를 기초로 판단될 수 있다.
예를 들어, 상기 생체 지수를 획득하는 단계(S8560)를 통해 획득된 생체 지수에 급격한 변화가 감지되는 경우 이벤트 발생으로 판단할 수 있으며, 보다 구체적인 예를 들어, 생체 지수 획득의 대상이되는 영유아가 수면 상태로부터 기상 상태로 변하는 경우 상기 영유아의 심박수가 상승될 수 있으며, 이 경우를 이벤트 발생으로 판단할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따르면, 제1 이벤트에 대응되는 제1 동작을 수행하는 단계(S8580) 및 제2 이벤트에 대응되는 제2 동작을 수행하는 단계(S8590)는 판단된 이벤트 정보에 대응되는 동작을 수행하는 단계를 포함할 수 있다.
이 때, 상기 제1 동작 및 제2 동작은 시각적, 청각적, 촉각적 알람 등 하드웨어적 알람을 포함할 수 있다. 예를 들어, 영유아 모니터링 장치는 이벤트 발생이 판단되는 경우 청각적 소리 알람을 출력할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 동작 및 제2 동작은 이미지를 녹화하기 위한 동작을 포함할 수 있다. 예를 들어, 영유아 모니터링 장치는 이벤트 발생이 판단되는 경우 이미지를 녹화하도록 동작할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 동작 및 제2 동작은 이벤트에 대한 정보를 전송하는 동작을 포함할 수 있다. 예를 들어, 영유아 모니터링 장치는 이벤트 발생이 판단되는 경우 사용자의 모바일 단말로 이벤트에 대한 정보를 전송할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 동작 및 제2 동작은 이벤트 발생 시점에 대한 정보를 저장하는 동작을 포함할 수 있다. 예를 들어, 영유아 모니터링 장치는 이벤트 발생이 판단되는 경우 이벤트 발생 시점에 대한 정보를 저장할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 동작 및 제2 동작은 서로 상이할 수 있으나, 이에 한정되지 않으며 서로 동일할 수 있고, 서로 적어도 일부 동일한 동작을 수행할 수 있다.
또한, 상기 제1 동작 및 제2 동작은 상술한 예시들 외에도 발생한 제1 이벤트 및 제2 이벤트에 대응되는 다양한 동작을 포함할 수 있다.
9.3.2. 영유아 모니터링 시스템의 다양한 실시예들
도 79는 일 실시예에 따른 영유아 모니터링 시스템을 구현하기 위한 모바일 어플리케이션을 나타낸 도면이다.
도 79를 참조하면 일 실시예에 따른 모바일 어플리케이션(8600)은 영상 표시 영역(8610), 생체 지수 표시 영역(8620), 입력 버튼 표시 영역(8630), 영상 시간 표시 영역(8640) 및 이벤트 시간에 녹화된 영상 표시 영역(8650) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지 않는다.
이 때, 상기 영상 표시 영역(8610)에 표시되는 영상은 영유아 모니터링 장치로부터 획득된 영상 또는 이미지 일 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수 표시 영역(8620)에 표시되는 생체 지수는 적어도 하나의 생체 지수를 포함한다. 예를 들어, 도 79에 도시된 바와 같이 상기 생체 지수는 심박수, 산소포화도, 혈압 등을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수 표시 영역(8620)에 표시되는 생체 지수는 영유아 모니터링 장치로부터 획득된 생체지수일 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수 표시 영역(8620)에 표시되는 생체 지수는 적어도 하나 이상의 센서로부터 획득된 생체 지수일 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수 표시 영역(8620)에 표시되는 생체 지수는 서로 다른 센서로부터 획득된 생체 지수 일 수 있다. 예를 들어, 상기 생체 지수 표시 영역(8620)에 표시되는 심박수는 영유아 모니터링 장치로부터 획득된 생체 지수이며, 혈압은 외부 혈압 센서로부터 획득된 생체 지수 일 수 있으나, 이에 한정되지 않는다.
또한, 상기 입력 버튼 표시 영역(8630)에 표시되는 입력 버튼은 적어도 하나 이상의 입력 버튼을 포함할 수 있다.
또한, 상기 입력 버튼은 영상 녹화 버튼, 조명 버튼, 말하기 버튼, 요람 흔들기 버튼, 알람 버튼 등 다양한 입력 버튼 중 적어도 일부를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 영상 시간 표시 영역(8640)에 표시되는 영상 시간은 녹화된 영상에 대한 시간 정보일 수 있다.
또한, 상기 영상 시간 표시 영역(8640)에 표시되는 영상 시간에 이벤트 발생 시점이 표시될 수 있다. 예를 들어, 도 79에 도시된 바와 같이 영상 시간에 제1 이벤트 발생 시점 및 제2 이벤트 발생 시점이 표시될 수 있으나, 이에 한정되지 않는다.
또한, 상기 이벤트 시간에 녹화된 영상 표시 영역(8650)에 녹화된 영상의 썸네일이 표시될 수 있다.
또한, 상기 이벤트 시간에 녹화된 영상 표시 영역(8650)에 녹화된 영상의 정보가 표시될 수 있다. 예를 들어, 도 79에 도시된 바와 같이 녹화된 영상의 시간 정보 등이 표시될 수 있으나, 이에 한정되지 않는다.
다만, 상술한 예시와 도면은 하나의 실시예를 나타낸 것일 뿐 이에 한정되지 않으며 영유아 모니터링 시스템을 구현하기 위한 어플리케이션은 다양한 형태의 어플리케이션으로 제공될 수 있다.
9.4. 독서실에 배치되는 생체 지수 측정 장치의 다양한 실시예들
독서실 등 개인의 업무, 공부를 위한 공간에서 생체 지수 및 생체 정보를 측정하는 것은 개인의 건강을 지속적으로 모니터링 하면서, 개인의 집중력을 모니터링하여 효율적인 업무 또는 공부를 가능하게 할 수 있다.
또한, 이와 같은 집중력은 심박수를 기초로 획득될 수 있다. 예를 들어, 심박수의 변화, 크기, 변화 패턴 등을 기초로 집중력 정보가 획득될 수 있으나, 이에 한정되지는 않는다.
도 80은 일 실시예에 따른 독서실에 배치되는 생체 지수 측정 장치를 설명하기 위한 도면이다.
도 80을 참조하면, 일 실시예에 따른 생체 지수 측정 장치(8700)는 피측정자(8710)의 생체 지수 및 생체 정보를 획득할 수 있다.
이 때, 상기 생체 지수는 심박수, 산소포화도, 혈압, 체온 등 생체 지수를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 정보는 졸음 정보, 컨디션 정보, 집중도 정보 등 생체 정보를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수 및 생체 정보를 획득하기 위한 방법은 상술한 내용들이 적용될 수 있으므로 중복되는 서술은 생략 하기로 한다.
도 81은 일 실시예에 따른 생체 지수 측정 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 81을 참조하면, 일 실시예에 따른 생체 지수 측정 장치의 동작 방법(8720)은 생체 지수를 획득하는 단계(S8730), 생체 정보를 획득하는 단계(S8740) 및 생체 정보에 대응되는 동작을 수행하는 단계(S8750) 중 적어도 일부를 포함할 수 있다.
이 때, 상기 생체 지수를 획득하는 단계(S8730) 및 상기 생체 정보를 획득하는 단계(S8740)는 상술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 상기 생체 정보에 대응되는 동작을 수행하는 단계(S8750)는 다양한 생체 정보에 대응되는 다양한 동작을 수행하는 단계를 포함할 수 있다.
예를 들어, 상기 생체 지수 측정 장치는 상기 생체 정보가 졸음 정보인 경우 졸음 단계에 따라 알람을 출력하는 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 생체 지수 측정 장치는 상기 생체 정보가 졸음 정보인 경우 졸음 단계에 따라 관리자에게 정보를 전송하는 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 생체 지수 측정 장치는 상기 생체 정보가 졸음 정보인 경우 졸음 단계에 따라 사용자의 단말에 정보를 전송하는 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 생체 지수 측정 장치는 상기 생체 정보가 졸음 정보인 경우 졸음 단계에 따라 스케쥴링 장치로 정보를 전송하는 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 생체 지수 측정 장치는 상기 생체 정보가 졸음 정보인 경우 졸음 단계에 따라 휴식 권고 문구를 출력하는 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 생체 지수 측정 장치는 상기 생체 정보가 컨디션 정보인 경우 컨디션에 따라 알람을 출력하는 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 생체 지수 측정 장치는 상기 생체 정보가 컨디션 정보인 경우 컨디션에 따라 관리자에게 정보를 전송하는 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 생체 지수 측정 장치는 상기 생체 정보가 컨디션 정보인 경우 컨디션에 따라 사용자의 단말에 정보를 전송하는 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 생체 지수 측정 장치는 상기 생체 정보가 컨디션 정보인 경우 컨디션에 따라 스케쥴링 장치로 정보를 전송하는 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 생체 지수 측정 장치는 상기 생체 정보가 컨디션 정보인 경우 컨디션에 따라 휴식 권고 문구를 출력하는 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 생체 지수 측정 장치는 상기 생체 정보가 집중도 정보인 경우 집중도에 따라 알람을 출력하는 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 생체 지수 측정 장치는 상기 생체 정보가 집중도 정보인 경우 집중도에 따라 관리자에게 정보를 전송하는 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 생체 지수 측정 장치는 상기 생체 정보가 집중도 정보인 경우 집중도에 따라 사용자의 단말에 정보를 전송하는 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 생체 지수 측정 장치는 상기 생체 정보가 집중도 정보인 경우 집중도에 따라 스케쥴링 장치로 정보를 전송하는 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수 측정 장치는 생체 정보 및 생체 지수에 대응되는 동작을 수행할 수 있다.
또한, 상기 생체 지수 측정 장치는 상술한 예시들 외에 생체 정보 및 생체 지수에 대응되는 다양한 동작을 수행할 수 있다.
도 82는 일 실시예에 따른 생체 지수 측정 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 82를 참조하면, 일 실시예에 따른 생체 지수 측정 장치의 동작 방법(8760)은 생체 지수를 획득하는 단계(S8770), 생체 정보를 획득하는 단계(S8780) 및 공부 또는 업무 스케쥴링 지수를 산출하는 단계(S8790) 중 적어도 일부를 포함할 수 있다.
이 때, 상기 생체 지수를 획득하는 단계(S8770) 및 상기 생체 정보를 획득하는 단계(S8780)는 상술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 상기 공부 또는 업무 스케쥴링 지수를 산출하는 단계(S8790)는 획득된 생체 지수 및/또는 생체 정보에 기초하여 수행될 수 있다.
예를 들어, 획득된 심박수 및 졸음 정보에 기초하여 공부 또는 업무 스케쥴링 지수가 산출될 수 있으나, 이에 한정되지 않는다.
또한, 상기 공부 또는 업무 스케쥴링 지수를 산출하는 단계(S8790)는 획득된 생체 지수, 생체 정보 및/또는 공부에 관한 정보에 기초하여 수행될 수 있다.
예를 들어, 획득된 졸음 정보 및 공부 시간 정보에 기초하여 공부 또는 업무 스케쥴링 지수가 산출될 수 있으나, 이에 한정되지 않는다.
또한, 상기 공부 또는 업무 스케쥴링 지수를 활용해서 효율이 높은 시간 구간에 공부 또는 업무가 수행 되도록 스케쥴링이 될 수 있다.
또한, 상기 공부 또는 업무 스케쥴링 지수를 활용해서 효율이 낮은 시간 구간에 휴식이 취할 수 있도록 스케쥴링이 될 수 있다.
따라서, 상기 공부 또는 업무 스케쥴링 지수를 활용하는 경우 한정된 시간안에서 최대의 효율로 공부 또는 업무를 수행할 수 있도록 스케쥴링하는 것이 가능할 수 있다.
9.5. 인지 재활 치료에 이용되는 생체 지수 측정 장치의 다양한 실시예들
치매 환자 등 인지 재활 치료를 받는 환자의 경우 인지 재활 치료를 하는 중 집중도 높은 치료가 수행되어야 치료 효과가 극대화 될 수 있다.
그러나, 환자 개개인의 집중도를 모니터링 하기 위한 재활치료사의 인력 수급은 수요에 미치지 못할 수 있어 환자 개개인의 집중도를 높여 양질의 치료가 수행되는 것에 어려움이 있을 수 있다.
따라서, 이를 보완하기 위해 생체 지수 측정 장치를 활용하여 생체 지수 및 생체 정보를 획득하는 경우 환자 개개인의 집중도 모니터링이 가능하며 이를 이용하여 양질의 치료가 수행될 수 있도록 할 수 있다.
도 83은 일 실시예에 따른 인지 재활 치료에 이용되는 생체 지수 측정 장치를 설명하기 위한 도면이다.
도 83을 참조하면, 일 실시예에 따른 생체 지수 측정 장치는 제1 생체 지수 측정 장치(8800), 제2 생체 지수 측정 장치(8801), 제3 생체 지수 측정 장치(8802), 제4 생체 지수 측정 장치(8803) 및 제5 생체 지수 측정 장치(8804) 중 적어도 하나의 생체 지수 측정 장치를 포함할 수 있다.
또한, 상기 제1 내지 제5 생체 지수 측정 장치(8800, 8801, 8802, 8803, 8804) 중 적어도 하나의 생체 지수 측정 장치는 제1 내지 제4 환자(8811, 8812, 8813, 8814) 중 적어도 한명의 생체 지수를 측정할 수 있다.
이 때, 생체 지수 측정 방법은 상술한 내용이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 상기 제1 내지 제5 생체 지수 측정 장치(8800, 8801, 8802, 8803, 8804) 중 적어도 하나의 생체 지수 측정 장치는 제1 내지 제4 환자(8811, 8812, 8813, 8814) 중 적어도 한명의 생체 정보를 획득할 수 있다. 예를 들어, 상기 제1 내지 제5 생체 지수 측정 장치(8800, 8801, 8802, 8803, 8804) 중 적어도 하나의 생체 지수 측정 장치는 제1 내지 제4 환자(8811, 8812, 8813, 8814) 중 적어도 한명의 집중도 정보를 획득할 수 있으나, 이에 한정되지 않는다.
또한, 상기 제1 내지 제5 생체 지수 측정 장치(8800, 8801, 8802, 8803, 8804) 중 적어도 하나의 생체 지수 측정 장치는 제1 내지 제4 환자(8811, 8812, 8813, 8814) 중 적어도 한명의 생체 정보가 이상이 있는 경우 재활 치료사(8810)가 인지할 수 있도록 알람을 출력할 수 있다. 예를 들어, 상기 제1 내지 제5 생체 지수 측정 장치(8800, 8801, 8802, 8803, 8804) 중 적어도 하나의 생체 지수 측정 장치는 제1 내지 제4 환자(8811, 8812, 8813, 8814) 중 적어도 한명의 생체 정보가 이상이 있는 경우 청각적 알람을 출력할 수 있으며, 생체 정보와 관련된 정보를 상기 재활치료사(8810)의 모바일 단말로 전송할 수도 있으나, 이에 한정되지 않는다.
또한, 상기 제1 내지 제5 생체 지수 측정 장치(8800, 8801, 8802, 8803, 8804) 중 적어도 하나의 생체 지수 측정 장치는 제1 내지 제4 환자(8811, 8812, 8813, 8814) 중 적어도 한명의 생체 정보가 이상이 있는 경우 생체 정보가 이상이 있는 환자가 이를 인지할 수 있도록 알람을 출력할 수 있다. 예를 들어, 상기 제1 내지 제5 생체 지수 측정 장치(8800, 8801, 8802, 8803, 8804) 중 적어도 하나의 생체 지수 측정 장치는 제1 내지 제4 환자(8811, 8812, 8813, 8814) 중 적어도 한명의 생체 정보가 이상이 있는 경우 청각적 알람을 출력할 수 있으며, 생체 정보와 관련된 정보를 해당하는 환자의 디스플레이를 통해 디스플레이 되도록 할 수 있다.
또한, 상술한 바와 같이 실시간으로 환자의 생체 지수 및 생체 정보를 모니터링하여 치료가 행해지는 동안 집중력을 유지할 수 있도록 하는 것은 인지 재활 치료의 효과를 극대화하는 방법일 수 있다.
도 84는 일 실시예에 따른 생체 지수 측정 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 84를 참조하면, 일 실시예에 따른 생체 지수 측정 장치의 동작 방법(8850)은 환자의 생체 지수를 획득하는 단계(S8860), 환자의 생체 정보를 획득하는 단계(S8870) 및 환자의 생체 정보에 대응되는 동작을 수행하는 단계(S8880) 중 적어도 일부를 포함할 수 있다.
이 때, 상기 환자의 생체 지수를 획득하는 단계(S8860) 및 상기 환자의 생체 정보를 획득하는 단계(S8870)는 상술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다
또한, 상기 환자의 생체 정보에 대응되는 동작을 수행하는 단계(S8880)는 다양한 생체 정보에 대응되는 다양한 동작을 수행하는 단계를 포함할 수 있다.
예를 들어, 상기 생체 지수 측정 장치는 상기 생체 정보가 집중도 정보인 경우 집중도에 따라 알람을 출력하는 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 생체 지수 측정 장치는 상기 생체 정보가 집중도 정보인 경우 집중도에 따라 상기 환자의 디스플레이에 디스플레이 될 정보를 전송하는 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 생체 지수 측정 장치는 상기 생체 정보가 집중도 정보인 경우 집중도에 따라 재활 치료사의 모바일 단말에 정보를 전송하는 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 생체 지수 측정 장치는 상기 생체 정보가 집중도 정보인 경우 집중도에 따라 집중도를 높이기 위한 표시를 출력하는 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수 측정 장치는 생체 정보 및 생체 지수에 대응되는 동작을 수행할 수 있다.
또한, 상기 생체 지수 측정 장치는 상술한 예시들 외에 생체 정보 및 생체 지수에 대응되는 다양한 동작을 수행할 수 있다.
9.6. 출입국심사에 이용되는 생체 지수 측정 장치의 다양한 실시예들
다양한 나라와 다양한 인종의 사람들이 오고가는 공항에서의 방역은 국가 방역체계에 중요한 수문장 역할을 할 수 있다.
그러나, 공항에 출입하는 사람 대비 관리 인력이 부족하여 개개인에 대한 밀착 관리가 이루어지기 어려운 실정일 수 있다.
따라서, 개개인이 출입국 심사를 받기 위한 곳에서 간편하게 생체 지수를 측정하는 경우 개개인에 대한 밀착 관리가 보다 수월하게 가능할 수 있다.
도 85는 일 실시예에 따른 출입국 심사에 이용되는 생체 지수 측정 장치를 설명하기 위한 도면이다.
도 85를 참조하면, 일 실시예에 따른 생체 지수 측정 장치(8901,8902)는 출입국 심사 키오스크(8900)에 배치될 수 있으며, 출입국자(8911,8912)의 생체 지수를 측정할 수 있다.
이 때, 상기 생체 지수 측정 장치(8901,8902)는 출입국 심사에 이용되는 안면 인식 등을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수는 심박수, 산소포화도, 혈압, 체온 등 생체 지수 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수 측정 장치(8901,8902)가 생체 지수를 측정하는 방법에 대하여는 상술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 상기 생체 지수 측정 장치(8901,8902)는 측정된 생체 지수에 대응되는 동작을 수행할 수 있다. 예를 들어, 도 85에 도시된 바와 같이 제1 출입국자(8911)의 측정된 체온이 정상 범위인 경우 제1 생체 지수 측정 장치(8901)는 출입 허용을 표시하는 제1 정보(8921)가 디스플레이 되도록 동작할 수 있으며, 제2 출입국자(8912)의 측정된 체온이 정상 범위를 벗어난 경우 제2 생체 지수 측정 장치(8902)는 보다 정확한 체온 측정을 요하는 제2 정보(8922)가 디스플레이 되도록 동작할 수 있으나, 이에 한정되지 않는다.
또한, 상술한 바와 같이 출입국 심사 시 출입국자의 생체 지수를 모니터링 하여 방역을 강화하는 것은 국가 방역의 효과를 극대화 하는 방법일 수 있다.
도 86은 일 실시예에 따른 생체 지수 측정 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 86을 참조하면, 일 실시예에 따른 생체 지수 측정 장치의 동작 방법(8950)은 출입국자의 생체 지수를 획득하는 단계(S8960) 및 생체 지수에 대응되는 동작을 수행하는 단계(S8970) 중 적어도 일부를 포함할 수 있다.
이 때, 상기 출입국자의 생체 지수를 획득하는 단계(S8960)에는 상술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 상기 생체 지수에 대응되는 동작을 수행하는 단계(S8970)는 다양한 생체 지수에 대응되는 다양한 동작을 수행하는 단계를 포함할 수 있다.
예를 들어, 상기 생체 지수 측정 장치는 상기 생체 지수가 심박수이며, 심박수가 정상 범위인 경우 이에 대응되는 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 생체 지수 측정 장치는 상기 생체 지수가 심박수이며, 심박수가 정상 범위를 벗어난 경우 이에 대응되는 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 생체 지수 측정 장치는 상기 생체 지수가 산소포화도이며, 산소포화도가 정상 범위인 경우 이에 대응되는 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 생체 지수 측정 장치는 상기 생체 지수가 산소포화도이며, 산소포화도가 정상 범위를 벗어난 경우 이에 대응되는 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 생체 지수 측정 장치는 상기 생체 지수가 혈압이며, 혈압이 정상 범위인 경우 이에 대응되는 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 생체 지수 측정 장치는 상기 생체 지수가 혈압이며, 혈압이 정상 범위를 벗어난 경우 이에 대응되는 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 생체 지수 측정 장치는 상기 생체 지수가 체온이며, 체온이 정상 범위인 경우 이에 대응되는 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 생체 지수 측정 장치는 상기 생체 지수가 체온이며, 체온이 정상 범위를 벗어난 경우 이에 대응되는 동작을 수행할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 생체 지수가 정상 범위인 경우 이에 대응되는 동작은 출입을 허용하는 정보를 디스플레이 하도록 하는 동작을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 상기 생체 지수가 정상 범위를 벗어난 경우 이에 대응되는 동작은 출입을 불허용 하거나, 정밀 검사 대상자를 표시하는 정보를 디스플레이 하도록 하는 동작을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수 측정 장치는 상술한 예시들 외에도 생체 지수에 대응되는 다양한 동작을 수행할 수 있다.
9.7. 보안 장치에 이용되는 생체 지수 측정 장치의 다양한 실시예들
얼굴 인식, 홍채 인식, 지문 인식 등 생체 인식을 통한 보안 장치가 활성화되고 있다.
그러나, 사진, 지문 복사 등을 통한 보안 장치의 무력화 역시 대두되고 있는 실정이다.
따라서, 생체 인식과 더불어 생체 지수를 활용한 보안 장치가 제공되는 경우 보안 장치의 무력화를 방지하고 보다 강한 보안 장치가 될 수 있다.
도 87은 일 실시예에 따른 보안 장치에 이용되는 생체 지수 측정 장치를 설명하기 위한 도면이다.
도 87을 참조하면, 일 실시예에 따른 생체 지수 측정 장치(9010)는 보안 장치(9000)에 배치될 수 있으며, 피측정자(9020)의 생체 지수를 측정할 수 있다.
보다 구체적으로, 상기 보안 장치(9000)는 상기 피측정자(9020)의 얼굴 인식, 지문 인식, 홍채 인식 등 생체 인식을 할 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수 측정 장치(9010)는 상기 피측정(9020)의 생체 지수를 획득할 수 있으나, 이에 한정되지 않는다.
이 때, 상기 생체 지수는 심박수, 산소포화도, 혈압, 체온 등 생체 지수 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수 측정 장치(9010)가 생체 지수를 측정하는 방법에 대하여는 상술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 상기 보안 장치(9000)는 생체 인식과 측정된 생체 지수에 기초하여 보안을 해제할 수 있다. 예를 들어, 홍채 인식을 통해 1차적으로 지정된 사용자 여부를 확인한 후 생체 지수 획득 여부를 통해 2차적으로 사람인지를 판단하여 보안을 해제 할 수 있으나, 이에 한정되지 않는다.
또한, 상기 보안 장치(9000)는 복수개의 생체 인식과 복수개의 생체 지수에 기초하여 보안을 해제할 수 있다. 예를 들어, 홍채 인식 및 지문 인식을 통해 1차적으로 지정된 사용자 여부를 확인한 후 심박수 및 산소포화도 획득 여부를 통해 2차적으로 사람인지를 판단하여 보안을 해제할 수 있으나, 이에 한정되지 않는다.
또한, 상기 보안 장치(9000)는 생체 지수에 기초하여 보안을 해제할 수 있다. 예를 들어, 획득된 심박에 관련된 신호가 지정된 사용자의 심박에 관련된 신호와 일치하는 경우 지정된 사용자로 판단하여 보안을 해제할 수 있으나, 이에 한정되지 않는다.
또한, 상술한 바와 같이 보안 창치에 생체 지수 측정 장치를 추가로 활용하여 보안을 강화하는 것은 보안 강화의 효과를 극대화 하는 방법일 수 있다.
도 88은 일 실시예에 따른 보안 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 88을 참조하면, 일 실시예에 따른 보안 장치의 동작 방법(9050)은 생체 인식 일치 여부를 판단하는 단계(S9060), 생체 지수 획득 여부를 판단하는 단계(S9070) 및 결과에 따른 동작을 수행하는 단계(S9080)를 포함할 수 있다.
이 때, 상기 생체 인식은 지문 인식, 얼굴 인식, 홍채 인식 등 생체 인식 중 적어도 하나의 생체 인식을 포함할 수 있다.
또한, 상기 생체 지수는 심박수, 산소포화도, 혈압, 체온 등 생체 지수 등 적어도 하나의 생체 지수를 포함할 수 있다.
또한, 상기 생체 인식 일치 여부를 판단하는 단계(S9060)는 통상의 생체 인식 방법이 적용될 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수 획득 여부를 판단하기 위해 상기 생체 지수를 획득하는 방법은 상술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 상기 생체 지수 획득 여부를 판단하는 단계(S9070)는 생체 지수의 획득 여부를 판단하는 단계를 포함할 수 있다. 예를 들어, 상기 생체 지수 획득 여부를 판단하는 단계(S9070)는 심박수가 획득되는지 여부를 판단하는 단계를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수 획득 여부를 판단하는 단계(S9070)는 생체 지수를 획득하기 위한 생체 신호의 일치 여부를 판단하는 단계를 포함할 수 있다. 예를 들어, 상기 생체 지수 획득 여부를 판단하는 단계(S9070)는 심박수를 획득하기 위한 심박 신호가 지정된 사용자의 심박 신호와 일치하는지 여부를 판단하는 단계를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수 획득 여부를 판단하는 단계(S9070)는 생체 지수의 일치 여부를 판단하는 단계를 포함할 수 있다. 예를 들어, 상기 생체 지수 획득 여부를 판단하는 단계(S9070)는 기 측정된 피측정자에 대한 심박수와 이를 기초로 한 기준 범위내에 현재 측정한 심박수가 포함되는지 여부를 판단하는 단계를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 결과에 따른 동작을 수행하는 단계(S9080)는 보안 해제 조건을 모두 만족한 경우 보안을 해제하는 단계 및 보안 해제 조건을 만족하지 못한경우 보안을 유지하는 단계를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 보안 장치는 상술한 예시들 외에도 생체 지수를 활용하여 보안을 강화하기 위한 다양한 동작을 수행할 수 있다.
9.8. 키오스크에 이용되는 생체 지수 측정장치의 다양한 실시예들
정보를 표시하기 위한 키오스크에 간편하게 생체 지수를 측정할 수 있는 생체 지수 측정 장치가 배치되는 경우, 일상 생활 속에서 간편하게 생체 지수를 모니터링 하여 개인의 건강을 보다 지속적으로 모니터링 할 수 있다.
도 89는 일 실시예에 따른 키오스크에 이용되는 생체 지수 측정 장치를 설명하기 위한 도면이다.
도 89를 참조하면, 일 실시예에 따른 생체 지수 측정 장치(9110)는 키오스크(9100)에 배치될 수 있으며, 피측정자(9120)의 생체 지수를 측정할 수 있다.
이 때, 상기 키오스크(9100)는 적어도 하나의 정보를 표시하기 위한 디스플레이를 포함할 수 있다. 예를 들어, 도 89에 도시된 바와 같이 상기 키오스크(9100)는 날짜 정보 및 날씨 정보를 디스플레이 할 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수 측정 장치(9110)는 적어도 하나의 생체 지수를 획득할 수 있다. 예를 들어, 상기 생체 지수 측정 장치(9110)는 심박수를 획득할 수 있으나, 이에 한정되지 않으며 심박수, 산소포화도, 혈압, 체온 등 생체 지수 중 적어도 하나의 생체 지수를 획득할 수 있다.
또한, 상기 생체 지수 측정 장치(9110)는 적어도 하나의 생체 정보를 획득할 수 있다. 예를 들어, 상기 생체 지수 측정 장치(9110)는 오늘의 컨디션 정보를 획득할 수 있으나, 이에 한정되지 않으며, 졸음 정보, 컨디션 정보, 집중도 정보, 건강 정보 등 생체 정보 중 적어도 하나의 생체 정보를 획득할 수 있다.
또한, 상기 키오스크(9100)는 획득된 생체 지수를 디스플레이 할 수 있다. 예를 들어, 도 89에 도시된 바와 같이 상기 키오스크(9100)는 획득된 심박수, 산소포화도 및 혈압을 디스플레이 할 수 있으나, 이에 한정되지 않는다.
또한, 상기 키오스크(9100)는 획득된 생체 정보를 디스플레이 할 수 있다. 예를 들어, 도 89에 도시된 바와 같이 상기 키오스크(9100)는 획득된 오늘의 컨디션 정보를 디스플레이 할 수 있으나, 이에 한정되지 않는다.
또한, 상기 키오스크(9100)는 획득된 생체 지수 및 생체 정보를 전송할 수 있다. 예를 들어, 상기 키오스크(9100)는 획득된 생체 지수 및 생체 정보를 상기 피측정자(9120)의 모바일 단말로 전송할 수 있으나, 이에 한정되지 않는다.
또한, 상기 키오스크(9100)는 획득된 생체 지수 및 생체 정보를 전송할 수 있다. 예를 들어, 상기 키오스크(9100)는 획득된 생체 지수 및 생체 정보를 관리자가 확인할 수 있는 단말로 전송할 수 있으나, 이에 한정되지 않는다.
또한, 이 경우 상기 키오스크(9100)가 배치된 건물에서 생체 지수 이상 환자를 검출 할 수 있어, 상기 건물의 방역 및 보안을 강화시킬 수 있다.
또한, 상술한 바와 같이 키오스크에 생체 지수 측정 장치를 추가로 활용하는 것은 개개인의 건강을 지속적으로 모니터링 할 수 있게 하며, 키오스크가 배치된 건물의 방역 및 보안을 강화할 수 있는 방법이 될 수 있다.
또한, 상술한 키오스크 장치는 인력 관리를 위해 이용될 수 있으며, 예를 들어, 공사현장 인부들의 출입을 위한 키오스크에 이용되어 생체 지수가 이상이 있는 공사현장 인부들에 대한 조치가 이루어 질 수 있도록 이용될 수 있으나, 이에 한정되지 않는다.
도 90은 일 실시예에 따른 생체 지수 측정 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 90을 참조하면, 일 실시예에 따른 생체 지수 측정 장치의 동작 방법(9150)은 생체 지수를 획득하는 단계(S9160), 생체 정보를 획득하는 단계(S9170) 및 생체 지수 및 생체 정보를 출력하는 단계(S9180) 중 적어도 일부를 포함할 수 있다.
이 때, 상기 생체 지수를 획득하는 단계(S9160)는 상술한 생체 지수 획득 방법이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 상기 생체 정보를 획득하는 단계(S9170)는 상술한 생체 정보 획득 방법이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.
또한, 상기 생체 지수 및 생체 정보를 출력하는 단계(S9180)는 상기 생체 지수 및 생체 정보를 디스플레이 하는 단계를 포함할 수 있다. 예를 들어, 상기 생체 지수 및 생체 정보를 출력하는 단계(S9180)는 심박수, 산소포화도, 혈압 및 오늘의 컨디션 정보를 디스플레이 하는 단계를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수 및 생체 정보를 출력하는 단계(S9180)는 상기 생체 지수 및 생체 정보를 전송하는 단계를 포함할 수 있다. 예를 들어, 상기 생체 지수 및 생체 정보를 출력하는 단계(S9180)는 심박수, 산소포화도, 혈압 및 오늘의 컨디션 정보를 다른 모바일 단말을 향해 전송하는 단계를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수 및 생체 정보를 출력하는 단계(S9180)는 상기 생체 지수 및 생체 정보를 프린트 하는 단계를 포함할 수 있다. 예를 들어, 상기 생체 지수 및 생체 정보를 출력하는 단계(S9180)는 심박수, 산소포화도, 혈압 및 오늘의 컨디션 정보를 프린트 하는 단계를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 생체 지수 획득 장치는 상술한 예시들 외에도 생체 지수 및 생체 정보를 획득하고 출력하는 다양한 동작을 수행할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (12)
- 복수의 운전자의 운전 스케쥴을 보조하기 위한 방법으로서,
제1 운전자가 수행한 제1 운행 정보를 획득하는 단계;
상기 제1 운전자가 탑승한 제1 차량에 배치되는 카메라로부터 획득된 이미지에 기초하여 상기 제1 운전자의 상기 제1 운행에 대한 졸음 파라미터를 획득하는 단계;
제2 운전자가 수행한 제2 운행 정보를 획득하는 단계;
상기 제2 운전자가 탑승한 제2 차량에 배치되는 카메라로부터 획득된 이미지에 기초하여 상기 제2 운전자의 상기 제2 운행에 대한 졸음 파라미터를 획득하는 단계;
상기 제1 및 제2 운행과 상이한 제3 운행의 운전자를 배정하기 위하여 상기 제1 및 제2 운전자에 대한 운전 스케쥴 지수를 산출하는 단계; 를 포함하되,
상기 운전 스케쥴 지수를 산출하는 단계는
상기 획득된 제1 운행 정보 및 상기 제1 운행에 대한 상기 제1 운전자의 졸음 파라미터를 기초로 상기 제1 운전자의 운전 스케쥴 지수를 산출하는 단계 및
상기 획득된 제2 운행 정보 및 상기 제2 운행에 대한 상기 제2 운전자의 졸음 파라미터를 기초로 상기 제2 운전자의 운전 스케쥴 지수를 산출하는 단계를 포함하는
운전 스케쥴 보조 방법.
- 제1 항에 있어서,
상기 제1 운행 정보 및 상기 제2 운행 정보는 각각 상기 제1 운행 및 상기 제2 운행에 대한 운행 거리, 운행 시간, 운행 환경 중 적어도 하나의 정보를 포함하는
운전 스케쥴 보조 방법.
- 제1 항에 있어서,
상기 제1 운행에 대한 졸음 파라미터는 상기 제1 운행을 수행하는 동안 상기 제1 운전자의 졸음 파라미터를 의미하며, 상기 제2 운행에 대한 졸음 파라미터는 상기 제2 운행을 수행하는 동안 상기 제2 운전자의 졸음 파라미터를 의미하는
운전 스케쥴 보조 방법.
- 제1 항에 있어서,
상기 제1 운행에 대한 졸음 파라미터는 상기 제1 운행을 수행하는 동안 상기 제1 운전자의 심박수에 기초하여 획득되며, 상기 제2 운행에 대한 졸음 파라미터는 상기 제2 운행을 수행하는 동안 상기 제2 운전자의 심박수에 기초하여 획득되는
운전 스케쥴 보조 방법.
- 제1 항에 있어서,
상기 제1 운전자의 운전 스케쥴 지수는 상기 제1 운행 정보를 기초로 산출된 후 상기 제1 운행에 대한 졸음 파라미터를 기초로 보정되며, 상기 제2 운전자의 운전 스케쥴 지수는 상기 제2 운행 정보를 기초로 산출된 후 상기 제2 운행에 대한 졸음 파라미터를 기초로 보정되는
운전 스케쥴 보조 방법.
- 제1 항에 있어서,
상기 제1 운전자의 운전 스케쥴 지수 및 상기 제2 운전자의 운전 스케쥴 지수를 기초로 상기 제3 운행에 대한 운전자를 표시하는 단계를 더 포함하는
운전 스케쥴 보조 방법.
- 제6 항에 있어서,
상기 제1 운전자의 운전 스케쥴 지수가 상기 제2 운전자의 운전 스케쥴 지수보다 높은 경우 상기 제3 운행에 대한 운전자를 상기 제1 운전자로 표시하는
운전 스케쥴 보조 방법.
- 제6 항에 있어서,
상기 제1 운행에 대한 졸음 파라미터가 기준치를 초과한 경우 상기 제3 운행에 대한 운전자를 표시할 때 상기 제1 운전자를 제외하는
운전 스케쥴 보조 방법.
- 제6 항에 있어서,
상기 제1 운행에 대한 졸음 파라미터가 기준치를 초과하되, 상기 제1 운전자의 운전 스케쥴 지수가 상기 제2 운전자의 운전 스케쥴 지수보다 높은 경우 상기 제3 운행에 대한 운전자를 상기 제2 운전자로 표시하는
운전 스케쥴 보조 방법.
- 제1 항에 있어서,
상기 제1 운전자의 운전 스케쥴 지수 및 상기 제2 운전자의 운전 스케쥴 지수를 기초로 상기 제3 운행에 대한 운전자를 결정하는 단계를 더 포함하는
운전 스케쥴 보조 방법.
- 제10 항에 있어서,
상기 제1 운전자의 운전 스케쥴 지수가 상기 제2 운전자의 운전 스케쥴 지수보다 높은 경우 상기 제3 운행에 대한 운전자를 상기 제1 운전자로 결정하는
운전 스케쥴 보조 방법.
- 제10 항에 있어서,
상기 제1 운행에 대한 졸음 파라미터가 기준치를 초과하되, 상기 제1 운전자의 운전 스케쥴 지수가 상기 제2 운전자의 운전 스케쥴 지수보다 높은 경우 상기 제3 운행에 대한 운전자를 상기 제2 운전자로 결정하는
운전 스케쥴 보조 방법.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962938744P | 2019-11-21 | 2019-11-21 | |
| US62/938,744 | 2019-11-21 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210062545A true KR20210062545A (ko) | 2021-05-31 |
Family
ID=76150219
Family Applications (6)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200029857A KR102273903B1 (ko) | 2019-11-21 | 2020-03-10 | 비접촉식 생체 지수 측정 방법 |
| KR1020200029856A KR102273898B1 (ko) | 2019-11-21 | 2020-03-10 | 비접촉식 생체 지수 측정 방법 |
| KR1020200029858A KR102444459B1 (ko) | 2019-11-21 | 2020-03-10 | 비접촉식 졸음감지 방법 및 장치 방법 |
| KR1020200029859A KR102407956B1 (ko) | 2019-11-21 | 2020-03-10 | 스마트 미러 장치 |
| KR1020200055482A KR20210062545A (ko) | 2019-11-21 | 2020-05-08 | 운전 스케쥴 보조 방법 |
| KR1020210085942A KR20210084400A (ko) | 2019-11-21 | 2021-06-30 | 생체 지수를 활용한 인증 시스템 및 인증 시스템의 동작 방법 |
Family Applications Before (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200029857A KR102273903B1 (ko) | 2019-11-21 | 2020-03-10 | 비접촉식 생체 지수 측정 방법 |
| KR1020200029856A KR102273898B1 (ko) | 2019-11-21 | 2020-03-10 | 비접촉식 생체 지수 측정 방법 |
| KR1020200029858A KR102444459B1 (ko) | 2019-11-21 | 2020-03-10 | 비접촉식 졸음감지 방법 및 장치 방법 |
| KR1020200029859A KR102407956B1 (ko) | 2019-11-21 | 2020-03-10 | 스마트 미러 장치 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210085942A KR20210084400A (ko) | 2019-11-21 | 2021-06-30 | 생체 지수를 활용한 인증 시스템 및 인증 시스템의 동작 방법 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7308564B2 (ko) |
| KR (6) | KR102273903B1 (ko) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102313667B1 (ko) * | 2021-03-22 | 2021-10-15 | 성균관대학교산학협력단 | 스마트 미러를 이용한 유방암 진단을 위한 인공지능형 열화상 초음파 스캐너 장치 및 이를 이용한 유방암 자가 진단 방법 |
| KR20230019645A (ko) | 2021-08-02 | 2023-02-09 | 성균관대학교산학협력단 | 체온 예측 장치 및 방법, 그리고 체온 예측 장치를 학습시키는 방법 |
| KR20230086026A (ko) * | 2021-12-07 | 2023-06-15 | 계명대학교 산학협력단 | 인간의 복합감정을 예측할 수 있는 EfficientNet 아키텍처 기반 모바일 비전 시스템 및 방법 |
| KR102434889B1 (ko) * | 2021-12-17 | 2022-08-22 | 한국전자인증 주식회사 | 클라우드 기반 비정상적 생체정보 인증 행위 검출방법, 서버 및 컴퓨터프로그램 |
| KR102446628B1 (ko) * | 2022-07-25 | 2022-09-26 | (주)아이트로닉스 | 졸음 운전 경고 기능을 갖는 하이패스 시스템 |
| CN117379021B (zh) * | 2023-12-13 | 2024-03-08 | 深圳市光速时代科技有限公司 | 基于智能穿戴设备的老年人健康指标监测系统 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009039167A (ja) * | 2007-08-06 | 2009-02-26 | Toyota Motor Corp | 眠気判定装置 |
| CN102549620B (zh) | 2009-10-06 | 2015-01-28 | 皇家飞利浦电子股份有限公司 | 至少表示基于像素值的值的变化的时变信号的形成和处理 |
| US8897522B2 (en) | 2012-05-30 | 2014-11-25 | Xerox Corporation | Processing a video for vascular pattern detection and cardiac function analysis |
| JP6063775B2 (ja) * | 2013-03-01 | 2017-01-18 | 東洋紡株式会社 | 居眠り予防方法、及び居眠り予防装置 |
| CN105188522B (zh) | 2013-03-08 | 2019-06-11 | 富士胶片株式会社 | 脉搏波传播速度的测定方法、测定系统及摄像装置 |
| JP6349075B2 (ja) * | 2013-11-22 | 2018-06-27 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | 心拍数測定装置及び心拍数測定方法 |
| KR20160016263A (ko) * | 2014-08-04 | 2016-02-15 | 엘지전자 주식회사 | 미러 디스플레이 장치 및 그의 동작 방법 |
| KR101686070B1 (ko) * | 2014-12-01 | 2016-12-13 | 계명대학교 산학협력단 | 바이오피드백 가능하도록 웰니스 지수를 모니터링하는 헬스 케어 방법 및 이를 수행하는 홈 헬스 미러-웨어러블 연동 시스템 |
| US9750420B1 (en) | 2014-12-10 | 2017-09-05 | Amazon Technologies, Inc. | Facial feature selection for heart rate detection |
| JP2016187430A (ja) * | 2015-03-30 | 2016-11-04 | パイオニア株式会社 | 回復支援装置 |
| WO2016184705A1 (en) | 2015-05-21 | 2016-11-24 | Koninklijke Philips N.V. | Determining a pulse signal from a video sequence |
| CN105147274B (zh) | 2015-08-04 | 2018-06-15 | 河北工业大学 | 一种从可见光谱段人脸视频信号中提取心率的方法 |
| KR101866883B1 (ko) * | 2015-11-13 | 2018-06-12 | 금오공과대학교 산학협력단 | 비접촉 방식의 생체신호 측정방법 및 이를 이용한 생체신호 측정장치 |
-
2020
- 2020-03-10 KR KR1020200029857A patent/KR102273903B1/ko active IP Right Grant
- 2020-03-10 KR KR1020200029856A patent/KR102273898B1/ko active IP Right Grant
- 2020-03-10 KR KR1020200029858A patent/KR102444459B1/ko active IP Right Grant
- 2020-03-10 KR KR1020200029859A patent/KR102407956B1/ko active IP Right Grant
- 2020-05-08 KR KR1020200055482A patent/KR20210062545A/ko unknown
- 2020-05-11 JP JP2021577437A patent/JP7308564B2/ja active Active
-
2021
- 2021-06-30 KR KR1020210085942A patent/KR20210084400A/ko not_active Application Discontinuation
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210084400A (ko) | 2021-07-07 |
| KR102273898B1 (ko) | 2021-07-06 |
| JP2023502295A (ja) | 2023-01-24 |
| KR20210062534A (ko) | 2021-05-31 |
| KR20210063188A (ko) | 2021-06-01 |
| KR102407956B1 (ko) | 2022-06-14 |
| KR102273903B1 (ko) | 2021-07-06 |
| KR20210062535A (ko) | 2021-05-31 |
| JP7308564B2 (ja) | 2023-07-14 |
| KR102444459B1 (ko) | 2022-09-19 |
| KR20210062536A (ko) | 2021-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11103144B2 (en) | Method of measuring physiological parameter of subject in contactless manner | |
| KR102273903B1 (ko) | 비접촉식 생체 지수 측정 방법 | |
| US9396643B2 (en) | Biometric authentication | |
| JP6868422B6 (ja) | 体調推定装置、体調推定システム及びプロセッサ | |
| Warwick et al. | Detecting driver drowsiness using wireless wearables | |
| US11065958B2 (en) | Control system and method | |
| US20150164351A1 (en) | Calculating pulse transit time from chest vibrations | |
| US20160302677A1 (en) | Calibrating for Blood Pressure Using Height Difference | |
| JP6268193B2 (ja) | 脈波測定装置、携帯機器、医療機器システム、及び生体情報コミュニケーションシステム | |
| US20180122073A1 (en) | Method and device for determining vital parameters | |
| CN105144199B (zh) | 支持多种功能的基于成像装置的乘坐者监控系统 | |
| CN106687026A (zh) | 驾驶员健康以及疲劳监控系统和方法 | |
| EP3750041A1 (en) | Portable hydration monitoring device and methods | |
| Cao et al. | Towards reliable driver drowsiness detection leveraging wearables | |
| JP2001245871A (ja) | 動脈血酸素飽和度を居眠り判定法に用いた居眠り判定装置 | |
| KR102185492B1 (ko) | 이미지 센서를 이용한 안면인식 기반 스마트 디스펜서 | |
| WO2016137698A1 (en) | Calculating pulse transit time from chest vibrations | |
| JP7212419B2 (ja) | 安全運転管理システム、睡眠不足判定装置、睡眠データ測定装置、ユーザ識別情報入力装置、制御方法及びプログラム | |
| Tamura et al. | Preliminary study of unobtrusive monitoring to increase safety in daily living | |
| Li et al. | Research on Integrated design of High-speed Rail Emergency Response Products Based on Passenger Safety | |
| WO2022175841A1 (en) | Devices, systems and methods for monitoring and preventing the spreading of contagious diseases |