KR102621119B1 - 카메라 기반 감지를 이용한 심혈관 특징 결정 - Google Patents
카메라 기반 감지를 이용한 심혈관 특징 결정 Download PDFInfo
- Publication number
- KR102621119B1 KR102621119B1 KR1020197033881A KR20197033881A KR102621119B1 KR 102621119 B1 KR102621119 B1 KR 102621119B1 KR 1020197033881 A KR1020197033881 A KR 1020197033881A KR 20197033881 A KR20197033881 A KR 20197033881A KR 102621119 B1 KR102621119 B1 KR 102621119B1
- Authority
- KR
- South Korea
- Prior art keywords
- sub
- signal
- segments
- user
- time series
- Prior art date
Links
- 230000002526 effect on cardiovascular system Effects 0.000 title description 3
- 238000000034 method Methods 0.000 claims description 68
- 238000003860 storage Methods 0.000 claims description 36
- 238000005259 measurement Methods 0.000 claims description 35
- 230000015654 memory Effects 0.000 claims description 31
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 15
- 230000003205 diastolic effect Effects 0.000 claims description 5
- 230000010349 pulsation Effects 0.000 claims description 4
- 238000012512 characterization method Methods 0.000 claims 1
- 210000001367 artery Anatomy 0.000 abstract description 44
- 239000008280 blood Substances 0.000 abstract description 24
- 210000004369 blood Anatomy 0.000 abstract description 24
- 230000008451 emotion Effects 0.000 description 82
- 230000003287 optical effect Effects 0.000 description 49
- 230000002996 emotional effect Effects 0.000 description 40
- 230000037007 arousal Effects 0.000 description 20
- 230000000875 corresponding effect Effects 0.000 description 20
- 230000000694 effects Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 17
- 238000004458 analytical method Methods 0.000 description 16
- 238000012360 testing method Methods 0.000 description 15
- 230000000747 cardiac effect Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 239000013598 vector Substances 0.000 description 13
- 230000000926 neurological effect Effects 0.000 description 12
- 210000001002 parasympathetic nervous system Anatomy 0.000 description 11
- 230000008921 facial expression Effects 0.000 description 10
- 210000002820 sympathetic nervous system Anatomy 0.000 description 10
- 210000003403 autonomic nervous system Anatomy 0.000 description 9
- 230000001815 facial effect Effects 0.000 description 9
- 230000000241 respiratory effect Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 210000003491 skin Anatomy 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 230000003542 behavioural effect Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 5
- 239000002131 composite material Substances 0.000 description 5
- 238000009532 heart rate measurement Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 4
- 230000017531 blood circulation Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 210000002615 epidermis Anatomy 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 230000001734 parasympathetic effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000011514 reflex Effects 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 230000002889 sympathetic effect Effects 0.000 description 4
- 230000002791 sympathovagal effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 206010029216 Nervousness Diseases 0.000 description 3
- 230000036772 blood pressure Effects 0.000 description 3
- 210000001715 carotid artery Anatomy 0.000 description 3
- 230000004087 circulation Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 210000004207 dermis Anatomy 0.000 description 3
- 206010016256 fatigue Diseases 0.000 description 3
- 210000001061 forehead Anatomy 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 201000001320 Atherosclerosis Diseases 0.000 description 2
- 206010024264 Lethargy Diseases 0.000 description 2
- 208000006011 Stroke Diseases 0.000 description 2
- 230000036626 alertness Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000000748 cardiovascular system Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000031700 light absorption Effects 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000035515 penetration Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 210000001428 peripheral nervous system Anatomy 0.000 description 2
- 230000000541 pulsatile effect Effects 0.000 description 2
- 210000002321 radial artery Anatomy 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 206010048909 Boredom Diseases 0.000 description 1
- 206010016352 Feeling of relaxation Diseases 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 239000004783 Serene Substances 0.000 description 1
- 208000004301 Sinus Arrhythmia Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 206010003119 arrhythmia Diseases 0.000 description 1
- 230000006793 arrhythmia Effects 0.000 description 1
- 230000002567 autonomic effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000133 brain stem Anatomy 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 230000005792 cardiovascular activity Effects 0.000 description 1
- 230000036996 cardiovascular health Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000010491 emotional process Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 230000003284 homeostatic effect Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 210000002793 maxillary artery Anatomy 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 210000001636 ophthalmic artery Anatomy 0.000 description 1
- 210000000192 parasympathetic ganglia Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000001991 pathophysiological effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 210000002442 prefrontal cortex Anatomy 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- MTCFGRXMJLQNBG-UHFFFAOYSA-N serine Chemical compound OCC(N)C(O)=O MTCFGRXMJLQNBG-UHFFFAOYSA-N 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000000331 sympathetic ganglia Anatomy 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001515 vagal effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
- A61B5/024—Measuring pulse rate or heart rate
- A61B5/02416—Measuring pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
- A61B5/021—Measuring pressure in heart or blood vessels
- A61B5/02108—Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics
- A61B5/02125—Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics of pulse wave propagation time
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
- A61B5/024—Measuring pulse rate or heart rate
- A61B5/02405—Determining heart rate variability
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
- A61B5/026—Measuring blood flow
- A61B5/0295—Measuring blood flow using plethysmography, i.e. measuring the variations in the volume of a body part as modified by the circulation of blood therethrough, e.g. impedance plethysmography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/346—Analysis of electrocardiograms
- A61B5/349—Detecting specific parameters of the electrocardiograph cycle
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4887—Locating particular structures in or on the body
- A61B5/489—Blood vessels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/04—Arrangements of multiple sensors of the same type
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
- A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
- A61B5/021—Measuring pressure in heart or blood vessels
- A61B5/02108—Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
- A61B5/026—Measuring blood flow
- A61B5/0285—Measuring or recording phase velocity of blood waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7221—Determining signal validity, reliability or quality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7242—Details of waveform analysis using integration
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Cardiology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physiology (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Vascular Medicine (AREA)
- Artificial Intelligence (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Power Engineering (AREA)
- Dentistry (AREA)
- Hematology (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
일 실시예에서, 컴퓨터 판독가능 비일시적 매체는, 실행되는 경우 실시간으로, 사용자의 복수의 이미지들을 캡처하고; 상기 사용자의 하나 이상의 표재 동맥들에 상응하는 하나 이상의 관심 영역들을 식별하도록 작동가능한, 소프트웨어를 구현한다. 상기 식별은 상기 복수의 이미지들로부터 획득되는 광용적맥파(photoplethysmogram: PPG) 데이터의 신호 대 잡음비에 기반한다. 상기 소프트웨어는, 상기 PPG 데이터에 기반하여 혈액량 맥박(blood volume pulse: BVP) 신호들을 측정하고; 상기 측정된 BVP 신호들에 기반하여 상기 사용자의 하나 이상의 심장학적 메트릭들(cardiological metrics)을 계산하도록, 더 작동가능하다.
Description
본 개시는 일반적으로 개인의 생리적 특성의 전자 검출 및 평가에 관한 것이다.
행동 과학, 생물 과학, 및 사회 과학에 있어서, 심혈관 건강과 같이, 인간의 감정 및/또는 생리적 특성의 평가에 대한 관심이 증가하고 있는 것으로 보인다. 예를 들면, 개인의 인지 처리(cognitive processing)에서 사회적 및 집단적 행동에 이르기까지, 많은 현상들은 인간의 감정을 고려하지 않고는 잘 이해되지 않을 수 있다. 최근, 인간의 감성(affects)을 인식, 해석, 처리, 및 시뮬레이션 할 수 있는 컴퓨팅 시스템들 또는 장치들을 연구 및 개발하는, 감성 컴퓨팅(affective computing)에 대한 관심이 일고 있다. 특히, 사용자의 감정은 컴퓨팅 장치들 또는 시스템들에 의한 후속 동작들에 대한 입력으로서 이용될 수 있다. 또한, 생리적 특성의 결정은 사용자의 건강을 검출 또는 예측하는 데 유용하다. 본 발명의 배경이 되는 기술은 공개공보 WO2016/193735에 개시되어 있다.
도 1은 예시적 네트워크 환경을 도시한다.
도 2는 사용자의 얼굴 및 목에서의 예시적인 광학적 측정 영역들을 도시한다.
도 3은 심장학적 메트릭들(cardiological metrics)의 예시적인 계산을 도시한다.
도 4는 사용자에 대한 심장학적 메트릭들을 계산하는 예시적 방법을 도시한다.
도 5는 사용자에 대한 심박수(heart rate) 측정을 수행하는 예시적 방법을 도시한다.
도 6A는 베이스라인 데이터 히스토그램의 예를 도시한다.
도 6B는 교감-미주신경 균형(sympathovagal balance)이 좌측으로 이동된 테스트 데이터 히스토그램의 예를 도시한다.
도 6C는 교감-미주신경 균형이 우측으로 이동된 테스트 데이터 히스토그램의 예를 도시한다.
도 7은 감정의 복합순환 모델(circumplex model)의 예시적 다이어그램을 도시한다.
도 8은 감정 평가의 예시적 방법을 도시한다.
도 9는 본 발명의 특정 실시예들에 따른 예시적 컴퓨터 시스템을 도시한다.
도 2는 사용자의 얼굴 및 목에서의 예시적인 광학적 측정 영역들을 도시한다.
도 3은 심장학적 메트릭들(cardiological metrics)의 예시적인 계산을 도시한다.
도 4는 사용자에 대한 심장학적 메트릭들을 계산하는 예시적 방법을 도시한다.
도 5는 사용자에 대한 심박수(heart rate) 측정을 수행하는 예시적 방법을 도시한다.
도 6A는 베이스라인 데이터 히스토그램의 예를 도시한다.
도 6B는 교감-미주신경 균형(sympathovagal balance)이 좌측으로 이동된 테스트 데이터 히스토그램의 예를 도시한다.
도 6C는 교감-미주신경 균형이 우측으로 이동된 테스트 데이터 히스토그램의 예를 도시한다.
도 7은 감정의 복합순환 모델(circumplex model)의 예시적 다이어그램을 도시한다.
도 8은 감정 평가의 예시적 방법을 도시한다.
도 9는 본 발명의 특정 실시예들에 따른 예시적 컴퓨터 시스템을 도시한다.
도 1은 예시적 네트워크 환경(100)을 도시한다. 네트워크 환경(100)은 하나 이상의 광학 카메라들(110), 클라이언트 시스템(120), 네트워크(130), 하나 이상의 서버들(140), 및 하나 이상의 데이터 스토어들(data stores)(150)을 포함한다. 광학 카메라(110), 클라이언트 시스템(120), 서버들(140), 및 데이터 스토어들(150)은 링크들(160)을 통해 네트워크(130)에 의해 서로 연결될 수 있다. 특정 실시예들에서, 광학 카메라(110)는 클라이언트 시스템(120)과 통합될 수 있다. 도 1은 광학 카메라(110), 클라이언트 시스템(120), 네트워크(130), 서버들(140), 및 데이터 스토어들(150)의 특정한 배치를 도시하고 있지만, 본 개시는 광학 카메라(110), 클라이언트 시스템(120), 네트워크(130), 서버들(140), 및 데이터 스토어들(150)의 어떤 적절한 배치든지 고려하고 있다.
네트워크 환경(100)은 클라이언트 시스템(120)에 연결될 수 있는 하나 이상의 광학 카메라(110)를 포함한다. 특정 실시예들에서, 광학 카메라(110)는 인간 신체의 하나 이상의 계들(systems)로부터 데이터를 측정하도록 구성된다. 제한으로서가 아니라 예로서, 광학 카메라(110)는, 하기한 바와 같이, 인간 신체의 심장학적(cardiological) 활동을 모니터링하도록 구성될 수 있다. 다른 예로서, 광학 카메라(110)는, 하기와 같이, 인간 신체의 신경학적(neurological) 및 신경해부학적(neuroanatomical) 활동을 모니터링하도록 구성될 수 있다.
특정 실시예들에서, 광학 카메라(110)는 클라이언트 시스템(120)과 직접 연결되거나 또는, 광학 카메라(110)와 클라이언트 시스템(120) 간의 상호작용 및/또는 데이터의 전송을 용이하게 할 수 있는, 네트워크(130)를 통해 연결될 수 있다. 데이터(예를 들면, 심박수(heart rate), 감정 상태 등)는 클라이언트 시스템(120), 데이터 스토어들(150), 기타 적절한 데이터베이스들, 또는 이들의 어떤 조합에 저장될 수 있다. 또한, 데이터의 처리 및 특정 알고리즘들(하기한 논의되는 바와 같은 것)의 계산은 클라이언트 시스템(120), 서버들(140), 기타 적절한 장치들/시스템들, 또는 이들의 어떤 조합에 의해 수행될 수 있다. 특정 실시예들에서, 데이터의 처리 및 특정 알고리즘들의 계산은 네트워크(130)를 통해 데이터 스토어들(150)로부터의 사용자 데이터, 기준 프레임/베이스라인 데이터(frame of reference/baseline data), 의학 데이터, 기타 관련 데이터, 또는 이들의 어떤 조합에 액세스함으로써 수행될 수 있다.
제한으로서가 아니라 예로서, 클라이언트 시스템(120), 서버들(140), 데이터 스토어들(150), 또는 이들의 어떤 적절한 조합 중 둘 이상은, 네트워크(130)를 우회하여, 서로 직접(예를 들면, 이더넷(Ethernet) 또는 로컬 영역 네트워크(local area network: LAN) 연결) 연결될 수 있다. 다른 예로서, 클라이언트 시스템(120), 서버들(140), 및 데이터 스토어들(150) 중 둘 이상은, 전체적으로 또는 부분적으로, 물리적으로 또는 논리적으로 서로 코로케이션될(co-located) 수 있다. 특정 실시예들에서, 클라이언트 시스템(120)은, 예를 들면, 모바일 컴퓨팅 장치, 스마트폰, 셀룰러 전화, 태블릿 컴퓨터, 랩탑 컴퓨터, 개인용 컴퓨터, 또는 이들의 어떤 조합과 같이, 어떤 적절한 컴퓨팅 장치라도 될 수 있다. 또한, 이 장치들은 네트워크(130)를 통해, 직접(예를 들면, 비-네트워크 연결들에 의해), 다른 어떤 적절한 방법들에 의해, 또는 이들의 어떤 조합에 의해, 서로 통신할 수 있다. 제한으로서가 아니라 예로서, 클라이언트 시스템(120)은, 와이파이(Wi-Fi) 또는 블루투스(BLUETOOTH)와 같은, 무선 통신 프로토콜을 통해 네트워크(130)와 통신할 수 있다. 특정 실시예들에서, 네트워크(130)는 어떤 적절한 네트워크라도 될 수 있다. 제한으로서가 아니라 예로서, 네트워크(130)의 하나 이상의 부분들은 애드혹(ad hoc) 네트워크, 인트라넷(intranet), 엑스트라넷(extranet), 가상 사설 네트워크(virtual private network: VPN), 로컬 영역 네트워크(LAN), 무선 LAN(wireless LAN: WLAN), 광역 네트워크(wide area network: WAN), 무선 WAN(wireless WAN: WWAN), 대도시 영역 네트워크(metropolitan area network: MAN), 인터넷의 일부, 공중 전화 교환망(Public Switched Telephone Network: PSTN)의 일부, 셀룰러 전화 네트워크, 또는 이들 중 둘 이상의 조합을 포함할 수 있다. 네트워크(130)는 하나 이상의 네트워크들을 포함할 수 있다.
특정 실시예들에서, 링크들(160)은 클라이언트 시스템(120), 서버들(140), 및 데이터 스토어들(150)을 네트워크(130)에 또는 서로서로 연결시킬 수 있다. 본 개시는 어떤 적절한 링크들(160)이든지 고려하고 있다. 특정 실시예들에서, 하나 이상의 링크들(160)은 하나 이상의 유선(예를 들면, 디지털 가입자 회선(Digital Subscriber Line: DSL) 또는 케이블을 통한 데이터 서비스 인터페이스 규격(Data Over Cable Service Interface Specification: DOCSIS)), 무선(예를 들면, 와이파이 또는 마이크로파 액세스를 위한 전세계 상호운용성(Worldwide Interoperability for Microwave Access: WiMAX)), 또는 광학적(예를 들면, 동기식 광네트워크(Synchronous Optical Network: SONET) 또는 동기식 디지털 계층(Synchronous Digital Hierarchy: SDH)) 링크들을 포함한다. 특정 실시예들에서, 하나 이상의 링크들(160)은 각각 애드혹 네트워크, 인트라넷, 엑스트라넷, VPN, LAN, WLAN, WAN, WWAN, MAN, 인터넷의 일부, PSTN의 일부, 셀룰러 기술 기반 네트워크, 위성 통신 기술 기반 네트워크, 다른 링크(160), 또는 둘 이상의 이러한 링크들(160)의 조합을 포함한다. 링크들(160)은 네트워크 환경(100) 전체에 걸쳐 반드시 동일할 필요는 없으며, 따라서 하나 이상의 제1 링크들(160)은 하나 이상의 측면들에서 하나 이상의 제2 링크들(160)과 다를 수 있다.
특정 실시예들에서, 서버들(140)은 어떤 적절한 서버들이든지 될 수 있다. 각 서버(140)는 단일 서버(unitary server)이거나 또는 다수의 컴퓨터들 또는 다수의 데이터센터들에 걸쳐 있는 분산 서버(distributed server)일 수 있다. 서버들(140)은, 제한 없는 예로서, 웹 서버, 파일 서버, 애플리케이션 서버, 익스체인지 서버(exchange server), 데이터베이스 서버, 프록시 서버(proxy server), 본 명세서에서 설명되는 기능들 또는 프로세스들을 수행하기에 적절한 다른 서버, 또는 이들의 어떤 조합과 같이, 다양한 유형일 수 있다. 특정 실시예들에서, 각 서버(140)는, 서버(140)에 의해 구현 또는 지원되는 적절한 기능들을 수행하기 위한, 하드웨어, 소프트웨어, 내장형(embedded) 논리 구성요소들, 또는 둘 이상의 이러한 구성요소들의 조합을 포함할 수 있다.
특정 실시예들에서, 데이터 스토어들(150)은 어떤 적절한 데이터 스토어들이든지 될 수 있다. 데이터 스토어들(150)은 다양한 유형의 정보를 저장하는 데 이용될 수 있다. 특정 실시예들에서, 데이터 스토어들(150)에 저장된 정보는 특정 데이터 구조들에 따라 정리될(organized) 수 있다. 특정 실시예들에서, 각 데이터 스토어(150)는 관계형(relational) 데이터베이스, 컬럼형(columnar) 데이터베이스, 상관관계(correlation) 데이터베이스, 또는 기타 적절한 데이터베이스일 수 있다. 데이터 스토어(150)는, 클라우드 저장소(cloud storage) 또는 기타 네트워크 액세스가능 저장소와 같은, 네트워크형(networked) 저장소를 포함할 수 있다. 추가적으로 또는 대안적으로, 데이터 스토어(150)는, 고체 상태 드라이브들(solid state drives: SSDs) 또는 하드 디스크 드라이브들(hard disk drives: HDDs)과 같이, 클라이언트 시스템(120)의 장치들 중 어떤 것 내에 있는 또는 그것에 직접 접속된(attached) 로컬 저장소를 포함할 수 있다.
특정 실시예들에서, 데이터 스토어(150)는 광학 검출 장치 및 상기 광학 검출 장치에 의해 수집된 데이터의 처리와 관련된 다양한 데이터 구조들을 저장할 수 있다. 제한으로서가 아니라 예로서, 데이터 스토어(150)는 신경심장학(neurocardiology) 측정들(예를 들면, 심박수(heart rate: HR), 심박 변이도(heart-rate variability: HRV), 심박수(HR) 또는 심박 변이도(HRV)로부터 도출된 데이터(예를 들면, 교감-미주신경 균형(sympathovagal balance: SVB)), 신경학적 데이터, 또는 신경해부학적 데이터(예를 들면, 편측화(lateralization), 자세(posture), 제스처들(gestures), 또는 컨텍스트(context))에 상응하는 데이터 구조를 저장할 수 있다. 제한적이지 않은 다른 예로서, 데이터 스토어(150)는, 감정 평가를 위한 특징 평가 프로세스(features evaluation process)에 기반하여 결정된, 특징 데이터 및 특징 벡터들에 상응하는 데이터 구조를 저장할 수 있다. 본 개시가 네트워크 환경(100)의 특정 유형의 구성요소들 및 이 구성요소들의 특정 유형의 이용들에 대해 설명 또는 예시하고 있지만, 본 개시는 어떤 적절한 유형의 구성요소들이든지, 어떤 적절한 네트워크 토폴로지(network topology)(독립형 장치(standalone-device) 토폴로지를 포함하여)든지, 및 네트워크 환경(100)의 이 구성요소들의 어떤 적절한 이용들이든지 고려하고 있다.
하기의 특정 실시예들은 광학 카메라(110)에 의해 수집된 데이터를 통해 신경계 및 심혈관계의 병태생리학적(pathophysiological) 상호작용들의 모니터링 및 측정에 대해 설명한다. 신경심장학 메트릭들은 개인화된 건강 평가를 위한 모바일 모니터링의 상황(context)에서 측정될 수 있다. 모바일 모니터링에 있어서, 광학 카메라(110)의 사용은 실시간 모바일 건강 평가를 용이하게 할 수 있다. 특정 실시예들에서, 신경심장학 메트릭들은 다양한 심장 질병들 또는 상태들에 대한 지시자들(indicators)일 수 있다. 본 명세서에서, 실시간(real-time)이라 함은 대략 5초 이하 이내에 수행되는 측정들을 의미할 수 있다.
인간 감정들의 자동 평가는, 무엇보다, 행동적, 생물학적, 및 사회적 응용들에 유용하다. 하기의 특정 실시예들은, 개인화된 엔터테인먼트 경험들에 있어서 모바일 모니터링을 이용하는 상황에서, 인간 감정들의 평가에 대해 설명한다. 모바일 모니터링에 있어서, 광학 카메라(110)의 사용은 인간 감정들의 실시간 평가를 용이하게 할 수 있다. 특정 실시예들에서, 인간 감정들은 자율신경계(autonomic nervous system: ANS)의 활동들/각성도(arousal)를 측정하여 평가되며, 여기서 각성도의 변화들은 다양한 감정들에 대한 지시자들이다.
도 2는 사용자의 얼굴 및 목에서의 예시적인 광학적 측정 영역들을 도시한다. 특정 실시예들에서, 광학 카메라는 광용적맥파(photoplethysmogram: PPG)를 이용하여 특정 관심 영역(region of interest: ROI)에서 맥박당 혈액량(blood volume with each pulse: BVP)을 측정할 수 있다. PPG는 사용자의 피부를 조사하고(illuminate) 광흡수의 변화에 기반하여 기저의(underlying) 심혈관 활동을 결정한다. 제한으로서가 아니라 예로서, PPG는 피부를 조사하고(예를 들면, 주변광(ambient light)으로 또는 상기 광학 카메라의 발광 다이오드(light-emitting diode: LED)로부터) 상기 광학 카메라의 이미지 센서를 이용하여 특정 주파수들에서 반사광의 양을 측정함으로써 압력 맥박(pressure pulse)에 기인한 혈액량의 변화를 측정할 수 있다. PPG 신호는 ROI에서의 혈액량에 비례한다.
특정 실시예들에서, PPG 측정들은, 추적하기가 비교적 간단하고 다수의 독특한 특징들(예를 들면, 눈, 입, 또는 코)을 갖는, 사용자의 얼굴에 초점을 맞추어 수행될 수 있다. 인간 신체 상의 동맥들의 알려진 레이아웃(layout)을 이용한, 혈액량 및 경직도(stiffness) 분석은 주요하지만 표재적인(superficial)(표면에 가까운) 동맥들에 초점을 맞출 수 있다. 표재 동맥들은 특정 파장들(예를 들면, 적색, 녹색, 및 청색에 상응하는 파장들)을 갖는 빛을 이용하여 액세스 가능하고, 이러한 보다 큰 혈관들(blood vessels)에서의 맥동 혈액(pulsatile blood)에 의해 변조된(modulated) 측정 신호는 상기 광학 카메라를 이용하여 캡처될 수 있다. 특정 실시예들에서, 동맥들은, 상기 카메라가 설정될 때, 미리 선택될 수 있다. 얼굴(202)의 특정 영역들의 이미지들이 캡처될 수 있다. 도 2의 예에 도시된 바와 같이, 사용자의 얼굴(202)의 이미지는, 각각 특정 ROI에 상응하는, 경계 박스들(bounding boxes)(204A-D)에 의해 구획될 수 있다. ROI들은 얼굴(202)의 하나 이상의 동맥들에 상응할 수 있다. 특정 실시예들에서, 데이터는 경계 박스들(204A-D)에 의해 정의된 상기 광학 카메라의 이미지들로부터 추출될 수 있다.
특정 표재 동맥들에 상응하는 알려진 방향들(orientations)을 따라 상기 경계 박스들(204A-D) 중 하나 이상을 위치시킴으로써, 컴퓨팅 시스템은 맥동 혈액의 변동들(fluctuations)로부터 혈액량 맥박(blood volume pulse)을 결정할 수 있다. 사람이 움직이는 경우에도 상기 동맥들 중 적어도 하나는 여전히 위치-결정될(located) 수 있도록, 신호 품질(예를 들면, 신호 강도(strength))에 기반하여 상기 얼굴의 다양한 위치들에 위치한 여러 동맥들의 맵이 생성될 수 있다. 제한으로서가 아니라 예로서, 상기 경계 박스들(204A-D) 중 하나 이상은 안각(angular) 동맥, 상악(maxillary) 동맥, 안(ophthalmic) 동맥, 또는 안면(facial) 동맥 중 하나 이상에 상응할 수 있다. 표재 동맥들은 미리 결정된 인간 동맥 레이아웃 정보를 이용하여 위치-결정될(located) 수 있다. 특정 실시예들에서, 특정 사용자의 얼굴 상의 표재 동맥들의 위치는 해당 사용자의 베이스라인 측정 시에 정제될(refined) 수 있다. 예를 들면, 광학 카메라(110)를 포함하는 장치(스마트폰 같은 장치)는 사용자가 베이스라인 테스트를 받도록 요청할 수 있으며, 여기서 상기 광학 카메라(110)는, 상기 사용자가 광학 카메라(110)를 보고 있는 동안, 상기 사용자의 얼굴에 있는 표재 동맥들을 분석 및 검출한다. 특정 실시예들에서, 상기 표재 동맥들 중 하나 이상은 상기 표재 동맥들 각각에 대한 BVP와 연관된 신호 대 잡음비(signal-to-noise ratio: SNR)에 기반하여 선택될 수 있다. 제한으로서가 아니라 예로서, BVP와 연관된 SNR은, ROI에서 측정된 신호의 나머지와 비교하여, 우세한(dominant) 전자기 주파수 및 그것의 제2 고조파(second harmonics)에서의 에너지를 결정함으로써 계산될 수 있다. 일단 주어진 사용자에 대해 동맥들이 매핑되면(mapped), 얼굴 위치 또는 조명 아티팩트들(lighting artifacts)을 조정한 후, 가장 큰 SNR들을 갖는 동맥들이 선택될 수 있다.
도 3은 심장학적 메트릭들(cardiological metrics)의 예시적인 계산을 도시한다. 혈압(blood pressure: BP)은 주어진 순간에 신체를 통해 흐르는 혈액의 양에 따라 달라진다. 특정 실시예들에서, 심박수 또는 RR-간격(RR-interval)은 혈액량 맥박 방법을 이용하여 동맥 위치에서 계산될 수 있다. 일단 동맥이 위치-결정되면, 상기한 바와 같이, HR은 상기 선택된 동맥의 길이를 따라 혈류(blood flow)의 신호 전송 모델을 분석함으로써 결정될 수 있다. 특정 실시예들에서, 심장학적 메트릭들은 동맥과 연관된 혈액량 및 경직도를 이용하여 계산될 수 있다. 상기 혈액량은 PPG 신호의 곡선 아래 면적(area under the curve: AUC)의 계산에 기반하여 결정될 수 있다. 카메라 기반 맥파 전달 시간(pulse wave transit time: PWTT) 측정들은, 연관된 동맥의 구조적 분석에 이용될 수 있는, 혈액량의 변화를 검출할 수 있다. PWTT는 맥파(pulse wave)가 순환계(circulatory system)에서의 두 지점 사이를 이동하는데 걸리는 시간량의 척도이다. 제한으로서가 아니라 예로서, 동맥과 연관된 경직도는 PWTT에 기반하여 결정될 수 있다. 도 3의 예에서, PWTT 및 맥파 속도(pulse wave velocity)는, 하기 식 (1) 및 식 (2)에 나타낸 바와 같이, 혈액이 동맥의 길이 L을 따라 흐르는 초기 시간 T1부터 최종 시간 T2까지의 시간 차이에 기반하여 계산될 수 있다.
PWTT = T2 - T1 (1)
맥파 속도(Pulse Wave Velocity) = L/(T2 - T1) (2)
도 4는 사용자에 대한 심장학적 메트릭들을 계산하는 예시적 방법을 도시한다. 하기한 바와 같이, 사용자의 심장학적 메트릭들은 뇌파 활동 및 심장 활동의 특징들을 특정 감정들에 상관시킴으로써(correlating) 평가될 수 있다. 예시적 방법(400)은, 적절한 통신, 처리, 감지 설비들, 또는 이들의 어떤 조합을 갖는, 모바일폰, 태블릿 컴퓨터, 모바일 장치들, 고정 위치 컴퓨팅 장치들, 및/또는 네트워크 또는 클라우드 전개형(deployed) 시스템들과 같은, 하나 이상의 전자 장치들 상에 전개될 수 있다. 제한으로서가 아니라 예로서, 프로세서 또는 회로는 상기 방법을 구현할 수 있다(예를 들면, 하나 이상의 컴퓨터 프로세서들은 상기 하나 이상의 컴퓨터 프로세서들에 의해 실행가능한 명령어들을 저장하는 데이터 저장 장치와 통신가능하게 연결되어 심장학적 메트릭 평가를 위한 예시적 방법(400)의 동작들을 수행할 수 있다).
상기 방법(400)은, 컴퓨팅 시스템과 연관된 광학 카메라가 사용자의 이미지들을 실시간으로 캡처하는, 단계(410)에서 시작된다. 특정 실시예들에서, 상기 광학 카메라는 상기 컴퓨팅 시스템과 접속(attached) 또는 통합될(integrated) 수 있다. 단계(420)에서, 상기 사용자의 하나 이상의 표재 동맥들에 상응하는 하나 이상의 관심 영역들이 식별된다. 특정 실시예들에서, 상기 표재 동맥들의 식별은 상기 캡처된 이미지들로부터 획득된 광용적맥파(PPG) 데이터의 SNR에 기반한다. 단계(430)에서, 상기 컴퓨팅 시스템은, 상기 PPG 데이터에 기반하여, 혈액량 맥박(BVP) 신호들을 측정할 수 있다. 단계(440)에서, 상기 측정된 BVP 신호들에 기반하여, 상기 컴퓨팅 시스템은 상기 사용자에 대한 하나 이상의 심장학적 메트릭들을 계산할 수 있다.
적절한 경우, 특정 실시예들은 도 4의 방법(400)의 하나 이상의 단계들을 반복할 수 있다. 본 개시가 상기 도 4의 방법의 특정 단계들이 특정 순서로 발생하는 것으로 설명 및 예시하고 있지만, 본 개시는 어떤 적절한 순서로 발생하는 상기 도 4의 방법의 어떤 적절한 단계들이든지 고려하고 있다. 또한, 본 개시가, 상기 도 4의 방법의 상기 특정 단계들을 포함하는, 사용자에 대한 심장학적 메트릭들을 계산하는 예시적 방법을 설명 및 예시하고 있지만, 적절한 경우, 본 개시는, 상기 도 4의 방법의 상기 단계들 중 전부 또는 일부를 포함하거나 또는 아무것도 포함하지 않을 수 있는 어떤 적절한 단계들을 포함하는, 사용자에 대한 심장학적 메트릭들을 계산하는 어떤 적절한 방법이든지 고려하고 있다. 나아가, 본 개시가 상기 도 4의 방법의 특정 단계들을 수행하는 특정 구성요소들, 장치들, 또는 시스템들을 설명 및 예시하고 있지만, 본 개시는 상기 도 4의 방법의 어떤 적절한 단계들을 수행하는 어떤 적절한 구성요소들, 장치들, 또는 시스템들의 어떤 적절한 조합이든지 고려하고 있다.
특정 실시예들에서, 호흡과 연관된 메트릭들은 원격 PPG(remote PPG: rPPG)를 이용하여 측정되어 코 위 또는 코 근처에 위치한 다수의 동맥들의 동시(concurrent) 분석을 수행할 수 있다. 부교감 신경계(parasympathetic nervous system)는 호흡 시 호기(exhalation)에 의해 활성화된다. 비동맥들(nasal arteries)을 통한 혈액의 이동을 측정함으로써, 상기 각각의 동맥을 통해 흐르는 혈액의 주기적 운동 뿐만 아니라 혈액량 변화를 측정하여 흡기(inhalation) 및 호기 시간을 포함하는 다수의 호흡 메트릭들이 결정될 수 있다. 상기 사용자의 호흡수(respiratory rate)는 복합(composite) BVP 신호를 이용하여 계산될 수 있다. 특정 실시예들에서, 상기 복합 BVP 신호는 다수의 표재 비동맥들에 대한 BVP 변화의 동시 측정들에 기반한 신호이다. 호흡의 역학은 주기적인 머리 움직임을 유발하고 이는 결국 상기 비동맥들로부터 상기 신호를(예들 들면, 반사를 통해) 변조할 수 있다. 특정 실시예들에서, 상기 결과적인 복합 BVP 신호에 대한 상기 주기적인 머리 움직임의 영향은 비-비동맥(non-nasal artery)에 대한 BVP 변화의 측정을 이용하여 보상될 수 있다. 제한으로서가 아니라 예로서, 상기 복합 BVP 신호는 이마 동맥(forehead artery)을 이용하여 정제될 수 있다. 이마의 동맥들에는 얼굴로부터의 광반사를 변조할 수 있는 감정 표현들이 드러나지 않는다. 본 개시가 특정 유형의 센서들을 이용하여 특정 심장학적 및 호흡 메트릭들을 측정하는 것에 대해 예시 및 설명하고 있지만, 본 개시는 심장학적 및 호흡 메트릭들을 측정하기 위한 어떤 적절한 유형의 센서들의 이용이든지 고려하고 있다.
상기한 바와 같이, 하나 이상의 심장학적 메트릭들은 PPG 파형의 생리학적으로 개연성 있는(plausible) 또는 분석가능한(analyzable) 서브-세그먼트들(sub-segments)에 기반하여 계산될 수 있다. 특정 실시예들에서, 생리학적으로 개연성 있는 또는 분석가능한 서브-세그먼트들은 임계 SNR(threshold SNR)을 만족시키는 서브-세그먼트들로서 정의될 수 있다. 상기 PPG 파형의 특징들(예를 들면, 피크들(peaks), 영교차들(zero crossings), 또는 트로프들(troughs))은 심장학적 및 호흡 메트릭들을 추출 또는 계산하기 위한 하나 이상의 분석가능한 세그먼트들을 찾는 데 이용될 수 있다. 특정 실시예들에서, 분석가능한 세그먼트들은, 캡처되는 기저(underlying) 프로세스들이 반사 색차 신호(reflected chrominance signal) 또는 폐혈액량(pulmonary blood volume: PBV) 신호를 이용하는지 여부에 따라, 베이스라인 신호에 대한 PPG 신호의 신호 대 잡음비(SNR)를 분석한 후 우세한 신호 및 그 고조파에 대한 테스트 신호의 잡음 지수(noise quotient)를 계산함으로써 획득될 수 있다. 다른 실시예들에서, 신호 성분들은 이론적 모델로부터 또는 데이터베이스 및 예상 주파수 성분들로부터 획득될 수 있다. 하기한 바와 같이, 병리학적 사례들을 안내하기 위해 PPG 신호 프로파일이 계산될 수 있다. 제한으로서가 아니라 예로서, 부정맥(arrhythmia) 환자들에 있어서, 상기 베이스라인 신호는, 잡음이 전혀 없더라도, 매우 손상된 신호인 것처럼 잘못 보일 수 있다.
상기 카메라로부터의 이미지들로부터 추출된 상기 PPG 파형은 HR을 찾기 위한 분석가능한 서브-세그먼트들로 분할될(segmented) 수 있는 시계열이다. 특정 실시예들에서, 하나 이상의 미리 정의된 생리학적 신호 특성들은 상기 PPG 파형의 분석가능한 서브-세그먼트들을 식별하는 데 이용될 수 있다. 특정 실시예들에서, BVP 및 맥박 타이밍(pulse timing)은 호흡 프로파일의 예상 거동과 비교될 수 있다. 유효(valid) 세그먼트들은, 예를 들면, 타이밍, 진폭(amplitude), 모폴로지(morphology), 또는 호흡성 동부정맥(respiratory sinus arrhythmia: RSA) 간의 일관성과 같이, 측정된 BVP에서 예상되는 특성들에 상응해야 한다. 유효 심장 맥박들은, 일관성 없는 또는 개연성 없는(implausible) RR 간격(여기서 "RR"은 심장박동들 간의 시간을 의미함) 또는 진폭을 갖는 PPG 파형들을 식별하기 위해, PPG 파형들의 호흡성 변이들(respiratory variations)의 분석을 통해 추출될 수 있다. 생리학적으로 개연성 있는 맥박들은 BVP 측정들로부터 예상되는 특성들에 부합할 수 있다. 제한으로서가 아니라 예로서, 호기(exhalation) 동안 BVP가 점진적으로 증가하면서 RR 간격들도 또한 점진적으로 증가하며, 흡기(inhalation) 동안에는 그 반대이다. 이 신호들 간의 동시출현(co-occurrence) 또는 높은 공변성(covariance)은 주어진 파형의 생리학적 개연성(plausibility)을 나타내는 것일 수 있다.
다른 예로서, 상기 PPG 파형의 분석가능한 서브-세그먼트들은 신호의 고속 푸리에 변환(fast Fourier transform: FFT)에서 우세한 주파수와 일치하는 RR 간격에 상응할 수 있다. 특정 실시예들에서, 생리학적으로 개연성 없는 HR 계산을 초래하는 맥박들을 제거하기 위해, 전체 시계열은 짧은 시계열 세그먼트들에 대한 주파수 변환의 맥락 분석(contextual analysis)을 이용하여 정제될 수 있다. 또한, 상기 분석가능한 시간 세그먼트들의 맥박 기원들(pulse origins)은 생리학적으로 개연성 없는 지점들에서 발생해서는 안 된다.
또한, BVP의 프로파일은 미리 정의된 혈액 맥박과 일치해야 하며, 여기서 상승 부분(수축기(systolic) 부분)은 이완기(diastolic) 부분(상기 맥박의 감쇠 부분)보다 작다. 분석가능한 세그먼트들에 대해, 혈액 맥박의 90% 폭은 두 신호들 간에 맥동 활동(pulsatile activity)이 없는 경우들의 RR 간격과 대략 동일해야 한다. 상기한 바와 같이, 미리 정의된 신호 특성은, 생리학적으로 개연성 있는 미리 결정된 호흡 프로파일과 일치하는, PPG 신호의 분석가능한 서브-세그먼트들을 식별하는 데 이용된다. 제한으로서가 아니라 예로서, 호기 중에 R파-R파(RR) 간격들이 점진적으로 증가하는 동안 측정된 맥박용적(pulse volume) 측정치가 점진적으로 증가하는지 여부를 결정하기 위해, 상기 PPG 파형이 분석될 수 있다. 반대로, 분석가능한 서브-세그먼트들은, 흡기 중에 RR 간격들이 점진적으로 감소하는 동안, 점진적으로 감소하는 맥박용적 측정치를 가져야 한다. 또한, 상기 PPG 신호의 분석가능한 서브-세그먼트들은 상기 신호의 해당 수축기 부분이 동일 신호의 해당 이완기 부분보다 작은지 여부를 결정함으로써 확인될 수 있다.
상기한 바와 같이, 카메라에 의해 캡처된 데이터로부터 추출된 상기 PPG 파형은 적색, 녹색, 및 청색 채널 성분을 포함한다. 가시광 스펙트럼의 상이한 색상들(예를 들면, 적색, 녹색, 또는 황색)에 상응하는, 상이한 파장들에서의 가시광은 그 파장에 따라 다양한 깊이들로 피부에 침투한다. 특정 실시예들에서, 적색, 녹색, 또는 청색 채널들 중 어떤 것과 연관된 신호들이 미리 결정된 기준들에 기반하여 생리학적으로 개연성 없는지 여부를 결정하기 위해, 상기 PPG 파형이 분석될 수 있다. 제한으로서가 아니라 예로서, 그러한 하나의 기준(criterion)은 상기 사용자의 얼굴로부터 반사된 신호의 DC 파워에 기반한다. 상기 반사된 신호의 파워는 피부에 흡수된 광량에 반비례한다. 인간 피부는 두 개의 층들, 표피(epidermis) 및 진피(dermis)를 갖고 있다고 생각될 수 있다. 표피는, 자외선으로부터 사람들을 보호하기 위해 보다 낮은 파장(청색)의 빛을 우선적으로 흡수하는, 멜라닌(melanin)을 함유한다. 이러한 이유로, 입사 청색광의 상당 부분은 표피를 통과하여 진피 내에 이르지 못한다. 따라서, 가시광의 청색 성분은 침투 깊이가 가장 작지만, 상기 빛의 대부분은 반사되지 않고 표피에 흡수된다. 또한, 청색광이 진피로 침투하는 경우, 이 청색 성분은 헤모글로빈(및 기타 피부 색소들(cutaneous pigments))과 상호작용하고 추가적으로 흡수되어 반사량을 더 감소시킨다. 그러므로, 가시광의 상기 청색 성분은 반사율(reflectance)이 가장 낮고, 따라서 상기 청색 채널로부터의 신호는 그 전체 신호의 총 파워가 가장 작다.
상기 적색 성분은 피부의 모든 층들에서 반사되는 유일한 성분이며, 이에 따라 상기 적색 성분은 침투 깊이 및 총 파워가 가장 크다. 특정 실시예들에서, 상기 청색 성분의 총 파워가 상기 적색 또는 녹색 성분의 총 파워보다 더 큰 경우, PPG 세그먼트는 신뢰할 수 없거나 개연성 없는 것으로서 폐기될 수 있다. DC 청색 반사율은, 상기 적색 성분의 DC 반사율보다 작은, 녹색 성분의 DC 반사율보다 작아야 한다. 따라서, 상기 PPG 파형의 분석가능한 세그먼트들에 있어서, 상기 적색 성분들의 총 파워는, 상기 청색 성분들의 총 파워보다 커야 하는, 상기 녹색 성분들의 총 파워보다 커야 한다. 특정 실시예들에서, PPG 세그먼트가 이 패턴에 부합하지 않는 경우, 상기 PPG 세그먼트는 신뢰할 수 없는 것으로서 폐기될 수 있다. 입사광이 "백색"이라는(각 색상 성분(예를 들면, 적색, 녹색, 및 청색)의 대략 동일한 양이 상기 사용자의 피부 표면에 입사한다는) 가정 하에서 이러한 기준들(criteria)이 엄격히 유효하다는 것에 주의해야 한다. 예를 들면, 좁은 청색광원이 인간 피부의 표면에 입사한다면, 상기 기준은 유효하지 않을 수 있다. 특정 실시예들에서, "백색" 광원이라는 이 가정은 베이스라인 측정들을 수행하면서 상기 광학 카메라를 이용하여 테스트될 수 있다.
다른 예시적 기준은 신호의 AC 성분에 기반한다. 신호의 AC 성분은 혈액이 ROI를 통해 흐름(예를 들면, 상기 사용자의 심장 박동으로부터)에 따른 반사율 변동(variation)에 기인한다. 특정 실시예들에서, 상기 카메라로부터의 캡처된 신호는, 상기한 바와 같이, 미리 정의된 신호 특성들에 기반하여 유효-검증될(validated) 수 있다. 혈액은 얼굴의 주요 발색단(chromophore)이고 멜라닌보다 더 강한 감쇠(attenuation)를 야기하여, 이에 따라 상기 적색 성분보다 상기 녹색 성분을 더 많이 흡수한다. 상기 효과는 상기 3개의 성분들 중 상기 녹색 채널의 맥동(즉, AC) 파워가 가장 크도록 만든다. 제한으로서가 아니라 예로서, 상기 녹색 성분의 맥동 파워가 상기 적색 또는 청색 채널 성분의 맥동 파워보다 작은 경우, 세그먼트는 신뢰할 수 없는 것으로서 폐기될 수 있다. 상기 캡처된 신호의 상기 AC 및 DC 성분들에서의 변동은 환경 조명의 변화로 인해 발생할 수 있다. 환경 조명으로 인한 이러한 변동은 보상될 수 있거나(예를 들면, 상기한 바와 같이, 이마 동맥의 측정을 통해) 또는 해당 세그먼트들은 유효하지 않은 것으로서 표시될(flagged) 수 있다.
상기 PPG 파형의 세그먼트들을 유효-검증하기 위한 다른 예시적 기준은 신호의 공변성(covariance)에 기반한다. 특정 실시예들에서, 상기 카메라로부터의 상기 캡처된 신호는, 상기 적색, 녹색, 및 청색 채널 성분들이 특정 신호에 대해 공변하여(co-variant) 세 개의 채널 성분들에서의 맥박들이 시간-정렬되는지 여부에 기반하여, 유효-검증될 수 있다. 상기한 바와 같이, 각 색상 채널은 혈액의 흐름 및 광흡수에 의해 주로 변조될 수 있다. 상기 세 개의 채널들로부터의 성분들이 높은 공변성을 갖지 않는, 상기 신호의 세그먼트들은 배척되어(rejected) 연관된 심장학적 또는 호흡 메트릭들의 계산에 이용되지 않을 수 있다.
특정 실시예들에서, 상기 PPG 파형의 세그먼트들은 상기 세그먼트들의 이산 푸리에 변환(discrete Fourier transform: DFT) 파워에 따라 배척될 수 있다. 제한으로서가 아니라 예로서, DFT 피크는 RR 또는 RR-델타들(RR-deltas)과 일치해야 한다. 특정 실시예들에서, 시간 세그먼트들의 SNR은 RR 값들을 상기 DFT 피크와 비교하는 경우 고려될 수 있다. 제한으로서가 아니라 예로서, 특정 실시예들은 협대역 주파수 성분과 잡음 플로어(noise floor) 간의 SNR이 적절히 높은지에 대해 체크한다. SNR이 낮은 경우, 현재의 윈도우(즉, 분석되고 있는 PPG 샘플)는 폐기된다. 세그먼트들은 시간 윈도우 내의 값들을 관찰함에 기반하여 폐기 또는 보정될(corrected) 수 있다. 특정 실시예들에서, 시간 세그먼트들은 정규화된 평균-중심화(mean-centered) RGB 채널들 간의 윈도우화된 공변성(windowed covariance)의 최대 허용가능 중앙값(median)에 대한 임계값(threshold)에 기반하여 배척될 수 있다.
상기한 바와 같이, 상기 PPG 파형의 분석가능한 세그먼트들은 상기 사용자의 평균 HR 또는 HR 범위를 계산하는 데 이용될 수 있다. 제1 단계에서, 분석가능한 세그먼트들은 공변성 분석을 이용하여 식별될 수 있다. 특정 실시예들에서, 이 단계는 초기화 구간(initialization period) 동안 발생할 수 있다. 제2 단계는, 상기한 바와 같이, 상기 카메라로부터 수집된 이미지들을 이용한 관심 동맥들의 후속적인 추적을 포함한다. 제3 단계에서, 큰 값의 임펄스들(예를 들면, 날카로운 에지들/불연속들을 갖는 것들)은 HR 계산에 있어서 제거 또는 무시될 수 있다. 제4 단계에서, 로그 공간 또는 혈액량 맥박에서의 픽셀 지수(pixel quotient)를 이용하여 신호 변환이 수행될 수 있다. 제5 단계에서, 신호 특징들(예를 들면, 피크, 트로프(trough), 영교차들(zero-crossings), 신호 프로파일, SNR 등)은 상기 RR을 계산하는 데 이용될 수 있다. 제6 단계에서, 생리학적으로 개연성 있는 또는 분석가능한 세그먼트들은, 신호 R, G, B 채널들에서, 상기한 바와 같이, 상기 카메라에 의해 캡처된 이미지들로부터 획득된 총 신호 파워 및 총 맥동 파워에 기반하여 식별될 수 있다. 생리학적으로 개연성 있는 또는 분석가능한 세그먼트들은, 상기한 바와 같이, 호흡, 혈액량(신호 진폭), 및 타이밍 변동 분석을 이용하여 식별될 수 있다. 다음 단계에서, 개연성 없는 맥박들은 주파수 분석을 이용하여 제거될 수 있다. 시계열에서 잡음 있는 세그먼트들은 시계열의 SNR과 베이스라인 신호 프로파일을 비교하여 식별될 수 있다. 특정 실시예들에서, RR은 근위 맥박들(proximal pulses)을 이용한 시간-도메인 분석에 기반하여 결정된 후, 평균 HR 또는 HR 범위를 계산하는 데 이용된다. 특정 실시예들에서, 상기 분석은 상기 시계열의 독립 성분 분석(independent component analysis: ICA)을 이용하여 수행될 수 있으며, 여기서 상기 시계열은, 상기 독립 성분들의 상호정보량(mutual information: MI)이 0에 가까워질 때까지, 미리 결정된 프레임 수의 증분씩 주기적으로 증가된다. HR은 최대 독립 성분의 FFT를 계산함으로써 계산될 수 있다.
도 5는 사용자에 대한 심박수 측정을 수행하는 예시적 방법을 도시한다. 방법(500)은, 컴퓨팅 시스템과 연관된 광학 카메라가 사용자의 이미지들을 실시간으로 캡처하는, 단계(510)에서 시작된다. 특정 실시예들에서, 상기 광학 카메라는 상기 컴퓨팅 시스템과 접속 또는 통합된다. 단계(520)에서, 상기 컴퓨팅 시스템은 상기 복수의 이미지들에 기반하여 상기 사용자에 대한 시계열 신호를 결정할 수 있다. 특정 실시예들에서, 상기 신호는 생리학적으로 개연성 있는 하나 이상의 세그먼트들 및 생리학적으로 개연성 없는 하나 이상의 세그먼트들을 포함한다. 단계(530)에서, 상기 컴퓨팅 시스템은, 하나 이상의 미리 정의된 신호 특성들에 기반하여, 상기 생리학적으로 개연성 있는 서브-세그먼트들 중 하나 이상을 식별할 수 있다. 특정 실시예들에서, 상기 식별 단계는 상기 시계열의 SNR을 계산하는 단계 및 상기 SNR과 임계 SNR을 비교하는 단계를 포함할 수 있다. 상기 임계 SNR보다 더 큰 계산된 SNR을 갖는 상기 신호의 서브-세그먼트들이 식별될 수 있다. 단계(540)에서, 상기 컴퓨팅 시스템은, 상기 생리학적으로 개연성 있는 서브-세그먼트들에 기반하여, 하나 이상의 심박수 측정들을 계산할 수 있다.
적절한 경우, 특정 실시예들은 도 5의 방법(500)의 하나 이상의 단계들을 반복할 수 있다. 본 개시가 상기 도 5의 방법의 특정 단계들이 특정 순서로 발생하는 것으로 설명 및 예시하고 있지만, 본 개시는 어떤 적절한 순서로 발생하는 상기 도 5의 방법의 어떤 적절한 단계들이든지 고려하고 있다. 또한, 본 개시가, 상기 도 5의 방법의 상기 특정 단계들을 포함하는, 사용자에 대한 심박수 측정을 수행하는 예시적 방법을 설명 및 예시하고 있지만, 적절한 경우, 본 개시는, 상기 도 5의 방법의 상기 단계들 중 전부 또는 일부를 포함하거나 또는 아무것도 포함하지 않을 수 있는 어떤 적절한 단계들을 포함하는, 사용자에 대한 심박수 측정을 수행하는 어떤 적절한 방법이든지 고려하고 있다. 나아가, 본 개시가 상기 도 5의 방법의 특정 단계들을 수행하는 특정 구성요소들, 장치들, 또는 시스템들을 설명 및 예시하고 있지만, 본 개시는 상기 도 5의 방법의 어떤 적절한 단계들을 수행하는 어떤 적절한 구성요소들, 장치들, 또는 시스템들의 어떤 적절한 조합이든지 고려하고 있다.
심혈관계는, 교감 신경계(sympathetic nervous system: SNS) 및 부교감 신경계(PSNS)를 포함하는, 상기 ANS에 의해 조절된다. 교감-미주신경 균형(SVB)은 상기 SNS와 상기 PSNS 간의 평형점으로서 정의된다. 심장의 리듬(rhythm)은, 상기 자율 신경계의 교감 및 부교감 가지들(branches)에 의해 변조되는, 동방 결절(sinoatrial(SA) node)에 의해 제어된다. 심장은 척추(spinal column)의 부교감 및 교감 신경절들(ganglia) 및 외측 회색 기둥(lateral grey column)을 통해 그것의 신경 자극(neural input)을 수용한다. 교감신경 활동(sympathetic activity)은 심박수를 증가시키는 경향이 있는 반면, 부교감신경 활동(parasympathetic activity)은 심박수를 감소시키는 경향이 있다. 특정 실시예들에서, 감정들의 SVB 기반 평가는, 교감신경 유출(outflow)과 PSNS(예를 들면, 미주신경(vagal nerve)) 유출이 안정적으로 균형 잡힌, 항상성 평형(homeostatic equilibrium)을 결정할 수 있다. 따라서, SVB는 SNS와 PSNS 간의(예를 들면, 부교감신경 유출과 교감신경 유출 간의) 상대적 우세 및 균형을 분석함으로써 결정될 수 있다. 이 접근법은 본질적으로 선형적이므로, 잡음(예를 들면, 이는 본질적으로 비선형적인 경향이 있음)에 대해 매우 안정적이다.
도 6A는 베이스라인 데이터 히스토그램의 예를 도시한다. 도 6A의 예에 도시한 바와 같이, 베이스라인 데이터 히스토그램(600)의 x-축은 심박수 변동들(fluctuations)(예를 들면, 연속적인 심장 박동들 간의 RR-델타들 또는 RR 간격 차이들)에 상응하고, 베이스라인 데이터 히스토그램(600)의 y-축은 베이스라인 데이터 세트에 대해 특정 심박수 변동들이 발생하는 빈도(frequency) 또는 횟수에 상응한다. 베이스라인 SVB의 한쪽에 있는 측정 데이터 세트의 일부는 심장 활동 데이터의 제1 부분 내의 ANS 활동 표지자(marker) 수를 결정하는 데 이용된다. 상기 제1 부분 내의 ANS 활동 표지자 수 및 상기 심장 활동 데이터의 제2 부분 내의 ANS 활동 표지자 수가 관여된 비(ratio)인, HRV 특성이 계산된다. SVB는 베이스라인 데이터 히스토그램(600)의 50:50 분포 지점에 의해 정의되어, 상기 베이스라인 데이터 세트의 데이터 포인트들의 50%는 상기 SVB의 좌측에 있고 상기 베이스라인 데이터 세트의 데이터 포인트들의 50%는 상기 SVB의 우측에 있게 된다. HRV 데이터는 상기 SVB의 변화를 결정하는 데 이용된다. HRV는 연속적인 심장 박동들 간의 변동들(variations)을 설명해 준다. 베이스라인 데이터 히스토그램(600)을 이용하여, 상기 SVB는 "정상(normal)"(예를 들면, 스트레스 받지 않는) 상태를 나타내는 HRV 존(zone)에 상응한다. 상기 SVB의 분석은 SNS 및 PSNS를 동일한 가중치로 다루며(예를 들면, 이 둘은 ANS 각성(arousal)을 분석하는 데 유용할 수 있기 때문임) 상기 RR-델타들을 이용한다.
특정 실시예들에서, SVB를 결정하기 위해, 스트레스 또는 각성은 테스트 데이터 t의 RR-델타 히스토그램 Ht에서 SNS의 증가된 우세(dominance)로서 정의되며, 상기 히스토그램 상의 데이터 포인트들은 테스트 데이터 세트에서 인접한 RR 간격들의 길이 간 차이에 상응한다. 특정 실시예들에서, SNS에 상대적으로 매핑된 이벤트들의 수와 PSNS에 상대적으로 매핑된 이벤트들의 수의 비가 계산된다. HRV의 측정들은 시간 도메인 분석 또는 주파수 도메인 분석에 기반할 수 있는데, 상기 두 가지 분석은 모두 많은 단점들을 가지고 있다. 예로서, FFT에 기반한 방법들과 같은 주파수 도메인 분석 방법들은, 상기 방법들이 잡음 아티팩트들(artifacts)에 매우 민감하기 때문에, 모바일 플랫폼들 상에 구현하기에 매우 적합하지 못하며, 상당히 긴 측정 시간을 필요로 한다. 연속적 심장박동 간격 차이들의 제곱평균제곱근(root mean square of successive heartbeat interval differences: RMSSD), NN(박동-박동) 간격들의 표준 편차(standard deviation of NN intervals: SDNN), 및 50 밀리초 초과만큼 상이한 연속적 NN 쌍들의 수를 NN들의 총수로 나눈 비율(proportion of the number of pairs of successive NNs that different by more than 50 milliseconds divided by the total number of NNs: pNN50)과 같은, 시간 도메인 방법들은 순간 심박수 신호를 분석하는 데 자주 이용된다. 상기 사용자의 베이스라인 SVB, 및 RR-델타 히스토그램 Ht가 주어지면, 상기 SVB는 모든 RR-델타들의 중앙값, 모든 RR-델타들의 평균값, Ht에 대해 계산된 RMSSD의 50%, Ht에 대해 계산된 SDNN의 50%, 기타 관련된 값들, 또는 이들의 어떤 조합으로서 계산될 수 있다.
도 6B는 SVB가 좌측으로 이동된 테스트 데이터 히스토그램(610)의 예를 도시하며, 도 6C는 SVB가 우측으로 이동된 테스트 데이터 히스토그램(620)의 예를 도시한다. 도 6B의 예에 도시된 바와 같이, 도 6A와 유사하게, 테스트 데이터 히스토그램(610)의 x-축은 심박수 변동들(예를 들면, RR-델타들)에 상응하고, 테스트 데이터 히스토그램(610)의 y-축은 테스트 데이터 세트에 대한 심박수 변동들의 횟수에 상응한다. 특정 실시예들에서, 측정 데이터 세트의 제1 및 제2 부분들은, 상기 측정 데이터 세트의 히스토그램 표현을 상기 제1 및 제2 부분들로 분할하는, 베이스라인 SVB값(예를 들면, 사용자별(user-specific) 베이스라인 SVB값)에 기반하여 선택된다. 상기 테스트 데이터 세트에 대한 상기 심박수 변동들이 평균적으로 히스토그램 A1(예를 들면, 베이스라인 데이터에 상응함)으로부터 히스토그램 A2로 좌측 방향으로 균형의 이동을 초래하는 경우, 또는 다시 말해서, 상기 SVB(예를 들면, 상기 베이스라인 데이터에 기반하여 결정됨)의 좌측에 있는 히스토그램 A2의 심박수 변동들의 측정치들의 수가 상기 SVB의 우측에 있는 히스토그램 A2의 심박수 변동들의 측정치들의 수보다 큰 경우, 상기 사용자의 상태는 "높은 각성" 상태를 나타내는 HRV 존에 상응하는 것으로 결정된다. 다른 방식으로 설명하면, 도 6B에 도시된 바와 같이, 총면적 A가 주어지면, 상기 히스토그램이 좌측으로 이동하는 경우, A에 대한 A2의 면적(예를 들면, A2의 곡선 아래 면적)은 A에 대한 A1의 면적(예를 들면, A1의 곡선 아래 면적)보다 작다고 결정되고, 상기 사용자의 상태는 "높은 각성" 상태 또는 증가된 SVB를 나타내는 HRV 존에 상응하는 것으로 결정된다.
반면에, 도 6C에 도시된 바와 같이, 도 6A와 유사하게, 테스트 데이터 히스토그램(620)의 x-축은 심박수 변동들(예를 들면, RR-델타들)에 상응하고, 테스트 데이터 히스토그램(620)의 y-축은 테스트 데이터 세트에 대한 상기 심박수 변동들의 횟수에 상응한다. 상기 테스트 데이터 세트에 대한 상기 심박수 변동들이 평균적으로 히스토그램 A1(예를 들면, 베이스라인 데이터에 상응함)으로부터 히스토그램 A2로 우측 방향으로 균형의 이동을 초래하는 경우, 또는 다시 말해서, 상기 SVB(예를 들면, 상기 베이스라인 데이터에 기반하여 결정됨)의 우측에 있는 히스토그램 A2의 심박수 변동들의 측정치들의 수가 상기 SVB의 좌측에 있는 히스토그램 A2의 심박수 변동들의 측정치들의 수보다 큰 경우, 상기 사용자의 상태는 "낮은 각성" 상태를 나타내는 HRV 존에 상응하는 것으로 결정된다. 다른 방식으로 설명하면, 도 6C의 예에 도시된 바와 같이, 총면적 A가 주어지면, 상기 히스토그램이 우측으로 이동하는 경우, A에 대한 A2의 면적(예를 들면, A2의 곡선 아래 면적)은 A에 대한 A1의 면적(예를 들면, A1의 곡선 아래 면적)보다 크다고 결정되고, 상기 사용자의 상태는 "낮은 각성" 상태를 나타내는 HRV 존에 상응하는 것으로 결정된다.
특정 실시예들은, 맥락상(contextually) 적절한 SVB의 개념(notion)에 기반하여, 상기 RR-델타 히스토그램 Ht를 분할하는 것에 따라 달라진다. 제한으로서가 아니라 예로서, 모든 순환 구성요소들(cyclic components)이 기록(recording) 구간의 변이성(variability)의 원인이 되는 상황인 경우, SVB를 위한 비(ratio)는 SDNN 모델을 통해 평가될 수 있다.
도 7은 감정의 복합순환 모델(circumplex model)의 예시적 다이어그램을 도시한다. 상기 감정의 복합순환 모델(700)은 인간 감정들을, 각성도(arousal) 및 정서가(valence) 차원들을 포함하는, 2차원 원형 공간(702)으로 매핑한다. 각성도의 레벨들은 수직축으로 매핑되고 정서가는 원형 공간(702)의 수평축에 매핑된다. 상기 복합순환 모델(700)에서, 상기 정서가는 감정의 유형(예를 들면, 긍정 또는 부정)에 상응하는 반면, 상기 각성도는 상기 감정의 강도(intensity)에 상응한다. 원형 공간(702)의 중심은 중립적 정서가 및 각성도 레벨들을 나타낸다. 이 모델에서, 감정 상태들은 정서가 및 각성도의 어떠한 레벨로, 또는 이 인자들(factors) 중 하나 또는 둘 모두의 중립 레벨로 표현될 수 있다. 또한, 원형 공간(702)은 네 개의 사분면들(I-IV)로 구획될 수 있으며, 각 사분면은 각성도 및 정서가의 레벨들이 유사한 감정 상태들의 그룹(grouping)에 상응한다. 제한으로서가 아니라 예로서, 사분면(I) 감정들은 긍정 정서가 및 높은 각성도의 감정 상태들에 상응한다. 상기 예시된 실시예에서, 사분면(I)의 감정 상태들은 경계(alert), 흥분(excited), 기쁨(elated), 및 행복(happy)을 포함한다. 정서가가 증가하는 순서로, 사분면(I)의 이 감정 상태들은 경계, 흥분, 기쁨, 및 행복이다. 각성도가 증가하는 순서로, 사분면(I)의 이 감정 상태들은 행복, 기쁨, 흥분, 및 경계이다.
사분면(II) 감정들은 부정 정서가 및 높은 각성도의 감정 상태들에 상응한다. 상기 예시된 실시예에서, 사분면(II)의 감정 상태들은 긴장(tense), 초조(nervous), 스트레스 받음(stressed), 및 속상함(upset)을 포함한다. 정서가가 증가하는 순서로, 사분면(II)의 이 감정 상태들은 속상함, 스트레스 받음, 초조, 및 긴장이다. 각성도가 증가하는 순서로, 사분면(II)의 이 감정 상태들은 속상함, 스트레스 받음, 초조, 및 긴장이다.
사분면(III) 감정들은 부정 정서가 및 낮은 각성도의 감정 상태들에 상응한다. 상기 예시된 실시예에서, 사분면(III)의 감정 상태들은 슬픔(sadness), 우울(depression), 무기력(lethargy), 및 피로(fatigue)를 포함한다. 정서가가 증가하는 순서로, 사분면(III)의 이 감정 상태들은 슬픔, 우울, 무기력, 및 피로로 나열될 수 있다. 각성도가 증가하는 순서로, 사분면(III)의 이 감정 상태들은 피로, 무기력, 우울, 및 슬픔이다.
사분면(IV) 감정들은 긍정 정서가 및 낮은 각성도의 감정 상태들에 상응한다. 상기 예시된 실시예에서, 사분면(IV)의 감정 상태들은 차분(calm), 편안(relaxed), 평온(serene), 및 만족(content)을 포함한다. 정서가가 증가하는 순서로, 사분면(IV)의 이 감정 상태들은 차분, 편안, 평온, 및 만족이다. 각성도가 증가하는 순서로, 사분면(IV)의 이 감정 상태들은 차분, 편안, 평온, 및 만족이다. 대안적인 예시적 실시예들에서, 추가적인 감정들이 포함될 수 있거나 또는 도 7의 하나 이상의 감정들이 생략 또는 개칭될(renamed) 수 있음을 이해할 것이다.
긍정적 감정들은 단지 10-15초 동안 지속될 수 있고, 따라서 긍정적 감정들의 검출은 상대적으로 짧은 시간에 수행되어야 한다. 특정 실시예들에서, 사용자의 감정들을 결정하기 위한 심장학-중심적(cardiology-centric) 분석은 선형 및 비선형 모델들의 조합에 의한 단기적 감정들의 예측 모델에 기반할 수 있다. 하기한 바와 같이, 사용자의 감정들의 추정(estimate)은, 광학 카메라(110)와 같은 광학 카메라를 통해 측정된 신경해부학적 또는 전정-체성 반사(vestibular-somatic reflex) 데이터(예를 들면, 자세, 제스처, 또는 편측성)와 함께, 심장학 기반 데이터(예를 들면, 심박수 또는 SVB)에 적어도 부분적으로 기반하여 계산 또는 결정될 수 있다. 특정 실시예들에서, 전정-체성 반사 데이터, 및 심장학적 신호들의 동시 일치(simultaneous concordance)는 사용자의 감정을 검출하는 데 이용될 수 있으며, 여기서 심장학적 측정치들은, 상기한 바와 같이, 선형 및 비선형 접근법들의 복합 모델을 이용하여 결정될 수 있다. 제한으로서가 아니라 예로서, 심장학적 데이터는 사용자의 교감-미주신경 균형(SVB)에 기반하여 감정을 검출하기 위한 선형 모델을 이용하여 측정될 수 있다. 다른 예로서, 상기 심장학적 데이터는, 대략 12초만에 수렴하는 심박수 역학에 기반하는, HR 역학의 비선형 모델을 이용하여 측정될 수 있다. 특정 실시예들에서, 상기 비선형 모델은, 상기 사용자 대해 개인화될 수 있는, 확률적-점과정(probabilistic-point process) 비선형 모델에 기반한다. 이 접근법은 과거 이벤트들이 주어진 다음의 심장 박동의 확률 함수를 모델링한다. 특정 실시예들에서, 상기 확률 함수는 완전히 파라미터화되고 3차 자동회귀 위너-볼테라 관계(cubic auto-regressive Wiener-Volterra relationship)까지 고려하여 그것의 1차 모멘트(first order moment)를 모델링할 수 있다. 다시 말하면, 이 표현들은, 입력 신호의 증가하는 차수와 그 자신의 곱들을 포함하는 일련의 비선형 항들과 함께, 상기 입력 신호와 계(system)의 임펄스 응답의 컨볼루션(convolution)으로서 생각될 수 있다.
특정 실시예들에서, 신경학-중심적 데이터는, 얼굴 움직임 부호화 시스템(facial action coding system: FACS) 접근법을 이용하여 측정되는, 신경학적 신호를 분석함으로써 측정될 수 있다. 상기 FACS 접근법은 상이한 얼굴 움직임들을 행동 단위들(Action Units: AU)로 부호화하여(coding) 달성되는 얼굴 표정(facial expression) 배후의 근육 활동들을 해석함으로써 작동된다. 이 행동 단위들은, 얼굴 표정의 주어진 그리고 전형적으로 순간적인 변화들을 야기하는, 기저(underlying) 근육 활동에 기반한다. 다음에, 표정은 행동 단위 또는 특정 표정의 배후에 있는 행동 단위들의 조합을 식별함으로써 인식된다. FACS에 이용되는 주요 파라미터들 중 일부는, 카메라를 이용하여 캡처된 이미지들로부터 추출된, 눈썹, 입술 폭, 입, 치아 시인성(teeth visibility), 턱 라인(chin lines), 코입술 라인(nasolabial lines), 코 라인(nose lines), 및/또는 스마일 라인(smile lines)의 뺨 기반 인상을 포함한다. FACS는 상기 사용자의 주어진 얼굴 표정의 배후에 있는 30개 초과의 개별 행동 단위들에 기반한다. 특정 실시예들에서, 예를 들면, 신경망(neural network), 은닉 마르코프 모델(hidden Markov model: HMM), 또는 서포트 벡터 머신(support vector machine: SVM)과 같은, 머신 러닝(machine-learning: ML) 모델이 카메라에 의해 캡처된 상기 사용자의 이미지들로부터 추출된 행동 단위들의 해석을 훈련시키는 데 이용될 수 있다. 성별들(genders)은 상이하게 감정을 나타내므로, 조정된 ML 모델은 성별에 대해 조정될 수 있다.
신경해부학적 또는 전정-체성 반사(예를 들면, 자세, 제스처, 또는 편측성) 데이터는 상기 광학 카메라를 이용하여 캡처될 수 있다. 특정 실시예들에서, 상기 사용자의 편측성 또는 자세의 변화를 결정하기 위해, 상기 광학 카메라에 의해 캡처된 이미지들이 분석될 수 있다. 제한으로서가 아니라 예로서, 부정적 감정들은 얼굴의 좌측에서 보다 현저하게 나타날 수 있는 반면, 긍정적 감정들은 얼굴의 우측에서 보다 현저하게 나타날 수 있기 때문에, 상기 컴퓨팅 시스템은 편측성에 기초하여 사용자가 긍정적 또는 부정적 감정을 느끼고 있는지 여부를 결정할 수 있다. 다른 예로서, 불량한 신체 자세는 부정적 감정들과 연관될 수 있는 반면, 양호한 신체 자세는 긍정적 감정들과 연관될 수 있기 때문에, 상기 컴퓨팅 시스템은 신체 자세에 기반하여 사용자가 긍정적 또는 부정적 감정을 느끼고 있는지 여부를 결정할 수 있다.
SVB 선형 모델 및 심박수 역학 비선형 모델의 결과들이 동시에 감지되어 특정 감정과 일치하는 경우, 심장학적 신호들은 단기적 긍정 감정들을 결정짓는 요인일 수 있다. 6초를 초과하는 정서적 유발들(affective elicitations)은 전전두엽 피질(prefrontal cortex)이 자극 정보를 인코딩하여 이를 뇌간(brainstem)으로부터 중추자율신경망(central autonomic network: CAN)의 다른 영역들로 전송할 수 있도록 한다. 그러므로, 긍정적 감정들은 적어도 6초의 지속시간을 가져야 할 뿐만 아니라 적어도 추가적인 호흡 주기 이상이 검출되어야 한다. 본 명세서의 실시예들은 약 10-15초 동안 지속되는 감정 과정의 검출을 가능하게 한다. 특정 실시예들에서, 상기 사용자가 단기적 긍정 감정을 느끼고 있다는 실시간 결정(예를 들면, 대략 15초 이내의 결정)은, 상기 사용자의 환경, 상기 사용자가 참여하는 활동, 및/또는, 상기한 바와 같이, 신경학-중심적 데이터에 적어도 부분적으로 기반한 상기 사용자의 검출된 물리적 속성들(예를 들면, 사용자 자세)을 포함하여, 상기 사용자와 연관된 현재 상황(contextual) 정보를 이용하여 더 검증될(verified) 수 있다.
특정 실시예들에서, 컴퓨팅 시스템은 감정 평가 모듈을 포함할 수 있다. 본 명세서에서, 모듈(module)이라 함은 별개의(discrete) 기능을 수행하도록 구성된 독립적인(self-contained) 컴퓨터 코드 또는 실행파일(executable)을 말한다. 나아가, 모듈은 별개의 기능을 수행하도록 구성된 전용(dedicated) 전자 회로일 수 있다. RGB 채널들의 공변성이 분석될 수 있다. 특정 실시예들에서, 상기 컴퓨팅 시스템은, 도 6A 내지 도 6C의 예에 도시한 바와 같이, 미리 결정된 시간 간격으로(예를 들면, 매 30초마다) 측정된 HRV의 히스토그램을 분석함으로써 HRV-기반 SVB를 계산한다. 상기한 바와 같이, SVB는 SNS와 PSNS 간의 평형점으로서 정의되고, 따라서 정확한 SVB 계산을 위한 시간 요건은 SNS 및 PSNS 측정을 위한 안정화 시간에 따라 다르다. 제한으로서가 아니라 예로서, PSNS 측정은 안정화하는 데 대략 2 내지 3초가 걸릴 수 있는 반면, SNS 측정은 대략 25초가 걸릴 수 있다. 빈(bin)이 보다 큰(또는 측정 시간이 보다 긴) 히스토그램들은 계의 레이턴시(latency)를 보상하는 반면, 보다 작은 빈(또는 보다 짧은 측정 시간)은 부정확한 SVB 계산을 초래할 수 있다. 예시적 실시예에서, SVB 및 HR은 이진수가 아니라 SVB 및 HR 활성화의 강도(intensity)를 정량화 한 것이다. 따라서, 계산된 강도들은 추정될 수 있는 감정 상태들의 분해능(resolution) 및 수를 증가시키는 데 이용될 수 있다.
뇌가 상기 뇌의 고차 중심들(higher-order centers)에 의해 감정을 처리하기 전에 특정 길이의 시간이 걸릴 수 있다. 예를 들면, 이 시간은 6초 이상일 수 있다. 사용자들의 전형적인 호흡 주기는 호흡당 약 4초이며 이는 HR 및 HRV 및 SVB에서의 RSA-기반 변동들(variations)을 초래한다는 사실을 고려할 때, 예시적 실시예들은, 카메라로부터 캡처된, 심장학적 데이터(예를 들면, PPG 파형으로부터) 및 신경학-중심적 데이터로부터의 신호들로부터 공변 경향(covariant trend)을 확인하기 위해, 미리 결정된 시간 윈도우(예를 들면, 10초)를 이용할 수 있다.
분류(classification)는 주어진 입력에 대한 출력(예를 들면, 신경학-중심적 및 심장학적 데이터에 대한 감정)의 상관관계이다. 예를 들면, 특정한 특징 벡터(예를 들면, 특징들의 정돈된 리스트)는 상기 사용자의 특정한 감정과 상관될 수 있다. 라벨링된(labeled) 데이터의 입력 벡터 및 응답 벡터(answer vector)를 포함하는 "훈련(training)" 데이터 세트를 이용하여 구성된, 예측 함수(predictor function)를 이용하여, 분류가 수행될 수 있다. 머신 러닝 분류기(classifier) 알고리즘은, 상기 입력 벡터가 상기 응답 벡터에 가장 잘 맞도록 예측 함수를 구성하기 위해, 상기 입력 벡터와 하나 이상의 가중치들을 결합할 수 있다(예를 들면, 점곱(dot product)을 통해). 제한으로서가 아니라 예로서, 분류 알고리즘들은 서포트 벡터 머신(Support Vector Machine: SVM), 나이브 베이즈(Naive Bayes), 적응적 부스팅(Adaptive Boosting: AdaBoost), 랜덤 포레스트(Random Forest), 그래디언트 부스팅(Gradient Boosting), K-평균 클러스터링(K-means clustering), 잡음 있는 애플리케이션들의 밀도-기반 공간 클러스터링(Density-based Spatial Clustering of Applications with Noise: DBSCAN), 또는 신경망(Neural Network) 알고리즘들을 포함할 수 있다.
특정 실시예들에서, 오프라인 훈련 동안, 훈련 데이터는, 카메라를 이용하여 캡처된, 다수의 사용자로부터의 신경학적(예를 들면, FACS-기반) 및 심장학적(예를 들면, HR 및 SVB) 데이터 및 상기 데이터가 측정될 당시의 사용자의 상응하는 감정으로부터 획득될 수 있다. 제한으로서가 아니라 예로서, 상기 입력 벡터는 추출된 신경심장학적(neurocardiological) 특징들의 벡터일 수 있고, 상기 응답 벡터는 사용자에 의해 보고되는 바와 같은 상응하는 감정(예를 들면, 행복)일 수 있다. 제한으로서가 아니라 예로서, 감정 평가를 위한 훈련 데이터는 콘텐츠(예를 들면, 스포츠 게임, TV 쇼, 또는 영화)를 시청하는 동안 캡처된 사용자들의 이미지들일 수 있다. 특정 실시예들에서, 상기 머신 러닝 분류기의 상기 출력 벡터는 복합순환 모델(700)의 하나 이상의 사분면들 또는 감정들일 수 있으며, 상기 출력 벡터는, 상기 머신 러닝 분류기의 상기 예측 함수를 "훈련시키기" 위해, 라벨링된 데이터의 상기 응답 벡터(예를 들면, 사용자-제공 감정)와 비교될 수 있다.
얼굴 표정들은 말초 신경계(peripheral nervous system: PNS)에 대한 뇌의 영향을 반영하며, HR/HRV는 심장의 상태를 반영한다. 특정 실시예들에서, 상기 감정 평가 모듈은 카메라에 의해 캡처된 상기 사용자의 이미지들로부터 심장학적 및 신경학적 데이터를 수신할 수 있다. 특정 실시예들에서, 상기 감정 평가 모듈은 상당한 시간(예를 들면, ~5초 이상) 동안의 상기 심장학적 및 신경학적 데이터의 공변성에 기반하여 상기 사용자의 감정들을 결정하도록 구성될 수 있다. 특정 실시예들에서, 상기 감정 평가 모듈은 상기 심장학적 데이터에 기반하여 일정 시간 동안의 상기 사용자의 감정 상태의 추정을 수행할 수 있다. 심장학적 및 신경학적 데이터의 미리 결정된 임계값들에 상응하는 순간들(moments in time)은 상기 사용자의 감정들의 평가를 개시하는 데 이용될 수 있다. 제한으로서가 아니라 예로서, 임계값들(예를 들면, 60을 초과하여 상승하는 HRV 및 특정 얼굴 표정)에 상응하는 순간들이 캡처되어 특정 감정(예를 들면, 기쁨(elation) 또는 흥분)과 연관될 수 있다. 상기 감정 평가 모듈은 감정 상태 비교 모듈을 포함할 수 있다. 특정 실시예들에서, 상기 감정 평가 모듈은, 상기 심장학적 및 신경학적 데이터에 상응하는 감정의 복합순환 모델(700)의 특정 사분면을 결정함에 기반하여, 감정들을 식별할 수 있다. 제한으로서가 아니라 예로서, 상기 감정 평가 모듈은, 실질적으로 동시적인 SVB 및 HR 둘 모두의 증가는 상기 복합순환 모델(700)의 사분면(I)(오른쪽-위 사분면)에 상응하고, SVB 감소 및 HR 증가는 사분면(II)(왼쪽-위 사분면)에 상응하고, SVB 및 HR 둘 모두의 감소는 사분면(III)(왼쪽-아래 사분면)에 상응하고, SVB 증가 및 HR 감소는 사분면(IV)(오른쪽-아래 사분면)에 상응하는 것으로, 계산할 수 있다.
특정 실시예들에서, 상기 사용자의 결정된 감정들은 상기 신경학적 데이터를 이용하여 정제될 수 있다(예를 들면, 자세 및 활동 상황-기반 정제(posture & activity context-based refinement). 제한으로서가 아니라 예로서, 얼굴 표정에 수반되는 SVB 감소 및 HR 증가는 화(anger)에 상응할 수 있다. 다른 예로서, 얼굴 표정에 수반되는 SVB 감소 및 HR 증가는 초조함(nervousness)에 상응할 수 있다. 특정 실시예들에서, 상기 감정 평가 모듈은, 신경해부학적 데이터(예를 들면, 카메라에 의해 캡처된 자세 또는 제스처들)에 의해 결정된 상기 사용자의 감정에 기반하여, 상기 복합순환 모델(700)의 특정 사분면 내의 상기 사용자의 감정을 정제한다.
상기한 바와 같이, SVB 감소 및 HR 증가는 복합순환 모델(700)의 사분면(II)의 감정들(예를 들면, 속상함, 스트레스, 초조, 또는 긴장)을 나타낸다. 특정 실시예들에서, 화(anger)의 분석은 불량한 자세 또는 얼굴의 좌측에 표시되는 감정에 수반되는 검출을 통해 정제된다. 제한으로서가 아니라 예로서, 상기 감정 상태 비교 모듈은, SVB 및 HR 둘 모두의 증가의 결정, 상응하는 얼굴 표정, 및 이와 동시에 상기 사용자의 자세의 양호함 또는 얼굴의 우측에 표시되는 감정을 검출함에 기반하여, 상기 사용자가 기쁘게 느끼고 있다고 추정할 수 있다. 상기한 바와 같이, 이러한 결정들에 필요한 모든 신호들은, 광학 카메라(110)와 같은, 신호 광센서(signal optical sensor)에 의해 캡처될 수 있다. 본 명세서에서, SVB 및 HR 레벨들의 증가 및 감소는 베이스라인 값들에 대해 상대적이다. 특정 실시예들에서, 신경학적 및 심장학적(SVB 또는 HR 또는 이 둘 모두의 측면에서) 데이터의 일관성(coherence)의 경향이 미리 결정된 시간량(예를 들면, 10초)을 초과하여 유지되는 경우, 상기 컴퓨팅 시스템은 상기 추정된 감정 상태를 출력할 수 있다.
도 8은 감정 평가의 예시적 방법을 도시한다. 하기와 같이, 사용자의 감정들은 뇌파 활동 및 심장 활동의 특징들을 특정 감정들에 상관시킴으로써 평가될 수 있다. 특정 실시예들에서, 방법(800)은 감정 평가 시스템에 의해 수행될 수 있다. 상기 방법(800)은, 신호 센서가 사용자의 이미지들을 실시간으로 캡처하는, 단계(810)에서 시작된다. 단계(820)에서, 컴퓨팅 시스템은, 상기 캡처된 이미지들에 기반하여, 일정 시간 동안의 상기 사용자의 하나 이상의 단기 심장학적 신호들을 실시간으로 결정한다. 특정 실시예들에서, 단계(830)에서, 상기 컴퓨팅 시스템은, 상기 심장학적 신호들에 기반하여, 상기 사용자의 제1 단기 감정 상태를 실시간으로 추정할 수 있다. 특정 실시예들에서, 상기 제1 단기 감정 상태의 추정은 상기 캡처된 이미지들로부터 추출된 PPG 파형으로부터의 계산된 SVB 및 HR에 기반할 수 있다. 특정 실시예들에서, 단기(short-time)라 함은 대략 15초의 시간에 상응한다. 단계(840)에서, 상기 컴퓨팅 시스템은, 상기 캡처된 이미지들에 기반하여, 상기 일정 시간 동안의 상기 사용자의 하나 이상의 단기 신경학적 신호들을 실시간으로 결정할 수 있다. 단계(850)에서, 상기 컴퓨팅 시스템은, 상기 신경학적 신호들에 기반하여, 상기 사용자의 제2 단기 감정 상태를 실시간으로 추정한다. 특정 실시예들에서, 상기 제2 단기 감정 상태는 FACS를 이용한, 상기에서 설명한, 행동 단위들의 분류에 기반할 수 있다. 단계(860)에서, 상기 컴퓨팅 시스템은 상기 제1 추정 감정 상태와 상기 제2 추정 감정 상태를 비교할 수 있다. 단계(870)에서, 상기 제1 추정 감정 상태가 상기 제2 추정 감정 상태에 상응한다는 결정에 응답하여, 상기 제1 추정 감정 상태 및 상기 제2 추정 감정 상태에 기반하여, 상기 일정 시간 동안의 상기 사용자의 단기적 감정을 결정한다.
적절한 경우, 특정 실시예들은 도 8의 방법(800)의 하나 이상의 단계들을 반복할 수 있다. 본 개시가 상기 도 8의 방법의 특정 단계들이 특정 순서로 발생하는 것으로 설명 및 예시하고 있지만, 본 개시는 어떤 적절한 순서로 발생하는 상기 도 8의 방법의 어떤 적절한 단계들이든지 고려하고 있다. 또한, 본 개시가, 상기 도 8의 방법의 상기 특정 단계들을 포함하는, 사용자의 감정들을 평가하는 예시적 방법을 설명 및 예시하고 있지만, 적절한 경우, 본 개시는, 상기 도 8의 방법의 상기 단계들 중 전부 또는 일부를 포함하거나 또는 아무것도 포함하지 않을 수 있는 어떤 적절한 단계들을 포함하는, 사용자의 감정들을 평가하는 어떤 적절한 방법이든지 고려하고 있다. 나아가, 본 개시가 상기 도 8의 방법의 특정 단계들을 수행하는 특정 구성요소들, 장치들, 또는 시스템들을 설명 및 예시하고 있지만, 본 개시는 상기 도 8의 방법의 어떤 적절한 단계들을 수행하는 어떤 적절한 구성요소들, 장치들, 또는 시스템들의 어떤 적절한 조합이든지 고려하고 있다.
특정 실시예들에서, 본 명세서에서 설명되는 실시예들은 사용자의 심장 위험(cardiac risk)을 평가하는 데 이용될 수 있다. 예를 들면, 경동맥(carotid artery) 또는 요골 동맥(radial artery)의 죽상동맥경화증(atherosclerosis)의 결정은 뇌졸중(stroke)의 위험을 결정하는 데 매우 중요할 수 있다. 특정 실시예들에서, 혈압의 대리 표지자(surrogate marker)는 혈액량 맥박(BVP) 및/또는 PWTT를 이용하여 계산될 수 있다. 제한으로서가 아니라 예로서, 상기 경동맥에 대한 PWTT 및 혈액량 변화의 결정은, 동맥 경직도(arterial stiffness)가 PWTT를 통해 ANS에 의해 매개되기(mediated) 때문에, 사용자의 죽상동맥경화증의 정도(extent)의 측정을 가능하게 한다. 또한, 뇌졸중(stroke risk) 위험은, 상기 사용자의 베이스라인과 비교되는, 상기 경동맥 또는 요골 동맥에 대해 측정된 PWTT 및 그것의 BVP 변화에 기반하여, 계산될 수 있다. 유사하게, 상기 사용자가 아침에 깨는 시간 동안 표재 동맥들 중 하나 이상에 대한 PWTT 및/또는 그것의 BVP 변화를 지속적으로 측정함으로써, 심혈관(cardiovascular: CV) 위험이 식별될 수 있다.
특정 실시예들에서, 동맥 매핑은 사용자를 인증하는(authenticate) 데 이용될 수 있다. 상기한 바와 같이, 안면 동맥들은, 상기 광학 카메라에 의해 캡처된 얼굴의 이미지들을 이용하여, 상기 사용자의 얼굴의 ROI들에 따른 SNR에 기반하여 매핑될 수 있다. 특히, 안각(angular) 및 활차상(supratrochlear) 동맥들은 상대적으로 매핑하기 쉽다. 이러한 얼굴-동맥 매핑은 각 사용자에 대해 고유하며, 상이한 사용자들을 구별하는 기준(basis)으로서 이용될 수 있는, 얼굴 시그니처(facial signature)의 역할을 할 수 있다. 인증(authentication)은 얼굴 랜드마크들(예를 들면, 눈, 코, 귀, 또는 동맥)에 대한 주요 동맥들의 레이아웃을 이용하여 수행될 수 있다. 제한으로서가 아니라 예로서, 이러한 얼굴 시그니처는 상기 광학 카메라를 이용하여 캡처되고 컴퓨팅 시스템에 저장될 수 있다. 사용자는 인증 시 상기 사용자의 주요 동맥들을 매핑하고 상기 저장된 얼굴 시그니처와 비교하여 인증될 수 있다. 예를 들면, 사용자는 상기 광학 카메라를 포함하는 스마트폰 또는 ATM과 같은 장치에 대해 인증될 수 있다.
감정들의 정확한 검출은, 예를 들면, 가상 현실(virtual reality: VR), 게임, 엔터테인먼트, 타겟형(targeted) 광고, 스마트홈, 건강, 또는 교육과 같은, 많은 분야들에 대해 응용가능성이 매우 높을 수 있다. 클라이언트 시스템(120)은 사용자의 신경심장학적 및 신경해부학적 데이터를 측정하도록 구성된 하나 이상의 광학 카메라들을 구비한 컴퓨터 또는 스마트 TV일 수 있다. 특정 실시예들에서, 콘텐츠, 또는 상기 사용자를 위해 표시되는 콘텐츠와 연관된 설정(setting)은 상기 사용자의 평가된 감정에 기반하여 조정될 수 있다. 제한으로서가 아니라 예로서, 클라이언트 시스템을 통해 상기 사용자에게 콘텐츠를 제공하는 서버는, 상기 광학 카메라에 의해 캡처된 데이터로부터의 상기 사용자의 감정에 기반하여, 대화형(interactive) 방식으로 비디오 스트림을 제공할 수 있다. 예를 들면, 상기 광학 카메라가 상기 사용자의 감정을 평가하면서, 서버는 비디오 스트림을 제공할 수 있다. 상기 서버는 특정 감정을 불러 일으키도록 동적으로 콘텐츠를 제공할 수 있다. 제한으로서가 아니라 예로서, 상기 서버는 상기 사용자를 위해 편안함(relaxation)을 느끼게 하는 비디오 스트림의 하나 이상의 프레임들(예를 들면, 털실을 갖고 노는 고양이들)을 선택하고, 클라이언트 장치에 표시하기 위해 상기 선택된 프레임들을 전송할 수 있다. 다른 예로서, 상기 클라이언트 시스템은, 상기 사용자가 스트레스 받거나, 화났거나, 또는 두려워하는(afraid) 것으로 결정되는 경우, 콘텐츠를 중지시킬(pause) 수 있다. 본 개시가 상기 서버 또는 클라이언트 시스템이 특정 조치(들)(action(s))을 수행하는 것으로 설명하고 있지만, 본 개시는 클라이언트 또는 서버 장치가 사용자의 감정의 평가에 기반하여 수행할 적절한 조치를 결정할 수 있음을 고려하고 있다.
다른 예로서, 상기 서버는 클라이언트 시스템(예를 들면, 컴퓨터 또는 스마트 TV)에 표시하기 위한 비디오 게임의 장면들에 상응하는 비디오 스트림을 전송할 수 있다. 상기 서버는, 상기 사용자의 얼굴의 이미지들을 캡처하여 게임하는 동안의 상기 사용자의 감정을 평가하고, 상기 사용자의 상기 감정에 기반하여 상기 게임의 난이도를 조정할 수 있다. 예를 들면, 상기 사용자가 게임하는 동안 좌절감(frustration)을 느끼는 경우, 상기 서버는 난이도가 보다 낮은 게임 콘텐츠를 전송할 수 있다. 반대로, 상기 서버는, 지루함(boredom)의 검출에 기반하여, 보다 높은 난이도에 상응하는 게임 콘텐츠를 전송할 수 있다. 다른 예로서, 교육 시스템은 어떤 콘텐츠가 사용자에게 가장 매력적인지 결정하고, 이전에 상기 사용자가 학습하면서 긍정적 감정들을 느끼게 만들었던 것에 기반하여 추가적인 교육 콘텐츠를 맞춤-제작할(tailor) 수 있다.
특정 실시예들에서, 상기 서버는, 특정 콘텐츠를 소비하는 동안 평가된 상기 사용자의 감정들에 기반하여, 상기 사용자에게 추가적인 콘텐츠에 대한 하나 이상의 추천들을 전송할 수 있다. 제한으로서가 아니라 예로서, 상기 서버는, 특정 게임을 하는 동안 상기 광학 카메라에 의해 캡처된 얼굴 이미지들에 기반하여 상기 사용자가 행복 또는 흥분을 느꼈다는 결정에 기반하여, 유사한 장르의 게임들(예를 들면, 1인칭 슈팅 게임 또는 소셜 게임)에 대한 추천을 전송할 수 있다. 다른 예로서, 상기 서버는, 특정 영화 또는 텔레비전 쇼를 보는 동안 상기 사용자가 우울함 또는 피로함을 느꼈다는 결정에 기반하여, 상이한 장르의 영화들 또는 텔레비전 쇼들(예를 들면, 액션 또는 스포츠)에 대한 추천을 전송할 수 있다.
도 9는 본 발명의 일부 실시예들에 따른 예시적 컴퓨터 시스템(900)을 도시한다. 특정 실시예들에서, 하나 이상의 컴퓨터 시스템들(900)은 본 명세서에서 설명 또는 예시된 하나 이상의 방법들의 하나 이상의 단계들을 수행한다. 특정 실시예들에서, 하나 이상의 컴퓨터 시스템들(900)은 본 명세서에서 설명 또는 예시된 기능(functionality)을 제공한다. 특정 실시예들에서, 하나 이상의 컴퓨터 시스템들(900) 상에서 실행되는 소프트웨어는 본 명세서에서 설명 또는 예시된 하나 이상의 방법들의 하나 이상의 단계들을 수행하거나 또는 본 명세서에서 설명 또는 예시된 기능을 제공한다. 특정 실시예들은 하나 이상의 컴퓨터 시스템들(900)의 하나 이상의 부분들을 포함한다. 본 명세서에서, 적절한 경우, 컴퓨터 시스템이라 함은 컴퓨팅 장치를 포함할 수 있으며, 그 반대도 마찬가지다. 또한, 적절한 경우, 컴퓨터 시스템이라 함은 하나 이상의 컴퓨터 시스템들을 포함할 수 있다.
본 개시는 어떤 적절한 수의 컴퓨터 시스템들(900)이든지 고려하고 있다. 본 개시는 어떤 적절한 물리적 형태를 취하는 컴퓨터 시스템(900)이든지 고려하고 있다. 제한으로서가 아니라 예로서, 컴퓨터 시스템(900)은 내장형(embedded) 컴퓨터 시스템, 시스템-온-칩(system-on-chip: SOC), 단일-보드 컴퓨터 시스템(single-board computer system: SBC)(예를 들면, 컴퓨터-온-모듈(computer-on-module: COM) 또는 시스템-온-모듈(system-on-module: SOM)과 같은 것), 데스크탑 컴퓨터 시스템, 랩탑 또는 노트북 컴퓨터 시스템, 대화형 키오스크(interactive kiosk), 메인프레임, 컴퓨터 시스템들의 메시(mesh), 모바일 전화, 개인 정보 단말기(personal digital assistant: PDA), 서버, 태블릿 컴퓨터 시스템, 또는 이들 중 둘 이상의 조합일 수 있다. 적절한 경우, 컴퓨터 시스템(900)은 하나 이상의 컴퓨터 시스템들(900)을 포함하거나; 단일형(unitary) 또는 분산형(distributed)이거나; 다수의 장소들에 걸쳐 있거나; 다수의 기계들에 걸쳐 있거나; 다수의 데이터 센터들에 걸쳐 있거나; 또는, 하나 이상의 네트워크들에 하나 이상의 클라우드 구성요소들을 포함할 수 있는, 클라우드에 상주할 수 있다. 적절한 경우, 하나 이상의 컴퓨터 시스템들(900)은, 실질적인 공간적 또는 시간적 제한 없이, 본 명세서에서 설명 또는 예시된 하나 이상의 방법들의 하나 이상의 단계들을 수행할 수 있다. 제한으로서가 아니라 예로서, 하나 이상의 컴퓨터 시스템들(900)은, 실시간으로 또는 배치 모드(batch mode)로, 본 명세서에서 설명 또는 예시된 하나 이상의 방법들의 하나 이상의 단계들을 수행할 수 있다. 적절한 경우, 하나 이상의 컴퓨터 시스템들(900)은, 상이한 시간에 또는 상이한 장소에서, 본 명세서에서 설명 또는 예시된 하나 이상의 방법들의 하나 이상의 단계들을 수행할 수 있다.
특정 실시예들에서, 컴퓨터 시스템(900)은 프로세서(902), 메모리(904), 저장소(906), 입/출력(input/output: I/O) 인터페이스(908), 통신 인터페이스(910), 및 버스(912)를 포함한다. 본 개시가 특정한 배치로 특정한 수의 특정 구성요소들을 갖는 특정 컴퓨터 시스템을 설명 및 예시하고 있지만, 본 개시는 어떤 적절한 배치로 어떤 적절한 수의 어떤 적절한 구성요소들을 갖는 어떤 적절한 컴퓨터 시스템이든지 고려하고 있다.
특정 실시예들에서, 프로세서(902)는, 컴퓨터 프로그램을 구성하는 명령어들과 같은, 명령어들을 실행하기 위한 하드웨어를 포함한다. 제한으로서가 아니라 예로서, 명령어들을 실행하기 위해, 프로세서(902)는 내부 레지스터, 내부 캐시(cache), 메모리(904), 또는 저장소(906)로부터 상기 명령어들을 검색(retrieve)(또는 페치(fetch))하고; 상기 명령어들을 디코딩 및 실행하고; 그 다음에, 하나 이상의 결과들을 내부 레지스터, 내부 캐시, 메모리(904), 또는 저장소(906)에 기입할 수 있다. 특정 실시예들에서, 프로세서(902)는 데이터, 명령어들, 또는 주소들(addresses)을 위한 하나 이상의 내부 캐시들을 포함할 수 있다. 적절한 경우, 본 개시는 어떤 적절한 개수의 어떤 적절한 내부 캐시들이든지 포함하는 프로세서(902)를 고려하고 있다. 제한으로서가 아니라 예로서, 프로세서(902)는 하나 이상의 명령어 캐시들, 하나 이상의 데이터 캐시들, 및 하나 이상의 변환 색인 버퍼들(translation lookaside buffers: TLBs)을 포함할 수 있다. 상기 명령어 캐시들 내의 명령어들은 메모리(904) 또는 저장소(906) 내의 명령어들의 복사본일 수 있으며, 상기 명령어 캐시들은 프로세서(902)에 의한 상기 명령어들의 검색 속도를 높일 수 있다. 상기 데이터 캐시들 내의 데이터는, 프로세서(902)에서 실행되는 명령어들이 작용할, 메모리(904) 또는 저장소(906) 내의 데이터의 복사본이거나; 프로세서(902)에서 실행되는 후속 명령어들에 의한 액세스를 위한 또는 메모리(904) 또는 저장소(906)에 기입하기 위한, 프로세서(902)에서 실행된 이전 명령어들의 결과들이거나; 또는 기타 적절한 데이터일 수 있다. 상기 데이터 캐시들은 프로세서(902)에 의한 판독 또는 기입 동작들의 속도를 높일 수 있다. 상기 TLB들은 프로세서(902)를 위한 가상 주소 변환의 속도를 높일 수 있다. 특정 실시예들에서, 프로세서(902)는 데이터, 명령어들, 또는 주소들을 위한 하나 이상의 내부 레지스터들을 포함할 수 있다. 적절한 경우, 본 개시는 어떤 적절한 수의 어떤 적절한 내부 레지스터들이든지 포함하는 프로세서(902)를 고려하고 있다. 적절한 경우, 프로세서(902)는 하나 이상의 산술 논리 장치들(arithmetic logic units: ALUs)을 포함하거나; 멀티-코어 프로세서이거나; 또는 하나 이상의 프로세서들(902)을 포함할 수 있다. 본 개시가 특정 프로세서를 설명 및 예시하고 있지만, 본 개시는 어떤 적절한 프로세서든지 고려하고 있다.
특정 실시예들에서, 메모리(902)는 프로세서(902)가 실행할 명령어들 또는 프로세서(902)가 작용할 데이터를 저장하기 위한 메인 메모리를 포함한다. 제한으로서가 아니라 예로서, 컴퓨터 시스템(900)은 저장소(906) 또는 다른 소스(예를 들면, 다른 컴퓨터 시스템(900))로부터 메모리(904)로 명령어들을 로딩할 수 있다. 프로세서(902)는 다음에 상기 메모리(904)로부터 내부 레지스터 또는 내부 캐시로 상기 명령어들을 로딩할 수 있다. 상기 명령어들을 실행하기 위해, 프로세서(902)는 상기 내부 레지스터 또는 내부 캐시로부터 상기 명령어들을 검색하고 이들을 디코딩할 수 있다. 상기 명령어들의 실행 중에 또는 이후에, 프로세서(902)는 하나 이상의 결과들(중간 또는 최종 결과들일 수 있음)을 상기 내부 레지스터 또는 내부 캐시에 기입할 수 있다. 프로세서(902)는 다음에 상기 결과들 중 하나 이상을 메모리(904)에 기입할 수 있다 특정 실시예들에서, 프로세서(902)는 하나 이상의 내부 레지스터들 또는 내부 캐시들 내의 또는 메모리(904)(저장소(906) 또는 다른 곳이 아니라) 내의 명령어들만 실행하고 하나 이상의 내부 레지스터들 또는 내부 캐시들 내의 또는 메모리(904)(저장소(906) 또는 다른 곳이 아니라) 내의 데이터에만 작용한다. 하나 이상의 메모리 버스들(각각 주소 버스 및 데이터 버스를 포함할 수 있음)은 프로세서(902)와 메모리(904)를 결합시킬 수 있다. 버스(912)는, 하기한 바와 같이, 하나 이상의 메모리 버스들을 포함할 수 있다. 특정 실시예들에서, 하나 이상의 메모리 관리 장치들(memory management units: MMUs)은 상기 프로세서(902)와 메모리(904) 사이에 상주하여 프로세서(902)에 의해 요청된 메모리(904)에 대한 액세스를 용이하게 한다. 특정 실시예들에서, 메모리(04)는 랜덤 액세스 메모리(random access memory: RAM)를 포함한다. 이 RAM은 휘발성 메모리일 수 있으며, 적절한 경우, 이 RAM은 동적 RAM(dynamic RAM: DRAM) 또는 정적 RAM(static RAM: SRAM)일 수 있다. 또한, 적절한 경우, 이 RAM은 단일 포트(single-ported) 또는 다중 포트(multi-ported) RAM일 수 있다. 본 개시는 어떤 적절한 RAM이든지 고려하고 있다. 적절한 경우, 메모리(904)는 하나 이상의 메모리들(904)을 포함할 수 있다. 본 개시가 특정 메모리를 설명 및 예시하고 있지만, 본 개시는 어떤 적절한 메모리든지 고려하고 있다.
특정 실시예들에서, 저장소(906)는 데이터 또는 명령어들을 위한 대용량 저장소(mass storage)를 포함한다. 제한으로서가 아니라 예로서, 저장소(906)는 하드디스크 드라이브(hard disk drive: HDD), 플로피 디스크 드라이브, 플래시 메모리, 광디스크, 광자기 디스크(magneto-optical disc), 자기 테이프, 범용 직렬 버스(Universal Serial Bus: USB) 드라이브, 또는 이들 중 둘 이상의 조합을 포함할 수 있다. 적절한 경우, 저장소(906)는 이동식(removable) 또는 비이동식(또는 고정식) 매체를 포함할 수 있다. 적절한 경우, 저장소(906)는 컴퓨터 시스템(900)의 내부 또는 외부에 있을 수 있다. 특정 실시예들에서, 저장소(906)는 비휘발성 고체 상태 메모리이다. 특정 실시예들에서, 저장소(906)는 읽기 전용 메모리(read-only memory: ROM)를 포함한다. 적절한 경우, 이 ROM은 마스크-프로그램된(mask-programmed) ROM, 프로그램가능 ROM(programmable ROM: PROM), 소거가능 PROM(erasable PROM: EPROM), 전기적 소거가능 PROM(electrically erasable PROM: EEPROM), 전기적 소거-재기록가능 ROM(electrically alterable ROM: EAROM), 플래시 메모리, 또는 이들 중 둘 이상의 조합일 수 있다. 본 개시는 어떤 적절한 물리적 형태든지 취하는 대용량 저장소(906)를 고려하고 있다. 적절한 경우, 저장소(906)는 프로세서(902)와 저장소(906) 간의 통신을 용이하게 하는 하나 이상의 저장 제어 장치들(storage control units)을 포함할 수 있다. 적절한 경우, 저장소(906)는 하나 이상의 저장소들(906)을 포함할 수 있다. 본 개시가 특정 저장소를 설명 및 예시하고 있지만, 본 개시는 어떤 적절한 저장소든지 고려하고 있다.
특정 실시예들에서, I/O 인터페이스(908)는 컴퓨터 시스템(900)과 하나 이상의 I/O 장치들 간의 통신을 위한 하나 이상의 인터페이스들을 제공하는 하드웨어, 소프트웨어, 또는 이 둘 모두를 포함한다. 적절한 경우, 컴퓨터 시스템(900)은 이러한 I/O 장치들 중 하나 이상을 포함할 수 있다. 이러한 I/O 장치들 중 하나 이상은 사람과 컴퓨터 시스템(900) 간의 통신을 가능하게 할 수 있다. 제한으로서가 아니라 예로서, I/O 장치는 키보드, 키패드, 마이크, 모니터, 마우스, 프린터, 스캐너, 스피커, 스틸 카메라, 스타일러스(stylus), 태블릿, 터치 스크린, 트랙볼, 비디오 카메라, 다른 적절한 I/O 장치, 또는 이들 중 둘 이상의 조합을 포함할 수 있다. I/O 장치는 하나 이상의 센서들을 포함할 수 있다. 본 개시는 어떤 적절한 I/O 장치들 및 이들을 위한 어떤 적절한 I/O 인터페이스들(908)이든지 고려하고 있다. 적절한 경우, I/O 인터페이스(908)는 프로세서(902)가 이러한 I/O 장치들 중 하나 이상을 구동시키게 할 수 있는 하나 이상의 장치들 또는 소프트웨어 드라이버들을 포함할 수 있다. 적절한 경우, I/O 인터페이스(908)는 하나 이상의 I/O 인터페이스들(908)을 포함할 수 있다. 본 개시가 특정한 I/O 인터페이스를 설명 및 예시하고 있지만, 본 개시는 어떤 적절한 I/O 인터페이스든지 고려하고 있다.
특정 실시예들에서, 통신 인터페이스(910)는 컴퓨터 시스템(900)과 하나 이상의 다른 컴퓨터 시스템들(900) 또는 하나 이상의 네트워크들 간의 통신(예를 들면, 패킷(packet) 기반 통신)을 위한 하나 이상의 인터페이스들을 제공하는 하드웨어, 소프트웨어, 또는 이 둘 모두를 포함한다. 제한으로서가 아니라 예로서, 통신 인터페이스(910)는 이더넷 또는 기타 유선 기반 네트워크와 통신하기 위한 네트워크 인터페이스 제어기(network interface controller: NIC) 또는 네트워크 어댑터, 또는 와이파이 네트워크와 같은 무선 네트워크와 통신하기 위한 무선 NIC(wireless NIC: WNIC) 또는 무선 어댑터를 포함할 수 있다. 본 개시는 어떤 적절한 네트워크 및 이를 위한 어떤 적절한 통신 인터페이스(910)든지 고려하고 있다. 제한으로서가 아니라 예로서, 컴퓨터 시스템(900)은 애드혹 네트워크, 개인 영역 네트워크(personal area network: PAN), 로컬 영역 네트워크(LAN), 광역 네트워크(WAN), 대도시 영역 네트워크(MAN), 인터넷의 하나 이상의 부분들, 또는 이들 중 둘 이상의 조합과 통신할 수 있다. 이러한 네트워크들 중 하나 이상의 하나 이상의 부분들은 유선 또는 무선일 수 있다. 예로서, 컴퓨터 시스템(900)은 무선 PAN(WPAN)(예를 들면, 블루투스 WPAN), 와이파이 네트워크, WI-MAX 네트워크, 셀룰러 전화 네트워크(예를 들면, 이동 통신용 글로벌 시스템(Global System for Mobile Communications: GSM) 네트워크), 기타 적절한 무선 네트워크, 또는 이들 중 둘 이상의 조합과 통신할 수 있다. 적절한 경우, 컴퓨터 시스템(900)은 이러한 네트워크들 중 어떤 것을 위한 어떤 적절한 통신 인터페이스(910)든지 포함할 수 있다. 적절한 경우, 통신 인터페이스(910)는 하나 이상의 통신 인터페이스들(910)을 포함할 수 있다. 본 개시가 특정한 통신 인터페이스를 설명 및 예시하고 있지만, 본 개시는 어떤 적절한 통신 인터페이스든지 고려하고 있다.
특정 실시예들에서, 버스(912)는 컴퓨터 시스템(900)의 구성요소들을 서로 결합시키는 하드웨어, 소프트웨어,또는 이 둘 모두를 포함한다. 제한으로서가 아니라 예로서, 버스(912)는 가속 그래픽 포트(Accelerated Graphics Port: AGP) 또는 기타 그래픽 버스, 향상된 산업 표준 아키텍처(Enhanced Industry Standard Architecture: EISA) 버스, 프론트-사이드 버스(front-side bus: FSB), 하이퍼트랜스포트(HYPERTRANSPORT: HT) 인터커넥트, 산업 표준 아키텍처(Industry Standard Architecture: ISA) 버스, 인피니밴드(INFINIBAND) 인터커넥트, 로우-핀-카운트(low-pin-count: LPC) 버스, 메모리 버스, 마이크로 채널 아키텍처(Micro Channel Architecture: MCA) 버스, 주변 장치 인터커넥트(Peripheral Component Interconnect: PCI) 버스, PCI-익스프레스(PCI-Express: PCIe) 버스, 직렬 고급 기술 결합(serial advanced technology attachment: SATA) 버스, 비디오 전자공학 표준 협회 로컬 버스(Video Electronics Standards Association local bus: VLB), 다른 적절한 버스, 또는 이들 중 둘 이상의 조합을 포함할 수 있다. 적절한 경우, 버스(912)는 하나 이상의 버스들(912)을 포함할 수 있다. 본 개시가 특정한 버스를 설명 및 예시하고 있지만, 본 개시는 어떤 적절한 버스 또는 인터커넥트든지 고려하고 있다.
본 명세서에서, 컴퓨터 판독가능 비일시적 저장 매체 또는 매체들은, 적절한 경우, 하나 이상의 반도체-기반 또는 기타 집적 회로들(integrated circuits: ICs)(예를 들면, 필드 프로그램가능 게이트 어레이들(field-programmable gate arrays: FPGAs) 또는 애플리케이션 특정적 IC들(application-specific ICs: ASICs)), 하드디스크 드라이브들(HDDs), 하이브리드 하드 드라이브들(hybrid hard drives: HHDs), 광디스크들, 광디스크 드라이브들(optical disc drives: ODDs), 광자기 디스크들, 광자기 드라이브들, 플로피 디스켓들, 플로피 디스크 드라이브들(floppy disk drives: FDDs), 자기 테이프들, 고체 상태 드라이브들(SSDs), RAM 드라이브들, 시큐어 디지털(SECURE DIGITAL) 카드들 또는 드라이브들, 다른 어떤 적절한 컴퓨터 판독가능 비일시적 저장 매체들, 또는 이들 중 둘 이상의 어떤 적절한 조합을 포함할 수 있다. 적절한 경우, 컴퓨터 판독가능 비일시적 저장 매체는 휘발성, 비휘발성, 또는 휘발성 및 비휘발성의 조합일 수 있다.
본 명세서에서, 명백히 달리 표시되거나 문맥상 달리 표시되지 않는 한, "또는(or)"은 포괄적(inclusive)이며 배타적(exclusive)이지 않다. 그러므로, 본 명세서에서, 명백히 달리 표시되거나 문맥상 달리 표시되지 않는 한, "A 또는 B"는 "A, B, 또는 둘 모두"를 의미한다. 또한, 명백히 달리 표시되거나 문맥상 달리 표시되지 않는 한, "및(그리고)(and)"은 공동적(joint)인 동시에 개별적(several)이다. 그러므로, 명백히 달리 표시되거나 문맥상 달리 표시되지 않는 한, "A 및 B"는 "공동으로 또는 개별적으로, A 및 B"를 의미한다.
본 개시의 범위는, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자가 이해할 수 있는, 본 명세서에서 설명 및 예시된 예시적 실시예들에 대한 모든 변경들, 대체들, 변이들, 변화들, 및 변형들을 포함한다. 본 개시의 범위는 본 명세서에서 설명 및 예시된 예시적 실시예들에 제한되지 않는다. 또한, 본 개시가 본 명세서에서 각각의 실시예들이 특정한 구성요소들, 요소들, 특징들, 기능들, 동작들, 또는 단계들을 포함하는 것으로 설명 및 예시하고 있지만, 이러한 실시예들 중 어떤 것이든, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자가 이해할 수 있는, 본 명세서에서 어디서든 설명 또는 예시된 상기 구성요소들, 요소들, 특징들, 기능들, 동작들, 또는 단계들 중 어떤 것들의 어떤 조합(combination) 또는 순열(permutation)이라도 포함할 수 있다. 나아가, 첨부된 청구항들에서 기기(apparatus) 또는 시스템 또는 기기나 시스템의 구성요소가 특정 기능을 수행하도록 적응되거나(adapted to), 배치되거나(arranged to), 가능하거나(capable of), 구성되거나(configured to), 가능화되거나(enabled to), 작동 가능하거나(operable to), 또는 작동적 이라고(operative to) 언급하는 것은, 해당 기기, 시스템, 또는 구성요소가 그렇게 적응되거나, 배치되거나, 가능하거나, 구성되거나, 가능화되거나, 작동 가능하거나, 또는 작동적인 한, 이들 또는 해당 특정 기능이 활성화되는지, 켜지는지, 또는 잠금-해제되는지 상관없이, 해당 기기, 시스템, 구성요소를 포괄한다. 또한, 본 개시가 특정 실시예들이 특정 이점들을 제공하는 것으로 설명 또는 예시하고 있지만, 특정 실시예들은 이러한 이점들 중 모두 또는 일부를 제공하거나 아무런 이점도 제공하지 않을 수 있다.
Claims (20)
- 소프트웨어를 구현하는 하나 이상의 컴퓨터 판독가능 비일시적 저장 매체들에 있어서, 상기 소프트웨어는 실행되는 경우, 실시간으로:
사용자의 복수의 이미지들을 캡처하고;
상기 복수의 이미지들에 기초하여, 하나 이상의 생리학적으로 개연성 있는 서브-세그먼트들 및 하나 이상의 생리학적으로 개연성 없는 서브-세그먼트들을 포함하는 상기 사용자에 대한 시계열 신호를 결정하고,
하나 이상의 미리 정의된 생리학적 신호 특성들에 기반하여 상기 생리학적으로 개연성 있는 서브-세그먼트들 중에서 하나 이상 및 상기 생리학적으로 개연성 없는 서브-세그먼트들 중에서 하나 이상을 식별하고,
상기 생리학적으로 개연성 있는 서브-세그먼트들에 기반하여, 상기 사용자의 평균 심박수 또는 심박수 범위를 계산하도록 작동가능한, 하나 이상의 컴퓨터 판독가능 비일시적 저장 매체.
- 제1 항에 있어서, 상기 복수의 이미지들은 단일 카메라에 의해 캡처되는, 하나 이상의 컴퓨터 판독가능 비일시적 저장 매체.
- 제1 항에 있어서, 상기 소프트웨어는 상기 사용자에 대한 베이스라인 신호를 결정하고,
상기 베이스라인 신호에 기초하여, 상기 시계열 신호의 신호 대 잡음비(SNR; Signal to Noise Ratio)를 계산하고,
상기 SNR을 임계 SNR과 비교하고,
상기 임계 SNR보다 더 큰 계산된 SNR을 갖는 상기 신호의 서브-세그먼트들을 식별하도록 더 작동가능하고, 하나 이상의 컴퓨터 판독가능 비일시적 저장 매체. - 제1 항에 있어서, 상기 소프트웨어는 상기 시계열 신호를 미리 결정된 호흡 프로파일과 비교하고, 상기 미리 결정된 호흡 프로파일과 일치하는 상기 시계열 신호의 서브-세그먼트를 식별하도록 더 작동가능하고, 상기 미리 결정된 호흡 프로파일은 호기 또는 흡기 동안 R파-R파 간격과 관련된 맥박용적 측정치의 특징을 포함하는, 하나 이상의 컴퓨터 판독가능 비일시적 저장 매체.
- 제1 항에 있어서, 상기 소프트웨어는, 상기 시계열 신호의 푸리에 변환을 수행하고, 상기 푸리에 변환의 우세한 주파수와 일치하는 RR 간격에 기초하여 상기 시계열 신호의 서브-세그먼트를 식별하도록 더 작동가능한, 하나 이상의 컴퓨터 판독가능 비일시적 저장 매체.
- 제1 항에 있어서, 상기 소프트웨어는 수축기 부분의 상기 신호가 이완기 부분보다 적은 서브-세그먼트를 식별하도록 더 작동가능한, 하나 이상의 컴퓨터 판독가능 비일시적 저장 매체.
- 제1 항에 있어서, 상기 시계열 신호의 적색, 녹색 및 청색 채널 성분을 추출하고, 상기 적색, 녹색 및 청색 채널 성분을 미리 결정된 RGB 프로파일의 각각의 성분과 비교하고, 상기 미리 결정된 RGB 프로파일과 일치하는 상기 시계열 신호의 서브-세그먼트를 식별하도록 더 작동가능하고, 상기 미리 결정된 RGB 프로파일은 상기 적색, 녹색 및 청색 채널 성분 사이의 맥동 관계, 총 파워 관계 또는 공변(covariance) 관계를 포함하는, 하나 이상의 컴퓨터 판독가능 비일시적 저장 매체.
- 하나 이상의 프로세서들을 포함하는 시스템에 의해 실행되는 방법에 있어서, 상기 방법은 실시간으로:
사용자의 복수의 이미지들을 캡처하는 단계;
상기 복수의 이미지들에 기초하여, 하나 이상의 생리학적으로 개연성 있는 서브-세그먼트들 및 하나 이상의 생리학적으로 개연성 없는 서브-세그먼트들을 포함하는 상기 사용자에 대한 시계열 신호를 결정하는 단계;
하나 이상의 미리 정의된 생리학적 신호 특성들에 기반하여 상기 생리학적으로 개연성 있는 서브-세그먼트들 중에서 하나 이상 및 상기 생리학적으로 개연성 없는 서브-세그먼트들 중에서 하나 이상을 식별하는 단계; 및
상기 생리학적으로 개연성 있는 서브-세그먼트들에 기반하여, 상기 사용자의 평균 심박수 또는 심박수 범위를 계산하는 단계를 포함하는, 방법.
- 제8 항에 있어서, 상기 복수의 이미지들은 단일 카메라에 의해 캡처되는, 방법.
- 제8 항에 있어서, 상기 사용자에 대한 베이스라인 신호를 결정하는 단계;
상기 베이스라인 신호에 기초하여, 상기 시계열 신호의 신호 대 잡음비(SNR; Signal to Noise Ratio)를 계산하는 단계;
상기 SNR을 임계 SNR과 비교하는 단계; 및
상기 임계 SNR보다 더 큰 계산된 SNR을 갖는 상기 신호의 서브-세그먼트들을 식별하는 단계를 더 포함하고, 방법. - 제8 항에 있어서, 상기 시계열 신호를 미리 결정된 호흡 프로파일과 비교하는 단계;
상기 미리 결정된 호흡 프로파일과 일치하는 상기 시계열 신호의 서브-세그먼트를 식별하는 단계를 더 포함하고,
상기 미리 결정된 호흡 프로파일은 호기 또는 흡기 동안 R파-R파 간격과 관련된 맥박용적 측정치의 특징을 포함하는, 방법. - 제8 항에 있어서, 상기 시계열 신호의 푸리에 변환을 수행하고, 상기 푸리에 변환의 우세한 주파수와 일치하는 RR 간격에 기초하여 상기 시계열 신호의 서브-세그먼트를 식별하는 단계를 더 포함하는, 방법.
- 제8 항에 있어서, 수축기 부분의 상기 신호가 이완기 부분보다 적은 서브-세그먼트를 식별하는 단계를 더 포함하는, 방법.
- 제8 항에 있어서, 상기 시계열 신호의 적색, 녹색 및 청색 채널 성분을 추출하는 단계;
상기 적색, 녹색 및 청색 채널 성분을 미리 결정된 RGB 프로파일의 각각의 성분과 비교하는 단계;
상기 미리 결정된 RGB 프로파일과 일치하는 상기 시계열 신호의 서브-세그먼트를 식별하는 단계를 포함하고, 상기 미리 결정된 RGB 프로파일은 상기 적색, 녹색 및 청색 채널 성분 사이의 맥동 관계, 총 파워 관계 또는 공변(covariance) 관계를 포함하는, 방법. - 하나 이상의 프로세서들; 및
상기 프로세서들에 결합되고 상기 프로세서들에 의해 실행가능한 명령어들(instructions)을 포함하는 비일시적 메모리를 포함하는 시스템에 있어서, 상기 프로세서들은 상기 명령어들을 실행하는 경우, 실시간으로:
사용자의 복수의 이미지들을 캡처하고;
상기 복수의 이미지들에 기초하여, 하나 이상의 생리학적으로 개연성 있는 서브-세그먼트들 및 하나 이상의 생리학적으로 개연성 없는 서브-세그먼트들을 포함하는 상기 사용자에 대한 시계열 신호를 결정하고,
하나 이상의 미리 정의된 생리학적 신호 특성들에 기반하여 상기 생리학적으로 개연성 있는 서브-세그먼트들 중에서 하나 이상 및 상기 생리학적으로 개연성 없는 서브-세그먼트들 중에서 하나 이상을 식별하고,
상기 생리학적으로 개연성 있는 서브-세그먼트들에 기반하여, 상기 사용자의 평균 심박수 또는 심박수 범위를계산하도록 작동가능한, 시스템.
- 제15 항에 있어서, 상기 복수의 이미지들은 단일 카메라에 의해 캡처되는, 시스템.
- 제15 항에 있어서, 상기 프로세서들은 상기 사용자에 대한 베이스라인 신호를 결정하고,
상기 베이스라인 신호에 기초하여, 상기 시계열 신호의 신호 대 잡음비(SNR; Signal to Noise Ratio)를 계산하고,
상기 SNR을 임계 SNR과 비교하고,
상기 임계 SNR보다 더 큰 계산된 SNR을 갖는 상기 신호의 서브-세그먼트들을 식별하는, 시스템. - 제15 항에 있어서, 상기 프로세서들은 상기 시계열 신호를 미리 결정된 호흡 프로파일과 비교하고, 상기 미리 결정된 호흡 프로파일과 일치하는 상기 시계열 신호의 서브-세그먼트를 식별하도록 더 작동가능하고, 상기 미리 결정된 호흡 프로파일은 호기 또는 흡기 동안 R파-R파 간격과 관련된 맥박용적 측정치의 특징을 포함하는, 시스템.
- 제15 항에 있어서, 상기 프로세서들은, 상기 시계열 신호의 푸리에 변환을 수행하고, 상기 푸리에 변환의 우세한 주파수와 일치하는 RR 간격에 기초하여 상기 시계열 신호의 서브-세그먼트를 식별하도록 더 작동가능한, 시스템.
- 제15 항에 있어서, 상기 프로세서들은 수축기 부분의 상기 신호가 이완기 부분보다 적은 서브-세그먼트를 식별하도록 더 작동가능한, 시스템.
Applications Claiming Priority (9)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762492838P | 2017-05-01 | 2017-05-01 | |
| US62/492,838 | 2017-05-01 | ||
| US201762500277P | 2017-05-02 | 2017-05-02 | |
| US62/500,277 | 2017-05-02 | ||
| US201762510579P | 2017-05-24 | 2017-05-24 | |
| US62/510,579 | 2017-05-24 | ||
| US15/951,105 | 2018-04-11 | ||
| US15/951,105 US10939834B2 (en) | 2017-05-01 | 2018-04-11 | Determining cardiovascular features using camera-based sensing |
| PCT/KR2018/005064 WO2018203648A1 (en) | 2017-05-01 | 2018-05-02 | Determining cardiovascular features using camera-based sensing |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190137893A KR20190137893A (ko) | 2019-12-11 |
| KR102621119B1 true KR102621119B1 (ko) | 2024-01-04 |
Family
ID=63915806
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197033881A KR102621119B1 (ko) | 2017-05-01 | 2018-05-02 | 카메라 기반 감지를 이용한 심혈관 특징 결정 |
Country Status (5)
| Country | Link |
|---|---|
| US (3) | US10939833B2 (ko) |
| EP (3) | EP3600040B1 (ko) |
| KR (1) | KR102621119B1 (ko) |
| CN (2) | CN110612056B (ko) |
| WO (3) | WO2018203646A1 (ko) |
Families Citing this family (61)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11921471B2 (en) | 2013-08-16 | 2024-03-05 | Meta Platforms Technologies, Llc | Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source |
| US20150124566A1 (en) | 2013-10-04 | 2015-05-07 | Thalmic Labs Inc. | Systems, articles and methods for wearable electronic devices employing contact sensors |
| WO2015081113A1 (en) | 2013-11-27 | 2015-06-04 | Cezar Morun | Systems, articles, and methods for electromyography sensors |
| US10799122B2 (en) | 2015-06-14 | 2020-10-13 | Facense Ltd. | Utilizing correlations between PPG signals and iPPG signals to improve detection of physiological responses |
| US10638938B1 (en) | 2015-06-14 | 2020-05-05 | Facense Ltd. | Eyeglasses to detect abnormal medical events including stroke and migraine |
| US10791938B2 (en) | 2015-06-14 | 2020-10-06 | Facense Ltd. | Smartglasses for detecting congestive heart failure |
| US11103140B2 (en) | 2015-06-14 | 2021-08-31 | Facense Ltd. | Monitoring blood sugar level with a comfortable head-mounted device |
| US11154203B2 (en) | 2015-06-14 | 2021-10-26 | Facense Ltd. | Detecting fever from images and temperatures |
| US11064892B2 (en) | 2015-06-14 | 2021-07-20 | Facense Ltd. | Detecting a transient ischemic attack using photoplethysmogram signals |
| US10667697B2 (en) | 2015-06-14 | 2020-06-02 | Facense Ltd. | Identification of posture-related syncope using head-mounted sensors |
| US10349887B1 (en) | 2015-06-14 | 2019-07-16 | Facense Ltd. | Blood pressure measuring smartglasses |
| US10376163B1 (en) | 2015-06-14 | 2019-08-13 | Facense Ltd. | Blood pressure from inward-facing head-mounted cameras |
| US11103139B2 (en) | 2015-06-14 | 2021-08-31 | Facense Ltd. | Detecting fever from video images and a baseline |
| US10667723B2 (en) | 2016-02-19 | 2020-06-02 | Covidien Lp | Systems and methods for video-based monitoring of vital signs |
| US11412943B2 (en) | 2016-07-16 | 2022-08-16 | Olesya Chornoguz | Methods and systems for obtaining physiologic information |
| WO2019041202A1 (en) * | 2017-08-30 | 2019-03-07 | Vita-Course Technologies Co., Ltd. | SYSTEM AND METHOD FOR USER IDENTIFICATION |
| CN112040858B (zh) | 2017-10-19 | 2024-06-07 | 元平台技术有限公司 | 用于识别与神经肌肉源信号相关的生物结构的系统和方法 |
| WO2019079896A1 (en) * | 2017-10-24 | 2019-05-02 | Nuralogix Corporation | SYSTEM AND METHOD FOR DETERMINING STRESS BASED ON A CAMERA |
| WO2019094893A1 (en) | 2017-11-13 | 2019-05-16 | Covidien Lp | Systems and methods for video-based monitoring of a patient |
| CA3086527A1 (en) | 2018-01-08 | 2019-07-11 | Covidien Lp | Systems and methods for video-based non-contact tidal volume monitoring |
| US11961494B1 (en) | 2019-03-29 | 2024-04-16 | Meta Platforms Technologies, Llc | Electromagnetic interference reduction in extended reality environments |
| US11907423B2 (en) | 2019-11-25 | 2024-02-20 | Meta Platforms Technologies, Llc | Systems and methods for contextualized interactions with an environment |
| US11481030B2 (en) | 2019-03-29 | 2022-10-25 | Meta Platforms Technologies, Llc | Methods and apparatus for gesture detection and classification |
| US11150730B1 (en) | 2019-04-30 | 2021-10-19 | Facebook Technologies, Llc | Devices, systems, and methods for controlling computing devices via neuromuscular signals of users |
| US11493993B2 (en) | 2019-09-04 | 2022-11-08 | Meta Platforms Technologies, Llc | Systems, methods, and interfaces for performing inputs based on neuromuscular control |
| WO2019176535A1 (ja) * | 2018-03-15 | 2019-09-19 | パナソニックＩｐマネジメント株式会社 | ユーザの心理状態を推定するためのシステム、記録媒体、および方法 |
| US10621983B2 (en) | 2018-04-20 | 2020-04-14 | Spotify Ab | Systems and methods for enhancing responsiveness to utterances having detectable emotion |
| US11547313B2 (en) | 2018-06-15 | 2023-01-10 | Covidien Lp | Systems and methods for video-based patient monitoring during surgery |
| CN112584753B (zh) | 2018-08-09 | 2024-09-13 | 柯惠有限合伙公司 | 基于视频的患者监测系统以及用于检测和监测呼吸的相关方法 |
| EP3853698A4 (en) | 2018-09-20 | 2021-11-17 | Facebook Technologies, LLC | NEUROMUSCULAR TEXT ENTRY, WRITING AND DRAWING IN SYSTEMS WITH EXTENDED REALITY |
| US11115409B2 (en) * | 2018-10-18 | 2021-09-07 | International Business Machines Corporation | User authentication by emotional response |
| EP3886693A4 (en) | 2018-11-27 | 2022-06-08 | Facebook Technologies, LLC. | METHOD AND DEVICE FOR AUTOCALIBRATION OF A PORTABLE ELECTRODE SENSING SYSTEM |
| US11617520B2 (en) | 2018-12-14 | 2023-04-04 | Covidien Lp | Depth sensing visualization modes for non-contact monitoring |
| CN109784287A (zh) * | 2019-01-22 | 2019-05-21 | 中国科学院自动化研究所 | 基于情景信号类前额叶网络的信息处理方法、系统、装置 |
| US11315275B2 (en) | 2019-01-28 | 2022-04-26 | Covidien Lp | Edge handling methods for associated depth sensing camera devices, systems, and methods |
| EP3698704A1 (en) * | 2019-02-20 | 2020-08-26 | Koninklijke Philips N.V. | Device, system and method for determining physiological information |
| KR102277105B1 (ko) * | 2019-06-03 | 2021-07-14 | 계명대학교 산학협력단 | 카메라를 이용한 비접촉 혈압 측정 시스템 및 그 구동 방법 |
| US11676690B2 (en) * | 2019-07-18 | 2023-06-13 | Nuralogix Corporation | System and method for detection of synthesized videos of humans |
| US10729368B1 (en) * | 2019-07-25 | 2020-08-04 | Facemetrics Limited | Computer systems and computer-implemented methods for psychodiagnostics and psycho personality correction using electronic computing device |
| KR20190100090A (ko) * | 2019-08-08 | 2019-08-28 | 엘지전자 주식회사 | 로봇 및 그를 이용한 무드 인식 방법 |
| US20220370009A1 (en) * | 2019-11-06 | 2022-11-24 | Nec Corporation | Stress estimation device, stress estimation method, and recording media |
| KR20210078283A (ko) * | 2019-12-18 | 2021-06-28 | 삼성전자주식회사 | 센서 신호로부터 사용자의 제스처를 인식하는 전자 장치 및 이를 이용한 제스처 인식 방법 |
| US11484208B2 (en) | 2020-01-31 | 2022-11-01 | Covidien Lp | Attached sensor activation of additionally-streamed physiological parameters from non-contact monitoring systems and associated devices, systems, and methods |
| US11410486B2 (en) | 2020-02-04 | 2022-08-09 | Igt | Determining a player emotional state based on a model that uses pressure sensitive inputs |
| CN111772648A (zh) * | 2020-06-10 | 2020-10-16 | 南京七岩电子科技有限公司 | 一种结合hrv信号和面部表情判断情绪的方法及设备 |
| KR20220012581A (ko) | 2020-07-23 | 2022-02-04 | 삼성전자주식회사 | 생체정보 추정 장치 및 방법 |
| CN114098729B (zh) * | 2020-08-27 | 2023-11-10 | 中国科学院心理研究所 | 基于心脏间期的情绪状态客观测量方法 |
| CN112472088B (zh) * | 2020-10-22 | 2022-11-29 | 深圳大学 | 一种情绪状态评定方法、装置、智能终端及存储介质 |
| CN113017630B (zh) * | 2021-03-02 | 2022-06-24 | 贵阳像树岭科技有限公司 | 一种视觉感知情绪识别方法 |
| CN113143274B (zh) * | 2021-03-31 | 2023-11-10 | 中国科学院心理研究所 | 基于摄像头的情绪预警方法 |
| US11868531B1 (en) | 2021-04-08 | 2024-01-09 | Meta Platforms Technologies, Llc | Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof |
| CN113349778B (zh) * | 2021-06-03 | 2023-02-17 | 杭州回车电子科技有限公司 | 基于经颅直流电刺激的情绪分析方法、装置和电子装置 |
| CN113712526B (zh) * | 2021-09-30 | 2022-12-30 | 四川大学 | 一种脉搏波提取方法、装置、电子设备及存储介质 |
| CN114287938B (zh) * | 2021-12-13 | 2024-02-13 | 重庆大学 | 建筑环境中人体参数的安全区间获得方法和设备 |
| KR102676918B1 (ko) * | 2021-12-27 | 2024-06-19 | 광운대학교 산학협력단 | 얼굴 이미지로부터 생체신호를 추정하는 장치 |
| US12142077B2 (en) * | 2022-03-04 | 2024-11-12 | Opsis Pte., Ltd. | Method of augmenting a dataset used in facial expression analysis |
| CN114724068A (zh) * | 2022-04-07 | 2022-07-08 | 中广核核电运营有限公司 | 人员状态监测方法、装置、设备、存储介质及程序产品 |
| KR102468648B1 (ko) | 2022-04-14 | 2022-11-22 | 주식회사 바이오커넥트 | 영상에 대한 원격 광용적맥파신호를 이용하여 사람의 심박수를 산출하는 방법 |
| CN116115224B (zh) * | 2022-08-31 | 2024-12-13 | 北京道贞健康科技发展有限责任公司 | 一种基于分析呼吸波形的情绪稳定性评估方法及装置 |
| CN115633947B (zh) * | 2022-12-26 | 2023-03-21 | 四川大学华西医院 | 一种可穿戴血压监测装置及血压监测方法 |
| FR3146009A1 (fr) | 2022-12-31 | 2024-08-23 | Anavid France | Système, procédé et dispositif de détection automatique et en temps réel de satisfaction des visiteurs à un établissement recevant du public (ERP) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110251493A1 (en) | 2010-03-22 | 2011-10-13 | Massachusetts Institute Of Technology | Method and system for measurement of physiological parameters |
| US20150051521A1 (en) | 2012-03-13 | 2015-02-19 | Koninklijke Philips N.V. | Cardiopulmonary resuscitation apparatus comprising a physiological sensor |
| US20150216425A1 (en) | 2012-08-10 | 2015-08-06 | Vita-Sentry Ltd. | Estimations of equivalent inner diameter of arterioles |
| WO2016193735A1 (en) | 2015-06-05 | 2016-12-08 | Oxford University Innovation Limited | Method and apparatus for vital signs measurement |
Family Cites Families (51)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7388971B2 (en) | 2003-10-23 | 2008-06-17 | Northrop Grumman Corporation | Robust and low cost optical system for sensing stress, emotion and deception in human subjects |
| US8360986B2 (en) * | 2006-06-30 | 2013-01-29 | University Of Louisville Research Foundation, Inc. | Non-contact and passive measurement of arterial pulse through thermal IR imaging, and analysis of thermal IR imagery |
| US8195460B2 (en) | 2008-06-17 | 2012-06-05 | Voicesense Ltd. | Speaker characterization through speech analysis |
| CN101337103B (zh) * | 2008-08-28 | 2013-03-20 | 北京阳光易德科技发展有限公司 | 一种压力与情绪调节系统及一种生理信号采集装置 |
| US20110196245A1 (en) | 2008-10-07 | 2011-08-11 | Orsan Medical Technologies Ltd. | Measurement of cerebral hemodynamic parameters |
| BR112012007924A2 (pt) * | 2009-10-06 | 2020-08-18 | Koninklijke Philips Electronics N. V | método de fotopletismografia remota e sistema para a realização de fotopletismografia remota |
| US9339202B2 (en) * | 2009-11-03 | 2016-05-17 | Vivaquant Llc | System for processing physiological data |
| EP2333778A1 (en) | 2009-12-04 | 2011-06-15 | Lg Electronics Inc. | Digital data reproducing apparatus and method for controlling the same |
| US10108852B2 (en) * | 2010-06-07 | 2018-10-23 | Affectiva, Inc. | Facial analysis to detect asymmetric expressions |
| LV14514B (lv) * | 2010-10-06 | 2012-08-20 | Latvijas Universitāte | Iekārta un metode sirdsdarbības parametru optiskai bezkontakta kontrolei |
| SG2014013643A (en) * | 2010-10-21 | 2014-07-30 | Holybrain Bvba | Method and apparatus for neuropsychological modeling of human experience and purchasing behavior |
| EP2665410B1 (en) * | 2011-01-21 | 2017-08-30 | Worcester Polytechnic Institute | Physiological parameter monitoring with a mobile communication device |
| GB201114406D0 (en) * | 2011-08-22 | 2011-10-05 | Isis Innovation | Remote monitoring of vital signs |
| US9185353B2 (en) | 2012-02-21 | 2015-11-10 | Xerox Corporation | Removing environment factors from signals generated from video images captured for biomedical measurements |
| KR101434336B1 (ko) | 2012-11-15 | 2014-08-27 | 장순철 | 표정을 통해 인식된 감정에 기초한 소리 재생 시스템 |
| SG11201506213VA (en) | 2013-02-13 | 2015-09-29 | Leman Micro Devices Sa | Non-invasive blood analysis |
| EP2967377A1 (en) * | 2013-03-14 | 2016-01-20 | Koninklijke Philips N.V. | Device and method for obtaining vital sign information of a subject |
| US9265456B2 (en) * | 2013-03-14 | 2016-02-23 | Koninklijke Philips N.V. | Device and method for determining vital signs of a subject |
| JP6132335B2 (ja) * | 2013-03-15 | 2017-05-24 | Ｎｅｃソリューションイノベータ株式会社 | 感情推定装置及び感情推定方法 |
| US9962095B2 (en) * | 2013-04-23 | 2018-05-08 | Microsoft Technology Licensing, Llc | Optical heartrate tracking |
| US9662022B2 (en) * | 2013-04-26 | 2017-05-30 | Xerox Corporation | Continuous cardiac signal generation from a video of a subject being monitored for cardiac function |
| US9521954B2 (en) | 2013-06-19 | 2016-12-20 | Xerox Corporation | Video acquisition system for monitoring a subject for a desired physiological function |
| US20150038810A1 (en) | 2013-08-05 | 2015-02-05 | Richard J. Melker | Sensors for photoplethysmography at the ophthalmic artery region |
| US9264770B2 (en) * | 2013-08-30 | 2016-02-16 | Rovi Guides, Inc. | Systems and methods for generating media asset representations based on user emotional responses |
| EP3057486B1 (en) | 2013-10-17 | 2017-05-03 | Koninklijke Philips N.V. | Automatic camera adjustment for remote photoplethysmography |
| JP2016538097A (ja) * | 2013-10-23 | 2016-12-08 | クアンタス， インコーポレイテッド | 消費者バイオメトリックデバイス |
| TWI546052B (zh) | 2013-11-14 | 2016-08-21 | 財團法人工業技術研究院 | 影像式心率活動偵測裝置及其方法 |
| US9504426B2 (en) * | 2013-12-06 | 2016-11-29 | Xerox Corporation | Using an adaptive band-pass filter to compensate for motion induced artifacts in a physiological signal extracted from video |
| US10165955B2 (en) | 2014-02-06 | 2019-01-01 | Reuven Gladshtein | Obtaining cardiovascular parameters using arterioles related transient time |
| FR3023699B1 (fr) | 2014-07-21 | 2016-09-02 | Withings | Procede et dispositif de surveillance d'un bebe et d'interaction |
| US20160095524A1 (en) | 2014-10-04 | 2016-04-07 | Government Of The United States, As Represented By The Secretary Of The Air Force | Non-Contact Assessment of Cardiovascular Function using a Multi-Camera Array |
| US20160106328A1 (en) * | 2014-10-16 | 2016-04-21 | Xerox Corporation | Determining arterial pulse transit time from time-series signals obtained at proximal and distal arterial sites |
| US9955880B2 (en) | 2014-10-27 | 2018-05-01 | Tata Consultancy Services Limited | Estimating physiological parameters |
| EP3220811B1 (en) | 2014-11-17 | 2023-10-18 | David A. Borkholder | Blood pressure and arterial compliance estimation from arterial segments |
| KR101644586B1 (ko) | 2014-11-18 | 2016-08-02 | 상명대학교서울산학협력단 | 인체 미동에 의한 hrp 기반 사회 관계성 측정 방법 및 시스템 |
| CN104545864B (zh) * | 2014-12-25 | 2017-08-11 | 中国科学院深圳先进技术研究院 | 心理调节方法和装置 |
| US10653362B2 (en) * | 2015-01-29 | 2020-05-19 | Wavefront Research Inc. | Motion and noise artifact detection and reconstruction algorithms for photoplethysmogram and equivalent signals |
| CN104732203B (zh) * | 2015-03-05 | 2019-03-26 | 中国科学院软件研究所 | 一种基于视频信息的情绪识别与跟踪方法 |
| CN106031631A (zh) * | 2015-03-16 | 2016-10-19 | 阿里巴巴集团控股有限公司 | 一种心率检测方法、装置及系统 |
| JP6343107B1 (ja) * | 2015-05-21 | 2018-06-13 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | ビデオ・シーケンスにおける生体皮膚組織の識別 |
| DE102016110903A1 (de) * | 2015-06-14 | 2016-12-15 | Facense Ltd. | Head-Mounted-Devices zur Messung physiologischer Reaktionen |
| CN104881660B (zh) * | 2015-06-17 | 2018-01-09 | 吉林纪元时空动漫游戏科技集团股份有限公司 | 基于gpu加速的人脸表情识别及互动方法 |
| US10285634B2 (en) | 2015-07-08 | 2019-05-14 | Samsung Electronics Company, Ltd. | Emotion evaluation |
| US10478131B2 (en) * | 2015-07-16 | 2019-11-19 | Samsung Electronics Company, Ltd. | Determining baseline contexts and stress coping capacity |
| US20170071516A1 (en) | 2015-09-15 | 2017-03-16 | Samsung Electronics Co., Ltd. | Mobile optical device and methods for monitoring microvascular hemodynamics |
| KR101689021B1 (ko) | 2015-09-16 | 2016-12-23 | 주식회사 인포쉐어 | 센싱장비를 이용한 심리상태 판단 시스템 및 그 방법 |
| US20170100067A1 (en) * | 2015-10-12 | 2017-04-13 | Yadong Liu | Method and system for emotion measurement |
| JP6985005B2 (ja) | 2015-10-14 | 2021-12-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 感情推定方法、感情推定装置、及び、プログラムを記録した記録媒体 |
| SG11201803152YA (en) * | 2015-10-14 | 2018-05-30 | Synphne Pte Ltd | Systems and methods for facilitating mind - body - emotion state self-adjustment and functional skills development by way of biofeedback and environmental monitoring |
| CN105700682A (zh) * | 2016-01-08 | 2016-06-22 | 北京乐驾科技有限公司 | 基于视觉和语音的智能性别、情绪识别检测系统及方法 |
| US10667723B2 (en) * | 2016-02-19 | 2020-06-02 | Covidien Lp | Systems and methods for video-based monitoring of vital signs |
-
2018
- 2018-04-11 US US15/951,098 patent/US10939833B2/en active Active
- 2018-04-11 US US15/951,068 patent/US10874309B2/en active Active
- 2018-04-11 US US15/951,105 patent/US10939834B2/en active Active
- 2018-05-02 WO PCT/KR2018/005060 patent/WO2018203646A1/en unknown
- 2018-05-02 EP EP18794775.9A patent/EP3600040B1/en active Active
- 2018-05-02 WO PCT/KR2018/005066 patent/WO2018203649A1/en unknown
- 2018-05-02 CN CN201880028996.3A patent/CN110612056B/zh not_active Expired - Fee Related
- 2018-05-02 EP EP18794415.2A patent/EP3600018B1/en active Active
- 2018-05-02 CN CN201880028984.0A patent/CN110621228B/zh active Active
- 2018-05-02 KR KR1020197033881A patent/KR102621119B1/ko active IP Right Grant
- 2018-05-02 WO PCT/KR2018/005064 patent/WO2018203648A1/en unknown
- 2018-05-02 EP EP18794330.3A patent/EP3595519A4/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110251493A1 (en) | 2010-03-22 | 2011-10-13 | Massachusetts Institute Of Technology | Method and system for measurement of physiological parameters |
| US20150051521A1 (en) | 2012-03-13 | 2015-02-19 | Koninklijke Philips N.V. | Cardiopulmonary resuscitation apparatus comprising a physiological sensor |
| US20150216425A1 (en) | 2012-08-10 | 2015-08-06 | Vita-Sentry Ltd. | Estimations of equivalent inner diameter of arterioles |
| WO2016193735A1 (en) | 2015-06-05 | 2016-12-08 | Oxford University Innovation Limited | Method and apparatus for vital signs measurement |
Also Published As
| Publication number | Publication date |
|---|---|
| US10939834B2 (en) | 2021-03-09 |
| US20180314879A1 (en) | 2018-11-01 |
| US20180310841A1 (en) | 2018-11-01 |
| CN110612056B (zh) | 2022-08-09 |
| WO2018203646A1 (en) | 2018-11-08 |
| EP3595519A1 (en) | 2020-01-22 |
| US10874309B2 (en) | 2020-12-29 |
| EP3600018B1 (en) | 2023-11-01 |
| EP3595519A4 (en) | 2020-04-22 |
| EP3600018A4 (en) | 2020-04-22 |
| EP3600040A1 (en) | 2020-02-05 |
| KR20190137893A (ko) | 2019-12-11 |
| WO2018203648A1 (en) | 2018-11-08 |
| EP3600018A1 (en) | 2020-02-05 |
| CN110621228A (zh) | 2019-12-27 |
| CN110621228B (zh) | 2022-07-29 |
| US10939833B2 (en) | 2021-03-09 |
| CN110612056A (zh) | 2019-12-24 |
| EP3600040B1 (en) | 2023-06-28 |
| US20180310842A1 (en) | 2018-11-01 |
| EP3600040A4 (en) | 2020-04-01 |
| WO2018203649A1 (en) | 2018-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102621119B1 (ko) | 카메라 기반 감지를 이용한 심혈관 특징 결정 | |
| CN107850940B (zh) | 情感评估 | |
| Giannakakis et al. | Review on psychological stress detection using biosignals | |
| KR102277820B1 (ko) | 반응정보 및 감정정보를 이용한 심리 상담 시스템 및 그 방법 | |
| KR20180095675A (ko) | 신체 내부 조직의 광학적인 검출 및 분석 장치 | |
| Paiva et al. | Beat-ID: Towards a computationally low-cost single heartbeat biometric identity check system based on electrocardiogram wave morphology | |
| Maaoui et al. | Automatic human stress detection based on webcam photoplethysmographic signals | |
| US20190175091A1 (en) | System and method for classification and quantitative estimation of cognitive stress | |
| US20230233123A1 (en) | Systems and methods to detect and characterize stress using physiological sensors | |
| KR102328947B1 (ko) | 얼굴 영상 이미지를 이용하여 사용자의 건강 지표를 측정하는 방법 및 그를 이용한 장치 | |
| Chen et al. | Artificial neural networks-based classification of emotions using wristband heart rate monitor data | |
| Kappeler-Setz | Multimodal emotion and stress recognition | |
| Li et al. | Sigd: A cross-session dataset for ppg-based user authentication in different demographic groups | |
| Tabei | Novel smartphone-based photoplethysmogram signal analysis for health monitoring applications | |
| Mo et al. | SFF-DA: Sptialtemporal Feature Fusion for Detecting Anxiety Nonintrusively | |
| ERDEM | Group Members | |
| Liu et al. | A Wearable PPG-Based Monitoring System for Personalized Free Weight Training | |
| Tu | High-Precision and Personalized Wearable Sensing Systems for Healthcare Applications | |
| Tiwari | Physiological features for mental state monitoring in real life conditions | |
| HUYNH | Multimodal mobile sensing systems for physiological and psychological assessment | |
| Bousefsaf et al. | Assessment of physiological parameters by non-contact means to quantify mental stress states | |
| Lima | Autonoumous Nervous System biosignal processing via EDA and HRV from a wearable device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0105 | International application |
Patent event date: 20191115 Patent event code: PA01051R01D Comment text: International Patent Application |
|
| PG1501 | Laying open of application | ||
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20210429 Comment text: Request for Examination of Application |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20221122 Patent event code: PE09021S01D |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20230516 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20231010 |
|
| PG1601 | Publication of registration |