KR102580271B1 - 이미지센서를 이용한 다중 생체신호 측정 장치 및 방법과, 전자장치 - Google Patents

이미지센서를 이용한 다중 생체신호 측정 장치 및 방법과, 전자장치 Download PDF

Info

Publication number
KR102580271B1
KR102580271B1 KR1020210025879A KR20210025879A KR102580271B1 KR 102580271 B1 KR102580271 B1 KR 102580271B1 KR 1020210025879 A KR1020210025879 A KR 1020210025879A KR 20210025879 A KR20210025879 A KR 20210025879A KR 102580271 B1 KR102580271 B1 KR 102580271B1
Authority
KR
South Korea
Prior art keywords
binning
data
size
signal
bio
Prior art date
Application number
KR1020210025879A
Other languages
English (en)
Other versions
KR20220121598A (ko
Inventor
이종욱
고병훈
권용주
노승우
문현석
안성모
엄근선
이탁형
정명훈
최창목
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210025879A priority Critical patent/KR102580271B1/ko
Priority to US17/354,091 priority patent/US20220265149A1/en
Priority to CN202110747925.2A priority patent/CN114947778A/zh
Priority to EP21189352.4A priority patent/EP4050885A1/en
Publication of KR20220121598A publication Critical patent/KR20220121598A/ko
Application granted granted Critical
Publication of KR102580271B1 publication Critical patent/KR102580271B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A61B5/02108—Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A61B5/02427—Details of sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1172—Identification of persons based on the shapes or appearances of their bodies or parts thereof using fingerprinting
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14532—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring glucose, e.g. by tissue impedance measurement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14546—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring analytes not otherwise provided for, e.g. ions, cytochromes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4866—Evaluating metabolism
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4869—Determining body composition
    • A61B5/4875—Hydration status, fluid retention of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A61B5/6815—Ear
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7221—Determining signal validity, reliability or quality
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G21/00—Input or output devices integrated in time-pieces
    • G04G21/02—Detectors of external physical values, e.g. temperature
    • G04G21/025—Detectors of external physical values, e.g. temperature for measuring physiological data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Vascular Medicine (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Pulmonology (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Otolaryngology (AREA)
  • Emergency Medicine (AREA)
  • Psychology (AREA)
  • Obesity (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)

Abstract

다중 생체신호 측정 장치를 측정하는 장치가 개시된다. 일 실시예에 따르면 다중 생체신호 측정 장치는 피검체에 광을 조사하는 광원, 광원에서 조사되어 피검체에서 반응된 광을 검출하는 화소 어레이와, 상기 화소 어레이에서 검출된 광의 데이터를 서로 다른 둘 이상의 비닝 크기로 비닝하는 화소 비닝부를 포함하는 이미지센서 및, 이미지센서에서 출력된 각 비닝 크기의 데이터를 이용하여 다중 생체신호를 획득하는 프로세서를 포함할 수 있다.

Description

이미지센서를 이용한 다중 생체신호 측정 장치 및 방법과, 전자장치{APPARATUS AND METHOD FOR MEASURING MULTI-BIOSIGNAL, AND ELECTRONIC DEVICE}
이미지센서를 이용하여 다중 생체신호를 측정하는 기술과 관련된다.
CMOS 이미지센서(CIS)는 광학 신호를 전기 신호로 변환해주는 소자로서 주로 사진이나 동영상을 촬영하는 카메라에 사용된다. 최근에는 광용적맥파(Photo-plethysmography, PPG)와 같은 생체신호를 측정할 때, 수광부인 Photo-Diode(PD)를 대체하는 용도로 사용되기도 한다. CIS를 이용해서 생체신호를 측정하면 CIS가 촬영하는 영역(Field of View, FOV)내에서 위치에 따른 생체신호의 변화를 측정할 수 있다는 장점이 있다.
이와 같은 공간 분해능은 이미지 센서의 물리적 화소(Pixel) 수에 따른 해상도(Resolution)와 인접한 화소들을 묶어서 신호를 읽는 비닝(Binning)의 사용 여부에 따라 달라진다. 생체신호 측정을 목적으로 CIS를 사용할 때 비닝은 주로 신호 대 잡음비(Signal-to-Noise Ratio, SNR)를 높이기 위해 활용된다. 또한, 높은 공간 분해능 대신 샘플링 레이트(Sampling Rate)로 표현되는 시간 분해능이 중요할 때에도 처리해야 하는 데이터양을 낮추는 방안으로 활용되기도 한다. 이와 같이 시간 분해능과 공간 분해능은 서로 트레이트 오프(trade-off) 관계에 있다. 따라서 높은 시간 분해능과 높은 공간 분해능을 필요로 하는 건강 지표를 동시에 측정하고자 한다면 이 둘을 효율적으로 조절하는 방법이 필요하다.
이미지센서의 동적 비닝을 통한 다중 생체신호를 측정하는 장치 및 방법과, 이를 포함한 전자장치가 제시된다.
일 양상에 따르면, 다중 생체신호 측정 장치는 피검체에 광을 조사하는 광원, 광원에서 조사되어 피검체에서 반응된 광을 검출하는 화소 어레이와 화소 어레이에서 검출된 광의 데이터를 서로 다른 둘 이상의 비닝 크기로 비닝하는 화소 비닝부를 포함하는 이미지센서 및, 이미지센서에서 출력된 각 비닝 크기의 데이터를 이용하여 다중 생체신호를 획득하는 프로세서를 포함할 수 있다.
이미지센서는 CMOS(complementary metal-oxide semiconductor) 이미지센서를 포함할 수 있다.
또한, 다중 생체신호 측정 장치는 각 생체신호의 요구사항에 기초하여 생체신호별로 비닝 크기 및 적용 시점을 포함하는 최적 비닝 패턴을 생성하는 비닝 패턴 생성부를 더 포함할 수 있다.
비닝 패턴 생성부는 화소 어레이가 검출을 시작하기 전에 최적 비닝 패턴을 상기 화소 비닝부에 전달할 수 있다.
각 생체신호별 요구사항은 해상도, 프레임 속도 및 신호대잡음비(signal to noise ratio) 중의 하나 이상을 포함할 수 있다.
비닝 패턴 생성부는 화소 어레이에서 광이 검출되는 동안, 각 비닝 크기의 비닝이 적어도 2회 이상 번갈아 수행되도록 최적 비닝 패턴을 생성할 수 있다.
비닝 패턴 생성부는 화소 어레이에서 광이 검출되는 동안, 제1 구간에서 제1 비닝 크기의 비닝이 수행되고, 제1 구간 이후의 제2 구간에서 제2 비닝 크기의 비닝이 수행되도록 최적 비닝 패턴을 생성할 수 있다.
프로세서는 제1 비닝 크기의 데이터를 이용하여 생체신호를 획득할 때, 제2 비닝 크기로 동작한 구간에 대한 결측 데이터는 인접하는 제1 비닝 크기의 데이터를 기초로 보간하여 획득할 수 있다.
프로세서는 제1 비닝 크기의 데이터를 이용하여 생체신호를 획득할 때, 제2 비닝 크기로 동작한 구간에 대한 결측 데이터는 상기 구간의 제2 비닝 크기 데이터를 조합하여 획득할 수 있다.
다중 생체신호는 심박, 혈압, 중성지방, 지문, 혈관 나이, 동맥경화도, 대동맥압 파형, 스트레스 지수, 피로도, 카로티노이드, 혈당, 콜레스테롤, 칼로리, 단백질, 체내 수분, 체외 수분 및 요산 중의 둘 이상의 생체정보를 획득하는데 사용할 생체신호일 수 있다.
일 양상에 따르면, 다중 생체신호 측정 장치는 피검체에 광을 조사하는 광원, 광원에서 조사되어 피검체에서 반응된 광을 검출하는 화소 어레이와, 상기 화소 어레이에서 검출된 광의 데이터를 서로 다른 둘 이상의 비닝 크기로 비닝하는 화소 비닝부를 포함하는 이미지센서, 화소 어레이에서 광의 검출이 진행하는 동안 상기 화소 비닝부의 비닝 크기 변경을 실시간 제어하는 비닝 제어부 및, 이미지센서에서 출력된 각 비닝 크기의 데이터를 이용하여 다중 생체신호를 획득하는 프로세서를 포함할 수 있다.
또한, 다중 생체신호 측정 장치는 각 생체신호의 요구사항에 기초하여 구간별로 적용할 비닝 크기의 패턴을 결정하는 비닝 패턴 생성부를 더 포함하고, 비닝 제어부는 이미지센서에서 출력된 데이터 및 구간별 비닝 크기를 기초로 비닝 크기 변경을 실시간 제어하는 제어신호를 생성하여 화소 비닝부에 전달할 수 있다.
비닝 제어부는 이미지센서에서 출력된 데이터의 현재 구간을 추정하고, 추정된 현재 구간에 해당하는 비닝 크기의 패턴을 기초로 제어신호를 생성할 수 있다.
비닝 제어부는 주기적으로 반복되는 파형의 경우, 각 주기의 동일 구간에서는 동일한 비닝 크기로 동작하도록 제어신호를 생성할 수 있다.
비닝 제어부는 주기적으로 반복되는 파형의 경우, 각 주기의 동일 구간에서 서로 다른 비닝 크기로 번갈아 동작하도록 제어신호를 생성할 수 있다.
프로세서는 제1 비닝 크기의 데이터를 이용하여 지문 이미지를 획득하여, 획득된 지문 이미지를 기초로 피검체의 접촉 위치를 판단하거나 사용자 인증을 수행하고, 비닝 제어부는 피검체의 접촉 위치가 정상이거나 사용자 인증이 성공한 경우, 다른 생체신호 획득을 위한 제2 비닝 크기로 변경하도록 제어신호를 생성할 수 있다.
프로세서는 제1 비닝 크기의 데이터를 이용하여 생체신호를 획득할 때, 제2 비닝 크기로 동작한 구간에 대한 결측 데이터는 인접하는 제1 비닝 크기의 데이터를 기초로 보간하여 획득할 수 있다.
프로세서는 제1 비닝 크기의 데이터를 이용하여 생체신호를 획득할 때, 제2 비닝 크기로 동작한 구간에 대한 결측 데이터는 상기 구간의 제2 비닝 크기 데이터를 조합하여 획득할 수 있다.
일 양상에 따르면, 다중 생체정보 측정 방법은 피검체에 광을 조사하는 단계, 조사된 광이 피검체에서 반응된 광을 검출하는 단계, 검출된 광의 데이터를 서로 다른 둘 이상의 비닝 크기로 비닝하여 출력하는 단계 및, 상기 출력된 각 비닝 크기의 데이터를 이용하여 다중 생체신호를 획득하는 단계를 포함할 수 있다.
다중 생체신호를 획득하는 단계는 제1 비닝 크기의 데이터를 이용하여 생체신호를 획득할 때, 제2 비닝 크기로 동작한 구간에 대한 결측 데이터는 인접하는 제1 비닝 크기의 데이터를 기초로 보간하여 획득할 수 있다.
다중 생체신호를 획득하는 단계는 제1 비닝 크기의 데이터를 이용하여 생체신호를 획득할 때, 제2 비닝 크기로 동작한 구간에 대한 결측 데이터는 상기 구간의 제2 비닝 크기 데이터를 조합하여 획득할 수 있다.
일 양상에 따르면 전자장치는 본체, 본체에 배치된 생체신호 측정 장치와 상기 생체신호 측정 장치의 처리 결과를 출력하는 출력부를 포함하고, 생체신호 측정 장치는 광원에서 조사되어 피검체에서 반응된 광을 검출하는 화소 어레이와, 화소 어레이에서 검출된 데이터를 서로 다른 둘 이상의 비닝 크기로 비닝하여 출력하는 화소 비닝부를 포함하는 이미지센서, 화소 비닝부의 비닝 크기 변경을 실시간 제어하는 비닝 제어부 및, 화소 비닝부에서 출력된 제1 비닝 크기의 데이터를 이용하여 제1 생체신호를 획득하고, 제2 비닝 크기의 데이터를 이용하여 제2 생체신호를 획득하는 프로세서를 포함할 수 있다.
전자장치는 시계 타입 웨어러블 기기, 이어(Ear) 타입 웨어러블 기기, 목걸이 타입 웨어블 기기 및 스마트기기 중의 적어도 하나를 포함할 수 있다.
이때, 제1 생체신호는 지문 이미지를 포함하고, 프로세서는 지문 이미지를 기초로 피검체의 접촉 위치 추적 또는 사용자 인증을 수행할 수 있다.
비닝 제어부는 피검체의 접촉 위치가 정상이거나 사용자 인증이 성공하면, 제2 비닝 크기로 변경하도록 제어신호를 생성하여 화소 비닝부에 전달할 수 있다.
비닝 제어부는 피검체의 접촉 위치를 추적하기 위해 적어도 2회 이상 제1 비닝 크기로 동작하도록 화소 비닝부를 제어할 수 있다.
출력부는 피검체의 접촉 위치가 정상이 아니면 사용자에게 접촉 위치를 변경하도록 가이드 정보를 출력할 수 있다.
이때, 제2 생체신호는 혈압 획득을 위한 PPG 신호를 포함하고, 프로세서는 제2 비닝 크기의 데이터를 이용하여 PPG 신호를 획득하고, 획득된 PPG 신호를 기초로 혈압을 획득할 수 있다.
프로세서는 제2 비닝 크기의 데이터를 이용하여 PPG 신호를 획득할 때, 제1 생체신호의 획득을 위해 제1 비닝 크기로 동작한 구간에 대한 결측 데이터는 상기 구간에 인접하는 제2 비닝 크기의 데이터를 이용하여 보간하여 획득할 수 있다.
또한, 전자장치는 이미지센서 상부 또는 하부에 배치된 힘센서를 더 포함하고, 프로세서는 PPG 신호와 상기 힘센서에 의해 획득된 접촉힘을 기초로 혈압을 획득할 수 있다.
이미지센서의 동적 비닝을 통한 다중 생체신호를 측정할 수 있다.
도 1은 일 실시예에 따른 다중 생체신호 측정 장치의 구성도이다.
도 2는 도 1의 이미지센서의 비닝 동작을 설명하기 위한 도면이다.
도 3은 도 1의 화소 비닝부 및 프로세서의 동작을 설명하기 위한 도면이다.
도 4는 다른 실시예에 따른 다중 생체신호 측정 장치의 구성도이다.
도 5는 도 4의 화소 비닝부 및 프로세서의 동작을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 다중 생체신호 측정 방법의 흐름도이다.
도 7은 다른 실시예에 따른 다중 생체신호 측정 방법의 흐름도이다.
도 8은 다중 생체신호 측정 장치를 포함한 전자장치의 블록도이다.
도 9는 혈압 추정을 위한 오실로메트릭 포락선을 도시한 것이다.
도 10은 전자장치의 일 실시예로서 시계형 웨어러블 기기를 도시한 것이다.
도 11은 전자장치의 다른 실시예로서 모바일 기기를 도시한 것이다.
도 12는 전자장치의 또 다른 실시예로서 이어(Ear) 웨어러블 기기를 도시한 것이다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 기재된 기술의 이점 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
도 1은 일 실시예에 따른 다중 생체신호 측정 장치의 블록도이다. 도 2는 도 1의 이미지센서의 비닝 동작을 설명하기 위한 도면이다. 도 3은 도 1의 화소 비닝부 및 프로세서의 동작을 설명하기 위한 도면이다.
도 1을 참조하면 다중 생체신호 측정 장치(100)는 광원(110), 이미지센서(120), 프로세서(140) 및 비닝 패턴 생성부(140)를 포함할 수 있다.
광원(110)은 피검체(OBJ)에 광을 조사한다. 이때, 피검체(OBJ)는 생체신호의 측정이 용이한 인체의 일부분, 예를 들어, 요골 동맥과 인접한 손목 안쪽 영역 또는 모세혈이나 정맥혈이 지나가는 상부 영역이거나, 혈관 밀도가 높은 손가락, 발가락 등 인체의 말초 부위일 수 있다. 광원(110)은 LED(Light Emitting Diode), LD(Laser Diode), 형광체 또는 이들의 조합일 수 있다. 광원(110)은 피검체(OBJ) 내로 침투하는 깊이가 서로 다른 두 개 이상의 파장의 광을 조사하도록 구성될 수 있다. 예를 들어, 피검체(OBJ)의 침투 깊이가 얕은 단파장 광, 예컨대 모세혈관 부위까지 침투 가능한 녹색 파장 대역(500 ~ 565 nm)의 광과, 피검체(OBJ)의 침투 깊이가 상대적으로 깊은 장파장 광, 예컨대 세동맥까지 침투 가능한 적외선 대역(750 ~ 2500 nm)의 광일 수 있다. 다만, 이에 제한되는 것은 아니며, 청색 파장, 적색 파장 등 그 밖의 다양한 파장의 광을 조사할 수 있다.
이미지센서(120)는 광원(110)에 의해 조사된 광이 피검체(OBJ)에 의해 산란, 반사 또는 투과 등 반응된 광을 검출하여 전기신호를 생성하는 전자 소자로서, 화소 어레이(121) 및 화소 비닝부(122)를 포함할 수 있다. 이때, 이미지센서(120)는 CMOS(Complementary Metal Oxide Semiconductor) 이미지센서일 수 있다.
화소 어레이(121)는 구동 신호에 따라 피검체(OBJ)에서 반응된 광을 감지하여 전하를 축적할 수 있다. 또한, 화소 어레이(121)는 축적된 전하에 의한 전위 변화를 감지하여 화소 데이터를 생성하고, 생성된 화소 데이터를 화소 비닝부(122)에 전달할 수 있다. 화소 어레이(121)는 도시된 바와 같이 복수의 화소행 및 화소열로 배열된 복수의 화소 예컨대, 도시된 바와 같이 6×6 행렬로 배열된 복수의 화소들을 포함할 수 있다. 이때, 화소행 또는 화소열의 수는 폼팩트의 사이즈 등에 따라 달라질 수 있다. 각 화소는 광전 변환 소자(미도시)와, 광전 변환 소자로부터 출력된 광 전하들을 처리하기 위한 복수의 트랜지스터(미도시)들을 포함할 수 있다. 이때. 광전 변환 소자는 포토다이오드(Photo Diode), 포토트랜지스터(Photo Transistor), 포토게이트(Photogate), 또는 핀드 포토다이오드(Pinned Photo Diode) 등으로 구현될 수 있다.
화소 비닝부(122)는 화소 어레이(121)로부터 출력된 화소 데이터를 미리 설정된 비닝(binning) 크기로 비닝하여 출력할 수 있다. 화소 비닝부(122)는 다중 생체신호 측정을 위해 화소 어레이(121)에서 검출이 진행되는 동안, 비닝 패턴 생성부(140)에 의해 생성된 최적 비닝 패턴에 따라 서로 다른 둘 이상의 비닝 크기로 비닝을 수행할 수 있다. 이때, 최적 비닝 패턴은 각 생체신호별 요구사항에 기초하여 설정되며, 예컨대, 각 생체신호별 비닝 크기, 적용 순서, 적용 시점 및/또는 반복 횟수 등의 정보를 포함할 수 있다. 이때, 각 생체신호별 요구사항은 예컨대, 해상도, 프레임 속도 및 신호대잡음비(signal to noise ratio) 등을 포함할 수 있다.
이미지센서(120)는 구비된 인터페이스(미도시)를 통해, 외부 장치 예컨대 프로세서(130) 및/또는 비닝 패턴 생성부(140), 디스플레이 장치(미도시) 등과 연동할 수 있다. 또한, 이미지센서(120)는 화소 비닝부(122)의 전 또는 후에 화소 어레이(121)에서 출력된 아날로그 형태의 화소 데이터 또는 화소 비닝부(122)에서 출력된 아날로그 형태의 비닝 데이터를 디지털 데이터로 변환 및/또는 증폭하여 출력하는 데이터 출력부(미도시)를 더 포함할 수 있다. 데이터 출력부(미도시)는 아날로그-디지털 변환기(alog-digital converter, ADC) 및/또는 증폭기(amplifier)를 포함할 수 있다.
프로세서(130)는 이미지센서(120)로부터 출력된 둘 이상의 비닝 크기의 데이터를 이용하여 둘 이상의 생체신호를 획득할 수 있다. 이때, 생체신호는 심박수, 혈압, 중성지방, 지문, 혈관 나이, 동맥경화도, 대동맥압 파형, 스트레스 지수, 피로도, 카로티노이드, 혈당, 콜레스테롤, 칼로리, 단백질, 체내 수분, 체외 수분 및 요산 등의 생체정보를 획득하는데 사용할 신호를 의미하는 것으로 이 예들에 한정되는 것은 아니다. 이하에서 편의상 심박수를 획득하기 위한 신호는 심박 신호, 혈압을 획득하기 위한 신호는 혈압 신호 또는 PPG 신호, 지문을 획득하기 위한 신호는 지문 이미지와 같은 용어로 사용될 수 있다. 프로세서(130)는 각 생체신호가 획득되면, 획득된 각 생체신호를 이용하여 각 생체정보를 획득할 수 있다.
예를 들어, 프로세서(130)는 제1 비닝 크기로 비닝된 프레임 데이터를 이용하여 제1 생체신호(예: 심박 신호)를 획득하고, 제2 비닝 크기로 비닝된 프레임 데이터를 이용하여 제2 생체신호(예: 혈압 신호)를 획득할 수 있다. 이때, 프로세서(130)는 제1 비닝 크기의 데이터를 이용하여 제1 생체신호를 획득할 때 결측된 데이터 즉, 제2 생체신호의 획득을 위해 제2 비닝 크기로 동작한 구간(이하, '결측 구간'이라 함)에 대한 제1 비닝 크기의 데이터는 미리 정의된 다양한 방법으로 보완하여 획득할 수 있다. 그 반대의 경우도 마찬가지이다. 일 예로, 결측 구간에 인접한 프레임들의 제1 비닝 크기의 데이터를 이용하여 보간하여 획득할 수 있다. 다른 예로, 결측 구간의 제2 비닝 크기의 데이터들 중의 하나(예: 최소값, 최대값, 중간값 또는 임의 프레임의 값 등) 또는 미리 정의된 선형/비선형 결합식을 이용하여 조합한 값(예: 평균)을 그 결측 구간에 대한 제1 비닝 크기의 데이터로 획득할 수 있다.
비닝 패턴 생성부(140)는 이미지센서(120)에 의해 검출이 진행되는 동안 적용할 최적 비닝 패턴을 생성하고, 이미지센서(120)의 화소 어레이(121)에 의해 데이터 검출이 시작되기 전에 최적 비닝 패턴을 이미지센서(120)에 미리 전달할 수 있다. 이때, 최적 비닝 패턴은 각 생체신호별 비닝 크기, 적용 순서, 적용 시점 및/또는 반복 횟수 등의 정보를 포함하고, 각 생체신호별 요구사항 예컨대 해상도, 프레임 속도 및 신호대잡음비(signal to noise ratio) 등을 이용하여 설정될 수 있다.
도 2를 참조하면, 화소 어레이(121)가 도시된 바와 같이 6×6 행렬이라 가정할 때, (a)는 비닝을 하지 않는 경우로서 각 픽셀별로 낮은 샘플링 레이트의 데이터를 획득하는 예이다. (b)는 3×3 비닝을 수행한 경우로서 (a) 보다 상대적으로 높은 샘플링 레이트의 데이터를 획득한 예이다. (c)는 6×6 비닝을 수행한 경우로서 공간 분해는 불가능하지만 매우 높은 샘플링 레이트의 데이터를 획득하는 것을 예시한 것이다.
예를 들어, 심박수와 혈압을 측정하는 경우, 심박수를 측정하기 위해 비교적 낮은 공간 분해능(즉, 높은 샘플링 레이트)의 데이터를 검출할 수 있도록 높은 비닝 크기, 예컨대 (c)와 같이 6×6 비닝 크기로 설정하고, 혈압을 측정하기 위해 상대적으로 높은 공간 분해능(즉, 낮은 샘플링 레이트)의 데이터를 검출할 수 있도록 상대적으로 낮은 비닝 크기, 예컨대 (b)와 같이 3×3 비닝 크기로 설정할 수 있다. 이와 같이 본 실시예에서 트레이드 오프(trade-off) 관계에 있는 시간 분해능과 공간 분해능을 적절히 조절하여 다양한 요구사항을 갖는 둘 이상의 생체신호를 획득할 수 있다.
비닝 패턴 생성부(140)는 각 생체신호별로 결정된 비닝 크기의 적용 순서, 적용 시점 및/또는 반복 횟수 등을 결정할 수 있다. 이때, 비닝 패턴 생성부(140)는 피검체로부터 획득되는 데이터의 파형의 형태, 측정 시간, 사용자별 특성 등을 고려하여 적용 순서, 적용 시점 및/또는 반복 횟수 등을 결정할 수 있다.
일 예로, 비닝 패턴 생성부(140)는 화소 어레이(121)에서 데이터 검출이 진행되는 동안 각 비닝 크기의 비닝이 적어도 2회 이상 번갈아 수행되도록 적용 순서, 적용 시점 및/또는 반복 횟수 등을 결정할 수 있다. 다른 예로, 제1 구간에서 제1 비닝 크기의 비닝이 수행되고, 제1 구간 이후의 제2 구간에서 제2 비닝 크기의 비닝이 수행되도록 하는 것도 가능하며, 또 다른 예로, 제1 구간 또는 제2 구간 중의 어느 한 구간에서는 제1 비닝 크기와 제2 비닝 크기가 번갈아 수행되고, 다른 구간에서는 제1 비닝 크기와 제2 비닝 크기 중의 어느 하나만 수행되도록 할 수도 있다. 다만, 이에 제한되는 것은 아니다.
도 3은 두 개의 생체신호(예: 심박 신호, 혈압 신호)를 획득하기 위해, 제1 비닝 크기(예: 6×6 비닝)의 구간(B1)과 제2 비닝 크기(예: 3×3 비닝)의 구간(B2)이 3:1 프레임 비율로 번갈아 반복되도록 설정된 최적비닝 패턴을 예시한 것이다. 프로세서(130)는 예컨대 이미지센서(120)에서 출력된 제1 비닝 크기의 프레임 데이터(1,2,3,5,6,7,9,10,11,…)를 이용하여 제1 생체신호(도 3의 (a))를 획득하고, 제2 비닝 크기의 프레임 데이터(4,8,12,…)를 이용하여 제2 생체신호(도 3의 (b))을 획득할 수 있다.
이때, 프로세서(130)는 제1 생체신호 획득할 때 결측 구간 즉, 제2 비닝 크기로 동작한 구간(B2)에 대하여는 그 결측 구간에 인접하는 프레임의 제1 비닝 크기 데이터를 이용하여 보간할 수 있다. 예컨대, 도 3에서 제2 비닝 크기로 동작한 4번 프레임의 경우 인접하는 제1 비닝 구간의 프레임(예: 3번, 5번)의 데이터를 이용하여 보간하여 획득할 수 있다. 이때, 인접하는 전후 프레임의 개수는 반드시 하나로 제한되는 것은 아니다. 또는, 프로세서(130)는 제2 비닝 크기로 동작한 결측 구간의 제2 비닝 크기 데이터를 평균하여 그 결측 구간에 대한 제1 비닝 크기 데이터로 획득할 수도 있다. 예컨대, 도 3에서 제2 비닝 크기로 동작한 4번 프레임의 경우 3×3 비닝에 따라 4개 화소 영역의 데이터가 출력되므로, 출력된 4개 화소 영역의 데이터를 평균하여 그 값을 4번 프레임에 대한 제1 비닝 크기(6×6 비닝) 데이터로 획득할 수 있다. 다만, 이는 일 예에 불과하다.
도 4는 다른 실시예에 따른 다중 생체신호 측정 장치의 구성도이다. 도 5는 도 4의 화소 비닝부 및 프로세서의 동작을 설명하기 위한 도면이다.
도 4를 참조하면 다중 생체신호 측정 장치(400)는 광원(110), 이미지센서(120), 프로세서(130), 비닝 패턴 생성부(140) 및 비닝 제어부(410)를 포함할 수 있다. 광원(110), 이미지센서(120), 프로세서(130), 비닝 패턴 생성부(140)에 대해서는 앞에서 자세히 설명하였으므로 이하 간단하게 기술한다.
전술한 바와 같이 광원(110)은 하나 이상의 LED, LD 또는 형광체와 그들의 조합으로 이루어질 수 있으며, 프로세서(130)의 제어에 따라 피검체에 광을 조사한다.
이미지센서(120)는 피검체에서 반응된 광을 검출하고 전기적인 신호로 변환하여 출력할 수 있다. 이미지센서(120)는 전술한 바와 같이 피검체에서 반응된 광을 검출하는 복수의 화소 어레이(121)와 화소 어레이(121)의 각 화소에서 검출된 광의 데이터를 서로 다른 둘 이상의 비닝 크기로 비닝하여 출력하는 화소 비닝부(122)를 포함할 수 있다. 화소 비닝부(122)는 비닝 제어부(410)의 제어에 따라 화소 어레이(121)에서 검출이 진행되는 동안 실시간으로 비닝 크기 변경을 수행할 수 있다.
비닝 패턴 생성부(140)는 장치에 미리 설정되거나, 사용자, 외부 장치 등으로부터 측정하고자 하는 다중 생체신호가 입력되면, 각 생체신호의 요구사항을 기초로 각 생체신호별로 비닝 크기 및 적용 구간을 결정할 수 있다. 비닝 패턴 생성부(140)는 생체신호별로 데이터 파형에서 중요한 구간과 상대적으로 중요하지 않은 구간을 분류하여 생체신호별로 중요한 구간에서 그 생체신호에 대한 비닝 크기의 비닝이 주로 수행되도록 적용 시점, 적용 순서 및/또는 반복 횟수 등의 패턴을 설정할 수 있다.
도 4를 참조하면, 예컨대 심박 신호의 경우 파형이 상승하는 제1 구간(Int 1)에서의 데이터가 더 중요하므로 제1 구간(Int 1)에서 6×6 비닝을 주로 사용하여 샘플링 레이트를 높이되, 혈압 신호도 측정할 수 있도록 3×3 비닝과 번갈아 배치할 수 있다. 하강하는 제2 구간(Int 2)에서는 혈압 신호를 측정하기 위해 3×3 비닝을 사용하도록 설정할 수 있다.
도시된 예는 하나의 예시에 불과하며 비닝 크기의 적용 패턴은 획득하고자 하는 생체신호의 수, 측정 시간 등의 다양한 조건을 고려하여 다양하게 설정될 수 있다. 예컨대, 구간별로 해당 구간에서 중요한 생체신호의 비닝 크기만이 수행되도록 하거나, 모든 구간에서 모든 비닝 크기의 동작이 수행되도록 하되, 각 구간에서 상대적으로 중요한 생체신호의 비닝 크기의 동작을 위주로 배치할 수 있다. 또는, PPG와 같이 주기적으로 반복되는 파형의 경우 모든 주기의 동일 구간에서는 동일한 비닝 크기로 동작하도록 배치할 수 있으며, 이때, 높은 시간 해상도와 공간 해상도가 동일 구간에서 동시에 요구되는 경우, 주기의 동일 구간에서 서로 다른 비닝 크기가 번갈아 동작하도록 배치하는 것도 가능하다.
비닝 제어부(410)는 비닝 패턴 생성부(140)에 의해 생성된 생체신호별 비닝 크기, 적용 구간 및/또는 적용 패턴 등의 정보를 이용하여 화소 비닝부(122)의 비닝 크기 변경을 실시간 제어할 수 있다. 비닝 제어부(410)는 제어신호를 생성하여 이미지센서(120)에 구비된 인터페이스(예: GPIO(general-purpose input/output) 핀 등)를 통해 전달할 수 있다. 비닝 제어부(410)는 이미지센서(120)로부터 프레임 데이터가 출력되면 현재 구간을 추정하고, 현재 구간에 해당하는 비닝 크기의 패턴을 기초로 제어신호를 생성하여 화소 비닝부(122)를 제어할 수 있다.
예를 들어, 도 5를 참조하면 비닝 제어부(140)는 데이터 검출 전에 6×6 비닝 크기 제어신호를 화소 비닝부(122)를 전달하고, 출력되는 프레임 데이터를 이용하여 현재 구간을 추정하여 현재 구간이 제1 구간(Int 1)이면 5번째 프레임에서 3×3 비닝 크기로 변경하도록 제어신호를 화소 비닝부(122)에 전달한다. 이와 같이 현재 구간이 제1 구간(Int 1)이면 6×6 비닝과 3×3 비닝이 번갈아 수행되도록 비닝 크기 변경 제어신호를 화소 비닝부(122)에 전달하고, 판단 결과 현재 구간이 제2 구간(Int 2)이면 3×3 비닝이 계속 수행되도록 비닝 크기 변경 제어신호를 화소 비닝부(122)에 전달할 수 있다.
프로세서(130)는 이미지센서(120)로부터 출력된 둘 이상의 비닝 크기의 데이터를 이용하여 둘 이상의 생체신호를 획득하며, 각 생체신호를 획득할 때 다른 생체신호 획득을 위해 다른 비닝 크기로 동작한 결측 구간(5, 10 프레임)에 대한 결측 데이터는 전술한 바와 같이 보간법 등을 활용하여 획득할 수 있다. 도 5를 참조하면 (a)는 심박 신호를 예시한 것으로 제1 구간(Int 1)에서 심박 신호에 대한 결측 데이터는 그 인접하는 심박 신호의 프레임 데이터를 보간하여 획득하거나, 그 결측 구간(5, 10 프레임)의 혈압 신호 데이터를 평균하는 방식 등으로 획득할 수 있다. 또한, 제2 구간(Int 2)은 혈압 신호를 위한 3×3 비닝만이 수행되었으므로 각 프레임별로 출력된 데이터를 평균하여 해당 프레임의 심박 신호 데이터로 획득할 수 있다. (b)는 혈압 신호를 예시한 것으로 제1 구간(Int1)에서 결측 구간(1-4,6-9,11-14 프레임)의 데이터는 인접 프레임의 데이터를 보간하거나 해당 프레임의 데이터를 평균하는 방식 등으로 획득할 수 있다.
일 실시예에 따르면 다중 생체신호는 사용자 인증 또는 피검체의 접촉 위치 추적을 위한 지문 이미지와 혈압 신호 등의 다른 생체신호일 수 있다. 비닝 패턴 생성부(140)는 일 예로 다른 생체신호를 획득하기 전에 사용자 인증을 수행하거나 피검체 접촉 위치의 정상 여부를 판단하기 위해 측정 초기의 소정 구간을 지문 이미지 획득을 위한 제1 비닝 크기로 설정하고, 이후 구간을 제2 비닝 크기로 설정할 수 있다. 다른 예로, 피검체의 접촉 위치가 중간에 변경되는지 추적하기 위해 전체 측정 과정에서 적어도 2회 이상 제1 비닝 크기로 동작하도록 설정할 수 있으며, 또는 일정 시점 이후의 구간(예: 이완기 구간)에서 제1 비닝 크기로 동작하도록 설정할 수 있다.
프로세서(130)는 제1 비닝 크기 데이터를 이용하여 지문 이미지를 획득하고, 지문 이미지를 이용하여 사용자 인증 또는 피검체의 접촉 위치를 판단할 수 있다. 프로세서(130)는 사용자 인증이 실패하면 출력 장치(예: 디스플레이, 음향 장치, 햅틱 장치 등)를 이용하여 사용자 인증 실패에 관한 정보를 안내할 수 있다. 프로세서(130)는 피검체의 접촉 위치가 정상 범위에 있지 않으면 출력 장치를 이용하여 피검체의 접촉 위치에 대한 정보를 출력할 수 있다. 또한, 프로세서(130)는 지문 이미지를 통해 피검체의 접촉 위치의 변경을 추적하여 중간에 접촉 위치의 변경이 있으면, 접촉 위치의 변화 정도에 따라 혈압값을 보정하거나, 접촉 위치 변경으로 인해 혈압값의 정확도가 감소되었음을 나타내는 정보를 출력 장치를 통해 출력할 수 있다.
비닝 제어부(410)는 프로세서(130)에 의해 사용자 인증이나 피검체의 접촉 위치가 정상으로 판단되면, 비닝 패턴 설정부(140)에 의해 설정된 비닝 크기 패턴을 참조하여 실시간으로 비닝 크기 변경 제어신호를 생성하고 화소 비닝부(122)에 전달할 수 있다.
도 6은 일 실시예에 따른 다중 생체신호 측정 방법의 흐름도이다.
도 6은 도 1의 실시예에 따른 다중 생체신호 측정 장치(100)에 의해 수행되는 일 실시예로서 앞에서 자세히 설명하였으므로 이하 간단하게 기술한다.
먼저, 다중 생체신호 측정 장치(100)는 측정하고자 하는 다중 생체신호의 각 요구사항을 기초로 각 생체신호별로 비닝 크기, 적용 시점 등을 포함하는 최적 비닝 패턴을 결정할 수 있다(610). 이때, 각 생체신호의 요구사항은 해상도, 프레임 속도 및 신호대잡음비(signal to noise ratio) 등을 포함할 수 있다.
그 다음, 결정된 최적 비닝 패턴을 이미지센서에 전달할 수 있다(620).
그 다음, 광원을 이용하여 피검체에 광을 조사할 수 있다(630). 광원은 하나 이상의 LED, LD, 형광체 등으로 형성될 수 있으며, 다파장 광을 조사할 수 있다.
그 다음, 이미지센서를 이용하여 피검체에서 반응된 광을 검출하고(640), 최적 비닝 패턴에 따라 단계(640)에서 검출된 프레임의 데이터를 해당하는 비닝 크기로 비닝을 수행할 수 있다(650).
그 다음, 이미지센서에서 둘 이상의 비닝 크기로 출력된 데이터를 이용하여 다중 생체신호를 획득할 수 있다(660). 예를 들어, 제1 비닝 크기의 데이터 및 제2 비닝 크기의 데이터를 이용하여 각각 대응하는 제1 생체신호 및 제2 생체신호를 획득하며, 각 생체신호를 획득할 때 결측 구간의 데이터는 전술한 바와 같이 인접하는 데이터를 이용하여 보간하거나 그 결측 구간에서 다른 비닝 크기로 출력된 데이터를 평균하는 등의 방법으로 획득할 수 있다.
도 7은 다른 실시예에 따른 다중 생체신호 측정 방법의 흐름도이다.
도 7은 도 1의 실시예에 따른 다중 생체신호 측정 장치(400)에 의해 수행되는 일 실시예로서 앞에서 자세히 설명하였으므로 이하 간단하게 기술한다.
먼저, 다중 생체신호 측정 장치(100)는 측정하고자 하는 다중 생체신호의 각 요구사항을 기초로 각 생체신호별로 비닝 크기, 적용 구간 등을 결정할 수 있다(710).
그 다음, 검출 초기에 적용할 초기 비닝 크기의 제어신호를 이미지센서에 전달할 수 있다(720).
그 다음, 광원을 이용하여 피검체에 광을 조사하고, 이미지센서를 이용하여 피검체로부터 데이터를 검출하고, 검출된 각 프레임의 데이터를 적용된 비닝 크기로 비닝하여 출력할 수 있다(730).
그 다음, 현재까지 검출된 데이터가 다중 생체신호를 획득하기에 충분한지 판단할 수 있다(740). 예를 들어, 소정 임계치 이상 검출이 진행된 경우 다중 생체신호를 획득하기에 충분하다고 판단할 수 있다.
그 다음, 단계(740)에서 판단한 결과 아직 충분한 데이터가 획득되지 않은 경우 출력된 데이터를 통해 현재 구간을 추정할 수 있다(750).
그 다음, 단계(710)에서 결정된 비닝 크기 및 적용 구간 등의 정보를 이용하여 추정된 현재 구간에서 비닝 크기 변경이 필요한지 판단하고(760), 비닝 크기 변경이 필요하면 비닝 크기 변경 제어신호를 생성하여 이미지센서에 전달하고(770), 단계(730)로 이동하고, 비닝 크기 변경이 필요하지 않으면 계속해서 데이터 검출 및 현재 비닝 크기로 비닝을 수행하는 단계(730)로 이동할 수 있다.
그 다음, 단계(740)에서 판단한 결과 충분한 데이터가 획득된 경우, 각 비닝 크기의 데이터를 이용하여 다중 생체신호를 획득할 수 있다(780). 이때, 각 생체신호를 획득할 때 결측 구간의 데이터는 전술한 바와 같이 인접하는 데이터를 이용하여 보간하거나 그 결측 구간에서 다른 비닝 크기로 출력된 데이터를 평균하는 등의 방법으로 획득할 수 있다.
도 8은 다중 생체신호 측정 장치를 포함한 전자장치의 블록도이다. 도 9는 혈압 추정을 위한 오실로메트릭 포락선을 도시한 것이다.
전자 장치(800)는 예컨대, 스마트 워치, 스마트 밴드, 스마트 안경, 스마트 이어폰, 스마트 링, 스마트 패치, 스마트 목걸이 타입의 웨어러블 기기, 및 스마트폰, 태블릿 PC 등의 모바일기기 등을 포함하며, 도 8을 참조하면, 전자장치(800)는 예시된 기기들의 본체 내에 생체신호 측정 장치(810), 입력부(820), 출력부(830), 통신부(840), 저장부(850) 및 힘센서(860)를 포함할 수 있다. 또한, 전자장치(800)는 여기 도시되지 않은 인터페이스, 안테나 모듈, 전력 관리 모듈, 카메라 모듈 또는 배터리 등을 더 포함할 수도 있다.
생체신호 측정 장치(810)는 전술한 다중 생체신호 측정 장치(100,400)의 일 실시예로서, 광원(811), 이미지센서(812), 프로세서(813) 및 비닝 제어부(814)를 포함할 수 있다. 비닝 제어부(814)는 생체신호 측정 장치(810)가 도 1의 다중 생체신호 측정 장치(100)와 같이 동작하는 경우 생략이 가능하다. 비닝 패턴 생성부(미도시)는 프로세서(813)의 일 구성으로 포함될 수 있으며, 전자장치(800)에서 측정할 생체신호의 종류가 미리 정의되고, 각 생체신호별로 비닝 크기 등의 정보가 전자장치의 제작 시점이나 초기 사용시점에 다른 기기에 의해 생성되는 경우 생략이 가능하다.
생체신호 측정 장치(810)의 모든 구성들은 예시된 특정 기기의 본체 내에 일체로 탑재될 수 있다. 또는, 생체신호 측정 장치(810)의 일부 구성들이 둘 이상의 기기에 분산 탑재될 수 있다. 예컨대, 피검체로부터 데이터를 검출하는 광원(811) 및 이미지센서(812)는 스마트워치나 스마트 이어폰에 탑재되고, 이미지센서(812)의 비닝을 실시간 제어하는 비닝 제어부(814) 검출된 데이터를 이용하여 생체신호를 획득하는 프로세서(813)와 는 스마트폰에 탑재되어, 유무선 통신으로 서로 데이터를 송수신할 수 있다. 생체신호 측정 장치(810)의 각 구성들은 생체신호를 측정하는 기능 외에 전자장치(810)에서 수행하는 그 밖의 기능을 수행하기 위해 활용될 수 있다.
이미지센서(812)는 광원(811)에서 조사되어 피검체에서 반응한 광을 검출하는 화소 어레이와, 화소 어레이에서 검출된 프레임 데이터를 비닝 제어부(814)의 실시간 제어에 따라 해당하는 비닝 크기로 비닝하여 출력하는 화소 비닝부를 포함할 수 있다.
프로세서(813)는 화소 비닝부에서 출력된 둘 이상의 비닝 크기 데이터를 이용하여 둘 이상의 생체신호를 획득하고, 둘 이상의 생체신호를 이용하여 생체정보를 획득할 수 있다. 이때, 전술한 바와 같이 각 생체신호를 획득할 때 결측 구간의 데이터는 보간법 등을 활용하여 획득할 수 있다.
프로세서(813)는 다중 생체신호가 획득되면 각 생체신호를 이용하여 각각의 생체정보를 독립적으로 획득할 수 있다. 예컨대, 심박 신호를 이용하여 심박수를 획득하고, PPG 신호를 이용하여 혈압을 획득할 수 있다. 또는, 어느 한 생체신호를 기초로 다른 생체신호를 획득할 수 있다. 예를 들어, 심박 신호를 이용하여 획득한 심박수와 PPG 신호로부터 추출된 특징을 이용하여 혈압을 추정할 수 있다.
프로세서(813)는 지문 이미지가 획득되면 지문 정보(예: 지문 패턴, 지문 중심점 등)를 추출하고, 지문 정보를 이용하여 사용자 인증 및/또는 피검체의 접촉 위치를 추적하며, 사용자 인증 성공 및/또는 접촉 위치가 정상인 경우 혈압 신호 검출 및/또는 혈압을 추정할 수 있다. 프로세서(813)는 사용자 인증이 성공하지 않으면 사용자에게 인증 실패를 안내할 수 있다. 또한, 접촉 위치가 정상 범위에 있지 않거나, 정상 범위에서 이탈하면, 사용자에게 접촉 위치 조정 등을 가이드하거나, 혈압값을 보정할 수 있으며 또는 혈압값이 정확하지 않다는 정보를 안내할 수 있다.
프로세서(813)는 힘센서(860)에 의해 이미지센서(812)와 피검체 사이의 접촉힘이 측정되면, 접촉힘과 PPG 신호를 이용하여 오실로메트리 기반으로 혈압을 추정할 수 있다.
도 9는 접촉압력과 PPG 신호의 진폭 사이의 관계를 도시한 오실로메트릭 포락선(OW)을 도시한 것이다.
프로세서(813)는 미리 정의된 변환식을 통해 접촉힘으로부터 접촉압력으로 변환하거나, 전자장치(800)에 면적센서가 탑재되는 경우 면적센서에 의해 측정된 피검체의 접촉면적과 접촉힘을 이용하여 구할 수 있다.
프로세서(813)는 PPG 신호 또는 PPG 신호의 미분신호의 각 측정 시점에서 맥파신호 파형 엔벨로프(in1)의 플러스 지점의 진폭값(in2)에서 마이너스 지점의 진폭값(in3)을 빼서 피크-투-피크(peak-to-peak) 지점을 추출할 수 있다. 또한, 피크-투-피크 지점의 진폭을 대응하는 시점의 접촉압력값을 기준으로 플롯(plot)하고, 예컨대 폴리노미얼 커브 피팅(polynomial curve fitting)을 수행하여 오실로메트릭 포락선(OW)을 획득할 수 있다.
프로세서(813)는 오실로메트릭 포락선(OW)에서 맥파 최대점(MA)의 접촉압력(MP), 및 맥파 최대점(MA)의 진폭값을 기준으로 소정 비율(예: 0.5~0.7)에 해당하는 진폭값을 갖는 좌우 지점의 접촉압력(DP, SP)을 기초로 각각 평균 혈압, 이완기 혈압 및 수축기 혈압을 추정할 수 있다. 각 접촉압력(MP,DP,SP) 자체를 각각 평균 혈압, 이완기 혈압 및 수축기 혈압으로 획득할 수도 있으며, 미리 정의된 혈압 추정식을 이용하여 각 접촉압력(MP,DP,SP)으로부터 각각 평균 혈압, 이완기 혈압 및 수축기 혈압으로 구할 수도 있다. 이때, 혈압 추정식은 덧셈, 뺄셈, 나눗셈, 곱셈, 로그값, 회귀식 등 특별히 제한됨이 없이 다양한 선형 또는 비선형 결합 함수식 형태로 정의될 수 있다.
입력부(820)는 전자장치(800)의 각 구성요소에서 사용될 명령 및/또는 데이터를 사용자 등으로부터 수신할 수 있다. 입력부(820)는 마이크, 마우스, 키보드, 및/또는 디지털 펜(스타일러스 펜 등)을 포함할 수 있다.
출력부(830)는 전자장치(800)에 의해 생성되거나 처리된 데이터를 시각적/비시각적인 방식으로 출력할 수 있다. 출력부(830)는 음향 출력 장치, 표시 장치, 오디오 모듈 및/또는 햅틱 모듈 등을 포함할 수 있다.
음향 출력 장치는 음향 신호를 전자 장치(800)의 외부로 출력할 수 있다. 음향 출력 장치는 스피커 및/또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 리시버는 스피커의 일부로 결합되어 있거나 또는 독립된 별도의 장치로 구현될 수 있다.
표시 장치는 전자장치(800)의 외부로 정보를 시각적으로 제공할 수 있다. 표시 장치는 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 표시 장치는 터치를 감지하도록 설정된 터치 회로(Touch Circuitry) 및/또는 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(압력 센서 등)를 포함할 수 있다.
오디오 모듈은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 오디오 모듈은 입력 장치를 통해 소리를 획득하거나, 음향 출력 장치 및/또는 전자 장치(800)와 직접 또는 무선으로 연결된 다른 전자 장치의 스피커 및/또는 헤드폰을 통해 소리를 출력할 수 있다.
햅틱 모듈은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(진동, 움직임 등) 또는 전기적인 자극으로 변환할 수 있다. 햅틱 모듈은, 모터, 압전 소자, 및/또는 전기 자극 장치를 포함할 수 있다.
통신부(840)은 전자장치(800)와 네트워크 환경 내에 있는 다른 전자장치 사이의 직접(유선) 통신 채널 및/또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신부(840)는 블루투스(bluetooth) 통신, BLE(Bluetooth Low Energy) 통신, 근거리 무선 통신(Near Field Communication, NFC), WLAN 통신, 지그비(Zigbee) 통신, 적외선(Infrared Data Association, IrDA) 통신, WFD(Wi-Fi Direct) 통신, UWB(ultra-wideband) 통신, Ant+ 통신, WIFI 통신, RFID(Radio Frequency Identification) 통신, 3G 통신, 4G 통신 및 5G 통신 등을 이용하여 다른 전자장치와 통신할 수 있다. 그러나, 이는 일 예에 불과할 뿐이며, 이에 한정되는 것은 아니다.
저장부(850)는 전자장치(800)의 구동을 위해 전자장치(800)의 구성요소들이 필요로 하는 다양한 데이터 예컨대, 소프트웨어 및 이와 관련된 명령에 대한 입력 데이터 및/또는 출력 데이터 등을 저장할 수 있다. 저장부(850)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어, SD 또는 XD 메모리 등), 램(Random Access Memory: RAM) SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 등의 저장매체를 포함하며, 이에 제한되는 것은 아니다.
도 10 내지 도 12는 도 8의 전자 장치의 구조들을 예시적으로 나타낸 도면들이다.
도 10을 참조하면 전자장치(800)는 시계 타입의 웨어러블 장치(1000)로 구현될 수 있으며 본체와 손목 스트랩을 포함할 수 있다. 본체의 전면에는 디스플레이가 마련되어, 시간 정보, 수신 메시지 정보 등을 포함하는 다양한 애플리케이션 화면이 표시될 수 있다. 본체의 후면에는 생체신호 측정 장치(810)의 광원(811) 및 이미지센서(812)와 같은 센서장치(1010)가 배치되고, 본체 내부에 그 센서장치(1010)와 전기적으로 연결되어 제어신호 및 검출된 데이터를 처리하는 비닝 제어부(814) 및/또는 프로세서(813)가 배치될 수 있다.
도 11을 참조하면 전자 장치(800)는 스마트 폰(Smart Phone)과 같은 모바일 장치(1100)로 구현될 수 있다.
모바일 장치(1100)는 하우징 및 디스플레이 패널을 포함할 수 있다. 하우징은 모바일 장치(1100)의 외관을 형성할 수 있다. 하우징의 제1 면에는 디스플레이 패널 및 커버 글래스(Cover Glass)가 차례로 배치될 수 있고, 디스플레이 패널은 커버 글래스를 통해 외부로 노출될 수 있다. 하우징의 제2 면에는 광원(811) 및 이미지센서(812)와 같은 센서장치(1110), 카메라 모듈, 및/또는 적외선 센서 등이 배치될 수 있다. 사용자가 모바일 장치(1100)에 탑재된 애플리케이션 등을 실행하여 생체정보를 요청하는 경우 본체 내부에 배치되어 센서장치(1110)와 전기적으로 연결된 프로세서(813) 및 비닝 제어부(814)가 센서장치(1110)를 이용하여 다중 생체신호 획득 및 생체정보를 추정하고, 사용자에게 생체정보 추정 결과를 영상 및/또는 음향으로 제공할 수 있다.
도 12를 참조하면 전자장치(800)는 이어(Ear) 웨어러블 장치(1200)로도 구현될 수 있다.
이어(Ear) 웨어러블 장치(1200)는 본체와 이어 스트랩(Ear Strap)을 포함할 수 있다. 사용자는 이어 스트랩을 귓바퀴에 걸어 착용할 수 있다. 이어 스트랩은 이어 웨어러블 장치(1200)의 형태에 따라 생략이 가능하다. 본체는 사용자의 외이도(External Auditory Meatus)에 삽입될 수 있다. 본체에는 광원(813) 및 이미지센서(812)와 같은 센서장치(1210)가 탑재될 수 있다. 이어 웨어러블 장치(1200)는 생체정보 추정 결과를 사용자에게 음향으로 제공하거나, 본체 내부에 마련된 통신 모듈을 통해 외부 기기 예컨대, 모바일, 태블릿, PC 등으로 전송할 수 있다.
한편, 본 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 개시된 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100,400: 다중 생체신호 측정 장치
110: 광원 120: 이미지센서
121: 화소 어레이 122: 화소 비닝부
130: 프로세서 140: 비닝 패턴 생성부
410: 비닝 제어부

Claims (30)

  1. 피검체에 광을 조사하는 광원;
    상기 광원에서 조사되어 피검체에서 반응된 광을 소정 시간 연속 검출하는 화소 어레이와, 상기 화소 어레이에서 연속 검출되는 광의 데이터를 제1 시점에 제1 비닝 크기로 비닝하여 출력하고, 상기 제1 시점과 다른 제2 시점에 상기 제1 비닝 크기와 다른 제2 비닝 크기로 비닝하여 출력하는 화소 비닝부를 포함하는 이미지센서; 및
    상기 이미지센서에서 출력된, 상기 제1 비닝 크기의 데이터를 이용하여 제1 생체정보를 추정하기 위한 제1 생체신호를 획득하고, 상기 제2 비닝 크기의 데이터를 이용하여 제2 생체정보를 추정하기 위한 제2 생체신호를 획득하는 프로세서를 포함하는 다중 생체신호 측정 장치.
  2. 제1항에 있어서,
    상기 이미지센서는
    CMOS(complementary metal-oxide semiconductor) 이미지센서를 포함하는 다중 생체신호 측정 장치.
  3. 제1항에 있어서,
    각 생체신호의 요구사항에 기초하여 생체신호별로 비닝 크기 및 적용 시점을 포함하는 최적 비닝 패턴을 생성하는 비닝 패턴 생성부를 더 포함하는 다중 생체신호 측정 장치.
  4. 제3항에 있어서,
    상기 비닝 패턴 생성부는
    상기 화소 어레이가 검출을 시작하기 전에 상기 최적 비닝 패턴을 상기 화소 비닝부에 전달하는 다중 생체신호 측정 장치.
  5. 제3항에 있어서,
    상기 각 생체신호별 요구사항은
    해상도, 프레임 속도 및 신호대잡음비(signal to noise ratio) 중의 하나 이상을 포함하는 다중 생체신호 측정 장치.
  6. 제1항에 있어서,
    상기 화소 비닝부는
    상기 화소 어레이에서 광이 연속 검출되는 동안, 상기 제1 비닝 크기 및 상기 제2 비닝 크기의 비닝을 적어도 2회 이상 번갈아 수행하는 다중 생체신호 측정 장치.
  7. 제1항에 있어서,
    상기 화소 비닝부는
    상기 화소 어레이에서 광이 연속 검출되는 동안, 제1 구간에서 상기 제1 비닝 크기의 비닝을 수행하고, 제1 구간 이후의 제2 구간에서 상기 제2 비닝 크기의 비닝을 수행하는 다중 생체신호 측정 장치.
  8. 제1항에 있어서,
    상기 프로세서는
    상기 제1 비닝 크기의 데이터를 이용하여 제1 생체신호를 획득할 때, 상기 제2 비닝 크기로 동작한 구간에 대한 결측 데이터는 인접하는 제1 비닝 크기의 데이터를 기초로 보간하여 획득하는 다중 생체신호 측정 장치.
  9. 제1항에 있어서,
    상기 프로세서는
    상기 제1 비닝 크기의 데이터를 이용하여 제1 생체신호를 획득할 때, 상기 제2 비닝 크기로 동작한 구간에 대한 결측 데이터는 상기 구간의 제2 비닝 크기 데이터를 조합하여 획득하는 다중 생체신호 측정 장치.
  10. 제1항에 있어서,
    상기 제1 생체정보와 상기 제2 생체정보는
    심박수, 혈압, 중성지방, 지문, 혈관 나이, 동맥경화도, 대동맥압 파형, 스트레스 지수, 피로도, 카로티노이드, 혈당, 콜레스테롤, 칼로리, 단백질, 체내 수분, 체외 수분 및 요산을 포함하는 생체정보들 중의 서로 다른 두 생체정보인 다중 생체신호 측정 장치.
  11. 피검체에 광을 조사하는 광원;
    광원에서 조사되어 피검체에서 반응된 광을 소정 시간 연속 검출하는 화소 어레이와, 상기 화소 어레이에서 연속 검출되는 광의 데이터를 제1 시점에 제1 비닝 크기로 비닝하여 출력하고, 상기 제1 시점과 다른 제2 시점에 상기 제1 비닝 크기와 다른 제2 비닝 크기로 비닝하여 출력하는 화소 비닝부를 포함하는 이미지센서;
    상기 화소 어레이에서 광의 검출이 진행하는 동안 상기 화소 비닝부의 비닝 크기 변경을 실시간 제어하는 비닝 제어부; 및
    상기 이미지센서에서 출력된, 상기 제1 비닝 크기의 데이터를 이용하여 제1 생체정보를 추정하기 위한 제1 생체신호를 획득하고, 상기 제2 비닝 크기의 데이터를 이용하여 제2 생체정보를 추정하기 위한 제2 생체신호를 획득하는 프로세서를 포함하는 다중 생체신호 측정 장치.
  12. 제11항에 있어서,
    각 생체신호의 요구사항에 기초하여 구간별로 적용할 비닝 크기의 패턴을 결정하는 비닝 패턴 생성부를 더 포함하고,
    상기 비닝 제어부는
    상기 이미지센서에서 출력된 데이터 및 상기 구간별 비닝 크기를 기초로 상기 비닝 크기 변경을 실시간 제어하는 제어신호를 생성하여 화소 비닝부에 전달하는 다중 생체신호 측정 장치.
  13. 제12항에 있어서,
    상기 비닝 제어부는
    상기 이미지센서에서 출력된 데이터의 현재 구간을 추정하고, 추정된 현재 구간에 해당하는 비닝 크기의 패턴을 기초로 제어신호를 생성하는 다중 생체신호 측정 장치.
  14. 제13항에 있어서,
    상기 비닝 제어부는
    주기적으로 반복되는 파형의 경우, 각 주기의 동일 구간에서는 동일한 비닝 크기로 동작하도록 제어신호를 생성하는 다중 생체신호 측정 장치.
  15. 제13항에 있어서,
    상기 비닝 제어부는
    주기적으로 반복되는 파형의 경우, 각 주기의 동일 구간에서 서로 다른 비닝 크기로 번갈아 동작하도록 제어신호를 생성하는 다중 생체신호 측정 장치.
  16. 제11항에 있어서,
    상기 프로세서는
    상기 제1 비닝 크기의 데이터를 이용하여 상기 제1 생체신호로서 지문 이미지를 획득하고, 획득된 지문 이미지를 기초로 피검체의 접촉 위치를 판단하거나 사용자 인증을 수행하고,
    상기 비닝 제어부는
    피검체의 접촉 위치가 정상이거나 사용자 인증이 성공한 경우, 상기 제2 생체신호 획득을 위한 제2 비닝 크기로 변경하도록 제어신호를 생성하는 다중 생체신호 측정 장치.
  17. 제11항에 있어서,
    상기 프로세서는
    상기 제1 비닝 크기의 데이터를 이용하여 제1 생체신호를 획득할 때, 상기 제2 비닝 크기로 동작한 구간에 대한 결측 데이터는 인접하는 상기 제1 비닝 크기의 데이터를 기초로 보간하여 획득하는 다중 생체신호 측정 장치.
  18. 제11항에 있어서,
    상기 프로세서는
    상기 제1 비닝 크기의 데이터를 이용하여 제1 생체신호를 획득할 때, 제2 비닝 크기로 동작한 구간에 대한 결측 데이터는 상기 구간의 제2 비닝 크기 데이터를 조합하여 획득하는 다중 생체신호 측정 장치.
  19. 광원을 통해, 피검체에 광을 조사하는 단계;
    이미지센서의 화소 어레이를 통해, 상기 조사된 광이 피검체에서 반응된 광을 소정 시간 연속 검출하는 단계;
    화소 비닝부를 통해, 상기 연속 검출되는 광의 데이터를 제1 시점에 제1 비닝 크기로 비닝하여 출력하고, 상기 제1 시점과 다른 제2 시점에 상기 제1 비닝 크기와 다른 제2 비닝 크기로 비닝하여 출력하는 단계; 및
    프로세서를 통해, 상기 제1 비닝 크기의 데이터를 이용하여 제1 생체정보를 추정하기 위한 제1 생체신호를 획득하고, 상기 제2 비닝 크기의 데이터를 이용하여 제2 생체정보를 추정하기 위한 제2 생체신호를 획득하는 단계를 포함하는 다중 생체신호 측정 방법.
  20. 제19항에 있어서,
    상기 다중 생체신호를 획득하는 단계는
    상기 제1 비닝 크기의 데이터를 이용하여 제1 생체신호를 획득할 때, 상기 제2 비닝 크기로 동작한 구간에 대한 결측 데이터는 인접하는 제1 비닝 크기의 데이터를 기초로 보간하여 획득하는 다중 생체신호 측정 방법.
  21. 제19항에 있어서,
    상기 다중 생체신호를 획득하는 단계는
    상기 제1 비닝 크기의 데이터를 이용하여 제1 생체신호를 획득할 때, 제2 비닝 크기로 동작한 구간에 대한 결측 데이터는 상기 구간의 제2 비닝 크기 데이터를 조합하여 획득하는 다중 생체신호 측정 방법.
  22. 본체, 본체에 배치된 생체신호 측정 장치와 상기 생체신호 측정 장치의 처리 결과를 출력하는 출력부를 포함하고,
    상기 생체신호 측정 장치는
    광원에서 조사되어 피검체에서 반응된 광을 소정 시간 연속 검출하는 화소 어레이와, 화소 어레이에서 연속 검출되는 데이터를 제1 시점에 제1 비닝 크기로 비닝하여 출력하고, 상기 제1 시점과 다른 제2 시점에 상기 제1 비닝 크기와 다른 제2 비닝 크기로 비닝하여 출력하는 화소 비닝부를 포함하는 이미지센서;
    화소 비닝부의 비닝 크기 변경을 실시간 제어하는 비닝 제어부; 및
    화소 비닝부에서 출력된 상기 제1 비닝 크기의 데이터를 이용하여 제1 생체신호를 획득하고, 상기 제2 비닝 크기의 데이터를 이용하여 제2 생체신호를 획득하는 프로세서를 포함하는 전자장치.
  23. 제22항에 있어서,
    상기 전자장치는
    시계 타입 웨어러블 기기, 이어(Ear) 타입 웨어러블 기기, 목걸이 타입 웨어블 기기 및 스마트폰 중의 적어도 하나를 포함하는 전자장치.
  24. 제22항에 있어서,
    상기 제1 생체신호는 지문 이미지를 포함하고,
    상기 프로세서는
    상기 지문 이미지를 기초로 피검체의 접촉 위치 추적 또는 사용자 인증을 수행하는 전자장치.
  25. 제24항에 있어서,
    상기 비닝 제어부는
    피검체의 접촉 위치가 정상이거나 사용자 인증이 성공하면, 제2 비닝 크기로 변경하도록 제어신호를 생성하여 화소 비닝부에 전달하는 전자장치.
  26. 제24항에 있어서,
    상기 비닝 제어부는
    피검체의 접촉 위치를 추적하기 위해 적어도 2회 이상 제1 비닝 크기로 동작하도록 화소 비닝부를 제어하는 전자장치.
  27. 제24항에 있어서,
    상기 출력부는
    피검체의 접촉 위치가 정상이 아니면 사용자에게 접촉 위치를 변경하도록 가이드 정보를 출력하는 전자장치.
  28. 제22항에 있어서,
    상기 제2 생체신호는 혈압 획득을 위한 PPG 신호를 포함하고,
    상기 프로세서는
    상기 제2 비닝 크기의 데이터를 이용하여 PPG 신호를 획득하고, 획득된 PPG 신호를 기초로 혈압을 획득하는 전자장치.
  29. 제28항에 있어서,
    상기 프로세서는
    상기 제2 비닝 크기의 데이터를 이용하여 PPG 신호를 획득할 때, 제1 생체신호의 획득을 위해 제1 비닝 크기로 동작한 구간에 대한 결측 데이터는 상기 구간에 인접하는 상기 제2 비닝 크기의 데이터를 이용하여 보간하여 획득하는 전자장치.
  30. 제28항에 있어서,
    이미지센서 상부 또는 하부에 배치된 힘센서를 더 포함하고,
    상기 프로세서는
    상기 PPG 신호와 상기 힘센서에 의해 획득된 접촉힘을 기초로 혈압을 획득하는 전자장치.

KR1020210025879A 2021-02-25 2021-02-25 이미지센서를 이용한 다중 생체신호 측정 장치 및 방법과, 전자장치 KR102580271B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020210025879A KR102580271B1 (ko) 2021-02-25 2021-02-25 이미지센서를 이용한 다중 생체신호 측정 장치 및 방법과, 전자장치
US17/354,091 US20220265149A1 (en) 2021-02-25 2021-06-22 Apparatus and method for measuring multiple bio-signals using image sensor, ad electronic device
CN202110747925.2A CN114947778A (zh) 2021-02-25 2021-07-02 用图像传感器测量多生物信号的设备和方法及电子装置
EP21189352.4A EP4050885A1 (en) 2021-02-25 2021-08-03 Apparatus and method for measuring multiple bio-signals using image sensor, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210025879A KR102580271B1 (ko) 2021-02-25 2021-02-25 이미지센서를 이용한 다중 생체신호 측정 장치 및 방법과, 전자장치

Publications (2)

Publication Number Publication Date
KR20220121598A KR20220121598A (ko) 2022-09-01
KR102580271B1 true KR102580271B1 (ko) 2023-09-20

Family

ID=77206964

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210025879A KR102580271B1 (ko) 2021-02-25 2021-02-25 이미지센서를 이용한 다중 생체신호 측정 장치 및 방법과, 전자장치

Country Status (4)

Country Link
US (1) US20220265149A1 (ko)
EP (1) EP4050885A1 (ko)
KR (1) KR102580271B1 (ko)
CN (1) CN114947778A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2549073B (en) 2016-03-24 2020-02-26 Imagination Tech Ltd Generating sparse sample histograms
WO2020044523A1 (ja) * 2018-08-30 2020-03-05 オリンパス株式会社 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015201164A (ja) * 2014-04-03 2015-11-12 神盾股▲ふん▼有限公司 Ｔｆｔ指紋センサーの装置と方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19947536A1 (de) * 1999-10-02 2001-04-05 Philips Corp Intellectual Pty Verfahren zum Auslesen der Sensorelemente eines Sensors sowie Sensor
US8482618B2 (en) * 2005-02-22 2013-07-09 Hewlett-Packard Development Company, L.P. Reduction of motion-induced blur in images
KR101597785B1 (ko) * 2009-07-14 2016-02-25 삼성전자주식회사 이미지 센서 및 영상 처리 방법
JP6039926B2 (ja) * 2012-06-12 2016-12-07 キヤノン株式会社 放射線撮影装置、放射線撮影装置の制御方法、およびプログラム
WO2014024104A1 (en) * 2012-08-06 2014-02-13 Koninklijke Philips N.V. Device and method for extracting physiological information
US9407837B2 (en) * 2013-02-28 2016-08-02 Google Inc. Depth sensor using modulated light projector and image sensor with color and IR sensing
EP3057486B1 (en) * 2013-10-17 2017-05-03 Koninklijke Philips N.V. Automatic camera adjustment for remote photoplethysmography
US10313610B2 (en) * 2016-04-14 2019-06-04 Qualcomm Incorporated Image sensors with dynamic pixel binning
KR101898067B1 (ko) * 2016-06-22 2018-09-12 (주)파트론 광학 센서 모듈 및 광학 센싱 방법
KR102592077B1 (ko) * 2018-08-01 2023-10-19 삼성전자주식회사 생체정보 측정 장치 및 방법
US11847855B2 (en) * 2019-02-04 2023-12-19 Fingerprint Cards Anacatum Ip Ab Variable pixel binning in an optical biometric imaging device
KR20200133112A (ko) * 2019-05-17 2020-11-26 삼성전자주식회사 생체 신호 측정 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015201164A (ja) * 2014-04-03 2015-11-12 神盾股▲ふん▼有限公司 Ｔｆｔ指紋センサーの装置と方法

Also Published As

Publication number Publication date
EP4050885A1 (en) 2022-08-31
US20220265149A1 (en) 2022-08-25
CN114947778A (zh) 2022-08-30
KR20220121598A (ko) 2022-09-01

Similar Documents

Publication Publication Date Title
KR102590026B1 (ko) 신호 측정 장치 및 방법과, 생체정보 측정 장치
KR20160107007A (ko) 혈압 측정 장치 및 방법
KR20230054821A (ko) 생체정보 측정 장치 및 방법
KR102580271B1 (ko) 이미지센서를 이용한 다중 생체신호 측정 장치 및 방법과, 전자장치
KR20200034422A (ko) 생체정보 추정 장치 및 방법
US20200221960A1 (en) Apparatus and method for estimating blood pressure
US11538846B2 (en) Display, electronic device having the display, and method of estimating bio-information using the electronic device
KR20200032320A (ko) 생체신호 획득 장치 및 방법과, 생체정보 추정 장치
KR20200032359A (ko) 생체정보 추정 장치 및 방법
KR20220127406A (ko) 생체정보 추정 장치 및 방법
US20230119697A1 (en) Method of evaluating quality of bio-signal and apparatus for estimating bio-information
US20230139441A1 (en) Method of extracting representative waveform of bio-signal and apparatus for estimating bio-information
US20240115212A1 (en) Apparatus and method for estimating physiological variables
US11877858B2 (en) Apparatus and method for estimating bio-information
KR102560787B1 (ko) 생체정보 추정 장치 및 방법과, 이를 포함하는 전자장치
US11896353B2 (en) Apparatus for estimating bio-information, and method of determining false detection of bio-signal peaks
KR102564545B1 (ko) 생체정보 추정 장치 및 방법
US11911134B2 (en) Apparatus and method for estimating bio-information
KR102622725B1 (ko) 생체정보 추정 장치 및 방법
EP4059414B1 (en) Cuffless blood pressure estimation
US20230309844A1 (en) Apparatus and method for estimating blood pressure
KR20220160283A (ko) 생체정보 추정 장치 및 방법
KR20220069273A (ko) 체내 성분 검출 장치 및 방법
KR20240080675A (ko) 혈압 추정 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right