KR20220039230A - 생체 정보 측정 장치 및 이를 포함하는 전자 장치 - Google Patents

생체 정보 측정 장치 및 이를 포함하는 전자 장치 Download PDF

Info

Publication number
KR20220039230A
KR20220039230A KR1020200122111A KR20200122111A KR20220039230A KR 20220039230 A KR20220039230 A KR 20220039230A KR 1020200122111 A KR1020200122111 A KR 1020200122111A KR 20200122111 A KR20200122111 A KR 20200122111A KR 20220039230 A KR20220039230 A KR 20220039230A
Authority
KR
South Korea
Prior art keywords
pixel
light
light emitting
emitting unit
image sensor
Prior art date
Application number
KR1020200122111A
Other languages
English (en)
Inventor
이탁형
고병훈
이종욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200122111A priority Critical patent/KR20220039230A/ko
Priority to US17/208,287 priority patent/US20220087549A1/en
Priority to CN202110324575.9A priority patent/CN114246567A/zh
Priority to EP21186719.7A priority patent/EP3970609A1/en
Publication of KR20220039230A publication Critical patent/KR20220039230A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A61B5/02141—Details of apparatus construction, e.g. pump units or housings therefor, cuff pressurising systems, arrangements of fluid conduits or circuits
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A61B5/02108—Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14532—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring glucose, e.g. by tissue impedance measurement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6843—Monitoring or controlling sensor contact pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0233—Special features of optical sensors or probes classified in A61B5/00

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Vascular Medicine (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Hematology (AREA)
  • Emergency Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

이미지센서를 이용하여 생체 정보를 측정하는 생채 정보 측정 장치가 제공된다. 개시된 생체 정보 측정 장치는, 제1 파장의 광을 방출하는 제1 발광부 및 제1 파장과 다른 제2 파장의 광을 방출하는 제2 발광부를 포함하는 광원, 제1 발광부로부터 방출되어 피검체에서 반응된 광을 검출하는 복수의 화소들을 포함하는 제1 화소 영역 및 제2 발광부로부터 방출되어 피검체에서 반응된 광을 검출하는 복수의 화소들을 포함하는 제2 화소 영역을 포함하는 이미지센서, 제1 화소 영역에 포함된 화소들의 노광 동작 시 제1 발광부가 광을 방출하고, 제2 화소 영역에 포함된 화소들의 노광 동작 시 제2 발광부가 광을 방출하도록 광원을 제어하는 광원 제어부, 및 이미지센서에서 검출된 데이터로부터 피검체의 생체 신호를 추출/분석하는 생체 신호 처리부를 포함하고, 이미지센서는 10개 이상의 화소행을 포함하고, 제1 화소영역에 포함된 화소들이 배열된 화소행과, 제2 화소 영역에 포함된 화소들이 배열된 화소행은 서로 다를 수 있다.

Description

생체 정보 측정 장치 및 이를 포함하는 전자 장치{BIOLOGICAL INFORMATION MEASUREMENT APPARATUS AND ELECTRONIC SYSTEM HAVING THE SAME}
광원과 이미지센서를 이용하여 혈압 등의 생체 정보를 측정하는 것에 관한 기술이다.
의학 발달 및 평균 수명의 연장과 함께 의료기기에 대한 관심도 높아지고 있으며, 병원이나 검사 기관에서 사용하는 중대형 의료기기뿐만 아니라, 개인이 소장 또는 휴대할 수 있는 소형 의료기기 및 헬스케어(health care) 장치까지 그 범위가 확대되고 있다. 생체 정보를 측정하는 의료기기는 크게 침습(invasive) 방식 기기와 비침습(noninvasive) 방식 기기로 구분할 수 있다. 비침습(noninvasive) 방식 기기는 피검자의 통증을 유발하지 않고 비교적 간단하게 생체 정보를 검출할 수 있는 장점이 있으나 측정한 결과의 정확도가 높지 않아 이를 극복하기 위한 다양한 연구가 진행되고 있다.
이미지센서 및 이미지센서와 동기화되어 동작하는 광원을 포함하는 생체 정보 측정 장치 및 이를 포함하는 전자 장치를 제공한다.
일 실시예의 생체 정보 측정 장치는, 제1 파장의 광을 방출하는 제1 발광부 및 제1 파장과 다른 제2 파장의 광을 방출하는 제2 발광부를 포함하는 광원, 제1 발광부로부터 방출되어 피검체에서 반사, 산란 또는 투과 등 반응된 광을 검출하는 복수의 화소들을 포함하는 제1 화소 영역 및 제2 발광부로부터 방출되어 피검체에서 반응된 광을 검출하는 복수의 화소들을 포함하는 제2 화소 영역을 포함하는 이미지센서, 제1 화소 영역에 포함된 화소들의 노광 동작 시 제1 발광부가 광을 방출하고, 제2 화소 영역에 포함된 화소들의 노광 동작 시 제2 발광부가 광을 방출하도록 광원을 제어하는 광원 제어부, 및 이미지센서에서 검출된 데이터로부터 피검체의 생체 신호를 추출/분석하는 생체 신호 처리부를 포함하고, 이미지센서는 10개 이상의 화소행을 포함하고, 제1 화소영역에 포함된 화소들이 배열된 화소행과, 제2 화소 영역에 포함된 화소들이 배열된 화소행은 서로 다를 수 있다.
일 실시예의 생체 정보 측정 방법은, 이미지센서에서 생성한 화소 제어 신호 또는 타이밍 신호를 이용하여 제1 발광부를 구동하여 제1 파장 광을 방출하는 단계, 피검체에 반응된 제1 파장 광을 이미지센서의 제1 화소 영역에 포함된 복수의 화소들을 이용하여 검출하는 단계, 이미지센서에서 생성한 화소 제어 신호 또는 타이밍 신호를 이용하여 제2 발광부를 구동하여 제2 파장 광을 방출하는 단계, 피검체에 반응된 제2 파장 광을 이미지센서의 제2 화소 영역에 포함된 복수의 화소들을 이용하여 검출하는 단계, 및 제1 내지 제2 화소 영역에서 검출된 정보를 이용하여 생체 정보를 측정하는 단계를 포함할 수 있다.
일 실시예에 따른 전자 장치는, 생체 정보 측정 장치, 생체 정보 측정 장치의 동작을 제어하는 프로세서, 및 생체 정보 측정 장치에서 측정한 정보를 출력하는 음향 출력 장치 및/또는 표시 장치를 포함하고, 생체 정보 측정 장치는, 제1 파장의 광을 방출하는 제1 발광부 및 제1 파장과 다른 제2 파장의 광을 방출하는 제2 발광부를 포함하는 광원, 제1 발광부로부터 방출되어 피검체에서 반응된 광을 검출하는 복수의 화소들을 포함하는 제1 화소 영역 및 제2 발광부로부터 방출되어 피검체에 반응된 광을 검출하는 복수의 화소들을 포함하는 제2 화소 영역을 포함하는 이미지센서, 제1 화소 영역에 포함된 화소들의 노광 동작 시 제1 발광부가 광을 방출하고, 제2 화소 영역에 포함된 화소들의 노광 동작 시 제2 발광부가 광을 방출하도록 광원을 제어하는 광원 제어부, 및 이미지센서에서 검출된 데이터로부터 피검체의 생체 신호를 추출/분석하는 생체 신호 처리부를 포함하고, 이미지센서는 10개 이상의 화소행을 포함하고, 제1 화소영역에 포함된 화소들이 배열된 화소행과, 제2 화소 영역에 포함된 화소들이 배열된 화소행은 서로 다를 수 있다.
도 1은 일 실시예에 따른 생체 정보 측정 장치의 구성도이다.
도 2는 도 1의 화소부에 포함된 단위 화소의 구조를 도시하는 도면이다.
도 3은 도 1의 화소부와 광원의 동작을 설명하기 위한 도면이다.
도 4는 도 3의 제1 및 제2 화소행에 제공되는 화소 제어 신호를 설명하기 위한 도면이다.
도 5a는 제1 파장 광에 대한 제1 PPG 신호를 도시하는 도면이고, 도 5b는 제2 파장 광에 대한 제2 PPG 신호를 도시하는 도면이다.
도 6은 PPG 신호의 단위 파형에 포함된 요소 파형의 생성 원리를 설명하기 위한 도면이다.
도 7은 PPG 신호의 단위 파형에 포함된 요소 파형을 설명하기 위한 도면이다.
도 8은 수평 동기 신호를 이용하여 광원을 구동하는 생체 정보 측정 장치의 동작을 설명하기 위한 도면이다.
도 9는 하나의 화소 영역에 2개 이상의 화소행을 포함하는 생체 정보 측정 장치의 동작을 설명하기 위한 도면이다.
도 10은 제3 발광부를 포함하는 생체 정보 측정 장치의 구성도이다.
도 11은 도 10의 생체 정보 측정 장치의 화소부와 광원의 동작을 설명하기 위한 도면이다.
도 12는 동일한 파장의 광을 방출하는 발광부를 2개 이상 포함하는 생체 정보 측정 장치의 구성도이다.
도 13a는 도 12의 광원을 구동하는 방법의 일 실시예를 설명하기 위한 도면이다.
도 13b는 도 12의 광원을 구동하는 방법의 다른 실시예를 설명하기 위한 도면이다.
도 14a는 이미지센서 위에 배치된 힘 센서를 포함하는 생체 정보 측정 장치의 구성도이고, 도 14b는 이미지센서 아래에 배치된 힘 센서를 포함하는 생체 정보 측정 장치의 구성도이다.
도 15a 및 도 15b는 도 14a의 이미지센서를 이용하여 측정한 PPG 신호를 도시하는 도면이고, 도 15c는 도 14a의 힘 센서를 이용하여 측정한 힘 강도를 도시하는 도면이다.
도 16은 도 15a 내지 도 15c에 도시된 데이터를 이용하여 도출한 오실로메트릭 포락선을 도시하는 도면이다.
도 17은 영상 신호 처리부를 포함하는 생체 정보 측정 장치의 구성도이다.
도 18은 생체 정보 측정 장치를 포함하는 전자 장치의 블록도이다.
도 19는 생체 정보 측정 장치를 포함하는 전자 장치의 시계형 실시예를 도시하는 면이다.
도 20은 생체 정보 측정 장치를 포함하는 전자 장치의 모바일형 실시예를 도시하는 면이다.
도 21은 생체 정보 측정 장치를 포함하는 전자 장치의 이어(Ear) 웨어러블형 실시예를 도시하는 면이다.
이하, 첨부된 도면을 참조하여 다양한 실시예들을 기재한다. 실시예의 설명을 위해 사용하는 용어들은 권리범위를 특정 실시예에 한정하기 위한 것이 아니며, 특정한 실시예 외의 다양한 변경, 균등물, 및/또는 대체물들이 권리범위에 포함될 수 있다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. "A 또는 B" 또는 "A 및/또는 B" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1," "제 2," 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
실시예들에 대한 설명에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 구성요소를 사이에 두고 연결되어 있는 경우도 포함한다. 또한 어떤 부분이 구성요소를 '포함한다'고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 하지만, '포함한다'의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 한다.
이하 설명하는 실시예들은 생체 정보 측정 장치(예를 들어, 혈압 측정 장치)의 기술 분야에 관한 것으로서 해당 기술 분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서는 자세한 설명을 생략한다.
도 1은 일 실시예에 따른 생체 정보 측정 장치의 개략적인 구성을 보여주는 구성도이고, 도 2는 도 1의 화소부에 포함된 단위 화소의 구조를 도시하는 도면이다.
생체 정보는 측정 대상이 되는 피검체(OBJ)로부터 얻을 수 있는 생물학적/의학적 정보일 수 있으며, 예를 들면, 혈압, 혈당, 체지방, 심박수, 혈액내 산소포화도, 혈관 탄성도, 혈류 속도 또는 동맥 경화도일 수 있다. 피검체(OBJ)는 생체 정보의 측정이 용이한 인체의 일부분, 예를 들어, 요골 동맥과 인접한 손목 안쪽 영역 또는 모세혈이나 정맥혈이 지나가는 상부 영역이거나, 혈관 밀도가 높은 손가락, 발가락 등 인체의 말초 부위일 수 있다.
도 1을 참조하면, 생체 정보 측정 장치(1000)는 피검체(OBJ)에 광을 조사하기 위한 광원(100), 피검체(OBJ)에서 산란, 반사 또는 투과 등 반응된 광을 감지하기 위한 이미지센서(300), 광원(100)을 제어하는 광원 제어부(500), 이미지센서(300)에서 감지된 신호로부터 생체 정보를 측정하는 생체 신호 처리부(700)를 포함할 수 있다.
광원(100)은 피검체(OBJ) 내로 침투하는 깊이가 다른 두 개 이상의 광을 조사할 수 있다. 도 1을 참조하면, 광원(100)은 제1 파장의 광을 방출하는 제1 발광부(110)와 제2 파장의 광을 방출하는 제2 발광부(120)를 포함할 수 있다. 제1 파장의 광은 제2 파장의 광보다 피검체(OBJ)의 침투 깊이가 얕은 단파장 광, 예를 들면, 모세혈관 부위까지 침투 가능한 녹색 파장 대역(500 ~ 565 nm)의 광일 수 있다. 제2 파장의 광은 피검체(OBJ)의 침투 깊이가 깊은 장파장 광, 예를 들면 세동맥까지 침투 가능한 적외선 대역(750 ~ 2500 nm)의 광일 수 있다. 제1 및 제2 발광부(110, 120)는 LED(Light Emitting Diode), LD(Laser Diode), 형광체 및/또는 이들의 조합일 수 있다. 예를 들면, 제1 및 제2 발광부(110, 120) 모두 LED 광원일 수도 있고, 제1 발광부(110)는 LED 광원이고 제2 발광부(120)는 LD 광원일 수도 있다.
이미지센서(300)는 피검체(OBJ)로부터 반응된 광을 감지하여 전기 신호를 생성하는 전자 소자이고, 화소부(310), 화소 제어부(320), 데이터 출력부(330)를 포함할 수 있다. 이미지센서(300)는 CMOS(Complementary Metal Oxide Semiconductor) 이미지센서(300)일 수 있다.
화소부(310)는 화소 제어부(320)의 구동 신호에 따라, 피검체(OBJ)로부터 반응된 광에 반응하여 전하를 축적하고, 축적된 전하에 의한 전위 변화를 감지하여 화소 신호를 생성하고, 생성된 화소 신호를 데이터 출력부(330)로 전달할 수 있다. 화소부(310)는 행렬로 배열된 복수의 화소들, 예를 들면 도 1과 같이 6 × 6 행렬로 배열된 화소들을 포함할 수 있다. 동일한 행에 배열된 화소들을 화소행이라고 하고, 화소부(310)는 제1 내지 제6 화소행(311 내지 316)을 포함할 수 있다. 단위 화소는 광전 변환 소자와, 광전 변환 소자로부터 출력된 광 전하들을 처리하기 위한 복수의 트랜지스터들을 포함할 수 있으며, 그 일 예는 도 2와 같다. 광전 변환 소자는 포토다이오드(Photo Diode), 포토트랜지스터(Photo Transistor), 포토게이트(Photogate), 또는 핀드 포토다이오드(Pinned Photo Diode) 등으로 구현될 수 있다. 화소부(310)에 포함된 화소행의 수는 100 내지 5000 개일 수 있으며, 화소열의 수는 80 내지 2000 개일 수 있다.
화소부(310)는 다른 화소보다 세로변 및/또는 가로변의 길이가 2배로 커서, 2열 및/또는 2행에 걸쳐서 배치된 슈퍼 화소들(미도시)을 포함할 수 있다. 또한 화소부(310)는 일부 영역 또는 전체 영역에 특정 파장 대역의 광만 투과시키는 광학 필터(미도시)를 포함할 수 있다.
도 2는 도 1의 화소부에 포함된 단위 화소가 4T 구조를 갖는 예를 보여준다.
도 2를 참조하면, 각각의 단위 화소(PX)는 포토 다이오드(PD) 및 화소 회로를 포함할 수 있다. 화소 회로는 플로팅 디퓨전(FD), 전송 트랜지스터(TX), 리셋 트랜지스터(RX), 구동 트랜지스터(DX), 및 선택 트랜지스터(SX)를 포함할 수 있다.
플로팅 디퓨전(Floating Diffusion)은 전송 트랜지스터(TX), 리셋 트랜지스터(RX), 및 구동 트랜지스터(DX)의 연결부이며, 포토 다이오드(PD)에 의해 광전 변환된 전하를 축적하여 전압으로 변환하는 부분일 수 있다. 전송 트랜지스터(TX)는 턴-온 되어 포토 다이오드(PD)에 의해 광전 변환된 전하를 플로팅 디퓨전(FD)으로 전송할 수 있다. 리셋 트랜지스터(RX)는 턴-온 되어 플로팅 디퓨전(FD)의 전압을 전원 전압(VDD)으로 만들고 플로팅 디퓨전(FD)에 축적된 전하를 제거한다. 구동 트랜지스터(DX)는 플로팅 디퓨전(FD)에 축적된 전하에 의한 신호, 즉 전압을 증폭할 수 있다. 선택 트랜지스터(SX)는 턴-온 되어 구동 트랜지스터(DX)에 의해 증폭된 전압, 즉 화소 신호를 컬럼라인(COL)으로 출력할 수 있다. 트렌지스터(TX, RX, SX)들의 온/오프를 제어하는 신호들 중 전송 트렌지스터(TX)를 제어하는 신호를 전송 신호(TG), 리셋 트랜지스터(RX)를 제어하는 신호를 리셋 신호(RG), 선택 트렌지스터(SX)를 제어하는 신호를 선택 신호(SEL)라고 한다.
다시 도 1을 참조하면, 화소 제어부(320)는 프로세서(CPU 등, 미도시)에서 전달하는 마스터 클럭 신호 및/또는 별도의 클럭 생성기(미도시)에서 생성한 클럭 신호에 기초해서 이미지센서(300)에서 사용하는 화소 제어 신호(TG, RG, SEL)나 타이밍 신호들(Timing Signals)을 생성하고 이미지센서(300) 외부로 제공할 수 있다.
화소 제어부(320)에서 생성하는 타이밍 신호는 화소부(310)의 광전 변환 동작, 데이터 출력부(330)의 아날로그-디지털 변환(Analog Digital Conveting) 동작 등 이미지센서(300)에서 수행되는 일련의 동작들에 기준이 되는 화소 클럭(Pixel Clock)일 수 있다. 또는 타이밍 신호는 이미지센서(300)에서 출력되는 화소 신호들을 행(Row) 또는 프레임(Frame) 단위로 구별할 수 있도록 하는 참조 신호일 수 있으며, 예를 들면, 하나의 화소 행에서 리드-아웃(Read-Out)된 화소 신호의 샘플링 완료를 나타내는 수평 동기 신호(H-sync), 또는 하나의 프레임에 대한 화소 신호의 샘플링 완료를 나타내는 수직 동기 신호(V-Sync)일 수 있다.
화소 제어부(320)가 제공하는 화소 제어 신호는 앞서 설명한 전송 신호(TG), 리셋 신호(RG), 선택 신호(SEL)일 수 있으며, 화소 제어부(320)는 화소행들을 순차적으로 노광하고 리드-아웃하는 롤링 셔터(Rolling Shutter) 방식으로 화소부(310)를 구동할 수 있다.
화소 제어부(320)는 앞서 설명한 타이밍 신호 및/또는 화소 제어 신호(TG, RG, SEL)를 이미지센서(300)에 구비된 인터페이스(미도시)를 통해 외부 장치, 예를 들어, 광원 제어부(500) 및/또는 디스플레이 장치(미도시) 등으로 전달하여 이미지센서(300)와 연동시킬 수 있다.
데이터 출력부(330)는 화소부(310)로부터 아날로그 형태의 화소 신호를 수신하고 디지털 신호로 변환하여 임시 저장했다가 증폭하여 외부로 출력할 수 있다. 구체적으로 데이터 출력부(330)는 ADC(아날로그-디지털 변환기)를 포함할 수 있고, 상관 이중 샘플링(Correlated Double Sampling)된 아날로그 화소 신호의 크기를 램프(Ramp) 신호의 크기와 비교하여 각 신호의 크기의 차이에 대응하는 비교 신호를 생성하고, 비교 신호를 카운팅하여 디지털 신호로 변환할 수 있다. 데이터 출력부(330)는 디지털 신호를 저장하기 위한 메모리(미도시)와 디지털 신호를 센싱하고 증폭하기 위한 앰프(미도시)를 포함하는 버퍼(미도시)를 포함할 수 있다.
광원 제어부(500)는 화소 제어부(320)에서 생성한 타이밍 신호 또는 화소 제어 신호(TG, RG, SEL)를 수신하고 이를 이용하여 광원(100)의 동작을 이미지센서(300)에 동기화한다. 예를 들어, 광원 제어부(500)는 제1 화소행(311)의 노광 동작(EXP) 시 제1 발광부(110)를 턴-온하고 제2 발광부(120)를 턴-오프하여 제1 화소행(311)에 포함된 화소들이 제1 파장의 광을 감지할 수 있도록 하고, 제2 화소행(312)의 노광 동작(EXP) 시 제1 발광부(110)를 턴-오프하고 제2 발광부(120)를 턴-온하여 제2 화소행(312)에 포함된 화소들이 제2 파장 광을 감지하도록 광원(100)을 제어할 수 있다.
생체 신호 처리부(700)는 이미지센서(300)가 출력하는 데이터를 이용하여 생체 정보를 측정할 수 있다. 생체 신호 처리부(700)가 수신하는 이미지센서(300)의 출력 데이터는 화소부(310)의 화소들이 감지한 광의 강도에 대한 데이터이며 이 데이터들을 분석하여 생체 정보를 분석/추출할 수 있다. 생체 신호 처리부(700)의 동작은 아래 도 3을 참조하여 설명한다.
아래에서는 도 1의 생체 정보 측정 장치(1000)를 이용하여 생체 정보 중 혈압을 측정하는 방법의 일 예를 도 3 및 도 4를 참조하여 설명한다.
도 3은 도 1의 화소행들 및 발광부들의 동작 타이밍을 보여주는 도면이고, 도 4는 도 3의 제1 및 제2 화소행에 인가되는 화소 제어 신호의 제공 타이밍을 보여주는 도면이다.
도 3을 참조하면, 화소행들(311 내지 316)은 화소 제어부(320)의 화소 제어 신호(TX, RX, SEL)에 따라 전자 셔터 동작(ES), 노광 동작(EXP), 리드-아웃 동작(RO)을 순차적으로 진행할 수 있다. 예를 들어, 제1 화소행(311)은 제1 구간(t1)에 전자 셔터 동작(ES), 제2 구간(t2)에 노광 동작(EXP), 제3 구간(t3)에 리드-아웃 동작(RO)을 수행하고, 이어서 제4 구간(t4) 내지 제6 구간(t6)에 제2 화소행(312)에 대한 동작들(ES, EXP, RO)이 수행될 수 있다. 도 3에서 가로축은 화소부(310)에서 수행되는 동작의 순서를 나타내며, 구간 번호나 구간 사이의 간격은 시간의 길이를 의미하지 않는다. 예를 들어 제2 구간(t2)은 제1 구간(t1) 및 제3 구간(t3) 보다 시간적으로 길 수 있다.
도 4를 참조하여 좀더 구체적으로 설명하면, 먼저 화소 제어부(320)는 제1 화소행(311)을 리셋하기 위해 제1 구간(t1)에 제1 화소행(311)에 포함된 화소들에 리셋 신호(RG)와 전송 신호(TG)를 동시에 전달하여 화소(PX)의 포토 다이오드(PD) 및 플로팅 디퓨전(FD)에 잔류한 전하를 제거할 수 있다. 이와 같이 포토 다이오드(PD) 및 플로팅 디퓨전(FD)에 잔류한 전하를 제거하는 동작을 전자 셔터 동작(ES)이라고 한다. 한편 화소 제어부(320)는 제1 화소행(311)에 전달하는 리셋 신호(RG)를 광원 제어부(500)로도 전달할 수 있고 광원 제어부(500)는 제1 발광부(110)를 턴-온 할 수 있다. 도 3의 제2 구간(t2)에서는 제1 발광부(110)에 의해 방출된 광자들 중 피검체(OBJ)에서 반응된 광자들이 제1 화소행(311)의 포토다이오드(PD)로 입사하여 광전 변환될 수 있다. 이와 같이, 전자 셔터 동작(ES) 후에 입사한 광자들에 의해 전하를 축적하는 동작을 노광 동작(EXP)이라고 한다. 제1 발광부(110)가 리셋 신호(RG)의 상승 엣지에 반응하여 온/오프 되는 경우, 리셋 신호(RG)가 하이(High)인 상태에서는 전하의 축적이 이루어지지 않으므로, 실제 노광 동작(EXP)은 제1 구간(t1)의 리셋 신호(RG) 하강 엣지부터 제3 구간(t3)의 리셋 신호(RG) 상승 엣지까지의 구간으로 제2 구간(t2) 보다 길다. 하지만 일반적으로 노광 동작(EXP)이 수행되는 구간이 제1 구간(t1) 또는 제3 구간(t3)에 비해 시간이 충분히 길기 때문에 설명의 편의상 도 3과 같이 제2 구간(t2)을 노광 동작(EXP) 구간이라고 할 수 있다.
이후, 제3 구간(t3)에서는 제1 화소행(311)에 리셋 신호(RG)와 선택 신호(SEL)를 전달하여 리셋 전압을 샘플링하고, 리셋 신호(RG)가 끝나는 시점에서 전송 신호(TG)를 전달하여 포토 다이오드(PD)에 축적된 전하에 의한 노광 전압을 샘플링한다. 리셋 전압을 먼저 샘플링하는 이유는 각 화소마다 리셋 상태의 전압이 다를 수 있기 때문에 노광 동작(EXP) 구간에 입사된 광자에 의한 신호만을 정확히 측정하기 위해서 리셋 전압과 노광 전압을 모두 샘플링한 후 두 전압 사이의 차이를 노광 동작(EXP)에 의한 신호로 사용하기 위함이다. 제3 구간(t3)에서와 같이 노광된 포토 다이오드(PD)에 축적된 전하에 의한 신호를 읽어 데이터 출력부로 전송하는 동작을 리드-아웃 동작(RO)이라고 한다. 이때, 제3 구간(t3)에서 전달되는 리셋 신호(RG)의 상승 엣지에 제1 발광부(110)가 턴-오프 될 수 있다. 이어서 제4 구간(t4)에 제2 화소행(312)의 전자 셔터 동작(ES)이 수행될 수 있고, 제4 구간(t4)의 리셋 신호(RG)에 의해 제2 발광부(120)가 턴-온 될 수 있다. 제5 구간(t5)은 제2 발광부(120)에서 방출된 광자들 중 피검체(OBJ)에서 반응된 광자들이 제2 화소행(312)에 입사하여 광전변환되는 구간이다. 제6 구간(t6)에 제2 화소행(312)의 리드-아웃 동작(RO)이 진행되고, 제6 구간(t6)의 제2 화소행(312)에 대한 리셋 신호(RG) 상승 엣지에 제2 발광부(120)가 턴-오프될 수 있다.
도 4에서는 제1 및 제2 화소행(311, 312)의 제어 신호만 예시적으로 도시하지만 제3 내지 제6 화소행(313, 314, 315, 316)에 대해서도 유사하게 전자 셔터 동작(ES), 노광 동작(EXP), 리드-아웃 동작(RO)이 도 3에 도시된 순서대로 이루어질 수 있다. 도 3의 타이밍도에서 보이는 바와 같이, 화소부(310)의 마지막 화소행인 제6 화소행(316)까지 리드-아웃 동작(RO)이 완료되면 제1 프레임(F1)에 대한 화소 신호가 데이터 출력부(330)로 전송된 것으로 볼 수 있다. 제1 프레임(F1)이 완료되면 제2 프레임(F2)이 진행될 수 있으며, 원하는 만큼의 화소 신호가 출력될 때까지 프레임은 반복 진행될 수 있다. 도 3 및 도 4는 제2 프레임(F2)까지의 타이밍도만 보여주지만 후속하여 제3 프레임 이상의 화소 신호가 연속적으로 출력될 수 있으며, 예를 들면 100 내지 5000 프레임에 대한 화소 신호가 출력될 수 있다. 출력된 화소 신호들은 데이터 출력부(330)를 통해 디지털 데이터로 변환되어 생체 신호 처리부(700)로 전달될 수 있다.
도 3은 광원 제어부(500)가 화소 제어 신호 중 리셋 신호(RG)를 이용하여 광원을 제어하는 예를 설명하였으나, 광원 제어부(500)는 다른 화소 제어 신호 또는 참조 신호를 이용하여 광원을 제어할 수 있으며, 예를 들면, 화소 제어 신호 중 전송 신호(TG)를 이용하여 광원을 제어하거나, 참조 신호 중 수평 동기 신호(H-sync)를 이용하여 광원을 제어할 수도 있다.
아래에서는 도 1의 생체 정보 측정 장치를 이용하여 생체 정보를 분석하는 예로 혈압을 측정하는 방법을 설명한다.
도 5a는 이미지센서(300)의 화소 신호로부터 얻어진 제1 파장 대역의 광에 대한 제1 PPG 신호(PPG1)를 나타내고, 도 5b는 제2 파장 대역의 광에 대한 제2 PPG 신호(PPG2)를 나타낸다.
PPG(Photo-plethysmography, 광전용적맥파) 신호는 특정 파장 대역의 빛을 인체에 조사하고 반응된 광을 검출한 신호로 심장 박동에 따라 발생하는 맥동 성분을 나타내는 신호일 수 있다. 생체 신호 처리부(700)는 이미지센서(300)의 데이터 출력부(330)에서 전달된 데이터를 이용하여 제1 및 제2 파장 광에 대해 PPG 신호를 얻을 수 있다.
도 5a 및 도 5b를 참조하면, 제1 및 제2 PPG 신호(PPG1, PPG2)를 구성하는 각 점은 앞서 서술한 각 화소행(311 내지 316)의 리드-아웃 동작(RO)시 샘플링한 신호에 대응할 수 있다. 예를 들어, 도 5a의 G1은 도 3의 제3 구간(t3)에 제1 화소행(311)에서 샘플링한 화소 신호, G2는 제9 구간(t9)에 제3 화소행(313)에서 샘플링한 화소 신호, G6은 제33 구간(t33)에 제5 화소행(315)에서 샘플링한 화소 신호에 각각 대응할 수 있다. 유사하게 도 5b의 IR1은 도 3의 제6 구간(t6)에 제2 화소행(312)에서 샘플링한 화소 신호, IR2는 제12 구간(t12)에 제4 화소행(314)에서 샘플링한 화소 신호, IR6는 제36 구간(t36) 구간에 제6 화소행(316)에서 샘플링한 화소 신호에 각각 대응할 수 있다. 각 화소행에서 샘플링한 화소 신호는 화소행에 포함된 복수의 단위 화소들로부터 오는 단위 화소 신호들을 포함하고 있으며, 생체 신호 처리부(700)는 다양한 방식으로 단위 화소 신호들을 가공하여 PPG 신호를 얻을 수 있다. 예를 들면, 도 3의 제3 구간(t3)에 제1 화소행(311)에 포함된 6개의 단위 화소들로부터 리드-아웃된 단위 화소 신호들을 평균하여 G1 값으로 하거나, 제1 화소행(311)에 포함된 화소들 중 중심부에 위치한 2개 내지 4개의 단위 화소들의 신호만 평균하여 G1 값으로 할 수 있다. 다른 예로, 피검체(OBJ)가 화소부(310) 전체에 걸쳐 접촉하고 있지 않은 경우, 피검체(OBJ)가 접촉하고 있는 화소들의 화소 신호들만 사용하여 생체 신호를 측정할 수도 있다.
앞서 설명한 G1 값, IR1 값 등을 하나의 생체 신호라고 할 때, 생체 정보 측정 장치(1000)가 측정하는 생체 신호의 샘플링 레이트(Sampling Rate)는 10 Hz 내지 5000 Hz, 또는 15 Hz 내지 1000 Hz일 수 있다.
한편, 발광부(110, 120)가 1회 턴-온했을 때 노광 동작하는 화소행들을 하나의 화소 영역이라고 하면, 도 3의 실시예에서는 각 화소행이 하나의 화소 영역이라고 할 수 있다. 하나의 화소 영역은 2개 이상의 화소행을 포함할 수 있으며, 이에 대해서는 아래 도 9를 참조하여 설명한다.
도 6은 PPG 신호를 구성하는 단위 파형이 생성되는 원리를 설명하기 위한 도면이고, 도 7은 PPG 신호를 구성하는 하나의 단위 파형(P)을 복수개의 요소 파형으로 구분한 도면이다.
도 6 및 도 7을 참조하면, 단위 파형(P)은 심장에서 출발하여 장골 동맥 등 신체 말단의 혈관 분기점들로 향하는 전진파(P1)와 말단부나 혈관 분기점들에서 반사되어 되돌아오는 반사파(P2, P3)가 중첩되어 형성될 수 있다. 구체적으로 요소 파형(P1, P2, P3)은 심장의 수축 운동에 의한 전진파(P1), 주로 신장동맥(renal arteries)에서 반사되는 첫 번째 반사파(P2), 주로 장골동맥(iliac arteries)에서 반사되는 두 번째 반사파(P3)를 포함할 수 있다. 전진파(P1)의 크기는 심장의 운동과 관련이 크고, 반사파(P2, P3)는 혈관의 특성과 관련이 크다고 할 수 있다. 이와 같이 PPG 신호의 단위 파형(P)을 각 요소 파형들(P1, P2, P3)로 구분하고, 요소 파형들(P1, P2, P3) 각각의 강도 및 지속시간, 요소 파형들(P1, P2, P3) 사이의 간격, 강도의 비율 등을 분석하여 혈압을 측정할 수 있다. 예를 들면, 전진파(P1)와 반사파(P2, P3)의 피크점의 시간 간격 및/또는 최대 강도의 비율을 분석하여 혈압을 측정할 수 있다. 구체적으로 도 5a의 제1 PPG 신호(PPG1), 및 도 5b의 제2 PPG(PPG2) 신호를 요소 파형들(P1, P2, P3)로 구분하여 분석하고 이 값들을 평균하여 혈압을 측정하거나, 도 5b의 제2 PPG 신호(PPG2)를 기준으로 하고, 도 5a의 제1 PPG 신호(PPG1)에서 도출된 정보는 제2 PPG 신호(PPG2)를 분석한 값을 보정하는데 사용하여 혈압 측정의 정확도를 높일 수 있다.
도 3의 실시예에서는 녹색 및 적외 파장 광을 이용하여 혈압을 측정하는 방법에 대해 예를 들어 설명하였으나, 도 1의 생체 정보 측정 장치(1000)는 블루(Blue) 광 등 다른 파장 광을 이용할 수 있고, 혈압 외 혈당, 체지방, 심박수, 혈액내 산소포화도, 혈관 탄성도, 혈류 속도, 동맥 경화도 등 다른 생체 정보를 측정하는데 사용될 수 있다.
도 8은 수평 동기 신호(H-sync)를 이용하여 광원을 구동하는 방법의 일 예를 설명하기 위한 도면이다.
수평 동기 신호(H-sync)는 하나의 화소행에 대한 화소 신호의 샘플링이 완료될 때마다 제공되는 신호이며, 앞서 설명한 화소행의 리드-아웃 동작(RO) 시 제공되는 신호일 수 있다. 예를 들어, 제1 화소행(311)의 리드-아웃 동작(RO)이 수행되는 제3 구간(t3)과 제2 화소행(312)의 리드-아웃 동작(RO)이 수행되는 제5 구간(t5) 등 리드-아웃 동작(RO)이 수행되는 구간에 수평 동기 신호(H-sync)가 제공될 수 있다. 이미지센서(300)에서 생성하거나 사용하는 타이밍 신호나 화소 제어 신호(TG, RG, SEL) 중 이미지센서(300) 외부로 전달되지 않는 신호들이 있으나, 수평 동기 신호(H-Sync)는 이미지센서(300)에 구비된 인터페이스(미도시)를 통해 외부로 전달하는 경우가 많으므로 수평 동기 신호(H-Sync)를 사용한 광원 제어 방법이 유용할 수 있다.
도 8과 도 3의 실시예를 비교하면, 도 3의 실시예는 화소 제어 신호(TG, RG, SEL) 중 하나인 리셋 신호(RG)를 이용하여 광원(100)을 구동하지만, 도 8의 실시예는 타이밍 신호 중 하나인 수평 구동 신호(H-Sync)를 이용하여 광원(100)을 구동하는 점에서 상이하다. 또한 도 3의 실시예는 선순위 화소행의 리드-아웃 동작(RO)이 수행된 이후에 후순위 화소행에 대한 전자 셔터 동작(ES)이 수행되는 반면, 도 8의 실시예는 선순위 화소행의 리드-아웃 동작(RO)과 후순위 화소행의 전자 셔터 동작(ES)이 같은 구간에서 동시에 수행되는 점에서 차이가 있다. 예를 들면, 도 3의 실시예에서는 제1 프레임(F1)의 제1 화소행(311)의 리드-아웃 동작(RO)이 제3 구간(t3)에서 진행되고, 제2 화소행(312)에 대한 전자 셔터 동작(ES)이 제4 구간(t4)수행 되지만, 도 8의 실시예에서는 제1 프레임(F1)의 제1 화소행(311)의 리드-아웃 동작(RO)이 수행되는 제3 구간(t3)에 제2 화소행(312)의 전자 셔터 동작(ES)이 동시에 수행될 수 있다.
도 8의 광원 제어부(500)는 수평 동기 신호(H-Sync)를 이용하여 제1 발광부(110) 및 제2 발광부(120)의 온/오프를 제어할 수 있다. 예를 들어, 제3 구간(t3)의 수평 동기 신호에 반응하여 제1 발광부(110)를 턴-온하고, 제5 구간(t5)의 수평 동기 신호에 반응하여 제1 발광부(110)를 턴-오프하고, 제2 발광부(120)를 턴-온 할 수 있다. 도 8의 제1 프레임(F1)의 제1 화소행(311)의 노광 동작(EXP) 구간 동안은 제1 및 제2 발광부(110, 120)가 모두 턴-오프 상태이므로, 제3 구간(t3)에서 리드-아웃된 제1 화소행(311)의 화소 신호는 생체 정보를 측정하는데 사용하지 않거나, 발광부에 의하지 않은 주변광을 측정하는데 사용될 수 있다. 발광부에 의하지 않은 주변광의 측정은 발광부에 의한 신호에서 노이즈를 제거하는 용도로 활용될 수 있다. 그 외 도 8의 실시예의 동작은 도 3의 실시예에서 설명한 것과 유사하므로 중복되는 설명은 생략한다.
도 9는 수평 동기 신호(H-sync)를 이용하여 광원을 구동하는 방법의 다른 예를 설명하기 위한 도면이다.
도 9와 도 8의 실시예를 비교하면, 도 8의 실시예는 각각의 화소행이 하나의 화소 영역에 해당하지만, 도 9의 실시예는 인접한 2개의 화소행이 하나의 화소 영역에 해당한다는 점에서 상이하다. 앞서 간략히 설명한 것과 같이, 발광부(110, 120)가 1회 턴-온 되었을 때 노광 동작하는 화소행들을 화소 영역이라고 하면, 도 9의 제1 발광부(110)가 턴-온된 제4 내지 제6 구간(t4~t6)에 제2 및 제3 화소행(311, 312)이 노광 동작(EXP)하므로 제2 및 제3 화소행(311, 312)이 하나의 화소 영역에 해당할 수 있다. 유사하게 제2 발광부(120)가 턴-온된 제10 내지 제12 구간(t10~t12)에 제5 및 제6 화소행(315, 316)이 노광 동작(EXP)하므로 제5 및 제6 화소행(315, 316)은 하나의 화소 영역에 해당할 수 있다.
하나의 화소 영역에서 출력된 화소 신호는 생체 신호 분석시 하나의 신호로 취급될 수 있다. 예를 들면, 도 9의 제1 프레임(F1)의 제5 구간(t5)에 제2 화소행(312)에서 샘플링한 값과 제7 구간(t7)에 제3 화소행(313)에서 샘플링한 값을 평균하여 생체 정보를 측정하는데 사용할 수 있다. 한편, 도 9의 제1 프레임(F1)의 제1 화소행(311) 및 제4 화소행(314)과 같이 제1 및 제2 발광부(110, 120)가 모두 턴-오프된 구간에서만 노광 동작(EXP)하는 화소행들(311, 314)의 화소 신호는 생체 정보를 측정하는데 사용하지 않을 수 있다. 예를 들어, 제3 구간(t3)에서 샘플링한 제1 화소행(311)의 화소 신호 및 제9 구간(t9)에서 샘플링한 제4 화소행(314)의 화소 신호는 생체 정보를 측정하는데 사용하지 않을 수 있다. 이와 같이, 제1 발광부(110)에 의한 생체 정보를 샘플링하는 화소 영역과, 제2 발광부(120)에 의한 생체 정보를 샘플링하는 화소 영역 사이에 생체 신호를 샘플링하지 않는 화소행을 둠으로써 발광부의 턴-오프 동작 지연에 의해 발생하는 노이즈를 감소시킬 수 있다. 예를 들어, 도 9의 제7 구간(t7)의 수평 동기 신호(H-Sync)에 의해 제1 발광부(110)가 즉시 턴-오프 되어야 하지만, 턴-오프 타이밍이 지연되어 제4 화소행(314)이 노광 동작하는 제8 구간(t8)까지 턴-온 상태로 유지되더라도 제2 발광부(120)에 의한 생체 정보는 제8 구간(t8)이 아니라 제10 구간(t10)부터 샘플링되므로, 제1 발광부(110)의 동작 지연에 의한 노이즈가 발생하지 않을 수 있다.
도 9의 광원 제어부(500)는 수평 동기 신호(H-Sync)를 이용하여 제1 및 제2 발광부(110, 120)의 온/오프를 제어할 수 있다. 예를 들어, 제3 구간(t3)의 수평 동기 신호에 반응하여 제1 발광부(110)를 턴-온하고, 제7 구간(t7)의 수평 동기 신호에 반응하여 제1 발광부(110)를 턴-오프할 수 있다. 또한, 제9 구간(t9)의 수평 동기 신호에 반응하여 제2 발광부(120)를 턴-온하고, 제13 구간(t13)의 수평 동기 신호에 반응하여 제2 발광부(120)를 턴-오프할 수 있다.
도 9의 실시예에서는 하나의 화소 영역에 포함되는 화소행이 2개인 예를 설명하였으나, 하나의 화소 영역에 포함되는 화소행의 수는 3개 이상일 수 있고, 10개 내지 500개 또는 10개 내지 100개일 수 있다.
도 10은 광원이 3개의 발광부를 포함하는 생체 정보 측정 장치의 구조를 개략적으로 도시하는 구성도이고, 도 11은 도 10의 화소부와 광원의 동작을 설명하기 위한 도면이다.
도 10과 도 1의 실시예를 비교하면, 도 10의 광원(101)은 제3 발광부(130)를 더 포함한다는 점에서 도 1의 광원(100)과 상이하다. 제3 발광부(130)는 제1 및 제2 발광부(110, 130)와 상이한 제3 파장의 광, 예를 들면, 적색(Red) 파장(625 ~ 740 nm)의 광을 방출할 수 있다.
도 11을 참조하면, 도 10의 광원 제어부(500)는 제1 내지 제3 발광부(110, 120, 130)를 순차적으로 구동할 수 있고, 예를 들어, 제1 및 제2 구간(t1, t2)에 제1 발광부(110)를 턴-온하고, 제4 및 제5 구간(t4, t5)에 제2 발광부(120)를 턴-온하고, 제7 및 제8 구간(t7, t8)에 제3 발광부(130)를 턴-온할 수 있다. 도 10의 생체 정보 측정 장치(1001)는 제3 파장 광에 대한 생체 신호를 분석하여 생체 정보를 측정할 수 있다.
도 10은 광원(101)이 서로 다른 3개 파장을 방출하는 3개의 발광부(110, 120, 130)를 포함하는 구조를 예로 설명하였으나, 광원은 4개 파장 이상을 방출하는 4개 이상의 발광부, 예를 들면 4개 내지 9개의 발광부를 포함할 수 있다.
도 12는 광원(102)이 동일한 파장의 광을 방출하는 발광부를 2개 이상 포함하는 생체 정보 측정 장치의 구조를 개략적으로 도시하는 구성도이고, 도 13a 및 도 13b는 도 12의 화소부와 광원의 동작을 설명하기 위한 도면이다.
도 12와 도 1의 실시예를 비교하면, 도 12의 광원(102)은 제1 발광부(110)와 동일한 제1 파장의 광을 방출하는 제1-2 발광부(112)와, 제2 발광부(120)와 동일한 제2 파장의 광을 방출하는 제2-2 발광부(122)를 더 포함한다는 점에서 도 1의 광원(100)과 상이하다. 도 12의 광원(102)은 광을 방출하는 발광부(110, 120, 112, 122)가 이미지센서(300)의 양측에 배치되어 발광부(110, 120, 112, 122)와 화소 사이의 거리에 의해 발생하는 광 조사량의 편차를 제어할 수 있다.
도 13a를 참조하면, 도 12의 광원 제어부(500)는 제1-2 발광부(112)를 제1 발광부(110)와 동시에 온/오프하도록 제어하고, 제2-2 발광부(122)를 제2 발광부(120)와 동시에 온/오프하도록 제어할 수 있다. 예를 들어, 제1 및 제2 구간(t1, t2)에 제1 발광부(110)와 제1-2 발광부(112)를 동시에 턴-온 하고, 제4 및 제5 구간(t4, t5)에 제2 발광부(120)와 제2-2 발광부(122)를 동시에 턴-온할 수 있다.
도 13b를 참조하면, 도 12의 광원 제어부(500)는 제1 발광부(110)와 제1-2 발광부(112)가 교번하여 온/오프하도록 제어하고, 제2 발광부(120)와 제2-2 발광부(122)가 교번하여 온/오프하도록 제어할 수 있다. 예를 들어, 제1 및 제2 구간(t1, t2)에 제1 발광부(110)만 턴-온하고, 제7 및 제8 구간(t7, t8)에는 제1-2 발광부(112)만 턴-온할 수 있다.
도 12의 광원(102)은 동일 파장의 광을 방출하는 발광부가 2개인 것에 대해 예를 들어 설명하였으나, 동일 파장의 광을 방출하는 광원은 2개 이상, 예를 들어, 3개 내지 8개 일 수 있다.
도 14a 및 도 14b는 힘 센서를 더 포함하는 생체 정보 측정 장치의 구조를 개략적으로 도시하는 구성도이다.
도 14a 및 도 14b와 도 1의 실시예를 비교하면, 도 14a 및 도 14b의 생체 정보 측정 장치는 이미지센서 상부 또는 하부에 배치된 힘 센서를 더 포함할 수 있다.
힘 센서(800)는 도 14a와 같이 이미지센서(300)의 상부에 배치되거나, 도 14b와 같이 이미지센서(300)의 하부에 배치되어 피검체(OBJ)가 누르는 힘의 강도를 측정할 수 있다. 힘 센서(800)는 전압저항식 힘 센서, 초음파식 힘 센서, 로드셀 센서, 정전용량식 힘 센서, 초전기식 힘 센서, 스트레인 게이지식 힘 센서, 전기화학식 힘 센서, 광학식 힘 센서, 또는 자기식 힘 센서가 될 수 있다.
도 14a 및 도 14b의 생체 정보 측정 장치(1003a, 1003b)는 힘 센서(800)가 제공하는 정보와 이미지센서(300)가 제공하는 정보를 조합하여 생체 정보를 측정할 수 있으며, 아래에서는 도 15a, 도 15b 및 도 16를 참조하여, 도 14a의 생체 정보 측정 장치(1003a)가 혈압을 측정하는 방법에 대해 설명한다.
도 15a 및 도 15b는 피검체(OBJ)가 강도를 서서히 높이면서 도 14a의 힘 센서(800)를 누를 때 이미지센서(300)가 측정한 PPG 신호(PPG1, PPG2)를 보여주는 도면이고, 도 15c는 누르는 힘의 강도를 힘 센서(800)로 측정한 값을 보여주는 도면이다.
도 15a는 제1 파장 광에 대해 얻어진 제1 PPG 신호(PPG1)를 보여주고, 도 15b는 제2 파장 광에 대해 얻어진 제2 PPG 신호(PPG2)를 보여준다. 파장이 짧은 제1 파장 광은 피검체(OBJ)의 피부 속으로 깊숙이 침투하지 못하기 때문에 제1 PPG 신호(PPG1)는 모세혈관 부위에서 반사되어 돌아오는 신호를 포함하게 된다. 반면 파장이 긴 제2 파장 광은 모세혈관보다 깊숙이 위치한 세동맥까지 침투할 수 있어 제2 PPG 신호(PPG2)는 모세혈관과 세동맥 부위의 신호를 모두 포함할 수 있다. 혈압에 관련된 정보는 모세혈관 부위의 신호 보다는 세동맥 부위의 신호에 더 많이 포함되어 있으므로, 제2 PPG 신호(PPG2)에서 모세혈관에 관련된 신호를 제거하여 세동맥 부위를 신호를 얻을 수 있으며, 제2 PPG 신호(PPG2)에서 모세혈관 부위의 신호를 제거하기 위해 제1 PPG 신호(PPG1)를 사용할 수 있다.
도 15c는 피검체(OBJ)가 강도를 서서히 높이면서 힘 센서를 누를 때 측정된 값을 나타내며, 시간에 따라 누르는 힘이 점차 증가함을 알 수 있다.
생체 신호 처리부(700)는 제1 및 제2 PPG 신호(PPG1, PPG2)를 정규화하고 각각의 2차 미분신호를 얻은 다음, 2차 미분신호를 다시 정규화하고, 제2 PPG 신호(PPG2)의 2차 미분신호에서 제1 PPG 신호(PPG1)의 2차 미분 신호를 빼주어 차분 미분 신호를 얻을 수 있다. 차분 미분 신호 파형의 엔벨로프를 이용하여, 피크-투-피크(peak-to-peak) 지점을 추출하고, 힘의 강도를 기준으로 플롯(plot)하면 도 16과 같은 오실로메트릭 포락선(OW)을 얻을 수 있다. 다만, 2차 미분신호를 이용하는 것으로 제한할 필요는 없으며, 제1 PPG 신호(PPG1) 및 제2 PPG 신호(PPG2)를 이용하여 오실로메트릭 포락선을 획득하는 것도 가능하다. 오실로메트릭 포락선(OW)의 최대 피크 지점의 힘 강도를 평균 혈압(MP)으로 산출할 수 있고, 최대 피크 지점을 기준으로 미리 설정된 비율만큼 우측 지점의 힘 강도(SP)를 수축기 혈압(SBP), 좌측 지점의 힘 강도(DP)를 이완기 혈압(DBP)으로 산출할 수 있다.
도 17은 영상 신호 처리부를 포함하는 생체 정보 측정 장치의 구조를 개략적으로 보여주는 구성도이다.
영상 신호 처리부(900)는 이미지센서(300)의 화소 신호를 전달받아 영상 정보를 생성할 수 있고, 영상 정보는 생체 정보를 측정하는데 다양한 방식으로 활용될 수 있다. 예를 들면, 영상 정보는 피검체(OBJ)가 이미지센서(300)와 접속하는 면적에 대한 정보를 제공할 수 있으며, 피검체(OBJ)가 이미지센서(300)와 접촉하는 면적과 피검체(OBJ)가 누르는 힘의 강도로부터 피검체(OBJ)에 의한 압력을 계산하고, 압력 정보를 혈압 측정하는데 사용할 수 있다. 다른 예로, 영상 정보로부터 피검체(OBJ)가 생체 정보를 측정할 수 있을 정도로 생체 정보 측정 장치에 접촉 또는 근접하였는지를 알 수 있으며, 피검체(OBJ)가 생체 정보를 측정할 수 있는 거리에 올 때까지 장치가 생체 정보 측정을 수행하지 않고 대기하도록 할 수 있다. 또 다른 예로, 생체 정보 측정을 위해 피검체(OBJ)가 정확한 위치에 배치되어야 하는 경우 영상 정보를 이용하여 현재 피검체(OBJ)의 위치를 판단하고 피검체(OBJ)를 어느 방향으로 이동시켜야 하는지에 대한 정보를 사용자에게 가이드할 수 있다.
도 18은, 생체 정보 장치를 포함하는 전자 장치의 블럭도이다.
전자 장치(1801)는 프로세서(1820), 메모리(1830), 입력 장치(1850), 음향 출력 장치(1855), 표시 장치(1860), 오디오 모듈(1870), 센서 모듈(1876), 인터페이스(1877), 햅틱 모듈(1879), 카메라 모듈(1880), 전력 관리 모듈(1888), 배터리(1889), 통신 모듈(1890), 가입자 식별 모듈(1896), 및/또는 안테나 모듈(1897)을 포함할 수 있고, 이 구성요소들 중 일부(표시 장치(1860) 등)가 생략되거나, 다른 구성요소가 추가될 수 있다. 앞서 도 1, 도 10, 도 12, 도 14a, 도 14b, 및 도 17에서 설명한 생체 정보 측정 장치(1000, 1001, 1002, 1003a, 1003b, 1004)는 통합된 회로로 구현되어 전자 장치(1801)의 센서 모듈(1876)에 탑재되거나, 서로 다른 구성요소에 분산되어 있을 수 있다. 예를 들어, 이미지 센서(300) 및/또는 광원(100)은 센서 모듈(1876)에 포함되고, 광원 제어부(500), 생체신호 처리부(700), 및/또는 영상 신호 처리부(900)는 프로세서(1820)에 포함될 수 있다.
프로세서(1820)는, 소프트웨어(프로그램(1840) 등)를 실행하여 프로세서(1820)에 연결된 전자 장치(1801) 중 하나 또는 복수개의 다른 구성요소들(하드웨어, 소프트웨어 구성요소 등)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 데이터 처리 또는 연산의 일부로, 프로세서(1820)는 다른 구성요소(센서 모듈(1876), 통신 모듈(1890) 등)로부터 수신된 명령 및/또는 데이터를 휘발성 메모리(1832)에 로드하고, 휘발성 메모리(1832)에 저장된 명령 및/또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(1834)에 저장할 수 있다. 프로세서(1820)는 구성요소들의 작동을 동기화하기 위한 마스터 클럭을 생성하여 다른 구성요소, 예를 들면, 앞선 도 1, 도 10, 도 12, 도 14a, 도 14b, 및 도 17의 화소 제어부(320)에 제공할 수 있다.
프로세서(1820)는 메인 프로세서(1821)(중앙 처리 장치, 어플리케이션 프로세서 등) 및 이와 독립적으로 또는 함께 운영 가능한 보조 프로세서(1823)(그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 커뮤니케이션 프로세서 등)를 포함할 수 있다. 보조 프로세서(1823)는 메인 프로세서(1821)보다 전력을 작게 사용하고, 특화된 기능을 수행할 수 있다. 보조 프로세서(1823)는, 메인 프로세서(1821)가 인액티브 상태(슬립 상태)에 있는 동안 메인 프로세서(1821)를 대신하여, 또는 메인 프로세서(1821)가 액티브 상태(어플리케이션 실행 상태)에 있는 동안 메인 프로세서(1821)와 함께, 전자 장치(1801)의 구성요소들 중 일부 구성요소(표시 장치(1860), 센서 모듈(1876), 통신 모듈(1890) 등)와 관련된 기능 및/또는 상태를 제어할 수 있다. 보조 프로세서(1823)(이미지 시그널 프로세서, 커뮤니케이션 프로세서 등)는 기능적으로 관련 있는 다른 구성 요소(카메라 모듈(1880), 통신 모듈(1890) 등)의 일부로서 구현될 수도 있다.
프로세서(1820)는 생체 정보 측정에 대한 사용자 요청에 대해 앞서 설명한 생체 정보 측정 장치(1000, 1001, 1002, 1003a, 1003b, 1004)의 이미지센서(300), 광원 제어부(500), 생체신호 처리부(700) 및/또는 영상 신호 처리부(900)에 제어 신호를 전달할 수 있다. 광원 제어부(500), 생체신호 처리부(700) 및/또는 영상 신호 처리부(900)는 각각 독립적인 프로세서로 구현되거나 전자 장치(1801)의 메인 프로세서(1821) 또는 보조 프로세서(1823)에 통합된 형태로 구현될 수 있다.
메모리(1830)는, 전자 장치(1801)의 구성요소(프로세서(1820), 센서모듈(1876) 등)가 필요로 하는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(프로그램(1840) 등) 및, 이와 관련된 명령에 대한 입력 데이터 및/또는 출력 데이터를 포함할 수 있다. 메모리(1830)는, 휘발성 메모리(1832) 및/또는 비휘발성 메모리(1834)를 포함할 수 있다.
프로그램(1840)은 메모리(1830)에 소프트웨어로 저장될 수 있으며, 운영 체제(1842), 미들 웨어(1844) 및/또는 어플리케이션(1846)을 포함할 수 있다.
입력 장치(1850)는, 전자 장치(1801)의 구성요소(프로세서(1820) 등)에 사용될 명령 및/또는 데이터를 전자 장치(1801)의 외부(사용자 등)로부터 수신할 수 있다. 입력 장치(1850)는, 마이크, 마우스, 키보드, 및/또는 디지털 펜(스타일러스 펜 등)을 포함할 수 있다.
음향 출력 장치(1855)는 음향 신호를 전자 장치(1801)의 외부로 출력할 수 있다. 음향 출력 장치(1855)는, 스피커 및/또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 리시버는 스피커의 일부로 결합되어 있거나 또는 독립된 별도의 장치로 구현될 수 있다.
표시 장치(1860)는 전자 장치(1801)의 외부로 정보를 시각적으로 제공할 수 있다. 표시 장치(1860)는, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 표시 장치(1860)는 터치를 감지하도록 설정된 터치 회로(Touch Circuitry), 및/또는 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(압력 센서 등)를 포함할 수 있다.
오디오 모듈(1870)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 오디오 모듈(1870)은, 입력 장치(1850)를 통해 소리를 획득하거나, 음향 출력 장치(1855), 및/또는 전자 장치(1801)와 직접 또는 무선으로 연결된 다른 전자 장치(전자 장치(1802) 등)의 스피커 및/또는 헤드폰을 통해 소리를 출력할 수 있다.
센서 모듈(1876)은 전자 장치(1801)의 작동 상태(전력, 온도 등), 또는 외부의 환경 상태(사용자 상태 등)를 감지하고, 감지된 상태에 대응하는 전기 신호 및/또는 데이터 값을 생성할 수 있다. 센서 모듈(1876)은, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(Infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 및/또는 조도 센서를 포함할 수 있다. 앞서 도 1, 도 10, 도 12, 도 14a, 도 14b, 및 도 17에서 설명한 생체 정보 측정 장치(1000, 1001, 1002, 1003a, 1003b, 1004)는 센서 모듈(1876)에 포함된 생체 센서 중 하나일 수 있다.
인터페이스(1877)는 전자 장치(1801)가 다른 전자 장치(전자 장치(1802) 등)와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 인터페이스(1877)는, HDMI(High Definition Multimedia Interface), USB(Universal Serial Bus) 인터페이스, SD카드 인터페이스, 및/또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(1878)는, 전자 장치(1801)가 다른 전자 장치(전자 장치(1802) 등)와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 연결 단자(1878)는, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 및/또는 오디오 커넥터(헤드폰 커넥터 등)를 포함할 수 있다.
햅틱 모듈(1879)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(진동, 움직임 등) 또는 전기적인 자극으로 변환할 수 있다. 햅틱 모듈(1879)은, 모터, 압전 소자, 및/또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(1880)은 정지 영상 및 동영상을 촬영할 수 있다. 카메라 모듈(1880)은 하나 이상의 렌즈를 포함하는 렌즈 어셈블리, 이미지센서들, 이미지 시그널 프로세서들, 및/또는 플래시들을 포함할 수 있다. 카메라 모듈(1880)에 포함된 렌즈 어셈블리는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다.
전력 관리 모듈(1888)은 전자 장치(1801)에 공급되는 전력을 관리할 수 있다. 전력 관리 모듈(1888)은, PMIC(Power Management Integrated Circuit)의 일부로서 구현될 수 있다.
배터리(1889)는 전자 장치(1801)의 구성 요소에 전력을 공급할 수 있다. 배터리(1889)는, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 및/또는 연료 전지를 포함할 수 있다.
통신 모듈(1890)은 전자 장치(1801)와 네트워크 환경(1800) 내에 있는 다른 전자 장치(전자 장치(1802), 전자 장치(1804), 서버(1808) 등)간의 직접(유선) 통신 채널 및/또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(1890)은 프로세서(1820)(어플리케이션 프로세서 등)와 독립적으로 운영되고, 직접 통신 및/또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 통신 모듈(1890)은 무선 통신 모듈(1892)(셀룰러 통신 모듈, 근거리 무선 통신 모듈, GNSS(Global Navigation Satellite System 등) 통신 모듈) 및/또는 유선 통신 모듈(1894)(LAN(Local Area Network) 통신 모듈, 전력선 통신 모듈 등)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(1898)(블루투스, WiFi Direct 또는 IrDA(Infrared Data Association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(1899)(셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(LAN, WAN 등)와 같은 원거리 통신 네트워크)를 통하여 다른 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(단일 칩 등)로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(복수 칩들)로 구현될 수 있다. 무선 통신 모듈(1892)은 가입자 식별 모듈(1896)에 저장된 가입자 정보(국제 모바일 가입자 식별자(IMSI) 등)를 이용하여 제1 네트워크(1898) 및/또는 제2 네트워크(1899)와 같은 통신 네트워크 내에서 전자 장치(1801)를 확인 및 인증할 수 있다.
안테나 모듈(1897)은 신호 및/또는 전력을 외부(다른 전자 장치 등)로 송신하거나 외부로부터 수신할 수 있다. 안테나는 기판(PCB 등) 위에 형성된 도전성 패턴으로 이루어진 방사체를 포함할 수 있다. 안테나 모듈(1897)은 하나 또는 복수의 안테나들을 포함할 수 있다. 복수의 안테나가 포함된 경우, 통신 모듈(1890)에 의해 복수의 안테나들 중에서 제1 네트워크(1898) 및/또는 제2 네트워크(1899)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 안테나가 선택될 수 있다. 선택된 안테나를 통하여 통신 모듈(1890)과 다른 전자 장치 간에 신호 및/또는 전력이 송신되거나 수신될 수 있다. 안테나 외에 다른 부품(RFIC 등)이 안테나 모듈(1897)의 일부로 포함될 수 있다.
구성요소들 중 일부는 주변 기기들간 통신 방식(버스, GPIO(General Purpose Input and Output), SPI(Serial Peripheral Interface), MIPI(Mobile Industry Processor Interface) 등)을 통해 서로 연결되고 신호(명령, 데이터 등)를 상호 교환할 수 있다.
명령 또는 데이터는 제2 네트워크(1899)에 연결된 서버(1808)를 통해서 전자 장치(1801)와 외부의 전자 장치(1804)간에 송신 또는 수신될 수 있다. 다른 전자 장치들(1802, 1804)은 전자 장치(1801)와 동일한 또는 다른 종류의 장치일 수 있다. 전자 장치(1801)에서 실행되는 동작들의 전부 또는 일부는 다른 전자 장치들(1802, 1804, 1808) 중 하나 이상의 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(1801)가 어떤 기능이나 서비스를 수행해야 할 때, 기능 또는 서비스를 자체적으로 실행시키는 대신에 하나 이상의 다른 전자 장치들에게 그 기능 또는 그 서비스의 일부 또는 전체를 수행하라고 요청할 수 있다. 요청을 수신한 하나 이상의 다른 전자 장치들은 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(1801)로 전달할 수 있다. 이를 위하여, 클라우드 컴퓨팅, 분산 컴퓨팅, 및/또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 19 내지 도 21은 생체 정보 측정 장치가 탑재된 전자 장치를 예시적으로 나타낸 도면들이다.
도 19를 참조하면, 도 18의 전자 장치(1801)는 시계 타입의 웨어러블 장치(1801a)로 구현될 수 있으며, 본체와 손목 스트랩을 포함할 수 있다. 본체의 전면에는 디스플레이가 마련되어, 시간 정보, 수신 메시지 정보 등을 포함하는 다양한 어플리케이션 화면이 표시될 수 있다. 본체의 후면에는 생체 정보 측정 장치(1000, 1001, 1002, 1003a, 1003b, 1004)가 배치될 수 있다. 생체 정보 측정 장치는 사용자의 손목 등과 같이 본체의 후면과 접촉하는 신체 영역에 광 신호를 출력하고, 그로부터 반응된 반사광을 감지하여 생체 신호를 측정할 수 있다. 전자 장치(1801a)는 생체 정보 측정 장치에 의해 측정된 생체 신호를 분석하여, 혈압, 혈관 나이, 동맥경화도, 대동맥압 파형, 및 스트레스 지수 등과 같은 사용자의 생체 정보를 측정할 수 있다.
도 20을 참조하면, 도 18의 전자 장치(1801)는 스마트 폰(Smart Phone)과 같은 모바일 장치(1801b)로 구현될 수 있고, 하우징 및 디스플레이 패널을 포함할 수 있다.
하우징은 전자 장치(1801b)의 외관을 형성할 수 있다. 하우징은 제1 면, 제1 면에 대향하는 제2 면, 및 제1 면과 제2 면 사이의 공간을 둘러싸는 측면을 포함할 수 있다. 하우징의 제1 면에는 디스플레이 패널 및 커버 글래스(Cover Glass)가 차례로 배치될 수 있고, 디스플레이 패널은 커버 글래스를 통해 외부로 노출될 수 있다. 하우징의 제2 면에는 생체 정보 측정 장치(1000, 1001, 1002, 1003a, 1003b, 1004), 카메라 모듈, 및 적외선 센서가 배치될 수 있다. 사용자가 전자 장치(1801b)에 탑재된 어플리케이션 등을 실행하여 생체 정보를 요청하는 경우, 생체 정보 측정 장치를 이용하여 생체 정보를 측정하여 사용자에게 측정된 정보를 영상 및/또는 음향으로 제공할 수 있다.
도 21을 참조하면, 도 18의 전자 장치(1801)는 이어(Ear) 웨어러블 장치(1081c)로도 구현될 수 있고, 본체와 이어 스트랩(Ear Strap)을 포함할 수 있다.
사용자는 이어 스트랩을 귓바퀴에 걸어 도 21의 전자 장치(1801c)를 착용할 수 있고, 본체는 사용자의 외이도(External Auditory Meatus)에 삽입될 수 있다. 본체에는 생체 정보 측정 장치(1000, 1001, 1002, 1003a, 1003b, 1004)가 탑재될 수 있고, 생체 정보 측정 장치는 사용자의 외이도 벽면과 같이 본체와 접촉하는 신체 영역에 광 신호를 출력하고, 반사광을 감지하여 생체 신호를 측정할 수 있다. 도 21의 전자 장치(1801c)는 생체 정보 측정 장치에 의해 측정된 생체 정보를 사용자에게 음향으로 제공하거나, 본체 내부에 마련된 통신 모듈을 통해 외부 기기(모바일, 테블릿, PC 등)로 전송할 수 있다.
앞선 실시예들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상술한 기재의 본질적인 특성에서 벗어나지 않는 범위에서 실시예들이 변형된 형태로 구현될 수 있음을 이해할 수 있다. 실시예들의 설명은 한정적인 관점이 아니라 설명적인 관점으로 고려되어야 한다. 권리 범위는 전술한 설명이 아니라 특허청구범위에 기재되어 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 권리범위에 포함된 것으로 해석되어야 한다.

Claims (31)

  1. 제1 파장의 광을 방출하는 제1 발광부 및 상기 제1 파장과 다른 제2 파장의 광을 방출하는 제2 발광부를 포함하는 광원;
    상기 제1 발광부로부터 방출되어 피검체에서 반응된 광을 검출하는 복수의 화소들을 포함하는 제1 화소 영역 및 상기 제2 발광부로부터 방출되어 상기 피검체에서 반응된 광을 검출하는 복수의 화소들을 포함하는 제2 화소 영역을 포함하는 이미지센서;
    상기 제1 화소 영역에 포함된 화소들의 노광 동작 시 상기 제1 발광부가 광을 방출하고, 상기 제2 화소 영역에 포함된 화소들의 노광 동작 시 상기 제2 발광부가 광을 방출하도록 상기 광원을 제어하는 광원 제어부; 및
    상기 이미지센서에서 검출된 데이터로부터 상기 피검체의 생체 신호를 추출/분석하는 생체 신호 처리부;
    를 포함하고,
    상기 이미지센서는 10개 이상의 화소행을 포함하고, 상기 제1 화소영역에 포함된 화소들이 배열된 화소행과, 상기 제2 화소 영역에 포함된 화소들이 배열된 화소행은 서로 다른 생체 정보 측정 장치.
  2. 제1항에 있어서,
    상기 제1 화소 영역은 10개 이상의 화소행을 포함하는 생체 정보 측정 장치.
  3. 제1항에 있어서,
    상기 이미지센서는 화소들을 제어하는 화소 제어 신호 및 타이밍 신호를 생성하는 화소 제어부를 포함하고,
    상기 광원 제어부는 상기 화소 제어 신호 또는 상기 타이밍 신호를 이용하여 상기 광원을 제어하는 생체 정보 측정 장치.
  4. 제3항에 있어서,
    상기 광원 제어부는 상기 화소 제어 신호 중의 리셋 신호 또는 상기 타이밍 신호 중 수평 동기 신호를 이용하여 광원을 제어하는 생체 정보 측정 장치.
  5. 제1항에 있어서,
    상기 생체 신호의 샘플링 레이트(Sampling Rate)는 15 Hz 내지 1000 Hz 인 생체 정보 측정 장치.
  6. 제1항에 있어서,
    상기 광원은 제3 파장의 광을 방출하는 제3 발광부를 더 포함하는 생체 정보 측정 장치.
  7. 제1항에 있어서,
    상기 광원은 제1 파장의 광을 방출하는 제1-2 발광부와 상기 제2 파장의 광을 방출하는 제2-2 발광부를 더 포함하는 생체 정보 측정 장치.
  8. 제1항에 있어서,
    상기 이미지센서 상부 또는 하부에 배치된 힘센서를 더 포함하는 생체정보 측정 장치.
  9. 제1항에 있어서,
    상기 생체 정보는 혈압을 포함하는 생체 정보 측정 장치.
  10. 제1항에 있어서,
    상기 이미지센서는 상기 제1 발광부로부터 방출되어 상기 피검체에 반응된 광을 검출하는 복수의 화소들을 포함하는 제3 화소 영역; 및
    상기 제2 발광부로부터 방출되어 상기 피검체에 반응된 광을 검출하는 복수의 화소들을 포함하는 제4 화소 영역;
    을 더 포함하는 생체 정보 측정 장치.
  11. 제10항에 있어서,
    상기 제1 내지 제4 화소 영역에 포함된 화소들은 각각 서로 다른 화소행에 배열된 생체 정보 측정 장치.
  12. 이미지센서에서 생성한 화소 제어 신호 또는 타이밍 신호를 이용하여 제1 발광부를 구동하여 제1 파장 광을 방출하는 단계;
    피검체에 반응된 상기 제1 파장 광을 상기 이미지센서의 제1 화소 영역에 포함된 복수의 화소들을 이용하여 검출하는 단계;
    상기 이미지센서에서 생성한 화소 제어 신호 또는 타이밍 신호를 이용하여 제2 발광부를 구동하여 제2 파장 광을 방출하는 단계;
    상기 피검체에 반응된 상기 제2 파장 광을 상기 이미지센서의 제2 화소 영역에 포함된 복수의 화소들을 이용하여 검출하는 단계; 및
    상기 제1 내지 제2 화소 영역에서 검출된 정보를 이용하여 생체 정보를 측정하는 단계;
    를 포함하는 생체 정보 측정 방법.
  13. 제12항에 있어서,
    상기 이미지센서는 10개 이상의 화소행을 포함하고, 상기 제1 화소영역에 포함된 화소들이 배열된 화소행과, 상기 제2 화소 영역에 포함된 화소들이 배열된 화소행은 서로 다른 생체 정보 측정 방법.
  14. 제12항에 있어서,
    상기 제1 화소 영역에 포함된 화소들의 노광 구간과 상기 제2 화소 영역에 포함된 화소들의 노광 구간은 서로 겹치지 않는 생체 정보 측정 방법.
  15. 제12항에 있어서,
    상기 피검체에 의해 인가되는 힘을 측정하는 단계를 더 포함하는 생체 정보 측정 방법.
  16. 제12항에 있어서,
    상기 제1 발광부로부터 방출되어 상기 피검체에 반응된 광을 상기 이미지센서의 제3 화소 영역에 포함된 복수의 화소들을 이용하여 검출하는 단계; 및
    상기 제2 발광부로부터 방출되어 상기 피검체에 반응된 광을 상기 이미지센서의 제4 화소 영역에 포함된 복수의 화소들을 이용하여 검출하는 단계;
    를 더 포함하는 생체 정보 측정 방법.
  17. 제16항에 있어서,
    상기 제1 내지 제4 화소 영역에 포함된 화소들은 각각 서로 다른 화소행에 배열된 생체 정보 측정 방법.
  18. 제12항에 있어서,
    상기 생체 정보는 혈압을 포함하는 생체 정보 측정 방법.
  19. 제12항에 있어서,
    상기 타이밍 신호는 수평 구동 신호인 생체 정보 측정 방법.
  20. 제12항에 있어서,
    상기 화소 제어 신호는 화소의 리셋 신호인 생체 정보 측정 방법.
  21. 생체 정보 측정 장치, 상기 생체 정보 측정 장치의 동작을 제어하는 프로세서, 및 상기 생체 정보 측정 장치에서 측정한 정보를 출력하는 음향 출력 장치 또는 표시 장치를 포함하고,
    상기 생체 정보 측정 장치는,
    제1 파장의 광을 방출하는 제1 발광부 및 상기 제1 파장과 다른 제2 파장의 광을 방출하는 제2 발광부를 포함하는 광원;
    상기 제1 발광부로부터 방출되어 피검체에서 반응된 광을 검출하는 복수의 화소들을 포함하는 제1 화소 영역 및 상기 제2 발광부로부터 방출되어 상기 피검체에 반응된 광을 검출하는 복수의 화소들을 포함하는 제2 화소 영역을 포함하는 이미지센서;
    상기 제1 화소 영역에 포함된 화소들의 노광 동작 시 상기 제1 발광부가 광을 방출하고, 상기 제2 화소 영역에 포함된 화소들의 노광 동작 시 상기 제2 발광부가 광을 방출하도록 상기 광원을 제어하는 광원 제어부; 및
    상기 이미지센서에서 검출된 데이터로부터 상기 피검체의 생체 신호를 추출/분석하는 생체 신호 처리부;
    를 포함하고,
    상기 이미지센서는 10개 이상의 화소행을 포함하고, 상기 제1 화소영역에 포함된 화소들이 배열된 화소행과, 상기 제2 화소 영역에 포함된 화소들이 배열된 화소행은 서로 다른 전자 장치.
  22. 제21항에 있어서,
    상기 제1 화소 영역은 10개 이상의 화소행을 포함하는 전자 장치.
  23. 제21항에 있어서,
    상기 이미지센서는 화소들을 제어하는 화소 제어 신호 및 타이밍 신호를 생성하는 화소 제어부를 포함하고,
    상기 광원 제어부는 상기 화소 제어 신호 또는 상기 타이밍 신호를 이용하여 상기 광원을 제어하는 전자 장치.
  24. 제23항에 있어서,
    상기 광원 제어부는 상기 화소 제어 신호 중의 리셋 신호 또는 상기 타이밍 신호 중 수평 동기 신호를 이용하여 광원을 제어하는 전자 장치.
  25. 제21항에 있어서,
    상기 생체 신호의 샘플링 레이트(Sampling Rate)는 15 Hz 내지 1000 Hz 인 전자 장치.
  26. 제21항에 있어서,
    상기 광원은 제3 파장의 광을 방출하는 제3 발광부를 더 포함하는 전자 장치.
  27. 제21항에 있어서,
    상기 광원은 제1 파장의 광을 방출하는 제1-2 발광부와 상기 제2 파장의 광을 방출하는 제2-2 발광부를 더 포함하는 전자 장치.
  28. 제21항에 있어서,
    상기 이미지센서 상부 또는 하부에 배치된 힘센서를 더 포함하는 전자 장치.
  29. 제21항에 있어서,
    상기 생체 정보는 혈압을 포함하는 전자 장치.
  30. 제21항에 있어서,
    상기 이미지센서는 상기 제1 발광부로부터 방출되어 상기 피검체에 반응된 광을 검출하는 복수의 화소들을 포함하는 제3 화소 영역; 및
    상기 제2 발광부로부터 방출되어 상기 피검체에 반응된 광을 검출하는 복수의 화소들을 포함하는 제4 화소 영역;
    을 포함하는 전자 장치.
  31. 제30항에 있어서,
    상기 제1 내지 제4 화소 영역에 포함된 화소들은 각각 서로 다른 화소행에 배열된 전자 장치.
KR1020200122111A 2020-09-22 2020-09-22 생체 정보 측정 장치 및 이를 포함하는 전자 장치 KR20220039230A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200122111A KR20220039230A (ko) 2020-09-22 2020-09-22 생체 정보 측정 장치 및 이를 포함하는 전자 장치
US17/208,287 US20220087549A1 (en) 2020-09-22 2021-03-22 Apparatus for measuring bio-information, and electronic device including the same
CN202110324575.9A CN114246567A (zh) 2020-09-22 2021-03-26 用于测量生物信息的设备和包括该设备的电子装置
EP21186719.7A EP3970609A1 (en) 2020-09-22 2021-07-20 Apparatus for measuring bio-information, and electronic device including the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200122111A KR20220039230A (ko) 2020-09-22 2020-09-22 생체 정보 측정 장치 및 이를 포함하는 전자 장치

Publications (1)

Publication Number Publication Date
KR20220039230A true KR20220039230A (ko) 2022-03-29

Family

ID=76999731

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200122111A KR20220039230A (ko) 2020-09-22 2020-09-22 생체 정보 측정 장치 및 이를 포함하는 전자 장치

Country Status (4)

Country Link
US (1) US20220087549A1 (ko)
EP (1) EP3970609A1 (ko)
KR (1) KR20220039230A (ko)
CN (1) CN114246567A (ko)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7884869B2 (en) * 2007-04-30 2011-02-08 Motorola Mobility, Inc. Assignment of pixel element exposure times in digital camera modules and mobile communication devices
JP6230395B2 (ja) * 2013-12-06 2017-11-15 キヤノン株式会社 撮像装置およびその駆動方法
CN107530000B (zh) * 2015-04-27 2020-08-25 苹果公司 用于ppg信号优化和环境光缓解的动态可配置光阑
US20170079591A1 (en) * 2015-09-21 2017-03-23 Qualcomm Incorporated System and method for obtaining vital measurements using a mobile device
US10931859B2 (en) * 2016-05-23 2021-02-23 InSyte Systems Light emitter and sensors for detecting biologic characteristics
US10764505B2 (en) * 2016-08-10 2020-09-01 Panasonic Intellectual Property Management Co., Ltd. Projection image pickup device and projection image pickup method
KR20180133076A (ko) * 2017-06-05 2018-12-13 삼성전자주식회사 이미지 센서 및 이를 구비하는 전자 장치
WO2019033232A1 (zh) * 2017-08-14 2019-02-21 深圳市汇顶科技股份有限公司 三维影像系统及电子装置
US10874305B2 (en) * 2018-01-15 2020-12-29 Microsoft Technology Licensing, Llc Sensor device

Also Published As

Publication number Publication date
EP3970609A1 (en) 2022-03-23
US20220087549A1 (en) 2022-03-24
CN114246567A (zh) 2022-03-29

Similar Documents

Publication Publication Date Title
US11540736B2 (en) Wearable electronic device including biometric sensor
KR20220046168A (ko) 분석 물질의 농도 추정 장치 및 방법과, 신호 측정 장치
US20200019745A1 (en) Apparatus and method for measuring signal and obtaining bio-information
US11538846B2 (en) Display, electronic device having the display, and method of estimating bio-information using the electronic device
US20200359900A1 (en) Biometric signal measuring device
CN112312831B (zh) 生物信息感测装置及其控制方法
EP4050885A1 (en) Apparatus and method for measuring multiple bio-signals using image sensor, and electronic device
CN113613553A (zh) 测量血压的电子设备和测量血压的方法
KR20220007999A (ko) 초음파 장치를 포함하는 전자 장치 및 그의 ppg 신호 획득 방법
KR20220039230A (ko) 생체 정보 측정 장치 및 이를 포함하는 전자 장치
US20220167855A1 (en) Biological information measuring apparatus and electronic device including the same
KR20220076255A (ko) 생체 정보 측정 장치 및 이를 포함하는 전자 장치
CN116839773A (zh) 用于估计基于光的力的设备和方法
US11619546B2 (en) Sensing module and vital sign measuring device including the same
US11832925B2 (en) Electronic device for measuring biometric information and method for operating the same
KR20220127406A (ko) 생체정보 추정 장치 및 방법
KR20220075759A (ko) 분석물의 성분 추정 장치 및 방법
US20220296112A1 (en) Apparatus and method for estimating bio-information
KR20200061864A (ko) 생체 센서 모듈 및 이를 포함하는 전자 장치
US20220296114A1 (en) Apparatus and method for estimating blood pressure
US20230309844A1 (en) Apparatus and method for estimating blood pressure
US20240008775A1 (en) Electronic device and method for obtaining biometric information
US20230118582A1 (en) Apparatus and method for estimating bio-information
KR20220130905A (ko) 생체정보 추정 장치 및 방법
KR20240007569A (ko) 생체 정보를 획득하기 위한 전자 장치 및 방법