KR20220043390A - 모바일 기기, 그 제어 방법 및 기록 매체에 저장된 컴퓨터 프로그램 - Google Patents

모바일 기기, 그 제어 방법 및 기록 매체에 저장된 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20220043390A
KR20220043390A KR1020200126749A KR20200126749A KR20220043390A KR 20220043390 A KR20220043390 A KR 20220043390A KR 1020200126749 A KR1020200126749 A KR 1020200126749A KR 20200126749 A KR20200126749 A KR 20200126749A KR 20220043390 A KR20220043390 A KR 20220043390A
Authority
KR
South Korea
Prior art keywords
finger
output
mobile device
touch sensor
display
Prior art date
Application number
KR1020200126749A
Other languages
English (en)
Inventor
오멜첸코 안드리
시리우스아렌코 코스탄틴
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200126749A priority Critical patent/KR20220043390A/ko
Priority to PCT/KR2021/013389 priority patent/WO2022071773A1/ko
Priority to US17/489,204 priority patent/US20220096015A1/en
Publication of KR20220043390A publication Critical patent/KR20220043390A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6843—Monitoring or controlling sensor contact pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A61B5/02427—Details of sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14552—Details of sensors specially adapted therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/684—Indicating the position of the sensor on the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A61B5/721—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts using a separate sensor to detect motion or using motion information derived from signals other than the physiological signal to be measured
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A61B5/741—Details of notification to user or communication with user or patient ; user input means using sound using synthesised speech
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0233—Special features of optical sensors or probes classified in A61B5/00
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Pulmonology (AREA)
  • Signal Processing (AREA)
  • Educational Technology (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Multimedia (AREA)
  • Vascular Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

개시된 발명은 모바일 기기에 마련된 디스플레이와 카메라를 이용하여 PPG 신호를 측정함으로써, 추가적인 구성요소나 장비를 구비하지 않고서도 PPG 신호의 측정 및 이를 기반으로 한 생체 정보의 획득이 가능한 모바일 기기 및 그 제어 방법을 제공한다.
일 실시예에 따른 모바일 기기는 디스플레이; 상기 디스플레이의 전방(前方)을 향하여 배치되는 전방 카메라; 상기 디스플레이의 전면(前面)에 배치되는 터치 센서; PPG(Photoplethysmography) 측정 모드에서 상기 전방 카메라에 의해 촬영된 손가락 영상으로부터 PPG신호를 획득하는 프로세서;를 포함하고, 상기 프로세서는, 상기 터치 센서의 출력 및 상기 손가락 영상 중 적어도 하나에 기초하여 상기 손가락의 위치 및 상기 손가락이 상기 카메라를 누르는 접촉 압력 중 적어도 하나를 가이드하기 위한 가이드 정보를 출력할 수 있다.

Description

모바일 기기, 그 제어 방법 및 기록 매체에 저장된 컴퓨터 프로그램{MOBILE DEVICE, METHOD FOR CONTROLLING THE SAME AND COMPUTER PROGRAM STORED IN RECORDING MEDIUM}
개시된 발명은 PPG(Photoplethysmography) 신호를 측정할 수 있는 모바일 기기, 그 제어 방법 및 기록 매체에 저장된 컴퓨터 프로그램에 관한 것이다.
PPG(Photoplethysmography) 신호는 심장 박동에 동기된 혈량 변화를 나타내는 지표 중 하나로서, 심박수, 혈중 산소 포화도, 동맥 혈압, 경직도, 맥박 전이 시간, 맥박 파동 속도, 심장 출력, 동맥 순응성과 같은 심혈관계와 관련한 생체 정보 뿐만 아니라 스트레스 지수와 같은 다양한 생체 정보를 획득하는데 사용될 수 있다.
PPG 신호를 측정하기 위해서는 특정 파장의 광을 조사하는 광원과 인체에 반사되거나 인체를 투과한 광을 수신하는 광 수신기가 요구된다. 최근에 일상 생활에서 사용되는 스마트 폰이나 태블릿 PC 등의 모바일 기기에는 영상을 표시하는 디스플레이와 영상을 촬영하는 카메라가 기본적으로 마련되어 있는바, 모바일 기기에 마련된 디스플레이를 광원으로, 카메라를 광 수신기로 활용하여 PPG 신호를 측정할 수 있다.
개시된 발명은 모바일 기기에 마련된 디스플레이와 카메라를 이용하여 PPG 신호를 측정함으로써, 추가적인 구성요소나 장비를 구비하지 않고서도 PPG 신호의 측정 및 이를 기반으로 한 생체 정보의 획득이 가능한 모바일 기기 및 그 제어 방법을 제공한다.
또한, 개시된 발명은 모바일 기기에 마련된 터치 센서 또는 전방 카메라를 이용하여 판단된 손가락의 위치 또는 접촉 압력에 기초하여 사용자에게 가이드 정보를 제공하거나 왜곡을 보정함으로써, 추가적인 구성요소나 장비를 구비하지 않고 모바일 기기에 마련된 기본 구성을 이용하여 PPG 신호의 정확도와 신뢰성을 향상시킬 수 있는 모바일 기기 및 그 제어 방법을 제공한다.
일 실시예에 따른 모바일 기기는 디스플레이; 상기 디스플레이의 전방(前方)을 향하여 배치되는 전방 카메라; 상기 디스플레이의 전면(前面)에 배치되는 터치 센서; PPG(Photoplethysmography) 측정 모드에서 상기 전방 카메라에 의해 촬영된 손가락 영상으로부터 PPG신호를 획득하는 프로세서;를 포함하고, 상기 프로세서는, 상기 터치 센서의 출력 및 상기 손가락 영상 중 적어도 하나에 기초하여 상기 손가락의 위치 및 상기 손가락이 상기 카메라를 누르는 접촉 압력 중 적어도 하나를 가이드하기 위한 가이드 정보를 출력할 수 있다.
상기 디스플레이는, 상기 PPG 측정 모드에서 상기 전방 카메라에 대응되는 영역에 특정 파장의 광을 방출하고, 상기 카메라는, 상기 PPG 측정 모드에서 상기 디스플레이로부터 방출된 광이 상기 손가락에 반사 또는 투과되면, 상기 반사 또는 투과된 광을 수신함으로써 상기 손가락 영상을 촬영할 수 있다.
상기 프로세서는, 상기 터치 센서의 출력에 기초하여 상기 손가락이 상기 디스플레이 상의 정해진 영역에 위치하는지 여부를 판단하고, 상기 판단 결과에 기초하여 시각적 방식, 청각적 방식 및 촉각적 방식 중 적어도 하나를 이용하여 상기 가이드 정보를 출력할 수 있다.
상기 프로세서는, 상기 손가락의 위치를 상기 정해진 영역으로 가이드하기 위한 가이드 영상을 표시하기 위해 상기 디스플레이를 제어할 수 있다.
상기 프로세서는, 상기 터치 센서의 출력에 기초하여 상기 접촉 압력이 정해진 범위에 포함되는지 여부를 판단하고, 상기 판단 결과에 기초하여 시각적 방식, 청각적 방식 및 촉각적 방식 중 적어도 하나를 이용하여 상기 가이드 정보를 출력할 수 있다.
상기 모바일 기기는, 스피커;를 더 포함하고, 상기 프로세서는, 상기 접촉 압력을 상기 정해진 범위로 가이드하기 위한 가이드 음성을 표시하기 위해 상기 스피커를 제어할 수 있다.
상기 프로세서는, 상기 터치 센서의 출력 및 상기 손가락 영상 중 적어도 하나에 기초하여 상기 손가락의 움직임 발생 여부를 판단하고, 상기 손가락의 움직임이 발생한 것으로 판단되면 시각적 방식, 청각적 방식 및 촉각적 방식 중 적어도 하나에 따라 가이드 정보를 출력할 수 있다.
상기 프로세서는, 상기 터치 센서의 출력 및 상기 손가락 영상 중 적어도 하나에 기초하여 상기 손가락의 움직임으로 인한 왜곡을 방지하기 위한 왜곡 방지 처리를 수행할 수 있다.
상기 프로세서는, 상기 터치 센서의 출력 및 상기 손가락 영상 중 적어도 하나에 기초하여 상기 손가락의 움직임을 트래킹하고, 상기 손가락의 현재 위치에 기초하여 상기 손가락 영상을 구성하는 복수의 픽셀 중 상기 PPG 신호의 획득에 사용될 적어도 하나의 픽셀을 결정할 수 있다.
상기 프로세서는, 상기 터치 센서의 출력 및 상기 손가락 영상 중 적어도 하나에 기초하여 상기 손가락의 움직임의 정도를 판단하고, 상기 손가락의 움직임의 정도에 기초하여 상기 PPG 신호의 획득을 위한 단일 픽셀의 사용 여부 및 멀티 픽셀의 사용 여부를 결정할 수 있다.
상기 모바일 기기는, 상기 모바일 기기의 움직임을 감지하는 모션 센서;를 더 포함하고, 상기 프로세서는, 상기 모션 센서의 출력에 기초하여 상기 모바일 기기의 움직임에 관련된 가이드 정보를 시각적 방식, 청각적 방식 및 촉각적 방식 중 적어도 하나를 이용하여 출력할 수 있다.
상기 프로세서는, 상기 터치 센서의 출력 및 상기 손가락 영상 중 적어도 하나에 기초하여 상기 접촉 압력의 변화를 판단하고, 상기 접촉 압력의 변화에 따라 상기 특정 파장의 광을 방출하는 발광 영역의 크기 및 밝기 중 적어도 하나를 제어할 수 있다.
상기 프로세서는, 상기 PPG 측정 모드에서 서로 다른 복수의 특정 파장의 광을 교대로 방출하기 위해 상기 디스플레이를 제어할 수 있다.
상기 프로세서는, 상기 획득된 PPG 신호에 기초하여 상기 사용자의 생체 정보를 획득하고, 상기 사용자의 생체 정보는, 심박수(heart rate), 혈중 산소 포화도(blood oxygenation), 스트레스 지수, 호흡수(respiration rate), 혈압(blood pressure), 산소 전달 시간(oxygen delivery time), 및 맥박 속도(pulse speed) 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 디스플레이, 상기 디스플레이의 전방(前方)을 향하여 배치되는 전방 카메라 및 상기 디스플레이의 전면(前面)에 배치되는 터치 센서를 포함하는 모바일 기기의 제어 방법은, 상기 터치 센서의 출력 및 상기 전방 카메라에 의해 촬영된 손가락 영상에 기초하여 손가락의 위치 및 상기 손가락이 상기 전방 카메라를 누르는 접촉 압력 중 적어도 하나를 판단하고; 상기 판단 결과에 기초하여 상기 손가락의 위치 및 상기 접촉 압력 중 적어도 하나를 가이드하기 위한 가이드 정보를 출력하고; 상기 전방 카메라에 의해 촬영된 손가락 영상으로부터 PPG 신호를 획득하는 것;을 포함한다.
상기 손가락의 위치 및 상기 접촉 압력 중 적어도 하나를 판단하는 것은, 상기 터치 센서의 출력에 기초하여 상기 손가락이 상기 디스플레이 상의 정해진 영역에 위치하는지 여부를 판단하는 것을 포함하고, 상기 가이드 정보를 출력하는 것은, 상기 판단 결과에 기초하여 시각적 방식, 청각적 방식 및 촉각적 방식 중 적어도 하나를 이용하여 상기 가이드 정보를 출력하는 것을 포함할 수 있다.
상기 손가락의 위치 및 상기 접촉 압력 중 적어도 하나를 판단하는 것은, 상기 터치 센서의 출력에 기초하여 상기 접촉 압력이 정해진 범위에 포함되는지 여부를 판단하는 것을 포함하고, 상기 가이드 정보를 출력하는 것은, 상기 판단 결과에 기초하여 시각적 방식, 청각적 방식 및 촉각적 방식 중 적어도 하나를 이용하여 상기 가이드 정보를 출력하는 것을 포함할 수 있다.
상기 손가락의 위치 및 상기 접촉 압력 중 적어도 하나를 판단하는 것은, 상기 터치 센서의 출력 및 상기 손가락 영상 중 적어도 하나에 기초하여 상기 손가락의 움직임 발생 여부를 판단하는 것을 포함하고, 상기 가이드 정보를 출력하는 것은, 상기 손가락의 움직임이 발생한 것으로 판단되면 시각적 방식, 청각적 방식 및 촉각적 방식 중 적어도 하나에 따라 가이드 정보를 출력하는 것을 포함할 수 있다.
상기 모바일 기기의 제어 방법은, 상기 터치 센서의 출력 및 상기 손가락 영상 중 적어도 하나에 기초하여 상기 손가락의 움직임으로 인한 왜곡을 방지하기 위한 왜곡 방지 처리를 수행하는 것;을 더 포함할 수 있다.
상기 왜곡 방지 처리를 수행하는 것은, 상기 터치 센서의 출력 및 상기 손가락 영상 중 적어도 하나에 기초하여 상기 손가락의 움직임을 트래킹하고; 상기 손가락의 현재 위치에 기초하여 상기 손가락 영상을 구성하는 복수의 픽셀 중 상기 PPG 신호의 획득에 사용될 적어도 하나의 픽셀을 결정하는 것을 포함할 수 있다.
상기 왜곡 방지 처리를 수행하는 것은, 상기 터치 센서의 출력 및 상기 손가락 영상 중 적어도 하나에 기초하여 상기 접촉 압력의 변화를 판단하고; 상기 접촉 압력의 변화에 따라 상기 디스플레이에서 특정 파장의 광을 방출하는 발광 영역의 크기 및 밝기 중 적어도 하나를 제어하는 것을 포함할 수 있다.
일 실시예에 따른 컴퓨터 프로램은, 디스플레이, 상기 디스플레이의 전방(前方)을 향하여 배치되는 전방 카메라 및 상기 디스플레이의 전면(前面)에 배치되는 터치 센서를 포함하는 모바일 기기와 결합되어, 상기 터치 센서의 출력 및 상기 전방 카메라에 의해 촬영된 손가락 영상에 기초하여 손가락의 위치 및 상기 손가락이 상기 전방 카메라를 누르는 접촉 압력 중 적어도 하나를 판단하고; 상기 판단 결과에 기초하여 상기 손가락의 위치 및 상기 접촉 압력 중 적어도 하나를 가이드하기 위한 가이드 정보를 출력하기 위한 제어 신호를 생성하고; 상기 전방 카메라에 의해 촬영된 손가락 영상으로부터 PPG 신호를 획득하는 것;을 실행시키기 위하여 기록매체에 저장된다.
상기 손가락의 위치 및 상기 접촉 압력 중 적어도 하나를 판단하는 것은, 상기 터치 센서의 출력에 기초하여 상기 손가락이 상기 디스플레이 상의 정해진 영역에 위치하는지 여부를 판단하는 것을 포함하고, 상기 제어 신호를 생성하는 것은, 상기 판단 결과에 기초하여 시각적 방식, 청각적 방식 및 촉각적 방식 중 적어도 하나를 이용하여 상기 가이드 정보를 출력하기 위한 제어 신호를 생성하는 것을 포함할 수 있다.
상기 손가락의 위치 및 상기 접촉 압력 중 적어도 하나를 판단하는 것은, 상기 터치 센서의 출력에 기초하여 상기 접촉 압력이 정해진 범위에 포함되는지 여부를 판단하는 것을 포함하고, 상기 제어 신호를 생성하는 것은, 상기 판단 결과에 기초하여 시각적 방식, 청각적 방식 및 촉각적 방식 중 적어도 하나를 이용하여 상기 가이드 정보를 출력하기 위한 제어 신호를 생성하는 것을 포함할 수 있다.
상기 손가락의 위치 및 상기 접촉 압력 중 적어도 하나를 판단하는 것은, 상기 터치 센서의 출력 및 상기 손가락 영상 중 적어도 하나에 기초하여 상기 손가락의 움직임 발생 여부를 판단하는 것을 포함하고, 상기 제어 신호를 생성하는 것은, 상기 손가락의 움직임이 발생한 것으로 판단되면 시각적 방식, 청각적 방식 및 촉각적 방식 중 적어도 하나에 따라 가이드 정보를 출력하기 위한 제어 신호를 생성할 수 있다.
상기 컴퓨터 프로그램은, 상기 터치 센서의 출력 및 상기 손가락 영상 중 적어도 하나에 기초하여 상기 손가락의 움직임으로 인한 왜곡을 방지하기 위한 왜곡 방지 처리를 수행하는 것;을 더 실행시키기 위하여 기록 매체에 저장될 수 있다.
상기 왜곡 방지 처리를 수행하는 것은, 상기 터치 센서의 출력 및 상기 손가락 영상 중 적어도 하나에 기초하여 상기 손가락의 움직임을 트래킹하고; 상기 손가락의 현재 위치에 기초하여 상기 손가락 영상을 구성하는 복수의 픽셀 중 상기 PPG 신호의 획득에 사용될 적어도 하나의 픽셀을 결정하는 것을 포함할 수 있다.
상기 왜곡 방지 처리를 수행하는 것은, 상기 터치 센서의 출력 및 상기 손가락 영상 중 적어도 하나에 기초하여 상기 접촉 압력의 변화를 판단하고; 상기 접촉 압력의 변화에 따라 상기 디스플레이에서 특정 파장의 광을 방출하는 발광 영역의 크기 및 밝기 중 적어도 하나를 제어하는 것을 포함할 수 있다.
개시된 발명의 일 측면에 따른 모바일 기기, 그 제어 방법 및 기록 매체에 저장된 컴퓨터 프로그램에 의하면, 모바일 기기에 마련된 디스플레이와 카메라를 이용하여 PPG 신호를 측정함으로써, 추가적인 구성요소나 장비를 구비하지 않고서도 PPG 신호의 측정 및 이를 기반으로 한 생체 정보의 획득이 가능하게 된다.
또한, 모바일 기기에 마련된 터치 센서 또는 전방 카메라를 이용하여 판단된 손가락의 위치 또는 접촉 압력에 기초하여 사용자에게 가이드 정보를 제공하거나 움직임으로 인한 왜곡을 방지함으로써, 추가적인 구성요소나 장비를 구비하지 않고 모바일 기기에 마련된 기본 구성을 이용하여 PPG 신호의 정확도와 신뢰성을 향상시킬 수 있다.
도 1 내지 도 3은 일 실시예에 따른 모바일 기기의 예시를 나타낸 외관도 및 측단면도이다.
도 4는 일 실시예에 따른 모바일 기기의 제어 블록도이다.
도 5는 일 실시예에 따른 모바일 기기의 디스플레이에 표시되는 화면의 예시를 나타내는 도면이다.
도 6 및 도 8은 일 실시예에 따른 모바일 기기가 PPG 측정 모드에서 동작할 때의 사용자의 손가락의 위치를 나타낸 도면이다.
도 7 및 도 9는 일 실시예에 따른 모바일 기기가 PPG 측정 모드에서 동작할 때 디스플레이의 발광 영역의 예시를 나타낸 도면이다.
도 10은 생체 정보에 따른 발광 파장을 나타낸 테이블이다.
도 11은 멀티 파장의 광을 방출하여 PPG 신호를 측정하는 경우에 디스플레이에서 방출되는 광의 파장 변화를 나타낸 타이밍도이다.
도 12및 도 13은 일 실시예에 따른 모바일 기기가 PPG 측정 모드에서 동작할 때 디스플레이에 표시되는 가이드 영상의 예시를 나타내는 도면이다.
도 14는 스피커를 더 포함하는 모바일 기기의 제어 블록도이다.
도 15는 일 실시예에 따른 모바일 기기가 PPG 측정 모드에서 동작할 때 손가락의 위치를 가이드 하기 위해 스피커를 통해 출력되는 가이드 음성의 예시를 나타낸 도면이다.
도 16은 손가락의 접촉 압력에 따라 획득되는 PPG 신호의 형태를 나타낸 그래프들이다.
도 17은 일 실시예에 따른 모바일 기기가 PPG 측정 모드에서 동작할 때 손가락의 접촉 압력을 가이드 하기 위해 스피커를 통해 출력되는 가이드 음성의 예시를 나타낸 도면이다.
도 18은 모션 센서를 더 포함하는 모바일 기기의 제어 블록도이다.
도 19는 일 실시예에 따른 모바일 기기가 PPG 측정 모드에서 동작할 때 사용자의 손이 움직일 경우에 출력되는 경고의 예시를 나타내는 도면이다.
도 20은 일 실시예에 따른 모바일 기기가 손가락의 위치 변화로 인한 왜곡을 보정하기 위해 수행하는 동작을 나타내는 도면이다.
도 21A내지 도 21D는 손가락이 움직이는 정도에 따른 PPG 신호의 노이즈를 나타내는 그래프이다.
도 22 및 도 23은 일 실시예에 따른 모바일 기기가 손가락의 접촉 압력 변화로 인한 왜곡을 보정하기 위해 수행하는 동작을 나타내는 도면이다.
도 24는 일 실시예에 따른 모바일 기기의 제어 방법에 있어서, 사용자에게 가이드 정보를 제공하는 방법에 관한 순서도이다.
도 25는 일 실시예에 따른 모바일 기기의 제어 방법에 있어서, 손가락의 위치를 가이드하기 위한 정보를 출력하는 방법에 관한 순서도이다.
도 26은 일 실시예에 따른 모바일 기기의 제어 방법에 있어서, 손가락의 접촉 압력을 가이드하기 위한 가이드 정보를 출력하는 방법에 관한 순서도이다.
도 27은 일 실시예에 따른 모바일 기기의 제어 방법에 있어서, 손가락의 움직임에 대해 가이드 정보를 출력하는 방법에 관한 순서도이다.
도 28은 일 실시예에 따른 모바일 기기의 제어 방법에 있어서, 모바일 기기의 움직임에 대해 가이드 정보를 출력하는 방법에 관한 순서도이다.
도 29는 일 실시예에 따른 모바일 기기의 제어 방법에 있어서, 손가락의 위치 변화로 인한 왜곡을 방지하기 위한 동작을 나타낸 순서도이다.
도 30은 일 실시예에 따른 모바일 기기의 제어 방법에 있어서, 손가락의 접촉 변화로 인한 왜곡을 방지하기 위한 동작을 나타낸 순서도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 다른 구성요소와 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것 또는 전기 배선을 통해 전기적으로 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
명세서 전체에서, 어떤 구성요소가 다른 구성요소에 신호 또는 데이터를 전달 또는 전송한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 해당 구성요소와 다른 구성요소 사이에 또 다른 구성요소가 존재하여 이 구성요소를 통해 전달 또는 전송하는 것을 배제하지 않는다.
명세서 전체에서, "제1", "제2"와 같은 서수의 표현은 복수의 구성요소들을 상호 구분하기 위해 사용되는 것으로서, 사용된 서수가 구성요소들 간의 배치 순서, 제조 순서나 중요도 등을 나타내는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별 부호는 각 단계들을 지칭하기 위해 사용되는 것으로 이 식별 부호가 각 단계들의 순서를 한정하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 일 측면에 따른 모바일 기기, 그 제어 방법 및 기록 매체에 저장되는 컴퓨터 프로그램의 실시예를 상세하게 설명한다.
도 1 내지 도 3은 일 실시예에 따른 모바일 기기의 예시를 나타낸 외관도 및 측단면도이다.
일 실시예에 따른 모바일 기기는 스마트폰이나 태블릿 PC 등 디스플레이와 카메라를 구비한 휴대 가능한 전자 기기일 수 있다. 일 예로, 도 1을 참조하면, 일 실시예에 따른 모바일 기기(100)는 전면에 영상을 표시하는 디스플레이(110)와 전방 카메라(121)가 마련되고, 후방에는 후방 카메라(122)가 마련될 수 있다. 다만, 모바일 기기(100)의 설계 및 디자인에 따라 후방 카메라(122)는 생략되는 것도 가능하다.
도 2의 측단면도를 함께 참조하면, 디스플레이(110)의 전면(前面)에는 터치 센서(130)가 마련될 수 있다. 터치 센서(130)는 도 2에 도시된 바와 같이 디스플레이(110)의 거의 전체를 덮는 레이어 형태로 마련되어 디스플레이(110)와 함께 터치 스크린을 구현할 수 있고, 이와 같은 형태의 터치 센서(130)를 터치 패드 또는 터치 패널이라고도 한다.
터치 센서(130)는 투명 전극이 증착된 상판과 하판으로 구성될 수 있고, 접촉이 발생하거나 전기적 용량 변화가 발생한 위치에 대한 정보가 프로세서(140, 도 4 참조)에 전달되면, 프로세서(140)는 전달된 정보에 기초하여 사용자의 접촉 위치 및 그에 기초한 사용자의 입력을 판단할 수 있다.
전방 카메라(121)는 디스플레이(110)에 내장될 수 있고, 터치 센서(130)의 후면에 위치할 수 있다. 도 1을 참조하면, 모바일 기기(100)의 전면에서 보이는 전방 카메라(121)는 전방 카메라(121)의 렌즈에 해당한다. 즉, 전방 카메라(121)는 렌즈가 모바일 기기(100)의 전방을 향하도록 장착될 수 있다. 여기서, 모바일 기기(100)의 전방은 디스플레이(110)가 영상을 출력하는 방향(+Y방향)을 의미할 수 있다.
모바일 기기(100)의 구조 상 사용자가 전방 카메라(121)의 렌즈를 터치하게 되면 전방 카메라(121)의 전면에 배치된 터치 센서(130)에 접촉하게 된다. 이와 관련된 구체적인 설명은 후술하기로 한다.
후방 카메라(122)는 디스플레이(110) 및 기타 모바일 기기(100)의 구성요소들을 수용 및 지지하는 하우징(101)에 그 렌즈가 모바일 기기(100)의 후방을 향하도록 장착될 수 있다.
도 3에 도시된 바와 같이, 일 실시예에 따른 모바일 기기(100)가 폴더블(foldable) 형태로 구현되는 것도 가능하다. 폴더블 형태로 구현되는 모바일 기기(100)는 그 전면의 일부가 나머지 일부와 맞닿게 폴딩될 수 있다. 또는, 그 반대 방향으로도 폴딩이 가능하게 마련될 수도 있다. 모바일 기기(100)가 폴더블 형태로 구현되는 경우에도, 디스플레이(110), 터치 센서(130) 및 전방 카메라(121)의 위치는 전술한 설명이 적용될 수 있다.
도 1 내지 도 3을 참조하여 설명한 모바일 기기(100)의 구조는 일 실시예에 따른 모바일 기기(100)의 예시에 불과하며, 후술하는 동작을 수행할 수만 있으면 설계 변경에 따라 모바일 기기(100)의 구조의 다양한 변형이 가능하다.
도 4는 일 실시예에 따른 모바일 기기의 제어 블록도이다.
도 4를 참조하면, 일 실시예에 따른 모바일 기기(100)는 디스플레이(110), 디스플레이(110)의 전방(前方)을 향하여 배치되는 전방 카메라(121), 디스플레이(110)의 전면(前面)에 배치되는 터치 센서(130), PPG(Photoplethysmography) 측정 모드에서 전방 카메라(121)에 의해 촬영된 손가락 영상으로부터 PPG신호를 획득하는 프로세서(140) 및 프로세서(140)에 의해 실행되는 프로그램 및 프로그램 실행을 위해 필요한 각종 데이터를 저장하는 메모리(150)를 포함한다.
디스플레이(110)는 LED(Light Emitting Diode) 디스플레이, OLED(Organic Light Emitting Diode) 디스플레이, LCD(Liquid Crystal Display) 등 다양한 종류의 디스플레이 중 하나를 채용할 수 있다.
디스플레이(110)는 2차원 영상을 구현하기 위해 2차원으로 배열된 복수의 픽셀로 구성될 수 있고, 각각의 픽셀은 복수의 색상을 구현하기 위해 복수의 서브 픽셀로 구성될 수 있다. 예를 들어, RGB 영상을 구현하기 위해 각각의 픽셀은 적색 서브 픽셀, 녹색 서브 픽셀 및 청색 서브 픽셀을 포함할 수 있고, 백색 서브 픽셀이나 적외선(infrared) 서브 픽셀이 더 포함되는 것도 가능하다.
전방 카메라(121)는 CMOS 센서나 CCD 센서와 같은 영상 센서를 포함할 수 있다. 또한, 도 4의 제어 블록도에는 도시되지 않았으나, 모바일 기기(100)가 후방 카메라(122)도 포함하는 경우에는, 후방 카메라(122) 역시 CMOS 센서나 CCD 센서와 같은 영상 센서를 포함할 수 있다.
터치 센서(130)는 전술한 바와 같이, 디스플레이(110)의 전면에 레이어 형태로 배치될 수 있다. 터치 센서(130)가 터치를 감지하는 방식은 정전 용량 방식, 감압(저항막) 방식, 초음파 방식 및 적외선 방식 등 공지된 다양한 방식 중 하나를 채용할 수 있다.
모바일 기기(100)는 전화 및 메시지의 수발신, 웹 서핑, 각종 어플리케이션의 실행 등 다양한 기능을 수행할 수 있다. 특히, 일 실시예에 따른 모바일 기기(100)는 PPG 측정 기능을 수행할 수 있다.
PPG 신호는 심장 박동에 동기된 혈량 변화를 나타내는 지표 중 하나이다. 광원을 이용하여 인체에 특정 파장의 광을 조사하면, 일부 광은 혈액, 뼈 및 조직에서 흡수되고 다른 일부 광은 반사 또는 투과하여 광 수신기에 도달한다. 광이 흡수되는 정도는 광이 지나가는 경로에 위치하는 혈액, 뼈 및 조직에 따라 달라질 수 있다. 심장 박동에 의한 혈류 변화를 제외한 나머지 성분들은 변하지 않는 성분들이기 때문에, 광 수신기가 수신한 반사광 또는 투과광의 변화는 심장 박동에 동기된 혈량 변화를 반영하게 된다.
일 실시예에 따른 모바일 기기(100)는 PPG 신호를 측정하기 위해 디스플레이(110)를 광원으로, 전방 카메라(121)를 광 수신기로 사용할 수 있다. 따라서, 모바일 기기(100)가 PPG 측정 모드에서 동작하는 경우에는 디스플레이(110)가 PPG 측정을 위한 특정 파장의 광을 방출하고, 전방 카메라(121)가 인체에 반사되거나 인체를 투과하는 광을 수신함으로써 인체 영상을 촬영할 수 있다. 즉, 일 실시예에 따른 모바일 기기(100)는 추가적인 센서나 광원 등의 장비 없이도 모바일 기기(100)에 기본적으로 마련된 구성요소들을 이용하여 PPG 신호를 측정할 수 있다.
후술하는 실시예에서는 PPG 측정 대상이 되는 인체를 사용자라 칭하기로 하고, 전방 카메라(121)가 인체에 반사되거나 인체를 투과하는 광을 수신함으로써 촬영한 영상은 사용자 영상이라 하기로 한다.
여기서, 사용자 영상은 사용자로부터 반사되거나 사용자를 투과한 광에 대한 정보(파장 정보, 세기)를 포함하기만 하면 되고, 반드시 영상에서 사용자를 식별할 수 있어야 하는 것은 아니다.
프로세서(140)는 전방 카메라(121)에 의해 촬영된 사용자 영상으로부터 PPG 신호를 획득할 수 있다. 또한, 프로세서(140)는 획득된 PPG 신호에 기초하여 사용자의 생체 정보를 획득할 수 있는바, 프로세서(140)에 의해 획득 가능한 생체 정보는 심박수(heart rate), 혈중 산소 포화도(blood oxygenation), 스트레스 지수, 호흡률(respiration rate), 혈압(blood pressure), 산소 전달 시간(oxygen delivery time), 및 맥박 속도(pulse speed) 중 적어도 하나를 포함할 수 있다. 다만, 전술한 생체 정보는 모바일 기기(100)의 실시예에 적용 가능한 예시에 불과하며, 이 외에도 다양한 종류의 생체 정보가 프로세서(140)에 의해 획득될 수 있음은 물론이다.
또한, 프로세서(140)는 모바일 기기(100)의 전반적인 동작을 제어할 수도 있다. 예를 들어, 프로세서(140)는 디스플레이(110)를 제어하여 특정 파장의 광을 방출할 수 있고, 전방 카메라(121)를 제어하여 사용자 영상을 촬영할 수 있다. 후술하는 실시예에서는 편의상 설명이 생략되어 있더라도 디스플레이(110)와 전방 카메라(121) 기타 모바일 기기(100)의 구성요소들이 수행하는 동작들은 프로세서(140)에 의해 제어될 수 있는 것으로 한다.
프로세서(140)가 수행하는 동작을 실행하기 위한 프로그램 및 이를 실행하는데 필요한 각종 데이터는 메모리(150)에 저장될 수 있다. PPG 측정과 관련된 프로그램은 어플리케이션의 형태로 저장될 수 있는바, 이와 같은 어플리케이션은 모바일 기기(100)에 디폴트로 설치될 수도 있고, 모바일 기기(100)의 판매 이후 사용자에 의해 설치될 수도 있다.
후자의 경우, 사용자는 어플리케이션을 제공하는 서버로부터 PPG 측정을 위한 어플리케이션을 다운로드 받는 방식으로 어플리케이션을 모바일 기기(100)에 설치할 수 있다.
도 5는 일 실시예에 따른 모바일 기기의 디스플레이에 표시되는 화면의 예시를 나타내는 도면이다.
일 실시예에 따른 모바일 기기(100)에서 PPG 측정을 위한 어플리케이션이 실행되면, 모바일 기기(100)는 PPG 측정 모드에서 동작할 수 있다. 전술한 바와 같이, PPG 측정 모드에서 동작하는 모바일 기기(100)는 심박수(heart rate), 혈중 산소 포화도(blood oxygenation, SpO2), 스트레스 지수, 호흡률(respiration rate), 혈압(blood pressure), 산소 전달 시간(oxygen delivery time), 및 맥박 속도(pulse speed) 중 적어도 하나의 생체 정보를 측정하고, 그 결과를 사용자에게 제공할 수 있다.
일 예로, 모바일 기기(100)에서 PPG 측정을 위한 어플리케이션이 실행되면 도 5에 도시된 바와 같이 측정하고자 하는 생체 정보를 선택할 수 있는 화면이 디스플레이(110)에 표시될 수 있다. 도 5의 예시와 같이, 디스플레이(110)에 표시되는 하나의 화면에 하나의 측정 가능한 생체 정보가 표시될 수 있고, 표시된 생체 정보를 측정하고자 하는 사용자는 화면에 표시된 측정 버튼(M)을 터치함으로써 표시된 생체 정보를 선택할 수 있다.
화면에 표시된 생체 정보가 측정하고자 하는 생체 정보가 아닌 경우에, 사용자는 화면을 스와이프(swipe)하여 다음 화면으로 넘길 수 있고, 원하는 생체 정보의 화면이 표시되면 측정 버튼(M)을 터치할 수 있다.
또는, 하나의 화면에 복수의 측정 가능한 생체 정보에 각각 대응되는 복수의 측정 버튼(M)이 표시되는 것도 가능하다.
사용자에 의해, 생체 정보가 선택되면 모바일 기기(100)는 선택된 생체 정보를 측정하기 위한 일련의 동작들을 수행할 수 있다. 이하, 자세하게 설명한다.
도 6 및 도 8은 일 실시예에 따른 모바일 기기가 PPG 측정 모드에서 동작할 때의 사용자의 손가락의 위치를 나타낸 도면이고, 도 7 및 도 9는 일 실시예에 따른 모바일 기기가 PPG 측정 모드에서 동작할 때 디스플레이의 발광 영역의 예시를 나타낸 도면이다.
심장 박동에 의해 발생한 압력에 의해 혈관 내에서 혈액이 흐르고, 심장 박동에 의한 압력은 인체의 말단 모세혈관까지 작용한다. 손가락 끝 모세혈관의 동맥혈은 세포조직으로 혈액을 공급하고 정맥으로 들어가 다시 심장으로 되돌아간다. 따라서, 손가락 끝 모세혈관에서의 동맥 혈량(Arterial blood volume)은 심장 박동에 의해 동기되어 증가하고 줄어드는 상태가 반복된다.
전술한 바와 같이, PPG 신호는 심장 박동에 동기된 혈량 변화를 나타내는 지표이다. 따라서, PPG 신호의 측정은 손가락, 발가락, 귓불과 같은 신체 말단에서 이루어질 수 있는바, 후술하는 실시예는 측정의 편의를 위해 사용자의 손가락에서 PPG 신호를 측정하는 경우를 예로 들어 설명하기로 한다.
도 6을 참조하면, 광 수신기로서의 역할을 수행하는 전방 카메라(121)의 전면, 구체적으로는 전방 카메라(121)의 렌즈 전면에 사용자의 손가락이 위치하면, 디스플레이(110)의 전방 카메라(121)에 대응되는 영역에서 특정 파장의 광이 방출될 수 있다.
반사형으로 PPG 신호를 측정하는 경우에는 전방 카메라(121)와 인접한 영역에서 특정 파장의 광이 방출될 수 있다. 일 예로, 도 7에 도시된 바와 같이, 전방 카메라(121)의 렌즈를 중심으로 하여 정해진 지름을 갖는 원형의 영역에서 특정 파장의 광이 방출될 수 있다. 후술하는 실시예에서는 PPG 신호의 측정을 위해 발광하는 디스플레이의 영역을 발광 영역(EA)이라 하기로 한다. 다만, 발광 영역(EA)의 형상이 원형에 한정되는 것은 아니며, 사각형이나 육각형 등의 다각형, 기타 다른 형상으로 구현되는 것도 가능함은 물론이다.
모바일 기기(100)의 설계에 따라 전방 카메라(121)의 렌즈 전면에도 광을 방출하는 디스플레이(110)의 구성요소들이 배치될 수도 있고, 전방 카메라(121)의 렌즈 전면에는 광을 방출하는 디스플레이(110)의 구성요소들이 배치되지 않을 수도 있다. 전자의 경우에는, 전방 카메라(121)의 렌즈 전면에서도 광이 방출될 수 있고, 후자의 경우에는, 전방 카메라(121)의 렌즈 전면에서는 광이 방출되지 않는다. 즉, 발광 영역(EA)의 형상이 중심이 비어있는 형상이 될 수 있다.
또한, 터치 센서(130) 역시 전방 카메라(121)의 렌즈 전면에 위치할 수도 있고, 위치하지 않을 수도 있다. 전방 카메라(121)의 렌즈에 비해 사용자의 손가락이 크기 때문에 전방 카메라(121)의 렌즈 전면에 터치 센서(130)가 위치하는지 여부와 무관하게, 사용자가 전방 카메라(121)의 렌즈에 손가락을 대면 그 주변의 터치 센서(130)에도 손가락이 접촉하게 된다.
다시 도 6을 참조하면, 디스플레이(110)의 발광 영역(EA)에서 방출된 광은 사용자의 손가락에 도달하고, 손가락에 도달한 광의 일부는 뼈, 혈액, 조직 등에 흡수되며 다른 일부는 반사되어 전방 카메라(121)의 렌즈에 입사될 수 있다.
전방 카메라(121)는 렌즈에 입사된 반사광을 수신함으로써 손가락 영상을 촬영할 수 있고, 프로세서(140)는 촬영된 손가락 영상으로부터 PPG 신호를 획득할 수 있다.
도 8에 도시된 바와 같이, 모바일 기기(100)가 폴더블 형태로 구현되는 경우에는 사용자의 손가락을 전방 카메라(121)의 렌즈 전면에 위치시키고 모바일 기기(100)를 폴딩시킬 수 있다. 이 경우에도, 전방 카메라(121)에 대응되는 디스플레이(110)의 영역에서 특정 파장의 광이 방출될 수 있다. 여기서, 전방 카메라(121)에 대응되는 영역은 폴딩되었을 때 전방 카메라(121)와 마주보는 영역을 의미할 수 있다.
즉, 모바일 기기(100)가 폴더블 형태로 구현되는 경우에는 특정 파장의 광을 전방 카메라(121)와 같은 방향에서 방출하는 것이 아니라 반대 방향에서 방출함으로써, 전방 카메라(121)가 손가락을 투과한 광을 수신하게 할 수 있다.
일 예로, 도 9에 도시된 바와 같이, 전방 카메라(121)에 대응되는 디스플레이(110)의 영역에 정해진 크기 및 정해진 형상을 갖는 발광 영역(EA)이 형성될 수 있다. 도 9의 예시에서는 발광 영역(EA)을 원형으로 도시하였으나, 모바일 기기(100)의 실시예가 이에 한정되는 것은 아니며 사각형이나 육각형 등의 다각형, 기타 다른 형상으로 구현되는 것도 가능함은 물론이다.
다만, 모바일 기기(100)가 폴더블 형태로 구현되는 경우라도 전술한 도 7에 도시된 바와 같이 발광 영역(EA)이 전방 카메라(121)와 인접한 영역에 형성되어 전방 카메라(121)가 손가락으로부터 반사된 광을 수신하는 것도 가능하다.
도 10은 생체 정보에 따른 발광 파장을 나타낸 테이블이고, 도 11은 멀티 파장의 광을 방출하여 PPG 신호를 측정하는 경우에 디스플레이에서 방출되는 광의 파장 변화를 나타낸 타이밍도이다.
발광 영역(EA)에서 방출되는 광의 파장은 측정하고자 하는 생체 정보에 따라 달라질 수 있다. 예를 들어, 도 10에 도시된 바와 같이, 혈중 산소 포화도나 스트레스 지수를 측정하고자 하는 경우에는 적색 광과 적외선 광의 조합 또는 적색 광과 녹색 광의 조합 또는 적색 광과 청색 광의 조합이 발광 영역(EA)에서 방출될 수 있다.
혈압을 측정하고자 하는 경우에는 적색 광, 녹색 광, 청색 광 및 적외선 광의 조합이 발광 영역(EA)에서 방출될 수 있으며, 호흡률을 측정하고자 하는 경우에는 적색 광 또는 적외선 광이 방출될 수 있고, 심박수를 측정하고자 하는 경우에는 녹색 광이 방출될 수 있다.
그러나, 도 10의 테이블은 모바일 기기(100)에 적용 가능한 예시에 불과하고 모바일 기기(100)의 실시예가 상기 예시에 한정되는 것은 아니다. 적색 광이 혈량 변화에 가장 민감하게 반응하는 반면, 혈액 속 헤모글로빈은 녹색 파장 대역에서 가장 높은 흡수율을 나타낸다. 또한, 일반적으로 녹색 광과 청색 광에 나타나는 노이즈가 적색 광에 나타나는 노이즈보다 적다. 이와 같이, 각각의 파장 대역이 갖는 장단점이 다르기 때문에 각각의 장단점을 고려하여 도10의 테이블과 다르게 생체정보와 발광 파장을 매칭시키는 것도 가능함은 물론이다.
생체 정보에 각각 매칭되는 발광 파장의 정보는 메모리(150)에 저장될 수 있고, 사용자에 의해 생체 정보가 선택되면 프로세서(140)는 선택된 생체 정보에 매칭된 발광 파장의 광이 발광 영역(EA)에서 방출되도록 디스플레이(110)를 제어할 수 있다.
파장 대역에 따라 인체 조직 내에서 투과할 수 있는 깊이가 달라진다. 따라서, PPG 신호의 측정 시에 멀티 파장(multi-wavelength)을 이용하게 되면 더 다양하고 정확한 정보를 얻을 수 있다. 도 10의 예시를 참조하면, 혈중 산소 포화도, 스트레스 지수, 혈압 및 호흡률에 매칭된 발광 파장은 멀티 파장에 해당한다.
전술한 바와 같이, 모바일 기기(100)의 디스플레이(110)는 단일 픽셀마다 복수의 서브 픽셀을 포함하여 다양한 색상의 구현이 가능하므로, 생체 정보의 획득을 위한 다양한 파장의 광을 방출할 수 있다.
프로세서(140)는 멀티 파장의 광을 이용하여 PPG 신호를 측정하기 위해, 발광 영역(EA)에 포함된 적색 서브 픽셀, 녹색 서브 픽셀 및 청색 서브 픽셀 중 둘 이상의 서브 픽셀에서 광을 방출하도록 디스플레이(110)를 제어할 수 있다. 경우에 따라 적외선 서브 픽셀도 이용될 수 있다.
예를 들어, 호흡률을 측정하기 위해 적색 광과 적외선 광을 이용하는 경우에는, 도 11에 도시된 바와 같이, 발광 영역(EA)에서 적색 광과 적외선 광이 교대로 방출될 수 있다. 세 개 이상의 멀티 파장이 이용되는 경우에도 각각의 광이 교대로 방출될 수 있으며, 방출 순서나 방출 시간에 대해서는 제한을 두지 않는다. 또는, 멀티 파장의 광이 동시에 방출되는 것도 가능하다.
한편, 발광 영역(EA)에서의 발광은 생체 정보가 선택된 이후에 이루어질 수 있다. 생체 정보의 선택 이후에 바로 발광하는 것도 가능하고 사용자의 손가락이 전방 카메라(121)의 렌즈에 접촉된 이후에 발광하는 것도 가능하며, 사용자의 손가락이 적절하게 위치한 것이 확인된 이후에 발광하는 것도 가능하다.
디스플레이(110)의 발광 영역(EA)에서 방출된 광은 손가락에 반사 또는 투과되어 전방 카메라(121)의 렌즈를 통해 입사될 수 있다. 전방 카메라(121)는 설정된 프레임 레이트에 따라 프레임 영상들을 촬영할 수 있고, 손가락에 반사 또는 투과된 광을 수신하여 촬영된 프레임 영상들 각각을 손가락 영상이라 할 수 있다.
전방 카메라(121)에 의해 촬영된 손가락 영상은 프로세서(140)에 전달되고, 프로세서(140)는 손가락 영상으로부터 PPG 신호를 획득할 수 있다. 또한, 프로세서(140)는 획득된 PPG 신호를 이용하여 사용자가 선택한 생체 정보를 판단 또는 계산할 수 있다.
예를 들어, 프로세서(140)는 일정 시간 간격으로 촬영된 손가락 영상들로부터 특정 파장 성분을 추출할 수 있다. 시간 변화에 따른 특정 파장 성분 값의 변화가 PPG 신호를 나타낼 수 있다. 프로세서(140)는 특정 파장 성분을 AC 성분과 DC 성분으로 분리할 수 있고, 분리된 AC 성분과 DC 성분을 이용하여, 선택된 생체 정보를 계산할 수 있다.
계산된 생체 정보는 디스플레이(110) 또는 스피커(160)를 통해 사용자에게 제공될 수 있고, 헬스케어 관련 서비스를 제공하는데 사용될 수도 있다. 예를 들어, 계산된 생체 정보는 특정 질환을 갖고 있는 사용자의 건강 상태를 모니터링하기 위해 사용될 수 있다. 구체적으로, 계산된 생체 정보가 기준 범위를 벗어나는 경우에 경고 메시지를 출력하거나, 연계된 의료 기관에 관련 정보를 전송할 수 있다.
도 12및 도 13은 일 실시예에 따른 모바일 기기가 PPG 측정 모드에서 동작할 때 디스플레이에 표시되는 가이드 영상의 예시를 나타내는 도면이다.
PPG 신호의 정확한 측정을 위해서는 사용자의 손가락이 전방 카메라(121)에 대응되는 정확한 위치에 놓이는 것이 중요하다. 따라서, 일 실시예에 따른 모바일 기기(100)는 손가락의 위치를 가이드하기 위한 가이드 정보를 출력할 수 있다. 예를 들어, 손가락의 위치를 가이드하기 위한 가이드 정보는 시각적인 방식, 청각적인 방식 및 촉각적인 방식 중 적어도 하나를 이용하여 출력될 수 있다.
일 예로, 도 12에 도시된 바와 같이, 손가락의 위치를 가이드하기 위한 위치 가이드 영상이 디스플레이(110)에 표시될 수 있다. 위치 가이드 영상은 사용자의 손가락 말단이 전방 카메라(121)의 렌즈 전면에 위치하도록 가이드하기 위한 시각적인 컨텐츠를 포함할 수 있다.
예를 들어, 위치 가이드 영상은 전방 카메라(121)의 렌즈를 가리키는 화살표를 포함할 수도 있고, 손가락 형상의 이미지(FI)를 포함할 수도 있다. 손가락 형상의 이미지(FI)가 디스플레이(110)에 표시되는 경우에, 사용자는 자신의 손가락을 디스플레이(110)에 표시된 손가락 형상의 이미지(FI) 위에 포개어지도록 위치시킬 수 있다.
다른 예로, 모바일 기기(100)가 폴더블 형태로 구현되는 경우에는 도 13에 도시된 바와 같이 모바일 기기(100)가 폴딩될 수 있도록 손가락을 반대 방향에 위치시킬 수 있다. 이를 위해, 위치 가이드 영상 역시 거꾸로 표시하여 사용자의 손이 모바일 기기(100)의 위쪽에 위치하도록 가이드할 수 있다.
모바일 기기(100)의 실시예가 전술한 도 12 및 도 13의 예시에 한정되는 것은 아니다. 또 다른 예로, 모바일 기기(100)가 폴더블 형태로 구현되지 않는 경우에도 사용자의 손이 모바일 기기(100)의 위쪽에 위치하도록 가이드하는 것도 가능하다. 또는, 모바일 기기(100)가 폴더블 형태로 구현되는 경우에도 사용자의 손이 도 12에 도시된 바와 같이 위치하도록 가이드하고 모바일 기기(100)를 폴딩하지 않은 상태에서 PPG 신호를 측정하는 것도 가능하다.
한편, 일 실시예에 따른 모바일 기기(100)는 터치 센서(130)의 출력 및 전방 카메라(121)의 출력에 기초하여 손가락의 위치 및 손가락의 접촉 압력 중 적어도 하나를 가이드하기 위한 가이드 정보를 출력하거나 또는 손가락의 움직임에 의한 왜곡(distortion)을 방지하기 위한 왜곡 방지 처리를 수행할 수 있다. 이 때 출력되는 가이드 정보 역시 시각적 방식, 청각적 방식 및 촉각적 방식 중 적어도 하나를 이용하여 출력될 수 있다. 이하, 이와 관련된 구체적인 동작을 설명한다.
도 14는 스피커를 더 포함하는 모바일 기기의 제어 블록도이고, 도 15는 일 실시예에 따른 모바일 기기가 PPG 측정 모드에서 동작할 때 손가락의 위치를 가이드 하기 위해 스피커를 통해 출력되는 가이드 음성의 예시를 나타낸 도면이다. 도 16은 손가락의 접촉 압력에 따라 획득되는 PPG 신호의 형태를 나타낸 그래프들이고, 도 17은 일 실시예에 따른 모바일 기기가 PPG 측정 모드에서 동작할 때 손가락의 접촉 압력을 가이드 하기 위해 스피커를 통해 출력되는 가이드 음성의 예시를 나타낸 도면이다.
도 14를 참조하면, 일 실시예에 따른 모바일 기기(100)는 정확한 PPG 신호를 측정하기 위한 가이드 음성을 출력하는 스피커(160)를 더 포함할 수 있다. 스피커(160)는 모바일 기기(100)의 하우징(101)의 적어도 일 영역에 마련될 수 있다.
스피커(160)를 통해 출력되는 가이드 음성은 손가락의 위치 또는 접촉 압력을 가이드하기 위한 정보를 포함할 수 있다. 여기서, 접촉 압력은 사용자의 손가락이 전방 카메라(121)의 렌즈를 누르는 압력을 의미할 수 있다.
전술한 가이드 영상이 디스플레이(110)에 표시될 때, 표시된 가이드 영상에 대응되는 가이드 음성, 예를 들어, "전방 카메라의 렌즈 위에 손가락을 올려놓으세요"와 같은 가이드 음성이 스피커(160)를 통해 함께 출력될 수 있다.
또한, 사용자의 손가락이 정해진 위치 또는 정해진 압력에 따라 놓여지지 않은 경우에, 손가락의 위치 또는 접촉 압력을 바로잡기 위한 가이드 음성을 출력하는 것도 가능하다.
구체적으로, 프로세서(140)는 터치 센서(130)의 출력에 기초하여 사용자의 손가락이 디스플레이(110) 상의 정해진 영역에 위치하는지 여부를 판단하고, 그 판단 결과를 시각적 방식, 청각적 방식 및 촉각적 방식 중 적어도 하나를 이용하여 출력할 수 있다. 당해 예시에서는 청각적 방식을 이용하여 출력하는 경우를 설명한다.
여기서, 정해진 영역은 PPG 신호의 측정을 위해 손가락이 위치해야 하는 영역으로서, 정해진 위치에, 정해진 크기 또는 정해진 형상을 가질 수 있다. 예를 들어, 정해진 영역은 전방 카메라(121)를 중심으로 일정 크기를 갖는 원형 또는 사각형의 영역으로 정의될 수 있다.
터치 센서(130)의 출력은 객체와 접촉된 터치 센서(130)의 위치를 나타낸다. 따라서, 프로세서(140)는 터치 센서(130)의 출력에 기초하여 터치 센서(130)에 접촉된 손가락의 위치를 판단할 수 있다. 또는, 프로세서(140)가 전방 카메라(121)의 출력, 즉 전방 카메라(121)가 촬영한 손가락 영상에 기초하여 터치 센서(130)에 접촉된 손가락의 위치를 판단하는 것도 가능하다. 특히, 전방 카메라(121)의 해상도가 터치 센서(130)의 해상도보다 높은 경우에 전방 카메라(121)의 출력을 이용하면 위치 판단의 정확도를 향상시킬 수 있다.
전술한 정해진 영역에 대한 정보는 메모리(150)에 저장될 수 있고, 프로세서(140)는 터치 센서(130)의 출력이 나타내는 손가락의 위치와 메모리(150)에 저장된 정해진 영역에 대한 정보를 비교하여, 손가락이 정해진 영역에 위치하는지 여부를 판단할 수 있다.
도 15에 도시된 바와 같이, 손가락이 정해진 영역에 위치하지 않는 것으로 판단되면, 프로세서(140)는 스피커(160)를 제어하여 "손가락의 위치를 확인해주십시오"와 같은 가이드 음성을 출력할 수 있다. 또는, 더 구체적인 가이드 정보를 제공하기 위해 "손가락을 좌측으로 이동시켜 주십시오"와 같은 가이드 음성을 출력하는 것도 가능하다.
또는, 가이드 음성으로 출력되는 정보를 텍스트로 출력하여 시각적인 방식으로 가이드 정보를 제공하는 것도 가능하고, 손가락이 정해진 영역에 위치하지 않는 것으로 판단되었을 때 모바일 기기(100)에 진동을 발생시켜 촉각적인 방식으로 가이드 정보를 제공하는 것도 가능하다.
한편, 손가락이 광 수신기의 역할을 하는 전방 카메라(121)의 렌즈와 적절한 압력으로 접촉하면 더 정확한 PPG 신호를 측정할 수 있다. 손가락이 전방 카메라(121)의 렌즈를 누르는 압력이 약하면 도 16의 (a)에 도시된 바와 같은 형태(shape)의 PPG 신호가 획득되고, 손가락이 전방 카메라(121)의 렌즈를 누르는 압력이 적절하면(정해진 범위 내) 도 16의 (b)에 도시된 바와 같은 형태의 PPG 신호가 획득될 수 있다. 또한, 손가락이 전방 카메라(121)의 렌즈를 누르는 압력이 세면, 획득되는 PPG 신호의 형태가 도 16의 (c)에 도시된 바와 같게 된다.
도 16에 도시된 세 개의 PPG 신호 중에서 생체 정보를 획득하기에 가장 적합한 형태의 PPG 신호는 (b)의 PPG 신호이다. 따라서, (b)의 PPG 신호를 획득하는데 적용된 압력이 적절한 압력으로 정해질 수 있고, 이러한 압력은 PPG 측정 모드의 최초 실행 시에 수행되는 테스트를 통해 설정 및 저장될 수 있다. 또는, 모바일 기기(100)의 제조 단계에서 실험, 시뮬레이션, 이론, 통계 등에 의해 미리 설정 및 저장되는 것도 가능하다.
프로세서(140)는 터치 센서(130)의 출력 및 전방 카메라(121)의 출력 중 적어도 하나에 기초하여 손가락의 접촉 압력을 판단할 수 있고, 판단 결과에 기초하여 시각적 방식, 청각적 방식 및 촉각적 방식 중 적어도 하나를 이용하여 손가락의 접촉 압력을 정해진 범위로 가이드하기 위한 가이드 정보를 출력할 수 있다.
터치 센서(130)가 감압 방식으로 구현되어 손가락의 접촉 압력을 직접 측정할 수 있는 경우에는, 프로세서(140)가 터치 센서(130)의 출력에 기초하여 직접적으로 손가락의 접촉 압력을 판단할 수 있다.
터치 센서(130)가 감압 방식이 아닌 다른 방식으로 구현되어 손가락의 접촉 압력을 직접 측정할 수 없는 경우에는, 프로세서(140)가 손가락과 터치 센서(130)의 접촉 면적에 기초하여 간접적으로 손가락의 접촉 압력을 판단할 수 있다. 예를 들어, 손가락과 터치 센서(130)의 접촉 면적이 클수록 접촉 압력이 센 것으로, 손가락과 터치 센서(130)의 접촉 면적이 작을수록 접촉 압력이 약한 것으로 판단할 수 있다.
손가락과 터치 센서(130)의 접촉 면적은 터치 센서(130)의 출력에 기초하여 판단할 수도 있고, 전방 카메라(121)의 출력, 즉 전방 카메라(121)가 촬영한 손가락 영상에 기초하여 판단할 수도 있다.
판단 결과, 손가락의 접촉 압력이 정해진 범위보다 약한 것으로 판단되면, 도 17에 도시된 바와 같이, 프로세서(140)는 스피커(160)를 제어하여 "더 세게 눌러주세요"와 같은 가이드 음성을 출력할 수 있다. 반대로, 손가락의 접촉 압력이 정해진 압력보다 센 것으로 판단되면, 프로세서(140)는 스피커(160)를 제어하여 "약하게 눌러주세요"와 같은 가이드 음성을 출력할 수도 있다.
또는, 가이드 음성과 동일한 내용의 텍스트를 디스플레이(110)에 표시하여 시각적 방식으로 가이드 정보를 출력할 수도 있고, 모바일 기기(100)에 진동을 발생시켜 촉각적 방식으로 가이드 정보를 출력할 수도 있다.
일 예로, 모바일 기기(100)는 손가락의 위치를 먼저 가이드한 이후에 손가락의 접촉 압력을 가이드할 수 있다. 즉, 전술한 바와 같이 프로세서(140)가 터치 센서(130)의 출력 또는 전방 카메라(121)의 출력에 기초하여 사용자의 손가락의 위치를 판단하고, 손가락의 위치가 정해진 영역에 위치하지 않으면 손가락의 위치를 정해진 영역으로 가이드하기 위한 정보를 출력한 후에 다시 판단한 결과 사용자의 손가락이 정해진 영역에 위치하면 손가락의 접촉 압력을 판단하고, 그 판단 결과에 따라 손가락의 접촉 압력을 가이드하기 위한 정보를 출력할 수 있다.
다른 예로, 손가락의 접촉 압력을 먼저 가이드하는 것도 가능하고, 손가락의 위치와 접촉 압력을 동시에 가이드하는 것도 가능하다.
도 18은 모션 센서를 더 포함하는 모바일 기기의 제어 블록도이고, 도 19는 일 실시예에 따른 모바일 기기가 PPG 측정 모드에서 동작할 때 사용자의 손이 움직일 경우에 출력되는 경고의 예시를 나타내는 도면이다.
도 18을 참조하면, 일 실시예에 따른 모바일 기기(100)는 모바일 기기(100)의 모션을 감지하는 모션 센서(170)를 더 포함할 수 있다. 예를 들어, 모션 센서(170)는 가속도 센서 및 자이로 센서 중 적어도 하나를 포함할 수 있다.
프로세서(140)는 모션 센서(170)의 출력에 기초하여 모바일 기기(100)가 움직이는지 여부를 판단하고, 모바일 기기(100)의 움직임에 관련된 가이드 정보를 출력할 수 있다.
구체적으로, 프로세서(140)는 PPG 측정 모드에서 모바일 기기(100)가 움직인 것으로 판단되면 도 19에 도시된 바와 같이, 움직이지 말라는 취지의 가이드 정보를 출력함으로써, 모바일 기기(100)의 움직임으로 인해 PPG 신호에 왜곡이 발생하는 것을 방지할 수 있다. 도 19의 예시에서는 가이드 정보가 청각적 방식으로 출력되는 것을 예로 들었으나, 가이드 정보는 시각적 방식 또는 촉각적 방식으로 출력되는 것도 가능하고, 둘 이상의 방식이 조합되어 출력되는 것도 가능하다.
프로세서(140)는 터치 센서(130)의 출력이나 전방 카메라(121)의 출력에 기초하여 사용자의 손가락의 움직임을 판단할 수도 있다. 손가락의 움직임은 손가락의 위치 변화 및 손가락의 접촉 압력 변화 중 적어도 하나를 포함할 수 있다. 따라서, 프로세서(140)는 터치 센서(130)의 출력 또는 전방 카메라(121)의 출력에 기초하여 손가락의 위치 변화 또는 손가락의 접촉 압력 변화를 판단할 수 있다.
프로세서(140)가 터치 센서(130)의 출력이나 전방 카메라(121)의 출력에 기초하여 사용자의 손가락이 움직인 것으로 판단한 경우에도 전술한 바와 마찬가지로, 시각적 방식, 청각적 방식 및 촉각적 방식 중 적어도 하나를 이용하여 움직이지 말라는 취지의 가이드 정보를 출력할 수 있다.
한편, PPG 측정 도중 손가락의 움직임을 막기 위한 가이드 정보를 출력했음에도 손가락의 움직임이 발생한 경우, 프로세서(140)는 모바일 기기(100)에 마련된 다양한 구성들을 이용하여 손가락의 움직임으로 인한 왜곡을 방지하기 왜곡 방지 처리를 수행할 수 있다. 손가락의 움직임으로 인한 왜곡은 PPG 신호에 나타나는 노이즈 및 아티팩트 중 적어도 하나를 포함할 수 있다.
예를 들어, 정해진 횟수만큼 가이드 정보를 출력했음에도 손가락의 움직임이 발생한 경우에, 프로세서(140)는 후술하는 왜곡 방지 처리를 수행할 수 있다.
또는, 움직임에 대한 가이드 정보의 출력은 생략하고, 후술하는 왜곡 방지 처리를 수행하는 것도 가능하다.
도 20은 일 실시예에 따른 모바일 기기가 손가락의 위치 변화로 인한 왜곡을 방지하기 위해 수행하는 동작을 나타내는 도면이고, 도 21A내지 도 21D는 손가락이 움직이는 정도에 따른 PPG 신호의 노이즈를 나타내는 그래프이다.
전방 카메라(121)의 프레임 영역(FA)이 도 20에 도시된 바와 같고, PPG 신호의 측정을 위해 프레임 영역(FA) 내에서 사용자의 손가락이 접촉된 영역이 제1영역(PPG_A1)이었다가 손가락의 움직임으로 인해 제2영역(PPG_A2)로 이동한 경우에 대해 설명한다.
당해 예시에서, 전방 카메라(121)의 프레임 영역(FA)은 전방 카메라(121)가 촬영하는 프레임 영상에 포함되는 영역, 즉 전방 카메라(121)의 커버리지를 의미한다. 프레임 영역(FA)은 사용자의 손가락이 전방 카메라(121)의 렌즈에 접촉한 경우를 가정하여 설정된 영역일 수 있다.
손가락의 움직임에 의한 왜곡을 방지하기 위해, 프로세서(140)는 터치 센서(130)의 출력 또는 전방 카메라(121)의 출력에 기초하여 손가락의 움직임을 트래킹하고, 손가락의 현재 위치에 기초하여 손가락 영상에서 PPG 신호의 획득에 사용될 적어도 하나의 픽셀을 결정할 수 있다.
전술한 바와 같이, PPG 신호의 획득을 위해 전방 카메라(121)에 의해 촬영된 복수의 프레임 영상을 이용할 수 있고, 복수의 프레임 영상은 설정된 프레임 레이트에 따라 촬영되어 프로세서(140)에 전송될 수 있다.
프로세서(140)는 전송된 프레임 영상 내에서 손가락의 현재 위치에 대응되는 적어도 하나의 픽셀로부터 PPG 신호를 추출할 수 있다. 즉, 손가락이 제1영역(PPG_A1)에 위치한 경우에는 제1영역(PPG_A1)의 픽셀로부터 PPG 신호를 추출하고, 손가락이 이동하여 제2영역(PPG_A2)에 위치한 경우에는 제2영역(PPG_A2)의 픽셀로부터 PPG 신호를 추출할 수 있다. 이로써, 손가락이 움직이는 경우에도 손가락의 동일한 부위로부터 PPG 신호를 획득할 수 있게 된다.
한편, PPG 신호는 단일 픽셀로부터 추출되는 것도 가능하고, 멀티 픽셀로부터 추출되는 것도 가능하다. 멀티 픽셀로부터 PPG 신호를 추출하는 경우에 프로세서(140)는 픽셀값으로부터 모션 성분(motion component)을 제거할 수 있다.
예를 들어, 입력 신호 강도(I: input intensity)는 시간(t)과 2차원 평면 상에서의 위치(x, y)의 함수 I(t, x, y)로 나타낼 수 있고, 가우시안 분배(Gaussian distribution)을 이용하여 아래 [수학식 1]과 같이 진폭 성분(amplitude component)과 모션 성분(motion component)으로 분해(decompose)될 수 있다.
[수학식 1]
Figure pat00001
여기서, A(t)가 진폭 성분을 나타내고 그 뒤의 성분이 모션 성분을 나타낸다. 따라서, 모션 성분을 제거하고 진폭 성분만 이용하면 모션 아티팩트가 제거된 PPG 신호를 획득할 수 있다.
도 21A 내지 도 21D는 손가락이 움직이는 정도에 따라 PPG 신호에 발생하는 노이즈를 단일 픽셀과 멀티 픽셀에 대해 각각 나타낸 그래프이다. 멀티 픽셀로부터 획득된 PPG 신호는 전술한 바와 같이 모션 성분이 제거된 픽셀값으로부터 획득된 신호이다.
도 21A를 참조하면, PPG 신호의 측정 대상(당해 예시에서는 손가락)의 움직임이 거의 없는 경우(Motion level =0)에는 단일 픽셀로부터 획득된 PPG 신호와 멀티 픽셀로부터 획득된 PPG 신호에 모두 움직임으로 인한 노이즈가 거의 포함되어 있지 않다.
도 21B 내지 도 21D를 참조하면, 측정 대상의 움직임이 커질수록 단일 픽셀로부터 획득된 PPG 신호에 포함되는 노이즈도 점점 커짐을 확인할 수 있다. 반면에, 멀티 픽셀로부터 획득된 PPG 신호는 단일 픽셀로부터 획득된 PPG 신호와 비교하여, 측정 대상의 움직임에 크게 영향을 받지 않고 안정적인 형태(shape)를 갖는 것을 확인할 수 있다.
따라서, 프로세서(140)는 PPG 신호를 획득함에 있어서, 전방 카메라(121)의 멀티 픽셀을 이용함으로써 손가락의 움직임으로 인해 PPG 신호에 나타나는 노이즈를 줄일 수 있다.
또는, 손가락의 움직임에 따라 단일 픽셀 및 멀티 픽셀의 이용 여부를 결정하는 것도 가능하다. 구체적으로, 프로세서(140)는 터치 센서(130)의 출력 및 전방 카메라(121)의 출력 중 적어도 하나에 기초하여 손가락의 움직이는 정도를 판단할 수 있고, 손가락이 움직이는 정도가 정해진 기준 레벨 미만이면 단일 픽셀로부터 PPG 신호를 획득하고 손가락이 움직이는 정도가 정해진 기준 레벨 이상이면 멀티 픽셀로부터 PPG 신호를 획득할 수 있다.
도 22 및 도 23은 일 실시예에 따른 모바일 기기가 손가락의 접촉 압력 변화로 인한 왜곡을 방지하기 위해 수행하는 동작을 나타내는 도면이다.
한편, PPG 신호를 측정하는 동안 손가락의 접촉 압력이 변하는 경우에도 PPG 신호에 왜곡이 발생할 수 있다. 손가락의 접촉 압력 변화로 인한 왜곡을 방지하기 위해, 프로세서(140)는 디스플레이(110)의 발광 영역(EA)의 밝기 및 크기 중 적어도 하나를 제어할 수 있다.
구체적으로, 프로세서(140)는 터치 센서(130)의 출력 및 전방 카메라(121)의 출력 중 적어도 하나에 기초하여 손가락의 접촉 압력 변화를 판단할 수 있다. 접촉 압력을 판단하는 방법은 앞서 설명한 바와 같다.
프로세서(140)는 PPG 신호의 측정 중 손가락의 접촉 압력이 변한 것으로 판단되면, 디스플레이(110)의 발광 영역(EA)의 밝기 및 크기 중 적어도 하나를 제어할 수 있다.
예를 들어, PPG 신호의 측정 중 손가락의 접촉 압력이 감소하면, 도 20에 도시된 바와 같이, 디스플레이(110)의 발광 영역(EA)의 크기를 증가시킬 수 있다. 또는, 디스플레이(110)의 발광 영역(EA)의 밝기를 증가시키는 것도 가능하다.
반대로, PPG 신호의 측정 중 손가락의 접촉 압력이 증가하면, 도 21에 도시된 바와 같이, 디스플레이(110)의 발광 영역(EA)의 크기를 감소시킬 수 있다. 또는, 디스플레이(110)의 발광 영역(EA)의 밝기를 감소시키는 것도 가능하다.
이와 같이, 손가락의 접촉 압력 변화에 따라 디스플레이(110)의 발광 영역(EA)의 크기나 밝기를 동적으로(dynamically) 변화시킴으로써 PPG 신호에 나타나는 왜곡을 방지할 수 있다.
이하, 일 실시예에 따른 모바일 기기의 제어 방법에 대해 설명한다. 일 실시예에 따른 모바일 기기의 제어 방법을 실시함에 있어서, 전술한 모바일 기기(100)가 사용될 수 있다. 따라서, 앞서 도 1 내지 도 23을 참조하여 설명한 내용은 별도의 언급이 없더라도 모바일 기기의 제어 방법에도 동일하게 적용될 수 있다.
도 24는 일 실시예에 따른 모바일 기기의 제어 방법에 있어서, 사용자에게 가이드 정보를 제공하는 방법에 관한 순서도이다.
도 24를 참조하면, 모바일 기기(100)가 PPG 측정 모드에서 동작하는 경우에(310의 예), 터치 센서(130)의 출력 및 전방 카메라(121)의 출력 중 적어도 하나에 기초하여 손가락의 위치 및 손가락의 접촉 압력 중 적어도 하나를 판단한다(320).
당해 순서도에서는 생략하였으나, 모바일 기기(100)에서 PPG 신호의 측정을 위한 어플리케이션이 실행되고 사용자에 의해 생체 정보가 선택되면, 전술한 도 12 및 도 13에 도시된 바와 같이 손가락의 위치를 가이드하기 위한 가이드 정보가 출력될 수 있다.
출력된 가이드 정보에 따라 사용자의 손가락이 전방 카메라(121)의 렌즈 위에 놓여지면, 전방 카메라(121)와 인접한 영역의 터치 센서(130)가 사용자의 손가락에 의해 접촉될 수 있다. 따라서, 프로세서(140)는 터치 센서(130)의 출력에 기초하여 손가락의 위치 및 접촉 압력 중 적어도 하나를 판단할 수 있다.
판단 결과에 기초하여 가이드 정보가 출력될 수 있는바(330), 가이드 정보의 출력은 시각적 방식, 청각적 방식 및 촉각적 방식 중 적어도 하나의 방식을 이용하여 이루어질 수 있다.
사용자의 손가락이 정해진 위치에 정해진 범위의 압력으로 놓여지면 프로세서(140)는 전방 카메라(121)에 의해 촬영된 손가락 영상으로부터 PPG 신호를 획득할 수 있다(340).
PPG 신호의 획득을 위해 디스플레이(110)는 전방 카메라(121)에 대응되는 영역(발광 영역)에서 특정 파장의 광을 방출할 수 있다. 발광 영역(EA)에서 방출되는 광의 파장은 측정하고자 하는 생체 정보에 기초하여 결정될 수 있다. 이 때, 생체 정보의 종류에 따라 단일 파장의 광이 사용될 수도 있고, 멀티 파장의 광이 사용될 수도 있다.
손가락 영상으로부터 PPG 신호를 획득하는 방법은 앞서 모바일 기기(100)의 실시예에서 설명한 바와 같다.
PPG 신호가 획득되면 프로세서(140)는 획득된 PPG 신호에 기초하여 생체 정보를 획득할 수 있고, 획득된 생체 정보는 디스플레이(110) 또는 스피커(160)를 통해 사용자에게 제공될 수 있다.
도 25는 일 실시예에 따른 모바일 기기의 제어 방법에 있어서, 손가락의 위치를 가이드하기 위한 정보를 출력하는 방법에 관한 순서도이다.
도 25를 참조하면, 모바일 기기(100)가 PPG 측정 모드에서 동작하는 경우에(310)의 예), 프로세서(140)는 터치 센서(130)의 출력 및 전방 카메라(121)의 출력 중 적어도 하나에 기초하여 손가락이 정해진 영역에 위치하는지 여부를 판단한다(321). 정해진 영역은 PPG 신호의 측정을 위해 손가락이 위치해야 하는 영역으로서, 정해진 위치에, 정해진 크기 또는 정해진 형상을 가질 수 있다.
손가락이 정해진 영역에 위치하지 않으면(322의 아니오), 프로세서(140)는 손가락을 정해진 영역으로 가이드 하기 위한 가이드 정보를 출력할 수 있다(331). 가이드 정보는 디스플레이(110)를 통해 시각적으로 출력될 수도 있고, 스피커(160)를 통해 청각적으로 출력될 수도 있으며, 모바일 기기(100)에 진동을 발생시켜 촉각적으로 출력될 수도 있다.
손가락이 정해진 영역에 위치할 때까지 위치 판단 및 가이드 정보의 출력이 반복적으로 수행될 수 있고, 손가락이 정해진 영역에 위치하면(322의 예), 전술한 바와 같이 전방 카메라(121)에 의해 촬영된 손가락 영상으로부터 PPG 신호를 획득할 수 있다(340).
도 26은 일 실시예에 따른 모바일 기기의 제어 방법에 있어서, 손가락의 접촉 압력을 가이드하기 위한 가이드 정보를 출력하는 방법에 관한 순서도이다.
도 26을 참조하면, 모바일 기기(100)가 PPG 측정 모드에서 동작하는 경우에(310)의 예), 프로세서(140)는 터치 센서(130)의 출력 및 전방 카메라(121)의 출력 중 적어도 하나에 기초하여 손가락의 접촉 압력이 정해진 범위에 포함되는지 여부를 판단한다(323). 접촉 압력에 대해 정해진 범위는 PPG 신호를 획득하기에 적절한 압력의 범위일 수 있고, 이러한 압력은 PPG 측정 모드의 최초 실행 시에 수행되는 테스트를 통해 설정 및 저장될 수 있다. 또는, 모바일 기기(100)의 제조 단계에서 실험, 시뮬레이션, 이론, 통계 등에 의해 미리 설정 및 저장되는 것도 가능하다.
손가락의 접촉 압력이 정해진 범위에 포함되지 않으면(324의 아니오), 프로세서(140)는 손가락의 접촉 압력을 정해진 범위로 가이드 하기 위한 가이드 정보를 출력할 수 있다(332). 가이드 정보는 디스플레이(110)를 통해 시각적으로 출력될 수도 있고, 스피커(160)를 통해 청각적으로 출력될 수도 있으며, 모바일 기기(100)에 진동을 발생시켜 촉각적으로 출력될 수도 있다.
손가락의 접촉 압력이 정해진 범위에 포함될 때까지 접촉 압력 판단 및 가이드 정보의 출력이 반복적으로 수행될 수 있고, 손가락의 접촉 압력이 정해진 범위에 포함되면(324의 예), 전술한 바와 같이 전방 카메라(121)에 의해 촬영된 손가락 영상으로부터 PPG 신호를 획득할 수 있다(340).
도 27은 일 실시예에 따른 모바일 기기의 제어 방법에 있어서, 손가락의 움직임에 대해 가이드 정보를 출력하는 방법에 관한 순서도이고, 도 28은 일 실시예에 따른 모바일 기기의 제어 방법에 있어서, 모바일 기기의 움직임에 대해 가이드 정보를 출력하는 방법에 관한 순서도이다.
PPG 신호의 측정 중에 손가락이 움직이게 되면 움직임으로 인한 노이즈 또는 아티팩트가 발생할 수 있다. 따라서, 일 실시예에 따른 모바일 기기의 제어 방법은 PPT 신호의 측정 중 사용자가 움직이지 않도록 가이드할 수 있다.
도 27에 도시된 바와 같이, 모바일 기기(100)가 PPG 측정 모드에서 동작하는 경우에(410의 예), 프로세서(140)는 터치 센서(130)의 출력 및 전방 카메라의 출력 중 적어도 하나에 기초하여 손가락의 움직임 발생 여부를 판단한다(421).
움직임 발생한 것으로 판단되면(422의 예), 움직이지 말라는 취지의 가이드 정보를 출력(430)할 수 있다. 가이드 정보는 디스플레이(110)를 통해 시각적으로 출력될 수도 있고 스피커(160)를 통해 청각적으로 출력될 수도 있으며 모바일 기기(100)에 진동을 발생시켜 촉각적으로 출력될 수도 있다.
움직임이 발생하지 않으면(422의 아니오) 프로세서(140)는 전방 카메라에 의해 촬영된 손가락 영상으로부터 PPG 신호를 획득할 수 있다(440).
한편, PPG 신호의 측정 중 모바일 기기(100) 자체에 움직이 발생한 경우에도 PPG 신호에 왜곡이 발생할 수 있다. 도 28을 참조하면, 모바일 기기(100)가 PPG 측정 모드에서 동작하는 경우에(510의 예), 프로세서(140)는 모바일 기기(100)에 마련된 모션 센서(170)의 출력에 기초하여 모바일 기기(100)의 움직임 발생 여부를 판단할 수 있다(521).
움직임 발생한 것으로 판단되면(522의 예), 움직이지 말라는 취지의 가이드 정보를 출력(530)할 수 있다. 가이드 정보는 디스플레이(110)를 통해 시각적으로 출력될 수도 있고 스피커(160)를 통해 청각적으로 출력될 수도 있으며 모바일 기기(100)에 진동을 발생시켜 촉각적으로 출력될 수도 있다.
움직임이 발생하지 않으면(522의 아니오) 프로세서(140)는 전방 카메라에 의해 촬영된 손가락 영상으로부터 PPG 신호를 획득할 수 있다(540).
한편, 일 실시예에 따른 모바일 기기의 제어 방법은 PPG 신호를 측정하는 동안 사용자가 움직인 경우에는 PPG 신호의 측정 과정을 제어함으로써 PPG 신호에 왜곡이 발생하는 것을 방지할 수 있다. 이하, 도 29 및 도 30을 참조하여 설명한다.
도 29는 일 실시예에 따른 모바일 기기의 제어 방법에 있어서, 손가락의 위치 변화로 인한 왜곡을 방지하기 위한 동작을 나타낸 순서도이고, 도 30은 일 실시예에 따른 모바일 기기의 제어 방법에 있어서, 손가락의 접촉 변화로 인한 왜곡을 방지하기 위한 동작을 나타낸 순서도이다.
도 29를 참조하면, 모바일 기기(100)가 PPG 측정 모드에서 동작하는 경우에(610의 예), 터치 센서의 출력 및 전방 카메라의 출력 중 적어도 하나에 기초하여 손가락의 움직임을 트래킹한다(620).
프로세서(140)는 손가락의 현재 위치에 기초하여, PPG 신호의 획득에 사용될 픽셀을 결정하고(630), 결정된 픽셀로부터 PPG 신호를 획득한다(640). 전술한 바와 같이, PPG 신호의 획득을 위해 전방 카메라(121)에 의해 촬영된 복수의 프레임 영상을 이용할 수 있고, 복수의 프레임 영상은 설정된 프레임 레이트에 따라 촬영되어 프로세서(140)에 전송될 수 있다. 프로세서(140)는 전송된 프레임 영상 내에서 손가락의 현재 위치에 대응되는 적어도 하나의 픽셀로부터 PPG 신호를 추출할 수 있다. 즉, 앞서 도 20을 참조하여 설명한 바와 같이, 손가락이 제1영역(PPG_A1)에 위치한 경우에는 제1영역(PPG_A1)의 픽셀로부터 PPG 신호를 추출하고, 손가락이 이동하여 제2영역(PPG_A2)에 위치한 경우에는 제2영역(PPG_A2)의 픽셀로부터 PPG 신호를 추출할 수 있다. 이로써, 손가락이 움직이는 경우에도 손가락의 동일한 부위로부터 PPG 신호를 획득할 수 있게 된다.
도 30을 참조하면, 모바일 기기(100)가 PPG 측정 모드에서 동작하는 경우에(710), 프로세서(140)는 터치 센서(130)의 출력 및 전방 카메라(121)의 출력 중 적어도 하나에 기초하여 손가락의 접촉 압력 변화를 판단할 수 있다(720).
PPG 신호의 측정 중 손가락의 접촉 압력이 감소하면(721의 예), 프로세서(140)는 발광 영역(EA)의 밝기 및 크기 중 적어도 하나를 증가시킬 수 있다(731).
PPG 신호의 측정 중 손가락의 접촉 압력이 증가하면(721의 아니오, 722의 예), 발광 영역(EA)의 밝기 및 크기 중 적어도 하나를 감소시킬 수 있다(732).
접촉 압력에 변화가 없거나(722의 아니오), 접촉 압력 변화에 따라 발광 영역(EA)의 밝기 및 크기 중 적어도 하나가 조절되면 프로세서(140)는 전방 카메라에 의해 촬영된 손가락 영상으로부터 PPG 신호를 획득한다(740).
전술한 도 29 및 도 30의 예시에 의하면, PPG 신호의 측정 중 손가락이 움직이더라도 PPG 신호를 추출할 픽셀을 변경하거나 발광 영역(EA)의 크기 또는 밝기를 조절함으로써 PPG 신호에 왜곡이 발생하는 것을 미연에 방지할 수 있다.
한편, 일 실시예에 따른 컴퓨터 프로그램은 모바일 기기(100)와 결합되어, 전술한 모바일 기기(100)의 실시예에서 설명한 프로세서(140)의 동작 및 모바일 기기의 제어 방법의 실시예에서 설명한 동작들을 실행시키기 위하여 기록 매체에 저장된 컴퓨터 프로그램일 수 있다. 이 컴퓨터 프로그램은 전술한 바와 같이 모바일 기기(100)에 디폴트로 설치될 수도 있고, 모바일 기기(100)의 판매 이후에 사용자에 의해 설치될 수도 있다.
일 실시예에 따른 컴퓨터 프로그램에 의해 실행되는 동작들은 모두 모바일 기기(100)의 실시예 및 모바일 기기의 제어 방법의 실시예에서 설명한 내용과 중복되므로, 여기서는 설명을 생략하도록 한다.
지금까지 설명한 모바일 기기, 그 제어 방법 및 모바일 기기와 결합되어 기록 매체에 저장된 컴퓨터 프로그램에 의하면, 별도의 장비를 추가하지 않고 모바일 기기에 마련된 디스플레이, 전방 카메라 및 터치 센서 등의 구성요소를 이용하여 PPG 신호를 측정할 수 있다.
또한, 전방 카메라 또는 터치 센서의 출력에 기초하여 대상체의 위치나 접촉 압력을 판단하고, 판단 결과에 기초하여 적절한 가이드 정보를 출력함으로써 정확한 PPG 신호의 측정을 유도할 수 있다.
또한, 전방 카메라 또는 터치 센서의 출력에 기초하여 사용자의 움직임을 트래킹하고, 사용자의 움직임에 기초하여 PPG 신호를 추출할 픽셀을 변경하거나 발광 영역의 크기 또는 밝기를 조절함으로써 PPG 신호에 왜곡이 발생하는 것을 미연에 방지할 수 있다.
이상의 상세한 설명은 본 발명을 예시하는 것이다. 또한 전술한 내용은 본 발명의 바람직한 실시 형태를 나타내어 설명하는 것이며, 본 발명은 다양한 다른 조합, 변경 및 환경에서 사용할 수 있다. 즉 본 명세서에 개시된 발명의 개념의 범위, 저술한 개시 내용과 균등한 범위 및/또는 당업계의 기술 또는 지식의 범위내에서 변경 또는 수정이 가능하다. 전술한 실시예는 본 발명의 기술적 사상을 구현하기 위한 최선의 상태를 설명하는 것이며, 본 발명의 구체적인 적용 분야 및 용도에서 요구되는 다양한 변경도 가능하다. 따라서 이상의 발명의 상세한 설명은 개시된 실시 상태로 본 발명을 제한하려는 의도가 아니다. 또한 첨부된 청구범위는 다른 실시 상태도 포함하는 것으로 해석되어야 한다.
100: 모바일 기기
110: 디스플레이
121: 전방 카메라
122: 후방 카메라
130: 터치 센서
140: 프로세서
150: 메모리

Claims (28)

  1. 디스플레이;
    상기 디스플레이의 전방(前方)을 향하여 배치되는 전방 카메라;
    상기 디스플레이의 전면(前面)에 배치되는 터치 센서;
    PPG(Photoplethysmography) 측정 모드에서 상기 전방 카메라에 의해 촬영된 손가락 영상으로부터 PPG신호를 획득하는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 터치 센서의 출력 및 상기 손가락 영상 중 적어도 하나에 기초하여 상기 손가락의 위치 및 상기 손가락이 상기 카메라를 누르는 접촉 압력 중 적어도 하나를 가이드하기 위한 가이드 정보를 출력하는 모바일 기기.
  2. 제 1 항에 있어서,
    상기 디스플레이는,
    상기 PPG 측정 모드에서 상기 전방 카메라에 대응되는 영역에 특정 파장의 광을 방출하고,
    상기 카메라는,
    상기 PPG 측정 모드에서 상기 디스플레이로부터 방출된 광이 상기 손가락에 반사 또는 투과되면, 상기 반사 또는 투과된 광을 수신함으로써 상기 손가락 영상을 촬영하는 모바일 기기.
  3. 제 2 항에 있어서,
    상기 프로세서는,
    상기 터치 센서의 출력에 기초하여 상기 손가락이 상기 디스플레이 상의 정해진 영역에 위치하는지 여부를 판단하고, 상기 판단 결과에 기초하여 시각적 방식, 청각적 방식 및 촉각적 방식 중 적어도 하나를 이용하여 상기 가이드 정보를 출력하는 디스플레이 장치.
  4. 제 3 항에 있어서,
    상기 프로세서는,
    상기 손가락의 위치를 상기 정해진 영역으로 가이드하기 위한 가이드 영상을 표시하기 위해 상기 디스플레이를 제어하는 디스플레이 장치.
  5. 제 2 항에 있어서,
    상기 프로세서는,
    상기 터치 센서의 출력에 기초하여 상기 접촉 압력이 정해진 범위에 포함되는지 여부를 판단하고, 상기 판단 결과에 기초하여 시각적 방식, 청각적 방식 및 촉각적 방식 중 적어도 하나를 이용하여 상기 가이드 정보를 출력하는 디스플레이 장치.
  6. 제5항에 있어서
    스피커;를 더 포함하고,
    상기 프로세서는,
    상기 접촉 압력을 상기 정해진 범위로 가이드하기 위한 가이드 음성을 표시하기 위해 상기 스피커를 제어하는 디스플레이 장치.
  7. 제 2 항에 있어서,
    상기 프로세서는,
    상기 터치 센서의 출력 및 상기 손가락 영상 중 적어도 하나에 기초하여 상기 손가락의 움직임 발생 여부를 판단하고, 상기 손가락의 움직임이 발생한 것으로 판단되면 시각적 방식, 청각적 방식 및 촉각적 방식 중 적어도 하나에 따라 가이드 정보를 출력하는 모바일 기기.
  8. 제 2 항에 있어서,
    상기 프로세서는,
    상기 터치 센서의 출력 및 상기 손가락 영상 중 적어도 하나에 기초하여 상기 손가락의 움직임으로 인한 왜곡을 방지하기 위한 왜곡 방지 처리를 수행하는 모바일 기기.
  9. 제 8 항에 있어서,
    상기 프로세서는,
    상기 터치 센서의 출력 및 상기 손가락 영상 중 적어도 하나에 기초하여 상기 손가락의 움직임을 트래킹하고, 상기 손가락의 현재 위치에 기초하여 상기 손가락 영상을 구성하는 복수의 픽셀 중 상기 PPG 신호의 획득에 사용될 적어도 하나의 픽셀을 결정하는 모바일 기기.
  10. 제 8 항에 있어서,
    상기 프로세서는,
    상기 터치 센서의 출력 및 상기 손가락 영상 중 적어도 하나에 기초하여 상기 손가락의 움직임의 정도를 판단하고, 상기 손가락의 움직임의 정도에 기초하여 상기 PPG 신호의 획득을 위한 단일 픽셀의 사용 여부 및 멀티 픽셀의 사용 여부를 결정하는 모바일 기기.
  11. 제 2 항에 있어서,
    상기 모바일 기기의 움직임을 감지하는 모션 센서;를 더 포함하고,
    상기 프로세서는,
    상기 모션 센서의 출력에 기초하여 상기 모바일 기기의 움직임에 관련된 가이드 정보를 시각적 방식, 청각적 방식 및 촉각적 방식 중 적어도 하나를 이용하여 출력하는 모바일 기기.
  12. 제 2 항에 있어서,
    상기 프로세서는,
    상기 터치 센서의 출력 및 상기 손가락 영상 중 적어도 하나에 기초하여 상기 접촉 압력의 변화를 판단하고, 상기 접촉 압력의 변화에 따라 상기 특정 파장의 광을 방출하는 발광 영역의 크기 및 밝기 중 적어도 하나를 제어하는 모바일 기기.
  13. 제2 항에 있어서
    상기 프로세서는,
    상기 PPG 측정 모드에서 서로 다른 복수의 특정 파장의 광을 교대로 방출하기 위해 상기 디스플레이를 제어하는 모바일 기기.
  14. 제 2 항에 있어서,
    상기 프로세서는,
    상기 획득된 PPG 신호에 기초하여 상기 사용자의 생체 정보를 획득하고,
    상기 사용자의 생체 정보는,
    심박수(heart rate), 혈중 산소 포화도(blood oxygenation), 스트레스 지수, 호흡수(respiration rate), 혈압(blood pressure), 산소 전달 시간(oxygen delivery time), 및 맥박 속도(pulse speed) 중 적어도 하나를 포함하는 모바일 기기.
  15. 디스플레이, 상기 디스플레이의 전방(前方)을 향하여 배치되는 전방 카메라 및 상기 디스플레이의 전면(前面)에 배치되는 터치 센서를 포함하는 모바일 기기의 제어 방법에 있어서,
    상기 터치 센서의 출력 및 상기 전방 카메라에 의해 촬영된 손가락 영상에 기초하여 손가락의 위치 및 상기 손가락이 상기 전방 카메라를 누르는 접촉 압력 중 적어도 하나를 판단하고;
    상기 판단 결과에 기초하여 상기 손가락의 위치 및 상기 접촉 압력 중 적어도 하나를 가이드하기 위한 가이드 정보를 출력하고;
    상기 전방 카메라에 의해 촬영된 손가락 영상으로부터 PPG 신호를 획득하는 것;을 포함하는 모바일 기기의 제어 방법.
  16. 제 15 항에 있어서,
    상기 손가락의 위치 및 상기 접촉 압력 중 적어도 하나를 판단하는 것은,
    상기 터치 센서의 출력에 기초하여 상기 손가락이 상기 디스플레이 상의 정해진 영역에 위치하는지 여부를 판단하는 것을 포함하고,
    상기 가이드 정보를 출력하는 것은,
    상기 판단 결과에 기초하여 시각적 방식, 청각적 방식 및 촉각적 방식 중 적어도 하나를 이용하여 상기 가이드 정보를 출력하는 것을 포함하는 모바일 기기의 제어 방법.
  17. 제 15 항에 있어서,
    상기 손가락의 위치 및 상기 접촉 압력 중 적어도 하나를 판단하는 것은,
    상기 터치 센서의 출력에 기초하여 상기 접촉 압력이 정해진 범위에 포함되는지 여부를 판단하는 것을 포함하고,
    상기 가이드 정보를 출력하는 것은,
    상기 판단 결과에 기초하여 시각적 방식, 청각적 방식 및 촉각적 방식 중 적어도 하나를 이용하여 상기 가이드 정보를 출력하는 것을 포함하는 모바일 기기의 제어 방법.
  18. 제 15 항에 있어서,
    상기 손가락의 위치 및 상기 접촉 압력 중 적어도 하나를 판단하는 것은,
    상기 터치 센서의 출력 및 상기 손가락 영상 중 적어도 하나에 기초하여 상기 손가락의 움직임 발생 여부를 판단하는 것을 포함하고,
    상기 가이드 정보를 출력하는 것은,
    상기 손가락의 움직임이 발생한 것으로 판단되면 시각적 방식, 청각적 방식 및 촉각적 방식 중 적어도 하나에 따라 가이드 정보를 출력하는 것을 포함하는 모바일 기기의 제어 방법.
  19. 제 15 항에 있어서,
    상기 터치 센서의 출력 및 상기 손가락 영상 중 적어도 하나에 기초하여 상기 손가락의 움직임으로 인한 왜곡을 방지하기 위한 왜곡 방지 처리를 수행하는 것;을 더 포함하는 모바일 기기의 제어 방법.
  20. 제 19 항에 있어서,
    상기 왜곡 방지 처리를 수행하는 것은,
    상기 터치 센서의 출력 및 상기 손가락 영상 중 적어도 하나에 기초하여 상기 손가락의 움직임을 트래킹하고;
    상기 손가락의 현재 위치에 기초하여 상기 손가락 영상을 구성하는 복수의 픽셀 중 상기 PPG 신호의 획득에 사용될 적어도 하나의 픽셀을 결정하는 것을 포함하는 모바일 기기의 제어 방법.
  21. 제 19 항에 있어서,
    상기 왜곡 방지 처리를 수행하는 것은,
    상기 터치 센서의 출력 및 상기 손가락 영상 중 적어도 하나에 기초하여 상기 접촉 압력의 변화를 판단하고;
    상기 접촉 압력의 변화에 따라 상기 디스플레이에서 특정 파장의 광을 방출하는 발광 영역의 크기 및 밝기 중 적어도 하나를 제어하는 것을 포함하는 모바일 기기의 제어 방법.
  22. 디스플레이, 상기 디스플레이의 전방(前方)을 향하여 배치되는 전방 카메라 및 상기 디스플레이의 전면(前面)에 배치되는 터치 센서를 포함하는 모바일 기기와 결합되어,
    상기 터치 센서의 출력 및 상기 전방 카메라에 의해 촬영된 손가락 영상에 기초하여 손가락의 위치 및 상기 손가락이 상기 전방 카메라를 누르는 접촉 압력 중 적어도 하나를 판단하고;
    상기 판단 결과에 기초하여 상기 손가락의 위치 및 상기 접촉 압력 중 적어도 하나를 가이드하기 위한 가이드 정보를 출력하기 위한 제어 신호를 생성하고;
    상기 전방 카메라에 의해 촬영된 손가락 영상으로부터 PPG 신호를 획득하는 것;을
    실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램.
  23. 제 22 항에 있어서,
    상기 손가락의 위치 및 상기 접촉 압력 중 적어도 하나를 판단하는 것은,
    상기 터치 센서의 출력에 기초하여 상기 손가락이 상기 디스플레이 상의 정해진 영역에 위치하는지 여부를 판단하는 것을 포함하고,
    상기 제어 신호를 생성하는 것은,
    상기 판단 결과에 기초하여 시각적 방식, 청각적 방식 및 촉각적 방식 중 적어도 하나를 이용하여 상기 가이드 정보를 출력하기 위한 제어 신호를 생성하는 것을 포함하는 기록 매체에 저장된 컴퓨터 프로그램.
  24. 제 22 항에 있어서,
    상기 손가락의 위치 및 상기 접촉 압력 중 적어도 하나를 판단하는 것은,
    상기 터치 센서의 출력에 기초하여 상기 접촉 압력이 정해진 범위에 포함되는지 여부를 판단하는 것을 포함하고,
    상기 제어 신호를 생성하는 것은,
    상기 판단 결과에 기초하여 시각적 방식, 청각적 방식 및 촉각적 방식 중 적어도 하나를 이용하여 상기 가이드 정보를 출력하기 위한 제어 신호를 생성하는 것을 포함하는 기록 매체에 저장된 컴퓨터 프로그램.
  25. 제 22 항에 있어서,
    상기 손가락의 위치 및 상기 접촉 압력 중 적어도 하나를 판단하는 것은,
    상기 터치 센서의 출력 및 상기 손가락 영상 중 적어도 하나에 기초하여 상기 손가락의 움직임 발생 여부를 판단하는 것을 포함하고,
    상기 제어 신호를 생성하는 것은,
    상기 손가락의 움직임이 발생한 것으로 판단되면 시각적 방식, 청각적 방식 및 촉각적 방식 중 적어도 하나에 따라 가이드 정보를 출력하기 위한 제어 신호를 생성하는 것을 포함하는 기록 매체에 저장된 컴퓨터 프로그램.
  26. 제 22 항에 있어서,
    상기 터치 센서의 출력 및 상기 손가락 영상 중 적어도 하나에 기초하여 상기 손가락의 움직임으로 인한 왜곡을 방지하기 위한 왜곡 방지 처리를 수행하는 것;을 더 실행시키기 위하여 기록 매체에 저장된 컴퓨터 프로그램.
  27. 제 26항에 있어서,
    상기 왜곡 방지 처리를 수행하는 것은,
    상기 터치 센서의 출력 및 상기 손가락 영상 중 적어도 하나에 기초하여 상기 손가락의 움직임을 트래킹하고;
    상기 손가락의 현재 위치에 기초하여 상기 손가락 영상을 구성하는 복수의 픽셀 중 상기 PPG 신호의 획득에 사용될 적어도 하나의 픽셀을 결정하는 것을 포함하는 기록 매체에 저장된 컴퓨터 프로그램.
  28. 제 26 항에 있어서,
    상기 왜곡 방지 처리를 수행하는 것은,
    상기 터치 센서의 출력 및 상기 손가락 영상 중 적어도 하나에 기초하여 상기 접촉 압력의 변화를 판단하고;
    상기 접촉 압력의 변화에 따라 상기 디스플레이에서 특정 파장의 광을 방출하는 발광 영역의 크기 및 밝기 중 적어도 하나를 제어하는 것을 포함하는 기록 매체에 저장된 컴퓨터 프로그램.
KR1020200126749A 2020-09-29 2020-09-29 모바일 기기, 그 제어 방법 및 기록 매체에 저장된 컴퓨터 프로그램 KR20220043390A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200126749A KR20220043390A (ko) 2020-09-29 2020-09-29 모바일 기기, 그 제어 방법 및 기록 매체에 저장된 컴퓨터 프로그램
PCT/KR2021/013389 WO2022071773A1 (ko) 2020-09-29 2021-09-29 모바일 기기, 그 제어 방법 및 기록 매체에 저장된 컴퓨터 프로그램
US17/489,204 US20220096015A1 (en) 2020-09-29 2021-09-29 Mobile device, method of controlling the same, and computer program stored in recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200126749A KR20220043390A (ko) 2020-09-29 2020-09-29 모바일 기기, 그 제어 방법 및 기록 매체에 저장된 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
KR20220043390A true KR20220043390A (ko) 2022-04-05

Family

ID=80823761

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200126749A KR20220043390A (ko) 2020-09-29 2020-09-29 모바일 기기, 그 제어 방법 및 기록 매체에 저장된 컴퓨터 프로그램

Country Status (3)

Country Link
US (1) US20220096015A1 (ko)
KR (1) KR20220043390A (ko)
WO (1) WO2022071773A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8761853B2 (en) * 2011-01-20 2014-06-24 Nitto Denko Corporation Devices and methods for non-invasive optical physiological measurements
US9723997B1 (en) * 2014-09-26 2017-08-08 Apple Inc. Electronic device that computes health data
EP3422930B1 (en) * 2016-03-03 2024-05-01 Board Of Trustees Of Michigan State University Method and apparatus for cuff-less blood pressure measurement
KR20180051227A (ko) * 2016-11-08 2018-05-16 엘지전자 주식회사 와치타입 단말기
EP3813653A4 (en) * 2018-06-28 2022-04-13 Board of Trustees of Michigan State University MOBILE DEVICE APPLICATIONS TO MEASURE BLOOD PRESSURE

Also Published As

Publication number Publication date
WO2022071773A1 (ko) 2022-04-07
US20220096015A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
JP7047032B2 (ja) モバイルデバイスを用いて身体機能測定値を得るためのシステムおよび方法
KR20180053746A (ko) 모바일 디바이스를 사용하여 바이탈 측정들을 획득하기 위한 시스템 및 방법
KR102410175B1 (ko) 생체 정보에 대응하는 광원을 이용하여 생체 정보를 획득하기 위한 방법 및 그 전자 장치
US11009390B2 (en) Methods and systems for modulation and demodulation of optical signals
KR20170067077A (ko) 플렉서블 전자장치 및 그 동작 방법
CN114983433A (zh) 用于使用移动装置获得身体功能测量值的系统和方法
US20150335293A1 (en) Systems and techniques to determine whether a signal is associated with a periodic biologic function
KR20200058845A (ko) 사용자의 혈당과 관련된 정보를 획득하기 위한 전자 장치 및 방법
EP3352660B1 (en) System and method for obtaining blood pressure measurement
JP2018531669A (ja) 血圧測定値を取得するためのシステムおよび方法
US11538846B2 (en) Display, electronic device having the display, and method of estimating bio-information using the electronic device
US20220249027A1 (en) Electronic device and method for correcting biometric data on basis of distance between electronic device and user, measured using at least one sensor
KR102526951B1 (ko) 전자 장치에서 생체 정보 측정 방법 및 장치
KR20220043390A (ko) 모바일 기기, 그 제어 방법 및 기록 매체에 저장된 컴퓨터 프로그램
KR20190131306A (ko) 혈압 측정을 위한 전자 장치 및 그의 동작 방법
EP4023145B1 (en) Apparatus and method for estimating bio-information
CN111870221B (zh) 检测贴合状态的生理检测装置
US20210244301A1 (en) Electronic device and method for estimating bio-information
WO2016028750A1 (en) Systems and techniques to determine whether a signal is associated with a periodic biologic function