KR20210155164A

KR20210155164A - 폴더블 전자 장치 및, 폴더블 전자 장치를 이용한 생체정보 추정 방법

Info

Publication number: KR20210155164A
Application number: KR1020200072334A
Authority: KR
Inventors: 강재민; 노승우; 박상윤; 최진우
Original assignee: 삼성전자주식회사
Priority date: 2020-06-15
Filing date: 2020-06-15
Publication date: 2021-12-22
Also published as: US11696727B2; US20210386375A1

Abstract

폴더블 전자 장치를 이용하여 생체정보를 추정하는 기술에 관한 것으로, 일 실시예에 따른 폴더블 전자 장치는 폴딩선(foling line)을 따라 서로 접히거나 펼쳐지는 제1 본체 및 제2 본체를 포함하는 본체부, 제1 본체에 배치되어 피검체의 접촉이미지를 획득하는 제1 센서, 제1 본체에 배치되어 상기 본체부의 접힘 정도를 측정하는 제2 센서 및 본체부에 배치되며, 상기 접촉이미지 및 상기 접힘 정도를 기초로 생체정보를 추정하는 프로세서를 포함할 수 있다.

Description

폴더블 전자 장치 및, 폴더블 전자 장치를 이용한 생체정보 추정 방법{FOLDABLE ELECTRONIC DEVICE AND, AND METHOD FOR ESTIMATING BIO-INFORMATION USING THE DEVICE}

폴더블 전자 장치 및 그 폴더블 전자 장치를 이용하여 생체정보를 추정하는 기술과 관련된다.

일반적으로 인체에 손상을 가하지 않고 비침습적(non-invasive)으로 혈압을 측정하는 방법으로서, 커프 기반의 압력 자체를 측정하여 혈압을 측정하는 방식과 커프 없이 맥파 측정을 통해 혈압을 추정하는 방식이 있다.

커프 기반의 혈압을 측정하는 방식으로는 상완(upper arm)에 커프(cuff)를 감고 커프 내 압력을 증가시켰다가 감소시키면서 청진기를 통해 혈관에서 발생하는 청음을 듣고 혈압을 측정하는 코로트코프 소리 방법(Korotkoff-sound method)과 자동화된 기계를 이용하는 방식으로 상완에 커프를 감고 커프 압력을 증가시킨 후 점차 커프 압력을 감소시키면서 커프 내 압력을 지속적으로 측정한 뒤 압력 신호의 변화가 큰 지점을 기준으로 혈압을 측정하는 오실로메트릭 방법(Oscillometric method)이 있다.

커프리스 혈압 측정 방법은 일반적으로 맥파전달시간(PTT, pulse transit time)을 계산하여 혈압을 추정하는 방식과, 맥파의 모양을 분석하여 혈압을 추정하는 PWA(Pulse Wave Analysis) 방식이 있다.

폴더블 전자 장치를 이용하여 생체정보를 추정하는 장치 및 방법이 제시된다.

일 양상에 따르면, 폴더블 전자 장치는 폴딩선(folding line)을 따라 서로 접히거나 펼쳐지는 제1 본체 및 제2 본체를 포함하는 본체부, 제1 본체에 배치되어 피검체의 접촉이미지를 획득하는 제1 센서, 제1 본체에 배치되어 상기 본체부의 접힘 정도를 측정하는 제2 센서 및, 본체부에 배치되며, 상기 접촉이미지 및 상기 접힘 정도를 기초로 생체정보를 추정하는 프로세서를 포함할 수 있다.

제1 센서는 피검체가 제1 센서에 접촉한 상태에서 상기 제2 본체가 회전하여 피검체를 누르는 동안 피검체의 접촉이미지를 획득하는 이미지 센서를 포함할 수 있다.

이때, 이미지 센서는 CMOS(complementary metal-oxide semiconductor) 이미지 센서를 포함할 수 있다.

제2 센서는 피검체가 제1 센서에 접촉한 상태에서 제2 본체가 회전하여 피검체를 누르는 동안 본체부의 접힘 정도를 측정하는 홀 센서를 포함할 수 있다.

또한, 폴더블 전자 장치는 제1 본체의 내측면과 제2 본체의 내측면에 각각 배치되는 제1 디스플레이 및 제2 디스플레이를 포함하는 디스플레이부를 더 포함할 수 있다.

이때, 제1 디스플레이 및 제2 디스플레이는 상기 폴딩선을 따라 접히거나 펼쳐지도록 일체로 형성될 수 있다.

프로세서는 처리 결과를 상기 디스플레이부에 출력할 수 있다.

프로세서는 생체정보 추정 결과를 제1 디스플레이에 출력하고, 상기 생체정보 추정에 이용한 정보를 제2 디스플레이에 출력할 수 있다.

프로세서는 생체정보 추정 이력을 제2 디스플레이에 출력하고, 사용자가 특정 시점의 이력을 선택함에 따라 선택된 시점의 생체정보 추정 결과를 제1 디스플레이에 출력할 수 있다.

디스플레이부는 제2 본체의 외측면에 배치되는 제3 디스플레이를 더 포함하고, 프로세서는 제2 센서에 의해 측정된 접힘 정도를 기초로 피검체와 제1 센서 사이의 접촉압력을 가이드하는 정보를 상기 제3 디스플레이에 출력할 수 있다.

프로세서는 접촉이미지를 기초로 맥파신호를 획득하고, 상기 접힘 정도를 기초로 상기 제2 본체가 피검체에 작용하는 접촉압력을 획득할 수 있다.

프로세서는 맥파신호 및 접촉압력을 기초로 오실로메트릭 포락선을 획득하고, 획득된 오실로메트릭 포락선을 기초로 생체정보를 추정할 수 있다.

생체정보는 혈압, 혈관 나이, 동맥경화도, 대동맥압 파형, 혈관 탄성도, 스트레스 지수 및 피로도 중의 하나 이상을 포함할 수 있다.

일 양상에 따르면, 생체정보 추정 방법은 제1 본체 및 제2 본체가 접힘 가능하도록 형성된 본체부를 포함하는 폴더블 전자 장치에서 생체정보를 추정하는 방법에 있어서, 제1 본체에 배치된 제1 센서를 통해 피검체의 접촉이미지를 획득하는 단계, 제1 본체에 배치되는 제2 센서를 통해 본체부의 접힘 정도를 측정하는 단계, 접촉이미지 및 접힘 정도를 기초로 생체정보를 추정하는 단계를 포함할 수 있다.

접촉이미지를 획득하는 단계는 피검체가 제1 센서에 접촉한 상태에서 제2 본체가 회전하여 피검체를 누르는 동안 피검체의 접촉이미지를 획득할 수 있다.

접힘 정도를 측정하는 단계는 피검체가 제1 센서에 접촉한 상태에서 제2 본체가 회전하여 피검체를 누르는 동안 상기 접힘 정도를 측정할 수 있다.

생체정보를 추정하는 단계는 접촉이미지를 기초로 맥파신호를 획득하는 단계 및, 접힘 정도를 기초로 제2 본체가 회전하여 피검체에 작용하는 접촉압력을 획득하는 단계를 포함할 수 있다.

생체정보를 추정하는 단계는 맥파신호 및 접촉압력을 기초로 오실로메트릭 포락선을 획득하고, 획득된 오실로메트릭 포락선을 기초로 생체정보를 추정할 수 있다.

또한, 생체정보 추정 방법은 측정된 접힘 정도를 기초로 피검체와 제1 센서 사이의 접촉압력을 가이드하는 정보를 상기 제2 본체의 외측면에 배치된 디스플레이에 출력하는 단계를 더 포함할 수 있다.

또한, 생체정보 추정 방법은 생체정보 추정 결과를 출력하는 단계를 더 포함할 수 있다.

폴더블 전자 장치를 이용하여 생체정보를 추정할 수 있다.

도 1a 내지 도 1c는 폴더블 전자 장치의 실시예들을 도시한 것이다.
도 2는 일 실시예에 따른 폴더블 전자 장치의 블록도이다.
도 3a 내지 도 3e는 생체정보 추정의 실시예들을 설명하기 위한 도면이다.
도 4는 다른 실시예에 따른 폴더블 전자 장치의 블록도이다.
도 5a 내지 도 5d는 디스플레이부에서 정보를 출력하는 실시예들이다.
도 6은 일 실시예에 따른 생체정보 추정 방법의 흐름도이다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 기재된 기술의 이점 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

이하, 폴더블 전자 장치 및, 그 폴더블 전자 장치를 이용한 생체정보 추정 방법의 실시예들을 도면들을 참고하여 자세히 설명하도록 한다.

도 1a 내지 도 1c는 폴더블 전자 장치의 실시예들을 도시한 것이다.

도 1a는 세로 형태의 폴더블 전자 장치(100), 도 1b는 가로 형태의 폴더블 전자 장치(100)를 도시한 것이다. 도 1a 및 도 1b를 참조하면, 폴더블 전자 장치(100)의 실시예들은 본체부(110) 및 본체부(110)에 배치된 센서부(120) 및 본체부(110)에 배치된 디스플레이부(130)를 포함할 수 있다.

본체부(110)는 제1 본체(111) 및 제2 본체(112)를 포함하고, 제1 본체(111) 및 제2 본체(112)는 폴딩선(113)을 따라 배치된 도시되지 않은 힌지를 이용하여 서로 연결될 수 있다. 또한, 제1 본체(111) 및 제2 본체(112)는 폴딩선(113)을 중심으로 회전하여 접히고 펼쳐질 수 있다. 이때, 제1 본체(110) 및 제2 본체(112)는 회전시 표시면이 안쪽으로 접히도록 형성될 수 있다. 이때, 본체의 표시면은 디스플레이부(130)의 제1 디스플레이(131)와 제2 디스플레이(132)가 배치된 면을 의미한다. 다만 이에 제한되지 않으며 그 반대 방향으로 접히도록 형성될 수도 있다.

센서부(120)는 도시된 바와 같이 제1 본체(111)의 소정 영역에 배치될 수 있다. 센서부(120)는 제1 센서(121) 및 제2 센서(122)를 포함할 수 있다. 제1 센서(121)는 피검체가 접촉할 때 피검체의 접촉이미지를 획득할 수 있다. 이때, 피검체는 사용자의 손가락일 수 있으며, 피검체의 접촉이미지는 손가락의 지문이미지일 수 있다.

제1 센서(121)는 CIS(complementary metal-oxide semiconductor image sensor) 기반의 광학 이미지 센서를 포함할 수 있다. 다만 이에 제한되는 것은 아니다. 제1 센서(121)는 피검체의 접촉시 피검체에 광을 조사하는 광원을 포함할 수 있다. 광원은 발광 다이오드(Light Emittind Diode, LED) 또는 레이저 다이오드(Laser Diode) 등을 포함할 수 있으며 하나 이상의 어레이로 형성될 수 있다. 다만 이에 제한되는 것은 아니며 제1 센서(121)는 예컨대 디스플레이부(130)의 제1 디스플레이(131) 및/또는 제2 디스플레이(132)에서 방출되는 광을 외부 광원으로 활용할 수 있다.

또한, 제1 센서(121)는 픽셀 어레이를 포함할 수 있으며 각 픽셀은 포토 다이오드(Photo Diode) 또는 포토 트랜지스터(Photo Transister) 등의 디텍터를 포함할 수 있다. 디텍터는 피검체로부터 산란 또는 반사되는 광을 검출하여 피검체의 접촉이미지를 나타내는 픽셀데이터를 출력할 수 있다.

제2 센서(122)는 제1 본체(111)와 제2 본체(112)가 회전하여 접힐 때 본체부(110)의 접힘 정도를 측정할 수 있다. 예를 들어, 제2 센서(122)는 제2 본체(122)가 회전할 때 발생되는 홀 효과를 이용하여 본체부(110)의 접힘 정도를 나타내는 값을 출력하는 홀 센서를 포함할 수 있다. 다만, 이에 제한되는 것은 아니다.

센서부(120)는 여기에 도시되지 않았지만 제1 본체(111) 및/또는 제2 본체(112)에 하나 이상의 추가 이미지 센서를 더 포함할 수 있다. 예를 들어, 추가 이미지 센서는 제1 센서(121)가 피검체의 접촉이미지를 획득할 때 피검체를 촬영하여 피검체의 접촉위치를 가이드하는 역할을 수행하는 등의 다양한 기능을 수행할 수 있다.

디스플레이부(130)는 제1 디스플레이(131) 및 제2 디스플레이(132)를 포함하며, 제1 디스플레이(131) 및 제2 디스플레이(132)는 각각 제1 본체(111) 및 제2 본체(112)의 표시면에 배치될 수 있다. 제1 디스플레이(131)와 제2 디스플레이(132)는 일체로 형성될 수 있으며, 제1 본체(111) 및 제2 본체(112)가 폴딩선(113)을 따라 회전할 때 함께 접히거나 펼쳐지도록 플렉시블한 소재로 형성될 수 있다. 다만, 이에 제한되는 것은 아니며 제1 디스플레이(131)와 제2 디스플레이(132)가 서로 분리되어 제1 본체(111) 및 제2 본체(112)에 각각 배치될 수 있다. 제1 디스플레이(131)와 제2 디스플레이(132)는 터치 입력이 가능하도록 터치 스크린을 포함할 수 있다. 또한, 사용자의 신체 일부가 접촉함에 따라 지문 이미지를 획득하는 지문 센서를 포함하는 것도 가능하다.

한편, 도 1c를 참조하면 디스플레이부(130)는 본체부(110)가 접힐 때 외부로 노출되는 본체부(110)의 일면(이하, '커버면'이라 함)에 배치되는 제3 디스플레이(133)를 더 포함할 수 있다. 예컨대, 제3 디스플레이(133)는 도시된 바와 같이 제2 본체(122)의 커버면에 배치될 수 있다. 제3 디스플레이(133) 역시 터치 입력이 가능한 터치 스크린 및/또는 손가락의 지문 이미지를 획득하는 지문 센서를 포함할 수 있다. 다만, 제3 디스플레이(133)는 필요에 따라 생략될 수 있다. 도 1c는 편의상 세로 형태 폴더블 전자 장치(100)의 커버면에 제3 디스플레이(133)가 배치된 예를 도시하고 있으나 가로 형태의 폴더블 전자 장치(100)의 경우에도 마찬가지이다.

사용자는 본체부(110)가 접힌 상태에서 제3 디스플레이(133)를 통해 생체정보 추정 요청, 생체정보 추정 이력 표시, 건강 모니터링 결과 출력과 같은 명령을 입력할 수 있다. 또한, 사용자가 제3 디스플레이(133)를 통해 생체정보 추정에 필요한 동작을 수행하다 본체부(110)를 펼치는 경우 제3 디스플레이(133) 상에 표시된 정보가 제1 디스플레이(131) 및 제2 디스플레이(132)에 확대되어 표시될 수 있다.

폴더블 전자 장치(100)는 각종 기능을 처리하는 프로세서와, 그 밖에 통신 모듈, 저장 모듈 등의 다양한 하드웨어 모듈이 본체부(110)에 실장될 수 있다. 프로세서는 일 예로 생체정보 추정 요청에 따라 센서부(120)를 제어하고, 제1 센서(121)를 통해 획득된 피검체의 접촉이미지 및 제2 센서(122)로부터 출려된 본체부(110)의 접힘 정도를 기초로 생체정보를 추정할 수 있다. 이때, 생체정보는 혈압, 혈관 나이, 동맥경화도, 대동맥압 파형, 혈관 탄성도, 스트레스 지수, 피로도, 피부 탄력도 및 피부 나이 등을 포함할 수 있다. 다만 이에 한정되는 것은 아니다.

도 2는 일 실시예에 따른 폴더블 전자 장치의 블록도이다. 도 3a 내지 도 3e는 생체정보 추정의 일 실시예를 설명하기 위한 도면이다.

도 2를 참조하면 일 실시예에 따른 폴더블 전자 장치(200)는 제1 센서(210), 제2 센서(220) 및 프로세서(230)를 포함할 수 있다.

프로세서(230)는 생체정보 추정 요청이 수신되면 제1 센서(210) 및 제2 센서(220)를 제어하고, 제1 센서(210) 및 제2 센서(220)를 통해 획득된 피검체의 접촉이미지 및 접힘 정도를 기초로 생체정보를 추정할 수 있다.

도 3a를 참조하면, 사용자가 손가락(OBJ)을 제1 센서(210)에 접촉시킨 다음 제2 본체(202)를 회전하여 손가락을 누르는 힘을 점차 증가 또는 감소시킬 때 제1 센서(210)는 소정 시간 동안 손가락(OBJ)의 접촉이미지를 획득할 수 있다.

프로세서(230)는 제1 센서(210)로부터 수신된 접촉이미지의 픽셀 강도(pixel intensity)의 변화를 통해 맥파신호를 획득할 수 있다. 도 3b를 참조하면, (1)은 제1 센서(210)를 통해 획득된 피검체의 접촉이미지를 나타낸다. 프로세서(230)는 제1 센서(210)로부터 소정 시간 동안 연속 측정된 접촉이미지를 나타내는 픽셀데이터를 수신하면, 수신된 픽셀데이터의 픽셀 강도의 변화를 통해 (2)와 같은 맥파신호를 획득할 수 있다.

예를 들어, 프로세서(230)는 픽셀 강도와 진폭 간의 상관 관계를 나타내는 진폭 변환 모델을 이용하여 각 시점의 픽셀 강도를 각 시점의 맥파 진폭으로 변환할 수 있다. 예컨대, 진폭 변환 모델은 픽셀 강도들의 평균 산출식일 수 있으나 이에 제한되는 것은 아니다. 한편, 프로세서(230)는 접촉이미지를 이용하여 관심영역을 설정하고 설정된 관심영역 내의 픽셀들의 강도를 기초로 진폭을 구할 수 있다. 이때, 프로세서(230)는 손가락 지문의 중심점 또는 접촉이미지의 중심점과 같이 미리 정의된 특징점을 기준으로 관심영역을 설정할 수 있다. .

다시 도 3a를 참조하면, 제2 센서(220)는 제2 본체(202)가 회전할 때 제2 본체(202)에 내장된 자석(M)에 의해 발생되는 홀 효과를 기초로 제1 본체(201)와 제2 본체(202) 사이의 접힘 정도를 나타내는 값을 출력할 수 있다.

도 3c의 (1)은 제1 센서(210)에 손가락(OBJ)에 접촉한 상태에서 제2 본체(202)가 회전하여 손가락을 누르는 힘을 점차 증가시킬 때 제2 센서(220)를 통해 출력된 신호를 도시한 것이다. 프로세서(230)는 이와 같이 제2 센서(220)를 통해 출력된 접힘 정도를 나타내는 값들을 도 3c의 (2)와 같이 접촉압력으로 변환할 수 있다. 예를 들어, 프로세서(230)는 제2 센서(220)의 출력값과 접촉압력 간의 상관 관계를 정의한 변환 모델을 이용하여 제2 센서(220)의 출력값을 접촉압력으로 변환할 수 있다.

프로세서(230)는 이와 같이 맥파신호와 접촉압력이 획득되면, 획득된 맥파신호와 접촉압력을 기초로 생체정보를 추정할 수 있다. 예를 들어, 맥파신호와 접촉압력을 기초로 오실로메트리 기반으로 혈압을 추정할 수 있다.

도 3d 및 도 3e는 오실로메트릭 기반 혈압 추정의 예를 설명하기 위한 도면이다.

도 3d는 전술한 바와 같이 획득한 맥파신호의 일 예이다. 피검체가 제1 센서(210)에 접촉한 상태에서 제2 본체(202)가 피검체를 누르는 힘을 점차 증가시키면 도시된 바와 같이 맥파신호의 진폭이 일정 시간 동안 점차 증가하는 것을 알 수 있다. 프로세서(230)는 각 측정 시점에서 파형 엔벨로프(in1)의 플러스(+) 지점의 진폭값(in2)에서 마이너스(-) 지점의 진폭값(in3)을 빼서 피크-투-피크 지점을 추출하고, 도 3e에 도시된 바와 같이 추출된 각 측정 시점의 피크-투-피크 지점의 진폭을 대응하는 시점의 접촉압력을 기준으로 플롯(plot)하여 오실로메트릭 포락선(OW)을 획득할 수 있다.

도 3e를 참조하면, 프로세서(230)는 획득된 오실로메트릭 포락선(OW)으로부터 특징을 획득할 수 있다. 프로세서(230)는 오실로메트릭 포락선(OW)에서 최대 피크 지점의 진폭값(MA), 최대 피크 지점의 접촉 압력값(MP), 최대 피크 지점의 진폭값(MA)의 소정 비율(예: 0.5~0.7)에 해당하는 좌우 지점의 접촉압력값(SP,DP) 등을 특징으로 획득할 수 있다. 다만, 이에 제한되는 것은 아니며 맥파신호의 파형 분석을 통해 최대 진폭값, 최대 진폭값에 대응하는 시간, 전진파와 반사파와 관련된 지점의 시간 및 진폭, 획득된 값들의 조합 등을 추가적인 특징으로 획득할 수 있다.

프로세서(230)는 이와 같이 특징이 추출되면 미리 정의된 혈압 추정 모델을 적용하여 혈압을 추정할 수 있다. 혈압 추정 모델은 덧셈, 뺄셈, 나눗셈, 곱셈, 로그값, 회귀식 등 특별히 제한됨이 없이 다양한 선형 또는 비선형 결합 함수식 형태로 정의될 수 있다. 예를 들어, 아래의 수학식 1은 간단한 형태의 선형 함수식을 예시하고 있다.

여기서, y는 구하고자 하는 혈압 추정값을 의미하고, x는 추출된 특징값을 의미한다. a 및 b는 전처리 과정을 통해 미리 구해지는 값으로 사용자별로 개인화된 값일 수 있다. 프로세서(230)는 평균 혈압, 이완기 혈압 및 수축기 혈압별로 정의된 위 수학식 1을 통해 각 혈압을 독립적으로 추정할 수 있다. 예컨대, 추출된 특징값(MP), 특징값(DP) 및 특징값(SP)을 각각 정의된 함수식에 입력하여 평균 혈압, 이완기 혈압 및 수축기 혈압을 구할 수 있다.

도 4는 다른 실시예에 따른 폴더블 전자 장치의 블록도이다. 도 5a 내지 도 5d는 디스플레이부에서 정보를 출력하는 실시예들이다.

도 4에 도시된 바와 같이 폴더블 전자 장치(400)는 제1 센서(410), 제2 센서(420), 프로세서(430), 디스플레이부(440), 저장부(450) 및 통신부(460)를 포함할 수 있다. 제1 센서(410), 제2 센서(420), 프로세서(430) 및 디스플레이부(440)는 앞에서 자세히 설명하였으므로 이하 중복되지 않은 구성을 위주로 설명한다.

도 4 및 도 5a를 참조하면, 프로세서(430)는 생체정보 추정 요청이 수신되면 사용자에게 피검체(OBJ)의 접촉위치나 접촉압력 등의 생체정보 측정을 가이드할 수 있다.

일 예로, 프로세서(430)는 폴더블 전자 장치(400)의 스피커를 이용하여 음성으로 "손가락을 제1 센서에 접촉하세요"와 같이 출력할 수 있다.

다른 예로, 프로세서(430)는 본체부가 접힌 상태인 경우 제2 본체(112)의 커버면에 배치된 제3 디스플레이(133)에, 본체부가 펼쳐진 상태인 경우 제1 본체(111), 제2 본체(112)의 표시면에 배치된 제1 디스플레이 또는 제2 디스플레이에 손가락이 접촉할 위치를 지시하는 시각적 마커를 표시할 수 있다.

또 다른 예로, 사용자가 피검체(OBJ)를 제1 센서(410)에 접촉시키면 "본체를 접어 손가락을 눌러 주세요"와 같은 음성 또는 시각적 정보를 스피커 또는 디스플레이를 통해 사용자에게 가이드할 수 있다. 이때, 사용자가 제2 본체(112)를 회전하여 접는 경우 제1 디스플레이 또는 제2 디스플레이에 표시된 가이드 정보는 제3 디스플레이(133)로 이동하여 계속해서 표시될 수 있다.

또 다른 예로, 도 5a에 도시된 바와 같이 프로세서(430)는 사용자가 제1 센서(410)에 손가락을 접촉하면 제2 본체(112)로 손가락에 가할 기준 접촉압력을 가이드하는 마커(P1,P2)를 제3 디스플레이(133)에 표시할 수 있다. 또한, 사용자가 기준 접촉압력(P1,P2)의 가이드에 따라 제2 본체(112)를 회전하여 손가락을 누르는 힘을 점차 증가시키면 제2 센서(420)를 통해 측정된 접힘 정도를 기초로 접촉압력을 획득하여 사용자에게 실제 접촉압력을 나타내는 마커(P3)를 제3 디스플레이(133)에 표시할 수 있다.

도 4 및 도 5b 내지 도 5c를 참조하면, 프로세서(430)는 생체정보 추정이 완료되면, 생체정보 추정 결과를 디스플레이부(440)에 표시할 수 있다.

일 예로, 도 5b에 도시된 바와 같이 프로세서(430)는 본체부가 펼쳐진 상태인 경우 디스플레이부(440)의 제1 디스플레이(131) 및 제2 디스플레이(132)의 중앙부에 혈압 추정값 및/ 또는 정상 여부를 표시할 수 있다. 이때, 사용자가 본체부를 접으면 혈압 추정값을 제3 디스플레이에 이동 표시할 수 있다.

다른 예로 도 5c 및 도 5d에 도시된 바와 같이 프로세서(430)는 본체부가 펼쳐진 상태인 경우 디스플레이부(440)에 혈압 추정 이력을 나타내는 그래프, 각 추정 시점을 나타내는 제1 마커(I) 및 현재 선택된 추정 시점을 나타내는 제2 마커(M)를 표시한 혈압 추정 이력 정보(522)와, 사용자가 제2 마커(I)를 이동하여 특정 추정 시점을 선택하는 경우 선택된 시점의 혈압 추정 결과(521)를 표시할 수 있다. 이때, 혈압 추정 결과(521)와 혈압 추정 이력 정보(522)를 도 5c에 도시된 바와 같이 제1 디스플레이(131) 및 제2 디스플레이(132)의 상단 및 하단에 표시하거나, 도 5d에 도시된 바와 같이 제1 디스플레이(131) 및 제2 디스플레이(132)에 표시할 수 있다.

저장부(450)는 생체정보와 관련된 각종 정보 예컨대, 접촉이미지 데이터, 제1 본체와 제2 본체 사이의 접힘 정도, 맥파신호, 접촉압력, 생체정보 추정값, 건강 상태 모니터링 정보 등을 저장할 수 있다. 또한, 생체정보 추정에 필요한 기준 정보 예컨대 사용자의 나이, 성별, 키, 몸무게, 건강 상태 등의 사용자 특성 정보와, 생체정보 추정 모델, 진폭 변환 모델, 접촉압력 변환 모델 등의 정보를 포함할 수 있다. 다만, 이에 제한되는 것은 아니다.

이때, 저장부(450)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어, SD 또는 XD 메모리 등), 램(Random Access Memory: RAM) SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 등의 저장매체를 포함하며, 이에 제한되는 것은 아니다.

통신부(460)는 프로세서(430)의 제어에 따라 유무선 통신 기술을 이용하여 외부 기기와 통신 연결하고 각종 데이터를 송수신할 수 있다. 예를 들어, 통신부(460)는 생체정보 추정 결과를 외부 기기에 전송할 수 있다. 또한, 외부 기기로부터 생체정보 추정에 필요한 각종 기준 정보를 수신할 수 있다. 이때, 외부 기기는 커프형 혈압 측정 기기, 스마트폰, 태블릿 PC, 데스크탑 PC 및 노트북 PC 등의 정보 처리 장치를 포함할 수 있다.

이때, 통신 기술은 블루투스(bluetooth) 통신, BLE(Bluetooth Low Energy) 통신, 근거리 무선 통신(Near Field Communication, NFC), WLAN 통신, 지그비(Zigbee) 통신, 적외선(Infrared Data Association, IrDA) 통신, WFD(Wi-Fi Direct) 통신, UWB(ultra-wideband) 통신, Ant+ 통신, WIFI 통신, RFID(Radio Frequency Identification) 통신, 3G 통신, 4G 통신 및 5G 통신 등을 포함할 수 있다. 다만, 이에 한정되는 것은 아니다.

도 6은 일 실시예에 따른 생체정보 추정 방법의 흐름도이다. 도 6은 폴더블 전자 장치(200,400)의 실시예들에 의해 수행된다. 이하 중복 설명을 피하기 위해 간단하게 설명한다.

폴더블 전자 장치(200,400)는 본체부의 제1 본체에 배치된 제1 센서를 통해 피검체의 접촉이미지를 획득할 수 있다(610). 이때, 제1 센서는 CIS 기반 이미지 센서를 포함할 수 있으며, 사용자는 피검체를 제1 센서에 접촉한 다음 제2 본체를 회전하여 피검체에 압력을 점차 증가 또는 감소시킬 때 피검체의 접촉이미지를 획득할 수 있다.

폴더블 전자 장치(200,400)는 사용자가 제2 본체를 회전하여 피검체에 압력을 변화시키는 동안 제2 센서를 통해 제1 본체와 제2 본체 사이의 접힘 정도를 측정할 수 있다. 이때, 접힘 정도는 제1 본체와 제2 본체 사이의 각도일 수 있으며, 제2 센서는 홀 센서를 포함할 수 있다.

그 다음, 단계(610)에서 획득된 접촉이미지를 기초로 맥파신호를 획득할 수 있다(630). 이때, 소정 시간 동안 연속 획득된 피검체의 접촉이미지의 픽셀 강도의 변화를 통해 맥파 진폭의 변화를 추출할 수 있다.

그 다음, 단계(620)에서 측정된 본체부의 접힘 정도를 기초로 접촉압력을 획득할 수 있다(640). 미리 정의된 접촉압력 변환 모델을 이용하여 소정 시간 동안의 접힘 정도의 변화를 접촉압력의 변화로 변환할 수 있다.

그 다음, 맥파신호 및 접촉압력을 기초로 생체정보를 추정할 수 있다(650). 예를 들어, 맥파신호의 진폭과 접촉압력의 관계를 기초로 오실로메트리 기반으로 혈압을 추정할 수 있다.

그 다음, 생체정보 추정 결과를 출력할 수 있다(660). 폴더블 전자 장치의 제1 본체의 표시면, 제2 본체의 표시면, 제2 본체의 커버면 등에 배치된 복수의 디스플레이를 적절히 활용하여 생체정보 추정 결과를 다양한 방식으로 출력할 수 있다. 또한, 스피커, 햅틱 모듈 등을 적절히 활용하여 음성, 진동, 촉감 등으로 생체정보 추정결과나 건강 상태 등을 사용자에게 제공할 수 있다.

한편, 본 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 개시된 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

100: 폴더블 전자 장치
110: 본체부 111: 제1 본체
112: 제2 본체 120: 센서부
121: 제1 센서 122: 제2 센서
130: 디스플레이부 131: 제1 디스플레이
132: 제2 디스플레이 133: 제3 디스플레이
200,400: 폴더블 전자 장치
210,410: 제1 센서 220,420: 제2 센서
230,430: 프로세서 440: 디스플레이부
450: 저장부 460: 통신부

Claims

폴딩선(folding line)을 따라 서로 접히거나 펼쳐지는 제1 본체 및 제2 본체를 포함하는 본체부;
제1 본체에 배치되어 피검체의 접촉이미지를 획득하는 제1 센서;
제1 본체에 배치되어 상기 본체부의 접힘 정도를 측정하는 제2 센서; 및
본체부에 배치되며, 상기 접촉이미지 및 상기 접힘 정도를 기초로 생체정보를 추정하는 프로세서를 포함하는 폴더블 전자 장치.
제1항에 있어서,
상기 제1 센서는
피검체가 제1 센서에 접촉한 상태에서 상기 제2 본체가 회전하여 피검체를 누르는 동안 피검체의 접촉이미지를 획득하는 이미지 센서를 포함하는 폴더블 전자 장치.
제2항에 있어서,
상기 이미지 센서는
CMOS(complementary metal-oxide semiconductor) 이미지 센서를 포함하는 폴더블 전자 장치.
제1항에 있어서,
상기 제2 센서는
피검체가 제1 센서에 접촉한 상태에서 제2 본체가 회전하여 피검체를 누르는 동안 상기 본체부의 접힘 정도를 측정하는 홀 센서를 포함하는 폴더블 전자 장치.
제1항에 있어서,
제1 본체의 내측면과 제2 본체의 내측면에 각각 배치되는 제1 디스플레이 및 제2 디스플레이를 포함하는 디스플레이부를 더 포함하는 폴더블 전자 장치.
제5항에 있어서,
제1 디스플레이 및 제2 디스플레이는 상기 폴딩선을 따라 접히거나 펼쳐지도록 일체로 형성되는 폴더블 전자 장치.
제5항에 있어서,
상기 프로세서는
처리 결과를 상기 디스플레이부에 출력하는 폴더블 전자 장치.
제7항에 있어서,
상기 프로세서는
생체정보 추정 결과를 제1 디스플레이에 출력하고, 상기 생체정보 추정에 이용한 정보를 제2 디스플레이에 출력하는 폴더블 전자 장치.
제8항에 있어서,
상기 프로세서는
생체정보 추정 이력을 제2 디스플레이에 출력하고, 사용자가 특정 시점의 이력을 선택함에 따라 선택된 시점의 생체정보 추정 결과를 제1 디스플레이에 출력하는 폴더블 전자 장치.
제5항에 있어서,
상기 디스플레이부는
제2 본체의 외측면에 배치되는 제3 디스플레이를 더 포함하고,
상기 프로세서는
상기 제2 센서에 의해 측정된 접힘 정도를 기초로 피검체와 제1 센서 사이의 접촉압력을 가이드하는 정보를 상기 제3 디스플레이에 출력하는 폴더블 전자 장치.
제1항에 있어서,
상기 프로세서는
상기 접촉이미지를 기초로 맥파신호를 획득하고, 상기 접힘 정도를 기초로 상기 제2 본체가 피검체에 작용하는 접촉압력을 획득하는 폴더블 전자 장치.
제11항에 있어서,
상기 프로세서는
상기 맥파신호 및 상기 접촉압력을 기초로 오실로메트릭 포락선을 획득하고, 획득된 오실로메트릭 포락선을 기초로 생체정보를 추정하는 폴더블 전자 장치.
제1항에 있어서,
상기 생체정보는
혈압, 혈관 나이, 동맥경화도, 대동맥압 파형, 혈관 탄성도, 스트레스 지수 및 피로도 중의 하나 이상을 포함하는 폴더블 전자 장치.
제1 본체 및 제2 본체가 접힘 가능하도록 형성된 본체부를 포함하는 폴더블 전자 장치에서 생체정보를 추정하는 방법에 있어서,
제1 본체에 배치된 제1 센서를 통해 피검체의 접촉이미지를 획득하는 단계;
제1 본체에 배치되는 제2 센서를 통해 본체부의 접힘 정도를 측정하는 단계;
상기 접촉이미지 및 상기 접힘 정도를 기초로 생체정보를 추정하는 단계를 포함하는 생체정보 추정 방법.
제14항에 있어서,
상기 접촉이미지를 획득하는 단계는
피검체가 제1 센서에 접촉한 상태에서 제2 본체가 회전하여 피검체를 누르는 동안 피검체의 접촉이미지를 획득하는 생체정보 추정 방법.
제14항에 있어서,
상기 접힘 정도를 측정하는 단계는
피검체가 제1 센서에 접촉한 상태에서 제2 본체가 회전하여 피검체를 누르는 동안 상기 접힘 정도를 측정하는 생체정보 추정 방법.
제14항에 있어서,
상기 생체정보를 추정하는 단계는
상기 접촉이미지를 기초로 맥파신호를 획득하는 단계; 및
상기 접힘 정도를 기초로 제2 본체가 회전하여 피검체에 작용하는 접촉압력을 획득하는 단계를 포함하는 생체정보 추정 방법.
제17항에 있어서,
상기 생체정보를 추정하는 단계는
상기 맥파신호 및 상기 접촉압력을 기초로 오실로메트릭 포락선을 획득하고, 획득된 오실로메트릭 포락선을 기초로 생체정보를 추정하는 생체정보 추정 방법.
제14항에 있어서,
상기 측정된 접힘 정도를 기초로 피검체와 제1 센서 사이의 접촉압력을 가이드하는 정보를 상기 제2 본체의 외측면에 배치된 디스플레이에 출력하는 단계를 더 포함하는 생체정보 추정 방법.
제14항에 있어서,
상기 생체정보 추정 결과를 출력하는 단계를 더 포함하는 생체정보 추정 방법.