KR102564483B1

KR102564483B1 - 비-접촉식 방식으로 획득되는 정보에 기반하여 정확도 높은 생체 신호를 제공하기 위한 전자 장치, 서버, 시스템, 그 동작 방법

Info

Publication number: KR102564483B1
Application number: KR1020230043885A
Authority: KR
Inventors: 박기범
Original assignee: 주식회사 지비소프트
Priority date: 2023-04-04
Filing date: 2023-04-04
Publication date: 2023-08-07

Abstract

다양한 실시예들에 따르면, 전자 장치로서, 제1 통신 회로, 및 적어도 하나의 제1 프로세서;를 포함하고, 상기 적어도 하나의 제1 프로세서는: 상기 통신 회로를 통해, 제1 외부 전자 장치의 카메라를 이용하여 획득되는 사용자의 얼굴을 포함하는 복수의 이미지들을 획득하고, 상기 통신 회로를 통해, 상기 복수의 이미지들을 획득하는 동안, 동시에 상기 사용자의 신체의 제1 일부에 접촉된 상기 제1 외부 전자 장치의 제1 센서에 기반하여 획득되는 제1 데이터 및 상기 사용자의 신체의 제2 일부에 접촉된 제2 외부 전자 장치에 기반하여 획득되는 제2 데이터를 획득하고, 상기 복수의 이미지들에 기반한 특정 종류의 제1 생체 신호, 상기 제1 데이터에 기반한 상기 특정 종류의 제2 생체 신호, 및 상기 제2 데이터에 기반한 제3 생체 신호를 획득하도록 설정된, 전자 장치가 제공될 수 있다.

Description

비-접촉식 방식으로 획득되는 정보에 기반하여 정확도 높은 생체 신호를 제공하기 위한 전자 장치, 서버, 시스템, 그 동작 방법{ELECTRONIC DEVICE FOR PROVIDING VITAL SIGNAL HAVING HIGH ACCURACYY BASED ON INFORMATION OBTAINED NON-CONTACT METHOD, SERVER, SYSTEM, AND OPERATION METHOD OF THE SAME}

본 발명의 다양한 실시예는, 비-접촉식 방식으로 획득되는 정보에 기반하여 정확도 높은 생체 신호를 제공하기 위한 전자 장치, 서버, 시스템 및 그 동작 방법에 관한 것이다.

빛을 이용해 광체적변동기록법(Photoplethysmography, PPG)를 측정하는 가장 일반적인 기술은 인체에 조사한 빛에 대한 투과광의 광량을 분석하는 방법을 이용하며, 흡광도가 흡수하는 물질의 농도 및 흡수층의 두께에 비례한다는 Beer-Lambert법칙으로 설명된다. 이 법칙에 따르면 투과광의 변화는 투과되는 물질의 부피의 변화에 비례하는 신호가 되는 결과가 도출되기 때문에, 물질의 흡수도를 알지 못하는 경우에도 PPG를 이용해 심장의 상태 등을 파악할 수 있다.

최근에는 PPG를 이용한 기술에서 한 단계 더 나아가 rPPG(remote Photoplethysmography)를 이용한 기술이 등장하고 있다. PPG를 이용해 심장박동에 관한 신호를 파악하는 가장 대중화된 기술로서 스마트폰과 같이 카메라와 조명이 근거리에 부착된 장치를 인체에 직접적으로 접촉시켜 빛을 조사하고 곧바로 투과광을 측정해 PPG를 획득하는 기술이 있다면, 최근에는 카메라로 촬영한 영상에서 획득한 신호로부터 혈관의 부피의 변화를 파악하는 rPPG(remote Photoplethysmography)에 관한 기술이 지속적으로 연구 및 개발되고 있는 상황이다.

rPPG를 이용한 기술은 대상체와 측정장비간의 접촉이 요구되지 않는다는 점에서 공항 출입국 관리소, 원격진료 등 카메라를 구비한 장치 및 장소에서 다양하게 응용될 수 있다.

다만 rPPG에 관한 기술은 카메라로 대상체를 촬영하는 과정에서 주변광 및 대상체의 움직임으로 인해 발생하는 노이즈가 신호에 미치는 영향이 크기 때문에, 촬영된 영상으로부터 측정 대상체의 부피 변화에 관련된 신호만을 추출하는 기술이 rPPG를 이용해 생체신호를 측정하는 기술 가운데 핵심기술이라고 볼 수 있다.

rPPG(remote Photoplethysmography)는, 접촉식 방식의 센서를 이용하여 획득되는 PPG와 비교하여, 낮은 정확도를 가지게 된다. 다양한 실시예들에 따르면, 비-접촉식 방식으로 획득되는 정보에 기반하여 접촉식 방식으로 획득되는 생체 신호에 대응하는 정확도를 갖는 생체 신호에 대한 정보를 제공하는 전자 장치, 서버, 시스템, 및 그 동작 방법이 제공될 수 있다.

본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

다양한 실시예들에 따르면, 전자 장치의 동작 방법으로서, 상기 통신 회로를 통해, 제1 외부 전자 장치의 카메라를 이용하여 획득되는 사용자의 얼굴을 포함하는 복수의 이미지들을 획득하는 동작; 상기 통신 회로를 통해, 상기 복수의 이미지들을 획득하는 동안, 동시에 상기 사용자의 신체의 제1 일부에 접촉된 상기 제1 외부 전자 장치의 제1 센서에 기반하여 획득되는 제1 데이터 및 상기 사용자의 신체의 제2 일부에 접촉된 제2 외부 전자 장치에 기반하여 획득되는 제2 데이터를 획득하는 동작; 및 상기 복수의 이미지들에 기반한 특정 종류의 제1 생체 신호, 상기 제1 데이터에 기반한 상기 특정 종류의 제2 생체 신호, 및 상기 제2 데이터에 기반한 제3 생체 신호를 획득하는 동작;을 포함하는, 동작 방법이 제공될 수 있다.

다양한 실시예들에 따르면, 전자 장치, 서버, 시스템, 및 그 동작 방법은, 비-접촉식 방식으로 획득되는 정보에 기반하여 접촉식 방식으로 획득되는 생체 신호에 대응하는 정확도를 갖는 생체 신호에 대한 정보를 제공할 수 있다.

도 1은, 다양한 실시예들에 따른, 생체 신호 측정 시스템의 구성의 예를 설명하기 위한 도면이다.
도 2는, 다양한 실시예들에 따른, 전자 장치의 예를 설명하기 위한 도면이다.
도 3은, 다양한 실시예들에 따른, 전자 장치, 및 서버(예: 학습 서버 및 이용 서버의 구성의 예를 설명하기 위한 도면이다.
도 4는, 다양한 실시예들에 따른, 생체 신호 측정 모듈의 예를 설명하기 위한 도면이다.
도 5는, 다양한 실시예들에 따른, 학습 서버의 인공지능 모델 학습을 위한, 데이터를 획득(또는, 수집)하는 동작의 예를 나타내는 흐름도이다.
도 6은, 다양한 실시예들에 따른, 전자 장치의 비-접촉식 방식 그리고 접촉식 방식으로 생체 신호를 동시에 수집하는 동작의 예를 설명하기 위한 도면이다.
도 7은, 다양한 실시예들에 따른, 학습 서버에서 인공지능 모델 학습을 위한, 데이터를 축적하는 동작의 예를 설명하기 위한 도면이다.
도 8은, 다양한 실시예들에 따른, 학습 서버의 비-접촉식 생체 신호를 획득하는 동작의 예를 나타내는 흐름도이다.
도 12는, 다양한 실시예들에 따른, 학습 서버의 비-접촉식 생체 신호를 획득하는 동작의 예를 나타내는 흐름도이다.
도 13는, 다양한 실시예들에 따른, 생체 신호들의 예를 설명하기 위한 도면이다.
도 14는, 다양한 실시예들에 따른, 학습 서버의 생체 신호들의 시간 동기화 동작의 예를 설명하기 위한 도면이다.
도 15는, 다양한 실시예들에 따른, 학습 서버의 비-접촉식 방식으로 획득된 특정 종류의 생체 신호에 기반하여, 접촉식 방식에 대응하는 만큼의 정확도를 갖는 특정 종류의 생체 신호에 대한 정보를 제공하도록 구현되는 인공 지능 모델을 생성하는 동작의 예를 나타내는 흐름도이다.
도 16는, 다양한 실시예들에 따른, 학습 서버의 인공지능 모델을 생성하는 동작의 예를 설명하기 위한 도면이다.
도 17은, 다양한 실시예들에 따른, 학습 서버에 의해 생성되는 적어도 하나의 인공 지능 모델의 일 예를 설명하기 위한 도면이다.
도 18a는, 다양한 실시예들에 따른, 학습 서버에 의해 생성되는 적어도 하나의 인공 지능 모델의 다른 예를 설명하기 위한 도면이다.
도 18b는, 다양한 실시예들에 따른, 학습 서버에 의해 생성되는 적어도 하나의 인공 지능 모델의 또 다른 예를 설명하기 위한 도면이다.
도 19는, 다양한 실시예들에 따른, 학습 서버의 시간 동기화 없이 인공 지능 모델을 생성하는 동작의 예를 나타내는 흐름도이다.
도 20은, 다양한 실시예들에 따른, 학습 서버의 또 다른 인공 지능 모델의 생성 동작의 예를 나타내는 흐름도이다.
도 21은, 다양한 실시예들에 따른, 학습 서버가 인공지능 모델을 생성하기 위해, rPPG 및 PPG를 이용하는 동작의 예를 설명하기 위한 도면이다.
도 22는, 다양한 실시예들에 따른, 학습 서버가 인공지능 모델을 생성하기 위해, MPPG 및 PPG를 이용하는 동작의 예를 설명하기 위한 도면이다.
도 23은, 다양한 실시예들에 따른, 학습 서버에 의해 생성되는 적어도 하나의 인공 지능 모델의 일 예를 설명하기 위한 도면이다.
도 24는, 다양한 실시예들에 따른, 전자 장치의 인공 지능 모델을 이용하여, 접촉식 방식과 유사한 정확도의 생체 신호를 제공하는 동작의 예를 설명하기 위한 흐름도이다.
도 25는, 다양한 실시예들에 따른, 전자 장치의 인공 지능 모델을 이용하여, 접촉식 방식과 유사한 정확도의 생체 신호를 제공하는 동작의 설명하기 위한 도면이다.
도 26은, 다양한 실시예들에 따른, 전자 장치의 촬영을 가이드하는 동작을 설명하기 위한 흐름도이다.
도 27은, 다양한 실시예들에 따른, 전자 장치의 촬영을 가이드하는 동작의 예를 설명하기 위한 도면이다.
도 28은, 다양한 실시예들에 따른, 서버(예: 이용 서버)의, 인공 지능 모델을 이용하는 동작의 예를 설명하기 위한 흐름도이다.
도 29는, 다양한 실시예들에 따른, 서버(예: 이용 서버)의, 인공 지능 모델을 이용하는 동작의 예를 설명하기 위한 도면이다.

본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.

본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.

본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.

본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리) 또는 외장 메모리)에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치)의 프로세서(예: 프로세서)는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.

일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어^TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서는: 상기 통신 회로를 통해 상기 복수의 이미지들을 획득하는 동안 상기 제1 외부 전자 장치의 제2 센서에 의해 획득되는 상기 제1 외부 전자 장치의 촬영과 연관된 정보를 더 획득하도록 설정된, 전자 장치가 제공될 수 있다.

다양한 실시예들에 따르면, 상기 전자 장치의 촬영과 연관된 촬영 정보는 상기 제1 외부 전자 장치의 촬영과 연관된 상태와 연관된 정보, 및 상기 제1 외부 전자 장치의 외부 환경과 연관된 정보를 포함하는, 전자 장치가 제공될 수 있다.

다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서는: 상기 통신 회로를 통해 상기 제1 외부 전자 장치의 상기 사용자의 개인 특성과 연관된 개인 정보를 더 획득하도록 설정된, 전자 장치가 제공될 수 있다.

다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서는: 상기 제1 생체 신호, 상기 제2 생체 신호, 상기 제3 생체 신호, 상기 촬영 정보, 또는 상기 개인 정보 중 적어도 일부에 기반하여 학습을 수행함으로써, 적어도 하나의 인공 지능 모델을 생성하도록 설정되고, 상기 적어도 하나의 인공 지능 모델은, 접촉식 방식으로 센싱되는 상기 특정 종류의 생체 신호에 대한 값을 제공하도록 구현되는, 전자 장치가 제공될 수 있다.

다양한 실시예들에 따르면, 상기 적어도 하나의 인공 지능 모델은, 상기 제1 생체 신호, 상기 제2 생체 신호, 상기 촬영 정보, 또는 상기 개인 정보 중 적어도 일부를 입력 받은 것에 기반하여, 상기 제3 생체 신호를 출력하도록 구현되는, 전자 장치가 제공될 수 있다.

다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서는: 상기 제1 생체 신호, 상기 제2 생체 신호, 및 상기 제3 생체 신호의 시간 동기화를 수행하도록 설정된, 전자 장치가 제공될 수 있다.

다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서는: 상기 제1 생체 신호, 상기 제2 생체 신호, 및 상기 제3 생체 신호 중 중에서, 심장과 가장 가까운 상기 얼굴과 연관된 상기 제1 생체 신호를 기준으로 선택하고, 상기 선택된 제1 생체 신호를 기준으로, 나머지 상기 제2 생체 신호 및 상기 제2 생체 신호 각각을 상기 제1 생체 신호에 동기화하도록 설정된, 전자 장치가 제공될 수 있다.

다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서는: 상기 제1 생체 신호, 상기 제2 생체 신호, 및 상기 제3 생체 신호에 대한 시간 동기화가 수행되지 않은 상태에서, 상기 적어도 하나의 인공 지능 모델을 생성하도록 설정된, 전자 장치가 제공될 수 있다.

다양한 실시예들에 따르면, 상기 통신 회로를 통해 상기 복수의 이미지들을 획득하는 동안 상기 제1 외부 전자 장치의 제2 센서에 의해 획득되는 상기 제1 외부 전자 장치의 촬영과 연관된 정보를 획득하는 동작;을 더 포함하는, 동작 방법이 제공될 수 있다.

다양한 실시예들에 따르면, 상기 전자 장치의 촬영과 연관된 촬영 정보는 상기 제1 외부 전자 장치의 촬영과 연관된 상태와 연관된 정보, 및 상기 제1 외부 전자 장치의 외부 환경과 연관된 정보를 포함하는, 동작 방법이 제공될 수 있다.

다양한 실시예들에 따르면, 상기 통신 회로를 통해 상기 제1 외부 전자 장치의 상기 사용자의 개인 특성과 연관된 개인 정보를 더 획득하는 동작;을 더 포함하는, 동작 방법이 제공될 수 있다.

다양한 실시예들에 따르면, 상기 제1 생체 신호, 상기 제2 생체 신호, 상기 제3 생체 신호, 상기 촬영 정보, 또는 상기 개인 정보 중 적어도 일부에 기반하여 학습을 수행함으로써, 적어도 하나의 인공 지능 모델을 생성하는 동작;을 더 포함하고, 상기 적어도 하나의 인공 지능 모델은, 접촉식 방식으로 센싱되는 상기 특정 종류의 생체 신호에 대한 값을 제공하도록 구현되는, 동작 방법이 제공될 수 있다.

다양한 실시예들에 따르면, 상기 적어도 하나의 인공 지능 모델은, 상기 제1 생체 신호, 상기 제2 생체 신호, 상기 촬영 정보, 또는 상기 개인 정보 중 적어도 일부를 입력 받은 것에 기반하여, 상기 제3 생체 신호를 출력하도록 구현되는, 동작 방법이 제공될 수 있다.

이하에서는, 다양한 실시예들에 따른, 생체 신호 측정 시스템(1)에 대해서 설명한다.

다양한 실시예들에 따르면, 생체 신호 측정 시스템(1)은, 비접촉 방식으로 사용자 및/또는 검체(예: 얼굴과 같은 사용자의 신체 일부)에 대한 분석에 기반하여, 획득되는 생체 신호를 제공하도록 구현되는 시스템일 수 있다. 상기 생체 신호는, 맥파(photoplethysmography, PPG), 산소 포화도(SPO2), 심박 변이도(heart rate variability, HRV) 심전도(electrocardiogram, ECG), 뇌전도(electroencephalogram, EEG), 근전도(electromyogram, EMG), 피부전도도(galvanic skin response, GSR), 피부온도(skin temperature, SKT)를 포함할 수 있으나, 기재된 예에 제한되지 않고 다양한 종류의 생체 신호를 더 포함할 수도 있다. 상기 생체 신호 측정 시스템(1)은, 비접촉 방식으로 획득되는 생체 신호의 정확도를 제고하기 위해, 비접촉 방식 그리고 상기 비접촉 방식 보다 더 정확도 높은 접촉 방식으로 동시에 특정 종류의 복수의 생체 신호들을 수집하고, 상기 수집된 복수의 생체 신호들에 기반하여 학습되는 인공지능(artificial intelligence, AI) 모델을 이용할 수 있는데, 구체적인 실시예에 대해서는 이하에서 기술한다.

도 1은, 다양한 실시예들에 따른, 생체 신호 측정 시스템(1)의 구성의 예를 설명하기 위한 도면이다. 이하에서는, 도 2를 참조하여, 도 1에 대해서 더 설명한다.

도 2는, 다양한 실시예들에 따른, 전자 장치(10)의 예를 설명하기 위한 도면이다.

다양한 실시예들에 따르면, 도 1을 참조하면, 상기 생체 신호 측정 시스템(1)은, 전자 장치(10), 및 서버(20)를 포함할 수 있다. 다만, 도시된 및/또는 기재된 예에 제한되지 않고, 상기 생체 신호 측정 시스템(1)은 더 많은 장치를 포함하도록 구현될 수도 있다.

다양한 실시예들에 따르면, 상기 전자 장치(10)는, 생체 신호 측정 시스템(1)을 이용하여 비-접촉식 방식으로 셍체 신호(예: remote Photoplethysmography, rPPG)를 측정하기를 원하는 사용자의 전자 장치일 수 있다. 예를 들어, 상기 전자 장치(200)는 도 2 (a)에 도시된 바와 같이 스마트폰, 웨어러블 장치, HMD(head mounted display) 장치 등과 같은 사용자 단말, 및 도 2 (b)에 도시된 바와 같이 키오스크, 스마트 미러, 등과 같이 설치 및/또는 배치된 형태로 이용되는 사용자 장치를 포함할 수 있다. 전자 장치(10)는 검체(S)를 비-접촉식 방식으로 검출하고, 검출 결과에 기반하여 생체 신호를 제공하도록 구현될 수 있다. 예를 들어, 도 2에 도시된 바와 같이, 전자 장치(10)는, 검체(S)(예: 사용자(U)의 얼굴)을 촬영한 것에 기반하여 복수의 이미지들(또는 동영상, 또는 단일 이미지)를 획득하고, 상기 서버(20)로부터 상기 복수의 이미지들에 대응하는 생체 신호(예: PPG)를 수신하고, 상기 수신된 생체 신호를 사용자가 인식 가능한 형태로 제공(예: 디스플레이 상에 표시, 및/또는 스피커를 통해 사운드 형태로 출력)할 수 있다.

다양한 실시예들에 따르면, 상기 검체(S)는 PPG의 측정을 위한 경우에는 얼굴이 되고, 호흡 수의 측정을 위한 경우에는 가슴이 될 수 있으나, 기재된 예에 제한되지 않고 사용자(U)의 다양한 신체 부위가 비-접촉 방식으로 측정될 수 있다.

다양한 실시예들에 따르면, 서버(20)는, 비-접촉식 방식으로 검출된 검체(S)에 기반하여 생체 신호를 획득하고, 획득된 생체 신호에 대한 정보를 전자 장치(10)로 제공할 수 있다. 예를 들어, 서버(20)는 학습 서버(20a) 및 이용 서버(20b)를 포함할 수 있다. 다만, 도시된 및/또는 기재된 예에 제한되지 않고, 상기 서버(20)는 학습 서버(20a)의 기능과 이용 서버(20b)의 기능을 모두 수행하는 단일의 서버로 구현될 수도 있다. 상기 학습 서버(20a)는, 생체 신호를 제공하도록 학습되는 적어도 하나의 인공 지능 모델을 구축할 수 있다. 예를 들어, 상기 학습 서버(20a)는, 비-접촉식 방식으로 검출된 검체(S)에 기반하여 획득되는 비-접촉식 생체 신호와 다른 적어도 하나의 정보를 입력 받은 것에 대한 응답으로, 접촉식 방식의 검출 정확도와 유사한 정확도의 생체 신호를 출력하도록 구현되는 인공지능 모델을 구축할 수 있다. 상기 학습 서버(20a)에 의해 러닝된 인공지능 모델은, 상기 이용 서버(20b)로 제공될 수 있다. 상기 이용 서버(20b)는 상기 전자 장치(10)와 통신 연결을 설정하고, 상기 전자 장치(10)로부터 상기 전자 장치(10)에 의해 비-접촉식 방식으로 획득된 검체(S)에 대한 정보를 수신할 수 있다. 상기 이용 서버(20b)는 상기 검체(S)에 대한 정보를 상기 인공지능 모델에 입력하고, 상기 인공지능 모델로부터 출력되는 생체 신호에 대한 정보를 획득하고, 상기 획득된 생체 신호에 대한 정보를 상기 전자 장치(10)로 전송할 수 있다.

한편, 기재된 예에 제한되지 않고, 상기 서버(20)의 동작 없이, 전자 장치(10)가 생체 신호를 제공 가능하도록 전자 장치(10)가 온-디바이스(on-device) 형태로 구현될 수도 있다.

이하에서는, 다양한 실시예들에 따른, 전자 장치(10), 및 서버(20)의 구성의 예에 대해서 설명한다.

도 3은, 다양한 실시예들에 따른, 전자 장치(10), 및 서버(20)(예: 학습 서버(20a) 및 이용 서버(20b)의 구성의 예를 설명하기 위한 도면이다. 어떤 실시예에서는, 도 3에 도시된 예에 제한되지 않고, 전자 장치(20) 및 서버(20)로부터 이 구성요소들 중 적어도 하나가 생략되거나, 전자 장치(20) 및 서버(20)에 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 이하에서는, 도 4를 참조하여, 도 3에 대해서 더 설명한다.

도 4는, 다양한 실시예들에 따른, 생체 신호 측정 모듈의 예를 설명하기 위한 도면이다.

이하에서는, 다양한 실시예들에 따른, 전자 장치(10)의 구성의 예에 대해서 설명한다.

다양한 실시예들에 따르면, 전자 장치(10)는, 디스플레이(11), 카메라(12), 제1 통신 회로(13), 센서(14), 제1 메모리(17), 및 제1 프로세서(18)를 포함할 수 있다. 한편, 도시된 및/또는 기재된 예에 제한되지 않고, 전자 장치(10)는, 사용자 단말에 구비되는 다양한 전자 부품(예: 스피커) 및 장치를 더 포함하도록 구현되거나, 및/또는 더 적은 구성 요소를 포함하도록 구현될 수 있다. 이하에서는, 각 구성의 예에 대해서 설명한다.

다양한 실시예들에 따르면, 디스플레이(11)는 전자 장치(200)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이(11)는, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 디스플레이(11)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.

다양한 실시예들에 따르면, 카메라(12)는, 촬영을 위한 이미지 센서를 포함할 수 있다.

다양한 실시예들에 따르면, 제1 통신 회로(13)는 전자 장치(10)와 외부 전자 장치(예: 서버(20))간의 무선 통신 채널의 수립 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 제1 통신 회로(13)는 제1 프로세서(18)와 독립적으로 운영되고, 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다.

다양한 실시예들에 따르면, 센서(14)는 생체 신호를 접촉식 방식으로 획득(또는 센싱)하기 위한 측정 센서(15), 및 촬영과 연관된 다양한 종류의 정보(촬영 정보)를 획득(또는 센싱)하기 위한 환경 센서(16)를 포함할 수 있다.

예를 들어, 상기 측정 센서(15)는, PPG 센서, SPO2 센서, HRV 센서, ECG 센서, EEG 센서, EMG 센서, GSR 센서, 및/또는 SKT 센서를 포함할 수 있으며, 기재된 예에 제한되지 않고, 다양한 종류의 센서를 더 포함할 수 있다. 일 예로, 상기 PPG 센서는, 피부에 접촉된 상태에서 광을 발광함에 따라, 수신되는 빛의 감광량의 변화에 기반하여, PPG 신호를 측정하도록 구현된 센서일 수 있다.

예를 들어, 상기 환경 센서(16)에 의해 획득되는 촬영 정보는, 촬영되는 주변 환경(예: 광량, 조도, 온도, 등)과 연관된 정보를 측정하기 위한 제1 환경 센서(예: 조도 센서(16A), 등), 및 촬영 시 전자 장치(10)의 상태(예: 기울기, 움직임, 위치, 높이, 방향)와 연관된 정보를 측정하기 위한 제2 환경 센서(예: 기울기 센서(16b), 모션 센서(미도시), 등)를 포함할 수 있다. 상기 환경 센서(16)에 의해 획득되는 데이터들은, 데이터로 정의될 수 있다. 상기 환경 센서(16)에 의해 획득되는 정보들 중 적어도 일부는, 환경 센서(16)가 아닌, 카메라(12)에 의해 촬영되는 이미지를 분석하기 위한 분석 모듈(미도시)에 의해 획득될 수도 있다. 예를 들어, 상기 분석 모듈(미도시)는 이미지의 픽셀의 값(예: 밝기 값)에 기반하여 상기 광량, 조도 등을 식별할 수 있다.

다양한 실시예들에 따르면, 제1 메모리(17)는, 전자 장치(210)의 적어도 하나의 구성요소(예: 제1 프로세서(18))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 예를 들어, 제1 메모리(17)는 소정의 어플리케이션을 저장할 수 있다. 상기 어플리케이션의 실행에 기반하여, 후술되는 전자 장치(10)의 동작이 수행될 수 있다.

다양한 실시예들에 따르면, 전자 장치(10)는, 어플리케이션은 부가 정보를 획득하도록 구현될 수 있다. 예를 들어, 상기 부가 정보는 사용자의 성별, 나이, 연령, 인종, BMI 지수 등과 같은 개인 정보, 카메라(12)의 파라미터(예: 초점 거리 등)에 대한 카메라 정보, 검체와의 거리, 촬영 비디오 해상도, 초당 프레임 수(frame per second(FPS)) 등과 같은 촬영 상태를 나타내는 촬영 정보, 및 이미지(또는 영상)로부터 분석 가능한 특성(예: 검체에 비추는 빛의 방향(예: 순광, 역광))을 나타내는 이미지 정보를 포함할 수 있다. 이때, 상기 부가 정보들 중 일부(예: BMI 지수)는, 이를 산출하기 위한 인공 지능 모델에 기반하여, 획득될 수도 있다.

다양한 실시예들에 따르면, 제1 프로세서(18)는, 예를 들면, 소프트웨어를 실행하여 제1 프로세서(520)에 연결된 전자 장치(200)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 제1 프로세서(520)는 다른 구성요소(예: 제2 통신 회로(540) 또는 제3 통신 회로(550))로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드하고, 휘발성 메모리에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다. 일 실시예에 따르면, 제1 프로세서(520)는 메인 프로세서(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서 (예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서는 메인 프로세서보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서는 메인 프로세서와 별개로, 또는 그 일부로서 구현될 수 있다.

이하에서는, 다양한 실시예들에 따른, 서버(20)의 구성의 예에 대해서 설명한다.

다양한 실시예들에 따르면, 학습 서버(20a)는, 제2 통신 회로(21a), 제2 프로세서(22a), 및 메모리(23a)를 포함할 수 있다. 상기 제2 통신 회로(21a)는 전술한 제1 통신 회로(13), 상기 제2 프로세서(22a)는 전술한 제1 프로세서(18), 그리고 상기 제2 메모리(23a)는 전술한 제1 메모리(17)와 같이 구현될 수 있으므로, 중복되는 설명은 생략한다. 한편, 도시된 및/또는 기재된 예에 제한되지 않고, 학습 서버(20a)는 더 많은 구성 요소들을 더 포함하도록 구현되거나, 및/또는 더 적은 구성 요소를 포함하도록 구현될 수 있다. 이하에서는, 각 구성의 예에 대해서 설명한다.

다양한 실시예들에 따르면, 상기 메모리(23a)는, 데이터베이스(24a), 인공지능 모델 생성 모듈(25a), 및 제1 생체 신호 측정 모듈(26a)을 포함할 수 있다. 상기 모듈들(25a, 26a)은 컴퓨터 판독 가능한 컴퓨터 코드, 프로그램, 소프트웨어, 어플리케이션, API, 및/또는 인스트럭션들(instructions) 형태로 구현되며, 상기 모듈들(25a, 26a)이 실행됨에 기반하여 학습 서버(20a)의 제2 프로세서(22a)가 특정 동작을 수행하도록 유발될 수 있다.

다양한 실시예들에 따르면, 상기 데이터베이스(24a)는, 인공지능 모델 생성을 위한 다양한 종류의 정보들을 축적하도록 구현될 수 있다. 예를 들어, 상기 데이터베이스(24a)는, 후술되는 제1 생체 신호 측정 모듈(26a)에 의해 획득되는 비-접촉식 방식으로 측정되는 생체 신호와 그에 대응하는 접촉식 방식으로 측정되는 생체 신호, 환경 센서(16)에 의해 측정되는 환경 데이터, 및 부가 정보를 저장할 수 있다. 상기 부가 정보는, 전술한 바와 같이, 개인 정보, 카메라 정보, 촬영 정보, 및/또는 이미지 정보 등을 포함할 수 있다.

다양한 실시예들에 따르면, 상기 인공지능 모델 생성 모듈(25a)은, 비-접촉식 방식으로 측정되는 생체 신호(예: rPPG)에 기반하여 접촉식 방식으로 측정되는 생체 신호(예: PPG)의 정확도와 유사한(또는 가까운) 정확도의 생체 신호를 제공 가능한 인공지능 모델을 러닝할 수 있다. 상기 인공지능 모델의 러닝의 예에 대해서는, 구체적으로 후술한다.

다양한 실시예들에 따르면, 상기 제1 생체 신호 측정 모듈(26a)은, 전자 장치(10)로부터 수신되는 정보에 기반하여 비-접촉식 생체 신호 및 접촉식 생체 신호를 측정하도록 구현될 수 있다. 예를 들어, 상기 제1 생체 신호 측정 모듈(26a)은 도 4에 도시된 바와 같이, 비-접촉식 방식으로 수집되는 정보(예: 카메라(12)에 의해 촬영되는 검체(S)를 포함하는 복수의 이미지들

)에 기반하여 생체 신호(예: 비접촉 생체 신호)를 획득하기 위한 비접촉 획득 모듈(421), 및 접촉식 방식으로 수집되는 정보(예: 센서(14)로부터 수집되는 센싱 정보)에 기반하여 생체 신호(예: 접촉 생체 신호)를 획득하기 위한 접촉 획득 모듈(423)을 포함할 수 있다.

한편 기재된 예에 제한되지 않고, 상기 구성들 중 적어도 일부(예: 데이터베이스(24a), 인공지능 모델 생성 모듈(25a), 및 제1 생체 신호 측정 모듈(26a))는 전자 장치(10)에 구현될 수 있다. 예를 들어, 제1 생체 신호 측정 모듈(26a)가 전자 장치(10)에 구현됨에 따라, 전자 장치(10)는 비-접촉식 생체 신호 및 접촉식 생체 신호를 획득하고, 상기 복수의 신호들을 학습 서버(20a)로 전송하여, 상기 학습 서버(20a)가 인공지능 모델을 러닝하도록 할 수 있다.

다양한 실시예들에 따르면, 이용 서버(20b)는, 제3 통신 회로(21b), 제3 프로세서(22b), 및 메모리(24b)를 포함할 수 있다. 상기 제3 통신 회로(21b)는 전술한 제1 통신 회로(13), 상기 제3 프로세서(22b)는 전술한 제1 프로세서(18), 그리고 상기 제3 메모리(24b)는 전술한 제1 메모리(17)와 같이 구현될 수 있으므로, 중복되는 설명은 생략한다. 한편, 도시된 및/또는 기재된 예에 제한되지 않고, 이용 서버(20b)는 더 많은 구성 요소들을 더 포함하도록 구현되거나, 및/또는 더 적은 구성 요소를 포함하도록 구현될 수 있다. 이하에서는, 각 구성의 예에 대해서 설명한다.

다양한 실시예들에 따르면, 제3 메모리(24b)는, 학습 서버(20a)(예: 인공지능 모델 생성 모듈(25a))에 의해 러닝된 적어도 하나의 인공지능 모델(23b, 23c), 및 전술한 제1 생체 신호 측정 모듈(26a)와 동일한 제2 생체 신호 측정 모듈(24b)을 저장하도록 구현될 수 있다. 상기 이용 서버(20b)는 전자 장치(10)로부터 수신되는 비-접촉 방식으로 검출되는 검체(S)에 대한 복수의 이미지들, 환경 데이터(예: 환경 센서(14)에 의해 센싱되는 정보), 부가 정보(예: 개인 정보, 카메라 정보, 촬영 정보, 또는 이미지 정보 중 적어도 일부), 및 상기 적어도 하나의 인공지능 모델(23b, 23c)에 기반하여, 특정 종류의 생체 신호를 획득하고, 획득된 특정 종류의 생체 신호를 전자 장치(10)로 전송할 수 있다.

한편 기재된 예에 제한되지 않고, 상기 구성들 중 적어도 일부(예: 적어도 하나의 인공지능 모델(23b, 23c), 및 전술한 제2 생체 신호 측정 모듈(24b))는 전자 장치(10)에 구현될 수 있다. 예를 들어, 제2 생체 신호 측정 모듈(24b)이 전자 장치(10)에 구현됨에 따라, 전자 장치(10)는 비-접촉식 생체 신호 및 접촉식 생체 신호를 획득하고, 상기 복수의 신호들을 이용 서버(20b)로 전송할 수 있다.

한편 기재된 예에 제한되지 않고, 이용 서버(20b)가 구현되지 않고, 러닝된 적어도 하나의 인공 지능 모델(23b, 23c)은 학습 서버(20a)의 기능과 이용 서버(20b)의 기능을 모두 수행하는 단일의 서버, 및/또는 전자 장치(10)에 저장된 형태로 이용될 수도 있다.

이하에서는, 다양한 실시예들에 따른, 학습 서버(20a)의 인공지능 모델 학습을 위한, 데이터를 획득(또는, 수집)하는 동작의 예를 설명한다.

도 5는, 다양한 실시예들에 따른, 학습 서버(20a)의 인공지능 모델 학습을 위한, 데이터를 획득(또는, 수집)하는 동작의 예를 나타내는 흐름도이다. 도시된 및/또는 기재된 동작들의 순서와 무관하게 동작들이 수행될 수 있으며, 더 많은 동작들이 수행되거나 및/또는 더 적은 동작들이 수행될 수도 있다. 이하에서는, 도 6 내지 도 7을 참조하여 도 5에 대해서 더 설명한다.

도 6은, 다양한 실시예들에 따른, 전자 장치(10)의 비-접촉식 방식 그리고 접촉식 방식으로 생체 신호를 동시에 수집하는 동작의 예를 설명하기 위한 도면이다. 도 7은, 다양한 실시예들에 따른, 학습 서버(20a)에서 인공지능 모델 학습을 위한, 데이터를 축적하는 동작의 예를 설명하기 위한 도면이다.

다양한 실시예들에 따르면, 학습 서버(20a)(예: 제2 프로세서(22a))는, 동작 501에서, 전자 장치(10)의 카메라(12)를 이용한 검체(S)에 대한 촬영에 기반하여, 특정 종류의 제1 생체 신호를 획득하고, 제1 접촉 센서(15)에 기반하여 제2 생체 신호를 획득하고, 503 동작에서, 제2 접촉 센서에 기반하여 상기 특정 종류의 제3 생체 신호를 획득할 수 있다. 예를 들어, 도 6을 참조하면, 학습 서버(20a)는 사용자(U), 상기 사용자(U)가 파지하는 전자 장치(10), 및 상기 사용자(U)의 신체 일부에 접촉되는 외부 측정 센서(600)를 이용하여, 전술한 특정 종류의 서로 연관된 제1 생체 신호, 제2 생체 신호, 및 제3 생체 신호를 모두(또는 동시에, 또는 특정 기간 동안에) 획득할 수 있다. 상기 생체 신호들이 서로 연관된다는 의미는, 서로 연관성이 임계치 이상 높은 특정 기간 동안 획득된 것임을 의미할 수 있다. 예를 들어, 상기 생체 신호들의 특정 종류는 PPG일 수 있다. 도 6에 도시된 바와 같이, 사용자(U)는 생체 신호 측정 장치(600)이 사용자(U)의 제3 검체(예: 제1 손의 손가락(S3))에 구비(또는 장착)된 상태에서, 전자 장치(12)의 카메라(10)를 이용하여 사용자의 제1 검체(예: 얼굴(S1))를 촬영하면서 전자 장치(12)의 특정 영역(예: 후면)에 배치되는 접촉식 센서(S2)에 제2 검체(예: 제2 손의 손가락(S2))를 접촉시킬 수 있다. 이에 따라, 도 7을 참조하면, 학습 서버(20a)는 전자 장치(10)의 카메라(12)에 의해 촬영된 제1 검체(S1)에 대한 복수의 이미지들, 및 측정 센서(15)에 의해 측정된 센싱 데이터(예: mobile PPG, MPPG)를 수신하고, 상기 외부 측정 센서(600)로부터 외부 측정 센서(600)에 의해 측정된 센싱 데이터(예: PPG)를 수신할 수 있다.

예를 들어, 상기 학습 서버(20a)의 비접촉 측정 모듈(421)은, 제1 검체(S1)에 대한 복수의 이미지들을 분석한 것에 기반하여, 특정 종류의 비-접촉 생체 신호를 획득할 수 있다. 예를 들어, 상기 특정 종류의 비-접촉 생체 신호는, rPPG일 수 있다. 상기 복수의 이미지들은, 상기 카메라의 적어도 하나의 파라미터가 특정 범위 내의 값으로 설정됨에 기반하여, 획득되는 이미지들일 수 있다. 예를 들어, 상기 FPS가 초당 20 내지 30의 범위로, 동영상이 촬영되도록 상기 카메라 파라미터가 설정된 상태에서, 획득되는 이미지들일 수 있다.

예를 들어, 상기 학습 서버(20a)의 제1 접촉 측정 모듈(423a)은 측정 센서(15)로부터 수신되는 센싱 데이터에 기반하여 전자 장치(10)에 의해 자체 측정된 상기 특정 종류의 제1 접촉 생체 신호를 획득할 수 있다. 전자 장치(10)에 의해 자체 측정된 특정 종류의 제1 접촉 생체 신호는 PPG이며, MPPG(mobile PPG)로 정의될 수 있다. 상기 제1 접촉 측정 모듈(423a)은 이미 전자 장치(10)에 의해 측정되어 전자 장치(10)로부터 학습 서버(20a)로 수신되는 MPPG를 획득할 수 있으나, 기재된 예에 제한되지 않고 측정 센서(15)로부터 수신되는 센싱 데이터를 획득하고 획득된 센싱 데이터를 분석함에 기반하여 MPPG를 측정하도록 구현될 수도 있다.

예를 들어, 상기 학습 서버(20a)의 제2 접촉 측정 모듈(423b)은 외부 측정 장치(600)로부터 수신되는 센싱 데이터에 기반하여 상기 특정 종류의 제2 접촉 생체 신호를 획득할 수 있다. 제2 특정 종류의 접촉 생체 신호는 PPG이며, 전술한 MPPG(mobile PPG)의 정확도와 비교하여 상대적으로 높은 정확도를 가질 수 있다. 상기 제2 접촉 측정 모듈(423b)은 이미 외부 측정 장치(600)에 의해 측정되어 외부 측정 장치(600)로부터 학습 서버(20a)로 수신되는 PPG를 획득할 수 있으나, 기재된 예에 제한되지 않고 외부 측정 장치(600)로부터 수신되는 센싱 데이터를 획득하고 획득된 센싱 데이터를 분석함에 기반하여 PPG를 측정하도록 구현될 수도 있다.

다양한 실시예들에 따르면, 학습 서버(20a)(예: 데이터 획득 모듈(700))는, 동작 505에서, 추가 학습 정보를 획득할 수 있다. 상기 추가 학습 정보는 환경 센서(16)에 기반하여 획득되는 환경 데이터 및 어플리케이션(미도시)에 기반하여 획득되는 개인 정보, 카메라 정보, 촬영 정보, 또는 이미지 정보 중 적어도 일부를 포함하는 부가 정보를 포함할 수 있다. 예를 들어, 전자 장치(10)는 환경 센서(16)를 이용하여, 촬영되는 주변 환경과 연관된 정보 및 촬영 시 전자 장치(10)의 상태와 연관된 정보를 획득하고, 학습 서버(20a)로 전송할 수 있다. 또 예를 들어, 전자 장치(10)는 어플리케이션의 실행에 기반하여, 실행 화면을 통해 입력되는 개인 정보를 학습 서버(20a)로 전송할 수 있다. 또 예를 들어, 전자 장치(10)는 어플리케이션의 실행에 기반하여, 설정되는 권한에 기반하여 획득되는 카메라 정보, 및 카메라(12)에 의해 촬영되는 영상 및/또는 이미지를 분석한 것에 기반하여 획득되는 촬영 정보와 이미지 정보 중 적어도 일부를 학습 서버(20a)로 전송할 수 있다.

다양한 실시예들에 따르면, 데이터 획득 모듈(700)은 전술한 특정 종류의 생체 신호들(예: 비-접촉식 생체 신호, 접촉식 제1 생체 신호, 및 접촉식 제2 생체 신호) 및 추가 학습 정보를 서로 연관된 형태로, 데이터베이스(24a)에 저장할 수 있다. 이때, 데이터 획득 모듈(700)은 특정 종류의 생체 신호들(예: 비-접촉식 생체 신호, 접촉식 제1 생체 신호, 및 접촉식 제2 생체 신호)의 시간 동기화를 수행하도록 구현될 수도 있는데, 기재된 예에 제한되지 않고 시간 동기화가 수행되지 않을 수도 있다.

이하에서는, 다양한 실시예들에 따른, 학습 서버(20a)의 501 동작 중 적어도 일부로서, 비-접촉식 생체 신호를 획득하는 동작의 예를 설명한다.

도 8은, 다양한 실시예들에 따른, 학습 서버(20a)의 비-접촉식 생체 신호를 획득하는 동작의 예를 나타내는 흐름도이다. 도시된 및/또는 기재된 동작들의 순서와 무관하게 동작들이 수행될 수 있으며, 더 많은 동작들이 수행되거나 및/또는 더 적은 동작들이 수행될 수도 있다. 이하에서는, 도 9 내지 도 11을 참조하여 도 8에 대해서 더 설명한다.

도 9는, 다양한 실시예들에 따른, 노이즈 저감을 위해, 색 채널들(예: G값과 R값, G값과 B값) 간의 차이 값을 획득하는 동작의 예를 설명하기 위한 도면이다. 도 10은, 다양한 실시예들에 따른, 특성 값을 획득하는 동작의 예를 설명하기 위한 도면이다. 도 11은, 다양한 실시예들에 따른, 특성 값을 획득하는 동작의 예를 설명하기 위한 도면이다.

다양한 실시예들에 따르면, 학습 서버(20a)(예: 비접촉 측정 모듈(421))는, 동작 801에서 검체를 포함하는 복수의 이미지들을 획득하고, 동작 803에서, 복수의 이미지들에 기반하여 제1 생체 신호를 획득할 수 있다. 예를 들어, 학습 서버(20a)(예: 비접촉 측정 모듈(421))는, 검체를 포함하는 복수의 이미지들로부터, 색 채널들 별 값을 획득하고, 색 채널들 별 값에 기반하여 rPPG를 획득할 수 있다. 예를 들어, 상기 색 채널은 RGB 색 공간의 R 채널, G 채널, 및 B 채널 각각을 의미할 수 있으나, 기재된 및/또는 도시된 예에 제한되지 않고, 다른 색공간(예: CMY, HSV 등)의 채널을 의미할 수도 있다.

이때, 다양한 실시예들에 따르면, 도 9을 참조하면, 노이즈 저감을 위해, 색 채널들(예: G값과 R값, G값과 B값) 간의 차이 값에 기반하여, rPPG를 획득하는 동작이 수행될 수 있다.

도 9의 (a)는 RGB 색공간에 따라 추출된 Red 채널 값을 나타내는 그래프 이며, 도 9의 (b)는 RGB 색공간에 따라 추출된 Green 채널 값을 나타내는 그래프이다. 도 9의 (a) 및 (b)를 참조하면, 추출된 색 채널 값은 시간에 따라 변동이 발생하는 것을 알 수 있다. 이 때, 추출된 색 채널 값은 심장의 박동에 따라 변동이 발생하기도 하지만, 피측정자의 움직임이나, 외부광의 세기의 변화에 따라 변동이 발생하기도 할 수 있다. 보다 구체적으로, 색 채널 값의 변동이 크고 느리게 발생하는 것은 피측정자의 움직임이나, 외부광의 세기의 변화에 더 영향을 많이 받아 변동이 발생하는 것이며, 변동이 작고 빠르게 발생하는 것은 피측정자의 심장의 박동에 더 영향을 많이 받아 변동이 발생하는 것일 수 있다. 따라서, 심장의 박동에 따른 변동보다 피측정자의 움직임이나 외부광의 세기의 변화에 따른 값의 변동이 더 크기 때문에 이를 저감 시키기 위해 적어도 두개의 색 채널 값의 상대적 차이를 이용할 수 있다.

예시적으로, 노이즈를 저감시키기 위해 Green 채널 값과 Red 채널 값의 차이 값을 이용할 수 있다. 보다 구체적으로 동일한 이미지 프레임에서 획득된 Green 채널 값과 Red 채널 값은 동일한 움직임 및 동일한 외부광의 세기를 반영할 수 있으며, 동일한 프레임의 Green 채널 값과 Red 채널 값의 차이 값은 피측정자의 움직임 및 외부광의 세기의 변화 등에 따른 노이즈를 저감시킬 수 있으나, 이에 한정되지 않고, 적어도 두개의 색 채널 값의 상대적 차이를 이용하여 노이즈를 저감시킬 수 있다.

도 9의 (c)는 상기 Green 채널 값과 상기 Red 채널 값의 차이 값을 나타내는 그래프이다. 도 9의 (c)에 도시된 바와 같이, 상기 Green 채널 값과 상기 Red 채널 값의 차이 값은 피측정자의 움직임 및 외부광의 세기의 변화 등에 따른 노이즈를 저감시킬 수 있다.

또한, 상술한 노이즈를 저감시키는 방법은 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여 수행될 수 있으며, 연속된 복수개의 이미지 프레임 각각에 대하여 수행될 수도 있다.

또한, 도 9의 (c)에는 도시되지 않았으나, 상기 Green 채널 값과 상기 Blue 채널 값의 차이 값을 이용하여 노이즈를 저감시킬 수도 있으며, 상기 Red 채널 값과 상기 Blue 채널 값의 차이 값을 이용하여 노이즈를 저감시킬 수도 있다.

또한, 상술한 바와 같이 적어도 두개의 색 채널 값의 상대적 차이를 이용하여 노이즈를 저감시키기 위해 차이 값을 구하기 위해 적어도 두 개의 색 채널 값이 선택될 수 있다.

이 때, 상기 적어도 두 개의 색 채널 값은 혈액의 흡광도를 고려하여 선택될 수 있다.

다양한 실시예들에 따르면, 도 10 내지 도 11을 참조하면, 학습 서버(20a)는 상기 Green 채널 값과 상기 Red 채널 값의 차이 값과 상기 Green 채널 값과 상기 Blue 채널 값의 차이 값 각각의 타임-시리즈 데이터(예: 제1 특성 값, 및 제2 특성 값)을 획득하고, 획득된 타임-시리즈 데이터를 병합함으로써 제3 특성 값을 획득하고, 상기 제3 특성 값에 기반하여 rPPG를 획득할 수 있다.

도 10의 (a)는 일 실시예에 따라 획득된 색 채널 값을 나타내는 그래프 이며, 보다 구체적으로 Green 채널 값과 Red 채널 값의 차이 값을 나타내는 그래프이다. 다만, 이는 설명의 편의 상 Green 채널 값과 Red 채널 값의 차이값으로 특정하여 나타낸 것일 뿐, 이에 한정되지 않고 다양한 색 채널 값, 차이 값 및 가공 값 등이 될 수 있다.

도 10의 (a)를 참조하면, Green 채널 값과 Red 채널 값의 차이 값(이하 'G-R 값'으로 서술한다.)은 시간에 따라 값의 변화의 크기가 일정하지 않을 수 있음을 알 수 있다.

이 때, G-R값은 피측정자의 움직임에 의해 값이 일정하지 않을 수 있다. 예를 들어, 피측정자의 움직임이 적은 경우 G-R값의 변화가 작을 수 있으며, 피측정자의 움직임이 많은 경우 G-R값의 변화가 클 수 있으나, 이에 한정되지는 않는다.

또한, G-R값은 외부광의 세기에 따라 값이 일정하지 않을 수 있다. 예를 들어, 외부광의 세기가 약한 경우 G-R값의 변화가 작을 수 있으며, 외부광의 세기가 강한 경우 G-R값의 변화가 클 수 있으나, 이에 한정되지는 않는다.

따라서, 이와 같이 피측정자의 움직임이나 외부광의 세기 등에 의한 노이즈를 저감시키기 위해 특성 값이 추출될 수 있다.

또한, 상기 특성 값을 추출하기 위해 상기 특성 값에 대한 윈도우가 설정될 수 있다.

이 때, 상기 특성 값에 대한 윈도우는 미리 설정된 시간 구간을 의미할 수 있으며, 미리 설정된 프레임 개수를 의미할 수도 있으나, 이에 한정되지 않고 상기 특성 값을 획득하기 위해 복수개의 프레임 중 적어도 일부의 프레임 그룹을 설정하기 위한 윈도우를 의미할 수 있다.

도 10의 (b)는 특성 값에 대한 윈도우를 설명하기 위한 개략도이며, 보다 구체적으로, 180개의 이미지 프레임을 10 등분한 18개의 이미지 프레임으로 설정된 특성 값에 대한 윈도우를 설명하기 위한 개략도이다. 다만, 이는 설명의 편의 상 180개의 이미지 프레임을 10 등분한 18개의 이미지 프레임으로 설정된 특성 값에 대한 윈도우를 나타낸 것일 뿐, 이에 한정되지 않고 다양한 방법과 개수로 특성 값에 대한 윈도우가 설정될 수 있다.

도 10의 (b)를 참조하면, 획득된 복수개의 이미지 프레임은 특성 값에 대한 윈도우에 의해 그룹으로 설정될 수 있다. 예를 들어, 도 19의 (b)에 도시된 바와 같이 180개의 이미지 프레임은 특성 값에 대한 윈도우에 의해 각 18개의 이미지 프레임을 포함하는 그룹으로 설정될 수 있다. 보다 구체적으로, 제1 이미지 프레임부터 제18 이미지 프레임까지 제1 이미지 프레임 그룹(2210)에 포함될 수 있으며, 제19 이미지 프레임부터 제36 이미지 프레임까지 제2 이미지 프레임 그룹(2220)에 포함될 수 있으나 이에 한정되지 않는다.

이 때, 상기 특성 값은 특성 값에 대한 윈도우에 의해 설정된 이미지 프레임 그룹에 대하여 획득될 수 있다. 예를 들어, 상기 특성 값은 제1 이미지 프레임 그룹(2210)에 대한 색 채널 값들에 대하여 획득될 수 있으며, 제2 이미지 프레임 그룹(2220)에 대한 색 채널 값들에 대하여 획득될 수 있다.

또한, 예를 들어, 상기 특성 값이 평균 값인 경우 이미지 프레임 그룹에 대한 색 채널 값의 평균 값이 획득될 수 있다. 보다 구체적으로 제1 이미지 프레임 그룹(2210)에 포함되는 제1 내지 제18 이미지 프레임들에 대한 G-R값들의 평균 값이 획득될 수 있으며, 제2 이미지 프레임 그룹(2220)에 포함되는 제19 내지 제36 이미지 프레임들에 대한 G-R값들의 평균 값이 획득될 수 있으나, 이에 한정되지는 않는다.

또한, 예를 들어, 상기 특성 값이 표준편차 값인 경우 이미지 프레임 그룹에 대한 색 채널 값의 표준편차 값이 획득될 수 있다. 보다 구체적으로 제1 이미지 프레임 그룹(2210)에 포함되는 제1 내지 제18 이미지 프레임들에 대한 G-R값들의 표준 편차 값이 획득될 수 있으며, 제2 이미지 프레임 그룹(2220)에 포함되는 제19 내지 제36 이미지 프레임들에 대한 G-R값들의 표준 편차 값이 획득될 수 있으나, 이에 한정되지는 않는다.

다만, 상술한 예시들에 한정되지 않고, 다양한 특성 값이 이미지 프레임 그룹에 대하여 획득될 수 있다.

또한, 상기 특성 값은 특성 값에 대한 윈도우에 의해 나눠진 이미지 프레임 그룹에 포함되는 적어도 일부의 이미지 프레임에 대하여 획득될 수 있다. 예를 들어, 상기 특성 값은 제1 이미지 프레임 그룹(2210)에 포함되는 18개의 이미지 프레임 중 적어도 일부의 이미지 프레임에 대한 색 채널 값에 대하여 획득될 수 있으며, 제2 이미지 프레임 그룹(2220)에 포함되는 18개의 이미지 프레임 중 적어도 일부의 이미지 프레임에 대한 색 채널 값에 대하여 획득될 수 있다.

또한, 예를 들어, 상기 특성 값이 편차 값인 경우 이미지 프레임 그룹에 포함되는 적어도 일부의 이미지 프레임에 대한 색 채널 값의 편차 값이 획득될 수 있다. 보다 구체적으로, 제1 이미지 프레임 그룹(2210)의 G-R값 평균에 대한 제1 이미지 프레임 그룹에 포함되는 제1 이미지 프레임의 G-R값의 편차 값이 획득될 수 있으며, 제2 이미지 프레임 그룹(2220)의 G-R값 평균에 대한 제2 이미지 프레임 그룹에 포함되는 제19 이미지 프레임의 G-R값의 편차 값이 획득될 수 있으나, 이에 한정되지는 않는다.

또한, 예를 들어, 상기 특성 값이 편차 값인 경우 이미지 프레임 그룹에 포함되는 적어도 일부의 이미지 프레임에 대한 색 채널 값의 편차 값이 획득될 수 있다. 보다 구체적으로, 제1 이미지 프레임 그룹(2210)의 G-R값 평균에 대한 제1 이미지 프레임 그룹에 포함되는 제1 이미지 프레임의 G-R값의 편차 값이 획득될 수 있으며, 제1 이미지 프레임 그룹(2210)에 포함되는 제2 이미지 프레임의 G-R값의 편차 값이 획득될 수 있으나, 이에 한정되지는 않는다.

또한, 획득된 특성 값은 정규화될 수 있다.

예를 들어, 상기 특성 값이 편차 값인 경우 상기 편차 값은 표준편차 값에 의해 정규화 될 수 있다. 보다 구체적으로, 제1 이미지 프레임 그룹(2210)의 G-R값 평균에 대한 제1 이미지 프레임 그룹(2210)에 포함되는 제1 이미지 프레임의 G-R값의 편차 값이 획득된 경우 상기 제1 이미지 프레임의 G-R 값의 편차 값은 상기 제1 이미지 프레임 그룹(2210)의 표준편차 값에 의해 정규화 될 수 있으나, 이에 한정되지 않고 다양한 방법으로 정규화될 수 있다.

또한, 이처럼 정규화 되는 경우 변화량의 크기가 정규화 되어 심장 박동에 의한 값의 변화를 더욱 잘 반영할 수 있으며, 피측정자의 움직임에 의한 노이즈 및 외부광의 세기 변화 등에 따른 노이즈를 효과적으로 저감시킬 수 있다.

도 11의 (a)는 일 실시예에 따라 획득된 두 개의 특성 값을 나타내는 그래프이며, 보다 구체적으로 G-R값을 기초로 획득된 제1 특성 값과 G-B값을 기초로 획득된 제2 특성 값을 나타내는 그래프이다. 다만, 이는 설명의 편의 상 특정하여 나타낸 것일 뿐, 이에 한정되지 않고 다양한 색 채널 값, 차이 값 및 가공 값에 기초하여 획득된 특성 값이 될 수 있다.

이 때, G-R 값을 기초로 획득된 제1 특성 값은 G-R값에 영향을 받을 수 있다. 예를 들어, 외부 광이 Blue 채널에 가까운 빛인 경우 G-R 값은 심장 박동에 따른 혈액의 변화를 잘 반영하지 못할 수 있다.

또는 예를 들어, Green 채널의 흡광도 및 Red 채널의 흡광도의 차이에 영향을 받아 심장 박동에 따른 혈액의 변화를 반영할 수 있다.

또한, G-B 값을 기초로 획득된 제2 특성 값은 G-B값에 영향을 받을 수 있다. 예를 들어, 외부 광이 Red 채널에 가까운 빛인 경우 G-B 값은 심장 박동에 따른 혈액의 변화를 잘 반영하지 못할 수 있다.

또는 예를 들어, Green 채널의 흡광도 및 Blue 채널의 흡광도의 차이에 영향을 받아 심장 박동에 따른 혈액의 변화를 반영할 수 있다.

또한, 도 11의 (a)를 참조하면, 제1 특성 값과 제2 특성 값은 상호 보완적인 관계를 가질 수 있다. 예를 들어, 제1 특성 값이 심장 박동에 따른 변화를 잘 반영하지 못하는 구간에서 제2 특성 값이 심장 박동에 따른 변화를 잘 반영할 수 있으며, 그 반대의 경우도 포함된다.

따라서, 외부광의 파장의 변화에 따른 노이즈를 저감시키거나, 심장 박동에 따른 혈액의 변화를 더욱 잘 반영할 수 있도록 제1 특성 값 및 제2 특성 값이 이용될 수 있다.

도 11의 (b)는 상기 제1 특성 값 및 상기 제2 특성 값을 이용하여 획득된 제3 특성 값을 나타내는 그래프이며, 보다 구체적으로 상기 제1 특성 값 및 상기 제2 특성 값을 합하여 획득된 제3 특성 값을 나타내는 그래프이다. 다만, 이는 설명의 편의상 특정하여 나타낸 것일 뿐, 이에 한정 되지 않는다.

또한, 상기 제3 특성 값은 상기 제1 특성 값 및 상기 제2 특성 값의 연산에 기초하여 획득될 수 있다 .예를 들어, 상기 제3 특성 값은 상기 제1 특성 값 및 상기 제2 특성 값의 합 연산에 기초하여 획득될 수 있으나, 이에 한정되지 않고, 차이 연산, 곱 연산 등 다양한 연산에 기초하여 획득될 수 있다.

또한, 상기 제3 특성 값은 상기 제1 특성 값 및 상기 제2 특성 값에 다양한 가중치를 부여하여 획득될 수 있다. 예를 들어, 아래의 수학식 1에 기초하여 획득될 수 있으나, 이에 한정되지 않는다.

<수학식 1>

또한, 도 11의 (a) 및 (b)를 참조하면, 상기 제3 특성 값은 상기 제1 특성 값 및 상기 제2 특성 값 보다 심장 박동에 따른 혈액의 변화를 잘 반영할 수 있으며, 외부광의 파장의 변화에 따른 노이즈를 저감시킬 수 있다.

이하에서는, 다양한 실시예들에 따른, 학습 서버(20a)의 505 동작 중 적어도 일부로서, 복수의 생체 신호들에 대한 시각 동기화를 수행하는 동작의 예를 설명한다.

도 12는, 다양한 실시예들에 따른, 학습 서버(20a)의 비-접촉식 생체 신호를 획득하는 동작의 예를 나타내는 흐름도이다. 도시된 및/또는 기재된 동작들의 순서와 무관하게 동작들이 수행될 수 있으며, 더 많은 동작들이 수행되거나 및/또는 더 적은 동작들이 수행될 수도 있다. 이하에서는, 도 13 내지 도 14를 참조하여, 도 12에 대해서 더 설명한다.

도 13는, 다양한 실시예들에 따른, 생체 신호들의 예를 설명하기 위한 도면이다. 도 14는, 다양한 실시예들에 따른, 학습 서버(20a)의 생체 신호들의 시간 동기화 동작의 예를 설명하기 위한 도면이다.

다양한 실시예들에 따르면, 학습 서버(20a)(예: 데이터 획득 모듈(700))는, 동작 1201에서, 복수의 생체 신호들 간 시간 동기화를 수행하고, 동작 1203에서, 시간 동기화된 복수의 생체 신호들을 저장할 수 있다. 예를 들어, 도 13을 참조하면, 복수의 생체 신호들(1301, 1301)이 측정되는 검체(S1, S2)의 위치가 상이함에 기반하여, 복수의 생체 신호들(1301, 1303) 각각은 서로 시간 별 크기(또는 세기)가 상이할 수 있다(또는 패턴이 상이할 수 있다). 예를 들어, 사용자(U)의 심장에서 가까운 검체(S1)(예: 얼굴)을 촬영한 것에 기반하여 획득되는 제1 생체 신호(1301) 보다, 상대적으로 심장에서 먼 검체(S2)(예: 제1 손의 손가락)이 접촉됨에 기반하여 측정 센서(15)에 의해 획득되는 제2 생체 신호(1303)이 특정 시간(td) 만큼 늦을 수 있다. 이에 따라, 학습 서버(20a)는, 더 정교한 학습을 위해, 상기 특정 시간(td)에 기반하여 복수의 생체 신호들(1301, 1303)의 시간을 동기화 할 수 있다. 예를 들어 도 14를 참조하면, 학습 서버(20a)는, 상기 제2 생체 신호(1303)의 특정 시간(td)에 대응하는 만큼의 신호(1303a)를 삭제(또는 제외)시키거나, 상기 제2 생체 신호(1303)의 시간을 특정 시간(td) 만큼 앞당기는 동작을 수행할 수 있다. 또 예를 들어, 학습 서버(20a)는 특정 시간(td) 만큼 상기 제1 생체 신호(1303)를 뒤로 이동시키는 동작(예: 타임 쉬프팅)을 수행할 수 있다. 한편 도시되지 않았으나, 외부 측정 센서(600)에 의해 측정되는 제3 생체 신호에 대한 시각 동기화도 수행할 수 있다.

다양한 실시예들에 따르면, 학습 서버(20a)는, 복수의 생체 신호들(1301, 1303) 중에서, 기준 생체 신호를 선택하고, 상기 선택된 기준 생체 신호를 기준으로 식별되는 상기 특정 시간(td)에 기반하여 나머지 생체 신호를 시각 동기화 할 수 있다. 예를 들어, 학습 서버(20a)는, 복수의 생체 신호들(1301, 1303) 중에서 심장에서 가장 가까운 검체(S1)에 연관된 제1 생체 신호(1301)를 기준 신호로서 선택할 수 있다. 학습 서버(20a)는, 나머지 제2 생체 신호(1303)(및/또는, 외부 측정 센서(600)에 의해 측정된 생체 신호)에 연관된 검체(S2)와 제1 기준 신호(1301)에 대응하는 검체(S2)의 거리 차이에 기반하여, 상기 특정 시간(td)을 식별하고, 전술한 시각 동기화 동작을 수행할 수 있다. 한편 도시되지 않았으나, 외부 측정 센서(600)에 의해 측정되는 제3 생체 신호에 대한 시각 동기화 또한 이와 같이 수행될 수 있다.

다양한 실시예들에 따르면, 학습 서버(20a)는, 사용자의 개인 특성 정보에 기반하여, 상기 특정 시간(td)을 결정할 수 있다. 학습 서버(20a)는, 복수의 지연 시간들에 대한 정보를 저장하고, 복수의 지연 시간들 중에서 상기 사용자의 개인 특성 정보에 대응하는 특정 시간(td)을 식별할 수 있다. 일 예로, 신장이 클수록, 상대적으로 더 긴 상기 특정 시간(td)이 선택될 수 있다.

다양한 실시예들에 따르면, 학습 서버(20a)는, 상기 시각 동기화를 위한 인공지능 모델을 구현하고, 구현된 인공지능 모델에 기반하여 시각 동기화를 수행할 수도 있다.

이하에서는, 다양한 실시예들에 따른, 학습 서버(20a)의 비-접촉식 방식으로 획득된 특정 종류의 생체 신호에 기반하여, 접촉식 방식에 대응하는 만큼의 정확도를 갖는 특정 종류의 생체 신호에 대한 정보를 제공하도록 구현되는 인공 지능 모델을 생성하는 동작의 예를 설명한다. 이하에서는, 상기 특정 종류의 생체 신호가 PPG인 것을 예로 들어 설명하나, 기재된 예에 제한되지 않고, 다양한 종류의 생체 신호를 측정하기 위한 인공 지능 모델이 구현될 수 있다.

도 15는, 다양한 실시예들에 따른, 학습 서버(20a)의 비-접촉식 방식으로 획득된 특정 종류의 생체 신호에 기반하여, 접촉식 방식에 대응하는 만큼의 정확도를 갖는 특정 종류의 생체 신호에 대한 정보를 제공하도록 구현되는 인공 지능 모델을 생성하는 동작의 예를 나타내는 흐름도이다. 도시된 및/또는 기재된 동작들의 순서와 무관하게 동작들이 수행될 수 있으며, 더 많은 동작들이 수행되거나 및/또는 더 적은 동작들이 수행될 수도 있다. 이하에서는, 도 16 내지 도 18을 참조하여, 도 15에 대해서 더 설명한다.

도 16는, 다양한 실시예들에 따른, 학습 서버(20a)의 인공지능 모델을 생성하는 동작의 예를 설명하기 위한 도면이다. 도 17은, 다양한 실시예들에 따른, 학습 서버(20a)에 의해 생성되는 적어도 하나의 인공 지능 모델의 일 예를 설명하기 위한 도면이다. 도 18a는, 다양한 실시예들에 따른, 학습 서버(20a)에 의해 생성되는 적어도 하나의 인공 지능 모델의 다른 예를 설명하기 위한 도면이다. 도 18b는, 다양한 실시예들에 따른, 학습 서버(20a)에 의해 생성되는 적어도 하나의 인공 지능 모델의 또 다른 예를 설명하기 위한 도면이다.

다양한 실시예들에 따르면, 학습 서버(20a)는, 동작 1501에서, 전자 장치(10)의 카메라(12)를 이용한 검체(S)에 대한 촬영에 기반하여, 특정 종류의 제1 생체 신호를 획득하고, 제1 접촉 센서(15)에 기반하여 제2 생체 신호를 획득하고, 동작 1503에서, 제2 접촉 센서에 기반하여 상기 특정 종류의 제3 생체 신호를 획득하고, 동작 1505에서, 제2 접촉 센서에 기반하여, 상기 특정 종류의 제3 생체 신호를 획득할 수 있다. 상기 학습 서버(20a)의 동작 1501 내지 동작 1505는, 전술한 학습 서버(20a)의 동작 501 내지 동작 505과 같이 구현될 수 있으므로 중복되는 설명은 생략한다.

다양한 실시예들에 따르면, 학습 서버(20a)는, 동작 1507에서, 복수의 생체 신호들 및 상기 추가 학습 정보에 기반하여, 상기 특정 종류의 생체 신호를 획득하기 위한 적어도 하나의 인공 지능 모델을 획득할 수 있다. 예를 들어, 도 16을 참조하면, 인공 지능 모델 생성 모듈(25a)은, 데이터 획득 모듈(700)에 의해 데이터베이스(24a)에 저장된 복수의 생체 신호들(MPPG(1720), rPPG(1740), PPG(1750)) 및 추가 학습 정보(1730)(예: 부가 정보(1731), 및 환경 데이터(1733))에 기반하여, 적어도 하나의 인공 지능 모델(1700a 내지 1700f, 및 1800)을 생성할 수 있다. 이때, 데이터베이스(24a)에 저장된 PPG 데이터들은 서로 시간 동기화가 되어 있을 수 있으나, 기재된 예에 제한되지 않고 시간 동기화 되지 않아 있을 수 있다. 상기 적어도 하나의 인공 지능 모델(1700a 내지 1700f, 및 1800)은, 비-접촉 방식으로 획득된 검체에 대한 정보(예: 얼굴을 포함하는 복수의 이미지들)에 기반하여, 접촉 방식으로 획득되는 PPG에 대응하는 정확도의 PPG 추정치를 제공하도록 구현될 수 있다. 예를 들어, 인공 지능 모델 생성 모듈(25a)은 지도 학습, 비지도 학습, 준지도 학습, 강화 학습 등을 통해 인공 지능 모델을 구현할 수 있다. 또한, 일 실시예에 따른 인공 지능 모델 생성 모듈(25a)은, 인공 신경망(artificial neural network, ANN)으로 인공 지능 모델을 구현할 수 있다. 예를 들어, 상기 인공 지능 모델 생성 모듈(25a)은, 전방 전달 신경망(Feedforward neural network), 방사 신경망(radial basis function network) 또는 코헨 자기조직 신경망(kohonen self-organizing network) 등을 이용할 수 있으나, 이에 한정되지 않는다. 또한, 일 실시예에 따른 인공 지능 모델 생성 모듈(25a)은 심층 신경망(Deep neural network, DNN)으로 인공 지능 모델을 구현할 수 있다. 예를 들어, 상기 인공 지능 모델 생성 모듈(25a)은 합성곱신경망(Convolutional neural network, CNN), 순환 인공 신경망(Recurrent neural network, RNN), LSTM(Long Short Term Memory Network) 또는 GRUs(Gated Recurrent Units) 등을 이용할 수 있으나, 이에 한정되지 않는다.

다양한 실시예들에 따르면, 학습 서버(20a)는 비-접촉 PPG(rPPG)를 획득하기 위한 모델(1700a, 1700c, 1700e) 및 접촉 PPG를 획득하기 위한 모델(1700b, 1700d, 1700f)을 러닝하도록 구현될 수 있다. 이에 따라, 상기 rPPG 획득 모델(1700a, 1700c, 1700e)에 이미지 정보(1710)(예: 복수의 이미지들)가 입력됨에 따라 출력되는 rPPG(1740)가 제2 PPG 획득 모델(1700b, 1700d, 1700f)에 입력됨으로써 출력되는, PPG(1750)가 획득될 수 있다.

일 실시예에서, 도 17의 (a)를 참조하면,학습 서버(20a)는 비-접촉 PPG(rPPG)를 획득하기 위한 인공 지능 모델(예: 제1 rPPG 획득 모델(1700a)) 및 접촉 PPG를 획득하기 위한 인공 지능 모델(예: 제1 PPG 획득 모델(1700b))을 러닝하도록 구현될 수 있다. 예를 들어, 학습 서버(20a)는, 데이터베이스(24a) 내에 저장된 서로 연관된 정보들 중에서, 카메라(12)에 의해 촬영된 이미지 정보(1710) 및 추가 학습 정보(1730)(예: 부가 정보(1731), 및 환경 데이터(1733))를 입력 데이터로 하고, rPPG(1740)를 출력 데이터로 하여 러닝함으로써, 제1 rPPG 획득 모델(1700a)을 획득할 수 있다. 상기 제1 rPPG 획득 모델(1700a)은 이미지 정보(1710) 및 추가 학습 정보(1730)(예: 부가 정보(1731), 환경 데이터(1733))가 입력되는 경우, rPPG(1740)를 출력하도록 구현될 수 있다. 또 예를 들어, 학습 서버(20a)는, 데이터베이스(24a) 내에 저장된 정보들 중에서, rPPG(1740) 및 MPPG(1720)를 입력 데이터로 하고, PPG(1750)를 출력 데이터로 하여 러닝함으로써, 제1 PPG 획득 모델(1700b)을 획득할 수 있다. 상기 제2 PPG 획득 모델(1700b)은, rPPG(1740) 및 MPPG(1720)가 입력되는 경우, PPG(1750)를 출력하도록 구현될 수 있다. 상기 제1 rPPG 획득 모델(1700a)에 이미지 정보(1710) 및 추가 학습 정보(1730)(예: 부가 정보(1731), 환경 데이터(1733))가 입력됨에 따라 출력되는 rPPG(1740)와 전자 장치(10)에 의해 획득되는 MPPG(1720)가 제2 PPG 획득 모델(1700b)에 입력됨으로써 출력되는, PPG(1750)가 획득될 수 있다.

또 일 실시예에서, 도 17의 (b)를 참조하면, 학습 서버(20a)는 비-접촉 PPG(rPPG)를 획득하기 위한 모델(예: 제2 rPPG 획득 모델(1700c)) 및 접촉 PPG를 획득하기 위한 인공 지능 모델(예: 제2 PPG 획득 모델(1700d))을 러닝하도록 구현될 수 있다. 예를 들어, 학습 서버(20a)는, 데이터베이스(24a) 내에 저장된 서로 연관된 정보들 중에서, 카메라(12)에 의해 촬영된 이미지 정보(1710)를 입력 데이터로 하고, rPPG(1740)를 출력 데이터로 하여 러닝함으로써, 제2 rPPG 획득 모델(1700c)을 획득할 수 있다. 상기 제2 rPPG 획득 모델(1700c)는 이미지 정보(1710)가 입력되는 경우, rPPG(1740)를 출력하도록 구현될 수 있다. 한편, 기재된 예에 제한되지 않고, 제2 rPPG 획득 모델(1700c)은 도 9에서 전술한, G-R, 및 G-B에 기반하여 제3 특성 값을 획득하는 소프트웨어 및/또는 알고리즘일 수 있다. 또 예를 들어, 학습 서버(20a)는, 데이터베이스(24a) 내에 저장된 정보들 중에서, rPPG(1740), 추가 학습 정보(1730), 및 MPPG(1720)를 입력 데이터로 하고, PPG(1750)를 출력 데이터로 하여 러닝함으로써, 제2 PPG 획득 모델(1700d)을 획득할 수 있다. 상기 제2 PPG 획득 모델(1700d)은, rPPG(1740), 추가 학습 정보(1730) 및 MPPG(1720)가 입력되는 경우, PPG(1750)를 출력하도록 구현될 수 있다. 상기 제2 rPPG 획득 모델(1700c)에 이미지 정보(1710)가 입력됨에 따라 출력되는 rPPG(1740)와 전자 장치(10)에 의해 획득되는 MPPG(1720)와 추가 학습 정보(1730)(예: 부가 정보(1731), 환경 데이터(1733))가 제2 PPG 획득 모델(1700d)에 입력됨으로써 출력되는, PPG(1750)가 획득될 수 있다.

또 일 실시예에서, 도 17의 (c)를 참조하면, 학습 서버(20a)는 비-접촉 PPG(rPPG)를 획득하기 위한 인공 지능 모델(예: 제3 rPPG 획득 모델(1700e)) 및 접촉 PPG를 획득하기 위한 인공 지능 모델(예: 제3 PPG 획득 모델(1700f))을 러닝하도록 구현될 수 있다. 예를 들어, 학습 서버(20a)는, 데이터베이스(24a) 내에 저장된 서로 연관된 정보들 중에서, 카메라(12)에 의해 촬영된 이미지 정보(1710), MPPG(1720), 및 추가 학습 정보(1730)를 입력 데이터로 하고, rPPG(1740)를 출력 데이터로 하여 러닝함으로써, 제3 rPPG 획득 모델(1700e)을 획득할 수 있다. 상기 제3 rPPG 획득 모델(1700e)는 이미지 정보(1710), MPPG(1720), 및 추가 학습 정보(1730)(예: 부가 정보(1731), 환경 데이터(1733))가 입력되는 경우, rPPG(1740)를 출력하도록 구현될 수 있다. 또 예를 들어, 학습 서버(20a)는, 데이터베이스(24a) 내에 저장된 정보들 중에서, rPPG(1740)를 입력 데이터로 하고, PPG(1750)를 출력 데이터로 하여 러닝함으로써, 제3 PPG 획득 모델(1700d)을 획득할 수 있다. 상기 제3 PPG 획득 모델(1700f)은, rPPG(1740)가 입력되는 경우, PPG(1750)를 출력하도록 구현될 수 있다. 상기 제3 rPPG 획득 모델(1700e)에 이미지 정보(1710), MPPG(1720), 및 추가 학습 정보(1730)(예: 부가 정보(1731), 환경 데이터(1733))가 입력됨에 따라 출력되는 rPPG(1740)가 제3 PPG 획득 모델(1700f)에 입력됨으로써 출력되는, PPG(1750)가 획득될 수 있다.

다양한 실시예들에 따르면, 학습 서버(20a)는, PPG를 획득하기 위한 단일의 통합 인공 지능 모델(예: 제1 통합 인공 지능 모델(1800))을 러닝할 수도 있다. 예를 들어, 도 18a를 참조하면, 학습 서버(20a)는 이미지 정보(1710), MPPG(1720), 및 추가 학습 정보(1730)를 입력 데이터로 하고, PPG(1740)를 출력 데이터로 하여 러닝함으로써, 제1 통합 인공 지능 모델(1800)을 획득할 수 있다. 상기 제1-1 통합 인공 지능 모델(1800a)은, 이미지 정보(1710), MPPG(1720), 및 추가 학습 정보(1730)(예: 부가 정보(1731), 환경 데이터(1733))가 입력되는 경우, PPG(1750)를 출력하도록 구현될 수 있다. 한편, 기재된 예에 제한되지 않고, 상기 제1-1 통합 인공 지능 모델(1800a)은, 이미지 정보(1710), MPPG(1720), 및 추가 학습 정보(1730)(예: 부가 정보(1731), 환경 데이터(1733))가 입력되는 경우, rPPG(1720)를 출력하도록 구현될 수 있다.

다양한 실시예들에 따르면, 학습 서버(20a)는, PPG를 획득하기 위한 단일의 통합 인공 지능 모델(예: 제1 통합 인공 지능 모델(1800))을 러닝할 수도 있다. 예를 들어, 도 18b를 참조하면, 학습 서버(20a)는 이미지 정보(1710), PPG(1750), 및 추가 학습 정보(1730)를 입력 데이터로 하고, rPPG(1740) 또는 MPPG(1720)를 출력 데이터로 하여 러닝함으로써, 제1-2 통합 인공 지능 모델(1800b)을 획득할 수 있다. 상기 제1-2 통합 인공 지능 모델(1800b)은, 이미지 정보(1710), PPG(1750), 및 추가 학습 정보(1730)(예: 부가 정보(1731), 환경 데이터(1733))가 입력되는 경우, MPPG(1720) 또는 rPPG(1740)를 출력하도록 구현될 수 있다.

이하에서는, 다양한 실시예들에 따른, 학습 서버(20a)의 1507 동작의 적어도 일부로서, 시간 동기화 없이 인공 지능 모델을 생성하는 동작의 예를 설명한다.

도 19는, 다양한 실시예들에 따른, 학습 서버(20a)의 시간 동기화 없이 인공 지능 모델을 생성하는 동작의 예를 나타내는 흐름도이다. 도시된 및/또는 기재된 동작들의 순서와 무관하게 동작들이 수행될 수 있으며, 더 많은 동작들이 수행되거나 및/또는 더 적은 동작들이 수행될 수도 있다.

다양한 실시예들에 따르면, 학습 서버(20a)는, 동작 1901에서, 서로 다른 복수의 생체 신호들(예: rPPG, MPPG, PPG) 간의 시간 동기화 수행 없이, 트레이닝 데이터로서 복수의 생체 신호들(예: rPPG, MPPG, PPG)을 획득할 수 있다. 이에 따라, 학습 서버(20a)는, 시간 동기화가 수행되지 않은 복수의 생체 신호들(예: rPPG, MPPG, PPG)에 기반하여 전술한 적어도 하나의 인공 지능 모델(1700a 내지 1700f, 및 1800)을 학습하는 동작을 수행할 수 있다. 이에 따라, 구현된 적어도 하나의 인공 지능 모델(1700a 내지 1700f, 및 1800)은, 추후 전자 장치(10)에 의해 획득된 정보들이 시간 동기화되지 않은 상태에서 입력되더라도, 정확도 높은 PPG에 대한 정보를 출력하도록 구현될 수 있다.

이하에서는, 다양한 실시예들에 따른, 학습 서버(20a)의 또 다른 인공 지능 모델의 생성 동작의 예를 설명하기 위한 도면이다. 이하에서는, 상기 특정 종류의 생체 신호가 PPG인 것을 예로 들어 설명하나, 기재된 예에 제한되지 않고, 다양한 종류의 생체 신호를 측정하기 위한 인공 지능 모델이 구현될 수 있다.

다양한 실시예들에 따르면, 상기 복수의 생체 신호들(예: rPPG, MPPG, PPG) 사이의 시간 차이(td)는, 혈압과 같은 신체 정보를 측정하는 데에 이용될 수도 있다.

도 20은, 다양한 실시예들에 따른, 학습 서버(20a)의 또 다른 인공 지능 모델의 생성 동작의 예를 나타내는 흐름도이다. 도시된 및/또는 기재된 동작들의 순서와 무관하게 동작들이 수행될 수 있으며, 더 많은 동작들이 수행되거나 및/또는 더 적은 동작들이 수행될 수도 있다. 이하에서는, 도 21 내지 도 23을 참조하여, 도 20에 대해서 더 설명한다.

도 21은, 다양한 실시예들에 따른, 학습 서버(20a)가 인공지능 모델을 생성하기 위해, rPPG 및 PPG를 이용하는 동작의 예를 설명하기 위한 도면이다. 도 22는, 다양한 실시예들에 따른, 학습 서버(20a)가 인공지능 모델을 생성하기 위해, MPPG 및 PPG를 이용하는 동작의 예를 설명하기 위한 도면이다. 도 23은, 다양한 실시예들에 따른, 학습 서버(20a)에 의해 생성되는 적어도 하나의 인공 지능 모델의 일 예를 설명하기 위한 도면이다.

다양한 실시예들에 따르면, 학습 서버(20a)는, 동작 2001에서, 전자 장치(10)의 카메라(12)를 이용한 검체(S)에 대한 촬영에 기반하여, 특정 종류의 제1 생체 신호를 획득하고, 동작 2003에서 접촉 센서(예: 외부 측정 센서(600), 접촉 센서(15))에 기반하여 제2 생체 신호를 획득하고, 동작 2005에서, 상기 추가 학습 정보를 획득할 수 있다. 예를 들어, 학습 서버(20a)는, 인공지능 모델의 생성을 위해 rPPG, PPG, 및 MPPG를 모두 획득하는 것이 아니라, 도 21에 도시된 바와 같이 rPPG 및 PPG를 획득하거나, 또는 도 22에 도시된 바와 같이 rPPG 및 MPPG를 획득할 수 있다. 그 외에 중복되는 설명은 생략한다.

다양한 실시예들에 따르면, 학습 서버(20a)는, 동작 2007에서, 복수의 생체 신호들 및 상기 추가 학습 정보 중 적어도 일부에 기반하여, 상기 특정 종류의 생체 신호를 획득하기 위한 적어도 하나의 모델(2300a, 2300b, 2300c, 2300d, 2300e)을 획득할 수 있다. 예를 들어, 학습 서버(20a)는, 결과적으로 MPPG에 대한 정보 또는 PPG에 대한 정보를 출력하도록 구현되는 적어도 하나의 인공 지능 모델을 생성할 수 있다.

또 일 실시예에서, 도 23의 (a)를 참조하면, 학습 서버(20a)는 비-접촉 PPG(rPPG)를 획득하기 위한 인공 지능 모델(예: 제4 rPPG 획득 모델(2300a)) 및 PPG(2301)(예: MPPG, 또는 PPG)를 획득하기 위한 인공 지능 모델(예: 제4 PPG 획득 모델(2300b))을 러닝하도록 구현될 수 있다. 예를 들어, 학습 서버(20a)는, 데이터베이스(24a) 내에 저장된 서로 연관된 정보들 중에서, 카메라(12)에 의해 촬영된 이미지 정보(1710)를 입력 데이터로 하고, rPPG(1740)를 출력 데이터로 하여 러닝함으로써, 제4 rPPG 획득 모델(2300a)을 획득할 수 있다. 상기 제4 rPPG 획득 모델(2300a)는 이미지 정보(1710)가 입력되는 경우, rPPG(1740)를 출력하도록 구현될 수 있다. 한편, 기재된 예에 제한되지 않고, 제4 rPPG 획득 모델(2300a)은 도 9에서 전술한, G-R, 및 G-B에 기반하여 제3 특성 값을 획득하는 소프트웨어 및/또는 알고리즘일 수 있다. 또 예를 들어, 학습 서버(20a)는, 데이터베이스(24a) 내에 저장된 정보들 중에서, rPPG(1740) 및 추가 학습 정보(1730)를 입력 데이터로 하고, PPG(2301)(예: MPPG, 또는 PPG)를 출력 데이터로 하여 러닝함으로써, 제4 PPG 획득 모델(2300b)을 획득할 수 있다. 상기 제4 PPG 획득 모델(2300b)은, rPPG(1740) 및 추가 학습 정보(1730)(예: 부가 정보(1731), 환경 데이터(1733))가 입력되는 경우, PPG(2301)(예: MPPG, 또는 PPG)를 출력하도록 구현될 수 있다. 상기 제4 rPPG 획득 모델(2300a)에 이미지 정보(1710)가 입력됨에 따라 출력되는 rPPG(1740)와 함께 추가 학습 정보(1730)(예: 부가 정보(1731), 환경 데이터(1733))가 제4 PPG 획득 모델(2300b)에 입력됨으로써 출력되는, PPG(2301)(예: MPPG, 또는 PPG)가 획득될 수 있다.

또 일 실시예에서, 도 23의 (a)를 참조하면, 학습 서버(20a)는 비-접촉 PPG(rPPG)를 획득하기 위한 인공 지능 모델(예: 제4 rPPG 획득 모델(2300a)) 및 PPG(2301)(예: MPPG, 또는 PPG)를 획득하기 위한 인공 지능 모델(예: 제4 PPG 획득 모델(2300b))을 러닝하도록 구현될 수 있다. 예를 들어, 학습 서버(20a)는, 데이터베이스(24a) 내에 저장된 서로 연관된 정보들 중에서, 카메라(12)에 의해 촬영된 이미지 정보(1710)를 입력 데이터로 하고, rPPG(1740)를 출력 데이터로 하여 러닝함으로써, 제4 rPPG 획득 모델(2300a)을 획득할 수 있다. 상기 제4 rPPG 획득 모델(2300a)는 이미지 정보(1710)가 입력되는 경우, rPPG(1740)를 출력하도록 구현될 수 있다. 또 예를 들어, 학습 서버(20a)는, 데이터베이스(24a) 내에 저장된 정보들 중에서, rPPG(1740) 및 추가 학습 정보(1730)를 입력 데이터로 하고, PPG(2301)(예: MPPG, 또는 PPG)를 출력 데이터로 하여 러닝함으로써, 제4 PPG 획득 모델(2300b)을 획득할 수 있다. 상기 제4 PPG 획득 모델(2300b)은, rPPG(1740)가 입력되는 경우, PPG(2301)(예: MPPG, 또는 PPG)를 출력하도록 구현될 수 있다. 상기 제4 rPPG 획득 모델(2300a)에 이미지 정보(1710)가 입력됨에 따라 출력되는 rPPG(1740)가 제4 PPG 획득 모델(2300b)에 입력됨으로써 출력되는, PPG(2301)(예: MPPG, 또는 PPG)가 획득될 수 있다.

또 일 실시예에서, 도 23의 (b)를 참조하면, 학습 서버(20a)는 비-접촉 PPG(rPPG)를 획득하기 위한 인공 지능 모델(예: 제5 rPPG 획득 모델(2300c)) 및 PPG(2301)(예: MPPG, 또는 PPG)를 획득하기 위한 인공 지능 모델(예: 제5 PPG 획득 모델(2300d))을 러닝하도록 구현될 수 있다. 예를 들어, 학습 서버(20a)는, 데이터베이스(24a) 내에 저장된 서로 연관된 정보들 중에서, 카메라(12)에 의해 촬영된 이미지 정보(1710) 및 추가 학습 정보(1730)를 입력 데이터로 하고, rPPG(1740)를 출력 데이터로 하여 러닝함으로써, 제5 rPPG 획득 모델(2300c)을 획득할 수 있다. 상기 제5 rPPG 획득 모델(2300c)는 이미지 정보(1710) 및 추가 학습 정보(1730)(예: 부가 정보(1731), 환경 데이터(1733))가 입력되는 경우, rPPG(1740)를 출력하도록 구현될 수 있다. 또 예를 들어, 학습 서버(20a)는, 데이터베이스(24a) 내에 저장된 정보들 중에서, rPPG(1740)를 입력 데이터로 하고, PPG(2301)(예: MPPG, 또는 PPG)를 출력 데이터로 하여 러닝함으로써, 제5 PPG 획득 모델(2300d)을 획득할 수 있다. 상기 제5 PPG 획득 모델(2300d)은, rPPG(1740)가 입력되는 경우, PPG(2301)(예: MPPG, 또는 PPG)를 출력하도록 구현될 수 있다. 상기 제5 rPPG 획득 모델(2300c)에 이미지 정보(1710)가 입력됨에 따라 출력되는 rPPG(1740)가 제5 PPG 획득 모델(2300d)에 입력됨으로써 출력되는, PPG(2301)(예: MPPG, 또는 PPG)가 획득될 수 있다.

다양한 실시예들에 따르면, 학습 서버(20a)는, PPG를 획득하기 위한 단일의 통합 인공 지능 모델(예: 제2 통합 인공 지능 모델(2300e))을 러닝할 수도 있다. 예를 들어, 도 23의 (c)를 참조하면, 학습 서버(20a)는 이미지 정보(1710), MPPG(1720), 및 추가 학습 정보(1730)를 입력 데이터로 하고, PPG(2301)(예: MPPG, 또는 PPG)를 출력 데이터로 하여 러닝함으로써, 제2 통합 인공 지능 모델(2300e)을 획득할 수 있다. 상기 제2 통합 인공 지능 모델(2300e)은, 이미지 정보(1710), MPPG(1720), 및 추가 학습 정보(1730)(예: 부가 정보(1731), 환경 데이터(1733))가 입력되는 경우, PPG(2301)(예: MPPG, 또는 PPG)를 출력하도록 구현될 수 있다.

이하에서는, 다양한 실시예들에 따른, 전자 장치(10)의 인공 지능 모델을 이용하여, 비-접촉식 방식으로 획득된 정보에 기반하여 접촉식 방식과 유사한 정확도의 생체 신호를 제공하는 동작의 예를 설명하기 위한 도면이다. 이하에서는, 상기 특정 종류의 생체 신호가 PPG인 것을 예로 들어 설명하나, 기재된 예에 제한되지 않고, 다양한 종류의 생체 신호를 측정하기 위한 인공 지능 모델이 구현될 수 있다.

도 24는, 다양한 실시예들에 따른, 전자 장치(10)의 인공 지능 모델을 이용하여, 접촉식 방식과 유사한 정확도의 생체 신호를 제공하는 동작의 예를 설명하기 위한 흐름도이다. 도시된 및/또는 기재된 동작들의 순서와 무관하게 동작들이 수행될 수 있으며, 더 많은 동작들이 수행되거나 및/또는 더 적은 동작들이 수행될 수도 있다. 이하에서는, 도 25를 참조하여, 도 24에 대해서 더 설명한다.

도 25는, 다양한 실시예들에 따른, 전자 장치(10)의 인공 지능 모델을 이용하여, 접촉식 방식과 유사한 정확도의 생체 신호를 제공하는 동작의 설명하기 위한 도면이다.

다양한 실시예들에 따르면, 전자 장치(10)는, 동작 2401에서, 어플리케이션을 실행할 수 있다. 예를 들어, 상기 어플리케이션은, 비-접촉식 방식으로 사용자(U)의 신체 일부(즉, 검체)에 대한 정보를 획득한 것에 기반하여, 접촉식 방식의 정확도를 갖는 생체 신호에 대한 정보 및/또는 상기 생체 신호에 기반하여 분석되는 생체 정보(예: 혈압, 혈당 등)를 제공하도록 구현된 어플리케이션일 수 있다.

다양한 실시예들에 따르면, 전자 장치(10)는, 동작 2403에서, 추가 학습 정보를 획득할 수 있다. 예를 들어, 상기 전자 장치(10)는 추가 학습 정보로서, 개인 정보를 획득할 수 있다. 상기 개인 정보(예: 성별, 나이, 연령, 인종 등)에 대한 정보를 입력하기 위한 어플리케이션의 실행 화면을 표시하고, 상기 실행 화면을 통해 입력되는 사용자의 특성 정보를 저장하고, 및/또는 서버(20)(예: 이용 서버(20b))로 전송할 수 있다. 상기 어플리케이션의 실행 화면은, 사용자의 가입 시 제공되는 실행 화면, 및/또는 사용자의 개인 정보를 입력하기 위한 실행 화면일 수 있다. 한편 기재된 예에 제한되지 않고, 상기 전자 장치(10)는, 추가 학습 정보로서 카메라 정보, 촬영 정보, 및/또는 이미지 정보를 획득할 수 있다.

다양한 실시예들에 따르면, 전자 장치(10)는, 동작 2405에서, 전자 장치(10)의 카메라(12)를 이용하여 복수의 이미지들을 획득하고, 동작 2407에서 전자 장치(10)의 접촉 센서(15)를 이용하여 센싱 데이터를 획득할 수 있다. 예를 들어, 도 21에 도시된 바와 같이, 전자 장치(10)는, 사용자로 하여금 카메라(12)를 이용하여 사용자의 얼굴을 촬영하면서, 접촉 센서(15)에 신체 일부(예: 손가락)를 접촉시키도록 가이드하기 위한 어플리케이션의 실행 화면(2501)을 표시할 수 있다. 상기 실행 화면(2501)은, 사용자의 얼굴이 표시되는 영역(2501a), 가이드하기 위한 텍스트(예: “센서에 손가락을 접촉하고 얼굴을 촬영합니다.”)가 표시되는 영역(2501b), 및 사용자의 촬영 환경에 대한 정보(예: 전자 장치(10)와 얼굴과의 거리, 위치, 기울기, 조도 등)가 표시되는 영역(2501c)을 포함할 수 있다. 이에 따라, 전자 장치(10)는, 카메라(12)를 이용하여 사용자의 얼굴을 포함하는 복수의 이미지들을 획득하고, 후면에 배치되는 접촉 센서(15)를 이용하여 센싱 데이터를 획득하며, 촬영 시 추가 학습 정보(예: 환경 센서(16)에 의해 획득되는 환경 데이터, 및 부가 정보)를 획득할 수 있다. 한편 전술한 바와 같이, 상기 부가 정보는 개인 정보, 카메라 정보, 촬영 정보, 및/또는 이미지 정보를 포함할 수 있다. 전자 장치(10)는, 상기 획득된 정보들을 서버(20)(예: 이용 서버(20b))로 전송할 수 있다.

다양한 실시예들에 따르면, 어플리케이션은, 실행 시, 전자 장치(10)의 카메라(12), 접촉 센서(15), 및 환경 센서(14)를 구동하고, 각각에 대한 권한을 가지도록 구현될 수 있다.

다양한 실시예들에 따르면, 전자 장치(10)는, 동작 2409에서, 상기 복수의 이미지들, 상기 센싱 데이터, 및 상기 추가 학습 정보에 기반하여, 특정 종류의 생체 신호를 획득하고, 동작 2411에서, 상기 특정 종류의 생체 신호에 대응하는 적어도 하나의 생체 정보를 획득할 수 있다. 예를 들어, 이용 서버(20b)는, 전술한 바와 같이, 러닝된 적어도 하나의 인공 지능 모델(예: 도 17의 인공 지능 모델(1700a 내지 1700f), 도 18의 인공 지능 모델(1800), 도 23의 인공 지능 모델(2300a 내지 2300e))에, 수신된 정보를 입력한 것에 대한 응답으로, 최종적으로 출력되는 PPG를 획득할 수 있다. 결과적으로, 상기 PPG는, 접촉식 방식의 정확도를 가질 수 있다. 또, 상기 이용 서버(20b)는, 상기 PPG에 기반하여, 사용자의 신체 정보(예: 혈압, 심박수 정보)를 획득할 수 있다. 결과적으로, 상기 전자 장치(10)는, 상기 이용 서버(20b)로부터, 상기 PPG에 대한 정보, 및/또는 상기 사용자의 신체 정보(예: 혈압)를 수신하고, 어플리케이션의 실행 화면(2503)에 표시할 수 있다. 예를 들어, 상기 실행 화면(2503)은, 심박수에 대한 정보(2503a), 및 혈압에 대한 정보(2503b)를 포함할 수 있다.

이하에서는, 다양한 실시예들에 따른, 전자 장치(10)의, 2403 동작 중 적어도 일부로, 촬영을 가이드하는 동작의 예를 설명하기 위한 도면이다.

도 26은, 다양한 실시예들에 따른, 전자 장치(10)의 촬영을 가이드하는 동작을 설명하기 위한 흐름도이다. 도시된 및/또는 기재된 동작들의 순서와 무관하게 동작들이 수행될 수 있으며, 더 많은 동작들이 수행되거나 및/또는 더 적은 동작들이 수행될 수도 있다. 이하에서는, 도 27을 참조하여, 도 26에 대해서 더 설명한다.

도 27은, 다양한 실시예들에 따른, 전자 장치(10)의 촬영을 가이드하는 동작의 예를 설명하기 위한 도면이다.

다양한 실시예들에 따르면, 전자 장치(10)는, 동작 2601에서, 촬영을 위한 어플리케이션의 실행 화면을 표시할 수 있다. 예를 들어, 도 27에 도시된 바와 같이, 전자 장치(10)는, 촬영을 위한 어플리케이션의 실행 화면(2701)을 제공할 수 있다.

다양한 실시예들에 따르면, 전자 장치(10)는, 동작 2603에서, 특정 조건이 만족되는지 여부를 판단하고, 특정 조건이 만족되는 경우(2603-Y), 동작 2605에서 적어도 하나의 카메라 파라미터(예: 셔터 스피드, FPS, 촬영 해상도 등)가 특정 값으로 설정된 상태에서, 촬영을 수행할 수 있다. 예를 들어, 전자 장치(10)는, 특정 조건을 만족을 판단하는 동작의 적어도 일부로, 전자 장치(10)의 환경 센서(16)를 이용하여, 촬영되는 주변 환경과 연관된 정보(예: 조도 등) 및/또는 촬영 시 전자 장치(10)의 상태와 연관된 정보(예: 위치, 기울기 등)가 특정 조건을 만족하는 지 여부를 판단 할 수 있다. 일 예로, 도 27에 도시된 바와 같이, 전자 장치(10)는, 전자 장치(10)의 위치가 특정 위치(예: 제2 위치)를 만족하는지 여부를 판단할 수 있다. 전자 장치(10)는, 상기 전자 장치(10)의 위치가 특정 위치(예: 제2 위치)인 경우에, 카메라(12)를 이용하여 촬영을 수행할 수 있다. 이에 따라, 비-접촉식 방식으로 획득되는 이미지의 편차가 감소되어, PPG의 정확도가 보다 향상될 수 있다.

다양한 실시예들에 따르면, 도 27에 도시된 바와 같이, 전자 장치(10)는, 촬영을 위한 어플리케이션의 실행 화면(2701) 상에, 위치에 대한 정보(예: 제1 위치, 및 제2 위치)를 갱신하여 제공함으로써, 사용자가 인지하도록 할 수 있다.

다양한 실시예들에 따르면, 상기 촬영 시 적어도 하나의 카메라 파라미터(예: 셔터 스피드, FPS 등)가 특정 값으로 설정될 수 있다. 예를 들어, 상기 FPS가 초당 20 내지 30의 범위로, 동영상이 촬영되도록 상기 카메라 파라미터가 설정될 수 있다.

이하에서는, 다양한 실시예들에 따른, 서버(20)(예: 이용 서버(20b))의, 인공 지능 모델을 이용하는 동작의 예를 설명하기 위한 도면이다.

도 28은, 다양한 실시예들에 따른, 서버(20)(예: 이용 서버(20b))의, 인공 지능 모델을 이용하는 동작의 예를 설명하기 위한 흐름도이다. 도시된 및/또는 기재된 동작들의 순서와 무관하게 동작들이 수행될 수 있으며, 더 많은 동작들이 수행되거나 및/또는 더 적은 동작들이 수행될 수도 있다. 이하에서는, 도 29를 참조하여, 도 28에 대해서 더 설명한다.

도 29는, 다양한 실시예들에 따른, 서버(20)(예: 이용 서버(20b))의, 인공 지능 모델을 이용하는 동작의 예를 설명하기 위한 도면이다.

다양한 실시예들에 따르면, 이용 서버(20b)는, 동작 2801에서, 복수의 인공 지능 모델들 각각에 대응하는 적어도 하나의 입력 데이터를 획득하고, 동작 2803에서, 적어도 하나의 입력 데이터를 복수의 인공 지능 모델들 각각에 입력한 것에 대한 응답으로, 특정 종류의 복수의 생체 신호들을 획득할 수 있다. 예를 들어, 이용 서버(20b)는, 전술한 러닝된 적어도 하나의 인공 지능 모델(예: 도 17의 인공 지능 모델(1700a 내지 1700f), 도 18의 인공 지능 모델(1800), 도 23의 인공 지능 모델(2300a 내지 2300e))를 저장할 수 있다. 이때, 이용 서버(20b)는, 전자 장치(10)로부터 수신된 이미지 정보(1710), MPPG(1720), 및/또는 추가 학습 정보(1730)를 기반으로, 각 인공 지능 모델(예: 도 17의 인공 지능 모델(1700a 내지 1700f), 도 18의 인공 지능 모델(1800), 도 23의 인공 지능 모델(2300a 내지 2300e))에 연관된 입력 데이터를 입력함으로써, 출력되는 복수의 PPG들을 획득할 수 있다.

다양한 실시예들에 따르면, 이용 서버(20b)는, 동작 2805에서, 상기 특정 종류의 상기 복수의 생체 신호들에 기반하여, 상기 특정 종류의 특정 생체 신호를 획득할 수 있다. 일 실시예에서, 이용 서버(20b)는, 상기 복수의 PPG들 중에서 가장 신뢰도가 높은 것으로 결정되는, 특정 PPG를 선택하고, 상기 특정 PPG에 대한 정보 및/또는 신체 정보를 전자 장치(10)로 제공할 수 있다. 또 일 실시예에서, 이용 서버(20b)는, 상기 복수의 PPG들에 기반하여 소정의 계산(예: 평균)을 수행함으로써, 특정 PPG에 대한 정보를 획득하고, 상기 특정 PPG에 대한 정보 및/또는 신체 정보를 전자 장치(10)로 제공할 수 있다. 또 일 실시예에서, 이용 서버(20b)는, 상기 복수의 PPG들 중 사용자에게 가장 적합한 인공 지능 모델에서 출력되는 특정 PPG를 선택하고, 상기 특정 PPG에 대한 정보 및/또는 신체 정보를 전자 장치(10)로 제공할 수 있다.

Claims

전자 장치로서,
통신 회로; 및
적어도 하나의 프로세서;를 포함하고,
상기 적어도 하나의 프로세서는:
상기 통신 회로를 통해, 제1 외부 전자 장치의 카메라를 이용하여 획득되는 사용자의 얼굴을 포함하는 복수의 이미지들을 획득하고,
상기 통신 회로를 통해, 상기 복수의 이미지들을 획득하는 동안 상기 제1 외부 전자 장치에 의해 획득된 촬영과 연관된 촬영 정보를 획득하고,
상기 통신 회로를 통해, 상기 복수의 이미지들을 획득하는 동안, 동시에 획득되는 상기 사용자의 제1 손의 제1 손가락에 접촉된 상기 제1 외부 전자 장치의 제1 센서에 기반하여 획득되는 특정 종류의 제1 생체 신호 및 상기 사용자의 제2 손의 상기 제1 손가락에 대응하는 제2 손가락에 접촉된 제2 외부 전자 장치에 기반하여 획득되는 상기 특정 종류의 제2 생체 신호를 획득하고,
상기 통신 회로를 통해, 상기 사용자의 개인 특성과 연관된 개인 정보를 획득하고,
상기 복수의 이미지들, 상기 촬영과 연관된 정보, 상기 제1 생체 신호, 상기 제2 생체 신호, 및 상기 개인 정보를 트레이닝 데이터로 하여 러닝을 수행함으로써, 적어도 하나의 인공 지능 모델을 획득하도록 설정되고,
상기 적어도 하나의 인공 지능 모델은, 상기 제1 외부 전자 장치의 카메라를 이용하여 획득되는 상기 복수의 이미지들, 상기 촬영과 연관된 정보, 상기 외부 전자 장치의 상기 제1 센서에 기반하여 획득되는 상기 제1 생체 신호에 대한 정보, 및 상기 개인 정보를 입력 받은 것에 대한 응답으로, 상기 제2 생체 신호에 대한 정보를 제공하도록 구현되는,
전자 장치.
삭제
제1 항에 있어서,
상기 촬영 정보는 상기 제1 외부 전자 장치의 촬영과 연관된 상태와 연관된 정보, 및 상기 제1 외부 전자 장치의 외부 환경과 연관된 정보를 포함하는,
전자 장치.
삭제
삭제
삭제
제1 항에 있어서,
상기 적어도 하나의 프로세서는:
상기 제1 생체 신호, 및 상기 제2 생체 신호의 시간 동기화를 수행하도록 설정된,
전자 장치.
제7 항에 있어서,
상기 적어도 하나의 프로세서는:
상기 복수의 이미지들에 기반하 식별되는 생체 신호를 기준으로, 상기 제1 생체 신호 및 상기 제2 생체 신호의 시간 동기화를 수행하도록 설정된,
전자 장치.
제7 항에 있어서,
상기 적어도 하나의 프로세서는:
상기 시간 동기화가 수행되지 않은 상태에서, 상기 적어도 하나의 인공 지능 모델을 생성하도록 설정된,
전자 장치.
전자 장치의 동작 방법으로서,
상기 전자 장치의 통신 회로를 통해, 제1 외부 전자 장치의 카메라를 이용하여 획득되는 사용자의 얼굴을 포함하는 복수의 이미지들을 획득하는 동작;
상기 통신 회로를 통해, 상기 복수의 이미지들을 획득하는 동안 상기 제1 외부 전자 장치에 의해 획득된 촬영과 연관된 촬영 정보를 획득하는 동작;
상기 통신 회로를 통해, 상기 복수의 이미지들을 획득하는 동안, 동시에 획득되는 상기 사용자의 제1 손의 제1 손가락에 접촉된 상기 제1 외부 전자 장치의 제1 센서에 기반하여 획득되는 특정 종류의 제1 생체 신호 및 상기 사용자의 제2 손의 상기 제1 손가락에 대응하는 제2 손가락에 접촉된 제2 외부 전자 장치에 기반하여 획득되는 상기 특정 종류의 제2 생체 신호를 획득하는 동작;
상기 통신 회로를 통해, 상기 사용자의 개인 특성과 연관된 개인 정보를 획득하는 동작; 및
상기 복수의 이미지들, 상기 촬영과 연관된 정보, 상기 제1 생체 신호, 상기 제2 생체 신호, 및 상기 개인 정보를 트레이닝 데이터로 하여 러닝을 수행함으로써, 적어도 하나의 인공 지능 모델을 획득하는 동작;을 포함하고,
상기 적어도 하나의 인공 지능 모델은, 상기 제1 외부 전자 장치의 카메라를 이용하여 획득되는 상기 복수의 이미지들, 상기 촬영과 연관된 정보, 상기 외부 전자 장치의 상기 제1 센서에 기반하여 획득되는 상기 제1 생체 신호에 대한 정보, 및 상기 개인 정보를 입력 받은 것에 대한 응답으로, 상기 제2 생체 신호에 대한 정보를 제공하도록 구현되는,
동작 방법.
삭제
제10 항에 있어서,
상기 전자 장치의 촬영과 연관된 촬영 정보는 상기 제1 외부 전자 장치의 촬영과 연관된 상태와 연관된 정보, 및 상기 제1 외부 전자 장치의 외부 환경과 연관된 정보를 포함하는,
동작 방법.
삭제
삭제
삭제