KR102313630B1

KR102313630B1 - 인공지능형 스마트 리모컨 장치 및 이를 이용한 자가 검사 방법

Info

Publication number: KR102313630B1
Application number: KR1020210054095A
Authority: KR
Inventors: 유재천
Original assignee: 성균관대학교산학협력단
Priority date: 2021-04-27
Filing date: 2021-04-27
Publication date: 2021-10-15
Also published as: WO2022231132A1

Abstract

본 발명은, 별도의 사용자 인증 절차 없이 사용자 인증이 가능할 뿐만 아니라, 생활속에서 리모컨 사용 중에 리모컨상에 설치된 바이오 센서들에 의해 사용자의 생체 신호를 측정하여 보관 및 관리하고, 이를 인공지능에 의해 자동 분석하여 사용자의 건강의 위험요소를 파악할 수 있는 스마트 리모컨 장치에 대한 것으로, 특히, 건강 관리의 주요 지표인 체열, 혈압, 혈당, 심장맥박, 산소포화도, 콜레스테롤, 체지방을 리모컨 사용 중에 리모컨상에 설치된 바이오 센서들에 의해 사용자의 건강 상태 측정 및 사용자 인증을 동시에 할 수 있어, 생활 속에서 사용자의 질병을 사전에 예방할 수 있는 인공지능형 스마트 리모컨 장치 와 이를 이용한 자가 검사 방법을 제공한다.

Description

인공지능형 스마트 리모컨 장치 및 이를 이용한 자가 검사 방법 {AI SMART REMOTE CONTROLLER APPARATUS AND SELF-EXAM METHOD USING THE SAME}

본원은, 생활 속에서 리모컨 사용 중에 리모컨 상에 설치된 바이오 센서에 의해 사용자의 건강 상태를 측정하여 보관 및 관리하고, 이를 인공지능에 의해 자동 분석하여 사용자의 건강의 위험요소를 파악할 수 있는 스마트 리모컨 장치에 대한 것으로, 특히, 건강관리의 주요 지표인 체열, 혈압, 혈당, 심전도, 산소포화도, 콜레스테롤, 체지방 등을 체크하기 위해 리모컨 사용 중에 리모컨 상에 설치된 바이오 센서에 의해 사용자의 건강 상태 측정 및 신분 인증을 동시에 수행할 수 있어, 생활 속에서 사용자의 질병을 사전에 예방할 수 있는 인공지능형 스마트 리모컨 장치와 이를 이용한 자가 검사 방법을 제공한다.

최근 첨단 의료장비 기술과 함께 병원 인프라 증대로 많은 사람들이 풍부한 의료혜택을 받으면서, 인류는 수명 연장과 함께 삶의 질 향상으로 과거보다 많은 행복을 도모하게 되었다.

그러나 현대 사회는 식생활 문화의 향상 및 운동 부족 그리고 고령화 사회로의 급속한 진행에 따라, 정기적인 건강검진의 필요성은 날로 중요시되어 가고 있다.

또한, 건강검진을 하기 위해서는 별도의 시간을 내야하는 불편함이 따르기 때문에 대부분은 건강에 이상이 생긴 경우 뒤늦게 병원을 찾고 있다.

따라서 우리가 수시로 생활 속에서 몸의 건강 상태를 파악할 수 있다면, 건강을 위협하는 많은 상황에 대해 미리 대처가 가능하다.

특히 체열, 혈압, 혈당, 심전도, 산소포화도, 콜레스테롤, 체지방은 우리 몸 상태를 잘 알려주는 생활 속 건강관리의 주요 지표로서, 이들을 수시로 관리하는 잘하는 경우 많은 질병을 사전에 예방할 수 있을 뿐만 아니라 보다 건강한 삶을 누릴 수 있을 것이다.

요즈음, 병원에 가지 않고서도 자신의 체지방, 혈당과 혈압을 언제 어디서나 확인할 수 있는 의료기기들이 많이 보급되어, 환자들은 자신의 집이나 사무실에서 이를 사용하고 있다. 그러나 이러한 의료기기들이 각기 다른 장소에 흩어져 있어, 일반인이 생활 속 건강관리의 주요 지표를 꾸준히 챙기는데 에는 많은 번거로움이 따른다. 예컨대 환자는 각각의 의료기기의 보관 장소로부터 일일이 의료기기를 꺼내서 사용해야 하는 번거로움은 둘째치고 라도, 사용시마다 매번 각각의 의료기기별로 사용자 인증을 해야 하는 불편이 따른다.

오늘날의 디지털 의료기기는 여러 사람 (예컨대 가족구성원)이 같이 사용하도록 허용할 뿐만 아니라, 각각의 환자로부터 측정된 데이터는 환자에 대한 지속적 추적 관찰을 위해 개인별로 저장 및 관리되고 있으며, 이를 위해 의료기기 사용 전에는 반드시 사용자 등록 및 인증 절차를 따라야 한다. 그러나 이 경우, 사용자는 사용시마다 매번 각각의 의료기기에 대해 사용자 인증을 수행해야 하는 불편이 따른다.

또한, 기존의 디지털 의료기기들은 측정 항목마다 각기 다른 제품의 디지털 의료기기들을 사용하기 때문에, 동일한 시점에서 측정된 동기화된 생체 신호들(예컨대, 심전도, PPG신호, 청진음 신호)을 얻기가 힘들다. 이들 생체신호가 환자의 바디 컨디션과 시간에 따라 수시로 변한다는 점을 고려하면 각기 다른 시점에 측정된 생체신호들을 이용해 진단한다는 것은 신뢰도를 떨어뜨릴 뿐만 아니라 부정확한 결과를 초래한다.

한편, 본 발명은 천정형 인공지능 건강 모니터링 장치 및 이를 이용한 원격 의료 진단 방법(출원번호: 10-2020-0055019), 자가 격리자 모니터링 장치 및 이를 이용한 방법(출원번호: 10-2020-0071282), 분산형 동선 추적 장치 및 이를 이용한 방법(출원번호:10-2020-0086171)과 인공지능형 무증상자 동선 추적 장치 및 이를 이용한 방법(출원번호:10-2021-0024156)의 연속이다.

본 발명은 전술한 종래 기술의 문제점을 해결하기 위해, 디지털 TV (또는 스마트 미러)의 기능을 제어하고, 생활 속에서 별도의 인증 절차 없이 사용자 인증이 이루어질 뿐만 아니라, 건강관리의 주요 지표인 체열, 혈압, 혈당, 심장맥박, 산소포화도, 콜레스테롤, 체지방을 수시로 간편하게 측정할 수 있는 바이오 센서를 구비한 스마트 리모컨, 및 이상징후가 발견된 경우 디지털 TV(또는 스마트 미러)와 연동하여 의사와의 인터넷 통신 연결을 통해 원격 의료 진단 서비스를 제공할 수 있는 인공지능형 스마트 리모컨 장치 및 이를 이용한 자가 검사방법을 제공하고자 한다.

또한, 본 발명은 동일한 시점에서 사용자의 몸으로부터 측정된 동기화된 생체신호를 인공지능 신경망의 입력신호로 사용하여 혈압 측정, 콜레스테롤 측정, 혈당 측정을 수행할 수 있는 인공지능형 스마트 리모컨 장치 및 이를 이용한 자가 검사방법을 제공하고자 한다.

다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 인공지능형 스마트 리모컨 장치는, 디지털 TV의 기능을 제어하기 위한 버튼 및 생체 신호 측정과 상기 생체신호 측정 동안 사용자 인증을 동시에 수행하는 바이오 센서를 포함하는 스마트 리모컨; 및 상기 디지털 TV를 음성 명령에 의해 제어하고, 상기 바이오 센서에 의해 측정된 생체 신호에 대한 의료 데이터를 수신하여 인공지능 신경망을 통해 분석하고, 의사와의 인터넷 통신 연결을 통해 원격 의료 진단 서비스를 제공하는 음성인식 단말기를 포함할 수 있다.

또한, 상기 스마트 리모컨은, 상기 바이오 센서로부터 생체 신호를 수집하는 생체 신호 수집부; 및 상기 수집된 생체 신호 중 사용자 인증이 완료된 유효한 생체신호를 수집하기 위한 생체신호 유효 판별 수단을 포함하고, 상기 음성인식 단말기는, 근거리 무선 통신 연결에 의해 복수의 의료기기로부터 측정된 의료 데이터 내지 상기 스마트 리모컨의 바이오 센서에 의해 측정된 의료 데이터를 수신하는 의료 데이터 수신부를 포함할 수 있다.

또한, 상기 음성인식 단말기는, 상기 의료 데이터를 인터넷망을 통해 서버에 전송하고, 상기 서버상의 인공지능 신경망 내지 전문가 시스템에 의해 분석된 상기 의료 데이터의 분석 결과를 피드백 받아 사용자에게 질병 유무와 질병의 위험도를 상기 디지털 TV를 통해 통지할 수 있다.

또한, 상기 인공지능 신경망은 상기 음성인식 단말기에 설치되는 인공지능 신경망 앱(app)일 수 있다.

본원의 일 실시예에 따르면, 인공지능형 스마트 리모컨 장치는, 생체 신호 측정과 상기 생체 신호 측정 동안 사용자 인증을 동시에 수행하는 바이오 센서, 상기 바이오 센서로부터 생체 신호를 수집하기 위한 생체 신호 수집부, 상기 생체 신호 수집부에 의해 수집된 생체 신호 중 사용자 인증이 완료된 생체 신호 성분 중 유효한 생체신호 부분만을 걸러내는 생체신호 유효 판별 수단, 의료기기들에 의해 측정된 의료 데이터를 근거리 무선 통신 연결에 의해 수신한 의료데이터 내지 상기 생체 신호 수집부를 통해 얻어진 의료데이터를 저장하기 위한 의료 데이터 저장부; 상기 의료 데이터를 인터넷망을 통해 서버에 전송하고, 이후 상기 서버상의 인공지능 신경망 내지 전문가 시스템에 의해 상기 의료 데이터의 분석한 결과를 피드백 받기 위한 무선 통신 연결 수단; 및 상기 바이오 센서, 생체 신호 수집부, 의료데이터 저장부, 무선 통신 연결 수단을 제어하고 상기 의료 데이터의 분석한 결과를 터치 스크린을 통해 사용자에게 제공하는 스마트 리모컨 제어부를 포함하는 스마트 리모컨을 포함할 수 있다.

또한, 상기 터치스크린은, 리모컨 모드와 건강관리 모드 화면을 전환할 수 있는 메뉴버튼을 포함하고, 상기 리모컨 모드 동안에는 디지털 TV의 기능을 제어하기 위한 리모컨 선택 버튼들이 상기 터치 스크린 화면상에 표시되고, 상기 건강관리 모드 동안에는 건강관리 항목 중 하나를 선택하기 위한 메뉴 선택 버튼들이 상기 터치 스크린 화면상에 표시될 수 있다.

또한, 상기 스마트 리모컨 제어부는, 특정 건강관리 항목에 대해 유효한 생체 신호가 미리 설정된 기준 값 이하로 수집되는 경우, 상기 특정 건강관리 항목의 생체신호 측정을 요청하는 문자나 음성 메시지를 사용자에게 발송하거나 상기 특정 건강관리 항목을 집중 케어 항목에 등록시켜 사용자에게 자가 검사하도록 유도하거나 대화형으로 사용자에게 생체 신호 측정을 요구하는 생체신호 측정 요구 수단을 포함할 수 있다.

또한, 상기 스마트 리모컨의 좌우 측면에는 반사형 혈관 광센서 어레이 모듈을 포함하고, 상기 반사형 혈관 광센서 어레이 모듈은 복수개의 SpO₂센서 또는 복수개의 정맥 센서부를 포함하고, 사용자가 스마트 리모컨의 측면을 손가락으로 잡았을 때, 광 검출기에 의해 손가락의 내부에 있는 정맥의 혈관 패턴에 대한 정맥 이미지를 얻어 정맥 인증에 사용하거나 손가락의 동맥으로부터 산소 포화도와 PPG신호를 측정할 수 있다.

또한, 상기 스마트 리모컨의 상하 좌우측면에 설치된 지문 인증부; 및 상기 지문 인증부 접촉시, 상기 지문 인증부와의 동시 접촉을 제공하는 상기 지문 인증부의 외주 테두리를 감싸는 복수의 손 전극을 포함하고, 상기 지문 인증부는 사용자가 스마트 리모컨을 손으로 잡았을 때 사용자의 엄지손가락의 지문에 의해 지문 인증을 수행하고, 상기 복수의 손 전극을 체지방 측정을 위한 구동 전극과 검출 전극으로서 동작하거나 ECG센서의 제1전극을 형성할 수 있다.

또한, 상기 ECG센서는 상기 스마트 리모컨의 후면부에 설치되고, 심전도 측정은 상기 제1전극과 제2전극 간에 형성된 전압 신호를 증폭하여 측정하되, 상기 제2전극은 상기 ECG 센서가 피부에 접촉되었을 때 형성될 수 있다.

또한, 심전도 측정은 상기 제1전극과 제2전극 간에 형성된 전압 신호를 증폭하여 측정하되, 상기 제2전극은 상기 손의 반대편 손가락이 터치형 ECG센서에 접촉되었을 때 형성될 수 있다.

또한, 상기 터치형 ECG 센서는, 디스플레이 패널; 상기 디스플레이 패널에 적층되는 하층 투명필름; 상기 하층 투명필름상에 적층되는 상층 투명필름; 상기 상층 투명 필름상에 적층되는 ECG 센서; 상기 상층 투명필름과 하층 투명 필름을 분리하는 스페이서; 상기 하층 투명필름의 윗면에 형성되어, 터치시 X축의 좌표를 제공하는 제1 저항막 패턴; 상기 상층 투명필름의 하단에 형성되며 상기 제1 저항막 패턴과는 서로 수직으로 교차하도록 배열하여, 터치시 Y축의 좌표를 제공하는 제2 저항막 패턴; 상기 제1 저항막 패턴의 말단에 설치되는 복수의 X축 전극; 상기 제2 저항막 패턴의 말단에 설치되는 복수의 Y축 전극; 및 상기 ECG 센서의 한쪽 단말에 설치되는 ECG전극,을 포함할 수 있다.

또한, 상기 스마트 리모컨은, 상기 스마트 리모컨의 좌우 측면에는 반사형 혈관 광센서 어레이 모듈을 포함하고, 상기 반사형 혈관 광센서 어레이 모듈은 복수개의 SpO2센서로 구성되어, 사용자가 상기 스마트 리모컨의 측면을 손가락으로 잡았을 때 지문 인증과 동시에, 광 검출기에 의해 손가락의 동맥으로부터 산소 포화도와 PPG신호를 측정할 수 있다.

또한, 상기 스마트 리모컨은 후면부에 설치되는 청진기를 포함하고, 사용자가 상기 스마트 리모컨의 측면을 손가락으로 잡아 상기 청진기를 심장 부위에 접촉시, 상기 청진기에 의해 심장 및 폐의 내부에서 나오는 PCG신호를 계측과 동시에 지문 인증이 이루어질 수 있다.

또한, 상기 청진기는 디지털 TV를 음성 명령으로 제어하기 위한 마이크 입력으로 사용되고, 상기 스마트 리모컨 제어부는, 상기 청진기 사용 기간 동안 디지털 TV의 볼륨이 줄어들도록 제어하고, 청진기 사용 종료시에는 사용 전의 디지털 TV의 볼륨 크기로 자동 복귀되도록 할 수 있다.

또한, 상기 청진기의 박막 울림판 표면을 도전성 재료로 코팅하고, 상기 도전성 재료의 상측에 절연막을 코팅하여 ECG 전극면을 형성함으로써, 상기 청진기를 ECG 센서로 겸용할 수 있다.

또한, 상기 바이오 센서는 적외선 온도 센서, 카메라, 심전도를 측정하기 위한 ECG센서, 산소 포화도를 측정하기 위한 SpO2센서, 광전용적맥파(PPG, Photoplethysmography) 신호를 얻기 위한 PPG센서, 글루코스 광반사 신호들을 얻기 위한 혈당 센서, PCG 신호를 얻기 위한 청진기, 체지방 측정용 손 전극들 중 선택된 어느 하나 이상을 구비할 수 있다.

또한, 상기 인공 지능 신경망은 상기 생체신호 및 개인 신체 정보를 입력으로 하여, 혈압 측정용 인공지능 신경망, 콜레스테롤 측정용 인공지능 신경망, 혈당 측정용 인공지능 신경망, 심장 질환 측정부 중 선택된 어느 하나 이상을 포함할 수 있다.

또한, 상기 개인 신체 정보는 체지방 정보 및 표준 혈압치를 포함하고, 상기 표준 혈압치는 [수학식 1]에 적용하여 계산되고, 상기 인공지능 신경망은 생체 신호의 특징 벡터를 추출하는 딥 런닝 신경 회로망 및 LSTM(long Short term Memory)를 포함하고, [수학식 1]은

일 수 있다.

또한, 상기 인공 지능 신경망의 입력은 ECG 신호의 R지점을 기준으로 동기화된 생체 신호를 사용할 수 있다.

또한, 상기 생체신호는 ECG신호, PPG신호, PCG신호, SpO2, PTT, 글루코스 광 반사 정보를 포함할 수 있다.

또한, 상기 혈당 센서는, 터치 스크린상에 표시되는 가상의 손가락 패턴; 상기 가상의 손가락 패턴 상에 정렬된 사용자의 각각의 손가락 부위에 서로 다른 파장의 근 적외선을 조사하는 복수개의 근 적외선 발광소자; 및 상기 손가락 부위로부터 반사한 근 적외선을 수광하여 전기적 신호로 변환하는 광 센서를 포함하고, 상기 광 센서로부터 글루코스 광 반사 신호 정보를 획득할 수 있다.

또한, 상기 음성 인식 단말기 내지 스마트 리모컨 제어부는, 상기 생체 신호 및 의료 데이터의 변화 추이를 관찰하여 사용자에게 위험도를 알려주거나 집중케어 검사가 필요한 항목을 알려주거나 다음 검사 일정을 사용자에게 알려주는 건강 추적 관리부를 포함할 수 있다.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.

전술한 본원의 과제 해결 수단에 의하면, 별도의 사용자 인증 과정없이 사용자 인증이 될 뿐만 아니라, 생활속에서 리모컨 사용 중에 리모컨 상에 설치된 바이오 센서에 의해 사용자의 생체 신호를 측정함으로써, 건강관리의 주요 지표인 체열, 혈압, 혈당, 심장맥박, 산소포화도, 콜레스테롤, 체지방을 리모컨 사용 중에 생활 속에서 관리함으로서 사용자의 질병을 사전에 예방할 수 있다.

또한, 본 발명의 스마트 리모컨에 의해 동일한 시점에서 사용자의 몸으로부터 측정된 동기화된 생체를 인공지능 신경망의 입력신호로 사용할 수 있어 정확한 혈압 측정, 콜레스테롤 측정, 혈당 측정이 가능하다.

다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.

도 1a 및 도 1b는 본원의 일 실시예에 따른 환자의 거주지 내의 일 영역에 설치되며, 음성 인식부와 음성 재생부를 구비하여 마이크를 통해 수집되는 음성 명령에 의해 디지털 TV를 제어하고 스피커를 통해 음성 피드백 서비스를 제공하는 음성 단말기의 일 실시예이다.
도 1c는 본원의 일 실시예에 따른 스마트 리모컨의 일 실시예이다.
도 2a 내지 도 2d는 본원의 일 실시예에 따른 적외선 온도센서, 카메라, 혈당 센서, 체지방 측정용 손 전극, ECG 센서, 청진기 중 선택된 어느 하나를 구비한 바이오 센서를 스마트 리모컨상에 집적화한 일실시예를 나타낸 도면이다.
도 2e는 본원의 일 실시예에 따른 손(800)으로 스마트 리모컨을 쥐고 있는 사용자의 손가락들의 정맥 혈관 패턴의 정맥 이미지들을 인식하여 정맥 인증하는 일 실시예를 나타낸 도면이다.
도 3은 본원의 일 실시예에 따른 손으로 스마트 리모컨을 쥐고 있는 사용자의 손바닥의 정맥 혈관 패턴의 정맥 이미지를 인식하여 인증하는 실시예이다.
도 4는 본원의 일 실시예에 따른 스마트 리모컨 상에 집적화된 적외선 온도센서를 사용하여 환자의 체열을 측정하는 여러 실시 예이다.
도 5는 본원의 일 실시예에 따른 스마트 리모컨 상에 설치된 손 전극들에 의해 체지방을 측정하는 체지방 측정부의 일실시예이다.
도 6a 내지 도 6c는 본원의 일 실시예에 따른 스마트 리모컨 상에 설치된 비 접촉 ECG센서에 의해 ECG 신호를 측정하는 일실시예이다.
도 7은 본원의 일 실시예에 따른 스마트 리모컨의 양쪽 좌우 측면에 설치된 반사형 혈관 광센서 어레이 모듈 내에 설치된 SpO2센서를 이용한 산소 포화도 및 PPG신호 측정부 일실시예이다.
도 8은 본원의 일 실시예에 따른 엄지손가락을 통해 지문 인증이 이루어지도록 사용자가 스마트 리모컨을 잡으면, 자연스럽게 엄지를 제외한 나머지 손가락들은 반사형 혈관 광센서 어레이 모듈과 접촉이 이루어져, 스마트 리모컨 사용 동안 생활속에서 사용자의 산소포화도 와 PPG신호를 계측하는 일실시예이다.
도 9는 본원의 일 실시예에 따른 스마트 리모컨 상에 설치된 혈당 센서에 의해 사용자의 손가락으로부터 비침습적으로 글루코스 광 반사 신호를 얻는 일실시예이다.
도 10은 본원의 일 실시예에 따른 스마트 리모컨의 후면부에 설치된 청진기의 일 실시예이고,
도 11a 내지 도 11d는 본원의 일 실시예에 따른 스마트 리모컨 상에 설치된 바이오 센서로부터 얻어진 생체 신호를 이용하여 혈압, 콜레스테롤, 혈당을 측정하기 위한 일 실시예이다.
도 12는 도 10의 실시예에 따른 스마트 리모컨 상의 청진기를 활용하여 태아의 건강 상태를 자가 검사할 뿐만 아니라, 원격으로 의사가 태아의 건강상태를 체크하기 위해 원격 의료 진단을 수행하는 실시예를 개략적으로 나타낸 도면이다.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 “간접적으로 연결”되어 있는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

이하 첨부된 도면을 사용하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.

이하, 본 발명에서의 인공지능형 스마트 리모컨 장치는 스마트 리모컨 장치와 혼용될 수 있다.

이하, 본 발명에서의 인공지능 신경망은 전문가 시스템을 포함한다.

이하, 본 발명에서의 혈압 측정부는 혈압 측정용 인공지능 신경망과 혼용되어 사용될 수 있다.

이하, 본 발명에서의 콜레스테롤 측정부는 콜레스테롤 측정용 인공지능 신경망과 혼용될 수 있다.

이하, 본 발명에서의 혈당 측정부는 혈당 측정용 인공지능 신경망과 혼용되어 사용될 수 있다.

본 발명의 인공지능 신경망은 혈압 측정용 인공지능 신경망, 콜레스테롤 측정용 인공지능 신경망, 혈당 측정용 인공지능 신경망, 심장 질환 측정부를 포함할 수 있다.

본 발명에서의 생체신호는 ECG신호, PPG신호, PCG신호, 산소포화도, PTT, 글루코스 광 반사신호 정보를 포함할 수 있다.

이하, 본 발명에서의 환자, 피 측정자 또는 사용자는 스마트 리모컨 사용자와 혼용되어 사용될 수 있다.

이하, 디지털 TV는 스마트 미러 내지 컴퓨터 모니터로 대체될 수 있다.

이하, 음성인식 단말기는 디지털 TV 내에 집적화되어 일체화될 수 있다. 따라서 음성인식 단말기는 디지털 TV, 스마트 미러, 컴퓨터 모니터와 혼용될 수 있다.

이하, 음성인식 단말기는 스마트 리모컨 내에 집적화되어 일체화될 수 있다.

이하, 개인 신체 정보(69f)는 체열, 성(sex), 나이, 키(body height), 몸무게, 표준 혈압치, 체지방 정보, HRV(heart Rate Variability) 중 적어도 어느 하나 이상을 선택한 정보인 것을 특징으로 한다.

도 1a 및 도 1b는 환자의 거주지 내의 일 영역에 설치되며, 음성 인식부(27a)와 음성 재생부(28a)를 구비하여 마이크(23)를 통해 수집되는 음성 명령에 의해 디지털 TV(300)를 제어하고 스피커(28)를 통해 음성 피드백 서비스를 제공하는 음성 단말기(17)의 일 실시예로, 외부 의료 기기들과 근거리 무선 통신 연결 (예컨대 NFC(Near Field Communication) 인터페이스, 블루투스, 사물 인터넷 또는 적외선 통신 연결)을 제공하는 디지털 통신 모듈(8), 상기 디지털 통신 모듈(8)을 통해 상기 의료기기들에 의해 환자로부터 측정된 의료 데이터를 수신하는 의료 데이터 수신부(12)를 포함한다.

본원의 일 실시예에 따르면, 음성 인식 단말기(17)는 음성 명령에 의해 디지털 TV(300)에 제어할 뿐만 아니라, 디지털 TV(300)를 통해 원격 의료 진단을 수행하는 것을 특징으로 한다.

상기 디지털 통신 모듈(8)은 의료 전문가와의 원격 의료 진단을 허여하는 인터넷 및 와이 파이 통신 연결을 제공하거나 외부 의료기기와의 근거리 무선 통신 연결을 제공한다.

본 실시예에서는 디지털 TV(300)는 스마트 미러로 대체되어 사용될 수 있다.

또한, 제어부(30)는 인공지능 신경망(16)으로부터의 의료 데이터 분석 결과를 가지고, 환자의 건강 상태에 따라 환자에게 건강관리에 대한 지침, 원격 의료 및 의료기기 사용법에 대한 가이드라인을 음성과 영상 서비스로 제공하기 위해, 상기 디지털 통신 모듈(8), 스피커(28) 와 디지털 TV(300)를 제어하는 것을 특징으로 한다.

또한, 제어부(30)는 상기 인공지능 신경망(16)으로부터의 의료 데이터 분석 결과를 가지고, 환자의 건강 상태에 따라 원격 의료 진단의 필요성을 판단하고, 필요한 경우 의사와 환자 간의 원격 의료 진단을 수행을 위해 디지털 통신 모듈(8), 스피커(28) 와 디지털 TV(300)를 제어한다.

본원의 일 실시예에 따르면 의료기기(430)는 환자의 검체 내지 환부로부터 측정된 의료 데이터를 의료 데이터 수신부(12) 내지 의료 데이터 저장부(15)에 송출하는 무선 송신부(예컨대 NFC 인터페이스부, 블루투스 통신 연결부 또는 적외선 통신 부)를 구비한 기기로서 스마트 리모컨(400), 헬스 케어 어플이 포함된 핸드폰, 스마트 워치, 안경형 스마트 기기, 초음파 스캐너, 열화상 카메라, 변기에 설치된 대변 검사기, 변기에 설치된 소변 검사기, 혈압 측정 장치, 혈당 측정기, 체중계, 인후통 내지 치아 상태를 보여주는 이미지 센서, 자동화된 혈액 분석기, DNA 증폭 검사 장치, 바이러스의 특이 항원을 이용해 진단하는 바이러스 진단 키트 기기, 바이오 마커(bio marker)를 사용한 래피드 테스트(Rapid test) 기기, 스마트 워치, 웨어러블(wearable) 기기, 암 진단 기기, POCT(Point of Care Testing) 기기 중 선택된 의료 기기 중 적어도 어느 하나를 포함할 수 있다.

스마트 리모컨(400)은 체온, 혈당, 체지방, 콜레스테롤, 심전도, 산소포화도, PCG신호, 혈압에 대한 의료데이터를 음성인식 단말기(17)의 의료 데이터 수신부(12)에 송출할 수 있다.

상기 웨어러블(wearable) 기기는 환자의 피부에 부착되는 패치(patch)형 웨어러블 기기가 선호되며, 패치 내에 내장된 센서에 의해 환자의 피부 표면에서 심전도, 혈압 콜레스테롤 또는 혈당을 비침습적으로 측정한 데이터를 블루투스 통신 연결을 통해, 의료 데이터 수신부(12) 내지 의료 데이터 저장부(15)에 무선 전송하는 것이 선호된다.

상기 패치형 웨어러블 기기는 혈당 센서를 내장한 패치를 피부에 테이프로 붙인 다음, 상기 패치에 스마트 리모컨(400)을 갖다 대면, NFC인터페이스에 의해 스마트 리모컨(400)에 내장된 리더기로 상기 패치에 동력을 공급해 혈액 내 물과 포도당의 비율을 측정해 혈당을 측정하여 스마트 리모컨(400)의 의료데이터 저장부(15)에 혈당 수치를 제공하는 기기일수 있다.

상기 패치형 웨어러블 기기의 또 다른 측면은 복부, 팔, 엉덩이 등 피하지방에 부착된 센서를 통해 세포 간질액(세포와 세포 사이를 채우는 액체 성분)의 포도당 농도를 주기적 간격으로 측정하여, 측정 결과를 근거리 무선 통신 연결을 통해 무선으로 의료 데이터 저장부(15) 내지 의료데이터 수신부(12)에 전송하는 연속혈당측정기(CGM, Continuous Glucose Monitoring) 일수 있다.

또한, 음성인식 단말기(17)는, 의료 데이터 수신부(12)에 의해 수집된 환자의 온도가 비정상적인 체열 온도인 경우, 이상 체열 의심 대상자로 판별하기 위한 체열 진단부(19)를 포함할 수 있다.

또한, 음성인식 단말기(17)는 바이오 센서 및 의료기기에 의한 주기적 검사에 따른 의료 데이터의 변화 추이를 관찰하여 환자(사용자)에게 위험도, 집중케어 검사가 필요한 항목 및 다음 검사 일정을 포함하는 부가정보를 환자에게 알려주는 건강 추적 관리부(11)를 포함할 수 있다.

또한, 디지털 TV(300)는 스마트 리모컨(400)로부터 수집된 의료 데이터를 모아, 정리 및 분석한 결과를 화면상에 표시해 주거나 건강 추적 관리부(11)에서 제공해주는 부가 정보를 표시하는 것이 선호된다.

도 1a는, 음성인식 단말기(17)가 인공지능신경망(16) 내지 전문가 시스템(18)을 내부에 구비하여, 스마트 리모컨(400)에 의해 측정된 의료 데이터를 의료데이터 수신부(12)에 의해 수신한 후, 이를 상기 인공지능신경망(16) 내지 전문가 시스템(18)에 의해 분석하여 질병의 위험도를 환자에게 통지할 수 있는 실시예를 보인다.

인공지능신경망(16)은 의료기기들에 의해 사전 수집된 학습용 의료 데이터들에 의해 딥런닝 학습된다.

이후, 음성 인식 단말기(17)는 의료기기들로부터 측정된 환자의 의료 데이터를 상기 기 학습된 인공 신경망(16)에 적용하여, 환자의 질병 유무와 질병의 위험도를 자동으로 판별할 수 있다.

또한, 음성인식 단말기(17)는 의료 데이터 수신부(12)에 의해 수집된 데이터에 대해 환자의 질병의 위험요소를 판별하기 위한 전문가 시스템(expert system, 18)을 포함할 수 있다.

상기 전문가 시스템(18)은 의료 전문가의 지적 활동과 경험을 통해서 축적된 지식과 의료 전문가에 의해 정의된 추론 규칙을 활용하여 결정을 내리거나 문제 해결을 하는 컴퓨터 응용 프로그램 일수 있다.

상기 인공지능 신경망(16)은 음성인식 단말기(17)상에 어플(application software)로서 설치되는 인공지능 신경망 앱(app) 일수 있다. 이 경우 의료 데이터 수신부(12)에 의해 수집된 데이터를 상기 인공지능 신경망 앱에 의해 분석하여 그 결과를 사용자에게 제공할 수 있다.

도 1b는, 음성인식 단말기(17)의 의료 데이터 수신부(12)가 스마트 리모컨(400)에 의해 측정된 의료 데이터를 수신하고, 이를 인터넷망을 통해 서버(server)에 재전송하고, 이후 음성인식 단말기(17)는 서버(13)상의 인공지능신경망(16) 내지 전문가 시스템(18)에 의해 분석된 결과를 피드백 받아 환자에게 환자의 질병 유무와 질병의 위험도를 통지하는 실시예를 보인다.

도 1c는 본 발명을 따르는 스마트 리모컨(400)의 일 실시예로, 생체 신호 측정과 상기 생체신호 측정 동안 사용자 인증을 동시에 수행하는 바이오 센서, 외부 의료기기(430)들에 의해 측정된 의료 데이터를 근거리 무선 통신 연결에 의해 수신하거나 바이오 센서(440)로부터 생체 신호 수집부(420)를 통해 얻어진 의료 데이터를 저장하기 위한 의료 데이터 저장부(15), 상기 의료 데이터를 인터넷(202)을 통해 서버(13)에 재전송하고, 이후 서버상의 인공지능 신경망(16) 내지 전문가 시스템(18)에 의해 상기 의료 데이터의 분석한 결과를 피드백 받기 위한 무선 통신 연결 수단(37); 및 상기 각부를 제어하고 의료 데이터의 분석한 결과를 터치 스크린(401)을 통해 사용자에게 제공하는 스마트 리모컨 제어부(53)를 포함한다.

상기 생체 신호 수집부(420)는 생체신호 유효 판별 수단(420a)을 구비하여, 바이오 센서(440)로부터 생체 신호 수집부(420)에 의해 수집된 생체 신호들 중 유효한 생체 신호를 판별하며, 스마트 리모컨(400)상의 바이오 센서(440)에 의해 수집된 생체 신호들 중 사용자 인증이 완료되고 동시에 유효한 생체신호 (ECG신호, PPG신호, 산소포화도, 글루코스 광 반사 신호 정보, PCG신호, 체지방, 체온)만을 걸러서 의료 데이터 저장부(15)에 저장한다.

다시 말해, 상기 생체 신호 수집부(420)는 바이오 센서(440)로부터 수집된 생체 신호들 중 사용자 인증이 완료된 생체 신호 성분 중 유효한 생체신호 부분만 걸러내는 역할을 하게 된다.

상기 생체신호 유효 판별 수단(420a)은 1-D(Dimension) 인공지능 신경망, LSTM(Long short time Memory), 자기 상관 계수(Auto Correlation Coefficient), 유효 범위 체크 방법, 표준(기준) 생체 신호의 특징 벡터와 수집된 생체 신호의 특징벡터와의 상호 상관 계수 중 선택된 어느 하나 이상의 기법을 사용하는 것이 선호된다.

바람직하게는, 상기 상호 상관 계수는 SSD(Sum of Squared Difference), SAD(Sum of Absolute Difference), Euclidean Distance, KNN (K-nearest neighbor algorithm), NCC(Normalized Cross Correlation) 중 어느 하나를 사용하여 두 성분 간에 유사도 내지 상관성 정도를 산출하는 것이 선호된다.

예컨대 표준(기준) 생체 신호의 특징 벡터와 바이오 센서(440)를 통해 수집된 생체 신호의 특징 벡터 간에 상호 상관 계수가 정해진 문턱치보다 큰 경우, 바이오 센서(440)를 통해 수집된 생체 신호는 유효한 생체 신호라 판단한다.

표준(기준) 생체 신호는 통계적으로 정상인의 생체 신호의 특성과 수치를 보여주는 생체 신호(ECG신호, PPG신호, 산소포화도, 글루코스 광 반사 신호 정보, PCG신호, 체지방, 체온)로, 표준(기준) 생체 신호의 특징 벡터는 정상인의 생체 신호에 대한 특성 벡터의 평균값들이 사용될 수 있으며 복수개의 표준(기준) 생체신호의 특징 벡터가 사용될 수 있다.

상기 생체 신호의 특징 벡터는 딥런닝 신경회로망(Deep learning Neural Network) 내지 주파수 영역의 스펙트럼(spectrum) 분석에 의해 추출될 수 있다.

예컨대 상기 딥런닝 신경회로망(Deep learning Neural Network)은 1-D CNN(Convolutional Neural Network)이 될 수 있다

상기 주파수 영역의 스펙트럼 분석에 의한 특징 벡터는, 1-D(Dimension) 인공지능 신경망, 주파수 성분 분석, STFT(Short time Fourier Transform), 웨이블릿 변환(Wavelet transform), MFCC(Mel-Frequency Cepstral Coefficient), Linear Prediction Codes(LPC), Mel-Frequency Cepstral Coefficient(MFCC), Mel-Coefficient, Preceptual Linear Prediction(PLP) 또는 Bark Frequency Cepstral Coefficients (BFCC)에 의해 추출 된 것 일수 있다.

예컨대, 1-D 인공지능 신경망 내지 LSTM에 의한 생체신호 유효 판별 수단(420a)은 유효 생체 신호 또는 무효 생체 신호로 표지된 ECG신호, PPG신호, PCG신호들을 이용하여 학습된 1-D 인공지능 신경망에 의해 피 측정자의 생체 신호의 유효성을 판별할 수 있다.

체온의 경우 유효범위는 10도에서 40도가 바람직하며, 이 범위 내의 체온이 1초 이상 같은 온도 상태를 유지되는 경우 유효한 체온 신호로서 인정되는 것이 바람직하다.

상기 사용자 인증은 지문 인식부(24,25,26,27) 내지 정맥 센서부(54a)에 의해 이루어 질 수 있다.

상기 바이오 센서(440)는 심전도 측정부(71), 산소 포화도 및 PPG신호 측정부(72), 체지방 측정부(70), 청진음 측정부(73)를 포함하며, 상기 심전도 측정부(71)는 심전도를 측정하기 위한 ECG센서(48), 산소 포화도 및 PPG신호 측정부(72)는 산소 포화도 및 광전용 적맥파 신호를 측정하기 위한 SpO2 센서(54b) 및 PPG센서, 청진음 측정부(73)는 심음 신호를 얻기 위한 청진기(44), 체지방 측정부(70)는 체지방을 측정하기 위한 복수의 손전극(24a,25a,26a,27a)을 포함한다.

또한, 스마트 리모컨 제어부(53)는 생체신호 측정 요구 수단을 구비하여 생체 신호 측정을 요구하는 터치스크린 문자나 음성 메시지를 사용자에게 전달할 수 있다.

예컨대 터치 스크린(401) 화면을 건강관리 항목으로 강제 전환한 후, 집중케어 항목을 점멸하거나, 음성 재생을 위한 스피커부(38a)와 음성인식을 위한 마이크부(38b)를 이용하여 대화형으로 사용자에게 생체신호 측정을 요구할 수 있다.

또한, 스마트 리모컨 제어부(53)는 생체 신호 및 의료 데이터의 변화 추이를 관찰하여 사용자에게 위험도를 알려주거나 집중케어 검사가 필요한 항목을 알려주거나 다음 검사 일정을 사용자에게 알려주는 건강 추적 관리부를 포함할 수 있다.

도 1c을 따르는 스마트 리모컨(400)의 또 다른 측면은, 서버(13)상의 인공지능 신경망(16)을 사용하는 대신에 스마트 리모컨 상에 상주하고, 어플(application software)로서 설치되는 인공지능 신경망 앱을 구비하여, 바이오 센서에 의해 측정된 의료 데이터를 분석하여 그 결과를 사용자에게 제공하는 것을 특징으로 한다.

이 경우 상기 인공지능 신경망 앱은 버전 업그레이드에 따라 스마트 리모컨의 성능 개선을 꾸준히 개선할 수 있는 장점을 제공한다.

도 1c을 따르는 스마트 리모컨(400)의 또 다른 측면은, 외부 의료기기(430)들에 의해 측정된 의료 데이터를 근거리 통신 연결에 의해 수신하거나 바이오 센서(440)로부터 생체 신호 수집부(420)를 통해 얻어진 의료 데이터를 저장하기 위한 의료 데이터 저장부(15) 및 상기 의료 데이터를 음성 인식 단말기(17)에 전송하기 위한 무선 통신 연결 수단(37)을 포함하고 음성 인식 단말기(17)는 상기 무선 통신 연결 수단(37)으로부터 제공 받은 의료 데이터를 인터넷(202)을 통해 서버(13)상의 인공지능 신경망(16) 내지 전문가 시스템(18)에 전송하고, 상기 인공지능 신경망(16) 내지 전문가 시스템(18)에 의해 분석된 결과를 피드백 받아 디지털 TV(300)을 통해 사용자에게 제공한다.

도 2a 내지 도 2d는 적외선 온도센서(29), 카메라(22), SpO2센서(54b), 혈당 센서(31), 체지방 측정용 손 전극(24a, 25a, 26a, 27a), ECG 센서(48), 청진기(44) 중 선택된 어느 하나를 구비한 바이오 센서를 스마트 리모컨(400) 상에 집적화한 일실시예로, 스마트 리모컨(400)에 의해 환자로부터 측정된 생체 신호를 근거리 무선 통신 연결에 의해 의료 데이터 수신부(12)에 무선 전송하거나 의료 데이터 저장부(15)에 저장할 수 있다.

도 2a의 (a)와 도 2b는 스마트 리모컨(400)의 정면도의 일실시예로, 스마트 리모컨(400)의 정면에 건강관리 항목을 선택하거나 리모컨 선택 버튼들을 표시하기 위한 터치 스크린(401)이 구비된다.

도 2a의 (a)는 리모컨 모드 동안에 디지털 TV(300)의 기능을 제어하기 위한 리모컨 버튼들이 터치 스크린(401)상에 표시된 리모컨 모드의 실시예이고, 도 2a의 (b)는 건강관리 모드시의 터치 스크린(401)상에 건강관리 항목들이 표시되는 실시 예이다.

스마트 리모컨(400)은 터치 스크린(401)상에 리모컨 모드와 건강관리 모드 화면을 서로 번갈아 가면서 전환하는 메뉴 버튼이 구비되고, 리모컨 모드 동안에는 디지털 TV(300)의 기능을 제어하기 위한 리모컨 선택 버튼들이 터치 스크린(401) 화면상에 표시되고, 건강관리 모드 동안에는 심전도 검사, 산소 포화도 검사, 혈당 검사, 체지방 검사, 콜레스테롤 검사, 혈압 검사 등을 포함하는 건강관리 항목 중 하나를 선택하기 위한 메뉴 선택 버튼들이 터치 스크린(401) 화면상에 표시될 수 있다.

본 발명에서, 리모컨 모드 동안에는 사용자 인증 및 심전도 검사, 산소 포화도 검사, 혈당 검사, 체지방 검사, 콜레스테롤 검사, 혈압 검사를 포함하는 건강관리 항목들에 대한 생체 신호의 의료 데이터 수집 및 전송이 무의식 중에 생활 속에서 자동으로 이루어지고, 인공지능 신경망은 이들 전송된 의료데이터를 분석하여 그 결과를 피드백하고, 스마트 리모컨(400)의 건강 추적 관리부는 집중 케어가 필요한 건강관리 항목을 발굴하고, 발굴된 집중 케어 항목에 대해 건강관리 모드를 통해 자가 검사하도록 유도하는 것이 선호된다.

또한, 스마트 리모컨 제어부(53)는 집중 케어 항목들을 터치 스크린(401)상에서 점멸하여 표시함으로써, 사용자에게 집중 케어 항목들을 자가 검사하도록. 생체신호 측정 요구를 할 수 있다.

도면 부호 39는 디지털 TV를 제어하기 위한 신호를 송출하는 리모컨 송신부이다.

도 2b는 스마트 리모컨(400)의 상하 좌우 측면에 설치된 지문 인증부(24,25,26,27)와 네개의 손 전극들(24a,25a,26a,27a)을 보인다.

상기 복수의 손 전극(24a, 25a, 26a, 27a)은 지문 인증부(24,25,26,27)의 외주 테두리를 금속 도체로 감싸는 형식으로 구성되며, 지문 인증 동안 손가락의 지문 부위가 손 전극에도 동시에 접촉되게 된다. 이때 이들 손 전극들은 체지방 측정 내지 심전도 측정 시에 바이오 센서로서 동작하게 된다.

손 전극들 (24a, 25a, 26a, 27a)의 후쿠(14a, 14b, 14c, 14d)는 연결 전극들(24b, 25b, 26b, 27b) 과의 조립 시 물리적으로 맞물려 체결되는 동시에 전기적으로 연결된다.

도 2c는 스마트 리모컨(400)의 후면도의 여러 실시예로, 스마트 리모컨(400)의 후면부에 청진기(44), ECG 센서(48)가 구비된다.

상기 청진기(44)는 디지털 TV(300)를 음성 명령으로 제어하기 위한 마이크 입력으로도 사용 가능하다. 이 경우, 디지털 TV(300)와 다소 동떨어진 곳에 마이크 입력이 있게 되어, TV소음의 혼입이 최소화되어, TV 온 상태에서도 디지털 TV(300)에 대한 음성 명령 제어에 유리하다.

또한, 스마트 리모컨 제어부(53)는 청진기(44) 사용 기간 동안 디지털 TV(300)의 볼륨이 자동으로 줄어들도록 제어하고, 심장이나 폐의 소리를 증폭하여 의료 데이터 수신부(12)에 전송하거나 의료 데이터 저장부(15)에 저장하는 것이 선호된다. 상기 청진기(44) 사용 기간 판단은 유효한 ECG 신호가 포착되었을 때로 산정하는 것이 선호된다

또한, 청진기 사용 종료시에는 사용 전의 디지털 TV(300)의 볼륨 크기로 자동 복귀되도록 하는 것이 선호된다

또한, 스마트 리모컨 제어부(53)는 청진기 사용 동안에는 청진기(44)를 제어하여 심장 소리(20Hz 내지 200Hz)에 적합한 벨(Bell) 모드, 폐 소리(200Hz 내지 1KHz)에 적합한 다이어프램(Diaphram) 모드, 상기 벨 모드와 다이어프램 모드를 합친 혼합 모드를 일정시간 간격으로 자동으로 절환하여 측정된 청진기 측정 데이터를 의료 데이터 수신부(12)에 전송하거나 의료 데이터 저장부(15)에 저장할 수 있다.

또한, 심전도 측정은 제1 전극과 제2 전극 간에 형성된 전압 신호를 증폭하여 측정하되, 상기 제1전극은 지문 인증이 이루어지도록 환자가 스마트 리모컨(400)의 지문 인증부(24,25,26,27)를 잡으면, 자연스럽게 엄지 손가락이 네개의 손 전극들(24a, 25a, 26a, 27a) 중 어느 하나와 접촉이 이루어져 형성되고, 상기 제2 전극은 ECG 센서(48)가 피부(예컨대 가슴)에 접촉되었을 때 형성된다.

이들 서로 이격된 두개의 전극(제1 전극과 제2 전극)을 통해 사용자의 심전도(ECG) 신호를 측정할 수 있다. 즉, 사용자가 스마트 리모컨(400)을 잡고 있는 동안, 엄지 손가락이 네개의 손 전극들(24a, 25a, 26a, 27a) 중 어느 하나와 접촉되어 형성된 제1 전극, 사용자의 신체의 다른 부분(예컨대 가슴)을 ECG센서(48)에 접촉 시켜 형성된 제2 전극, 이때 상기 제1 전극과 제2 전극 간에 형성된 전압 신호를 증폭하여 사용자의 심전도(ECG) 신호를 측정할 수 있다.

또한, 상기 ECG 센서(48)는 청진기(44)의 박막 울림판(44a) 표면을 도전성 재료로 코팅하고, 그 위에 다시 절연막 코팅하여 형성된 ECG 전극면으로 대체될 수 있으며, 이 경우 박막 울림판(44a)에 의해 심폐음 신호(PCG신호)와 심전도 신호가 동시에 수집된다.

심전도 측정의 또 다른 측면은 제1 전극과 제2 전극 간에 형성된 전압 신호를 증폭하여 측정하되, 제1전극은 사용자가 스마트 리모컨(400)을 잡고 있는 동안 스마트 리모컨(400) 측면에 설치된 손 전극들(24a, 25a, 26a, 27a) 중 어느 하나와 오른손 엄지손가락 간의 접촉에 의해 형성되고, 제2 전극은 ECG센서가 구비된 터치 스크린(터치형 ECG센서)과 왼쪽 손가락 간의 접촉에 의해 형성되는 것을 특징으로 한다. 이들 두개의 전극(제1전극과 제2 전극)을 통해 사용자의 심전도(ECG) 신호를 측정된다. 예컨대 TV시청 중 스마트 리모컨(400) 사용자는 TV의 기능을 선택하기 위해, 스마트 리모컨을 한 손으로 잡은 채 반대편 손가락(예를 들면, 검지)으로 터치 스크린(401) 상의 버튼을 빈번히 터치하게 된다.

이 경우, 엄지 손가락은 제1전극을 형성하고, 반대편 손의 검지는 제2 전극을 형성하기 때문에, 터치 스크린(401) 상의 버튼을 터치할 때마다, 상기 제1 전극 및 제2 전극을 통해 사용자의 심전도(ECG) 신호를 측정할 수 있다.

실시예 2는 실시예 1에 비해, 스마트 리모컨(400) 측면에 배치된 손 전극들(24a, 25a, 26a, 27a)의 표면적을 넓혀서, 사용자의 손과의 접촉면적을 극대화한 경우이다.

도 2d는 스마트 리모컨(400)의 측면도의 일실시예로, 스마트 리모컨(400)의 상하 좌우측면에 설치된 엄지손가락의 지문 인증을 수행하는 지문 인식부(24,25,26,27)를 구비하여, 누가, 언제 스마트 리모컨(400)을 잡고 사용 중인지 실시간으로 파악할 수 있다.

스마트 리모컨(400)의 지문 인식부(24,25,26,27)는 지문 인식 면적이 다소 적으나, 소수의 가족들간(10인 미만)의 개인 인증에는 실용상 문제가 없다.

본 실시예에서는 상하 좌우 네 곳에 엄지손가락의 지문의 인증을 위한 지문 인식 부(24,25,26,27)가 설치되어 있어, 사용자가 어떠한 방향으로 스마트 리모컨(400)을 손으로 잡아도, 네 곳 중 적어도 한곳의 지문 인식부에 엄지 손가락이 위치하게 되어, 스마트 리모컨(400)을 잡는 모양과 방향에 관계없이 지문 인증이 이루어 지도록 하였다.

본 발명의 지문 인식부(24,25,26,27)는 정전용량방식, 초음파식 또는 광학식 지문 인식 센서를 사용하는 것이 선호된다.

초음파식 지문인식센서는 지문 센서 창에 손가락을 갖다 대면 지문 인식 센서에서 초음파를 발사한 뒤, 지문의 굴곡을 맞고 돌아오는 시간을 측정하여 지문 이미지를 생성한 후, 기 등록된 지문 DB와 비교 정합(매칭)하여 입력된 지문을 인증하는 방식이다.

광학식은 이미지 센서에 의해 지문 이미지를 얻어, 기 등록된 지문 DB와 비교 정합(매칭)하여 ID를 인증하는 방식이다.

본 발명의 지문 인식부는 지문 이미지를 세선화 알고리즘(thinning algorithm)에 의해 지문 이미지상의 융선(ridge) 과 골(valley)을 명확히 한다. 또한, 상기 지문 인증을 위한 비교 정합은 융선과 골로부터 특징점(minutiae) 정보들을 추출하고, 기 등록된 지문 이미지의 특징점 정보들과 비교하여 지문 이미지들 간의 유사도(매칭 점수)를 판별하는 과정을 포함한다. 상기 특징점 정보는 특징점의 종류, 특징점이 위치한 융선의 방향, 지문 이미지 내의 특징점의 위치를 포함할 수 있다.

상기 특징점의 종류는 융선의 흐름이 끓기는 단점(ending point) 내지 융선이 갈라지는 분기점(bifurcation)을 포함한다.

또한, 지문 인식부(24,25,26,27)의 테두리에는 손 전극들(24a, 25a, 26a, 27a)이 구비되어 있어, 손가락의 지문 부위가 지문 인증부에 접촉되면 손 전극에도 동시에 되는 구조를 갖는다.

따라서, 사용자가 스마트 리모컨(400)을 손으로 잡고 있는 동안 지문 인증이 이루어지는 동시에 상기 손 전극들(24a, 25a, 26a, 27a)에 의해 사용자의 체지방 내지 ECG 신호 측정이 이루어 질 수 있다.

또한, 스마트 리모컨(400)의 좌우 측면에는 반사형 혈관 광센서 어레이 모듈(35,36)이 설치된다.

상기 반사형 혈관 광센서 어레이 모듈(35,36)은 복수개의 정맥 센서부(54a) 및 복수개의 SpO2센서(54b)로 구성될 수 있다.

상기 정맥 센서부(54a)는 근 적외선 LED(52a) 및 광 검출기(50)로 구성되며, 사용자가 스마트 리모컨(400)의 측면을 손가락(66)으로 잡았을 때 상기 광 검출기(50)에 의해 손가락(66)의 내부에 있는 정맥(56)의 혈관 패턴에 대한 정맥 이미지를 얻어 정맥 인증에 사용한다.

상기 SpO2센서(54b)는 적색광 LED(51a), 적외선 LED(51b), 광 검출기(50)로 구성되며, 사용자가 스마트 리모컨(400)의 측면을 손가락(66)으로 잡았을 때 상기 광 검출기(50)에 의해 손가락의 말초 혈관 동맥(55)으로부터의 산소 포화도를 측정한다.

본 발명의 정맥 센서부(54a)는 정맥 혈관 패턴 이미지를 얻기 위해 근적외선(예컨대 850nm)을 손가락(66)에 투사시키기 위한 근적외선 LED(52a), 이후 반사된 손가락의 정맥 이미지를 획득하기 위한 광 검출기(50)로 구성된다. 본 발명의 실시예에서는 정맥 이미지를 획득하기 위한 광 검출기(50)는 이미지 센서가 선호된다.

정맥에는 헤모글로빈성분이 포함되어 있기 때문에 근적외선을 흡수하는 성질을 가지고 있어, 정맥 이미지 상에서 정맥은 피부 영역에 비해 어두운 영상을 발생시킨다.

광 검출기(50)를 통해 얻어진 정맥 이미지에 대한 노이즈 제거 및 정맥 영역의 세선화 알고리즘(thinning algorithm)을 통해 정맥 이미지로부터 정맥 혈관 경로의 분기점들을 추출하여 분기점 집합을 형성한다.

본 발명의 정맥 인증은 정맥 이미지에서 추출된 분기점 집합과 기 등록된 다른 정맥 이미지의 분기점 집합간 유사도에 의해 매칭 점수 산정하여 사용자를 인증하는 것이 선호된다.

본 발명의 경우 동일인 판명을 위한 매칭 점수의 임계값(threshold value)은 스마트 리모컨(400)을 같이 공유하는 사용자수를 감안하여 조절될 수 있다.

본 발명의 산소 포화도 계측은 엄지손가락을 통해 지문 인증이 이루어지도록 사용자가 스마트 리모컨(400)을 잡으면, 자연스럽게 엄지를 제외한 나머지 손가락은 반사형 혈관 광센서 어레이 모듈(35,36)과 접촉이 이루어져, 스마트 리모컨(400) 사용 동안 생활 속에서 사용자의 산소포화도를 계측할 수 있다.

산소포화도(SpO2)는 적색광 LED(51a)와 적외선 LED(51b)을 한 주기씩 순차적으로 번갈아 발광시켜 손가락(66)의 말초 동맥 혈관(55) 부위에 조사한 다음 반사되어 광 검출기(50)에 의해 수광되는 광의 광량 변화를 관찰하여 측정될 수 있다.

본 발명의 산소 포화도는 반사형 혈관 광센서 어레이 모듈(35,36)과 접촉하는 검지(index finger), 중지(middle finger), 약지(ring finger) 손가락 중 어느 하나이상 손가락(66)을 사용하여 측정하는 것이 선호된다.

도 2e는 손(800)으로 스마트 리모컨(400)을 쥐고 있는 사용자의 손가락들(800b,800c, 800d, 800e)의 정맥 혈관 패턴을 보여주는 정맥 이미지들 (120b, 120c, 120d, 120e)을 인식하여 정맥 인증하는 일 실시예를 보인다. 근 적외선을 사용하여 혈관을 투시한 후 반사된 정맥 이미지를 템플릿 이미지와 비교하여 매칭 점수를 산정하여 스마트 리모컨(400) 사용자의 신분을 인증할 수 있다.

이 경우 정맥 이미지들(120b, 120c, 120d, 120e)중 매칭 점수가 가장 큰 정맥 이미지를 사용자 인증에 사용하는 것이 선호된다.

도 3(a) 내지 도 3(b)는 정맥 인증의 또 다른 실시예로 손(800)으로 스마트 리모컨(400)을 쥐고 있는 사용자의 손바닥(800f)의 정맥 혈관 패턴으로부터 정맥 이미지(120f)를 인식하여 인증하는 실시예를 보인다. 근 적외선을 사용하여 혈관을 투시한 후 반사된 정맥 이미지를 템플릿 이미지와 비교하여 매칭 점수를 산정하여 스마트 리모컨 사용자의 신분을 인증할 수 있다.

스마트 리모컨(400)의 후면에 배치된 정맥 센서부(54a)는 손바닥(800f)에 근 적외선을 투사시키기 위한 근적외선 LED(52a) 및 손바닥(800f)의 정맥 이미지를 획득하기 위한 광 검출기(50)로 구성되며, 사용자가 스마트 리모컨(400)을 잡았을 때 상기 광 검출기(50)에 의해 손바닥(800f)의 내부에 있는 정맥 혈관 패턴에 대한 정맥 이미지(120f)를 얻어 정맥 인증에 사용한다.

이 실시예의 경우, 청진기(44)의 박막 울림판(44a)의 표면을 도전성 재료로 코팅하고 그 위에 절연막을 입힘으로써 청진기(44)가 ECG 센서(48) 역할을 겸하는 것이 선호된다.

도 4는 스마트 리모컨(400) 상에 집적화된 적외선 온도센서(29)를 사용하여 환자의 체열을 측정하는 여러 실시 예를 보인다.

스마트 리모컨(400)과 음성인식 단말기(17) 간의 근거리 무선 통신 연결에 의해, 상기 적외선 온도센서(29)에 의해 측정된 환자의 온도 정보를 음성인식 단말기(17)의 의료 데이터 수신부(12)에 무선 전송한다.

스마트 리모컨(400) 상의 지문 인식부(24,25,26,27) 또는 정맥 센서부(54a)에 의해 온도 측정시 누가 온도를 측정하고 있는지를 근거리 무선 통신 연결을 통해 음성인식 단말기(17)에게 알려줄 수 있다.

환자는 온도 측정시 지문 인식 부(24,25,26,27)에 엄지손가락을 접촉하여 지문 인식이 원활이 잘 되도록 해야 한다.

상기 적외선 온도센서(29)는 스마트 리모컨(400)의 전면에 카메라(22)와 같이 배치되는 것이 선호된다.

또한, 적외선 온도센서(29)는 측정 대상에 접촉하지 않고 스마트 리모컨(400) 사용자로부터의 방사되는 적외선량으로 체열을 측정한다.

일예로, 적외선 온도 센서는 대상자(사용자의) 이마 부위로부터 3cm 내지 5cm 거리에서 체열을 측정할 수 있다.

또한, 카메라(22)는 환자의 얼굴 영역과 이마 영역 인식하여 적외선 온도 센서의 측정 위치와의 광학 정렬에 대한 가이드를 사용자에게 제공할 수 있다. 이때 사용자의 카메라 얼굴 화면에 얼굴 테두리의 묘사하는 선(line)을 중첩하여 터치 스크린(401) 화면에 표시하는 것이 선호된다.

광학 정렬이 제대로 이루어진 경우, 지문 인식부(24,25,26,27) 또는 정맥 센서부(54a)에 의해 인증된 사용자 ID 정보와 측정된 온도 값이 의료 데이터 수신부(12)에 무선 전송되어지고, 이때 음성인식 단말기(17)의 스피커(28)는 온도값 내지 측정 오류발생내역(측정 영역 오류, 인증 오류)에 대해 환자에게 음성 피드백하는 것이 선호된다.

도 4의 (a)는 디지털 TV(300)에 연결되는 음성인식 단말기(17)를 구비하고, 스마트 리모컨(400) 상의 적외선 온도센서(29)에 의해 사용자의 이마 부위에서 측정된 온도 값을 블루투스로 연결된 음성인식 단말기(17)에 전송하고, 체열 진단부(19)에 의해 환자의 체열의 이상 유무를 체크하는 일실시예를 보인다.

도 4의 (b)는 본 발명의 음성인식 단말기(17)가 디지털 TV(300) 내부에 내장 집적화되어 일체화된 경우를 보이며, 이 경우 디지털 TV(300)의 내부에는 디지털 통신 모듈(8), 의료데이터 수신부(12), 체열 진단부(19), 인공지능 신경망(16), 및 제어부(30) 가 포함될 수 있다.

도 4의 일 실시예에 따르면, 체열 진단부(19)는 얼굴인식부, 지문 인식부(24,25,26,27) 또는 정맥 센서부(54a)에 의해 사전 등록된 사용자 인지를 체크하여 신원 인증을 수행 후 활성화될 수 있다.

또한, 체열 진단부(19)는 사용자의 체열이 37.5도 이상인 경우 이상 체열 의심 대상자로 상정(결정)할 수 있다.

도 5의 (a)와 (b)는 스마트 리모컨(400) 상에 설치된 손 전극들(24a,25a, 26a, 27a)에 의해 체지방을 측정하는 체지방 측정부(70)의 일 실시예를 보인다.

체지방 측정을 위해 손 전극들(24a, 25a, 26a, 27a)은 구동 전극과 검출 전극으로 사용된다. 예컨대 손 전극들(24a, 25a)을 구동 전극으로 사용하는 경우, 나머지 손 전극들(26a, 27a)은 검출 전극으로 사용된다. 이하 구동 전극 (24a, 25a) 과 검출 전극(26a,27a)을 사용한 체지방 측정 방법을 설명하고자 한다.

사용자는 체지방 측정 동안 왼손의 엄지 손가락과 검지를 사용하여 상기 스마트 리모컨(400)의 왼쪽 편에 있는 구동 전극(24a, 25a)을 잡고, 동시에 오른손의 엄지손가락과 검지는 스마트 리모컨(400)의 오른쪽 편에 있는 검출 전극(26a, 27a)을 잡는다.

상기 구동 전극(24a, 25a)에 접한 사용자의 왼손 엄지손가락을 통해 통전되는 전류는 상기 검출 전극(26a, 27a)으로 통전시키고, 이 통전된 전류로부터 상기 사용자의 신체 내로 통전된 전류의 임피던스 값을 구한다.

예컨대, 체지방 측정부(70)는 피 측정자가 양손의 엄지와 검지를 이용해 구동 전극(24a, 25a)과 검출 전극(26a,27a)을 잡고 있는 동안, 미세한 전류(예컨대 약 500㎂)를 체내에 흘려 피 측정자의 몸의 전기 저항을 검출 전극(26a,27a)을 통해 측정함으로써 체지방률, 체질량지수(BMI: Body Mass Index), 근육량을 포함하는 체지방 정보를 얻고, 이를 의료 데이터 수신부(12)에 전송하는 것이 선호된다.

본 발명의 예시에 따르는 체지방 측정부(70)는 도 5의 (a)에 도시된 바와 같이, 사용자에 대한 생체 임피던스를 측정하기 위한 구동신호를 인가하는 구동전극(24a,25a), 구동전극(24a,25a)에 인가할 사인파(sine wave) 구동신호 (예컨대 10~ 50 KHz )를 생성하는 사인파 발진기(40), 인체를 통해 수신되는 신호를 검출하기 위한 검출전극(26a,27a), 검출전극(26a,27a)을 통해 수신된 신호의 실효치 전압을 검출하기 위한 RMS(Root-Mean-Square) 전압 검출기(41), RMS 전압 검출기의 출력을 디지털 신호로 변환하기 위한 AD 변환기(46) 및 음성 인식 단말기(17)와의 근거리 무선 통신 연결을 통해 상기 AD 변환기(46)에 의해 변환된 데이터를 스마트 리모컨 제어부(53)를 통해 의료 데이터 수신부(12)로 전송하는 무선 통신 연결 수단(37)으로 구성된다.

또한, 생체 신호 수집부(420)는 AD 변환기(46)에 의해 변환된 체지방 정보가 사용자 인증이 완료되었는지, 그리고 유효한 생체 신호인지를 판별하고, 스마트 리모컨 제어부(53)는 사용자 인증된 유효한 생체신호 정보만을 의료 데이터 저장부(15)에 저장하고 의료 데이터 수신부(12)로 전송할 수 있다.

도 5의 (b)에서 보듯이, 체지방 측정 동안 지문 인증이 이루어지도록 피 측정자가 손(800)으로 스마트 리모컨(400)을 잡으면, 자연스럽게 좌측 내지 우측 엄지손가락이 지문 인식부들(24,25,26,27)과 접촉이 이루어져 지문 인증과 함께 체지방 측정이 이루어진다.

도 6a 내지 도 6c는 스마트 리모컨(400) 상에 설치된 비 접촉 ECG센서(48)에 의해 ECG 신호를 측정하는 일실시예를 보인다. 본 발명의 ECG센서(48)는 Capacitive coupling에 허용하는 절연막(48a)과 ECG전극면(48b)으로 구성되며, 인체 피부 표면(47)과의 Capacitive coupling에 의해 심근 세포로부터 나오는 미세한 전기변동을 보여주는 ECG 신호를 센싱한다. 인체 피부 표면(47)은 가슴 부위의 피부 표면 내지 손가락 지문 부위가 선호된다. 상기 ECG 전극면(48b)은 도전성 구리 박막이 선호되며, ECG 전극(48c)을 통해 차동 증폭기(61)에 입력된다.

상기 ECG전극면(48b)은 절연막(48a)으로 코팅된다.

도 6a의 (a)는 ECG센서(48)가 스마트 리모컨(400)의 후면부에 설치되어, 인체 피부 표면(예컨대 가슴부위)과의 접촉시 Capacitive coupling에 의해 ECG신호를 획득하는 실시예로, 스마트 리모컨(400)의 사용자가 지문 인증이 이루어지도록 스마트 리모컨(400)을 잡으면, 자연스럽게 엄지손가락이 네 개의 손 전극들(24a, 25a, 26a, 27a) 중 어느 하나와 접촉이 이루어져 제1전극을 형성하고, ECG 센서(48)가 가슴부위에 접촉되어 제2 전극을 형성하게 된다. 이때 상기 제1전극과 제2전극은 서로 이격된 두 개의 전극을 형성하여, 사용자의 심전도(ECG) 신호를 측정할 수 있다.

도 6a의 (b)는 ECG센서(48)가 스마트 리모컨(400)의 전면에 있는 터치 스크린(401)과 일체화되어 형성되는 터치형 ECG센서(49)의 일실시예로, 터치 스크린(401) 터치시 마다 손가락과의 Capacitive coupling에 의해 ECG신호를 획득할 수 있다.

터치형 ECG센서(49)는 스마트 리모컨(400)의 전면(front face)에 터치스크린(401)과 ECG센서(48)를 일체화되어 배치됨으로써, 손가락 터치에 따른 접촉위치의 좌표에 대응하는 어플리케이션의 동작 제어가 가능할 뿐만 아니라, 사용자의 ECG 신호의 센싱도 동시에 이루어 진다.

예컨대, 스마트 리모컨(400)의 사용자가 지문 인증이 이루어지도록 스마트 리모컨(400)을 잡으면, 네 개의 손 전극들(24a, 25a, 26a, 27a) 중 어느 하나와 엄지 손가락과 접촉이 이루어져 제1전극을 형성하고, 이때 사용자가 반대편 손가락으로 터치 스크린(401)을 터치하는 순간, 터치스크린(401) 상의 일체화되어 있는 ECG 센서(48)와도 손가락이 접촉되어 제2 전극이 형성되어, 사용자의 심전도(ECG) 신호를 측정할 수 있다.

터치형 ECG센서(49)의 경우, 스마트 리모컨(400) 사용자는 스마트 리모컨(400)을 한 손으로 잡은 채 반대편 쪽의 손가락(예컨대, 검지)으로 터치 스크린상의 기능 버튼을 빈번히 터치하기 때문에, 생활 속에서 별도의 추가적인 개인 인증 절차 없이 사용자의 ECG 신호를 수집할 수 있다.

도 6b는 ECG 센서(48)로부터 얻은 ECG신호의 노이즈를 제거하고 증폭하여 음성인식 단말기(17)에 전달하기 위한 심전도 측정부(71)의 실시예로, 공급 전원에 혼입된 리플(ripple) 잡음을 제거하기 위한 동상제거(CMRR; Common Mode rejection Ratio) 회로를 구비한 차동 증폭기(differential amplifier, 61), 차동증폭기(61)를 거친 ECG 신호를 0.1Hz 이상의 신호를 통과시켜주는 고역통과필터(HPF, High Pass Filter, 62), 50Hz 또는 60Hz의 전원성분을 제거하기 위한 밴드 제거 필터(BRF, Band Rejection Filter, 63), 고역통과필터(62)와 밴드 제거필터(63)를 거친 ECG 신호의 출력을 증폭하여 디지털 신호로 변환하기 위한 AD변환기(64) 및 음성 인식 단말기(17)와의 근거리 무선 통신 연결을 통해 AD변환기(64)에 의해 변환된 ECG 신호를 의료 데이터 수신부(12)로 전송하는 무선 통신 연결 수단(37)으로 구성된다.

또한, 심전도 측정 동안 제1 전극(예컨대 도면부호 24a)에 접촉한 엄지손가락(800a)에 의해 지문 인증이 이루어지거나, 스마트 리모컨(400)을 쥐고 있는 사용자의 손가락들(800b, 800c, 800d)의 정맥 혈관 패턴을 인증하는 정맥 센서부(54a)에 의해 사용자의 인증이 이루어 질 수 있다.

또한, 생체 신호 수집부(420)는 AD 변환기(64)에 의해 디지털화된 ECG 신호가 사용자 인증이 완료되었는지, 그리고 유효한 ECG 신호인지를 판별하고, 스마트 리모컨 제어부(53)는 사용자 인증된 유효한 ECG 신호만을 의료 데이터 저장부(15)에 저장하고 무선 통신 연결 수단(37)을 통해 의료 데이터 수신부(12)로 전송한다.

도 6c는 ECG센서(48)와 저항막 방식(resistive) 터치 스크린(401)이 일체화된 터치형 ECG센서(49)의 일 실시예로, 디스플레이 패널(100), 디스플레이 패널(100)에 적층되는 하층 투명필름(200), 하층 투명필름(200)상에 적층되는 상층 투명필름(500), 상층 투명 필름(500) 상에 적층되는 ECG 센서(48), 상층 투명필름(500)과 하층 투명 필름(200)을 분리하는 스페이서(spacer, 미도시); 상기 하층 투명필름(200)의 윗면에 형성되어, 터치시 X축의 좌표를 알려주는 제1 저항막 패턴(200a), 상기 상층 투명필름(500)의 하단에 형성되며 제1 저항막 패턴(200a)과는 서로 수직으로 교차하도록 배열하여, 터치시 Y축의 좌표를 알려주는 제2 저항막 패턴(500a), 제1 저항막 패턴(200a)의 말단에 설치되는 X축 전극들(200b), 제2 저항막 패턴(500a)의 말단에 설치되는 Y축 전극들(500b) 및 ECG 센서(48)의 한쪽 단말에 설치되는 ECG전극(48c)을 포함할 수 있다.

ECG 센서(48)는 ECG전극면(48b) 위에 절연막(48a)을 형성함으로써 얻을 수 있으며, ECG전극면(48b)의 한쪽 말단에서 ECG전극(48c)을 형성하여 차동 증폭기(61)의 입력에 연결된다,

ECG전극면(48b)은 피부와 접촉시 capacitive coupling을 제공한다.

또한, 터치스크린(401)상의 손가락 터치 좌표를 산출하기 위해, 제2 저항막 패턴(500a)의 Y축 전극들(500b)에 순차적으로 스캔 펄스를 인가하는 TX 스위칭부(144a)의 스캔 타이밍을 제어하고 스캔 펄스를 발생시키는 TX스캔부(140) 및 터치된 지점의 압력에 의해 제2 저항막 패턴(500a)과 제1 저항막 패턴 (200a)이 접촉되고, 이때 X축 전극(200b)으로 전달된 스캔 펄스를 수신하기 위해 RX스위칭부(144b)의 스위칭 타이밍을 제어하는 RX 스캔부(142)를 구비하고, 스마트 리모컨 제어부(53)는 상기 스캔 펄스를 수신하는 시점에서의 TX스위칭부(144a)와 RX스위칭부(144b)간의 시간적 동기(synchronization) 관계를 계산하여 손가락 접촉 위치의 X, Y 좌표를 계산할 수 있다

제1저항막 패턴(200a) 및 제2 저항막 패턴(500a), ECG 전극면(48b)은 ITO((Indium tin oxide, 인듐 주석 산화물), TAO(tin antinomy oxide), TO(tin oxide), 인듐-징크-옥사이드(IZO), AZO(Al-doped ZnO), ZnO(zinc odixe), 메탈메시(metal mesh), 나노 잉크, 은나노와이어(Ag Nano Wire), 전도성고분자, 그래핀, 탄소나노튜브 또는 이들의 복합체 중 선택된 어느 하나 이상의 투명 도전성 재료에 의해 형성될 수 있다.

투명필름(200,500)은, 글라스(Glass), PET(Polyethylene Terephthalate), PEN(Polyethylene Naphthalate), PI(Polyimide) 또는 아크릴(Acryl) 중 적어도 어느 하나를 이용한 절연성 필름으로 형성될 수 있다.

제1 저항막 패턴(200a), 제2 저항막 패턴(500a)은 상기 절연성 투명필름 위에 투명 도전성 재료를 증착 내지 코팅하여 얻을 수 있다.

도 7은 스마트 리모컨(400)의 양쪽 좌우 측면에 설치된 반사형 혈관 광센서 어레이 모듈(35,36) 내의 SpO2센서(54b)를 이용한 산소 포화도 및 PPG신호 측정부(72)의 일 실시예를 보인다.

혈중 산소포화도 측정은, 심장의 수축과 이완에 따른 혈액용적 변화와 산소 헤모글로빈과 환원 헤모글로빈간의 상대적 비율 변화를 이용하여 신호를 획득하는 방법으로, 적색 영역(예컨대 660nm)에서는 헤모글로빈의 광 흡수율이 산소 헤모글로빈보다 높은 반면, 적외선 영역(예컨대 940nm)에서는 산소 헤모글로빈의 광 흡수율이 헤모글로빈보다 높다는 사실을 이용한다.

본 발명의 일 실시예에 따르면, 산소포화도(SpO2)는 손가락 끝에서 적색광 LED(51a), 적외선 LED(51b) 및 광 검출기(50)로 구성된 복수개의 SpO2센서(54b)에 의해 계측하며, 스마트 리모컨 제어부(53)에 의해 제어되는 스위칭 회로(85)에 의해 적색광 LED(51a)와 적외선 LED(51b)를 한 주기씩 순차적으로 시차를 두고 각각 손가락(800b, 800c, 800d)의 말초혈관 부위에 조사한 후, 조사된 빛이 혈액에 흐르는 혈관 부분에서 반사되는 빛의 양을 광 검출기(50)에서 감지하여 광의 세기에 따라 전류로 변화된 전기적 신호로부터 산소 헤모글로빈과 환원 헤모글로빈량을 산출하고, 이로부터 산소포화도를 계산한다.

스마트 리모컨 제어부(53)는 스위칭 회로(85)의 스위치 동작에 의해 적색광 LED(51a)와 적외선 LED(51b) 각각을 설정된 시간 차이를 두고 교번으로 광을 조사하도록 제어한다.

차동 증폭기(84)는 광검출기(50)로부터 출력되는 전기적 신호를 전류-전압 변환 후 증폭하며, 필터(81)에 의해 노이즈를 제거한 후 AD 변환기(82)에 의해 아날로그 신호를 디지털로 변환한다.

발광 다이오드 구동부(80)는 광 검출기(50)의 출력값을 피드백 받은 후 광 검출기(50)에서 충분한 세기의 전기적 신호가 출력되도록 적색광 LED(51a)와 적외선 LED(51b)의 구동 전류를 조절하는 회로부이다. 이는 사람의 손가락 피부마다 광의 흡수율이 다르기 때문에 손가락 피부에 가해지는 광량의 크기를 조절하기 위한 것이다.

또한, 스마트 리모컨 제어부(53)는 AD 변환기(82)를 통해 읽어들인 DC 레벨을 가지고 적외선광 과 RED 광의 구동 세기를 조절하여 적색광 LED와 적외선 LED가 같은 DC 레벨을 갖도록 발광 다이오드 구동부(80)를 구동시키는 것이 선호된다.

또한, 상기 스마트 리모컨 제어부(53)는 상기 스위칭 회로(85)의 스위치 동작에 동기화하여, 광 검출기(50)로부터 AD 변환기(82)에 의해 디지털 신호로 변환되어 수신된 복합 수신 신호로부터 IR 광에 의한 신호 성분(IR 성분)과 RED 광에 의한 신호 성분(RED 성분)을 각각 분리한 후 스마트 리모컨 제어부(53) 내에 구비된 산소 포화도 연산 수단(미도시)에 의해 산소포화도를 연산을 수행한다.

산소 포화도 연산수단에서는 디지털화된 IR 성분과 RED 성분을 각각 극성이 반전 (inverting)시킨 후, 직류 성분은 제거한 교류 성분만 추출하여 사용하여 얻은 산소포화도 값을 의료 데이터 저장부(15)에 저장하는 것이 선호된다.

여기서, 교류(AC) 성분은 말초혈관을 통과하는 혈액에 의해 흡수된 광량을 나타내고, 반면 직류(DC) 성분은 모세혈관이나 근육, 표피, 뼈와 같은 조직에 의해 흡수된 광량을 나타낸다.

상기 산소 포화도 연산 수단(미도시)은, 광검출기(50)에 수광되는 신호의 세기로 옥시헤모글로빈(HbO2) 농도와 디옥시헤모글로빈(Hb) 농도를 산정하는 것이 선호되며, 이때 산소 포화도(SpO2)는 HbO2농도/(HbO2농도+Hb농도) 와 같은 수식으로 계산될 수 있다.

여기서, 옥시헤모글로빈(HbO2) 농도는 적색광 LED가 온(On)되었을 때의 광검출기(50)에 수광되는 신호의 세기이고, 반면 디옥시헤모글로빈(Hb) 농도는, 적외선 LED가 온(On)되었을 때의 광 검출기(50)에 수광되는 신호의 세기를 사용하는 것이 선호된다. 이때 광 검출기(50)에 수광되는 신호의 세기 중 DC성분 제외시켜 AC 성분만 사용하여 옥시헤모글로빈(HbO2) 농도와 디옥시헤모글로빈(Hb) 농도를 산정하는 것이 선호된다.

상기 산소 포화도 연산 수단(미도시)의 또 다른 측면은 먼저 아래 수학식2와 같이 Red2IR 비율을 산출하고, 그후 Beer-Lambert law에 기반한 Loop up 테이블에 의해 Red2IR 비율값을 변환하여 산소 포화도를 구할 수 있다.

[수학식 2]

여기서,

는 적색광 LED(51a) On시 광검출기(50)에 의해 검출된 적색광의 직류성분(DC)들의 평균값이고,

는 적외선 LED(51b) On시 광검출기(50)에 의해 검출된 적외선의 직류성분들(DC)의 평균값이다.

또한

는 적색광 LED(51a) On시 광검출기(50)에 의해 검출된 적색광의 교류성분(AC)들의 평균값이고,

는 적외선 LED(51b) On시 광검출기(50)에 의해 검출된 적외선의 교류성분(AC)들의 평균값이다.

또한 SpO2센서(54b)를 이용한 산소 포화도 및 PPG신호 측정부(72)는 PPG신호도 계측할 수 있다.

본 발명의 일 실시예에 따르면, 광전용적맥파(PPG) 신호는 스마트 리모컨(400)에 설치된 SpO2 센서(54b)의 적색광 LED(51a)만 연속적으로 발광시켜 손가락 부위에 조사한 한 다음 반사되어 수광되는 광의 광량 변화를 광 검출기(50)에 의해 연속 관찰하여 PPG신호를 계측할 수 있다. 이때 스마트 리모컨 제어부(53)는 적색광 LED(51a)만 연속적으로 발광시키도록 상기 스위칭 회로(85)의 스위치 동작을 제어한다.

손가락 혈관으로부터 반사된 PPG 신호는 차동 증폭기(84)를 통해 전류-전압 변환 후 증폭하고, 증폭된 신호는 고역통과필터(예컨대 Cutoff 0.1Hz)와 저역통과 필터(예컨대 Cutoff 12Hz)를 거치도록 구성된다.

필터(81)를 거친 PPG 신호는 AD변환기(82)에 의해 디지털 신호로 되어 생체 신호 수집부(420) 거쳐 스마트 리모컨 제어부(53)에 입력된다. 스마트 리모컨 제어부(53)에서는 디지털화된 PPG신호의 극성이 반전 (inverting)시킨 후, 직류 성분은 제거한 교류 성분만 추출하여 최종적인 PPG신호를 의료 데이터 저장부(15)에 저장한다.

또한, 생체 신호 수집부(420)는 상기 AD 변환기(82)에 의해 디지털화된 IR 성분 내지 RED 성분이 사용자 인증이 완료되었는지, 그리고 유효한 생체 신호인지를 판별하고, 스마트 리모컨 제어부(53)는 사용자 인증된 유효한 생체신호 정보(산소 포화도 내지 PPG신호)만을 의료 데이터 저장부(15)에 저장하고 무선 통신 연결 수단(37)을 통해 의료 데이터 수신부(12)로 전송한다.

도 8은 엄지손가락(800a)을 통해 지문 인증이 이루어지도록 사용자가 스마트 리모컨(400)을 잡으면, 자연스럽게 엄지(800a)를 제외한 나머지 손가락들(800b,800c, 800d)은 반사형 혈관 광센서 어레이 모듈(35,36)과 접촉이 이루어져, 스마트 리모컨(400) 사용 동안 생활 속에서 사용자의 산소포화도 와 PPG신호(68c)측정이 이루어지는 일 실시예를 보인다.

이를 위해, 복수개의 SpO2센서들이 스마트 리모컨(400)의 양쪽 좌우 측면에 설치된 반사형 혈관 광센서 어레이 모듈(35,36)내에 집적화된다.

산소포화도(SpO2)는 적색광 LED(51a)와 적외선 LED(51b)을 한 주기씩 순차적으로 번갈아 발광시켜 손가락들(800b, 800c, 800d)의 말초 동맥 혈관(55) 부위에 조사한 다음 반사된 IR 광과 RED 광을 광 검출기(50)로 수광하여, 이들간의 성분 비로 계산하는 반면, PPG신호(68c)는 적색광 LED(51a)만을 발광시켜 손가락들(800b,800c, 800d)의 말초 동맥 혈관(55) 부위에 조사한 다음 반사되어 광 검출기(50)에 수광되는 광량의 AC성분만(68b)을 관찰하여 측정될 수 있다.

박동성 동맥혈관의 팽창과 수축에 따라 혈액 변화는 AC 성분으로 표시된다. 이에 비해 혈액을 제외한 나머지 요소들(즉, 피부와 조직)은 DC 성분으로 나타나므로,

손가락 혈관으로부터 반사된 PPG 신호는 상기 AC성분(68b)과 DC성분(68a) 모두를 포함하므로 최종적인 PPG신호를 얻기 위해서는 AC성분(68b)만 추출하여 사용한다.

본 발명의 산소 포화도 및 PPG측정은 반사형 혈관 광센서 어레이 모듈(35,36)에 접촉하는 검지(index finger), 중지(middle finger), 약지(ring finger) 손가락 중 어느 하나 이상 손가락을 사용하여 측정하여 통계화된 수치를 사용하는 것이 선호된다.

상기 통계화된 수치는 3-시그마(σ:standard deviation) 내의 측정값들의 평균값 내지 median값으로 산출하는 것이 선호된다.

또한 SpO2센서(54b)를 이용하여 PPG신호도 계측할 수 있는데, 도 8의 실시예에서 보듯이 중지(800c)를 이용해 PPG신호를 측정하는 동안 약지(800d)를 이용해 산소포화도를 측정할 수 있다. 또한, 손가락을 바꾸어 가면서 PPG신호 와 산소 포화도 측정을 서로 주기적으로 교대로 측정할 수 있다.

도 9는 스마트 리모컨(400) 상에 설치된 혈당 센서(31)에 의해 터치 스크린(401)상에 터치된 사용자의 손가락 부위로부터 글루코스 광 반사 신호를 얻는 일 실시예로, 본 발명의 실시예를 따르는 혈당 센서(31)는 터치스크린(401)상의 개구부를 통해 손가락에 근 적외선을 조사하는 복수개의 근 적외선 발광 소자(31a,31b, 31c) 및 상기 손가락 부위(801b, 801c, 801d)로부터 반사한 근 적외선을 수광하여 전기적 신호로 변환하는 광 센서(32a, 32b, 32c)를 포함할 수 있다. 광 센서(32a,32b, 32c)로부터 얻은 전기적 신호를 전류-전압 변환 후 증폭하여, 필터에 의해 노이즈를 제거한 후 AD 변환기에 의해 디지털로 변환하여, 글루코스 광 반사 신호 정보(69e)를 얻을 수 있다.

이때 광 센서(32a, 32b, 32c)에 수광되는 신호의 세기 중 DC 성분을 제외시켜 AC 성분만 사용하여 글루코스 광 반사 신호 정보(69e)로 사용하는 것이 선호된다.

사용자의 혈중의 글루코스 농도에 따라, 근 적외선의 흡광도가 다르기 때문에 상기 손가락 부위에서 반사한 근 적외선 신호를 수집하여 얻어진 글루코스 광 반사 신호 정보(69e)를 이용하면 사용자의 혈당을 계측할 수 있다. 또한, 글루코스의 민감도와 근적외선이 침투할 수 있는 피부깊이(skin depth)는 파장에 따르기 때문에 서로 다른 근적외선 파장 영역의 발광소자를 사용하여 수집된 글루코스 광 반사 신호 정보(69e)를 이용하면 혈당 측정 시 정확도를 올릴 수 있다.

예컨대, 스마트 리모컨(400)의 건강관리 모드에서 터치 스크린(401)상에 나타난 건강관리 항목중 혈당 메뉴(92)를 선택하면, 터치 스크린(410)상에 가상의 손가락 패턴(34)이 표시되고, 이때 사용자는 자신의 손가락을 상기 가상의 손가락 패턴(34)에 정렬시켜 터치 스크린(401)상에 올려놓으면 혈당 센서(31)에 의해 각각의 손가락으로 부터 글루코스 광 반사 신호 정보(69e)를 수집하여 스마트 리모컨 제어부(53)에 제공하게 된다.

상기 근 적외선 발광소자(31a,31b,31c)는 상기 가상의 손가락 패턴(34)상의 각각의 손가락과 광학 정렬이 되도록 배치된다.

상기 터치스크린(401)의 개구부는 근 적외선 발광소자(31a,31b,31c)의 광축에 대해 터치스크린(401)의 커버 유리층으로서 형성될 수 있다.

혈당센서(31)에 의해 글루코스 광 반사 신호 정보(69e)를 얻는 동안, 스마트 리모컨(400)을 쥐고 있는 사용자의 손가락들(800b,800c,800d)의 정맥 혈관 패턴을 인증하는 정맥 센서부(54a)에 의해 사용자의 인증이 이루어 질 수 있다.

또한 혈당센서(31)에 의해 글루코스 광 반사 신호 정보(69e)를 얻는 동안, 스마트 리모컨(400)을 쥐고 있는 사용자의 엄지손가락(800a)을 통해 지문 인증이 이루어질 수 있다.

본 발명의 글루코스 광 반사 신호 정보(69e)는 검지(801b), 중지(801c), 약지(801d)를 포함하는 세 손가락에 근 적외선을 조사하고, 상기 세 손가락 부위에서 반사된 근 적외선을 광 센서(32a,32b,32c)로 수광하여 얻어 질 수 있다.

상기 근 적외선 발광소자는 900nm 내지 2000nm 사이의 파장을 갖는 레이저 내지 LED가 선호되며, 940nm, 1320nm, 1550nm 파장영역을 갖는 것이 더욱 선호된다.

예컨대, 도면부호 31a는 920nm 내지 960 nm 파장영역의 근적외선을 방출하는 LED이고, 검지 말단(801b)에서 반사된 근적외선은 광센서(32a)에 의해 센싱될 수 있다.

도면부호 31b는 1300nm~1340 nm 파장영역의 근적외선을 방출하는 LED이고, 중지 말단(801c)에서 반사된 근적외선은 광센서(32b)에 의해 센싱될 수 있다.

도면부호 31c는 1530nm~1570 nm 파장영역의 근적외선을 방출하는 LED이고, 약지 말단(801d)에서 반사된 근적외선은 광센서(32c)에 의해 센싱될 수 있다.

도 10는 스마트 리모컨(400)의 후면부에 설치된 청진기(44)를 이용한 청진음 측정부(73)의 일 실시예로 심장 및 폐와 같은 신체의 내부에서 나오는 청진기 신호, 즉 PCG (PhonoCardioGram) 신호를 계측한다.

청진음 측정부(73)는 청진기 입력부(170)로 부터의 미세한 물리적 음파 진동을 전기신호로 바꾸는 트랜스듀서(transducer, 171), 상기 트랜스듀서(171)로부터 얻어진 전기 신호를 증폭한 PCG신호를 얻기 위한 신호 증폭부(172); 상기 PCG 신호에 포함된 노이즈 및 전원잡음 제거를 위한 노이즈 제거 필터(173); 주파수 대역별 PCG 신호를 추출하기 위한 적어도 한 개 이상의 주파수 필터(174); 상기 추출된 PCG 신호를 디지털 신호를 바꾸는 AD 변환기(176)를 포함한다.

또한 생체 신호 수집부(420)는 상기 AD 변환기(176)에 의해 디지털화된 PCG 신호가 사용자 인증이 완료되었는지, 그리고 유효한 PCG 신호인지를 판별하고, 스마트 리모컨 제어부(53)는 사용자 인증된 유효한 PCG신호만을 의료 데이터 저장부(15)에 저장하고 무선 통신 연결 수단(37)을 통해 의료 데이터 수신부(12)로 전송한다.

상기 주파수 필터(174)는 심방, 심실, 폐, 혼합 모드(심방, 심실, 폐를 모두 포함하는 대역)에 맞는 주파수 대역을 갖는 필터를 사용할 수 있다.

상기 주파수 필터(174)의 또 다른 측면은 심음(heart sound)의 검출을 위한 벨 (bell) 모드에서는 30Hz 내지 100Hz의 주파수 대역을 갖는 필터를 사용하고, 폐음(lung sound) 의 검출을 위한 다이어프램(diaphragm) 모드에서는 100Hz 내지 500Hz의 주파수 대역을 갖는 주파수 필터(174)를 사용할 수 있다.

상기 청진기 입력부(170)는 박막 울림판(44a)으로 구성되며, 박막 울림판(44a)의 울림에 의한 내부 공기압의 변화로부터 소리를 집음하고, 상기 트랜스듀서(171)는 청진기 입력부(170)으로부터 발생한 미세 음파 진동에 의한 박막 울림판(44a)의 변위를 전기신호로 변환하기 위한 것으로 피에조 필름(piezo 필름) 또는 마이크로폰 일수 있다.

또한 상기 박막 울림판(44a)의 표면을 도전성 재료로 코팅하고 그 위에 절역막을 입힘으로써 ECG 센서의 역할을 겸할 수 있다. 이 경우 피부 표면 (예컨대 가슴부위)에서 청진기 신호를 얻는 동안 ECG신호를 동시에 얻을 수 있다.

예컨대, 청진기(44)를 사용한 PCG 신호와 ECG 신호의 동시 측정은 지문 인증이 이루어 지도록 환자가 스마트 리모컨(400)을 잡고 가슴부위의 피부에 접촉하면, 자연스럽게 엄지 손가락(800a)이 네 개의 손 전극들(24a,25a,26a,27a)중 어느 하나와 접촉이 이루어져 제 1전극을 형성하고, 이때 박막 울림판(44a)의 표면이 가슴 피부에 접촉되면 제2 전극이 형성되어 이들 두개의 전극(제 1전극과 제 2전극)을 통해 사용자의 심전도(ECG) 신호와, 동시에 박막 울림판(44a)으로 부터의 PCG 신호를 측정할 수 있다.

도 11a내지 도 11d는 스마트 리모컨(400)상에 설치된 바이오 센서로부터 얻어진 생체 신호를 이용하여 혈압, 콜레스테롤, 혈당을 측정하기 위한 일 실시예로, 인공지능 신경망(16)에 의해 혈압을 측정하는 혈압 측정부, 콜레스테롤를 측정하는 콜레스테롤 측정부, 혈당을 측정하는 혈당 측정부를 구현한 실시예이다.

혈압 측정부(미도시)는 다양한 혈압 수치에 따라 표지된(labeled) 생체신호 및 개인 신체정보(69f)를 이용하여 학습된 혈압 측정용 인공지능 신경망(20a)에 의해 피 측정자의 혈압을 예측하는 것이 선호된다.

본 발명의 생체 신호는 ECG신호(69a), PPG신호(68c), PCG신호(69b), 산소포화도(69c), PTT(69d), 글루코스 광 반사신호 정보(69e)를 포함할 수 있다.

또한, 콜레스테롤 측정부(미도시)는 다양한 콜레스테롤 수치에 따라 표지된(labeled) 생체 신호 및 개인 신체정보(69f)를 이용하여 학습된 콜레스테롤 측정용 인공지능 신경망(20b)에 의해 피 측정자의 콜레스테롤을 예측하는 것이 선호된다.

상기 콜레스테롤 측정부(미도시)의 또 다른 측면은 중성지방(Triglyceride: TG), HDL-C(high-density lipoprotein-cholesterol), LDL-C(low-density lipoprotein-L cholesterol)값 중 선택된 어느 하나 이상의 값에 따라 표지된 생체 신호 및 개인 신체정보(69f)를 이용하여 학습된 콜레스테롤 측정용 인공지능 신경망(20b)에 의해 피 측정자의 콜레스테롤을 예측하는 것이 선호된다.

또한, 혈당 측정부(미도시)는 다양한 혈당 수치에 따라 표지된(labeled) 생체 신호 및 개인 신체정보를 이용하여 학습된 혈당 측정용 인공지능 신경망(20c)에 의해 피 측정자의 혈당을 예측하는 것이 선호된다.

본 발명의 인공지능 신경망(16)은 혈압 측정용 인공지능 신경망(20a), 콜레스테롤 측정용 인공지능 신경망(20b), 혈당 측정용 인공지능 신경망(20c)을 포함할 수 있다.

상기 인공지능 신경망(16)은 ECG 신호(69a)의 두 R지점을 기준으로 동기화된 PPG신호(68c), PCG신호(69b), 산소포화도(69c), PTT(69d), 글루코스 광 반사신호 정보(69e)를 사용하는 것이 선호된다, 즉, R-to-R 구간 마다 발생하는 PPG신호(68c), PCG신호(69b), 산소포화도(69c), PTT(69d), 글루코스 광 반사신호 정보(69e)를 상기 인공지능 신경망(20a,20b,20c)의 입력신호로서 사용하는 것이 선호된다. 상기 동기화된 생체신호는 동일한 시점에서 사용자의 몸으로부터 측정된 생체 신호이기 때문에 동기화가 안된 생체신호(서로 다른 시점에서 획득된 생체 신호)를 인공지능 신경망(16)의 입력신호로 사용하는 것 보다 정확한 혈압 측정, 콜레스테롤 측정, 혈당 측정이 가능하다. 환자의 생체신호가 환자의 바디 컨디션과 시간에 따라 수시로 변하기 때문에 동일한 시점에서 수집된 생체신호를 인공지능 신경망(16)의 입력신호로 사용해야만 정확한 진단 결과를 얻을 수 있다.

상기 인공지능 신경망(16)의 다른 측면은 상기 PPG신호(68c)의 피크점을 기준으로 동기화된 PCG신호(69b), 산소포화도(69c), 글루코스 광 반사신호 정보(69e)를 사용하는 것이 선호된다.

예컨대, 사용자로부터 ECG 신호(69a), PPG 신호(68C), 산소 포화도(69c), PCG신호(69b), 글루코스 광 반사신호 정보(69e)를 측정하고 이러한 생체 신호 정보와 개인 신체 정보(69f)를 기 학습된 혈압 측정용 인공지능 신경망(20a) 적용하여 사용자의 혈압을 실시간으로 추정할 수 있도록 구성된다.

도11b 내지 도11d는 ECG신호(69a), PPG신호(68c), PCG신호(69b)로부터 추출된 특징 벡터, SpO2(69c), PTT(69d), 글루코스 광 반사 정보(69e) 및 개인 신체 정보(69f)를 이용하여 분류기(Classifier)(21a)에 의해 혈압, 콜레스테롤, 혈당을 산정하는 인공지능 신경망(16)의 여러 실시예이다.

예컨대, 도 11b 와 도 11c에 있어서는, 특징 벡터 추출부1(33a)은 ECG신호(69a) 로부터 특징 벡터를 뽑아 내고, 특징 벡터 추출부2(33b)은 PPG신호(68c) 로부터 특징 벡터를 뽑아 내고, 특징 벡터 추출부3(33c)은 PCG신호(69b) 로부터 특징 벡터를 뽑아 낸다.

또한, 선택 사항으로 상기 특징 벡터 추출부3(33c)는 심장 소리에 해당하는 벨 모드 신호와 폐 소리에 해당하는 다이어프램(Diaphram) 모드 신호로 분리된 PCG신호(69b)로 부터, 벨모드 신호의 특징 벡터와 다이어프램 모드 신호의 특징 벡터를 뽑아 낼 수 있다.

상기 ECG신호(69a), PPG신호(68c), PCG신호(69b)의 특징 벡터는 딥런닝 신경회로망(Deep learning Neural Network) 내지 주파수 영역의 스펙트럼 분석에 의해 추출 될 수 있다.

예컨대 상기 딥런닝 신경회로망(Deep learning Neural Network)은 1-D CNN(Convolutional Neural Network)이 될 수 있다.

또한 상기 주파수 영역의 스펙트럼 분석에 의한 특징 벡터 추출은 , Linear Prediction Codes(LPC), Mel-Coefficient, Mel-Frequency Cepstral Coefficient(MFCC), Cepstral Coefficient, Preceptual Linear Prediction(PLP) 또는 Bark Frequency Cepstral Coefficients (BFCC)에 의해 이루어 질 수 있다.

음성인식 단말기(17)는 디지털 통신 모듈(8)을 통해 생체 신호 와 개인 신체 정보(699f)를 서버(13)에 제공하고, 이후 서버(13)상의 인공지능 신경망(16)으로부터 혈압, 콜레스테롤, 혈당에 대한 진단결과를 피드백 받는다.

도 11b에 예시된 인공지능 신경망(16)에서는 특징 벡터 추출부(33a,33b,33c)에 의해 추출된 특징 벡터들이 SpO2(69c), PTT(69d), 글루코스 광 반사 정보(69e) 및 개인 신체 정보(69f)를 함께 분류기(21a) 에 입력되어 혈압, 콜레스테롤, 혈당을 산정하게 된다.

또한 도 11b의 실시예에서 도면부호 21a는 LSTM으로 대체하여 사용 할 수 있다. 이 경우 특징 벡터 추출부(33a,33b,33c,)에 의해 추출된 특징 벡터들의 시계열 정보를 분석하여 혈압, 콜레스테롤, 혈당을 산정할 수 있다.

도11c에 예시된 인공지능 신경망(16)에서는 도 11b의 분류기의 출력에 LSTM(long Short term Memory) 또는 GRU(Gated Recurrent Unit) (21b)를 연결하여 사용한 실시예로,

분류기(21a) 으로 부터 출력되는 시계열(time sequence) 정보를 LSTM 또는 GRU(21b)가 분석하여 혈압, 콜레스테롤, 혈당을 산정하게 된다.

이 경우 혈당 측정부는 2개월 내지 3개월 동안의 혈당의 평균치를 평가하는 HbA1c(당화 혈색소)를 산출할 수 있다.

PPT(69d)는 ECG 피크(R 지점)와 PPG신호의 피크 지점 간의 시간차 내지 ECG 피크와 SDPPG(Second Derivative Photoplethysmographic)의 피크간의 시간차로서 정의될 수 있다.

ECG 신호(69a)상의 R 피크 시점에서 심실이 수축하면서 동맥으로 혈액을 밀어 내기 시작하므로, PPT측정의 시작점 기준을 R피크로 사용하고, PPG신호의 피크 내지 SDPPG의 피크를 PTT 측정의 종료 시점으로 삼을 수 있다.

본 발명의 개인 신체 정보(69f)는 체열, 성(sex), 나이, 키(body height), 몸무게, 표준 혈압치, 체지방 정보, HRV(heart Rate Variability) 중 적어도 어느 하나 이상을 선택한 정보인 것을 특징으로 한다.

상기 체지방 정보는 스마트 리모컨(400)의 체지방 측정부(70)에 의해 얻어진 최근의 사용자의 체지방 정보인 것이 선호된다.

상기 글루코스 광 반사 정보(69e)는 최근에 측정된 사용자의 글루코스 광 반사 정보인 것이 선호된다.

사용자 한쪽손의 엄지 손가락(800a)을 스마트 리모컨(400)의 측면에 형성된 손 전극(도면부호 24a,25a,26a,27a 중 어느 하나)에 접촉시킨 상태에서 자신의 신체의 다른 부분(예컨대 가슴부위)을 ECG센서(48)에 접촉시키게 되면, 지문 인증과 동시에 사용자의 ECG신호(69a) 와 PCG신호(69b)를 동시에 측정될 수 있다.

또한, 나머지 손가락(800b, 800c, 800d)으로부터 반사형 혈관 광센서 어레이 모듈(35,36)에 의해 PPG신호(68c), 산소포화도(69c), PTT(69d)를 계측할 수 있다.

본 발명의 표준 혈압치는 통계적으로 알려진 정상인의 혈압으로 다음 수학식 3과 같이 계산될 수 있다.

[수학식3]

PTT(69d)와 키(height) 정보를 가지고, 상기 (2) 식으로부터 표준 혈압치를 계산하기 위해

를 사용하는 것이 선호된다.

또한, 상기 계수들 σ와 β는 통계 정보에서 의해 설정될 수 있는 파라미터들이다.

도 11d은 혈압, 콜레스테롤, 혈당을 산정하기 위한 인공지능 신경망(16)의 또 다른 실시예로, Linear Prediction Codes(LPC), Mel-Coefficient, Mel-Frequency Cepstral Coefficient(MFCC), Cepstral Coefficient, Preceptual Linear Prediction(PLP), STFT(Short Time Fourier Transform) 또는 Bark Frequency Cepstral Coefficients (BFCC)에 의해 산출되는 spectrogram을 CNN(57)의 입력으로 사용할 수 있다.

특징 벡터 추출부4(33d)은 ECG신호(69a)로부터 ECG신호의 spectrogram을 출력하고,

특징 벡터 추출부5(33e)는 PPG신호(68c)로부터 PPG신호의 spectrogram를 출력하고, 특징 벡터 추출부6(33f)은 PCG신호(69b)로부터 PCG신호의 spectrogram를 출력한다.

또한, 선택 사항으로 상기 특징 벡터 추출부 6(33f)은 심장 소리에 해당하는 벨 모드 신호와 폐 소리에 해당하는 다이어프램(Diaphram) 모드 신호로 분리된 PCG신호(69b)로 부터, 벨모드 신호의 spectrogram과 다이어프램 모드 신호의 spectrogram를 뽑아 낼 수 있다.

이들 Spectrogram은 CNN(Convolutional Neural Network,57)에 입력되어, 특징 벡터를 출력하게 된다. 또한, 상기 CNN(57)은 ECG신호(69a), PPG신호(68c) PCG신호(69b) 각각에 대해 별도의 독립된 CNN을 적용할 수 있다.

이들 특징 벡터들은 SpO2(69c), PTT(69d), 글루코스 광 반사 정보(69e) 및 개인 신체 정보(69f)를 함께 분류기(21a)에 입력되어 혈압, 콜레스테롤, 혈당을 산정하게 된다.

또한, 도 11d의 실시예에서 CNN(57)와 분류기(21a)를 LSTM으로 개조 대체하여 사용할 수 있다. 이 경우 특징 벡터 추출부(33d,33e,33f)에 의해 추출된 spectrogram의 시계열 정보를 LSTM의 입력정보로 사용하여 혈압, 콜레스테롤, 혈당을 산정할 수 있다.

본 발명의 분류기(21a)는 FCN(Fully connected Network) 또는 SVM(support Vector Machine) 일수 있다.

도 12는 도 10의 실시예에 따른 스마트 리모컨(400)상의 청진기(44)를 활용하여 태아의 건강 상태를 자가 검사할 뿐만 아니라, 원격으로 의사가 태아의 건강상태를 체크하기 위해 원격 의료 진단을 수행하는 실시예를 개략적으로 나타낸 도면이다. 달리 말해, 도 12는 스마트 리모컨(400)상의 청진기(44)를 사용하여, 의사(201)가 스마트 리모컨(400)과 블루투스로 연결된 디지털 TV(300)를 활용하여 원격으로 산모(86)의 태아의 건강상태를 온라인상에서 체크하기 위해 원격 의료 진단을 수행하는 일 실시예이다. 본 실시예에서는 디지털 TV(300)는 스마트 미러로 대체되어 사용될 수 있다.

디지털 TV(300) 내에 집적화되어 내장된 도 1b를 따르는 음성 인식 단말기(17)는, 의사(201)와의 원격 의료 진단을 허여하는 인터넷(202) 및 와이 파이 통신 연결을 제공하거나 청진기(44)와의 근거리 무선 통신 연결을 제공하는 디지털 통신 모듈(8), 청진기(44)에 의해 산모로부터 측정된 의료 데이터를 수신하는 의료 데이터 수신부(12), 의사(201)와 산모(86) 간의 원격 의료 진단을 수행을 위해 디지털 통신 모듈(8), 스피커(28) 와 화면표시부(10)를 제어하는 제어부(30)를 포함할 수 있다. 산모(86)의 신분 인증은 스마트 리모컨(400)상의 지문 인식부(24,25,26,27) 또는 정맥 센서부(54a)에 의해 이루어 진다.

또한, 디지털 TV(300)는 스마트 리모컨(400)에 의해 측정된 의료 데이터를 수신하여 이를 인터넷망을 통해 서버(13)에 재전송하고, 서버(13)상의 인공지능 신경망(16) 내지 전문가 시스템(18)에 의해 분석된 결과를 피드백 받아 디지털 TV(300) 내지 터치 스크린(401)을 통해 환자의 질환의 위험도 등급을 통지할 수 있다.

디지털 TV(300)는, 원격 의료 진단 동안 원격 의료 진단의 도움이 되는 시각정보를 화면 표시부(10)에 제공하여 산모(86)와 의사(201) 간의 화면을 공유할 수 있다. 또한, 디지털 TV(300)는, 스피커(28)를 통해 산모에게 건강관리에 대한 지침, 원격의료 진단 방법 및 청진기 사용법에 대한 가이드라인을 제공할 수 있다. 또한, 딥런닝 학습된 인공지능 신경망(16)은 의료 데이터 수신부(12)에 의해 수신된 청진기(44)의 의료 데이터를 분석하여, 산모 및 태아의 질병 유무와 질병의 위험도를 자동으로 판별할 수 있다.

또한, 제어부(30)는 화면 표시부(10)상에 표시된 정보와 의사가 모니터(206)상에서 보는 정보가 서로 동일하도록 상기 디지털 통신 모듈(8)을 구동할 수 있다.

이 경우, 의사는 모니터(206)를 통해 산모(86)와 실시간 정보를 공유함으로써 의사가 직접 산모(86)에게 청진기(44)의 사용방법을 상기 통신 네트워크인 인터넷(202)을 통해 음성 지시할 수 있어, 마치 산모(86) 옆에 의사(201)가 있는 것처럼 산모의 태아 건강 진단을 도와줄 수 있다.

도면부호 60은 헤드폰으로 스마트 리모컨(400)상의 청진기(44)로부터 들려오는 태아의 심장 맥박 소리를 의사가 원격으로 들을 수 있다.

상기 음성인식 단말기는 스마트 리모컨의 바이오 센서에 의해 측정된 생체신호에 대한 의료 데이터를 수신하여 이를 인터넷망을 통해 서버(server)에 재전송하고, 이후 서버상의 인공지능 신경망 내지 전문가 시스템에 의해 분석된 결과를 피드백 받아 환자에게 환자의 질병의 위험도를 통지할 수 있다.

본 발명의 인공지능형 스마트 리모컨 장치의 또 다른 측면은 음성 인식 단말기가 디지털 TV 내부 내지 스마트 미러 내부에 집적화되어 일체화 될 수 있다.

본 발명의 인공지능형 스마트 리모컨 장치의 또 다른 측면은 음성 인식 단말기가 스마트 리모컨 내부에 집적화되어 일체화 될 수 있다.

본원의 일 실시예에 따른 스마트 리모컨 장치는, 건강 관리의 주요 지표인 체열, 혈압, 혈당, 심전도, 심장맥박, 산소포화도, 콜레스테롤, 체지방의 생체 신호를 생활 속에서 수시로 체크할 수 있는 바이오 센서가 집적화되어, 이들 건강관리 항목에 대한 생체 신호 측정과 사용자 인증을 동시에 수행할 수 있는 스마트 리모컨; 및 디지털 TV(또는 스마트 미러)의 기능을 음성 명령에 의해 제어할 뿐만 아니라 상기 스마트 리모컨의 바이오 센서에 의해 측정된 생체신호에 대한 의료 데이터를 수신하여 인공지능으로 분석할 뿐만 아니라, 이상징후가 발견된 경우, 의사와의 인터넷 통신 연결을 통해 원격 의료 진단 서비스를 제공하는 음성인식 단말기; 를 포함한다.

상기 음성인식 단말기는 스마트 리모컨에 의해 측정된 의료 데이터를 수신하고, 이를 인터넷망을 통해 서버(server)에 재전송하고, 이후 서버상의 인공지능 신경망 내지 전문가 시스템에 의해 상기 의료 데이터의 분석한 결과를 피드백 받을 수 있다.

상기 스마트 리모컨은 디지털 TV를 기능을 버튼 입력에 의해 제어할 수 있을 뿐만 아니라, 스마트 리모컨 상에 설치된 바이오 센서에 의해 TV시청중 스마트 리모컨을 조작하는 과정 속에서 건강 관리의 주요 지표인 체열, 혈압, 혈당, 심장맥박, 심전도, 산소포화도, 콜레스테롤, 체지방에 관련한 의료 데이터를 수시로 측정 및 수집할 수 있고 수집된 데이터를 음성 인식 단말기의 의료데이터 수신부로 전송될 수 있다.

또한, 환자는 원격 의료 진단 서비스 동안 상기 디지털 TV의 화면을 통해 의사와 정보를 공유할 수 있다.

본 발명의 일 실시예를 따르는 음성 인식 단말기는, 의료 기기들과 근거리 무선 통신 연결에 의해 복수의 의료기기로부터 측정된 의료 데이터를 수신하는 의료 데이터 수신부 및 학습용 의료 데이터들에 의해 사전에 딥런닝 학습된 인공 신경망을 포함할 수 있고, 상기 딥런닝 학습된 인공 신경망은, 상기 의료 데이터 수신부에 의해 수신된 상기 의료 데이터를 분석하여, 환자의 질병 유무와 질병의 위험도를 자동으로 판별할 수 있다.

본 발명의 음성 인식 단말기는 디지털 TV 내부 내지 스마트 미러 내부에 집적화되어 일체화될 수 있다.

본 발명의 음성 인식 단말기는 스마트 리모컨 내부에 집적화되어 일체화될 수 있다.

이 경우 스마트 리모컨은 바이오 센서에 의해 측정된 의료 데이터를 수신하고, 이를 인터넷망을 통해 서버(server)에 재전송하고, 이후 서버상의 인공지능 신경망 내지 전문가 시스템에 의해 상기 의료 데이터의 분석한 결과를 피드백 받아 터치 스크린을 통해 사용자에게 제공할 수 있다.

본 발명의 바이오 센서는 적외선 온도 센서, 카메라, 심전도를 측정하기 위한 ECG센서, 산소 포화도를 측정하기 위한 SpO2센서, 광전용적맥파(PPG, Photoplethysmography) 신호를 얻기 위한 PPG센서, 글루코스 광반사 신호들을 얻기 위한 혈당 센서, 심음(heart sound) 신호를 얻기 위한 청진기, 체지방 측정용 손 전극들 중 선택된 어느 하나 이상을 구비한 것을 특징으로 한다.

상기 바이오 센서는 사용자 인증을 위한 지문 인식부 또는 정맥 센서부를 더 구비할 수 있고, 이경우 건강관리 항목에 대한 측정과 사용자 인증을 동시에 할 수 있다.

또한, 상기 바이오 센서는 심전도 측정부, 심장 질환 측정부, 산소 포화도 및 PPG신호 측정부, 체지방 측정부, 혈당 측정부, 혈압 측정부, 콜레스테롤 측정부, 청진음 측정부 중 선택된 어느 하나 이상의 측정부를 포함하는 것을 특징으로 한다.

본 발명에서, 상기 PPG센서는 SpO2센서을 사용하여 구현하는 것이 선호된다.

혈액의 중요한 역할 중 한가지는 몸의 각 부분에 산소를 공급하는 것이다.

이를 위해, 적혈구속의 헤모글로빈은 산소와 결합하여 산소를 몸의 각 부분에 산소를 공급하며, 이때 혈중의 산소 공급량은 산소 포화도(Saturation of partial pressure oxygen, SpO2) 로서 계측한다.

즉, 산소포화도는 총 헤모글로빈의 농도에 대하여 산소를 포함하고 있는 헤모글로빈 농도의 비율로서 정의되는데, 혈액 내의 헤모글로빈이 산소와 결합해 있을 때의 광흡수도와 결합하고 있지 않을 때의 광흡수도를 측정하여 그 비를 이용하여 혈액을 직접 채취하지 않고 혈중 산소포화도를 측정한다.

본 발명의 산소포화도 측정은, 산소와 결합한 헤모글로빈(HbO2)은 적외선(예컨대, 940nm)를 잘 흡수하고, 산소와 결합하지 않은 환원 헤모글로빈(Hb)은 적색 광(예컨대, 660nm)를 더 잘 흡수하는 성질을 착안하여, 발광소자와 광 검출기로 구성된 반사형 혈관 광센서 어레이 모듈을 사용하여 박동성 동맥혈관의 팽창과 수축에 따라서 감지되는 빛의 양을 수치화 하여 비침습적(non-invasive)으로 동맥 혈액의 산소포화도를 측정한다.

예컨대, 혈액 속에 충분히 산소가 많이 있다면, 산소와 결합한 헤모글로빈이 상대적으로 많아지고, 적외선 발광소자가 쏘아준 적외선이 혈관을 통과하면서 대부분 흡수되어 광 검출기에는 적외선이 검출되지 않는다.

본 발명의 반사형 혈관 광센서 어레이 모듈은 적외선 파장 영역(예컨대, 900nm 내지950nm)의 빛을 포함하는 적외선(이하 ‘IR 광’이라 함)을 손가락 부위에 조사하는 적외선 LED; 적색 파장 영역(예컨대, 640nm 내지670nm)의 빛을 포함하는 적색 광(이하 ‘RED 광’이라 함)을 손가락 부위에 조사하는 적색광 LED; 및 상기 손가락 부위에서 반사한 상기 IR 광과 RED 광을 수광하기 위한 광 검출기를 포함하되, 이들 수광된 IR광과 RED광간의 성분의 비를 바탕으로 산소포화도를 계산한다.

본 발명에서 광 검출기는 이미지 센서, 포도 다이오드(photo diode) 또는 포토 트랜지스터(phot transistor)를 사용하는 것이 선호된다.

혈중 산소 포화도는 건강한 사람의 경우 산소 포화도는 대개 100%에 가까운 98~99% 사이로 관찰된다.

일반적으로, SpO2가 95% 이하가 되면, 뇌나 장기에 공급되는 산소가 부족하여 주의력이나 집중력이 떨어지며, 쉽게 피로감을 느낀다.

또한, 본 발명의 일실시예에 따르면, 광전용적맥파(PPG, Photoplethysmography) 신호는 스마트 리모컨에 설치된 SpO2 센서의 발광 소자에서 발생된 적색 광을 인체에 조사한 다음 인체에서 반사되어 수광되는 광의 광량 변화를 광 검출기에 의해 관찰하여 광전용적맥파 신호를 계측할 수 있다.

광전용적맥파 신호(PPG 신호)는 심실 수축기 동안 박출(ejection)된 혈액이 말초혈관까지 전달될 때 말초혈관에서 측정되는 맥파 신호로, SpO2 센서의 적색 광 LED 조사동안, 손가락에서 반사된 신호를 광검출기에 의해 수집함으로써 측정될 수 있다.

예컨대, PPG신호는 사람의 심박동에 따라 손끝 동맥과 같이 말초혈관이 분포된 위치에서 말초혈관의 용적 변화인 혈류량 변화 양상을 광량 변화로 변환시켜 나타낸 생체신호로, 이것을 통해 사용자의 맥박을 측정할 수 있을 뿐만 아니라, 심전도(ECG) 신호와 상관관계를 비교함으로서 맥파 전달 시간(PTT, Pulse Transit Time) 및 맥파 전달 속도(PWV, Pulse Wave Velocity)를 측정하여 혈관의 상태, 동맥경화, 말초 순환 장애 진단 등 같은 심혈관 질환 진단에 사용될 수 있다.

본 발명의 체지방 측정은 기술 공지된 BIA(Bioelectrical impedance analysis) 방식으로 체지방을 측정하는 것이 선호된다.

예컨대 BIA 방식은 체수분량에 따라 전기 저항이 달라지므로 인체를 일종의 저항으로 보고, 인체의 측정부위에 약한 교류 전류(400마이크로암페어 정도)를 흘려주고 이때의 전위차를 검출하여 그 저항값을 산출한 후, 여기서 검출된 저항값과 피측정자의 신장, 몸무게, 나이, 성별등의 변수와 함께 소정의 알고리즘에 의하여 체지방량, 근육량, 체수분량 등의 생체 정보를 산출하게 된다.

본 발명의 일실시예에 따르면, 체지방 측정부는 스마트 리모컨상에 배치되어 피 측정자의 손가락과 직접 접촉되어 피 측정자의 신체에 전류를 가하는 구동 전극, 상기 스마트 리모컨상에 배치되어 피 측정자의 신체와 직접 접촉될 뿐만 아니라 피 측정자의 신체의 전기적 저항값을 측정하여 체지방 측정 신호를 얻기 위한 검출 전극, 및

상기 체지방 측정 신호를 디지털 데이터 신호로 변환하기 위한 AD 변환기(Analog to Digital converter)를 포함하는 것을 특징으로 한다.

본 발명의 일실시예에 따르면, 심전도(ECG 신호, Electrocardiogram) 측정은 스마트 리모컨상에 설치된 ECG 센서를 사용하여 측정된다.

심장은 혈액을 순환시키는 펌프 역할을 하는 근육 장기로서, 그 근육 운동이 미세한 전기로 조절되고 있으며, 심장의 수축과 이완에 따라 심장을 이루는 심근 세포로부터 나오는 미세한 전기변동을 보여주는 ECG 신호가 생성되고 이 신호를 피부 표면에서 감지하는 ECG센서에 의해 읽을 수 있다.

본 발명의 터치 스크린은 접촉하는 손가락 접촉 위치를 인식하여, 사용자의 명령을 입력할 수 있도록 한 입력장치이다.

본 발명의 터치 스크린은 정전용량 방식 (Capacitive), 저항막 방식(Resistive), 초음파 방식, 적외선 방식 (Infrared Beam) 중 선택된 어느 하나를 사용하는 것을 특징으로 한다.

예컨대, 저항막 방식의 터치 스크린은 투명 필름 위에 저항 성분을 갖는 투명 도전성 물질을 코팅한 상하 두 면이 서로 마주보고 있으나 서로 닿지 않도록 일정한 간격으로 스페이싱 도트들(spacing dots)이 설치되어 있는데, 이때 투명 필름 위에 손가락 터치시, 상기 두면이 서로 맞닿게 되고, 터치 위치에 따라 저항값이 변화하게 되고 이를 전압의 변화 정도로 계측하여 접촉된 손가락의 위치를 인식한다.

본 발명의 터치스크린은 ECG센서와 일체화되어 터치형 ECG 센서로 개조될 수 있다.

이 경우, 스마트 리모컨의 사용자가 터치 스크린을 터치할때 마다 심장으로부터 손가락 끝으로부터 전달되어 오는 ECG신호를 감지할 수 있게 된다. 즉, 스마트 리모컨 사용자가 TV의 기능을 선택하기 위해, 스마트 리모컨의 손 전극을 한손으로 잡은채 반대편 손가락(예를들면 검지)으로 터치 스크린을 빈번히 터치하기 때문에, 생활속에서 사용자의 ECG 신호를 쉽게 채집할 수 있게 된다.

본 발명의 일실시예에 따르면, 청진기는 스마트 리모컨에 설치되어 심장 및 폐와 같은 신체의 내부에서 나오는 신호인 PCG (PhonoCardioGram)신호를 얻을 수 있다.

본 발명의 심장 질환 측정부는 심장 질환 종류와 등급에 따라 표지된(labeled) ECG신호, PPG신호, PCG신호, 산소포화도, PTT 및 개인 신체정보를 이용하여 학습된 인공지능 신경망에 의해 피 측정자의 심장 질환을 예측하는 것이 선호된다.

상기 심장 질환은 심부전, 부정맥, 심근경색, 협심증을 포함하는 것이 선호된다.

본 발명의 혈압 측정은 다양한 혈압 수치에 따라 표지된(labeled) ECG신호, PPG신호, PCG신호, 산소포화도, PTT 및 개인 신체 정보를 이용하여 학습된 인공지능 신경망에 의해 피 측정자의 혈압 수치를 예측하는 것이 선호된다.

혈압이란 심장에서 보낸 혈액이 동맥의 혈관 벽에 가하는 압력을 말한다. 심장의 심실이 수축할 때는 혈액의 흐르는 양이 많아져서 압력은 높아진다. 반대로 심실이 확장할 때는 흐르는 혈액량이 적어져서 압력은 낮아진다.

본 발명에서 혈압 측정은 수축기 압력과 이완기 압력의 크기로 나타낸다.

수축기 혈압(Systolic Pressure)은 심실이 수축할 때의 최대혈압을 나타내고, 이완기 혈압(Diastolic Pressure)은 심실이 확장할 때의 최소혈압을 말한다.

본 발명의 콜레스테롤 측정은 다양한 콜레스테롤 수치에 의해 표지된 ECG신호, PPG신호, PCG신호, 산소 포화도, PTT 및 개인 신체 정보를 이용하여 학습된 인공지능 신경망에 의해 피 측정자의 콜레스테롤 수치를 예측하는 것이 선호된다.

정상적인 혈관에 콜레스테롤이 쌓이게 되면 혈관 탄력성이 떨어져 탄성 계수(압력에 저항하는 정도)가 낮아지는데, 심장의 구동 파워를 보여주는 PCG 신호, 이에 따른 PPG신호를 가지고 콜레스테롤 수치를 추정할 수 있다. 콜레스테롤이 쌓이는 경우, 혈관 탄력이 떨어져 기준 PCG신호 대비 말초혈관의 용적 변화가 작아져 PPG신호의 크기 변화가 작아지거나 PTT가 길어진다.

상기 콜레스테롤 측정은 중성지방(Triglyceride: TG), HDL-C(high-density lipoprotein-cholesterol), LDL-C(low-density lipoprotein-L cholesterol)값을 예측하는 것이 선호된다.

본 발명의 혈당 측정은, 스마트 리모컨 상에 설치된 복수개의 혈당 센서에 의해 터치 스크린상에 터치된 사용자의 손가락 부위로부터 글루코스 광 반사 신호를 얻고, 여러 등급의 혈당 수치에 의해 표지된 글루코스 광 반사 신호 와 개인 신체 정보로 학습된 인공지능 신경망을 이용하여 피 측정자의 혈당 수치를 예측하는 것이 선호된다.

혈중의 글루코스 농도와 근적외선의 파장에 따라, 근 적외선의 흡광도가 다르기 때문에, 서로 다른 근적외선의 파장을 출력하는 복수개의 혈당센서를 동시에 사용하여, 손가락 부위에서 반사한 근 적외선 신호들(글루코스 광 반사 신호 정보)을 상기 인공지능 신경망에 적용하면 사용자의 혈당을 계측할 수 있다.

본 발명의 사용자 신분 인증은 지문 인증, 정맥인증, 얼굴인식 중 선택된 어느 하나 이상 인식 방법을 사용하여 수행하는 것을 특징으로 한다.

상기 지문 인증은 스마트 리모컨을 쥐고 있는 사용자의 엄지 손가락의 지문을 인식하여 인증하는 것이 선호된다.

상기 정맥(vein) 인증은 스마트 리모컨을 쥐고 있는 사용자의 손가락들의 정맥 혈관 패턴 (finger vein pattern)을 인식하여 인증하는 것으로 적외선을 사용하여 혈관을 투시한 후 반사된 정맥 이미지를 템플릿 이미지와 비교하여 인증하는 것이 선호된다.

또한, 본 발명의 음성인식 단말기는 바이오센서 및 의료기기에 의한 주기적 검사에 따른 의료 데이터의 변화 추이를 관찰하여 환자에게 위험도를 알려주거나 집중케어 검사가 필요한 항목을 알려주거나 다음 검사 일정을 환자에게 알려주는 건강 추적 관리부를 구비할 수 있다.

본 발명의 생체 신호 수집부는 스마트 리모컨상에 설치되며, 피측정자가 생활 속에서 스마트 리모컨을 사용동안 스마트 리모컨상의 바이오 센서에 의해 수집된 생체 신호 중 사용자 인증이 완료된 유효한 생체신호 (ECG신호, PPG신호, 산소포화도, 글루코스 광 반사 신호 정보, PCG신호, 체지방, 체온)만을 수집하여 의료 데이터 저장부에 저장한다. 이들 수집된 의료데이터는 인공지능 신경망, 전문가 시스템 과 건강 추적 관리부에 의해 피 측정자의 건강을 분석하고 관리하도록 하는 데에 활용된다.

스마트 리모컨의 각 부분(터치 스크린, 바이오 센서, 생체신호 수집부, 의료 데이터 저장부, 무선 통신 연결 수단)을 제어하는 스마트 리모컨 제어부는 특정 건강관리 항목에 대해 유효한 생체신호의 수집이 잘 안되어 부족한 경우, 이를 집중케어 항목에 추가 등록시켜 터치스크린의 건강관리 모드를 통해 사용자에게 자가 검사하도록 유도하는 생체신호 측정 요구 수단을 구비할 수 있다.

예를 들면, 사용자에게 생체신호 측정을 요구하기 위해 터치 스크린 화면을 건강관리 항목으로 강제 전환한 후, 집중케어 항목을 점멸하여 사용자에게 생체신호 측정을 요구할 수 있다.

예컨대, 식후에 혈당 체크를 요구하기 위해 터치 스크린 화면을 건강관리 항목으로 강제 전환 후, 혈당 항목을 점멸하여 사용자에게 혈당 체크를 요구할 수 있다.

생체신호 측정 요구 수단의 또 다른 예를 들면 식후 혈당 체크를 위해, 주기적인 혈당 검사에 필요한 글루코스 광 반사 신호 정보가 확보가 안된 경우, 생체신호 측정 요구 수단은 사용자의 최근 식사 시간(또는 최근 식후 혈당 체크 시간)을 고려하여 식후에 즈음하여 식후 혈당 체크를 요구하는 문자나 음성 메시지를 사용자에게 전달할 수 있다.

생체신호 측정 요구 수단의 또 다른 측면은 음성인식부와 음성 재생부를 구비하여, 대화형으로 사용자에게 생체 신호 측정을 요구하거나 측정 방법을 안내할 수 있다.

예컨대, 식후 혈당 체크 요구가 필요할 시 생체신호 측정 요구 수단은, 스마트 리모컨: “주인님 지금 식후 혈당 체크 시간입니다”. 사용자: “10분후에 다시 알려줘”. 스마트 리모컨: “알겠습니다. 주인님! 10분후에 뵙겠습니다.” 와 같이 대화형으로 사용자에게 생체 신호 측정을 요구할 수 있다.

또한 본 발명의 스마트 리모컨 제어부는 의료 데이터 저장부에 의해 수집된 의료 데이터를 터치스크린 화면상에 표시해 주거나 음성인식 단말기의 건강 추적 관리부로부터 제공된 부가 정보(예컨대 집중 케어 항목 및 다음 검사 일정)를 터치스크린 화면상에 표시해 줄 수 있다.

즉, 스마트 리모컨에 의해 측정되거나 얻어진 생체신호 정보(ECG신호, 심장맥박, PPG신호, 산소포화도, PCG신호, 체지방, 체온, 혈압, 혈당, 콜레스테롤 정보, 개인 신체 정보 등) 및 부가정보(집중 케어 항목 및 다음 검사 일정)는 스마트 리모컨의 터치 스크린상에 표시될 수 있다.

본 발명의 심장 맥박 측정은 ECG신호의 피크(R 지점)을 이용하여 분당 Beats수(beats/min)로 산정할 수 있다, 또한 HRV(Heart Rate Variability)는 심장 맥박의 변동률을 말하며, 상기의 심장맥박으로 부터 산정할 수 있다.

본 발명의 인공지능 신경망은 서버(server)상에 구축된 서비스 응용 프로그램이 될수 있으며, 이 경우, 음성인식 단말기가 스마트 리모컨 내지 의료기기에 의해 측정된 의료 데이터를 인터넷망을 통해 서버(server)에 전송하였을때, 상기 서버상의 인공지능 신경망은 음성 단말기에게 상기 의료 데이터의 분석한 결과를 피드백 해주는 서비스를 제공한다.

본 발명의 인공지능 신경망의 또 다른 측면은 스마트 리모컨상의 바이오 센서에 의해 측정된 의료 데이터를 인터넷망을 통해 서버(server)에 전송하고, 이후 서버상의 인공지능 신경망에 의해 얻어진 상기 의료 데이터의 분석한 결과를 스마트 리모컨이 피드백 받아 터치 스크린을 통해 사용자에게 제공할 수 있다.

본 발명의 인공지능 신경망의 또 다른 측면은 스마트 리모컨상의 바이오 센서에 의해 측정된 의료 데이터를 핸드폰에 전송하고, 이후 핸드폰상에 어플(application software)로서 설치된 인공지능 신경망 앱(app)에 의해 얻어진 상기 의료 데이터의 분석한 결과를 사용자에게 제공할 수 있다.

본 발명의 스마트 리모컨은 스마트 리모컨의 움직임 신호 내지 인터럽트(interrupt) 신호에 의해 스마트 리모컨의 제어부 및 제반 전기회로가 수면 모드(sleep)에서 깨어나 정상적인 동작을 하며, 등록된 사용자의 유효한 생체 정보 획득후에는 다시 배터리 전원 절약하기 위한 수면 모드로 복귀하는 것이 선호된다.

본 발명의 스마트 리모컨은 스마트 리모컨의 움직임(흔들림) 신호를 감지하기 위해 스마트 리모컨 내부에는 자이로 센서, 가속도 센서 또는 틸트 센서(tilt sensor)를 구비할 수 있다.

본 발명의 스마트 리모컨의 다른 측면은 스마트 리모컨의 바이오 센서가 스마트 폰 상에 설치되어 생활 속에서 스마트 폰 사용자의 생체 신호 수집을 수행할 수 있도록 개조될 수 있다.

이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.

도면에 도시하진 않았으나 스마트 리모컨(400)을 이용한 자가 검사방법은 앞서 설명된 음성 인식 단말기(17) 및 음성인식 단말기(17)를 내장한 디지털 TV(300)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 음성 인식 단말기(17) 및 디지털 TV(300)에 대하여 설명된 내용은 스마트 리모컨을 이용한 자가 검사방법에 대한 설명에도 동일하게 적용될 수 있다. 이하에서는 설명의 편의를 위해 스마트 리모컨 장치(미도시)에 의해 수행되는 것으로 설명하고자 한다.

단계 S101에서, 스마트 리모컨(400)에 포함된 바이오 센서로부터 사용자의 생체 신호를 수집할 수 있다.

단계 S102에서, 생체 신호 유효 판단 수단을 이용하여 수집된 생체 신호 중 사용자 인증이 완료된 유효한 생체신호를 판별할 수 있다.

단계 S103에서, 의료기기들에 의해 측정된 의료 데이터를 근거리 무선 통신 연결에 의해 수신한 의료데이터 및 생체 신호 수집부를 통해 획득된 의료데이터를 저장할 수 있다.

단계 S104에서, 무선 통신 연결 수단을 통해 저장된 의료 데이터를 인터넷 망을 통해 서버에 전송하고, 서버 상의 인공지능 신경망 및 전문가 시스템에 의해 의료 데이터의 분석 결과를 피드백 받을 수 있다.

단계 S105에서, 의료 데이터의 분석 결과를 터치 스크린을 통해 사용자에게 제공할 수 있다.

상술한 설명에서, 단계 S101 내지 S108은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.

본원의 일 실시 예에 따른 스마트 리모컨(400)을 이용한 자가 검사방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. 또한 본발명의 디지털 TV는 스마트 미러 내지 컴퓨터 모니터로 대체 가능하다.

또한, 전술한 스마트 리모컨(400)을 이용한 자가 검사방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.

전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.

8: 디지털 통신 모듈
11: 건강 추적 관리부
12: 의료 데이터 수신부
13: 서버
15: 의료 데이터 저장부
16: 인공지능 신경망
17: 음성인식 단말기
18: 전문가 시스템
19: 체열 진단부
20a: 혈압측정용 인공지능 신경망
20b: 콜레스테롤 측정용 인공지능 신경망
20c: 혈당 측정용 인공지능 신경망
22: 카메라
23: 마이크
24: 지문 인식부
24a: 손 전극
28: 스피커
27a: 음성 인식부
28a: 음성 재생부
29: 적외선 온도 센서
30: 제어부
37: 무선 통신 연결 수단
38a: 스피커부 38b: 마이크부
39: 리모컨 송신부
40: Sine 파 발생기
41: RMS 전압 검출기
44: 청진기
44a: 박막 올림판
46: AD 변환기
47: 인체 피부 표면
48: ECG 센서
48a: 절연막 48b: ECG 전극면
48c: ECG 전극
50: 광 검출기
51a: 적색광 LED 51b: 적외선 LED
52a: 근 적외선 LED
53: 스마트 리모콘 제어부
54a: 정맥 센서부
61: 차동 증폭기
62: HPF
63:BRF
68a: DC 성분 68b: AC 성분
69a: ECG 신호 69b: PPG 신호
69c: SpO2 69d:PTT
69e: 글루코스 광 반사 정보 69f: 개인 신체 정보
70: 체지방 측정부
71: 심전도 측정부
73: 청진음 측정부
81: 필터
84: 차동 증폭기
140: TX 스캔부
142: RX 스캔부
172: 신호 증폭부
173: 노이즈 제거 필터
174: 주파수 필터
176: ADC
202: 인터넷
300: 디지털 TV, 스마트 미러
400: 리모컨
401 : 터치 스크린
420: 생체 신호 수집부
420a : 생체신호 유효 판별 수단

Claims

디지털 TV의 기능을 제어하기 위한 버튼 및 생체 신호 측정과 상기 생체 신호 측정 동안 사용자 인증을 동시에 수행하는 바이오 센서를 포함하는 스마트 리모컨; 및
상기 디지털 TV를 음성 명령에 의해 제어하고, 상기 바이오 센서에 의해 측정된 생체 신호에 대한 의료 데이터를 수신하여 인공지능 신경망을 통해 분석하고, 의사와의 인터넷 통신 연결을 통해 원격 의료 진단 서비스를 제공하는 음성인식 단말기,
를 포함하되,
상기 스마트 리모컨은,
상기 바이오 센서로부터 생체 신호를 수집하는 생체 신호 수집부;
상기 스마트 리모컨의 측면에 형성된 반사형 혈관 광센서 어레이 모듈과 지문 인증부;
상기 지문 인증부 접촉시, 상기 지문 인증부와의 동시 접촉을 제공하는 상기 지문 인증부의 외주 테두리를 감싸는 복수의 손 전극 및
상기 수집된 생체 신호 중 상기 지문 인증부에 의해 사용자 인증이 완료된 유효한 생체신호를 수집하기 위한 생체신호 유효 판별 수단을 포함하고,
상기 생체신호 유효 판별 수단은, 기준 생체 신호의 특징 벡터와 상기 생체 신호의 특징 벡터 간에 상호 상관 계수가 미리 설정된 문턱치보다 큰 경우, 상기 생체 신호를 유효한 생체 신호로 판단하고,
상기 반사형 혈관 광센서 어레이 모듈은 복수개의 SpO2센서 또는 복수개의 정맥 센서부를 포함하고,
사용자가 상기 스마트 리모컨의 측면을 손가락으로 잡았을 때 상기 지문 인증부에 의해 지문 인증과 동시에, 광 검출기에 의해 손가락의 내부에 있는 정맥의 혈관 패턴에 대한 정맥 이미지를 얻어 정맥 인증에 사용하거나 손가락의 동맥으로부터 산소 포화도 또는 PPG신호를 측정하고, 상기 복수의 손 전극은 체지방 측정을 위한 구동 전극과 검출 전극으로서 동작하거나 ECG센서의 제1전극을 형성하는 것인, 인공지능형 스마트 리모컨 장치.
제1항에 있어서,
상기 음성인식 단말기는, 근거리 무선 통신 연결에 의해 복수의 의료기기로부터 측정된 의료 데이터 내지 상기 스마트 리모컨의 바이오 센서에 의해 측정된 의료 데이터를 수신하는 의료 데이터 수신부를 포함하는, 인공지능형 스마트 리모컨 장치.
제 1항에 있어서,
상기 음성인식 단말기는,
상기 의료 데이터를 인터넷 망을 통해 서버에 전송하고, 상기 서버 상의 인공지능 신경망 내지 전문가 시스템에 의해 분석된 상기 의료 데이터의 분석 결과를 피드백 받아 사용자에게 질병 유무와 질병의 위험도를 상기 디지털 TV를 통해 통지하는, 인공지능형 스마트 리모컨 장치.
제 1항에 있어서,
상기 인공지능 신경망은 상기 음성인식 단말기에 설치되는 인공지능 신경망 앱(app)인 것인, 인공지능형 스마트 리모컨 장치.
생체 신호 측정과 상기 생체 신호 측정 동안 사용자 인증을 동시에 수행하는 바이오 센서;
상기 바이오 센서로부터 생체 신호를 수집하기 위한 생체 신호 수집부;
상기 생체 신호 수집부에 의해 수집된 생체 신호 중 사용자 인증이 완료된 생체 신호 성분 중 유효한 생체신호 부분을 판별하는 생체신호 유효 판별 수단;
의료기기들에 의해 측정된 의료 데이터를 근거리 무선 통신 연결에 의해 수신한 의료데이터 내지 상기 생체 신호 수집부를 통해 얻어진 의료데이터를 저장하기 위한 의료 데이터 저장부;
상기 의료 데이터를 인터넷망을 통해 서버에 전송하고, 이후 상기 서버 상의 인공지능 신경망 내지 전문가 시스템에 의해 분석된 상기 의료 데이터의 분석 결과를 피드백 받기 위한 무선 통신 연결 수단; 및
상기 바이오 센서, 생체 신호 수집부, 의료데이터 저장부, 무선 통신 연결 수단을 제어하고 상기 의료 데이터의 분석한 결과를 터치 스크린을 통해 사용자에게 제공하는 스마트 리모컨 제어부
를 포함하는 스마트 리모컨을 포함하되,
상기 생체신호 유효 판별 수단은, 기준 생체 신호의 특징 벡터와 상기 생체 신호의 특징 벡터 간에 상호 상관 계수가 미리 설정된 문턱치보다 큰 경우, 상기 생체 신호를 유효한 생체신호로 판단하고,
상기 스마트 리모컨은
상기 스마트 리모컨의 측면에 형성된 반사형 혈관 광센서 어레이 모듈과 지문 인증부; 및
상기 지문 인증부 접촉시, 상기 지문 인증부와의 동시 접촉을 제공하는 상기 지문 인증부의 외주 테두리를 감싸는 복수의 손 전극을 추가 포함하고,
상기 반사형 혈관 광센서 어레이 모듈은 복수개의 SpO2센서 또는 복수개의 정맥 센서부를 포함하고,
사용자가 상기 스마트 리모컨의 측면을 손가락으로 잡았을 때 상기 지문 인증부에 의해 지문 인증과 동시에, 광 검출기에 의해 손가락의 내부에 있는 정맥의 혈관 패턴에 대한 정맥 이미지를 얻어 정맥 인증에 사용하거나 손가락의 동맥으로부터 산소 포화도 또는 PPG신호를 측정하고, 상기 복수의 손 전극은 체지방 측정을 위한 구동 전극과 검출 전극으로서 동작하거나 ECG센서의 제1전극을 형성하는 것인,
인공지능형 스마트 리모컨 장치.
스마트 리모컨의 측면에 형성된 반사형 혈관 광센서 어레이 모듈과 사용자의 지문을 인증하는 지문 인증부;
상기 사용자가 상기 지문 인증부 접촉시, 상기 지문 인증부와의 동시 접촉을 제공하는 상기 지문 인증부의 외주 테두리를 감싸는 복수의 손 전극;
상기 손 전극으로부터 측정된 생체 신호 중 사용자 인증이 완료된 생체 신호 성분 중 유효한 생체신호를 판별하는 생체신호 유효 판별 수단;
상기 생체 신호를 분석하는 인공 지능 신경망 앱(app); 및
상기 손 전극 및 생체신호 유효 판별 수단을 제어하고 상기 인공 지능 신경망 앱(app)에 의해 분석한 결과를 터치 스크린을 통해 사용자에게 제공하는 스마트 리모컨 제어부,
를 포함하는 스마트 리모컨을 포함하고,
상기 생체신호 유효 판별 수단은, 기준 생체 신호의 특징 벡터와 상기 생체 신호의 특징 벡터 간에 상호 상관 계수가 미리 설정된 문턱치보다 큰 경우, 상기 생체 신호를 유효한 생체신호로 판단하고,
상기 반사형 혈관 광센서 어레이 모듈은 복수개의 SpO2센서 또는 복수개의 정맥 센서부를 포함하고,
사용자가 상기 스마트 리모컨의 측면을 손가락으로 잡았을 때 상기 지문 인증부에 의해 지문 인증과 동시에, 광 검출기에 의해 손가락의 내부에 있는 정맥의 혈관 패턴에 대한 정맥 이미지를 얻어 정맥 인증에 사용하거나 손가락의 동맥으로부터 산소 포화도 또는 PPG신호를 측정하고, 상기 복수의 손 전극은 체지방 측정을 위한 구동 전극과 검출 전극으로서 동작하거나 ECG센서의 제1전극을 형성하는 것인,
인공지능형 스마트 리모컨 장치.
제5항 또는 제6항에 있어서,
상기 터치 스크린은,
리모컨 모드와 건강관리 모드 화면을 전환할 수 있는 메뉴버튼을 포함하고,
상기 리모컨 모드 동안에는 디지털 TV의 기능을 제어하기 위한 리모컨 선택 버튼들이 상기 터치 스크린 화면상에 표시되고,
상기 건강관리 모드 동안에는 건강 관리 항목 중 하나를 선택하기 위한 메뉴 선택 버튼들이 상기 터치 스크린 화면상에 표시되는 것인, 인공지능형 스마트 리모컨 장치.
제5항 또는 제6항에 있어서,
상기 스마트 리모컨 제어부는,
특정 건강관리 항목에 대해 유효한 생체 신호가 미리 설정된 기준 값 이하로 수집되는 경우, 상기 특정 건강관리 항목의 생체신호 측정을 요청하는 문자나 음성 메시지를 사용자에게 발송하거나 상기 특정 건강관리 항목을 집중 케어 항목에 등록시켜 사용자에게 자가 검사하도록 유도하거나 대화형으로 사용자에게 생체 신호 측정을 요구하는 생체신호 측정 요구 수단을 포함하는 인공지능형 스마트 리모컨 장치.
삭제
제 1항, 제5항, 또는 제6항에 있어서,
상기 지문 인증부는 사용자가 스마트 리모컨을 손으로 잡았을 때 사용자의 엄지손가락의 지문에 의해 지문 인증을 수행하는 것을 특징으로 하는 인공지능형 스마트 리모컨 장치.
제1항, 제5항, 또는 제6항에 있어서,
상기 ECG 센서는 상기 스마트 리모컨의 후면부에 설치되고, 심전도 측정은 상기 제1전극과 제2전극간에 형성된 전압 신호를 증폭하여 측정하되,
상기 제2전극은 상기 ECG 센서가 피부에 접촉되었을 때 형성되는 것인,인공지능형 스마트 리모컨 장치.
제1항, 제5항, 또는 제6항에 있어서,
심전도 측정은 상기 제1전극과 제2전극 간에 형성된 전압 신호를 증폭하여 측정하되, 상기 제2전극은 상기 손가락의 반대편 손가락이 터치형 ECG 센서에 접촉되었을 때 형성되는 것인, 인공지능형 스마트 리모컨 장치.
제12항에 있어서,
상기 터치형 ECG 센서는
디스플레이 패널;
상기 디스플레이 패널에 적층되는 하층 투명필름;
상기 하층 투명필름상에 적층되는 상층 투명필름;
상기 상층 투명필름 상에 적층되는 ECG 센서;
상기 상층 투명필름과 하층 투명 필름을 분리하는 스페이서;
상기 하층 투명필름의 윗면에 형성되어, 터치시 X축의 좌표를 제공하는 제1 저항막 패턴;
상기 상층 투명필름의 하단에 형성되며 상기 제1 저항막 패턴과는 서로 수직으로 교차하도록 배열하여, 터치시 Y축의 좌표를 제공하는 제2 저항막 패턴;
상기 제1 저항막 패턴의 말단에 설치되는 복수의 X축 전극;
상기 제2 저항막 패턴의 말단에 설치되는 복수의 Y축 전극; 및
상기 ECG 센서의 한쪽 단말에 설치되는 ECG전극,
을 포함하는 인공지능형 스마트 리모컨 장치.
삭제
제5항 또는 제6항에 있어서,
상기 스마트 리모컨은 후면부에 설치되는 청진기를 포함하고,
사용자가 상기 스마트 리모컨의 측면을 손가락으로 잡아 상기 청진기를 심장 부위에 접촉시, 상기 청진기에 의해 심장 및 폐의 내부에서 나오는 PCG신호를 계측과 동시에 상기 손가락에 의해 지문 인증이 이루어지는 것인, 인공지능형 스마트 리모컨 장치.
제15항에 있어서,
상기 청진기는 디지털 TV를 음성 명령으로 제어하기 위한 마이크 입력으로 사용되고,
상기 스마트 리모컨 제어부는, 상기 청진기 사용 기간 동안 디지털 TV의 볼륨이 줄어 들도록 제어하고, 청진기 사용 종료시에는 사용 전의 디지털 TV의 볼륨 크기로 자동 복귀되도록 제어하는, 인공지능형 스마트 리모컨 장치.
제15항에 있어서,
상기 청진기의 박막 울림판 표면을 도전성 재료로 코팅하고, 상기 도전성 재료의 상측에 절연막을 코팅하여 ECG 전극면을 형성함으로써, 상기 청진기를 ECG 센서로 겸용하는 것인, 인공지능형 스마트 리모컨 장치.
제1항 또는 제5항에 있어서,
상기 바이오 센서는 적외선 온도 센서, 카메라, 심전도를 측정하기 위한 ECG센서, 산소 포화도를 측정하기 위한 SpO2센서, 광전용적맥파(PPG, Photoplethysmography) 신호를 얻기 위한 PPG센서, 글루코스 광반사 신호들을 얻기 위한 혈당 센서, PCG 신호를 얻기 위한 청진기, 체지방 측정용 손 전극들 중 선택된 어느 하나 이상을 구비한 것인, 인공지능형 스마트 리모컨 장치.
제 1항, 제5항 또는 제6항에 있어서,
상기 인공지능 신경망은 상기 생체신호 및 개인 신체 정보를 입력으로 하여,혈압 측정용 인공지능 신경망, 콜레스테롤 측정용 인공지능 신경망, 혈당 측정용 인공지능 신경망, 심장 질환 측정부 중 선택된 어느 하나 이상을 포함하는, 인공지능형 스마트 리모컨 장치.
제19항에 있어서,
상기 개인 신체 정보는 체지방 정보 및 표준 혈압치를 포함하고,
상기 표준 혈압치는 [수학식 1]에 적용하여 계산되고,
상기 인공지능 신경망은 생체 신호의 특징 벡터를 추출하는 딥 런닝 신경 회로망 및 LSTM(long Short term Memory)를 포함하고,
[수학식 1]은

인 것인, 인공지능형 스마트 리모컨 장치.
제19항에 있어서,
상기 인공 지능 신경망의 입력은 ECG 신호의 R지점을 기준으로 동기화된 생체 신호를 사용하는 것인,인공지능형 스마트 리모컨 장치.
제19항에 있어서,
상기 생체신호는
ECG신호, PPG신호, PCG신호, SpO2, PTT, 글루코스 광 반사 정보를 포함하는 것인,인공지능형 스마트 리모컨 장치.
제18항에 있어서,
상기 혈당 센서는
터치 스크린상에 표시되는 가상의 손가락 패턴;
상기 가상의 손가락 패턴 상에 정렬된 사용자의 각각의 손가락 부위에 서로 다른 파장의 근 적외선을 조사하는 복수개의 근 적외선 발광소자; 및
상기 손가락 부위로부터 반사한 근 적외선을 수광하여 전기적 신호로 변환하는 광 센서;
를 포함하고,
상기 광 센서로부터 글루코스 광 반사 신호 정보를 획득하는, 인공지능형 스마트 리모컨 장치.
제 1항에 있어서,
상기 음성 인식 단말기는
상기 생체 신호 및 의료 데이터의 변화 추이를 관찰하여 사용자에게 위험도를 알려주거나 집중케어 검사가 필요한 항목을 알려주거나 다음 검사 일정을 사용자에게 알려주는 건강 추적 관리부를 포함하는, 인공지능형 스마트 리모컨 장치.
제 1항에 따른 인공지능형 스마트 리모컨 장치에 의해 수행되는 자가 검사 방법에 있어서,
상기 스마트 리모컨에 포함된 바이오 센서로부터 사용자의 생체 신호를 수집하는 단계;
상기 생체 신호 중 사용자 인증이 완료된 유효한 생체신호를 판별하는 단계;
복수의 의료기기들에 의해 측정된 의료 데이터를 근거리 무선 통신 연결에 의해 수신한 의료 데이터 및 생체 신호 수집부를 통해 획득된 의료데이터를 저장하는 단계;
무선 통신 연결 수단을 통해 저장된 상기 의료 데이터를 인터넷 망을 통해 서버에 전송하고, 서버 상의 인공지능 신경망 및 전문가 시스템에 의해 의료 데이터의 분석 결과를 피드백 받는 단계; 및
피드백 받은 상기 의료 데이터의 분석 결과를 터치 스크린을 통해 사용자에게 제공하는 단계,
를 포함하는, 자가 검사 방법.
제 5항 또는 제 6항에 있어서,
상기 스마트 리모컨 제어부는
상기 생체 신호 및 의료 데이터의 변화 추이를 관찰하여 사용자에게 위험도를 알려주거나 집중케어 검사가 필요한 항목을 알려주거나 다음 검사 일정을 사용자에게 알려주는 건강 추적 관리부를 포함하는, 인공지능형 스마트 리모컨 장치.
제19항에 따른 인공지능형 스마트 리모컨 장치에 의해 수행되는 자가 검사 방법에 있어서,
상기 스마트 리모컨에 포함된 바이오 센서로부터 사용자의 생체 신호를 수집하는 단계;
상기 생체 신호 중 사용자 인증이 완료된 유효한 생체신호를 판별하는 단계;
복수의 의료기기들에 의해 측정된 의료 데이터를 근거리 무선 통신 연결에 의해 수신한 의료 데이터 및 생체 신호 수집부를 통해 획득된 의료데이터를 저장하는 단계;
무선 통신 연결 수단을 통해 저장된 상기 의료 데이터를 인터넷 망을 통해 서버에 전송하고, 서버 상의 인공지능 신경망 및 전문가 시스템에 의해 의료 데이터의 분석 결과를 피드백 받는 단계; 및
피드백 받은 상기 의료 데이터의 분석 결과를 터치 스크린을 통해 사용자에게 제공하는 단계,
를 포함하는, 자가 검사 방법.