KR102010524B1 - 비접촉식 진단 장치 - Google Patents

Abstract

영상을 사용한 비접촉식 진단 장치가 개시된다. 비접촉식 진단 장치는, 사용자의 영상을 촬영하여 이미지를 획득하는 영상 획득 유닛, 영상 데이터 및 프로세서를 구동하기 위한 다양한 정보를 저장하는 메모리 및 상기 영상 획득 유닛 및 메모리를 제어하여 사용자 상태 진단을 수행하는 프로세서를 포함하고, 상기 비접촉식 진단 장치는, 영상으로부터 피부 영역을 검출하고, 상기 피부 영역의 영상으로부터 평균 색상 데이터를 추출하고, 상기 평균 색상 데이터를 주파수 프로세싱하여 호흡 신호 또는 맥파 신호 중 적어도 하나를 획득하고, 상기 호흡 신호 또는 맥파 신호를 처리하여 소리와 진동으로 출력하고, 및 상기 호흡 신호 또는 상기 맥파 신호를 상관(correlation) 함수 연산하여 사용자 상태를 진단할 수 있다.

Description

비접촉식 진단 장치{contactless diagnosis device}

본 발명은 비접촉식 진단 장치에 대한 것으로, 특히 피부 영상 데이터를 사용하여 추출한 맥파 신호를 소리 또는 진동으로 변환 및 출력하고, 피부 영상에 대한 상관 함수 연산을 사용하여 맥박수, 호흡수, 맥박 강도, 혈관 상태, 부정맥 등의 진단을 수행하는 비접촉식 진단 장치에 대한 것이다.

기존의 디지털 청진기는 접촉식의 별도의 측정기기를 사용하거나 스마트 기기의 애플리케이션 형태의 접촉식 청진기가 주를 이룬다. 별도의 측정기기를 사용한 청진기의 경우 기존 아날로그 청진기와 달리 청진음을 디지털로 변환하여 증폭 및 다양한 연산을 통해 명확한 소리로 복원한다. 최근에는 청진기를 통해 감지되는 청진음의 신호분석을 통한 진단방식을 적용한 디지털 청진기기와 이를 스마트기기와 연동한 서비스가 수행되고 있다.

하지만, 사용자 개인이 별도의 측정기기를 구비하고 있어야 한다는 점과 옷을 입고 있는 상태에서 청진이 이루어지더라도 접촉식의 청진방식이 사용된다는 한계를 가지고 있다. 이러한 단점을 극복하고자 별도의 측정기기가 요구되지 않는 스마트 기기 애플리케이션 형태의 디지털 청진방식이 사용되지만 스마트 장치의 소리입력 부를 가슴에 밀착시켜 소리를 녹음하는 접촉식 청진이 이루어지고 있으며, 소리 제공 이외에 추가적인 정보를 제공할 수 없다는 한계를 가지고 있다.

한국 출원 10-2017-0006071호

본 발명의 목적은 기존의 사용자에게 청진부위 청진음을 제공하기 위해 별도의 측정기기와 이를 연계한 장비, 접촉식 청진방식을 대체한 새로운 방식의 디지털 청진기와 청진방법에 있다. 일반카메라, 적외선카메라 등을 통해 입력되는 영상에서 피부영역의 관심영역을 정의하고 생체 신호를 추출, 추출된 생체신호를 통해 호흡과 맥파를 산출한다. 또한, 청취가 가능한 범위로 적절한 증폭과 적당한 샘플링 주파수를 이용한 보간 및 가청 주파수 확장을 통해 그래프와 소리로 출력하여 청취를 통한 상태진단이 가능하도록 하는 새로운 방식의 디지털 청진기의 청진방법을 발명하였다. 또한 산출된 신호의 자기 또는 상호 상관함수를 분석하여 분당 맥박 및 호흡수, 맥박강도, 진동을 이용한 맥박 및 호흡 표현 및 출력과 혈관상태 및 부정맥 진단 등을 수행한다. 이를 통해 사용자는 청진음의 청음과 상관함수 분석에 의한 진단결과를 참고하여 상태를 진단할 수 있다.

상술한 과제를 해결하기 위하여, 본 발명의 영상을 사용한 비접촉식 진단 장치의 진단 방법은, 영상으로부터 피부 영역을 검출하는 단계; 상기 피부 영역의 영상으로부터 평균 색상 데이터를 추출하는 단계; 상기 평균 색상 데이터를 주파수 프로세싱하여 호흡 신호 또는 맥파 신호 중 적어도 하나를 획득하는 단계; 및 상기 호흡 신호 또는 상기 맥파 신호를 소리나 진동으로 출력하고, 상관 함수 연산하여 사용자 상태를 진단하는 단계를 포함한다.

본 발명의 진단 방법에 있어서, 상기 호흡 신호 또는 상기 맥파 신호를 상관 함수 연산하여 상기 사용자 상태를 진단하는 단계는, 상기 호흡 신호 또는 상기 맥파 신호의 제 1 구간을 분할하는 단계; 분할된 제 1 구간의 신호에 대해 자기 상관(auto correlation) 연산을 수행하는 단계; 상기 자기 상관 연산의 결과로부터 피크를 검색하는 단계; 및 상기 피크에 기초하여 사용자 상태를 진단하는 단계를 더 포함한다.

본 발명의 진단 방법에 있어서, 상기 피크에 기초하여 사용자 상태를 진단하는 단계는, 상기 자기 상관 연산의 결과로부터 최대 피크 진폭을 획득하는 단계; 및 상기 최대 피크 진폭과 정상 범위 임계 값을 비교하여 상기 사용자의 맥박 강도를 진단하는 단계를 더 포함한다.

본 발명의 진단 방법에 있어서, 상기 피크에 기초하여 사용자 상태를 진단하는 단계는, 상기 자기 상관 연산의 결과로부터 피크 간 기울기의 제 1 불규칙 정보를 획득하는 단계; 및 상기 제 1 불규칙 정보에 기초하여 사용자의 혈관 상태를 진단하는 단계를 더 포함한다.

본 발명의 진단 방법에 있어서, 상기 제 1 불규칙 정보는, 상기 기울기가 임계치 이하인 구간의 길이 정보 또는 기울기 역전 현상의 발생 회수 정보 중 적어도 하나를 포함한다.

본 발명의 진단 방법에 있어서, 상기 피크에 기초하여 사용자 상태를 진단하는 단계는, 상기 피크 간 간격에 기초하여 맥박수 또는 호흡수를 획득하는 단계를 더 포함한다.

본 발명의 진단 방법에 있어서, 상기 피크에 기초하여 사용자 상태를 진단하는 단계는, 상기 호흡 신호 또는 상기 맥파 신호의 제 2 구간을 분할하는 단계; 상기 제 1 구간의 신호 및 상기 제 2 구간의 신호에 대해 상호 상관(cross correlation) 연산을 수행하는 단계; 상기 상호 상관 연산의 결과로부터 피크 간 기울기의 제 2 불규칙 정보를 획득하는 단계; 및 상기 맥박수 및 상기 제 2 불규칙 정보에 기초하여 사용자의 부정맥 상태를 진단하는 단계를 더 포함한다.

본 발명의 진단 방법에 있어서, 상기 호흡 신호 또는 상기 맥파 신호의 진폭을 증폭하는 단계; 상기 호흡 신호 또는 상기 맥파 신호의 샘플 수를 확장하는 보간 처리하는 단계; 상기 호흡 신호 또는 상기 맥파 신호를 가청 주파수로 확장하는 단계; 및 상기 증폭 및 보간된 상기 호흡 신호 또는 상기 맥파 신호를 출력하는 단계를 더 포함한다.

본 발명의 진단 방법에 있어서, 상기 맥파 신호의 피크를 계산하는 단계; 상기 맥파 신호의 피크에 따른 진동 샘플을 생성하는 단계; 및 상기 맥파 신호에 동기된 진동을 출력하는 단계를 더 포함한다.

본 발명의 진단 방법에 있어서, 상기 평균 색상 데이터를 주파수 프로세싱하여 호흡 신호 또는 맥파 신호 중 적어도 하나를 획득하는 단계는, 상기 평균 색상 데이터를 주파수 분석하여, 대역 통과 필터링을 수행하는 단계를 더 포함한다.

상술한 과제를 해결하기 위하여, 본 발명의 비접촉식 진단 장치는, 사용자의 영상을 촬영하여 이미지를 획득하는 영상 획득 유닛; 영상 데이터 및 프로세서를 구동하기 위한 다양한 정보를 저장하는 메모리; 및 상기 영상 획득 유닛 및 메모리를 제어하여 사용자 상태 진단을 수행하는 프로세서를 포함하고, 상기 비접촉식 진단 장치는, 영상으로부터 피부 영역을 검출하고, 상기 피부 영역의 영상으로부터 평균 색상 데이터를 추출하고, 상기 평균 색상 데이터를 주파수 프로세싱하여 호흡 신호 또는 맥파 신호 중 적어도 하나를 획득하고, 상기 호흡 신호 또는 맥파 신호를 처리하여 소리와 진동으로 출력하고, 및 상기 호흡 신호 또는 상기 맥파 신호를 상관(correlation) 함수 연산하여 사용자 상태를 진단할 수 있다.

최근 개인 맞춤 디지털 헬스케어 시장에서 스마트 기기의 애플리케이션 형태의 헬스케어 상품이 크게 주목받고 있다. 이에 따라 기존 디지털 청진기와 별도측정기기를 요구하는 청진방식은 사용자 개인이 사용하기에는 많은 제약이 있다. 또한 스마트기기 소리입력 부를 청진부위에 밀착시키는 방식의 청진은 주변 소음에 의한 잡음을 포함함으로 환경에 의한 제약을 가지고 있다. 따라서 본 발명에서는 기존 청진방식의 한계를 극복하여 피부 영상을 이용한 비접촉식 디지털 청진 방법을 개발하였다. 사용자가 보유한 스마트 기기 등의 일반 카메라 또는 적외선카메라 등을 통해 입력된 피부 영상에서 생체신호를 추출하고, 호흡과 맥파 신호를 산출하여 청취가 가능한 범위의 적절한 증폭과 다양한 범위의 샘플링 주파수로 보간을 수행하여 그래프와 소리로 출력하는 방식으로 청진하며, 상관함수 분석을 통해 계산된 맥박강도, 혈관상태, 부정맥 진단 등의 추가 정보를 확인하여 청음 및 촉감에 의한 상태 진단과 더불어 이상상태 유무를 확인할 수 있다.

이러한 비접촉식 피부 영상 기반의 청진은 다양한 헬스케어 시스템과 접목해 개인 맞춤형 디지털 헬스케어 서비스에 적용될 수 있으며, 청진을 통해 산출된 결과 신호는 사용자 개인의 건강상태를 점검하는 척도로 사용될 수 있다.

본 발명의 결과는 기존 접촉식 청진 방식에서 벗어나 스마트 기기의 카메라와 같은 일반카메라, 적외선카메라 등을 통해 입력된 피부 영상으로부터 호흡, 맥파 신호를 산출해 적절한 증폭, 보간 등 신호처리를 통해 청진 가능한 주파수 영역으로 신호를 확장하였다. 이와 더불어 맥박에 동기된 진동을 출력하여 보다 직관적인 맥박 상태 확인이 가능하게 하였다. 또한, 본 청진 방법을 스마트 기기의 애플리케이션 형태로 개발할 경우 별도의 디바이스를 요구하지 않아 일반 사용자들을 대상으로 빠르고 편리한 청진음 및 진동을 제공할 수 있고, 이를 통한 건강상태 진단이 가능할 수 있다. 결과적으로 기존 디지털청진에 필요한 별도 기기를 사용하는 방법을 효과적으로 대체 할 수 있다. 또한, 추가적으로 맥박수, 호흡수, 맥박강도, 혈관상태, 부정맥 등의 진단정보를 함께 제공하여 청음 및 촉감을 통한 상태진단과 더불어 추가적인 진단정보를 활용한 상태 진단이 가능하다. 활용 예로 개인별 헬스 케어 서비스와 접목해 피부 영상을 이용한 다양한 기초 검진을 통해 사용자 개인별 의료서비스를 제공할 수 있을 것으로 기대된다. 본 발명의 결과 데이터를 분석하여 더욱 정확한 진단의 기초자료로 사용될 수 있으며 실험에 사용된 얼굴 영상뿐만 아니라 다양한 신체부위의 청진 및 촉진이 가능하고, 이상을 판별하는데 중요한 자료로 사용될 것이다.

본 발명에서는 기존 디지털청진기의 한계를 극복하고자 추가적인 측정기기를 사용하지 않고 개인이 보유하고 있는 스마트 기기의 카메라로 취득한 피부 영상을 이용한 비접촉 방식의 청진을 수행하여 청진음을 제공하고 신호처리를 통한 분당 맥박 및 호흡수, 맥박강도, 혈관상태 및 부정맥 등의 진단정보와 맥박에 동기된 진동을 함께 제공하여 청음을 통한 상태진단과 더불어 추가적인 정보를 함께 제공받을 수 있다.

본 발명에 대해 더욱 이해하기 위해 포함되며 본 출원에 포함되고 그 일부를 구성하는 첨부된 도면은 본 발명의 원리를 설명하는 상세한 설명과 함께 본 발명의 실시예를 나타낸다.
도 1은 본 발명의 실시예에 따른 디지털 진단 장치의 진단 방법을 나타낸다.
도 2는 피부 영상에서 생체 신호를 추출하여 주파수 분석을 통한 차단 주파수를 산출하고, 필터링을 통해 호흡 및 맥파 신호를 산출하는 과정을 나타낸다.
도 3은 본 발명의 실시예에 따른 자기 상관 프로세싱 방법을 나타낸다.
도 4는 본 발명의 실시예에 따른 맥파 신호의 노이즈 성분에 따른 자기 상관 함수 결과를 나타낸다.
도 5는 본 발명의 실시예에 따른 상호 상관 프로세싱 방법을 나타낸다.
도 6은 본 발명의 실시예에 따른 소리 및 진동 출력 프로세싱 방법을 나타낸다.
도 7은 본 발명의 실시예에 따른 맥박 강도 진단 방법을 나타낸다.
도 8은 본 발명의 실시예에 따른 혈관 상태 진단 방법을 나타낸다.
도 9는 본 발명의 실시예에 따른 부정맥 진단 방법을 나타낸다.
도 10은 전체 맥파 신호와 세분화된 구간에 대한 맥파 신호를 보여준다.
도 11은 본 발명의 실시예에 따른 맥박수, 호흡수 산출 방법을 나타낸다.
도 12는 본 발명의 실시예에 따른 비접촉식 진단 장치를 나타낸다.

본 발명의 바람직한 실시예에 대해 구체적으로 설명하며, 그 예는 첨부된 도면에 나타낸다. 첨부된 도면을 참조한 아래의 상세한 설명은 본 발명의 실시예에 따라 구현될 수 있는 실시예만을 나타내기보다는 본 발명의 바람직한 실시예를 설명하기 위한 것이다. 다음의 상세한 설명은 본 발명에 대한 철저한 이해를 제공하기 위해 세부 사항을 포함하지만, 본 발명이 이러한 세부 사항을 모두 필요로 하는 것은 아니다. 본 발명은 이하에서 설명되는 실시예들은 각각 따로 사용되어야 하는 것은 아니다. 복수의 실시예 또는 모든 실시예들이 함께 사용될 수 있으며, 특정 실시예들은 조합으로서 사용될 수도 있다.

본 발명에서 사용되는 대부분의 용어는 해당 분야에서 널리 사용되는 일반적인 것들에서 선택되지만, 일부 용어는 출원인에 의해 임의로 선택되며 그 의미는 필요에 따라 다음 설명에서 자세히 서술한다. 따라서 본 발명은 용어의 단순한 명칭이나 의미가 아닌 용어의 의도된 의미에 근거하여 이해되어야 한다.

본 발명은 피부 영상을 사용한 디지털 청진기의 청진/진단 방법에 관한 것이다. 본 발명의 디지털 청진기는, 피부를 촬영한 영상으로부터 피부를 검출하고, 검출된 피부의 일정 영역에서 생체 신호를 추출한다. 추출된 생체 신호를 주파수 분석하여 차단 주파수를 산출하고, 필터링을 통해, 호흡 신호 및 맥파 신호를 산출할 수 있다. 디지털 청진기는, 산출된 신호의 낮은 진폭을 소리 출력을 위한 적절한 진폭으로 증폭할 수 있다. 디지털 청진기는, 영상의 초당 샘플링 수를 가청 가능한 범위의 샘플링 수로 확장하는 보간을 수행할 수 있다. 디지털 청진기는, 소리 출력을 위해 피크 검출 및 zero-padding 등의 신호 처리 기법을 사용하여 가청 주파수 확장을 수행할 수 있다. 청진음 및 진동 출력과 함께 사용자에게 기초 정보를 제공하기 위해 맥파 및 호흡 신호의 상관 함수를 사용하여 맥바가수, 호흡수, 맥박강도, 혈관상태 및 부정맥 진단을 함께 제공할 수 있다. 결과적으로 출력되는 그래프와 청진음의 청음, 진동 및 추가적인 진단 결과를 통해 사용자의 상태 진단이 가능하게 된다. 본 명세서에서 디지털 청진기는 디지털 진단 장치 또는 진단 장치라고 지칭할 수 있다.

도 1은 본 발명의 실시예에 따른 디지털 진단 장치의 진단 방법을 나타낸다.

디지털 진단 장치는 사용자/환자를 촬영하고, 촬영된 영상으로부터 피부를 검출할 수 있다(S1010).

디지털 진단 장치는 피부 관심 영역 색상 평균 데이터 추출을 수행할 수 있다 (S1020). 디지털 진단 장치는 일반 카메라와 적외선 카메라 등을 통해 입력되는 영상을 다양한 색 공간 및 색상 체계로 변환하여 생체 신호를 추출할 수 있다.

디지털 진단 장치는 피부 관심 영역의 색상 평균 데이터의 주파수 분석을 통해 차단 주파수를 산출할 수 있다(S1030). 디지털 진단 장치는 산출된 생체 신호를 주파수 영역에서 스펙트로그램(spectrogram), FFT(Fast Fourier Transform) 등의 방법을 사용하여 분석하고, 호흡 및 맥파 신호의 차단 주파수를 산출할 수 있다.

디지털 진단 장치는 필터링을 통해 호흡 및 맥파 신호를 산출할 수 있다(S1040).

본 발명의 디지털 진단 장치는, 3개의 프로세싱을 수행할 수 있다. 도 1의 순서도에서, 좌측의 소리 및 진동 프로세싱, 중앙의 자기 상관(Auto Correlation) 프로세싱, 우측의 상호 상관(Cross Correlation) 프로세싱이 수행될 수 있다. 3개의 프로세싱 중 필요한 적어도 하나의 프로세싱이 선택적으로 수행될 수 있다.

디지털 진단 장치는 호흡 및 맥파 신호를 증폭할 수 있다(S1150). 디지털 진단 장치는 피크 검출, 제로 패딩(zero-padding) 등 신호 처리 기술을 선택적 또는 복합적으로 이용하여 호흡 및 맥파 신호의 가청 주파수 확장을 수행할 수 있다(S1160). 디지털 진단 장치는 호흡 및 맥파 신호를 가청 영역으로 보간하여 청진음 데이터를 획득할 수 있다(S1170). 즉, 디지털 진단 장치는 호흡 및 맥파 신호를 가청 영역으로 보간하여 소리 신호를 생성하고 진동 샘플을 생성할 수 있다(S1170). 디지털 진단 장치는 맥파 및 호흡 그래프 또는 소리 또는 진동 중 적어도 하나를 출력할 수 있다(S1180).

디지털 진단 장치는 맥파 신호 또는 호흡 신호 중 적어도 하나의 신호에 대해 자기 상관을 적용할 수 있다(S1250). 디지털 진단 장치는 지가 상관의 피크 이굴기 및 임계치 이상의 구간, 불규칙 정도를 계산할 수 있다(S1260). 디지털 진단 장치는 맥박수, 호흡수 또는 맥박 강도 중 적어도 하나의 데이터를 산출할 수 있다(S1270). 디지털 진단 장치는 맥파 신호 또는 호흡 신호 중 적어도 하나의 신호를 일정 범위로 분할하고, 신호의 상관 함수를 계산하여 맥박수, 호흡수, 맥박 강도, 혈관상태, 부정맥 등의 진단을 수생할 수 있다.

디지털 진단 장치는 맥파 신호 또는 호흡 신호 중 적어도 하나의 신호에 대해 상호 상관을 적용할 수 있다(S1350). 디지털 진단 장치는 상호 상관 피크 및 기울기의 불규칙 정도를 계산할 수 있다(S1360). 디지털 진단 장치는 맥박 변화 및 유사도를 산출할 수 있다(S1370).

디지털 진단 장치는 소리 및 진동 프로세싱, 자기 상관 프로세싱, 상호 상관 프로세싱을 통해, 맥파 신호 또는 호흡 신호의 소리 및 진동 제공, 맥박 강도 진단, 혈관 상태 진단, 부정맥 진단 등의 사용자 상태를 진단할 수 있다. 이하에서, 각 프로세싱 방법에 대해 더 상세히 설명한다.

도 2는 피부 영상에서 생체 신호를 추출하여 주파수 분석을 통한 차단 주파수를 산출하고, 필터링을 통해 호흡 및 맥파 신호를 산출하는 과정을 나타낸다.

도 2에서, 진단 장치는 피부 영상을 촬영하고, 피부 영역을 검출할 수 있다. 그리고 진단 장치는 피부색을 검출하고, 검출된 피부 영상으로부터 관심영역을 정의할 수 있다. 관심 영역의 크기는 유동적으로 조절될 수 있다.

관심 영역이 정의되면, 일정 시간 동안 관심 영역의 피부색을 다양한 색상 체계 중 한가지로 추출하여 피부 관심 영역의 평균 색상 데이터를 추출할 수 있다. 예를 들면, 다양한 색상 체계 중 RB 공간을 YCgCo 색 공간으로 변환하여 Cg 색상 값을 활용하여 관심 영역 평균 색상 데이터를 추출할 수 있다. RGB로부터 YCgCo 색 공간으로 변화하는 관계식은 아래 수학식 1과 같다.

관심 영역의 평균 색상 데이터를 맥파 및 호흡 신호로 변환하기 위해, FFT(Fast Fourier Transform) 및 스펙트로그램 사용하여 주파수 분석을 수행할 수 있다. 그리고 더욱 정확한 차단 주파수 산출을 위해 정상인 분당 호흡수와 맥박수에 대한 정보가 사용될 수 있다.

실시예로서, 호흡 신호를 위한 차단 주파수 산출은 정상 성인 기준 분당 평균 호흡수 12~20회에서 보다 넓은 범위의 호흡 신호 검출을 위해 6~20 회의 분당 호흡수를 사용하고, 통과 대역(0.1~0.33Hz)을 설정하여 대역 통화 필터(BSF, BandPass Filter)를 사용한 필터링을 수행할 수 있다. 또는, 관심 영역의 색상 평균 데이터에서 낮은 주파수로 나타내는 호흡 커브를 산출하는 방법으로 일정 시간 영역의 평균값을 취해 값을 재구성하는 이동 평균 알고리즘을 사용하여 호흡 신호를 산출할 수도 있다.

실시예로서, 맥파 신호의 차단 주파수는 정상인의 경우 안정 또는 흥분 정도에 따라 약 40~200까지의 분당 맥박수를 이용하고, 이를 주파수로 변환한 0.67~3.34Hz의 통과대역에서 유동적으로 산출될 수 있다. 산출된 통과 대역으로 대역 통과 필터링을 통해 맥파 신호를 산출할 수 있다.

도 2의 하단에서, 필터링된 호흡 신호 및 맥파 신호를 도시하였다. 실시예로서, 호흡 신호 및 맥파 신호의 차단 주파수는 호흡 신호와 맥파 신호의 보다 정밀한 청진을 위해 FFT 수행 결과에 따라 유동적으로 선정할 수 있다.

도 3은 본 발명의 실시예에 따른 자기 상관 프로세싱 방법을 나타낸다.

도 3은 맥파 신호와 호흡 신호의 자기 상관 함수(Auto Correlation Function)를 계산하고, 이를 분석하여 피크 간격을 사용한 맥박수 및 호흡수 획득, 최대 피크를 사용한 맥박 강도 획득, 피크간 기울기 및 임계값 이상 구간, 기울기 불규칙 정도를 획득하는 과정을 나타낸다.

진단 장치는 맥파 신호 또는 호흡 신호 중 적어도 하나를 일정 범위로 분할하여, 자기 상관을 계산할 수 있다. 그리고 자기 상관 함수 계수의 각 피크를 피크 검색 알고리즘을 사용하여 계산할 수 있다. 예를 들면, 3개의 점을 비교하여, 중간 값이 좌우 값보다 큰 경우 이를 피크로 판정하고, 추출된 피크들의 간격을 계산하여 아래 수학식 2에 대입함으로써 분당 맥박수(PR,Pulse Rate) 및 호흡수(RR, Respiration Rate)를 산출한다. 수학식 2에서, I는 피크 간격, FPS는 카메라 초당 프레임수를 나타낸다.

자기 상관 함수는 동일한 신호를 천이(shift)시키면서 각 위치의 샘플간의 곱의 합 형태로 결과 값을 생성한다. 두 신호가 정확히 매칭되는 0점에서 함수는 최대값을 갖고, 이는 신호 세기와 같다. 이러한 이론적 배경에 기초하여, 맥박의 강도는 자기 상관 함수의 0점에서 획득한 최대값을 이용하여 획득될 수 있고, 이후 처리 단계에서 이를 사용한 맥박 강도 진단을 수행할 수 있다.

피크 간 기울기 및 임계값 이상의 구간과 기울기 불규칙 정도 계산에 대해 설명한다. 상관함수의 결과는 계산되는 두 신호의 유사성을 나타내는 척도로서 사용된다. 따라서 천이되는 위치에 따른 결과값을 통해 해당 위치에서 두 신호의 유사성이 나타난다. 즉 일정 주기와 진폭을 갖는 정상인의 맥파 신호의 경우 자기 상관을 통해 계산되는 각 피크 점의 간격과 기울기가 일정하게 된다. 이러한 피크점 간격과 기울기가 일정한 상관함수 결과는 도 3 가장 하단 중앙에 예시로서 나타내었다. 그러나 심장이나 혈관에 이상이 있는 경우, 맥파 주기와 진폭이 일정하게 유지되지 않고, 맥박 간 노이즈 성분이 검출될 수 있다. 따라서 각 구간의 기울기 값이 일정하지 못하며 기울기가 중간에 역전되거나 하강 후 0이 되는 현상이 일어날 수 있다.

도 4는 본 발명의 실시예에 따른 맥파 신호의 노이즈 성분에 따른 자기 상관 함수 결과를 나타낸다.

도 4에서, 도 4(a)는 정상인 사람의 자기 상관 함수 결과를 나타내고, 도 4(b)는 노이즈가 검출되는 자기 상관 함수 결과를 나타낸다.

진단 장치는 맥파 신호의 노이즈 특성을 계산하고자 임계값을 설정하고, 기울기의 급격한 하강으로 인해 피크의 진폭이 임계값 Ca 이하로 떨어져서 유지되는 경우, 그 피크의 x축을 기준으로 구간의 길이를 계산하고, 기울기의 역전 현상의 발생 횟수를 기울기 불규칙정도의 척도로 사용하여 이후 프로세싱에 사용할 수 있다.

도 5는 본 발명의 실시예에 따른 상호 상관 프로세싱 방법을 나타낸다.

도 5는 맥파 신호를 사용하여 시간에 따라 분할된 두 맥파신호 구간을 상호상관함수(Cross Correlation Function)로 비교하여 신호의 유사도를 계산하는 과정을 나타낸다.

상호 상관은 서로 다른 두 신호의 유사성을 나타내는 척도로서, 자기 상관과 마찬가지로 천이를 통해 매칭되는 두 신호의 값들의 곱의 합 형태로 결과 값을 생성한다. 따라서 계산 결과의 피크를 검출하고 검출된 피크 간의 기울기 값을 계산하여 기울기의 불규칙 정도에 의한 유사도를 산출할 수 있다.

피크 간 기울기를 계산하여 자기 상관 함수의 불규칙 정도 계산과 같은 방식으로 기울기의 역전 현상이 발생하는 횟수를 산출해 이를 두 신호의 유사도가 떨어지는 척도로 사용할 수 있다.

도 6은 본 발명의 실시예에 따른 소리 프로세싱 방법을 나타낸다.

상술한 바와 같이 청진음 및 진동은 필터링을 통해 획득한 호흡, 맥파 신호를 소리 신호 및 진동으로 프로세싱하여 생성될 수 있다. 산출된 신호의 진폭은 낮기 때문에 출력 시 문제가 발생할 수 있다. 따라서 호흡 신호, 맥파 신호를 가청 진폭으로 증폭할 수 있다. 또한, 기존 낮은 주파수의 신호를 가청 주파수(20kHz 대역)로 확장하기 위해 피크 검출, zero-padding 등의 신호 처리를 사용할 수 있다. 또한, 가청이 가능한 범위의 적절한 샘플 수로 확장하는 보간을 수행할 수 있다. 보간은 spline, linear 등의 기법이 사용될 수 있다. 보간 방법은 종류와 샘플링 주파수가 다양하므로 적절한 보간법을 사용하여 소리 출력이 원활하게 수행되도록 사용할 수 있다. 소리출력과 더불어 계산된 맥파 신호 또는 호흡 신호의 피크의 진폭에 따라 고정된 출력시간 동안 진동과 지연을 번갈아 발생시켜 맥박 및 호흡이 표현된 진동 샘플을 생성할 수 있다. 생성된 진동 샘플을 맥파 신호 또는 호흡 신호의 피크 타이밍에 출력하여 상태를 진단할 수 있다.

진단 장치는 가청주파수 확장이 처리된 신호의 그래프 및 소리를 출력할 수 있다. 그리고 의료진은 해당 소리를 청취하여 환자의 상태를 진단할 수 있다.

도 7은 본 발명의 실시예에 따른 맥박 강도 진단 방법을 나타낸다.

실시예로서, 맥박 강도는 약한 맥박, 정상 맥박, 강한 맥박의 3단계로 진단될 수 있다.

상술한 바와 같이, 자기 상관 함수의 결과를 사용하여 맥파의 최대 피크 진폭과 정상 범위의 임계값을 비교할 수 있다. 정상 범위의 임계값은 실험을 통해 산출되는 정상인의 평균 자기상관함수 최대 피크값이 사용될 수 있다. 정상범위 임계값 n1, n2를 사용하여 사용자의 자기 상관 최대 진폭이 n1을 초과하면 강한 맥박으로, n1~n2 사이이면 정상 맥박으로, n2 미만이면 약한 맥박으로 구분하여 진단할 수 있다.

도 8은 본 발명의 실시예에 따른 혈관 상태 진단 방법을 나타낸다.

혈관 상태 진단은 자기 상관 함수의 임계치 이상의 구간 정보와 기울기 불규칙 정보를 통해 계산된다. 상술한 자기 상관 함수의 임계치 이상 구간 정보는 맥파의 노이즈에 영향을 받는다. 정상적인 혈관 상태의 맥파 신호의 경우 혈액의 흐름을 방해하는 요인이 적어 깔끔한 맥박의 형태로 나타난다. 그러나 혈관의 콜레스테롤 등의 문제로 혈관 흐름이 일정하지 않은 경우, 맥파 신호를 통해 노이즈 성분이 발견된다. 이러한 노이즈 성분은 자기 상관 함수의 결과로서 피크 지점의 기울기 변화로 나타날 수 있다. 따라서 피크 지점의 기울기 변화를 계산하여 혈관 상태를 추정할 수 있다.

최대 피크 지점에서 급격하게 하강한 뒤 0에 가까운 값으로 유지되는 노이즈 특성을 계산하기 위해, 진단 장치는 기울기가 급격하게 떨어져 임계치 Ca 이하가 되는 구간의 x축 길이 정보와, 기울기 역전 현상의 발생 횟수로 나타나는 기울기 불규칙 정도를 획득할 수 있다. 기울기가 급격히 떨어지는 길이 정보와, 기울기 역전 현상이 발생하는 횟수로 나타나는 기울기 뷸규칙 정보를 정상인 기준 평균값을 통해 획득한 임계값과 비교하여, 정상 범위 내인 경우 '양호', 정상 범위를 벗어난 경우 '경고', 정상 범위를 벗어나며, 경고 범위를 넘어가는 경우를 '위험'으로 3단계로 분류하여 진단흘 수행할 수 있다.

도 9는 본 발명의 실시예에 따른 부정맥 진단 방법을 나타낸다.

도 9는 자기 상관 및 상호 상관을 사용하여 서맥, 빈맥, 불규칙 부정맥을 진단하는 방법을 나타낸다. 도 9에서, 진단 장치는 자기 상관을 통해 획득한 맥박수 정보 및 상호 상관을 통해 획득된 기울기의 불규칙 정도를 사용하여 진단을 수행한다. 상호 상관의 결과는 신호의 유사도를 나타내는 기울기를 제공한다.

부정맥은 크게 3가지로 구분되며, 분당 60~90회로 일정하게 박동하는 맥박이 60회 이하로 떨어져 유지되는 경우 서맥 부정맥, 신체 운동이 없는 상태에서 100회 이상의 빠른 맥박수를 유지할 경우 빈맥 부정맥, 맥박이 불규칙하게 박동하여 발생하는 불규칙 부정맥으로 분류될 수 있다.

본 발명의 진단 장치는 자기 상관으로 계산된 맥박수를 사용하여, 일정시간 맥박수의 변화를 분석한다. 실시예로서, 일정시간 맥박수가 60을 유지하면 서맥 부정맥, 100회 이상의 빠른 맥박수를 유지하면 빈맥 부정맥으로 진단할 수 있다. 상호 상관 함수의 결과로 산출된 두 신호의 유사성이 수치화된 기울기 불규칙 정도를 사용하여, 정상의 범위를 초과하는 신호 범위/기울기가 발생하는 경우 불규칙 부정맥으로 진단할 수 있다.

이하에서는 상술한 진단 방법들에 대한 실험예/실시예에 대해 설명한다.

(1) 청진음 및 진동 출력 실험

피부 영상을 사용한 디지털 청진기의 실험을 위해 스마트 키기의 카메라와 같은 일반 카메라를 사용해 획득한 피부 영상으로부터 호흡, 맥파의 그래프 및 소리/진동을 출력할 수 있다.

피부 영상은 다양한 신체부위 중 한가지 예로 얼굴 영상 속 피부를 검출하여 사용하였으며, RGB 색 공간을 통해 획득된 피부 영상을 YCgCo 색공간으로 변환하여 Cg 색상 값을 관심 영역의 평균 색상 데이터로 활용한다. 관심 영역의 크기와 위치는 얼굴 영상에서 검출된 피부 영역의 20%에 해당하는 크기로 얼굴 영상 왼쪽 볼에 위치시키고, 60초의 영상을 촬영하여 실험을 수행하였다.

검출된 데이터를 주파수 영역에서 분석하기 위해 FFT와 시간에 따른 주파수 특성을 확인하는 Spectogram, 정상 성인의 평균적인 분당 호흡수, 맥박수를 참고하여 호흡의 통과대역을 0.1~0.33Hz, 맥박의 통과대역을 0.67~3.34로 산출하였다. 또한 맥박 신호의 분당 맥박수에 따른 신호 특성을 확인하기 위해 통과 대역을 세분화하여 각 맥박수의 신호 성분을 확인하였다.

도 10은 전체 맥파 신호와 세분화된 구간에 대한 맥파 신호를 보여준다. 도 10(a)는 0.67~3.34Hz 전체 맥파 신호를 나타내고, 도 10(b)는 1.0~1.3Hz에 세분화된 맥파 신호를 나타낸다.

산출된 호흡, 맥파 신호에 대해 원활한 청진음 출력을 위해 증폭과 보간을 수행하였다. 증폭의 경우 다양한 범위로 수행될 수 있으며, 실시예로서 2만배 증폭을 수행하여 클리핑 현상에 의한 청진음을 출력할 수 있다. 다양한 보간 방법 중 하나의 예로, 16kHz의 샘플링 주파수를 선정하여 큐빅 스플라인(Cubic Spline) 보간법을 사용하였으며, 1초를 16,000개의 샘플로 구성하였다.

소리출력의 또 다른 방법으로는 적절한 증폭을 수행한 호흡, 맥파 신호에 대해 피크 검출을 수행하고 피크 주위 N개의 샘플을 제외한 나머지 영역을 0으로 채우는 zero-padding을 처리한다. 마지막으로 상기 보간법 중 하나를 이용하여 보간을 수행하면 가청주파수 확장에 의한 청진음을 출력할 수 있다.

진동 출력의 경우 호흡 및 맥파 신호의 피크검출을 수행한다. 실시예로 3개의 연속된 샘플을 비교하여 가운데 피크가 가장 큰 값을 가질 경우 피크로 판단하는 알고리즘을 사용하였다. 검출된 피크 진폭에 따라 고정된 진동발생 시간에서 일정 지연시간을 반복적으로 추가하여 진동샘플을 생성한다. 생성된 진동 샘플을 피크위치에서 출력할 수 있다.

(2) 맥박수, 호흡수 산출 방법

자기 상관 함수 및 상호 상관 함수를 사용하여 맥박수, 호흡수를 산출할 수 있다. 산출된 맥파 신호 또는 호흡 신호를 자기 상관하여 맥박수, 호흡수를 산출할 수 있다.

도 11은 본 발명의 실시예에 따른 맥박수, 호흡수 산출 방법을 나타낸다.

맥파 신호 또는 호흡 신호를 일정 길이로 분할하고, 분할된 신호의 자기 상관 함수를 계산할 수 있다. 그리고 계산된 자기 상관 함수의 피크 사이 간격을 사용하여 맥박수 및 호흡수를 산출할 수 있다.

(3) 맥박 강도 진단 방법

맥박의 강도는 총 3개의 단계로 진단될 수 있으며, 정상인 자기 상관 함수 최대 진폭의 평균을 사용하여 분류될 수 있다. 실험 예로서, 미리 계산된 0.523의 기준 값을 사용하여 ±0.2의 대역으로 정상 맥박 강도를 선정할 수 있다. 따라서 임계값으로 사용되는 정상 맥박 강도 0.423~0.623의 값을 기준으로 맥박 강도를 진단할 수 있다. 실시예로서, 자기 상관 함수 최대 계수 값이 해당 범위 내이면 정상 맥박으로, 초과하는 경우 강한 맥박으로, 미만인 경우 약한 맥박으로 진단할 수 있다.

(4) 혈관 상태 진단

피부 영상을 사용한 혈관 상태 진단은 필터링을 통해 산출된 맥파 신호의 자기 상관 함수를 사용해 진단할 수 있다. 심장은 분당 60~100회 박동하여 인체에 피를 공급한다. 혈관에 이상이 생겨 혈액의 흐름이 원활하지 못하면 맥파 신호에 노이즈 성분이 나타난다. 이러한 노이즈 성분을 자기 상관 함수를 통해 획득하여 혈관 상태를 진단할 수 있다.

도 11과 같이 맥파 신호를 분할하여 자기 상관 함수를 계산할 수 있다. 계산된 계수의 피크를 검색하여 각 피크간 기울기를 계산하고, 계산된 기울기를 통해 도 4와 같이 노이즈 성분의 자기 상관 함수 특성인 임계치 이상의 구간 길이와 기울기 불규칙 정도인 기울기 역전 현상 횟수를 산출할 수 있다.

산출된 정보를 미리 계산된 정상인의 평균 임계값과 비교하여 정상 범위 값을 '양호', 정상 범위 값을 초과하는 값을 정도에 따라 '경고' 또는 '위험'으로 진단 결과를 도출할 수 있다. 실시예로서, 기울기 역정 횟수 및 임계치 이상의 구간 길이 정보에 따른 진단 기준을 아래 표 1과 같이 결정할 수도 있다. 표 1에서, 기울기 역전 현상의 횟수에 더 높은 가중치를 주어 2회/80의 경우 '경고'로 진단하도록 기준이 설정되었다.

진단 결과	양호	경고	위험
기울기 역전 횟수	1회	2회	2회
구간 길이	~77	78~48	47~

(5) 부정맥 진단

상술한 바와 같이, 부정맥은 크게 3가지로 분류된다. 분당 맥박수 60회 이하로 박동하는 경우 서맥 부정맥, 안정된 상태에서 100회 이상의 맥박수를 빈맥 부정맥, 맥박이 일정하게 유지되지 못하고 변화폭이 클 경우 불규칙 부정맥으로 분류한다.

실시예로서, 자기 상관을 통해 계산된 맥박수를 사용하여 분당 60회 이하의 맥박수를 유지하는 경우 서맥 부정맥, 100회 이상의 빠른 맥박수를 유지하는 경우를 빈맥 부정맥으로 진단할 수 있다. 또한, 상호 상관 함수를 사용하여 시간에 따라 계산되는 맥파 신호를 일정 부분으로 분할하고, 분할된 현재 신호와 이전 신호의 상호 상관 함수를 계산할 수 있다. 그리고 피크간 기울기의 역전 현상 횟수를 정상인 평균 임계값과 비교하여 불규칙 부정맥을 진단할 수 있다.

도 12는 본 발명의 실시예에 따른 비접촉식 진단 장치를 나타낸다.

도 12에서, 비접촉식 진단 장치(12000)는 메모리(12010), 프로세서(12020) 및 이미지 획득 유닛(12030)을 포함할 수 있다.

상술한 바와 같이, 비접촉식 진단 장치(12000)는 진단 장치, 디지털 진단 장치, 디지털 청진기로 지칭될 수도 있다.

영상 획득 유닛(12030)은 사용자의 영상/이미지을 촬영하여 영상을 획득할 수 있다. 영상 획득 유닛(12030)은 다양한 종류의 카메라를 포함할 수 있다. 다만, 본 발명의 비접촉식 진단 장치(12000)는 외부에서 수신한 이미지를 프로세싱하여 환자의 상태를 진단할 수도 있다. 이러한 경우, 영상 획득 유닛은 통신 유닛에 해당하거나, 통신 유신으로 대체될 수도 있다. 통신 유닛은 프로세서(12020)와 연결되어 유선/무선 데이터를 송신/수신할 수 있다.

프로세서(12020)는 영상 획득 유닛(12030)으로부터 수신한 이미지를 상술한 바와 같이 프로세싱할 수 있다. 프로세서(27020)는 상술한 도면 및 설명에 따른 본 발명의 다양한 실시예에 따른 동작을 수행하도록 구성될 수 있다. 또한, 상술한 본 발명의 다양한 실시예에 따른 진단 장치(12000)의 동작을 구현하는 모듈, 데이터, 프로그램 또는 소프트웨어 중 적어도 하나가 메모리(12010)에 저장되고, 프로세서(12020)에 의하여 실행될 수 있다.

메모리(12010)는 프로세서(12020)와 연결되어, 프로세서(12020)를 구동하기 위한 다양한 정보를 저장한다. 메모리(12010)는 프로세서(12020)의 내부에 포함되거나 또는 프로세서(12020)의 외부에 설치되어 프로세서(12020)와 공지의 수단에 의해 연결될 수 있다. 메모리는 본 발명의 수행을 위한 영상 데이터 및 다양한 데이터를 저장할 수 있다.

비접촉식 진단 장치는, 영상으로부터 피부 영역을 검출하고, 피부 영역의 영상으로부터 평균 색상 데이터를 추출하고, 평균 색상 데이터를 주파수 프로세싱하여 호흡 신호 또는 맥파 신호 중 적어도 하나를 획득하고, 및 호흡 신호 또는 맥파 신호를 소리 및 진동으로 변환 출력 하고, 호흡 신호 또는 맥파 신호의 상관(correlation) 함수 연산하여 사용자 상태를 진단할 수 있다. 진단 장치의 평균 색상 데이터 추출 및 주파수 프로세싱은 도 1, 도 2의 실시예에서 상술하였다.

비접촉식 진단 장치는, 호흡 신호 또는 맥파 신호의 제 1 구간을 분할하고, 분할된 제 1 구간의 신호에 대해 자기 상관(auto correlation) 연산을 수행하고, 자기 상관 연산의 결과로부터 피크를 검색하고, 피크에 기초하여 사용자 상태를 진단함으로써 상관 함수 연산을 사용한 상기 사용자 상태 진단을 수행할 수 있다.

비접촉식 진단 장치는, 자기 상관 연산의 결과로부터 최대 피크 진폭을 획득하고, 최대 피크 진폭과 정상 범위 임계값을 비교하여 사용자의 맥박 강도를 진단함으로써 피크에 기초한 사용자 상태 진단을 수행할 수 있다. 비접촉식 진단 장치는, 자기 상관 연산의 결과로부터 피크 간 기울기의 제 1 불규칙 정보를 획득하고, 제 1 불규칙 정보에 기초하여 사용자의 혈관 상태를 진단할 수 있다. 제 1 불규칙 정보는, 기울기가 임계치 이하인 구간의 길이 정보 또는 기울기 역전 현상의 발생 회수 정보 중 적어도 하나를 포함할 수 있다.

진단 장치의 상호 상관 및 상호 상관을 사용한 진단 방법에 대해서는 도 3, 도 4, 도 7, 도 8 및 도 11의 실시예에서 설명하였다. 불규칙 정보는 노이즈 성분을 나타내는 정보로서, 상술한 기울기가 임계치 이하인 구간 정보 및 기울기 역전이 발생한 회수 정보 중 적어도 하나를 포함할 수 있다. 구간 정보는 기울기가 임계치 이하인 x축 정보를 지시한다. 다만, 기울기를 절대값 기준으로 설명하는 경우, 기울기가 임계치 이상인 x축 정보가 될 수도 있다.

비접촉식 진단 장치의 피크에 기초한 사용자 상태 진단은, 피크 간 간격에 기초하여 맥박수 또는 호흡수를 획득을 포함할 수 있다.

비접촉식 진단 장치의 피크에 기초한 사용자 상태 진단은, 상기 호흡 신호 또는 상기 맥파 신호의 제 2 구간을 분할하고, 상기 제 1 구간의 신호 및 상기 제 2 구간의 신호에 대해 상호 상관(cross correlation) 연산을 수행하고, 상기 상호 상관 연산의 결과로부터 피크 간 기울기의 제 2 불규칙 정보를 획득하고, 및 상기 맥박수 및 상기 제 2 불규칙 정보에 기초하여 사용자의 부정맥 상태를 진단함으로써 수행될 수 있다. 상호 상관에 따른 부정맥 진단 방법은 도 5 및 도 9의 실시예에서 설명하였다.

비접촉식 진단 장치는, 호흡 신호 또는 맥파 신호의 진폭을 증폭하고, 호흡 신호 또는 맥파 신호의 샘플 수를 확장하는 보간 처리하고, 증폭 및 보간된 호흡 신호 또는 맥파 신호를 출력할 수 있다. 또한, 호흡 신호 또는 맥파 신호는 피크검출과 zero-padding 등을 이용한 가청주파수 확장방법을 추가/선택적으로 수행하여 그래프 또는 소리로 출력될 수 있다.

비접촉식 진단 장치는, 호흡 신호 또는 맥파 신호의 피크를 계산하고, 피크에 따른 진동을 샘플을 생성하고, 호흡 신호 또는 맥파 신호의 피크 타이밍에서 생성된 진동 샘플을 출력할 수 있다. 즉, 비접촉식 진단 장치는 호흡 신호 또는 맥파 신호의 피크 검출을 수행하고, 검출된 피크에 따른 진동 샘플을 생성하고, 진동 샘플에 대응되는 진동을 출력할 수 있다.

호흡 신호 또는 맥파 신호는 그래프 또는 소리로 출력될 수 있다. 진단 장치의 호흡 신호 또는 맥파 신호의 프로세싱 및 출력은 도 1 및 도 6의 실시예에서 설명하였다.

비접촉식 진단 장치의 주파수 프로세싱 및 호흡 신호 또는 맥파 신호 중 적어도 하나의 획득은, 상기 평균 색상 데이터를 주파수 분석하여, 대역 통과 필터링을 수행함으로써 수행될 수 있다. 진단 장치의 평균 색상 데이터 프로세싱은, 도 1 및 도 2의 실시예에서 설명하였다.

이상에서 설명된 실시예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성하는 것도 가능하다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.

본 발명에 따른 실시예는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시예는 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리는 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.

본 발명은 본 발명의 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상술한 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

12000: 비접촉식 진단 장치
12010: 메모리
12020: 프로세서
12030: 영상 획득 유닛

Claims (20)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 사용자의 영상을 촬영하여 이미지를 획득하는 영상 획득 유닛;
    영상 데이터 및 프로세서를 구동하기 위한 다양한 정보를 저장하는 메모리; 및
    상기 영상 획득 유닛 및 메모리를 제어하여 사용자 상태 진단을 수행하는 프로세서를 포함하는 비접촉식 진단 장치로서,
    상기 비접촉식 진단 장치는,
    영상으로부터 피부 영역을 검출하고,
    상기 피부 영역의 영상으로부터 평균 색상 데이터를 추출하고,
    상기 평균 색상 데이터를 주파수 프로세싱하여 호흡 신호 또는 맥파 신호 중 적어도 하나를 획득하고,
    상기 호흡 신호 또는 상기 맥파 신호를 소리 또는 진동으로 출력하고, 및
    상기 호흡 신호 또는 상기 맥파 신호를 상관(correlation) 함수 연산하여 사용자 상태를 진단하고,
    상기 상관 함수 연산을 사용한 상기 사용자 상태 진단은,
    상기 호흡 신호 또는 상기 맥파 신호의 제 1 구간을 분할하고,
    분할된 상기 제 1 구간의 신호에 대해 자기 상관(auto correlation) 연산을 수행하고,
    상기 자기 상관 연산의 결과로부터 피크를 검색하고,
    상기 피크에 기초하여 사용자 상태를 진단함으로써 수행되는, 비접촉식 진단 장치.
12. 삭제
13. 제 11 항에 있어서,
    상기 피크에 기초한 사용자 상태 진단은,
    상기 자기 상관 연산의 결과로부터 최대 피크 진폭을 획득하고,
    상기 최대 피크 진폭과 정상 범위 임계값을 비교하여 상기 사용자의 맥박 강도를 진단함으로써 수행되는, 비접촉식 진단 장치.
14. 제 11 항에 있어서,
    상기 피크에 기초한 사용자 상태 진단은,
    상기 자기 상관 연산의 결과로부터 피크 간 기울기의 제 1 불규칙 정보를 획득하고,
    상기 제 1 불규칙 정보에 기초하여 사용자의 혈관 상태를 진단함으로써 수행되는, 비접촉식 진단 장치.
15. 제 14 항에 있어서,
    상기 제 1 불규칙 정보는, 상기 기울기가 임계치 이하인 구간의 길이 정보 또는 기울기 역전 현상의 발생 회수 정보 중 적어도 하나를 포함하는, 비접촉식 진단 장치.
16. 제 11 항에 있어서,
    상기 피크에 기초한 사용자 상태 진단은,
    상기 피크 간 간격에 기초하여 맥박수 또는 호흡수를 획득을 포함하는, 비접촉식 진단 장치.
17. 제 16 항에 있어서,
    상기 피크에 기초한 사용자 상태 진단은,
    상기 호흡 신호 또는 상기 맥파 신호의 제 2 구간을 분할하고,
    상기 제 1 구간의 신호 및 상기 제 2 구간의 신호에 대해 상호 상관(cross correlation) 연산을 수행하고,
    상기 상호 상관 연산의 결과로부터 피크 간 기울기의 제 2 불규칙 정보를 획득하고, 및
    상기 맥박수 및 상기 제 2 불규칙 정보에 기초하여 사용자의 부정맥 상태를 진단함으로써 수행되는, 비접촉식 진단 장치.
18. 제 11 항에 있어서,
    상기 비접촉식 진단 장치는,
    상기 호흡 신호 또는 상기 맥파 신호의 진폭을 증폭하고,
    상기 호흡 신호 또는 상기 맥파 신호의 피크를 검출하고
    상기 호흡 신호 또는 상기 맥파 신호에 zero-padding연산을 수행하고,
    상기 호흡 신호 또는 상기 맥파 신호의 샘플 수를 확장하는 보간 처리하고, 및
    상기 호흡 신호 또는 상기 맥파 신호의 소리 신호를 출력하는, 비접촉식 진단 장치.
19. 제 11 항에 있어서,
    상기 비접촉식 진단 장치는,
    상기 호흡 신호 또는 상기 맥파 신호의 피크검출을 수행하고,
    상기 검출된 피크에 따른 진동 샘플을 생성하고, 및
    상기 호흡 신호 또는 상기 맥파 신호의 피크 발생 시점에 대한 진동샘플을 출력하는, 비접촉식 진단 장치.
20. 제 11 항에 있어서,
    상기 비접촉식 진단 장치의 주파수 프로세싱 및 상기 호흡 신호 또는 상기 맥파 신호 중 적어도 하나의 획득은,
    상기 평균 색상 데이터를 주파수 분석하여, 대역 통과 필터링을 수행함으로써 수행되는, 비접촉식 진단 장치.

Images