KR102573059B1 - 부정맥 판단 방법 및 장치, 그리고 이를 구현하기 위한 프로그램이 기록된 기록매체 - Google Patents

Abstract

부정맥 판단 방법 및 장치, 그리고 이를 구현하기 위한 프로그램이 기록된 기록매체가 제공된다. 본 발명의 일 실시예에 따른 부정맥 판단 방법은, 응용 프로그램의 어플리케이션 모델 및 운영체제 모델을 통합하여 실행 시나리오 모델을 생성하는 단계; 상기 실행 시나리오 모델에서 태스크 실행 순서 및 문장 블록을 도출하는 단계; 상기 응용 프로그램의 실행에 따른 문맥 전환 위치를 주석첨가(annotate)하는 단계; 상기 태스크 실행 순서 및 문장 블록과, 상기 문맥 전환 위치를 기초로 상기 응용 프로그램의 실행 가능한 경로를 검증하는 단계; 및 상기 응용 프로그램의 실행 가능성을 확인하여 보고하는 단계를 포함한다.

Description

부정맥 판단 방법 및 장치, 그리고 이를 구현하기 위한 프로그램이 기록된 기록매체{METHOD AND APPARATUS FOR DETERMINING ARRHYTHMIA, AND RECORDING MEDIA RECORDED PROGRAM REALIZING THE SAME}

본 발명은 부정맥 판단 방법 및 장치, 그리고 이를 구현하기 위한 프로그램이 기록된 기록매체에 관한 것이다.

심장에서 전기적 자극이 생성되지 못하여 전달이 이루어지지 않거나, 또는 비정상적으로 빠른 전기적 자극이 생성되어 규칙적인 수축과 이완이 되지 못하여 부정맥이 발생할 수 있다. 이러한 부정맥은 심장 질환 중에서 가장 흔한 질환이고, 무증상부터 발생 즉시 조치하지 않으면 심장마비로 사망할 수 있는 것까지 다양하다.

부정맥은 시간에 따라 측정되는 심전도 신호를 분석하여 부정맥 파형을 발견하게 되며, 가장 기본적인 검사 방법은 12 유도(lead) 표준 심전도이다.

그러나, 기존의 12-lead ECG 측정 장비는 여러 전극의 부착이 필요하다. 또한, 시각적으로 심전도 신호를 분석함에 있어 부정맥 패턴의 해석이 어렵고, 비정상 파형들을 정확하게 해석하기 어려운 문제가 있다.

한국 공개특허 10-2019-0141326호 (2019. 12. 24. 공개) 한국 등록특허 10- 2150057호 (2020.09.03. 등록) 한국 등록특허 10- 2150057호 (2014.08.06. 등록)

본 발명은 상기 문제점을 해결하기 위한 것으로, 시간에 따른 심박 변화를 나타낸 2차원 이미지로 변환하고, CNN 모델로 변환된 이미지에 포함된 부정맥 관련 패턴을 추출하여 부정맥을 판단할 수 있는 부정맥 판단 방법 및 장치, 그리고 이를 구현하기 위한 프로그램이 기록된 기록매체를 제공한다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 과제를 달성하기 위한 본 발명의 일 실시예에 따른 부정맥 판단 방법은, 심전도 신호를 획득하는 단계; 상기 심전도 신호를 변환하여 2차원 변환 이미지를 생성하는 단계; 상기 변환 이미지에 CNN 모델을 적용하여 특징 및 패턴을 추출하는 단계; 및 상기 추출된 특징 및 패턴을 기초로 부정맥을 판단하는 단계를 포함한다.

또한, 상기 변환 이미지를 생성하는 단계는, 상기 심전도 신호를 분할하여 복수의 세그먼트를 형성하는 단계; 및 상기 복수의 세그먼트를 열 방향으로 배치하여 베이스 이미지를 형성하는 단계를 포함할 수 있다.

또한, 상기 변환 이미지를 생성하는 단계는, 상기 베이스 이미지를 반복적으로 생성하여 일정한 크기의 상기 변환 이미지를 생성하는 단계를 포함할 수 있다.

또한, 상기 특징 및 패턴을 추출하는 단계는, 저수준의 특징 추출 모듈을 적용하여 상기 특징을 추출하는 단계; 및 고수준의 패턴 추출 모듈을 적용하여 상기 패턴을 추출하는 단계를 포함할 수 있다.

또한, 상기 특징을 추출하는 단계는, 상기 특징 추출 모듈이 1N 타입 필터를 구비하며, 상기 1N 타입 필터를 이용하여 상기 심전도 신호의 비트(beat) 형태 특징을 추출하는 단계를 포함할 수 있다.

또한, 상기 특징을 추출하는 단계는, 상기 특징 추출 모듈이 3개의 블록을 구비하며, 상기 3개의 블록은 각각 1N 타입 필터를 구비할 수 있다.

또한, 상기 패턴을 추출하는 단계는, 상기 패턴 추출 모듈이 1N 타입 필터, N1 타입 필터, NN 타입 필터를 구비하며, 상기 1N 타입 필터를 이용하여 상기 심전도 신호의 비트(beat) 형태 특징을 추출하며, 상기 N1 타입 필터를 이용하여 상기 심전도 신호의 비트(beat) 간격 특징을 추출하고, 상기 NN 타입 필터를 이용하여 상기 심전도 신호의 비트 형태 및 비트 간격 특징을 추출하는 단계를 포함할 수 있다.

또한, 상기 패턴을 추출하는 단계는, 상기 패턴 추출 모듈이 3개의 블록을 구비하며, 상기 3개의 블록은 각각 1N 타입 필터, N1 타입 필터, NN 타입 필터를 구비할 수 있다.

그리고, 특징 어텐션(attention) 모듈을 적용하여 상기 추출된 패턴을 가중하는 단계를 포함할 수 있다.

상기 과제를 달성하기 위한 본 발명의 일 실시예에 따른 부정맥 판단 장치는, 심전도 신호를 획득하는 신호 획득부; 상기 심전도 신호를 변환하여 2차원 변환 이미지를 생성하는 이미지 생성부; 상기 변환 이미지에 CNN 모델을 적용하여 특징 및 패턴을 추출하는 CNN 모델부; 및 상기 추출된 특징 및 패턴을 기초로 부정맥을 판단하는 부정맥 판단부를 포함한다.

또한, 상기 이미지 생성부는, 상기 심전도 신호를 분할하여 복수의 세그먼트를 형성하는 세그먼트 모듈; 상기 복수의 세그먼트를 열 방향으로 배치하여 베이스 이미지를 형성하는 베이스 이미지 모듈; 및 상기 베이스 이미지를 반복적으로 생성하여 일정한 크기의 상기 변환 이미지를 생성하는 변환 이미지 모듈을 포함할 수 있다.

그리고, 상기 CNN 모델부는, 상기 변환 이미지에서 저수준 부정맥의 특징을 추출하는 특징 추출 모듈; 상기 특징으로부터 고수준 부정맥의 패턴을 추출하는 패턴 추출 모듈; 및 상기 추출된 패턴을 가중하는 특징 어텐션 모듈을 포함할 수 있다.

상술하여 설명한 상기 과제를 달성하기 위한 본 발명의 여러 실시예에 따른 부정맥 판단 방법들을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명에 따르면, 심전도 신호를 변환한 2차원 이미지에 CNN 모델로 부정맥 관련 패턴을 추출하여 부정맥을 판단할 수 있다.

이에, 부정맥 관련 패턴의 해석이 시각적으로 용이하며, 다양한 사용자들의 부정맥 판단 결과의 해석을 보조할 수 있다.

그리고, 기존의 12-lead ECG 측정 장비를 사용하지 않고, single-lead ECG 측정 장비로 활용할 수 있으며, 웨어어블 ECG 장비에 적용할 수 있다.

도 1은 본 발명의 일 실시예에 따른 부정맥 판단 방법의 순서를 도시한 도면이다.
도 2는 심전도 신호에서 세그먼트(segment)를 형성하는 일예를 도시한 도면이다.
도 3은 세그먼트를 이용하여 베이스 이미지를 형성하는 일예를 도시한 도면이다.
도 4는 2차원 변환 이미지를 생성하는 일예를 도시한 도면이다.
도 5a 내지 도 5c는 각각 심전도 신호를 변환하여 2차원 변환 이미지를 생성하는 과정을 도시한 도면이다.
도 6은 변환 이미지에 적용되는 CNN 모델의 구조를 도시한 도면이다.
도 7은 비트 형태 특징을 추출하기 위한 세 종류의 필터를 변환 이미지에 도시한 도면이다.
도 8은 풀링(pooling)을 적용하는 일예를 도시한 도면이다.
도 9는 변환 이미지에 적용되는 CNN 모델의 기능적 모듈(functional module)을 도시한 도면이다.
도 10은 ECG 신호의 샘플 데이터 세트를 도시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 부정맥 판단 방법을 이용하여 예측한 부정맥 판단 결과를 도시한 도면이다.
도 12는 다른 CNN 기반 부정맥 판단 방법과 본 발명의 일 실시예에 따른 부정맥 판단 방법의 결과를 비교한 도면이다.
도 13a 내지 도 13c는 변환 이미지에 적용되는 CNN 모델에서 각 블록별로 중요하게 판단하는 영역을 표시한 도면이다.
도 14a 내지 도 14c는 변환 이미지에 적용되는 CNN 모델에서 각 필터별로 중요하게 판단하는 영역을 표시한 도면이다.
도 15는 본 발명의 일 실시예에 따른 부정맥 판단 장치의 구성을 도시한 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "이루어지다(made of)"는 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 본 발명에 대하여 첨부된 도면에 따라 보다 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 부정맥 판단 방법의 순서를 도시한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 부정맥 판단 방법은, 심전도 신호를 획득하며(S110), 상기 심전도 신호를 변환하여 2차원 변환 이미지를 생성하고(S120), 상기 변환 이미지에 CNN 모델을 적용하여 특징 및 패턴을 추출하고(S130), 상기 추출된 특징 및 패턴을 기초로 부정맥을 판단한다 (S140). 즉, 심전도 신호를 시간에 따른 심박의 변화를 나타내는 이미지로 변환하고, 이미지에 포함된 부정맥 관련 특징 및 패턴을 기반으로 사용자의 부정맥을 판단하게 된다.

심전도 신호를 획득하는 경우(S110), ECG 센서(미도시)로부터 사용자의 심전도를 측정할 수 있다. 여러 전극의 부착이 필요한 기존의 12-lead ECG 센서를 사용하지 않고, 웨어러블 ECG 장비로 수집한 single-lead ECG 센서를 사용할 수 있다. 여기에서, 심전도 신호는 수 초 내지 1분 남짓 길이일 수 있다.

변환 이미지를 생성하는 경우(S120), 시간에 따른 심박 변화를 나타낸 2차원 이미지로 변환할 수 있다. 구체적으로, 심전도 신호를 분할하여 복수의 세그먼트를 형성하고, 상기 복수의 세그먼트를 열 방향으로 배치하여 베이스 이미지를 형성함으로써, 2차원의 변환 이미지를 생성할 수 있다. 여기에서, 베이스 이미지를 반복적으로 생성하여 일정한 크기의 상기 변환 이미지를 생성할 수 있다.

이하, 도 2 내지 도 5를 참조하여 변환 이미지의 생성에 대해 상세히 살펴 보도록 한다.

도 2는 심전도 신호에서 세그먼트(segment)를 형성하는 일예를 도시한 도면이다. 또한, 도 3은 세그먼트를 이용하여 베이스 이미지를 형성하는 일예를 도시한 도면이다. 또한, 도 4는 2차원 변환 이미지를 생성하는 일예를 도시한 도면이다. 그리고, 도 5a 내지 도 5c는 각각 심전도 신호를 변환하여 2차원 변환 이미지를 생성하는 과정을 도시한 도면이다.

도 2를 참조하면, 심전도 신호의 R-peak를 검출하고, 이를 기초로 일정 길이의 세그먼트(segment)를 복수개 생성할 수 있다. 심전도 한 주기의 패턴은 차례로 P-Q-R-S-T 파로 구성되며, R 피크를 검출할 수 있다. R 피크사이의 간격은 R-R 간격(interval)이 되며, RRI 변화율(RRV; RR interval Variability)은 일정 표준편차 범위 내에서 계속 변화하는 것으로, 심전도 신호를 소정 시간 길이로 분할할 수 있다.

도 3을 참조하면, 복수의 세그먼트를 열 방향으로 배치하여 베이스 이미지를 형성할 수 있다. 도 3에서, 각 세그먼트는 1.6초의 길이로 형성된다. 각 세그먼트마다 2개의 R 피크가 있고, 피크 간의 간격은 R-R 간격(interval)이 된다. 이러한 세그먼트를 Row(열) 방향으로 배치함으로써, 베이스 이미지를 형성하게 된다.

도 4를 참조하면, 베이스 이미지를 반복적으로 생성하여 2차원의 변환 이미지를 생성한다. 여기에서, 변환 이미지는 CNN 모델의 입력 이미지로써, 일정한 크기를 가지게 된다.

도 5a 내지 도 5c를 참조하면, 각각 다른 길이의 심전도 신호를 동일한 크기의 변환 이미지로 생성하는 것을 알 수 있다. 도 5a 내지 도 5c에서, 각 심전도 심호는 시간 길이(time length)가 30s, 15s, 45s 이며, 베이스 이미지의 크기가 각각 상이한 것을 확인할 수 있다.

이때, 크기가 상이한 베이스 이미지를 동일한 크기의 변환 이미지로 생성하기 위해, 각 베이스 이미지를 반복적으로 생성한다. 즉, 도 5a 내지 도 5c에서, 시간 길이가 가장 짧은 도 5b의 베이스 이미지를 가장 많이 반복하고, 시간 길이가 가장 긴 도 5c의 베이스 이미지를 가장 적게 반복하게 된다.

특징 및 패턴을 추출하는 경우(S130), 저수준의 특징 추출 모듈을 적용하여 상기 특징을 추출하며, 고수준의 패턴 추출 모듈을 적용하여 상기 패턴을 추출한다.

구체적으로, 특징 추출 모듈이 1N 타입 필터를 구비하며, 상기 1N 타입 필터를 이용하여 상기 심전도 신호의 비트(beat) 형태 특징을 추출할 수 있다. 여기에서, N은 임의의 자연수를 의미한다.

예를 들어, 특징 추출 모듈은 3개의 블록을 구비할 수 있고, 각각의 블록은 1N 타입 필터를 구비할 수 있다. 이러한 특징 추출 모듈을 통해 2차원 변환 이미지에서 R 피크 등의 특징을 추출할 수 있다.

또한, 패턴 추출 모듈이 1N 타입 필터, N1 타입 필터, NN 타입 필터를 구비하며, 상기 1N 타입 필터를 이용하여 상기 심전도 신호의 비트(beat) 형태 특징을 추출하며, 상기 N1 타입 필터를 이용하여 상기 심전도 신호의 비트(beat) 간격 특징을 추출하고, 상기 NN 타입 필터를 이용하여 상기 심전도 신호의 비트 형태 및 비트 간격 특징을 추출할 수 있다. 여기에서, N은 임의의 자연수를 의미한다.

예를 들어, 패턴 추출 모듈이 3개의 블록을 구비하며, 상기 3개의 블록은 각각 1N 타입 필터, N1 타입 필터, NN 타입 필터를 구비할 수 있다. 이러한 패턴 추출 모듈을 통해 RRI 패턴 등의 패턴을 추출할 수 있다.

또한, 특징 어텐션(attention) 모듈을 적용하여 추출된 패턴을 가중할 수 있다. 즉, 추출된 특징 및 패턴에 부정맥의 분류와 관련한 중요도를 부여할 수 있다.

이하, 도 6 내지 도 9를 참조하여 특징 및 패턴을 추출하는 과정에 대해 상세히 살펴 보도록 한다.

도 6은 변환 이미지에 적용되는 CNN 모델의 구조를 도시한 도면이다. 또한, 도 7은 비트 형태 특징을 추출하기 위한 세 종류의 필터를 변환 이미지에 도시한 도면이다. 또한, 도 8은 풀링(pooling)을 적용하는 일예를 도시한 도면이다. 그리고, 도 9는 변환 이미지에 적용되는 CNN 모델의 기능적 모듈(functional module)을 도시한 도면이다.

도 6을 참조하면, 2차원의 변환 이미지가 입력 데이터가 되며, 상기 변환 이미지는 LB(Low-level Block) 레이어(10), HB(High-level Block) 레이어(20), FA(Feature Attention) 레이어(30), FC(Fully Connected) 레이어(40)로 이루어진 CNN 모델의 구조에서 학습될 수 있다. 그리고, CNN 모델에 입력되는 2차원의 변환 이미지에서 특징 및 패턴을 추출하여 부정맥의 종류를 판별할 수 있다.

도 6에서, LB(Low-level Block) 레이어(10), HB(High-level Block) 레이어(20)의 각 블록의 개수는 3개씩 도시되어 있으나, 이에만 제한되지 않고, 블록의 개수를 3개를 초과하여 구성할 수 있다.

LB(Low-level Block) 레이어(10)는 입력된 2차원 변환 이미지의 일반적인 특징을 추출한다. 예를 들어, 심전도 신호의 R 피크의 특징을 추출할 수 있다.

이러한 LB(Low-level Block) 레이어(10)는 여러 개의 블록을 포함할 수 있다. 도 6에서, LB(Low-level Block) 레이어(10)는 3개의 블록(12, 14, 16)을 포함하고 있다. 상기 3개의 블록(12, 14, 16)은 각각 열 방향으로 긴 1N 타입 필터를 구비한다.

일례로, LB1(12)은 15 타입 필터, LB2(14)는 14 타입 필터, LB3(16)은 13 타입 필터일 수 있다.

HB(High-level Block) 레이어(20)는 LB(Low-level Block) 레이어(10)의 추출된 특징으로부터 구체적인 패턴을 추출한다. 예를 들어, 심전도 신호의 RR 간격 패턴의 특징을 추출할 수 있다.

이러한 HB(High-level Block) 레이어(20)는 여러 개의 블록을 포함할 수 있다. 도 6에서, HB(High-level Block) 레이어(20)는 3개의 블록(22, 24, 26)을 포함하고 있다. 상기 3개의 블록(22, 24, 26)은 각각 1N 타입 필터(22a, 24a, 26a), N1 타입 필터(22b, 24b, 26b), NN 타입 필터(22c, 24c, 26c)를 구비한다.

도 7을 참조하면, 2차원의 변환 이미지에 적색으로 표시된 1N 타입 필터, N1 타입 필터, NN 타입 필터가 적용된다. 컨볼루션(convolution)을 통해 상단의 1N 타입 필터는 변환 이미지의 세그먼트(segment)에서 발생하는 비트 형태 특징(beat shape features)을 추출할 수 있다. 좌측의 N1 타입 필터는 컨볼루션(convolution)을 통해 특정 시간 영역에서 발생하는 비트 간격에 관련된 특징을 추출할 수 있다. 우측의 NN 타입 필터는 컨볼루션(convolution)을 통해 복수의 인접한 세그먼트에의 비슷한 시간에서 보여지는 비트 형태 및 시간 변화에 관련된 특징을 추출할 수 있다.

그리고, 각 블록(22, 24, 26)의 각각의 필터에서 생성된 특징들은 모두 연결, 즉 concatenation(23, 25, 27)에서 이어붙여서 다음 블록 또는 레이어에 입력한다.

도 8을 참조하면, 3번의 맥스 풀링 연산을 통해 R 피크를 정렬하는 것을 확인할 수 있다. 그러므로, LB(Low-level Block) 레이어(10)는 입력된 2차원 변환 이미지의 R 피크의 특징을 추출할 수 있으며, 최소한 3개의 블록(12, 14, 16)을 포함하는 것이 바람직하다.

FA(Feature Attention) 레이어(30)는 HB(High-level Block) 레이어(20)의 결과를 표현 벡터(32)로 생성하며, 표현 벡터(32)가 FA(Feature Attention) 레이어(30)의 입력에 해당한다.

FA(Feature Attention) 레이어(30)에 표현 벡터(32)가 입력되면, 부정맥 판단에 중요한 특징에 대해서는 높은 가중치(weight)를 주어 부정맥의 종류에 따른 특징을 정확하게 추출할 수 있다. 어텐션(attention)은 컨텍스트(context)를 고려하여 중요한 지역에 집중하는 학습을 수행한다.

가중치 값은 FA(Feature Attention) 레이어(30)를 거치면서 추출될 수 있으며, 상기 가중치 값을 이용하여 계산한 것이 어텐션 스코어(attention score)이며, 채널 어텐션 스코어 학습(34)이 이루어진다.

이러한 어텐션 스코어와 표현 벡터 사이에 승산(Mul)을 수행하여 특징 임베딩 벡터의 출력을 생성할 수 있고, 상기 FA(Feature Attention) 레이어(30)의 출력을 포함하는 특징 임베딩 벡터는 FC(Fully Connected) 레이어(40)에 입력된다.

FA(Feature Attention) 레이어(30)에 의해 출력된 특징 임베딩(embedding) 벡터(38)가 FC(Fully Connected) 레이어(40)에 입력되고, 예측 클래스(44)에서 부정맥의 종류를 판단할 수 있는 클래스(class)가 예측되어 출력된다.

도 9를 참조하면, 특징 추출(Feature Extraction), 특징 맵 차원 축소(Feature Map Reduction), 특징 집중(Feature Attention) 기능의 CNN 모델 관계가 도시되어 있다. 여기에서, B-type convolution은 1N 타입 필터를 이용한 컨볼루션, I-type convolution은 N1 타입 필터를 이용한 컨볼루션, T-type convolution은 NN 타입 필터를 이용한 컨볼루션에 대응되며, 11 convolution은 11 타입 필터를 이용한 컨볼루션에 대응된다.

LB(Low-level Block) 레이어(10)는 3개의 블록(12, 14, 16)을 포함하며, 각각 Low-level Block 1, 2, 3이 된다. 상기 Low-level Block 1, 2, 3은 1N 타입 필터를 이용한 컨볼루션을 통해 심전도 신호의 형태 등에 관련된 특징을 추출할 수 있다.

그리고, Batch Normalization을 통해 레이어의 입력값의 분포를 정규화하고, ReLU Activation의 연산을 통해 정규화한 값을 변환하여 출력한다.

Batch Normalization 및 ReLU Activation의 출력값은 11 타입 필터를 이용한 컨볼루션을 통해 채널 수를 조절할 수 있고, 풀링(pooling)을 통해 공간적인 차원 축소가 이루어지고, concatenation으로 연결이 된다.

이러한 특징 추출(Feature Extraction), 특징 맵 차원 축소(Feature Map Reduction)의 기능은 LB(Low-level Block) 레이어(10)의 Low-level Block 1, 2, 3에 의해 3번 이루어지게 된다.

HB(High-level Block) 레이어(20)는 3개의 블록(22, 24, 26)을 포함하며, 각각 High-level Block 4, 5, 6이 된다. 상기 High-level Block 4, 5, 6은 1N 타입 필터, N1 타입 필터, NN 타입 필터를 이용한 컨볼루션을 통해 심전도 신호의 형태, 간격 등에 관련된 특징 및 패턴을 추출할 수 있다.

그리고, Batch Normalization을 통해 레이어의 입력값의 분포를 정규화하고, ReLU Activation의 연산을 통해 정규화한 값을 변환하여 출력한다.

Batch Normalization 및 ReLU Activation의 출력값은 11 타입 필터를 이용한 컨볼루션을 통해 채널 수를 조절할 수 있고, 풀링(pooling)을 통해 공간적인 차원 축소가 이루어진다.

그리고, 부정맥 판단에 중요한 특징에 대해서는 높은 가중치(weight)를 주어 중요한 지역에 집중하는 학습을 수행하고, 풀링(pooling)을 통해 공간적인 차원 축소가 이루어지고, concatenation으로 연결이 된다.

부정맥을 판단하는 경우(S140), CNN 모델에서 예측된 클래스를 기반으로 부정맥의 종류를 판별하고, 이를 안내할 수 있다. 예를 들어, 정상, 심방 세동(Atrial fibrillation), 기타 부정맥, 노이즈 등으로 부정맥의 종류를 판단할 수 있다.

부정맥을 판단하여 안내하는 경우, 알림 문자나 알림 경고 등을 생성하여 부정맥에 대비할 수 있게 한다. 이를 위해, 알림 문자나 알림 경고 등의 안내 데이터를 네트워크를 통해 외부로 전송 가능한 형식으로 패킷 처리할 수 있다. 즉, 부정맥의 판단에 대한 정보를 처리하여 데이터 패킷을 생성하고, 상기 데이터 패킷을 외부로 전송할 수 있다.

이러한 데이터 패킷은 부정맥과 관련한 헬스케어 서비스를 수행하기 위한 기초 자료가 될 수 있다. 예를 들어, 데이터 패킷은 마스터(Master)의 역할을 수행하는 전문가 그룹의 데이터 분석과 평가를 통해 부정맥과 관련된 헬스케어 정보가 생성되며, 이러한 헬스케어 정보는 심전도 신호를 측정한 사용자가 관리하고 있는 스마트폰, PC, 태블릿 등의 사용자 단말 등을 통해 제공될 수 있다. 예를 들어, 의사 등의 전문가 그룹의 데이터 분석과 평가를 통해 획득된 사용자의 부정맥 판단에 따른 운동 방법, 식이 요법 등을 외부의 사용자 단말에 전송할 수 있다.

이하, 도 10 내지 도 14를 참조하여 부정맥 판단에 적용되는 CNN 모델에 따른 판단 결과 및 블록별 판단 과정에 대해 상세히 살펴 보도록 한다.

도 10은 ECG 신호의 샘플 데이터 세트를 도시한 도면이다. 또한, 도 11은 본 발명의 일 실시예에 따른 부정맥 판단 방법을 이용하여 예측한 부정맥 판단 결과를 도시한 도면이다. 또한, 도 12는 다른 CNN 기반 부정맥 판단 방법과 본 발명의 일 실시예에 따른 부정맥 판단 방법의 결과를 비교한 도면이다. 또한, 도 13a 내지 도 13c는 변환 이미지에 적용되는 CNN 모델에서 각 블록별로 중요하게 판단하는 영역을 표시한 도면이다. 그리고, 도 14a 내지 도 14c는 변환 이미지에 적용되는 CNN 모델에서 각 필터별로 중요하게 판단하는 영역을 표시한 도면이다.

도 10을 참조하면, 부정맥 판단을 위한 CNN 모델에 입력되는 샘플 데이터 세트가 도시되어 있다. PhysioNet CinC2017 Training Set의 데이터 샘플 8,528개를 사용하였으며, 본 발명의 CNN 모델 구조에서는 1-lead ECG 측정 데이터를 획득하였다.

도 10에서, 시간 길이(Time Length)는 9~61초이고, 부정맥의 종류를 판단하는 클래스(class)는 정상(Noraml), 심방 세동(AF), 기타 부정맥(Other), 노이즈(Noisy)의 4종류이다. 여기에서, 심방 세동(AF), 기타 부정맥(Other)은 데이터 샘플이 전체 대비 각각 8.89%, 28.32%로 정상(Noraml)에 비해 상대적으로 적다.

도 11을 참조하면, 계층화된 5-fold 교차 검증에 의해 평가된 성능은 정상(Noraml) 샘플 데이터가 심방 세동(AF) 샘플 데이터, 기타 부정맥(Other) 샘플 데이터에 비해 민감도(Recall), 정밀도(PPV)가 높고, F1-score도 높아 성능이 우수한 것을 확인할 수 있다.

도 12를 참조하면, "ResNet(34-layer)", "2D CNN with LSTM layer", "16-layers 1D residual CNN", "DennseNet18+ for spectrogram"의 CNN 모델에 비해, 본 발명에서 제안한 CNN 모델("proposed BIT-CNN)이 시간 길이가 9~61sec이고, 평균 F1 스코어도 81.75%인 것을 확인할 수 있다. 이에, 성능이 우수하면서, 수십 초 길이의 심전도로 부정맥의 판단이 가능하다.

도 13a 내지 도 13c를 참조하면, 각각 정상(도 13a), 심방 세동(도 13b), 기타 부정맥(도 13c)의 HB(High-level Block) 레이어(20)의 3개의 블록인 High-level Block 4, 5, 6이 중요하게 보는 어텐션 영역이 도시되어 있다.

도 13a 내지 도 13c에 도시한 바와 같이, 부정맥 관련 패턴의 해석이 시각적으로 용이하여 환자, 의사 등의 이해에 도움을 줄 수 있고, 측정이 편리한 심전도 데이터를 사용해 언제 어디서나 심장의 상태 변화를 확인 가능하여 다양한 사용자들의 부정맥 판단 결과의 해석을 보조할 수 있다.

도 14a 내지 도 14c를 참조하면, 심방 세동(AF) 데이터의 경우, HB(High-level Block) 레이어(20)의 3개의 블록인 High-level Block 4(도 14a), 5(도 14b), 6(도 14c)의 각 필터가 중요하게 보는 어텐션 영역이 도시되어 있다. 여기에서, B-type filter는 1N 타입 필터, I-type filter는 N1 타입 필터, T-type filter는 NN 타입 필터이다.

도 14a 내지 도 14c에 도시한 바와 같이, 각 블록에서 부정맥 관련 패턴의 해석이 시각적으로 용이하고, 이를 통해 환자, 의사 등의 CNN 모델 내에서 이루어지는 판단 과정의 이해에 도움을 줄 수 있다.

도 15는 본 발명의 일 실시예에 따른 부정맥 판단 장치의 구성을 도시한 도면이다.

도 15를 참조하면, 본 발명의 일 실시예에 따른 부정맥 판단 장치(100)는, 심전도 신호를 획득하는 신호 획득부(110), 상기 심전도 신호를 변환하여 2차원 변환 이미지를 생성하는 이미지 생성부(120), 상기 변환 이미지에 CNN 모델을 적용하여 특징 및 패턴을 추출하는 CNN 모델부(130), 상기 추출된 특징 및 패턴을 기초로 부정맥을 판단하는 부정맥 판단부(140)를 포함한다.

신호 획득부(110)는 ECG 센서(미도시)가 측정한 심전도 신호를 획득한다. 예를 들어, 웨어러블 ECG 장비로 수집한 single-lead ECG 센서에서 측정한 ECG 신호를 획득할 수 있다.

이미지 생성부(120)는 심전도 신호를 분할하여 복수의 세그먼트를 형성하는 세그먼트 모듈(122), 상기 복수의 세그먼트를 열 방향으로 배치하여 베이스 이미지를 형성하는 베이스 이미지 모듈(124), 상기 베이스 이미지를 반복적으로 생성하여 일정한 크기의 상기 변환 이미지를 생성하는 변환 이미지 모듈(126)을 포함할 수 있다. 심전도 신호를 시간에 따른 심박의 변화를 나타내는 이미지로 변환하여 CNN 모델에 입력함으로써, 의사나 환자 등의 사용자가 시각적으로 데이터를 용이하게 확인할 수 있다.

CNN 모델부(130)는 변환 이미지에서 저수준 부정맥의 특징을 추출하는 특징 추출 모듈(132), 상기 특징으로부터 고수준 부정맥의 패턴을 추출하는 패턴 추출 모듈(134), 상기 추출된 패턴을 가중하는 특징 어텐션 모듈(136)을 포함할 수 있다. 또한, CNN 모델부(130)는, 부정맥의 종류를 판단하여 그 판단 결과를 출력하는 FC 모듈(138)을 더 포함할 수 있다.

이때, LB(Low-level Block) 레이어(10), HB(High-level Block) 레이어(20), FA(Feature Attention) 레이어(30), FC(Fully Connected) 레이어(40)로 이루어진 CNN 모델의 구조를 통해, 부정맥 관련 패턴의 해석이 시각적으로 용이하며, 의사, 환자 등 다양한 사용자들의 모델 이해와 판단 결과의 해석을 도울 수 있다.

부정맥 판단부(140)는 CNN 모델에서 예측된 클래스를 기반으로 부정맥의 종류를 판단하여 사용자에게 제공한다. 예를 들어, 정상, 심방 세동(Atrial fibrillation), 기타 부정맥, 노이즈 등으로 부정맥의 종류를 판단하고, 이를 사용자에게 문자나 알람 등으로 안내할 수 있다.

이러한 부정맥 판단 장치(100)는 부정맥 등 심박의 이상 감지, 생체 신호 기반 사용자의 전반적인 상태 모니터링 등 활용 가능하며, 심장의 상태 모니터링, 부정맥 판단 및 보조진단시스템, 웨어러블 장비로 수집한 생체 데이터 분석 등에 적용할 수 있다.

한편, 본 발명의 일 실시예에 따른 부정맥 판단 방법 및 장치는 소프트웨어, 펌웨어, 하드웨어 중 적어도 하나에 의해 하나의 모듈로 구현 가능하며, 전술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 롬(ROM), 플로피 디스크, 하드 디스크 등의 자기적 매체, CD, DVD 등의 광학적 매체 및 인터넷을 통한 전송과 같은 캐리어 웨이브와 같은 형태로 구현된다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네크워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

100: 부정맥 판단 장치
110: 신호 획득부
120: 이미지 생성부
130: CNN 모델부
140: 부정맥 판단부

Claims (13)

1. 신호 획득부가 심전도 신호를 획득하는 단계;
   이미지 생성부가 상기 심전도 신호를 변환하여 2차원 변환 이미지를 생성하는 단계;
   CNN 모델부가 상기 변환 이미지에 CNN 모델을 적용하여 특징 및 패턴을 추출하는 단계; 및
   부정맥 판단부가 상기 추출된 특징 및 패턴을 기초로 부정맥을 판단하는 단계를 포함하고,
   상기 변환 이미지를 생성하는 단계는,
   상기 심전도 신호를 분할하여 복수의 세그먼트를 형성하고, 상기 복수의 세그먼트를 열 방향으로 배치하여 베이스 이미지를 형성하며, 상기 베이스 이미지를 반복적으로 생성하여 일정한 크기의 상기 변환 이미지를 생성하고,
   상기 패턴을 추출하는 단계는
   1XN 타입 필터를 이용하여 상기 심전도 신호의 비트(beat) 형태 특징을 추출하며, NX1 타입 필터를 이용하여 상기 심전도 신호의 비트(beat) 간격 특징을 추출하고, NXN 타입 필터를 이용하여 복수의 이웃한 세그먼트에서 심전도 신호의 비트 형태 및 비트 간격 특징을 추출하는 것인 부정맥 판단 방법.
2. 삭제
3. 삭제
4. 제 1항에 있어서,
   상기 특징 및 패턴을 추출하는 단계는,
   저수준의 특징 추출 모듈을 적용하여 상기 특징을 추출하는 단계; 및
   고수준의 패턴 추출 모듈을 적용하여 상기 패턴을 추출하는 단계를 포함하는, 부정맥 판단 방법.
5. 제 4항에 있어서,
   상기 특징을 추출하는 단계는,
   상기 특징 추출 모듈이 1N 타입 필터를 구비하며, 상기 1N 타입 필터를 이용하여 상기 심전도 신호의 비트(beat) 형태 특징을 추출하는 단계를 포함하는, 부정맥 판단 방법.
6. 제 5항에 있어서,
   상기 특징을 추출하는 단계는,
   상기 특징 추출 모듈이 3개의 블록을 구비하며, 상기 3개의 블록은 각각 1N 타입 필터를 구비하는, 부정맥 판단 방법.
7. 삭제
8. 제 1항에 있어서,
   상기 패턴을 추출하는 단계는,
   상기 패턴 추출 모듈이 3개의 블록을 구비하며, 상기 3개의 블록은 각각 1N 타입 필터, N1 타입 필터, NN 타입 필터를 구비하는, 부정맥 판단 방법.
9. 제 4항에 있어서,
   특징 어텐션(attention) 모듈을 적용하여 상기 추출된 패턴을 가중하는 단계를 포함하는, 부정맥 판단 방법.
10. 심전도 신호를 획득하는 신호 획득부;
    상기 심전도 신호를 변환하여 2차원 변환 이미지를 생성하는 이미지 생성부;
    상기 변환 이미지에 CNN 모델을 적용하여 특징 및 패턴을 추출하는 CNN 모델부; 및
    상기 추출된 특징 및 패턴을 기초로 부정맥을 판단하는 부정맥 판단부를 포함하고,
    상기 이미지 생성부는 상기 심전도 신호를 분할하여 복수의 세그먼트를 형성하고, 상기 복수의 세그먼트를 열 방향으로 배치하여 베이스 이미지를 형성하며, 상기 베이스 이미지를 반복적으로 생성하여 일정한 크기의 상기 변환 이미지를 생성하고,
    상기 CNN 모델부는 1XN 타입 필터를 이용하여 상기 심전도 신호의 비트(beat) 형태 특징을 추출하며, NX1 타입 필터를 이용하여 상기 심전도 신호의 비트(beat) 간격 특징을 추출하고, NXN 타입 필터를 이용하여 복수의 이웃한 세그먼트에서 심전도 신호의 비트 형태 및 비트 간격 특징을 추출하는 것인, 부정맥 판단 장치.
11. 삭제
12. 제 10항에 있어서,
    상기 CNN 모델부는,
    상기 변환 이미지에서 저수준 부정맥의 특징을 추출하는 특징 추출 모듈;
    상기 특징으로부터 고수준 부정맥의 패턴을 추출하는 패턴 추출 모듈; 및
    상기 추출된 패턴을 가중하는 특징 어텐션 모듈을 포함하는, 부정맥 판단 장치.
13. 제 1항, 제 4항 내지 제 6항, 제 8항 및 제 9항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.

Images