KR20210061769A

KR20210061769A - 심전도 재구축 시스템 및 방법

Info

Publication number: KR20210061769A
Application number: KR1020190149706A
Authority: KR
Inventors: 유선국; 이지은
Original assignee: 연세대학교 산학협력단
Priority date: 2019-11-20
Filing date: 2019-11-20
Publication date: 2021-05-28
Also published as: KR102469984B1

Abstract

본 발명은, 심전도의 사지 유도 측정신호에서 R피크 정렬을 행하고, 오더드 타임 시컨스 임베딩을 통해 시간 도메인 신호인 사지 유도 측정신호를 2차원 공간 신호로 변환하여, 기 학습된 생성적 적대 신경망(GAN)에 입력하고, 생성적 적대 신경망(GAN)으로부터 심전도의 흉부유도 신호를 출력하게 함으로써, 다수개의 전극을 흉부에 부착하는 일 없이, 심전도의 사지유도신호로부터 생성적 적대 신경망(GAN)을 이용하여 흉부유도신호를 도출하는 방법 및 장치에 관한 것이다.
본 발명은, 사지 유도로 심전도 신호를 측정하는, 사지 유도 측정장치; 기 학습된 인공신경망을 구비하되, 사지 유도 측정장치로부터 수신된 사지 유도의 심전도 신호를, 인공신경망 적용을 위한 신호전처리를 행하여 상기 인공신경망에 입력하면, 인공신경망은 흉부유도의 심전도신호를 출력하도록 이루어진 연산처리부를 포함하는, 흉부유도 심전도 추출장치; 를 포함하는, 흉부유도 심전도 재구축 시스템을 특징으로 한다. 상기 인공신경망은 GAN이며, 인공신경망에 입력되는 인공신경망 입력신호는, R파를 기준으로 정렬되고 2차원 공간신호(bi-dimensional space)로 변환된 사지 유도의 심전도 신호이다.

Description

심전도의 사지유도신호로부터 생성적 적대 신경망을 이용한 흉부유도신호 도출의 방법 및 장치{Method and device for synthesis of ECG V-lead signals from limb-lead measurement using R-peak aligned GAN}

본 발명은, 심전도의 사지 유도(Limb Lead) 측정신호에서 R피크 정렬(R-peak alignment)을 행하고, 오더드 타임 시컨스 임베딩(ordered time sequence embedding, 정렬된 시간순서 임베딩)을 통해 시간 도메인 신호인 사지 유도 측정신호를 2차원 공간(bi-dimensional space) 신호로 변환하여, 기 학습된 생성적 적대 신경망(GAN)에 입력하고, 생성적 적대 신경망(GAN)으로부터 심전도의 V 리드(흉부유도) 신호를 출력하게 함으로써, 다수개의 전극을 흉부에 부착하는 일 없이, 심전도의 사지유도신호로부터 생성적 적대 신경망(GAN)을 이용하여 흉부유도신호를 도출하는 방법 및 장치에 관한 것이다.

심전도(ECG)는 일상 생활에서의 맥박수 측정부터, 수술실에서의 환자 모니터링, 부정맥 진단 등 다양한 상황에서 사용된다. 심전도는 적용방향에 따라서 심전도의 측정방법, 즉, 리드(lead) 방법, 측정 위치가 다르며, 심전도의 측정방법은 대표적으로 표준사지유도(standard limb lead), 단극 사지유도, 흉부유도(chest lead, V lead) 등의 측정 방식이 있으며, 표준사지유도, 단극 사지유도, 흉부유도를 합하여 표준 12유도 심전도라 한다.

표준사지유도(standard limb lead)는 심전도 전극을 오른팔, 왼팔, 왼쪽다리에 부착하여 쌍극(양극) 유도 방식으로 측정된다. 표준사지유도에서 유도 I(즉, 양극 사지유도 I)은 왼팔과 오른팔의 전위차, 유도 II(즉, 양극 사지유도 II)는 오른팔과 왼쪽다리의 전위차, 유도 III(즉, 양극 사지유도 III)은 왼팔과 왼쪽다리의 전위차에 의해 기록된다.

단극 사지유도(modified standard limb(ML) lead)는 심전도 전극을 오른팔, 왼팔, 왼쪽다리에 부착하여 심전도를 기록하되, 단극으로 오른팔(aVR), 왼팔(aVL), 왼다리(aVF)로 유도된 심전도를 읽는다. 단극 사지유도에서 왼팔과 오른팔의 전위차인 MLI 심전도신호, 오른팔과 왼쪽다리의 전위차인 MLII 심전도신호, 왼팔과 왼쪽다리의 전위차인 MLIII을 도출할 수 있다.

특히, 사지유도 심전도(limb ECG) 중 MLII 방식은 P 파가 가장 현저하게 나타나므로 심전도의 전형적인 파형을 보여준다. 또한, MLII는 부정맥 판독 등에 이용되고, physionet에서 제공하는 공개(open)된 부정맥 데이터에도 포함된 대표적 신호이다. 그러나 MLII 신호는 충분한 심전도 정보가 제공되지 않기 때문에 가정에서의 건강관리 모니터링이외의 활용이 어렵다. 또한, 심장은 3차원 구조이므로 흉부유도 신호를 알아야 심장 움직임을 정확히 파악할 수 있다.

흉부 유도(chest lead)는, 사지유도와 같이 심전도를 손발에서 유도하는 것이 아니라, 심장과 가까운 부위에 전극을 부착하여, 심장가까이의 흉벽위에서 유도하는 측정 방법으로, 흉부유도의 기준전극은 표준사지유도에서 사용한 세 전극의 합으로 잡으며, V1-V6까지의 6개의 흉부유도가 있으며, 이 경우, 정확한 위치에 전극이 부착되어야 한다. 여기서, V1은 제 4늑간 흉골 우연에 심전도 전극이 부착되고, V2는 제 4늑간 흉골 좌연에 심전도 전극이 부착되고, V3는 V2와 V4 사이의 중간 지점에 심전도 전극이 부착되고, V4는 제 5늑간과 좌측 쇄골 중앙선에 심전도 전극이 부착되고, V5는 제 5늑간 전방 액와선에 심전도 전극이 부착되고, V6는 제 5늑간 중앙 액와선에 심전도 전극이 부착된다. 흉부유도는 심장을 횡단면에서 바라보는 수평유도이며, 표준사지유도와 증폭사지유도에서 기록되지 않을 수 있는 전기신호도 기록되어 질 수 있기 때문에 사용하는 유도이다. 일반적으로, 흉부 유도는 심근의 움직임을 측정하는 리드로서, 심근경색 등의 심장 질환을 확인하는데 사용된다.

최근에는, 사지유도 방식를 적용하여 심전도를 간편하게 측정하는 얼라이브코어(AliveCor), 스마트 워치 등의 포타블 형태의 다양한 심전도 측정장치가 개발되었으며, 포타블 형태의 심전도 측정장치의 경우, 웨어러블 심전도 측정 장치인 경우가 많으며, 따라서 가정에서도 사지유도 방식를 적용한 심전도의 측정과 모니터링이 가능하다. 이 포타블 형태의 심전도 측정장치는 시간, 공간적 제약을 받지 않으므로 모바일 헬스케어 환경에서 다양한 적용이 가능하다. 그러나, 이 포타블 형태의 심전도 측정장치는 사지유도 방식을 적용하는 것으로, 심근의 움직임을 알 수 없으므로 심장질환을 확인하기 어렵다.

또한, 포타블 형태의 심전도 측정장치를 사용하는 환자가, 흉부유도를 위해 V1 내지 V6을 위한 6개의 심전도 전극을 해당위치에 장착하고 심전도를 측정하기는 상당히 어려운 일이다. 즉, 흉부 유도는 부착해야 하는 리드가 많기 때문에 측정이 불편하여 웨어러블 심전도 측정 장치 등에 적용이 어렵다. 포타블 형태의 심전도 측정장치는 리드(lead)가 제한되어 있어, 충분한 심전도 정보를 제공할 수 없으며,이러한 이유로 포타블 형태의 웨어러블 심전도 측정장치가 가정에서 간단히 측정하는 데만 사용되고, 실제 병원 등에서의 심전도의 임상적 해석에 적용하기 어렵다.

그러므로, 다수개의 전극을 흉부에 부착하는 일 없이, 포타블 형태의 심전도 측정장치 또는 웨어러블 심전도 측정장치의 사지유도 심전도로부터 흉부유도의 심전도를 복구하는 장치 및 방법이 요망된다.

본 발명에서는 다수개의 전극을 흉부에 부착하는 일 없이, 심전도의 사지 유도(Limb Lead) 측정신호로부터 심전도의 흉부유도(V 리드) 신호를 도출하는 것을 제안한다.

심전도 리드 변환에 관해 다양한 연구가 있으며, 그 중, 다우어 변환(Dower transform), 아핀 변환(Affine transformation) 등을 이용한 심전도 리드 변환 방법은 최소자승법을 이용한 계수 계산을 통하여 리드 복원을 진행한다. 또한, 주성분 분석법(principle component analysis)을 이용한 심전도 리드 변환 방법은 심전도의 주된 성분을 투영하는 특징 벡터를 통해 신호를 재구성하는 역할을 한다. 이러한 방법들은 계산이 복잡하며 개인차(individual difference)와 측정 위치에 따른 민감도의 한계를 가진다.

최근들어 심전도 분석을 위해, 심층 신경망(deep neural network, DNN), 합성곱(Convolution neural network, CNN), 순환 신경망(Recurrent neural network, RNN), 생성적 적대 신경망(Generative adversarial network, GAN)등의 다양한 딥 러닝(deep learning) 기법들이 적용되고 있다. 이러한 방법들은 비 선형 변환(non-linear transformation)을 적용하기 때문에 다양한 개인, 측정 위치로부터 다양성(diversity)을 가지는 데이터에 적합하다. 그러나 이는 잡음 복원(noise recovery), 부정맥 분류(arrythmia classification), 단일 ECG 신호 예측(prediction) 등에 사용되고 있으며 심전도의 다 리드 합성(multi-lead synthesis)에 적용한 연구는 거의 찾을 수 없다.

GAN은 이미지 스타일 이동(image style translation)에 있어서 우수한 성능을 가진다. 기존 CNN은 유클리디안(Euclidean) 거리를 학습하여 흐릿(blur)하다는 단점이 있는 반면, GAN은 손실(loss)을 기반으로 학습하여 CNN보다 선명한 결과를 얻는다. 그러나 GAN은 현재 이미지에 최적화되어 있으므로 시간 도메인 신호(time domain signal)에 적용이 어렵다. 따라서 GAN을 시간 도메인 신호인 심전도 신호에 적용하기 위해서는 심전도의 처리과정이 반듯이 필요하다.

본 발명에서는 심전도의 의미정보(semantic information)를 유지하기 위해 R 피크 정렬(R-peak alignment)을 행하고, 심전도 신호를 2차원 공간(bi-dimensional space) 신호로 변환을 위해 오더드 타임 시컨스 임베딩(ordered time sequence embedding)을 적용한다. 또한, 심전도 리드의 쌍을 통해 GAN을 학습시켜 흉부 리드를 도출하게 하였다. 특히, GAN은 다른 인공신경망과 달리 확률적인 분포를 학습하며, 이에 따라 적은 샘플로도 모델의 학습이 가능하고, 다양한 패턴의 데이터를 학습하기 때문에 합성된 신호의 에러(error)가 줄어든다.

본 발명은　GAN을 적용함에 있어　R 피크 정렬(R-peak alignment)을 사용하고, 이를 통해 심전도 패턴의 의미정보(semantic information)을 유지하여 정확한 심전도 신호를 복구할 수 있습니다.

선행기술로, 일본 공개특허공보 2005-323821호는 표준 12 유도 심전도의 구축 방법 및 심전도 검사 장치에 관한 것으로, 표준 12 유도 심전도의 유도 시스템의 부분집합을 사용하되, 최소한의 전극의 장착에 의해, 전극의 장착되어 있지 않은 부분의 심전도 유도 파형을 소정의 변환 행렬을 이용한 연산에 의해 산출한다. 이 경우에, 복잡한 연산과정을 거쳐야 하며, 특정 수식에 따라 구하여지므로, 개인차와 다양성이 있는 심전도에 있어서 정확도가 떨어질 수 밖에 없다.

본 발명이 해결하고자 하는 과제는, 심전도의 사지 유도(Limb Lead) 측정신호에서 R피크 정렬(R-peak alignment)을 행하고, 오더드 타임 시컨스 임베딩(ordered time sequence embedding, 정렬된 시간순서 임베딩)을 통해 시간 도메인 신호인 사지 유도 측정신호를 2차원 공간(bi-dimensional space) 신호로 변환하여, 기 학습된 생성적 적대 신경망(GAN)에 입력하고, 생성적 적대 신경망(GAN)으로부터 심전도의 V 리드(흉부유도) 신호를 출력하게 함으로써, 다수개의 전극을 흉부에 부착하는 일 없이, 심전도의 사지유도신호로부터 생성적 적대 신경망(GAN)을 이용하여 흉부유도신호를 도출하는 방법 및 장치를 제공하는 것이다.

상기 과제를 해결하기 위해, 본 발명의 흉부유도 심전도 재구축 시스템은, 사지 유도로 심전도 신호를 측정하는, 사지 유도 측정장치; 사지 유도 측정장치로부터 수신된 사지 유도의 심전도 신호를, 기학습된 인공신경망에 적용하여, 상기 인공신경망으로 하여금, 흉부유도의 심전도신호를 출력하도록 이루어진 연산처리부를 포함하는, 흉부유도 심전도 추출장치; 를 포함하여 이루어진 것을 특징으로 한다.

또한, 본 발명의 흉부유도 심전도 재구축 시스템은, 사지 유도로 심전도 신호를 측정하는, 사지 유도 측정장치; 기 학습된 인공신경망을 구비하되, 사지 유도 측정장치로부터 수신된 사지 유도의 심전도 신호를, 인공신경망 적용을 위한 신호전처리를 행하여 상기 인공신경망에 입력하면, 인공신경망은 흉부유도의 심전도신호를 출력하도록 이루어진 연산처리부를 포함하는, 흉부유도 심전도 추출장치;

를 포함하여 이루어진 것을 특징으로 한다.

인공신경망은 GAN(생성적 적대 신경망, Generative adversarial network)이며, 인공신경망에 입력되는 인공신경망 입력신호는, R파를 기준으로 정렬되고 2차원 공간신호(bi-dimensional space)로 변환된 사지 유도의 심전도 신호이다.

R파를 기준으로 정렬시에, 연산처리부는, 사지 유도의 심전도 신호에서, R파들을 검출하고, 각 R파를 기준으로 전후 500ms로 분할한 1sec 사지 유도의 심전도 신호인 에포크(Epoch)들을 생성하한다.

R파를 기준으로 정렬된 사지 유도의 심전도 신호를 2차원 공간신호로 변환시, 시간 순서에 따라 각 에포크의 심전도에 선형보간(linear interpolation)을 적용하되, 2차원 공간의 x축은, 에포크 내의 각 심전도신호의 값을 나타내며, 2차원 공간의 y축은, 각 에포크의 시간적 순서를 나타내어, 오더드 타임 시컨스 임베딩(ordered time sequence embedding)된 심전도 신호를 생성한다.

인공신경망 입력신호는 256x256 사이즈의 2차원 공간 신호이다.

2차원 공간신호로 변환시에, 에포크 수가 256개보다 적을 경우, 에포크 수가 256개가 되도록, 선형보간을 통해 데이터 확장을 행한다.

연산처리부는 사지 유도 측정장치로부터 수신된 사지유도 심전도 신호의 샘플링 속도가 250Hz보다 크거나 작을 경우, R파를 기준으로 정렬 전에, 업샘플링 또는 다운샘플링을 행하여 250Hz의 신호가 되도록하며, R파를 기준으로 정렬 후에 1 에포크의 250개의 샘플에 '0'으로 된 6개의 샘플 추가하여, 1 에포크가 256개의 샘플을 가지도록 변환한다.

에포크 수가 256개가 되도록, 선형보간을 통해 데이터 확장시에, 보정 계수(interpolation coefficient)는 3으로 고정하여 한 에포크(epoch)를 3개씩 복사하여 선형보간(linear interpolation)을 할 수 있다.

GAN(생성적 적대 신경망)은, 인공신경망 입력신호인 사지 유도 심전도 신호로부터, 흉부유도 심전도 신호를 생성하며 잔차 네트워크(residual network)를 포함하는 생성기(generator)와, 생성된 흉부유도 심전도 신호를, 사지 유도 심전도 신호와 동시에 측정된 흉부유도 심전도 신호와 비교하여, 생성된 흉부유도 심전도 신호가 진짜인지 여부를 구분해주는 판별기(discriminator)를 포함한다.

생성기는 9-block 잔차 네트워크(residual network)를 사용하며, 잔차 네트워크(residual network)는 2개의 3X3 필터 사이즈(filter size)와 리플렉트 패딩(reflect padding)을 적용한 합성곱 계층들(convolution layers)을 가지고, 콘볼루션(convolution) 후 배치 정규화(batch normalization)행하도록 이루어지며, 첫번째 합성곱 계층(convolution layer)의 활성화 함수(activation function)로 정규화 선형 유니트(rectifier linear unit, ReLU)를 사용한다.

동시에 측정된 사지 유도 심전도 신호와 흉부 유도 심전도 신호가, 인공신경망의 학습을 위해, R파를 기준으로 정렬되고 2차원 공간신호(bi-dimensional space)로 변환되어 인공신경망에 입력되되, 생성기는 상기 사지 유도 심전도 신호로부터 흉부 유도 심전도 신호를 생성하며, 판별기는 생성기에서 생성된 흉부 유도 심전도 신호를 패치(patch) GAN을 적용하여, R피크 정렬된 심전도 패턴에 따른 세부 정보를 복구하되, 인공신경망의 손실(loss)은, GAN 손실(GAN loss)에, 사지 유도 심전도 신호와 동시에 측정된 흉부유도 샘플과, GAN을 통해 생성된 흉부유도 샘플의 차의 절대 값의 오차(에러)를 더한 것이다.

에포크(E_i)를

(단, P는 P번째 에포크를 나타내며, x_p는 P번째 에포크에서 R 피크 점(포인트)의 심전도 샘플을 나타내며, N은 에포크 수를 나타냄) 이라고 할때,

사지 유도 심전도 신호와 동시에 측정된 흉부유도 샘플과, GAN을 통해 생성된 흉부유도 샘플의 차의 절대 값의 오차(에러)는

(단, Rv는 측정된 흉부유도 샘플이고, Gv는 GAN을 통해 생성된 흉부유도 샘플임)에 의해 구한다.

GAN 손실(GAN loss)(L_vGAN(G,D))은

(단, R_MLII는 측정된 사지유도 심전도 신호의 샘플을 나타냄)에 의해 구하여지며, 인공신경망의 손실(loss)은

에 의해 구하여진다.

사지유도 심전도 신호는 ML II 리드에 의해 검출된 심전도 신호일 수 있다.

또한, 본 발명은, 사지 유도 측정장치로부터 수신된 사지 유도 심전도 신호로부터, 흉부유도의 심전도신호를 재구축하는 연산처리부를 구비하는 흉부유도 심전도 추출장치에서의 흉부유도 심전도 재구축방법에 있어서, 연산처리부는, 사지 유도 측정장치로부터 수신된 사지 유도의 심전도 신호를, 인공신경망 적용을 위한 신호전처리를 행하여, 인공신경망 입력신호를 생성하는, 신호전처리단계; 연산처리부는, 신호전처리단계에서 생성된 인공신경망 입력신호를, 기 학습된 인공신경망에 입력하고, 인공신경망으로부터 흉부유도의 심전도신호를 출력하는, 흉부유도 심전도 재구축 단계;를 포함하는 것을 특징으로 한다.

신호전처리단계는, 연산처리부가, 사지 유도의 심전도 신호에서, R파들을 검출하고, 각 R파를 기준으로 전후 500ms로 분할한 1sec 사지 유도의 심전도 신호인 에포크(Epoch)들을 생성하는, R 피크 정렬 단계; R 피크 정렬 단계 후, 시간 순서에 따라 각 에포크의 심전도에 선형보간(linear interpolation)을 적용하여 2차원 공간신호를 생성하되, 2차원 공간의 x축은, 에포크 내의 각 심전도신호의 값을 나타내며, 2차원 공간의 y축은, 각 에포크의 시간적 순서를 나타내어, 오더드 타임 시컨스 임베딩(ordered time sequence embedding)된 심전도 신호를 생성하는, 오더드 타임 시컨스 임베딩 단계;를 포함한다.

생성기의 구동방법은, R 피크 정렬 단계 및 오더드 타임 시컨스 임베딩 단계를 거쳐 생성된 2차원 공간(이미지)의 사지유도 심전도 신호인, 인공신경망 입력신호가, GAN에 입력되면, 생성기는 인공신경망 입력신호인 사지유도 심전도 신호에서, 콘볼루션을 연산하는, 제1차 콘볼루션(Convolution) 단계; 제1차 콘볼루션 단계에서 출력된 사지유도 심전도 신호에서 맥스 풀링(Max pooling)을 생성기가 연산하는, 제1차 맥스 풀링 단계; 제1차 맥스 풀링 단계에서 출력된 사지유도 심전도 신호에서 콘볼루션을 생성기가 연산하는, 제2차 콘볼루션 단계; 제2차 콘볼루션 단계에서 출력된 사지유도 심전도 신호에서 맥스 풀링을 생성기가 연산하는, 제2차 맥스 풀링 단계; 생성기는, 제2차 맥스 풀링단계에서 출력된 사지유도 심전도 신호에 소정 활성화 함수를 적용시켜 출력하는, 제1 잔차블록단계; 생성기는, 제1 잔차블록 단계의 입력전 신호인, 제2차 맥스 풀링단계에서 출력된 사지유도 심전도 신호와, 제1 잔차블록 단계에서 출력된 사지유도 심전도 신호를 합산한 후에, 소정 활성화 함수를 적용시켜 출력하는, 제2 잔차블록 단계; 생성기는, 제2 잔차블록 단계의 입력전 신호인, 제1 잔차블록 단계의 입력전 신호와 제1 잔차블록 단계의 출력 신호가 합산된 신호와, 제2 잔차블록 단계의 출력 신호가 합산된 후에, 소정 활성화 함수를 적용시켜 출력하는, 제3 잔차블록 단계; 생성기는, 제3 잔차블록 단계의 입력전 신호인, 제2 잔차블록 단계의 입력전 신호와 제2 잔차블록 단계의 출력 신호가 합산된 신호와, 제3 잔차블록 단계의 출력 신호가 합산된 후에, 소정 활성화 함수를 적용시켜 출력하는, 제4 잔차블록 단계; 생성기는, 제4 잔차블록 단계의 입력전 신호인, 제3 잔차블록 단계의 입력전 신호와 제3 잔차블록 단계의 출력 신호가 합산된 신호와, 제4 잔차블록 단계의 출력 신호가 합산된 후에, 소정 활성화 함수를 적용시켜 출력하는, 제5 잔차블록 단계; 생성기는, 제5 잔차블록 단계의 입력전 신호인, 제4 잔차블록 단계의 입력전 신호와 제4 잔차블록 단계의 출력 신호가 합산된 신호와, 제5 잔차블록 단계의 출력 신호가 합산된 후에, 소정 활성화 함수를 적용시켜 출력하는, 제6 잔차블록 단계; 생성기는, 제6 잔차블록 단계의 입력전 신호인, 제5 잔차블록 단계의 입력전 신호와 제5 잔차블록 단계의 출력 신호가 합산된 신호와, 제6 잔차블록 단계의 출력 신호가 합산된 후에, 소정 활성화 함수를 적용시켜 출력하는, 제7 잔차블록 단계; 생성기는, 제7 잔차블록 단계의 입력전 신호인, 제6 잔차블록 단계의 입력전 신호와 제6 잔차블록 단계의 출력 신호가 합산된 신호와, 제7 잔차블록 단계의 출력 신호가 합산된 후에, 소정 활성화 함수를 적용시켜 출력하는, 제8 잔차블록 단계; 생성기는, 제8 잔차블록 단계의 입력전 신호인, 제7 잔차블록 단계의 입력전 신호와 제7 잔차블록 단계의 출력 신호가 합산된 신호와, 제8 잔차블록 단계의 출력 신호가 합산된 후에, 소정 활성화 함수를 적용시켜 출력하는, 제9 잔차블록 단계; 생성기는, 제9 잔차블록 단계의 입력전 신호인, 제8 잔차블록 단계의 입력전 신호와 제8 잔차블록 단계의 출력 신호가 합산된 신호와, 제9 잔차블록 단계의 출력 신호를 합산하는, 제9 잔차블록 전후신호 합산단계; 제9 잔차블록 전후신호 합산단계의 출력신호를, 생성기가 업 컨볼루션(Up Convolution)하는, 제1 업 컨볼루션단계; 제1 업 컨볼루션 단계의 출력신호를, 생성기가 업 컨볼루션을 행하여 얻은 신호를, 2차원 공간의 흉부 유도 심전도 신호로 하는, 제2 업 컨볼루션단계;를 포함하여 이루어진다.

판별기의 구동방법은, 동시에 측정된 사지 유도 심전도 신호와 흉부 유도 심전도 신호가, 인공신경망의 학습을 위해, R파를 기준으로 정렬되고 2차원 공간신호로 변환되어 인공신경망에 입력하되, 사지 유도 심전도 신호와 동시에 측정된 흉부 유도 심전도 신호를 '원 흉부 유도 심전도 신호'로 하며, R파를 기준으로 정렬되고 2차원 공간신호로 변환된 사지 유도 심전도 신호가 GAN에 입력되어, GAN이 출력한 흉부유도 심전도 신호를 '재구축된 흉부유도 심전도 신호'로 하는, 신호 입력단계; 신호 입력단계에서 출력된 재구축된 흉부유도 심전도 신호 및 원 흉부유도 심전도 신호 각각에서 콘볼루션을 행하는, 판별기의 제1차 콘볼루션 단계; 판별기의 제1차 콘볼루션단계에서 출력된 재구축된 흉부유도 심전도 신호 및 원 흉부유도 심전도 신호 각각에서 판별기가 콘볼루션을 행하는, 판별기의 제2차 콘볼루션단계; 판별기의 제2차 콘볼루션단계에서 출력된 재구축된 흉부유도 심전도 신호 및 원 흉부유도 심전도 신호 각각에서 판별기가 콘볼루션을 행하는, 판별기의 제3차 콘볼루션단계; 판별기의 제3차 콘볼루션단계에서 출력된 재구축된 흉부유도 심전도 신호 및 원 흉부유도 심전도 신호 각각에서 판별기가 콘볼루션을 행하는, 판별기의 제4차 콘볼루션단계; 판별기의 제4차 콘볼루션단계에서 출력된 재구축된 흉부유도 심전도 신호 및 원 흉부유도 심전도 신호각각에서 판별기가 콘볼루션을 행하는, 판별기의 제5차 콘볼루션단계; 판별기의 제5차 콘볼루션단계에서 출력된 재구축된 흉부유도 심전도 신호와, 원 흉부유도 심전도 신호를 비교하여, 리얼(real) 신호(진짜 신호, 진성신호)인지 여부를 판단하는, 판별단계;를 포함하여 이루어진다.

본 발명에 기재된 흉부유도 심전도 재구축 방법을 모바일기기로 구현하기 위한 프로그램이 기록된, 모바일기기로 판독가능한 기록매체를 특징으로 한다.

본 발명에 기재된 흉부유도 심전도 재구축 방법을 컴퓨터 장치로 구현하기 위한 프로그램이 기록된, 컴퓨터 장치로 판독가능한 기록매체를 특징으로 한다.

본 발명은, 심전도의 사지 유도(Limb Lead) 측정신호에서 R피크 정렬(R-peak alignment)을 행하고, 오더드 타임 시컨스 임베딩(ordered time sequence embedding, 정렬된 시간순서 임베딩)을 통해 시간 도메인 신호인 사지 유도 측정신호를 2차원 공간(bi-dimensional space) 신호로 변환하여, 기 학습된 생성적 적대 신경망(GAN)에 입력하고, 생성적 적대 신경망(GAN)으로부터 심전도의 V 리드(흉부유도) 신호를 출력하게 함으로써, 다수개의 전극을 흉부에 부착하는 일 없이, 심전도의 사지유도신호로부터 생성적 적대 신경망(GAN)을 이용하여 흉부유도신호를 도출한다.

다시말해, 본 발명에서는 GAN을 통하여 사지유도(limb lead) 심전도 신호(예를들어 MLII 신호)로부터 흉부유도(V leads) 심전도 신호들을 생성한다. 특히, 본 발명은 R 피크 정렬(R-peak alignment), 오더드 타임 시컨스 임베딩(ordered time sequence embedding), 쌍을 이루는 데이터 세트(paired dataset)을 사용하는 것에 차별성을 가진다. 현재 사용되는 포터블 심전도 측정장치들은 사지유도(limb lead)로부터의 제한된 심전도 신호를 제공하므로 임상적으로 사용이 어렵다. 또한, 심전도를 이용한 응용(application) 장치 및 방법의 개발 시에, 일반적으로, R 피크 검출, S-T 세그먼트(segment) 분석 등의 방법들이 사용된다. 따라서 심전도의 응용을 위해서는 심전도 패턴의 재구축 정확도(reconstruction accuracy)가 중요하다. 따라서 본 발명의 R 피크 정렬 GAN(R-peak aligned GAN)은 포터블 심전도 유도 측정장치를 통해 측정된 소정의 사지유도 심전도 신호로부터 다른 리드(lead)의 심전도 신호를 재구축하고, 이렇게 재구축된 다른 리드의 심전도는 모바일 환경에서뿐만 아니라, 병원 임상 데이터로도 사용 가능하이다. 더 나아가 이러한 1대다의 재구측(one to multi lead reconstruction), 즉, 하나의 리드의 심전도 신호로부터, 다수의 다른 리드의 심전도 신호의 재구축을 통해, 포터블 심전도 측정장치의 발전을 가져오며, 또한, 멀티(multi) 전극 부착의 불편함, 데이터의 저장 공간 부족 등의 문제를 해결할 수 있다.

도 1은 본 발명의 심전도의 사지유도신호로부터 흉부유도신호를 도출하는 흉부유도 심전도 추출장치를 설명하기 위한 설명도이다.
도 2은 본 발명에서 사용된 R피크 정렬 GAN의 전반적인 구조를 나타낸다.
도 3은 도 2의 GAN의 생성기를 설명하기 위한 블럭도이다.
도 4는 도 2의 GAN의 판별기를 설명하기 위한 블럭도이다.
도 5은 본 발명의 평가를 위한 실험에서, 흉부유도(V leads) 심전도의 2차원 공간신호(bi-dimensional space)로의 변환한 결과이다.
도 6은 RATE, RNTE, RARE, RAOE 및 RATEC의 사지유도 심전도를 통해 복원된 흉부유도 심전도 신호와, 실제 측정된 흉부유도(V leads) 심전도의 비교 예를 나타낸다.
도 7은 각 증상의 클래스(diagnostic class) 별로 2 명의 데이터 케이스로부터 생성된 흉부유도 심전도의 결과이다.
도 8은 4 명의 데이터 케이스로부터 생성된 흉부유도 심전도의 결과이다.

이하 본 발명의 심전도의 사지유도신호로부터 생성적 적대 신경망을 이용한 흉부유도신호 도출의 방법 및 장치의 구성 및 동작을 첨부한 도면을 참조하여 상세히 설명한다.

도 1은 본 발명의 심전도의 사지유도신호로부터 흉부유도신호를 도출하는 흉부유도 심전도 추출장치를 설명하기 위한 설명도이다.

사지유도 심전도 측정장치(100)로부터 사지유도(Limb Lead) 심전도 신호를 측정하고, 측정된 사지유도 심전도 신호를 흉부유도 심전도 추출장치(200)에 입력하고, 흉부유도 심전도 추출장치(200)는 입력된 사지유도 심전도 신호 및 생성적 적대 신경망(GAN)을 이용하여 흉부유도신호를 추출한다.

여기서 사지유도 심전도 측정장치(100)는 사지유도 심전도 신호를 출력하는 수단으로, 포터블 심전도 측정장치, 또는 웨어러블 심전도 측정장치일 수 있다. 일반적으로, 포터블 심전도 측정장치, 또는 웨어러블 심전도 측정장치는 단극 사지유도 심전도 신호를 출력하도록 이루어지나, 표준 사지유도 신호를 출력하는 장치라도 상관 없다. 포터블 심전도 측정장치는 얼라이브코어(AliveCor), 스마트 워치 등 일 수 있다.

여기서 사지유도 심전도 신호는 양극 사지유도 I 신호, 양극 사지유도 II 신호, 양극 사지유도 III 신호, 단극 사지유도 aVR 신호, 단극 사지유도 aVL 신호, 단극 사지유도 aVF 신호, ML I, ML II, ML III일 수 있다. 바람직하게는 ML I, ML II, ML III 일 수 있다. 보다 바람직하게는 ML II 신호일 수 있다.

흉부유도 심전도 추출장치(200)의 연산처리부(미도시)는 사지유도 심전도신호에서 R피크 정렬(R-peak alignment)을 행하고, 오더드 타임 시컨스 임베딩(ordered time sequence embedding, 정렬된 시간순서 임베딩)을 통해 시간 도메인 신호인 사지유도 심전도신호를 2차원 공간(bi-dimensional space) 신호로 변환하여, 기 학습된 생성적 적대 신경망(GAN)에 입력하고, 생성적 적대 신경망(GAN)으로부터 심전도의 흉부유도(V 리드) 신호를 출력하게 하여, 흉부유도 심전도 추출장치(200)의 메모리부(미도시)에 저장하거나, 흉부유도 심전도 추출장치(200)의 디스플레이부(미도시)에 출력하거나, 또는 흉부유도 심전도 추출장치(200)의 송수신부(미도시)를 통해 외부 컴퓨터장치(미도시)로 전송할 수 있다.

여기서, 흉부유도 심전도 추출장치(200)는 연산처리부(미도시), 메모리부(미도시), 디스플레이부(미도시), 송수신부(미도시)를 포함할 수 있으며, 이는 스마트폰 등의 이동통신 단말기(모바일 기기) 또는, 컴퓨터 장치 일 수 있다.

본 발명에서 사지유도 심전도 측정장치(100) 및 흉부유도 심전도 추출장치(200)를 흉부유도 심전도 재구축 시스템이라 한다.

<R피크 정렬>

우선 R피크 정렬(R-peak alignment)에 대해 설명한다.

심전도는 주기성을 가지며 심장 박동 패턴에 따른 변화를 가진다. 따라서 심전도의 패턴 분석을 통한 패턴의 의미정보(semantic information)의 추출이 가능하다. 1sec 심전도 신호, 또는 1주기의 심전도 신호는 심박동의 주요 패턴인 P-Q-R-S-T 정보를 가지고 있다. QRS 시간구간의 폭(the width of QRS duration, QRS 시간간격), QT 간격(QT 시간 간격) 등은 심전도(ECG) 분석에 있어 중요한 지표이다. 심박수(heart rate)는 평균 70/min이며, ECG의 주요 특징 추출을 위해서는 매 주기에 연속적인 P-Q-R-S-T의 패턴이 검출되어야 한다. 따라서 사용된 리드(lead)들에서 검출된 심전도 신호에서, P-Q-R-S-T의 패턴의 중간에 위치하는 R파(R-wave)를 기준으로, R파의 전 500ms와, R파의 후 500ms를 이동 창(moving window)으로 하여, 즉, 잠정적으로 1 주기로 하여, 심전도 패턴을 동기화하여 분할(segmentation)하였다.

R피크(R-peak)는 판 톰킨스 알고리즘(Pan-Tompkins algorithm)을 기반으로 추출되었다. 판 톰킨스 알고리즘(Pan-Tompkins algorithm)은 밴드패스 필터(bandpass filter, 대역통과 필터)를 거친 심전도 신호의 미분 값을 자승한 후, 이동창 적분(moving window integration, 즉, 이동창 내를 적분)하여, QRS 진폭(QRS amplitude), RR 간격(RR interval)에 적응 문턱치(adaptive threshold)를 적용하는 방식이다. 즉, 심전도 신호를 밴드패스 필터를 거쳐 필터링하고 필터링된 심전도 신호를 미분하여 자승(제곱)하고, 소정 크기의 이동 창(moving window)을 씌우고, 이동 창내의 심전도 신호를 적분하며, 적분된 신호에서 소정 QRS 적응 문턱치를 넘는 값을 가진 시간의 심전도 신호를, R 피크(R-peak)점으로 하고, 그때의 진폭을 QRS 진폭으로 하며, 현재의 R 피크점과 연이은 전의 R 피크점 사이의 시간을 RR 간격으로 한다.

사지유도 심전도 신호에서, R피크(R-peak)를 기준으로 전후로 500ms의 시간 간격을 가지는 분절화된 1sec 심전도 신호, 즉, 잠정적인 1 주기의 심전도 신호를 여기서는 1 에포크의 심전도(one epoch ECG)라 정의한다.

R피크(R-peak)를 기준으로 분절(segmentatione)화된 심전도 신호를 수학식 1과 같이 나타낼수 있다.

여기서 E_i는 분절화된 1 에포크의 심전도(one epoch ECG)를 나타내며 총 250 심전도 샘플(sample)을 가진 1sec의 심전도 정보를 가지고 있다. x_p는 P번째 에포크의 심전도 내의 각 샘플(각 심전도 신호)를 나타내며, 즉, 사지유도 심전도 신호의 신호가 R-peak를 가질 때의 샘플을 나타낸다. N은 에포크(Epoch) 수를 나타내며 측정된 심전도 시간에 따라 N 수는 다르다. 따라서 E_i는 R 피크 정렬 분절(R-peak alignment segmentation)화된 심전도를 동기화를 통해 심전도의 의미정보(semantic information)를 유지한다. 즉, R 피크를 기준으로 분절된 심전도 신호들을, R 피크를 기준으로 정렬된 신호들로써, 모든 에포크의 심전도 들은 심전도 패턴의 의미정보(semantic information), 즉, P-Q-R-S-T를 가지고 있다.

본 발명에서, R피크(R-peak)를 기준으로 전후로 500ms의 시간 간격을 가지는 분절화된 1sec 심전도 신호인 에포크의 심전도 신호를 검출하는 과정(단계)을, R 피크 정렬 과정(단계)이라 한다.

<데이터 확장(data augmentation)>

GAN은 이미지에 최적화되어 있으므로 시간 도메인 신호(time domain signal)에의 적용이 어려우며, 시간 도메인(time domain) 신호인 심전도 신호를 GAN에 적용하기 위해서는 소정의 처리과정을 통한 데이터 확장(data augmentation)이 필요하다.

심전도 신호를 GAN에 적용하기 위해서는 두 가지 형태의 데이터 확장이 필요하다. 우선, 심전도 신호기 GAN의 입력으로 사용되기 위해, 시간 도메인 상의 심전도 신호를 2차원 공간(bi-dimensional space)의 신호로 변환하는 데이터 확장이 필요하다. 본 발명에서는 시간 도메인 상의 심전도 신호를 2차원 공간 상의 심전도 신호로 변환한다. 즉, 시간 도메인 상의 심전도 신호인, 250개의 샘플을 갖는 1 에포크 심전도 신호를, 256x256 size의 2차원 공간의 심전도 신호로 변환한다.

이때, 2차원 공간의 x축은, R 피크로 정렬된 에포크의 심전도(값의 크기)를 나타내며, 즉, 에포크 내의 각 샘플의 심전도신호의 값을 나타낸다. 2차원 공간의 y축은, 오더드 타임 시컨스 임베딩(ordered time sequence embedding)된 심전도 신호로 한 사람의 순차적인 심전도 흐름 정보를 가진다. 즉, 2차원 공간의 y축은 각 에포크의 시간적 순서(즉, 시간 적으로 나타내진 에포크의 순서)를 나타낸다. 따라서 x축과 y축에서 모두 시간에 따른 정보를 가진다. 여기서 PTB 데이터세트는 2분 이내의 짧은 신호로 구성되어, 한 명당 약 120 개의 에포크의 분절화된 심전도 신호를 가질 수 있다. 또한, 심전도는 시간 도메인 신호이므로 순차(sequential) 정보의 유지가 중요하다.

본 발명에서, 2차원 공간의 x축은, R 피크로 정렬된 에포크의 심전도를 나타내고, 2차원 공간의 y축은 각 에포크의 시간적 순서로 나타내도록 변환하는 것을, 오더드 타임 시컨스 임베딩(ordered time sequence embedding) 또는 오더드 타임 시컨스 임베딩 과정(단계)라한다. 또한, 본 발명에서, R 피크 정렬 과정(단계) 및 오더드 타임 시컨스 임베딩 과정(단계)를 합하여, 인공신경망 적용을 위한 신호전처리(단계)라 한다. 또한, 여기서, R 피크 정렬 과정(단계) 및 오더드 타임 시컨스 임베딩 과정(단계)를 거친 신호를 인공신경망 입력신호라 할 수 있다.

따라서 분절화된 심전도 신호의 오더드 타임 시컨스 임베딩(ordered time sequence embedding)을 통해 시간에 따른 정보를 유지하며 데이터 확장(data augmentation)을 진행한다.

오더드 타임 시컨스 임베딩(ordered time sequence embedding)은 시간 순서에 따라 1 에포크의 심전도를 선형 보간(linear interpolation)을 행하여 2차원 공간(bi-dimensional space)의 신호(즉, 이미지 형태의 신호)로 변환하는 방법이다. 120개의 에포크(epoch)로부터 256개의 에포크(epoch)로 확장함과 동시에 최대한의 시간 정보를 포함하기 위해서는 최소 단위인 보정 계수(interpolation coefficient)는 3으로 고정하여 한 에포크(epoch)를 3개씩 복사(copy)하여 선형보간(linear interpolation)한다. 이에 따라 120개의 에포크(epoch)를 가지는 경우, 360 에포크(epoch)로 에포크(epoch)수가 증가된다. 또한, 256x256 size의 bi-dimensional space로 변환하기 위해, 250 sample을 가진 에포크, 즉, E_i에서, 나머지 6개의 샘플을 0으로 하여서, 256 샘플을 갖도록 확장한다. 이를 수학식으로 나타내면, 수학식 2와 같다.

여기서, S는 한 명의 건강관리 데이터(healthy control data)에서 오더드 타임 시컨스 임베딩(ordered time sequence embedding)된 심전도를 나타내며. 3N×256 size의 데이터이다. N은 에포크(epoch) 수를 나타내며, 한 에포크를 3개 복사(copy)하여 선형보간하므로, 실제 연산에 사용되는 총 에포크 수는 3N×256 개이다. 따라서 보정 계수(interpolation coefficient)가 3인 경우, 256x256 size의 2차원 공가(bi-dimensional space) 변환을 하기 위해서는 최소 1분 26초의 데이터가 획득되어야 한다.

사용하는 PTB 데이터세트의 크기는 GAN 모델을 학습(training)하기에 샘플(sample) 수가 충분하지 않다. 따라서 샘플 수의 확장(argumentation)을 위해 보간(interpolation)된 에포크를 하나씩 이동(moving)시킨후 2차원 공간(bi-dimensional space) 변환하여 샘플로 하는, 이러한 샘플들을 추출하였다. 따라서 원 심전도 데이터(original ECG data)가 120의 에포크를 가지는 경우, 360 에포크로 보간(interpolation)되며, 에포크 이동(epoch moving)에 따라 105개의 샘플 추출이 가능하다. 이는 수학식 3과 같이 나타낼 수 있다.

여기서 N은 한 사람당 가지는 에포크 수이다.

이러한 과정으로, 학습시, 사지유도 신호(예로, MLII lead의 신호)와 흉부유도(V leads)의 신호를 2차원 공간(bi-dimensional space) 신호로 변환하되, 변환된 각각의 흉부유도 샘플(V leads sample)은 사지유도 샘플(예로, MLII lead sample)과 쌍으로 구성되며, 이를 GAN을 학습시키기 위한, 입력으로 사용된다.

< 데이터세트(Datasets)>

본 발명의 검증을 위한 실험에서, GAN을 학습시켰으며, GAN의 학습시키기 위해, 피지오넷(physionet)에서 제공하는 PTB(Physikalisch-Technische Bundesanstalt) 데이터세트 중 건강한 사람 52명 데이터를 사용하였다. PTB 데이터세트는 2분 미만의 심전도 데이터로 표준 사지유도(standard limb lead) 및 흉부 유도(chest lead)의 심전도(ECG)를 모두 포함하고 있다. 이 중 실험에 사용된 심전도 데이터의 심전도 리드(lead)는 MLII 리드와 V 리드이다. 원(original) 심전도 데이터는 샘플링 속도(sampling rate)가 1000Hz이며, 이를 250Hz로 다운 샘플링(down-sampling)하여 사용하였다. 총 데이터의 70%는 학습을 위한 데이터세트(training set), 20%는 검증을 위한 데이터 세트(validation set), 10%는 실험 테스트를 위한 데이터 세트(testing set)로 사용하였다.

<생성적 적대 신경망의 구조(GAN Architecture)>

본 발명의 GAN(Generative Adversarial Network, 생성적 적대 신경망)은 심전도 리드를 생성하며 잔차 네트워크(residual network)를 포함하는 생성기(generator)와, 생성된 심전도 리드의 진짜와 가짜를 구분해주는 판별기(discriminator)로 구성되며, 사지유도신호 데이터세트와 흉부유도 데이터세트가 쌍을 이루는, 한쌍의 데이터 세트(pair dataset)을 통해 학습된다. GAN은 실측 자료(ground truth)와 비슷한 신호를 생성하게 하는 재구축 손실(reconstruction loss)과, 진짜처럼 보이게 하는 적대적 손실(adversarial loss)를 통해, 학습된다. GAN은, 2017년, 아카이브 프리프린트(arXiv preprint)에서 Isola, Phillip 등에 의해 발표된 "Image-to-image translation with conditional adversarial networks"　등등에서, 널리 공지된 기술로, 상세한 설명은 생략한다. 본 발명에서 사용한 GAN의 구조(architecture)와 초매개 변수(hyper parameter)는 최적화를 위해 기존 연구들에서 제안한 방법을 기반으로 구성하였다.

특히, 생성기(generator)는 지속적으로 정보를 유지하기 위해 9-block 잔차 네트워크(residual network)를 사용하여 구성하였다. 잔차 네트워크(residual network)는 2개의 3X3 필터 사이즈(filter size)와 리플렉트 패딩(reflect padding)을 적용한 합성곱 계층들(convolution layers)을 가지고, 콘볼루션(convolution) 후 배치 정규화(batch normalization) 과정을 거친다. 또한, 첫번째 합성곱 계층(convolution layer)의 활성화 함수(activation function)으로 정규화 선형 유니트(rectifier linear unit, ReLU) 가 사용된다. 정규화 선형 유니트(ReLU)는 He, Kaiming 등이 2016년 IEEE의 computer vision and pattern recognition의 학술대회에서 발표한 "Deep residual learning for image recognition"에 공개되어 있는 등, 널리 공지된 기술로, 여기서 상세한 설명은 생략한다.

판별기(discriminator)는 패치(patch) GAN을 적용하여 R피크 정렬된 심전도 패턴에 따른 세부 정보를 복구한다.

수학식 4 내지 수학식 6은 GAN의 손실(loss)을 구하는 식이다.

실제 흉부유도 샘플(V leads sample)과, GAN을 통해 재생성된 흉부유도 샘플의 (차의) 절대 값의 에러(L₁(G))는 수학식 4와 같이 구하여 진다.

여기서, Rv는 흉부유도 샘플(V leads sample), 즉 GAN에 입력한 흉부유도 심전도 신호를 나타내며, Gv는 GAN을 통해 재생성된 흉부유도 샘플(심전도 신호)를 나타낸다.

기존의 GAN에서 손실을 구하는 방식에 따른, GAN 손실(GAN loss)(L_vGAN(G,D))은 수학식 5에 의해 구한다.

여기서 R_MLII는 MLII 리드의 심전도 샘플을 나타낸다.

본 발명에서 사용하는 손실(Loss), 다시말해, 실측값과 재구축(생성)된 값의 오차를 고련한 손실 (즉, 실제 측정된 흉부유도 샘플과 GAN을 통해 재생성된 흉부유도 샘플의 차에 기인한 오차(에러))은 수학식 6에 의해 구한다.

수학식 4의 실제 흉부유도 샘플(V leads sample)과 GAN을 통해 재생성된 흉부유도 샘플의 (차의) 절대 값의 에러와, 수학식 5의 GAN 손실(GAN loss)를 더하여 계산한다.

특히, 본 발명은, 수학식 4를 통해 데이터 페어(data pair, 쌍을 이룬 데이터)의 픽셀(pixel)1에 따른 재구축 손실(reconstruction loss)을 계산하여 오차 최소화(error minimization)를 진행하기 때문에 기존 GAN 모델에 비교하여 데이터 복구에 더 좋은 성능을 가진다.

본 발명에서, R 피크 정렬 과정(단계) 및 오더드 타임 시컨스 임베딩 과정(단계)를 포함한 GAN을, R피크 정렬 GAN으로 명명한다.

도 2은 본 발명에서 사용된 R피크 정렬 GAN의 전반적인 구조를 나타내고, 도 3은 도 2의 GAN의 생성기를 설명하기 위한 블럭도이고, 도 4는 도 2의 GAN의 판별기를 설명하기 위한 블럭도이다. 여기서, 도 3은 도 2의 GAN의 생성기를 확대한 도면이고, 도 4는 도 2의 GAN의 판별기를 확대한 도면이다.

도 2의 (a)는 R 피크 정렬 단계를 거친 심전도 신호를 설명한다. 도 2의 (a)에서 MLII는 R 피크 정렬 단계를 거친 사지유도 심전도 신호를 나타내고, V1 내지 V6은, R 피크 정렬 단계를 거친 흉부유도 심전도신호로서, V1 내지 V6 리드의 심전도 신호를 나타낸다.

여기서, 사지유도 심전도 신호와 흉부유도 심전도신호는 한 사람의 피검자에서 동시에 검출된 신호이다.

도 2에서 MLII는 MLII로 검출된 사지유도 심전도 신호를 나타내나, 이로써 본 발명을 한정하기 위한 것은 아니며, 사지유도 심전도 신호 중 어느 것이라도 상관 없다.

도 2의 (b)는 R 피크 정렬 단계후, 오더드 타임 시컨스 임베딩 단계를 거친 심전도신호를 나타낸다.

도 2의 (b)에서 MLII는, R 피크 정렬 단계 후, 오더드 타임 시컨스 임베딩 단계를 거친 사지유도 심전도 신호를 나타내고, V1 내지 V6은, R 피크 정렬 단계 후, 오더드 타임 시컨스 임베딩 단계를 거친 흉부유도 심전도 신호를 나타낸다. 즉, 도 2의 (b)는, R 피크 정렬 단계를 거친 사지유도 심전도 신호 및 흉부유도 심전도 신호를, 데이터확장을 통해 256x256 size의 2차원 공간(bi-dimensional space)의 사지유도 심전도 신호 및 흉부유도 심전도 신호로 변환한 것을 나타낸다. 다시말해, 사지유도 심전도 신호 및 흉부유도 심전도 신호은 256개 에포크를 가지며, 2차원 공간의 신호로 변환된 각 에포크의 심전도 신호는, x축은, 250Hz 샘플링되고 R 피크로 정렬된 각 에포크의 심전도 신호의 크기를 나타내며, y축은 각 에포크의 시간적 순서를 나타낸다.

GAN을 학습시킬경우, 사지유도 심전도 신호와 흉부유도 심전도 신호가 쌍으로 R피크 정렬 GAN에 입력되어 GAN(모델)을 학습(트레이닝)시킨다. 학습을 위해서, 생성기(generator)와 판별기(discriminator)가 구동되어진다. 또한, 사지유도 심전도 신호를 R피크 정렬 GAN에 입력하여 흉부유도 심전도 신호를 추출(생성)하기 위해서는, R피크 정렬 GAN에 사지유도 심전도 신호가 입력되고, R피크 정렬 GAN의 생성기(generator)로부터 흉부유도 심전도 신호가 출력된다.

도 2의 (c) 및 도 3은 GAN의 생성기(generator)의 구동을 설명한다.

제1차 콘볼루션(Convolution) 단계(S110)로, R 피크 정렬 단계 및 오더드 타임 시컨스 임베딩 단계를 거친 2차원 공간(즉, 이미지 형태)의 사지유도 심전도 신호(예로, MLII의 심전도 신호)가 GAN에 입력되면, 입력된 2차원 공간(즉, 이미지 형태)의 사지유도 심전도 신호에서 콘볼루션을 연산한다. 제1차 콘볼루션 단계는, 제1의 콘볼루션 층(layer)이라 할 수 있다.

일반적으로 콘볼루션(Convolution)의 과정은 커널(Kernel)이 이동하면서 이미지(Image) 성분과 내적 하는 과정이다. 즉, 콘볼루션(Convolution)은 기설정된 콘볼루션 커널을 이용하되, 이미지 패치를 입력 이미지(즉, 원본 이미지)로 부터 커널 사이즈 만큼 가져와서 이미지 패치와 콘볼루션 커널을 연산하되, 기설정된 스트라이드(stride) 만큼 오른쪽으로 이동하면서 연산한다.

제1차 맥스 풀링(Max pooling) 단계(S115)로, 제1차 콘볼루션 단계를 거친 2차원 공간의 사지유도 심전도 신호에서 맥스 풀링(Max pooling)을 연산한다. 제1차 맥스 풀링 단계는 제1의 맥스 풀링 층(layer)이라 할 수 있다.

일반적으로, 맥스 풀링(Max pooling, Maximum pooling)은 소정 크기의 필터(즉, window)에서 최대값을 갖는 픽셀을 선택하되, 기설정된 스트라이드(stride) 만큼 이동하면서 검출한다.

제2차 콘볼루션(Convolution) 단계(S120)로, 제1차 맥스 풀링 단계를 거친 사지유도 심전도 신호에서 콘볼루션을 연산한다. 제2차 콘볼루션 단계는, 제2의 콘볼루션 층(layer)이라 할 수 있다.

제2차 맥스 풀링(Max pooling) 단계(S125)로, 제2차 콘볼루션 단계를 거친 사지유도 심전도 신호에서 맥스 풀링(Max pooling)을 연산한다. 제2차 맥스 풀링 단계는 제2의 맥스 풀링 층(layer)이라 할 수 있다.

여기서, 제1차 콘볼루션 단계, 제1차 맥스 풀링 단계, 제2차 콘볼루션 단계, 제2차 맥스 풀링 단계를, 콘볼루션 및 맥스 풀링 연산단계라 할 수 있다.

제1 잔차블록(Res Block)단계(S130)로, 제2차 맥스 풀링단계를 거친 사지유도 심전도 신호가 제1 잔차블록(Res Block) 층에 입력되어 소정 활성화 함수가 적용되어 출력된다.

제2 잔차블록(Res Block)단계(S135)로, 제1 잔차블록 단계(제1 잔차블록 층)의 입력전 신호, 즉, 제2차 맥스 풀링단계를 거친 사지유도 심전도 신호와, 제1 잔차블록 단계(제1 잔차블록 층)의 출력 신호가 합산되어, 제2 잔차블록(Res Block) 층에 입력되어 소정 활성화 함수가 적용되어 출력된다.

제3 잔차블록(Res Block)단계(S140)로, 제2 잔차블록 단계(제2 잔차블록 층)의 입력전 신호 (즉, 제1 잔차블록 단계의 입력전 신호와, 제1 잔차블록 단계의 출력 신호가 합산된 신호)와, 제2 잔차블록 단계(제2 잔차블록 층)의 출력 신호가 합산되어, 제3 잔차블록(Res Block) 층에 입력되어 소정 활성화 함수가 적용되어 출력된다.

제4 잔차블록(Res Block)단계(S145)로, 제3 잔차블록 단계(제3 잔차블록 층)의 입력전 신호 (즉, 제2 잔차블록 단계의 입력전 신호와, 제2 잔차블록 단계의 출력 신호가 합산된 신호)와, 제3 잔차블록 단계(제3 잔차블록 층)의 출력 신호가 합산되어, 제4 잔차블록(Res Block) 층에 입력되어 소정 활성화 함수가 적용되어 출력된다.

제5 잔차블록(Res Block)단계(S150)로, 제4 잔차블록 단계(제4 잔차블록 층)의 입력전 신호 (즉, 제3 잔차블록 단계의 입력전 신호와, 제3 잔차블록 단계의 출력 신호가 합산된 신호)와, 제4 잔차블록 단계(제5 잔차블록 층)의 출력 신호가 합산되어, 제5 잔차블록(Res Block) 층에 입력되어 소정 활성화 함수가 적용되어 출력된다.

제6 잔차블록(Res Block)단계(S155)로, 제5 잔차블록 단계(제5 잔차블록 층)의 입력전 신호 (즉, 제4 잔차블록 단계의 입력전 신호와, 제4 잔차블록 단계의 출력 신호가 합산된 신호)와, 제5 잔차블록 단계(제5 잔차블록 층)의 출력 신호가 합산되어, 제6 잔차블록(Res Block) 층에 입력되어 소정 활성화 함수가 적용되어 출력된다.

제7 잔차블록(Res Block)단계(S160)로, 제6 잔차블록 단계(제6 잔차블록 층)의 입력전 신호 (즉, 제5 잔차블록 단계의 입력전 신호와, 제5 잔차블록 단계의 출력 신호가 합산된 신호)와, 제6 잔차블록 단계(제6 잔차블록 층)의 출력 신호가 합산되어, 제7 잔차블록(Res Block) 층에 입력되어 소정 활성화 함수가 적용되어 출력된다.

제8 잔차블록(Res Block)단계(S165)로, 제7 잔차블록 단계(제7 잔차블록 층)의 입력전 신호 (즉, 제6 잔차블록 단계의 입력전 신호와, 제6 잔차블록 단계의 출력 신호가 합산된 신호)와, 제7 잔차블록 단계(제7 잔차블록 층)의 출력 신호가 합산되어, 제8 잔차블록(Res Block) 층에 입력되어 소정 활성화 함수가 적용되어 출력된다.

제9 잔차블록(Res Block)단계(S170)로, 제8 잔차블록 단계(제8 잔차블록 층)의 입력전 신호 (즉, 제7 잔차블록 단계의 입력전 신호와, 제7 잔차블록 단계의 출력 신호가 합산된 신호)와, 제8 잔차블록 단계(제8 잔차블록 층)의 출력 신호가 합산되어, 제9 잔차블록(Res Block) 층에 입력되어 소정 활성화 함수가 적용되어 출력된다.

제9 잔차블록 전후신호 합산단계(S172)로, 제9 잔차블록 단계(제9 잔차블록 층)의 입력전 신호 (즉, 제8 잔차블록 단계의 입력전 신호와, 제8 잔차블록 단계의 출력 신호가 합산된 신호)와, 제9 잔차블록 단계(제9 잔차블록 층)의 출력 신호가 합산된다.

제1 잔차블록 단계 내지 제9 잔차블록 단계와 제9 잔차블록 전후신호 합산단계를, 잔차블록 연산단계라 할 수 있다.

제1 업 컨볼루션(Up Convolution)단계(S175)는 제9 잔차블록 전후신호 합산단계의 출력신호를 업 컨볼루션(Up Convolution)한다.

일반적으로 업 컨볼루션(Up Convolution)은, 전치 컨볼루션(transposed convolution), 디컨볼루션(deconvolution)이라고도 불리며, 원래 이미지 신호의 픽셀과 특징 맵의 값으로 커널(필터)를 적용하여, 커널이 나타내는 특징들을 추출한다.

제2 업 컨볼루션(Up Convolution)단계(S180)는 제1 업 컨볼루션 단계의 출력신호를 다시 업 컨볼루션(Up Convolution)을 행하고, 이렇게 업 컨볼루션되어진 신호가, 2차원 공간의 흉부 유도 심전도 신호이다. 여기서 출력된 2차원 공간의 흉부 유도 심전도 신호는, R 피크 정렬 단계 및 오더드 타임 시컨스 임베딩 단계를 거친 흉부 유도 심전도 신호를 말한다.

제1 업 컨볼루션 단계 및 제2 업 컨볼루션 단계를 업 컨볼루션 단계라 할 수 있다.

도 2의 (d) 및 도 4는 GAN의 판별기(discriminator)의 구동을 설명한다.

신호 입력단계(S205)로, GAN의 생성기(generator)에 입력된 사지유도 심전도 신호와, 상기 사지유도 심전도 신호를 입력한에 따라 GAN의 생성기(generator)에서 생성된 흉부유도 신호의 쌍이, 생성 심전도 신호로서 GAN의 판별기(discriminator)에 입력되며, 또한, 원래의 사지유도 심전도 신호와 원래의 흉부유도 심전도 신호(즉, 상기 사지유도 심전도 신호와 동시에 측정된 흉부유도 심전도 신호와, 상기 사지유도 심전도 신호)를 원 심전도 신호로써 GAN의 판별기(discriminator)에 입력된다.

제1차 콘볼루션(Convolution) 단계(S210)로, 신호 입력단계에서 입력된 신호들, 즉, 생성 심전도 신호 및 원 심전도 신호 각각에서 콘볼루션을 행한다.

제2차 콘볼루션(Convolution) 단계(S220)로, 제1차 콘볼루션단계에서 출력된 신호들 각각에서 콘볼루션을 행한다.

제3차 콘볼루션(Convolution) 단계(S230)로, 제2차 콘볼루션단계에서 출력된 신호들 각각에서 콘볼루션을 행한다.

제4차 콘볼루션(Convolution) 단계(S240)로, 제3차 콘볼루션단계에서 출력된 신호들 각각에서 콘볼루션을 행한다.

제5차 콘볼루션(Convolution) 단계(S250)로, 제4차 콘볼루션단계에서 출력된 신호들 각각에서 콘볼루션을 행한다.

판별단계(S260)로, 제5차 콘볼루션단계에서 출력된 생성 심전도 신호의 콘볼루션결과와, 원 심전도 신호의 콘볼루션결과를 비교하여, 생성 심전도 신호가, 원 신호와 같은 신호, 즉, 리얼(real) 신호(진짜 신호, 진성신호)인지, 아니면 원 신호와 다른 신호, 즉, 페이크(fake) 신호(가짜신호, 가성신호)인지를 판단한다.

여기서, R피크 정렬 GAN의 학습(training)을 위해 배치 사이즈(batch size)를 1로 설정하여 미니배치(minibatch) 확률적 기울기 강하(stochastic gradient descent, SGD)를 사용할 수 있으며, 학습율(learning rate)는 0.0002로 설정하여 적응 모멘트 예측(adaptive moment estimation, Adam)을 통해 초매개 변수(hyper parameter) 최적화를 진행할 수 있다.

<평가 (Evaluation)>

우선, 평가용 데이터세트(Evaluation Datasets)에 대해 설명한다.

본 발명은, 사지유도(MLII 리드) 신호에서, 흉부유도(V leads) 신호의 복구를 위해, R 피크 정렬단계, 오더드 타임 시컨스 임베딩단계, 사지유도 심전도 신호 및 흉부유도 심전도 신호의 쌍으로 이루어진 데이터세트를 사용하였다.

R 피크 정렬(R-peak alignment)은 심전도 패턴의 의미정보(semantic information)를 유지시켜주는 역할을 하며 이의 필요성을 확인하기 위하여 R 피크(R-peak)로 동기화(synchronized) 되지 않은 경우를 비교하였다. 또한, 심전도의 장시간(long time) 정보를 반영하기 위하여 사용한 오더드 타임 시컨스 임베딩(ordered time sequence embedding)에 대한 효능을 확인하기 위하여, 랜덤 임베딩(random embedding) 한 경우와 하나의 에포크(epoch)로 전체 임베딩(embedding)한 경우를 비교하였다. 또한, 쌍으로 이루어진 데이터세트(paired dataset) 사용의 우수성을 보기 위하여 쌍(pair)으로 이루어지지 않은 데이터 군집에 대한 생성(generation)을 하는 사이클 갠(cycleGAN) 모델에 적용한 결과와, 본 발명에 적용한 결과와 비교하였다.

본 발명에서 평가를 위해 사용된 방법은, 첫째로, R 피크 정렬단계 거치는 R 피크 정렬 타임 임베딩(R-peak alignment time embedding)(이하 RATE 라 함) 방법, 둘째로, R 피크 정렬단계를 거치지 않아서 R 피크가 정렬되지 않은 R 피크 비정렬 타임 임베딩(R-peak unalignment time embedding)(이하 RNTE 라 함) 방법, 셋째로, R 피크로 정렬되고 장시간(long time) 정보가 랜덤(random)하게 섞인 심전도 신호를 적용하는 방식으로, R피크 정렬 랜덤 타임 임베이딩(R-peak alignment randomly time embedding)(이하 RARE 라 함) 방법, 네째로, R 피크로 시간에 따라 정렬하고 하나의 에포크(epoch)로 전체 임베딩(embedding)한 경우의 심전도를 적용하는 방식으로, R피크 정렬 원 에포크 임베딩(R-peak alignment one epoch embedding)(이하 RAOE 라 함) 방법, 다섯째로, 사이클GAN(cycleGAN, Turning Fortnite into PUBG with Deep Learning)에 적용하기 위한 방법으로, 사이클GAN에 적용되는 R피크 정렬 타임 임베딩(R-peak alignment time embedding with cycleGAN)(이하 RATEC 라 함) 방법이 있다. 이와같이, 총 5가지 방법에 따라 복구된 흉부 리드(V leads) 심전도 신호 결과를 확인하였다.

다음은 본 발명의 평가에 적용한 주관 평가지표(Subjective Evaluation Metrics)에 대해서 설명한다.

본 발명의 평가에서는 심전도 복구 결과를 비교하기 위하여 주간 평가지표(subjective evaluation metrics, SEM)을 측정하였다. SEM은 GAN 모델을 평가할 때 사용되는 방법으로 육안과 유사한 성능을 보이며 영상(image)이 얼마나 비슷하게 생성되었는지 평가하기 위해 사용된다. 인셉션 점수(Inception score, 시작점수, 개시점수, IS)는 인셉션 망(inception net)에 생성된 이미지를 입력하여 출력된 값을 퀄리티(quality, 품질)과 다이버시티(diversity)를 기준으로 평가하는 방식이다. IS가 클수록 심전도 복구가 잘됨을 의미하고, 보통 2 근처의 값을 가진다. IS를 통하여 생성된 심전도 영상(이미지)에 대한 성능을 측정한다.

IS는 클래스(class)에 따라 오직 하나의 이미지만 생성되는 경우 잘못 전달(misrepresent)할 수 있어 오버피팅(overfitting)에 대한 위험을 가진다. 따라서 구조적 유사성 지수(structural similarity index, SSIM)를 통해 이미지 간 구조적으로 얼마나 유사한지 왜곡에 대한 유사도를 측정하였다. SSIM은 밝기(luminance), 대조(contrast), 구조(structure)의 곱으로 나타내며 1에 가까울수록 원본과 가깝고, 0에 가까울수록 다르다. 심전도는 의미정보 (semantic information)을 가지고 있으므로 구조(structure)의 유지가 중요하다. 따라서 SSIM 지수를 통해 생성된 심전도 영상에 대한 성능을 측정한다. 일반적으로, SSIM에서 밝기(luminance) 비교의 경우, 두 이미지의 평균밝기를 비교하며, 콘트라스트(contrast)의비교의 경우, 이미지의 표준편차값을 이미지의 콘트라스트(contrast)로 하며, 두 이미지의 표준편차값을 비교하고, 구조(structure)의 비교의 경우, 구조는 이미지에서 평균밝기를 빼주고, 표준편차로 나누어주어 구한다.

다음은 질적 평가 지표(Qualitative Evaluation Metrics)에 대해 설명한다.

질적 평가 지표(qualitative evaluation metrics, QEM)은 복구된 심전도 신호와 실제 심전도 신호(원 심전도 신호)의 에러 측정 결과를 나타내는 지표이다. ㅇ이미지로부터 추출된 실제 1차원 심전도 신호와 재구성된 1차원 심전도 신호의 연관성 정도를 파악하기 위하여 QEM를 사용하였다. 사용된 지표는 백분율 평균 제곱 차(percent mean square difference, PRD), 상관 계수(correlation coefficient, Corr), 진폭 차 계수(amplitude difference coefficient, Amp)이다. 여기서, PRD는 원 심전도(original ECG, 실제의 심전도)와 생성된 심전도(generated ECG)의 사이의 에러를 측정하는 역할을 하며 에러가 작을수록 신호의 복구가 잘 되었음을 의미한다. Corr은 원 심전도(실제의 심전도)와 생성된 심전도의 유사성를 측정하며, Amp는 두 신호의 진폭 차(amplitude differences)를 측정한다. 수학식 7 내지 수학식 9는 각각 PRD, Corr, Amp의 수식이며, N은 샘플 수, Rv은 실제(원래의) 흉부리드(V leads) 신호, Gv는 생성기(generator)에서 생성된 흉부리드(V leads) 신호를 의미한다.

도 5은 본 발명의 평가를 위한 실험에서, 흉부유도(V leads) 심전도의 2차원 공간신호(bi-dimensional space)로의 변환한 결과이다.

도 5의 (a)는 R 피크 정렬단계를 거친 흉부유도 심전도 신호를 2차원 공간신호로 변환한 결과이다. 즉, 도 5의 (a)는 RATE (R 피크 정렬 타임 임베딩)에 의한 방식을 적용한 심전도 신호를 2차원 공간신호로 변환한 결과이다.

도 5의 (b)는 R 피크가 정렬되지 않은 흉부유도 심전도 신호를 2차원 공간신호로 변환한 결과이다. 즉, 도 5의 (b)는 RNTE (R 피크 비정렬 타임 임베딩)에 의한 방식을 적용한 심전도 신호를 2차원 공간신호로 변환한 결과이다.

도 5의 (c)는 R 피크로 정렬되어 있되, 장시간(long time) 정보가 랜덤(random)하게 섞인 흉부유도 심전도 신호를 2차원 공간신호로 변환한 결과이다. 즉, 도 5의 (c)는 RARE (R피크 정렬 랜덤 타임 임베이딩)에 의한 방식을 적용한 심전도 신호를 2차원 공간신호로 변환한 결과이다.

도 5의 (d)는 R 피크로 시간에 따라 정렬하고 하나의 에포크(epoch)로 전체 임베딩(embedding)한 경우의 흉부유도 심전도 신호를 2차원 공간신호로 변환한 결과이다. 즉, 도 5의 (d)는 RAOE (R피크 정렬 원 에포크 임베딩)에 의한 방식을 적용한 심전도 신호를 2차원 공간신호로 변환한 결과이다.

도 5는, RATE, RNTE, RARE 및 RAOE의 흉부유도 심전도 신호를, R 피크 정렬단계와, 오더드 타임 시컨스 임베딩단계의 적용 여부에 따라, 다른 이미지가 생성된다. 변환된 심전도는 256x256 사이즈의 이미지이다. 각 이미지는 0-1사이의 값으로 가상 색상(pseudo coloring)화하여 표현하였다.

RATE, RNTE, RARE 및 RAOE의 흉부유도(V leads) 심전도는, 사지유도(MLII lead)로부터 생성된 흉부유도 심전도 신호와, 사지유도(MLII lead) 심전도와 쌍을 이루는 흉부유도 심전도 신호(즉, 원 흉부유도 심전도 신호, 다시말해, 상기 사지유도심전도 신호와 동시에 추출된 흉부유도 심전도 신호) 모두에 적용된다.

도 6은 RATE, RNTE, RARE, RAOE 및 RATEC의 사지유도 심전도를 통해 복원된 흉부유도 심전도 신호와, 실제(원) 흉부유도(V leads) 심전도의 비교 예를 나타낸다.

도 6의 (a)는 사지유도(MLII lead) 심전도와 쌍을 이루는 흉부유도 심전도 신호(즉, 상기 사지유도심전도 신호와 동시에 추출된 흉부유도 심전도 신호)를 나타낸다.

도 6의 (b)는 RATE의 사지유도 심전도를 GAN에 적용하여 얻은 흉부유도 심전도 신호를 나타낸다. 도 6의 (c)는 RNTE의 사지유도 심전도를 GAN에 적용하여 얻은 흉부유도 심전도 신호를 나타낸다. 도 6의 (d)는 RARE의 사지유도 심전도를 GAN에 적용하여 얻은 흉부유도 심전도 신호를 나타낸다. 도 6의 (e)는 RAOE의 사지유도 심전도를 GAN에 적용하여 얻은 흉부유도 심전도 신호를 나타낸다. 도 6의 (f)는 RATEC 방식에 관한 것으로, R 피크 정렬단계와, 오더드 타임 시컨스 임베딩단계를 거친 사지유도 심전도를 사이클GAN에 적용하여 얻은 흉부유도 심전도 신호를 나타낸다.

도 6은 2명의 정상인의 정상 데이터 케이스(normal data case), 즉, 2명의 정상인의 정상적인 데이터들에 따라 생성된 흉부유도 심전도(V leads ECG)의 결과로, 파란색은 실제 측정된 흉부유도 심전도 신호이고, 초록색은 복구된 흉부유도 심전도 신호를 나타낸다.

도 6의 재생성된 흉부유도 심전도들을 시각적 외관 검사(visual inspection)한 결과, 도 6의 (b)의 경우는, 즉, RATE의 사지유도 심전도 신호로부터 복원된 흉부유도 심전도 신호는, 실제 측정된 흉부유도 심전도 신호(도 6의 (a))와 큰 차이가 없게 복구되었다. 도 6의 (c)의 경우, 즉, RNTE의 사지유도 심전도 신호로부터 복원된 흉부유도 심전도 신호는, 실제 측정된 흉부유도 심전도 신호(도 6의 (a), 즉 원 신호)와 가장 유사하지 않은 신호를 생성해 냈으며, 도 6의 (c)의 V6 신호와 같이 R 피크가 사각 펄스형태, 각을 가지는 형상을 확인할 수 있었다.

RARE, RAOE, RATEC의 사지유도 심전도 신호는 P-Q-R-S-T 파형 중 진폭(amplitude)이 큰 패턴은 복구하지만, 원 신호, 즉, 실제 측정된 흉부유도 심전도 신호의 패턴은 완벽하게 복구하지 못했다. 특히, 도 6의 (d)와 (e)의 V6에서, 즉, RARE 및 RAOE의 사지유도 심전도 신호로부터 복구된 V6 흉부유도 심전도 신호에서, Q-파와 S-파의 피크 진폭(peak amplitude)이 바뀌어 출력되는 현상이 발생하였다. 또한, 도 6의 (e)의 V5, 즉, RAOE의 사지유도 심전도 신호로부터 복구된 V5 흉부유도 심전도 신호는 잘못된 신호가 생성되었으나, 도 6의 (f)의 V5, RATEC 방식으로 사지유도 심전도 신호로부터 복구된 V5 흉부유도 심전도 신호는 원신호(즉, 실제 측정된 흉부유도 심전도 신호)와 비슷하게 복구되었다. RATEC 방식으로 복원된 흉부유도 심전도 신호를 확인하면 잘 복구된 흉부유도(V leads) 심전도 신호처럼 보인다. 그러나 데이터 군집에 대한 학습을 하므로 일반적인 흉부유도(V leads) 심전도 신호를 생성한다. 따라서 실제 측정 흉부유도(V leads) 심전도 신호과 비교하면 잘못 복구되었음을 확인할 수 있다.

다음은 평가 실험의 결과로서 얻어진 주관 평가지표(Subjective Evaluation Metrics)에 대해 설명한다.

표 1은 평가 실험에서 생성된 심전도 이미지의 IS와 SSIM의 평균 결과이다.

표 1의 흉부유도(V leads) 심전도 신호의 각 리드, 즉, V1 리드 내지 V6 리드에서 가장 높은 IS(인셉션 점수)를 가지는 경우를 볼드(bold)체로 표시하였다. V1 리드를 제외한 모든 리드에서 RATE 방법 적용시가 평균적으로 가장 높은 IS와 표준편차를 가진다. V1 리드는 RNTE의 방법 적용시에서 가장 높은 IS를 가지며 RATE 방법 적용시보다 약 0.76 높다. 또한, RNTE의 방법 적용시는 V2, V3, V4, V5 리드에서 두번째로 높은 IS를 가진다. 반대로 RARE의 방법 적용시의 경우 모든 흉부 리드에서 가장 낮은 IS와 표준편차를 가진다.

표 1의 흉부유도(V leads) 심전도 신호의 각 리드, 즉, V1 리드 내지 V6 리드에서 SSIM(구조적 유사성 지수)가 가장 높은 값을 볼드(bold)체로 표시하였다. 최종적으로 계산된 SSIM은 RATE의 방법 적용시가 V6 리드를 제외한 모든 리드에서 가장 높은 값을 가진다. RATE의 방법 적용시의 모든 리드는 0.9 이상의 값을 가지고 있다. RAOE의 방법 적용시는 V6 리드가 RATE의 방법 적용시보다 0.3만큼 높은 값을 가지고 있으며 평균적으로 RATE의 방법 적용시를 제외한 다른 방법에 비해 가장 높다. 반대로 RNTE의 방법 적용시의 SSIM은 모든 리드에서 다른 방법과 비교하여 낮은 값을 가지며 특히, V6 리드에서 0.07로 가장 낮은 값을 가진다.

표 2는 평가 실험에서 생성된 심전도 이미지의 IS와 SSIM 값에 대한 통계 결과이다.

생성된 각각의 흉부유도(V lead) 심전도 신호에 대하여 각각의 RATE, RNTE, RARE, RAOE, RATEC 방식의 유의성을 확인하기 위하여 일원 분산 분석(one way ANOVA) 검정을 실행하여 표 2와 같은 결과를 얻었다. 각 방식을 통해 생성된 샘플로부터 계산된 IS와 SSIM 값들을 일원 분산 분석(one way ANOVA) 검정에의 입력으로 사용하였다. 또한, 각 그룹(group) 간의 n수가 같으므로 본페로니 사후 검정 테스트(Baonferroni post hoc test)를 통하여 RATE의 방식이, 다른 방식(RNTE, RARE, RAOE, RATEC)과 비교하여 유의한지 확인하였다.

IS와 SSIM 모두 일원 분산 분석(one way ANOVA test) 결과 유의함을 확인하였다(p<0.0001). 그러나 IS 지수에서 사후 검정 테스트(post hoc test) 결과 RATE의 방식은 RARE의 방식과는 유의한 차이는 가지지만(p<0.05), 리드(lead)에 따라 RNTE, RAOE, RATEC의 방식과는 유의한 차이를 가지지 않는 경우가 있다. 특히, RATEC 방식의 경우 가장 많은 리드 V2, V3, V4, V5의 경우에서 유의하지 않았다. 반대로 SSIM 지수에서는 사후 검정 테스트(post hoc test) 결과 RATE의 방식이 모든 다른 결과와 유의한 차이가 있다(p<0.05).

다음은 평가 실험의 결과로서 얻어진 질적 평가 지표(Qualitative Evaluation Metrics, QEM)에 대해 설명한다.

표 3은 R 피크 구조 정렬(R-peak structure alignment) 방법에 따라 생성된 심전도 신호의 QEM 결과이다.

PSD (percent mean square difference)는 실제 측정된 흉부유도 심전도신호와 생성된 흉부유도 심전도신호의 오차(에러)이므로 가장 작은 값을 볼드(bold)체로 표시하였으며, Corr (correlation coefficient)와 Amp (amplitude difference coefficient)는 1과 가까운 값을 볼드(bold)체로 표시하였다. 또한, Amp의 평균(Mean)은, 1과 Amp값 차의 절대값들의 평균이다. 즉, Amp의 평균(Mean)은, 1에서 Amp값을 뺀 값을 절대값을 취한 값들의 평균이다.

RATE의 방식 적용시는 PSD가 평균 7.2%로 가장 낮은 에러율을 가진다. 특히, RATE의 방식 적용시의 V1 리드가 4.32%로 가장 에러가 작으며 V6가 12.76%로 에러율이 가장 높다. RNTE의 방식 적용시는 평균 55.51%로 가장 높은 에러율을 가진다. 이는 반이상의 신호가 잘못 복구되는 것으로 추측할 수 있다. RATE의 방식 적용시는 V2 리드에서 40.82%로 가장 낮은 에러율, V5 리드에서 76.04로 가장 높은 에러율을 가진다. RATEC의 방식 적용시를 제외한 대부분의 경우에 V1과 V2의 에러율은 V5와 V6의 에러율보다 낮다.

Corr의 경우도, 역시, RATE의 방식 적용시의 대부분의 리드에서 1이 나왔으며, V6 리드에서만 0.99가 나왔다. 그러나 전처리 방법에 관계없이 모두 0.7이상의 높은 상관성을 가졌다. 특히, RNTE의 방법을 제외한 모든 방법에서 0.95 이상의 Corr 값을 가진다. Corr의 경우도 역시 V5와 V6의 경우가 V1과 V2의 경우보다 낮다.

Amp는 진폭(amplitude)의 크기 비를 계산한 값으로 RATE의 방식 적용시에서 평균 0.02의 차이를 가진다. RNTE의 방식 적용시에는 평균 0.21로 가장 Amp 차가 많이 난다. 특히, RNTE의 방식 적용시, V1에서는 신호 진폭(amplitude)이 70%로 줄어들며 V6에서는 1.5배 증폭되어 나옴을 알 수 있다. RNTE의 방식을 다른 방식들에과 비교하여, RNTE의 방식의 V1의 신호 진폭은 다른 방식들에의 신호 진폭에 약 70%이었으며, V6의 신호 진폭은, RATEC 방식이 제일 큰데, RNTE의 방식의 V6의 신호 진폭은, RATEC 방식의 V6의 신호 진폭에 비해, 약 1.5배 정도 된다.

Amp에 있어서, 모든 경우에서 V6 리드는 1이상의 값이 나왔고, 이를 통해 복구된 V6리드는 진폭이 증폭되어 나옴을 확인할 수 있다. 또한, 이러한 진폭 차로 인해 PSD가 가장 높음을 추측할 수 있다.

시각적 외관 검사(visual inspection) 결과와 같이 QEM을 통해 RATE 방법이 가장 우수한 성능을 내는 것을 확인할 수 있다.

표 4는 PSD와 Amp 값에 대한 통계 결과이다.

Corr는 전처리 방법에 관계없이 모두 높은 상관성을 가졌기 때문에 통계 평가를 진행하지 않았다. 생성된 각각의 흉부리드(V lead) 심전도에 대하여 각각의 RATE, RNTE, RARE, RAOE, RATEC 방식의 유의성을 확인하기 위하여 일원 분산 분석(one way ANOVA) 검정을 실행하였다. 각 방식을 통해 생성된 샘플로부터 계산된 PSD와 Amp 값들을 일원 분산 분석(one way ANOVA) 검정에 입력으로 사용하였다. 또한, 각 그룹 간의 n수가 같으므로 본페로니 사후 검정 테스트(Bonferroni　post hoc test)를 통하여 RATE가 다른 방식(RNTE, RARE, RAOE, RATEC)과 비교하여 유의한지 확인하였다.

PSD와 Amp 모두 일원 분산 분석(one way ANOVA test) 결과 유의함을 확인하였다(p<0.0001). PSD 지수는 사후 검정 테스트(post hoc test) 결과, RATE 방법이 모든 다른 방법의 결과와 유의한 차이가 있다(p<0.05). 그러나 Amp 지수에서 사후 검정 테스트(post hoc test) 결과 RATE 방법은 리드(lead)에 따라 유의한 차이를 가지지 않는 경우가 있다. 특히, RARE 방법의 경우 가장 많은 리드, 즉 V2, V3, V4, V5, V6 리드의 경우에서 유의하지 않았다. 이를 통해 Amp는 전처리가 잘못되어도 비슷한 정도로 합성(synthesis) 될 수 있다는 것을 확인할 수 있다.

심전도는 피검자의 상태에 따라 다양한 형태의 심전도를 가지며, 다양한 형태의 심전도, 특히 비정상적인 경우의 심전도들에 대해 본 발명의 흉부유도신호 도출의 방법이 유용한지 검증이 필요하다. 본 발명의 임상적 검증을 위해 PTB 데이터베이스의 진단 클래스(diagnostic class)에 따라 심근 경색(myocardial infraction), 각차단(bundle branch block, 다발 갈래 차단), 심근 병증의 데이터 세트를 사용하여 이상 사례(anomaly case)에 대하여 분석하였다.

도 7은 각 증상의 클래스(diagnostic class) 별로 2 명의 데이터 케이스(data case)로부터 생성된 흉부유도 심전도의 결과이다.

도 7의 (a1), (b1), (c1)은 1명의 피검자의 데이터이며, 도 7의 (a2), (b2), (c2)은 다른 1명의 피검자의 데이터이다.

도 7의 (a1) 및 (a2)는 심근 경색(myocardial infraction)의 경우, (b1) 및 (b2)는 각차단(bundle branch block), (c1) 및 (c2)는 심근 병증(cardiomyopathy)의 경우를 나타내며, 파란색은 실제 측정된 흉부유도 심전도이고, 초록색은 복구된 흉부유도 심전도를 나타낸다. 가장 우수한 성능을 가지는 RATE 전처리 과정을 통해 재생성된 신호를 시각 외관검사(visual inspection)를 한 결과, 각 진단 클레스(diagnostic class)에 따른 비정상 사례(anomaly cases)에서도 실제 흉부유도 심전도신호와 생성된 흉부유도 심전도 신호가 큰 차이가 없이 복구된다. 특히, (a2)와 같이 피크가 두 번 생기는 경우, (b1)의 V1과 같이 피크가 깨지는 경우, (c1)의 V5, V6와 (c2)의 V6와 같이 T 파형이 반전된 경우에도 흉부유도 심전도의 합성(구축)이 잘 되는 것을 확인할 수 있다.

본 발명의 흉부유도신호 도출의 방법을, 다양한 케이스에의 적용을 검증하기 위해 physionet에서 제공하는 다른 데이터베이스인, MIT-BIH 부정맥 데이터 세트(MIT-BIH Arrhythmia Dataset)를 사용하여, 본 발명의 알고리즘, 즉, 본 발명의 흉부유도신호 도출의 방법이 잘 작동하는지 확인하였다.

MIT-BIH 부정맥 데이터 베이스(MIT-BIH arrhythmia database)는 두 리드 정보를 제공한다. 따라서 database에서 제공하는 사지유도 심전도, 즉 MLII lead와 흉부유도 심전도, 즉 V1 lead를 통해, 임상적(clinical validation)을 진행하였다. MIT-BIH 데이터세트의 샘플링 속도(sampling rate)는 360Hz로 PTB 데이터세트와는 다르지만 보간법(interpolation)을 통한 업 샘플링(up-sampling) 후, 250Hz로 다운 샘플링(down-sampling)하여 사용하였다. MLII 리드와 V1 리드의 신호를 RATE 전처리 방식을 통하여 2차원 공간(bi-dimensional space) 신호로 변환 후, V1 리드를 합성하였다.

도 8은 4 명의 데이터 케이스로부터 생성된 흉부유도 심전도의 결과이다.

도 8의 (a)는 조기 심실 수축(premature ventricular contraction), 도 8의 (b)는 정상 심박과 심실의 융합(fusion of ventricular and normal beat), 도 8의 (c)는 좌각차단 심박(left bundle branch block beat), 도 8의 (d)는 심방 조기 박동(atrial premature beat)의 케이스이다. 파란색은 실제 측정된 신호이고, 초록색은 복구(생성)된 신호를 나타낸다. 재생성된 신호를 시각 외간 검사(visual inspection)한 결과, MIT-BIH 부정맥 데이터세트의 다양한 비정상 사례(anomaly case)에서도 실제 신호와 생성된 신호가 큰 차이가 없게 복구됨을 확인하였다. 또한, 도 8의 (d)의 경우를 통하여 원신호의 잡음 성분이 합성되면서 감소됨을 확인하였다.

상술한 바와 같이, 본 발명에서는 사지유도 심전도(예로 MLII lead)로부터 흉부유도(V leads) 심전도를 생성한다. 포터블 심전도 장치는 보통 사지(limb)유도로 측정되는데, 사지유도 심전도(limb ECG) 중 MLII 방식은 P 파가 가장 현저하게 나타나므로 심전도의 전형적인 파형을 보여주나, 3차원 구조인 심장의 움직임을 정확히 파악하기위한 충분한 심전도 정보가 제공되지 않으며, 이를 위해 흉부유도 신호가 필요하다. 그러나 흉부유도(V leads)는 리드 수가 많고, 흉부에 부착하여야 하므로 전극 부착이 어렵고, 측정이 불편하다. 따라서 건강관리 모니터링에만 사용되는 사지 유도 심전도의 제한점을 극복하기 위해서는 사지 유도 심전도(MLII lead)로부터 흉부유도 심전도 신호 복구는 중요하다.

본 발명의 R 피크 정렬 GAN은 기존 영상 이동(image translation)에서 우수한 성능을 내는 GAN을 시간 도메인(time domain) 영역에 적용한 방식이다. 심전도는 P-Q-R-S-T라는 일정한 패턴을 가지고 있다. 따라서 심전도의 정확한 패턴을 재구성하는 것은 중요하다. R 피크 정렬은 심전도의 R 파형을 기준으로 심전도를 동기화 시키는 과정으로 이를 통해 심전도가 가지는 의미정보(semantic information)을 유지한다. 정상인의 경우 심박수는 평균 70/min이므로, R피크를 기준으로 전, 후 500ms의 데이터로부터 1sec의 분절(segmentation)화하면 심전도의 물리적(physiology) 성분의 복구가 가능하다.

본 발명에서는 심박수(heart rate)가 60/min 이하인 경우에도 500ms 전, 후로 R 피크 정렬(R-peak alignment)을 시키며, 분절(segmentation)화된 에포크(epoch) 내에서 심전도가 가지는 전형적인 심전도 패턴의 복구가 가능하다. R 피크 정렬의 중요성은 R 피크로 정렬되지 않은 RNTE 방식의 결과를 통해 확인할 수 있다.

오더드 타임 시컨스 임베딩(ordered time sequence embedding)은 시간 도메인신호(time domain signal)의 시간 정보를 그대로 유지하며 2차원 공간(bi-dimensional space) 신호로 변환하는 역할을 한다. 심전도는 시간에 따른 흐름을 가지고 이전 사건에 대한 순차(sequential) 정보가 반영된다. 따라서 시간 순서에 따른 데이터 배열은 중요하다. 본 발명의 평가에서는 이를 확인하기 위해 RARE과 RAOE을 사용하였다. 두가지 방법 모두 R피크 정렬을 통해 심전도의 패턴은 유지하였다. RARE는 시간의 흐름이 섞여 있으며 RAOE는 시간의 흐름에 대한 정보가 반영되지 않는다. 시각적 외관 검사(visual inspection) 시, 두 경우 모두 심전도의 P-Q-R-S-T 패턴은 복구하지만 미세한 신호의 흐름까지는 복구하지 못하였다. 오더드 타임 시컨스(ordered time sequence)는 데이터 흐름에 따른 위상(phasic) 정보가 전달되기 때문에 GAN이 심전도의 장시간(long time) 정보를 학습할 수 있다. 이를 통해 오더드 타임 시컨스(ordered time sequence)를 사용하는 경우 미세한 신호의 흐름까지 복구가 가능하다.

본 발명에서는 사지유도(MLII lead) 심전도 신호와 흉부유도(V leads) 심전도를 동시에 추출하여, 즉, 쌍(pair)으로 생성하여, GAN을 학습하였다. 쌍을 형성한 데이터 세트(paired dataset)은 리드(lead) 간의 정확한 맵핑을 통해 개인차를 반영한 심전도를 생성한다. 심전도는 사람에 따라 다른 특성을 가지므로 개인 특성을 유지하는 것이 중요하다. 이를 확인하기 위하여 본 발명의 평가에서는 cycleGAN을 사용하였다. cycleGAN은 클러스터(cluster)를 통한 GAN을 학습하기 때문에 1:1 맵핑이 안된다. 시각적 외관 검사(visual inspection) 시, RATEC 방법은 그럴듯한 흉부유도(V leads) 심전도를 생성한다. 그러나 실제 측정 데이터(real data)와 비교하였을 때 RATEC 방법은, 쌍을 형성한 데이터 세트(pair dataset)을 사용한 경우보다, 에러가 크다. 표 1에 IS와 SSIM 지수를 봤을 때 RATEC는 복구한 신호는 일반화가 많이 되었기 때문에 생성된 신호의 다어버시티(diversity)가 낮아 낮은 값을 갖는다. 또한, 표 3를 통하여 RATEC 방법은 일반화 성능이 좋아 Corr 값은 높지만 실제 신호와 직접적인 관련이 있는 PSD와 Amp 값은 낮다. 따라서 cycleGAN을 사용하는 경우, 일반화에는 좋은 성능을 보이지만 개인차를 반영하는 데에는 어려움을 가진다. 또한, 이러한 결과를 통해 사지 유도(limb lead)는 사람의 특징을 가지는 성분을 가지고 있음을 알 수 있다. 따라서 리드 재구축(leads reconstruction) 시, 다른 리드와 쌍으로 제공되는 데이터세트를 이용하면 개인에 따른 특성을 유지할 수 있을 것이다.

본 발명에서는 R 피크 정렬(R-peak alignment), 오더드 타임 시컨스 임베딩(ordered time sequence embedding), 쌍으로 이루어진 데이터세트(paired dataset)을 사용하여 흉부유도 심전도 합성(재구성 또는 재구축)(V leads ECG synthesis)을 진행하였다.

표 5는 심전도 리드 합성(ECG lead synthesis)에 관련된 기존 연구들의 결과이다.

기존 연구는 임의의 3 리드로부터 표준 12리드(standard 12 lead)를 복구하거나 프랭크 벡터심전도법(Frank vectorcardiography)을 이용하여 합성(재구축, 재구성)하는 연구들이 많이 진행되었다. 또한, 기존에는 심전도의 재구축(ECG reconstruction)을 하기 위해 소정 이론(theory)에 근거한 벡터 계수(vector coefficient) 계산, PCA(주성분 분석법) 등이 사용되었다. 본 발명에서는 사지유도(limb lead) 심전도 신호로부터 흉부유도(V leads) 심전도 신호를 합성(재구축, 재구성)하기 위하여 R 피크 정렬 갠(R-peak aligned GAN)을 적용한 결과 약 93%의 정확도를 보였다. 반면, PTB 데이터세트를 사용한 기존 연구들에서는 약 73~94% 정확도를 보인다. 기존 연구 중 약 94%의 정확도를 보이는 경우는 V2 리드에서 나머지 흉부유도(V lead)의 계수(coefficient)를 계산하여 리드 합성(lead synthesis)을 하는 경우이다. 그러나 이러한 연구들은 n 수가 늘어날수록 정확도가 떨어지고 개별적인 계산이 필요하기 때문에 계산이 복잡하다. GAN은 비선형 변환(non-linear transformation)이 가능하고, 많은 샘플(sample)을 통하여 학습되므로 생성(generalization)이 가능하다. 따라서 본 발명의 학습된 R 피크 정렬 GAN(R-peak aligned GAN)은 심전도의 사지유도신호로부터 흉부유도신호 도출의 방법에의 적용은 타당(합당)하다.

본 발명의 평가에서, 포터블 심전도 장치(휴대용 심전도 장치)를 적용하여 간단히 측정한 사지유도 심전도 신호로부터 흉부유도 심전도 신호를 합성(재구축, 재구성)하여, 그 실행가능성(feasibility)을 확인되었다. 또한, 피지오넷(physionet)에서 제공하는 PTB 데이터베이스와 MIT-BIH 데이터베이스의 임상 데이터세트를 사용하여 다양한 케이스에의 적용을 진행하였다. 심장 질환 케이스에 따른 임상 검증(clinical validation) 결과, 심근 경색(myocardial infraction), 각차단(bundle branch block), 심근병증(cardiomyopathy) 등 다양한 심장 질환 및 서로 다른 데이터베이스에 대해서도 실제 측정한 신호(real signal)와 유사하게 리드 합성(lead synthesis)이 이루어짐이 확인되었다.

본 발명에서는 GAN을 통하여 사지유도(limb lead) 심전도 신호(예를들어 MLII 신호)로부터 흉부유도(V leads) 심전도 신호들을 생성한다. 특히, 본 발명은 R 피크 정렬(R-peak alignment), 오더드 타임 시컨스 임베딩(ordered time sequence embedding), 쌍을 이루는 데이터 세트(paired dataset)을 사용하는 것에 차별성을 가진다.

본 발명의 R 피크 정렬 GAN(R-peak aligned GAN)은 포터블 심전도 유도 측정장치를 통해 측정된 소정 사지유도 심전도 신호로부터 다른 리드(lead)의 심전도 신호를 재구축하고, 이렇게 재구축된 다른 리드의 심전도는 모바일 환경에서의 건강 모니터링을 위해서만 아니라, 병원 임상 데이터로도 사용 가능할 것이다.

본 발명은 이상에서 설명되고 도면에 예시된 것에 의해 한정되는 것은 아니며, 당업자라면 다음에 기재되는 청구범위 내에서 더 많은 변형 및 변용예가 가능한 것임은 물론이다.

100: 사지유도 심전도 측정장치
200: 흉부유도 심전도 추출장치

Claims

사지 유도로 심전도 신호를 측정하는, 사지 유도 측정장치;
사지 유도 측정장치로부터 수신된 사지 유도의 심전도 신호를, 기학습된 인공신경망에 적용하여, 상기 인공신경망으로 하여금, 흉부유도의 심전도신호를 출력하도록 이루어진 연산처리부를 포함하는, 흉부유도 심전도 추출장치;
를 포함하여 이루어진 것을 특징으로 하는, 흉부유도 심전도 재구축 시스템.
사지 유도로 심전도 신호를 측정하는, 사지 유도 측정장치;
기 학습된 인공신경망을 구비하되, 사지 유도 측정장치로부터 수신된 사지 유도의 심전도 신호를, 인공신경망 적용을 위한 신호전처리를 행하여 상기 인공신경망에 입력하면, 인공신경망은 흉부유도의 심전도신호를 출력하도록 이루어진 연산처리부를 포함하는, 흉부유도 심전도 추출장치;
를 포함하여 이루어진 것을 특징으로 하는, 흉부유도 심전도 재구축 시스템.
제1항 또는 제2항 중 어느 한 항에 있어서,
인공신경망은 GAN(생성적 적대 신경망, Generative adversarial network)이며,
인공신경망에 입력되는 인공신경망 입력신호는, R파를 기준으로 정렬되고 2차원 공간신호(bi-dimensional space)로 변환된 사지 유도의 심전도 신호인 것을 특징으로 하는, 흉부유도 심전도 재구축 시스템.
제3항에 있어서,
R파를 기준으로 정렬시에, 연산처리부는, 사지 유도의 심전도 신호에서, R파들을 검출하고, 각 R파를 기준으로 전후 500ms로 분할한 1sec 사지 유도의 심전도 신호인 에포크(Epoch)들을 생성하는 것을 특징으로 하는, 흉부유도 심전도 재구축 시스템.
제4항에 있어서,
R파를 기준으로 정렬된 사지 유도의 심전도 신호를 2차원 공간신호로 변환시, 시간 순서에 따라 각 에포크의 심전도에 선형보간(linear interpolation)을 적용하되, 2차원 공간의 x축은, 에포크 내의 각 심전도신호의 값을 나타내며, 2차원 공간의 y축은, 각 에포크의 시간적 순서를 나타내어, 오더드 타임 시컨스 임베딩(ordered time sequence embedding)된 심전도 신호를 생성하는 것을 특징으로 하는, 흉부유도 심전도 재구축 시스템.
제5항에 있어서,
인공신경망 입력신호는 256x256 사이즈의 2차원 공간 신호인 것을 특징으로 하는, 흉부유도 심전도 재구축 시스템.
제6항에 있어서,
2차원 공간신호로 변환시에, 에포크 수가 256개보다 적을 경우, 에포크 수가 256개가 되도록, 선형보간을 통해 데이터 확장을 행하는 것을 특징으로 하는, 흉부유도 심전도 재구축 시스템.
제7항에 있어서,
연산처리부는 사지 유도 측정장치로부터 수신된 사지유도 심전도 신호의 샘플링 속도가 250Hz보다 크거나 작을 경우, R파를 기준으로 정렬 전에, 업샘플링 또는 다운샘플링을 행하여 250Hz의 신호가 되도록하며,
R파를 기준으로 정렬 후에 1 에포크의 250개의 샘플에 '0'으로 된 6개의 샘플 추가하여, 1 에포크가 256개의 샘플을 가지도록 변환하는 것을 특징으로 하는, 흉부유도 심전도 재구축 시스템.
제7항에 있어서,
에포크 수가 256개가 되도록, 선형보간을 통해 데이터 확장시에,
보정 계수(interpolation coefficient)는 3으로 고정하여 한 에포크(epoch)를 3개씩 복사하여 선형보간(linear interpolation)을 하는 것을 특징으로 하는, 흉부유도 심전도 재구축 시스템.
제5항에 있어서,
GAN(생성적 적대 신경망)은,
인공신경망 입력신호인 사지 유도 심전도 신호로부터, 흉부유도 심전도 신호를 생성하며 잔차 네트워크(residual network)를 포함하는 생성기(generator)와,
생성된 흉부유도 심전도 신호를, 사지 유도 심전도 신호와 동시에 측정된 흉부유도 심전도 신호와 비교하여, 생성된 흉부유도 심전도 신호가 진짜인지 여부를 구분해주는 판별기(discriminator)를 포함하는 것을 특징으로 하는, 흉부유도 심전도 재구축 시스템.
제10항에 있어서,
생성기는
9-block 잔차 네트워크(residual network)를 사용하며,
잔차 네트워크(residual network)는 2개의 3X3 필터 사이즈(filter size)와 리플렉트 패딩(reflect padding)을 적용한 합성곱 계층들(convolution layers)을 가지고, 콘볼루션(convolution) 후 배치 정규화(batch normalization)행하도록 이루어진 것을 특징으로 하는, 흉부유도 심전도 재구축 시스템.
제12항에 있어서,
첫번째 합성곱 계층(convolution layer)의 활성화 함수(activation function)로 정규화 선형 유니트(rectifier linear unit, ReLU)를 사용하는 것을 특징으로 하는, 흉부유도 심전도 재구축 시스템.
제11항에 있어서,
동시에 측정된 사지 유도 심전도 신호와 흉부 유도 심전도 신호가, 인공신경망의 학습을 위해, R파를 기준으로 정렬되고 2차원 공간신호(bi-dimensional space)로 변환되어 인공신경망에 입력되되,
생성기는 상기 사지 유도 심전도 신호로부터 흉부 유도 심전도 신호를 생성하며,
판별기는 생성기에서 생성된 흉부 유도 심전도 신호를 패치(patch) GAN을 적용하여, R피크 정렬된 심전도 패턴에 따른 세부 정보를 복구하되,
인공신경망의 손실(loss)은, GAN 손실(GAN loss)에, 사지 유도 심전도 신호와 동시에 측정된 흉부유도 샘플과, GAN을 통해 생성된 흉부유도 샘플의 차의 절대 값의 오차(에러)를 더한 것인 것을 특징으로 하는, 흉부유도 심전도 재구축 시스템.
제13항에 있어서,
에포크(E_i)를

(단, P는 P번째 에포크를 나타내며, x_p는 P번째 에포크에서 R 피크 점(포인트)의 심전도 샘플을 나타내며, N은 에포크 수를 나타냄) 이라고 할때,
사지 유도 심전도 신호와 동시에 측정된 흉부유도 샘플과, GAN을 통해 생성된 흉부유도 샘플의 차의 절대 값의 오차(에러)는

(단, Rv는 측정된 흉부유도 샘플이고, Gv는 GAN을 통해 생성된 흉부유도 샘플임)
에 의해 구하는 것을 특징으로 하는, 흉부유도 심전도 재구축 시스템.
제14항에 있어서,
GAN 손실(GAN loss)(L_vGAN(G,D))은

(단, R_MLII는 측정된 사지유도 심전도 신호의 샘플을 나타냄)
에 의해 구하여지며,
인공신경망의 손실(loss)은

에 의해 구하여지는 것을 특징으로 하는, 흉부유도 심전도 재구축 시스템.
제1항 또는 제2항 중 어느 한항에 있어서,
사지유도 심전도 신호는 ML II 리드에 의해 검출된 심전도 신호인 것을 특징으로 하는 흉부유도 심전도 재구축 시스템.
사지 유도 측정장치로부터 수신된 사지 유도 심전도 신호로부터, 흉부유도의 심전도신호를 재구축하는 연산처리부를 구비하는 흉부유도 심전도 추출장치에서의 흉부유도 심전도 재구축방법에 있어서,
연산처리부는, 사지 유도 측정장치로부터 수신된 사지 유도의 심전도 신호를, 인공신경망 적용을 위한 신호전처리를 행하여, 인공신경망 입력신호를 생성하는, 신호전처리단계;
연산처리부는, 신호전처리단계에서 생성된 인공신경망 입력신호를, 기 학습된 인공신경망에 입력하고, 인공신경망으로부터 흉부유도의 심전도신호를 출력하는, 흉부유도 심전도 재구축 단계;
를 포함하는 것을 특징으로 하는, 흉부유도 심전도 재구축 방법.
제17항에 있어서,
인공신경망은 GAN(생성적 적대 신경망, Generative adversarial network)이며,
인공신경망 입력신호는, R파를 기준으로 정렬되고 2차원 공간신호(bi-dimensional space)로 변환된 사지 유도의 심전도 신호인 것을 특징으로 하는, 흉부유도 심전도 재구축 방법.
제18항에 있어서,
신호전처리단계는,
연산처리부가, 사지 유도의 심전도 신호에서, R파들을 검출하고, 각 R파를 기준으로 전후 500ms로 분할한 1sec 사지 유도의 심전도 신호인 에포크(Epoch)들을 생성하는, R 피크 정렬 단계;
R 피크 정렬 단계 후, 시간 순서에 따라 각 에포크의 심전도에 선형보간(linear interpolation)을 적용하여 2차원 공간신호를 생성하되, 2차원 공간의 x축은, 에포크 내의 각 심전도신호의 값을 나타내며, 2차원 공간의 y축은, 각 에포크의 시간적 순서를 나타내어, 오더드 타임 시컨스 임베딩(ordered time sequence embedding)된 심전도 신호를 생성하는, 오더드 타임 시컨스 임베딩 단계;
를 포함하는 것을 특징으로 하는, 흉부유도 심전도 재구축 방법.
제19항에 있어서,
인공신경망 입력신호는 256x256 사이즈의 2차원 공간 신호인 것을 특징으로 하는, 흉부유도 심전도 재구축 방법.
제20항에 있어서,
오더드 타임 시컨스 임베딩 단계에서, 연산처리부는, 에포크 수가 256개보다 적을 경우, 에포크 수가 256개가 되도록, 선형보간을 통해 데이터 확장을 행하는 것을 특징으로 하는, 흉부유도 심전도 재구축 방법.
제21항에 있어서,
연산처리부는 사지 유도 측정장치로부터 수신된 사지유도 심전도 신호의 샘플링 속도가 250Hz보다 크거나 또는 작을 경우, R 피크 정렬 단계 전에, 업샘플링 또는 다운샘플링을 행하여, 250Hz의 신호가 되도록하며,
R 피크 정렬 단계 후에, 1 에포크의 250개의 샘플에 '0'으로 된 6개의 샘플 추가하여, 1 에포크가 256개의 샘플을 가지도록 변환하는 것을 특징으로 하는, 흉부유도 심전도 재구축 시스템.
제22항에 있어서,
오더드 타임 시컨스 임베딩 단계에서, 에포크 수가 256개보다 적을 경우, 연산처리부는, 에포크 수가 256개가 되도록, 선형보간을 통해 데이터 확장하되, 보정 계수(interpolation coefficient)는 3으로 고정하여, 한 에포크(epoch)를 3개씩 복사하여 선형보간(linear interpolation)을 하는 것을 특징으로 하는, 흉부유도 심전도 재구축 방법.
제19항에 있어서,
GAN(생성적 적대 신경망)은,
인공신경망 입력신호인 사지 유도 심전도 신호로부터, 흉부유도 심전도 신호를 생성하며 잔차 네트워크(residual network)를 포함하는 생성기(generator)와,
생성된 흉부유도 심전도 신호를, 사지 유도 심전도 신호와 동시에 측정된 흉부유도 심전도 신호와 비교하여, 생성된 흉부유도 심전도 신호가 진짜인지 여부를 구분해주는 판별기(discriminator)를 포함하는 것을 특징으로 하는, 흉부유도 심전도 재구축 방법.
제24항에 있어서,
생성기는 9-block 잔차 네트워크(residual network)를 사용하며,
잔차 네트워크(residual network)는 2개의 3X3 필터 사이즈(filter size)와 리플렉트 패딩(reflect padding)을 적용한 합성곱 계층들(convolution layers)을 가지고, 콘볼루션(convolution) 후 배치 정규화(batch normalization)행하도록 이루어지며,
첫번째 합성곱 계층(convolution layer)의 활성화 함수(activation function)로 정규화 선형 유니트(rectifier linear unit, ReLU)를 사용하는 것을 특징으로 하는, 흉부유도 심전도 재구축 방법.
제24항에 있어서,
생성기의 구동방법은,
R 피크 정렬 단계 및 오더드 타임 시컨스 임베딩 단계를 거쳐 생성된 2차원 공간(이미지)의 사지유도 심전도 신호인, 인공신경망 입력신호가, GAN에 입력되면, 생성기는 인공신경망 입력신호인 사지유도 심전도 신호에서, 콘볼루션을 연산하는, 제1차 콘볼루션(Convolution) 단계;
제1차 콘볼루션 단계에서 출력된 사지유도 심전도 신호에서 맥스 풀링(Max pooling)을 생성기가 연산하는, 제1차 맥스 풀링 단계;
제1차 맥스 풀링 단계에서 출력된 사지유도 심전도 신호에서 콘볼루션을 생성기가 연산하는, 제2차 콘볼루션 단계;
제2차 콘볼루션 단계에서 출력된 사지유도 심전도 신호에서 맥스 풀링을 생성기가 연산하는, 제2차 맥스 풀링 단계;
생성기는, 제2차 맥스 풀링단계에서 출력된 사지유도 심전도 신호에 소정 활성화 함수를 적용시켜 출력하는, 제1 잔차블록단계;
생성기는, 제1 잔차블록 단계의 입력전 신호인, 제2차 맥스 풀링단계에서 출력된 사지유도 심전도 신호와, 제1 잔차블록 단계에서 출력된 사지유도 심전도 신호를 합산한 후에, 소정 활성화 함수를 적용시켜 출력하는, 제2 잔차블록 단계;
생성기는, 제2 잔차블록 단계의 입력전 신호인, 제1 잔차블록 단계의 입력전 신호와 제1 잔차블록 단계의 출력 신호가 합산된 신호와, 제2 잔차블록 단계의 출력 신호가 합산된 후에, 소정 활성화 함수를 적용시켜 출력하는, 제3 잔차블록 단계;
생성기는, 제3 잔차블록 단계의 입력전 신호인, 제2 잔차블록 단계의 입력전 신호와 제2 잔차블록 단계의 출력 신호가 합산된 신호와, 제3 잔차블록 단계의 출력 신호가 합산된 후에, 소정 활성화 함수를 적용시켜 출력하는, 제4 잔차블록 단계;
생성기는, 제4 잔차블록 단계의 입력전 신호인, 제3 잔차블록 단계의 입력전 신호와 제3 잔차블록 단계의 출력 신호가 합산된 신호와, 제4 잔차블록 단계의 출력 신호가 합산된 후에, 소정 활성화 함수를 적용시켜 출력하는, 제5 잔차블록 단계;
생성기는, 제5 잔차블록 단계의 입력전 신호인, 제4 잔차블록 단계의 입력전 신호와 제4 잔차블록 단계의 출력 신호가 합산된 신호와, 제5 잔차블록 단계의 출력 신호가 합산된 후에, 소정 활성화 함수를 적용시켜 출력하는, 제6 잔차블록 단계;
생성기는, 제6 잔차블록 단계의 입력전 신호인, 제5 잔차블록 단계의 입력전 신호와 제5 잔차블록 단계의 출력 신호가 합산된 신호와, 제6 잔차블록 단계의 출력 신호가 합산된 후에, 소정 활성화 함수를 적용시켜 출력하는, 제7 잔차블록 단계;
생성기는, 제7 잔차블록 단계의 입력전 신호인, 제6 잔차블록 단계의 입력전 신호와 제6 잔차블록 단계의 출력 신호가 합산된 신호와, 제7 잔차블록 단계의 출력 신호가 합산된 후에, 소정 활성화 함수를 적용시켜 출력하는, 제8 잔차블록 단계;
생성기는, 제8 잔차블록 단계의 입력전 신호인, 제7 잔차블록 단계의 입력전 신호와 제7 잔차블록 단계의 출력 신호가 합산된 신호와, 제8 잔차블록 단계의 출력 신호가 합산된 후에, 소정 활성화 함수를 적용시켜 출력하는, 제9 잔차블록 단계;
생성기는, 제9 잔차블록 단계의 입력전 신호인, 제8 잔차블록 단계의 입력전 신호와 제8 잔차블록 단계의 출력 신호가 합산된 신호와, 제9 잔차블록 단계의 출력 신호를 합산하는, 제9 잔차블록 전후신호 합산단계;
제9 잔차블록 전후신호 합산단계의 출력신호를, 생성기가 업 컨볼루션(Up Convolution)하는, 제1 업 컨볼루션단계;
제1 업 컨볼루션 단계의 출력신호를, 생성기가 업 컨볼루션을 행하여 얻은 신호를, 2차원 공간의 흉부 유도 심전도 신호로 하는, 제2 업 컨볼루션단계;
를 포함하여 이루어진 것을 특징으로 하는, 흉부유도 심전도 재구축 방법.
제26항에 있어서,
판별기의 구동방법은,
동시에 측정된 사지 유도 심전도 신호와 흉부 유도 심전도 신호가, 인공신경망의 학습을 위해, R파를 기준으로 정렬되고 2차원 공간신호로 변환되어 인공신경망에 입력하되, 사지 유도 심전도 신호와 동시에 측정된 흉부 유도 심전도 신호를 '원 흉부 유도 심전도 신호'로 하며,
R파를 기준으로 정렬되고 2차원 공간신호로 변환된 사지 유도 심전도 신호가 GAN에 입력되어, GAN이 출력한 흉부유도 심전도 신호를 '재구축된 흉부유도 심전도 신호'로 하는, 신호 입력단계;
신호 입력단계에서 출력된 재구축된 흉부유도 심전도 신호 및 원 흉부유도 심전도 신호 각각에서 콘볼루션을 행하는, 판별기의 제1차 콘볼루션 단계;
판별기의 제1차 콘볼루션단계에서 출력된 재구축된 흉부유도 심전도 신호 및 원 흉부유도 심전도 신호 각각에서 판별기가 콘볼루션을 행하는, 판별기의 제2차 콘볼루션단계;
판별기의 제2차 콘볼루션단계에서 출력된 재구축된 흉부유도 심전도 신호 및 원 흉부유도 심전도 신호 각각에서 판별기가 콘볼루션을 행하는, 판별기의 제3차 콘볼루션단계;
판별기의 제3차 콘볼루션단계에서 출력된 재구축된 흉부유도 심전도 신호 및 원 흉부유도 심전도 신호 각각에서 판별기가 콘볼루션을 행하는, 판별기의 제4차 콘볼루션단계;
판별기의 제4차 콘볼루션단계에서 출력된 재구축된 흉부유도 심전도 신호 및 원 흉부유도 심전도 신호각각에서 판별기가 콘볼루션을 행하는, 판별기의 제5차 콘볼루션단계;
판별기의 제5차 콘볼루션단계에서 출력된 재구축된 흉부유도 심전도 신호와, 원 흉부유도 심전도 신호를 비교하여, 리얼(real) 신호(진짜 신호, 진성신호)인지 여부를 판단하는, 판별단계;
를 포함하여 이루어진 것을 특징으로 하는, 흉부유도 심전도 재구축 방법.
제18항 내지 제27항 중 어느 한 항에 기재된 흉부유도 심전도 재구축 방법을 모바일기기로 구현하기 위한 프로그램이 기록된, 모바일기기로 판독가능한 기록매체.
제18항 내지 제27항 중 어느 한 항에 기재된 흉부유도 심전도 재구축 방법을 컴퓨터 장치로 구현하기 위한 프로그램이 기록된, 컴퓨터 장치로 판독가능한 기록매체.