KR20230147467A - 심방세동 재발을 예측하는 장치 및 예측 방법 - Google Patents
심방세동 재발을 예측하는 장치 및 예측 방법 Download PDFInfo
- Publication number
- KR20230147467A KR20230147467A KR1020220046544A KR20220046544A KR20230147467A KR 20230147467 A KR20230147467 A KR 20230147467A KR 1020220046544 A KR1020220046544 A KR 1020220046544A KR 20220046544 A KR20220046544 A KR 20220046544A KR 20230147467 A KR20230147467 A KR 20230147467A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- patient
- atrial fibrillation
- target data
- atrium
- Prior art date
Links
- 206010003658 Atrial Fibrillation Diseases 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 49
- 210000002837 heart atrium Anatomy 0.000 claims abstract description 101
- 238000007781 pre-processing Methods 0.000 claims abstract description 39
- 230000015654 memory Effects 0.000 claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 23
- 230000001746 atrial effect Effects 0.000 claims description 22
- 238000013507 mapping Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 16
- 238000009499 grossing Methods 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 12
- 238000002591 computed tomography Methods 0.000 claims description 12
- 238000013506 data mapping Methods 0.000 claims description 11
- 206010016654 Fibrosis Diseases 0.000 claims description 10
- 230000004761 fibrosis Effects 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 4
- 238000005266 casting Methods 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000001419 dependent effect Effects 0.000 description 5
- 230000007774 longterm Effects 0.000 description 4
- 238000013153 catheter ablation Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 206010003119 arrhythmia Diseases 0.000 description 2
- 230000006793 arrhythmia Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 206010042434 Sudden death Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002565 electrocardiography Methods 0.000 description 1
- 238000002001 electrophysiology Methods 0.000 description 1
- 230000007831 electrophysiology Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 210000005246 left atrium Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/503—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- High Energy & Nuclear Physics (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Cardiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physiology (AREA)
- Pulmonology (AREA)
- Quality & Reliability (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
본 발명의 일 실시 예에 따른 프로세서 및 메모리를 포함하는 장치를 통해 심방세동 재발을 예측하는 방법은 (a) 환자 심방에 대한 기하 위상학적 데이터, 해부학적 데이터 및 전기 생리학적 데이터 중 어느 하나 이상을 포함하는 대상 데이터를 생성하는 단계, (b) 상기 생성한 대상 데이터에 대한 전처리를 수행하는 단계 및 (c) 상기 전처리를 수행한 대상 데이터를 예측 모델에 입력하여 상기 환자에 대한 심방세동 재발 예측값을 산출하여 출력하고 이를 학습하는 단계를 포함하며, 상기 대상 데이터는, 복수 개의 정점(Vertext)과 에지(Edge)로 정의되며, 상기 정점과 에지로 이루어지는 면의 최소 단위인 삼각형 면을 복수 개 포함하는 3차원 폴리곤 메쉬(Polygon Mesh)를 기본 구조로 하는 데이터이다.
Description
본 발명은 심방세동 재발을 예측하는 장치 및 예측 방법에 관한 것이다. 보다 자세하게는 3차원 맵핑 데이터를 인공지능 모델에 입력함으로써 심방세동의 재발을 예측할 수 있는 장치 및 방법에 관한 것이다.
부정맥(Arrhythmia)이란 심장에서 전기 자극이 잘 만들어지지 못하거나 자극의 전달이 제대로 이루어지지 않음으로 인해 규칙적인 수축이 계속되지 못하여 심장 박동이 비정상적으로 빨라지거나 늦어지거나 혹은 불규칙해지는 증상을 의미하며, 심방세동(Atrial Fibrillation)이 주된 원인으로서 심한 경우 급사나 뇌졸중까지 초래할 수 있다.
한편, 심방세동은 40 내지 80%가 무증상으로 발생하는 특성으로 인해 진단 시기가 비교적 늦다는 문제점이 존재하는바, 종래에는 심전도 검사를 통해 심장의 전기적 활동을 모니터링하여 진단을 수행해 왔으나, 심전도 상에서 전기적 활동 변화가 나타남은 만성화 되어가는 심방세동으로 발전할 가능성이 높다는 징표이기에 심방세동을 조기에 진단함으로써 만성적인 심방세동으로, 더 나아가 부정맥으로 확대되지 않도록 적합한 치료 방법을 제공해야 할 필요성이 있다.
이에 대하여 최근 개발된 일부 기술들은 정상 리듬 심전도로부터 심방세동의 발생 가능성을 예측하고 있기는 하나, 매우 많은 양의 정보를 필요로 하며, 전기적 활동을 기록했다는 특성상 노이즈에 매우 취약하다는 문제점이 있는바, 이는 오진단의 결과를 야기할 수 있다.
본 발명은 이러한 종래 기술의 문제점들을 반영하여 최소한의 정보만으로 심방세동 재발을 정확하고 신속하게 예측할 수 있는 새롭고 획기적인 기술에 관한 것이다.
본 발명이 해결하고자 하는 기술적 과제는 최소한의 정보만으로 심방세동 재발을 높은 정확도로 신속하게 예측할 수 있는 심방세동 재발을 예측하는 장치 및 예측 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는 심방세동 환자에 있어서 재발을 예측하기 위해 기존에 진행하지 않았던 침습적 검사를 통한 새로운 정보를 획득할 필요 없이, 환자가 종래 보유하고 있던 정보를 활용하여 예측할 수 있는 심방세동 재발을 예측하는 장치 및 예측 방법을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시 예에 따른 프로세서 및 메모리를 포함하는 장치를 통해 심방세동 재발을 예측하는 방법은 (a) 환자 심방에 대한 기하 위상학적 데이터, 해부학적 데이터 및 전기 생리학적 데이터 중 어느 하나 이상을 포함하는 대상 데이터를 생성하는 단계, (b) 상기 생성한 대상 데이터에 대한 전처리를 수행하는 단계 및 (c) 상기 전처리를 수행한 대상 데이터를 예측 모델에 입력하여 상기 환자에 대한 심방세동 재발 예측값을 산출하여 출력하고 이를 학습하는 단계를 포함하며, 상기 대상 데이터는, 복수 개의 정점(Vertext)과 에지(Edge)로 정의되며, 상기 정점과 에지로 이루어지는 면의 최소 단위인 삼각형 면을 복수 개 포함하는 3차원 폴리곤 메쉬(Polygon Mesh)를 기본 구조로 하는 데이터이다.
일 실시 예에 따르면, 상기 환자 심방에 대한 기하 위상학적 데이터는, 환자 심장에 대한 컴퓨터 단층 촬영(CT, Computer Tomography) 영상에서 심장의 인접 구조물을 제외하고 심방의 형상만을 세분화하여 추출한 상태에서 마칭 큐브 알고리즘(Marching Cubes Algorithm)을 적용하여 3차원 폴리곤 메쉬로 생성한 데이터일 수 있다.
일 실시 예에 따르면, 상기 환자 심방에 대한 해부학적 데이터는, 상기 환자 심방에 대한 기하 위상학적 데이터인 3차원 폴리곤 메쉬로 나타낸 환자 심방이 포함하는 모든 지점에서의 심방벽 두께 정보를 맵핑(Mapping)한 데이터일 수 있다.
일 실시 예에 따르면, 상기 환자 심방에 대한 전기 생리학적 데이터는, 상기 환자 심방에 대한 기하 위상학적 데이터인 3차원 폴리곤 메쉬로 나타낸 환자 심방이 포함하는 모든 지점(Point)에서의 국소 활성화 시간(Local Activation Time) 정보를 맵핑한 제1 전기 생리학적 데이터를 포함할 수 있다.
일 실시 예에 따르면, 상기 환자 심방에 대한 전기 생리학적 데이터는, 상기 환자 심방에 대한 기하 위상학적 데이터인 3차원 폴리곤 메쉬로 나타낸 환자 심방이 포함하는 모든 지점(Point)에서의 전압 정보를 맵핑한 데이터를 이용하여 생성하되, 상기 환자 심방에 대한 기하 위상학적 데이터인 3차원 폴리곤 메쉬로 나타낸 환자 심방이 포함하는 모든 지점의 섬유화(Fibrosis) 여부에 대한 정보를 맵핑한 제2 전기 생리학적 데이터를 포함할 수 있다.
일 실시 예에 따르면, 상기 (b) 단계는, (b-1) 상기 생성한 대상 데이터에 대하여 제1 전처리인 메쉬 평활화(Mesh Smoothing)를 수행하는 단계, (b-2) 상기 메쉬 평활화를 수행한 대상 데이터에 대하여 제2 전처리인 메쉬 간략화(Mesh Simplification)를 수행하는 단계 및 (b-3) 상기 메쉬 간략화를 수행한 대상 데이터에 대하여 제3 전처리인 N(N은 양의 정수)개의 3차원 폴리곤 파생 메쉬 생성을 수행하여 상기 대상 데이터와 병합하는 단계를 포함할 수 있다.
일 실시 예에 따르면, 상기 (b-1) 단계에서의 제1 전처리인 메쉬 평활화는, 라플라시안 스무딩(Laplacian Smoothing) 알고리즘을 적용하여 수행되며, 상기 라플라시안 스무딩을 위한 반복 연산을 3회 수행할 수 있다.
일 실시 예에 따르면, 상기 (b-2) 단계에서의 제2 전처리인 메쉬 간략화는, (b-2-1) 포아송 디스크 샘플링(Poisson Disk Sampling) 알고리즘을 적용하여 상기 복수 개의 정점 중, 균일한 정점들을 선택하는 단계 및 (b-2-2) 상기 선택한 균일한 정점들에 대하여 에지 붕괴(Edge Collapse) 알고리즘을 적용하여 간략화하는 단계를 포함하며, 상기 (b-2-2) 단계는, 상기 선택한 균일한 정점들을 기반으로 Re-tiling 알고리즘을 적용하여 메쉬 표면을 보존하면서 균일한 정점들로 구성되도록 할 수 있다.
일 실시 예에 따르면, 상기 (b-2) 단계에서의 제2 전처리인 메쉬 간략화는, 기준 기하학적 형태(Hausdorff distance)가 2 미만이며, 구조적 유사성(SSIM)이 0.7 미만인 통제 조건 하에 수행될 수 있다.
일 실시 예에 따르면, 상기 (b-2) 단계까지 수행한 대상 데이터는, 2048개의 정점, 6144개의 에지 및 4096개의 면을 포함하는 3차원 폴리곤 메쉬일 수 있다.
일 실시 예에 따르면, 상기 (b-3) 단계에서의 제3 전처리인 파생 메쉬 생성은, N이 5이며, 상기 3차원 폴리곤 파생 메쉬는, 상기 메쉬 간략화를 수행한 대상 데이터와 형태가 동일한 3차원 폴리곤 메쉬이되, 정점이 연결된 에지가 상이한 메쉬일 수 있다.
일 실시 예에 따르면, 상기 (c) 단계는, (c-1) 상기 전처리를 수행한 대상 데이터를 예측 모델에 입력하여 에지 기반의 특징을 산출하는 단계, (c-2) 상기 추출한 에지 기반의 특징을 상기 예측 모델에 입력하여 메쉬 컨볼루션(Mesh Convolution) 및 메쉬 풀링(Mesh Pooling)을 적용하여 제1 출력값을 산출하는 단계 및 (c-3) 상기 산출한 제1 출력값에 대하여 소프트 보팅(Soft Voting)을 적용하여 제2 출력값인 상기 환자에 대한 심방세동 재발 예측값을 산출하여 출력하는 단계를 포함할 수 있다.
일 실시 예에 따르면, 상기 대상 데이터가 기하 위상학적 데이터를 포함하는 경우, 상기 (c-1) 단계는, (c-1-1) 상기 전처리를 수행한 대상 데이터를 예측 모델에 입력하여 제1 에지 기반의 특징인 모든 에지에서의 직경을 산출하는 단계를 포함하되, 상기 모든 에지에서의 직경은 광선 투사법(Ray Casting)을 통해 각 에지에서 반대편 표면까지의 충돌 지점을 산정하여 산출할 수 있다.
일 실시 예에 따르면, 상기 대상 데이터가 해부학적 데이터 및 전기 생리학적 데이터 중 어느 하나 이상을 포함하는 경우, 상기 (c-1) 단계는, (c-1-2) 상기 전처리를 수행한 대상 데이터를 예측 모델에 입력하여 제2 에지 기반의 특징인 모든 에지에서의 맵핑 정보를 산출하는 단계를 포함하되, 상기 모든 에지에서의 맵핑 정보는 맵핑 정보를 산출하고자 하는 어느 한 에지를 포함하는 두 개의 삼각형의 무게 중심을 산정하고, 이로부터 상기 어느 한 에지의 중심점까지의 거리를 산정하되, 이에 대하여 선형보간법을 적용하여 산출할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 또 다른 실시 예에 따른 심방세동 재발을 예측하는 장치는 하나 이상의 프로세서, 네트워크 인터페이스, 상기 프로세서에 의해 수행되는 컴퓨터 프로그램을 로드(Load)하는 메모리 및 대용량 네트워크 데이터 및 상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되, 상기 컴퓨터 프로그램은 상기 하나 이상의 프로세서에 의해 (A) 환자 심방에 대한 기하 위상학적 데이터, 해부학적 데이터 및 전기 생리학적 데이터 중 어느 하나 이상을 포함하는 대상 데이터를 생성하는 오퍼레이션, (B) 상기 생성한 대상 데이터에 대한 전처리를 수행하는 오퍼레이션 및 (C) 상기 전처리를 수행한 대상 데이터를 예측 모델에 입력하여 상기 환자에 대한 심방세동 재발 예측값을 산출하여 출력하고 이를 학습하는 오퍼레이션을 실행하며, 상기 대상 데이터는, 복수 개의 정점(Vertext)과 에지(Edge)로 정의되며, 상기 정점과 에지로 이루어지는 면의 최소 단위인 삼각형 면을 복수 개 포함하는 3차원 폴리곤 메쉬(Polygon Mesh)를 기본 구조로 하는 데이터이다.
상기 기술적 과제를 달성하기 위한 본 발명의 또 다른 실시 예에 따른 매체에 저장된 컴퓨터 프로그램은 컴퓨팅 장치와 결합하여, (AA) 환자 심방에 대한 기하 위상학적 데이터, 해부학적 데이터 및 전기 생리학적 데이터 중 어느 하나 이상을 포함하는 대상 데이터를 생성하는 단계, (BB) 상기 생성한 대상 데이터에 대한 전처리를 수행하는 단계 및 (CC) 상기 전처리를 수행한 대상 데이터를 예측 모델에 입력하여 상기 환자에 대한 심방세동 재발 예측값을 산출하여 출력하고 이를 학습하는 단계를 포함하되, 상기 대상 데이터는, 복수 개의 정점(Vertext)과 에지(Edge)로 정의되며, 상기 정점과 에지로 이루어지는 면의 최소 단위인 삼각형 면을 복수 개 포함하는 3차원 폴리곤 메쉬(Polygon Mesh)를 기본 구조로 하는 데이터이다.
상기와 같은 본 발명에 따르면, 환자 심장에 대한 최소한의 수준의 정보인 컴퓨터 단층 촬영 영상, 심방벽 두께 정보, 국소 활성화 시간 정보 및 섬유화 여부에 대한 정보만을 통해 심방세동 재발을 높은 정확도로 신속하게 예측할 수 있다는 효과가 있다.
또한, 상기 정보들은 심방세동 환자라면 보편적으로 보유하고 있는 정보이며, 본 발명이 연산을 통해 확정적으로 생성할 수 있는 정보이기도 하므로 새로운 정보의 획득을 위해 환자 몸에 부담이 되는 침습적 검사를 새롭게 수행할 필요가 없으며, 그에 따라 환자의 신체적 및 경제적 부담을 최소화할 수 있다는 효과가 있다.
또한, 대상 데이터를 생성하여 예측 모델에 입력하기만 하면 심방세동 재발 예측값을 산출하여 자동으로 출력하며, 이를 지속적으로 학습하므로 본 발명을 반복하여 사용할수록 심방세동 재발 예측의 정확도가 향상될 수 있다는 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
도 1은 본 발명의 제1 실시 예에 따른 심방세동 재발을 예측하는 장치가 포함하는 전체 구성을 나타낸 도면이다.
도 2는 본 발명의 제2 실시 예에 따른 심방세동 재발을 예측하는 방법의 대표적인 단계를 도시한 순서도이다.
도 3은 세 개의 정점 및 이들 사이를 연결하는 세 개의 에지 그리고 정점과 에지로 이루어지는 삼각형 면 하나를 예시적으로 도시한 도면이다.
도 4는 환자 심방에 대한 기하 위상학적 데이터를 생성하는 과정을 예시적으로 도시한 도면이다.
도 5에 마칭 큐브 알고리즘을 적용하여 최종적으로 생성한 환자 심방에 대한 기하 위상학적 데이터를 예시적으로 도시한 도면이다.
도 6은 환자 심방에 대한 해부학적 데이터를 예시적으로 도시한 도면이다.
도 7은 환자 심방에 대한 전기 생리학적 데이터가 포함하는 제1 전기 생리학적 데이터를 예시적으로 도시한 도면이다.
도 8은 환자 심방이 포함하는 모든 지점에서의 전압 정보를 맵핑한 데이터를 예시적으로 도시한 도면이다.
도 9는 환자 심방에 대한 전기 생리학적 데이터가 포함하는 제2 전기 생리학적 데이터를 예시적으로 도시한 도면이다.
도 10은 본 발명의 제2 실시 예에 따른 심방세동 재발을 예측하는 방법에 있어서, 대상 데이터에 대한 전처리를 수행하는 S220 단계를 구체화한 순서도이다.
도 11에 에지 붕괴 알고리즘 적용에 따른 에지 간략화의 모습을 예시적으로 도시한 도면이다.
도 12는 세 명의 환자 A, B 및 C에 대하여 각각의 환자 심방이 포함하는 모든 지점에서의 전압 정보를 맵핑한 데이터에 대하여 S220-2 단계의 제2 전처리인 메쉬 간략화까지 수행한 결과를 예시적으로 도시한 도면이다.
도 13은 동일한 형태임에도 불구하고 토폴로지가 상이한 예를 예시적으로 도시한 도면이다.
도 14는 대상 데이터인 환자 심방에 대한 해부학적 데이터와 이에 대한 다섯 개의 3차원 폴리곤 파생 메쉬를 생성한 모습을 예시적으로 도시한 도면이다.
도 15는 본 발명의 제2 실시 예에 따른 심방세동 재발을 예측하는 방법에 있어서, 심방세동 재발 예측값을 산출하여 출력하는 S230 단계를 구체화한 순서도이다.
도 16은 광선 투사법을 통해 각 에지에서 반대편 표면까지의 충돌 지점을 산정하여 산출하는 모습을 예시적으로 도시한 도면이다.
도 17은 모든 에지에서의 맵핑 정보를 산출하는 모습을 예시적으로 도시한 도면이다.
도 18은 대상 데이터를 예측 모델에 입력하여 제1 출력값을 산출하고, 이에 대하여 소프트 보팅을 적용하여 제2 출력값인 환자에 대한 심방세동 재발 예측값을 산출하여 출력하는 모습을 예시적으로 도시한 도면이다.
도 19는 예측 모델을 구성하는 단일 메쉬 신경망을 예시적으로 도시한 도면이다.
도 20 은 본 발명의 제2 실시 예에 따른 심방세동 재발을 예측하는 방법에 대하여 실제 전극도자 절제 시술 후 심방세동 재발 환자의 데이터를 기반으로 EMR로 기록한 각 연도별 재발 여부를 장기간 관찰한 결과에 대한 ROC 커브이다.
도 21은 본 발명의 제2 실시 예에 따른 심방세동 재발을 예측하는 방법에 대하여 실제 전극도자 절제 시술 후 심방세동 재발 환자의 데이터를 기반으로 EMR로 기록한 각 연도별 재발 여부를 장기간 관찰한 결과에 대한 테이블이다.
도 2는 본 발명의 제2 실시 예에 따른 심방세동 재발을 예측하는 방법의 대표적인 단계를 도시한 순서도이다.
도 3은 세 개의 정점 및 이들 사이를 연결하는 세 개의 에지 그리고 정점과 에지로 이루어지는 삼각형 면 하나를 예시적으로 도시한 도면이다.
도 4는 환자 심방에 대한 기하 위상학적 데이터를 생성하는 과정을 예시적으로 도시한 도면이다.
도 5에 마칭 큐브 알고리즘을 적용하여 최종적으로 생성한 환자 심방에 대한 기하 위상학적 데이터를 예시적으로 도시한 도면이다.
도 6은 환자 심방에 대한 해부학적 데이터를 예시적으로 도시한 도면이다.
도 7은 환자 심방에 대한 전기 생리학적 데이터가 포함하는 제1 전기 생리학적 데이터를 예시적으로 도시한 도면이다.
도 8은 환자 심방이 포함하는 모든 지점에서의 전압 정보를 맵핑한 데이터를 예시적으로 도시한 도면이다.
도 9는 환자 심방에 대한 전기 생리학적 데이터가 포함하는 제2 전기 생리학적 데이터를 예시적으로 도시한 도면이다.
도 10은 본 발명의 제2 실시 예에 따른 심방세동 재발을 예측하는 방법에 있어서, 대상 데이터에 대한 전처리를 수행하는 S220 단계를 구체화한 순서도이다.
도 11에 에지 붕괴 알고리즘 적용에 따른 에지 간략화의 모습을 예시적으로 도시한 도면이다.
도 12는 세 명의 환자 A, B 및 C에 대하여 각각의 환자 심방이 포함하는 모든 지점에서의 전압 정보를 맵핑한 데이터에 대하여 S220-2 단계의 제2 전처리인 메쉬 간략화까지 수행한 결과를 예시적으로 도시한 도면이다.
도 13은 동일한 형태임에도 불구하고 토폴로지가 상이한 예를 예시적으로 도시한 도면이다.
도 14는 대상 데이터인 환자 심방에 대한 해부학적 데이터와 이에 대한 다섯 개의 3차원 폴리곤 파생 메쉬를 생성한 모습을 예시적으로 도시한 도면이다.
도 15는 본 발명의 제2 실시 예에 따른 심방세동 재발을 예측하는 방법에 있어서, 심방세동 재발 예측값을 산출하여 출력하는 S230 단계를 구체화한 순서도이다.
도 16은 광선 투사법을 통해 각 에지에서 반대편 표면까지의 충돌 지점을 산정하여 산출하는 모습을 예시적으로 도시한 도면이다.
도 17은 모든 에지에서의 맵핑 정보를 산출하는 모습을 예시적으로 도시한 도면이다.
도 18은 대상 데이터를 예측 모델에 입력하여 제1 출력값을 산출하고, 이에 대하여 소프트 보팅을 적용하여 제2 출력값인 환자에 대한 심방세동 재발 예측값을 산출하여 출력하는 모습을 예시적으로 도시한 도면이다.
도 19는 예측 모델을 구성하는 단일 메쉬 신경망을 예시적으로 도시한 도면이다.
도 20 은 본 발명의 제2 실시 예에 따른 심방세동 재발을 예측하는 방법에 대하여 실제 전극도자 절제 시술 후 심방세동 재발 환자의 데이터를 기반으로 EMR로 기록한 각 연도별 재발 여부를 장기간 관찰한 결과에 대한 ROC 커브이다.
도 21은 본 발명의 제2 실시 예에 따른 심방세동 재발을 예측하는 방법에 대하여 실제 전극도자 절제 시술 후 심방세동 재발 환자의 데이터를 기반으로 EMR로 기록한 각 연도별 재발 여부를 장기간 관찰한 결과에 대한 테이블이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다.
또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한, 이상적으로 또는 과도하게 해석되지 않을 것이다.
본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명의 제1 실시 예에 따른 심방세동 재발을 예측하는 장치(100)가 포함하는 전체 구성을 나타낸 도면이다.
그러나 이는 본 발명의 목적을 달성하기 위한 바람직한 실시 예일 뿐이며, 필요에 따라 일부 구성이 추가되거나 삭제될 수 있고, 어느 한 구성이 수행하는 역할을 다른 구성이 함께 수행할 수도 있음은 물론이다.
본 발명의 제1 실시 예에 따른 심방세동 재발을 예측하는 장치(100)는 프로세서(10), 네트워크 인터페이스(20), 메모리(30), 스토리지(40) 및 이들을 연결하는 데이터 버스(50)를 포함할 수 있다.
프로세서(10)는 각 구성의 전반적인 동작을 제어한다. 프로세서(10)는 CPU(Central Processing Unit), MPU(Micro Processer Unit), MCU(Micro Controller Unit) 또는 본 발명이 속하는 기술 분야에서 널리 알려져 있는 형태의 프로세서 중 어느 하나일 수 있다. 아울러, 프로세서(10)는 본 발명의 제2 실시 예에 따른 심방세동 재발을 예측하는 방법을 수행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있으며, 인공지능 프로세서로 구현함이 바람직하다 할 것이다.
네트워크 인터페이스(20)는 본 발명의 제1 실시 예에 따른 심방세동 재발을 예측하는 장치(100)의 유무선 인터넷 통신을 지원하며, 그 밖의 공지의 통신 방식을 지원할 수도 있다. 따라서 네트워크 인터페이스(20)는 그에 따른 통신 모듈을 포함하여 구성될 수 있다.
메모리(30)는 각종 데이터, 명령 및/또는 정보를 저장하며, 본 발명의 제2 실시 예에 따른 심방세동 재발을 예측하는 방법을 수행하기 위해 스토리지(40)로부터 하나 이상의 컴퓨터 프로그램(41)을 로드할 수 있다. 도 1에서는 메모리(30)의 하나로 RAM을 도시하였으나 이와 더불어 다양한 저장 매체를 메모리(30)로 이용할 수 있음은 물론이다.
스토리지(40)는 하나 이상의 컴퓨터 프로그램(41) 및 대용량 네트워크 데이터(42)를 비임시적으로 저장할 수 있다. 이러한 스토리지(40)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 널리 알려져 있는 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체 중 어느 하나일 수 있다.
컴퓨터 프로그램(41)은 메모리(30)에 로드되어, 하나 이상의 프로세서(10)에 의해 (A) 환자 심방에 대한 기하 위상학적 데이터, 해부학적 데이터 및 전기 생리학적 데이터 중 어느 하나 이상을 포함하는 대상 데이터를 생성하는 오퍼레이션, (B) 상기 생성한 대상 데이터에 대한 전처리를 수행하는 오퍼레이션 및 (C) 상기 전처리를 수행한 대상 데이터를 예측 모델에 입력하여 상기 환자에 대한 심방세동 재발 예측값을 산출하여 출력하는 오퍼레이션을 실행하며, 상기 대상 데이터는, 복수 개의 정점(Vertext)과 에지(Edge)로 정의되며, 상기 정점과 에지로 이루어지는 면의 최소 단위인 삼각형 면을 복수 개 포함하는 3차원 폴리곤 메쉬(Polygon Mesh)를 기본 구조로 하는 데이터일 수 있다.
지금까지 간단하게 언급한 컴퓨터 프로그램(41)이 수행하는 오퍼레이션은 컴퓨터 프로그램(41)의 일 기능으로 볼 수 있으며, 보다 자세한 설명은 본 발명의 제2 실시 예에 따른 심방세동 재발을 예측하는 방법에 대한 설명에서 후술하도록 한다.
데이터 버스(50)는 이상 설명한 프로세서(10), 네트워크 인터페이스(20), 메모리(30) 및 스토리지(40) 사이의 명령 및/또는 정보의 이동 경로가 된다.
이상 설명한 본 발명의 제1 실시 예에 따른 심방세동 재발을 예측하는 장치(100)는 물리적으로 독립된 전자 장치일 수 있으나, 병원 등과 같은 의료기관이 운영하는 서버(미도시)로부터 환자의 심방에 대한 일부 정보들을 수신해야 할 수 있으므로 해당 서버의 일 기능으로 구현할 수도 있으며, 이 경우 해당 서버는 유형의 물리적인 서버일 수도 있고, 가상의 클라우드(Cloud) 서버일 수도 있음은 물론이라 할 것이다.
이하, 본 발명의 제2 실시 예에 따른 심방세동 재발을 예측하는 방법에 대하여 도 2 내지 도 21을 참조하여 설명하도록 한다.
도 2는 본 발명의 제2 실시 예에 따른 심방세동 재발을 예측하는 방법의 대표적인 단계를 도시한 순서도이다.
이는 본 발명의 목적을 달성함에 있어서 바람직한 실시 예일 뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있고, 더 나아가 어느 한 단계가 다른 단계에 포함될 수도 있음은 물론이다.
한편, 모든 단계는 본 발명의 제1 실시 예에 따른 심방세동 재발을 예측하는 장치(100)에 의해 수행됨을 전제로 하며, 이하 프로세서 및 메모리를 포함하는 장치(100)로 간단하게 명명하도록 한다.
우선, 프로세서 및 메모리를 포함하는 장치(100)가 환자 심방에 대한 기하 위상학적 데이터, 해부학적 데이터 및 전기 생리학적 데이터 중 어느 하나 이상을 포함하는 대상 데이터를 생성한다(S210).
여기서 생성하는 대상 데이터는 환자 심방에 대한 기하 위상학적 데이터, 해부학적 데이터 및 전기 생리학적 데이터 중 어느 하나 이상을 포함하기만 하면 충분하나, 오진단을 방지하고 심방세동 재발 예측의 정확도를 향상시키기 위해 가급적 모두 포함하는 것이 바람직하다고 할 것이다.
한편, 생성하는 대상 데이터는 복수 개의 정점(Vertext)과 에지(Edge)로 정의되며, 정점과 에지로 이루어지는 면의 최소 단위인 삼각형 면을 복수 개 포함하는 3차원 폴리곤 메쉬(Polygon Mesh)를 기본 구조로 하는 데이터인바, 도 3에 세 개의 정점 및 이들 사이를 연결하는 세 개의 에지 그리고 정점과 에지로 이루어지는 삼각형 면 하나를 예시적으로 도시하였으며, 대상 데이터는 환자 심방에 대한 데이터이기 때문에 환자 심방이 도 3에 예시적으로 도시된 삼각형 면 복수 개를 포함하여 3차원 폴리곤 메쉬 구조로 구성된 것을 기본 구조로 하는 데이터라 할 것이다. 이하 대상 데이터가 포함하는 세부적인 데이터인 기하 위상학적 데이터, 해부학적 데이터 및 전기 생리학적 데이터에 대하여 순서대로 설명하도록 한다.
환자 심방에 대한 기하 위상학적 데이터는 환자 심장에 대한 컴퓨터 단층 촬영(CT, Computer Tomography) 영상에서 심장의 인접 구조물을 제외하고 심방의 형상만을 세분화하여 추출한 상태에서 마칭 큐브 알고리즘(Marching Cubes Algorithm)을 적용하여 3차원 폴리곤 메쉬로 생성한 데이터이다.
이와 같은 기하 위상학적 데이터는 대상 데이터의 기본 구조인 3차원 폴리곤 메쉬 그대로의 데이터를 의미하는바, 대상 데이터의 기본 구조는 환자 심방에 대한 기하 위상학적 데이터 그 자체라 할 수 있으며, 도 4에 환자 심방에 대한 기하 위상학적 데이터를 생성하는 과정을 예시적으로 도시한바, 구체적으로 설명하면 혈관에 조영제를 투여한 상태에서 컴퓨터 단층 촬영을 진행해 영상을 획득하고(도 4의 상단 도면), 획득한 영상에서 폐나 척추 등과 같은 인접 구조물을 제외한 심방의 형상만을 세분화하여 추출한 상태에서(도 4의 가운데 도면) 3차원 심방 모델을 생성한 후(도 4의 하단 도면), 이에 대하여 마칭 큐브 알고리즘을 적용하는 것이다.
한편, 심방의 형상만을 세분화하여 추출하고 3차원 심방 모델을 생성하는 과정은 특허 공개번호 제10-2020-0095967A(2020년 8월 11일)에 기재된 컴퓨터 단층 촬영 영상으로부터 3차원 좌심방 모델을 생성하는 방법을 동일하게 채용할 수 있으며, 마칭 큐브 알고리즘 역시 공지된 상태이므로 중복 서술을 방지하기 위해 자세한 설명은 생략하도록 한다.
도 5에 마칭 큐브 알고리즘을 적용하여 최종적으로 생성한 환자 심방에 대한 기하 위상학적 데이터를 예시적으로 도시해 놓은바, 복수 개의 정점, 정점과 정점을 연결한 에지 그리고 정점과 에지로 이루어지는 삼각형 면의 모습이 마치 그물과 같은 형상이기에 메쉬라고 불리우는 것이며, 각각의 정점은 유클리드 좌표계 위치 정보인 (x, y, z)를 갖는다 할 것이다.
환자 심방에 대한 해부학적 데이터는 환자 심방에 대한 기하 위상학적 데이터인 3차원 폴리곤 메쉬로 나타낸 환자 심방이 포함하는 모든 지점에서의 심방벽 두께 정보를 맵핑(Mapping)한 데이터이다.
이와 같은 해부학적 데이터는 그 의미 그대로 환자 심방에 대한 기하 위상학적 데이터에 심방벽 두께 정보를 맵핑한 데이터인바, 환자 심방에 대한 기하 위상학적 데이터를 생성한 이후에 생성할 수 있는 데이터이며, 그에 따라 두 데이터는 종속적인 관계에 있다고 볼 수 있다.
한편, 환자 심방이 포함하는 모든 지점은 환자 심방에 대한 기하 위상학적 데이터인 3차원 폴리곤 메쉬가 포함하는 정점과는 다른 의미인바, 3차원 폴리곤 메쉬가 포함하는 정점은 폴리곤의 기본 구조 단위이며, 두 개의 정점 사이에 에지가 존재하는 정점을 의미하나, 환자 심방이 포함하는 모든 지점은 말 그대로 환자 심방 상의 모든 지점을 의미하고, 지점들 사이에 어떠한 에지나 선들이 존재하지 않기 때문이며, 보편적으로 본다면 환자 심방이 포함하는 모든 지점의 수가 정점의 수보다 많다고 볼 수 있을 것이다.
환자 심방이 포함하는 모든 지점에서의 심방벽 두께 정보를 맵핑하는 과정은 앞서 3차원 심방 모델의 생성과 마찬가지로 특허 공개번호 제10-2020-0095967A(2020년 8월 11일)에 기재된 좌심방 벽의 두께를 산정하는 방법을 동일하게 채용할 수 있으므로 중복 서술을 방지하기 위해 자세한 설명은 생략하도록 한다.
도 6에 환자 심방에 대한 해부학적 데이터를 예시적으로 도시해 놓은바, 환자 심방에 대한 기하 위상학적 데이터인 3차원 폴리곤 메쉬에 심방벽 두께 정보를 맵핑한 데이터이기 때문에 도 5에 도시된 기하 위상학적 데이터, 보다 구체적으로 복수 개의 정점과 에지 그리고 정점과 에지로 이루어지는 삼각형 면을 복수 개 그대로 포함하고 있음을 확인할 수 있으며, 심방 표면에 소정 색상이 도시되어 있음을 확인할 수 있는바, 각각의 색상은 환자 심방이 포함하는 모든 지점에서의 심방벽 두께를 나타낸다 할 것이고, 이 경우 3차원 폴리곤 메쉬가 포함하는 각각의 정점은 유클리드 좌표계 위치 정보인 (x, y, z) 뿐만 아니라 심방벽 두께에 대한 정보가 맵핑되어 있다 할 것이다.
환자 심방에 대한 전기 생리학적 데이터는 환자 심방에 대한 기하 위상학적 데이터인 3차원 폴리곤 메쉬로 나타낸 환자 심방이 포함하는 모든 지점(Point)에서의 국소 활성화 시간(Local Activation Time) 정보를 맵핑한 제1 전기 생리학적 데이터를 포함한다.
이와 같은 제1 전기 생리학적 데이터는 그 의미 그대로 환자 심방에 대한 기하 위상학적 데이터에 국소 활성화 시간 정보를 맵핑한 데이터인바, 환자 심방에 대한 기하 위상학적 데이터를 생성한 이후에 생성할 수 있는 데이터이며, 그에 따라 두 데이터는 환자 심방에 대한 해부학적 데이터와 마찬가지로 종속적인 관계에 있다고 볼 수 있다.
한편, 환자 심방이 포함하는 모든 지점에서의 국소 활성화 시간 정보를 맵핑하는 과정은 특허 등록번호 제10-1964918B1(2019년 3월 27일)에 기재된 환자의 심장 모델을 기반으로 한 전위 활성화 지도를 생성(맵핑)하는 방법을 동일하게 채용할 수 있으므로 중복 서술을 방지하기 위해 자세한 설명은 생략하도록 한다.
도 7에 환자 심방에 대한 전기 생리학적 데이터가 포함하는 제1 전기 생리학적 데이터를 예시적으로 도시해 놓은바, 환자 심방에 대한 기하 위상학적 데이터인 3차원 폴리곤 메쉬에 심방벽 두께 정보를 맵핑한 데이터이기 때문에 도 5에 도시된 기하 위상학적 데이터, 보다 구체적으로 복수 개의 정점과 에지 그리고 정점과 에지로 이루어지는 삼각형 면을 복수 개 그대로 포함하고 있음을 확인할 수 있으며, 심방 표면에 소정 색상이 도시되어 있음을 확인할 수 있는바, 각각의 색상은 환자 심방이 포함하는 모든 지점에서의 국소 활성화 시간을 나타낸다 할 것이고, 이 경우 3차원 폴리곤 메쉬가 포함하는 각각의 정점은 유클리드 좌표계 위치 정보인 (x, y, z) 뿐만 아니라 국소 활성화 시간에 대한 정보가 맵핑되어 있다 할 것이다.
환자 심방에 대한 전기 생리학적 데이터는 제1 전기 생리학적 데이터뿐만 아니라 환자 심방에 대한 기하 위상학적 데이터인 3차원 폴리곤 메쉬로 나타낸 환자 심방이 포함하는 모든 지점(Point)에서의 전압 정보를 맵핑한 데이터를 이용하여 생성하되, 환자 심방에 대한 기하 위상학적 데이터인 3차원 폴리곤 메쉬로 나타낸 환자 심방이 포함하는 모든 지점의 섬유화(Fibrosis) 여부에 대한 정보를 맵핑한 제2 전기 생리학적 데이터를 포함한다.
이와 같은 제2 전기 생리학적 데이터는 그 의미 그대로 환자 심방에 대한 기하 위상학적 데이터에 섬유화 여부에 대한 정보를 맵핑한 데이터인바, 환자 심방에 대한 기하 위상학적 데이터를 생성한 이후에 생성할 수 있는 데이터이며, 그에 따라 두 데이터는 환자 심방에 대한 해부학적 데이터와 마찬가지로 종속적인 관계에 있다고 볼 수 있다.
더 나아가, 제2 전기 생리학적 데이터는 환자 심장이 포함하는 모든 지점에서의 전압 정보를 맵핑한 데이터를 이용하여 생성하는바, 그에 따라 환자 심장이 포함하는 모든 지점에서의 전압 정보를 맵핑한 데이터와 제2 전기 생리학적 데이터 역시 종속적인 관계에 있다고 볼 수 있다.
한편, 환자 심방이 포함하는 모든 지점에서의 전압 정보를 맵핑하는 과정은 특허 등록번호 제10-1964918B1(2019년 3월 27일)에 기재된 환자의 심장 모델을 기반으로 한 심장 전압 지도를 생성(맵핑)하는 방법을 동일하게 채용하거나 특허 공개번호 제10-2020-0095967A(2020년 8월 11일)에 기재된 3차원 전압 차 심방 모델을 생성(맵핑)하는 방법을 일부 응용하여 채용할 수 있으므로 중복 서술을 방지하기 위해 자세한 설명은 생략하도록 하며, 도 8에 환자 심방이 포함하는 모든 지점에서의 전압 정보를 맵핑한 데이터를 예시적으로 도시해 놓았다.
환자 심방이 포함하는 모든 지점에서의 전압 정보를 맵핑한 데이터를 이용하여 제2 전기 생리학적 데이터를 생성하는 과정 역시 특허 등록번호 제10-1964918B1(2019년 3월 27일)에 기재된 전압에 따른 블록의 지정 확률(섬유화 확률과 동일한 의미) 및 블록 지정 여부(섬유화 지정 여부와 동일한 의미)를 결정하는 방법을 동일하게 채용할 수 있으므로 연산을 통하여 손쉽게 생성할 수 있다 할 것이며, 중복 서술을 방지하기 위해 자세한 설명은 생략하도록 한다.
도 9에 환자 심방에 대한 전기 생리학적 데이터가 포함하는 제2 전기 생리학적 데이터를 예시적으로 도시해 놓은바, 환자 심방에 대한 기하 위상학적 데이터인 3차원 폴리곤 메쉬에 섬유화 여부에 대한 정보를 맵핑한 데이터이기 때문에 도 5에 도시된 기하 위상학적 데이터, 보다 구체적으로 복수 개의 정점과 에지 그리고 정점과 에지로 이루어지는 삼각형 면을 복수 개 그대로 포함하고 있음을 확인할 수 있으며, 심방 표면에 두 개의 색상이 도시되어 있음을 확인할 수 있는바, 각각의 색상은 환자 심방이 포함하는 모든 지점에서의 섬유화 여부를 나타낸다 할 것이고, 이 경우 3차원 폴리곤 메쉬가 포함하는 각각의 정점은 유클리드 좌표계 위치 정보인 (x, y, z) 뿐만 아니라 섬유화 여부에 대한 정보가 맵핑되어 있다 할 것이다.
지금까지 도 3 내지 도 9를 참조하여 대상 데이터에 대하여 상세하게 설명하였으며, 본 발명이 심방세동의 재발을 예측하는 것이기에 대상 데이터를 환자 심방에 국한하여 설명하였으나 환자 심실을 포함하여 전체 심장에 대해 대상 데이터를 생성할 수 있음은 물론이라 할 것이다. 다시 도 2에 대한 설명으로 돌아가도록 한다.
대상 데이터를 생성했다면, 프로세서 및 메모리를 포함하는 장치(100)가 생성한 대상 데이터에 대한 전처리를 수행한다(S220).
S220 단계에서 수행하는 대상 데이터에 대한 전처리는 후술할 S230 단계에서 예측 모델에 입력하기 적합한 형태로 대상 데이터를 가다듬는 과정을 의미하는바, 환자 별로 획득되는 3차원 폴리곤 메쉬에 있어서 정점과 에지는 환자 특성에 따라 개수가 서로 상이하므로 이에 의한 편향을 방지하기 위함이며, 간략하게 이야기하자면 메쉬 정량화를 전처리로 볼 수 있다 할 것이다. 이하 설명하도록 한다.
도 10은 본 발명의 제2 실시 예에 따른 심방세동 재발을 예측하는 방법에 있어서, 대상 데이터에 대한 전처리를 수행하는 S220 단계를 구체화한 순서도이다.
이는 본 발명의 목적을 달성함에 있어서 바람직한 실시 예일 뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있고, 더 나아가 어느 한 단계가 다른 단계에 포함될 수도 있음은 물론이다.
우선, 대상 데이터에 대하여 제1 전처리인 메쉬 평활화(Mesh Smoothing)를 수행한다(S220-1).
여기서 대상 데이터는 앞서 설명한 환자 심방에 대한 3차원 폴리곤 메쉬 구조의 기하 위상학적 데이터, 심방벽 두께 정보가 맵핑된 해부학적 데이터, 국소 활성화 시간 정보가 맵핑된 제1 전기 생리학적 데이터 및 섬유화 여부에 대한 정보가 맵핑된 제2 전기 생리학적 데이터 모두를 포함하는 개념이며, 경우에 따라 환자 심방이 포함하는 모든 지점에서의 전압 정보가 맵핑된 데이터까지 포함할 수 있는바, 이들 전부는 컴퓨터 단층 촬영 영상으로부터 생성된 것이기에 메쉬 평활화를 수행함으로써 거친 표면이 부드럽게 변경될 수 있다.
보다 구체적으로 메쉬 평활화는 라플라시안 스무딩(Laplacian Smoothing) 알고리즘을 적용하여 수행될 수 있으며, 이를 위한 반복 연산 횟수는 최소 3회 수행할 수 있고, 그 이상도 가능함은 물론이라 할 것이다.
다음으로 메쉬 평활화를 수행한 대상 데이터에 대하여 제2 전처리인 메쉬 간략화 (Mesh Simplification)를 수행한다(S220-2).
여기서 제2 전처리인 메쉬 간략화는 포아송 디스크 샘플링(Poisson Disk Sampling) 알고리즘을 적용하여 복수 개의 정점 중, 균일한 정점들을 선택하는 단계(S220-2-1) 및 선택한 균일한 정점들에 대하여 에지 붕괴(Edge Collapse) 알고리즘을 적용하여 간략화하는 단계(S220-2-2)를 포함할 수 있으며, S220-2-2 단계를 통해 목표로 하는 에지 수준까지 간략화시킬 수 있다.
도 11에 에지 붕괴 알고리즘 적용에 따른 에지 간략화의 모습을 예시적으로 도시한바, S220-2-2 단계가 선택한 균일한 정점들을 기반으로 Re-tiling 알고리즘을 적용하여 메쉬 표면을 보존하면서 균일한 정점들로 구성되도록 하는 점진적 간략화를 채택하였으며, 기준 기하학적 형태(Hausdorff distance)가 2 미만이고, 구조적 유사성(SSIM)이 0.7 미만인 통제 조건 하에 수행되었기 때문에 과도한 간략화로 인한 기하학적 형태 및 데이터 손실을 방지할 수 있다.
도 12는 세 명의 환자 A, B 및 C에 대하여 각각의 환자 심방이 포함하는 모든 지점에서의 전압 정보를 맵핑한 데이터에 대하여 S220-2 단계의 제2 전처리인 메쉬 간략화까지 수행한 결과를 예시적으로 도시한바, 각각의 환자에 대하여 정점과 삼각형 면의 수가 상이했으나 3차원 폴리곤 메쉬가 2,048개의 정점과 4,096개의 삼각형 면을 포함하기에 환자에 대한 차이 없이 동일해졌고, 그에 따라 에지는 6,144개(2,048 * 3)로 동일해졌음을 확인할 수 있으며, S220-1 단계 및 S220-2 단계는 모든 대상 데이터에 대하여 수행되기에 별도로 도시하지 않았지만 다른 대상 데이터들의 경우 역시 정점과 에지 그리고 삼각형 면의 수가 이와 동일해진다 할 것이다.
제2 전처리인 메시 간략화까지 수행했다면, 메쉬 간략화를 수행한 대상 데이터에 대하여 제3 전처리인 N(N은 양의 정수)개의 3차원 폴리곤 파생 메쉬 생성을 수행하여 대상 데이터와 병합한다(S220-3).
S220 단계에서의 대상 데이터에 대한 전처리의 목적은 환자 특성에 의한 편향을 방지하기 위함뿐만 아니라 대상 데이터가 3차원 폴리곤 메쉬를 기본 구조로 하기 때문에 동일한 형태임에도 불구하고 발생할 수 있는 다양한 토폴로지에 따른 편향된 결과로의 학습을 방지하기 위함에도 있는바, S220-3 단계가 이를 위한 단계에 해당한다.
도 13은 동일한 형태임에도 불구하고 토폴로지가 상이한 예를 예시적으로 도시한 도면인바, 좌측과 우측 모두 일곱 개의 정점과 세 객의 에지를 포함하고 있다는 점은 동일하나, 정점이 연결된 에지가 상이함으로 인해 서로 상이한 토폴로지가 나타냈음을 확인할 수 있다.
한편, 3차원 폴리곤 파생 메쉬 생성을 수행할 때 N이 너무 작은 경우 다양한 토폴로지를 충분하게 반영할 수 없다는 문제점이 있으며, N이 너무 큰 경우 다양한 토폴로지를 충분하게 반영할 수는 있으나 연산에 있어 지나치게 긴 시간이 소요되고 프로세서 및 메모리를 포함하는 장치(100)에 과부하가 걸릴 수 있다는 문제점이 있는바, N을 5로 설정함으로써 다양한 토폴로지를 실효성 있게 반영하고 연산에 있어서도 효율성을 기할 수 있을 것이며, 이는 프로세서 및 메모리를 포함하는 장치(100)의 사용자나 관리자의 설정에 따라 얼마든지 변경할 수 있음은 물론이라 할 것이다.
도 14는 대상 데이터인 환자 심방에 대한 해부학적 데이터, 보다 구체적으로 환자 심방에 대한 기하 위상학적 데이터인 3차원 폴리곤 메쉬로 나타낸 환자 심방이 포함하는 모든 지점에서의 심방벽 두께 정보를 맵핑한 데이터에 대하여 N을 5로 설정하여 다섯 개의 3차원 폴리곤 파생 메쉬를 생성한 모습을 예시적으로 도시한바, 각각의 지점에 맵핑된 심방벽 두께 정보는 동일하나 정점과 정점을 연결한 에지가 상이함을 확인할 수 있다.
한편, S220-3 단계에서의 병합은 실질적인 데이터의 내용을 합친다는 의미가 아니라 생성한 3차원 폴리곤 파생 메쉬를 대상 데이터에 추가한다는 의미로 해석해야 할 것이다.
다시 도 2에 대한 설명으로 돌아가도록 한다.
대상 데이터에 대한 전처리까지 수행했다면, 프로세서 및 메모리를 포함하는 장치(100)가 전처리를 수행한 대상 데이터를 예측 모델에 입력하여 환자에 대한 심방세동 재발 예측값을 산출하여 출력하고 이를 학습한다(S230).
여기서의 예측 모델은 3차원 폴리곤 메쉬가 비정형 데이터 구조를 가지기 때문에 기존의 이미지와 같이 고정된 격자 그리드 형태를 처리하는 예측 모델로는 예측값을 산출하여 출력할 수 없으므로, 본 발명에 최적화된 독자적인 예측 모델을 구현해야 하며, 그에 따라 S230 단계는 다음과 같이 세분화될 수 있다. 이하 도 15를 참조하여 설명하도록 한다.
도 15는 본 발명의 제2 실시 예에 따른 심방세동 재발을 예측하는 방법에 있어서, 심방세동 재발 예측값을 산출하여 출력하는 S230 단계를 구체화한 순서도이다.
이는 본 발명의 목적을 달성함에 있어서 바람직한 실시 예일 뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있고, 더 나아가 어느 한 단계가 다른 단계에 포함될 수도 있음은 물론이다.
우선, 전처리를 수행한 대상 데이터를 예측 모델이 입력하여 에지 기반의 특징을 산출한다(S230-1).
여기서 에지 기반의 특징은 모든 에지에서의 직경인 기하학적 특징과 모든 에지에서의 맵핑 정보를 의미하는바, 대상 데이터의 종류에 따라 산출하는 에지 기반의 특징이 상이해질 수 있다.
보다 구체적으로, 대상 데이터가 기하 위상학적 데이터를 포함하는 경우, 즉 대상 데이터가 기하 위상학적 데이터인 경우 S230-1 단계는 전처리를 수행한 대상 데이터를 예측 모델에 입력하여 제1 에지 기반의 특징인 모든 에지에서의 직경을 산출하는 단계(S230-1-1)를 포함할 수 있으며, 여기서 모든 에지에서의 직경은 도 16에 예시적으로 도시한 바와 같이 광선 투사법(Ray Casting)을 통해 각 에지의 중심점에서 3차원 객체의 내부를 관통해 반대편 내표면에 충돌하는 지점까지의 거리(일공의 구, Sphere)를 산정하여 산출할 수 있다.
한편, 대상 데이터가 해부학적 데이터 및 전기 생리학적 데이터 중 어느 하나 이상을 포함하는 경우, 즉 대상 데이터가 해부학적 데이터 및 전기 생리학적 데이터인 경우 S230-1 단계는 전처리를 수행한 대상 데이터를 예측 모델에 입력하여 제2 에지 기반의 특징인 모든 에지에서의 맵핑 정보를 산출하는 단계(S230-1-2)를 포함할 수 있으며, 모든 에지에서의 맵핑 정보는 도 17에 예시적으로 도시한 바와 같이 맵핑 정보를 산출하고자 하는 어느 한 에지를 포함하는 두 개의 삼각형의 무게 중심을 산정하고, 이로부터 어느 한 에지의 중심점까지의 거리를 산정하되, 이에 대하여 선형보간법을 적용하여 산출할 수 있다.
이상 설명한 에지 기반의 특징 추출에 관한 예측 모델의 특징인 S230-1 단계는 에지를 기반으로 상대적으로 산정하기 때문에 컴퓨터 단층 촬영 시 발생하는 환자의 움직임과 자세로 인해 야기되는 이동과 회전 변환에 대하여 불변성을 보장할 수 있으며, 종래 메쉬 기반 예측 모델이 이면각, 꼭지점의 내각, 상대적 에지 비율 등을 산출함에 비하여 직경만 산출하기에 연산 속도가 비약적으로 향상될 수 있다는 장점이 있다.
이후, 추출한 에지 기반의 특징을 예측 모델에 입력하여 메쉬 컨볼루션(Mesh Convolution) 및 메쉬 풀링(Mesh Pooling)을 적용하여 제1 출력값을 산출한다(S230-2).
여기서 메쉬 컨볼루션과 메쉬 풀링은 공지된 논문인 Mesh CNN(Hanocka et al)에 개시된 컨볼루션 연산자와 에지 붕괴 알고리즘을 적용하여 수행되므로 중복 서술을 방지하기 위해 자세한 설명은 생략하도록 한다.
마지막으로, 산출한 제1 출력값에 대하여 소프트 보팅(Soft Voting)을 적용하여 제2 출력값인 환자에 대한 심방세동 재발 예측값을 산출하여 출력한다(S230-3).
도 18에 대상 데이터를 예측 모델에 입력하여 제1 출력값을 산출하고, 이에 대하여 소프트 보팅을 적용하여 제2 출력값인 환자에 대한 심방세동 재발 예측값을 산출하여 출력하는 모습을 예시적으로 도시하였으며, 소프트 보팅을 적용하기 때문에 분류기들의 레이블 값 결정 확률을 모두 합산하고 이를 평균하여 이들 중 확률이 가장 높은 레이블 값을 최종적인 제2 출력값으로 산출하여 출력할 것이다.
이상의 설명에 따라 예측 모델은 대상 데이터인 기하 위상학적 데이터, 해부학적 데이터 및 전기 생리학적 데이터를 모두 사용하는 앙상블 기반의 방법으로 구성된 모델인바, 심방세동은 노인성 질환으로 여러 가지 동반 질환을 수반하는 경우가 많으므로 단일 객체의 데이터로 예측력을 설명하는 것보다 이종의 데이터를 포괄적으로 적용하여 예측을 수행하는 것이 예측의 정확도의 측면에서 양호하기 때문이며, 도 19에 예측 모델을 구성하는 단일 메쉬 신경망을 예시적으로 도시한바, 크게 세 개의 컨볼루션 레이어로 구성되어 있으며, 초기 입력인 6,144개의 에지에 대하여 0.5배의 에지 붕괴를 수행해 각각의 컨볼루션 레이어를 지날 때마다 3,072개, 1,536개, 768개의 에지로 축소됨을 확인할 수 있으며, 각각의 레이어의 컨볼루션 커널은 64개, 128개, 256개로 구성됨을 확인할 수 있다 할 것이다.
지금까지 본 발명의 제2 실시 예에 따른 심방세동 재발을 예측하는 방법에 대하여 설명하였다. 본 발명에 따르면, 환자 심장에 대한 최소한의 수준의 정보인 컴퓨터 단층 촬영 영상, 심방벽 두께 정보, 국소 활성화 시간 정보 및 섬유화 여부에 대한 정보만을 통해 심방세동 재발을 높은 정확도로 신속하게 예측할 수 있다. 또한, 상기 정보들은 심방세동 환자라면 보편적으로 보유하고 있는 정보이며, 프로세서 및 메모리를 포함하는 장치(100)가 연산을 통해 확정적으로 생성할 수 있는 정보이기도 하므로 새로운 정보의 획득을 위해 환자 몸에 부담이 되는 침습적 검사를 새롭게 수행할 필요가 없으며, 그에 따라 환자의 신체적 및 경제적 부담을 최소화할 수 있다. 아울러, 대상 데이터를 생성하여 예측 모델에 입력하기만 하면 심방세동 재발 예측값을 산출하여 자동으로 출력하며, 이를 지속적으로 학습하므로 본 발명을 반복하여 사용할수록 심방세동 재발 예측의 정확도가 향상될 수 있다.
도 20 및 도 21은 본 발명의 제2 실시 예에 따른 심방세동 재발을 예측하는 방법에 대하여 실제 전극도자 절제 시술 후 심방세동 재발 환자의 데이터를 기반으로 EMR로 기록한 각 연도별 재발 여부를 장기간 관찰한 결과에 대한 ROC 커브 및 테이블인바, 1년차 재발부터 5년차 재발까지 AUC가 0.79 내지 0.82로 장기 재발 환자에 대한 예측력이 신뢰성 있음을 확인할 수 있다.
한편, 중복 서술을 방지하기 위해 자세히 설명하지는 않았지만, 본 발명의 제1 실시 예에 따른 심방세동 재발을 예측하는 장치(100)와 본 발명의 제2 실시 예에 따른 심방세동 재발을 예측하는 방법은 동일한 기술적 특징을 포함하는 본 발명의 제3 실시 예에 따른 매체에 저장된 컴퓨터 프로그램으로 구현할 수 있다. 이 경우 매체에 저장된 컴퓨터 프로그램은 컴퓨팅 장치와 결합하여, (AA) 환자 심방에 대한 기하 위상학적 데이터, 해부학적 데이터 및 전기 생리학적 데이터 중 어느 하나 이상을 포함하는 대상 데이터를 생성하는 단계, (BB) 상기 생성한 대상 데이터에 대한 전처리를 수행하는 단계 및 (CC) 상기 전처리를 수행한 대상 데이터를 예측 모델에 입력하여 상기 환자에 대한 심방세동 재발 예측값을 산출하여 출력하는 단계를 포함하되, 상기 대상 데이터는, 복수 개의 정점(Vertext)과 에지(Edge)로 정의되며, 상기 정점과 에지로 이루어지는 면의 최소 단위인 삼각형 면을 복수 개 포함하는 3차원 폴리곤 메쉬(Polygon Mesh)를 기본 구조로 하는 데이터이며, 본 발명의 제1 실시 예에 따른 심방세동 재발을 예측하는 장치(100)와 본 발명의 제2 실시 예에 따른 심방세동 재발을 예측하는 방법과 동일한 효과를 도출할 수 있을 것이다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
10: 프로세서
20: 네트워크 인터페이스
30: 메모리
40: 스토리지
41: 컴퓨터 프로그램
50: 데이터 버스
100: 심방세동 재발을 예측하는 장치
20: 네트워크 인터페이스
30: 메모리
40: 스토리지
41: 컴퓨터 프로그램
50: 데이터 버스
100: 심방세동 재발을 예측하는 장치
Claims (16)
- 프로세서 및 메모리를 포함하는 장치를 통해 심방세동 재발을 예측하는 방법에 있어서,
(a) 환자 심방에 대한 기하 위상학적 데이터, 해부학적 데이터 및 전기 생리학적 데이터 중 어느 하나 이상을 포함하는 대상 데이터를 생성하는 단계;
(b) 상기 생성한 대상 데이터에 대한 전처리를 수행하는 단계; 및
(c) 상기 전처리를 수행한 대상 데이터를 예측 모델에 입력하여 상기 환자에 대한 심방세동 재발 예측값을 산출하여 출력하고 이를 학습하는 단계;
를 포함하며,
상기 대상 데이터는,
복수 개의 정점(Vertext)과 에지(Edge)로 정의되며, 상기 정점과 에지로 이루어지는 면의 최소 단위인 삼각형 면을 복수 개 포함하는 3차원 폴리곤 메쉬(Polygon Mesh)를 기본 구조로 하는 데이터인,
심방세동 재발을 예측하는 방법. - 제1항에 있어서,
상기 환자 심방에 대한 기하 위상학적 데이터는,
환자 심장에 대한 컴퓨터 단층 촬영(CT, Computer Tomography) 영상에서 심장의 인접 구조물을 제외하고 심방의 형상만을 세분화하여 추출한 상태에서 마칭 큐브 알고리즘(Marching Cubes Algorithm)을 적용하여 3차원 폴리곤 메쉬 구조로 생성한 데이터인,
심방세동 재발을 예측하는 방법. - 제2항에 있어서,
상기 환자 심방에 대한 해부학적 데이터는,
상기 환자 심방에 대한 기하 위상학적 데이터인 3차원 폴리곤 메쉬로 나타낸 환자 심방이 포함하는 모든 지점(Point)에서의 심방벽 두께 정보를 맵핑(Mapping)한 데이터인,
심방세동 재발을 예측하는 방법. - 제2항에 있어서,
상기 환자 심방에 대한 전기 생리학적 데이터는,
상기 환자 심방에 대한 기하 위상학적 데이터인 3차원 폴리곤 메쉬로 나타낸 환자 심방이 포함하는 모든 지점(Point)에서의 국소 활성화 시간(Local Activation Time) 정보를 맵핑한 제1 전기 생리학적 데이터를 포함하는,
심방세동 재발을 예측하는 방법. - 제2항에 있어서,
상기 환자 심방에 대한 전기 생리학적 데이터는,
상기 환자 심방에 대한 기하 위상학적 데이터인 3차원 폴리곤 메쉬로 나타낸 환자 심방이 포함하는 모든 지점(Point)에서의 전압 정보를 맵핑한 데이터를 이용하여 생성하되, 상기 환자 심방에 대한 기하 위상학적 데이터인 3차원 폴리곤 메쉬로 나타낸 환자 심방이 포함하는 모든 지점의 섬유화(Fibrosis) 여부에 대한 정보를 맵핑한 제2 전기 생리학적 데이터를 포함하는,
심방세동 재발을 예측하는 방법. - 제1항에 있어서,
상기 (b) 단계는,
(b-1) 상기 생성한 대상 데이터에 대하여 제1 전처리인 메쉬 평활화(Mesh Smoothing)를 수행하는 단계;
(b-2) 상기 메쉬 평활화를 수행한 대상 데이터에 대하여 제2 전처리인 메쉬 간략화(Mesh Simplification)를 수행하는 단계; 및
(b-3) 상기 메쉬 간략화를 수행한 대상 데이터에 대하여 제3 전처리인 N(N은 양의 정수)개의 3차원 폴리곤 파생 메쉬 생성을 수행하여 상기 대상 데이터와 병합하는 단계;
를 포함하는 심방세동 재발을 예측하는 방법. - 제6항에 있어서,
상기 (b-1) 단계에서의 제1 전처리인 메쉬 평활화는,
라플라시안 스무딩(Laplacian Smoothing) 알고리즘을 적용하여 수행되며,
상기 라플라시안 스무딩을 위한 반복 연산을 3회 수행하는,
심방세동 재발을 예측하는 방법. - 제6항에 있어서,
상기 (b-2) 단계에서의 제2 전처리인 메쉬 간략화는,
(b-2-1) 포아송 디스크 샘플링(Poisson Disk Sampling) 알고리즘을 적용하여 상기 복수 개의 정점 중, 균일한 정점들을 선택하는 단계; 및
(b-2-2) 상기 선택한 균일한 정점들에 대하여 에지 붕괴(Edge Collapse) 알고리즘을 적용하여 간략화하는 단계;
를 포함하며,
상기 (b-2-2) 단계는,
상기 선택한 균일한 정점들을 기반으로 Re-tiling 알고리즘을 적용하여 메쉬 표면을 보존하면서 균일한 정점들로 구성되도록 하는,
심방세동 재발을 예측하는 방법. - 제6항에 있어서,
상기 (b-2) 단계에서의 제2 전처리인 메쉬 간략화는,
기준 기하학적 형태(Hausdorff distance)가 2 미만이며, 구조적 유사성(SSIM)이 0.7 미만인 통제 조건 하에 수행되는,
심방세동 재발을 예측하는 방법. - 제6항에 있어서,
상기 (b-2) 단계까지 수행한 대상 데이터는,
2048개의 정점, 6144개의 에지 및 4096개의 면을 포함하는 3차원 폴리곤 메쉬 구조인,
심방세동 재발을 예측하는 방법. - 제6항에 있어서,
상기 (b-3) 단계에서의 제3 전처리인 파생 메쉬 생성은,
N이 5이며,
상기 3차원 폴리곤 파생 메쉬는,
상기 메쉬 간략화를 수행한 대상 데이터와 형태가 동일한 3차원 폴리곤 메쉬이되, 정점이 연결된 에지가 상이한 메쉬인,
심방세동 재발을 예측하는 방법. - 제1항에 있어서,
상기 (c) 단계는,
(c-1) 상기 전처리를 수행한 대상 데이터를 예측 모델에 입력하여 에지 기반의 특징을 산출하는 단계;
(c-2) 상기 추출한 에지 기반의 특징을 상기 예측 모델에 입력하여 메쉬 컨볼루션(Mesh Convolution) 및 메쉬 풀링(Mesh Pooling)을 적용하여 제1 출력값을 산출하는 단계;
(c-3) 상기 산출한 제1 출력값에 대하여 소프트 보팅(Soft Voting)을 적용하여 제2 출력값인 상기 환자에 대한 심방세동 재발 예측값을 산출하여 출력하는 단계;
를 포함하는 심방세동 재발을 예측하는 방법. - 제12항에 있어서,
상기 대상 데이터가 기하 위상학적 데이터를 포함하는 경우, 상기 (c-1) 단계는,
(c-1-1) 상기 전처리를 수행한 대상 데이터를 예측 모델에 입력하여 제1 에지 기반의 특징인 모든 에지에서의 직경을 산출하는 단계;
를 포함하되,
상기 모든 에지에서의 직경은 광선 투사법(Ray Casting)을 통해 각 에지에서 반대편 표면까지의 충돌 지점을 산정하여 산출하는,
심방세동 재발을 예측하는 방법. - 제12항에 있어서,
상기 대상 데이터가 해부학적 데이터 및 전기 생리학적 데이터 중 어느 하나 이상을 포함하는 경우, 상기 (c-1) 단계는,
(c-1-2) 상기 전처리를 수행한 대상 데이터를 예측 모델에 입력하여 제2 에지 기반의 특징인 모든 에지에서의 맵핑 정보를 산출하는 단계;
를 포함하되,
상기 모든 에지에서의 맵핑 정보는 맵핑 정보를 산출하고자 하는 어느 한 에지를 포함하는 두 개의 삼각형의 무게 중심을 산정하고, 이로부터 상기 어느 한 에지의 중심점까지의 거리를 산정하되, 이에 대하여 선형보간법을 적용하여 산출하는,
심방세동 재발을 예측하는 방법. - 하나 이상의 프로세서;
네트워크 인터페이스;
상기 프로세서에 의해 수행되는 컴퓨터 프로그램을 로드(Load)하는 메모리; 및
대용량 네트워크 데이터 및 상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되,
상기 컴퓨터 프로그램은 상기 하나 이상의 프로세서에 의해,
(A) 환자 심방에 대한 기하 위상학적 데이터, 해부학적 데이터 및 전기 생리학적 데이터 중 어느 하나 이상을 포함하는 대상 데이터를 생성하는 오퍼레이션;
(B) 상기 생성한 대상 데이터에 대한 전처리를 수행하는 오퍼레이션; 및
(C) 상기 전처리를 수행한 대상 데이터를 예측 모델에 입력하여 상기 환자에 대한 심방세동 재발 예측값을 산출하여 출력하고 이를 학습하는 오퍼레이션;
을 실행하며,,
상기 대상 데이터는,
복수 개의 정점(Vertext)과 에지(Edge)로 정의되며, 상기 정점과 에지로 이루어지는 면의 최소 단위인 삼각형 면을 복수 개 포함하는 3차원 폴리곤 메쉬(Polygon Mesh)를 기본 구조로 하는 데이터인,
심방세동 재발을 예측하는 장치. - 컴퓨팅 장치와 결합하여,
(AA) 환자 심방에 대한 기하 위상학적 데이터, 해부학적 데이터 및 전기 생리학적 데이터 중 어느 하나 이상을 포함하는 대상 데이터를 생성하는 단계;
(BB) 상기 생성한 대상 데이터에 대한 전처리를 수행하는 단계; 및
(CC) 상기 전처리를 수행한 대상 데이터를 예측 모델에 입력하여 상기 환자에 대한 심방세동 재발 예측값을 산출하여 출력하고 이를 학습하는 단계;
를 포함하되,
상기 대상 데이터는,
복수 개의 정점(Vertext)과 에지(Edge)로 정의되며, 상기 정점과 에지로 이루어지는 면의 최소 단위인 삼각형 면을 복수 개 포함하는 3차원 폴리곤 메쉬(Polygon Mesh)를 기본 구조로 하는 데이터인,
매체에 저장된 컴퓨터 프로그램.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220046544A KR102721801B1 (ko) | 2022-04-14 | 심방세동 재발을 예측하는 장치 및 예측 방법 | |
| PCT/KR2023/004023 WO2023200143A1 (ko) | 2022-04-14 | 2023-03-27 | 심방세동 재발을 예측하는 장치 및 예측 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220046544A KR102721801B1 (ko) | 2022-04-14 | 심방세동 재발을 예측하는 장치 및 예측 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230147467A true KR20230147467A (ko) | 2023-10-23 |
| KR102721801B1 KR102721801B1 (ko) | 2024-10-24 |
Family
ID=
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200084561A (ko) | 2019-01-03 | 2020-07-13 | 인하대학교 산학협력단 | 딥러닝을 이용한 정상동율동 심전도 상태에서의 발작성 심방세동 예측방법 |
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200084561A (ko) | 2019-01-03 | 2020-07-13 | 인하대학교 산학협력단 | 딥러닝을 이용한 정상동율동 심전도 상태에서의 발작성 심방세동 예측방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023200143A1 (ko) | 2023-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10241968B2 (en) | System and method for real-time simulation of patient-specific cardiac electrophysiology including the effect of the electrical conduction system of the heart | |
| US11393593B2 (en) | Biological simulation apparatus and biological simulation apparatus control method | |
| CN111292314B (zh) | 冠脉分段方法、装置、图像处理系统和存储介质 | |
| CN110782520A (zh) | 基于稀疏位置测量的利用神经网络的左心房形状重建 | |
| JP5632539B2 (ja) | 興奮伝播図を計算するためのシステムおよび方法 | |
| Cedilnik et al. | Fast personalized electrophysiological models from computed tomography images for ventricular tachycardia ablation planning | |
| RU2647194C2 (ru) | Основанная на модели сегментация анатомической структуры | |
| Morales Ferez et al. | Deep learning framework for real-time estimation of in-silico thrombotic risk indices in the left atrial appendage | |
| US20160058520A1 (en) | System and Method for Patient-Specific Image-Based Simulation of Artial Electrophysiology | |
| US20160283687A1 (en) | System and Method for Non-Invasively Estimating Electrophysiological Maps and Measurements from Cardio-Thoracic 3D Images and Electrocardiography Data | |
| CN116051738A (zh) | 基于cta影像的冠状动脉血管模型重构的方法和可读存储介质 | |
| KR102721801B1 (ko) | 심방세동 재발을 예측하는 장치 및 예측 방법 | |
| JP6748368B2 (ja) | モデリング装置、モデリング方法、およびモデリングプログラム | |
| EP3726477A1 (en) | Chamber reconstruction from a partial volume | |
| KR20230147467A (ko) | 심방세동 재발을 예측하는 장치 및 예측 방법 | |
| JP7490737B2 (ja) | 心腔内エコー法のスマートイメージナビゲーション | |
| Verhülsdonk et al. | Shape of my heart: Cardiac models through learned signed distance functions | |
| CN111507981A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| US11587684B2 (en) | Prediction of target ablation locations for treating cardiac arrhythmias using deep learning | |
| CN114219919A (zh) | 医学图像的处理方法、装置、计算机设备及存储介质 | |
| KR102721800B1 (ko) | 심방벽 두께를 산출하는 장치 및 산출 방법 | |
| Veress et al. | The direct incorporation of perfusion defect information to define ischemia and infarction in a finite element model of the left ventricle | |
| KR102052957B1 (ko) | 가상 심장 모델에서의 섬유질 방향 결정 장치 및 결정 방법 | |
| Pfeifer et al. | Atrial and ventricular myocardium extraction using model-based techniques | |
| KR102717123B1 (ko) | 심방세동 발생 가능성이 높은 영역을 추출하여 시각화하는 방법 및 이를 위한 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |