KR20220143547A - 심전도 이미지에 기반한 환자 평가 시스템 및 방법 - Google Patents

심전도 이미지에 기반한 환자 평가 시스템 및 방법 Download PDF

Info

Publication number
KR20220143547A
KR20220143547A KR1020210161788A KR20210161788A KR20220143547A KR 20220143547 A KR20220143547 A KR 20220143547A KR 1020210161788 A KR1020210161788 A KR 1020210161788A KR 20210161788 A KR20210161788 A KR 20210161788A KR 20220143547 A KR20220143547 A KR 20220143547A
Authority
KR
South Korea
Prior art keywords
evaluation
image
target patient
server
electrocardiogram
Prior art date
Application number
KR1020210161788A
Other languages
English (en)
Inventor
김중희
Original Assignee
서울대학교병원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교병원 filed Critical 서울대학교병원
Priority to PCT/KR2022/005488 priority Critical patent/WO2022220649A1/ko
Publication of KR20220143547A publication Critical patent/KR20220143547A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0044—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Cardiology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

실시예들은 사용자 단말에 의해 대상 환자의 소스 심전도 이미지를 획득하고, 상기 사용자 단말에 의해 대상 환자에 대한 평가를 서버에 요청하며 - 요청은 소스 심전도 이미지를 포함함; 상기 서버에 의해 심전도 이미지에 기반한 대상 환자의 평가 정보를 생성하고, 상기 대상 환자의 평가 정보를 사용자 단말로 전송하며, 상기 사용자 단말에 의해 대상 환자의 평가 정보에 기초하여 보고 화면을 표시하는 심전도 이미지에 기반한 환자 평가 시스템 및 방법에 관련된다.

Description

심전도 이미지에 기반한 환자 평가 시스템 및 방법 {SYSTEM AND METHOD FOR EVALUATING PATIENT BASED ON ECG IMAGE}
본 출원의 실시예들은 환자의 상태를 평가하는 기술에 관한 것으로서, 보다 상세하게는 심전도 이미지에 기반하여 부정맥 등을 포함한 환자의 상태를 평가하고 평가 정보를 표시하는 환자 평가 시스템 및 방법에 관한 것이다.
국내의 경제성장과 생활환경이 서구화됨에 따라 심장질환이 암, 뇌혈관질환과 더불어 한국인의 주요 사망원인 중 하나로 부각되고 있다. 이러한 심장질환의 사전진단 및 예후관측에 있어서 가장 중요한 신호는 심장의 활동에서 발생되는 심전도(electrocardiogram: ECG) 신호이다.
일반 병원에서는 병원을 내원한 환자에 대해 약 2, 3분 정도의 심전도 검사를 실시하여 환자의 상태를 모니터링 함으로써 심장의 이상 유무를 진단할 수 있다. 이 때 의료진은 심전도 신호의 파형을 분석하여 환자의 심장 질환 여부를 진단한다.
그러나, 심전도 신호만으로 다양한 심장 질환 중 환자가 갖고 있는 특정 심장 질환을 진단하는 것은 경력이 많은 전문 의료진에게도 어렵다. 미약한 세기로 비슷한 파형이 반복되는 심전도 신호 상에서, 관상동맥질환(coronary artery disease: CAD), 전해질 이상, 쇼크, 폐부종, 호흡부전, 심근염과 같은 혈관 관련 응급 질환군; 심실 부전, 판막 이상과 같은 심기능 이상 질환군; 부정맥(arrhythmia) 등과 같이 수많은 세부 질환으로 분류 가능한 다양한 심장 질환을 정확히 분석해야 하기 때문이다.
컴퓨터 장치를 통해 특정 부정맥을 갖고 있는 지와 같은 특정 세부 질환을 분석하려는 시도가 있으나, 부정맥을 갖고 있는 환자의 다른 심장 질환을 동시에 판단하는데 있어서는 정확도가 낮은 한계가 있다. 부정맥을 갖고 있는 환자의 심전도 신호는 이미 심장의 리듬이 불규칙하거나 심박동 수가 비정상적인 부정맥 증상의 영향을 받아 비정상적인 파형으로 구현되는데, 이 비정상적인 파형에 의해서는 부정맥에 의한 것인지 또는 다른 심장 질환에 의한 것인지 분석하기 어렵기 때문이다.
특허공개공보 10-2014-0063100 (2014.05.27.)
본 출원의 다양한 측면에 따르면 심전도 이미지에 기반하여 부정맥 등을 포함한 다양한 심장 질환을 환자가 갖고 있는지 평가하고 평가 정보를 표시한 보고 화면을 생성하는 환자 평가 시스템 및 방법, 그리고 이를 기록한 컴퓨터 판독가능 기록매체를 제공하는데 목적이 있다.
본 출원의 일 측면에 따른 심전도 이미지에 기반한 환자 평가를 위한 사용자 단말은 프로세서; 촬영부; 및 디스플레이부를 포함한다. 상기 사용자 단말은, 대상 환자의 소스 심전도 이미지를 획득하고, 상기 소스 심전도 이미지를 포함한 요청을 서버로 전송하며, 상기 대상 환자에 대한 평가 정보를 서버로부터 수신하고, 그리고 상기 평가 정보에 기초한 보고 화면을 표시하도록 구성될 수도 있다. 상기 평가 정보는 심전도 이미지 및 대상 환자의 심장 리듬 평가 결과를 포함한 제1 진단 정보 중 하나 이상을 포함한다. 상기 보고 화면은 상기 심전도 이미지를 표시하는 제1 영역 및 상기 제1 진단 정보를 표시하는 제2 영역 중 하나 이상을 포함한다.
일 실시예에서, 상기 평가 정보는 대상 환자의 심장 리듬과 다른 측면의 평가 결과로서, 심장 리듬 카테고리와 다른 카테고리의 항목에 대한 대상 환자의 평가 값을 포함한 제2 진단 정보를 더 포함할 수도 있다. 상기 보고 화면은 상기 제2 진단 정보를 그래프로 표시하는 제3 영역을 더 포함한다.
일 실시예에서, 상기 제3 영역에서 그래프의 x축은 평가된 항목 중 적어도 일부를 나타내고 y축은 해당 항목에 대한 대상 환자의 평가 값을 나타내며, 각 항목별 평가 값은 표지자(pointer)로 표현될 수도 있다.
일 실시예에서, 상기 평가 정보는 항목에 대한 평가 값의 분포 정보를 더 포함할 수도 있다. 상기 보고 화면은 상기 항목에 대한 평가 값의 분포 정보가 평가 값의 표지자가 내부에 위치한, 제3 영역 상에 서브 영역으로 표현되도록 더 구성된다.
일 실시예에서, 상기 서브 영역은 각 평가 값의 분포의 신뢰 구간에 따른 형상의 길이를 가질 수도 있다.
일 실시예에서, 상기 제1 진단 정보는, 정상 리듬, 제1 그룹의 부정맥 종류 중 어느 하나, 또는 제2 그룹의 부정맥 종류 중 어느 하나를 선택하여 산출된 것이다. 상기 제1 진단 정보 내 대상 환자의 심장 리듬이 제2 그룹의 부정맥 종류일 경우, 상기 심전도 이미지 및 상기 제2 진단 정보만으로 이루어진 평가 결과를 포함한 상기 보고 화면을 표시하도록 구성된다.
일 실시예에서, 상기 제1 그룹의 부정맥 종류는 심방 조동, PSVT, 심방 빈맥, 심실 빈맥, 및 심박동기 중 하나 이상을 포함할 수도 있다. 상기 제2 그룹의 부정맥 종류는 미리 지정된 복수의 부정맥 종류 전체 중 상기 제1 그룹에 속하지 않는 나머지 부정맥 중 일부 또는 전부로 이루어진다.
일 실시예에서, 상기 사용자 단말은, 상기 소스 심전도 이미지를 획득하기 위해, 촬영 이미지에서 프레임 가이드 라인을 결정하기 위한 복수의 기준점을 선택하고; 그리고 상기 촬영 이미지 내 심전도 신호 영역의 크기를 결정된 프레임 가이드 라인에 맞게 조정하도록 더 구성될 수도 있다.
일 실시예에서, 결정된 프레임 가이드 라인은 심전도 신호 영역을 포함하는 것으로서, 선택된 복수의 기준점 중 적어도 일부는 프레임 가이드 라인의 내부에 위치한다.
일 실시예에서, 상기 사용자 단말은, 상기 소스 심전도 이미지를 익명화하기 위해 환자의 개인 정보를 표시한 영역을 제거하도록 더 구성될 수도 있다.
본 출원의 다른 일 측면에 따른 심전도 이미지에 기반한 환자 평가를 위한, 사용자 단말과 통신하는 서버는, 사용자 단말로부터 심전도 신호 영역을 포함한 대상 환자의 소스 심전도 이미지를 수신하고, 그리고 상기 소스 심전도 이미지에 기초하여 대상 환자의 평가 정보를 생성하도록 구성될 수도 있다. 상기 평가 정보는 심전도 이미지, 대상 환자의 심장 리듬 평가 결과를 포함한 제1 진단 정보 및 심장 리듬 카테고리와 다른 카테고리의 항목에 대한 대상 환자의 평가 값을 포함한 제2 진단 정보 중 하나 이상을 포함한다.
일 실시예에서, 상기 서버는, 상기 대상 환자의 평가 정보를 생성하기 위해, 상기 소스 심전도 이미지에서 심전도 신호의 파형 데이터를 추출하고; 그리고 추출된 파형 데이터에 기초하여 대상 환자에 대한 평가 정보를 생성하도록 구성될 수도 있다.
일 실시예에서, 상기 서버는, 입력 이미지에서 신호의 파형 데이터를 추출하도록 미리 학습된 제1 인공신경망; 및 파형 데이터를 입력하여 미리 지정된 항목에 대한 대상 환자의 평가 값을 산출하도록 미리 학습된 제2 인공신경망을 포함할 수도 있다. 상기 제1 인공신경망은 2D(dimension)-CNN, VIT (Visual transformer) 또는 MLP(Multilayer Perceptron) 구조로 모델링되고, 상기 제2 인공신경망은 1D(dimension)-CNN 구조로 모델링된다.
일 실시예에서, 상기 서버는, 상기 소스 심전도 이미지를 입력하여 미리 지정된 항목에 대한 대상 환자의 평가 값을 산출하도록 미리 학습된 제3 인공신경망을 포함할 수도 있다. 상기 제3 인공신경망은 2D(dimension)-CNN, VIT (Visual transformer) 또는 MLP(Multilayer Perceptron) 구조로 모델링된다.
상술한 실시예들에서, 상기 제2 인공신경망 또는 제3 인공신경망은 다중-레이블 출력단을 갖도록 모델링된 것으로서, 미리 지정된 항목 각각에 해당할 가능성을 개별적으로 나타낸, 절대적 평가 값을 산출한다.
상술한 실시예들에서, 상기 제2 인공신경망 또는 제3 인공신경망은 다중-레이블 출력단을 갖도록 모델링된 것으로서, 산출되는 항목별 평가 값의 합산은 1이 되는 확률분포 관계를 가진다.
상술한 실시예들에서, 상기 서버는, 항목별 평가 값에 대한 분포 정보를 산출하도록 더 구성될 수도 있다. 상기 분포 정보는, 동일한 입력 값을 이용해 동일한 평가 동작을 반복하여 산출된, 각 차례별 항목에 대한 평가 값으로 형성된 특정 분포 또는 2 인공신경망 또는 제3 인공신경망의 훈련(training) 시 활용되는 증가(augmentation) 기법을 동일한 입력 값에 적용한 변형 입력 값으로 평가 동작을 수행하여 산출된, 각 차례별 항목에 대한 평가 값으로 형성된 특정 분포에 기초한 것이다.
상술한 실시예들에서, 상기 서버는, 상기 제2 인공신경망 또는 제3 인공신경망을 통해 대상 환자의 심장 리듬의 종류를 결정하고, 상기 대상 환자의 심장 리듬이 제1 그룹의 부정맥 종류일 경우, 심장 리듬과 다른 카테고리 항목에 대한 평가를 수행하지 않고 대상 환자의 심장 리듬에 대한 평가 결과, 또는 상기 심전도 이미지 및 대상 환자의 심장 리듬에 대한 평가 결과를 포함한 평가 정보를 곧바로 생성할 수도 있다.
일 실시예에서, 상기 서버는, 상기 소스 심전도 이미지에서 심전도 신호 영역을 크로핑하고, 크로핑된 이미지를 원근 변환 처리하여 관점(view), 크기 및 형태 중 적어도 하나가 변환된 변환 이미지를 생성하며, 소스 심전도 신호에서 심전도 신호 영역의 원본 측면비(aspect ratio)를 산출하고, 그리고 변환 이미지의 측면비를 원본 측면비로 보정하여 심전도 신호 패치를 생성하고, 그리고 상기 심전도 신호 패치에 기초하여 대상 환자의 평가 정보를 생성할 수도 있다.
본 출원의 또 다른 일 측면에 따른 심전도 이미지에 기반한 환자 평가 방법은: 사용자 단말에 의해 대상 환자의 소스 심전도 이미지를 획득하는 단계; 상기 사용자 단말에 의해 대상 환자에 대한 평가를 서버에 요청하는 단계 - 요청은 소스 심전도 이미지를 포함함; 상기 서버에 의해 심전도 이미지에 기반한 대상 환자의 평가 정보를 생성하고, 상기 대상 환자의 평가 정보를 사용자 단말로 전송하는 단계; 및 상기 사용자 단말에 의해 대상 환자의 평가 정보에 기초하여 보고 화면을 표시하는 단계를 포함할 수도 있다.
본 출원의 또 다른 일 측면에 따른 컴퓨터 판독가능 기록매체는, 프로세서에 의해 실행될 경우, 상술한 실시예들에 따른 심전도 이미지에 기반한 환자 평가 방법을 수행하기 위한 프로그램을 기록할 수도 있다.
본 출원의 일 측면에 따른 심전도 이미지에 기반한 환자 평가 시스템은 심전도 이미지에 기반하여 부정맥과 같은 심장 리듬 측면 및 다른 심장 질환/상태 이벤트와 같은 다른 측면에서 대상 환자의 상태를 평가할 수도 있다.
또한, 심전도 이미지에 기반한 환자 평가 시스템은 다양한 측면의 평가 결과를 사용자가 시각적으로 간편하게 인식하도록 구성된 보고 화면을 사용자에게 제공할 수도 있다.
본 출원의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 출원 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 본 출원의 일 측면에 따른, 심전도 이미지에 기반한 환자 평가 시스템의 동작의 개략도(schematic drawing)이다.
도 2는, 본 출원의 일 실시예에 따른, 제1 분석 군의 평가 정보를 도시한 테이블 도면이다.
도 3은, 본 출원의 일 실시예에 따른, 심전도 이미지 및 분석 결과를 포함한 보고 화면을 도시한 도면이다.
도 4는, 본 출원의 일 실시예에 따른, 평가 정보를 요약한 화면을 도시한 도면이다.
도 5는, 본 출원의 일 실시예에 따른, 대상 환자에 대한 보조 정보를 입력하기 위한 인터페이스 화면을 도시한다.
도 6은, 본 출원의 일 실시예에 따른, 매칭 환자의 군집을 표시한 제1 매칭 화면을 도시한 도면이다.
도 7은, 본 출원의 일 실시예에 따른, 단일 환자에 대해서 시간에 따른 평가 정보를 산출하기 위한 제2 매칭 화면을 도시한 도면이다.
도 8은, 본 출원의 일 실시예에 따른, 심전도 이미지에 기반한 환자 평가 방법의 흐름도이다.
도 9a 내지 도 9c는, 본 출원의 일 실시예에 따른, 프레임 가이드 라인에 따라 소스 심전도 이미지를 획득하는 과정을 도시한 도면이다.
도 10은, 본 출원의 다른 일 실시예에 따른, 프레임 가이드 라인에 따라 소스 심전도 이미지를 획득하는 과정을 도시한 도면이다.
도 11은, 본 출원의 일 실시예에 따른, 심전도 이미지를 익명화하는 인터페이스 화면을 도시한다.
실시예들은 여기에 첨부된 도면들을 참조하여 설명될 것이다 그러나, 여기에 개시된 원리들은 많은 상이한 형태로 구현될 수도 있으며 여기에서 기재된 실시예로 제한되어 생각되지 않아야 한다. 발명의 상세한 설명에서, 잘 알려진 특징 및 기술에 대한 상세한 설명이 실시예의 특징을 불필요하게 불명확하게 하는 것을 피하기 위해 생략될 수도 있다.
여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 출원을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
이하에서, 도면을 참조하여 본 출원의 실시예들에 대하여 상세히 살펴본다.
시스템 아키텍처
도 1은, 본 출원의 일 측면에 따른, 심전도 이미지에 기반한 환자 평가 시스템의 동작의 개략도(schematic drawing)이다.
도 1을 참조하면, 심전도 이미지에 기반한 환자 평가 시스템(1)은 사용자 단말(10) 및 서버(20)를 포함한다.
실시예들에 따른 심전도 이미지에 기반한 환자 평가 시스템(1)은 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 시스템은 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "장치", 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
사용자 단말(10)은 데이터 통신할 수 있는 모든 종류의 단말일 수도 있다. 사용자 단말(10)은 프로세서를 포함하며, 데이터 망(예컨대, 인터넷)에 무선으로 접속하는 무선단말(예; 핸드폰, PDA(Personal Digital Assistant), 노트북, 스마트 폰(smart phone) 등) 또는, 데이터망에 유선 접속하는 유선단말(예: PC, 노트북, 키오스크 등)일 수도 있다.
사용자 단말(10)은 평가의 대상 환자의 심전도 이미지를 획득한다. 상기 심전도 이미지는 심전도 신호를 표현한 영역을 포함한다. 상기 심전도 이미지는 심전도 신호를 나타낸 다수의 파형을 포함할 수도 있다.
상기 심전도 이미지는 심전도 측정기기에 의존한다. 심전도 측정기기가 12리드를 가질 경우, 심전도 이미지는 각 리드별 심전도 신호의 파형을 포함할 수도 있다.
사용자 단말(10)은 심전도 이미지를 촬영하기 위한 촬영부(미도시)를 포함할 수도 있다. 상기 촬영부는 카메라, 이미지 센서, 또는 상기 심전도 신호의 파형을 촬영 가능한 기타 유닛을 포함할 수도 있다.
사용자 단말(10)은 심전도 신호를 표면 상에 표시하는 객체(예컨대, 인쇄물, 디스플레이 장치)을 촬영하여 소스 심전도 이미지를 획득할 수도 있다. 소스 심전도 이미지에서 심전도 신호의 구간은 촬영 시야에 의존한다.
이와 같이, 상기 환자 평가 시스템(1)에서 활용되는 심전도 이미지는 심전도 신호 영역만으로 이루어진 이미지로 제한되지 않으며, 심전도 신호 영역 및 다른 영역으로 이루어진 이미지일 수도 있다.
또한, 사용자 단말(10)은 외부 기기로부터 대상 환자의 심전도 이미지를 수신할 수도 있다. 사용자 단말(10)은 유무선 전기 통신을 통해 외부 기기에서 촬영되거나 미리 저장된 심전도 이미지 데이터를 수신할 수도 있다. 사용자 단말(10)은 평가 대상인 환자에 관한 정보를 서버(20)로 전송할 수도 있다. 또한, 사용자 단말(10)은 대상 환자에 대한 평가 정보를 회신 받을 수도 있다.
사용자 단말(10)은 서버(20) 또는 외부기기와 통신이 가능하도록, 데이터 통신을 할 수 있는 모든 종류의 단말일 수도 있다. 예컨데, 상기 사용자 단말(10)은 프로세서를 포함하며, 데이터망(예; 인터넷)에 무선 접속하는 무선단말(예; 핸드폰, PDA(Personal Digital Assistant), 노트북, 스마트 폰(smart phone) 등) 또는, 데이터망에 유선 접속하는 유선단말(예: PC, 노트북, ATM 등)일 수도 있다.
또한, 사용자 단말(10)은 대상 환자의 심전도 이미지를 저장할 수도 있다. 사용자 단말(10)은 대상 환자의 심전도 이미지와 연관된 정보를 더 저장할 수도 있다. 상기 심전도 이미지와 연관된 정보는 대상 환자에 관한 정보, 및/또는 평가 정보를 포함할 수도 있다.
상기 환자에 관한 정보는 환자의 개인 정보를 포함한다. 환자의 개인 정보는 환자의 성명, 주민번호, 성별, 나이, 주소 등을 포함할 수도 있다.
사용자 단말(10)은 대상 환자에 대한 평가 정보를 사용자에게 제공하도록 구성된다. 특정 실시예들에서, 상기 사용자 단말(10)은 평가 정보를 표시할 수도 있다. 이를 위해 사용자 단말(10)은 정보를 표시하는 디스플레이부(미도시)를 포함할 수도 있다.
이러한 사용자 단말(10)의 동작에 대해서는 아래의 도 3, 도 8 내지 도 11을 참조해 보다 상세히 서술한다.
서버(20)는 심전도 이미지에 기반하여 대상 환자의 상태를 평가하여, 상기 대상 환자의 평가 정보를 생성한다. 상기 평가 정보는 심전도 이미지를 분석한 결과로서, 대상 환자의 상태를 심장 관점에서 평가한 정보를 포함한다.
서버(20)는 네트워크 서버로 구현되는 다수의 컴퓨터 시스템 또는 컴퓨터 소프트웨어로서, 사용자 단말(10)의 데이터(예컨대, 이미지 데이터)를 유/무선의 네트워크를 통해 수신하도록 구성된다. 여기서, 네트워크 서버란, 사설 인트라넷 또는 인터넷과 같은 컴퓨터 네트워크를 통해 다른 네트워크 서버와 통신할 수 있는 하위 장치와 연결되어 작업 수행 요청을 접수하고 그에 대한 작업을 수행하여 수행 결과를 제공하는 컴퓨터 시스템 및 컴퓨터 소프트웨어(네트워크 서버 프로그램)를 의미한다. 그러나 이러한 네트워크 서버 프로그램 이외에도, 네트워크 서버 상에서 동작하는 일련의 응용 프로그램과 경우에 따라서는 내부에 구축되어 있는 각종 데이터베이스를 포함하는 넓은 개념으로 이해되어야 할 것이다.
이러한 사용자 단말(10) 및 서버(20)는 심전도 이미지에 기반한 환자 평가 동작을 수행하기 위한 소프트웨어(애플리케이션)가 설치되어 실행될 수도 있으며, 사용자 단말(10) 및 서버(20)의 구성은 설치된 소프트웨어에 의해 제어될 수도 있다. 사용자 단말(10), 서버(20)에서 적어도 부분적으로 각각 수행되는 심전도 이미지에 기반한 환자 평가 동작은 아래의 도 2 내지 도 11을 참조해 보다 상세히 서술한다.
심전도 이미지 기반 환자 평가
상기 서버(20)는 사용자 단말(10)로부터 수신한 심전도 이미지에 기초하여 환자의 상태를 평가한 것을 서술하는 평가 정보를 산출할 수도 있다. 상기 서버(20)는 심전도 이미지 데이터를 처리하고, 처리 데이터에 기초해 환자의 상태가 미리 저장된 항목 중 적어도 하나의 항목에 해당하는지 결정하여 평가 정보를 생성할 수도 있다.
환자의 상태를 평가하는 것은 환자가 특정 심장 질환을 갖고 있는지 여부, 환자의 생체 정보(예컨대, 전해질 농도 등)가 심장 질환에 준하는 위급한 상태 이벤트를 야기할 수 있는지 여부, 미래의 환자의 상태 예측 등을 포함한다. 이를 위해, 서버(20)는 다양한 측면에서 대상 환자의 심전도 이미지를 분석한다.
서버(20)는 부정맥과 같은 심장 리듬 측면, 응급 상황 측면, 심 기능 측면, 기타 질환/상황 측면에서 대상 환자의 심전도 이미지를 분석하여 대상 환자의 상태를 평가(또는 결정)할 수도 있다. 이러한 서버(20)의 평가 정보는 아래의 도 3의 보고 화면을 생성하는데 사용된다.
일 실시예에서, 서버(20)는 대상 환자를 리듬 측면에서 평가할 수도 있다. 평가 정보에 포함되는 항목은 심장 리듬의 종류를 포함할 수도 있다.
상기 심장 리듬의 종류는 정상 리듬(Normal Sinus Rhythm) 또는 복수의 부정맥 종류를 포함할 수도 있다. 상기 복수의 부정맥 종류는, 예를 들어 동성 서맥 (Sinus Bradycardia), 2도 1형 방실차단(Mobitz I, 또는 2nd Degree Type I Heart Block, Wenckebach로 지칭됨), 심실 세동(Ventricular Fibrillation), PVT(Polymorphic Ventricular Tachycardia), 심실 빈맥(Ventricular Tachycardia), 3도 방실 차단(3rd Degree Heart Block), 1도 방실 차단(1st Degree Heart Block), 방실 리듬(Nodal Rhythm), 심방 조동(Atrial Flutter), 심방 세동(Atrial Fibrillation), 2도 2형(2nd Degree Type II), ST 상승 동리듬(Sinus Rhythm with ST elevation), 단초점의 PVC 및 2행의 동성 빈맥(Sinus Tachycardia with unifocal PVC's and couplets), MAT(Multifocal Atrial Tachycardia), PSVT(Paroxysmal Supraventricular Tachycardia), 심실 이단맥을 갖는 동리듬(Sinus Rhythm with Ventricular Bigeminy), 심방 빈맥(Atrial tachycardia), 접합부 박동(Junctional rhythm), 심박동기(Electronic pacemaker)를 포함한 다수의 부정맥 리듬으로 이루어질 수도 있다.
서버(20)는 대상 환자의 심전도 이미지 또는 심전도 신호에 기초하여 대상 환자가 해당하는 심장 리듬의 종류를 결정할 수도 있다. 서버(20)는 각각 심장 리듬의 종류를 가리키는 복수의 항목으로 이루어진 심장 리듬 카테고리를 저장할 수도 있다. 이 카테고리에는 전술한 복수의 부정맥 종류를 각각 가리키는 복수의 항목으로 이루어질 수도 있다.
서버(20)는 심전도 이미지의 분석 결과가 정상 리듬을 가리키는 항목에 해당하는 것으로 산출되면, 대상 환자의 심장 리듬을 정상 리듬으로 결정할 수도 있다.
또는, 서버(20)는 대상 환자의 심장 리듬이 정상 리듬으로 분류할 수 없을 경우, 미리 지정된 복수의 부정맥 종류 중 해당하는 부정맥 종류로 결정할 수도 있다.
또한, 서버(20)는 심장 리듬과 다른 측면에서 대상 환자의 상태를 평가하도록 더 구성될 수도 있다.
즉, 서버(20)는 동일한 대상 환자에 대해서, 부정맥과 같은 심장 리듬의 종류를 결정하는 것과 더불어 대상 환자가 다른 측면의 항목에 해당하는 지를 결정할 수도 있다.
도 3은, 본 출원의 일 실시예에 따른, 다양한 측면의 항목을 도시한 평가 테이블 도면이다.
도 3을 참조하면, 상기 다른 측면의 항목은 심 기능 이상(dysfunction)에 연관된 심장 질환; 응급 상황에 연관된 상태 이벤트 또는 질환; 및/또는 기타 상태 이벤트/질환을 포함할 수도 있다. 서버(20)는 하나 이상의 항목으로 이루어진 심 기능 이상 카테고리; 하나 이상의 항목으로 이루어진 응급 상황 카테고리; 및/또는 기타 상태 이벤트/질환 카테고리를 저장할 수도 있다.
응급 상황 카테고리는 대상 환자의 상태가 응급 상황으로 진단될 수도 있는, 질환 또는 상태를 가리키는 항목으로 이루어진다. 상기 응급 상황 카테고리는 다수의 그룹으로 분류될 수도 있다. 각 그룹은 적어도 하나의 항목으로 이루어질 수도 있다.
일 실시예에서, 응급 상황 카테고리는 심장/혈관 이상 그룹; 전해질 이상 그룹; 쇽(shock) 그룹; 심정지 그룹; 폐부종 그룹; 호흡부전 그룹; 심근염 그룹; 부정맥 유발성 우심실 심근병증 중 하나 이상의 그룹으로 분류될 수도 있다. 각 그룹은 도 3의 항목들의 일부 또는 전부로 이루어질 수도 있다.
심기능 이상 카테고리는 대상 환자의 상태가 심기능 이상으로 진단될 수도 있는, 질환 또는 상태를 가리키는 항목으로 이루어진다. 심기능 이상 카테고리는 다수의 그룹으로 분류될 수도 있다. 각 그룹은 적어도 하나의 항목으로 이루어질 수도 있다.
일 실시예에서, 심기능 이상 카테고리는 수축력 유지된 좌심실 부전; 수축력 유지 안 되는 좌심실 부전; 우심실 부전; 판막 기능 이상; 심근병증; 심낭 삼출; 및/또는 심장 눌림증(또는 압전) 중 하나 이상의 그룹으로 분류될 수도 있다. 각 그룹은 도 3의 항목들의 일부 또는 전부로 이루어질 수도 있다.
판막 기능 이상 그룹은 부위별 증상을 각각 가리키는 항목으로 이루어진다. 예를 들어, 판막 기능 이상 그룹은 삼천판, 이첨판, 폐동맥, 대동맥 등의 부위에 대한 협착, 역류 증상을 각각 가리키는 항목으로 이루어질 수도 있다.
심근병증 그룹은 하나 이상의 병증을 가리키는 항목으로 이루어진다. 예를 들어, 심근병증 그룹은 비후성 심근병증, 스트레스성 심근병증, 이완성 심근병증, 허혈성 심근병증 등을 각각 가리키는 다수의 항목으로 이루어질 수도 있다.
일 실시예에서, 유전성 부정맥 카테고리는 부정맥 종류 중 일부를 초래할 수 있는 기저 심질환의 항목으로 이루어질 수도 있다. 상기 유전성 부정맥 카테고리 내 항목들은 부정맥을 유발할 가능성이 높은 다양한 기저 심질환을 가리킨다.
예를 들어, 유전성 부정맥 카테고리는 브루가다 증후군 (Brugada syndrome), 긴QT증후군 (Long QT syndrome), 카테콜라민성 다형성 심실빈맥, 짧은QT증후군 (Short QT syndrome), 조기재분극증후군 (Early repolarization syndrome), 특발성 심실빈맥, 비후성심근병증, 및/또는 부정맥 유발성 우심실 심근병증 중 하나 이상의 항목을 포함할 수도 있다.
일부 실시예들에서, 서버(20)는 대상 환자가 부정맥을 갖는 것으로 결정된 경우에 그 종류가 대상 환자의 심전도 신호의 베이스 라인에 영향을 주지 않는 경우에만 대상 환자가 상기 유전성 부정맥 카테고리에 해당하는 적어도 하나의 항목을 갖는지 판단할 수도 있다. 유전성 부정맥 카테고리에 기저 심질환 항목은 미리 지정된 복수의 부정맥 종류 중 일부 부정맥 종류에만 연관된다. 이러한 부정맥에 대해서는 아래에서 보다 상세히 서술한다.
기타 질환/상황은 전술한 카테고리에는 포함되지 않았지만 환자의 상태를 평가하는데 고려될 수 있는 질환/상황으로 이루어진다.
서버(20)는 대상 환자의 심전도 이미지 또는 심전도 신호에 기초하여 심장 리듬과 다른 측면의 항목에 해당하는지를 결정하여 대상 환자를 평가할 수도 있다.
일 실시예에서, 상기 서버(20)는 심전도 이미지에서 심전도 신호의 파형 데이터를 추출하고; 추출된 파형 데이터에 기초하여 대상 환자를 평가할 수도 있다.
서버(20)는 입력 이미지에서 신호의 파형 데이터를 추출하도록 미리 학습된 제1 인공신경망을 포함할 수도 있다.
상기 제1 인공신경망은 입력 이미지에서 리드(L)의 수에 따라 시계열 데이터를 파형 데이터로서 추출하도록 모델링된 것이다.
일 실시예에서, 제1 인공신경망은 소정 길이의 1차원 벡터를 출력할 수도 있다. 이 길이는 미리 설정된 시간 간격이다. 일 예시에서, 시간 간격의 하이퍼파라미터(N)이 제1 인공신경망에 대해 미리 설정되면, 제1 인공신경망은 리드(L1, L2, L3, ..., Lm)별로 1차원의 벡터의 세트(NL1, NL2, NL3,..., NLm)을 산출한다.
일 예시에서, 상기 제1 인공신경망은 다중 출력단을 갖는 구조로 모델링될 수도 있다. 각 출력단은 심전도 측정기기의 리드 각각에 대응한다.
상기 제1 인공신경망은 입력 이미지의 각 픽셀이 신호의 파형인지 분류하기 위한, 다양한 네트워크 구조로 모델링될 수도 있다. 예를 들어, 제1 인공신경망은 2D-CNN, VIT (Visual transformer), MLP(Multilayer Perceptron) 등의 구조 또는 기타 기계학습 네트워크 구조로 모델링될 수도 있다.
이러한 제1 인공신경망에서 산출된 심전도 신호의 파형 데이터는 입력 파형 데이터로부터 대상 환자를 평가하는 다른 인공신경망에 공급된다.
서버(20)는 입력 데이터로부터 상기 대상 환자가 미리 지정된 다른 측면의 항목에 해당할 가능성을 나타낸 평가 값을 산출할 수도 있다. 평가 값은 대상 환자가 항목의 질환을 가질 확률 또는 상태 이벤트인 확률을 나타낸다. 서버(20)는 이러한 평가 값을 포함한 평가 정보를 생성할 수도 있다.
또한, 서버(20)는 항목별 평가 값에 기초하여 적어도 하나의 항목을 선택할 수도 있다. 선택된 항목은 대상 환자가 갖는 것으로 결정(또는 진단)되는 질환 또는 상태 이벤트를 가리킨다. 서버(20)는 해당하는 정도가 가장 높은 항목 또는 해당하는 정도가 상대적으로 높은 다수의 항목을 선택할 수도 있다. 서버(20)는 이러한 선택 결과를 포함한 평가 정보를 생성할 수도 있다.
일 실시예에서, 서버(20)는 파형 데이터를 입력하여 미리 지정된 항목에 대한 대상 환자의 평가 값을 산출하도록 미리 학습된 제2 인공신경망 및/또는 심전도 이미지를 입력하여 미리 지정된 항목에 대한 대상 환자의 평가 값을 산출하도록 미리 학습된 제3 인공신경망을 포함할 수도 있다.
제2 인공신경망은 입력 파형 데이터를 처리하여, 미리 지정된 항목에 대한 대상 환자의 평가 값을 산출하도록 모델링된 것이다. 서버(20)는 상기 제1 인공신경망에서 출력된 1차원 벡터의 세트를 제2 인공신경망에 입력 파형 데이터로서 입력할 수도 있다.
제2 인공신경망은 리드별 1차원 벡터의 세트가 입력되면 이를 처리하여 대상 환자의 상태가 미리 지정된 항목 각각에 해당할 확률을 산출한다.
상기 제2 인공신경망은 세트 내 각 1차원 벡터의 값들에 기초하여 각 평가 항목에 해당할 가능성을 산출하기 위한, 다양한 네트워크 구조로 모델링될 수도 있다. 예를 들어, 제2 인공신경망은 완전연결층 구조 또는 기타 1D-CNN 구조로 모델링될 수도 있다.
제3 인공신경망은 심전도 신호가 서브 영역으로 표현된 심전도 이미지(예컨대, 심전도 신호 패치)를 처리하여, 입력 이미지로부터 곧바로 미리 지정된 항목에 대한 대상 환자의 평가 값을 산출하도록 모델링된 것이다. 서버(20)는 제1 인공신경망을 통해 심전도 이미지에서 신호의 파형 데이터를 추출하는 대신, 제3 인공신경망을 통해 이미지 데이터를 처리하여 대상 환자의 평가 값을 산출할 수도 있다.
상기 제3 인공신경망은 입력 이미지를 처리하여 미리 지정된 항목에 대한 평가 값을 산출하기 위한, 다양한 네트워크 구조로 모델링될 수도 있다. 예를 들어, 제3 인공신경망은 2D-CNN, VIT (Visual transformer), MLP(Multilayer Perceptron) 등의 구조 또는 기타 기계학습 네트워크 구조로 모델링될 수도 있다.
제2, 제3 인공신경망은 내부 값에 다양한 활성화 함수(예컨대, sigmoid 또는 ReLU 함수 등)를 적용해 연산을 수행할 수도 있다.
상기 서버(20)는 상기 제2, 제3 인공신경망을 통해 평가 값 및/또는 항목 선택 결과를 산출할 수도 있다.
상기 제2 및 제3 인공신경망은 대상 환자의 상태를 평가하는, 일종의 분석용 인공신경망이므로, 동일 또는 유사한 구조, 기능을 적어도 부분적으로 가질 수도 있다.
상기 평가 값의 산출 형태는 제2, 제3 인공신경망의 출력단에 의존한다.
일 실시예에서, 제2 인공신경망 및 제3 인공신경망 중 적어도 하나의 인공신경망은 미리 지정된 항목 각각에 해당할 가능성을 개별적으로 나타낸, 절대적 평가 값을 산출할 수도 있다. 이러한 인공신경망은 다중-레이블 출력단을 갖도록 모델링된다. 그러면, 서버(20)에서 대상 환자가 각각의 항목의 질환 또는 상태 이벤트를 갖는 지 여부가 독립적으로 판단된다.
예를 들어, 제2 인공신경망 또는 제3 인공신경망이 해당 인공신경망에서의 연산 결과를 sigmoid 함수 및 softmax 함수를 통해 N개의 미리 지정된 항목에 대해 평가 값을 산출하도록 구성된 것을 가정해보자. 이들 인공신경망 중 적어도 하나가 절대적 평가 값을 산출하도록 구성되면, 해당 인공신경망은 N개의 항목 각각에 대한 N개의 절대적 평가 값을 산출할 수도 있다. 개별 절대적 평가 값은 0 내지 1 범위의 실수(real number)로 각각 산출된다. 서버(20)는 N개의 절대적 평가 값에 기초하여 N개 항목 각각에 대한 독립적인 항목 평가를 제공할 수도 있다.
일 실시예에서, 제2 인공신경망 및 제3 인공신경망 중 적어도 하나의 인공신경망은 미리 지정된 항목 범위 내에서 어느 항목에 해당할 상대적 가능성을 나타낸, 상대적 평가 값을 산출하도록 구성될 수도 있다. 이러한 인공신경망은 다중-클래스 출력단을 갖도록 모델링된다. 각 항목은 클래스로 취급된다.
제2 인공신경망 또는 제3 인공신경망이 소프트맥스 함수(softmax function)와 같은 확률 함수를 사용하여 N개의 미리 지정된 항목에 대해 평가 값을 산출하도록 구성된 것을 가정해보자. 이들 인공신경망 중 적어도 하나가 상대적 평가 값을 산출하도록 구성되면, 산출된 평가 값은 항목별로 0 내지 1 범위의 실수(real number)로 산출되며, N개의 이들 실수 값은 모두 합산하면 1이 되는 확률분포 관계를 가진다.
예를 들어, 이 인공신경망이 도 3의 항목들에 대해서 평가 값을 산출할 경우, 도 3의 각 항목에 대한 평가 값의 총 합산은 1을 이룬다.
그러면, 서버(20)는 상대적 평가 값에 기초하여 적어도 하나의 항목을 대상 환자가 갖는 질환 또는 상태 이벤트로 선택할 수도 있다. 예를 들어, 서버(20)는 여러 심장 리듬 항목 중 가능성이 높은 K개(K는 양수)의 항목을 선택하여 대상 환자의 심장 리듬에 대한 항목 평가로 산출할 수도 있다. 이와 같이, 선택 결과에는 전술한 실수 값으로 표현되는, 상대적 항목 평가가 적어도 부분적으로 반영된다.
일 실시예에서, 제2 인공신경망 및 제3 인공신경망 중 적어도 하나의 인공신경망은 심전도 신호에 연관된 하나 이상의 계측 수치를 산출하도록 더 구성될 수도 있다.
상기 계측 수치는 맥박 수, 분당 심방수축 횟수, PR 구간, QRS 구간, QT 구간, 교정된 QR 구간의 길이, 간격, QRS 축, P축, 및/또는 T축 등을 포함할 수도 있다. 이 경우, 서버(20)는 산출된 값을 곧바로 계측 수치로 사용하거나 또는 산출된 값을 스케일 처리한 것을 계측 수치로 사용할 수도 있다.
또한, 서버(20)는 심전도 신호로부터 심장의 나이를 산출하도록 구성될 수도 있다. 서버(20)는 심장 나이를 산출하도록 학습된 별도의 인공신경망을 통해 출생 기준의 나이와 다른 심장 나이를 산출할 수도 있다.
또한, 서버(20)는 심장칼슘점수의 추정치를 산출하도록 구성될 수도 있다. 서버(20)는 관상동맥의 칼슘침작 정도에 기초하여 심장칼슘점수의 추정치를 산출할 수도 있다.
또한, 서버(20)는 심장 내 헤모글로빈의 추정치를 산출하도록 구성될 수도 있다.
대안적인 실시예들에서, 상기 제2 인공신경망, 제3 인공신경망은 다수의 인공신경망을 포함할 수도 있다.
제2 인공신경망 또는 제3 인공신경망은 개별 평가 값 각각을 산출하는 서브 인공신경망을 포함할 수도 있다. 예를 들어, 서버(20)가 P개의 평가 값을 산출하도록 구성된 경우, 서브 인공신경망은 P개일 수도 있다.
제2 인공신경망 또는 제3 인공신경망은 적어도 둘 이상의 평가 값을 산출하는 서브 인공신경망을 포함할 수도 있다. 예를 들어, 서버(20)가 P개의 평가 값을 산출하도록 구성된 경우, 서브 인공신경망은 Q개일 수도 있다(Q<P).
서버(20)는 이러한 항목별 평가 값, 선택 결과, 계측 수치를 항목 평가로서 산출할 수도 있다.
추가적으로, 서버(20)는 항목별 평가 결과(예컨대, 평가 값)에 대한 분포 정보를 산출하도록 더 구성될 수도 있다.
일 실시예에서, 서버(20)는 동일한 입력 값을 이용해 동일한 평가 동작을 여러 차례 반복 수행하여 산출된, 각 차례별 항목에 대한 평가 값으로 형성된 특정 분포를 획득할 수도 있다.
일 실시예에서, 서버(20)는 제2 인공신경망 또는 제3 인공신경망의 훈련(training) 시 활용되는 증가(augmentation) 기법을 동일한 입력 값에 여러 차례 적용한 변형 입력 값으로 여러 차례 평가 동작을 수행하여 산출된, 각 차례별 항목에 대한 평가 값으로 형성된 특정 분포를 획득할 수도 있다.
일 실시예에서, 서버(20)는 동일한 입력 값을 서로 다른 인공신경망(예컨대, 제2 인공신경망 또는 제3 인공신경망)에 입력하여 각 인공신경망별 항목에 대한 평가 값으로 형성된 특정 분포를 획득할 수도 있다.
서버(20)는 전술한 특정 분포 중 일부 또는 전부를 선택하여 항목에 대한 평가 값의 분포 정보를 산출한다. 특정 분포 중 어느 하나가 곧바로 평가 값의 분포 정보로 사용되거나, 동일한 항목에 대한 평가 값의 복수의 특정 분포의 조합이 항목에 대한 평가 값의 최종 분포 정보로 사용될 수도 있다.
상기 분포 정보는 분포의 경향을 요약한 대표 값(예컨대, 평균, 중간 값 등), 분포 정도(예컨대, 신뢰 구간, 표준 편차, 표준 에러, 사분위 구간, 범위)를 포함한다.
서버(20)는 이러한 항목별 평가 값, 선택 결과, 계측 수치, 심장나이, 심장칼슘점수의 추정치, 헤모글로빈 추정치 및/또는 항목에 대한 평가 값의 분포 정보를 포함한 평가 정보를 생성한다.
일 실시예에서, 평가 정보는 심전도 이미지; 제1 진단 정보; 제2 진단 정보; 및 제3 진단 정보 중 하나 이상을 포함할 수도 있다.
상기 심전도 이미지는 평가에 직접 사용된 이미지로서, 예를 들어 소스 심전도 이미지 또는 소스 심전도 이미지에서 추출된, 심전도 신호 영역으로 이루어진 심전도 신호 패치(patch)일 수도 있다.
상기 제1 진단 정보는 심장 리듬을 포함한다. 상기 제1 진단 정보는, 상기 대상 환자가 가질 것으로 예측되는 복수의 부정맥 종류 중 적어도 하나의 부정맥 종류 또는 정상 리듬을 포함할 수도 있다.
상기 제2 진단 정보는 항목(즉, 질환/상태 이벤트) 및 항목의 평가 값을 포함한다. 예를 들어, 제1 진단 정보는 도 3의 항목에 기초한 대상 환자의 평가 값을 포함한다.
상기 제3 진단 정보는 심장나이, 심장칼슘점수의 추정치, 심전도 신호에 연관된 계측 수치 및 헤모글로빈의 추정치 중 하나 이상을 포함한다.
또한, 상기 평가 정보는 평가 시간, 평가 일자, 및/또는 환자의 개인 정보 중 적어도 일부(예컨대, 성명)를 더 포함할 수도 있다.
이러한 평가 정보는 사용자 단말(10)을 통해 사용자에게 제공된다.
추가적으로, 상기 복수의 부정맥 종류는 제1 그룹의 부정맥 종류 및 제2 그룹의 부정맥 종류로 구분될 수도 있다.
상기 제1 그룹의 부정맥 종류는 시스템 내 미리 지정된 복수의 부정맥 종류 일부에 해당하는 부정맥 종류로 이루어진다.
대상 환자가 제1 부정맥 종류에 속하는 심장 리듬을 가질 경우 상기 대상 환자의 심전도 신호는 다른 심장 질환 가능성을 정확하게 산출하기 어려운 파형을 가진다. 상기 제1 그룹에 해당하는 부정맥 종류는 대상 환자의 심전도 신호의 베이스 라인에 영향을 주기 때문이다. 대상 환자의 심전도 신호의 베이스 라인에는 이 제1 부정맥 종류의 영향이 항상 반영되어 있다.
일 실시예에서, 상기 제1 그룹의 부정맥 종류는 심방 조동, PSVT, 심방 빈맥, 심실 빈맥, 및/또는 심박동기 등을 포함한, 미리 지정된 부정맥 종류로 이루어질 수도 있다.
한편, 상기 제2 그룹의 부정맥 종류는 대상 환자의 심전도 신호와 무관한 것으로서, 대상 환자의 심전도 신호의 베이스 라인에 영향을 주지 않는다. 상기 제2 그룹의 부정맥 종류는 전술한, 미리 지정된 복수의 부정맥 종류 전체 중 상기 제1 그룹에 속하지 않는 나머지 부정맥 중 일부 또는 전부로 이루어질 수도 있다.
서버(20)가 대상 환자가 정상 리듬을 갖지 않는 것으로 결정할 경우, 서버(20)는 대상 환자가 미리 지정된 복수의 부정맥 종류 중 적어도 하나를 갖는 것으로 결정한다. 예를 들어, 서버(20)는 심장 리듬의 종류를 결정하도록 미리 학습된 상기 제2 인공신경망 또는 제3 인공신경망을 통해 대상 환자의 부정맥의 종류를 결정할 수도 있다. 결정된 부정맥 종류는 제1 그룹 또는 제2 그룹에 속한다.
상기 서버(20)는 대상 환자의 심장 리듬이 제2 그룹의 부정맥 종류로 결정될 경우, 서버(20)는 심장 리듬과 다른 측면의 항목에 대해 대상 환자를 평가하도록 구성될 수도 있다.
서버(20)에 의해 결정된 대상 환자가 가지는 심장 리듬의 종류가 제2 그룹에 속하는 부정맥 종류일 경우, 도 3등을 참조해 위에서 서술한 바와 같이, 심장 리듬 이외의 다양한 측면에서 평가한 결과를 사용자 단말(10)에 제공할 수도 있다. 예를 들어, 서버(20)가 제2 그룹의 부정맥 종류 중 어느 하나의 종류를 대상 환자의 심장 리듬으로 결정하면, 전술한 바와 같이, 심장 리듬 카테고리와 다른 카테고리에 해당하는지를 평가한 결과를 산출하고, 사용자 단말(10)에 제공한다.
서버(20)에 의해 결정된 대상 환자가 가지는 심장 리듬의 종류(들)가 제1 그룹에 속하는 부정맥 종류를 포함할 경우, 다양한 측면의 평가 결과 중 심장 리듬 측면의 평가 결과만을 포함한 평가 정보를 생성할 수도 있다.
서버(20)가 제1 그룹의 부정맥 종류 중 어느 하나의 종류를 대상 환자의 심장 리듬으로 결정하면, 다른 측면에 대해서 평가를 수행하지 않고 곧바로 평가 정보를 생성할 수도 있다. 즉, 심장 리듬과 다른 카테고리 항목에 대한 평가 값이 산출되지 않는다. 서버(20)는 대상 환자의 심장 리듬에 대한 평가 결과, 또는 상기 심전도 이미지 및 대상 환자의 심장 리듬에 대한 평가 결과를 포함한 평가 정보를 곧바로 생성한다.
그러면, 사용자 단말(10)에는 제1 그룹의 부정맥 종류 중 어느 하나의 종류로 결정된 대상 환자의 부정맥 평가를 포함한 평가 정보를 제공 받을 수도 있다.
보고 화면
사용자 단말(10)에는 서버(20)로부터 평가 정보를 수신하여 보고 화면을 표시하도록 구성될 수도 있다.
도 3은, 본 출원의 일 실시예에 따른, 심전도 이미지 및 평가 결과를 포함한 보고 화면을 도시한 도면이다.
도 3을 참조하면, 보고 화면은 심전도 이미지를 표시하는 제1 영역(1301); 제1 진단 정보를 표시하는 제2 영역(1310); 제2 진단 정보를 표시하는 제3 영역(1320); 및 제3 진단 정보를 표시하는 제4 영역(1330) 중 하나 이상을 포함하도록 구성된다.
제1 영역(1301)에 표시되는 심전도 이미지는 평가에 사용된 이미지로서, 예를 들어 심전도 신호 패치일 수도 있다.
서버(20)에 의해 대상 환자가 갖는 것으로 예측되는 심장 리듬의 종류가 선택되면, 선택된 심장 리듬의 종류 정보가 제2 영역(1310) 상에 표시된다. 예를 들어, 대상 환자에 대해 정상 리듬이 선택되면, 보고 화면 상에 정상 리듬을 가리키는 텍스트 또는 그림이 시각적으로 표시된다.
일 실시예에서, 제2 진단 정보의 항목 및 항목의 평가 값은 보고 화면에서 제3 영역(1320) 상에 그래프로 표시될 수도 있다. 제3 영역(1320)에서 그래프의 x축은 서버(20)에서 평가된, 미리 지정된 항목 중 적어도 일부를 나타내고 y축은 질환/상태 이벤트의 확률과 같은 해 당 항목에 대한 대상 환자의 평가 값을 나타낸다.
일 실시예에서, 항목별 평가 값은 제3 영역(1320) 상에서 표지자(pointer)로 표현될 수도 있다. 예를 들어, 도 4에 도시된 것처럼 항목별 평가 값은 붉은색 표지자로 표현되거나 또는 기타 색상의 표지자로 표현될 수도 있다. 사용자는 표지자의 위치를 통해 대상 환자가 해당 항목의 질환 또는 상태 이벤트를 가질 확률을 제공 받을 수도 있다.
또한, 제2 진단 정보는 항목에 대한 평가 값의 분포 정보를 더 포함할 수도 있다.
일 실시예에서, 상기 보고 화면은 상기 항목에 대한 평가 값의 분포 정보가 평가 값의 표지자가 내부에 위치한, 제3 영역(1320) 상에 서브 영역으로 표현되도록 더 구성될 수도 있다. 예를 들어, 도 4에 도시된 것처럼 항목별 평가 값을 가리키는 표지자를 감싸는 서브 영역이 해당 항목 평가에 대한 분포 정보를 가리킨다.
신뢰 구간 등의 분포 정보 내 세부 정보는 서브 영역의 형상으로 표현될 수도 있다. 예를 들어, 신뢰 구간은 서브 영역의 세로 길이로 표현될 수도 있다.
또한, 보고 화면은 대상 환자의 평가 정보를 요약한 정보에 대한 표시 명령을 유도하는 버튼(1400)을 표시하도록 더 구성될 수도 있다. 표시된 버튼(1400)을 선택하는 명령을 입력하면, 사용자 단말(10)은 이 명령의 입력에 반응하여 평가 정보를 요약한 화면을 사용자에게 제공할 수도 있다.
도 4는, 본 출원의 일 실시예에 따른, 평가 정보를 요약한 화면을 도시한 도면이다.
도 4를 참조하면, 요약 화면은 환자의 상태를 상대적으로 요약한 영역(1410)을 포함한다.
또한, 요약 화면은 대상 환자에게 현재 평가된 상태 하에서 추천할 것들을 표시한 영역(1420)을 더 포함할 수도 있다.
다시 도 3을 참조하면, 보고 화면은 평가와 관련된 하나 이상의 제어 명령을 유도하는 버튼(1510, 1520, 1530, 1540)을 표시하도록 더 구성될 수도 있다. 이들 버튼은 물리적 버튼 또는 디지털 이미지로 구현된 가상 버튼일 수도 있다.
일 실시예에서, 보고 화면은 새로운 평가 동작의 개시를 유도하는 버튼(1510); 현재 보고 화면에 표현된 평가 정보의 저장을 유도하는 버튼 (1520); 대상 환자에 대한 보조 정보의 입력을 유도하는 버튼 (1530); 및 대상 환자의 평가 정보의 관리를 유도하는 버튼 (1540) 중 하나 이상의 버튼을 더 포함할 수도 있다.
표시된 제8 버튼(1530)을 선택하는 명령을 입력하면, 사용자 단말(10)은 이 명령의 입력에 반응하여 대상 환자에 대한 보조 정보를 입력하기 위한 인터페이스 화면을 사용자에게 제공할 수도 있다.
도 5는, 본 출원의 일 실시예에 따른, 대상 환자에 대한 보조 정보를 입력하기 위한 인터페이스 화면을 도시한다.
도 5를 참조하면, 사용자 단말(10)은 보조 정보의 입력을 상기 인터페이스 화면을 통해 수신하도록 구성된다. 상기 보조 정보는 대상 환자의 나이, 성별, 주증상, 생체 신호(vital sign), 산호포화도, BMI, 및/또는 흡연 여부 등을 포함할 수도 있다.
도 5의 인터페이스 화면은 각 보조 정보를 입력하기 위한 입력란(1531)을 포함할 수도 있다.
사용자 단말(10)은 보조 정보를 입력 받으면 상기 보조 정보 및 상기 보조 정보에 기초하여 대상 환자에 대한 평가를 보정할 것을 요청하는 메시지를 서버(20)로 전송한다.
도 5의 인터페이스 화면은 보정 요청을 전송하는 버튼(1533)을 포함한다.
서버(20)는 상기 메시지를 수신하면, 보조 정보에 기초하여 대상 환자의 상태를 재-평가하여 새로운 평가 정보를 생성할 수도 있다. 예를 들어, 서버(20)는 상기 보조 정보에 기초하여 N년 내 심방세동 발생 위험도를 다시 산출할 수도 있다. 그러면, 도 3의 보고 화면이 새로운 평가 정보로 업데이트된다.
다시 도 3을 참조하면, 표시된 버튼(1540)을 선택하는 명령을 입력하면, 사용자 단말(10)은 이 명령의 입력에 반응하여 평가 정보가 매칭되는 환자들을 군집화한 결과를 표시하거나 또는 단일 환자의 시간에 따른 평가 정보를 표시하도록 더 구성될 수도 있다.
도 6은, 본 출원의 일 실시예에 따른, 매칭 환자의 군집을 표시한 제1 매칭 화면을 도시한 도면이다.
도 6을 참조하면, 사용자 단말(10)은 버튼(1540)을 선택하는 명령이 입력되면, 도 3의 보고 화면의 대상 환자의 평가 정보를 다른 환자와 군집화하는 요청을 서버(20)로 전송할 수도 있다.
일 실시예에서, 서버(20)는 상기 요청을 수신하면, 요청의 대상 환자의 평가 정보와 매칭하는 평가 정보를 갖는 적어도 하나의 다른 환자를 검색할 수도 있다. 서버(20)는 검색된 환자와 상기 대상 환자를 단일 군집으로 군집화할 수도 있다.
일부 실시예들에서, 서버(20)는 서로 평가 정보가 매칭하는 환자로 이루어진 군집 정보를 미리 저장할 수도 있다. 서버(20)는 상기 요청을 수신하면 요청의 대상 환자의 평가 정보와 매칭하는 평가 정보를 갖는 군집을 검색할 수도 있다. 서버(20)는 검색된 군집에 상기 대상 환자를 추가하여 군집 내 환자 목록을 업데이트할 수도 있다.
서버(20)는 군집화 결과를 포함한 군집 정보를 사용자 단말(10)에 회신할 수도 있다. 상기 군집 정보는 환자의 개인 정보 중 적어도 일부 및/또는 평가 시간을 포함할 수도 있다.
그러면, 사용자 단말(10)은 동일한 군집에 포함된 환자를 표시하는 도 6의 제1 매칭 화면을 사용자에게 제공할 수도 있다.
도 7은, 본 출원의 일 실시예에 따른, 단일 환자에 대해서 시간에 따른 평가 정보를 산출하기 위한 제2 매칭 화면을 도시한 도면이다.
도 7을 참조하면, 사용자 단말(10)은 버튼(1540)을 선택하는 명령이 입력되면, 도 3의 보고 화면의 대상 환자의 평가 정보와 비교될 상기 대상 환자의 과거 평가 정보를 선택하는 명령을 유도하는 제2 매칭 화면을 표시하도록 구성될 수도 있다.
제2 매칭 화면은 하나 이상의 과거 시점을 선택하는 명령을 유도하도록 구성될 수도 있다. 각각의 과거 시점에서 평가를 위해 사용된 심전도 이미지가 해당 과거 시점을 가리킬 수도 있다. 또는 각각의 과거 시점을 서술하는 문구가 제2 매칭 화면 상에 표시될 수도 있다.
시스템(1)에서 선택된 과거 시점의 평가 정보와 현재의 평가 정보가 비교된다.
사용자 단말(10)은 제2 매칭 화면의 버튼 영역(1541)을 선택하는 명령이 입력되면, 사용자 단말(10)은 제2 매칭 화면에서 선택된 과거의 평가 정보와 현재의 평가 정보를 비교하여 평가하는 요청을 서버(20)로 전송한다. 서버(20)는 현재의 평가 정보와 선택된 과거의 평가 정보를 비교한 분석 결과를 산출할 수도 있다. 예를 들어, 서버(20)는 평가 값에 기초하여 각 항목이 나타낸 상태의 호전 여부, N년 내 심방 세동 발생 위험도의 변화를 포함한 비교 분석 결과를 산출할 수도 있다. 서버(20)는 산출한 비교 분석 결과를 사용자 단말(10)에 회신할 수도 있다. 그러면, 사용자 단말(10)은 비교 분석 결과를 사용자에게 제공할 수도 있다.
상기 심전도 이미지에 기반한 환자 평가 시스템(1)이 본 명세서에 서술되지 않은 다른 구성요소를 포함할 수도 있다는 것이 통상의 기술자에게 명백할 것이다. 또한, 상기 환자 평가 시스템(1)은, 네트워크 인터페이스 및 프로토콜, 데이터 엔트리를 위한 입력 장치, 인쇄 또는 다른 데이터 표시를 위한 출력 장치를 포함하는, 본 명세서에 서술된 동작에 필요한 다른 하드웨어 요소를 포함할 수도 있다.
본 출원의 다른 일 측면에 따른 심전도 이미지에 기반한 환자 평가 방법(이하, "환자 평가 방법")은 프로세서를 포함한 적어도 하나의 컴퓨팅 장치에 의해 수행된다. 예를 들어, 환자 평가 방법은 도 1의 심전도 이미지에 기반한 환자 평가 시스템(1)에 의해 수행될 수도 있다. 이하, 설명의 명료성을 위해, 상기 환자 평가 방법은 도 1의 환자 평가 시스템(1)에 의해 수행되는 실시예들을 기초로 보다 상세하게 서술한다.
도 8은, 본 출원의 일 실시예에 따른, 심전도 이미지에 기반한 환자 평가 방법의 흐름도이다.
도 8을 참조하면, 상기 환자 평가 방법은: 사용자 단말(10)에 의해 대상 환자의 심전도 이미지를 획득하는 단계(S810)를 포함한다.
일 실시예에서, 상기 사용자 단말(10)은 미리 설정된 크기 기준을 충족하는 소스 심전도 이미지의 촬영을 유도하기 위해, 프레임 가이드 라인을 제공하도록 더 구성될 수도 있다(S810).
도 9a 내지 도 9c는, 본 출원의 일 실시예에 따른, 프레임 가이드 라인에 따라 소스 심전도 이미지를 획득하는 과정을 도시한 도면이다.
도 9a 내지 도 9c를 참조하면, 사용자 단말(10)은 대상 환자의 촬영 이미지를 프레임 가이드 라인에 따라 편집하여 소스 심전도 이미지를 생성할 수도 있다. 대상 환자의 심전도 이미지를 획득하는 단계(S810)는: 촬영 이미지에서 프레임 가이드 라인을 결정하기 위한 복수의 기준점을 선택하는 단계(S811); 촬영 이미지 내 심전도 신호 영역의 크기를 단계(S811)에서 결정된 프레임 가이드 라인에 맞게 조정하는 단계(S813); 및 소스 심전도 이미지를 생성하는 단계(S815)를 포함한다.
단계(S811)에서 사용자 단말(10)에 의해 대상 환자의 심전도 신호가 표시된 객체를 촬영하여 촬영 이미지가 획득된다.
단계(S813)에서, 사용자 단말(10)은 촬영 이미지에서 소스 심전도 이미지의 프레임 가이드 라인을 결정하기 위해 복수의 기준점을 선택할 수도 있다.
상기 기준점은 심전도 신호 영역을 정의하는데 보다 유용한 기하학적 특징점이다. 예를 들어, 상기 기준점은 심전도 신호 영역을 포함한 부분의 모서리일 수도 있다.
상기 복수의 기준점의 선택은 도 9a의 인터페이스 화면을 통해 수신되는 사용자 선택 명령에 의해 수행된다.
일 실시예에서, 상기 복수의 기준점은 미리 설정된 순서에 따라서 순차적으로 입력될 수도 있다. 순서별로 각 기준점의 위치가 식별된다. 예를 들어, 사용자 단말(10)은 첫 번째 입력 기준점은 좌측 상단 지점(LUQ), 두 번째 입력 기준점은 우측 상단 지점(RUQ), 세 번째 입력 기준점은 우측 하단 지점(RLQ), 네 번째 입력 기준점은 좌측 하단 지점(LLQ)으로 식별될 수도 있다.
또한, 사용자 단말(10)은 선택된 복수의 기준점을 촬영 이미지 상에서 선택되지 않은 지점(또는 영역)과 구별하기 위해 표기(mark)하도록 구성될 수도 있다. 도 9a에 도시된 것처럼, 원과 같은 형상을 통해 선택된 기준점이 표기될 수도 있다.
복수의 기준점에 기초한 프레임 가이드 라인은 심전도 신호 영역을 포함할 수도 있다. 또한, 선택된 복수의 기준점 중 적어도 일부는 프레임 가이드 라인의 내부에 위치할 수도 있다. 예를 들어, 도 9a에 도시된 것처럼 선택된 기준점은 프레임 가이드 라인의 모서리와 상이한 위치일 수도 있다.
또한, 사용자 단말(10)은 프레임 가이드 라인이 일차적으로 결정된 이후에 재-결정하도록 구성될 수도 있다. 도 9a의 촬영 화면은 이미 결정된 프레임 가이드 라인을 취소하고 재-결정하기 위한 버튼(1911)을 포함할 수도 있다.
단계(S813)에서, 사용자 단말(10)은 심전도 신호 영역의 크기를 결정된 프레임 가이드 라인에 보다 근접하도록 조정할 수도 있다. 이 크기 조정은 도 9b의 인터페이스 화면을 통해 수신되는 사용자 조정 명령에 의해 수행된다(S813).
상기 사용자 조정 명령은 선택된 복수의 지점 중 적어도 하나의 위치를 이동시키는 것으로 구현될 수도 있다. 조정 명령이 입력되면, 사용자 단말(10)은 조정 대상 지점의 위치를 결정된 프레임 가이드 라인에 보다 근접시켜, 조정 대상 지점의 위치를 프레임 가이드 라인에 배치할 수도 있다.
상기 사용자 조정 명령은 선택 명령과 상이한 형식의, 미리 설정된 명령 형식으로 입력될 수도 있다. 예를 들어, 드래그(drag)일 수도 있으나, 이에 제한되진 않는다.
도 9b의 인터페이스 화면은 조정 종료 버튼(1913)을 포함한다. 조정 종료 버튼(1913)을 선택하는 사용자 입력에 의해 심전도 신호 영역의 크기를 조정하는 동작이 완료된다.
이러한 조정 명령에 의해 심전도 신호 영역의 크기가 프레임 가이드 라인의 크기에 보다 유사해진다.
단계(S815)에서, 사용자 단말(10)은 심전도 신호 영역의 크기를 확정할 수도 있다. 사용자 단말(10)은 확정된 크기의 심전도 신호 영역으로 이루어진 소스 심전도 이미지를 생성한다. 이러한 크기의 확정은 도 9c의 인터페이스 화면을 통해 수신되는 사용자 확정 명령에 의해 수행된다(S815). 도 9c의 인터페이스 화면은 도 9b의 조정 동작이 완료된 이후 제공될 수도 있다.
도 9c의 인터페이스 화면은 이미지 확정 버튼(1915)을 포함한다. 이미지 확정 버튼(1915)을 선택하는 사용자 입력에 의해 심전도 이미지를 획득하는 동작(S810)이 종료된다.
또한, 도 9c의 인터페이스 화면은 이미지 재-조정 버튼(1916)을 더 포함할 수도 있다. 이미지 재-조정 버튼(1916)을 선택하는 사용자 입력에 의해 단계(S811) 또는 단계(S813)의 동작이 다시 실행될 수도 있다.
도 10은, 본 출원의 다른 일 실시예에 따른, 프레임 가이드 라인에 따라 소스 심전도 이미지를 획득하는 과정을 도시한 도면이다.
도 10을 참조하면, 상기 기준점은 심전도 신호 영역을 구별하기 위한 기하학적 특징점일 수도 있다. 예를 들어, 심전도 신호 영역의 모서리가 기준점으로 선택될 수도 있다.
대안적인 실시예들에서, 본 출원에서 심전도 이미지의 획득은 프레임 가이드 라인에 제한되지 않는다. 소스 심전도 이미지는 외부 기기로부터 전기 통신을 통해 획득될 수도 있다(S810). 또는 소스 심전도 이미지는 미리 저장된 심전도 이미지를 검색하여 획득될 수도 있다(S810).
또한, 상기 환자 평가 방법은: 단계(S810)의 소스 심전도 이미지를 서버(20)로 전송하기 이전에, 소스 심전도 이미지를 익명화하는 단계(S820)를 더 포함할 수도 있다.
사용자 단말(10)은, 익명화를 위해 단계(S810)의 심전도 이미지 내에서 환자의 개인 정보를 표시한 영역을 제거하도록 더 구성될 수도 있다.
일 실시예에서, 사용자 단말(10)은 도 10의 인터페이스 화면을 통해 수신되는 사용자 입력에 의해 소스 심전도 이미지 내에서 환자의 개인 정보의 표시 영역을 제거할 수도 있다.
도 11은, 본 출원의 일 실시예에 따른, 심전도 이미지를 익명화하는 인터페이스 화면을 도시한다.
도 11을 참조하면, 사용자 입력은 환자의 개인 정보를 표시한 영역을 지정하는 명령으로서, 예를 들어 드래그(drag), 클릭일 수도 있으나, 이에 제한되진 않는다.
대안적인 실시예들에서, 사용자 단말(10)은, 환자의 개인 정보를 표시한 영역을 지정하는 사용자 입력 없이, 화면 내 색상, 경계선, 배치 구조 중 일부 또는 전부에 기초하여 심전도 이미지 내에서 환자의 개인 정보의 표시 영역을 제거할 수도 있다.
다시 도 8을 참조하면, 상기 환자 평가 방법은: 사용자 단말(10)에 의해 대상 환자에 대한 평가를 서버(20)에 요청하는 단계(S830)를 포함한다.
상기 요청은 단계(S810)에서의 소스 심전도 이미지, 및/또는 환자의 개인 정보를 포함할 수도 있다.
상기 환자 평가 방법은: 서버(20)에 의해 심전도 이미지에 기반한 대상 환자의 평가 정보를 생성하는 단계(S850)를 포함한다. 상기 심전도 이미지는 사용자 단말(10)로부터 수신한 소스 심전도 이미지 또는 이로부터 추출된 심전도 신호 패치일 수도 있다.
대상 환자의 평가 정보를 생성하는 과정은 도 2 내지 도 4를 참조해 위에서 서술하였는 바, 자세한 설명은 생략한다.
추가적으로, 상기 환자 평가 방법은: 서버(20)에 의해 단계(S850) 이전에 소스 심전도 이미지에서 심전도 신호 영역을 추출해 심전도 신호 패치를 생성하는 단계를 더 포함할 수도 있다.
서버(20)는 소스 심전도 이미지의 모서리와 심전도 신호 영역의 모서리가 일치하지 않는 경우 심전도 신호 패치를 생성하는 동작을 수행할 수도 있다.
서버(20)는 심전도 신호 패치를 전술한 인공신경망(예컨대, 제1 인공신경망 또는 제2 인공신경망)에 입력 이미지로 입력할 수도 있다.
일 실시예에서, 서버(20)는 사용자 단말(10)로부터 수신한 소스 심전도 이미지를 미리 설정된 크기로 변환하여 데이터 어레이를 생성하고; 변환된 이미지를 제4 인공신경망에 적용하여 심전도 신호가 표현된 영역의 경계를 산출할 수도 있다.
서버(20)는 미리 설정된 크기로 이미지를 변환하고 변환된 이미지의 데이터 어레이를 생성한다. 상기 데이터 어레이는 PХQХC로 이루어진다. P, Q는 미리 설정된 가로 크기, 세로 크기이고, C는 채널의 수이다.
상기 제4 인공신경망은 심전도 신호가 표현된 심전도 신호 영역의 좌측 상단 좌표를 산출하고, 심전도 신호 영역의 좌측 하단 좌표를 산출하며, 심전도 신호 영역의 우측 상단 좌표를 산출하고, 그리고 심전도 신호 영역의 우측 하단 좌표를 산출하도록 미리 학습된 것이다. 각 좌표는 한 쌍의 수치로 이루어진다.
상기 제4 인공신경망은 입력 이미지에서 특정 지점의 좌표를 식별하기 위한 네트워크 구조로 모델링될 수도 있다. 예를 들어, 제4 인공신경망은 2D-CNN 구조 또는 기타 기계학습 네트워크 구조로 모델링될 수도 있다.
서버(20)는 산출된 심전도 신호 영역의 네 개 지점의 좌표에 기초하여 소스 심전도 이미지에서 심전도 신호가 표현된 영역을 크로핑하여 심전도 신호가 표현된 영역으로 이루어진 패치를 생성할 수도 있다.
일 실시예에서, 서버(20)는 크로핑된 이미지를 원근 변환(perspective transformation) 처리하여 관점(view), 크기 및 형태 중 적어도 하나가 변환된 변환 이미지를 생성하고; 소스 심전도 신호에서 심전도 신호 영역의 원본 측면비(aspect ratio)를 산출하고; 그리고 변환 이미지의 측면비를 원본 측면비로 보정하도록 구성될 수도 있다.
원근 변환에 의해 예를 들어 직사각형 형태의 변환 이미지가 생성된다.
이 패치가 대상 환자의 평가를 위한 심전도 이미지로 사용된다. 예를 들어, 전술한 심전도 이미지가 인공신경망에 입력된다는 것은 이 심전도 신호 패치가 입력되는 것일 수도 있다.
서버(20)는 생성된 대상 환자의 평가 정보를 사용자 단말(10)로 전송한다(S850).
또한, 상기 환자 평가 방법은: 사용자 단말(10)에 의해 대상 환자의 평가 정보에 기초하여 보고 화면을 표시하는 단계(S870)를 포함한다.
예를 들어, 도 3과 같이, 제3 영역(1320)에는 쇽(SHOCK), ACS(Acute Coronary Syndrome), ST 분절 상승 심근 경색과 같은 응급 시술이 필요한 급성 심근 경색, 심근 손상(MYOC INJ)과 같은 심근 손상이 동반되는 모든 질환, 고칼륨혈증(SEV HYPERK), 저칼륨혈증(SEV HYPOK), 심방 세동(A FIB), 각종 심근병증, 좌심실 부전증(Lv Dysf), 심낭 삼출(Lrg PC eff), 심각한 승모관 폐쇄부전(Sig mr, mitral regurgitation), 심각한 폐성 고혈압(Sig phtn, Pulmonary hypertension) 항목에 대한 평가 값을 포함한 보고 화면이 제공될 수도 있다.
보고 화면에 대해서는 도 3 내지 도 7을 참조해 위에서 서술하였는 바 자세한 설명은 생략한다.
이러한 심전도 이미지에 기반한 환자 평가 시스템(1) 및 방법에 따르면 부정맥과 같은 심장 리듬 측면과 동시에 다른 측면에서 환자의 상태를 평가할 수 있고, 그 결과를 사용자가 시각적으로 간편하게 인식 가능한 보고 화면으로 구현하여 사용자에게 제공할 수도 있다.
이상에서 설명한 실시예들에 따른 심전도 이미지에 기반한 환자 평가 시스템(1) 및 방법에 의한 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다.
상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록신원확인 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장신원확인 장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서 살펴본 본 출원은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 출원의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 출원의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

Claims (21)

  1. 심전도 이미지에 기반한 환자 평가를 위한, 프로세서; 촬영부; 및 디스플레이부를 포함한 사용자 단말에 있어서,
    대상 환자의 소스 심전도 이미지를 획득하고,
    상기 소스 심전도 이미지를 포함한 요청을 서버로 전송하며,
    상기 대상 환자에 대한 평가 정보를 서버로부터 수신하고, 그리고
    상기 평가 정보에 기초한 보고 화면을 표시하도록 구성되고,
    상기 평가 정보는 심전도 이미지 및 대상 환자의 심장 리듬 평가 결과를 포함한 제1 진단 정보 중 하나 이상을 포함하고,
    상기 보고 화면은 상기 심전도 이미지를 표시하는 제1 영역 및 상기 제1 진단 정보를 표시하는 제2 영역 중 하나 이상을 포함하는 것을 특징으로 하는 사용자 단말.
  2. 제1항에 있어서,
    상기 평가 정보는 대상 환자의 심장 리듬과 다른 측면의 평가 결과로서, 심장 리듬 카테고리와 다른 카테고리의 항목에 대한 대상 환자의 평가 값을 포함한 제2 진단 정보를 더 포함하고,
    상기 보고 화면은 상기 제2 진단 정보를 그래프로 표시하는 제3 영역을 더 포함하는 것을 특징으로 하는 사용자 단말.
  3. 제2항에 있어서,
    상기 제3 영역에서 그래프의 x축은 평가된 항목 중 적어도 일부를 나타내고 y축은 해당 항목에 대한 대상 환자의 평가 값을 나타내며,
    각 항목별 평가 값은 표지자(pointer)로 표현되는 것을 특징으로 하는 사용자 단말.
  4. 제3항에 있어서,
    상기 평가 정보는 항목에 대한 평가 값의 분포 정보를 더 포함하고,
    상기 보고 화면은 상기 항목에 대한 평가 값의 분포 정보가 평가 값의 표지자가 내부에 위치한, 제3 영역 상에 서브 영역으로 표현되도록 더 구성된 것을 특징으로 하는 사용자 단말.
  5. 제4항에 있어서,
    상기 서브 영역은 각 평가 값의 분포의 신뢰 구간에 따른 형상의 길이를 갖는 것을 특징으로 하는 사용자 단말.
  6. 제1항에 있어서,
    상기 제1 진단 정보는, 정상 리듬, 제1 그룹의 부정맥 종류 중 어느 하나, 또는 제2 그룹의 부정맥 종류 중 어느 하나를 선택하여 산출된 것이고,
    상기 제1 진단 정보 내 대상 환자의 심장 리듬이 제2 그룹의 부정맥 종류일 경우, 상기 심전도 이미지 및 상기 제2 진단 정보만으로 이루어진 평가 결과를 포함한 상기 보고 화면을 표시하도록 구성되는 것을 특징으로 하는 사용자 단말.
  7. 제6항에 있어서,
    상기 제1 그룹의 부정맥 종류는 심방 조동, PSVT, 심방 빈맥, 심실 빈맥, 및 심박동기 중 하나 이상을 포함하고,
    상기 제2 그룹의 부정맥 종류는 미리 지정된 복수의 부정맥 종류 전체 중 상기 제1 그룹에 속하지 않는 나머지 부정맥 중 일부 또는 전부로 이루어진 것을 특징으로 하는 사용자 단말.
  8. 제1항에 있어서,
    상기 소스 심전도 이미지를 획득하기 위해,
    촬영 이미지에서 프레임 가이드 라인을 결정하기 위한 복수의 기준점을 선택하고; 그리고
    상기 촬영 이미지 내 심전도 신호 영역의 크기를 결정된 프레임 가이드 라인에 맞게 조정하도록 더 구성된 것을 특징으로 하는 사용자 단말.
  9. 제8항에 있어서,
    결정된 프레임 가이드 라인은 심전도 신호 영역을 포함하는 것으로서, 선택된 복수의 기준점 중 적어도 일부는 프레임 가이드 라인의 내부에 위치하는 것을 특징으로 하는 사용자 단말.
  10. 제8항에 있어서,
    상기 소스 심전도 이미지를 익명화하기 위해 환자의 개인 정보를 표시한 영역을 제거하도록 더 구성되는 것을 특징으로 하는 사용자 단말.
  11. 심전도 이미지에 기반한 환자 평가를 위한, 사용자 단말과 통신하는 서버에 있어서,
    사용자 단말로부터 심전도 신호 영역을 포함한 대상 환자의 소스 심전도 이미지를 수신하고, 그리고
    상기 소스 심전도 이미지에 기초하여 대상 환자의 평가 정보를 생성하도록 구성되며,
    상기 평가 정보는 심전도 이미지, 대상 환자의 심장 리듬 평가 결과를 포함한 제1 진단 정보 및 심장 리듬 카테고리와 다른 카테고리의 항목에 대한 대상 환자의 평가 값을 포함한 제2 진단 정보 중 하나 이상을 포함하는 것을 특징으로 하는 서버.
  12. 제11항에 있어서, 상기 서버는,
    상기 대상 환자의 평가 정보를 생성하기 위해, 상기 소스 심전도 이미지에서 심전도 신호의 파형 데이터를 추출하고; 그리고
    추출된 파형 데이터에 기초하여 대상 환자에 대한 평가 정보를 생성하도록 구성된 것을 특징으로 하는 서버.
  13. 제12항에 있어서, 상기 서버는,
    입력 이미지에서 신호의 파형 데이터를 추출하도록 미리 학습된 제1 인공신경망; 및
    파형 데이터를 입력하여 미리 지정된 항목에 대한 대상 환자의 평가 값을 산출하도록 미리 학습된 제2 인공신경망을 포함하고,
    상기 제1 인공신경망은 2D(dimension)-CNN, VIT (Visual transformer) 또는 MLP(Multilayer Perceptron) 구조로 모델링되고, 상기 제2 인공신경망은 1D(dimension)-CNN 구조로 모델링되는 것을 특징으로 하는 서버.
  14. 제11항에 있어서,
    상기 소스 심전도 이미지를 입력하여 미리 지정된 항목에 대한 대상 환자의 평가 값을 산출하도록 미리 학습된 제3 인공신경망을 포함하고,
    상기 제3 인공신경망은 2D(dimension)-CNN, VIT (Visual transformer) 또는 MLP(Multilayer Perceptron) 구조로 모델링되는 것을 특징으로 하는 서버.
  15. 제13항 또는 제14항에 있어서,
    상기 제2 인공신경망 또는 제3 인공신경망은 다중-레이블 출력단을 갖도록 모델링된 것으로서, 미리 지정된 항목 각각에 해당할 가능성을 개별적으로 나타낸, 절대적 평가 값을 산출하는 것을 특징으로 하는 서버.
  16. 제13항 또는 제14항에 있어서,
    상기 제2 인공신경망 또는 제3 인공신경망은 다중-레이블 출력단을 갖도록 모델링된 것으로서, 산출되는 항목별 평가 값의 합산은 1이 되는 확률분포 관계를 갖는 것을 특징으로 하는 서버.
  17. 제13항 또는 제14항에 있어서, 상기 서버는,
    항목별 평가 값에 대한 분포 정보를 산출하도록 더 구성되며,
    상기 분포 정보는,
    동일한 입력 값을 이용해 동일한 평가 동작을 반복하여 산출된, 각 차례별 항목에 대한 평가 값으로 형성된 특정 분포 또는 2 인공신경망 또는 제3 인공신경망의 훈련(training) 시 활용되는 증가(augmentation) 기법을 동일한 입력 값에 적용한 변형 입력 값으로 평가 동작을 수행하여 산출된, 각 차례별 항목에 대한 평가 값으로 형성된 특정 분포에 기초한 것을 특징으로 하는 서버.
  18. 제13항 또는 제14항에 있어서,
    상기 서버는,
    상기 제2 인공신경망 또는 제3 인공신경망을 통해 대상 환자의 심장 리듬의 종류를 결정하고,
    상기 대상 환자의 심장 리듬이 제1 그룹의 부정맥 종류일 경우, 심장 리듬과 다른 카테고리 항목에 대한 평가를 수행하지 않고 대상 환자의 심장 리듬에 대한 평가 결과, 또는 상기 심전도 이미지 및 대상 환자의 심장 리듬에 대한 평가 결과를 포함한 평가 정보를 곧바로 생성하는 것을 특징으로 하는 서버.
  19. 제11항에 있어서, 상기 서버는,
    상기 소스 심전도 이미지에서 심전도 신호 영역을 크로핑하고,
    크로핑된 이미지를 원근 변환 처리하여 관점(view), 크기 및 형태 중 적어도 하나가 변환된 변환 이미지를 생성하며,
    소스 심전도 신호에서 심전도 신호 영역의 원본 측면비(aspect ratio)를 산출하고,
    변환 이미지의 측면비를 원본 측면비로 보정하여 심전도 신호 패치를 생성하고, 그리고
    상기 심전도 신호 패치에 기초하여 대상 환자의 평가 정보를 생성하는 것을 특징으로 하는 서버.
  20. 심전도 이미지에 기반한 환자 평가 방법에 있어서,
    사용자 단말에 의해 대상 환자의 소스 심전도 이미지를 획득하는 단계;
    상기 사용자 단말에 의해 대상 환자에 대한 평가를 서버에 요청하는 단계 - 요청은 소스 심전도 이미지를 포함함;
    상기 서버에 의해 심전도 이미지에 기반한 대상 환자의 평가 정보를 생성하고, 상기 대상 환자의 평가 정보를 사용자 단말로 전송하는 단계; 및
    상기 사용자 단말에 의해 대상 환자의 평가 정보에 기초하여 보고 화면을 표시하는 단계를 포함하는 심전도 이미지에 기반한 환자 평가 방법.
  21. 청구항 제20항에 따른 심전도 이미지에 기반한 환자 평가 방법을 수행하기 위한, 프로그램을 기록한 컴퓨터 판독가능 기록매체.
KR1020210161788A 2021-04-16 2021-11-22 심전도 이미지에 기반한 환자 평가 시스템 및 방법 KR20220143547A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2022/005488 WO2022220649A1 (ko) 2021-04-16 2022-04-15 심전도 이미지에 기반한 환자 평가 시스템 및 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210049894 2021-04-16
KR20210049894 2021-04-16

Publications (1)

Publication Number Publication Date
KR20220143547A true KR20220143547A (ko) 2022-10-25

Family

ID=83803642

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210161788A KR20220143547A (ko) 2021-04-16 2021-11-22 심전도 이미지에 기반한 환자 평가 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20220143547A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140063100A (ko) 2012-11-16 2014-05-27 삼성전자주식회사 원격 심질환 관리 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140063100A (ko) 2012-11-16 2014-05-27 삼성전자주식회사 원격 심질환 관리 장치 및 방법

Similar Documents

Publication Publication Date Title
Gao et al. An effective LSTM recurrent network to detect arrhythmia on imbalanced ECG dataset
CN109447183B (zh) 预测模型训练方法、装置、设备以及介质
Murugesan et al. Ecgnet: Deep network for arrhythmia classification
US20200015694A1 (en) Automatic method to delineate or categorize an electrocardiogram
KR102141617B1 (ko) 인공 신경망을 이용하여 부정맥을 추정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR20070009667A (ko) Ｅｃｇ 신호 분석 방법 및 컴퓨터 장치
US20200258627A1 (en) Systems, devices, software, and methods for a platform architecture
WO2021057423A1 (zh) 图像处理方法、图像处理装置以及存储介质
US20210204858A1 (en) Automatic sensing of features within an electrocardiogram
US11387001B2 (en) Medical intervention control system
KR102483693B1 (ko) 설명 가능한 다중 심전도 부정맥 진단 장치 및 방법
Yao et al. Time-incremental convolutional neural network for arrhythmia detection in varied-length electrocardiogram
Rahman et al. ECG classification for detecting ECG arrhythmia empowered with deep learning approaches
CN116848588A (zh) 医学图像中的健康状况特征的自动标注
CN112203582A (zh) 脉冲传播时间确定方法和系统
US20230100365A1 (en) Automatic classification of healthy and disease conditions from images or digital standard 12-lead ECGs
CN115024725A (zh) 融合心理状态多参数检测的肿瘤治疗辅助决策系统
CN112690802A (zh) 一种检测心电信号的方法、装置、终端及存储介质
US20240164691A1 (en) Electrocardiogram analysis assistance device, program, electrocardiogram analysis assistance method, and electrocardiogram analysis assistance system
CN111759304A (zh) 心电图异常识别方法、装置、计算机设备和存储介质
Bridge et al. Artificial intelligence to detect abnormal heart rhythm from scanned electrocardiogram tracings
US20210298625A1 (en) System and method for detecting and predicting an occurrence of cardiac events from electrocardiograms
JP7492769B2 (ja) 認知症診断に必要な情報の提供方法及び装置
KR20220143547A (ko) 심전도 이미지에 기반한 환자 평가 시스템 및 방법
EP4080449A1 (en) Medical image quality assessment