KR101959438B1 - 다중 모달리티 영상 생성 기법을 이용한 의료영상진단시스템 - Google Patents

다중 모달리티 영상 생성 기법을 이용한 의료영상진단시스템 Download PDF

Info

Publication number
KR101959438B1
KR101959438B1 KR1020180091200A KR20180091200A KR101959438B1 KR 101959438 B1 KR101959438 B1 KR 101959438B1 KR 1020180091200 A KR1020180091200 A KR 1020180091200A KR 20180091200 A KR20180091200 A KR 20180091200A KR 101959438 B1 KR101959438 B1 KR 101959438B1
Authority
KR
South Korea
Prior art keywords
modality
neural network
artificial neural
image
dimensional
Prior art date
Application number
KR1020180091200A
Other languages
English (en)
Inventor
김성찬
Original Assignee
전북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전북대학교 산학협력단 filed Critical 전북대학교 산학협력단
Priority to KR1020180091200A priority Critical patent/KR101959438B1/ko
Priority to PCT/KR2018/013904 priority patent/WO2020032325A1/ko
Application granted granted Critical
Publication of KR101959438B1 publication Critical patent/KR101959438B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B55/00—Bags for golf clubs; Stands for golf clubs for use on the course; Wheeled carriers specially adapted for golf bags
    • A63B55/60—Wheeled carriers specially adapted for golf bags
    • A63B55/61—Wheeled carriers specially adapted for golf bags motorised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명은 다중 모달리티 영상 생성 기법을 이용한 의료영상진단시스템에 관한 것으로, 실제 영상획득장치에서 얻어진 의료영상으로 같은 부위에 대한 다중 모달리티(Modality) 영상을 생성하여 대상 질병 진단에 사용하기 위한 것이다.
이를 위하여 본 발명은 의료영상장비에서 획득된 2차원 또는 3차원 실제 영상데이터를 입력받아 같은 부위에 대한 다른 모달리티 영상을 2차원 또는 3차원으로 생성하는 다중 모달리티 영상 생성용 인공신경망, 의료영상장비에서 획득된 2차원 또는 3차원 실제 영상데이터와 다중 모달리티 영상 생성용 인공신경망에서 생성된 다중 모달리티 영상데이터를 입력받아 다중 모달리티 영상들을 이용해 실제 영상데이터의 질병 여부를 판단하여 출력하는 다중 모달리티 기반 진단용 인공신경망을 포함하여, 실제 영상획득장치에서 얻어진 의료영상을 인공신경망에 입력하여 같은 부위에 대한 다른 모달리티(Modality)의 영상을 생성하고 생성된 모달리티 영상을 입력 영상과 결합하여 다중 모달리티 영상을 구성함으로서 대상 질병을 정확하게 진단할 수 있게 한다.

Description

다중 모달리티 영상 생성 기법을 이용한 의료영상진단시스템{Medical image diagnosis system using multi-modality image creation technique}
본 발명은 인공신경망으로 다중 모달리티 의료 영상을 생성하여 질병을 진단할 수 있는 의료영상진단시스템에 관한 것으로, 보다 상세하게는 실제 영상획득장치에서 얻어진 의료영상을 인공신경망에 입력하여 같은 부위에 대한 다른 모달리티(Modality)의 영상을 생성하고 생성된 모달리티 영상을 입력영상과 결합하여 다중 모달리티 영상을 구성함으로서 대상 질병을 정확하게 진단할 수 있도록 하는 다중 모달리티 영상 생성 기법을 이용한 의료영상진단시스템에 관한 것이다.
일반적으로 다중 모달리티 기반의 영상들을 이용한 인공신경망 기반 진단은 영상획득방법의 개별성으로 인해 질병 진단을 위한 다양한 독립적인 특징들을 얻을 수 있어 단일 모달리티 기반 방법보다 높은 진단 정확도를 갖는다고 알려져 있다. 그러나 이러한 방법들은 주로 이미 획득되어 있는 다중 모달리티 영상에서 특징을 추출하여 진단을 수행하는 인공신경망 구성하는 것에 초점을 두고 있는 것이 대부분이며, 영상획득장치의 부재나 높은 비용 등으로 인해 다중 모달리티 영상들을 직접 얻는 것이 현실적으로 쉽지 않은 경우가 많다.
예를 들어 알츠하이머병 진단에는 MRI, PET, CSF의 세가지 영상획득기법이 사용된다. 이들 모달리티 영상들은 알츠하이머 진단에 필요한 특징들을 독립적으로 제공하므로 이를 조합하면 높은 진단 정확도 얻을 수 있다. 그러나 PET는 영상획득장비가 설치되어 있는 병원이 제한적이고 획득비용도 MRI의 2배에 달하며, MRI와 PET가 비침습적인 방법으로 영상획득이 가능한 반면 CSF는 침습에 의해서만 획득할 수 있는 단점이 있다. 이런 이유로 MRI만을 이용해 진단하는 경우가 많은데, 인공신경망으로 PET를 생성할 수 있으면 획득된 MRI 영상과 결합해 추가 비용 없이 진단 성능을 향상시킬 수 있는 시스템의 개발이 요구되고 있다.
KR 10-1797038 B1 2017.11.07. 등록 KR 10-1820844 B1 2018.01.16. 등록 KR 10-1875704 B1 2018.07.02. 등록
따라서 본 발명은 상기의 요구에 부응하여 안출한 것으로서, 본 발명이 해결하고자 하는 기술적 과제는, 실제 영상획득장치에서 얻어진 의료영상을 인공신경망에 입력하여 같은 부위에 대한 다른 모달리티(Modality)의 영상을 생성하고 생성된 모달리티 영상을 입력영상과 결합하여 다중 모달리티 영상을 구성함으로서 대상 질병을 정확하게 진단할 수 있도록 하는 다중 모달리티 영상 생성 기법을 이용한 의료영상진단시스템을 제공하고자 하는 것이다.
상기의 목적을 달성하기 위한 본 발명의 일 실시 형태는, 의료영상장비에서 획득된 2차원 또는 3차원 실제 영상데이터를 입력받아 같은 부위에 대한 다른 모달리티 영상을 2차원 또는 3차원으로 생성하는 다중 모달리티 영상 생성용 인공신경망, 의료영상장비에서 획득된 2차원 또는 3차원 실제 영상데이터와 다중 모달리티 영상 생성용 인공신경망에서 생성된 다중 모달리티 영상데이터를 입력받아 다중 모달리티 영상들을 이용해 실제 영상데이터의 질병 여부를 판단하여 출력하는 다중 모달리티 기반 진단용 인공신경망을 포함하는, 다중 모달리티 영상 생성 기법을 이용한 의료영상진단시스템이다.
본 발명에 의하면, 실제 영상획득장치에서 얻어진 의료영상을 인공신경망에 입력하여 같은 부위에 대한 다른 모달리티(Modality)의 영상을 생성하고 생성된 모달리티 영상을 입력영상과 결합하여 다중 모달리티(multi-modality) 영상을 구성함으로서 대상 질병을 정확하게 진단할 수 있게 한다.
도 1은 본 발명에 의한 다중 모달리티 영상 생성 기법을 이용한 의료영상진단시스템을 예시한 개략도이다.
도 2a와 도 2b는 각각 도 1의 제1인공신경망 및 제2인공신경망의 상세 구성을 예시한 개략도이다.
이하, 본 발명의 바람직한 실시 형태에 따른 다중 모달리티 영상 생성 기법을 이용한 의료영상진단시스템의 구성과 동작 및 그에 의한 작용 효과를 첨부 도면을 참조하여 상세히 설명한다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되지 아니하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명에 의한 다중 모달리티 영상 생성 기법을 이용한 의료영상진단시스템을 예시한 개략도이고, 도 2a와 도 2b는 각각 도 1의 제1인공신경망 및 제2인공신경망의 상세 구성을 예시한 개략도로서, 도면에 예시된 바와 같이 본 발명의 다중 모달리티 영상 생성 기법을 이용한 의료영상진단시스템은, 의료영상장비 등과 같은 영상획득장치에서 획득된 2차원 또는 3차원 영상데이터(100)를 입력받아 같은 부위에 대한 다른 모달리티 영상을 2차원 또는 3차원으로 생성하는 다중 모달리티 영상 생성용 인공신경망(200), 및 실제 영상데이터(100)와 생성된 모달리티 영상데이터(300)을 입력받아 다중 모달리티 영상들을 이용해 질병 여부를 진단하여 출력하는 다중 모달리티 기반 진단용 인공신경망(400)을 포함하여, 실제 의료영상장비에서 얻어진 의료영상을 인공신경망에 입력하여 같은 부위에 대한 다른 모달리티(Modality)의 영상(다중 모달리티 영상)을 생성하고 생성된 다중 모달리티 영상을 입력 영상과 결합하여 다중 모달리티(multi-modality) 영상을 구성함으로서 대상 질병을 정확하게 진단할 수 있게 한다.
다중 모달리티 영상 생성용 인공신경망(200)은 의료영상장비 등과 같은 실제 영상획득장치에서 얻어진 특정 부위의 2차원 또는 3차원 의료 영상데이터(100)를 입력받아 같은 부위에 대한 다른 모달리티의 영상데이터(300)를 2차원 또는 3차원으로 생성한다.
이러한 다중 모달리티 영상 생성용 인공신경망(200)은 크게 두 부분으로 나눠진다.
첫 번째 부분은 의료영상장비 등과 같은 영상획득장치에서 획득된 2차원 또는 3차원 영상데이터(100)를 입력받아 원본 영상보다 작은 크기의 고차원의 특징을 추출하기 위해 3차원 합성곱(3D convolution) 연산들을 수행하는 하나 이상의 계층들로 구성되며, 특징추출 인공신경망(210)이다. 이러한 특징추출 인공신경망(210)은 의료영상장비에서 획득된 2차원 또는 3차원 실제 영상데이터(100)를 입력받아 3차원 합성곱(3D convolution) 연산들을 수행하여 원본 영상보다 작은 크기의 고차원의 영상 특징을 추출한다.
두 번째 부분은 이로부터 다른 모달리티의 영상데이터(300)를 2차원 또는 3차원으로 생성할 목적으로 3차원 역합성곱(3D deconvolution) 연산을 수행하는 하나 이상의 계층들로 구성되며, 다중 모달리티 생성 인공신경망(220)이다. 이러한 다중 모달리티 생성 인공신경망(220)은 특징추출 인공신경망(210)의 3차원 합성곱 연산 수행결과로부터 3차원 역합성곱(3D deconvolution) 연산을 수행하여 2차원 또는 3차원의 다중 모달리티 영상데이터(300)를 생성한다.
다중 모달리티 기반 진단용 인공신경망(400)은 의료영상장비에서 획득된 2차원 또는 3차원 실제 영상데이터(100)와 다중 모달리티 영상 생성용 인공신경망(200)에서 생성된 다중 모달리티 영상데이터(300)을 모두 입력받아 다중 모달리티 영상들을 이용해 실제 영상데이터(100)의 질병 여부를 판단하여 출력한다.
이러한 다중 모달리티 기반 진단용 인공신경망(400)은 의료영상장비에서 획득된 2차원 또는 3차원 실제 영상데이터(100)의 특징을 추출하여 입력데이터보다 낮은 고차원의 특징으로 변환하기 위한 3차원 합성곱 연산 및 완전 연결을 수행하는 제1특징추출 인공신경망(410)과 제1완전연결 인공신경망(420), 다중 모달리티 영상 생성용 인공신경망(200)에서 생성된 다중 모달리티 영상데이터(300)의 특징을 추출하여 입력데이터보다 작은 고차원의 특징으로 변환하기 위한 3차원 합성곱 연산 및 완전 연결을 수행하는 제2특징추출 인공신경망(440)과 제2완전연결 인공신경망(450), 각 모달리티 영상들의 완전연결계층들을 거친 모달리티별 특징정보들을 마지막으로 완전 연결하는 최종 완전연결 인공신경망(460), 및 각 모달리티들의 특징을 동시에 고려하여 질환여부 판단 결과를 최종 출력하는 진단출력 인공신경망(470)을 포함하여 구성된다.
제1특징추출 인공신경망(410)은 3차원 합성곱(3D convolution) 연산을 수행하는 하나 이상의 계층들로 구성되며, 의료영상장비에서 획득된 2차원 또는 3차원 실제 영상데이터(100)를 입력받아 3차원 합성곱(3D convolution) 연산을 수행하여 실제 모달리티 영상의 특징을 추출한다.
제1완전연결 인공신경망(420)은 하나 이상의 완전연결 계층(fully-connected layer)들로 구성되며, 상기 제1특징추출 인공신경망(410)으로부터 얻어진 실제 모달리티 영상의 특징들의 가중치합의 비선형 변환을 수행하여 입력 데이터보다 낮은 고차원의 특징으로 변환한다.
제2특징추출 인공신경망(440)은 3차원 합성곱(3D convolution) 연산을 수행하는 하나 이상의 계층들로 구성되며, 상기 다중 모달리티 영상 생성용 인공신경망(200)에서 생성된 다중 모달리티 영상데이터(300)를 입력받아 3차원 합성곱(3D convolution) 연산을 수행하여 생성된 다중 모달리티 영상의 특징을 추출한다.
제2완전연결 인공신경망(450)은 하나 이상의 완전연결 계층(fully-connected layer)들로 구성되며, 상기 제2특징추출 인공신경망(440)으로부터 얻어진 다중 모달리티 영상의 특징들의 가중치합의 비선형 변환을 수행하여 입력데이터보다 낮은 고차원의 특징으로 변환한다.
최종 완전연결 인공신경망(460)은 상기 각 모달리티 영상들의 완전연결 계층들을 거친 각 모달리티 별 특징정보들을 마지막 완전연결하여 다중 모달리티 영상들을 이용하여 실제 모달리티 영상의 질병 여부를 판단한다.
진단출력 인공신경망(470)은 1차원 벡터로 이루어지며, 각 모달리티들의 특징을 동시에 고려하여 질환의 여부 진단 결과를 출력한다. 이러한 진단출력 인공신경망(470)은 질환의 여부를 판단하는 [0,1] 사이의 값을 출력하며, 질환의 심각성 정도를 단계별로 구분하기 위해 1차원 벡터의 크기는 2 이상의 값을 가진다.
이상과 같이 구성되는 본 발명에 따른 다중 모달리티 영상 생성 기법을 이용한 의료영상진단시스템의 작용 효과를 설명하면 다음과 같다.
먼저, 의료영상장비 등과 같은 영상획득장치에서 2차원 또는 3차원 영상데이터(100)가 주어지면, 다중 모달리티 영상 생성용 인공신경망(200) 및 다중 모달리티 기반 진단용 인공신경망(400)에 동시에 입력된다.
다중 모달리티 영상 생성용 인공신경망(200)의 특징추출 인공신경망(210)에서는 입력된 실제 영상데이터(100)에 대한 3차원 합성곱(3D convolution) 연산들을 수행하여 원본 영상보다 작은 크기의 고차원의 영상 특징을 추출하고, 다중 모달리티 생성 인공신경망(220)은 이로부터 3차원 역합성곱(3D deconvolution) 연산을 수행하여 다른 모달리티의 영상데이터(300)를 2차원 또는 3차원으로 생성한다.
다음으로 다중 모달리티 기반 진단용 인공신경망(400)에서는 의료영상장비에서 획득된 2차원 또는 3차원 실제 영상데이터(100)와 다중 모달리티 영상 생성용 인공신경망(200)에서 생성된 다중 모달리티 영상데이터(300)를 모두 입력받아 다중 모달리티 영상들을 이용해 실제 영상데이터(100)의 질병 여부를 진단하게 된다.
즉, 이러한 다중 모달리티 기반 진단용 인공신경망(400)에서는 제1특징추출 인공신경망(410)과 제1완전연결 인공신경망(420)을 통해 의료영상장비에서 획득된 2차원 또는 3차원 실제 영상데이터(100)의 3차원 합성곱 연산 및 완전 연결을 수행하여 실제 영상데이터(100)의 특징을 추출하여 입력데이터보다 작은 크기의 고차원의 특징으로 변환하고, 동시에 제2특징추출 인공신경망(440)과 제2완전연결 인공신경망(450)을 통해 다중 모달리티 영상 생성용 인공신경망(200)에서 생성된 다중 모달리티 영상데이터(300)의 3차원 합성곱 연산 및 완전 연결을 수행하여 다중 모달리티 영상데이터(300)의 특징을 추출하여 입력데이터보다 작은 크기의 고차원의 특징으로 변환한다.
마지막으로 최종 완전연결 인공신경망(460)에서는 각 모달리티 영상들의 완전연결계층들을 거친 모달리티별 특징정보들을 마지막으로 완전 연결하고, 진단출력 인공신경망(470)에서는 각 모달리티들의 특징을 동시에 고려하여 질환여부 판단 결과를 최종 출력한다. 여기에서 각 모달리티들의 특징을 동시에 고려하여 최종 출력인 1차원 벡터에서는 질환의 여부를 판단하는 [0,1] 사이의 값을 출력하며, 질환의 심각성 정도를 단계별로 구분하기 위해 1차원 벡터의 크기는 2 이상의 값을 가진다.
이상의 본 발명에 의하면, 단일 모달리티 기반 방법보다 높은 진단 정확도를 갖는다고 알려져 있는 다중 모달리티 기반의 영상들을 이용한 인공신경망 기반 진단 방법을 이용하게 되므로, 영상 획득장치의 부재나 높은 비용 등으로 인해 다중 모달리티 영상들을 직접 얻는 것이 어려운 경우 다중 모달리티 영상 생성용 인공신경망을 통해 필요한 모달리티의 영상을 생성할 수 있게 되므로 이를 이용하여 향상된 진단 성능을 얻을 수 있게 된다.
특히 MRI 영상을 이용한 알츠하이머병, 파킨슨병, 치매 등과 같은 퇴행성 뇌질환 및 조현병과 같은 정신질환의 진단을 위한 연구가 많이 이루어지고 있는데, 이러한 종류의 질환들은 치료에 걸리는 시간이나 비용이 매우 크기 때문에 고령화 사회적 진입에 큰 문제로 인식되고 있다. 따라서 본 발명을 이용한 뇌질환의 조기 발견은 사회적, 경제적으로 큰 의미를 가질 수 있게 된다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허 청구 범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
100 : 실제 영상데이터
200 : 다중 모달리티 영상 생성용 인공신경망
210 : 특징추출 인공신경망
220 : 다중 모달리티 생성 인공신경망
300 : 모달리티 영상데이터
400 : 다중 모달리티 기반 진단용 인공신경망
410 : 제1특징추출 인공신경망
420 : 제1완전연결 인공신경망
440 : 제2특징추출 인공신경망
450 : 제2완전연결 인공신경망
460 : 최종 완전연결 인공신경망
470 : 진단출력 인공신경망

Claims (4)

  1. 의료영상장비에서 획득된 2차원 또는 3차원 실제 영상데이터(100)를 입력받아 같은 부위에 대한 다중 모달리티 영상을 2차원 또는 3차원으로 생성하는 다중 모달리티 영상 생성용 인공신경망(200); 및
    의료영상장비에서 획득된 2차원 또는 3차원 실제 영상데이터(100)와 상기 다중 모달리티 영상 생성용 인공신경망(200)에서 생성된 다중 모달리티 영상데이터(300)을 입력받아 다중 모달리티 영상들을 이용해 실제 영상데이터(100)의 질병 여부를 판단하여 출력하는 다중 모달리티 기반 진단용 인공신경망(400);을 포함하여 구성되며,
    상기 다중 모달리티 영상 생성용 인공신경망(200)은,
    3차원 합성곱(3D convolution) 연산들을 수행하는 하나 이상의 계층들로 구성되며, 의료영상장비에서 획득된 2차원 또는 3차원 실제 영상데이터(100)를 입력받아 3차원 합성곱(3D convolution) 연산들을 수행하여 입력 영상데이터보다 작은 크기의 고차원의 영상 특징을 추출하는 특징추출 인공신경망(210); 및
    3차원 역합성곱(3D deconvolution) 연산을 수행하는 하나 이상의 계층들로 구성되며, 상기 특징추출 인공신경망(210)의 3차원 합성곱 연산 수행결과로부터 3차원 역합성곱(3D deconvolution) 연산을 수행하여 2차원 또는 3차원의 다중 모달리티 영상데이터(300)를 생성하는 다중 모달리티 생성 인공신경망(220);을 포함하고,
    상기 다중 모달리티 기반 진단용 인공신경망(400)은,
    3차원 합성곱(3D convolution) 연산을 수행하는 하나 이상의 계층들로 구성되며, 의료영상장비에서 획득된 2차원 또는 3차원 실제 영상데이터(100)를 입력받아 3차원 합성곱(3D convolution) 연산을 수행하여 실제 모달리티 영상의 특징을 추출하는 제1특징추출 인공신경망(410);
    하나 이상의 완전연결 계층(fully-connected layer)들로 구성되며, 상기 제1특징추출 인공신경망(410)으로부터 얻어진 실제 모달리티 영상의 특징들의 가중치합의 비선형 변환을 수행하여 입력 데이터보다 작은 크기의 고차원의 특징으로 변환하는 제1완전연결 인공신경망(420);
    3차원 합성곱(3D convolution) 연산을 수행하는 하나 이상의 계층들로 구성되며, 상기 다중 모달리티 영상 생성용 인공신경망(200)에서 생성된 다중 모달리티 영상데이터(300)를 입력받아 3차원 합성곱(3D convolution) 연산을 수행하여 생성된 다중 모달리티 영상의 특징을 추출하는 제2특징추출 인공신경망(440);
    하나 이상의 완전연결 계층(fully-connected layer)들로 구성되며, 상기 제2특징추출 인공신경망(440)으로부터 얻어진 다중 모달리티 영상의 특징들의 가중치합의 비선형 변환을 수행하여 입력데이터보다 작은 크기의 고차원의 특징으로 변환하는 제2완전연결 인공신경망(450);
    상기 각 모달리티 영상들의 완전연결 계층들을 거친 각 모달리티 별 특징정보들을 마지막 완전연결하여 다중 모달리티 영상들을 이용하여 실제 모달리티 영상의 질병 여부를 판단하는 최종 완전연결 인공신경망(460); 및
    1차원 벡터로 이루어지며, 각 모달리티들의 특징을 동시에 고려하여 질환의 여부 진단 결과를 출력하는 진단출력 인공신경망(470);를 포함하여 구성되는 것을 특징으로 하는 다중 모달리티 영상 생성 기법을 이용한 의료영상진단시스템.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서, 상기 진단출력 인공신경망(470)은,
    질환의 여부를 판단하는 [0,1] 사이의 값을 출력하며, 질환의 심각성 정도를 단계별로 구분하기 위해 1차원 벡터의 크기는 2 이상의 값을 가진 것을 특징으로 하는 다중 모달리티 영상 생성 기법을 이용한 의료영상진단시스템.
KR1020180091200A 2018-08-06 2018-08-06 다중 모달리티 영상 생성 기법을 이용한 의료영상진단시스템 KR101959438B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180091200A KR101959438B1 (ko) 2018-08-06 2018-08-06 다중 모달리티 영상 생성 기법을 이용한 의료영상진단시스템
PCT/KR2018/013904 WO2020032325A1 (ko) 2018-08-06 2018-11-14 다중 모달리티 영상 생성 기법을 이용한 의료영상진단시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180091200A KR101959438B1 (ko) 2018-08-06 2018-08-06 다중 모달리티 영상 생성 기법을 이용한 의료영상진단시스템

Publications (1)

Publication Number Publication Date
KR101959438B1 true KR101959438B1 (ko) 2019-03-18

Family

ID=65949011

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180091200A KR101959438B1 (ko) 2018-08-06 2018-08-06 다중 모달리티 영상 생성 기법을 이용한 의료영상진단시스템

Country Status (2)

Country Link
KR (1) KR101959438B1 (ko)
WO (1) WO2020032325A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200128989A (ko) * 2019-05-07 2020-11-17 주식회사 힐세리온 이산 웨이브릿 변환을 이용한 영상신호의 노이즈 제거 장치 및 이를 포함하는 원격 의료 진단 시스템
CN112289441A (zh) * 2020-11-19 2021-01-29 吾征智能技术(北京)有限公司 一种基于多模态的医学生物特征信息匹配系统
CN112581428A (zh) * 2020-11-26 2021-03-30 广东工业大学 一种多模态医学图像辅助诊断方法
CN113129342A (zh) * 2019-12-31 2021-07-16 无锡祥生医疗科技股份有限公司 多模态融合成像方法、装置及存储介质
CN113116378A (zh) * 2019-12-31 2021-07-16 无锡祥生医疗科技股份有限公司 多模态融合成像方法、超声设备及存储介质
WO2023113500A1 (ko) * 2021-12-17 2023-06-22 가천대학교 산학협력단 의료영상의 깊이영상 예측 시스템 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101797038B1 (ko) 2011-04-22 2017-11-13 삼성전자주식회사 진단영상을 생성하는 방법, 이를 수행하는 장치, 진단시스템 및 의료영상시스템
KR101820844B1 (ko) 2011-07-22 2018-01-23 삼성전자주식회사 진단영상 생성장치, 의료영상시스템 및 이미지를 처리하는 방법
KR20180040287A (ko) * 2016-10-12 2018-04-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
KR20180057420A (ko) * 2016-11-22 2018-05-30 주식회사 루닛 약한 지도 학습 방식의 객체 인식 방법 및 장치
KR101875704B1 (ko) 2011-06-30 2018-07-06 삼성전자주식회사 데이터 처리장치, 의료영상시스템 및 진단영상을 생성하는 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102233427B1 (ko) * 2014-04-14 2021-03-29 삼성전자주식회사 의료 영상 정합 방법 및 장치
KR101740464B1 (ko) * 2016-10-20 2017-06-08 (주)제이엘케이인스펙션 뇌졸중 진단 및 예후 예측 방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101797038B1 (ko) 2011-04-22 2017-11-13 삼성전자주식회사 진단영상을 생성하는 방법, 이를 수행하는 장치, 진단시스템 및 의료영상시스템
KR101875704B1 (ko) 2011-06-30 2018-07-06 삼성전자주식회사 데이터 처리장치, 의료영상시스템 및 진단영상을 생성하는 방법
KR101820844B1 (ko) 2011-07-22 2018-01-23 삼성전자주식회사 진단영상 생성장치, 의료영상시스템 및 이미지를 처리하는 방법
KR20180040287A (ko) * 2016-10-12 2018-04-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
KR20180057420A (ko) * 2016-11-22 2018-05-30 주식회사 루닛 약한 지도 학습 방식의 객체 인식 방법 및 장치

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200128989A (ko) * 2019-05-07 2020-11-17 주식회사 힐세리온 이산 웨이브릿 변환을 이용한 영상신호의 노이즈 제거 장치 및 이를 포함하는 원격 의료 진단 시스템
KR102216965B1 (ko) * 2019-05-07 2021-02-18 주식회사 힐세리온 이산 웨이브릿 변환을 이용한 영상신호의 노이즈 제거 장치 및 이를 포함하는 원격 의료 진단 시스템
US11640652B2 (en) 2019-05-07 2023-05-02 Healcerion Co., Ltd. Discrete wavelet transform-based noise removal apparatus for removing noise from image signal and remote medical diagnosis system including the same
CN113129342A (zh) * 2019-12-31 2021-07-16 无锡祥生医疗科技股份有限公司 多模态融合成像方法、装置及存储介质
CN113116378A (zh) * 2019-12-31 2021-07-16 无锡祥生医疗科技股份有限公司 多模态融合成像方法、超声设备及存储介质
CN112289441A (zh) * 2020-11-19 2021-01-29 吾征智能技术(北京)有限公司 一种基于多模态的医学生物特征信息匹配系统
CN112289441B (zh) * 2020-11-19 2024-03-22 吾征智能技术(北京)有限公司 一种基于多模态的医学生物特征信息匹配系统
CN112581428A (zh) * 2020-11-26 2021-03-30 广东工业大学 一种多模态医学图像辅助诊断方法
WO2023113500A1 (ko) * 2021-12-17 2023-06-22 가천대학교 산학협력단 의료영상의 깊이영상 예측 시스템 및 방법

Also Published As

Publication number Publication date
WO2020032325A1 (ko) 2020-02-13

Similar Documents

Publication Publication Date Title
KR101959438B1 (ko) 다중 모달리티 영상 생성 기법을 이용한 의료영상진단시스템
Faragallah et al. A comprehensive survey analysis for present solutions of medical image fusion and future directions
JP7246866B2 (ja) 医用画像処理装置
Pan et al. Spatially-constrained fisher representation for brain disease identification with incomplete multi-modal neuroimages
US10452957B2 (en) Image classification apparatus, method, and program
CN110236543B (zh) 基于深度学习的阿尔茨海默病多分类诊断系统
Khagi et al. Pixel‐Label‐Based Segmentation of Cross‐Sectional Brain MRI Using Simplified SegNet Architecture‐Based CNN
US20190057504A1 (en) Image Processor, Image Processing Method, And Image Processing Program
US10803354B2 (en) Cross-modality image synthesis
KR101957811B1 (ko) 의료 영상에 기반하여 피검체의 치매에 대한 중증도를 산출하는 방법 및 이를 이용한 장치
US20160155234A1 (en) Methods of and apparatuses for modeling structures of coronary arteries from three-dimensional (3d) computed tomography angiography (cta) images
Kadry et al. Automated detection of brain abnormality using deep-learning-scheme: A study
Abdelmaguid et al. Left ventricle segmentation and volume estimation on cardiac mri using deep learning
JP6981940B2 (ja) 画像診断支援装置、方法及びプログラム
Al-Khasawneh et al. Alzheimer’s Disease Diagnosis Using MRI Images
Lu et al. Classification of Alzheimer’s disease in MobileNet
CN112686899B (zh) 医学图像分析方法和装置、计算机设备及存储介质
Al-Absi et al. Hybrid intelligent system for disease diagnosis based on artificial neural networks, fuzzy logic, and genetic algorithms
Lei et al. Multi-modality MRI arbitrary transformation using unified generative adversarial networks
Bondfale et al. Convolutional neural network for categorization of lung tissue patterns in interstitial lung diseases
Shams-Baboli et al. A Zernike moment based method for classification of Alzheimer's disease from structural MRI
Hassanpour et al. Detection of Alzheimer\\\\\\\\\\\\\\\'s Disease using Multitracer Positron Emission Tomography Imaging
Komandur et al. Unsupervised harmonization of brain MRI using 3D CycleGANs and its effect on brain age prediction
Bhasin et al. Multiple-activation parallel convolution network in combination with t-SNE for the classification of mild cognitive impairment
Cao et al. Mental disease feature extraction with MRI by 3D convolutional neural network with multi-channel input

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant