KR20230056300A - 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 시스템 및 그 방법 - Google Patents

잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 시스템 및 그 방법 Download PDF

Info

Publication number
KR20230056300A
KR20230056300A KR1020210140170A KR20210140170A KR20230056300A KR 20230056300 A KR20230056300 A KR 20230056300A KR 1020210140170 A KR1020210140170 A KR 1020210140170A KR 20210140170 A KR20210140170 A KR 20210140170A KR 20230056300 A KR20230056300 A KR 20230056300A
Authority
KR
South Korea
Prior art keywords
liver
sampling
scale parallel
scan
image data
Prior art date
Application number
KR1020210140170A
Other languages
English (en)
Inventor
노승민
잠 맥수드 무아
부카리 마이람
에일 지샨
길라니 사이라
메흐무드 이르판
정영애
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020210140170A priority Critical patent/KR20230056300A/ko
Publication of KR20230056300A publication Critical patent/KR20230056300A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222—Evaluating particular parts, e.g. particular organs
    • A61B5/4244—Evaluating particular parts, e.g. particular organs liver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endocrinology (AREA)
  • Physiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예에 따른 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 시스템은, 데이터 베이스에 저장된 간 종양 이미지 데이터에서 데이터 세트를 추출하는 데이터 추출부; 실시간으로 수행되는 CT 스캔의 간 이미지에서 노이즈를 제거하는 전처리부; 및 상기 노이즈가 제거된 CT 스캔의 간 이미지 데이터 및 데이터 세트를 조합하여 입력 받고, 상기 데이터 세트에 상기 CT 스캔의 간 이미지 데이터를 잔여학습기반 멀티-스케일 병렬 컨볼루션 모델을 적용하여 학습한 후 상기 CT 스캔의 간 이미지 데이터의 간 종양 여부를 예측하는 제어부를 포함하는 점에 그 특징이 있다.

Description

잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 시스템 및 그 방법{A residual learning based multi-scale parallel convolutions system for liver tumor detection and the method thereof}
본 발명은 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 시스템 및 그 방법에 관한 것으로, 특히 CT 영상에서 간 종양 검출을 위해 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용하여 빠르고 정확하게 종양 특징을 추출할 수 있는 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 시스템 및 그 방법에 관한 것이다.
최근 기계 학습 및 컴퓨터 통신의 발전은 특히 IOMT 장치를 사용하여 스마트 의료 시스템을 개선하고 있는 추세이다. 멀티미디어 기반 의료 진단 시스템은 의료 보건 분야에서 중요하게 대두되고 있다. 이러한 지능적으로 설계된 진단 시스템은 의사뿐 만 아니라 방사선 전문의에게도 유용한 솔루션을 제공하게 된다. 이러한 기술들을 적용하는 의료 기술 중 간암 검출을 위한 시스템들이 개발되고 있다. 일반적으로, 간암은 전 세계적으로 6번째로 널리 퍼진 암으로 간세포암종으로도 알려져 있으며 연간 약 700,000명이 사망하는 원발성 암 유형이다. 원발성 간암의 가장 많이 관찰되는 근본 원인은 간경변증으로, 과도한 양의 알코올 섭취, B형 및 C형 간염 바이러스 및 체중 증가로 인한 기타 간 질환으로 인해 발생된다. 이러한, 간경변증은 MRI, CT 또는 초음파와 같은 영상 검사 방법의 도움으로 진단할 수 있다. 이들 중 CT는 포괄적인 복부 단면 영상을 제공하고 간 종양 분할에 사용되기 때문에 매우 잘 알려진 영상 검사 기술이다.
일반적으로 CT 종양 분할은 2단계로 모델을 훈련해야 하는 간 ROI 추출 후에 수행하게 된다. 첫 번째 단계에서는 전체 CT 스캔에서 간을 분할하도록 모델을 훈련하고 두 번째 단계에서는 추출된 간 ROI에서 종양을 추출하도록 모델을 다시 훈련하게 된다. 또한 모델의 출력을 사후 처리 기술 및 방법으로 전달하여 세분화 및 성능 정확도를 향상시키는 과정을 거치게 되어 복잡한 과정을 진행하는데 많은 시간이 소요되는 문제점이 발생된다.
앞서 언급한 문제점을 해결하기 위하여, CT 영상에서 직접 간 종양 검출을 위해 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용하여 빠르고 정확하게 종양 특징을 추출할 수 있는 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 시스템 및 그 방법을 제공한다.
본 발명의 일 실시예에 따른 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 시스템은, 데이터 베이스에 저장된 간 종양 이미지 데이터에서 데이터 세트를 추출하는 데이터 추출부; 실시간으로 수행되는 CT 스캔의 간 이미지에서 노이즈를 제거하는 전처리부; 및 상기 노이즈가 제거된 CT 스캔의 간 이미지 데이터 및 데이터 세트를 조합하여 입력 받고, 상기 데이터 세트에 상기 CT 스캔의 간 이미지 데이터를 잔여학습기반 멀티-스케일 병렬 컨볼루션 모델을 적용하여 학습한 후 상기 CT 스캔의 간 이미지 데이터의 간 종양 여부를 예측하는 제어부를 포함하는 점에 그 특징이 있다.
여기서, 특히 상기 제어부에서 예측된 CT 스캔의 간 이미지 데이터의 가중치를 계산하여 오차를 검출하는 오차 산출부를 더 포함하는 점에 그 특징이 있다.
여기서, 특히 상기 제어부는, 상기 CT 스캔의 간 이미지 데이터를 크기가 다른 필터를 순차적으로 적용하여 특징 맵을 추출하고, 공간적 차원을 감소하여 분할 이미지를 출력하는 다운-샘플링 계층부; 상기 다운-샘플링 계층부의 특징 맵이 추출된 분할 이미지를 입력받아 업샘플링 계층부에 전달하는 병목 계층부; 및 상기 병목 계층부에서 출력된 분할 이미지에 공간 및 컨텍스트 정보를 추가하여 특징 맵의 크기를 복구하는 업-샘플링 계층부를 포함하는 점에 그 특징이 있다.
여기서, 특히 상기 다운-샘플링 계층부는, 상기 CT 스캔의 간 이미지 데이터를 크기가 다른 필터를 이용하여 특징 맵을 추출하는 멀티-스케일 병렬 컨볼루션 블록(Multi-Parallel Convolution blocks: MPC); 상기 멀티-스케일 병렬 컨볼루션 블록에서 추출한 특징 맵을 추가하여 잔여 학습하는 Res 블록; 및 상기 특징 맵이 추출된 이미지 데이터를 공간적 차원을 감소하여 분할 이미지로 출력하는 맥스-풀링 계층(max-Pooling layer)을 포함하는 점에 그 특징이 있다.
여기서, 특히 상기 업-샘플링 계층부는, 상기 병목 계층부에서 출력된 분할 이미지에서 특징 맵을 추출하는 멀티-스케일 병렬 컨볼루션 블록(Multi-Parallel Convolution blocks: MPC); 상기 멀티-스케일 병렬 컨볼루션 블록에서 추출한 특징 맵을 추가하여 잔여 학습하는 Res 블록; 상기 Res 블록에서 출력된 특징 맵의 크기를 복구하는 전치 컨볼루션 계층; 및 상기 다운-샘플링에서 상기 업 샘플링으로 컨텍스트 정보를 전송하는 스킵 커넥션 계층을 포함하는 점에 그 특징이 있다.
여기서, 특히 상기 다운-샘플링 계층부 및 상기 업-샘플링 계층부는 각각 4회 연속 동일한 패턴으로 학습하는 점에 그 특징이 있다.
또한, 본 발명의 일 실시예에 따른 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 방법은, 데이터 베이스에 저장된 간 종양 이미지 데이터에서 데이터 세트를 추출하는 단계; 실시간으로 수행되는 CT 스캔의 간 이미지에서 노이즈를 제거하는 단계; 및 상기 노이즈가 제거된 CT 스캔의 간 이미지 데이터 및 데이터 세트를 조합하여 입력 받고, 상기 데이터 세트에 상기 CT 스캔의 간 이미지 데이터를 잔여학습기반 멀티-스케일 병렬 컨볼루션 모델을 적용하여 학습한 후 상기 CT 스캔의 간 이미지 데이터의 간 종양 여부를 예측하는 단계;를 포함하는 점에 그 특징이 있다.
여기서, 특히 상기 예측된 CT 스캔의 간 이미지 데이터의 가중치를 계산하여 오차를 검출하는 단계를 더 포함하는 점에 그 특징이 있다.
여기서, 특히 상기 예측하는 단계는, 상기 CT 스캔의 간 이미지 데이터를 크기가 다른 필터를 순차적으로 적용하여 특징 맵을 추출하고, 공간적 차원을 감소하여 분할 이미지를 출력하는 다운-샘플링 단계; 상기 다운-샘플링 단계에서 특징 맵이 추출된 분할 이미지를 입력받아 업-샘플링에 전달하는 단계; 및 상기 전달된 분할 이미지에 공간 및 컨텍스트 정보를 추가하여 특징 맵의 크기를 복구하는 업-샘플링하는 단계를 포함하는 점에 그 특징이 있다.
여기서, 특히 상기 다운-샘플링 단계는, 멀티-스케일 병렬 컨볼루션 블록(Multi-Parallel Convolution blocks: MPC)에서 상기 CT 스캔의 간 이미지 데이터를 크기가 다른 필터를 이용하여 특징 맵을 추출하는 단계; Res 블록에서 멀티-스케일 병렬 컨볼루션 블록에서 추출한 특징 맵을 추가하여 잔여 학습하는 단계; 및 맥스-풀링 계층(max-Pooling layer)에서 특징 맵이 추출된 이미지 데이터를 공간적 차원을 감소하여 분할 이미지로 출력하는 단계를 포함하는 점에 그 특징이 있다.
여기서, 특히 상기 업-샘플링 단계는, 멀티-스케일 병렬 컨볼루션 블록(Multi-Parallel Convolution blocks: MPC)에서 상기 출력된 분할 이미지에서 특징 맵을 추출하는 단계; Res 블록에서 상기 추출한 특징 맵을 추가하여 잔여 학습하는 단계; 전치 컨볼루션 계층에서 출력된 특징 맵의 크기를 복구하는 단계; 및 스킵 커넥션 계층에서 다운-샘플링에서 업-샘플링으로 컨텍스트 정보를 전송하는 단계를 포함하는 점에 그 특징이 있다.
여기서, 특히 상기 다운-샘플링 및 상기 업-샘플링은 각각 4회 연속 동일한 패턴으로 학습하는 점에 그 특징이 있다.
본 발명에서 개시하고 있는 일 실시예에 따르면 CT 영상에서 간 종양 검출을 위해 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용하여 빠르고 정확하게 종양 특징을 추출할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 시스템의 구성을 개략적으로 도시한 도면이다.
도 2는 본 발명의 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 방법의 개념을 도식화한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 방법에 대한 순서도이다.
도 4는 본 발명의 데이터베이스의 3D 원시 데이터 및 CT 스캔 이미지의 예를 보여주는 도면이다.
도 5는 본 발명의 간 종양 분할을 위한 제안된 알고리즘의 아키텍처를 개략적으로 도시한 도면이다.
도 6은 본 발명의 MPC 블록의 아키텍처를 개략적으로 도시한 도면이다.
도 7은 본 발명의 일부 중간 계층의 활성화 기능 맵 시각화를 보여주는 도면이다.
도 8은 상기 도 7의 프레임워크의CT 스캔에서 종양의 분할 결과를 보여주는 도면이다.
도 9는 본 발명의 테스트 세트에서 환자의 각 CT 스캔 슬라이스에 대한 Dice 및 Jaccard 점수 분석 그래프이다.
도 10은 본 발명에 따른 프레임워크와 UNET의 정확도 및 손실 곡선 보여주는 그래프이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면을 참조하여 상세하게 설명하도록 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일 실시예에 따른 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 시스템의 구성을 개략적으로 도시한 도면이고, 도 2는 본 발명의 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 방법의 개념을 도식화한 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 시스템(100)은, 데이터 베이스(110)에 저장된 간 종양 이미지 데이터에서 데이터 세트를 추출하는 데이터 추출부(120); 실시간으로 수행되는 CT 스캔의 간 이미지에서 노이즈를 제거하는 전처리부(130); 및 상기 노이즈가 제거된 CT 스캔의 간 이미지 데이터 및 데이터 세트를 조합하여 입력 받고, 상기 데이터 세트에 상기 CT 스캔의 간 이미지 데이터를 잔여학습기반 멀티-스케일 병렬 컨볼루션 모델을 적용하여 학습한 후 상기 CT 스캔의 간 이미지 데이터의 간 종양 여부를 예측하는 제어부(140) 및 상기 제어부에서 예측된 CT 스캔의 간 이미지 데이터의 가중치를 계산하여 오차를 검출하는 오차 산출부(150)를 포함하여 구성된다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 시스템에서 데이터 세트 추출과 CT 스캔의 전처리를 포함하는 도식화된 과정을 보여주고 있다.
상기 제어부(140)는 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리하는 알고리즘을 수행하는 것으로, 크게 다운-샘플링 계층부, 병목 계층부 및 업-샘플링 계층부로 물리적 계층으로 나눌 수 있다.
상기 다운-샘플링 계층부는 상기 CT 스캔의 간 이미지 데이터를 크기가 다른 필터를 순차적으로 적용하여 특징 맵을 추출하고, 공간적 차원을 감소하여 분할 이미지를 출력하게 된다. 즉, 다운-샘플링 계층은 도 4와 같이 크기가 256*256*1인 CT 스캔 이미지를 다중 스케일 병렬 컨볼루션 블록(MPC)에 입력하는 것부터 시작하여 크기 2*2의 최대 풀링 연산과 Res 블록을 차례로 수행한다.
보다 구체적으로, 상기 다운-샘플링 계층부는 멀티-스케일 병렬 컨볼루션 블록(Multi-Parallel Convolution blocks: MPC), Res 블록 및 맥스-풀링 계층(max-Pooling layer)을 포함하여 구성된다.
상기 멀티-스케일 병렬 컨볼루션 블록(Multi-Parallel Convolution blocks: MPC)는 상기 CT 스캔의 간 이미지 데이터를 크기가 다른 필터를 이용하여 특징 맵을 추출하게 된다.
상기 Res 블록은 상기 멀티-스케일 병렬 컨볼루션 블록에서 추출한 특징 맵을 추가하여 잔여 학습하게 된다.
상기 맥스-풀링 계층(max-Pooling layer)은 상기 특징 맵이 추출된 이미지 데이터를 공간적 차원을 감소하여 분할 이미지로 출력하게 된다.
여기서, 상기 다운-샘플링 계층부는 동일한 구성으로 각각 4회 연속 동일한 패턴으로 학습하여 모델링의 과적합을 방지하게 된다.
상기 병목 계층부는 상기 다운-샘플링 계층부의 특징 맵이 추출된 분할 이미지를 입력받아 업샘플링 계층부에 전달하게 된다.
상기 병목 계층부는 다중 스케일 병렬 컨볼루션 블록(MPC)과 그 뒤에 오는 Res 블록으로 구성된다. 다운-샘플링 경로의 마지막 맥스-풀링 계층의 출력은 MPC 블록에 대한 입력으로 제공된다. 여기에는 출력이 추가되고 Res Block에 대한 입력으로 제공되는 다양한 크기의 필터가 포함될 수 있다. 병목 계층의 출력은 첫 번째 업-샘플링 계층인 전치 컨볼루션(Transposed convolution) 계층에 대한 입력으로 제공된다. 여기서, 병목 계층에 대한 입력으로 제공되는 특징 맵의 크기는 16*16*256이고 총 필터 수는 32로 설정될 수 있다.
상기 업-샘플링 계층부는 상기 병목 계층부에서 출력된 분할 이미지에 공간 및 컨텍스트 정보를 추가하여 특징 맵의 크기를 복구하게 된다. 여기서, 업-샘플링 계층은 크기 3*3의 전치 컨볼루션(Transposed convolution)과 2*2의 보폭을 사용할 수 있다. 전치 컨볼루션(Transposed convolution)은 디콘볼루션 계층(deconvolution layer) 역할을 하며 가중치 없이 입력 이미지의 차원을 두 배로 늘리는 단순 업 연산 대신 적절한 학습을 *?*통해 이미지의 업-샘플링을 수행하게 된다.
보다 구체적으로, 상기 업-샘플링 계층부는 멀티-스케일 병렬 컨볼루션 블록(Multi-Parallel Convolution blocks: MPC), Res 블록, 전치 컨볼루션(Transposed convolution) 계층 및 스킵 커넥션 계층을 포함하여 구성된다.
상기 멀티-스케일 병렬 컨볼루션 블록(Multi-Parallel Convolution blocks: MPC)은 상기 병목 계층부에서 출력된 분할 이미지에서 특징 맵을 추출하게 된다.
상기 Res 블록은 상기 멀티-스케일 병렬 컨볼루션 블록에서 추출한 특징 맵을 추가하여 잔여 학습하게 된다.
상기 전치 컨볼루션 계층은 상기 Res 블록에서 출력된 특징 맵의 크기를 복구하게 된다.
상기 스킵 커넥션 계층은 상기 다운-샘플링에서 상기 업 샘플링으로 컨텍스트 정보를 전송하게 된다.
여기서, 상기 업-샘플링 계층부는 각각 4회 연속 동일한 패턴으로 학습하여 모델링의 과적합을 방지하게 된다.
한편, 상기 제어부(140)의 각 다운-샘플링 계층부, 병목 계층부 및 업-샘플링 계층부의 구체적인 수행에 대한 설명은 하기에서 상세히 설명하기로 한다.
도 3은 본 발명의 일 실시 예에 따른 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 방법에 대한 순서도이고, 도 4는 본 발명의 데이터베이스의 3D 원시 데이터 및 CT 스캔 이미지의 예를 보여주는 도면이고, 도 5는 본 발명의 간 종양 분할을 위한 제안된 알고리즘의 아키텍처를 개략적으로 도시한 도면이고, 도 6은 본 발명의 MPC 블록의 아키텍처를 개략적으로 도시한 도면이다.
먼저, 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 방법은, 데이터 베이스에 저장된 간 종양 이미지 데이터에서 데이터 세트를 추출하는 단계가 수행된다(S310).
보다 구체적으로, 데이터 세트의 추출은 데이터 베이스에 저장된 데이터들과 비교를 위한 3D 이미지 재구성이라고도 하는 3Dircadb 데이터 세트를 사용할 수 있다. 예컨대, 여러 병원의 종양 CT 스캔이 포함된 총 20개의 폴더를 참조할 수 있고, 3Dircadb 데이터 세트는 사례의 75%에서 간 종양으로 진단된 20명의 환자에 대한 CT 스캔으로 구성된 데이터일 수 있다. 환자 이미지는 해당 레이블 이미지 및 ROI와 함께 DICOM 형식으로 제공될 수 있다. 각 3D 이미지의 총 CT 슬라이스 수는 환자마다 다르고, 종양이 존재하지 않는 일부 조각이 있을 수 있다.
또한, 알고리즘 학습에 사용되는 2D CT 스캔 슬라이스의 크기는 256*256*1입니다. 데이터 세트의 세부 정보는 하기 표 1과 같다.
Figure pat00001
이어서, 실시간으로 수행되는 CT 스캔의 간 이미지에서 노이즈를 제거하는 단계가 수행된다(S320). 즉, ROI의 가시성을 높이고 더 나은 이미지 품질을 얻기 위해 데이터 세트에 대해 전처리를 수행하게 된다.
보다 구체적으로, 일반적인 의료 영상 데이터 세트에는 일반적으로 ROI가 제거되도록 노이즈 텍스처가 있다. 이러한 노이즈에는 모든 종류의 얼룩, 불규칙한 반점, 원치 않는 물체 및 장기가 포함될 수 있다. 따라서, 의료 영상 데이터 세트를 만들기 위해서는 먼저 전처리가 필요하다. 즉, 원시 데이터는 대부분 노이즈가 많고 더 이상 처리할 수 없으므로 이 단계에서는 보다 선명한 이미지를 얻기 위해 수행하게 된다. 여기서, 노이즈 제거는 [-100,400] 범위의 하운스필드(Hounsfield) 단위 값에 의해 수행되므로 노이즈 얼룩, 불규칙한 반점, 장기 및 원치 않는 물체 없이 향상된 이미지를 얻게 된다.
도 4를 참조하면, 노이즈가 제거되기 전과 후의 3DIRCADb 데이터 세트의 일부 예를 보여주고 있으며 제거 후의 향상된 이미지를 확인할 수 있다.
그리고, 상기 노이즈가 제거된 CT 스캔의 간 이미지 데이터 및 데이터 세트를 조합하여 입력 받고, 상기 데이터 세트에 상기 CT 스캔의 간 이미지 데이터를 잔여학습기반 멀티-스케일 병렬 컨볼루션 모델을 적용하여 학습한 후 상기 CT 스캔의 간 이미지 데이터의 간 종양 여부를 예측하는 단계를 수행하게 된다(S330).
보다 구체적으로, 상기 예측하는 단계는 상기 CT 스캔의 간 이미지 데이터를 크기가 다른 필터를 순차적으로 적용하여 특징 맵을 추출하고, 공간적 차원을 감소하여 분할 이미지를 출력하는 다운-샘플링하고, 상기 다운-샘플링 단계에서 특징 맵이 추출된 분할 이미지를 입력받아 업-샘플링에 전달하고, 상기 전달된 분할 이미지에 공간 및 컨텍스트 정보를 추가하여 특징 맵의 크기를 복구하는 업-샘플링하는 단계를 수행하게 된다.
먼저, 상기 다운-샘플링 단계는 멀티-스케일 병렬 컨볼루션 블록(Multi-Parallel Convolution blocks: MPC)에서 상기 CT 스캔의 간 이미지 데이터를 크기가 다른 필터를 이용하여 특징 맵을 추출하고, Res 블록에서 멀티-스케일 병렬 컨볼루션 블록에서 추출한 특징 맵을 추가하여 잔여 학습하게 된다. 그리고, 맥스-풀링 계층(max-Pooling layer)에서 특징 맵이 추출된 이미지 데이터를 공간적 차원을 감소하여 분할 이미지로 출력하게 된다.
보다 구체적으로, 다운-샘플링 계층에 대해 상세히 후술하기로 한다.
먼저, 도 5에 도시된 바와 같이, 다운-샘플링 경로는 크기가 256*256*1인 CT 스캔 이미지를 다중 스케일 병렬 컨볼루션 블록(MPC)에 입력하는 것부터 시작하여 크기 2*2의 최대 풀링 연산과 Res 블록을 차례로 수행된다. 주어진 CT 스캔의 공간적 차원을 줄이고 하기 수학식 1에 정의될 수 있다.
[수학식 1]
Figure pat00002
수학식 1에서 뉴런
Figure pat00003
는 ith 출력 맵에서 (k,w) 위치에 존재한다. ith 입력 맵 xi 에서 뉴런
Figure pat00004
은 p Х p 영역의 최대값인 다음과 같이 할당된다.
다중 스케일 병렬 컨볼루션 블록(MPC)은 1*1, 3*3 및 5*5 크기의 필터의 서로 다른 스케일을 사용하는 병렬 컨볼루션과 하기 수학식 2에서 정의된 ReLu 활성함수를 포함한다.
[수학식 2]
Figure pat00005
이러한 다중 병렬 컨볼루션의 출력이 추가되어 Res 블록에 대한 입력으로 제공될 수 있다. MPC 블록은 다양한 크기의 종양의 특징을 추출할 수 있는 병렬 컨볼루션을 사용하므로 다양한 규모로 학습할 수 있다. MPC 블록은 첫 번째 MPC 블록을 제외한 모든 맥스-풀링 작업 후에 사용된다. 다양한 컨볼루션의 특징 맵은 하기 수학식 3에서 계산된다.
[수학식 3]
Figure pat00006
상기 수학식 3에서 입력 이미지는 m 으로 표시되고 커널 또는 필터는 n 로 표시된다. 행렬의 행과 열의 인덱스는 x 및 y 로 표시된다.
또한, 도 6에 도시된 바와 같이, MPC 블록을 참조할 수 있다.
Res 블록의 입력은 MPC 블록의 출력이고, res 블록의 아키텍처는 1*1 컨볼루션으로 시작하여 다른 요소의 입력을 제공하여 특징 맵의 다른 위치에 새로운 요소를 생성하게 된다. ith 입력 채널의 위치에 요소 값 xi 및 xj 이 존재한다. 유사하게, 동일한 대응 위치에서 출력 값 xj 은 jth 출력 채널의 위치를 나타내는 데 사용된다. xi 및 xj 사이의 가중치 행렬은 wij 로 표시되고 편향 항은 bj 로 표시된다. 이는 하기 수학식 4로 나타낼 수 있다.
[수학식 4]
Figure pat00007
여기서, 1*1 컨볼루션은 투영 레이어 역할을 하며 끝 레이어에서 필터 또는 커널의 수를 줄이고 첫 번째 레이어에서 증가하고, 하기 수학식 5와 같이 계산된다.
[수학식 5]
Figure pat00008
입력 및 출력 레이어 벡터는 x 및 y 로 표시되고, 학습될 잔여 매핑은 F(xi,{Wi})로 표현된다. Res 블록에는 두 개의 레이어
Figure pat00009
가 있으며, 여기서 ReLu 활성화 함수는
Figure pat00010
로 표시된다.
따라서 추가 및 바로 가기 연결의 도움으로 F + x 연산이 계산된다. 수학식 4에서 이 바로 가기 연결은 네트워크에 추가 매개변수를 도입하지 않는다. 수학식 5에서 F 와 x 사이의 덧셈은 크기가 동일한 경우에만 수행된다. 치수가 같지 않은 경우 바로 가기 연결은 선형 투영을 수행합니다. 선형 투영은 Ws 로 나타내며 수학식 6으로 계산된다.
[수학식 6]
Figure pat00011
다운-샘플링 경로는 모델의 과적합을 방지하기 위해 0.05의 맥스-풀링 및 드롭아웃 계층이 뒤따르는 4회 연속 동일한 패턴으로 수행된다. 다중 병렬 컨볼루션 블록의 출력도 Res 블록의 출력에 추가된다.
또한 각 컨볼루션 블록의 필터 크기는 각각 16, 32, 64 및 128로 구성된다.
그리고, 병목 계층에서는 상기 다운-샘플링 단계에서 특징 맵이 추출된 분할 이미지를 입력받아 업-샘플링에 전달하게 된다.
상기 병목 계층부는 다중 스케일 병렬 컨볼루션 블록(MPC)과 그 뒤에 오는 Res 블록으로 구성된다. 다운-샘플링 경로의 마지막 맥스-풀링 계층의 출력은 MPC 블록에 대한 입력으로 제공된다. 여기에는 출력이 추가되고 Res Block에 대한 입력으로 제공되는 다양한 크기의 필터가 포함될 수 있다. 병목 계층의 출력은 첫 번째 업-샘플링 계층인 전치 컨볼루션(Transposed convolution) 계층에 대한 입력으로 제공된다. 여기서, 병목 계층에 대한 입력으로 제공되는 특징 맵의 크기는 16*16*256이고 총 필터 수는 32로 설정될 수 있다.
그리고, 상기 업-샘플링 단계는 멀티-스케일 병렬 컨볼루션 블록(Multi-Parallel Convolution blocks: MPC)에서 상기 출력된 분할 이미지에서 특징 맵을 추출하고, Res 블록에서 상기 추출한 특징 맵을 추가하여 잔여 학습하하고, 전치 컨볼루션 계층에서 출력된 특징 맵의 크기를 복구하고, 스킵 커넥션 계층에서 다운-샘플링에서 업-샘플링으로 컨텍스트 정보를 전송하는 과정을 거치게 된다.
여기서, 상기 업-샘플링은 각각 4회 연속 동일한 패턴으로 학습하여 과적합을 방지하게 된다.
보다 구체적으로, 업-샘플링 계층(Up-sampling Layers)은 크기 3*3의 전치 컨볼루션과 2*2의 보폭을 사용한다. 여기서, 전치 컨볼루션(Transposed convolution)은 디콘볼루션 레이어 역할을 하며 가중치 없이 입력 이미지의 차원을 두 배로 늘리는 단순 업 연산 대신 적절한 학습을 통해 이미지의 업샘플링을 수행하게 된다. 커널 w 과 패딩 없이 한 단위의 보폭에 의해 벡터로 펼쳐지는 입력 및 출력에 대해 왼쪽에서 오른쪽으로 컨볼루션이 적용되는 경우 컨볼루션을 나타낼 수 있는 희소 행렬 C 이라는 행렬이 있다고 가정한다. 희소 행렬 C 에서 커널의 0이 아닌 요소는 Wij 로 표시됩니다. 반면에, 희소 행렬 C 의 전치가 얻어지면 컨볼루션 연산의 역방향 패스가 쉽게 달성된다. 오류는 역전파되고 희소 행렬의 전치에 손실이 곱해진다. 컨볼루션은 희소 행렬 C 와 전치 CT 의 곱을 사용하여 정방향 및 역방향 통과를 계산하는 커널 W 에 의해 정의된다. 유사하게, 커널 W 에 의해 정의된 전치 컨볼루션의 순방향 및 역방향 패스는 희소 행렬 C 및 (CT)T을 곱하여 계산된다. 업-샘플링 계층의 패턴은 전치 컨볼루션과 스킵 커넥션, MPC 및 Res 블록으로 구성된다. 각 전치 컨볼루션 계층의 총 필터 수는 128, 64, 32 및 16 일 수 있다. 이러한 업-샘플링 계층의 주요 목적은 분할 이미지에 공간 및 컨텍스트 정보를 추가하여 특징 맵의 크기를 복구하는 것이다. 스킵 커네션을 사용하여 다운-샘플링 계층에서 업-샘플링 계층으로 컨텍스트 정보를 전송할 수 있다.
따라서, 1*1 크기의 컨볼루션과 시그모이드 활성화가 된다. 이때, 함수는 256*256*1의 최종 분할 이미지를 얻는 데 사용된다.
한편, 스킵 커넥션(Skip Connections)는 이미지를 다운-샘플링하는 동안 낮은 수준의 정보가 손실될 수 있다. 스킵 커넥션은 다운-샘플링 중에 손실된 정보를 복구하고 업-샘플링 계층이 낮은 수준의 기능을 검색하도록 하는 데 사용된다. 이는 업샘플링 계층과 다운-샘플링 계층의 출력 사이의 연결 연산을 통해 로컬라이제이션을 위한 컨텍스트 정보를 결합함으로써 달성할 수 있게 된다. 동일한 비율의 드롭아웃은 연결 연산 후 사용되며, 바로 가기 연결이 있는 다중 스케일 병렬 컨볼루션 블록(MPC) 및 Res 블록이 각각 뒤에서 처리된다.
그 다음, 상기 예측된 CT 스캔의 간 이미지 데이터의 가중치를 계산하여 오차를 검출하는 단계를 수행하게 된다(S340).
보다 구체적으로, 하이퍼파라미터(hyper-parameters)는 가중치 최적화 적응 학습 최적화(Adam)를 사용하여 0.001인 학습률을 포함하게 된다. RMSprop 뿐만 아니라 확률적 경사 하강법과 함께 운동량 항을 활용한다. 하기 수학식 7에 의해 네트워크의 가중치를 업데이트하게 된다.
[수학식 7]
Figure pat00012
여기서, 모델의 가중치는 W,
Figure pat00013
는 단계 크기이고 그 값은 네트워크의 반복에 따라 달라지며
Figure pat00014
값은 하기 수학식 8을 사용하여 계산된다.
[수학식 8]
Figure pat00015
여기서, β1과 β2의 값은 각각 0.9와 0.999이다. 네트워크 훈련 중에 실제 값과 예측 값 간의 오차는 이진 교차 엔트로피 손실이라는 손실 함수를 사용하여 계산된다. 다음 수학식 9와 같이 정의된다.
[수학식 9]
Figure pat00016
여기서, BCE는 이진 교차 엔트로피를 나타내며 는 모델에 의해 예측된 픽셀의 클래스를 나타내고, P(yi)는 배경 또는 전경인 모든 픽셀에 대해 학습된 모델에 의해 예측된 확률을 나타낸다. 상술한 본 발명의 모델은 입력 배치 크기가 4이고 이미지 차원이 256*256*1인 150 에포크로 학습된다. 또한, 20명의 환자의 전체 데이터 세트는 80-20 분할 분할로 겹치지 않는 트레인과 테스트 세트로 나뉜다.
한편, 상술한 본 발명에 따른 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 시스템 및 방법에 의한 시뮬레이션을 통해 실험 결과를 보여준다.
도 7은 본 발명의 일부 중간 계층의 활성화 기능 맵 시각화를 보여주는 도면이고, 도 8은 상기 도 7의 프레임워크의CT 스캔에서 종양의 분할 결과를 보여주는 도면이고, 도 9는 본 발명의 테스트 세트에서 환자의 각 CT 스캔 슬라이스에 대한 Dice 및 Jaccard 점수 분석 그래프이고, 도 10은 본 발명에 따른 프레임워크와 UNET의 정확도 및 손실 곡선 보여주는 그래프이다.
도 7에 도시된 바와 같이, 훈련 중에 CT 스캔의 입력 이미지는 컨볼루션 계층과 맥스-풀링 계층을 포함하는 모델을 통과하는 예를 보여주고 있다. 각 레이어의 출력은 활성화 또는 특징 맵의 형태로 생성된다. 이러한 시각화는 모델이 이미지의 컨텍스트 정보를 계층 별로 어떻게 묘사하는지 보여주고 있다.
도 8에 도시된 바와 같이, 본 발명의 모델에 의해 분할된 일부 샘플 이미지를 보여주고 있다. 여기서, 열(A)은 원본 테스트 세트 슬라이스 이미지를 보여주고, 열(B)는 종양의 실제 마스크를 보여주고, 열(C)는 이미지 위에 원본 마스크의 실제 오버레이 결과를 보여주고, 열(D)는 모델에 의해 예측된 마스크인 반면 열(E)은 이미지에서 예측된 마스크의 예측된 오버레이 결과를 보여주고 있다.
이때, 도 8에 마지막 행 이미지에서 볼 수 있는 것처럼 매우 작은 종양을 분할하는 데 어려움이 있음을 알 수 있다. 유사하게, 도 8의 열 (B)와 열 (D)에서와 같이 두 번째 행에서 세분화하는 데 어려움이 있다. 모든 점수는 열 (B) 및 열(D) 에 표시된 예측 및 실제 마스크의 도움으로 계산된다.
또한, 테스트 세트에서 개별 CT 스캔 슬라이스의 Dice and Jaccard 점수는 도 9에서 보여주고 있다. 도 9에서 x축은 CT 스캔 슬라이스의 수를 나타내고, y축은 다이스(Dice)와 재커드(Jaccard) 점수를 나타낸다. 도 9에서 나타난 바와 같이, 대부분의 CT 스캔에서 다이스 점수는 80 이상이다.
또한 도 10에 도시된 바와 같이, 본 발명의 알고리즘을 통해 훈련하는 동안 여러 에포크에 걸쳐 모델 손실을 확인하였다. 일반적으로 모델 손실이 0에 가깝거나 특정 에포크 수에 걸쳐 일정해지면 모델 예측이 완벽하게 판단하게 된다.
상술한 본 발명의 방법에 따르면, 도 10과 같이 손실 곡선이 나타나게 되고, 훈련 중 에포크(Epoch)에 대한 모델의 정확도를 보여주고 있다. 여기서, 정확도는 모든 클래스에 대한 정확한 예측 수를 결정한다.
따라서, 본 발명에 따르면, CT 영상에서 간 종양 검출을 위해 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용하여 빠르고 정확하게 종양 특징을 추출할 수 있게 된다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
110 --- 데이터 베이스
120 --- 데이터 추출부
130 --- 전처리부
140 --- 오차 산출부
150 --- 제어부

Claims (13)

  1. 간 종양 검출 영상 처리 시스템에 있어서,
    데이터 베이스에 저장된 간 종양 이미지 데이터에서 데이터 세트를 추출하는 데이터 추출부;
    실시간으로 수행되는 CT 스캔의 간 이미지에서 노이즈를 제거하는 전처리부; 및
    상기 노이즈가 제거된 CT 스캔의 간 이미지 데이터 및 데이터 세트를 조합하여 입력 받고, 상기 데이터 세트에 상기 CT 스캔의 간 이미지 데이터를 잔여학습기반 멀티-스케일 병렬 컨볼루션 모델을 적용하여 학습한 후 상기 CT 스캔의 간 이미지 데이터의 간 종양 여부를 예측하는 제어부를 포함하는 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 시스템.
  2. 제1항에 있어서,
    상기 제어부에서 예측된 CT 스캔의 간 이미지 데이터의 가중치를 계산하여 오차를 검출하는 오차 산출부를 더 포함하는 것을 특징으로 하는 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 시스템.
  3. 제1항에 있어서,
    상기 제어부는,
    상기 CT 스캔의 간 이미지 데이터를 크기가 다른 필터를 순차적으로 적용하여 특징 맵을 추출하고, 공간적 차원을 감소하여 분할 이미지를 출력하는 다운-샘플링 계층부;
    상기 다운-샘플링 계층부의 특징 맵이 추출된 분할 이미지를 입력받아 업샘플링 계층부에 전달하는 병목 계층부; 및
    상기 병목 계층부에서 출력된 분할 이미지에 공간 및 컨텍스트 정보를 추가하여 특징 맵의 크기를 복구하는 업-샘플링 계층부를 포함하는 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 시스템.
  4. 제3항에 있어서,
    상기 다운-샘플링 계층부는,
    상기 CT 스캔의 간 이미지 데이터를 크기가 다른 필터를 이용하여 특징 맵을 추출하는 멀티-스케일 병렬 컨볼루션 블록(Multi-Parallel Convolution blocks: MPC);
    상기 멀티-스케일 병렬 컨볼루션 블록에서 추출한 특징 맵을 추가하여 잔여 학습하는 Res 블록; 및
    상기 특징 맵이 추출된 이미지 데이터를 공간적 차원을 감소하여 분할 이미지로 출력하는 맥스-풀링 계층(max-Pooling layer)을 포함하는 것을 특징으로 하는 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 시스템.
  5. 제3항에 있어서,
    상기 업-샘플링 계층부는,
    상기 병목 계층부에서 출력된 분할 이미지에서 특징 맵을 추출하는 멀티-스케일 병렬 컨볼루션 블록(Multi-Parallel Convolution blocks: MPC);
    상기 멀티-스케일 병렬 컨볼루션 블록에서 추출한 특징 맵을 추가하여 잔여 학습하는 Res 블록;
    상기 Res 블록에서 출력된 특징 맵의 크기를 복구하는 전치 컨볼루션 계층; 및
    상기 다운-샘플링에서 상기 업 샘플링으로 컨텍스트 정보를 전송하는 스킵 커넥션 계층을 포함하는 것을 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 시스템.
  6. 제3항에 있어서,
    상기 다운-샘플링 계층부 및 상기 업-샘플링 계층부는 각각 4회 연속 동일한 패턴으로 학습하는 것을 특징으로 하는 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 시스템.
  7. 간 종양 검출 영상 처리 시스템에 있어서,
    데이터 베이스에 저장된 간 종양 이미지 데이터에서 데이터 세트를 추출하는 단계;
    실시간으로 수행되는 CT 스캔의 간 이미지에서 노이즈를 제거하는 단계; 및
    상기 노이즈가 제거된 CT 스캔의 간 이미지 데이터 및 데이터 세트를 조합하여 입력 받고, 상기 데이터 세트에 상기 CT 스캔의 간 이미지 데이터를 잔여학습기반 멀티-스케일 병렬 컨볼루션 모델을 적용하여 학습한 후 상기 CT 스캔의 간 이미지 데이터의 간 종양 여부를 예측하는 단계;를 포함하는 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 방법.
  8. 제7항에 있어서,
    상기 예측된 CT 스캔의 간 이미지 데이터의 가중치를 계산하여 오차를 검출하는 단계를 더 포함하는 것을 특징으로 하는 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 방법.
  9. 제7항에 있어서,
    상기 예측하는 단계는,
    상기 CT 스캔의 간 이미지 데이터를 크기가 다른 필터를 순차적으로 적용하여 특징 맵을 추출하고, 공간적 차원을 감소하여 분할 이미지를 출력하는 다운-샘플링 단계;
    상기 다운-샘플링 단계에서 특징 맵이 추출된 분할 이미지를 입력받아 업-샘플링에 전달하는 단계; 및
    상기 전달된 분할 이미지에 공간 및 컨텍스트 정보를 추가하여 특징 맵의 크기를 복구하는 업-샘플링하는 단계를 포함하는 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 방법.
  10. 제9항에 있어서,
    상기 다운-샘플링 단계는,
    멀티-스케일 병렬 컨볼루션 블록(Multi-Parallel Convolution blocks: MPC)에서 상기 CT 스캔의 간 이미지 데이터를 크기가 다른 필터를 이용하여 특징 맵을 추출하는 단계;
    Res 블록에서 멀티-스케일 병렬 컨볼루션 블록에서 추출한 특징 맵을 추가하여 잔여 학습하는 단계; 및
    맥스-풀링 계층(max-Pooling layer)에서 특징 맵이 추출된 이미지 데이터를 공간적 차원을 감소하여 분할 이미지로 출력하는 단계를 포함하는 것을 특징으로 하는 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 방법.
  11. 제9항에 있어서,
    상기 업-샘플링 단계는,
    멀티-스케일 병렬 컨볼루션 블록(Multi-Parallel Convolution blocks: MPC)에서 상기 출력된 분할 이미지에서 특징 맵을 추출하는 단계;
    Res 블록에서 상기 추출한 특징 맵을 추가하여 잔여 학습하는 단계;
    전치 컨볼루션 계층에서 출력된 특징 맵의 크기를 복구하는 단계; 및
    스킵 커넥션 계층에서 다운-샘플링에서 업-샘플링으로 컨텍스트 정보를 전송하는 단계를 포함하는 것을 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 방법.
  12. 제9항에 있어서,
    상기 다운-샘플링 및 상기 업-샘플링은 각각 4회 연속 동일한 패턴으로 학습하는 것을 특징으로 하는 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 방법.
  13. 제 7 항 내지 제 12 항 중 어느 한 항에 기재된 방법을 컴퓨터 상에서 수행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
KR1020210140170A 2021-10-20 2021-10-20 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 시스템 및 그 방법 KR20230056300A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210140170A KR20230056300A (ko) 2021-10-20 2021-10-20 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210140170A KR20230056300A (ko) 2021-10-20 2021-10-20 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20230056300A true KR20230056300A (ko) 2023-04-27

Family

ID=86100047

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210140170A KR20230056300A (ko) 2021-10-20 2021-10-20 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR20230056300A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116805536A (zh) * 2023-08-22 2023-09-26 乐陵市人民医院 一种基于肿瘤病例随访的数据处理方法及系统
CN116994243A (zh) * 2023-07-31 2023-11-03 安徽省农业科学院农业经济与信息研究所 一种轻量级农业害虫检测方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116994243A (zh) * 2023-07-31 2023-11-03 安徽省农业科学院农业经济与信息研究所 一种轻量级农业害虫检测方法及系统
CN116994243B (zh) * 2023-07-31 2024-04-02 安徽省农业科学院农业经济与信息研究所 一种轻量级农业害虫检测方法及系统
CN116805536A (zh) * 2023-08-22 2023-09-26 乐陵市人民医院 一种基于肿瘤病例随访的数据处理方法及系统

Similar Documents

Publication Publication Date Title
Jain et al. Pneumonia detection in chest X-ray images using convolutional neural networks and transfer learning
Jin et al. DUNet: A deformable network for retinal vessel segmentation
Shin et al. Deep vessel segmentation by learning graphical connectivity
Ni et al. GC-Net: Global context network for medical image segmentation
Yousefi et al. Mass detection in digital breast tomosynthesis data using convolutional neural networks and multiple instance learning
Hooda et al. Deep-learning: A potential method for tuberculosis detection using chest radiography
Sert et al. Ensemble of convolutional neural networks for classification of breast microcalcification from mammograms
US20230281809A1 (en) Connected machine-learning models with joint training for lesion detection
Ashwin et al. Efficient and reliable lung nodule detection using a neural network based computer aided diagnosis system
US11735316B2 (en) Method and apparatus of labeling target in image, and computer recording medium
KR20230056300A (ko) 잔여학습기반 멀티 스케일 병렬 컨볼루션을 이용한 간 종양 검출 영상 처리 시스템 및 그 방법
JP2023511300A (ja) 医用画像における解剖学的構造を自動的に発見するための方法及びシステム
WO2021016087A1 (en) Systems for the generation of source models for transfer learning to application specific models
CN112734748B (zh) 一种肝胆管及胆道结石的图像分割系统
Abdelmaguid et al. Left ventricle segmentation and volume estimation on cardiac mri using deep learning
KR102163225B1 (ko) 뉴럴 네트워크를 이용한 영상 분할 방법 및 그 장치
Sulam et al. Maximizing AUC with Deep Learning for Classification of Imbalanced Mammogram Datasets.
CN116935044B (zh) 一种多尺度引导和多层次监督的内镜息肉分割方法
Bhusal et al. Multi-label classification of thoracic diseases using dense convolutional network on chest radiographs
Carvalho et al. Automatic detection and segmentation of lung lesions using deep residual CNNs
Adegun et al. Deep convolutional network-based framework for melanoma lesion detection and segmentation
Wen et al. A novel lesion segmentation algorithm based on U-net network for tuberculosis CT image
CN112950552B (zh) 一种基于卷积神经网络的肋骨分割标记方法及系统
Abdulah et al. CXR-Net: an artificial intelligence pipeline for quick COVID-19 screening of chest X-rays
KR20230139257A (ko) 기계 학습 모델 기반의 ct 영상을 분류 및 분할하기 위한 방법 및 장치