KR20210084812A - 급성 충수염 자동 검출 장치 및 방법 - Google Patents

급성 충수염 자동 검출 장치 및 방법 Download PDF

Info

Publication number
KR20210084812A
KR20210084812A KR1020190177229A KR20190177229A KR20210084812A KR 20210084812 A KR20210084812 A KR 20210084812A KR 1020190177229 A KR1020190177229 A KR 1020190177229A KR 20190177229 A KR20190177229 A KR 20190177229A KR 20210084812 A KR20210084812 A KR 20210084812A
Authority
KR
South Korea
Prior art keywords
appendix
acute appendicitis
location
entropy
appendicitis
Prior art date
Application number
KR1020190177229A
Other languages
English (en)
Other versions
KR102322870B1 (ko
Inventor
윤일동
왈리드
Original Assignee
한국외국어대학교 연구산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국외국어대학교 연구산학협력단 filed Critical 한국외국어대학교 연구산학협력단
Priority to KR1020190177229A priority Critical patent/KR102322870B1/ko
Publication of KR20210084812A publication Critical patent/KR20210084812A/ko
Application granted granted Critical
Publication of KR102322870B1 publication Critical patent/KR102322870B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Quality & Reliability (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 복부 CT 영상으로부터 급성 충수염을 검출하는 장치에 관한 것으로, 입력된 복부 CT 영상에서 충수의 위치를 추정하고, 추정된 충수 위치를 포함하는 영역을 미리 설정된 크기로 추출한 관심 영역(ROI) 패치에 대하여 급성 충수염 분류 확률에 대한 스코어 맵을 생성하고, 스코어 맵의 확률 스코어로부터 엔트로피(Entropy)를 계산하여 스코어 맵에 대응하는 엔트로피(Entropy) 맵을 생성하고, 엔트로피 맵의 저 엔트로피 영역(Region of Low Entropy)의 최소값 위치를 최종 충수의 위치로 결정하고 그 위치에 대한 확률 스코어로 급성 충수염을 검출한다.

Description

급성 충수염 자동 검출 장치 및 방법{APPARATUS AND METHOD FOR DIAGNOSING ACUTE APPENDICITIS}
머신 러닝을 활용한 의료 영상 분석 방법에 관한 것으로, 보다 상세하게는 입력된 복부 전산화 단층 촬영 의료 영상을 분석하여 급성 충수염을 검출하는 방법에 관한 발명이 개시된다.
충수의 심한 압통으로 식별되는 급성 충수염은 청년과 어린이들 사이에서 유행하는 가장 흔한 외과적 응급 상황 중 하나에 해당한다. 긴급함에도 불구하고, 의사는 복부 전산화 단층 촬영(Computed Tomography, CT) 영상으로 급성 충수염을 진단하는 데 어려움을 겪고 있다. 이는 맹장에서 돌출된 작은 돌기인 충수가 복잡한 결장 구조에 위치하며 높은 구조적 이동성과 다양한 방향성을 가지고 있어 위치 탐색(localization)에 시간이 많이 걸리기 때문이다.
합성곱 신경망(Convolutional Neural Network)은 계층적이고 차별적인 학습 기능을 갖춰 이미지 기반 진단에서 유망한 결과를 보여주고 있다. 합성곱 신경망은 진단에 유용한 표적 또는 의심스러운 영역을 탐지하는데 있어 전체 이미지를 직접 사용하는 엔드-투-엔드(end-to-end) 학습 방식을 사용한다. 그러나, 복부 CT 영상의 용량이 비교적 커 엔드-투-엔드 학습 방식을 충수염 검출에 적용하면 많은 계산량으로 인해 만족스러운 성능을 제공하지 못할 수 있다. 이는 충수의 크기가 우측 하복부와만 비교할 때에도 무시할 만하여 볼륨 전체를 대상으로 하는 이미지 기반 진단에서 충수가 거의 영향을 미치지 않기 때문이다.
자동화된 충수 위치탐색을 이용한 급성 충수염 자동 검출 방법은 진단 과정을 용이하게 하여 의사에게 유용한 도움이 될 수 있다.
본 발명은 의료 영상을 분석하여 높은 정확도로 충수의 위치를 추정하여 의사의 급성 충수염 진단에 도움을 주는 방법을 제공하는 것을 목적으로 한다.
추가로, 본 발명은 의료 영상을 분석하여 급성 충수염 분류 확률에 대한 스코어를 제공하여 의사의 급성 충수염 진단에 도움을 주는 방법을 제공하는 것을 또 다른 목적으로 한다.
본 발명의 일 양상에 따르면, 급성 충수염 검출 장치는 충수 위치 탐색부와, 충수염 검출부를 포함한다.
충수 위치 탐색부는 입력된 복부 CT 영상에서 충수의 위치를 추정하고, 추정된 충수 위치를 포함하는 영역을 미리 설정된 크기로 추출(cropping)하여 관심 영역(ROI) 패치(patch)를 출력한다.
충수염 검출부는 관심영역 패치에 대하여 급성 충수염 분류 확률에 대한 스코어 맵을 생성하고, 스코어 맵의 확률 스코어로부터 엔트로피(Entropy)를 계산하여 스코어 맵에 대응하는 엔트로피(Entropy) 맵을 생성하고, 엔트로피 맵의 저 엔트로피 영역(Region of Low Entropy)의 최소값 위치를 최종 충수의 위치로 결정하고 그 위치에 대한 확률 스코어로 급성 충수염을 검출한다.
충수 위치 탐색부는 복부 CT 영상을 입력 받아 충수 기저부의 위치를 추정하도록 강화학습 기반으로 학습된 강화학습 모델을 통해 충수 위치를 추정할 수 있다.
충수염 검출부는 충수 기저부를 포함하는 이미지 패치에 대하여 급성 충수염 분류 확률을 출력하도록 학습된 합성곱 신경망(CNN) 모델을 통해 관심영역 패치에 대한 급성 충수염 분류 확률에 대한 스코어 맵을 생성할 수 있고, 이때의 합성공 신경망 모델은 완전 합성곱 신경망(Fully Convolution Networks, FCN) 모델일 수 있다.
본 발명의 일 실시예에 따르면, 복부 CT 영상을 입력 받아 처리하는 컴퓨팅 장치에서 실행되는 프로그램 명령어들로 일부가 구현되는 급성 충수염 검출 장치의 급성 충수염 검출 방법은 입력된 복부 CT 영상에서 충수의 위치를 추정하는 충수 위치 추정 단계와, 추정된 충수 위치를 포함하는 영역을 미리 설정된 크기로 추출하여 관심 영역 패치를 획득하는 관심영역 추출 단계와, 관심영역 패치에 대하여 급성 충수염 분류 확률에 대한 스코어 맵을 생성하는 스코어 맵 생성 단계와, 스코어 맵의 확률 스코어로부터 엔트로피(Entropy)를 계산하여 스코어 맵에 대응하는 엔트로피 맵을 생성하는 엔트로피 맵 생성 단계와, 엔트로피 맵의 저 엔트로피 영역(Region of Low Entropy, RLE)의 최소값 위치를 최종 충수의 위치로 결정하고 그 위치에 대한 확률 스코어로 급성 충수염을 검출하는 충수염 검출 단계를 포함한다.
충수 위치 추정 단계에서 급성 충수염 검출 장치는 복부 CT 영상을 입력 받아 충수 기저부의 위치를 추정하도록 강화학습 기반으로 학습된 강화학습 모델을 통해 충수 위치를 추정할 수 있다.
스코어 맵 생성 단계에서 급성 충수염 검출 장치는 충수 기저부를 포함하는 이미지 패치에 대하여 급성 충수염 분류 확률을 출력하도록 학습된 합성곱 신경망(CNN) 모델을 통해 관심영역 패치에 대한 급성 충수염 분류 확률에 대한 스코어 맵을 생성할 수 있다. 또한, 이때의 합성공 신경망 모델은 완전 합성곱 신경망(FCN) 모델일 수 있다.
본 발명에 의하면 의료 영상으로부터 높은 정확도로 충수의 위치를 추정할 수 있다.
추가로, 본 발명에 의하면 의료 영상으로부터 급성 충수염 분류 확률에 대한 스코어를 제공하여 의사의 급성 충수염 진단에 도움을 주는 방법을 제공할 수 있다.
도 1은 일 양상에 따른 급성 충수염 검출 장치를 도시한 블록도이다.
도 2는 강화학습 모델을 이용한 충수 위치 탐색을 개념적으로 도시한 것이다.
도 3은 일 양상에 따른 충수염 검출 장치의 급성 충수염 검출 과정을 개념적으로 도시한 것이다.
도 4는 일 양상에 따른 충수염 검출 장치를 이용하여 급성 충수염을 검출한 예시이다.
도 5는 일 실시 예에 따라 충수염 검출 장치가 급성 충수염을 검출하는 절차를 도시한 절차도이다.
전술한, 그리고 추가적인 양상들은 첨부된 도면을 참조하여 설명하는 실시 예들을 통해 구체화된다. 각 실시 예들의 구성 요소들은 다른 언급이나 상호간에 모순이 없는 한 실시 예 내에서 다양한 조합이 가능한 것으로 이해된다. 블록도의 각 블록은 어느 경우에 있어서 물리적인 부품을 표현할 수 있으나 또 다른 경우에 있어서 하나의 물리적인 부품의 기능의 일부 혹은 복수의 물리적인 부품에 걸친 기능의 논리적인 표현일 수 있다. 때로는 블록 혹은 그 일부의 실체는 프로그램 명령어들의 집합(set)일 수 있다. 이러한 블록들은 전부 혹은 일부가 하드웨어, 소프트웨어 혹은 이들의 결합에 의해 구현될 수 있다.
도 1은 일 양상에 따른 급성 충수염 검출 장치를 도시한 블록도이다. 도 1에 도시된 것과 같이 급성 충수염 검출 장치는 복부 CT 영상 볼륨을 입력 받아 충수의 위치를 탐색하고, 탐색된 위치의 충수에 대한 급성 충수염 진단 확률 스코어를 도출하여 출력한다. 본 발명의 일 양상에 따르면, 급성 충수염 검출 장치는 충수 위치 탐색부와, 충수염 검출부를 포함한다.
충수 위치 탐색부는 입력된 복부 CT 영상에서 충수의 위치를 추정한다. 복부 CT 영상 볼륨의 방대한 데이터 용량을 고려하면 end-to-end 학습 방법은 많은 계산량을 유발시켜 충수염 가능성의 자동 진단에 적절하지 않다. 충수염 자동 진단을 위해 입력된 복부 CT 영상에서 충수의 위치를 탐색하고, 탐색된 위치 주변을 대상으로 충수염 가능성은 진단하는 것이 바람직하다. 따라서, 충수 위치 탐색부는 먼저 복부 CT 영상에서 충수의 위치를 탐색한다.
맹장 아래 끝에 위치한 기관으로 작은 돌기인 충수는 높은 구조적 이동성과 다양한 방향성을 가지고 있다. 충수 위치 탐색부는 충수의 이동성 때문에 충수의 중심(centroid)을 위치 탐색(localization)하는 것이 어려워 충수 탐색의 목표(target) 위치를 맹장으로부터 충수가 시작되는 충수 기저부(appendiceal base)로 설정하여 충수 위치를 추정할 수 있다. 충수 기저부는 충수 중심보다 일관되고 구별하기 쉬운 특징을 가지고 있다.
또한, 충수 위치 탐색부는 충수 위치를 탐색하는 강화학습(Reinforcement learning, RL) 모델을 포함할 수 있다. 강화학습 모델은 복부 CT 영상을 입력 받아 충수 기저부의 위치를 추정하도록 강화학습 기반으로 학습된 모델이며, 충수 위치 탐색부는 강화학습 모델을 통해 충수 기저부의 위치를 탐색하여 충수의 위치를 추정할 수 있다.
도 2는 강화학습 모델을 이용한 충수 위치 탐색을 개념적으로 도시한 것이다. 도 2에 도시된 바와 같이, 강화학습 모델을 사용한 충수의 위치 탐색(localization)은 환경(Environment)을 복부 CT 영상 볼륨으로 정의하고, 상태 s는 임의의 위치 x를 중심으로 서브 볼륨으로 정의하고, 액션 a는 에이전트가 직교축(Cartesian axes)을 따라 이동하는 것으로 정의한다. 강화학습 에이전트가 임의의 위치 x에서 현재 상태 s를 관찰하고, 현재 상태 s에 대한 최적의 정책 ð(s, a)에 기반한 액션 a를 수행하여 인접한 위치로 이동한다. 강화학습 모델의 충수의 위치 탐색은 순차적으로 이러한 액션 a를 반복하여 수행하고, 결국 목표인 충수 기저부의 위치(
Figure pat00001
)로 수렴한다.
에이전트는 인접한 복셀로 상태를 변경할 수 있는 6개의 가능한 액션 중에서 하나를 선택할 수 있다. 이때 서브 볼륨의 크기는 50 x 50 x 50으로 설정될 수 있다. 에이전트의 목표는 주어진 상태에서 타겟을 향해 성공적으로 이동할 수 있는 최적의 액션을 매핑하는 정책을 최적화하는 것이다. 에이전트 학습에 있어서, 에이전트를 목표에 더 가까이 이동시키는 행동에 대해 긍정적인 보상이 제공된다. 따라서, 에이전트가 상태 x에서 x'으로 액션 a를 수행하여 이동할 때 주어지는 이진 보상 신호 R은 <수학식1>과 같이 표현 될 수 있다.
Figure pat00002
또한, 강화학습 모델은 actor-critic 접근 방식을 채택하여 최적의 행동을 효과적으로 학습할 수 있다. Actor-critic 학습은 정책과 가치 기반 학습 접근 방식의 장점을 결합하여 보다 효과적인 학습을 제공할 수 있다. 강화학습 모델은 정책과 가치 함수를 모두 학습하며, 여기서 정책 ð(s, a)는 최적의 액션 분포이고 가치 V(s)는 주어진 상태에 대해 기대되는 장기 누적 보상이다.
이때, 정책 함수와 가치 함수는 일반적으로 심층 신경망(Deep neural networks)을 사용하여 매개 변수화된다. 정책 네트워크와 가치 네트워크는 공통 합성곱 신경망(CNN)을 거친 후에 완전히 연결된 두 개의 개별 스택으로 표현 될 수 있다. 학습하는 동안 네트워크 매개 변수는 무작위로 초기화된다. 에이전트는 원래 상태 s, 선택된 동작 a, 전환된 상태 s' 및 해당 보상 r을 포함하는 튜플 (s, a, s', r) 형태로 상태 전환의 에피소드를 수집한다. 수집된 경험을 샘플링하여 정책 및 가치 네트워크 매개 변수를 업데이트한다. 궁극적인 목표는 최적의 정책 ð(s, a)를 배우는 것이지만, 가치 함수V(s)는 학습하는 동안 분산을 줄이는 데만 사용된다.
RL 에이전트는 복셀 공간에서 대상으로 이동하기 위한 최적의 경로를 학습한다. 에이전트는 해당 위치에서 관찰된 상태에 대한 최적의 정책을 사용하여 순차적으로 위치를 업데이트하려고 시도하며 결과적으로 대상 위치로 수렴한다. 탐색을 시작하는 초기 위치는 알려진 정보가 없기 때문에 일반적으로 전체 볼륨에서 무작위로 샘플링된다. 이로 인해 에이전트는 방대한 복부 CT 영상 볼륨의 전체 상태 공간을 대상으로 최적의 정책을 학습한다. 그러나 충수는 대개 오른쪽 아래 복부에 있기 때문에 탐색 시작 위치를 복부 CT 영상 볼륨의 오른쪽 아래 꼭지점로 설정할 수 있다. 즉, 강화학습 모델은 복부 CT 영상의 우측 하단 꼭지점을 포함하는 서브 볼륨의 중심 위치를 충수 기저부를 찾기 위한 탐색 시작 위치로 설정할 수 있다.
또한 강화학습 모델은 에이전트가 탐색할 수 있는 환경을 복부 CT 영상 볼륨의 중심을 기준으로 x축, y축 및 z축으로 분할하고 오른쪽 아래 부분으로 줄여 탐색할 상태 공간을 8 배나 줄일 수 있다. 즉, 강화학습 모델은 복부 CT 영상 중 설정된 탐색 영역에서만 충수 기저부의 위치를 탐색하도록 학습될 수 있다.
충수 위치 탐색부는 충수의 위치를 추정한 후, 추정된 충수 위치를 포함하는 영역을 미리 설정된 크기로 추출(cropping)하여 관심 영역(ROI) 패치(patch)를 출력한다. 관심 영역 패치를 사용함으로써 급성 충수염 분류를 위한 진단 학습 공간을 줄일 수 있다. 패치 크기에 따라 후술할 급성 충수염 분류 확률 스코어 맵을 생성하는 합성곱 신경망(CNN) 모델의 성능이 달라진다. 이는 충수의 작은 구조에 기인한 것으로 큰 패치에서는 충수의 해부학적 특징을 효과적으로 학습하기 어렵기 때문이다. 일 예로 패치 크기는 75 x 75 x 75 복셀 크기 이상을 사용할 수 있다. 패치의 크기가 합성곱 신경망(CNN) 모델의 성능에 영향을 준다고 하더라도 75 x 75 x 75 복셀 크기 보다 패치 사이즈가 작아지면 충수의 일부분이 잘려질 수 있다.
충수염 검출부는 관심영역 패치에 대하여 급성 충수염 분류 확률에 대한 스코어 맵을 생성한다.
급성 충수염 분류 확률 스코어는 급성 충수염 가능성을 점수화한 것으로 합성곱 신경망(CNN) 모델을 통해 획득된다. 합성공 신경망(CNN) 모델은 전문가가 주석을 추가한 충수 기저부를 중심하는 작은 이미지 패치를 학습한 모델이다. 합성공 신경망(CNN) 모델은 학습의 효율을 올리기 위해 학습 데이터용 각 영상 볼륨에서 충수를 포함하는 단일 패치를 추출하여 학습한다. 합성곱 신경망(CNN)은 3D 영상을 처리하는 3D CNN 모델일 수 있다.
또한, 합성곱 신경망은 FCN(Fully Convolutional Networks) 모델일 수 있다. 일반적으로, 이미지 분류 등에 활용되는 CNN은 컨볼루션 층(Convolution layer)와 완전 연결층(fully connected layer)로 구성되며, 이미지에 포함된 대상 객체를 분류하는데 유용하지만 대상 객체가 존재하는 이미지 상 위치 정보는 손실된다. 네트워크 후반부의 완전 연결층에서 위치 정보가 소실되기 때문이다. FCN 모델은 이 완전 연결층을 1 x 1 컨볼루션 층으로 대체하므로 위치 정보가 소실되지 않는다.
충수염 검출부는 생성된 스코어 맵의 확률 스코어로부터 엔트로피(Entropy)를 계산하여 스코어 맵에 대응하는 엔트로피(Entropy) 맵을 생성한다.
엔트로피는 <수학식2>에 의해 계산될 수 있으며, <수학식3>은 스코어 맵과 엔트로피 맵의 정의를 나타낸다.
Figure pat00003
Figure pat00004
px는 x를 중심으로 하는 패치, X는 복셀 공간, D는 주어진 패치에 대한 급성 충수염 분류 확률을 출력하는 CNN 모델, E는 엔트로피이다.
Figure pat00005
Figure pat00006
Figure pat00007
는 추정된 충수의 위치, S map 은 스코어 맵, E map 엔트로피 맵이다.
스코어 맵을 계산하기 위한 이웃 패치는 슬라이딩 윈도우 접근법을 사용하여 얻을 수 있다.
엔트로피는 분류 모델에서 학습된 객체의 특징에 대해서는 낮은 값을 갖는 특징을 가진다. 예를 들어, 모델이 자동차와 트럭을 분류하도록 훈련된 경우 알려진 자동차 및 트럭 특징에 대해 신뢰성있는 클래스 점수(점수 차이가 큰)를 제공하여 엔트로피가 낮아지나, 알려지지 않은 특징(예: 나무, 동물 등)을 가진 입력에 대해 두 클래스 사이의 점수 차이는 작을 것이므로 그 결과 높은 엔트로피의 결과를 보이게 된다. 따라서 이미지에서 알려진 객체 근처의 엔트로피가 더 낮다. 엔트로피는 객체에서 멀어 질수록 높아진다. 따라서 낮은 엔트로피 영역은 분류 모델이 학습한 객체 근처에서 로컬 최소값으로 발견될 수 있다.
합성곱 모델은 충수 기저부를 중심으로 하는 이미지 패치에 대하여 학습되었기 때문에 저 엔트로피 영역(Region of Low Entropy, RLE)은 충수 기저부 근처에 나타날 가능성이 높다. 따라서, 충수염 검출부는 엔트로피 맵의 저 엔트로피 영역(Region of Low Entropy)의 로컬 최소값 위치를 최종 충수의 위치로 결정하고 그 위치에 대한 확률 스코어로 급성 충수염을 검출한다.
Figure pat00008
Figure pat00009
그러나 복잡한 결장 구조(colon structure)의 다른 부분에서 발견될 수 있는 학습된 차별적 충수 특징에 따라 다수의 RLE가 존재할 수 있다. 충수에 대한 바람직한 RLE를 추출하기 위해 위치 탐색된 충수 기저부 위치
Figure pat00010
로부터의 거리에 따라 RLE의 로컬 최소값을 가중하고 최소 가중 엔트로피를 가진 것을 RLE로 선택할 수 있다.
도 3은 일 양상에 따른 충수염 검출 장치의 급성 충수염 검출 과정을 개념적으로 도시한 것이다. 도 3에 따르면, (a) 강화학습 모델(RL)을 사용하여 복부 CT 영상 볼륨에서 충수의 위치를 탐색한다(빨간점이 탐색된 위치를 나타낸다). (b) 탐색된 위치 주변으로 ROI를 추출한다. (c) 자른 ROI에 대하여 CNN(특히, FCN) 모델을 통해 급성 충수염 확률 스코어 맵을 계산한다. (d) 해당 스코어 맵에서 RLE의 최소값 xmin을 선택하고, 최종 진단 스코어(Sf)는 xmin에서 확률 스코어를 취함으로써 결정된다.
충수염 검출 장치의 일 실시 예에 따르면, 급성 충수염 검출 방법은 복부 전산화 단층 촬영 영상을 입력 받아 처리하는 컴퓨팅 장치에서 실행되는 프로그램 명령어들로 일부가 구현되며, 충수 위치 추정 단계와, 관심영역 추출 단계와, 스코어 맵 생성 단계와, 엔트로피 맵 생성 단계와, 충수염 검출 단계를 포함한다.
충수 위치 추정 단계 입력된 복부 CT 영상에서 충수의 위치를 추정하는 충수 위치 추정 단계이고, 관심영역 추출 단계는 추정된 충수 위치를 포함하는 영역을 미리 설정된 크기로 추출(cropping)하여 관심 영역(ROI) 패치를 획득하는 단계이고, 스코어 맵 생성 단계는 관심영역 패치에 대하여 급성 충수염 분류 확률에 대한 스코어 맵을 생성하는 단계이고, 엔트로피 맵 생성 단계는 스코어 맵의 확률 스코어로부터 엔트로피(Entropy)를 계산하여 스코어 맵에 대응하는 엔트로피(Entropy) 맵을 생성하는 단계이고, 충수염 검출 단계는 엔트로피 맵의 저 엔트로피 영역(Region of Low Entropy)의 최소값 위치를 최종 충수의 위치로 결정하고 그 위치에 대한 확률 스코어로 급성 충수염을 검출하는 단계이다.
스코어 맵 생성과, 엔트로피 계산과, 엔트로피 맵 생성은 앞서 설명한 바와 동일하다.
이때, 급성 충수염 검출 방법에서 충수의 위치를 탐색할 때, 충수 위치 추정은 충수 기저부를 목표(target)로 하여 충수의 위치를 추정할 수 있다.
급성 충수염 검출 장치가 충수의 위치 추정하는 단계는 복부 CT 영상을 입력 받아 충수 기저부의 위치를 추정하도록 강화학습 기반으로 학습된 강화학습 모델을 통해 충수 위치를 추정할 수 있다.
강화학습 모델은 복부 CT 영상의 우측 하단 꼭지점을 포함하는 서브 볼륨의 중심 위치를 충수 기저부를 찾기 위한 탐색 시작 위치로 설정할 수 있고, 강화학습 모델은 복부 CT 영상 중 설정된 탐색 영역에서만 충수 기저부의 위치를 탐색하도록 학습될 수 있다.
급성 충수염 검출 장치가 스코어 맵을 생성하는 단계는 충수 기저부를 포함하는 이미지 패치에 대하여 급성 충수염 분류 확률을 출력하도록 학습된 합성곱 신경망(CNN) 모델을 통해 관심영역 패치에 대한 급성 충수염 분류 확률에 대한 스코어 맵을 생성하고, 이때의 합성곱 신경망 모델은 완전 합성곱 신경망(Fully Convolutional Networks, FCN) 모델일 수 있다.
도 4는 일 양상에 따른 충수염 검출 장치를 이용하여 급성 충수염을 검출한 예시이다. 도 4에 도시된 4 가지의 사례는 RL 에이전트에 의해 위치 탐색된 충수의 위치 주변에 대한 확률 스코어 점수 맵과 엔트로피 맵을 보여준다. 또한, RLE의 로컬 최소값의 위치와 위치 탐색된 충수 기저부의 위치를 함께 표시하고 있다. 급성 충수염 분류 확률을 출력하는 신경망 모델은 충수 기저부를 중심으로 하는 패치에 대해 학습되었기 때문에, 저 엔트로피 영역(RLE)은 충수 기저부 근처에서 두드러지는 것을 알 수 있다. 탐색된 위치의 점수가 항상 최적인 것은 아니지만 RLE의 로컬 최소값은 일관성있는 최적의 점수를 제공한다.
도 5는 일 실시 예에 따라 충수염 검출 장치가 급성 충수염을 검출하는 절차를 도시한 절차도이다. 도 5를 참조하여 설명하면, 급성 충수염 검출 장치는 충수의 위치를 탐색(localization)하도록 학습된 강화학습(RL) 모델을 통해 복부 CT 영상 볼륨에서 충수 기저부의 위치로 충수의 위치를 추정(S1000)하고, 추정된 충수(충수 기저부)의 위치를 포함하는 미리 설정된 크기의 작은 영역을 ROI 영역으로 하여 ROI 패치를 획득(S1020)하고, 전문가에 의해 주석이 달린 충수 패치로 학습되어 급성 충수염 분류 확률을 출력하는 FCN 모델을 통해 ROI 패치에 대한 급성 충수염 분류 확률 스코어 맵을 생성(S1040)하고, 스코어 맵의 확률 스코어로부터 엔트로피를 계산(S1060)하여 스코어 맵에 대응하는 엔트로피 맵을 생성(S1080)한 후 저 엔트로피 영역(RLE)의 로컬 최소값 위치를 찾고 해당 위치를 최종 충수 위치로 결정(S1100)하여 결정된 최종 충수 위치에 대한 확률 스코어로 급성 충수염을 검출(S1120)한다.
이상에서 본 발명을 첨부된 도면을 참조하는 실시 예들을 통해 설명하였지만 이에 한정되는 것은 아니며, 이들로부터 당업자라면 자명하게 도출할 수 있는 다양한 변형 예들을 포괄하도록 해석되어야 한다. 특허청구범위는 이러한 변형 예들을 포괄하도록 의도되었다.
10: 급성 충수염 검출 장치
100: 충수 위치 탐색부
110: 충수염 검출부

Claims (14)

  1. 입력된 복부 전산화 단층 촬영(Computed Tomography, CT) 영상에서 충수의 위치를 추정하고, 추정된 충수 위치를 포함하는 영역을 미리 설정된 크기로 추출(cropping)하여 관심 영역(ROI) 패치(patch)를 출력하는 충수 위치 탐색부; 및
    관심영역 패치에 대하여 급성 충수염 분류 확률에 대한 스코어 맵을 생성하고, 스코어 맵의 확률 스코어로부터 엔트로피(Entropy)를 계산하여 스코어 맵에 대응하는 엔트로피(Entropy) 맵을 생성하고, 엔트로피 맵의 저 엔트로피 영역(Region of Low Entropy)의 최소값 위치를 최종 충수의 위치로 결정하고 그 위치에 대한 확률 스코어로 급성 충수염을 검출하는 충수염 검출부;
    를 포함하는 급성 충수염 검출 장치.
  2. 제 1 항에 있어서,
    충수 위치 탐색부의 충수 위치 추정은 충수 기저부를 목표(target)로 하는 위치 추정인 급성 충수염 검출 장치.
  3. 제 2 항에 있어서,
    충수 위치 탐색부는 복부 CT 영상을 입력 받아 충수 기저부의 위치를 추정하도록 강화학습 기반으로 학습된 강화학습 모델을 통해 충수 위치를 추정하는 급성 충수염 검출 장치.
  4. 제 3 항에 있어서,
    강화학습 모델은 복부 CT 영상의 우측 하단 꼭지점을 포함하는 서브 볼륨의 중심 위치를 충수 기저부를 찾기 위한 탐색 시작 위치로 설정하는 급성 충수염 검출 장치.
  5. 제 3 항에 있어서,
    강화학습 모델은 복부 CT 영상 중 설정된 탐색 영역에서만 충수 기저부의 위치를 탐색하도록 학습된 모델인 급성 충수염 검출 장치.
  6. 제 2 항에 있어서,
    충수염 검출부는 충수 기저부를 포함하는 이미지 패치에 대하여 급성 충수염 분류 확률을 출력하도록 학습된 합성곱 신경망(CNN) 모델을 통해 관심영역 패치에 대한 급성 충수염 분류 확률에 대한 스코어 맵을 생성하는 급성 충수염 검출 장치.
  7. 제 6 항에 있어서,
    합성곱 신경망 모델은 완전 합성곱 신경망(Fully Convolutional Networks, FCN) 모델인 급성 충수염 검출 장치.
  8. 복부 전산화 단층 촬영(Computed Tomography, CT) 영상을 입력 받아 처리하는 컴퓨팅 장치에서 실행되는 프로그램 명령어들로 일부가 구현되는 급성 충수염 검출 장치의 급성 충수염 검출 방법에 있어서,
    입력된 복부 CT 영상에서 충수의 위치를 추정하는 충수 위치 추정 단계;
    추정된 충수 위치를 포함하는 영역을 미리 설정된 크기로 추출(cropping)하여 관심 영역(ROI) 패치(patch)를 획득하는 관심영역 추출 단계;
    관심영역 패치에 대하여 급성 충수염 분류 확률에 대한 스코어 맵을 생성하는 스코어 맵 생성 단계;
    스코어 맵의 확률 스코어로부터 엔트로피(Entropy)를 계산하여 스코어 맵에 대응하는 엔트로피(Entropy) 맵을 생성하는 엔트로피 맵 생성 단계; 및
    엔트로피 맵의 저 엔트로피 영역(Region of Low Entropy)의 최소값 위치를 최종 충수의 위치로 결정하고 그 위치에 대한 확률 스코어로 급성 충수염을 검출하는 충수염 검출 단계;
    를 포함하는 급성 충수염 검출 방법.
  9. 제 8 항에 있어서,
    충수 위치 추정은 충수 기저부를 목표(target)로 하는 위치 추정인 급성 충수염 검출 방법.
  10. 제 9 항에 있어서, 충수 위치 추정 단계는
    복부 CT 영상을 입력 받아 충수 기저부의 위치를 추정하도록 강화학습 기반으로 학습된 강화학습 모델이 충수 위치를 추정하는 급성 충수염 검출 방법.
  11. 제 10 항에 있어서,
    강화학습 모델은 복부 CT 영상의 우측 하단 꼭지점을 포함하는 서브 볼륨의 중심 위치를 충수 기저부를 찾기 위한 탐색 시작 위치로 설정하는 급성 충수염 검출 방법.
  12. 제 10 항에 있어서,
    강화학습 모델은 복부 CT 영상 중 설정된 탐색 영역에서만 충수 기저부의 위치를 탐색하도록 학습된 모델인 급성 충수염 검출 방법.
  13. 제 9 항에 있어서, 스코어 맵 생성 단계는
    충수 기저부를 포함하는 이미지 패치에 대하여 급성 충수염 분류 확률을 출력하도록 학습된 합성곱 신경망(CNN) 모델을 통해 관심영역 패치에 대한 급성 충수염 분류 확률에 대한 스코어 맵을 생성하는 급성 충수염 검출 방법.
  14. 제 13 항에 있어서,
    합성곱 신경망 모델은 완전 합성곱 신경망(Fully Convolutional Networks, FCN) 모델인 급성 충수염 검출 방법.
KR1020190177229A 2019-12-30 2019-12-30 급성 충수염 자동 검출 장치 및 방법 KR102322870B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190177229A KR102322870B1 (ko) 2019-12-30 2019-12-30 급성 충수염 자동 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190177229A KR102322870B1 (ko) 2019-12-30 2019-12-30 급성 충수염 자동 검출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210084812A true KR20210084812A (ko) 2021-07-08
KR102322870B1 KR102322870B1 (ko) 2021-11-04

Family

ID=76893277

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190177229A KR102322870B1 (ko) 2019-12-30 2019-12-30 급성 충수염 자동 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102322870B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010035635A (ja) * 2008-07-31 2010-02-18 Takeshi Joko Ａｒｄｓの重症度のスコアを算出する方法、装置およびプログラム
KR20120107750A (ko) * 2011-03-22 2012-10-04 계명대학교 산학협력단 엔트로피 러프 근사화 기술에 기반한 감별진단을 위한 주요 파라미터 추출방법 및 이를 이용한 통합 임상 의사결정 지원 시스템
KR101889725B1 (ko) * 2018-07-04 2018-08-20 주식회사 루닛 악성 종양 진단 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010035635A (ja) * 2008-07-31 2010-02-18 Takeshi Joko Ａｒｄｓの重症度のスコアを算出する方法、装置およびプログラム
KR20120107750A (ko) * 2011-03-22 2012-10-04 계명대학교 산학협력단 엔트로피 러프 근사화 기술에 기반한 감별진단을 위한 주요 파라미터 추출방법 및 이를 이용한 통합 임상 의사결정 지원 시스템
KR101889725B1 (ko) * 2018-07-04 2018-08-20 주식회사 루닛 악성 종양 진단 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문(W.Abdullah 외, Reinforcement Learning-based Automatic Diagnosis of Acute Appendicitis in Abdominal CT. arXiv.org:1909.00617(2019년 9월 2일 공개)) *

Also Published As

Publication number Publication date
KR102322870B1 (ko) 2021-11-04

Similar Documents

Publication Publication Date Title
US11593943B2 (en) RECIST assessment of tumour progression
US10467495B2 (en) Method and system for landmark detection in medical images using deep neural networks
CN112102266B (zh) 基于注意力机制的脑梗死医学影像分类模型的训练方法
CN110807788A (zh) 医学图像处理方法、装置、电子设备及计算机存储介质
WO2009045461A1 (en) System and method for joint classification using feature space cluster labels
CN111178420B (zh) 一种二维造影图像上冠脉段标注方法及系统
CN109671055B (zh) 肺结节检测方法及装置
CN110858399A (zh) 用于提供虚拟断层扫描中风后续检测图像的方法和装置
US20220245769A1 (en) System and Method for Removing Noise and/or Artifacts from an OCT Image Using a Generative Adversarial Network
CA3143172A1 (en) Deep-learning models for image processing
CN115222713A (zh) 一种冠状动脉钙化积分的计算方法、装置及存储介质
CN114372523A (zh) 一种基于证据深度学习的双目匹配不确定性估计方法
Pujitha et al. Solution to overcome the sparsity issue of annotated data in medical domain
CN115527050A (zh) 图像特征匹配方法、计算机设备和可读存储介质
Farhangi et al. Automatic lung nodule detection in thoracic CT scans using dilated slice‐wise convolutions
KR102322870B1 (ko) 급성 충수염 자동 검출 장치 및 방법
Vinisha et al. A Novel Framework for Brain Tumor Segmentation using Neuro Trypetidae Fruit Fly-Based UNet
Hiraman et al. Efficient region of interest detection for liver segmentation using 3D CT scans
Gonzalez-Huitron et al. Jaccard distance as similarity measure for disparity map estimation
Yuan et al. Identification of primary angle-closure on as-oct images with convolutional neural networks
Paul et al. Computer-Aided Diagnosis Using Hybrid Technique for Fastened and Accurate Analysis of Tuberculosis Detection with Adaboost and Learning Vector Quantization
ASLIYAN et al. Automatic brain tumor segmentation with K-means, fuzzy c-means, self-organizing map and otsu methods
Yao et al. CartiMorph: A framework for automated knee articular cartilage morphometrics
Xu et al. Accurate and efficient separation of left and right lungs from 3D CT scans: a generic hysteresis approach
KR102442591B1 (ko) 라벨 생성 방법, 프로그램 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant