KR102176139B1 - 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치 및 그 방법 - Google Patents

연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치 및 그 방법 Download PDF

Info

Publication number
KR102176139B1
KR102176139B1 KR1020190063528A KR20190063528A KR102176139B1 KR 102176139 B1 KR102176139 B1 KR 102176139B1 KR 1020190063528 A KR1020190063528 A KR 1020190063528A KR 20190063528 A KR20190063528 A KR 20190063528A KR 102176139 B1 KR102176139 B1 KR 102176139B1
Authority
KR
South Korea
Prior art keywords
image
interest
learning
network
segmentation
Prior art date
Application number
KR1020190063528A
Other languages
English (en)
Inventor
이상웅
원옥광
Original Assignee
가천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가천대학교 산학협력단 filed Critical 가천대학교 산학협력단
Priority to KR1020190063528A priority Critical patent/KR102176139B1/ko
Application granted granted Critical
Publication of KR102176139B1 publication Critical patent/KR102176139B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치 및 그 방법에 관한 것으로, 복수의 딥 인코더-디코더 네트워크로 구성되는 다중 딥 인코더-디코더 네트워크를 연속적으로 구성하고, 멀티 스케일 이미지를 입력으로 해당 멀티 스케일 이미지에 포함된 관심객체의 경계를 학습하는 제1 학습과정과, 상기 제1 학습과정의 결과를 토대로 상기 제1 학습과정에서 누락된 상기 관심객체의 경계에 대한 누락패턴을 학습하는 제2 학습과정을 통해 상기 이미지에 포함된 관심객체를 정확하게 세그먼테이션할 수 있도록 하는 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치 및 그 방법에 관한 것이다.

Description

연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치 및 그 방법{APPARATUS AND METHOD FOR SEGMENTING IMAGES USING CONSECUTIVE DEEP ENCODER-DECODER NETWORK}
본 발명은 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 복수의 딥 인코더-디코더 네트워크로 구성되는 다중 딥 인코더-디코더 네트워크를 연속적으로 구성하고, 멀티 스케일 이미지를 입력으로 해당 멀티 스케일 이미지에 포함된 관심객체의 경계를 학습하는 제1 학습과정과, 상기 제1 학습과정의 결과를 토대로 상기 제1 학습과정에서 누락된 상기 관심객체의 경계에 대한 누락패턴을 학습하는 제2 학습과정을 통해 상기 이미지에 포함된 관심객체를 정확하게 세그먼테이션할 수 있도록 하는 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치 및 그 방법에 관한 것이다.
최근 산업기술의 발전과 이미지 처리 기술의 급격한 발전으로 인해 이미지로부터 관심객체를 세그먼테이션하기 위한 이미지 세그먼테이션(image segmentation) 기술이 급격하게 발전하고 있다.
일반적으로 이미지 세그먼테이션은 이미지에 포함되는 관심객체와 해당 관심객체의 경계를 찾는데 이용된다. 이러한 이미지 세그먼테이션은 간(liver)과 같은 사람의 장기(organ)에서 나타나는 다양한 질환에 대한 병리학적 진단, 수술 계획 및 수술 후 평가를 포함하는 많은 임상적 응용에서 필수적이다.
현재, 대부분의 의료 객체 세그먼테이션 시스템은 의사나 의료 전문가와 같은 임상의에 의해 수동으로 동작된다. 그러나 사람의 시야가 제한되어 있고, 현재 의료 객체 세그먼테이션 시스템의 민감도(sensitivity)와 특이도(specificity)가 낮기 때문에, 상기 임상의는 상기 의료 객체 세그먼테이션 시스템을 통해 CT(computer tomography) 이미지와 같은 환자의 의료 이미지를 검사하는 과정에서 환부에 발생된 종양이나 폴립(polyp, 용정)과 같은 관심객체를 놓칠 수 있는 문제점이 있다.
특히, 최근에는 종양(tumor), 폴립, 흑색종(melanoma)의한 다양한 암(예: 대장암, 피부암 등)을 앓고 있는 환자의 수는 매년 증가하고 있으며, 이로 인한 환자의 사망률도 급격하게 증가하고 있는 추세에 있다.
이러한 종양, 폴립, 흑색종과 같은 암 발생 원인을 조기에 검출하여 즉각적으로 제거할 수 있다면, 상기 사망률을 크게 줄일 수 있을 것이다.
이에 따라 최근에는 임상의의 수동조작이 필요한 종래의 세그먼테이션 시스템에서, 의료 이미지의 특징을 자동으로 학습하는 기계학습 기반의 이미지 세그먼테이션 시스템으로 전환되고 있다.
이러한 기계학습 기반의 이미지 세그먼테이션 시스템은, 이미지를 자동으로 분석하여 매우 복잡한 의료 이미지의 경우에도 관심객체인 의료 객체에 대한 누락 비율을 현저하게 줄여 임상의로 인해 보다 빠르고 정확한 의사결정을 내릴 수 있도록 한다.
그러나 의료 이미지에서 종양, 폴립, 흑색종과 같은 관심객체는 항상 예측할 수 없는 모양과 다양한 크기와 같은 양상을 가지고 있고, 객심객체와 그 주변 영역 사이의 천이구역(transition zone)은, 텍스처 또는 색상의 현저한 변화가 나타나지 않으며, 또한 일반적인 기계학습 기반의 이미지 세그먼테이션 시스템은, 산업용이나 산업용 애플리케이션으로 개발된 것이 대부분이라 상기 종양, 폴립, 흑색종과 같은 생물학적 객체를 감지해야 할 경우, 그 성능이 임상의가 올바른 결정을 내릴 수 있도록 충분히 높지 않은 한계가 있다.
또한 의료 이미지 세그먼테이션 분야에서는, 관심영역인 객체영역과 배경영역을 포함하는 비객체 영역사이에서의 천이공간을 인식하는 것과, 세그먼테이션한 다양한 객체의 형태나 모양을 인식하는 것과 같은 두 가지 주요 문제점이 존재한다.
첫 번째 문제는, 산업용이나 상업용과 같은 일반적인 이미지에서 배경과 관심객체가 명확하게 구별하는 윤곽선과 달리 의료 객체의 윤곽선(즉, 경계)을 정의하는 것은 매우 어렵다. 의료 업무의 본질에 의해, 내부 장기와 조직의 이미지를 촬영기 위한 의료 카메라는 보통 환자 내부로 들어가야 하기 때문에 그 크기가 작아야 하므로 이미지의 해상도가 항상 왜곡될 수밖에 없으며, 게다가 컴퓨터 단층 촬영(CT) 이미지와 다른 유형의 이미지의 경우, 관심객체를 구별 할 수 있는 능력은 각 이미지의 선형 감쇠 계수(linear attenuation coefficients)에 달려 있다. 실제로 CT 이미지의 품질은 밀도 및 원자 구성, 사용 된 X선 스펙트럼의 기계적인 매개변수 및 신호 대 잡음비와 같은 재료 특성에 크게 좌우된다.
두 번째 문제는, 의료 객체의 크기, 모양 및 구조와 같은 다양한 외양에 관한 것이다. 의학적으로 세그먼테이션된 객체의 크기는, 의사가 작고 눈으로 확인하기 어려우나 이후에 자연적으로 암 종양으로 발전할 수 있는 폴립을 쉽게 평가할 수 없기 때문에 객체 검사에서의 누락율에 영향을 미친다.
즉, 의료 이미지에서의 관심객체에 대한 물리적인 크기는 항상 예측하기 어려우며, 의료용 카메라로도 쉽게 놓칠 수 있다. 이는 예측하기 어려운 관심객체와 의료용 카메라 사이의 거리 때문으로, 기계학습 기반 이미지 세그먼테이션 시스템의 측면에서 볼 때, 상기 기계학습 기반 이미지 세그먼테이션 시스템의 성능은 많은 중요한 패턴을 놓치거나 불충분하게 학습할 수 있는 학습방법에 크게 의존하게 된다.
이에 따라 본 발명에서는, 2단계 학습과정을 수행하기 위한 다중 딥 인코더-디코더 네트워크를 연속적으로 구현한 CDED 네트워크(consecutive deep encoder decoder network)를 구축하여, 상이한 해상도를 가지는 복수의 이미지를 입력 받아 해당 이미지로부터 관심객체의 경계에 대한 특징을 학습하는 제1 학습과정 및 상기 제1 학습과정의 결과물을 토대로 상기 제1 학습과정에서 누락된 패턴을 복구하기 위한 제2 학습과정을 수행함으로써, 복잡한 의료 이미지로부터 종양, 폴립, 흑색종과 같은 중요한 관심객체를 정확하게 세그먼테이션할 수 있도록 하는 방안을 제안하고자 한다.
다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.
먼저 한국등록특허 제1889725호(2018.08.13.)는 악성 종양 진단 방법 및 장치에 관한 것으로, 관심 객체에 대한 검출결과가 주어진 트레이닝 이미지를 이용하여 컨볼루션 신경망(convolutional neural network) 기반의 기계학습모델을 학습시켜, 상기 학습한 기계학습모델에 실제 이미지를 입력하여 액티베이션 맵을 출력하고, 상기 출력한 액티베이션 맵에서 미리 설정한 임계값 이상을 가지는 영역을 의 값이 미리 설정한 임계값 이상인 영역을 검출함으로써, 상기 실제 이미지로부터 관심 객체를 인식하도록 하는 악성 종양 진단 방법 및 장치에 관한 것이다.
또한 한국등록특허 제1768521호(2017.08.09.)는 이미지에 포함된 객체에 대한 정보 데이터를 제공하는 방법 및 시스템에 관한 것으로, 특정 아이템에 대한 로컬리제이션 학습 및 속성학습을 위한 데이터 세트가 적용된 컨볼루션 뉴럴 네트워크 학습 모델을 이용하여 특정 아이템이 포함된 이미지가 입력되는 경우, 해당 이미지로부터 상기 특정 아이템에 대한 특징을 검출함으로써, 해당 아이템에 대한 검색정보를 제공하는 이미지에 포함된 객체에 대한 정보 데이터를 제공하는 방법 및 시스템에 관한 것이다.
상기에서 살펴본 바와 같이, 대부분의 선행기술은 컨볼루션 뉴럴 네트워크 기반의 기계학습을 통해 객체의 특징을 학습하여 이를 토대로 실제 이미지에 포함된 관심객체를 검출한다.
반면에 본 발명은, 복수의 딥 인코더-디코더 네트워크를 포함하는 다중 딥 인코더-디코더 네트워크를 연속적으로 구현한 CDED 네트워크를 구축하고, 상기 구축한 CDED 네트워크를 통해 다중 해상도 이미지로부터 관심객체의 경계를 추정하는 제1 학습과정과 상기 추정하는 제1 학습과정에서 발생될 수 있는 상기 관심객체에 대한 누락패턴을 학습하는 제2 학습과정을 수행함으로써, 실제 이미지에 포함된 관심객체를 정확하게 세그먼테이션할 수 있도록 하는 것으로, 상기 선행기술들은 이러한 본 발명의 기술적 특징을 기재하거나 시사 또는 암시도 없음이 분명하다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 각기 다른 해상도를 가지는 복수의 이미지를 각각 입력 받는 복수의 딥 인코더-디코더 네트워크로 구성되는 제1 학습네트워크와 제2 학습네트워크를 연속으로 구성한 CDED 네트워크를 구축하여 2단계 학습과정을 통해 멀티 스케일 이미지를 학습하여 원본 이미지로부터 관심객체를 정확하게 세그먼테이션할 수 있도록 하는 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치 및 그 방법을 제공하는 것을 그 목적으로 한다.
또한 본 발명은, 상기 구성한 CDED 네트워크를 학습시키기 위한 학습데이터에서 상기 각 학습데이터의 인스턴스(instance)를 변경하여 상기 학습데이터의 수를 증가시킴으로써, CDED 네트워크를 통한 학습시, 오버피팅(over fitting)을 회피할 수 있도록 하는 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치 및 그 방법을 제공하는 것을 그 목적으로 한다.
또한 본 발명은, 상기 학습데이터에 포함된 관심객체의 경계를 강화하는 경계강조 증강방법을 통해 상기 학습데이터를 처리하고, 상기 처리한 학습데이터를 상기 제1 학습네트워크를 통해 제1 학습을 수행하여, 이미지에 포함된 관심객체의 경계를 정확하게 검출할 수 있도록 하는 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치 및 그 방법을 제공하는 것을 그 목적으로 한다.
또한 본 발명은, 제2 학습네트워크를 통해 상기 제1 학습과정에서 상기 관심객체에 대한 누락된 패턴을 복구하기 위한 제2 학습과정을 수행함으로써, 상기 관심객체의 누락된 패턴을 정확하게 복구하여 상기 이미지 세그먼테이션의 정확도를 현저하게 향상시킬 수 있도록 하는 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치 및 그 방법을 제공하는 것을 그 목적으로 한다.
본 발명의 일 실시예에 따른 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치는, 학습데이터를 그레이 스케일로 변환하고, 상기 그레이 스케일로 변환한 학습데이터에 대한 멀티 스케일 이미지를 생성하는 전처리부, 상기 생성한 멀티 스케일 이미지를 학습하여 관심객체를 세그먼테이션하기 위한 학습모델을 생성하는 학습모델 생성부를 포함하며, 상기 학습은, 다중 딥 인코더-디코더 네트워크를 연속적으로 구성한 CDED(consecutive deep encoder decoder) 네트워크를 통해 수행되며, 상기 멀티 스케일 이미지에 포함된 관심객체의 경계선을 포함하는 예측 이미지를 출력하는 제1 학습과정 및 상기 제1 학습과정을 통해 상기 관심객체의 경계선에 대한 누락패턴을 학습하여 상기 예측 이미지에서 누락패턴을 복구함으로써, 최종적으로 관심객체를 세그먼테이션한 이미지를 출력하는 제2 학습과정을 포함하는 것을 특징으로 한다.
또한 상기 제1 학습과정은, 상기 멀티 스케일 이미지와 해당 멀티 스케일 이미지에 포함된 관심객체에 대한 경계선을 강조하여 증강한 경계선 강조 증강 이미지를 학습함으로써, 수행되며, 상기 경계선 강조 증강 이미지는, 상기 멀티 스케일 이미지에서 관심객체의 좌표를 검출 한 후, 상기 관심객체의 윤곽선을 제외한 내부부분을 삭제함으로써 생성되는 것을 특징으로 한다.
또한 상기 제2 학습과정은, 상기 제1 학습과정을 통해 출력한 예측 이미지와 상기 예측 이미지에서 관심객체의 경계선에 대하여 생성한 누락패턴을 학습함으로 수행되며, 상기 누락패턴은, 상기 멀티 스케일 이미지에서 상기 예측 이미지를 감산함으로써, 생성되는 것을 특징으로 한다.
또한 상기 이미지 세그먼테이션 장치는, 관심객체를 세그먼테이션하기 위한 특정 이미지가 수신되는 경우, 상기 전처리부를 제어하여, 상기 전처리부를 통해 상기 수신한 특정 이미지를 그레이 스케일로 변환 한 후, 멀티 스케일 이미지를 생성하고, 상기 생성한 멀티 스케일 이미지를 상기 학습모델에 적용함으로써, 관심객체에 대한 세그먼테이션을 수행하는 이미지 세그먼테이션부 및 상기 수행한 관심객체에 대한 세그먼테이션 결과를 사용자에게 제공하는 세그먼테이션 결과 제공부를 더 포함하는 것을 특징으로 한다.
또한 상기 이미지 세그먼테이션 장치는, 상기 학습데이터에 대한 탄성변형(elastic distortion), 리플렉션(reflection), 랜덤 크로핑(random cropping), 트랜스레이션(translation), 로테이션(rotation) 또는 이들의 조합을 수행하여, 상기 학습데이터의 각 인스턴스(instance)가 변경된 복사본을 생성함으로써, 상기 학습데이터의 제한된 수를 증가시키는 것을 더 포함하는 것을 특징으로 한다.
아울러 본 발명의 일 실시예에 따른 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 방법은, 학습데이터를 그레이 스케일로 변환하고, 상기 그레이 스케일로 변환한 학습데이터에 대한 멀티 스케일 이미지를 생성하는 전처리 단계, 상기 생성한 멀티 스케일 이미지를 학습하여 관심객체를 세그먼테이션하기 위한 학습모델을 생성하는 학습모델 생성 단계를 포함하며, 상기 학습은, 다중 딥 인코더-디코더 네트워크를 연속적으로 구성한 CDED(consecutive deep encoder decoder) 네트워크를 통해 수행되며, 상기 멀티 스케일 이미지에 포함된 관심객체의 경계선을 포함하는 예측 이미지를 출력하는 제1 학습과정 및 상기 제1 학습과정을 통해 상기 관심객체의 경계선에 대한 누락패턴을 학습하여 상기 예측 이미지에서 누락패턴을 복구함으로써, 최종적으로 관심객체를 세그먼테이션한 이미지를 출력하는 제2 학습과정을 포함하는 것을 특징으로 한다.
또한 상기 제1 학습과정은, 상기 멀티 스케일 이미지와 해당 멀티 스케일 이미지에 포함된 관심객체에 대한 경계선을 강조하여 증강한 경계선 강조 증강 이미지를 학습함으로써, 수행되며, 상기 경계선 강조 증강 이미지는, 상기 멀티 스케일 이미지에서 관심객체의 좌표를 검출 한 후, 상기 관심객체의 윤곽선을 제외한 내부부분을 삭제함으로써 생성되는 것을 특징으로 한다.
또한 상기 제2 학습과정은, 상기 제1 학습과정을 통해 출력한 예측 이미지와 상기 예측 이미지에서 관심객체의 경계선에 대하여 생성한 누락패턴을 학습함으로 수행되며, 상기 누락패턴은, 상기 멀티 스케일 이미지에서 상기 예측 이미지를 감산함으로써, 생성되는 것을 특징으로 한다.
또한 상기 이미지 세그먼테이션 방법은, 관심객체를 세그먼테이션하기 위한 특정 이미지가 수신되는 경우, 상기 전처리부를 제어하여, 상기 전처리부를 통해 상기 수신한 특정 이미지를 그레이 스케일로 변환 한 후, 멀티 스케일 이미지를 생성하고, 상기 생성한 멀티 스케일 이미지를 상기 학습모델에 적용함으로써, 관심객체에 대한 세그먼테이션을 수행하는 이미지 세그먼테이션 단계 및 상기 수행한 관심객체에 대한 세그먼테이션 결과를 사용자에게 제공하는 세그먼테이션 결과 제공 단계를 더 포함하는 것을 특징으로 한다.
이상에서와 같이 본 발명의 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치 및 그 방법에 따르면 다중 딥 인코더-디코더 네트워크를 연속적으로 구성하여, 원본 이미지로부터 관심객체의 경계를 정확하게 예측함과 동시에 관심객체에 대한 누락된 패턴을 복구하여 상기 관심객체에 대한 세그먼테이션을 정확하게 수행할 수 있도록 하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치 및 그 방법을 설명하기 위해 나타낸 개념도이다.
도 2는 본 발명의 일 실시예에 따른 경계선 강조 증강 과정을 통해 경계선 강조 증강 이미지를 생성하는 과정을 설명하기 위해 나타낸 도면이다. 설명하기 위해 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 경계선 강조 증강 과정에 대한 알고리즘을 설명하기 위해 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 CDED 네트워크의 구조를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 CDED 네트워크를 구성하는 컴포넌트 네트워크의 상세를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 학습데이터 우리의 다양한 형태의 학습 데이터 세트를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 검증 단계 및 마지막 검증에서의 원본 학습데이터에 대한 일예를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 디코스 손실함수와 종래의 손실함수를 비교한 도면이다.
도 9는 본 발명의 일 실시예에 따른 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치의 구성을 나타낸 블록도이다.
도 10은 본 발명의 일 실시예에 따른 CDED 네트워크를 통한 폴립 세그먼테이션과 타 방법을 통한 폴립 세그먼테이션의 성능을 비교한 도면이다.
도 11은 본 발명의 일 실시예에 따른 CDED 네트워크와 타 방법을 통한 세그먼테이션의 정확도, 특이도, 다이스 계수 및 민감도를 비교한 도면이다.
도 12는 본 발명의 일 실시예에 따른 CDED 네트워크와 FCN-8S를 이용하여 종양을 세그먼트한 결과를 비교한 도면이다.
도 13은 본 발명의 일 실시예에 따른 PH2 데이터 세트를 이용하여 CDED 네트워크를 이용한 이미지 세그먼테이션 장치와 타 방법 간의 성능을 비교한 도면이다.
도 14는 본 발명의 일 실시예에 따른 CHAOS 데이터 세트를 이용하여 CDED 네트워크를 이용한 이미지 세그먼테이션 장치와 타 방법 간의 세그먼테이션 결과를 나타낸 도면이다.
도 15는 본 발명의 일 실시예에 따른 CHAOS 데이터 세트를 이용하여 CDED 네트워크를 이용한 이미지 세그먼테이션 장치와 타 방법 간의 성능을 비교한 도면이다.
도 16은 본 발명의 일 실시예에 따른 특정 이미지로부터 관심객체를 세그먼테이션하는 절차를 나타낸 흐름도이다.
이하, 첨부한 도면을 참조하여 본 발명의 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치 및 그 방법에 대한 바람직한 실시예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.
도 1은 본 발명의 일 실시예에 따른 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치 및 그 방법을 설명하기 위해 나타낸 개념도이다.
도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치(이하, 이미지 세그먼테이션 장치라 칭함)(100)는, 데이터베이스(300)의 학습데이터 데이터베이스(310)에 저장되는 학습데이터를 이용하여 기계학습을 수행함으로써, 원본의 이미지에 포함된 관심객체를 세그먼테이션하기 위한 학습모델을 생성하는 기능을 수행한다.
한편 상기 학습데이터는 종양(tumor), 폴립(polyp), 흑색종(melanoma)을 포함하는 사람의 장기나 피부 이미지를 포함하는 것으로, 종양, 폴립, 흑색종과 같은 관심객체를 세그먼테이션하기 위해 제공되는 의료 이미지를 의미한다.
상기 학습데이터는, MICCAI(international conference on medical image computing and computer assisted intervention)에서 종양, 폴립 또는 흑색종 검출을 위해 제공되는 데이터 세트를 이용할 수 있다. 다만 상기 학습데이터는 의료 이미지에 한정하지 않으며, 특정 이미지로부터 사람이나 사물 등을 세그먼테이션하기 위한 이미지를 이용하여 상기 학습데이터로 구성할 수 있음은 당연하다.
또한 본 발명은, 다중 딥 인코더-디코더 네트워크(deep encoder decoder network)를 연속적으로 구성한 CDED 네트워크(consecutive encoder decoder network)를 구축하여 상기 구축한 CDED 네트워크를 통해 상기 학습을 수행한다.
즉, 상기 CDED 네트워크는, 상기 다중 딥 인코더-디코더 네트워크로 구성되는 제1 학습네트워크 및 상기 다중 딥 인코더-디코더 네트워크로 구성되는 또 다른 제2 학습네트워크가 연속하여 구성되는 것으로, 상기 다중 딥 인코더-디코더 네트워크는, 하나의 딥 인코더-디코더 네트워크로 형성되는 복수의 컴포넌트 네트워크(component network)로 구성된다.
또한 상기 제1 학습네트워크를 구성하는 상기 다중 딥 인코더-디코더 네트워크는 상기 학습데이터의 원본 이미지에 대한 멀티 스케일 이미지(즉, 각기 다른 해상도를 가지는 이미지)를 각각 입력 받아, 상기 학습데이터에 포함된 관심객체(즉, 종양, 폴립, 흑색종 등)의 경계선을 예측하도록 학습되며, 상기 제2 학습네트워크는 상기 제1 학습네트워크의 학습과정에서 상기 관심객체의 내부에서 누락되는 누락패턴을 예측하도록 학습된다. 한편 상기 CEDE 네트워크의 구조는 도 4를 참조하여 상세히 설명하도록 한다.
한편, 일반적인 기계학습 네트워크에서는, 제한된 수의 학습데이터로 인해 상기 기계학습 네트워크를 호도(mislead)하거나, 새로운 데이터가 입력되는 경우 상기 관심객체를 정확하게 예측하지 못하는 오버피팅 문제가 발생될 수 있다.
이러한 문제점을 해결하기 위해 본 발명은, 상기 학습데이터 세트를 구성하는 각각의 학습이미지(즉, 학습데이터)를 증가시키는 과정을 수행하여, 상기 오버피팅 문제를 극복하여 보다 정확한 세그먼테이션을 수행할 수 있도록 한다.
따라서 상기 세그먼테이션 장치(100)는, 상기 각 학습데이터의 복사본을 생성하고, 상기 생성한 각 복사본에 대한 탄성변형(elastic distortion)방법을 적용함으로써, 상기 학습데이터를 증가시킨다.
상기 탄성변형방법은, 상기 학습데이터를 구성하는 각 이미지에 대한 각각의 픽셀 좌표(x, y)는 단위 변위 벡터를 나타므로, 상기 각 픽셀 좌표를 Rw = R0 +αu인 정규화된 랜덤 변위 좌표 u(x, y)로 정의함으로써, 수행된다. 여기서 상기 Rw 및 R0은 원본 이미지와 변형된 이미지의 픽셀위치를 나타낸다.
또한 상기 픽셀 단위의 변위강도(strength of the displacement)는 α에 의해 주어지며, 본 발명에서는 1.12로 설정하였다. 한편 상기 학습데이터의 수를 증가 시킬 때, 상기 탄성변형방법 이외에 리플렉션(reflection), 랜덤 크로핑(random cropping), 트랜스레이션(translation) 및 로테이션(rotation) 등을 포함한 다양한 기하학적 증가방법을 사용하여 상기 학습데이터의 수를 증가시킬 수 있다.
또한 세그먼테이션에 있어서, 이미지의 색상은 촬영된 상황이나 기술자의 스킬에 따라 다양할 수 있으므로, 본 발명은, 관심객체와 상기 관심객체의 주변 영역간의 대비를 향상시키기 위해 이미지에서의 장면을 평균적으로. 중립적인 회색으로 가정하고, 평균 방사 색상의 원천을 빛의 색상으로 간주하는 효과적인 색상 지속성 방법(color constancy method), 즉 회색 체계(gray world)를 채택하였다.
따라서 상기 세그먼테이션 장치(100)는, 다음의 [수학식 1]에 따라 상기 학습데이터를 그레일 스케일 형식으로 변환하는 과정을 수행한다.
[수학식 1]
Figure 112019055484314-pat00001
여기서, 상기 Ro, Go, Bo는 각 학습데이터(즉, 이미지)의 각 위치(x, y)에 해당하는 각 픽셀의 빨강(red), 녹색(green) 및 파랑(blue)값을 나타냅니다. U(x, y)는 그레이 스케일로 변환된 각 픽셀의 새로운 값을 의미한다.
한편 의학적 특성으로 인해, 의료 이미지에서의 의료 객체(즉, 종양, 폴립, 흑색종 등등)와 상기 의료 객체 주변 영역 사이의 비반사적인 천이영역(non specular transition zone)은, 다른 영역과 크게 다르지 않기 때문에 종래 기술에 따른 세그먼테이션 방법으로는 구별하기가 쉽지 않다. 이러한 영역은 종양의 영역과 유사할 뿐만 아니라, 관심객체를 부분적으로 가리거나 중첩될 수 있다.
또한 상기 세그먼테이션 장치(100)는, 관심객체의 경계를 검출하고, 상기 CDED 네트워크의 성능과 학습능력을 향상시키기 위해, 상기 학습데이터에 대한 새로운 경계선 강조 증강(boundary emphasization augmentation) 과정을 수행한다.
이렇게 경계 강조 증강과정은 상기 제1 학습네트워크가, 입력되는 이미지로부터 관심객체의 경계선을 효율적으로 예측할 수 있도록 하는 것으로, 이는, 종래의 세그먼테이션 기술과 하나의 차별적인 특징으로써, 도 2 및 도 3을 참조하여 상세히 설명하도록 한다.
즉, 상기 세그먼테이션 장치(100)는, 제한된 학습데이터(즉, 학습이미지)의 수를 증가시킨 후, 상기 학습데이터를 그레이 스케일로 변환하는 과정과 상기 그레이 스케일로 변환한 학습데이터에 대한 경계선 강조 증강 과정을 수행한 경계선 강조 증강 이미지를 생성하여 상기 CDED 네트워크를 효과적으로 학습시켜, 실제 입력되는 이미지로부터 관심객체를 정확하게 세그먼테이션할 수 있도록 한다.
또한 상기 세그먼테이션 장치(100)는, 상기 학습과정을 수행함으로써, 생성되는 학습모델을 학습모델 데이터베이스(320)에 저장하고, 실제 특정 이미지가 입력되는 경우, 상기 특정 이미지를 그레이 스케일로 변환하여 상기 저장한 학습모델에 적용함으로써, 해당 이미지에 대한 세그먼테이션을 수행하여 사용자 단말(200)로 제공함으로써, 상기 세그먼테이션한 결과를 이용할 수 있도록 한다.
또한 상기 특정 이미지는, 사용자 단말(200)이나, 컴퓨터 단층촬영 장치(CT), 내시경 촬영 장치 등과 같은 의료 촬영 장치로부터 입력될 수 있다. 다만, 상기 특정 이미지는, 이미지 세그먼테이션을 위한 다양한 시스템과 연동되는 복수의 카메라(미도시)로부터 제공될 수 있음은 당연하다.
또한 상기 사용자 단말(200)은, 상기 이미지 세그먼테이션을 이용하는 사용자가 구비한 스마트폰, 모바일 PC, 데스크톱 PC 등과 같은 다양한 유무선 통신단말을 의미한다.
또한 사용자는 상기 사용자 단말(200)을 통해 상기 세그먼테이션 장치(100)로 세그먼테이션하고자 하는 이미지를 전송하여 해당 이미지에 대한 세그먼테이션 결과를 제공받을 수 있다. 이때, 상기 사용자는 상기 세그먼테이션 장치(100)로부터 제공되는 애플리케이션을 통해 상기 세그먼테이션을 위한 학습모델을 자동으로 다운로드 받아, 상기 사용자 단말(200)에서 상기 세그먼테이션을 수행할 수 도 있다.
특히, 상기 세그먼테이션 장치(100)는 의료 진단 시스템(미도시)으로 구성되어 의료 촬영 장치로부터 수신되는 환자의 의료 이미지로부터 관심객체를 세그먼테이션하여 해당 환자를 치료하는 임상의나 의사에게 제공하여, 상기 환자에 대한 정확한 진단을 수행할 수 있도록 구현될 수 있다.
도 2는 본 발명의 일 실시예에 따른 경계선 강조 증강 과정을 통해 경계선 강조 증강 이미지를 생성하는 과정을 설명하기 위해 나타낸 도면이다. 설명하기 위해 나타낸 도면이다.
도 2에 도시한 바와 같이, 경계선 강조 증강 이미지는, 학습 이미지(즉, 그레이 스케일로 변환한 이미지)에서 관심객체에 대한 좌표를 검출 한 후, 해당 상기 관심객체의 내측부분을 제거하기 위한 침식 방법(erosion method)을 적용함으로써, 생성된다. 이후, 상기 관심객체의 경계 레이블을 생성하기 위해 학습 이미지(즉, 원본 이미지)로부터 상기 내측부분을 차감(subtract)함으로써, 수행된다.
즉, 관심객체의 경계선을 포함하는 전경을 생성하기 위해 상기 원본 이미지에 포함된 관심객체의 안쪽 부분을 삭제하는 함으로써, 수행된다. 한편, 상기 CDED 네트워크의 성능을 확대하기 위해 상기 관심객체의 경계선에 대한 두께는 임의로 설정된다.
도 3은 본 발명의 일 실시예에 따른 경계선 강조 증강 과정에 대한 알고리즘을 설명하기 위해 나타낸 도면이다.
도 3에 도시한 바와 같이, 경계선 강조 증강을 위한 알고리즘은, 우선 바이너리 이미지에 대한 오퍼레이터의 기본적인 효과는 구성 요소 Cz에 의해 관심객체 영역(S)내의 전경 픽셀 영역의 경계선(즉, 전형적으로 백색 픽셀)을 침식시키는 것이다.
첫 번째 단계에서, 입력 바이너리 이미지에 해당하는 유클리드 S좌표의 집합, 즉 Cz (커널이라고도 함)는 구조요소의 좌표 집합이다. Cz에 의한 상기 관심객체 영역(S)의 침식은 Cz가 상기 S의 내부로 이동할 때 Cz 중심에 도달한 점의 궤적으로 이해할 수 있다.
또한 상기 침식에 대한 절차는, 원본 이미지로부터 침식 레이블로 지칭되는, 더 작은 관심객체를 제공하자마자, 원본 이미지에 대한 레이블(IL)을 침식 레이블(
Figure 112019055484314-pat00002
)로 차감하여 새로운 레이블을 얻는다.
마지막으로 두 이미지에서 모든 픽셀 i(x, y)를 회전시키고, 상기 침식 레이블 내주 좌표 (x, y)가 있는 해당 레이블을 0과 동일하게 만든다. 이러한 절차를 본 발명에서는 경계선 강조 증강 과정으로 명명했다. 한편 상기 관심객체에 대한 경계선의 두께를 무작위로 설정하면 일정한 두께를 사용할 때보다 더 나은 결과를 얻을 수 있습니다.
이하에서는 도 4 및 도 5를 참조하여, 본 발명의 CDED 네트워크의 구조를 상세히 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 CDED 네트워크의 구조를 나타낸 도면이며, 도 5는 본 발명의 일 실시예에 따른 CDED 네트워크를 구성하는 컴포넌트 네트워크의 상세를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 CDED 네트워크는, 복수의 컴포넌트 네트워크(즉, 다중 딥 인코더-디코더 네트워크)(예: 3개)로 구성되는 제1 학습네트워크와 상기 복수의 컴포넌트 네트워크(예: 3개)로 구성되는 제2 학습네트워크를 포함하여 구성된다.
상기 CDED 네트워크는, 의료 이미지에서 관심객체의 세그먼테이션을 수행할 때 풍부한 상황 정보를 학습하고 획득하기 위해 다중 딥 인코더-디코더 네트워크의 앙상블을 구축하는 것이다.
상기 각 딥 인코더-디코더 네트워크는, 전체 CDED 네트워크 작업의 일부를 각각 수행한다. 즉, 본 발명에서의 CDED 네트워크는 단일 딥 인코더-디코더 네트워크의 문제를 해결하기 위해 사용된다.
즉, 상기 CDED 네트워크는 제1 학습네트워크로부터 구별적인 특징(discriminative features)을 획득할 뿐만 아니라, 제2 학습네트를 통해 상기 제1 학습네트워크를 통해 예측한 관심객체의 경계선에서 누락된 패턴의 정보를 학습하여 정확한 세그먼테이션을 수행할 수 있도록 한다.
또한 상기 CDED 네트워크는 이미지로부터 문맥 정보(contextual information)를 캡쳐하기 위해, 속도가 서로 다른 병렬 아트로스 컨볼루션(parallel atrous convolution)을 가지는 딥 인코더-디코더 네트워크로 구성되며, 전역 특징(global feature)을 보다 잘 커버하고, CDED 네트워크의 인식능력을 증가시키기 위해 상기 네트워크에 세 가지 해상도 유형의 학습이미지가 입력된다.
또한 상기 딥 인코더-디코더 네트워크를 이용함으로써, 기본적으로 컨볼루션 (convolutional) 및 맥스 풀링 레이어(max pooling layer)를 포함하는 다운 샘플링 경로의 이점을 이용한다. 상기 딥 인코더-디코더 네트워크의 업 샘플링 경로에는 백워드 스트라이드 컨볼루션 레이어(backwards stride convolutional layers)라고도 하는 컨볼루션 및 디컨볼루션 레이어가 포함되어 있다. 출력 스코어 마스크와 특징맵을 원래 크기로 복구하기 위해 디컨볼루션 레이어를 사용했다.
또한 다운 샘플링 경로는, 유용한 추상화 정보(abstraction information)를 추출하기 위한 것이고, 업 샘플링 경로는 스코어 마스크에서 예측을 제공한다.
또한 도 5에 도시한 것과 같이, 상기 CDED 네트워크를 구성하는 각 컴포넌트 네트워크(즉, 딥 인코더-디코더 네트워크)는, 일정한 확장 스트라이드(dilation stride)를 사용하는 대신 밀도가 높은 특징을 추출하기 위해 각 컴포넌트 네트워크에 대해 서로 다른 크기의 스트라이드로 설정된다.
예를 들어, 도 5에 나타낸 것과 같이, 상기 각 학습네트워크가 3개의 컴포넌트 네트워크로 구성되고, 작은 해상도의 이미지로 학습되는 특정 컴포넌트 네트워크는, 마지막 2개의 블록에 확장 스트라이드 m=1과 확장 스트라이드 n=2로 각각 설정될 수 있다. 또한 전통적이 크기의 이미지에 의해 학습되는 컴포넌트 네트워크는, 확장 스트라이드 m=2 및 n=4로 설정되어 학습되며, 나머지 컴포넌트 네트워크의 확장 스트라이드는, m=3 및 n=6으로 설정된다.
또한 CDED 네트워크는, 원근감(perspective field)을 최적으로 확장하기 위해 상기 각 컴포넌트 네트워크에 대한 서로 다른 아트로스 속도(atrous rates)가 적용된다. 이를 통해 상기 CDED 네트워크가 전역특징을 포함하여 대부분의 구별적인 특징을 효과적으로 추출할 수 있도록 한다.
또한 상기 CDED 네트워크는, 커버리지를 잃지 않고 확장된 컨볼루션이 기하급수적으로 확장되는 수용영역(receptive fields)을 크게 지원한다.
예를 들어,
Figure 112019055484314-pat00003
는 이산함수(discrete functions)이고,
Figure 112019055484314-pat00004
Figure 112019055484314-pat00005
는, 개별 3x3 커널이라고 하면, 상기 수용필드는, 다음의 [수학식 2]로 표현된다.
[수학식 2]
Figure 112019055484314-pat00006
또한 본 발명은, 구별적인 특징을 추출하기 위해 상기 증강된 학습데이터 세트를 사용하여 상기 제1 학습네트워크를 학습시킨다.
상기 제1 학습네트워크를 학습시키는 과정은 다음과 같다.
첫 번째 단계에서, 의료 이미지로부터 관심객체에 대한 경계선을 정확하게 예측할 수 있도록 상기 증강된 데이터 세트를 이용하여 상기 제1 학습네트워크에 대한 제1 학습과정을 수행한다. 이 단계에서, 복수의 해상도 이미지(예: 세 가지의 해상도 이미지)로 상기 제1 학습네트워크를 구성하는 상기 각각의 컴포넌트 네트워크를 개별적으로 학습시킨다. 상기 이미지의 해상도는, 640x640, 512x512 및 384x384로 구성될 수 있다.
즉, 상기 제1 학습과정은, 상기 멀티 스케일 이미지와 해당 멀티 스케일 이미지에 포함된 관심객체에 대한 경계선을 강조하여 증강한 경계선 강조 증강 이미지를 학습함으로서, 상기 멀티 스케일 이미지에 포함된 관심객체의 경계선을 포함하는 예측 이미지를 출력하기 위한 학습과정을 의미한다.
다음으로, 상기 제1 학습과정을 수행한 후, 모든 가중치가 저장되고, 이는 유효성 검사를 위한 유효성 검사 단계에서 사용된다. 상기 유효성 검사 단계에서, 최초의 학습이미지(I)를 가지고, 상기 제1 학습네트워크의 성능을 검증한다. 그런 다음, 누락패턴(Ie)을 찾기 위한 방법(θ)을 적용하는 감산(subtraction)단계를 수행한다.
여기서 기본적으로 제1 학습네트워크를 통한 예측 이미지 Iv를 상기 학습이미지(I)를 감산한다. 결과적으로 상기 누락패턴(Ie) 즉, Ie = I - Iv는 상기 제2 학습네트워크를 위한 학습데이터 세트로 간주되며, 상술한 것과 같이 제1 학습네트워크를 위한 학습데이터 세트, 유효성 검증 단계의 결과 및 제2 학습네트워크를 위한 학습 데이터 세트는 도 6에 도시되어 있다.
도 4에 도시한 것과 같이. 이는 옥질리어리 슈퍼비전(auxiliary supervision)으로 베니싱 그라디언트(vanishing gradient)의 문제를 효과적으로 줄일 수 있도록 제1 학습네트워크의 후단에는 추가적으로 강화된 제2 학습과정을 위한 제2 학습네트워크가 연속하여 구성된다. 상기 제2 학습네트워크를 통해 상기 제1 학습네트워크의 학습과정에서 관심객체에 대한 누락패턴을 체크할 수 있을 뿐만 잘못된 부분을 수정할 수 있도록 한다.
즉, 상기 제2 학습과정은, 상기 제1 학습과정을 통해 출력되는 예측 이미지와 상기 예측 이미지에서 관심객체의 경계선에 대하여 생성한 누락패턴을 학습함으로써, 상기 예측 이미지에서 누락패턴을 복구하여 최종적인 관심객체를 세그먼테이션한 결과를 출력하는 과정을 의미하는 것이다.
이후, 마지막 검증을 통해 상기 제2 학습네트워크가 종래의 세그먼테이션 방법과 비교하여 동일한 객체에서 누락패턴을 정확하게 복구할 수 있는 것으로 나타났으며, 상기 검증 단계 및 마지막 검증에서의 원본 학습데이터에 대한 일 예는 도 7에 도시하였다.
마지막으로, 상기 제1 학습네트워크와 제2 학습네트워크의 소프트 맥스 레이어(soft-max layer)는 각 복셀(voxel)이 전경 및 배경에 속할 확률을 출력한다.
한편, 사람의 피부나 장기에 대한 세그먼테이션을 수행하는 의료 분야에서, 해부학적 관심영역은 대개 스캔의 매우 작은 영역만을 차지한다. 이는 종종 학습 과정에서 영향을 미치는 손실함수의 최소치를 초래하기 때문에, 일반적인 학습네트워크의 경우 주로 배경에 편향된 예측을 제공할 수 있다.
따라서 입력 이미지(I)로부터 추출되는 멀티 레벨 문맥 특징을 가지는, 상기 CDED 네트워크는, 예측결과와 실제 결과 사이의 전반적인 디코스 손실(Dicoss-loss) Lc를 최소화하도록 학습된다.
즉, 본 발명은, 향상된 세그먼테이션 결과를 제공하기 위해, 두 가지의 비용함수(cost function)와 하이퍼 파라미터(hyper parameters)를 조합한 새롭고 단순한 손실함수를 제안한다.
한편 종래의 세그먼테이션 장치는, 이미지 세그먼테이션에 대한 픽셀 단위의 크로스 엔트로피 손실함수를 적용하여 세그먼테이션을 위한 학습을 수행하였다.
상기 크로스 엔트로피 손실함수는, 각 픽셀을 개별적으로 깊이 방향 픽셀 벡터로 정의된 클래스 예측을 대상 벡터와 비교하는 것으로, 상기 손실함수는 모든 단일 픽셀을 나타내기 때문에 다양한 클래스가 이미지에 표시되면 문제가 발생할 수 있다.
결과적으로 교차 엔트로피 손실함수로 학습된 세그먼테이션 네트워크는 객체 자체보다는 배경 이미지 쪽으로 편향되는 문제점이 있다. 또한, 전경영역이 종종 누락되거나, 유일하게 부분적으로 검출될 수 있기 때문에, 모델이 객체를 볼 수 없다.
따라서 본 발명은, 상기 문제점을 해결하기 위해 우리는 이전의 부정적인 측면을 줄이기 위해 다이스 손실함수(dice loss function)를 결합하여, 다음의 [수학식 3]으로 표현되는 새로운 디코스 손실(Dicoss loss function)함수를 적용하였으며, 상기 디코스 손실함수는 더 세분화된 세그먼테이션을 제공할 수 있다.
[수학식 3]
Figure 112019055484314-pat00007
여기서
Figure 112019055484314-pat00008
는 예측된 이진 세그먼테이션 볼륨(volume)이고,
Figure 112019055484314-pat00009
는 이미지 픽셀(i,j)에서의 실제 값을 나타낸다. 하이퍼 파라미터
Figure 112019055484314-pat00010
는 밸런스 조정에 사용된다.
또한 어떤 픽셀이 배경인지 전경인지를 확인하기 위해 다음의 [수학식 4]와 같은 조건을 따른다.
[수학식 4]
Figure 112019055484314-pat00011
여기서, E는 관심영역을 나타내고, Tij는 픽셀 좌표(i,j)에서의 임계값을 나타낸다. 이러한 디코스 손실함수는, 부드러운 세그먼테이션 예측을 제공할 수 있으며, 상기 CDED 네트워크가 네거티브 클래스로 편향되지 않도록 하고, 모든 픽셀을 명확하게 예측하기 위한 하이퍼 파라미터가 추가되었다.
도 8은 본 발명의 일 실시예에 따른 디코스 손실함수와 종래의 손실함수를 비교한 도면이다.
한편, 본 발명의 일 실시예에 따른 디코스 손실함수와 종래의 손실함수(즉, 크로스 엔트로피 손실함수 및 다이스 손실함수)를 비교하기 위해 동일한 학습데이터로 본 발명의 CDED 네트워크를 학습하였으며, 상기 학습과정에 상기 각각의 손실함수를 적용하였다.
도 8에 도시한 것과 같이, 본 발명의 디코스 손실함수가 적용된 CDED 네트워크가 더 부드러운 세그먼테이션 예측을 제공할 수 있음을 알 수 있으며, 특히 상기 CDED 네트워크가 네거티브 클래스로 편향되지 않도록 하고, 모든 픽셀을 명확하게 예측함을 알 수 있다.
본 발명의 디코스 손실함수는, 종래의 기본적인 크로스 엔트로피 손실함수 및 다이스 손실함수에 비하여 더욱 견고하다는 것을 알 수 있다.
도 9는 본 발명의 일 실시예에 따른 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치의 구성을 나타낸 블록도이다.
도 9에 도시한 바와 같이, 본 발명의 일 실시예에 따른 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치(100)는, 사용자 단말(200)이나 외부의 장치(예: 본 발명의 이미지 세그먼테이션 장치와 연동된 촬영 장치 등)로부터 관심객체를 포함하는 적어도 하나 이상의 이미지를 수신하는 이미지 수신부(110), 상기 수신한 이미지 및 학습데이터 데이터베이스(310)에 저장된 학습데이터를 전처리하는 전처리부(120), 상기 전처리한 학습데이터의 수의 증가 및 경계선 강조 증강 과정을 포함하여 상기 학습데이터를 효과적으로 학습하기 위해 상기 전처리한 학습데이터를 증강시키는 학습데이터 증강부(130), 상기 증강한 학습데이터를 학습하여 관심객체를 세그먼테이션하기 위한 세그먼테이션용 학습모델을 생성하는 학습모델 생성부(140), 상기 생성한 학습모델을 이용하여 상기 수신한 이미지에 대한 세그먼테이션을 수행하는 세그먼테이션부(150) 및 상기 세그먼테이션한 결과를 제공하는 세그먼테이션 결과 제공부(160)를 포함하여 구성된다.
상기 이미지 수신부(110)는, 사용자의 요청에 의해 특정 이미지에 포함된 관심객체를 세그먼테이션하기 위한 상기 특정 이미지를 수신하는 기능을 수행한다.
한편 상기 특정 이미지는, 상기 사용자가 구비한 사용자 단말(200)로부터 수신되거나, CT 촬영장치, MRI 촬영장치 등과 같이 상기 이미지 세그먼테이션 장치(100)와 연동되는 다양한 촬영장치로부터 수신될 수 있다.
또한 상기 이미지 수신부(110)는, 상기 학습모델을 생성부(140)에 의해 생성되는 학습모델을 업데이트할 수 있도록 상기 학습데이터의 기반이 되는 학습이미지를 주기적으로 수집할 수 있다. 즉, 다양한 분야에서 특정 관심객체를 세그먼테이션하기 위한 학습데이터를 제공하는 기관 등으로부터 상기 학습이미지를 주기적으로 수집하여 상기 학습데이터 데이터베이스(310)에 저장함으로써, 상기 저장된 학습데이터를 반영하여 상기 학습모델을 최신의 상태로 업데이트할 수 있도록 한다.
또한 전처리부(120)는, 상기 학습데이터의 학습이미지를 전처리하는 기능을 수행하는 것으로, 상기 학습이미지를 그레이 스케일로 변환하고, 상기 그레이 스케일로 변환한 상기 학습이미지를 토대로 미리 설정한 해상도(예: 640x640, 512x512 및 384x384)를 가지는 멀티 스케일 이미지를 생성한다.
즉, 상기 전처리부(120)는, 상기 멀티 스케일 이미지를 생성하는 것은, 상기 그레이 스케일로 변환한 학습데이터가 미리 설정한 각각의 해상도로 조정하여 복수의 스케일된 학습데이터를 생성하는 것을 의미한다. 한편 상기 스케일 스케일로 변환하는 것은 도 2를 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략하도록 한다.
또한 상기 전처리부(120)는, 상기 세그먼테이션을 위해 수신되는 특정 이미지를 전처리하여 그레이 스케일로 변환하는 기능을 수행한다.
또한 학습데이터 증강부(130)는, 상기 학습데이터를 토대로 증강된 학습데이터를 생성하기 위한 것으로, 상기 학습데이터 데이터베이스(310)에 저장된 제한된 수의 학습데이터의 수를 증가시키고, 본 발명의 CDED 학습네트워크가 관심객체에 대한 경계선을 정확하게 예측하여 출력할 수 있도록 경계선 강조 증강과정을 통해 관심객체의 경계를 포함하는 전경(즉, 경계선 강조 증강 이미지)을 생성함으로써, 수행된다.
상기 학습데이터의 수를 증가시키는 것은, 탄성변형, 리플렉션, 랜덤 크로핑, 트랜스레이션, 로테이션 또는 이들의 조합을 수행하여 상기 각 학습데이터의 각 인스턴스가 변경된 복사본을 생성함으로써, 수행된다.
또한 상기 경계선 강조 증강 이미지는, 침식방법을 통해 생성됨은 상술한 바와 같다.
또한 상기 학습모델 생성부(140)는, CDED 네트워크를 통해 상기 증강된 학습데이터를 토대로 학습을 수행하여 특정 이미지에 포함된 관심객체를 세그먼테이션하기 위한 학습모델을 생성하는 기능을 수행한다.
상기 CDED 학습네트워크는, 다중 딥 인코더-디코더 네트워크로 각각 구성되는 제1 학습네트워크 및 제2 학습네트워크가 연속하여 구성되며, 상기 제1 학습네트워크를 통해 상기 증강된 학습데이터를 학습하여 특정 이미지에 포함된 관심객체의 경계선을 예측한 예측 이미지를 출력하도록 하며, 상기 제2 학습네트워크를 통해 상기 제1 학습네트워크를 통과하는 과정에서 상기 관심객체의 경계선에 대한 누락패턴을 학습하도록 함으로써, 상기 특정 이미지에 포함된 관심객체를 정확하게 세그먼테이션한 이미지를 출력할 수 있도록 한다.
즉, 상기 제1 학습과정은, 멀티 스케일 이미지와 경계선 강조 증강 이미지를 학습하여 상기 멀티 스케일 이미지에 포함된 관심객체의 경계선을 포함하는 예측 이미지를 출력하기 위한 것이며, 상기 제2 학습과정은, 상기 출력한 예측 이미지와 상기 예측 이미지에서 누락된 누락패턴을 학습하여 최종적으로 상기 예측 이미지에서 누락된 누락패턴을 복구하여 상기 관심객체를 세그먼테이션한 최종 결과물이다.
상기 학습모델 생성부(140)는, 상기 제1 학습네트워크 및 제2 학습네트워크로 구성되는 CDED 네트워크를 통해 제1 학습과 제2 학습을 수행하여 특정 이미지로부터 관심객체를 세그먼테이션하기 위한 학습모델을 생성한다.
또한 이미지 세그먼테이션부(150)는, 네트워크를 통해 관심객체를 세그먼테이션하기 위한 특정 이미지를 수신한 경우, 상기 전처리부(120)를 제어하여 상기 수신한 특정 이미지를 그레이 스케일로 변환하고, 상기 그레이 스케일로 변환한 상기 특정 이미지로부터 멀티 스케일 이미지를 생성한다.
상기 전처리부(120)는 상기 학습데이터를 전처리한 동일한 과정을 통해 상기 수신한 특정 이미지를 전처리하는 것이다.
또한 상기 이미지 세그먼테이션부(150)는, 학습모델을 상기 학습모델 데이터베이스(320)로부터 로딩하여, 상기 생성한 멀티 스케일 이미지를 상기 로딩한 학습모델에 적용하여, 상기 특정 이미지에 포함된 관심객체를 세그먼테이션한다.
또한 상기 세그먼테이션 결과 제공부(160)는, 상기 이미지 세그먼테이션부(150)를 통해 수행한 관심객체에 대한 세그먼테이션 결과를 사용자 단말(200)로 제공함으로써, 상기 세그먼테이션한 결과를 이용할 수 있도록 한다.
이하에서는 본 발명과 타 방법 간의 관심객체 세그먼테이션에 대한 성능을 비교하고자 한다. 상기 비교를 위하여 대장 암 세그먼테이션에서 폴립 검출로 잘 알려진 MICCAI 2015, CVC-ClinicDB, CVC-ColonDB 및 ETIS-LaribPolypDB 데이터 세트와 피부 병변과 간 세그먼테이션을 위한 PH2, ISBI 2016 및 CHAOS 2019 데이터 세트를 이용하여 상기 비교를 수행하였다.
한편 상기 CVC-ClinicDB는 612개의 이미지로 구성되며, 모든 이미지는 적어도 하나의 폴립을 포함하고, 23명의 환자로부터 획득된 31개의 결장 직장 비디오 시퀀스로부터 세그먼테이션 레이블이 획득된다. 또한 CVC-ColonDB는. 15개의 다른 대장 내시경 검사 시퀀스에서 획득되는 379개의 프레임을 포함하며, 상기 각 시퀀스는 적어도 하나의 폴립을 포함한다. 또한 ETIS-LaribPolypDB는, 196개의 이미지로 구성되며, 모든 이미지는 적어도 하나의 폴립을 포함한다.
또한 PH2는 768x560 픽셀의 해상도를 갖는 200개의 피부 진찰 이미지로 구성되며, 80개의 공통 모반(nevus) 이미지, 80개의 이례적인 모반 이미지 및 40개의 흑색종 이미지를 포함한다. 또한 ISBI 2016은, 전문가가 제공한 실제 결과를 포함하는 900개의 학습이미지를 포함하며, 이미지의 크기는 1022x767에서 4288x2848 픽셀까지 다양하다. 이 데이터 세트는 2016 국제 생물 과학 심포지움 (ISBI 2016)에서 제공되었다. 또한 CHAOS 2019는, DICOM 형식의 512x512 픽셀인 980개의 간 CT 이미지로 구성되며, 이 데이터 세트는 2019년 4월에 ISBI (Institute of Biomedical Imaging)에서 IEEE 국제 심포지움 (ISBI)에서 제공되었다.
또한 성능을 평가하기 위한 주요 척도로써, IOU(intersection of union)으로 알려진 자카드 지수(Jaccard index)를 사용했으며, 본 발명의 효과에 대한 전반적인 견해를 제공하기 위해 다이스 스코어(Dice score), 민감도(sensitivity, Sen), 특이도(specificity, Spec) 및 정확도(accuracy, Acc) 매트릭(metric)을 사용하였다. 또한 상기 매트릭을 사용하여 예측결과(PR)와 실제결과(ground truth, GT)를 비교했다.
전자는, 오차행렬(confusion matrix)을 기반으로 정확하게 예측된 픽셀인 정탐(true positive, TP), 배경으로 식별되는 객체 픽셀인 미탐(false negative, FN)값, 객체로 분류되는 배경 픽셀인 오탐(false positive), 정확하게 세그먼테이션된 배경 픽셀인 정탐(true negative, TN)을 포함한다.
상기 IoU는 다음의 [수학식 5]에 따라 검증/테스트 세트를 통해 계산되며, 이는, PR 및 GT사이의 유사성을 계산하는데 사용된다.
[수학식 5]
Figure 112019055484314-pat00012
여기서,
Figure 112019055484314-pat00013
는, PR과 GT사이의 교집합 세트이고,
Figure 112019055484314-pat00014
합집합 세트이며, 다이스 계수(Dice coefficient)는 예측 영상과 레이블 영상의 유사성을 비교하기 위해 사용되는 통계이며, 다음의 [수학식 6]에 의해 계산된다.
상기 다이스 계수는, 다이스 유사성 계수 (Dice similarity coefficient)라고도하며 상기 IoU와 달리 민감도를 유지하면서 이질적인 데이터 집합의 유사성을 효과적으로 측정할 수 있다.
[수학식 6]
Figure 112019055484314-pat00015
또한 다음의 [수학식 7]을 통해 세그먼테이션 방법에 의해 생성된 네거티브 값(negative value)의 비율과 GT에 속한 실제 네거티브 값을 나타내기 위한 특이도를 계산한다.
[수학식 7]
Figure 112019055484314-pat00016
또한 리콜(Recall)로 알려진 민감도는, 세그먼테이션 방법에 의해 고려되는 포지티브 값(positive value)의 비율과 실제 GT에 의해 주어진 올바른 포지티브 값을 측정하는 매트릭이며, 다음의 [수학식 8]에 따라 계산된다.
[수학식 8]
Figure 112019055484314-pat00017
또한 GT와 PR사이의 차이가 얼마나 큰지를 확인하기 위해 다음의 [수학식 9]에서 히트(hit)와 오류(error)사이의 관계를 보여주기 위한 매트릭 중 하나인 정확도를 이용했다. 특히, 정확도(Acc)가 높을수록 세그먼테이션 방법이 좋은 것을 의미하며, 높은 정확도는 대부분의 픽셀이 올바르게 세그먼테이션되었음을 나타낸다.
[수학식 9]
Figure 112019055484314-pat00018
또한 공통적인 매트릭을 적용하여 다음의 [수학식 10]에 의해 표현되는 비교결과를 표시했다. 상기 공통적인 매트릭의 측정 기준은 전체적으로 예측된 포지티브 관찰결과에 대하여 정확하게 예측된 포지티브 관찰결과의 비율이다.
[수학식 10]
Figure 112019055484314-pat00019
또한 학습 및 테스트 단계 모두에서, 그레이 스케일 이미지를 사용하는 것이 RGB 이미지를 사용하는 것보다 항상 좋다는 것을 보여주었다. 따라서 학습데이터 세트의 모든 이미지 포맷을 그레이 스케일로 변환한 다음, 상술한 학습단계로 제공하기 위해 상기 이미지를 업샘플링하고 다운샘플링하였다.
또한 학습데이터 증강부(130)를 통해 상기 학습데이터를 증강하였다.
예를 들어, 크로핑 방법(cropping method)이 사용되었다. 즉, 이미지 모서리에 존재하는 카메라에 의해 생성된 검은 부분을 제거하기 위해 이미지의 센터 부분에서 크로핑했다. 또한 로테이션 방법(rotation method)은, 0도에서 360도 사이의 랜덤 각도를 사용하여 적용되었다. 따라서 학습데이터 세트의 모든 이미지를 사용하였으며, 모델의 학습 능력을 최적화하기 위해 상기 데이터 세트를 TFrecords 형식으로 포맷화하였다.
또한 증강된 데이터 세트로 150000건의 학습 단계를 수행 한 후, 다음 학습 단계의 입력으로 사용되기 전 예측 이미지 누락 및 잘못된 인식 패턴을 식별하기 위해, 상기 학습된 모델은 원본의 학습 세트에서 테스트되었다.
유효성 검사단계가 종료되면, 상기 예측된 이미지는, 누락된 부분을 판별하고, 실패한 분류부분을 수정하기 위해 원본의 학습 세트에서 차감된다.
다음 단계에서는, 이 단계의 결과를 다시 보강하기 위해 선택되고, 제2 학습네트워크로 학습된다.
마지막으로, 3가지 해상도 이미지로 각 모델의 성능을 테스트하고, 최상의 결과를 선택하기 위해 맵 스코어(map score)를 이용했다. 또한 모든 학습과정은 지포스 GTX 타이탄 X 그래픽 카드로, 텐서플로우(TensorFlow)에서 수행되었다.
도 10은 본 발명의 일 실시예에 따른 CDED 네트워크를 통한 폴립 세그먼테이션과 타 방법을 통한 폴립세그먼테이션의 성능을 비교한 도면이다.
도 10에 도시한 바와 같이, 폴립 세그먼테이션과 관련하여 본 발명의 CDED 네트워크를 통한 세그먼테이션 방법과 FCN(fully convolutional neural network)를 이용한 다양한 최신의 방법을 비교하기 위해, 상기 ETIS-Larib 데이터 세트를 이용하였다.
상기 데이터 세트의 모든 이미지를 그레이 스케일 이미지로 변경한 후, 384x288 픽셀에서 500x400 픽셀 및 300x200 픽셀 크기로 조정하였다.
상기 도 10에 나타난 것과 같이, 본 발명의 CDED 네트워크를 통한 세그먼테이션 방법이 타 방법 보다 높은 정밀도와 가장 높은 회수율을 달성했음을 보여준다.
즉, 상기 폴립 세그먼테이션에 대한 테스트 결과는, 본 발명의 CDED 네트워크가 다중 스케일의 문맥정보를 모으는 능력으로 인해 다른 방법 보다 우수함을 알 수 있다.
도 11은 본 발명의 일 실시예에 따른 CDED 네트워크와 타 방법을 통한 세그먼테이션의 정확도, 특이도, 다이스 계수 및 민감도를 비교한 도면이다.
도 11에 도시한 바와 같이, 본 발명의 일 실시예에 따른 CDED 네트워크를 통한 세그먼테이션과 타 방법을 통한 세그먼테이션의 정확도, 특이도, 다이스 계수 및 민감도는 대체적으로 다 방법보다 높은 것을 알 수 있다.
또한 학습데이터는 CVC-ColonDB를 이용하였으며, 한편 상기 정확도, 특이도, 다이스 계수 및 민감도를 비교하기 위한 타 방법은, 장(Zhang)등이 제안한 네트워크(L. Zhang, S. Dolwani, and X. Ye, "Automated polyp segmentation in colonoscopy frames using fully convolutional neural network and textons,"in Proc. Annu. Conf. Med. Image Understand. Anal., 2017, pp. 707-717. 참조)와 아크바리(Akbari)등이 제안한 네트워크(M. Akbari et al. (Feb. 1, 2018). "Polyp segmentation in colonoscopy images using fully convolutional network.")와 본 발명의 성능을 평가하였다.
도 12는 본 발명의 일 실시예에 따른 CDED 네트워크와 FCN-8S를 이용하여 종양을 세그먼트한 결과를 비교한 도면이다.
도 12에 도시한 바와 같이, 본 발명의 일 실시예에 따른 CDED 네트워크를 이용한 이미지 세그먼테이션 장치(100)는, 종양의 경계를 최적으로 인식하여, 실제 결과(ground truth)동일함을 알 수 있으며, FCN-8S는 실제 결과와 많이 차이가 나는 것을 알 수 있다.
한편 FCN-8S는, FCN을 이용하여 대장 내시경 이미지에서 폴립 영역을 세그먼테이션한 후, 오츠 임계값(Otsu threshold) 방법을 이용하여, 상기 FCN에서 출력되는 확률맵 이미지를 이진 이미지로 변경한 다음 가장 큰 연결 컴포넌트를 찾음으로써, 오탐 픽셀의 수를 줄이는 방법이다.
도 13은 본 발명의 일 실시예에 따른 PH2 데이터 세트를 이용하여 CDED 네트워크를 이용한 이미지 세그먼테이션 장치와 타 방법 간의 성능을 비교한 도면이다.
도 13에 도시한 바와 같이, 피부 병변 세그먼테이션 영역에서, 최첨단 방법과 비교하기 위해 PH2 데이터 세트를 이용하여 슈퍼 픽셀 기반 검출(super pixel based saliency detection) 방법과 피부 병변 세그먼테이션으로 잘 알려진 방법들인 MGAC(morphological approach via geodesic active contour), U-net(u network), FrCN(full resolution convolutional network), FCN(fully convolutional network), MFCN(multistage fully convolutional networks), MSCA(multi-scale superpixel based cellular automata) 및 DCL-PSI(deep class-specific learning with probability based step-wise integration) 등과의 성능을 비교 하였다.
도 13에 나타낸 것과 같이, IoU, 다이스 계수, 민감도, 특이도 및 정확도에서 본 발명의 세그먼테이션 장치(100)가 타 최첨단 방법보다 높은 것을 알 수 있다. 이를 통해 본 발명은 피부 병변 세그먼테이션을 수행하는 경우에도 피부 이미지로부터 정확하게 피부의 병변을 세그먼테이션할 수 있음을 알 수 있다.
도 14는 본 발명의 일 실시예에 따른 CHAOS 데이터 세트를 이용하여 CDED 네트워크를 이용한 이미지 세그먼테이션 장치와 타 방법 간의 세그먼테이션 결과를 나타낸 도면이며, 도 15는 본 발명의 일 실시예에 따른 CHAOS 데이터 세트를 이용하여 CDED 네트워크를 이용한 이미지 세그먼테이션 장치와 타 방법 간의 성능을 비교한 도면이다.
도 14에 도시한 바와 같이, 또한 CHAOS 데이터 세트를 이용하여, 간 진단 및 모니터링 목적으로 수집되는 컴퓨터 단층 촬영(CT) 이미지에서, 인접한 장기 및 조직의 강도(intensities)는 간 조직 자체의 강도와 매우 유사하다. 이는, 종종 위와 심장의 경계뿐만 아니라 이것은 종종 위와 심장의 경계뿐만 아니라 늑골 케이지의 늑골하 지방 경계에도 해당된다.
이러한 문제가 있는 영역에서는, 그레이 스케일 값만을 기준으로 간을 자동으로 세그먼테이션하는 것은 매우 어렵다.
그러나 본 발명의 CDED 네트워크를 이용한 이미지 세그먼테이션 장치(100)는, 간의 특징을 강하게 구별할 수 있음을 입증하였다. 이 비교에서, 학습을 위해 800개의 이미지를, 테스트를 위해 180개의 이미지를 사용했으며, 본 발명과 두 가지 경쟁 네트워크 모두 동일한 학습데이터 증강 방법을 적용했다.
도 14에 나타낸 것과 같이, 본 발명의 CDED 네트워크를 이용한 이미지 세그먼테이션 장치(100)는, 아주 작은 관심객체를 올바르게 인식 할 수 있음을 알 수 있으며, 또한 도 15에 도시한 것과 같이, 상기 CDED 네트워크를 이용한 이미지 세그먼테이션 장치(100)가 최첨단의 세그먼테이션 방법보다 월등히 뛰어나다는 것을 알 수 있다.
또한 U-net(O. Ronneberger, P. Fischer, and T. Brox, "U-net: Convolutional networks for biomedical image segmentation," in Proc. Int. Conf. Med. Image Comput. Comput.-Assist. Intervent, 2015, pp. 234241. 참조)과 Deeplab V3+(L.-C. Chen, Y. Zhu, G. Papandreou, F. Schroff, and H. Adam. (Feb. 7, 2018). ``Encoder-decoder with atrous separable convolution for semantic image segmentation.'' [Online]. Available: https://arxiv. org/abs/1802.02611. 참조)는, 간장을 완전히 탐지하지 못하는 문제점이 있었다.
도 16은 본 발명의 일 실시예에 따른 특정 이미지로부터 관심객체를 세그먼테이션하는 절차를 나타낸 흐름도이다.
도 16에 도시한 바와 같이, 본 발명의 일 실시예에 따른 이미지 세그먼테이션 장치(100)를 통해 특정 이미지에 포함된 관심객체를 세그먼테이션하는 절차는 우선, 이미지 세그먼테이션 장치(100)는, 학습데이터 데이터베이스(310)에 저장된 학습데이터를 로딩하여, 상기 로딩한 학습데이터에 대한 전처리 과정을 수행한다(S110).
상기 전처리는, 상기 학습데이터를 구성하는 학습이미지(즉, 원본 이미지)를 그레이 스케일로 변환하고, 상기 그레이 스케일로 변환한 학습이미지에 대한 멀티 스케일 이미지를 생성함으로써, 수행된다.
다음으로, 상기 전처리한 학습데이터를 토대로 CDED 네트워크에 대한 제1 학습 및 제2 학습을 수행하여, 특정 이미지로부터 관심객체를 세그먼테이션하기 위한 학습모델을 생성한다(S120).
상기 학습은, CDED 네트워크를 통해 수행되며, 상기 제1 학습은, 상기 전처리한 멀티 스케일 이미지와 상기 각 멀티 스케일 이미지에 대하여 생성한 경계선 강조 증강 이미지를 학습하여 상기 전처리한 멀티 스케일 이미지에 포함된 관심객체의 경계선을 포함하는 예측 이미지를 생성하도록 하는 것이다.
또한 제2 학습은, 상기 제1 학습을 통해 생성한 예측 이미지와 상기 제1 학습을 통해 상기 예측 이미지에서 관심객체의 경계선에 대한 누락패턴을 학습하여 상기 예측 이미지에서 누락패턴을 복구하여 최종적으로 상기 멀티 스케일 이미지로부터 관심객체를 세그먼테이션한 이미지를 생성하도록 하는 것이다.
한편 상기 CDED 네트워크의 구조는 도 4를 참조하여 설명하였으므로 더 이상의 상세한 설명을 생략하도록 한다.
다음으로, 네트워크를 통해 관심객체 세그먼테이션을 위한 특정 이미지가 수신되는 경우(S130), 상기 이미지 세그먼테이션 장치(100)는, 상기 S110단계에서 수행한 동일한 전처리 과정을 수행하여 상기 수신한 특정 이미지에 대한 전처리를 수행한다(S140).
즉, 상기 특정 이미지를 그레이 스케일로 변환하고, 상기 그레이 스케일로 변환한 특정 이미지에 대한 멀티 스케일 이미지를 생성하는 것이다.
다음으로, 상기 이미지 세그먼테이션 장치(100)는, 학습모델 데이터베이스(302)에 저장한 학습모델을 로딩하여, 상기 전처리한 이미지를 상기 로딩한 학습모델에 적용함으로써, 상기 수신한 특정 이미지에 포함된 관심객체를 세그먼테이션하고(S150), 상기 세그먼테이션한 결과를 사용자에게 제공한다(S160).
이상에서 설명한 바와 같이 본 발명은 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치 및 그 방법에 관한 것으로, 다중 딥 인코더-디코더 네트워크를 연속적으로 구성한 CDED 네트워크를 구축하여, 특정 이미지로부터 관심객체의 경계선을 예측하는 제1 학습과정과 상기 제1 학습과정으로부터 상기 관심객체의 경계선에 대한 누락된 패턴을 학습하는 제2 학습과정을 통해 상기 특정 이미지에 포함된 관심객체를 정확하게 효과적으로 세그먼테이션할 수 있는 효과가 있다.
또한 상기에서는 본 발명에 따른 바람직한 실시예를 위주로 상술하였으나 본 발명의 기술적 사상은 이에 한정되는 것은 아니며 본 발명의 각 구성요소는 동일한 목적 및 효과의 달성을 위하여 본 발명의 범위 내에서 변경 또는 수정될 수 있을 것이다.
아울러 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
100 : 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치
110 : 이미지 수신부 120 : 전처리부
130 : 학습데이터 증강부 140 : 학습모델 생성부
150 : 이미지 세그먼테이션부 160 : 세그먼테이션 결과 제공부
200 : 사용자 단말 300 : 데이터베이스
310 : 학습데이터 데이터베이스 320 : 학습모델 데이터베이스

Claims (10)

  1. 학습데이터를 그레이 스케일로 변환하고, 상기 그레이 스케일로 변환한 학습데이터에 대한 멀티 스케일 이미지를 생성하는 전처리부;
    상기 생성한 멀티 스케일 이미지를 학습하여 관심객체를 세그먼테이션하기 위한 학습모델을 생성하는 학습모델 생성부;를 포함하며,
    상기 학습은, 다중 딥 인코더-디코더 네트워크를 연속적으로 구성한 CDED(consecutive deep encoder decoder) 네트워크를 통해 수행되며, 상기 멀티 스케일 이미지에 포함된 관심객체의 경계선을 포함하는 예측 이미지를 출력하는 제1 학습과정 및 상기 출력한 예측 이미지에서, 상기 관심객체의 내부에서 누락된 패턴인 상기 관심객체의 경계선에 대한 누락패턴을 학습하여, 상기 예측 이미지에서 상기 누락패턴을 복구함으로써, 최종적으로 관심객체를 세그먼테이션한 이미지를 출력하는 제2 학습과정을 포함하는 것을 특징으로 하는 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치.
  2. 청구항 1에 있어서,
    상기 제1 학습과정은,
    상기 멀티 스케일 이미지와 해당 멀티 스케일 이미지에 포함된 관심객체에 대한 경계선을 강조하여 증강한 경계선 강조 증강 이미지를 학습함으로써, 수행되며,
    상기 경계선 강조 증강 이미지는, 상기 멀티 스케일 이미지에서 관심객체의 좌표를 검출 한 후, 상기 관심객체의 윤곽선을 제외한 상기 관심객체의 내부부분을 삭제함으로써, 생성되는 것을 특징으로 하는 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치.
  3. 청구항 1에 있어서,
    상기 제2 학습과정은,
    상기 제1 학습과정에서 출력한 예측 이미지와, 상기 출력한 예측 이미지에서 관심객체의 경계선에 대하여 생성한 상기 관심객체의 경계선에 대한 누락패턴을 학습함으로 수행되며,
    상기 관심객체의 경계선에 대한 누락패턴은,
    상기 출력한 예측 이미지에서 상기 관심객체의 경계선에 대한 내부부분인 상기 관심객체의 내부에서 누락된 패턴이며, 멀티 스케일 이미지에서 상기 출력한 예측 이미지를 감산함으로써, 생성되는 것을 특징으로 하는 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치.
  4. 청구항 1에 있어서,
    상기 이미지 세그먼테이션 장치는,
    관심객체를 세그먼테이션하기 위한 특정 이미지가 수신되는 경우, 상기 전처리부를 제어하여, 상기 전처리부를 통해 상기 수신한 특정 이미지를 그레이 스케일로 변환 한 후, 멀티 스케일 이미지를 생성하고, 상기 생성한 멀티 스케일 이미지를 상기 생성한 학습모델에 적용함으로써, 해당 관심객체에 대한 세그먼테이션을 수행하는 이미지 세그먼테이션부; 및
    상기 수행한 관심객체에 대한 세그먼테이션 결과를 사용자에게 제공하는 세그먼테이션 결과 제공부;를 더 포함하는 것을 특징으로 하는 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치.
  5. 청구항 1에 있어서,
    상기 이미지 세그먼테이션 장치는,
    상기 학습데이터에 대한 탄성변형(elastic distortion), 리플렉션(reflection), 랜덤 크로핑(random cropping), 트랜스레이션(translation), 로테이션(rotation) 또는 이들의 조합을 수행하여 상기 학습데이터의 각 인스턴스(instance)가 변경된 복사본을 생성함으로써, 상기 학습데이터의 제한된 수를 증가시키는 것을 더 포함하는 것을 특징으로 하는 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치.
  6. 학습데이터를 그레이 스케일로 변환하고, 상기 그레이 스케일로 변환한 학습데이터에 대한 멀티 스케일 이미지를 생성하는 전처리 단계;
    상기 생성한 멀티 스케일 이미지를 학습하여 관심객체를 세그먼테이션하기 위한 학습모델을 생성하는 학습모델 생성 단계;를 포함하며,
    상기 학습은, 다중 딥 인코더-디코더 네트워크를 연속적으로 구성한 CDED(consecutive deep encoder decoder) 네트워크를 통해 수행되며, 상기 멀티 스케일 이미지에 포함된 관심객체의 경계선을 포함하는 예측 이미지를 출력하는 제1 학습과정 및 상기 출력한 예측 이미지에서, 상기 관심객체의 내부에서 누락된 패턴인 상기 관심객체의 경계선에 대한 누락패턴을 학습하여, 상기 예측 이미지에서 상기 누락패턴을 복구함으로써, 최종적으로 관심객체를 세그먼테이션한 이미지를 출력하는 제2 학습과정을 포함하는 것을 특징으로 하는 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 방법.
  7. 청구항 6에 있어서,
    상기 제1 학습과정은,
    상기 멀티 스케일 이미지와 해당 멀티 스케일 이미지에 포함된 관심객체에 대한 경계선을 강조하여 증강한 경계선 강조 증강 이미지를 학습함으로써, 수행되며,
    상기 경계선 강조 증강 이미지는, 상기 멀티 스케일 이미지에서 관심객체의 좌표를 검출 한 후, 상기 관심객체의 윤곽선을 제외한 상기 관심객체의 내부부분을 삭제함으로써, 생성되는 것을 특징으로 하는 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 방법.
  8. 청구항 6에 있어서,
    상기 제2 학습과정은,
    상기 제1 학습과정에서 출력한 예측 이미지와, 상기 출력한 예측 이미지에서 관심객체의 경계선에 대하여 생성한 상기 관심객체의 경계선에 대한 누락패턴을 학습함으로 수행되며,
    상기 관심객체의 경계선에 대한 누락패턴은,
    상기 출력한 예측 이미지에서 상기 관심객체의 경계선에 대한 내부부분인 상기 관심객체의 내부에서 누락된 패턴이며, 멀티 스케일 이미지에서 상기 출력한 예측 이미지를 감산함으로써, 생성되는 것을 특징으로 하는 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 방법.
  9. 청구항 6에 있어서,
    상기 이미지 세그먼테이션 방법은,
    관심객체를 세그먼테이션하기 위한 특정 이미지가 수신되는 경우, 전처리부를 제어하여, 상기 전처리부를 통해 상기 수신한 특정 이미지를 그레이 스케일로 변환 한 후, 멀티 스케일 이미지를 생성하고, 상기 생성한 멀티 스케일 이미지를 상기 생성한 학습모델에 적용함으로써, 해당 관심객체에 대한 세그먼테이션을 수행하는 이미지 세그먼테이션 단계; 및
    상기 수행한 관심객체에 대한 세그먼테이션 결과를 사용자에게 제공하는 세그먼테이션 결과 제공 단계;를 더 포함하는 것을 특징으로 하는 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 방법.
  10. 청구항 6에 있어서,
    상기 이미지 세그먼테이션 방법은,
    상기 학습데이터에 대한 탄성변형(elastic distortion), 리플렉션(reflection), 랜덤 크로핑(random cropping), 트랜스레이션(translation), 로테이션(rotation) 또는 이들의 조합을 수행하여 상기 학습데이터의 각 인스턴스(instance)가 변경된 복사본을 생성함으로써, 상기 학습데이터의 제한된 수를 증가시키는 단계;를 더 포함하는 것을 특징으로 하는 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 방법.
KR1020190063528A 2019-05-30 2019-05-30 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치 및 그 방법 KR102176139B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190063528A KR102176139B1 (ko) 2019-05-30 2019-05-30 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190063528A KR102176139B1 (ko) 2019-05-30 2019-05-30 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR102176139B1 true KR102176139B1 (ko) 2020-11-09

Family

ID=73429398

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190063528A KR102176139B1 (ko) 2019-05-30 2019-05-30 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102176139B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052849A (zh) * 2021-04-16 2021-06-29 中国科学院苏州生物医学工程技术研究所 腹部组织图像自动分割方法及系统
CN114399637A (zh) * 2021-12-02 2022-04-26 北京航空航天大学 一种基于模型相似性衡量的联邦学习影像分割方法
KR20230067386A (ko) * 2021-11-09 2023-05-16 오스 주식회사 태양광 패널 결함 검출 시스템 및 방법
CN116188501A (zh) * 2023-03-02 2023-05-30 江南大学 基于多尺度交叉注意力的医学图像分割方法
WO2023167532A1 (en) * 2022-03-04 2023-09-07 Samsung Electronics Co., Ltd. Method and apparatus for video action classification
KR102632230B1 (ko) 2023-03-21 2024-02-01 주식회사 스타일웍스 사용자 특성을 통한 의류 추천 장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Hao Chen외 3인, "DCAN: Deep Contour-Aware Networks for Accurate Gland Segmentation", CVPR 2016, (2016.07.01.) *
Liu Heng외 4인, "Single image super-resolution using a deep encoder-decoder symmetrical network with iterative back projection", Neurocomputing, (2018.03.22.) *
Liu Heng외 5인, "Single image super-resolution using multi-scale deep encoder-decoder with phase congruency edge map guidance", Information Sciences, (2019.01.31.) *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052849A (zh) * 2021-04-16 2021-06-29 中国科学院苏州生物医学工程技术研究所 腹部组织图像自动分割方法及系统
CN113052849B (zh) * 2021-04-16 2024-01-26 中国科学院苏州生物医学工程技术研究所 腹部组织图像自动分割方法及系统
KR20230067386A (ko) * 2021-11-09 2023-05-16 오스 주식회사 태양광 패널 결함 검출 시스템 및 방법
KR102629092B1 (ko) * 2021-11-09 2024-01-25 오스 주식회사 태양광 패널 결함 검출 시스템 및 방법
CN114399637A (zh) * 2021-12-02 2022-04-26 北京航空航天大学 一种基于模型相似性衡量的联邦学习影像分割方法
WO2023167532A1 (en) * 2022-03-04 2023-09-07 Samsung Electronics Co., Ltd. Method and apparatus for video action classification
CN116188501A (zh) * 2023-03-02 2023-05-30 江南大学 基于多尺度交叉注意力的医学图像分割方法
CN116188501B (zh) * 2023-03-02 2024-02-13 江南大学 基于多尺度交叉注意力的医学图像分割方法
KR102632230B1 (ko) 2023-03-21 2024-02-01 주식회사 스타일웍스 사용자 특성을 통한 의류 추천 장치

Similar Documents

Publication Publication Date Title
KR102176139B1 (ko) 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치 및 그 방법
Wadhwa et al. A review on brain tumor segmentation of MRI images
CN106682435B (zh) 一种多模型融合自动检测医学图像中病变的系统及方法
Al-Masni et al. Skin lesion segmentation in dermoscopy images via deep full resolution convolutional networks
Jia et al. Wireless capsule endoscopy: A new tool for cancer screening in the colon with deep-learning-based polyp recognition
EP3405908B1 (en) A system and method for detection of suspicious tissue regions in an endoscopic procedure
Guo et al. Giana polyp segmentation with fully convolutional dilation neural networks
Nguyen et al. Robust boundary segmentation in medical images using a consecutive deep encoder-decoder network
Peng et al. Texture feature extraction based on a uniformity estimation method for local brightness and structure in chest CT images
KR102332088B1 (ko) 세부 업샘플링 인코더-디코더 네트워크를 이용한 대장 내시경 이미지에서의 폴립 바운더리 인식을 통한 폴립 세그먼테이션 장치 및 그 방법
RU2654199C1 (ru) Сегментация тканей человека на компьютерном изображении
KR20230059799A (ko) 병변 검출을 위해 공동 훈련을 이용하는 연결형 머신 러닝 모델
Huang et al. One-stage pulmonary nodule detection using 3-D DCNN with feature fusion and attention mechanism in CT image
Liu et al. Accurate and robust pulmonary nodule detection by 3D feature pyramid network with self-supervised feature learning
Yue et al. Automatic acetowhite lesion segmentation via specular reflection removal and deep attention network
Souaidi et al. A fully automated ulcer detection system for wireless capsule endoscopy images
CN115136189A (zh) 基于图像处理的肿瘤的自动化检测
Wieclawek et al. Watershed based intelligent scissors
Ratheesh et al. Advanced algorithm for polyp detection using depth segmentation in colon endoscopy
Delmoral et al. Segmentation of pathological liver tissue with dilated fully convolutional networks: A preliminary study
CN109635866B (zh) 处理肠图像的方法
CN116228690A (zh) 基于pet-ct的胰腺癌与自身性免疫性胰腺炎自动辅助诊断方法
Liang et al. Recognizing focal liver lesions in contrast-enhanced ultrasound with discriminatively trained spatio-temporal model
Aksenov et al. An ensemble of convolutional neural networks for the use in video endoscopy
Qian ProsegNet: A new network of prostate segmentation based on MR images

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant