KR102332088B1 - 세부 업샘플링 인코더-디코더 네트워크를 이용한 대장 내시경 이미지에서의 폴립 바운더리 인식을 통한 폴립 세그먼테이션 장치 및 그 방법 - Google Patents

Abstract

본 발명은 세부 업샘플링 인코더-디코더 네트워크를 이용한 대장 내시경 이미지에서의 폴립 바운더리 인식을 통한 폴립 세그먼테이션 장치 및 그 방법에 관한 것으로, 서로 다른 스케일의 대장 내시경 이미지로부터 폴립의 바운더리에 대한 특징맵을 출력하는 복수의 인코더와 상기 각 특징맵을 맥스아웃하여 통합한 예측이미지를 각각 생성하고, 상기 예측이미지를 동일한 해상도로 변환하는 세부 업샘플링을 수행한 후, 상기 세부 업샘플링을 수행한 예측이미지를 융합하여 폴립 세그먼테이션 이미지를 최종 출력하는 복수의 디코더로 구성된 세부 업샘플링 인코더-디코더 네트워크를 통해 상기 서로 다른 스케일의 대장 내시경 이미지를 학습하여 실제 대장 내시경 이미지로부터 상기 폴립의 바운더리를 인식함으로써 상기 폴립을 정확하게 세그먼테이션할 수 있도록 하는 폴립 세그먼테이션 장치 및 그 방법에 관한 것이다.

Description

세부 업샘플링 인코더-디코더 네트워크를 이용한 대장 내시경 이미지에서의 폴립 바운더리 인식을 통한 폴립 세그먼테이션 장치 및 그 방법{APPARATUS AND METHOD FOR POLYP SEGMENTATION IN COLONOSCOPY IMAGES THROUGH POLYP BOUNDARY AWARE USING DETAILED UPSAMPLING ENCODER-DECODER NETWORKS}

본 발명은 세부 업샘플링 인코더-디코더 네트워크를 이용한 대장 내시경 이미지에서의 폴립 바운더리 인식을 통한 폴립 세그먼테이션 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 서로 다른 스케일의 대장 내시경 이미지로부터 폴립의 바운더리에 대한 특징맵을 출력하는 인코더 모듈과 상기 각 특징맵을 맥스아웃하여 예측이미지를 각각 생성하고, 상기 예측이미지를 동일한 해상도로 변환하는 세부 업샘플링을 수행한 후, 상기 세부 업샘플링을 수행한 예측이미지를 융합하여 폴립 세그먼테이션 이미지를 최종 출력하는 디코더 모듈로 구성된 세부 업샘플링 인코더-디코더 네트워크를 통해 상기 서로 다른 스케일의 대장 내시경 이미지를 학습하여 실제 대장 내시경 이미지로부터 상기 폴립의 바운더리를 인식함으로써 상기 폴립을 정확하게 세그먼테이션할 수 있도록 하는 폴립 세그먼테이션 장치 및 그 방법에 관한 것이다.

최근 환경변화와 식생활 변화로 인해 대장암을 앓고 있는 환자의 수가 급격하게 증가하고 있다. 대장암은 생존율이 5년 이하로 전 세계적으로 가장 흔한 암 사망 원인 중 하나이다. 이러한 대장암을 예방하기 위해서는 대장 내시경을 통해 상기 대장암으로 진행될 수 있는 폴립(polyp)을 사전에 제거하는 것이 중요하다.

상기 대장 내시경은 대장 내시경 이미지를 통해 의사가 폴립을 찾아 절제하고, 상기 폴립의 분석하여 대장암의 징후를 사전에 발견할 수 있는 장점이 있다.

그러나 대장 내 폴립은 직경이 9mm보다 작기 때문에 상기 의사가 상기 폴립을 쉽게 찾아내는 것이 매우 어려워 실제 대장에 존재하는 상당수의 폴립이 누락될 가능성이 있다.

이러한 문제점을 해결하기 위해 최근에는 폴립 세그먼테이션을 자동으로 수행하여 의사가 환자를 더 빠르고 정확하게 진단할 수 있도록 하는 컴퓨터 지원 진단 시스템(CAD, computer aided diagnosis system)이 개발되어 상용화되고 있다.

일반적으로 컴퓨터 지원 진단 시스템은 이미지 처리 방법을 사용하여 대장 내시경 이미지로부터 폴립을 자동으로 분할한다.

그러나 폴립은 폴립과 대장 내시경의 카메라 사이의 거리에 따라 그 크기가 달라지고, 평편한 폴립의 경우 폴립 이외의 영역에 대한 경계가 명확하지 않으며 더욱이 폴립과 주변 영역 사이의 비반사성 전이영역은 의사가 다른 모든 비폴립 영역과 폴립을 구별할 수 있는 질감이나 색상의 큰 변화를 나타내지 않기 때문에 상기 컴퓨터 지원 진단 시스템의 성능이 상기 의사가 올바른 결정을 내릴 수 있도록 하는데 그 한계가 있다.

이에 따라 본 발명에서는, 복수의 인코더와 디코더를 구성되는 세부 업샘플링 인코더-디코더 네트워크를 구축하여 서로 다른 스케일의 대장 내시경 이미지를 학습하고, 서로 다른 스케일의 실제 대장 내시경 이미지를 입력받아 상기 서로 다른 스케일의 대장 내시경 이미지에 대한 폴립 바운더리에 대한 특징맵을 각각 생성하고, 서로 다른 스케일의 대장 내시경 이미지에 대해 생성한 특징맵을 통합한 예측이미지를 각각 생성하며, 상기 생성한 예측이미지를 동일한 해상도로 변환하는 세부 업샘플링을 통해 상기 특징맵의 차원감소로 인한 누락될 수 있는 폴립의 바운더리를 효과적으로 복구한 후, 상기 세부 업샘플링을 수행한 예측이미지를 융합함으로써, 상기 대장 내시경 이미지로부터 폴립의 바운더리를 인식하여 상기 폴립을 정확하게 세그먼테이션할 수 있도록 하는 방안을 제안하고자 한다.

또한 본 발명은 상기 학습을 효과적으로 수행하여 상기 폴립을 더욱 정확하게 세그먼테이션할 수 있도록 상기 학습에 사용되는 학습데이터인 대장 내시경 이미지에 포함된 폴립의 영역과 인접영역을 포함하는 폴립의 바운더리를 랜덤하게 마스킹하여 상기 폴립의 바운더리를 정확하게 인식하여 폴립을 세그먼테이션할 수 잇도록 하는 새로운 바운더리 중심 데이터 증강방법을 제안하고자 한다.

다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.

먼저 한국등록특허 제1010927호(2011.01.19.)는 전산화단층촬영을 이용한 가상대장내시경에서 자동화된 용종 검출 방법과 이를 이용한 용종 검출 시스템에 관 한 것으로, 대장 이미지를 복수의 영역으로 구획하여 국소적 영산신호 구조를 표현하는 고유값을 계산하고, 각 화소에 대한 고유값에 따라 용종 유사도 값을 계산하여 용종의 형태와 유사한 용종 후보 화소를 검출한 후 용종 후보 화소의 특성을 신공신경망에 적용하여 대장 이미지에서 용종을 최종 검출하는 전산화단층촬영을 이용한 가상대장내시경에서 자동화된 용종 검출 방법과 이를 이용한 용종 검출 시스템에 관한 것이다.

즉, 상기 선행기술은 대장 이미지로부터 용종 후보 화소를 검출하여 용종 후보 화소에 대한 특성을 인공신경망에 적용하여 상기 용종을 최종 검출하는 것으로 본 발명에서 제안하고 있는 대장 내시경 이미지로부터 폴립을 세그먼테이션하는 것도 아니며 서로 다른 스케일의 대장 내시경 이미지를 학습하는 세부 업샘플링 인코더-디코더 네트워크에 대한 기술적 구성을 전혀 기재하고 있지 않다. 따라서 상기 선행기술과 본 발명은 현저한 차이점이 있다.

또한 한국등록특허 제2168485호(2020.10.15.)는 실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법에 관한 것으로, 합성곱 신경망(convolutional neural network), 완전연결 심층 신경망(fully connected neural network)을 통해 위 병변을 포함하는 위 내시경 이미지를 학습하려 실제 환자의 위 내시경 이미지로부터 병변 유무를 판단하는 실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 그 방법에 관한 것이다.

상기 선행기술은 단순히 합성곱 신경망이나 완전연결 심층 신경망을 이용하여 위 내시경 이미지를 학습하는 개념만 기재하고 있을 뿐이다.

반면에 본 발명은 서로 다른 스케일의 대장 내시경 이미지를 학습하여 정확하여 대장 내시경 이미지로부터 폴립을 세그먼테이션하는 것이며, 상기 학습과정에서 컨볼루션 및 풀링으로 인한 차원감소로 인해 누락된 폴립의 바운더리를 복구하기 위한 세부 업샘플링을 수행하여 대장 내시경 이미지로부터 정확하게 폴립을 세그먼테이션하는 것으로, 상기 선행기술은 이러한 본 발명의 기술적 특징을 전혀 기재하거나 시사 혹은 그 어떠한 암시도 없다.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 서로 다른 스케일을 가지는 복수의 대장 내시경 이미지를 각각 입력받아 특징맵을 출력하는 복수의 인코더와 상기 출력한 상기 서로 다른 스케일을 가지는 각각의 대장 내시경 이미지에 대한 특징맵을 공유 특징맵인 예측이미지로 통합하고, 상기 통합한 예측이미지를 원본 이미지와 동일한 해상도로 업샘플링하여 상기 특징맵을 출력하는 과정에서 차원감소로 인한 누락된 폴립 바운더리를 복구한 후, 상기 업샘플링한 각각의 예측이미지를 융합하여 상기 원본의 대장 이미지로부터 상기 폴립을 세그먼테이션하는 복수의 디코더를 포함하는 세부 업샘플링 인코더-디코더 네트워크를 구축하여 상기 서로 다른 스케일을 가지는 복수의 대장 내시경 이미지를 학습함으로써 실제 대장 이미지로부터 폴립을 정확하게 세그먼테이션할 수 있도록 하는 세부 업샘플링 인코더-디코더 네트워크를 이용한 대장 내시경 이미지에서의 폴립 바운더리 인식을 통한 폴립 세그먼테이션 장치 및 그 방법을 제공하는 것을 그 목적으로 한다.

또한 본 발명은 상기 구축한 세부 업샘플링 인코더-디코더 네트워크를 학습시키기 위한 학습데이터(즉, 대장 내시경 이미지)에 포함된 폴립의 바운더리를 무작위로 선택하는 바운더리 중심 데이터 강조 증강방법을 통해 상기 학습데이터를 처리하여 상기 학습데이터를 구성하는 대장 내시경 이미지의 수를 증가시키는 폴립 세그먼테이션 장치 및 그 방법을 제공하는 것을 그 목적으로 한다.

또한 본 발명은 상기 학습시 상기 각 디코더에서 상기 각 스케일별로 출력한 특징맵을 맥스아웃을 통해 예측이미지를 생성할 때, 상기 폴립의 바운더리에 속하는 픽셀에 높은 가중치를 부여하는 적응형 가중치 손실함수를 적용하여 상기 폴립을 정확하게 세그먼테이션할 수 있도록 하는 폴립 세그먼테이션 장치 및 그 방법을 제공하는 것을 그 목적으로 한다.

또한 본 발명은 세그먼테이션한 결과와 실제 그라운드 트루스(ground truth) 간의 유사성을 반복적으로 비교하여 상기 결과와 실제 그라운드 트루스 이미지간의 차이를 줄이도록 하는 주의 기반 손실함수를 적용하여 상기 폴립을 정확하게 세그먼테이션할 수 잇도록 하는 폴립 세그먼테이션 장치 및 그 방법을 제공하는 것을 그 목적으로 한다.

본 발명의 일 실시예에 따른 세부 업샘플링 인코더-디코더 네트워크를 이용한 대장 내시경 이미지에서의 폴립 바운더리 인식을 통한 폴립 세그먼테이션 장치는, 학습데이터를 구성하는 원본의 대장 내시경 이미지에 대한 서로 다른 스케일을 가지는 복수의 이미지를 생성하는 전처리부, 상기 생성한 복수의 이미지에 각각 포함된 폴립의 영역에 대한 폴립 바운더리를 설정하여 증강 대장 내시경 이미지를 각각 생성하는 학습데이터 증강부, 상기 생성한 서로 다른 스케일의 증강 대장 내시경 이미지를 학습하여 폴립을 세그먼테이션하기 위한 학습모델을 생성하는 학습모델 생성부를 포함하며, 상기 학습은, 상기 서로 다른 스케일의 증강 대장 내시경 이미지를 각각 입력받아 특징맵을 출력하는 인코더 모듈 및 상기 출력한 각 특징맵을 통합한 예측이미지를 생성하고 상기 생성한 예측이미지를 상기 원본의 대장 내시경 이미지와 동일한 스케일로 세부 업샘플링하여 상기 원본의 대장 내시경 이미지에 포함된 폴립을 세그먼테이션한 폴립 세그먼테이션 이미지를 출력하는 디코더 모듈로 구성한 세부 업샘플링 인코더-디코더 네트워크를 통해 수행되는 것을 특징으로 한다.

또한 상기 학습데이터 증강부는, 상기 전처리한 각 이미지에 포함된 폴립의 영역을 포함하는 적어도 하나 이상의 원영역을 생성하기 위한 원영역의 중심좌표를 상기 폴립의 영역에서 적어도 하나 이상으로 무작위로 선택하고, 상기 선택한 원영역의 중심좌표와 상기 폴립 영역의 가장 가까운 경계까지 거리를 계산한 후, 상기 계산한 거리가 사전에 설정한 최대거리보다 작으면 상기 계산한 거리와 상기 최대거리 사이에서 원직경을 무작위로 선택하여 상기 폴립 바운더리를 설정하고, 상기 설정한 폴립 바운더리를 특정 픽셀값으로 할당함으로써 상기 증강 대장 내시경 이미지를 생성하며, 상기 원영역의 중심좌표는, 상기 폴립 영역의 각 픽셀값을 이용하여 각 픽셀에 따라 계산한 모멘트(moment) 중 제일 낮은 모멘트를 가지는 픽셀의 좌표로 선택되는 것을 특징으로 한다.

또한 상기 인코더 모듈은, 상기 입력받은 서로 다른 스케일의 증강 대장 내시경 이미지에 대해 컨볼루션 및 풀링 과정을 각각 수행하여 상기 폴립 바운더리에 대한 특징맵을 각각 출력하며, 상기 디코더 모듈은, 상기 컨볼루션 및 풀링 과정에 따라 상기 생성한 각 예측이미지에서 누락된 폴립 바운더리 부분을 복구하기 위해 상기 세부 업샘플링을 수행하며, 상기 세부 업샘플링을 수행한 각 예측이미지를 융합하여 최종적으로 폴립 세그먼테이션 이미지를 출력하는 것을 특징으로 한다.

또한 상기 세부 업샘플링 인코더-디코더 네트워크는, 상기 증강 대장 내시경 이미지에서 상기 폴립 바운더리에 속하는 픽셀에만 높은 가중치를 부여하는 적응형 가중치 손실함수와 상기 폴립 세그먼테이션 이미지와 실제 그라운드 트루스(ground truth) 이미지 간의 유사도를 측정하여 상기 폴립 세그먼테이션 이미지와 상기 실제 그라운드 트루스 이미지 간의 차이를 줄이도록 하는 주의 기반 손실함수가 적용되어 상기 학습을 수행하는 것을 특징으로 한다.

또한 상기 폴립 세그먼테이션 장치는, 특정 환자의 대장 내시경 이미지가 수신되면, 상기 수신한 대장 내시경 이미지를 전처리하여 생성한 서로 다른 스케일을 가지는 복수의 이미지를 상기 생성한 학습모델에 입력하여 상기 수신한 환자의 대장 내시경 이미지로부터 폴립을 세그먼테이션하는 폴립 세그먼테이션부를 더 포함하는 것을 특징으로 한다.

아울러 본 발명의 일 실시예에 따른 세부 업샘플링 인코더-디코더 네트워크는, 원본의 대장 내시경 이미지에 대해 생성한 서로 다른 스케일을 가지는 복수의 이미지를 입력받아 특징맵을 각각 출력하는 복수의 디코더로 구성된 디코더 모듈 및 상기 각 디코더와 연결되고 상기 각 특징맵을 통합하여 상기 각 이미지에 포함된 폴립 바운더리에 대한 예측이미지를 생성하는 복수의 인코더로 구성된 인코더 모듈를 포함하며, 상기 각 예측이미지를 동일한 스케일로 세부 업샘플링하여 상기 예측이미지에 누락된 폴립 바운더리 영역을 복구함으로써 상기 원본의 대장 내시경 이미지에 포함된 폴립을 세그먼테이션하는 것을 특징으로 한다.

또한 상기 복수의 디코더는, 상기 서로 다른 스케일을 가지는 각 이미지에 대한 컨볼루션을 수행하는 어트로스 컨볼루션 레이어 및 상기 어트로스 컨볼루션 레이어에 각각 연결되어 상기 컨볼루션을 수행한 결과를 풀링하는 풀링 레이어를 더 포함하고, 상기 복수의 인코더는, 상기 각 디코더로부터 출력한 특징맵을 맥스아웃(maxout)하여 상기 각 이미지에 포함된 폴립 바운더리에 대한 예측이미지를 출력하는 맥스아웃 레이어, 상기 예측이미지를 상기 원본의 대장 내시경 이미지와 동일한 스케일로 조정하여 상기 각 예측이미지에서 상기 컨볼루션 및 풀링으로 인한 차원감소로 누락된 폴립 바운더리를 복구하는 세부 업샘플링 레이어 및 상기 동일한 스케일로 조정한 각 예측이미지를 융합하여 폴립 세그먼테이션 이미지를 출력하는 융합 레이어를 더 포함하며, 상기 복수의 디코더에 포함된 어트로스 컨볼루션 레이어 및 풀링 레이어는 상기 세부 업샘플링 인코더-디코더 네트워크에서 병렬적으로 구성되며 상기 컨볼루션과 풀링을 통해 상기 서로 다른 스케일을 가지는 복수의 이미지에 대한 특징맵을 각각 출력하는 것을 특징으로 한다.

아울러 본 발명의 일 실시예에 따른 세부 업샘플링 인코더-디코더 네트워크를 이용한 대장 내시경 이미지에서의 폴립 바운더리 인식을 통한 폴립 세그먼테이션 방법은, 학습데이터를 구성하는 원본의 대장 내시경 이미지에 대한 서로 다른 스케일을 가지는 복수의 이미지를 생성하는 전처리 단계, 상기 생성한 복수의 이미지에 각각 포함된 폴립의 영역에 대한 폴립 바운더리를 설정하여 증강 대장 내시경 이미지를 각각 생성하는 학습데이터 증강 단계, 상기 생성한 서로 다른 스케일의 증강 대장 내시경 이미지를 학습하여 폴립을 세그먼테이션하기 위한 학습모델을 생성하는 학습모델 생성 단계를 포함하는 것을 특징으로 한다.

또한 상기 폴립 세그먼테이션 방법은, 특정 환자의 대장 내시경 이미지가 수신되면, 상기 수신한 대장 내시경 이미지를 전처리하여 생성한 서로 다른 스케일을 가지는 복수의 이미지를 학습모델에 입력하여 상기 수신한 환자의 대장 내시경 이미지로부터 폴립을 세그먼테이션하는 폴립 세그먼테이션 단계를 더 포함하며, 상기 학습데이터 증강 단계는, 상기 각 증강 대장 내시경 이미지에 포함된 폴립의 영역을 포함하는 적어도 하나 이상의 원영역을 생성하기 위한 원영역의 중심좌표를 상기 폴립의 영역에서 적어도 하나 이상으로 무작위로 선택하고, 상기 선택한 원영역의 중심좌표와 상기 폴립 영역의 가장 가까운 경계까지 거리를 계산한 후, 상기 계산한 거리가 사전에 설정한 최대거리보다 작으면 상기 계산한 거리와 상기 최대거리 사이에서 원직경을 무작위로 선택하여 상기 폴립 바운더리를 설정하고, 상기 설정한 폴립 바운더리를 특정 픽셀값으로 할당함으로써 상기 증강 대장 내시경 이미지를 생성하며, 상기 원영역의 중심좌표는, 상기 폴립 영역의 각 픽셀값을 이용하여 각 픽셀에 따라 계산한 모멘트(moment) 중 제일 낮은 모멘트를 가지는 픽셀의 좌표로 선택되는 것을 특징으로 한다.

이상에서와 같이 본 발명의 세부 업샘플링 인코더-디코더 네트워크를 이용한 대장 내시경 이미지에서의 바운더리 인식을 통한 폴립 세그먼테이션 장치 및 그 방법에 따르면 실제 대장 내시경 이미지로부터 폴립 바운더리를 정확하게 인식함과 동시에 학습과정에서의 차원감소로 인한 폴립 바운더리의 손실을 복구함으로써 상기 폴립에 대한 세그먼테이션을 정확하게 수행할 수 있도록 하는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 세부 업샘플링 인코더-디코더 네트워크를 이용한 대장 내시경 이미지에서의 바운더리 인식을 통한 폴립 세그먼테이션 장치 및 그 방법을 설명하기 위해 나타낸 개념도이다.
도 2는 본 발명의 일 실시예에 따른 이때, 바운더리 중심 데이터 증강방법을 통해 증강 대장 내시경 이미지를 생성하는 과정을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 증강 대장 내시경 이미지를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 세부 업샘플링 인코더-디코더 네트워크의 구조를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 세부 업샘플링 인코더-디코더 네트워크를 구성하는 인코더와 디코더의 동작을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 세부 업샘플링 인코더-디코더 네트워크를 이용한 대장 내시경 이미지에서의 폴립 바운더리 인식을 통한 폴립 세그먼테이션 장치의 구성을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 세부 업샘플링 인코더-디코더 네트워크를 통한 폴립 세그먼테이션과 타 방법을 이용한 폴립 세그먼테이션의 성능을 비교한 도면이다.
도 8은 본 발명의 일 실시예에 세부 업샘플링 인코더-디코더 네트워크를 이용한 폴립 세그먼테이션 결과와 타 방법을 이용한 폴립 세그먼테이션 결과를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 CVC-ColonDB를 이용하여 세부 업샘플링 인코더-디코더 네트워크와 타 방법 간의 성능을 비교한 도면이다.
도 10은 본 발명의 일 실시예에 따른 CVC-ClinicDB를 이용하여 세부 업샘플링 인코더-디코더 네트워크와 타 방법 간의 성능을 비교한 도면이다.
도 11은 본 발명의 일 실시예에 따른 세부 업샘플링 인코더-디코더 네트워크를 이용한 대장 내시경 이미지에서의 폴립 바운더리 인식을 통한 폴립 세그먼테이션을 수행하는 절차를 나타낸 흐름도이다.

이하, 첨부한 도면을 참조하여 본 발명의 세부 업샘플링 인코더-디코더 네트워크를 이용한 대장 내시경 이미지에서의 폴립 바운더리 인식을 통한 폴립 세그먼테이션 장치 및 그 방법에 대한 바람직한 실시예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.

도 1은 본 발명의 일 실시예에 따른 세부 업샘플링 인코더-디코더 네트워크를 이용한 대장 내시경 이미지에서의 폴립 바운더리 인식을 통한 폴립 세그먼테이션 장치 및 그 방법을 설명하기 위해 나타낸 개념도이다.

도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 세부 업샘플링 인코더-디코더 네트워크를 이용한 대장 내시경 이미지에서의 폴립 바운더리 인식을 통한 폴립 세그먼테이션 장치(100)(이하, 폴립 세그먼테이션 장치라 칭함)는 학습데이터 데이터베이스(410)에 사전에 저장한 학습데이터를 구성하는 복수의 대장 내시경 이미지를 학습하여 실제 환자의 대장 내시경 이미지에 포함된 폴립의 바운더리(boundary)를 인식함으로써 상기 폴립을 세그먼테이션하기 위한 학습모델을 생성한다. 상기 학습데이터는 다양한 모양의 폴립을 포함하는 복수의 대장 내시경 이미지로 구성되며 상기 폴립을 세그먼테이션하기 위해 사전에 수집된다.

또한 본 발명은 복수의 인코더를 포함하는 인코더 모듈과 상기 각 인코더에 연속적으로 연결한 복수의 디코더를 포함하는 디코더 모듈로 구성한 세부 업샘플링 인코더-디코더 네트워크를 구축하여 상기 구축한 세부 업샘플링 인코더-디코더 네트워크를 통해 상기 복수의 대장 내시경 이미지를 학습하여 학습모델을 생성하고, 상기 생성한 학습모델을 통해 실제 대장 내시경 이미지로부터 폴립 바운더리를 인식함으로써, 상기 실제 대장 내시경 이미지로부터 폴립을 세그먼테이션한다.

이때, 상기 세부 업샘플링 인코더-디코더 네트워크를 구성하는 복수의 디코더는 상기 학습데이터를 구성하는 복수의 대장 내시경 이미지의 원본에 대한 서로 다른 스케일을 각각 입력받아 컨볼루션 및 풀링 과정을 통해 상기 각 스케일의 대장 내시경 이미지에 대한 특징맵을 출력하도록 학습된다.

또한 상기 세부 업샘플링 인코더-디코더 네트워크를 구성하는 상기 복수의 인코더는 상기 특징맵을 맥스아웃(max out)하여 공유 특징맵인 예측이미지를 생성하고, 상기 생성한 예측이미지를 세부 업샘플링하여 상기 컨볼루션 및 풀링 과정을 통해 누락되는 상기 폴립의 바운더리를 복구하고, 상기 세부 업샘플링을 수행한 예측이미지를 융합함으로써 상기 원본의 대장 내시경 이미지로부터 폴립을 세그먼테이션하도록 구성된다. 한편 상기 세부 업샘플링 인코더-디코더 네트워크의 구조는 도 2를 참조하여 상세히 설명하도록 한다. 한편 본 발명은 상기 구성한 세부 업샘플링 인코더-디코더 네트워크를 MED-net(multi model deep encoder-decoder networks)로 지칭하였다.

또한 상기 폴립 세그먼테이션 장치(100)는 제한된 학습데이터의 대장 내시경 이미지에서 추가적인 대장 내시경 이미지를 생성하여 학습데이터를 구성하는 대장 내시경 이미지의 수를 효과적으로 증가시키는 학습데이터 증가방법과, 많은 수의 바운더리 인식을 위한 폴립의 패턴을 무작위로 생성하기 위해 새로운 바운더리 중심 데이터 증강방법을 수행한다.

상기 학습데이터 증가 방법은 이미지 세그먼테이션의 성능을 향상시키기 위해 학습데이터를 구성하는 대장 내시경 이미지의 수를 증가시켜, 제한된 수의 학습데이터로 인해 상기 구축한 세부 업샘플링 인코더-디코더 네트워크가 상기 폴립을 정확하게 세그먼테이션하지 못하는 오버피팅 문제를 해결하여 상기 폴립에 대한 세그먼테이션 성능을 향상시키도록 하기 위한 것이다.

따라서 상기 학습데이터 증가방법은 상기 학습데이터를 구성하는 각각의 대장 내시경 이미지에 대한 리플렉션(reflection), 랜덤 크로핑(random cropping), 트랜스레이션(translation), 로테이션(rotation), 탄성변형(elastic distortion) 등을 포함한 다양한 기하학적 증가방법을 이용하여 상기 학습데이터를 구성하는 대장 내시경 이미지의 수를 증가시킨다.

한편 폴립과 그 주변 영역 사이의 비반사성 전환 영역의 질감이나 색상은 폴립과 크게 다르지 않기 때문에 기본의 세그먼테이션 방법으로 폴립 바운더리를 세그먼테이션할 수 없는 문제점이 발생할 수 있다.

따라서 본 발명은 이러한 문제점을 해결하고 상기 세부 업샘플링 인코더-디코더 네트워크의 학습 능력을 향상시키기 위해 상기 폴립 세그먼테이션 장치(100)는 상기 학습데이터의 대장 내시경 이미지에 대한 상기 바운더리 중심 데이터 증강방법을 수행한다.

또한 바운더리 중심 데이터 증강방법은 상기 증가시킨 상기 학습데이터의 모든 대장 내시경 이미지에 폴립 영역을 기준으로 임의의 직경을 가지는 원영역(circle region)을 무작위로 선택한 폴립 바운더리 영역의 모든 픽셀의 값을 랜덤하게 설정하여 대장 내시경 이미지에 대한 복수의 증강 대장 내시경 이미지를 생성함으로써, 수행된다.

즉 상기 폴립 세그먼테이션 장치(100)는 상기 학습데이터를 구성하는 복수의 대장 내시경 이미지에 대한 상기 바운더리 중심 데이터 증강방법을 통해 복수의 증강 내장 내시경 이미지를 생성하여 상기 구축한 세부 업샘플링 인코더-디코더 네트워크를 효과적으로 학습시켜, 상기 폴립의 바운더리를 효율적으로 인식하도록 함으로서 상기 폴립을 정확하게 세그먼테이션할 수 있도록 하는 것이다. 이는, 본 발명의 특징으로써, 도 2 및 도 3을 참조하여 상세히 설명하도록 한다.

또한 상기 폴립 세그먼테이션 장치(100)는 상기 학습과정에서 본 발명의 특징인 적응형 가중치 손실함수(adaptive weight loss function)와 주의 기반 손실함수(attention based loss function)를 적용하여 보다 정확하게 상기 폴립을 세그먼테이션할 수 있도록 한다. 상기 적응형 가중치 손실함수와 주의 기반 손실함수는 도 4 및 도 5를 참조하여 상세히 설명하도록 한다.

또한 상기 폴립 세그먼테이션 장치(100)는 대장 내시경 이미지 제공 장치(200)에서 특정 환자의 대장 내시경 이미지가 수신되면 상기 수신한 대장 내시경 이미지를 상기 서로 다른 스케일로 변환한다.

또한 상기 폴립 세그먼테이션 장치(100)는 상기 서로 다른 스케일로 변환한 상기 대장 내시경 이미지를 상기 생성한 학습모델에 적용함으로써 상기 수신한 원본의 대장 내시경 이미지로부터 폴립을 세그먼테이션한다.

또한 상기 폴립 세그먼테이션 장치(100)는 상기 세그먼테이션한 결과를 사용자 단말(300)로 제공함으로써 상기 폴립을 세그먼테이션한 결과를 확인할 수 있도록 한다. 상기 사용자 단말(300)은, 상기 환자를 관리하거나 치료하는 의사 등의 사용자가 구비한 스마트폰, 모바일 PC, 데스크톱 PC 등과 같은 다양한 유무선 통신단말을 의미한다.

도 2는 본 발명의 일 실시예에 따른 이때, 바운더리 중심 데이터 증강방법을 통해 증강 대장 내시경 이미지를 생성하는 과정을 설명하기 위한 도면이다.

도 2에 도시한 바와 같이, 바운더리 중심 데이터 증강방법을 통해 증강 대장 내시경 이미지를 생성하는 절차는 우선 상기 학습데이터(즉, 수를 증가시킨 학습데이터)를 구성하는 대장 내시경 이미지의 폴립 영역(S)과 인접영역을 포함하는 적어도 하나 이상의 원영역(Se)을 무작위로 선택하고, 상기 선택한 원영역의 모든 픽셀값을 무작위로 설정하여 상기 증강 대장 내시경 이미지를 생성한다.

초기 단계에서는 상기 대장 내시경 이미지(즉, 레이블 이미지)에서 폴립의 윤곽(contour)을 찾는다. 상기 폴립의 윤곽을 찾으면 (p + q)의 원시 모멘트(raw moment)라고 하는 2D 연속 함수 f(x, y)가 다음의 [수학식 1]에 의해 정의된다.

[수학식 1]

이때, 노이즈를 줄이기 위해

을 적용하여 픽셀 강도 I(x, y)의 스칼라 이미지(회색조 이미지)에 적용하면 상기 [수학식 1]은 다음의 [수학식 2]로 되며, 상기 폴립의 중심 모멘트(center moment)는 다음의 [수학식 3]으로 정의된다.

[수학식 2]

[수학식 3]

이때 상기 폴립의 중심좌표(

)는 다음의 [수학식 4]를 통해 계산되며, 다음의 [수학식 5]를 통해 상기 폴립 영역(S)에서 원중심좌표를 무작위로 선택한다.

[수학식 4]

[수학식 5]

여기서, (x_m, y_m)는 상기 폴립 영역(S) 내부의 중심에서 시작된 가장 낮은 모멘트를 가진 지점을 나타내며, 이때, 원중심 C(x_C, y_C)에서 폴립의 경계까지의 거리 R이 계산된다. 상기 거리 R은 상기 원중심에서 가장 가까운 지점까지 결정된 최대 허용거리 R_max보다 작으면 R에서 R_max가지의 범위의 원직경 r_i가 무작위로 선택된다. 상기 모멘트는 상기 [수학식 4]와 같이 폴립 영영의 각 픽셀값을 이용하여 각 픽셀에 따라 계산되며, 상기 원영역의 중심좌표는 상기 계산한 모멘트 중 제일 낮은 모멘트를 가지는 픽셀의 좌표로 선택된다.

선택된 원영역(Se)은 상기 원중심과 상기 원직경으로 정의되며 상기 원시 대장 내시경 이미지에서 원영역에 해당하는 각 픽셀은 그레이 스케일 이미지 값인 0 ~ 128사이의 임의의 값이 할당된다.

삭제

도 3은 본 발명의 일 실시예에 따른 증강 대장 내시경 이미지를 나타낸 도면이다.

도 3에 도시한 바와 같이 본 발명의 일 실시예에 따른 폴립 세그먼테이션 장치(100)는 상기 도 2를 참조하여 설명한 것과 같이 상기 학습데이터를 구성하는 복수의 대장 내시경 이미지(raw image)로부터 바운더리 중심 데이터 증강방법을 통해 상기 폴립의 바운더리가 증강된 복수의 증강 대장 내시경 이미지를 생성한다.

도 3은 CVC ClinicDB에서 제공하는 대장 내시경 이미지를 이용하여 증강 대장 내시경 이미지를 생성한 일예를 도시한 도면이다.

도 4는 본 발명의 일 실시예에 따른 세부 업샘플링 인코더-디코더 네트워크의 구조를 나타낸 도면이며 도 5는 본 발명의 일 실시예에 따른 세부 업샘플링 인코더-디코더 네트워크를 구성하는 인코더와 디코더의 동작을 나타낸 도면이다.

도 4에 도시한 바와 같이 본 발명의 일 실시예에 따른 세부 업샘플링 인코더-디코더 네트워크는 폴립 세그먼테이션에서 가장 차별적인 특징을 구별하여 예측 정확도를 높이기 위해 DEDN(deep encoder-decoder networks)의 앙상블을 구축한 것이다.

상기 세부 업샘플링 인코더-디코더 네트워크는 서로 다른 스케일의 대장 내시경 이미지를 입력받는 복수의 인코더를 포함하는 인코더 모듈 및 상기 각 인코더와 각각 연결되는 복수의 디코더를 포함하는 디코더 모듈을 포함하여 구성된다. 이는 학습데이터의 대장 내시경 이미지의 수용필드(receptive filed)를 확정하여 더 나은 전역 특징(global features)을 커버(cover)할뿐만 아니라 더 나은 각 스케일에 대한 로컬 특징을 추출할 수 있다.

이렇게 상기 세부 업샘플링 인코더-디코더 네트워크는 세그먼테이션 성능을 높이기 위해 신뢰할 수 있는 기술적 특징을 구성하며 각 디코더는 여러 로컬 최소값을 제공하므로 서로 다른 학습프로세스가 각 클래스의 오류 분포를 개선할 수 있다. 따라서 상기 각 인코더의 출력을 결합하여 전체 세그먼테이션에서 성능을 향상시킨다.

상기 세부 업샘플링 인코더-디코더 네트워크를 구성하는 상기 각 인코더는 컨볼루션을 수행하는 적어도 하나 이상의 어트러스 컨볼루션 레이어(atrous convolutional layer)와 상기 각 어트러스 컨볼루션 레이어에 연결되어 상기 컨볼루션 결과를 풀링하는 복수의 풀링 레이어로 구성되어 상기 서로 다른 스케일의 대장 이미지에 대한 특징맵을 출력한다. 이때, 상기 도 4에 나타낸 것과 같이 어트러스 컨볼루션 레이어 및 풀링 레이어는 병렬로 구성된다.

이때 상기 각 인코더는 서로 다른 속도로 스트라이딩(striding) 작업을 통해 상기 컨볼루션을 수행하여 상기 입력한 학습데이터의 대장 이미지로부터 풍부한 컨텍스트 정보를 캡처함으로써 상기 특징맵을 각각 출력한다.

특히, 상기 각 인코더에서 출력하는 특징맵은 246채널과 풍부한 의미 정보를 포함할 수 있을 뿐만 아니라 컨볼루션과 서로 다른 스케일의 입력 이미지를 모두 적용하여 임의의 스케일에서 특징을 추출한다.

이때, 상기 학습에 입력되는 서로 다른 스케일의 대장 이미지는 상기 바운더리 중심 데이터 증강방법을 통해 생성된 증강 대장 내시경 이미지이다.

또한 도 5에 도시한 바와 같이, 상기 각 인코더에는 상기 세부 업샘플링을 수행하는 디코더가 각각 결합된다.

상기 디코더는 상기 각 인코더에서 출력한 특징맵을 맥스아웃하여 예측이미지(공유 특징맵)를 각각 생성하는 맥스아웃 레이어와 상기 예측이미지에 대한 세부 업샘플링을 수행하는 세부 업샘플링 레이어 및 상기 세부 업샘플링을 수행한 각 예측이미지를 융합하여 최종적으로 폴립 세그먼테이션 이미지를 출력하는 융합 레이어를 포함하여 구성된다.

상기 세부 업샘플링 레이어의 주요 장점은 낮은 해상도의 특징맵을 사용한다는 것이다. 이는 기존의 DEDN의 계산 복잡성을 크게 줄여 더 나은 세그먼테이션 성능을 달성할 수 있다.

상기 디코더의 최종 결과를 통해 생성한 각 예측이미지가

이고,

은 그라운드 트루스(ground truth) 이미지인 레이블 맵이다. 여기서 h는 높이 w는 폭, c는 최종 출력의 채널수이며 a는 클래스수를 나타낸다.

이때 상기 학습에 이용되는 대장 내시경 이미지는 이진 이미지이므로 본 발명의 세그먼테이션은 이진 분할에 중점을 두기 때문에 상기 Y는

이다.

한편 본 발명의 폴립 세그먼테이션은 픽셀별 예측을 요구하기 때문에 상기 G는 손실함수의 계산 프로세스로 이동하기 전에 상기 Y의 공간 크기로 세부 업샘플링되어야 한다.

따라서 상기 디코더는 상기 G를 상기 Y의 공간 크기(즉, 원본 이미지의 스케일과 동일)로 세부 업샘플링을 수행하여 상기 각 디코더의 컨볼루선 또는 풀링으로 인해 발생하는 누락된 폴립 바운더리를 복구한다.

즉, 상기 디코더는 상기 각 인코더에서 출력한 특징맵을 토대로 생성한 예측이미지를 동일한 스케일로 조정하며, 상기 서로 다른 스케일의 대장 내시경 이미지에 포함된 각 폴립은 서로 다른 특징맵에서 두드러지므로 상기 디코더는 맥스아웃 레이어를 사용하여 상기 특징맵에서 경쟁적이고 지배적인 특징을 얻어 공유 특징맵에 통합함으로써 상기 예측이미지를 생성하는 것이다.

또한 상기 디코더의 세부 업샘플링은 상기 인코더의 출력(특징맵)에서 픽셀 단위의 세그먼테이션 예측을 복구하는 데 사용되며 이는 인코더의 전체적인 스트라이드를 과도하게 감소시키는 것을 방지하여 엄청난 계산과 메모리 공간을 크게 줄일 수 있다. 이후 상기 폴립 세그먼테이션 장치(100)는 상기 세부 업샘플링을 수행한 결과를 융합하여 폴립 세그먼테이션 이미지를 최종 출력한다.

한편 상기 구축한 세부 업샘플링 인코더-디코더 네트워크는 상기 학습을 효과적으로 수행하여 정확한 폴립 세그먼테이션을 수행하기 위해 새로운 적응형 가중치 손실함수와 주의 기반 손실함수가 적용된다.

상기 적응형 가중치 손실함수는 상기 학습에 이용되는 증강 대장 내시경 이미지에서 폴립에 속하거나 폴립 바운더리에 속하는 픽셀에만 높은 가중치를 부여하기 위한 가중치 맵(W)을 구축하기 위한 것으로, 우선 다음을 [수학식 6]에 따라 픽셀 위치에서 특징 채널 k의 소프트 맥스 값(soft max value)을 계산한다.

[수학식 6]

여기서 K는 클래스의 수를 나타내며, u_k(z)는 활성화 함수(activation function)를 의미한다. 또한 상기 적응형 가중치 손실함수(L_apt)는 다음의 [수학식 7]에 따라 계산된다.

[수학식 7]

여기서

은 가중치 맵을 나타내며,

은 각 픽셀의 트루 레이블(true label)을 나타낸다. 또한 P_gt(z)는 현재 픽셀 z의 실제 확률을 나타낸다. 결과적으로 상기 세부 업샘플링 인코더-디코더 네트워크는 이러한 픽셀을 배경에 대한 다른 픽셀보다 더 중요하게 간주하게 된다.

상기 가중치 맵은 다음의 [수학식 8]에 따라 계산될 수 있다.

[수학식 8]

여기서

는 폴립과 배경 사이의 균형을 만드는 기본 가중치 맵이고,

는 바운더리 중심 가중치 맵을 나타내며 해당 바운더리 중심 가중치 맵은 다음의 [수학식 9]와 같이 계산된다.

[수학식 9]

여기서 n_e는 정규화 매개 변수, S_po는 폴립 영역, S는 전체 이미지 영역을 나타낸다.

또한 상기 주의 기반 손실함수는 더 나은 세그먼테이션 결과를 제공하기 위해 예측 폴립 마스크(즉, 예측 이미지)와 실측 폴립 마스크(그라운드 트루스 이미지) 간의 유사성을 측정하는 것을 목표로 한다.

이러한 이진 마스크에서 폴립 영역의 픽셀값은 1로 설정되고 배경의 픽셀값은 0으로 설정된다.

또한 주의 기반 손실함수 L_att는 다음의 [수학식 10]에 따라 계산된다.

[수학식 10]

여기서 U_pred(z)는 픽셀 z에 대한 예측값을 나타내고 U_true는 픽셀 z의 실제값을 의미한다. 또한 N은 폴립 영역의 총 픽셀 수를 나타내며 z는 폴립 영역의 현재 픽셀, K_att는 정규화 매개변수를 나타낸다.

이 주의 기반 손실함수를 적용하면 예측한 폴립 바운더리와 실제 폴립 바운더리 간의 차이를 반복적으로 줄일 수 있다.

즉, 상기 세부 업샘플링 인코더-디코더 네트워크는 폴립의 바운더리를 학습하는 데 초점을 맞추고 있기 때문에 상기 적응형 가중치 손실함수 및 주의 기반 손실함수를 적용하는 것은 더 나은 세그먼테이션 성능으로 이어질 수 있다.

도 6은 본 발명의 일 실시예에 따른 세부 업샘플링 인코더-디코더 네트워크를 이용한 대장 내시경 이미지에서의 바운더리 인식을 통한 폴립 세그먼테이션 장치의 구성을 나타낸 도면이다.

도 6에 도시한 바와 같이 본 발명의 일 실시예에 따른 폴립 세그먼테이션 장치(100)는 대장 내시경 이미지 제공 장치(200)로부터 환자의 대장 내시경 이미지를 수신하는 대장 내시경 이미지 수신부(110), 상기 수신한 환자의 대장 내시경 이미지 및 학습데이터 데이터베이스(410)에 저장된 학습데이터를 전처리하는 전처리부(120), 상기 전처리한 학습데이터를 구성하는 복수의 대장 내시경 이미지의 수를 증가시키고, 폴립 바운더리 중심 강조 증강방법 통해 폴립 바운더리를 강조한 증강 대장 내시경 이미지를 생성함으로써 상기 전처리한 학습데이터를 증강시키는 학습데이터 증강부(130), 사전에 구축한 세부 업샘플링 인코더-디코더 네트워크를 이용하여 상기 증강한 학습데이터를 학습함으로서 폴립을 세그먼테이션하기 위한 학습모델을 생성하는 학습모델 생성부(140), 상기 생성한 학습모델에 상기 전처리한 환자의 대장 내시경 이미지에 대한 폴립 세그먼테이션을 수행하는 폴립 세그먼테이션부(150) 및 상기 폴립 세그먼테이션한 결과를 제공하는 세그먼테이션 결과 제공부(160)를 포함하여 구성된다.

상기 대장 내시경 이미지 수신부(110)는 환자에 대한 대장 내시경을 수행하여 대장 내시경 이미지를 획득하는 대장 내시경 이미지 제공 장치(200)로부터 상기 환자의 대장 내시경 이미지를 수신하는 기능을 수행한다.

다만 상기 환자의 대장 내시경 이미지는 사용자 단말(300)로부터 제공될 수 도 있다. 즉, 상기 환자의 대장 내시경 이미지는 다양한 디바이스로부터 제공된다.

또한 상기 대장 내시경 이미지 수신부(110)는 상기 학습데이터의 기반이 되는 대장 내시경 이미지를 주기적으로 수집할 수 있다. 상기 대장 내시경 이미지는 상기 학습데이터를 제공하는 다양한 기관으로부터 제공받아 수집된다.

즉 상기 대장 내시경 이미지 수신부(110)는 상기 학습데이터를 주기적으로 수집하여, 새롭게 수집한 학습데이터를 반영함으로써 상기 학습모델을 업데이트하도록 한다.

또한 전처리부(120)는 상기 학습데이터를 구성하는 대장 내시경 이미지와 상기 수신한 환자의 대장 내시경 이미지를 그레이 스케일로 각각 변환하고, 상기 그레이 스케일로 변환한 각 이미지에 대해 사전에 설정한 복수의 서로 다른 스케일의 이미지를 각각 생성하는 기능을 수행한다.

예를 들어 상기 각 대장 내시경 이미지의 원본을 복사하여 1.5배 확대하거나 1/2로 축소함으로써 3개의 서로 다른 스케일의 대장 내시경 이미지를 생성하는 것이다.

또한 상기 학습데이터 증강부(130)는 상기 전처리한 학습데이터를 구성하는 복수의 대장 내시경 이미지에 대한 증강 대장 내시경 이미지를 생성한다.

상기 복수의 대장 내시경 이미지의 수를 증가시키는 것은 상기 각 대장 내시경 이미지에 대한 리플렉션, 랜덤 크로핑 등을 포함한 다양한 기하학적 증가 방법을 이용함으로써 수행됨은 상술한 바와 같다.

또한 상기 학습데이터 증강부(130)는 상기 전처리하여 수를 증가시킨 각각의 대장 내시경 이미지에 대해 폴립 바운더리 중심 데이터 증강방법을 통해 폴립 바운더리를 강조한 증강 대장 내시경 이미지를 각각 생성하는 기능을 수행한다.

상기 증강 대장 내시경 이미지를 생성하는 것은 도 2를 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략하도록 한다.

또한 상기 학습모델 생성부(140)는 상기 세부 업샘플링 인코더-디코더 네트워크를 통해 상기 증강한 학습데이터를 학습하여 특정 대장 내시경 이미지에 포함된 폴립의 바운더리를 인식하여 상기 폴립을 세그먼테이션하기 위한 학습모델을 생성하는 기능을 수행한다.

상기 세부 업샘플링 인코더-디코더 네트워크에 대한 구조는 도 4 및 도 5를 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략한다. 이때 상기 학습모델의 최종 출력은 상기 서로 다른 스케일에 대한 대장 내시경 이미지에서 폴립의 바운더리를 예측한 예측이미지인 예측이미지(공유 특징맵)를 융합한 폴립 세그먼테이션 이미지이다. 이때 상기 폴립 세그먼테이션 이미지에 포함된 폴립영역의 픽셀은 1로 설정되며, 그 외 영역은 0으로 설정된다.

또한 상기 폴립 세그먼테이션부(150)는 상기 환자의 대장 내시경 이미지를 수신하면, 상기 전처리부(120)를 통해 해당 환자의 대장 내시경 이미지를 그레이 스케일로 변환하고, 상기 그레이 스케일로 변환한 해당 환자의 대장 내시경 이미지로부터 서로 다른 스케일의 대장 내시경 이미지를 각각 생성하도록 한다.

또한 상기 폴립 세그먼테이션부(150)는 상기 생성한 서로 다른 스케일의 대장 내시경 이미지를 상기 생성한 학습모델에 입력하여 상기 수신한 환자의 대장 내시경 이미지로부터 폴립을 세그먼테이션한 폴립 세그먼테이션 이미지를 출력한다.

또한 상기 세그먼테이션 결과 제공부(160)는 상기 폴립 세그먼테이션을 수행한 결과인 폴립 세그먼테이션 이미지를 사용자 단말(300)로 제공하는 기능을 수행한다.

이하에서는 본 발과 폴립 세그먼테이션을 수행하는 최신의 알고리즘 간의 성능을 비교하고자 한다. 또한 폴립 검출로 잘 알려진 MICCAI 2015 데이터, 공개적으로 이용가능한 CVC-ColonDB의 데이터와 CVC-ClinicDB, ETIS-LaribPolypDB 및 ASU-Mayo Clinic Colonoscopy Video DB의 데이터를 이용하였으며 상기 각 데이터를 학습 및 테스트 데이터로 각각 분리하여 상기 비교를 수행하였다.

한편 상기 CVC-ClinicDB는 612개의 이미지가 포함되어 있으며 모든 이미지는 하나 이상의 폴립을 포함한다. 모든 이미지는 대장 내시경 비디오에서 29개의 시퀀스를 선택하여 25개의 대장 내시경 비디오에서 획득한 세그먼테이션 레이블이며 tiff 형식의 384x288의 이미지이다.

CVC-ColonDB는 15개의 서로 다른 대장 내시경 시퀀스에서 379개의 프레임을 포함하여 각 시퀀스는 적어도 하나의 용종을 포함한다. 스케일은 574 x 500이다.

또한 ETIS-LaribPolypDB는 34개의 비디오에서 생성된 1296개의 이미지로 구성되며 다양한 크기와 모양을 가지는 44개의 다른 폴립이 각각 포함되어 있으며 스케일은 1225 x 966이다.

또한 ASU-Mayo Clinic Colonoscopy Video DB는 20개의 짧은 대장 내시경 비디오가 포함되어 있으며 상기 20개의 비디오는 고유한 폴립이 있는 10개의 비디오와 폴립이 없는 10개의 비디오로 구성된다.

또한 상기 비교를 위한 주요 측정 항목으로 IOU(intersection of union)으로 알려진 자카드 지수(Jaccard index)를 사용했으며, 본 발명의 효과에 대한 전반적인 견해를 제공하기 위해 다이스 스코어(Dice score)도 사용했다.

또한 평균 픽셀 정밀도(mean pixel precision), 평균 픽셀 리콜(recall), 평균 정확도(accuracy)를 포함하는 세그먼테이션 평가 메트릭(evaluation metrics)을 이용하여 상기 비교를 수행하였다.

상기 IOU는 다음의 [수학식 11]에 따라 검증/테스트 세트를 통해 계산되며, PR 및 GT사이의 유사성을 계산하는데 이용된다.

[수학식 11]

여기서, PR은 세그먼테이션 결과를 나타내며 GT는 그라운드 트루스(ground truth)를 나타낸다.

상기 정밀도는 픽셀이 세그먼테이션 방법에 의해 얼마나 일관되고 정확하게 세그먼테이션되었는지를 나타내는 것으로 다음의 [수학식 12]에 의해 계산되며 세그먼테이션에 의해 생성된 네거티브 값(negative)의 비율과 GT에 속한 실제 네거티브 값을 나타낸다.

[수학식 12]

여기서 TP(true positive) 및 FP(false positive)는 정탐 및 오탐을 의미한다. 또한 민감도(sensitivity)로도 알려진 리콜(recall) 메트릭은 다음의 [수학식 13]에 의해 계산되며 그라운드 트루스의 총 픽셀 수에서 검색된 픽셀의 비율을 표시한다.

[수학식 13]

여기서 FN(false negative)는 미탐을 의미한다.

또한 정확도 메트릭은 올바르게 세그먼테이션된 이미지의 픽셀 비율을 평가하는데 사용되는 가장 일반적인 평가 메트릭 중 하나이며 [수학식 14]에 의해 계산된다.

[수학식 14]

여기서 TN(true negative)는 정탐을 의미한다.

또한 다이스 계수(Dice coefficient)는 0과 1사이의 범위로 예측이미지(세그먼테이션 이미지)와 레이블 이미지(그라운드 트루스)의 유사성을 비교하기 위해 사용되는 통계이며, 다음의 [수학식 15]에 의해 계산된다.

[수학식 15]

폴립의 픽셀이 올바르게 세그먼테이션된 경우 TP로 계산되며 폴립 레이블을 벗어난(즉, 잘못되게 세그먼테이션된 픽셀)은 FP로 계산되었다. 또한 검출되지 않은 모든 폴립의 픽셀은 FN으로 계산되며 나머지 픽셀은 TN으로 계산된다.

또한 모든 테스트에서 학습 데이터 세트를 업샘플링하고 다운샘플링하여 상기 비교를 수행하였다. 또한 학습데이터 증강방법을 적용했을 분만 아니라 다른 효과적인 방법을 이용하여 각 네트워크를 학습시켰다.

예를 들어 크로핑 방법 및 로테이션 방법이 사용되었다. 즉 이미지 모서리에 존재하는 카메라에서 생성된 검은색 부분을 제거하기 위해 중앙에서 크로핑하였다. 또한 로테이션 방법은, 0도에서 360도 사이의 랜덤 각도를 사용하여 적용하였다.

테스트를 수행한 결과 학습 단계와 테스트 단계 모두에 회색조 이미지를 사용하는 것이 RGB 이미지를 사용하는 것보다 더 나은 성능을 보였다.

학습데이터 세트의 모든 이미지를 사용하였으며, 모델의 학습 능력을 최적화하기 위해 상기 데이터 세트를 TFrecords 형식으로 포맷화하였으며, 모든 학습과정은 GPU GTX-1080Ti를 사용하여 텐서플로우(TensorFlow)에서 수행되었다.

도 7은 본 발명의 일 실시예에 따른 세부 업샘플링 인코더-디코더 네트워크를 통한 폴립 세그먼테이션과 타 방법을 이용한 폴립 세그먼테이션의 성능을 비교한 도면이며, 도 8은 본 발명의 일 실시예에 세부 업샘플링 인코더-디코더 네트워크를 이용한 폴립 세그먼테이션 결과와 타 방법을 이용한 폴립 세그먼테이션 결과를 나타낸 도면이다.

도 7에 도시한 바와 같이, 폴립 세그먼테이션과 관련하여 본 발명과 타 방법을 비교하기 위해, 상기 ETIS-Larib, CVC-ColonDB 및 ASU-Mayo Clinic Colonoscopy Video DB를 이용하였다.

상기 데이터 세트의 모든 이미지를 그레이 스케일 이미지로 변경한 후, 384x288 픽셀에서 500x400 픽셀 및 300x200 픽셀 크기로 조정하였다.

상기 도 7에 나타난 것과 같이, 본 발명의 세부 업샘플링 인코더-디코더 네트워크를 이용한 세그먼테이션 성능이 타 방법 보다 높은 정밀도와 가장 높은 리콜을 달성했음을 보여준다.

즉, 상기 폴립 세그먼테이션에 대한 비교 결과는, 본 발명의 세부 업샘플링 인코더-디코더 네트워크가 멀티 스케일 문맥정보(multi scale contextual information)를 모으는 능력으로 인해 다른 방법 보다 우수함을 알 수 있다.

또한 도 8에 도시한 바와 같이, 본 발명의 세부 업샘플링 인코더-디코더 네트워크를 이용한 폴립 세그먼테이션 결과가 타 방법(3개의 FCNN)보다 폴립의 바운더리를 최적으로 감지할 수 있는 것을 알 수 있다.

도 9는 본 발명의 일 실시예에 따른 CVC-ColonDB를 이용하여 세부 업샘플링 인코더-디코더 네트워크와 타 방법 간의 성능을 비교한 도면이다.

상기 비교를 위해 CVC-ColonDB를 이용하였으며, 이 데이터베이스는 다양한 모양의 폴립을 보여주는 이미지를 포함하고 있으며 모두 전문 임상의가 주석을 달았다. 학습에 사용하기 위해 200개의 이미지를 임의로 선택하였고 나머지는 학습을 종료한 각 네트워크에 대한 테스트에 사용하였다.

상기 선택한 200개의 이미지는 384 x 288픽셀에서 500 x 400픽셀로 업샘플링한 다음 다시 250 x 200인 더 작은 데이터 세트를 생성하기 위해 다운샘플링하였다.

도 9에 도시한 바와 같이, 본 발명의 일 실시예에 따른 세부 업샘플링 인코더-디코더 네트워크와 타 방법을 이용한 폴립 세그먼테이션의 정확도, 다이스 계수, 특이도 및 리콜은 타 방법보다 전반적으로 높은 것을 알 수 있다.

도 10은 본 발명의 일 실시예에 따른 CVC-ClinicDB를 이용하여 세부 업샘플링 인코더-디코더 네트워크과 타 방법 간의 성능을 비교한 도면이다.

상기 비교를 위해 CVC-ClinicDB를 이용하여 각 네트워크의 성능을 평가하였으며 해당 데이터베이스의 430개의 이미지를 학습을 위해 무작위로 선택(전체 데이터세트의 80%)하였으며 나머지 182개의 이미지를 각 네트워크에 대한 테스트에 이용하였다. 따라서 학습과 테스트에 이용되는 이미지는 교차점이 없다.

도 10에 도시한 바와 같이 본 발명의 세부 업샘플링 인코더-디코더 네트워크를 이용한 폴립 세그먼테이션의 성능이 다른 방법 보다 훨씬 우수하다는 것을 알 수 있다. 즉 본 발명은 테스트 이미지에서 폴립을 정확하게 인식하여 세그먼테이션할 수 있지만 타 방법은 폴립을 정확하게 세그먼테이션할 수 없는 것을 알 수 있는 것이다.

도 11은 본 발명의 일 실시예에 따른 세부 업샘플링 인코더-디코더 네트워크를 이용한 대장 내시경 이미지에서의 바운더리 인식을 통한 폴립 세그먼테이션을 수행하는 절차를 나타낸 흐름도이다.

도 11에 도시한 바와 같이, 본 발명의 일 실시예에 따른 폴립 세그먼테이션 장치(100)를 통해 특정 환자의 대장 내시경 이미지에 포함된 폴립을 세그먼테이션하는 절차는 우선, 상기 폴립 세그먼테이션 장치(100)는 사전에 수집하여 학습데이터 데이터베이스(410)에 저장한 학습데이터를 전처리하는 전처리 단계를 수행한다(S110).

상기 전처리 단계는 상기 학습데이터를 구성하는 원본의 대장 내시경 이미지를 그레이 스케일로 변환하고, 사전에 설정한 복수의 스케일에 따라 서로 다른 스케일을 가지는 복수의 이미지를 생성한다.

다음으로 상기 전처리 단계를 통해 생성한 서로 다른 스케일을 가지는 복수의 이미지에 대해 폴립 바운더리 중심 데이터 증강방법을 이용하여 상기 생성한 서로 다른 스케일을 가지는 복수의 이미지에 대한 증강 대장 내시경 이미지를 각각 생성하는 학습데이터 증강 단계를 수행한다(S120).

상기 증강 대장 내시경 이미지를 생성하는 것은, 상기 세부 업샘플링 인코더-디코더 네트워크에서 폴립의 바운더리를 정확하게 인식하여 폴립을 세그먼테이션할 수 있도록 수행되는 것으로, 도 2를 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략한다.

다음으로 상기 폴립 세그먼테이션 장치(100)는 상기 서로 다른 스케일의 이미지에 대해 생성한 증강 대장 내시경 이미지를 학습하여 폴립을 세그먼테이션하기 위한 학습모델을 생성하는 학습모델 생성 단계(S130)를 수행한다.

상기 학습은 사전에 구축한 세부 업샘플링 인코더-디코더 네트워크를 통해 수행되며, 상기 세부 업샘플링 인코더-디코더 네트워크는 서로 다른 스케일의 증강 대장 내시경 이미지를 입력받아 상기 각 증강 대장 내시경 이미지에 대한 예측이미지를 생성하고, 상기 생성한 예측이미지를 동일한 스케일로 업샘플링한 후 상기 각 업샘플링한 예측이미지를 융합하여 최종적으로 폴립을 세그먼테이션한 폴립 세그먼테이션 이미지를 출력하는 구조를 가지며, 상기 세부 업샘플링 인코더-디코더 네트워크의 구조는 도 4 및 도 5를 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략한다.

다음으로 상기 폴립 세그먼테이션 장치(100)는 대장 내시경 이미지 제공 장치(200)로부터 특정 환자의 대장 내시경 이미지가 수신(S140)되면, 상기 수신한 환자의 대장 내시경 이미지를 전처리하여 서로 다른 스케일을 가지는 복수의 이미지를 생성한다(S150).

상기 전처리는 상기 S110단계와 동일한 과정을 통해 수행된다.

다음으로 상기 폴립 세그먼테이션 장치(100)는 상기 환자의 대장 내시경 이미지를 전처리하여 생성한 서로 다른 스케일을 가지는 복수의 이미지를 상기 생성한 학습모델에 적용함으로써 상기 수신한 환자의 대장 내시경 이미지에 포함된 폴립을 세그먼테이션하는 폴립 세그먼테이션 단계를 수행(S160)하고, 상기 폴립을 세그먼테이션한 결과를 사용자 단말(300)로 제공하는 세그먼테이션 결과 제공 단계를 수행한다(S170).

이상에서 설명한 바와 같이 본 발명의 세부 업샘플링 인코더-디코더 네트워크를 이용한 대장 내시경 이미지에서의 바운더리 인식을 통한 폴립 세그먼테이션 장치 및 그 방법은 서로 다른 스케일의 대장 내시경 이미지를 입력받아 각 스케일에 대한 특징맵을 출력하는 복수의 디코더, 상기 각 디코더로부터 출력한 특징맵을 통합하여 서로 다른 스케일의 예측이미지를 생성하고 상기 생성한 예측이미지를 동일한 스케일로 세부 업샘플링함으로써 상기 특징맵의 차원감소로 인한 폴립의 바운더리 누락을 효과적으로 복구하고, 상기 세부 업샘플링한 각 예측이미지를 융합하여 폴립을 세그먼테이션한 폴립 세그먼테이션 이미지를 출력하도록 하는 세부 업샘플링 인코더-디코더 네트워크를 통해 폴립을 포함하는 복수의 대장 내시경 이미지를 학습하여, 환자의 대장 내시경 이미지에 포함된 폴립을 정확하고 효과적으로 세그먼테이션할 수 있는 효과가 있다.

또한 상기에서는 본 발명에 따른 바람직한 실시예를 위주로 상술하였으나 본 발명의 기술적 사상은 이에 한정되는 것은 아니며 본 발명의 각 구성요소는 동일한 목적 및 효과의 달성을 위하여 본 발명의 범위 내에서 변경 또는 수정될 수 있을 것이다.

아울러 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

100: 세부 업샘플링 인코더-디코더 네트워크를 이용한 대장 내시경 이미지에서의 폴립 바운더리 인식을 통한 폴립 세그먼테이션 장치
110: 대장 내시경 이미지 수신부 120: 전처리부
130: 학습데이터 증강부 140: 학습모델 생성부
150: 폴립 세그먼테이션부 160: 세그먼테이션 결과 제공부
200: 대장 내시경 이미지 제공 장치 300: 사용자 단말
400: 데이터베이스

Claims (10)

1. 학습데이터를 구성하는 원본의 대장 내시경 이미지를 전처리하여 서로 다른 스케일을 가지는 복수의 이미지를 생성하는 전처리부;
   상기 생성한 복수의 이미지에 각각 포함된 폴립의 영역에 대한 폴립 바운더리를 설정하여 증강 대장 내시경 이미지를 각각 생성하는 학습데이터 증강부; 및
   상기 생성한 서로 다른 스케일의 증강 대장 내시경 이미지를 학습하여 폴립을 세그먼테이션하기 위한 학습모델을 생성하는 학습모델 생성부;를 포함하며,
   상기 학습은, 상기 생성한 서로 다른 스케일의 증강 대장 내시경 이미지를 각각 입력받아 특징맵을 출력하는 인코더 모듈 및 상기 출력한 각 특징맵을 통합한 예측이미지를 생성하고 상기 생성한 예측이미지를 상기 원본의 대장 내시경 이미지와 동일한 스케일로 세부 업샘플링하여 상기 원본의 대장 내시경 이미지에 포함된 폴립을 세그먼테이션한 폴립 세그먼테이션 이미지를 출력하는 디코더 모듈로 구성한 세부 업샘플링 인코더-디코더 네트워크를 통해 수행되며,
   상기 세부 업샘플링 인코더-디코더 네트워크는,
   상기 증강 대장 내시경 이미지에서 상기 폴립 바운더리에 속하는 픽셀에만 높은 가중치를 부여하는 적응형 가중치 손실함수와 상기 폴립 세그먼테이션 이미지와 실제 그라운드 트루스(ground truth) 이미지 간의 유사도를 측정하여 상기 폴립 세그먼테이션 이미지와 상기 실제 그라운드 트루스 이미지 간의 차이를 줄이도록 하는 주의 기반 손실함수가 적용되어 상기 학습을 수행하는 것을 특징으로 하는 폴립 세그먼테이션 장치.
2. 청구항 1에 있어서,
   상기 학습데이터 증강부는,
   상기 생성한 복수의 이미지에 각각 포함된 폴립의 영역에서 원영역의 중심좌표와 상기 폴립의 영역에 대한 중심좌표 간의 거리가 상기 폴립의 영역에 대한 중심좌표와 상기 폴립의 영역 내 중심으로부터 시작하여 가장 낮은 모멘트를 가진 지점 간의 거리보다 큰 조건을 만족하는 상기 원영역의 중심좌표를 상기 폴립의 영역에서 무작위로 선택하고,
   상기 선택한 원영역의 중심좌표에서 상기 폴립의 영역에 대한 바운더리까지의 거리가 상기 선택한 원영역의 중심좌표에서 상기 폴립의 영역에 대한 가장 가까운 바운더리로 결정되는 최대거리보다 작으면, 상기 선택한 원영역은 상기 원영역의 중심좌표와 직경으로 정해지고, 상기 선택한 원영역의 각 픽셀은 랜덤한 그레이케일 값을 할당하여 상기 설정한 폴립 바운더리를 강조한 상기 증강 대장 내시경 이미지를 생성하는 것을 특징으로 하는 폴립 세그먼테이션 장치.
3. 청구항 1에 있어서,
   상기 인코더 모듈은, 상기 입력받은 서로 다른 스케일의 증강 대장 내시경 이미지에 대해 컨볼루션 및 풀링 과정을 각각 수행하여 상기 폴립 바운더리에 대한 특징맵을 각각 출력하며,
   상기 디코더 모듈은, 상기 서로 다른 스케일의 증강 대장 내시경 이미지에 대한 특징맵을 각각 통합하여 예측이미지를 각각 생성하고, 상기 생성한 각 예측이미지에서 상기 컨볼루션 및 풀링 과정에 따라 누락된 폴립 바운더리 부분을 복구하기 위해 상기 세부 업샘플링을 수행하며, 상기 세부 업샘플링을 수행한 각 예측이미지를 융합하여 최종적으로 폴립 세그먼테이션 이미지를 출력하는 것을 특징으로 하는 폴립 세그먼테이션 장치.
4. 삭제
5. 청구항 1에 있어서,
   상기 폴립 세그먼테이션 장치는,
   특정 환자의 대장 내시경 이미지가 수신되면, 상기 수신한 대장 내시경 이미지를 전처리하여 생성한 서로 다른 스케일을 가지는 복수의 이미지를 상기 생성한 학습모델에 입력하여 상기 수신한 특정 환자의 대장 내시경 이미지로부터 폴립을 세그먼테이션하는 폴립 세그먼테이션부;를 더 포함하는 것을 특징으로 하는 폴립 세그먼테이션 장치.
6. 청구항 1에 있어서,
   상기 세부 업샘플링 인코더-디코더 네트워크는,
   원본의 대장 내시경 이미지에 대해 생성한 서로 다른 스케일을 가지는 복수의 이미지를 입력받아 특징맵을 각각 출력하는 복수의 인코더로 구성된 인코더 모듈; 및
   상기 각 인코더와 연결되고 상기 각 특징맵을 통합하여 상기 각 이미지에 포함된 폴립 바운더리에 대한 예측이미지를 각각 생성하는 복수의 디코더로 구성된 디코더 모듈;를 포함하며,
   상기 디코더 모듈은, 상기 각 예측이미지를 동일한 스케일로 세부 업샘플링하여 상기 예측이미지에 누락된 폴립 바운더리 영역을 복구함으로써 상기 원본의 대장 내시경 이미지에 포함된 폴립을 세그먼테이션한 폴립 세그먼테이션 이미지를 출력하는 것을 특징으로 하는 폴립 세그먼테이션 장치.
7. 청구항 6에 있어서,
   상기 복수의 인코더는,
   상기 서로 다른 스케일을 가지는 각 이미지에 대한 컨볼루션을 수행하는 어트로스 컨볼루션 레이어; 및
   상기 어트로스 컨볼루션 레이어에 각각 연결되어 상기 컨볼루션을 수행한 결과를 풀링하는 풀링 레이어;를 더 포함하고,
   상기 복수의 디코더는,
   상기 각 인코더로부터 출력한 특징맵을 맥스아웃(maxout)하여 상기 각 이미지에 포함된 폴립 바운더리에 대한 예측이미지를 출력하는 맥스아웃 레이어;
   상기 예측이미지를 상기 원본의 대장 내시경 이미지와 동일한 스케일로 조정하여 상기 각 예측이미지에서 상기 컨볼루션 및 풀링으로 인한 차원감소로 누락된 폴립 바운더리를 복구하는 세부 업샘플링 레이어; 및
   상기 동일한 스케일로 조정한 각 예측이미지를 융합하여 폴립 세그먼테이션 이미지를 출력하는 융합 레이어;를 더 포함하며,
   상기 복수의 인코더에 포함된 어트로스 컨볼루션 레이어 및 풀링 레이어는, 상기 세부 업샘플링 인코더-디코더 네트워크에서 병렬적으로 구성되며 상기 컨볼루션과 풀링을 통해 상기 서로 다른 스케일을 가지는 복수의 이미지에 대한 특징맵을 각각 출력하는 것을 특징으로 하는 폴립 세그먼테이션 장치.
8. 학습데이터를 구성하는 원본의 대장 내시경 이미지를 전처리하여 서로 다른 스케일을 가지는 복수의 이미지를 생성하는 전처리 단계;
   상기 생성한 복수의 이미지에 각각 포함된 폴립의 영역에 대한 폴립 바운더리를 설정하여 증강 대장 내시경 이미지를 각각 생성하는 학습데이터 증강 단계; 및
   상기 생성한 서로 다른 스케일의 증강 대장 내시경 이미지를 학습하여 폴립을 세그먼테이션하기 위한 학습모델을 생성하는 학습모델 생성 단계;를 포함하며,
   상기 학습은, 상기 생성한 서로 다른 스케일의 증강 대장 내시경 이미지를 각각 입력받아 특징맵을 출력하는 인코더 모듈 및 상기 출력한 각 특징맵을 통합한 예측이미지를 생성하고 상기 생성한 예측이미지를 상기 원본의 대장 내시경 이미지와 동일한 스케일로 세부 업샘플링하여 상기 원본의 대장 내시경 이미지에 포함된 폴립을 세그먼테이션한 폴립 세그먼테이션 이미지를 출력하는 디코더 모듈로 구성한 세부 업샘플링 인코더-디코더 네트워크를 통해 수행되며,
   상기 세부 업샘플링 인코더-디코더 네트워크는,
   상기 증강 대장 내시경 이미지에서 상기 폴립 바운더리에 속하는 픽셀에만 높은 가중치를 부여하는 적응형 가중치 손실함수와 상기 폴립 세그먼테이션 이미지와 실제 그라운드 트루스(ground truth) 이미지 간의 유사도를 측정하여 상기 폴립 세그먼테이션 이미지와 상기 실제 그라운드 트루스 이미지 간의 차이를 줄이도록 하는 주의 기반 손실함수가 적용되어 상기 학습을 수행하는 것을 특징으로 하는 폴립 세그먼테이션 방법.
9. 청구항 8에 있어서,
   상기 폴립 세그먼테이션 방법은,
   특정 환자의 대장 내시경 이미지가 수신되면, 상기 수신한 대장 내시경 이미지를 전처리하여 생성한 서로 다른 스케일을 가지는 복수의 이미지를 학습모델에 입력하여 상기 수신한 특정 환자의 대장 내시경 이미지로부터 폴립을 세그먼테이션하는 폴립 세그먼테이션 단계;를 더 포함하며,
   상기 학습데이터 증강 단계는,
   상기 생성한 복수의 이미지에 각각 포함된 폴립의 영역에서 원영역의 중심좌표와 상기 폴립의 영역에 대한 중심좌표 간의 거리가 상기 폴립의 영역에 대한 중심좌표와 상기 폴립의 영역 내 중심으로부터 시작하여 가장 낮은 모멘트를 가진 지점 간의 거리보다 큰 조건을 만족하는 상기 원영역의 중심좌표를 상기 폴립의 영역에서 무작위로 선택하고,
   상기 선택한 원영역의 중심좌표에서 상기 폴립의 영역에 대한 바운더리까지의 거리가 상기 선택한 원영역의 중심좌표에서 상기 폴립의 영역에 대한 가장 가까운 바운더리로 결정되는 최대거리보다 작으면, 상기 선택한 원영역은 상기 원영역의 중심좌표와 직경으로 정해지고, 상기 선택한 원영역의 각 픽셀은 랜덤한 그레이케일 값을 할당하여 상기 설정한 폴립 바운더리를 강조한 상기 증강 대장 내시경 이미지를 생성하는 것을 특징으로 하는 폴립 세그먼테이션 방법.
10. 청구항 8에 있어서,
    상기 인코더 모듈은, 상기 입력받은 서로 다른 스케일의 증강 대장 내시경 이미지에 대해 컨볼루션 및 풀링 과정을 각각 수행하여 상기 폴립 바운더리에 대한 특징맵을 각각 출력하며,
    상기 디코더 모듈은, 상기 서로 다른 스케일의 증강 대장 내시경 이미지에 대한 특징맵을 각각 통합하여 예측이미지를 각각 생성하고, 상기 생성한 각 예측이미지에서 상기 컨볼루션 및 풀링 과정에 따라 누락된 폴립 바운더리 부분을 복구하기 위해 상기 세부 업샘플링을 수행하며, 상기 세부 업샘플링을 수행한 각 예측이미지를 융합하여 최종적으로 폴립 세그먼테이션 이미지를 출력하는 것을 특징으로 하는 폴립 세그먼테이션 방법.

Images