KR102564443B1 - 딥러닝을 이용한 위내시경 검사의 신뢰성을 향상시킬 수 있는 위내시경 시스템 - Google Patents

Abstract

본 발명은 위내시경시에 필수적으로 검사하여야 하는 모든 위치에 대하여 검사가 수행되었는지 여부를 검사하여 맹점이 발생하는 것을 방지하기 위한 위내시경 시스템에 관한 것입니다. 본 발명의 위내시경 시스템은 위내시경 장치에서 획득한 위내시경 이미지를 위의 해부학적 위치에 따라 분류하는 맹점검사용 딥러닝 모듈을 포함하고, 상기 맹점검사용 딥러닝 모듈의 딥러닝 네트워크는 잔차 학습을 이용하되, 잔차 블록에 어텐션 모듈이 추가된 모델인 것을 특징으로 합니다.

Description

딥러닝을 이용한 위내시경 검사의 신뢰성을 향상시킬 수 있는 위내시경 시스템{GASTROSCOPY SYSTEM WITH IMPROVED RELIABILITY OF GASTROSCOPY USING DEEP LEARNING}

본 발명은 딥러닝을 이용한 위내시경 검사의 신뢰성을 향상시킬 수 있는 위내시경 시스템에 관한 것이다.

위내시경(EGD: Esophago Gastro Duodenoscopy)은 역류성 식도염, 위 십이지장의 궤양과 같은 상부 위장관 질환의 검사와 조기 위암의 발견을 위한 검사방법이다.

위내시경은 대한의학회 회원학회 중 위내시경 연관 전문 학회에서 인정하는 전문의가 실시하도록 되어 있다. 즉, 이러한 자격을 갖춘 의사가 위내시경 장비를 이용하여, 피검사자의 위를 촬영하고, 육안으로 촬영 이미지를 관찰하여 병변을 진단한다.

위내시경 촬영 영상은 정확한 진단을 위해 고화질, 백색광 등의 기술이 이미 적용되어 있다. 즉, 위내시경 장비의 하드웨어적인 부분은 딥러닝 기술이 적용되기에 충분한 조건을 갖추고 있으며, 이에 위내시경 영상 분석연구가 활발하게 진행중에 있다.

Lui, Thomas KL, Vivien WM Tsui, and Wai K. Leung. "Accuracy of artificial intelligence-assisted detection of upper GI lesions: a systematic review and meta-analysis." Gastrointestinal endoscopy Volume 92, Issue 4, pp 821-830. October 2020에 따르면 딥러닝 기술, 10년 이상의 전문의, 5년 이상의 준 전문의, 2년 이내의 수련생 각각의 네 개의 그룹을 만들어 위내시경 병변 진당의 민감도를 평가한 결과는 각각 94.2%, 94.5% 85.8%, 72.2%가 나와, 딥러닝 기술을 이용한 경우가 10년 이상 전문의 수준을 정확도를 보였다. 선등록특허 제10-2210806호에서도 위내시경 이미지에서 위 병변을 진단하는 장치 및 방법에 대해 개시하고 있다. 이처럼 지금까지 진행되고 있는 위내시경에 대한 딥러닝 기술의 개발은 주로 병변 진단에 주로 초점을 맞추고 있다.

그러나 이러한 딥러닝 기술을 이용한 병변 진단은 위내시경 검사가 정상적으로 수행되어 수득한 위내시경 영상 분석하여 수행되는 것이다. 위내시경 검사가 중에 일부 영역을 누락하여 맹점이 발생될 경우에는 아무리 꼼꼼히 검사를 해도 병변을 놓치는 문제가 발생한다. 실제로 위내시경 과정에서 맹점으로 인해 중요한 병변을 놓치는 사례가 약 10% 수준으로 알려져 있다.

결국 위내시경 검사의 신뢰성을 높이기 위해서는 위내시경 이미지에서 위 병변을 진다하는 것도 중요하지만, 보다 근본적으로는 위내시경 검사 과정에서 맹점이 발생하는 것을 방지할 수 있는 방안이 필요한 실정이다.

등록특허 제10-2210806호

Lui, Thomas KL, Vivien WM Tsui, and Wai K. Leung. "Accuracy of artificial intelligence-assisted detection of upper GI lesions: a systematic review and meta-analysis." Gastrointestinal endoscopy Volume 92, Issue 4, pp 821-830. October 2020

본 발명의 일 목적은 위내시경의 검사과정에서 맹점이 발생하는 것을 방지할 수 있는 위내시경 시스템을 제공하는 것을 목적으로 한다.

한편, 본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 것이다.

이상에서 설명한 문제를 해결하기 위한 본 발명의 일 실시예에 따른 위내시경 시스템은 위내시경 시에 필수적으로 검사하여야 하는 모든 위치에 대하여 검사가 수행되었는지 여부를 검사하여 맹점이 발생하는 것을 방지하기 위한 것이다. 일 실시예에 있어서, 위내시경 장치에서 획득한 위내시경 이미지를 위의 해부학적 위치에 따라 분류하는 맹점검사용 딥러닝 모듈을 포함하고, 상기 맹점검사용 딥러닝 모듈의 딥러닝 네트워크는 잔차 학습을 이용하되, 잔차 블록에 어텐션 모듈이 추가된 모델인 것을 특징으로 한다.

일 실시예에 있어서, 상기 딥러닝 네트워크는 소장, 위 및 십이지장에 대한 위내시경 이미지를 학습데이터로 학습하되, 소장, 위 및 십이지장의 위치에 따라 위내시경 이미지를 클래스로 분류하는 것을 특징으로 할 수 있다.

일 실시예에 있어서, 상기 소장의 위내시경 이미지 또는 상기 십이지장의 위내시경 이미지는 해부학적 위치와 무관하게 하나의 클래스로 분류하고, 상기 위의 위내시경 이미지는 복수의 클래스로 분류하는 것을 특징으로 할 수 있다.

일 실시예에 있어서, 상기 학습데이터로 제공되는 위내시경 이미지는 겸자가 찍힌 위내시경 이미지를 포함하며, 겸자가 찍힌 위내시경을 소장, 위 및 십이지장에 대한 위내시경 이미지와 다른 클래스로 분류하는 것을 특징으로 할 수 있다.

이상에서 설명한 문제를 해결하기 위한 본 발명의 다른 실시예에 따른 위내시경 시스템은 피검사자의 식도, 위 및 십이지장 중 어느 하나의 내부에 대한 위내시경 이미지를 수집하는 위내시경 장치; 상기 위내시경 장치에서 획득한 위내시경 이미지를 위의 해부학적 위치에 따라 분류하는 맹점검사용 딥러닝 모듈; 및 상기 맹점검사용 딥러닝 모듈이 분류한 위내시경 이미지에서 필수적으로 검사하여야 하는 위치 중 적어도 일부가 누락된 경우 알림을 출력하는 출력모듈;을 포함한다.

본 발명의 일 실시예에 따른 위내시경 시스템은 딥러닝을 통해 위내시경의 검사과정에서 맹점이 발생하는 것을 방지함으로써 위내시경 검사의 신뢰성을 향상시킬 수 있다.

여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급됨을 첨언한다.

도 1 은 본 발명의 일 실시예에 따른 위내시경 시스템의 개략적 구성도이다.
도 2는 위내시경 시에 수집되는 이미지로써 해부학적 위치 별 대표이미지이다.
도 3은 위내시경 시에 수집되는 이미지로써 제외되어야 하는 이미지의 대표이미지이다.
도 4a는 위내시경 시에 수집되는 이미지에서 위 이미지만을 추출하기 위한 전처리 단계의 개략적 플로우 차트이며, 도 4b는 각 전처리 단단계의 이미지이다.
도 5는 본 발명의 일 실시예에 따른 위내시경 시스템의 딥러닝 모델의 개략적 아키텍처이다.
도 6은 본 발명의 일 실시예에 따른 위내시경 시스템의 딥러닝 모델에서 이용되는 SE module을 설명하기 위한 참고도이다.
첨부된 도면은 본 발명의 기술사상에 대한 이해를 위하여 참조로서 예시된 것임을 밝히며, 그것에 의해 본 발명의 권리범위가 제한되지는 아니한다.

이하, 도면을 참조하여 본 발명의 다양한 실시예가 안내하는 본 발명의 구성과 그 구성으로부터 비롯되는 효과에 대해 살펴본다. 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다.

본 문서에서 "모듈"이나 "노드"는 CPU, AP 등과 같은 연산 장치를 이용하여 데이터를 이동, 저장, 변환 등의 작업을 수행한다. 예컨대 "모듈"이나 "노드"는 서버, PC, 태블릿 PC, 스마트폰 등과 같은 장치로 구현될 수 있다.

도 1 은 본 발명의 일 실시예에 따른 위내시경 시스템의 개략적 구성도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 위내시경 시스템은 위내시경 장치(10), 맹점검사용 딥러닝 모듈(20) 및 출력 모듈(30)을 포함한다.

위내시경 장치(10)는 역류성 식도염, 위 십이지장의 궤양과 같은 상부 위장관 질환의 검사와 조기 위암의 발견을 위한 검사방법인 위내시경(EGD: Esophago Gastro Duodenoscopy)을 수행하기 위한 장치로써 구강으로 영상촬영유닛을 삽입하여 식도, 위, 십이지장의 이미지 정보를 수득할 수 있는 장치를 의미한다. 즉, 위내시경 장치는 피검사자의 식도, 위 및 십이지장 중 어느 하나의 내부에 대한 위내시경 이미지를 수집한다. 위내시경 장치(10)는 공지의 장치를 이용할 수 있다.

맹점검사용 딥러닝 모듈(20)은 이미지 정보를 학습하고 판단할 수 있도록 처리하는 전처리하는 전처리부(21)와 위내시경 장치(10)에서 송출되는 이미지 정보를 분석하여 위내시경시에 검사가 필요한 모든 위치에 대하여 검사가 수행되었는지를 검사하는 딥러닝 네트워크(22)를 포함한다. 종래 딥러닝 기술을 이용하여 위내시경 이미지로부터 병변의 발생을 검사하는 것이었다면, 본 발명의 일 실시예에 따른 위내시경 시스템(100)의 딥러닝 모듈(20)은 위내시경의 검사과정에서 필수적으로 검사하여야 하는 모든 위치에서 검사가 수행되었는지 여부를 검사하여 맹점이 발생하는 것을 방지하는 효과가 있다. 맹점검사용 딥러닝 모듈(20)에 대해서는 아래에서 자세히 서술하도록 한다.

출력 모듈(30)은 맹점검사용 딥러닝 모듈(20)의 연산 결과를 출력하는 역할을 한다.

첫번째 실시형태는 사용자가 위내시경 장치(10)를 이용하여 피검사자에 대해서 위내시경을 시술하는 과정에서 맹점검사용 딥러닝 모듈(20)가 위내시경 장치(10)에서 실시간으로 전송하는 이미지를 연산하여 위내시경 검사과정에서 필수적으로 검사하여야 하는 모든 위치(이하, "필수 검사 위치"라 함)에서 검사가 수행되었는지 여부를 검사하고, 출력모듈(30)의 맹점 발생 여부를 디스플레이 장치 또는 음향 장치를 통해 사용자에게 안내한다. 위내시경은 인체의 해부학적 구조상 검사과정이 식도로부터 위, 그리고 십이지장까지 순차적으로 이루어질 수 밖에 없으며, 맹점검사용 딥러닝 모듈(20)는 지정된 순서에 따라 위내시경 장치(10)가 필수 검사 위치에 대한 위내시경 이미지를 획득했는지 여부를 판단하고, 순서에 누락된 부분이 있는 경우 출력모듈(30)이 실시간으로 사용자에게 안내한다.

두번째 실시형태는 사용자가 위내시경 장치(10)를 이용하여 피검사자에 대한 위내시경 시술을 완료하고, 모든 위내시경 이미지를 맹점검사용 딥러닝 모듈(20)에 전송한다. 맹점검사용 딥러닝 모듈(20)은 수신한 위내시경 이미지를 검사해 모든 필수 검사 위치에 대한 위내시경 이미지 획득 여부를 확인하고, 누락된 필수 검사 위치가 있는 경우 출력모듈(30)을 통해 사용자에게 안내한다.

상술한 바와 같이 본 발명의 위내시경 시스템을 이용할 경우 위내시경 과정에서 맹점이 발생하는 것을 근본적으로 방지할 수 있으며, 이에 따라 맹점으로 인해 병변을 놓치는 문제를 해결함으로써 위내시경의 신뢰성을 현저히 향상시킬 수 있다.

아래에서는 도면을 참고하여 본 발명의 위내시경 시스템(100)의 맹점검사용 딥러닝 모듈(20)에 대해서 보다 상세히 살펴보도록 한다.

도 2는 위내시경 시에 수집되는 이미지로써 해부학적 위치 별 대표이미지이며, 도 3은 위내시경 시에 수집되는 이미지로써 제외되어야 하는 이미지의 대표이미지이다.

본 발명의 맹점검사용 딥러닝 모듈을 학습시키기 위해 강원대병원의 임상시험심사위원회(IRB) 허가를 얻어 획득한 해부학적 위치 별 이미지 2457장(Dataset A)을 이용하였다(IRB number 2020-07-016-002). Dataset A는 2015년 1월부터 2020년 11월까지 강원대학교 병원에서 위내시경 검사를 받은 환자의 위내시경 이미지로써, 총 2457장으로 구성된다. Dataset A는 도 2의 나타난 것과 같이, ESGE(European Society of Gastrointestinal Endoscopy) 권고에 따른 11개의 해부학적 위치 별로 주석을 등록하였다. 다만, Dataset A를 구성하는 위내시경 이미지에는 도 3(a) 및 도 3(b)와 같이 겸자가 찍힌 사진이나, 도 3(c) 및 도 3(d)와 같이 ESGE 권고에 따른 11개의 해부학적 위치에 해당하지 않는 이미지가 포함되어 있으며, 이러한 경우에는 11개의 해부학적 위치 분류에서 제외하였다. 한편, 맹점검사용 딥러닝 모듈의 검증을 위해 정답이 매겨진 60 명의 실제 위내시경 이미지도 획득하였다(Dataset B).

도 4a는 위내시경 시에 수집되는 이미지에서 위 이미지만을 추출하기 위한 전처리 단계의 개략적 플로우 차트이며, 도 4b는 각 전처리 단단계의 이미지이다.

맹점검사용 딥러닝 모듈의 전처리부는 전송받은 위내시경 이미지를 전처리하여 위 이미지만을 추출하는 과정을 수행한다. 위내시경 장치의 경우 장치의 종류나 설정에 따라 이미지마다 해상도가 다를 수 있으며, 더욱이 도 3(c) 및 도 3(d)와 같이 위내시경 이미지의 일측에 텍스트가 포함되는 경우가 있다. 딥러닝 네트워크의 성능을 향상시키기 위해서는 위내시경 이미지에서 위 이미지만을 추출하는 전처리 과정이 필요하다.

전처리부는 먼저 각기 다른 해상도를 가지는 원본 이미지를 하나의 크기로 일치시키는 단계를 수행한다. 본 특허문서에서는 모든 원본 이미지를 640 × 480으로 조절하였다. 조정한 이미지는 경계선을 찾아 위 이미지를 추출하기 위해 안쪽 여백을 추가하는 단계를 수행한다. 여백을 추가한 이미지는 경계선을 뚜렷하게 하기 위한 쌍방 필터(Bilateral Filter) 및 노이즈(Noise)를 제거하기 위한 가우시안 블러(Gaussian Blur)를 처리하는 필터링 단계가 수행된다. 필터링 단계를 수행한 이미지는 텍스트를 제거하기 위한 모폴로지 오프닝(Morphology opening)을 적용하는 단계가 수행된다. 그 다음 캐니 엣지 검출(Canny Edge Detection)을 이용하여 가장자리를 탐지하는 단계를 수행하고, 마지막으로 가장 큰 경계선의 ROI(Region Of Interests)를 찾아 이미지를 자름으로써 텍스트가 제거된 위 이미지만을 추출할 수 있다.

맹점검사용 딥러닝 모듈의 전처리부의 딥러닝 네트워크는 위내시경 이미지를 스스로 위의 해부학적 위치에 따라 분류하는 역할을 수행한다. 이를 위해 본 발명에서는 딥러닝 네트워크로 이미지에서 특징을 추출하여 해당 이미지가 위의 해부학적 위치 중 무엇에 해당하는지 분류하도록 구성되는 모델을 이용한다.

도 5는 본 발명의 일 실시예에 따른 위내시경 시스템의 딥러닝 네트워크로 이용한 모델의 개략적 아키텍처이며, 도 6은 본 발명의 일 실시예에 따른 위내시경 시스템의 딥러닝 모델에서 이용한 SE module을 설명하기 위한 참고도이다.

위내시경 이미지는 해부학적 위치가 서로 다르더라도 서로 비슷한 특징을 가져 종래의 방법으로 딥러닝 네트워크를 구성하더라도 분류 정확도가 높지 않다는 문제가 있다. 이를 해결하기 위해 본 발명의 딥러닝 네트워크는 딥러닝 네트워크를 학습시키는 과정에 기존에 학습한 정보를 보존하고 거기에 추가로 학습하도록 구성되는 잔차 학습(residual learning)을 이용하되, 잔차 학습 과정에서 이용되는 잔차 블록(residual block) 중 적어도 하나 이상에 어텐션 모듈(attention module)을 추가하여 특징 재조정(feature recalibration)을 통해 위내시경 이미지의 분류 정확도를 현저히 높이는 효과가 있다. 예컨대, 본 발명의 딥러닝 네트워크로는 Resnet50을 이용할 수 있다.

도 5에 도시된 바와 같이, 잔차 블록(residual block)은 conv block과 identity block을 합한 것을 의미하며, 어텐션 모듈은 conv block과 identity block의 Add 전에 추가된다. 어텐션 모듈로는 SE(Squeeze-and-Excitation) 모듈을 이용할 수 있다. SE 모듈은 도 6과 같이 구성되며, 이전 레이어(ex: conv(1×1) +BatchNormalization)의 연산 결과인 특징 맵(Feature Map)을 가지고 연산한다. SE 모듈은 Squeeze(Global polling+FC)를 통해 특징 맵에 대한 정보를 요약하는 연산을 하며, Excitation을 통해 각 특징 맵에서 중요한 부분을 스케일링한다. 구체적으로 SE 모듈은 convolution layer에서 나온 특징 맵에서 중요 정보를 추출하는 기법인 GAP(Global Average Pooling, 채널에 해당하는 공간(spatial) 값들을 평균을 내는 방식)을 이용하여 이미지의 global spatial information을 채널 별로 압축시킴으로써 각 채널의 중요한 정보만 남긴다. 또한, 입력된 위내시경 이미지는 일정한 크기(예를 들어, 448×448(spatial, 공간)×3(RGB, 채널))를 가지며, 딥러닝 네트워크의 레이어를 거치다 보면 수배 이상으로 크기가 커지면서 0 값을 가지는 공간이 생성되는데, SE 모듈을 통해 0 값을 제거하는 이점이 있다.

한편, 본 발명의 일 실시예에 따른 위내시경 시스템의 딥러닝 네트워크는 위내시경 이미지를 다양한 해부학적 위치별로 라벨링(labeling)하고, 이것을 분류하여야 하므로 손실함수(Loss Function)으로 Binary Cross-Entropy(BCE) Loss를 이용한다. 딥러닝 네트워크의 분류기에 시그모이드(Sigmoid) 활성화 함수를 사용하여 모델의 예측값을 정답 레이블에 대해서 손실(Loss)을 계산한다. 시그모이드(Sigmoid) 활성화 함수는 일정 값을 기준으로 0인지 1인지구분함으로써 분류하는 함수를 의미한다. 사용한 손실함수는 다음의 식 (1)과 같다.

본 발명의 딥러닝 네트워크를 학습시키기 위하여 Dataset A를 다음의 표 1과 같이 클래스를 정의하였다.

Organ	Segment	Class
Esophagus	Proximal Esophagus	E1
	Distal Esophagus	E2
	Z-line & Diaphragm Indentation	E3
Stomach	Cardia and Fundus in Inversion	S1
	Corpus in Forward View including Lesser Curvature	S2
	Corpus in Retroflex View including Greater Curvature	S3
	Angulus in Partial Inversion	S4
	Antrum	S5
Duodenal	Duodenal Bulb	D1
	Second Part	D2
	Major Papilla	D3

한편, 본 발명에서는 위의(S1~S5) 위치의 분류 성능을 높이기 위해서 식도와 십이지장의 세부 클래스를 각각 한 개의 클래스로 지정한다. 즉, 클래스 E1 ~ E3를 클래스 E로 지정하고, 클래스 D1 ~ D3를 클래스 D로 지정하였다. 또한, Dataset A 중에서 내시경 겸자가 들어간 이미지를 클래스 C로 지정하였다.

본 발명의 위내시경 시스템의 성능을 평가하고, 다른 딥러닝 네트워크 모델들과 그 성능을 비교하기 위한 실험을 진행하였다. 실험은 2457 장의 Dataset A를 2203장의 훈련데이터와 254장의 테스트 데이터를 나누어 수행하였다. 실험 방법은 데이터 크기를 224Х224와 448Х448 나누어 진행하였고, Scratch 모델의 경우 배치 크기 8, Epoch 100회, Imagenet Pretrained 모델을 사용한 경우는 분류기를 수정하여 배치 크기 8, Epoch 30회를 진행하였다. 또한, 본 실험에서는 분류 성능 향상을 위해 Bag of Tricks[Cubuk, Ekin D., Barret Zoph, Dandelion Mane, Vijay Vasudevan, and Quoc V. Le. "Autoaugment: Learning augmentation policies from data." arXiv preprint arXiv:1805.09501, 2018.]에서 제안된 방법으로 Adam 최적화 기법을 사용하였고, Cosine Annealing Decay을 이용하여 Epoch마다 학습률을 조정하였다. Data Augmentation의 경우 Google Brain 팀이 CVPR 2019에서 제안한 방법인 AutoAugment[He, Tong, Zhi Zhang, Hang Zhang, Zhongyue Zhang, Junyuan Xie, and Mu Li. "Bag of tricks for image classification with convolutional neural networks." In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 558-567. 2019.] 방법에서 제시한 CIFAR-10에 대해서 제안한 Data Augmentation 기법을 이용하였다. AutoAugment는 강화학습 기반으로 Imagenet, CIFAR -10, CIFAR-100, Stanford Cars, SVHN에 대한 데이터 세트에 대해 최적의 Data Augmentation을 보여준 방법이다. Augment 방법은, Shear X/Y, Translate X/Y, Rotate, Solarize, Cutout, Invert, Equalize, AutoContrast, Contrast, Brightness, Sharpness Sample Pairing 16가지 방법을 조합해서 5개의 데이터 세트에 대해 각각 5개의 25가지 정책을 제시하였다. 그중 본 학습에서는 CIFAR-10의 데이터 세트에 대해 최적의 Data Augmentation을 찾은 정책을 사용하였다.

Class	Train(N)	Valid(N)
C	31	4
D	237	30
E	382	49
S1	270	29
S2	328	36
S3	333	36
S4	291	36
S5	331	34

표 2에 알 수 있는 바와 같이 클래스 불균형 문제는 클래스 비율을 고려해서 적은 개수의 클래스는 더 많은 비율로 가중치가 학습되도록 하였다.

실험 환경은 다음의 표 3과 같다.

OS	Windows 10 Pro
CPU	Xeon W-2123
GPU	RTX 2080 Ti 11GB
RAM	64GB
framework	pytorch

실험에 대한 성능 평가는 다중 라벨(Multi label) 분류와 클래스 불균형 데이터를 위한 성능 평가지표인 Recall, Precision, F1 Score를 사용하였다. 평가는 모델의 예측값과 정답 데이터 사이의 TP(True Positive), FP(False Positive), FN(False Negative)을 구해서 평가를 진행하였다. Recall(Sensitivity), Precision(PPV), F1 Score의 수식은 다음 식 2 내지 식 4와 같다.

아래의 표 4는 처음부터 학습시킨 스크래치 모델(scratch model)의 민감도(Sensitivity), 정밀도(PPV), F1 Score을 평가한 결과이며, 표 5는 사전 학습 모델(pretrained model)의 민감도(Sensitivity), 정밀도(PPV), F1 Score을 평가한 결과이다.

	Model	Sensitivity	PPV	F1 score
비교예1	Resnet50_224	0.9764	0.9502	0.9631
비교예2	Resnet50_448	0.9665	0.9723	0.9704
비교예3	Densenet121_224	0.9921	0.9805	0.9863
비교예4	Densenet121_448	0.9724	0.9686	0.9705
비교예5	Efficientnet-B1_224	0.9764	0.9612	0.9688
비교예6	Efficientnet-B1_448	0.9882	0.9580	0.9729
실시예1	SE_Resnet50_224	0.9567	0.9681	0.9624
실시예2	SE_Resnet50_448	0.9685	0.9647	0.9666
실시예3	CBM_Resnet50_224	0.9724	0.9802	0.9763
실시예4	CBM_Resnet50_448	0.9764	0.9802	0.9783

	Model	Sensitivity	PPV	F1 score
비교예1	Resnet50_224	0.9685	0.9685	0.9685
비교예2	Resnet50_448	0.9606	0.9760	0.9683
비교예3	Densenet121_224	0.9803	0.9803	0.9803
비교예4	Densenet121_448	0.9764	0.9920	0.9841
비교예5	Efficientnet-B1_224	0.9921	0.9921	0.9921
비교예6	Efficientnet-B1_448	0.9961	0.9961	0.9961
실시예1	SE_Resnet50_224	0.9724	1.0	0.9880
실시예2	SE_Resnet50_448	0.9724	0.9880	0.9802

이미지넷 사전학습(ImageNet Pretrained)을 사용한 모델의 결과를 보인 표 5는 스크래치 모델의 결과를 보인 표 4보다 성능이 0.5~2% 상승했다. 또한, residual block을 이용하는 Resnet 50(비교예 1,2)에 비하여 표 4 에서는 어텐션 모듈을 추가한 실시예 3~4가, 표 5 에서는 어텐션 모듈을 추가한 실시예 1~2가 F1 Score 기준 1~2% 높아졌다. 입력 크기에 따른 결과는 일반적으로 입력 이미지의 크기가 클 크기가 클수록 모델이 이미지의 특징을 잘 학습하게 되어 분류 성능을 높일 수 있다고 알려졌지만, 위내시경 이미지의 도메인에서는 클래스 간 비슷한 특성이 있어서 크기에 따른 차이는 두드러지게 나타나지 않았다.

위내시경 검사자가 맹점 없이 위 내부를 촬영했는지 확인하는 위 내시경 시스템에 필요한 분류모델은 표 1에서 정의한 클래스 S1~S5를 정확하게 예측했는지 여부(Sensitivity, 민감도)뿐 아니라 S1~S5가 아닌 위치에 대해서 오 분류를 발생시키지 않는 것이 중요하다.

하지만 상술한 실험에서 모델을 평가할 때 모델의 출력값인 클래스 확률이 50%를 기준으로 분류하고 있으므로 민감도는 높게 나올 수 있지만, 분류모델이 학습 시 보지 못한 이미지에 대해서는 오 분류를 할 가능성을 가지고 있다. 따라서 확실한 이미지에 한에서 정답으로 분류할 수 있도록 하는 클래스 확률 99%에 대한 추가실험을 진행하는 한편, 임상 데이터를 통해 본 발명의 실세 사용가능성을 살펴보았다.

검증에 사용할 모델은 표 5에서 F1 Score 기준 상위 4개인 비교예 3 내지 비교예 6과 실시예 1이며, 데이터는 60명의 임상 데이터인 dataset B를 이용하였다. dataset B도 dataset A와 마찬가지로 표 1에서 정의한 클래스와 그 밖의 이미지들을 X로 정의한 클래스로 구성되어 있다. 또한, 표 6과 같이 60명에 대해서 10명씩 6개의 그룹으로 S1~S5의 위치를 모두 포함하는 한 개의 그룹과 각각 한 개의 위치가 빠져있는 5개 그룹으로 나누어져 있다. 실험 방법은 클래스 확률 50%과 확실한 이미지에 한하여 정답으로 분류할 수 있도록 하는 클래스 확률 99%로 나누어 모델을 진행한다.

Index	Case	N(Person, Image)
1	All	10, 357
2	No S1	10, 403
3	No S2	10, 345
4	No S3	10, 331
5	No S4	10, 319
6	No S5	10, 303

실험은 그룹 All과 그 외 남은 그룹에 각각 적합한 방식으로 진행하였다. 그룹 All은 분류모델이 S1~S5를 모두 분류한 사람에 대해서 실험을 하였고, 그 외 남은 그룹에 대해서는 분류모델이 S1~S5 클래스 중 하나라도 빠진 사람을 찾아내었는지 확인하였다. 표 7 내지 9는 위와 같은 방식의 실험결과이다. 표 7은 클래스 확률 조건을 50%로 한 결과이고, 표 8은 99% 조건으로 한 결과다. 표 9는 표 7 및 표 8을 바탕으로 사람의 수를 더한 수치와 그에 따른 정확도를 보여준다.

Case	Model
	비교예4	비교예5	비교예6	실시예1
All	10	10	10	10
No S1	3	1	3	2
No S2	0	0	0	2
No S3	8	8	4	6
No S4	5	4	4	5
No S5	6	5	4	6

Case	Model
	비교예4	비교예5	비교예6	실시예1
All	8	9	9	9
No S1	3	4	3	6
No S2	1	3	2	3
No S3	10	10	8	10
No S4	9	10	7	9
No S5	8	7	6	8

Model	Probability	Sum	Accuracy
비교예4	50%	32	0.533
	99%	39	0.65
비교예5	50%	28	0.467
	99%	43	0.717
비교예6	50%	25	0.417
	99%	35	0.583
실시예1	50%	31	0.517
	99%	45	0.75

표 9와 같이 클래스 확률이 99%인 경우 50%로 했을 때보다 정확도 향상을 12~25% 가져왔다. 특히 실시예 1은 60명 중 45명을 정확하게 검증하여 가장 높은 정확도를 보였다.

표 5의 실험결과는 최신의 딥러닝 네트워크 모델인 비교예6의 Sensitivity가 99.61%의 성능을 보였으나 임상을 고려한 표 9에서는 현저히 줄어든 41.7%과 58.3%를 보였다. 하지만 실시예 1은 표 5에서 Sensitivity가 97.24%를 보였음에도 모델이 참으로 예측한 것에 대해서 실제 정답이 참인 평가 메트릭(PPV)에서 100%의 성능을 보여주었기에 임상에서의 결과인 표 8에서도 가장 높은 51.7%과 75%의 성능이 나온 것을 확인할 수 있다. 즉, 본 발명의 위내시경 시스템이 다른 딥러닝 네트워크에 비해 위내시경 이미지의 맹점을 검사하는데 매우 적합한 것을 확인할 수 있다.

상술한 바와 같은 위내시경 시스템은 컴퓨터에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수 있다. 상기 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다. 여기서 비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

본 발명의 보호범위가 이상에서 명시적으로 설명한 실시예의 기재와 표현에 제한되는 것은 아니다. 또한, 본 발명이 속하는 기술분야에서 자명한 변경이나 치환으로 말미암아 본 발명이 보호범위가 제한될 수도 없음을 다시 한번 첨언한다.

Claims (5)

1. 위내시경시에 필수적으로 검사하여야 하는 모든 위치에 대하여 검사가 수행되었는지 여부를 검사하여 맹점이 발생하는 것을 방지하기 위한 위내시경 시스템으로서,
   위내시경 장치에서 획득한 위내시경 이미지를 위의 해부학적 위치에 따라 분류하는 맹점검사용 딥러닝 모듈을 포함하고,
   상기 맹점검사용 딥러닝 모듈의 딥러닝 네트워크는 잔차 학습을 이용하되, 잔차 블록에 어텐션 모듈이 추가된 모델인 것을 특징으로 하는 위내시경 시스템.
   
2. 제1항에 있어서,
   상기 딥러닝 네트워크는 소장, 위 및 십이지장에 대한 위내시경 이미지를 학습데이터로 학습하되, 소장, 위 및 십이지장의 위치에 따라 위내시경 이미지를 클래스로 분류하는 것을 특징으로 하는 위내시경 시스템.
   
3. 제2항에 있어서,
   상기 소장의 위내시경 이미지 또는 상기 십이지장의 위내시경 이미지는 해부학적 위치와 무관하게 하나의 클래스로 분류하고, 상기 위의 위내시경 이미지는 복수의 클래스로 분류하는 것을 특징으로 하는 위내시경 시스템.
   
4. 제2항에 있어서,
   상기 학습데이터로 제공되는 위내시경 이미지는 겸자가 찍힌 위내시경 이미지를 포함하며, 겸자가 찍힌 위내시경을 소장, 위 및 십이지장에 대한 위내시경 이미지와 다른 클래스로 분류하는 것을 특징으로 하는 위내시경 시스템.
   
5. 피검사자의 식도, 위 및 십이지장 중 어느 하나의 내부에 대한 위내시경 이미지를 수집하는 위내시경 장치;
   상기 위내시경 장치에서 획득한 위내시경 이미지를 위의 해부학적 위치에 따라 분류하는 맹점검사용 딥러닝 모듈; 및
   상기 맹점검사용 딥러닝 모듈이 분류한 위내시경 이미지에서 필수적으로 검사하여야 하는 위치 중 적어도 일부가 누락된 경우 알림을 출력하는 출력모듈;을 포함하고,
   상기 맹점검사용 딥러닝 모듈의 딥러닝 네트워크는 잔차 학습을 이용하되, 잔차 블록에 어텐션 모듈이 추가된 모델인 것을 특징으로 하는 위내시경 시스템.