KR102222547B1 - 인공지능 기반의 대장내시경 영상 분석 방법 - Google Patents

Abstract

본 발명은 인공지능 기반의 대장내시경 영상 분석 방법에 관한 것이다.
본 발명에 따른 인공지능 기반의 대장내시경 영상 분석 방법은, 대장내시경 표준 8 부위 촬영 영상에 대해 인공지능 기반의 복수의 영상 분류 모델을 구성하는 단계와; 대장내시경 표준 8 부위의 영상에 대응하는 각 대상 부위 및 인접 부위에 대해 학습된 복수의 영상 분류 모델을 각각 구성하는 단계와; 대장내시경 프로브를 항문을 통해 대장 내부에 삽입하여 맹장으로부터 항문 쪽으로 대장내시경 프로브를 회수하면서 대장내시경 표준 8 부위에 대한 촬영을 수행하는 단계와; 촬영 수행 중 촬영된 영상에 대하여 복수의 영상 분류 모델을 이용하여 대장의 해부학적 위치를 자동으로 분류 및 인식하고, 표준 8 부위에 대한 영상을 촬영했는지를 검증하는 단계; 및 촬영된 대장내시경 표준 8 부위에 대한 영상에 대해 조직 생체검사를 위한 영상 분류 모델을 이용하여 병변의 종류에 따라 영상을 분류하고, 분류에 따라 입력 영상에 대한 병변 및 병증을 찾아내고 위치를 기록하며, 영상에 조직 생체검사 후보 영역을 예측하여 표시해 주는 단계를 포함한다.

Description

인공지능 기반의 대장내시경 영상 분석 방법{AI(Artificial Intelligence) -based colonoscopy image analysis method}

본 발명은 대장내시경 영상 분석 방법에 관한 것으로서, 더 상세하게는 대장내시경 영상을 인공지능(Artificial Intelligence; AI) 모델을 이용하여 분석함으로써, 검사중인 대장의 해부학적 위치를 자동으로 인지하고, 종양성 병변, 비정상 점막, 궤양성 대장염을 탐색 및 조직 생체검사 후보영역을 예측해 주는 인공지능 기반의 대장내시경 영상 분석 방법에 관한 것이다.

대장암은 국내에서 전체 암 발생률 2위(2018년 기준)를 차지하는 흔한 암종이다. 서구화된 식습관과 진단 기술의 발달로 대장암 발생률은 더욱 급격히 증가하고 있다. 80∼90%의 대장암은 대장에 생긴 작은 혹인 용종(선종)에서 시작한다는 점이다. 대장내시경 검사를 통해 이 용종을 조기 발견하여 제거한다면 대장암에 의한 사망률을 66%나 낮출 수 있게 된다.

대장암 검진의 목적은 대장암을 조기에 발견하여 대장암 관련 사망을 감소시키는 것에 있다. 지금까지 연구 결과에 의하면 대장암 검진에 의한 대장암 사망의 감소 효과는 검사 방법에 따라 16∼75%로 다양하다. 암검진 방법은 민감도와 특이도가 높으면서도 위험도 혹은 합병증이 없으며 비용이 저렴하여야 한다. 현재까지 대장암 검진 방법으로 제시되고 있는 방법에는 분변잠혈검사, 에스결장경검사, 대장내시경검사, 대장이중조영검사 등이 있다. 분변잠혈검사는 서구 유럽에서 대단위로 시행된 무작위 임상시험 연구 결과 대장암 사망률을 15∼33% 감소시키는 것으로 보고되고 있다. 분변잠혈검사는 검사로 인한 합병증이 없고 검사 비용이 저렴하며 비교적 간단하게 검사를 할 수 있는 장점이 있는 반면 1회 검사의 낮은 민감도와 양성 예측도, 높은 위양성률로 인한 추가 검사 등이 문제로 지적되고 있다.

따라서 최근에는 대장내시경을 이용한 검진이 권고되고 있으나 상대적으로 고가의 비용, 드물지만 심각한 합병증(대장천공 등), 전 처치로 인한 고통과 수검자의 불편, 숙련된 내시경의사의 부족 등으로 다수의 일반인을 대상으로 하는 국가검진에는 제한적(분변잠혈검사 이상소견자에 대한 추가검사 등)으로 적용되고 있다.

한국 등록특허공보 제10-2095730호(특허문헌 1)에는 "딥러닝 기반의 대장 병변 검출 방법"이 개시되어 있는 바, 이에 따른 딥러닝 기반의 대장 병변 검출 방법은, 정보처리장치에 의해 수행되는 방법으로, (A) 학습데이터를 이용하여 대장 조직의 병변이 딥러닝되어, 진단 모델이 생성되는 단계; (B) 진단 대상 이미지가 입력되는 단계; (C) 상기 진단 모델에 기초하여, 상기 진단 대상 이미지에서 병변부위가 검출되는 단계; 및 (D) 상기 진단 대상 이미지에 상기 병변부위가 표시되는 단계를 포함하고, 상기 (A) 단계는, (A1) 복수의 대장 이미지와, 각각의 상기 대장 이미지 내의 대장 조직을 조직 요소 별로 세분화한 복수의 조직요소 이미지가 제1 학습데이터로 입력되는 단계; (A2) 상기 제1 학습데이터를 입력으로 하는 딥러닝을 통해, 조직요소 분류모델이 생성되는 단계; (A3) 상기 조직 요소 별로, 병변이 없는 정상 이미지와, 상기 병변이 존재하는 병변 이미지가 제2 학습데이터로 입력되는 단계; 및 (A4) 상기 제2 학습데이터를 입력으로 하는 딥러닝을 통해, 상기 조직 요소 별로 병변부위를 검출하는 병변검출 모델이 생성되는 단계를 포함하고, 상기 (C) 단계는 상기 진단 대상 이미지가 상기 조직요소 분류모델에 입력되어 상기 조직요소 이미지 별로 분류되는 단계와, 상기 조직요소 분류모델에 의해 분류된 상기 조직요소 이미지 각각이 상기 병변검출 모델에 입력되어 상기 조직요소 이미지별로 병변부위가 검출되는 단계를 포함하는 것을 특징으로 한다.

이상과 같은 특허문헌 1의 경우, 진단 과정 중 조직요소 분류모델로 진단 대상 이미지에서 대장 조직 요소인 점막, 점막근판과 점막하조직에 대한 이미지를 추출하는 과정과, 점막, 점막근판과 점막하조직에서의 병변부위를 검출하는 과정을 통해, 진단 대상 이미지 상의 대장 조직의 어느 부분에 병변이 존재하는지 여부가 표시되는 장점이 있기는 하나, 이는 단지 진단 대상 이미지 상의 대장 조직의 어느 부분에 병변이 존재하는지를 표시할 뿐, 대장내시경 검사에서 촬영해야 하는 표준 8 부위를 촬영했는지에 대해 검증 과정이 없고, 생체검사 위치 후보를 예측해 주지는 못하는 단점이 있다.

한국 등록특허공보 제10-2095730호(2020.04.02. 공고)

본 발명은 상기와 같은 사항을 종합적으로 감안하여 창출된 것으로서, 대장내시경 영상을 인공지능(AI) 모델을 이용하여 분석함으로써, 검사중인 대장의 해부학적 위치를 자동으로 인지하고, 필수 촬영 부위(대장내시경 검사에서 촬영해야 하는 표준 8 부위)의 촬영 여부를 검증하며, 종양성 병변, 비정상 점막, 궤양성 대장염을 탐색 및 조직 생체검사 후보영역을 예측하여 영상에 표시해 주는 인공지능 기반의 대장내시경 영상 분석 방법을 제공함에 그 목적이 있다.

상기의 목적을 달성하기 위하여 본 발명에 따른 인공지능 기반의 대장내시경 영상 분석 방법은,

대장내시경 촬영 영상을 컴퓨터로 입력받아 컴퓨터에 구축되어 있는 인공지능 학습 모델에 의해 대장내시경 영상을 분석하는 방법으로서,

a) 대장내시경 표준 8 부위 촬영 영상에 대해 인공지능 기반의 복수의 영상 분류 모델을 구성하는 단계와;

b) 상기 대장내시경 표준 8 부위의 영상에 대응하는 각 대상 부위 및 인접 부위에 대해 학습된 복수의 영상 분류 모델을 각각 구성하는 단계와;

c) 대장내시경 프로브를 항문을 통해 대장 내부에 삽입하여 맹장으로부터 항문 쪽으로 대장내시경 프로브를 회수하면서 상기 대장내시경 표준 8 부위에 대한 촬영을 수행하는 단계와;

d) 상기 촬영 수행 중 촬영된 영상에 대하여 상기 복수의 영상 분류 모델을 이용하여 대장의 해부학적 위치를 자동으로 분류 및 인식하고, 표준 8 부위에 대한 영상을 촬영했는지를 검증하는 단계; 및

e) 상기 촬영된 대장내시경 표준 8 부위에 대한 영상에 대해 조직 생체검사를 위한 영상 분류 모델을 이용하여 병변의 종류에 따라 영상을 분류하고, 분류에 따라 입력 영상에 대한 병변 및 병증을 찾아내고 위치를 기록하며, 상기 영상에 조직 생체검사 후보 영역을 예측하여 표시해 주는 단계를 포함하는 점에 그 특징이 있다.

여기서, 상기 단계 b)에서 상기 학습된 복수의 영상 분류 모델을 각각 구성함에 있어서, 대상 부위와 인접한 부위로 분류되도록 영상 분류 모델을 구성하되, 제1 분류 모델 내지 제10 분류 모델로 분류하여 영상 분류 모델을 구성할 수 있다.

이때, 상기 제1 분류 모델은 대상 부위는 회장 말단부, 인접한 부위는 맹장·충수돌기, 상행결장으로 구성되고, 제2 분류 모델은 대상 부위는 맹장·충수돌기, 인접한 부위는 회장 말단부, 상행결장으로 구성될 수 있다.

또한, 상기 제3 분류 모델은 대상 부위는 상행결장, 인접한 부위는 맹장·충수돌기, 간만곡으로 구성되고, 제4 분류 모델은 대상 부위는 간만곡, 인접한 부위는 상행결장, 횡행결장으로 구성될 수 있다.

또한, 상기 제5 분류 모델은 대상 부위는 횡행결장, 인접한 부위는 간만곡, 비만곡으로 구성되고, 제6 분류 모델은 대상 부위는 비만곡, 인접한 부위는 횡행결장, 하행결장으로 구성될 수 있다.

또한, 상기 제7 분류 모델은 대상 부위는 하행결장, 인접한 부위는 비만곡, 에스 결장으로 구성되고, 제8 분류 모델은 대상 부위는 에스 결장, 인접한 부위는 하행결장, 직장으로 구성될 수 있다.

또한, 상기 제9 분류 모델은 대상 부위는 직장, 인접한 부위는 에스 결장, 항문으로 구성되고, 제10 분류 모델은 대상 부위는 항문, 인접한 부위는 직장으로 구성될 수 있다.

또한, 상기 단계 c)에서 맹장으로부터 항문 쪽으로 대장내시경 프로브를 회수하면서 상기 대장내시경 표준 8 부위에 대한 촬영을 수행함에 있어서, 맹장/충수돌기 → 상행결장 → 간만곡 → 횡행결장 → 비만곡 → 하행결장 → 에스 결장 → 직장 순서로 촬영을 수행할 수 있다.

이때, 바람직하게는 추가적인 검사 추천 위치로 회장 말단부와 항문을 더 촬영할 수 있다.

또한, 상기 단계 d)에서 상기 복수의 영상 분류 모델을 이용하여 대장의 해부학적 위치를 자동으로 분류 및 인식함에 있어서, 영상 분류 모델들의 출력 확률값 중에서 출력 확률값이 가장 큰 모델을 분류 결과로 선택할 수 있다.

또한, 상기 단계 d)에서 상기 복수의 영상 분류 모델을 이용하여 대장의 해부학적 위치를 자동으로 분류 및 인식함에 있어서, 촬영 영상이 입력되면 제1, 2, 3 모델을 이용하여 회장 말단부, 맹장/충수돌기, 상행결장 여부를 인식하고, 제2, 3, 4 모델을 이용하여 맹장/충수돌기, 상행결장, 간만곡 여부를 인식하며, 제3, 4, 5 모델을 이용하여 상행결장, 간만곡, 횡행결장 여부를 인식하고, 제4, 5, 6 모델을 이용하여 간만곡, 횡행결장, 비만곡 여부를 인식하며, 제5, 6, 7 모델을 이용하여 횡행결장, 비만곡, 하행결장 여부를 인식하고, 제6, 7, 8 모델을 이용하여 비만곡, 하행결장, 에스결장 여부를 인식하며, 제7, 8, 9 모델을 이용하여 하행결장, 에스결장, 직장 여부를 인식하고, 제8, 9, 10 모델을 이용하여 에스결장, 직장, 항문 여부를 인식할 수 있다.

또한, 상기 단계 d)에서 표준 8 부위에 대한 영상을 촬영했는지를 검증함에 있어서, 표준 8 부위 중 검증할 부위를 선택하여, 입력된 영상이 표준 8 부위 중의 선택한 부위가 맞는지 검증할 수 있다.

이때, 상기 입력된 영상이 선택한 부위가 맞는지 검증함에 있어서, 미리 설정된 검증 임계값 조건을 만족하면 표준 8 부위 중 선택한 부위에 대한 영상을 촬영한 것으로 인증할 수 있다.

또한, 상기 단계 e)에서 상기 영상에 조직 생체검사 후보 영역을 예측하여 표시해 줌에 있어서, 상기 조직 생체검사를 위한 영상 분류 모델을 이용하여 표준 8 부위에 대한 영상에 대해 비정상 점막, 종양성 병변, 궤양성 대장염, 그외 병변으로 분류하고, 상기 비정상 점막과 궤양성 대장염에 대해서는 비정상 점막 분할 모델을 이용하여 입력된 영상을 정상 영역, 비정상 점막, 출혈 영역으로 분할하여 입력 영상에 오버레이(overlay)하여 표시해 줄 수 있다.

이때, 상기 비정상 점막 분할 모델은 영상을 정상 영역, 비정상 점막, 궤양성 대장염, 출혈 영역으로 분할할 수 있도록 학습된 모델일 수 있다.

여기서, 또한 상기 종양성 병변에 대해서는 종양성 병변 분류 모델을 이용하여 종양성 병변을 진행암과 작은 종양성 병변, 편평 병변으로 분류하고, 상기 진행암의 경우는 진행암 분할 모델을 이용하여 입력 영상에서 진행암 영역을 분할하며, 생체검사 위치 예측 모델을 이용하여 조직 생체검사를 위한 후보 지점을 예측하여 입력 영상에 표시해 줄 수 있다.

이때, 상기 생체검사 위치 예측 모델은 실제로 생체검사를 하여 검사 결과가 확인된 위치와, 암이 진행된 부위를 나타낼 수 있는 돌출 위치로 학습된 모델일 수 있다.

여기서, 또한 상기 작은 종양성 병변의 경우는 병변 분할 모델을 이용하여 입력 영상에서 작은 종양성 병변 또는 편평 병변 영역을 분할하고, 분할된 영역을 입력 영상에 오버레이(overlay)하여 표시해 줄 수 있다.

이와 같은 본 발명에 의하면, 대장내시경 영상을 인공지능(AI) 모델을 이용하여 분석함으로써, 검사중인 대장의 해부학적 위치를 자동으로 알 수 있고, 필수 촬영 부위(대장내시경 표준 8 부위)의 촬영 여부를 검증할 수 있으며, 종양성 병변(대장 폴립, 용종), 비정상 점막, 궤양성 대장염을 탐색 및 조직 생체검사 후보영역을 쉽게 알 수 있는 장점이 있다.

또한, 대장내시경 검사 후 대장의 해부학적 구조에 검사 결과를 자동으로 기록할 수 있고, 조직 생체검사 위치를 결정할 때, 가장 진행된 병변 부위를 예측하도록 학습된 모델을 기반으로 예측함에 따라 정확한 생체검사 위치를 예측할 수 있다.

도 1은 대장내시경 표준 8 부위 촬영 및 추천 2부위 촬영을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 인공지능 기반의 대장내시경 영상 분석 방법의 실행 과정을 나타낸 흐름도이다.
도 3은 일반적인 영상 분류 방법으로서 특정 부위와 그 외 부위로 분류하는 모델 구성을 나타낸 도면이다.
도 4는 영상 분류 모델의 구성 및 각 분류 모델의 예측 결과(분류 대상)를 나타낸 도면이다.
도 5는 대장내시경 검사 시 검사 부위와 내시경의 이동 경로를 나타낸 도면이다.
도 6은 영상 분류 모델을 이용하여 대장의 해부학적 위치를 자동으로 분류 및 인식하는 것을 나타낸 도면이다.
도 7은 맹장으로부터 대장내시경의 회수 과정에 대한 영상 분류 순서를 나타낸 흐름도이다.
도 8은 표준 8 부위에 대한 영상을 촬영했는지를 검증하는 과정을 나타낸 도면이다.
도 9는 조직 생체검사를 위한 영상 분류 모델에 의한 입력 영상 분류 및 비정상 점막 분할 모델에 의한 비정상 점막 및 궤양성 대장염의 분할을 나타낸 도면이다.
도 10은 조직 생체검사를 위한 영상 분류 모델에서의 종양성 병변 분류 모델에 의한 병변 분류와 진행암 분할 모델 및 병변 분할 모델에 의한 진행암 및 작은 종양성 병변의 분할을 각각 나타낸 도면이다.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되지 말아야 하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.

여기서, 본 발명의 실시예에 대하여 본격적으로 설명하기에 앞서, 본 발명의 대장내시경 영상 분석 방법에 대한 이해를 돕기 위해 대장내시경 사진 촬영에 대해 먼저 간략히 설명해 보기로 한다.

대장내시경 검사의 결과는 문서 형태뿐 아니라 사진으로도 남겨야 한다. 따라서, 사진 촬영은 병변의 분석 및 보고의 목적뿐만 아니라 추적 검사를 통한 소견 비교, 의사 상호 간의 토의, 수검자에 대한 설명 및 교육의 목적으로 활용될 수 있다. 또한 대장내시경이 맹장까지 완전히 삽입이 되었는지, 병변을 제대로 관찰하였는지, 충분한 시간 동안 대장 점막 관찰이 이루어졌는지를 객관적으로 보여줌으로써, 향후 대장내시경 정도 관리의 자료로도 매우 유용하게 활용될 수 있으므로 사진 촬영 및 보관이 필요하며, 최근 영상 기술의 발달로 고해상도의 이미지 파일로 저장하여 보관하는 것이 바람직하다.

양질의 사진을 촬영하기 위해서는 병변이나 병변 주위 분변, 음식물 잔사 또는 기포 등을 물로 씻어내어 병변과 주위 배경이 깨끗이 보이도록 한 다음 촬영 한다. 또한 렌즈에 묻어 있는 물질도 씻어내야 깨끗한 사진을 얻을 수 있다. 촬영하고자 하는 병변은 화면의 중앙에 위치하도록 하며 병변의 일부가 너무 밝거나 배경이 너무 어둡지 않은지 점검하여야 한다. 사진은 근접 촬영에 앞서 병변 전체가 화면 안에 들어올 뿐만 아니라 주위 배경과의 관계를 알 수 있도록 구도를 설정하여 원거리에서 촬영하고 점차 병변에 근접하면서 자세한 근접상을 촬영한다. 병변이 너무 커서 화면 안에 들어오지 않는 경우에는 전체 모양을 추정할 수 있도록 병변을 분할하여 촬영한다.

사진은 여러 각도에서 촬영하도록 하며 특히 진단적 가치가 있는 특징적인 병변의 모양을 촬영하도록 한다. 또한 공기의 주입량을 다르게 함으로써 장관의 신전도 변화에 따라 병변의 모양이 달라지는 것을 촬영하는 것이 진단에 도움이 되기도 한다. 여러 개의 병변이 있는 경우에는 가능하면 모두 촬영하되, 병변의 개수가 너무 많은 경우에는 대표적인 일부 병변들만 촬영하도록 한다.

병변이 없는 정상 소견인 경우에도 전 대장 관찰을 충분히 시행하였음을 증명하기 위해 대장 부위별로 사진 촬영을 하는 것이 좋다. 일반적으로 도 1에 도시된 바와 같이, 대장내시경 표준 8 부위(110)의 촬영을 해야 한다.

첫째, 항문연(anal verge)으로부터 2㎝ 위치에서 전체 직장을 바라보며 촬영한 사진이 필요하다. 둘째, 에스 결장 중간 부위에서 사진을 촬영한다. 셋째, 하행 결장의 충분한 관찰을 증명할 수 있는 좌결장 곡부 직하방 하행 결장에서의 사진 촬영이 필요하다. 좌결장 곡부는 고정점이면서 때로 비장이 비쳐 푸르게 보일 수 있으므로 이를 사진 촬영으로 남기면 좋다. 넷째, 좌결장 곡부 바로 근위부의 원위 횡행 결장에서 사진을 촬영한다. 다섯째, 우결장 곡부 바로 원위부 근위 횡행 결장에서 사진을 촬영한다. 이때, 우결장 곡부의 검푸른 간 음영이 보이도록 촬영할 수 있다. 여섯째, 우결장 곡부 바로 근위부 원위 상행 결장을 촬영한다. 일곱째, 회맹판을 촬영한다. 여덟째, 충수 개구부를 촬영하는데, 이는 대장내시경이 맹장까지 완전히 삽입되었으며, 결과적으로 대장 전체를 관찰했음을 증명하는 지표가 된다.

한편, 회장 말단으로 삽입이 용이하게 이루어진 경우에는 융모에 의한 회장 점막의 특징적 모양이 나타나도록 회장 말단부(120)를 촬영하는 것도 추천된다. 또한, 직장에서 내시경을 반전시켜 항문(130) 쪽을 촬영하는 것도 추천된다. 내시경을 빼면서 사진을 촬영하는 경우에는 역순으로 촬영하면 된다. (이상은 보건복지부/국립암센터 발간 『대장암 검진 질지침(2차 개정판)』 79∼80 페이지의 내용을 인용한 것임)

그러면, 이상과 같은 배경 지식을 바탕으로 이하에서는 본 발명의 실시예에 대하여 설명해 보기로 한다.

도 2는 본 발명의 실시예에 따른 인공지능 기반의 대장내시경 영상 분석 방법의 실행 과정을 나타낸 흐름도이다.

도 2를 참조하면, 본 발명에 따른 인공지능 기반의 대장내시경 영상 분석 방법은, 대장내시경 촬영 영상을 컴퓨터로 입력받아 컴퓨터에 구축되어 있는 인공지능(예를 들면, 영상 분류 모델)에 의해 대장내시경 영상을 분석하는 방법으로서, 먼저 대장내시경 표준 8 부위 촬영 영상에 대해 인공지능 기반의 복수의 영상 분류 모델을 구성한다(단계 S201). 여기서, 이와 같은 복수의 영상 분류 모델 구성(본 발명의 영상 분류 모델 구성)과 관련하여, 대비되는 일반적인 대장내시경 영상 분류 방법에 대해 간략히 설명해 보기로 한다.

도 3은 일반적인 대장내시경 영상 분류 방법으로서 특정 부위와 그 외 부위로 분류하는 모델 구성을 나타낸 도면이다.

도 3을 참조하면, 일반적인 대장내시경 표준 8 부위에 대응하는 각 특정 부위로 분류하는 모델(모델 1∼모델 8)(310)과 그 외 부위로 분류하는 모델(모델 9 및 모델 10)(320)을 구성한다. 이때, 상기 특정 부위는 회장 말단부, 맹장·충수돌기, 상행결장, 간만곡, 횡행결장, 비만곡, 하행결장, 에스 결장을 포함할 수 있다. 또한, 상기 그 외 부위는 직장, 항문을 포함할 수 있다.

그런데, 이상과 같은 일반적인 영상 분류 방법으로 영상 분류 모델을 구성하면 인접 부위 제한이 없이 예측 결과가 나오기 때문에 오분류 결과가 나올 수 있다. 예를 들면, 실제로는 맹장/충수돌기 부근인데, 오분류로 에스결장이 나올 수 있다. 따라서, 본 발명에서는 이와 같은 문제점에 대응하기 위해 후술하는 도 7에서와 같은 방법으로 모델을 사용(구성)하면서 영상을 분류한다.

다시 도 2를 참조하면, 이렇게 하여 복수의 영상 분류 모델의 구성이 완료되면, 상기 대장내시경 표준 8 부위의 영상에 대응하는 각 대상 부위 및 인접 부위에 대해 학습된 복수의 영상 분류 모델을 각각 구성한다(단계 S202). 여기서, 이와 같이 상기 학습된 복수의 영상 분류 모델을 각각 구성함에 있어서, 대상 부위와 인접한 부위로 분류되도록 영상 분류 모델을 구성하되, 도 4와 같이, 제1 분류 모델 내지 제10 분류 모델로 분류하여 영상 분류 모델을 구성할 수 있다. 이때, 상기 제1 분류 모델은 대상 부위는 회장 말단부, 인접한 부위는 맹장·충수돌기, 상행결장으로 구성되고, 제2 분류 모델은 대상 부위는 맹장·충수돌기, 인접한 부위는 회장 말단부, 상행결장으로 구성될 수 있다.

또한, 상기 제3 분류 모델은 대상 부위는 상행결장, 인접한 부위는 맹장·충수돌기, 간만곡으로 구성되고, 제4 분류 모델은 대상 부위는 간만곡, 인접한 부위는 상행결장, 횡행결장으로 구성될 수 있다.

또한, 상기 제5 분류 모델은 대상 부위는 횡행결장, 인접한 부위는 간만곡, 비만곡으로 구성되고, 제6 분류 모델은 대상 부위는 비만곡, 인접한 부위는 횡행결장, 하행결장으로 구성될 수 있다.

또한, 상기 제7 분류 모델은 대상 부위는 하행결장, 인접한 부위는 비만곡, 에스 결장으로 구성되고, 제8 분류 모델은 대상 부위는 에스 결장, 인접한 부위는 하행결장, 직장으로 구성될 수 있다.

또한, 상기 제9 분류 모델은 대상 부위는 직장, 인접한 부위는 에스 결장, 항문으로 구성되고, 제10 분류 모델은 대상 부위는 항문, 인접한 부위는 직장으로 구성될 수 있다.

이상에 의해 복수의 영상 분류 모델의 구성 및 학습된 복수의 영상 분류 모델들의 구성이 완료되면, 대장내시경 프로브를 항문을 통해 대장 내부에 삽입하여 맹장으로부터 항문 쪽으로 대장내시경 프로브를 회수하면서 상기 대장내시경 표준 8 부위에 대한 촬영을 수행한다(단계 S203). 여기서, 이와 같이 맹장으로부터 항문 쪽으로 대장내시경 프로브를 회수하면서 상기 대장내시경 표준 8 부위에 대한 촬영을 수행함에 있어서, 도 5에 도시된 바와 같이, 맹장/충수돌기 → 상행결장 → 간만곡 → 횡행결장 → 비만곡 → 하행결장 → 에스 결장 → 직장 순서로 촬영을 수행할 수 있다. 물론, 수술 환자의 경우에는 이와 같은 순서와 다를 수 있다. 이때, 바람직하게는 추가적인 검사 추천 위치로 회장 말단부와 항문을 더 촬영할 수 있다. 도 5에서 probe 삽입, probe 회수는 프로브의 이동 방향을 의미한다. 또한, 이웃하는 영역을 자세히 검사하기 위해, 삽입 및 회수가 여러 번 있을 수 있다. 또한, 전술한 바와 같이 대상 부위와 인접한 부위로 학습된 모델을 구성함으로써 검사 부위의 이동에 제한 없이 대장내시경을 동작시킬 수 있다.

이후, 상기 촬영 수행 중 촬영된 영상에 대하여 상기 복수의 영상 분류 모델을 이용하여 대장의 해부학적 위치를 자동으로 분류 및 인식하고, 표준 8 부위에 대한 영상을 촬영했는지를 검증한다(단계 S204). 여기서, 상기 복수의 영상 분류 모델을 이용하여 대장의 해부학적 위치를 자동으로 분류 및 인식함에 있어서, 도 6과 같이, 영상 분류 모델들의 출력 확률값 중에서 출력 확률값이 가장 큰 모델을 분류 결과로 선택할 수 있다. 즉, 도 6의 예시의 경우, 가장 큰 출력 확률값은 0.95이고, 이에 대응하는 모델은 제2 분류 모델로서 대상 부위로 맹장, 충수돌기를 분류 결과로 선택할 수 있다.

여기서, 맹장으로부터 대장내시경의 회수 과정에 대한 영상 분류 순서와 관련해서는 뒤에서 별도로 설명하기로 한다.

또한, 상기 단계 S204에서 표준 8 부위에 대한 영상을 촬영했는지를 검증함에 있어서, 도 8과 같이, 표준 8 부위 중 검증할 부위(예를 들면, 맹장, 충수돌기 부위)를 선택(수동으로 지정)하여, 입력된 영상이 표준 8 부위 중의 선택한 부위가 맞는지 검증할 수 있다. 이때, 상기 입력된 영상이 선택한 부위가 맞는지 검증함에 있어서, 미리 설정된 검증 임계값 조건을 만족하면 표준 8 부위 중 선택한 부위(맹장, 충수돌기)에 대한 영상을 촬영한 것으로 인증할 수 있다.

이후, 상기 촬영된 대장내시경 표준 8 부위에 대한 영상에 대해 조직 생체검사를 위한 영상 분류 모델을 이용하여 병변의 종류에 따라 영상을 분류하고, 분류에 따라 입력 영상에 대한 병변 및 병증을 찾아내고 위치를 기록하며, 상기 영상에 조직 생체검사 후보 영역을 예측하여 표시해 준다(단계 S205).

여기서, 상기 영상에 조직 생체검사 후보 영역을 예측하여 표시해 줌에 있어서, 도 9의 (A)와 같이, 상기 조직 생체검사를 위한 영상 분류 모델을 이용하여 표준 8 부위에 대한 영상에 대해 비정상 점막, 종양성 병변(대장 폴립, 용종), 궤양성 대장염, 그외 병변으로 분류하고, 상기 비정상 점막과 궤양성 대장염에 대해서는, 도 9의 (B)와 같이, 비정상 점막 분할 모델을 이용하여 입력된 영상을 정상 영역, 비정상 점막, 출혈 영역으로 분할하여 입력 영상에 오버레이(overlay)하여 표시해 줄 수 있다. 여기서, 상기 비정상 점막 분할 모델은 영상을 정상 영역, 비정상 점막, 궤양성 대장염, 출혈 영역으로 분할할 수 있도록 학습된 모델일 수 있다.

이때, 또한 상기 종양성 병변(대장 폴립, 용종)에 대해서는, 도 10의 (A)와 같이, 종양성 병변 분류 모델을 이용하여 종양성 병변을 진행암과 작은 종양성 병변, 편평 병변으로 분류하고, 상기 진행암의 경우는, 도 10의 (B)와 같이, 진행암 분할 모델을 이용하여 입력 영상에서 진행암 영역을 분할하며, 생체검사 위치 예측 모델을 이용하여 조직 생체검사를 위한 후보 지점을 예측하여 입력 영상에 표시해 줄 수 있다. 여기서, 상기 생체검사 위치 예측 모델은 실제로 생체검사를 하여 검사 결과가 확인된 위치와, 암이 진행된 부위를 나타낼 수 있는 돌출 위치로 학습된 모델일 수 있다.

또한, 상기 작은 종양성 병변의 경우는, 도 10의 (C)와 같이, 병변 분할 모델을 이용하여 입력 영상에서 작은 종양성 병변 또는 편평 병변 영역을 분할하고, 분할된 영역을 입력 영상에 오버레이(overlay)하여 표시해 줄 수 있다.

한편, 도 7은 맹장으로부터 대장내시경의 회수 과정에 대한 영상 분류 순서를 나타낸 흐름도이다.

도 7을 참조하면, 이는 상기 도 2의 단계 S204에서 상기 복수의 영상 분류 모델을 이용하여 대장의 해부학적 위치를 자동으로 분류 및 인식하는 것에 대한 것으로서, 먼저 촬영 영상이 입력되면 제1, 2, 3 모델을 이용하여 맹장/충수돌기, 회장 말단부, 상행결장 여부를 인식한다(단계 S701∼S704). 단계 S704의 판별에서 상행결장이 아니면 단계 S701로 회귀하고, 상행결장이면 제2, 3, 4 모델을 이용하여 상행결장, 맹장/충수돌기, 간만곡 여부를 인식한다(단계 S705∼S708). 이때, 단계 S707의 판별에서 맹장, 충수돌기이면 단계 S701로 회귀한다. 단계 S708의 판별에서 간만곡이 아니면 단계 S705로 회귀하고, 간만곡이면 제3, 4, 5 모델을 이용하여 간만곡, 상행결장, 횡행결장 여부를 인식한다(단계 S709∼S712). 이 과정 중의 단계 S711의 판별에서, 상행결장이면 상기 단계 S705로 회귀하고, 상행결장이 아니면 횡행결장인지를 판별하여, 횡행결장이면 제4, 5, 6 모델을 이용하여 횡행결장, 간만곡, 비만곡 여부를 인식한다(단계 S713∼S716). 이때, 단계 S715의 판별에서 간만곡이면 단계 S709로 회귀한다. 단계 S716의 판별에서 비만곡이 아니면 단계 S713으로 회귀하고, 비만곡이면 제5, 6, 7 모델을 이용하여 비만곡, 횡행결장, 하행결장 여부를 인식한다(단계 S717∼S720). 이 과정 중의 단계 S719의 판별에서, 횡행결장이면 상기 단계 S713으로 회귀하고, 횡행결장이 아니면 하행결장인지를 판별하여, 하행결장이면 제6, 7, 8 모델을 이용하여 하행결장, 비만곡, 에스결장 여부를 인식한다(단계 S721∼S724). 이때, 단계 S723의 판별에서 비만곡이면 단계 S717로 회귀한다. 단계 S724의 판별에서 에스결장이 아니면 단계 S721로 회귀하고, 에스결장이면 제7, 8, 9 모델을 이용하여 에스결장, 하행결장, 직장 여부를 인식한다(단계 S725∼S728). 이 과정 중의 단계 S727의 판별에서, 하행결장이면 상기 단계 S721로 회귀하고, 하행결장이 아니면 직장인지를 판별하여, 직장이면 제8, 9, 10 모델을 이용하여 직장, 에스결장, 항문 여부를 인식한다(단계 S729∼S732). 이 단계 S729∼S732 중의 단계 S730의 판별에서 직장이면, 검사 종료 여부를 판별하여(단계 S733), 검사 종료이면 검사를 종료하고, 검사 종료가 아니면 상기 단계 S729로 회귀한다. 또한, 단계 S731의 판별에서 에스결장이면, 상기 단계 S725로 회귀하고, 에스결장이 아니면 항문인지를 판별하여(단계 S732), 항문이 아니면 상기 단계 S729로 회귀하고, 항문이면 검사 종료 여부를 판별하여(단계 S733), 검사 종료이면 검사를 종료한다.

이상의 설명과 같이, 본 발명에 따른 인공지능 기반의 대장내시경 영상 분석 방법은 대장내시경 영상을 인공지능(AI) 모델을 이용하여 분석함으로써, 검사중인 대장의 해부학적 위치를 자동으로 알 수 있고, 필수 촬영 부위(대장내시경 표준 8 부위)의 촬영 여부를 검증할 수 있으며, 종양성 병변(대장 폴립, 용종), 비정상 점막, 궤양성 대장염을 탐색 및 조직 생체검사 후보영역을 쉽게 알 수 있는 장점이 있다.

또한, 대장내시경 검사 후 대장의 해부학적 구조에 검사 결과를 자동으로 기록할 수 있고, 조직 생체검사 위치를 결정할 때, 가장 진행된 병변 부위를 예측하도록 학습된 모델을 기반으로 예측함에 따라 정확한 생체검사 위치를 예측할 수 있는 장점이 있다.

이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

110: 대장내시경 표준 8부위
120: 회장 말단부
130: 항문
310: 특정 부위로 분류하는 모델
320: 그 외 부위로 분류하는 모델

Claims (18)

1. 대장내시경 촬영 영상을 컴퓨터로 입력받아 컴퓨터에 구축되어 있는 인공지능 학습 모델에 의해 대장내시경 영상을 분석하는 방법으로서,
   a) 대장내시경 표준 8 부위 촬영 영상에 대해 인공지능 기반의 복수의 영상 분류 모델을 구성하는 단계와;
   b) 상기 대장내시경 표준 8 부위의 영상에 대응하는 각 대상 부위 및 인접 부위에 대해 학습된 복수의 영상 분류 모델을 각각 구성하는 단계와;
   c) 대장내시경 프로브를 항문을 통해 대장 내부에 삽입하여 맹장으로부터 항문 쪽으로 대장내시경 프로브를 회수하면서 상기 대장내시경 표준 8 부위에 대한 촬영을 수행하는 단계와;
   d) 상기 촬영 수행 중 촬영된 영상에 대하여 상기 복수의 영상 분류 모델을 이용하여 대장의 해부학적 위치를 자동으로 분류 및 인식하고, 표준 8 부위에 대한 영상을 촬영했는지를 검증하는 단계; 및
   e) 상기 촬영된 대장내시경 표준 8 부위에 대한 영상에 대해 조직 생체검사를 위한 영상 분류 모델을 이용하여 병변의 종류에 따라 영상을 분류하고, 분류에 따라 입력 영상에 대한 병변 및 병증을 찾아내고 위치를 기록하며, 상기 영상에 조직 생체검사 후보 영역을 예측하여 표시해 주는 단계를 포함하고,
   상기 단계 e)에서 상기 영상에 조직 생체검사 후보 영역을 예측하여 표시해 줌에 있어서, 상기 조직 생체검사를 위한 영상 분류 모델을 이용하여 표준 8 부위에 대한 영상에 대해 비정상 점막, 종양성 병변, 궤양성 대장염, 그외 병변으로 분류하고, 상기 비정상 점막과 궤양성 대장염에 대해서는 비정상 점막 분할 모델을 이용하여 입력된 영상을 정상 영역, 비정상 점막, 출혈 영역으로 분할하여 입력 영상에 오버레이(overlay)하여 표시해 주며,
   상기 비정상 점막 분할 모델은 영상을 정상 영역, 비정상 점막, 궤양성 대장염, 출혈 영역으로 분할할 수 있도록 학습된 모델이고,
   상기 종양성 병변에 대해서는 종양성 병변 분류 모델을 이용하여 종양성 병변을 진행암과 작은 종양성 병변, 편평 병변으로 분류하고, 상기 진행암의 경우는 진행암 분할 모델을 이용하여 입력 영상에서 진행암 영역을 분할하며, 생체검사 위치 예측 모델을 이용하여 조직 생체검사를 위한 후보 지점을 예측하여 입력 영상에 표시해 주며,
   상기 생체검사 위치 예측 모델은 실제로 생체검사를 하여 검사 결과가 확인된 위치와, 암이 진행된 부위를 나타낼 수 있는 돌출 위치로 학습된 모델이고,
   상기 작은 종양성 병변의 경우는 병변 분할 모델을 이용하여 입력 영상에서 작은 종양성 병변 또는 편평 병변 영역을 분할하고, 분할된 영역을 입력 영상에 오버레이(overlay)하여 표시해 주는 인공지능 기반의 대장내시경 영상 분석 방법.
   
2. 제1항에 있어서,
   상기 단계 b)에서 상기 학습된 복수의 영상 분류 모델을 각각 구성함에 있어서, 대상 부위와 인접한 부위로 분류되도록 영상 분류 모델을 구성하되, 제1 분류 모델 내지 제10 분류 모델로 분류하여 영상 분류 모델을 구성하는 인공지능 기반의 대장내시경 영상 분석 방법.
   
3. 제2항에 있어서,
   상기 제1 분류 모델은 대상 부위는 회장 말단부, 인접한 부위는 맹장·충수돌기, 상행결장으로 구성되고, 제2 분류 모델은 대상 부위는 맹장·충수돌기, 인접한 부위는 회장 말단부, 상행결장으로 구성되는 인공지능 기반의 대장내시경 영상 분석 방법.
   
4. 제2항에 있어서,
   상기 제1 분류 모델 내지 제10 분류 모델에서 제3 분류 모델은 대상 부위는 상행결장, 인접한 부위는 맹장·충수돌기, 간만곡으로 구성되고, 제4 분류 모델은 대상 부위는 간만곡, 인접한 부위는 상행결장, 횡행결장으로 구성되는 인공지능 기반의 대장내시경 영상 분석 방법.
   
5. 제2항에 있어서,
   상기 제1 분류 모델 내지 제10 분류 모델에서 제5 분류 모델은 대상 부위는 횡행결장, 인접한 부위는 간만곡, 비만곡으로 구성되고, 제6 분류 모델은 대상 부위는 비만곡, 인접한 부위는 횡행결장, 하행결장으로 구성되는 인공지능 기반의 대장내시경 영상 분석 방법.
   
6. 제2항에 있어서,
   상기 제1 분류 모델 내지 제10 분류 모델에서 제7 분류 모델은 대상 부위는 하행결장, 인접한 부위는 비만곡, 에스 결장으로 구성되고, 제8 분류 모델은 대상 부위는 에스 결장, 인접한 부위는 하행결장, 직장으로 구성되는 인공지능 기반의 대장내시경 영상 분석 방법.
   
7. 제2항에 있어서,
   상기 제1 분류 모델 내지 제10 분류 모델에서 제9 분류 모델은 대상 부위는 직장, 인접한 부위는 에스 결장, 항문으로 구성되고, 제10 분류 모델은 대상 부위는 항문, 인접한 부위는 직장으로 구성되는 인공지능 기반의 대장내시경 영상 분석 방법.
   
8. 제1항에 있어서,
   상기 단계 c)에서 맹장으로부터 항문 쪽으로 대장내시경 프로브를 회수하면서 상기 대장내시경 표준 8 부위에 대한 촬영을 수행함에 있어서, 맹장/충수돌기 → 상행결장 → 간만곡 → 횡행결장 → 비만곡 → 하행결장 → 에스 결장 → 직장 순서로 촬영을 수행하는 인공지능 기반의 대장내시경 영상 분석 방법.
   
9. 제8항에 있어서,
   추가적인 검사 추천 위치로 회장 말단부와 항문을 더 촬영하는 인공지능 기반의 대장내시경 영상 분석 방법.
   
10. 제1항에 있어서,
    상기 단계 d)에서 상기 복수의 영상 분류 모델을 이용하여 대장의 해부학적 위치를 자동으로 분류 및 인식함에 있어서, 영상 분류 모델들의 출력 확률값 중에서 출력 확률값이 가장 큰 모델을 분류 결과로 선택하는 인공지능 기반의 대장내시경 영상 분석 방법.
    
11. 제1항에 있어서,
    상기 단계 d)에서 상기 복수의 영상 분류 모델을 이용하여 대장의 해부학적 위치를 자동으로 분류 및 인식함에 있어서, 촬영 영상이 입력되면 제1, 2, 3 모델을 이용하여 회장 말단부, 맹장/충수돌기, 상행결장 여부를 인식하고, 제2, 3, 4 모델을 이용하여 맹장/충수돌기, 상행결장, 간만곡 여부를 인식하며, 제3, 4, 5 모델을 이용하여 상행결장, 간만곡, 횡행결장 여부를 인식하고, 제4, 5, 6 모델을 이용하여 간만곡, 횡행결장, 비만곡 여부를 인식하며, 제5, 6, 7 모델을 이용하여 횡행결장, 비만곡, 하행결장 여부를 인식하고, 제6, 7, 8 모델을 이용하여 비만곡, 하행결장, 에스결장 여부를 인식하며, 제7, 8, 9 모델을 이용하여 하행결장, 에스결장, 직장 여부를 인식하고, 제8, 9, 10 모델을 이용하여 에스결장, 직장, 항문 여부를 인식하는 인공지능 기반의 대장내시경 영상 분석 방법.
    
12. 제1항에 있어서,
    상기 단계 d)에서 표준 8 부위에 대한 영상을 촬영했는지를 검증함에 있어서, 표준 8 부위 중 검증할 부위를 선택하여, 입력된 영상이 표준 8 부위 중의 선택한 부위가 맞는지 검증하는 인공지능 기반의 대장내시경 영상 분석 방법.
    
13. 제12항에 있어서,
    상기 입력된 영상이 선택한 부위가 맞는지 검증함에 있어서, 미리 설정된 검증 임계값 조건을 만족하면 표준 8 부위 중 선택한 부위에 대한 영상을 촬영한 것으로 인증하는 인공지능 기반의 대장내시경 영상 분석 방법.
    
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제

Images