KR102602392B1 - 딥러닝 모델을 이용한 내시경 영상으로부터의 병변 검출 방법, 장치 및 프로그램 - Google Patents
딥러닝 모델을 이용한 내시경 영상으로부터의 병변 검출 방법, 장치 및 프로그램 Download PDFInfo
- Publication number
- KR102602392B1 KR102602392B1 KR1020200188886A KR20200188886A KR102602392B1 KR 102602392 B1 KR102602392 B1 KR 102602392B1 KR 1020200188886 A KR1020200188886 A KR 1020200188886A KR 20200188886 A KR20200188886 A KR 20200188886A KR 102602392 B1 KR102602392 B1 KR 102602392B1
- Authority
- KR
- South Korea
- Prior art keywords
- lesion
- image
- images
- learning model
- deep learning
- Prior art date
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 184
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 238000013136 deep learning model Methods 0.000 title claims description 61
- 206010028980 Neoplasm Diseases 0.000 claims description 19
- 201000011510 cancer Diseases 0.000 claims description 19
- 230000036210 malignancy Effects 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 abstract description 17
- 238000003745 diagnosis Methods 0.000 abstract description 2
- 238000005259 measurement Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 3
- 238000001574 biopsy Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 208000025865 Ulcer Diseases 0.000 description 1
- 238000002052 colonoscopy Methods 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
- G06T5/002—Denoising; Smoothing
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Endoscopes (AREA)
- Image Analysis (AREA)
Abstract
내시경 이미지 데이터를 활용하여 자동으로 실시간 병변을 검출 및 진단하고, 필요한 정보만을 효과적으로 저장하는 방법 및 시스템이 개시된다. 본 발명의 일 측면에서 제공되는 내시경 영상으로부터의 병변 검출 방법은 내시경 영상으로부터 실시간으로 병변을 자동 검출, 진단 및 저장할 수 있으며, 이에 따라 이를 보조진단도구로 활용하여, 임상 의사의 병변 검출 간과율을 낮추고, 객관적 측정을 통한 병변의 진단 정확도를 높일 수 있다.
Description
본 발명은 딥러닝 모델을 이용한 내시경 영상으로부터의 병변 검출 방법, 장치 및 프로그램에 관한 것이다.
대장 내시경 시술은 의사와 환자가 1 대 1 로 시술되는 검사로, 노동 집약적이고, 검사에 시간이 많이 소요되는 단점이 있다. 또한 시술이 반복적이고, 시술과정에서 의료진의 경험, 의료진의 컨디션, 피로도, 실수 등 다양한 요인들로 인해 관찰자 변동(inter observer) 또는 관찰자 내 변동(intra observer)이 존재할 수 있다. 여기서 관찰자 변동은 동일한 결과를 검사하는 둘 이상의 관찰자에 의해 얻어진 결과 사이의 변동량이고, 관찰자 내 변동은 동일한 결과를 두 번 이상 관찰 할 때 관찰자가 경험하는 변동량이다.
이에, 상부 위장관 내시경 Borrmann 4형을 관찰하지 못하거나 맹점부에 궤양성 병변을 관찰하지 못하는 문제가 있을 수 있다.
또한, 실시간으로 입력되는 이미지를 이미지마다 독립적으로 처리하다 보면 병변이 존재하는 환자의 경우 수백에서 수천 장의 이미지에서 병변이 검출되게 된다. 그렇기 때문에 내시경 시술 후의 결과 분석 및 확인이 용이하지 않은 실정이다.
본 발명의 일 측면에서의 목적은 내시경 이미지 데이터를 활용하여 자동으로 실시간 병변을 검출 및 진단하고, 필요한 정보만을 효과적으로 저장하는 방법 및 시스템을 제공하는 데 있다.
상기 목적을 달성하기 위하여, 본 발명의 일 측면에서
내시경 영상으로부터 복수의 프레임의 이미지를 획득하는 단계(단계 1);
상기 복수의 이미지를 제1 딥러닝 모델에 적용함으로써, 이미지 별 병변의 좌표 및 악성 확률을 획득하고, 이로부터 2 이상의 프레임에서 연속으로 병변이 검출되는지 판단하여, 2 이상의 프레임에서 연속으로 병변이 검출되는 경우 해당 이미지들을 데이터베이스에 저장하는 단계(단계 2);
상기 데이터베이스에 저장된 이미지를 제2 딥러닝 모델에 적용하여, 블러 여부를 판단 후, 블러로 판단된 이미지를 제거하는 단계(단계 3);
상기 블러 이미지가 제거된 데이터베이스 내 이미지 중 5 프레임 이상 연속적으로 이어지는 이미지는 동일 병변에 관한 것으로 판단하여 그룹화한 후, 상기 그룹 내에서 소정의 기준에 따라 1차 대표 이미지를 선별하는 단계(단계 4);
상기 선별된 1차 대표 이미지들을 제3 딥러닝 모델에 적용하여, 상기 1차 대표 이미지들간의 동일 병변 여부를 판단한 후, 동일한 병변 별로 1차 대표 이미지들을 분류하는 단계(단계 5); 및
상기 동일한 병변 별로 분류한 1차 대표 이미지들 중에서 병변 별로 2차 대표 이미지를 선별하여 제시하는 단계(단계 6);
를 포함하는 내시경으로부터 병변 검출 방법이 제공된다.
또한, 본 발명의 다른 측면에서
내시경 영상으로부터 복수의 프레임의 이미지를 획득하는 영상 획득부;
상기 복수의 이미지를 제1 딥러닝 모델에 적용함으로써, 이미지 별 병변의 좌표 및 악성 확률을 획득하고, 이로부터 2 이상의 프레임에서 연속으로 병변이 검출되는지 판단하여, 2 이상의 프레임에서 연속으로 병변이 검출되는 경우 해당 이미지들을 데이터베이스에 저장하는 이미지 저장 여부 판단부;
상기 데이터베이스에 저장된 이미지를 제2 딥러닝 모델에 적용하여, 블러 여부를 판단 후, 블러로 판단된 이미지를 제거하는 블러 이미지 제거부;
상기 블러 이미지가 제거된 데이터베이스 내 이미지 중 5 프레임 이상 연속적으로 이어지는 이미지는 동일 병변에 관한 것으로 판단하여 그룹화한 후, 상기 그룹 내에서 소정의 기준에 따라 1차 대표 이미지를 선별하는 1차 대표 이미지 선별부;
상기 선별된 1차 대표 이미지들을 제3 딥러닝 모델에 적용하여, 상기 1차 대표 이미지들간의 동일 병변 여부를 판단한 후, 동일한 병변 별로 1차 대표 이미지들을 분류하는 이미지 분류부; 및
상기 동일한 병변 별로 분류한 1차 대표 이미지들 중에서 병변 별로 2차 대표 이미지를 선별하여 제시하는 2차 대표 이미지 선별부;
를 포함하는 내시경 영상으로부터의 병변 검출 장치가 제공된다.
나아가, 본 발명의 또 다른 측면에서
프로세서와 결합되어, 컴퓨터로 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램은 상기 기록 매체에 저장된 명령어에 의해 상기 프로세서에서 실행되며,
상기 프로세서는,
내시경 영상으로부터 복수의 프레임의 이미지를 획득하는 제1 오퍼레이션;
상기 복수의 이미지를 제1 딥러닝 모델에 적용함으로써, 이미지 별 병변의 좌표 및 악성 확률을 획득하고, 이로부터 2 이상의 프레임에서 연속으로 병변이 검출되는지 판단하여, 2 이상의 프레임에서 연속으로 병변이 검출되는 경우 해당 이미지들을 데이터베이스에 저장하는 제2 오퍼레이션;
상기 데이터베이스에 저장된 이미지를 제2 딥러닝 모델에 적용하여, 블러 여부를 판단 후, 블러로 판단된 이미지를 제거하는 제3 오퍼레이션;
상기 블러 이미지가 제거된 데이터베이스 내 이미지 중 5 프레임 이상 연속적으로 이어지는 이미지는 동일 병변에 관한 것으로 판단하여 그룹화한 후, 상기 그룹 내에서 소정의 기준에 따라 1차 대표 이미지를 선별하는 제4 오퍼레이션;
상기 선별된 1차 대표 이미지들을 제3 딥러닝 모델에 적용하여, 상기 1차 대표 이미지들간의 동일 병변 여부를 판단한 후, 동일한 병변 별로 1차 대표 이미지들을 분류하는 제5 오퍼레이션; 및
상기 동일한 병변 별로 분류한 1차 대표 이미지들 중에서 병변 별로 2차 대표 이미지를 선별하여 제시하는 제6 오퍼레이션;
을 포함하는 내시경 영상으로부터의 병변 검출 프로그램이 제공된다.
본 발명의 일 측면에서 제공되는 내시경 영상으로부터의 병변 검출 방법은 내시경 영상으로부터 실시간으로 병변을 자동 검출, 진단 및 저장할 수 있으며, 이에 따라 이를 보조진단도구로 활용하여, 임상 의사의 병변 검출 간과율을 낮추고, 객관적 측정을 통한 병변의 진단 정확도를 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 내시경 영상으로부터의 병변 검출 방법의 순서도를 나타낸 것이고,
도 2는 본 발명의 일 실시예에 따른 내시경 영상으로부터의 병변 검출 방법의 전체적인 과정을 구체적으로 나타낸 순서도이고,
도 3은 본 발명의 일 실시예에 따라 내시경 영상으로부터의 병변을 검출한 예시를 나타낸 것이고,
도 4는 본 발명의 일 실시예에 따라 내시경 영상으로부터의 병변 검출 방법의 1차 대표 이미지 및 2차 대표 이미지 선정 과정의 예시를 나타낸 것이고,
도 5는 본 발명의 일 실시예에 따른 내시경 영상으로부터의 병변 검출 장치의 블록도를 나타낸 것이다.
도 2는 본 발명의 일 실시예에 따른 내시경 영상으로부터의 병변 검출 방법의 전체적인 과정을 구체적으로 나타낸 순서도이고,
도 3은 본 발명의 일 실시예에 따라 내시경 영상으로부터의 병변을 검출한 예시를 나타낸 것이고,
도 4는 본 발명의 일 실시예에 따라 내시경 영상으로부터의 병변 검출 방법의 1차 대표 이미지 및 2차 대표 이미지 선정 과정의 예시를 나타낸 것이고,
도 5는 본 발명의 일 실시예에 따른 내시경 영상으로부터의 병변 검출 장치의 블록도를 나타낸 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면을 참조하여 상세하게 설명하도록 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급될 때에는 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, "제 1"및 "제 2"라는 용어는 본 명세서에서 구별 목적으로만 사용되며, 어떠한 방식으로도 서열 또는 우선 순위를 나타내거나 예상하는 것을 의미하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명의 일 측면에서 제공되는 내시경 영상으로부터의 병변 검출 방법을 이하 도 1 및 도 2를 참조하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 내시경 영상으로부터의 병변 검출 방법의 순서도를 나타낸 것이고, 도 2는 본 발명의 일 실시예에 따른 병변 검출 방법의 전체적인 과정을 나타내는 도면이다.
먼저, 본 발명의 일 측면에서 제공되는 병변 검출 방법은 내시경 영상으로부터 복수의 프레임의 이미지를 획득하는 단계(단계 1, S100)를 포함한다.
일 실시예에서 상기 단계는 초당 15 프레임 내지 30 프레임을 획득(S110)할 수 있으나, 이에 제한되는 것은 아니다.
상기 단계 1은 상기 획득한 복수의 프레임의 이미지의 사이즈를 조정하는 단계(S120) 및 상기 획득한 복수의 프레임의 이미지의 픽셀 분포를 조정하는 단계(S130)로 이루어지는 군으로부터 선택되는 1종 이상의 단계를 포함할 수 있다.
일 실시예에서, 상기 획득한 복수의 프레임의 이미지의 사이즈를 조정하는 단계(S120)는 평균 가로, 세로 800 픽셀 내지 1200 픽셀로 이루어진 내시경 프레임 이미지를 후술할 딥러닝 모델의 조건에 맞게 이미지의 사이즈를 조정할 수 있다.
일 실시예에서, 상기 획득한 복수의 프레임의 이미지의 픽셀 분포를 조정하는 단계(S130)는 기존의 0 내지 255 사이의 픽셀 분포를 지니고 있는 8비트 이미지를 -1 내지 +1 사이의 픽셀 분포로 변환할 수 있다.
다음으로, 본 발명의 일 측면에서 제공되는 병변 검출 방법은 상기 복수의 이미지를 제1 딥러닝 모델에 적용함으로써, 이미지 별 병변의 좌표 및 악성 확률을 획득하고, 이로부터 2 이상의 프레임에서 연속으로 병변이 검출되는지 판단하여, 2 이상의 프레임에서 연속으로 병변이 검출되는 경우 해당 이미지들을 데이터베이스(2000)에 저장하는 단계(단계 2, S200)를 포함한다.
상기 단계는 상기 제1 딥러닝 모델을 이용하여 상기 이미지로부터 병변 영역과 병변의 악성 확률을 획득하는 단계를 포함할 수 있다(S210).
일 실시예에서 상기 제1 딥러닝 모델은 6000여 장의 내시경 이미지를 학습하여 얻어진 모델일 수 있다.
일 실시예에서 상기 제1 딥러닝 모델은 EfficientNetB4를 Backbone으로 하는 EfficientDet 구조가 사용될 수 있다. 상기 EfficientNetB4 구조를 통해 추출된 특징들을 weighted bi-directional FPN(BiFPN)을 활용하여 병변의 좌표와 악성 확률을 획득할 수 있다.
상기 단계는 상기 제1 딥러닝 모델로부터 획득한 병변의 좌표 및 악성 확률을 UI 프로그램에 전송하는 단계를 더 포함할 수 있다(S220).
또한, 상기 단계는 상기 병변의 위치를 원본 내시경 이미지 크기에 맞게 사이즈를 조정한 후 병변의 위치를 표시할 수 있다(S230). 상기 병변의 위치는 사각형 형태나 히트맵(Heatmap) 형태의 UI로 표시될 수 있다.
또한 상기 단계는 2 이상의 프레임에서 연속으로 병변이 검출되는지 판단하여, 2 이상의 프레임에서 연속으로 병변이 검출되는 경우 해당 이미지들을 데이터베이스에 저장할 수 있으며(S240), 바람직하게는 5개의 프레임에서 연속으로 병변이 검출되는 경우 해당 이미지들을 데이터베이스에 저장할 수 있고, 더 바람직하게는 10개의 프레임에서 연속으로 병변이 검출되는 경우 해당 이미지들을 데이터베이스에 저장할 수 있다.
다음으로, 본 발명의 일 측면에서 제공되는 병변 검출 방법은 상기 데이터베이스에 저장된 이미지를 제2 딥러닝 모델에 적용하여, 블러 여부를 판단 후, 블러로 판단된 이미지를 제거하는 단계(단계 3, S300)를 포함한다.
일 실시예에서 상기 제2 딥러닝 모델은 2700여 장의 내시경 이미지를 학습하여 얻어진 모델일 수 있다.
일 실시예에서 상기 제2 딥러닝 모델은 데이터베이스에 저장된 이미지들에 대하여 블러 이미지일 확률을 획득하고, 이로부터 블러 이미지를 분류 및 제거할 수 있다.
일 실시예에서 상기 제2 딥러닝 모델은 EfficientNetB6 구조가 사용될 수 있다.
다음으로, 본 발명의 일 측면에서 제공되는 병변 검출 방법은 상기 블러 이미지가 제거된 데이터베이스 내 이미지 중 5 프레임 이상 연속적으로 이어지는 이미지는 동일 병변에 관한 것으로 판단하여 그룹화한 후, 상기 그룹 내에서 소정의 기준에 따라 1차 대표 이미지를 선별하는 단계(단계 4, S400)를 포함한다.
상기 단계에서 상기 블러 이미지가 제거된 데이터베이스 내 이미지 중 5 프레임 이상 연속적으로 이어지는 이미지는 동일 병변에 관한 것으로 판단하게 되며, 바람직하게는 15 프레임 내지 30 프레임 연속으로 이어지는 이미지를 동일 병변에 관한 이미지로 판단할 수 있다.
또한, 상기 단계에서는 상기 그룹 내에서 소정의 기준에 따라 1차 대표 이미지를 선별하는데, 후술한 단계 5에서 상기 1차 대표 이미지들 간에 동일 병변 여부를 판단하기 위해서는 다양한 각도 및 크기의 이미지를 선별하는 것이 바람직하다.
일 실시예에서 상기 그룹 내의 1/4 분위수 프레임 이미지, 1/2 분위수 프레임 이미지, 3/4 분위수 프레임 이미지를 1차 대표 이미지로 선정할 수 있다.
다음으로, 본 발명의 일 측면에서 제공되는 병변 검출 방법은 상기 선별된 1차 대표 이미지들을 제3 딥러닝 모델에 적용하여, 상기 1차 대표 이미지들간의 동일 병변 여부를 판단한 후, 동일한 병변 별로 1차 대표 이미지들을 분류하는 단계(단계 5, S500)를 포함한다.
일 실시예에서 상기 제3 딥러닝 모델은 6000여 장의 내시경 이미지를 학습하여 얻어진 모델일 수 있다. 이를 통하여 내시경 이미지간 동일 병변 여부에 대한 확률을 얻을 수 있다.
일 실시예에서 상기 제3 딥러닝 모델은 상기 선별된 1차 대표 이미지들로부터 벡터를 추출하여, 상기 벡터의 유사도를 비교함으로써 상기 1차 대표 이미지들간의 동일 병변 여부를 판단할 수 있다.
일 실시예에서, 상기 제3 딥러닝 모델은 EfficientNETB6 구조의 마지막 레이어인 전결합층에서 벡터를 획득하고, 이를 Annoy 알고리즘을 통해 벡터간 유사도를 비교함으로써 동일 병변 여부를 판단할 수 있다.
다음으로, 본 발명의 일 측면에서 제공되는 병변 검출 방법은 상기 동일한 병변 별로 분류한 1차 대표 이미지들 중에서 병변 별로 2차 대표 이미지를 선별하여 제시하는 단계(단계 6, S600)를 포함한다.
일 실시예에서, 상기 단계는 동일한 병변에 대한 1차 이미지 중 시간 순으로 가장 앞선 이미지를 2차 대표 이미지로 선별할 수 있다(도 4 참조). 이러한 경우, 병변에 너무 근접하기 전의 이미지를 제시할 수 있으므로 병변의 구체적인 위치를 용이하게 파악할 수 있고, 불필요한 생검(biopsy) 이미지를 제시하지 않을 수 있다는 점에서 바람직하다.
이에 의하여 선별된 2차 대표 이미지는 스냅샷(Snapshot) 이미지 형태의 UI로 제시될 수 있다.
본 발명의 다른 측면에서
내시경 영상으로부터 복수의 프레임의 이미지를 획득하는 영상 획득부;
상기 복수의 이미지를 제1 딥러닝 모델에 적용함으로써, 이미지 별 병변의 좌표 및 악성 확률을 획득하고, 이로부터 2 이상의 프레임에서 연속으로 병변이 검출되는지 판단하여, 2 이상의 프레임에서 연속으로 병변이 검출되는 경우 해당 이미지들을 데이터베이스에 저장하는 이미지 저장 여부 판단부;
상기 데이터베이스에 저장된 이미지를 제2 딥러닝 모델에 적용하여, 블러 여부를 판단 후, 블러로 판단된 이미지를 제거하는 블러 이미지 제거부;
상기 블러 이미지가 제거된 데이터베이스 내 이미지 중 5 프레임 이상 연속적으로 이어지는 이미지는 동일 병변에 관한 것으로 판단하여 그룹화한 후, 상기 그룹 내에서 소정의 기준에 따라 1차 대표 이미지를 선별하는 1차 대표 이미지 선별부;
상기 선별된 1차 대표 이미지들을 제3 딥러닝 모델에 적용하여, 상기 1차 대표 이미지들간의 동일 병변 여부를 판단한 후, 동일한 병변 별로 1차 대표 이미지들을 분류하는 이미지 분류부; 및
상기 동일한 병변 별로 분류한 1차 대표 이미지들 중에서 병변 별로 2차 대표 이미지를 선별하여 제시하는 2차 대표 이미지 선별부;
를 포함하는 내시경 영상으로부터의 병변 검출 장치가 제공된다.
이하, 본 발명의 다른 측면에서 제공되는 병변 검출 장치에 대하여 각 구성별로 상세히 설명한다. 이 때, 본 발명의 다른 측면에서 제공되는 병변 검출 장치는 상술한 병변 검출 방법에서 설명한 내용들이 모두 적용될 수 있으며, 상술한 일부 설명이 생략될 수 있다.
도 5는 본 발명의 일 실시예에 따른 병변 검출 장치의 블록도이다.
먼저, 본 발명의 다른 측면에서 제공되는 병변 검출 장치(1000)는 영상 획득부(100)를 포함한다.
상기 영상 획득부는 내시경 영상으로부터 복수의 프레임의 이미지를 획득한다.
일 실시예에서 상기 영상 획득부는 초당 15 프레임 내지 30 프레임을 획득할 수 있으나, 이에 제한되는 것은 아니다.
상기 영상 획득부는 상기 획득한 복수의 프레임의 이미지의 사이즈를 조정하는 단계 및 상기 획득한 복수의 프레임의 이미지의 픽셀 분포를 조정하는 단계로 이루어지는 군으로부터 선택되는 1종 이상의 단계를 수행할 수 있다.
일 실시예에서, 상기 획득한 복수의 프레임의 이미지의 사이즈를 조정하는 단계는 평균 가로, 세로 800 픽셀 내지 1200 픽셀로 이루어진 내시경 프레임 이미지를 후술할 딥러닝 모델의 조건에 맞게 이미지의 사이즈를 조정할 수 있다.
일 실시예에서, 상기 획득한 복수의 프레임의 이미지의 픽셀 분포를 조정하는 단계는 기존의 0 내지 255 사이의 픽셀 분포를 지니고 있는 8비트 이미지를 -1 내지 +1 사이의 픽셀 분포로 변환할 수 있다.
다음으로, 본 발명의 다른 측면에서 제공되는 병변 검출 장치(1000)는 이미지 저장 여부 판단부(200)를 포함한다.
상기 이미지 저장 여부 판단부는 상기 복수의 이미지를 제1 딥러닝 모델에 적용함으로써, 이미지 별 병변의 좌표 및 악성 확률을 획득하고, 이로부터 2 이상의 프레임에서 연속으로 병변이 검출되는지 판단하여, 2 이상의 프레임에서 연속으로 병변이 검출되는 경우 해당 이미지들을 데이터베이스(2000)에 저장한다.
상기 이미지 저장 여부 판단부는 상기 제1 딥러닝 모델을 이용하여 상기 이미지로부터 병변 영역과 병변의 악성 확률을 획득할 수 있다.
일 실시예에서 상기 제1 딥러닝 모델은 6000여 장의 내시경 이미지를 학습하여 얻어진 모델일 수 있다.
일 실시예에서 상기 제1 딥러닝 모델은 EfficientNetB4를 Backbone으로 하는 EfficientDet 구조가 사용될 수 있다. 상기 EfficientNetB4 구조를 통해 추출된 특징들을 weighted bi-directional FPN(BiFPN)을 활용하여 병변의 좌표와 악성 확률을 획득할 수 있다.
상기 이미지 저장 여부 판단부는 상기 제1 딥러닝 모델로부터 획득한 병변의 좌표 및 악성 확률을 UI 프로그램에 전송할 수 있다.
또한, 상기 이미지 저장 여부 판단부는 상기 병변의 위치를 원본 내시경 이미지 크기에 맞게 사이즈를 조정한 후 병변의 위치를 표시할 수 있다. 상기 병변의 위치는 사각형 형태나 히트맵(Heatmap) 형태의 UI로 표시될 수 있다.
또한 상기 이미지 저장 여부 판단부는 2 이상의 프레임에서 연속으로 병변이 검출되는지 판단하여, 2 이상의 프레임에서 연속으로 병변이 검출되는 경우 해당 이미지들을 데이터베이스에 저장할 수 있으며, 바람직하게는 5개의 프레임에서 연속으로 병변이 검출되는 경우 해당 이미지들을 데이터베이스에 저장할 수 있고, 더 바람직하게는 10개의 프레임에서 연속으로 병변이 검출되는 경우 해당 이미지들을 데이터베이스에 저장할 수 있다.
다음으로, 본 발명의 다른 측면에서 제공되는 병변 검출 장치(1000)는 블러 이미지 제거부(300)를 포함한다.
상기 블러 이미지 제거부는 상기 데이터베이스에 저장된 이미지를 제2 딥러닝 모델에 적용하여, 블러 여부를 판단 후, 블러로 판단된 이미지를 제거한다.
일 실시예에서 상기 제2 딥러닝 모델은 2700여 장의 내시경 이미지를 학습하여 얻어진 모델일 수 있다.
일 실시예에서 상기 제2 딥러닝 모델은 데이터베이스에 저장된 이미지들에 대하여 블러 이미지일 확률을 획득하고, 이로부터 블러 이미지를 분류 및 제거할 수 있다.
일 실시예에서 상기 제2 딥러닝 모델은 EfficientNetB6 구조가 사용될 수 있다.
다음으로, 본 발명의 다른 측면에서 제공되는 병변 검출 장치(1000)는 1차 대표 이미지 선별부(400)를 포함한다.
상기 1차 대표 이미지 선별부는 상기 블러 이미지가 제거된 데이터베이스 내 이미지 중 5 프레임 이상 연속적으로 이어지는 이미지는 동일 병변에 관한 것으로 판단하여 그룹화한 후, 상기 그룹 내에서 소정의 기준에 따라 1차 대표 이미지를 선별한다.
상기 1차 대표 이미지 선별부는 상기 블러 이미지가 제거된 데이터베이스 내 이미지 중 5 프레임 이상 연속적으로 이어지는 이미지는 동일 병변에 관한 것으로 판단하게 되며, 바람직하게는 15 프레임 내지 30 프레임 연속으로 이어지는 이미지를 동일 병변에 관한 이미지로 판단할 수 있다.
또한, 상기 1차 대표 이미지 선별부는 상기 그룹 내에서 소정의 기준에 따라 1차 대표 이미지를 선별하는데, 후술한 이미지 분류부에서 상기 1차 대표 이미지들 간에 동일 병변 여부를 판단하기 위해서는 다양한 각도 및 크기의 이미지를 선별하는 것이 바람직하다.
일 실시예에서 상기 그룹 내의 1/4 분위수 프레임 이미지, 1/2 분위수 프레임 이미지, 3/4 분위수 프레임 이미지를 1차 대표 이미지로 선정할 수 있다.
다음으로, 본 발명의 다른 측면에서 제공되는 병변 검출 장치(1000)는 이미지 분류부(500)를 포함한다.
상기 이미지 분류부는 상기 선별된 1차 대표 이미지들을 제3 딥러닝 모델에 적용하여, 상기 1차 대표 이미지들간의 동일 병변 여부를 판단한 후, 동일한 병변 별로 1차 대표 이미지들을 분류한다.
일 실시예에서 상기 제3 딥러닝 모델은 6000여 장의 내시경 이미지를 학습하여 얻어진 모델일 수 있다. 이를 통하여 내시경 이미지간 동일 병변 여부에 대한 확률을 얻을 수 있다.
일 실시예에서 상기 제3 딥러닝 모델은 상기 선별된 1차 대표 이미지들로부터 벡터를 추출하여, 상기 벡터의 유사도를 비교함으로써 상기 1차 대표 이미지들간의 동일 병변 여부를 판단할 수 있다.
일 실시예에서, 상기 제3 딥러닝 모델은 EfficientNETB6 구조의 마지막 레이어인 전결합층에서 벡터를 획득하고, 이를 Annoy 알고리즘을 통해 벡터간 유사도를 비교함으로써 동일 병변 여부를 판단할 수 있다.
다음으로, 본 발명의 다른 측면에서 제공되는 병변 검출 장치(1000)는 2차 대표 이미지 선별부(600)를 포함한다.
상기 2차 대표 이미지 선별부는 상기 동일한 병변 별로 분류한 1차 대표 이미지들 중에서 병변 별로 2차 대표 이미지를 선별하여 제시한다.
일 실시예에서, 상기 2차 대표 이미지 선별부는 동일한 병변에 대한 1차 이미지 중 시간 순으로 가장 앞선 이미지를 2차 대표 이미지로 선별할 수 있다. 이러한 경우, 병변에 너무 근접하기 전의 이미지를 제시할 수 있으므로 병변의 구체적인 위치를 용이하게 파악할 수 있고, 불필요한 생검(biopsy) 이미지를 제시하지 않을 수 있다는 점에서 바람직하다.
이에 의하여 선별된 2차 대표 이미지는 스냅샷(Snapshot) 이미지 형태의 UI로 제시될 수 있다.
또한, 본 발명의 또 다른 측면에서
프로세서와 결합되어, 컴퓨터로 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램은 상기 기록 매체에 저장된 명령어에 의해 상기 프로세서에서 실행되며,
상기 프로세서는,
내시경 영상으로부터 복수의 프레임의 이미지를 획득하는 제1 오퍼레이션;
상기 복수의 이미지를 제1 딥러닝 모델에 적용함으로써, 이미지 별 병변의 좌표 및 악성 확률을 획득하고, 이로부터 2 이상의 프레임에서 연속으로 병변이 검출되는지 판단하여, 2 이상의 프레임에서 연속으로 병변이 검출되는 경우 해당 이미지들을 데이터베이스에 저장하는 제2 오퍼레이션;
상기 데이터베이스에 저장된 이미지를 제2 딥러닝 모델에 적용하여, 블러 여부를 판단 후, 블러로 판단된 이미지를 제거하는 제3 오퍼레이션;
상기 블러 이미지가 제거된 데이터베이스 내 이미지 중 5 프레임 이상 연속적으로 이어지는 이미지는 동일 병변에 관한 것으로 판단하여 그룹화한 후, 상기 그룹 내에서 소정의 기준에 따라 1차 대표 이미지를 선별하는 제4 오퍼레이션;
상기 선별된 1차 대표 이미지들을 제3 딥러닝 모델에 적용하여, 상기 1차 대표 이미지들간의 동일 병변 여부를 판단한 후, 동일한 병변 별로 1차 대표 이미지들을 분류하는 제5 오퍼레이션; 및
상기 동일한 병변 별로 분류한 1차 대표 이미지들 중에서 병변 별로 2차 대표 이미지를 선별하여 제시하는 제6 오퍼레이션;
을 포함하는 내시경 영상으로부터의 병변 검출 프로그램이 제공된다.
본 발명의 또 다른 측면에서 제공되는 병변 검출 프로그램은 상기 병변 검출 방법 및 병변 검출 장치에서 설명한 내용과 동일한 바, 중복하여 설명하지는 않는다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 사람이라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 영상 획득부
200 이미지 저장 여부 판단부
300 블러 이미지 제거부
400 1차 대표 이미지 선별부
500 이미지 분류부
600 2차 대표 이미지 선별부
1000 병변 검출 장치
2000 데이터베이스
200 이미지 저장 여부 판단부
300 블러 이미지 제거부
400 1차 대표 이미지 선별부
500 이미지 분류부
600 2차 대표 이미지 선별부
1000 병변 검출 장치
2000 데이터베이스
Claims (8)
- 내시경 영상으로부터 복수의 프레임의 이미지를 획득하는 단계(단계 1-1);
상기 획득한 복수의 프레임의 이미지의 사이즈 및 픽셀 분포를 제1 딥러닝 모델의 조건에 맞게 조정하는 단계(단계 1-2);
상기 복수의 이미지를 제1 딥러닝 모델에 적용함으로써, 이미지 별 병변의 좌표 및 악성 확률을 획득하는 단계(단계 2-1);
상기 제1 딥러닝 모델로부터 획득한 병변의 좌표 및 악성 확률을 UI 프로그램에 전송하는 단계(단계 2-2);
상기 병변의 위치를 원본 내시경 이미지 크기에 맞게 사이즈를 조정한 후 병변의 위치를 상기 복수의 이미지 상에 UI로 표시하는 단계(단계 2-3);
5 이상의 프레임에서 연속으로 병변이 검출되는지 판단하여, 5 이상의 프레임에서 연속으로 병변이 검출되는 경우 해당 이미지들을 데이터베이스에 저장하는 단계(단계 2-4);
상기 데이터베이스에 저장된 이미지를 제2 딥러닝 모델에 적용하여, 블러 여부를 판단 후, 블러로 판단된 이미지를 제거하는 단계(단계 3);
상기 블러 이미지가 제거된 데이터베이스 내 이미지 중 5 프레임 이상 연속적으로 이어지는 이미지는 동일 병변에 관한 것으로 판단하여 그룹화한 후, 상기 그룹 내에서 소정의 기준에 따라 1차 대표 이미지를 선별하는 단계(단계 4);
상기 선별된 1차 대표 이미지들을 제3 딥러닝 모델에 적용하여, 상기 1차 대표 이미지들간의 동일 병변 여부를 판단한 후, 동일한 병변 별로 1차 대표 이미지들을 분류하는 단계(단계 5); 및
상기 동일한 병변 별로 분류한 1차 대표 이미지들 중에서 병변 별로 시간 순으로 가장 앞선 이미지를 2차 대표 이미지를 선별하여 제시하는 단계(단계 6);
를 포함하는 내시경 영상으로부터의 병변 검출 방법.
- 삭제
- 삭제
- 제1항에 있어서,
상기 단계 4에서 상기 그룹 내에서 소정의 기준에 따라 1차 대표 이미지를 선별하는 것은
상기 그룹 내의 1/4 분위수 프레임 이미지, 1/2 분위수 프레임 이미지, 3/4 분위수 프레임 이미지를 1차 대표 이미지를 선별하는 것을 특징으로 하는 내시경 영상으로부터의 병변 검출 방법.
- 제1항에 있어서,
상기 단계 5는
상기 제3 딥러닝 모델을 이용하여, 상기 선별된 1차 대표 이미지들로부터 벡터를 추출하여, 상기 벡터의 유사도를 비교함으로써 상기 1차 대표 이미지들간의 동일 병변 여부를 판단하는 것을 특징으로 하는 내시경 영상으로부터의 병변 검출 방법.
- 삭제
- 내시경 영상으로부터 복수의 프레임의 이미지를 획득하고 획득한 복수의 프레임의 이미지의 사이즈 및 픽셀 분포를 제1 딥러닝 모델의 조건에 맞게 조정하는 영상 획득부;
상기 복수의 이미지를 제1 딥러닝 모델에 적용함으로써, 이미지 별 병변의 좌표 및 악성 확률을 획득하고, 상기 제1 딥러닝 모델로부터 획득한 병변의 좌표 및 악성 확률을 UI 프로그램에 전송하고 상기 병변의 위치를 원본 내시경 이미지 크기에 맞게 사이즈를 조정한 후 병변의 위치를 상기 복수의 이미지 상에 UI로 표시하고, 5 이상의 프레임에서 연속으로 병변이 검출되는지 판단하여, 5 이상의 프레임에서 연속으로 병변이 검출되는 경우 해당 이미지들을 데이터베이스에 저장하는 이미지 저장 여부 판단부;
상기 데이터베이스에 저장된 이미지를 제2 딥러닝 모델에 적용하여, 블러 여부를 판단 후, 블러로 판단된 이미지를 제거하는 블러 이미지 제거부;
상기 블러 이미지가 제거된 데이터베이스 내 이미지 중 5 프레임 이상 연속적으로 이어지는 이미지는 동일 병변에 관한 것으로 판단하여 그룹화한 후, 상기 그룹 내에서 소정의 기준에 따라 1차 대표 이미지를 선별하는 1차 대표 이미지 선별부;
상기 선별된 1차 대표 이미지들을 제3 딥러닝 모델에 적용하여, 상기 1차 대표 이미지들간의 동일 병변 여부를 판단한 후, 동일한 병변 별로 1차 대표 이미지들을 분류하는 이미지 분류부; 및
상기 동일한 병변 별로 분류한 1차 대표 이미지들 중에서 병변 별로 시간 순으로 가장 앞선 이미지를 2차 대표 이미지를 선별하여 제시하는 2차 대표 이미지 선별부;
를 포함하는 내시경 영상으로부터의 병변 검출 장치.
- 프로세서와 결합되어, 컴퓨터로 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램은 상기 기록 매체에 저장된 명령어에 의해 상기 프로세서에서 실행되며,
상기 프로세서는,
내시경 영상으로부터 복수의 프레임의 이미지를 획득하고 상기 획득한 복수의 프레임의 이미지의 사이즈 및 픽셀 분포를 제1 딥러닝 모델의 조건에 맞게 조정하는 제1 오퍼레이션;
상기 복수의 이미지를 제1 딥러닝 모델에 적용함으로써, 이미지 별 병변의 좌표 및 악성 확률을 획득하고, 상기 제1 딥러닝 모델로부터 획득한 병변의 좌표 및 악성 확률을 UI 프로그램에 전송하고 상기 병변의 위치를 원본 내시경 이미지 크기에 맞게 사이즈를 조정한 후 병변의 위치를 상기 복수의 이미지 상에 UI로 표시하고, 5 이상의 프레임에서 연속으로 병변이 검출되는지 판단하여, 5 이상의 프레임에서 연속으로 병변이 검출되는 경우 해당 이미지들을 데이터베이스에 저장하는 제2 오퍼레이션;
상기 데이터베이스에 저장된 이미지를 제2 딥러닝 모델에 적용하여, 블러 여부를 판단 후, 블러로 판단된 이미지를 제거하는 제3 오퍼레이션;
상기 블러 이미지가 제거된 데이터베이스 내 이미지 중 5 프레임 이상 연속적으로 이어지는 이미지는 동일 병변에 관한 것으로 판단하여 그룹화한 후, 상기 그룹 내에서 소정의 기준에 따라 1차 대표 이미지를 선별하는 제4 오퍼레이션;
상기 선별된 1차 대표 이미지들을 제3 딥러닝 모델에 적용하여, 상기 1차 대표 이미지들간의 동일 병변 여부를 판단한 후, 동일한 병변 별로 1차 대표 이미지들을 분류하는 제5 오퍼레이션; 및
상기 동일한 병변 별로 분류한 1차 대표 이미지들 중에서 병변 별로 시간 순으로 가장 앞선 이미지를 2차 대표 이미지를 선별하여 제시하는 제6 오퍼레이션;
을 포함하는 내시경 영상으로부터의 병변 검출 프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200188886A KR102602392B1 (ko) | 2020-12-31 | 2020-12-31 | 딥러닝 모델을 이용한 내시경 영상으로부터의 병변 검출 방법, 장치 및 프로그램 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200188886A KR102602392B1 (ko) | 2020-12-31 | 2020-12-31 | 딥러닝 모델을 이용한 내시경 영상으로부터의 병변 검출 방법, 장치 및 프로그램 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220096453A KR20220096453A (ko) | 2022-07-07 |
| KR102602392B1 true KR102602392B1 (ko) | 2023-11-16 |
Family
ID=82398030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200188886A KR102602392B1 (ko) | 2020-12-31 | 2020-12-31 | 딥러닝 모델을 이용한 내시경 영상으로부터의 병변 검출 방법, 장치 및 프로그램 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102602392B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116740067B (zh) * | 2023-08-14 | 2023-10-20 | 苏州凌影云诺医疗科技有限公司 | 一种针对食管病灶的浸润深度判定方法和系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019530490A (ja) * | 2016-08-22 | 2019-10-24 | コイオス メディカル，インコーポレイテッド | 検出精度を向上させるために関心領域の異なるビューからの複数の画像を用いるコンピュータ支援検出 |
| WO2020165978A1 (ja) * | 2019-02-13 | 2020-08-20 | オリンパス株式会社 | 画像記録装置、画像記録方法および画像記録プログラム |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102251242B1 (ko) * | 2014-11-26 | 2021-05-12 | 삼성전자주식회사 | 컴퓨터 보조 진단 장치 및 방법 |
-
2020
- 2020-12-31 KR KR1020200188886A patent/KR102602392B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019530490A (ja) * | 2016-08-22 | 2019-10-24 | コイオス メディカル，インコーポレイテッド | 検出精度を向上させるために関心領域の異なるビューからの複数の画像を用いるコンピュータ支援検出 |
| WO2020165978A1 (ja) * | 2019-02-13 | 2020-08-20 | オリンパス株式会社 | 画像記録装置、画像記録方法および画像記録プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220096453A (ko) | 2022-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9959618B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
| US10223785B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium extracting one or more representative images | |
| Niemeijer et al. | Information fusion for diabetic retinopathy CAD in digital color fundus photographs | |
| US8270688B2 (en) | Method for intelligent qualitative and quantitative analysis assisting digital or digitized radiography softcopy reading | |
| WO2018224838A1 (en) | Method and apparatus for processing retinal images | |
| CN105249922A (zh) | 断层图像拍摄设备和断层图像拍摄方法 | |
| JP6487001B2 (ja) | 動脈瘤破裂リスク解析プログラム及びシステム | |
| JP6901007B2 (ja) | 学習装置、検査システム、学習方法、検査方法およびプログラム | |
| JP4832794B2 (ja) | 画像処理装置及び画像処理プログラム | |
| KR102178803B1 (ko) | 흉부 의료 영상 판독 지원 시스템 및 방법 | |
| KR102602392B1 (ko) | 딥러닝 모델을 이용한 내시경 영상으로부터의 병변 검출 방법, 장치 및 프로그램 | |
| US9788786B2 (en) | Systems and methods for automatic detection and testing of images for clinical relevance | |
| KR102034648B1 (ko) | 의료영상 관리 시스템, 방법 및 컴퓨터 판독 가능한 기록매체 | |
| JP5157766B2 (ja) | 画像表示装置およびプログラム | |
| JP5961512B2 (ja) | 画像処理装置およびその作動方法並びに画像処理プログラム | |
| JP2019536531A (ja) | Ｘ線画像内の不透明度を検出する装置 | |
| US8433112B2 (en) | Method and apparatus for processing chest X-ray images | |
| JP2009061175A (ja) | 医用画像処理装置及びプログラム | |
| US20230237818A1 (en) | Image diagnosis method, image diagnosis support device, and computer system | |
| US11120554B2 (en) | Image diagnosis apparatus, image diagnosis method, and program | |
| WO2017149310A1 (en) | Frame selection in medical image data | |
| KR20160112494A (ko) | 파노라마에서의 효율적인 구강 병변 발병여부 예측감지 방법 및 시스템 | |
| US20220383493A1 (en) | Method and device for quantifying size of tissue of interest of animal by using x-ray image of animal | |
| WO2024101484A1 (ko) | 인공지능 기반의 병변 검출 방법 및 장치 | |
| CN117437392B (zh) | 交叉韧带止点标记及其模型训练的方法和关节镜系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |