KR102607977B1 - 내시경 영상 분석 ai 모델을 이용한 소화관 내시경 영상 분석 장치 및 방법 - Google Patents
내시경 영상 분석 ai 모델을 이용한 소화관 내시경 영상 분석 장치 및 방법 Download PDFInfo
- Publication number
- KR102607977B1 KR102607977B1 KR1020230028386A KR20230028386A KR102607977B1 KR 102607977 B1 KR102607977 B1 KR 102607977B1 KR 1020230028386 A KR1020230028386 A KR 1020230028386A KR 20230028386 A KR20230028386 A KR 20230028386A KR 102607977 B1 KR102607977 B1 KR 102607977B1
- Authority
- KR
- South Korea
- Prior art keywords
- target
- target detection
- endoscopic image
- prediction model
- image analysis
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000010191 image analysis Methods 0.000 title claims abstract description 65
- 238000013473 artificial intelligence Methods 0.000 title description 78
- 238000001514 detection method Methods 0.000 claims abstract description 144
- 210000001035 gastrointestinal tract Anatomy 0.000 claims abstract description 39
- 238000001914 filtration Methods 0.000 claims abstract description 32
- 230000004913 activation Effects 0.000 claims abstract description 30
- 238000002059 diagnostic imaging Methods 0.000 claims abstract description 16
- 230000002496 gastric effect Effects 0.000 claims abstract description 10
- 238000003703 image analysis method Methods 0.000 claims abstract description 10
- 230000002159 abnormal effect Effects 0.000 claims abstract description 5
- 230000008569 process Effects 0.000 claims description 47
- 238000004891 communication Methods 0.000 claims description 19
- 238000004458 analytical method Methods 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 10
- 238000001839 endoscopy Methods 0.000 claims description 5
- YTAHJIFKAKIKAV-XNMGPUDCSA-N [(1R)-3-morpholin-4-yl-1-phenylpropyl] N-[(3S)-2-oxo-5-phenyl-1,3-dihydro-1,4-benzodiazepin-3-yl]carbamate Chemical compound O=C1[C@H](N=C(C2=C(N1)C=CC=C2)C1=CC=CC=C1)NC(O[C@H](CCN1CCOCC1)C1=CC=CC=C1)=O YTAHJIFKAKIKAV-XNMGPUDCSA-N 0.000 claims description 4
- 230000005856 abnormality Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 25
- 208000037062 Polyps Diseases 0.000 description 24
- 206010028980 Neoplasm Diseases 0.000 description 16
- 201000011510 cancer Diseases 0.000 description 12
- 208000032843 Hemorrhage Diseases 0.000 description 7
- 230000000740 bleeding effect Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000001574 biopsy Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 206010051077 Post procedural haemorrhage Diseases 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Gastroenterology & Hepatology (AREA)
- Endoscopes (AREA)
Abstract
본 발명은 내시경 영상 분석 AI 모델을 이용한 소화관 내시경 영상 분석 장치 및 방법에 관한 것이다. 본 발명에 따른 내시경 영상 분석 AI 모델을 이용한 소화관 내시경 영상 분석 방법은, AI 예측 모델을 로딩 및 내시경 영상 분석과 관련된 변수를 초기화한 후, 외부의 의료영상장치로부터 제공된 소화관의 내시경 영상 프레임을 읽어 들인다. 읽어 들인 내시경 영상 프레임에 대해 타겟 및 논-타겟을 각각 예측하고, 타겟과 논-타겟이 각각 검출되었으면, 타겟 예측 모델 및 논-타겟 예측 모델의 활성화 영역을 각각 추출 및 추출된 타겟 예측 모델 및 논-타겟 예측 모델의 각 활성화 영역을 각각 이진화한다. 타겟 검출 프레임 수와 논-타겟 검출 프레임 수를 각각 누적하고, 누적된 타겟 검출 프레임 수(
)가 타겟 검출 프레임 수 임계값(
) 이상이고, 누적된 논-타겟 검출 프레임 수(
)가 논-타겟 검출 프레임 수 임계값(
) 이상이 아니면, 내시경 영상에 타겟의 외곽선을 드로잉한다. 논-타겟 필터링인 경우, 타겟 및 논-타겟 CC(connected component)를 추출하여 논-타겟과 겹치는 타겟 CC를 삭제하고, 내시경 영상에 논-타겟과 겹치지 않는 타겟의 외곽선을 드로잉한다.
Description
본 발명은 소화관 내시경 영상 분석 장치 및 방법에 관한 것으로서, 더 상세하게는 내시경 영상 분석 AI(Artificial Intelligence) 모델을 이용한 내시경 영상 분석 과정에서 분석 대상으로 확인된 대상에 대해서는 지속적으로 대상을 지시하지 않도록 함으로써, 검사자의 피로도를 줄일 수 있는 내시경 영상 분석 AI 모델을 이용한 소화관 내시경 영상 분석 장치 및 방법에 관한 것이다.
소화관 내시경 영상 분석 과정에서 시술을 통한 생체(조직) 검사(biopsy)나 절제(resection)는 폴립(polyp), 암(cancer)과 같은 의심이 가는 병변(lesion)을 제거하거나 조직검사 대상이 발견되었을 때, 검사자(또는 시술자)에 의해 진행된다.
소화관 내시경 영상 분석에서의 분석 대상은 영상 분석 AI 모델에 의해 발견될 수도 있고, 검사자에 의해 발견될 수도 있다. 이때, 발견된 분석 대상은 AI 모델에 의해 영상 속에 그 분석 대상이 존재하는 동안에는 계속하여 영역을 지시하고 있어서, 이미 분석 대상으로 확인된 대상이라면 검사자의 입장에서는 시술이 끝날 때까지 시각적 피로감의 원인이 될 수 있다.
따라서, AI 모델로 분석 대상을 발견하되 시술을 진행하는 상황이나, 시술에 의한 출혈과 같은 경우에는 사용자 설정에 의해 AI 모델에서 영역을 지시하지 않도록 함으로써, 검사자의 피로감을 줄일 필요가 있다.
한편, 한국 등록특허공보 제10-2388535호(특허문헌 1)에는 "인공지능에 기반하여 내시경 영상을 분석하기 위한 방법 및 장치"가 개시되어 있는 바, 이에 따른 내시경 영상을 분석하는 서버의 동작 방법은, 내시경 장비를 통해 촬영된 제1 영상 프레임이 임계 수준 이상의 선명도를 가지는지 여부를 판단하는 단계; 상기 임계 수준 이상의 선명도를 가지면, 제1 인공지능 모델을 이용하여 상기 제1 영상 프레임에서 용종의 영역을 판단하는 단계; 상기 영역에 포함되는 대상이 용종이 아닌 다른 대상인지 여부를 확인하는 단계; 상기 영역에 포함되는 대상이 용종이면, 제2 인공지능 모델을 이용하여 상기 용종의 유형을 분류하는 단계; 및 상기 영역의 위치 및 크기, 상기 용종의 유형에 대한 정보 중 적어도 하나를 포함하는 분석 결과를 송신하는 단계를 포함하고, 상기 제1 인공지능 모델 및 상기 제2 인공지능 모델은 상이한 인공지능 모델이고, 상기 영역은, 사각형 모양의 바운딩 박스에 의해 지시되는 것을 특징으로 한다.
이상과 같은 특허문헌 1의 경우, 제1 인공지능 모델을 이용하여 제1 영상 프레임에서 용종의 영역을 판단하고, 제2 인공지능 모델을 이용하여 용종의 유형을 분류함으로써, 내시경 영상에서 실시간으로 용종을 검출할 수 있는 효과가 있기는 하나, 제1 인공지능 모델을 이용하여 용종의 영역을 판단하고, 제2 인공지능 모델을 이용하여 용종의 유형을 분류하기까지 용종의 영역을 지속적으로 바운딩 박스에 의해 지시하는 메커니즘으로 되어 있어, 필연적으로 검사자의 시각적 피로감이 수반될 수밖에 없다. 그러나 이러한 문제에 대해서는 고려하고 있지 않다.
본 발명은 이상과 같은 사항을 종합적으로 감안하여 창출된 것으로서, 내시경 영상 분석 AI 모델을 이용한 내시경 영상 분석 과정에서 분석 대상으로 확인된 대상에 대해서는 지속적으로 대상을 지시하지 않도록 함으로써, 검사자의 피로도를 줄일 수 있는 내시경 영상 분석 AI 모델을 이용한 소화관 내시경 영상 분석 장치 및 방법을 제공함에 그 목적이 있다.
상기의 목적을 달성하기 위하여 본 발명에 따른 내시경 영상 분석 AI 모델을 이용한 소화관 내시경 영상 분석 장치는,
외부의 의료영상장치로부터 제공된 소화관의 내시경 영상 프레임을 수신하는통신부;
AI 예측 모델을 로딩 및 내시경 영상 분석과 관련된 변수를 초기화하고, 내시경 영상 분석 여부를 판별하여, 내시경 영상 분석이면 상기 통신부를 통해 수신한 소화관의 내시경 영상 프레임에 대해 타겟 및 논-타겟을 각각 예측하며, 예측된 타겟 및 논-타겟에 대해 각각 타겟 검출과 논-타겟 검출 여부를 판별하고, 타겟과 논-타겟이 각각 검출되었으면, 타겟 예측 모델 및 논-타겟 예측 모델의 활성화 영역을 각각 추출하며, 추출된 타겟 예측 모델 및 논-타겟 예측 모델의 각 활성화 영역을 각각 이진화하고, 타겟 검출 프레임 수와 논-타겟 검출 프레임 수를 각각 누적하며, 상기 누적된 타겟 검출 프레임 수(
)가 타겟 검출 프레임 수 임계값(
) 이상인지와, 상기 누적된 논-타겟 검출 프레임 수(
)가 논-타겟 검출 프레임 수 임계값(
) 이상인지를 판별하고, 상기 누적된 타겟 검출 프레임 수(
)가 타겟 검출 프레임 수 임계값(
) 이상이고, 상기 누적된 논-타겟 검출 프레임 수(
)가 논-타겟 검출 프레임 수 임계값(
) 이상이 아니면, 내시경 영상에 타겟의 외곽선을 드로잉하여 디스플레이부를 통해 표시하며, 상기 누적된 논-타겟 검출 프레임 수(
)가 논-타겟 검출 프레임 수 임계값(
) 이상이면, 논-타겟 필터링 여부를 판별하여 논-타겟 필터링인 경우, 타겟 및 논-타겟 CC(connected component)를 추출하여 논-타겟과 겹치는 타겟 CC를 삭제하고, 내시경 영상에 논-타겟과 겹치지 않는 타겟의 외곽선을 드로잉하여 디스플레이부를 통해 표시하는 제어부;
상기 통신부를 통해 수신된 외부의 의료영상장치로부터 제공된 소화관의 내시경 영상 프레임 데이터와, 상기 타겟 모델 및 논-타겟 모델의 학습을 위한 데이터와, 상기 제어부에서의 내시경 영상 분석과 관련된 필요한 데이터 및 정보와, 시스템 운용을 위한 각종 앱(application)이 저장되는 데이터베이스; 및
상기 제어부에서의 내시경 영상 분석에 따른 다양한 영상을 화면에 표시하는 디스플레이부를 포함하는 점에 그 특징이 있다.
여기서, 상기 제어부의 내부에는,
상기 통신부를 통해 수신한 소화관의 내시경 영상 프레임에 대해 타겟을 예측하는 타겟 예측 모델과 논-타겟을 예측하는 논-타겟 예측 모델을 구비하는 AI 예측 모델; 및
상기 AI 예측 모델에 의해 예측된 타겟 및 논-타겟에 대해 각각 타겟 검출과 논-타겟 검출 여부를 판별하고, 타겟과 논-타겟이 각각 검출되었으면, 타겟 예측 모델 및 논-타겟 예측 모델의 활성화 영역을 각각 추출하며, 추출된 타겟 예측 모델 및 논-타겟 예측 모델의 각 활성화 영역을 각각 이진화하고, 타겟 검출 프레임 수와 논-타겟 검출 프레임 수를 각각 누적하며, 상기 누적된 타겟 검출 프레임 수(
)가 타겟 검출 프레임 수 임계값(
) 이상인지와, 상기 누적된 논-타겟 검출 프레임 수(
)가 논-타겟 검출 프레임 수 임계값(
) 이상인지를 판별하고, 상기 누적된 논-타겟 검출 프레임 수(
)가 논-타겟 검출 프레임 수 임계값(
) 이상이면, 논-타겟 필터링 여부를 판별하여 논-타겟 필터링인 경우, 타겟 및 논-타겟 CC(connected component)를 추출하여 논-타겟과 겹치는 타겟 CC를 삭제하는 예측 결과 처리 모듈이 탑재될 수 있다.
이때, 상기 예측 결과 처리 모듈은 상기 누적된 타겟 검출 프레임 수(
)가 타겟 검출 프레임 수 임계값(
) 이상이 아니거나, 논-타겟 필터링 여부를 판별하여 논-타겟 필터링이 아닌 경우, 상기 초기화 이후 내시경 영상 분석 여부를 판별하는 프로세스로 프로세스 진행을 회귀시킬 수 있다.
또한, 상기 AI 예측 모델은 외부의 의료영상장치로부터 내시경 영상을 입력받는 입력층과, 입력층을 통해 입력된 내시경 영상을 다수의 특징 맵으로 중첩하는 복수의 컨볼루션 블록으로 구성되는 컨볼루션층과, 컨볼루션층에 의해 다수의 특징 맵으로 중첩된 각 내시경 영상의 평균을 구하고, 전체 영역에 걸쳐 각 평균을 통합하는 전역평균풀링층 및 전역평균풀링층에 의해 전체 영역에 걸쳐 각 평균이 통합된 영상 중 학습 데이터 영상과 유사한 영상들을 출력하는 출력층으로 구성될 수 있다.
또한, 상기 제어부는 내시경 영상에 타겟의 외곽선을 드로잉하여 디스플레이부를 통해 표시한 후, 상기 초기화 이후 내시경 영상 분석 여부를 판별하는 프로세스로 프로세스 진행을 회귀시킬 수 있다.
또한, 상기 제어부는 내시경 영상에 논-타겟과 겹치지 않는 타겟의 외곽선을 드로잉하여 디스플레이부를 통해 표시한 후, 상기 초기화 이후 내시경 영상 분석 여부를 판별하는 프로세스로 프로세스 진행을 회귀시킬 수 있다.
또한, 상기의 목적을 달성하기 위하여 본 발명에 따른 내시경 영상 분석 AI 모델을 이용한 소화관 내시경 영상 분석 방법은,
a) 제어부가 AI 예측 모델을 로딩 및 내시경 영상 분석과 관련된 변수를 초기화하는 단계;
b) 제어부가 내시경 영상 분석 여부를 판별하여, 내시경 영상 분석이면 외부의 의료영상장치로부터 제공된 소화관의 내시경 영상 프레임을 통신부를 통해 읽어 들이는 단계;
c) AI 예측 모델의 타겟(target) 예측 모델과 논-타겟(non-target) 예측 모델이 상기 읽어 들인 내시경 영상 프레임에 대해 타겟 및 논-타겟을 각각 예측하는 단계;
d) 예측 결과 처리 모듈이 상기 타겟 예측 모델 및 논-타겟 예측 모델에 의해 각각 예측된 타겟 및 논-타겟에 대해 각각 타겟 검출과 논-타겟 검출 여부를 판별하는 단계;
e) 상기 단계 d)의 판별에서, 타겟과 논-타겟이 각각 검출되었으면, 상기 예측 결과 처리 모듈이 타겟 예측 모델 및 논-타겟 예측 모델의 활성화 영역을 각각 추출하는 단계;
f) 상기 예측 결과 처리 모듈이 추출된 타겟 예측 모델 및 논-타겟 예측 모델의 각 활성화 영역을 각각 이진화하는 단계;
g) 상기 예측 결과 처리 모듈이 타겟 검출 프레임 수와 논-타겟 검출 프레임 수를 각각 누적하는 단계;
h) 상기 예측 결과 처리 모듈이 상기 누적된 타겟 검출 프레임 수(
)가 타겟 검출 프레임 수 임계값(
) 이상인지와, 상기 누적된 논-타겟 검출 프레임 수(
)가 논-타겟 검출 프레임 수 임계값(
) 이상인지를 판별하는 단계;
i) 상기 단계 h)의 판별에서, 상기 누적된 타겟 검출 프레임 수(
)가 타겟 검출 프레임 수 임계값(
) 이상이고, 상기 누적된 논-타겟 검출 프레임 수(
)가 논-타겟 검출 프레임 수 임계값(
) 이상이 아니면, 상기 제어부가 내시경 영상에 타겟의 외곽선을 드로잉하여 디스플레이부를 통해 표시하는 단계;
j) 상기 단계 h)의 판별에서, 상기 누적된 타겟 검출 프레임 수(
)가 타겟 검출 프레임 수 임계값(
) 이상이고, 상기 누적된 논-타겟 검출 프레임 수(
)가 논-타겟 검출 프레임 수 임계값(
) 이상이면, 상기 예측 결과 처리 모듈이 논-타겟 필터링 여부를 판별하는 단계;
k) 상기 단계 j)의 판별에서 논-타겟 필터링인 경우, 상기 예측 결과 처리 모듈이 타겟 및 논-타겟 CC(connected component)를 추출하여 논-타겟과 겹치는 타겟 CC를 삭제하는 단계; 및
l) 상기 제어부가 내시경 영상에 논-타겟과 겹치지 않는 타겟의 외곽선을 드로잉하여 디스플레이부를 통해 표시하는 단계를 포함하는 점에 그 특징이 있다.
여기서, 상기 단계 d)의 판별에서, 타겟과 논-타겟이 각각 검출되지 않았으면, 상기 예측 결과 처리 모듈이 타겟 검출 프레임 수(
) 및 논-타겟 검출 프레임 수(
)를 각각 0(zero)으로 놓고, 프로세스 진행을 각각 상기 단계 b)로 회귀시키는 단계를 더 포함할 수 있다.
또한, 상기 단계 h)의 판별에서, 상기 누적된 타겟 검출 프레임 수(
)가 타겟 검출 프레임 수 임계값(
) 이상이 아니거나, 상기 단계 j)의 판별에서 논-타겟 필터링이 아니면, 상기 예측 결과 처리 모듈이 프로세스 진행을 각각 상기 단계 b)로 회귀시키는 단계를 더 포함할 수 있다.
또한, 상기 단계 i)에서 상기 제어부가 내시경 영상에 타겟의 외곽선을 드로잉하여 디스플레이부를 통해 표시한 후, 프로세스 진행을 상기 단계 b)로 회귀시키는 단계를 더 포함할 수 있다.
또한, 상기 단계 l)에서 상기 제어부가 내시경 영상에 논-타겟과 겹치지 않는 타겟의 외곽선을 드로잉하여 디스플레이부를 통해 표시한 후, 프로세스 진행을 상기 단계 b)로 회귀시키는 단계를 더 포함할 수 있다.
이와 같은 본 발명에 의하면, 소화관 내시경 영상을 실시간으로 분석하여 제거 또는 조직검사 대상을 찾아낼 뿐만 아니라, 확인된 대상에 시술을 진행하거나 시술로 출혈이 발생한 경우에는 AI 모델이 지속적으로 대상을 지시하지 않음으로써, 검사자의 피로도를 줄일 수 있는 효과가 있다.
또한, 검사자의 피로도를 줄임으로써 검사자가 내시경 영상 검사에 집중할 수 있도록 하는 장점이 있다.
도 1은 본 발명에 따른 내시경 영상 분석 AI 모델을 이용한 소화관 내시경 영상 분석 장치의 시스템 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명에 따른 내시경 영상 분석 AI 모델을 이용한 소화관 내시경 영상 분석 방법의 실행 과정을 나타낸 흐름도이다.
도 3은 폴립, 암 등 분석 타겟 AI 모델의 학습을 위한 데이터를 나타낸 도면이다.
도 4는 폴립, 암 등 분석 논-타겟 AI 모델의 학습을 위한 데이터를 나타낸 도면이다.
도 5는 본 발명에 채용되는 AI 모델의 구성(CNN)을 나타낸 도면이다.
도 6은 본 발명에 채용되는 AI 모델의 학습 과정을 나타낸 도면이다.
도 7은 AI 모델의 학습(training)에서의 손실의 개요를 나타낸 도면이다.
도 8은 AI 모델의 추론(inference) 과정을 나타낸 도면이다.
도 9는 타겟 AI 모델의 활성화 영역 추출 및 이진화, 외곽선 드로잉 예를 나타낸 도면이다.
도 10은 논-타겟 AI 모델의 활성화 영역 추출 및 이진화, 외곽선 드로잉 예를 나타낸 도면이다.
도 11은 타겟 AI 모델의 분석대상 검출 예를 나타낸 도면이다.
도 12는 논-타겟 AI 모델의 빠른 내시경 움직임에 의한 블러(blur) 검출 예를 나타낸 도면이다.
도 13은 논-타겟 AI 모델의 시술도구, 출혈, 시술 검출 예를 나타낸 도면이다.
도 14는 논-타겟 필터링 적용 시 내시경 영상에 논-타겟과 겹치지 않는 타겟의 외곽선 드로잉 예를 나타낸 도면이다.
도 15는 논-타겟 필터링 적용 시 논-타겟과 겹치는 타겟 CC(connected component)를 삭제하여 내시경 영상에 타겟 영역의 외곽선을 드로잉하지 않는 예를 나타낸 도면이다.
도 16은 빠른 내시경 움직임으로 인한 타겟의 오검출을 논-타겟 검출로 제거하는 예를 나타낸 도면이다.
도 2는 본 발명에 따른 내시경 영상 분석 AI 모델을 이용한 소화관 내시경 영상 분석 방법의 실행 과정을 나타낸 흐름도이다.
도 3은 폴립, 암 등 분석 타겟 AI 모델의 학습을 위한 데이터를 나타낸 도면이다.
도 4는 폴립, 암 등 분석 논-타겟 AI 모델의 학습을 위한 데이터를 나타낸 도면이다.
도 5는 본 발명에 채용되는 AI 모델의 구성(CNN)을 나타낸 도면이다.
도 6은 본 발명에 채용되는 AI 모델의 학습 과정을 나타낸 도면이다.
도 7은 AI 모델의 학습(training)에서의 손실의 개요를 나타낸 도면이다.
도 8은 AI 모델의 추론(inference) 과정을 나타낸 도면이다.
도 9는 타겟 AI 모델의 활성화 영역 추출 및 이진화, 외곽선 드로잉 예를 나타낸 도면이다.
도 10은 논-타겟 AI 모델의 활성화 영역 추출 및 이진화, 외곽선 드로잉 예를 나타낸 도면이다.
도 11은 타겟 AI 모델의 분석대상 검출 예를 나타낸 도면이다.
도 12는 논-타겟 AI 모델의 빠른 내시경 움직임에 의한 블러(blur) 검출 예를 나타낸 도면이다.
도 13은 논-타겟 AI 모델의 시술도구, 출혈, 시술 검출 예를 나타낸 도면이다.
도 14는 논-타겟 필터링 적용 시 내시경 영상에 논-타겟과 겹치지 않는 타겟의 외곽선 드로잉 예를 나타낸 도면이다.
도 15는 논-타겟 필터링 적용 시 논-타겟과 겹치는 타겟 CC(connected component)를 삭제하여 내시경 영상에 타겟 영역의 외곽선을 드로잉하지 않는 예를 나타낸 도면이다.
도 16은 빠른 내시경 움직임으로 인한 타겟의 오검출을 논-타겟 검출로 제거하는 예를 나타낸 도면이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되지 말아야 하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 내시경 영상 분석 AI 모델을 이용한 소화관 내시경 영상 분석 장치의 시스템 구성을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 본 발명에 따른 내시경 영상 분석 AI 모델을 이용한 소화관 내시경 영상 분석 장치(100)는 통신부(110), 제어부(120), 데이터베이스(DB) (130), 디스플레이부(140)를 포함하여 구성된다.
통신부(110)는 외부의 의료영상장치(90)로부터 제공된 소화관의 내시경 영상 프레임을 수신한다. 이와 같은 통신부(110)는 유선 또는 무선 통신 모듈로 구성될 수 있다.
제어부(120)는 AI 예측 모델(121)을 로딩 및 내시경 영상 분석과 관련된 변수를 초기화하고, 내시경 영상 분석 여부를 판별하여, 내시경 영상 분석이면 상기 통신부(110)를 통해 수신한 소화관의 내시경 영상 프레임에 대해 타겟 및 논-타겟을 각각 예측하며, 예측된 타겟 및 논-타겟에 대해 각각 타겟 검출과 논-타겟 검출 여부를 판별하고, 타겟과 논-타겟이 각각 검출되었으면, 타겟 예측 모델 및 논-타겟 예측 모델의 활성화 영역을 각각 추출하며, 추출된 타겟 예측 모델 및 논-타겟 예측 모델의 각 활성화 영역을 각각 이진화하고, 타겟 검출 프레임 수와 논-타겟 검출 프레임 수를 각각 누적하며, 상기 누적된 타겟 검출 프레임 수(
)가 타겟 검출 프레임 수 임계값(
) 이상인지와, 상기 누적된 논-타겟 검출 프레임 수(
)가 논-타겟 검출 프레임 수 임계값(
) 이상인지를 판별하고, 상기 누적된 타겟 검출 프레임 수(
)가 타겟 검출 프레임 수 임계값(
) 이상이고, 상기 누적된 논-타겟 검출 프레임 수(
)가 논-타겟 검출 프레임 수 임계값(
) 이상이 아니면, 내시경 영상에 타겟의 외곽선을 드로잉하여 디스플레이부(140)를 통해 표시하며, 상기 누적된 논-타겟 검출 프레임 수(
)가 논-타겟 검출 프레임 수 임계값(
) 이상이면, 논-타겟 필터링 여부를 판별하여 논-타겟 필터링인 경우, 타겟 및 논-타겟 CC(connected component)를 추출하여 논-타겟과 겹치는 타겟 CC를 삭제하고, 내시경 영상에 논-타겟과 겹치지 않는 타겟의 외곽선을 드로잉하여 디스플레이부(140)를 통해 표시한다.
데이터베이스(DB)(130)에는 상기 통신부(110)를 통해 수신된 외부의 의료영상장치(90)로부터 제공된 소화관의 내시경 영상 프레임 데이터와, 상기 타겟 예측 모델 및 논-타겟 예측 모델의 학습을 위한 데이터와, 상기 제어부(120)에서의 내시경 영상 분석과 관련된 필요한 데이터 및 정보와, 시스템 운용을 위한 각종 앱(application)이 저장된다.
디스플레이부(140)는 상기 제어부(120)에서의 내시경 영상 분석에 따른 다양한 영상을 화면에 표시한다. 이와 같은 디스플레이부(140)로는 LCD 패널 등이 사용될 수 있다.
여기서, 상기 제어부(120)의 내부에는, 도 1에 도시된 바와 같이, 상기 통신부(110)를 통해 수신한 소화관의 내시경 영상 프레임에 대해 타겟을 예측하는 타겟 예측 모델(121t)과 논-타겟을 예측하는 논-타겟 예측 모델(121n)을 구비하는 AI 예측 모델(121)과; AI 예측 모델(121)에 의해 예측된 타겟 및 논-타겟에 대해 각각 타겟 검출과 논-타겟 검출 여부를 판별하고, 타겟과 논-타겟이 각각 검출되었으면, 타겟 예측 모델(121t) 및 논-타겟 예측 모델(121n)의 활성화 영역을 각각 추출하며, 추출된 타겟 예측 모델(121t) 및 논-타겟 예측 모델(121n)의 각 활성화 영역을 각각 이진화하고, 타겟 검출 프레임 수와 논-타겟 검출 프레임 수를 각각 누적하며, 상기 누적된 타겟 검출 프레임 수(
)가 타겟 검출 프레임 수 임계값(
) 이상인지와, 상기 누적된 논-타겟 검출 프레임 수(
)가 논-타겟 검출 프레임 수 임계값(
) 이상인지를 판별하고, 상기 누적된 논-타겟 검출 프레임 수(
)가 논-타겟 검출 프레임 수 임계값(
) 이상이면, 논-타겟 필터링 여부를 판별하여 논-타겟 필터링인 경우, 타겟 및 논-타겟 CC(connected component)를 추출하여 논-타겟과 겹치는 타겟 CC를 삭제하는 예측 결과 처리 모듈(122)이 탑재될 수 있다.
이때, 상기 예측 결과 처리 모듈(122)은 상기 누적된 타겟 검출 프레임 수(
)가 타겟 검출 프레임 수 임계값(
) 이상이 아니거나, 논-타겟 필터링 여부를 판별하여 논-타겟 필터링이 아닌 경우, 상기 초기화 이후 내시경 영상 분석 여부를 판별하는 프로세스로 프로세스 진행을 회귀시킬 수 있다.
또한, 상기 AI 예측 모델(121)은, 도 5에 도시된 바와 같이, 외부의 의료영상장치(90)로부터 내시경 영상을 입력받는 입력층(510)과, 입력층(510)을 통해 입력된 내시경 영상을 다수의 특징 맵으로 중첩하는 복수의 컨볼루션 블록으로 구성되는 컨볼루션층(520)과, 컨볼루션층(520)에 의해 다수의 특징 맵으로 중첩된 각 내시경 영상의 평균을 구하고, 전체 영역에 걸쳐 각 평균을 통합하는 전역평균풀링층(530) 및 전역평균풀링층(530)에 의해 전체 영역에 걸쳐 각 평균이 통합된 영상중 학습 데이터 영상과 유사한 영상들을 출력하는 출력층(540)으로 구성될 수 있다.
또한, 상기 제어부(120)는 내시경 영상에 타겟의 외곽선을 드로잉하여 디스플레이부(140)를 통해 표시한 후, 상기 초기화 이후 내시경 영상 분석 여부를 판별하는 프로세스로 프로세스 진행을 회귀시킬 수 있다.
또한, 상기 제어부(120)는 내시경 영상에 논-타겟과 겹치지 않는 타겟의 외곽선을 드로잉하여 디스플레이부(140)를 통해 표시한 후, 상기 초기화 이후 내시경 영상 분석 여부를 판별하는 프로세스로 프로세스 진행을 회귀시킬 수 있다.
이하에서는 이상과 같은 구성을 가지는 본 발명에 따른 내시경 영상 분석 AI 모델을 이용한 소화관 내시경 영상 분석 장치를 바탕으로 한 내시경 영상 분석 AI 모델을 이용한 소화관 내시경 영상 분석 방법에 대해 설명해 보기로 한다.
여기서, 본 발명에 따른 내시경 영상 분석 AI 모델을 이용한 소화관 내시경 영상 분석 방법의 실시예에 대해 본격적으로 설명하기에 앞서, 본 발명에 대한 이해를 돕기 위해 본 발명에 채용되는 AI 모델의 학습과 관련하여 먼저 설명해 보기로 한다.
도 3은 폴립, 암 등 분석 타겟 AI 모델의 학습을 위한 데이터를 나타낸 도면이고, 도 4는 폴립, 암 등 분석 논-타겟 AI 모델의 학습을 위한 데이터를 나타낸 도면이다.
도 3을 참조하면, 폴립, 암 등 분석 타겟 AI 모델의 학습을 위한 데이터는 (a)∼(d)와 같은 영상의 양성 클래스(positive class)와 (e)∼(h)와 같은 영상의 음성 클래스(negative class)로 분류될 수 있다. 양성 클래스는 (a)∼(d)의 영상에서 볼 수 있는 바와 같이, 폴립(또는 암 관련 종양)이 포함된 영상이고, 음성 클래스는 (e)∼(h)의 영상에서 볼 수 있는 바와 같이, 폴립(또는 암 관련 종양)이 포함되지 않은 노멀 영상이나 블러 영상, 빛 반사 영상을 포함할 수 있다.
도 4를 참조하면, 폴립, 암 등 분석 논-타겟 AI 모델의 학습을 위한 데이터는 시술도구나 시술영상, 시술 후 출혈 영상과 블러 영상 등에 대한 분석을 위한 것으로서, 마찬가지로 (a)∼(d)와 같은 영상의 양성 클래스(positive class)와 (e)∼(h)와 같은 영상의 음성 클래스(negative class)로 분류될 수 있다. 양성 클래스는 (a)∼(d)의 영상에서 볼 수 있는 바와 같이, 시술도구나 시술영상, 시술 후 출혈 영상과 블러 영상 등을 포함하는 영상이고, 음성 클래스는 (e)∼(h)의 영상에서 볼 수 있는 바와 같이, 시술도구나 시술영상, 시술 후 출혈 영상과 블러 영상을 포함하지 않는 폴립(또는 암 관련 종양)이 포함된 영상이다.
도 5는 본 발명에 채용되는 AI 모델의 구성(CNN)을 나타낸 도면이다.
도 5를 참조하면, AI 모델은 CNN(convolutional neural network)을 기반으로할 수 있다. 이와 같은 AI 모델은 전술한 바와 같이, 외부의 의료영상장치(90)로부터 내시경 영상을 입력받는 입력층(510)과, 입력층(510)을 통해 입력된 내시경 영상을 다수의 특징 맵으로 중첩하는 복수의 컨볼루션 블록으로 구성되는 컨볼루션층(520)과, 컨볼루션층(520)에 의해 다수의 특징 맵으로 중첩된 각 내시경 영상의 평균을 구하고, 전체 영역에 걸쳐 각 평균을 통합하는 전역평균풀링층(530) 및 전역평균풀링층(530)에 의해 전체 영역에 걸쳐 각 평균이 통합된 영상중 학습 데이터 영상과 가장 유사한 영상을 출력하는 출력층(540)으로 구성될 수 있다.
도 6은 본 발명에 채용되는 AI 모델의 학습 과정을 나타낸 도면이다.
도 6을 참조하면, AI 모델의 학습 과정은 먼저 외부의 의료영상장치(90)로부터 내시경 영상이 제공되면, 그 내시경 영상을 입력층(510)을 통해 입력받는다. 그러면 컨볼루션층(520)은 입력된 내시경 영상을 다수의 특징 맵으로 중첩하는 과정을 다수회 반복 수행한다. 그런 후, 전역평균풀링층(530)은 컨볼루션층(520)에 의해 다수의 특징 맵으로 중첩된 각 내시경 영상의 평균을 구하고(즉, 각 내시경 영상을 각각 특정값으로 수치화하고, 그 수치화된 각 특정값들에 대한 평균을 구함), 전체 영역에 걸쳐 각 평균을 통합하는 작업을 수행한다. 그후, 출력층(540)은 전역평균풀링층(530)에 의해 전체 영역에 걸쳐 각 평균이 통합된 영상 중 학습 데이터 영상과 유사한 영상들을 출력한다. 이때, 이 출력에 소프트맥스(softmax) 활성화 함수를 적용하여 출력을 확률로 나타내며, 가장 확률이 높은 것이 선택된다. 이상과 같은 일련의 학습 과정은 미리 설정된 학습 반복횟수만큼 반복적으로 수행된다. 또한, 이상과 같은 일련의 학습 과정에서 입력 영상의 분류에 따른 분류 손실(classification loss)과 입력 영상에 대한 활성화 영역 추출 및 이진화에 따른 활성화 손실(activation loss)이 발생하는데, 이러한 손실(분류 손실+활성화 손실)을 최소화하도록 학습을 진행한다.
도 7은 AI 모델의 학습(training)에서의 손실의 개요를 나타낸 도면이다.
도 7을 참조하면, 전술한 바와 같이 입력 영상의 분류에 따른 분류 손실 (classification loss; 
)은 다음과 같은 수식 관계로 표현할 수 있다.
여기서, 
는 i번째 클래스에 대한 정답 레이블, 
는 i번째 클래스에 대한 softmax 확률, 
은 클래스 수를 각각 나타낸다.
또한, 입력 영상에 대한 활성화 영역 추출 및 이진화에 따른 활성화 손실 (activation loss; 
)은 다음과 같은 수식 관계로 표현할 수 있다.
도 8은 AI 모델의 추론(inference) 과정을 나타낸 도면이다.
도 8을 참조하면, AI 모델의 추론(inference) 과정은 앞에서 설명한 AI 모델의 학습 과정과 마찬가지로, 외부의 의료영상장치(90)로부터 제공된 내시경 영상을 입력층(510)을 통해 입력받는다. 컨볼루션층(520)은 입력된 내시경 영상을 다수의 특징 맵으로 중첩하는 과정을 다수회 반복 수행한다. 그런 후, 전역평균풀링층(530)은 컨볼루션층(520)에 의해 다수의 특징 맵으로 중첩된 각 내시경 영상의 평균을 구하고(즉, 각 내시경 영상을 각각 특정값으로 수치화하고, 그 수치화된 각 특정값들에 대한 평균을 구함), 전체 영역에 걸쳐 각 평균을 통합하는 작업을 수행한다. 그후, 출력층(540)은 전역평균풀링층(530)에 의해 전체 영역에 걸쳐 각 평균이 통합된 영상 중 학습 데이터 영상과 유사한 영상들을 출력한다. 이때, 이 출력에 소프트맥스(softmax) 활성화 함수를 적용하여 출력을 확률로 나타낸다. 이를 AI 모델의 예측 결과로 볼 수 있다. 최종적으로 AI 모델은 예측 결과를 바탕으로 활성화 영역(도 9 및 도 10 참조)을 추출한다.
그러면, 이하에서는 이상과 같은 AI 모델의 학습 관련 사항을 베이스로 하여 본 발명에 따른 내시경 영상 분석 AI 모델을 이용한 소화관 내시경 영상 분석 방법의 실시예에 대해 설명해 보기로 한다.
도 2는 본 발명의 실시예에 따른 내시경 영상 분석 AI 모델을 이용한 소화관 내시경 영상 분석 방법의 실행 과정을 나타낸 흐름도이다.
도 2를 참조하면, 본 발명의 실시예에 따른 내시경 영상 분석 AI 모델을 이용한 소화관 내시경 영상 분석 방법은, 먼저 제어부(120)가 AI 예측 모델(121)을 로딩 및 내시경 영상 분석과 관련된 변수를 초기화한다(단계 S201). 예를 들면, 변수는 타겟 검출 프레임 수(
), 논-타겟 검출 프레임 수(
), 타겟 검출 프레임 수 임계값(
), 논-타겟 검출 프레임 수 임계값(
) 등을 포함할 수 있다. 그리고 이와 같은 변수들을 
, 
, 
, 
과 같이 각각 초기화할 수 있다.
이상과 같은 초기화 후, 제어부(120)는 내시경 영상 분석 여부를 판별하여(단계 S202), 내시경 영상 분석이면 외부의 의료영상장치(90)로부터 제공된 소화관의 내시경 영상 프레임을 통신부(110)를 통해 읽어 들인다(단계 S203).
그러면, 제어부(120) 내의 AI 예측 모델(121)의 타겟(target) 예측 모델 (121t)과 논-타겟(non-target) 예측 모델(121n)이 상기 읽어 들인 내시경 영상 프레임에 대해 타겟 및 논-타겟을 각각 예측한다(단계 S204, S210).
이후, 제어부(120) 내의 예측 결과 처리 모듈(122)이 상기 타겟 예측 모델 (121t) 및 논-타겟 예측 모델(121n)에 의해 각각 예측된 타겟 및 논-타겟에 대해 각각 타겟 검출과 논-타겟 검출 여부를 판별한다(단계 S205, S211). 이 판별에서, 타겟 및 논-타겟이 각각 검출되지 않았으면, 예측 결과 처리 모듈(122)은 타겟 검출 프레임수(
)와 논-타겟(non-target) 검출 프레임 수(
)를 각각 "0(zero)"으로 놓고 프로세스를 상기 단계 S202로 회귀시킨다.
상기 단계 S205, S211의 판별에서 타겟이 도 11에서 볼 수 있는 바와 같이 검출되고, 논-타겟(블러, 시술도구, 출혈, 시술 등)이 도 12 및 도 13에서 볼 수 있는 바와 같이 검출되었으면, 상기 예측 결과 처리 모듈(122)이 타겟 예측 모델(121t)의 활성화 영역(도 9 참조) 및 논-타겟 예측 모델(121n)의 활성화 영역(도 10 참조)을 각각 추출한다(단계 S206, S212).
그런 다음, 상기 예측 결과 처리 모듈(122)이 추출된 타겟 예측 모델(121t)의 활성화 영역을 도 9와 같이 이진화하고, 논-타겟 예측 모델(121n)의 활성화 영역을 도 10과 같이 이진화한다(단계 S207, S213).
이후, 상기 예측 결과 처리 모듈(122)이 타겟 검출 프레임 수 (
)와 논-타겟 검출 프레임 수(
)를 각각 누적한다(단계 S208, S214). 이를 수식 관계로 나타내면 다음과 같다.
그리고 상기 예측 결과 처리 모듈(122)이 상기 누적된 타겟 검출 프레임 수(
)가 타겟 검출 프레임 수 임계값(
) 이상인지와, 상기 누적된 논-타겟 검출 프레임 수(
)가 논-타겟 검출 프레임 수 임계값(
) 이상인지를 판별한다(단계 S209, S215).
상기 단계 S209의 판별에서, 상기 누적된 타겟 검출 프레임 수(
)가 타겟 검출 프레임 수 임계값(
) 이상이고, 상기 단계 S215의 판별에서, 상기 누적된 논-타겟 검출 프레임 수(
)가 논-타겟 검출 프레임 수 임계값(
) 이상이 아니면, 상기 제어부(120)가 내시경 영상에 타겟의 외곽선을 드로잉하여 디스플레이부(140)를 통해 표시한다(단계 S216). 여기서, 상기 제어부(120)는 내시경 영상에 타겟의 외곽선을 드로잉하여 디스플레이부(140)를 통해 표시한 후, 프로세스 진행을 상기 단계 S202로 회귀시킨다.
상기 단계 S209의 판별에서, 상기 누적된 타겟 검출 프레임 수(
)가 타겟 검출 프레임 수 임계값(
) 이상이고, 상기 단계 S215의 판별에서, 상기 누적된 논-타겟 검출 프레임 수(
)가 논-타겟 검출 프레임 수 임계값(
) 이상이면, 상기 예측 결과 처리 모듈(122)은 논-타겟 필터링 여부를 판별한다(단계 S217). 여기서, 상기 누적된 타겟 검출 프레임 수(
)가 타겟 검출 프레임 수 임계값(
) 이상이 아니거나, 상기 단계 S217의 판별에서 논-타겟 필터링이 아니면, 상기 예측 결과 처리 모듈(122)이 프로세스 진행을 각각 상기 단계 S202로 회귀시킨다.
그리고 상기 단계 S217의 판별에서 논-타겟 필터링인 경우, 상기 예측 결과 처리 모듈(122)이 타겟 및 논-타겟 CC(connected component)를 추출하여 논-타겟과 겹치는 타겟 CC를 삭제한다(단계 S218, S219).
이후, 상기 제어부(120)는 도 14와 같이, 내시경 영상에 논-타겟과 겹치지 않는 타겟의 외곽선을 드로잉하여 디스플레이부(140)를 통해 표시한다(단계 S220). 또한, 상기 제어부(120)는 내시경 영상에 논-타겟과 겹치지 않는 타겟의 외곽선을 드로잉하여 디스플레이부(140)를 통해 표시한 후, 프로세스 진행을 상기 단계 S202로 회귀시킨다.
이상과 같은 일련의 과정에서 확인된 대상에 시술을 진행하거나 시술로 출혈이 발생한 경우에는 AI 모델이 지속적으로 대상을 지시하지 않는다. 이에 따라 검사자의 피로도를 줄일 수 있게 된다.
한편, 도 15는 논-타겟 필터링 적용 시 논-타겟과 겹치는 타겟 CC(connected component)를 삭제하여 내시경 영상에 타겟 영역의 외곽선을 드로잉하지 않는 예를 나타낸 도면이다.
도 15를 참조하면, 논-타겟 검출 프레임 수(
)가 논-타겟 검출 프레임 수 임계값(
) 이상인 조건(
)이 만족될 경우, 최종영상에서 볼 수 있는 바와 같이, 타겟 영역의 외곽선을 드로잉하지 않는 것을 확인할 수 있다.
도 16은 빠른 내시경 움직임으로 인한 타겟의 오검출을 논-타겟 검출로 제거하는 예를 나타낸 도면이다. 이는 또한 
조건을 만족하고, 논-타겟 필터링을 적용하지 않은 예를 나타낸 도면이기도 하다.
도 16을 참조하면, 빠른 내시경 움직임으로 인해 타겟의 오검출(타겟 오버레이)이 발생할 경우, 이를 논-타겟 검출로(즉, 타겟 오버레이 영역 위에 논-타겟 영역을 오버레이(논-타겟 오버레이)함으로써 최종 출력영상에서 볼 수 있는 바와 같이 타겟의 오검출(타겟 오버레이)을 제거할 수 있다.
이상의 설명과 같이, 본 발명에 따른 내시경 영상 분석 AI 모델을 이용한 소화관 내시경 영상 분석 장치 및 방법은 소화관 내시경 영상을 실시간으로 분석하여 제거 또는 조직검사 대상을 찾아낼 뿐만 아니라, 확인된 대상에 시술을 진행하거나 시술로 출혈이 발생한 경우에는 AI 모델이 지속적으로 대상을 지시하지 않음으로써, 검사자의 피로도를 줄일 수 있는 효과가 있다.
또한, 검사자의 피로도를 줄임으로써 검사자가 내시경 영상 검사에 집중할 수 있도록 하는 장점이 있다.
이상, 바람직한 실시 예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
100: 내시경 영상 분석 AI 모델을 이용한 소화관 내시경 영상 분석 장치
110: 통신부 120: 제어부
121: AI 예측 모델 121t: 타겟 예측 모델
121n: 논-타겟 예측 모델 122: 예측 결과 처리 모듈
130: 데이터베이스(DB) 140: 디스플레이부
110: 통신부 120: 제어부
121: AI 예측 모델 121t: 타겟 예측 모델
121n: 논-타겟 예측 모델 122: 예측 결과 처리 모듈
130: 데이터베이스(DB) 140: 디스플레이부
Claims (10)
- 외부의 의료영상장치로부터 제공된 소화관의 내시경 영상 프레임을 수신하는통신부;
AI 예측 모델을 로딩 및 내시경 영상 분석과 관련된 변수를 초기화하고, 내시경 영상 분석 여부를 판별하여, 내시경 영상 분석이면 상기 통신부를 통해 수신한 소화관의 내시경 영상 프레임에 대해 타겟 및 논-타겟을 각각 예측하며, 예측된 타겟 및 논-타겟에 대해 각각 타겟 검출과 논-타겟 검출 여부를 판별하고, 타겟과 논-타겟이 각각 검출되었으면, 타겟 예측 모델 및 논-타겟 예측 모델의 활성화 영역을 각각 추출하며, 추출된 타겟 예측 모델 및 논-타겟 예측 모델의 각 활성화 영역을 각각 이진화하고, 타겟 검출 프레임 수와 논-타겟 검출 프레임 수를 각각 누적하며, 상기 누적된 타겟 검출 프레임 수()가 타겟 검출 프레임 수 임계값(
) 이상인지와, 상기 누적된 논-타겟 검출 프레임 수(
)가 논-타겟 검출 프레임 수 임계값(
) 이상인지를 판별하고, 상기 누적된 타겟 검출 프레임 수(
)가 타겟 검출 프레임 수 임계값(
) 이상이고, 상기 누적된 논-타겟 검출 프레임 수(
)가 논-타겟 검출 프레임 수 임계값(
) 이상이 아니면, 내시경 영상에 타겟의 외곽선을 드로잉하여 디스플레이부를 통해 표시하며, 상기 누적된 논-타겟 검출 프레임 수(
)가 논-타겟 검출 프레임 수 임계값(
) 이상이면, 논-타겟 필터링 여부를 판별하여 논-타겟 필터링인 경우, 타겟 및 논-타겟 CC(connected component)를 추출하여 논-타겟과 겹치는 타겟 CC를 삭제하고, 내시경 영상에 논-타겟과 겹치지 않는 타겟의 외곽선을 드로잉하여 디스플레이부를 통해 표시하는 제어부;
상기 통신부를 통해 수신된 외부의 의료영상장치로부터 제공된 소화관의 내시경 영상 프레임 데이터와, 상기 타겟 예측 모델 및 논-타겟 모델의 학습을 위한 데이터와, 상기 제어부에서의 내시경 영상 분석과 관련된 필요한 데이터 및 정보와, 시스템 운용을 위한 각종 앱(application)이 저장되는 데이터베이스; 및
상기 제어부에서의 내시경 영상 분석에 따른 다양한 영상을 화면에 표시하는 디스플레이부를 포함하는 내시경 영상 분석 AI 모델을 이용한 소화관 내시경 영상 분석 장치.
- 제1항에 있어서,
상기 제어부의 내부에는,
상기 통신부를 통해 수신한 소화관의 내시경 영상 프레임에 대해 타겟을 예측하는 타겟 예측 모델과 논-타겟을 예측하는 논-타겟 예측 모델을 구비하는 AI 예측 모델; 및
상기 AI 예측 모델에 의해 예측된 타겟 및 논-타겟에 대해 각각 타겟 검출과 논-타겟 검출 여부를 판별하고, 타겟과 논-타겟이 각각 검출되었으면, 타겟 예측 모델 및 논-타겟 예측 모델의 활성화 영역을 각각 추출하며, 추출된 타겟 예측 모델 및 논-타겟 예측 모델의 각 활성화 영역을 각각 이진화하고, 타겟 검출 프레임 수와 논-타겟 검출 프레임 수를 각각 누적하며, 상기 누적된 타겟 검출 프레임 수()가 타겟 검출 프레임 수 임계값(
) 이상인지와, 상기 누적된 논-타겟 검출 프레임 수(
)가 논-타겟 검출 프레임 수 임계값(
) 이상인지를 판별하고, 상기 누적된 논-타겟 검출 프레임 수(
)가 논-타겟 검출 프레임 수 임계값(
) 이상이면, 논-타겟 필터링 여부를 판별하여 논-타겟 필터링인 경우, 타겟 및 논-타겟 CC(connected component)를 추출하여 논-타겟과 겹치는 타겟 CC를 삭제하는 예측 결과 처리 모듈이 탑재되어 있는 것을 특징으로 하는 내시경 영상 분석 AI 모델을 이용한 소화관 내시경 영상 분석 장치.
- 제2항에 있어서,
상기 예측 결과 처리 모듈은 상기 누적된 타겟 검출 프레임 수()가 타겟 검출 프레임 수 임계값(
) 이상이 아니거나, 논-타겟 필터링 여부를 판별하여 논-타겟 필터링이 아닌 경우, 상기 초기화 이후 내시경 영상 분석 여부를 판별하는 프로세스로 프로세스 진행을 회귀시키는 것을 특징으로 하는 내시경 영상 분석 AI 모델을 이용한 소화관 내시경 영상 분석 장치.
- 제2항에 있어서,
상기 AI 예측 모델은 외부의 의료영상장치로부터 내시경 영상을 입력받는 입력층과, 입력층을 통해 입력된 내시경 영상을 다수의 특징 맵으로 중첩하는 복수의 컨볼루션 블록으로 구성되는 컨볼루션층과, 컨볼루션층에 의해 다수의 특징 맵으로 중첩된 각 내시경 영상의 평균을 구하고, 전체 영역에 걸쳐 각 평균을 통합하는 전역평균풀링층 및 전역평균풀링층에 의해 전체 영역에 걸쳐 각 평균이 통합된 영상 중 학습 데이터 영상과 유사한 영상들을 출력하는 출력층으로 구성된 것을 특징으로 하는 내시경 영상 분석 AI 모델을 이용한 소화관 내시경 영상 분석 장치.
- 제1항에 있어서,
상기 제어부는 내시경 영상에 타겟의 외곽선을 드로잉하여 디스플레이부를 통해 표시한 후, 상기 초기화 이후 내시경 영상 분석 여부를 판별하는 프로세스로 프로세스 진행을 회귀시키는 것을 특징으로 하는 내시경 영상 분석 AI 모델을 이용한 소화관 내시경 영상 분석 장치.
- 제1항에 있어서,
상기 제어부는 내시경 영상에 논-타겟과 겹치지 않는 타겟의 외곽선을 드로잉하여 디스플레이부를 통해 표시한 후, 상기 초기화 이후 내시경 영상 분석 여부를 판별하는 프로세스로 프로세스 진행을 회귀시키는 것을 특징으로 하는 내시경 영상 분석 AI 모델을 이용한 소화관 내시경 영상 분석 장치.
- a) 제어부가 AI 예측 모델을 로딩 및 내시경 영상 분석과 관련된 변수를 초기화하는 단계;
b) 제어부가 내시경 영상 분석 여부를 판별하여, 내시경 영상 분석이면 외부의 의료영상장치로부터 제공된 소화관의 내시경 영상 프레임을 통신부를 통해 읽어 들이는 단계;
c) AI 예측 모델의 타겟(target) 예측 모델과 논-타겟(non-target) 예측 모델이 상기 읽어 들인 내시경 영상 프레임에 대해 타겟 및 논-타겟을 각각 예측하는 단계;
d) 예측 결과 처리 모듈이 상기 타겟 예측 모델 및 논-타겟 예측 모델에 의해 각각 예측된 타겟 및 논-타겟에 대해 각각 타겟 검출과 논-타겟 검출 여부를 판별하는 단계;
e) 상기 단계 d)의 판별에서, 타겟과 논-타겟이 각각 검출되었으면, 상기 예측 결과 처리 모듈이 타겟 예측 모델 및 논-타겟 예측 모델의 활성화 영역을 각각 추출하는 단계;
f) 상기 예측 결과 처리 모듈이 추출된 타겟 예측 모델 및 논-타겟 예측 모델의 각 활성화 영역을 각각 이진화하는 단계;
g) 상기 예측 결과 처리 모듈이 타겟 검출 프레임 수와 논-타겟 검출 프레임 수를 각각 누적하는 단계;
h) 상기 예측 결과 처리 모듈이 상기 누적된 타겟 검출 프레임 수()가 타겟 검출 프레임 수 임계값(
) 이상인지와, 상기 누적된 논-타겟 검출 프레임 수(
)가 논-타겟 검출 프레임 수 임계값(
) 이상인지를 판별하는 단계;
i) 상기 단계 h)의 판별에서, 상기 누적된 타겟 검출 프레임 수()가 타겟 검출 프레임 수 임계값(
) 이상이고, 상기 누적된 논-타겟 검출 프레임 수(
)가 논-타겟 검출 프레임 수 임계값(
) 이상이 아니면, 상기 제어부가 내시경 영상에 타겟의 외곽선을 드로잉하여 디스플레이부를 통해 표시하는 단계;
j) 상기 단계 h)의 판별에서, 상기 누적된 타겟 검출 프레임 수()가 타겟 검출 프레임 수 임계값(
) 이상이고, 상기 누적된 논-타겟 검출 프레임 수(
)가 논-타겟 검출 프레임 수 임계값(
) 이상이면, 상기 예측 결과 처리 모듈이 논-타겟 필터링 여부를 판별하는 단계;
k) 상기 단계 j)의 판별에서 논-타겟 필터링인 경우, 상기 예측 결과 처리 모듈이 타겟 및 논-타겟 CC(connected component)를 추출하여 논-타겟과 겹치는 타겟 CC를 삭제하는 단계; 및
l) 상기 제어부가 내시경 영상에 논-타겟과 겹치지 않는 타겟의 외곽선을 드로잉하여 디스플레이부를 통해 표시하는 단계를 포함하는 내시경 영상 분석 AI 모델을 이용한 소화관 내시경 영상 분석 방법.
- 제7항에 있어서,
상기 단계 h)의 판별에서, 상기 누적된 타겟 검출 프레임 수()가 타겟 검출 프레임 수 임계값(
) 이상이 아니거나, 상기 단계 j)의 판별에서 논-타겟 필터링이 아니면, 상기 예측 결과 처리 모듈이 프로세스 진행을 각각 상기 단계 b)로 회귀시키는 단계를 더 포함하는 내시경 영상 분석 AI 모델을 이용한 소화관 내시경 영상 분석 방법.
- 제7항에 있어서,
상기 단계 i)에서 상기 제어부가 내시경 영상에 타겟의 외곽선을 드로잉하여 디스플레이부를 통해 표시한 후, 프로세스 진행을 상기 단계 b)로 회귀시키는 단계를 더 포함하는 내시경 영상 분석 AI 모델을 이용한 소화관 내시경 영상 분석 방법.
- 제7항에 있어서,
상기 단계 l)에서 상기 제어부가 내시경 영상에 논-타겟과 겹치지 않는 타겟의 외곽선을 드로잉하여 디스플레이부를 통해 표시한 후, 프로세스 진행을 상기 단계 b)로 회귀시키는 단계를 더 포함하는 내시경 영상 분석 AI 모델을 이용한 소화관 내시경 영상 분석 방법.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20220028593 | 2022-03-07 | ||
| KR1020220028593 | 2022-03-07 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| KR20230131780A KR20230131780A (ko) | 2023-09-14 |
| KR102607977B1 true KR102607977B1 (ko) | 2023-11-30 |
| KR102607977B9 KR102607977B9 (ko) | 2024-04-08 |
Family
ID=88014144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230028386A KR102607977B1 (ko) | 2022-03-07 | 2023-03-03 | 내시경 영상 분석 ai 모델을 이용한 소화관 내시경 영상 분석 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102607977B1 (ko) |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102344585B1 (ko) * | 2019-11-22 | 2021-12-30 | 가천대학교 산학협력단 | 딥러닝 학습을 이용한 내시경 영상으로부터 용종 진단 방법, 장치 및 프로그램 |
| KR102388535B1 (ko) | 2021-06-15 | 2022-04-22 | (주)제이엘케이 | 인공지능에 기반하여 내시경 영상을 분석하기 위한 방법 및 장치 |
-
2023
- 2023-03-03 KR KR1020230028386A patent/KR102607977B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230131780A (ko) | 2023-09-14 |
| KR102607977B9 (ko) | 2024-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11132794B2 (en) | System and method for detection of suspicious tissue regions in an endoscopic procedure | |
| Urban et al. | Deep learning localizes and identifies polyps in real time with 96% accuracy in screening colonoscopy | |
| CN111325739B (zh) | 肺部病灶检测的方法及装置，和图像检测模型的训练方法 | |
| EP2485041B1 (en) | Method for processing body inspection image and body inspection device | |
| CN111968091B (zh) | 一种临床图像中病变区域的检测和分类方法 | |
| KR102063492B1 (ko) | 기계학습용 의료 영상 데이터의 학습 노이즈 필터링 방법 및 그 시스템 | |
| JP5830295B2 (ja) | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム | |
| CN111046956A (zh) | 遮挡图像检测方法、装置、电子设备及存储介质 | |
| KR102531400B1 (ko) | 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법 | |
| CN112927239A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| Gadermayr et al. | Shape curvature histogram: A shape feature for celiac disease diagnosis | |
| Hakim et al. | Regularizer based on Euler characteristic for retinal blood vessel segmentation | |
| KR20210109830A (ko) | 시각적 통합 학습 및 검출 모델 기반의 소화관 내시경 영상 정보 분석 서비스 제공 방법 | |
| KR102607977B1 (ko) | 내시경 영상 분석 ai 모델을 이용한 소화관 내시경 영상 분석 장치 및 방법 | |
| Öztürk et al. | A novel polyp segmentation approach using U-net with saliency-like feature fusion | |
| KR102607959B1 (ko) | 내시경 영상 분석 ai 모델을 이용한 소화관 내시경 영상 분석 장치 및 방법 | |
| Chen et al. | From pixel to whole slide: Automatic detection of microvascular invasion in hepatocellular carcinoma on histopathological image via cascaded networks | |
| CN116740465A (zh) | 一种基于腹膜透析液图像分割的病灶分类装置和设备 | |
| KR20210110435A (ko) | 영상 분류 및 분할이 가능한 시각적 통합 학습 및 검출 모델 기반의 내시경 영상 정보 분석 서비스 프로그램 | |
| JP2005198890A (ja) | 異常陰影判定方法、異常陰影判定装置およびそのプログラム | |
| Wang et al. | Detection of quality visualization of appendiceal orifices using local edge cross-section profile features and near pause detection | |
| Gadermayr et al. | Fully automated decision support systems for celiac disease diagnosis | |
| Belabbes et al. | Advancements in Polyp Detection: A Developed Single Shot Multibox Detector Approach | |
| Wang et al. | A Three-Stage Self Supervised Deep Learning Network for Automatic Calcium Scoring of Cardiac Computed Tomography Images | |
| CN113302649B (zh) | 基于医学视频数据预测病变的方法、装置和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| G170 | Re-publication after modification of scope of protection [patent] |