KR20230059244A - 인공지능 기반의 내시경 진단 보조 시스템 및 이의 제어방법 - Google Patents
인공지능 기반의 내시경 진단 보조 시스템 및 이의 제어방법 Download PDFInfo
- Publication number
- KR20230059244A KR20230059244A KR1020210143222A KR20210143222A KR20230059244A KR 20230059244 A KR20230059244 A KR 20230059244A KR 1020210143222 A KR1020210143222 A KR 1020210143222A KR 20210143222 A KR20210143222 A KR 20210143222A KR 20230059244 A KR20230059244 A KR 20230059244A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- lesion
- information
- images
- search
- Prior art date
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims description 59
- 238000013473 artificial intelligence Methods 0.000 title claims description 33
- 238000001839 endoscopy Methods 0.000 title claims description 24
- 230000003902 lesion Effects 0.000 claims abstract description 211
- 210000001835 viscera Anatomy 0.000 claims abstract description 36
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 24
- 201000011510 cancer Diseases 0.000 claims abstract description 24
- 230000036210 malignancy Effects 0.000 claims abstract description 24
- 238000013136 deep learning model Methods 0.000 claims abstract description 4
- 238000001514 detection method Methods 0.000 claims description 41
- 238000012790 confirmation Methods 0.000 claims description 26
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 15
- 238000013135 deep learning Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 230000003211 malignant effect Effects 0.000 claims description 5
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 241000949648 Angulus Species 0.000 claims description 3
- 230000002183 duodenal effect Effects 0.000 claims description 3
- 210000003238 esophagus Anatomy 0.000 claims description 3
- 210000001035 gastrointestinal tract Anatomy 0.000 claims description 3
- 210000000056 organ Anatomy 0.000 claims 1
- 238000012327 Endoscopic diagnosis Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 208000005718 Stomach Neoplasms Diseases 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 6
- 206010017758 gastric cancer Diseases 0.000 description 6
- 201000011549 stomach cancer Diseases 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 3
- 230000035622 drinking Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000391 smoking effect Effects 0.000 description 2
- 206010058314 Dysplasia Diseases 0.000 description 1
- 206010019375 Helicobacter infections Diseases 0.000 description 1
- 208000025865 Ulcer Diseases 0.000 description 1
- 230000003872 anastomosis Effects 0.000 description 1
- 208000016644 chronic atrophic gastritis Diseases 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000000378 dietary effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000000968 intestinal effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00011—Operational features of endoscopes characterised by signal transmission
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
- A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Processing (AREA)
- Endoscopes (AREA)
Abstract
본 발명은 환자의 신체 내부기관에 대한 내시경 영상을 제공하는 내시경 모듈; 상기 환자에 대한 임의의 의료정보를 입력가능하게 구성되는 입력모듈; 상기 내시경 모듈로부터 제공되는 내시경 영상을 미리 저장된 이미지 프로세싱 프로그램을 통해 분석하여 병변정보를 검출하고, 미리 저장된 병변진단 프로그램을 통해 상기 검출된 병변정보와 상기 입력모듈로부터 입력되는 의료정보를 매칭시키면서 상기 매칭결과에 대응하는 악성여부 및 악성확률 중 적어도 하나의 진단정보를 생성하며, 상기 병변정보 및 상기 진단정보에 따라 미리 설정된 알림신호를 출력하는 제어모듈; 및 상기 제어모듈로부터 출력되는 알림신호에 따라 임의의 화면 상에 시각적으로 디스플레이하는 알림모듈을 포함하되,
상기 제어모듈은, 딥러닝 모델이 적용된 이미지 프로세싱 프로그램을 통해 상기 내시경 영상에 대한 복수개의 프레임 이미지를 상기 신체 내부기관의 각 구역에 각각 매칭시키면서 분류하고, 상기 분류결과에 따라 탐색완료 구역과 미탐색 구역을 구분하는 탐색정보를 더 생성하며, 상기 생성된 탐색정보에 따라 미리 설정된 알림신호를 출력하는 것을 특징으로 하여,
병변의 악성정도 진단 정확도와 효율성을 향상시킬 수 있으며, 블라인드 스팟을 방지할 수 있는 효과가 있다.
상기 제어모듈은, 딥러닝 모델이 적용된 이미지 프로세싱 프로그램을 통해 상기 내시경 영상에 대한 복수개의 프레임 이미지를 상기 신체 내부기관의 각 구역에 각각 매칭시키면서 분류하고, 상기 분류결과에 따라 탐색완료 구역과 미탐색 구역을 구분하는 탐색정보를 더 생성하며, 상기 생성된 탐색정보에 따라 미리 설정된 알림신호를 출력하는 것을 특징으로 하여,
병변의 악성정도 진단 정확도와 효율성을 향상시킬 수 있으며, 블라인드 스팟을 방지할 수 있는 효과가 있다.
Description
본 발명은 미리 학습된 내시경 이미지 데이터를 활용하여 자동으로 실시간 병변을 검출하고, 내시경 시술을 받는 환자의 생활습관 및 환경요인을 포함하는 의료정보 데이터를 인공지능 알고리즘에 적용하여 병변의 악성정도 진단 정확도와 효율성을 향상시킬 수 있는 인공지능 기반의 내시경 진단 보조 시스템 및 이의 제어방법에 관한 것이다.
최근, 위암을 진단받은 환자는 지속적으로 증가하고 있는 추세이고, 특히, 현대에 와서는 연령대가 젊은 층의 위암 환자가 급속도로 증가하고 있다.
이러한 위암의 원인은 만성 위축성 위염, 장 이형성, 위소장 문합술, 식이 요인, 헬리코박터 파일로리균 감염, 유전 요인, 기타 환경적 요인 등에 있으며, 남자가 여자보다 2배 정도 발생하면서, 50대 내지 60대에서 더 많이 발생한다.
또한, 음주, 흡연이 위암의 직접적인 원인으로 확실히 밝혀지지 않았지만, 생활습관과 같은 환경요인 또한 위암 발생 요인중 하나로 대두되고 있다.
현재, 상기의 위암 환자들을 위해 전문의가 상술한 내시경 시술을 실시하고 있으며, 상기 내시경 시술의 결과물로서 제공되는 이미지를 참고하면서 병변 진단을 실시하고 있다.
그러나, 일반적으로 내시경 시술은 1:1로 시술되는 검사이며 노동 집약적 시간 소모가 많은 시술이고, 반복적이며 다양한 요인(경험, 컨디션, 피로도, 실수)으로 인해 inter and intra observer 변동성이 존재한다.
또한, 종래의 내시경 시술에서는 실시간으로 입력되는 이미지를 이미지별로 독립적으로 처리하기 때문에 병변이 존재하는 환자의 경우, 수백에서 수천장의 이미지에서 병변이 검출될 수 있고, 이처럼 방대한 양의 이미지를 기반으로 내시경 시술후의 결과에 대해 분석 및 확인을 진행하기엔 용이하지 않다는 단점이 있다.
특히, 상부 위장관 내시경 Borrmann 4형을 관찰하지 못하거나 맹점부에 궤양성 병변을 관찰하지 못하는 문제점이 발생할 수 있다.
따라서, 인공지능방식의 이미지 프로세스를 통해 병변의 상태를 보다 효율적이고 용이하게 진단할 수 있고, 이와 동시에 환자의 생활습관 및 환경요인을 고려하여 보다 정확한 진단을 달성할 수 있는 내시경 진단 보조 시스템에 대한 니즈가 높아지는 실정이다.
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 미리 학습된 내시경 이미지 데이터를 활용하여 자동으로 실시간 병변을 검출하고, 내시경 시술을 받는 환자의 생활습관 및 환경요인을 포함하는 의료정보 데이터를 인공지능 알고리즘에 적용하여 병변의 악성정도 진단 정확도와 효율성을 향상시킬 수 있는 인공지능 기반의 내시경 진단 보조 시스템 및 이의 제어방법을 제공하는데 목적이 있다.
다만, 본 발명에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 기술적 수단인 본 발명의 일 실시예에 따른 인공지능 기반의 내시경 진단 보조 시스템은, 환자의 신체 내부기관에 대한 내시경 영상을 제공하는 내시경 모듈; 상기 환자에 대한 임의의 의료정보를 입력가능하게 구성되는 입력모듈; 상기 내시경 모듈로부터 제공되는 내시경 영상을 미리 저장된 이미지 프로세싱 프로그램을 통해 분석하여 병변정보를 검출하고, 미리 저장된 병변진단 프로그램을 통해 상기 검출된 병변정보와 상기 입력모듈로부터 입력되는 의료정보를 매칭시키면서 상기 매칭결과에 대응하는 악성여부 및 악성확률 중 적어도 하나의 진단정보를 생성하며, 상기 병변정보 및 상기 진단정보에 따라 미리 설정된 알림신호를 출력하는 제어모듈; 및 상기 제어모듈로부터 출력되는 알림신호에 따라 임의의 화면 상에 시각적으로 디스플레이하는 알림모듈을 포함할 수 있되, 상기 제어모듈은, 딥러닝 모델이 적용된 이미지 프로세싱 프로그램을 통해 상기 내시경 영상에 대한 복수개의 프레임 이미지를 상기 신체 내부기관의 각 구역에 각각 매칭시키면서 분류하고, 상기 분류결과에 따라 탐색완료 구역과 미탐색 구역을 구분하는 탐색정보를 더 생성하며, 상기 생성된 탐색정보에 따라 미리 설정된 알림신호를 출력할 수 있다.
또한, 상기 제어모듈의 이미지 프로세싱 프로그램은, 다수 환자의 신체 내부기관을 기촬영한 복수건의 내시경 영상에서 병변이 나타난 복수개의 프레임 이미지를 우선 획득하여 미리 학습한 딥러닝 기반의 프로그램일 수 있고, 상기 제어모듈의 병변진단 프로그램은, 상기 병변이 나타난 복수건의 프레임 이미지와 그에 대응하는 다수 환자에 대한 복수건의 의료정보를 우선 획득하여 미리 매칭 학습한 딥러닝 기반의 프로그램일 수 있다.
또한, 상기 제어모듈은, 상기 내시경 모듈로부터 제공되는 내시경 영상을 초당 복수개의 프레임씩 획득하는 이미지 획득부; 상기 이미지 획득부에 의해 획득되는 프레임 이미지를 상기 이미지 프로세싱 프로그램의 조건에 부합하도록 변환하는 이미지 변환부; 상기 이미지 변환부에 의해 변환된 프레임 이미지를 상기 이미지 프로세싱 프로그램을 통해 분석하여 이미지 상의 병변에 대한 크기, 형상, 좌표를 포함하는 병변정보를 검출하는 병변 검출부; 상기 다수 환자의 신체 내부기관을 기촬영한 복수건의 내시경 영상에서 병변이 나타난 복수개의 프레임 이미지를 저장하면서, 상기 병변이 나타난 복수개의 프레임 이미지에 대응하는 다수 환자에 대한 복수건의 의료정보를 저장하여 상기 이미지 프로세싱 프로그램의 학습환경과 상기 병변진단 프로그램의 학습환경을 제공하는 데이터 베이스부; 상기 병변 검출부에 의해 검출된 병변정보와 상기 입력모듈로부터 입력되는 의료정보를 상기 병변진단 프로그램을 통해 상호 매칭시키면서 상기 매칭결과에 대응하는 악성여부 및 악성확률 중 적어도 하나의 진단정보를 생성하는 병변 진단부; 상기 이미지 변환부에 의해 변환되는 프레임 이미지를 실시간 입력받아 상기 이미지 프로세싱 프로그램을 통해 상기 신체 내부기관의 어느 구역과 매칭되는지 임의의 카테고리로 분류하고, 상기 분류된 프레임 이미지가 30 프레임 연속 동일한 구역의 카테고리로 분류되었는지 여부를 판단하며, 상기 판단결과에 따라 탐색완료 구역과 미탐색 구역을 구분하는 탐색정보를 생성하는 탐색구역 확인부; 및 상기 병변 검출부에 의해 검출된 병변정보와, 상기 병변 진단부에 의해 생성된 진단정보와, 상기 탐색구역 확인부에 의해 생성된 탐색정보에 따라 미리 설정된 알림신호를 출력하는 알림신호 출력부를 포함할 수 있다.
또한, 상기 병변 검출부의 이미지 프로세싱 프로그램은, 상기 다수 환자의 신체 내부기관을 기촬영한 복수건의 내시경 영상에서 병변이 나타난 10000 내지 11000 장의 프레임 이미지를 학습하여 이미지 상의 병변 영역을 획득하되, EfficientNetB0를 Backbone으로 하는 EfficientDet 구조를 사용하면서, EfficientNetB0 구조를 통해 추출된 특징점(Feature)에 weighted bi-directional FPN(BiFPN)을 활용하여 이미지 상의 병변의 좌표에 대한 데이터를 획득하고, 픽셀 분석을 통해 이미지 상의 병변의 크기 및 형상에 대한 데이터를 획득하도록 구성될 수 있다.
또한, 상기 병변 검출부는, 상기 이미지 변환부에 의해 변환되는 프레임 이미지들 중 10 프레임 이상의 프레임 이미지들에 상기 병변정보가 연속적으로 검출되는지에 대한 여부를 인식가능하게 구성될 수 있고, 상기 데이터 베이스부는, 상기 병변 검출부를 통해 상기 10 프레임 이상의 프레임 이미지들에 상기 병변정보가 연속 검출된 것으로 인식되면, 해당 프레임 이미지들을 별도로 저장할 수 있으며, 상기 병변 진단부는, 상기 병변 검출부를 통해 상기 10 프레임 이상의 프레임 이미지들에 상기 병변정보가 연속 검출된 것으로 인식된 경우에만 작동할 수 있다.
또한, 상기 병변 진단부의 병변진단 프로그램은, 상기 병변이 나타난 2000건 내지 2100건의 프레임 이미지와 그에 대응하는 2000명 내지 2100명의 환자에 대한 2000건 내지 2100건의 의료정보를 매칭 학습하여 이미지 상의 병변에 대한 악성정도를 진단하되, EfficientNetB0 구조를 통해 추출된 특징점(Feature)에 상기 의료정보의 데이터를 매칭하여 이미지 상의 병변의 악성여부 및 악성확률에 대한 데이터를 획득하도록 구성될 수 있다.
또한, 상기 탐색구역 확인부는, 상기 이미지 프로세싱 프로그램의 EfficientNetB0 구조를 통해 상기 신체 내부기관 중 위장관과 관련한 총 10가지의 카테고리로 분류할 수 있고, 상기 10가지의 카테고리는, esophagus, squamocolumnar junction, middle upper body, lower body, antrum, duodenal bulb, duodenal_descending, angulus, retroflex middle upper body, fundus일 수 있다.
또한, 상기 탐색구역 확인부는, 상기 분류된 프레임 이미지가 상기 30 프레임 연속 동일한 구역의 카테고리로 분류된 것으로 판단되면, 해당 구역을 상기 내시경 모듈에 의한 탐색이 충족된 탐색완료 구역으로 취급하여 이에 대응하는 제1 탐색정보를 생성할 수 있고, 상기 알림신호 출력부는, 상기 탐색구역 확인부에 의해 생성된 제1 탐색정보에 따라 상기 탐색완료 구역에 대한 스냅샷(snapshot) 이미지 및 텍스트 중 적어도 하나의 형태로 표시가능한 알림신호를 출력할 수 있다.
또한, 상기 탐색구역 확인부는, 상기 내시경 모듈을 이용한 시술이 종료된 시점에, 상기 분류된 프레임 이미지가 상기 30 프레임 연속 동일한 구역의 카테고리로 분류되지 못한 것으로 판단되면, 해당 구역을 상기 내시경 모듈에 의한 탐색이 미흡한 미탐색 구역으로 취급하여 이에 대응하는 제2 탐색정보를 생성할 수 있고, 상기 알림신호 출력부는, 상기 탐색구역 확인부에 의해 생성된 제2 탐색정보에 따라 상기 미탐색 구역에 대한 스냅샷 이미지 및 텍스트 중 적어도 하나의 형태로 표시가능한 알림신호를 출력할 수 있다.
또한, 상기 알림신호 출력부는, 상기 병변정보가 검출된 프레임 이미지를 상기 알림모듈의 화면 상에 스냅샷 이미지의 형태로 표시가능한 알림신호를 출력하되, 상기 스냅샷 이미지 상에, 상기 병변정보 중 병변의 좌표에 대응하도록 위치하여, 병변의 크기에 대응하는 크기를 가지며, 병변의 형상에 대응하는 다각형 실선을 맵핑한 형태로 표시가능한 알림신호를 출력하면서, 상기 스냅샷 이미지 상에, 상기 진단정보 중 악성여부에 대응하는 OX 텍스트와, 상기 진단정보 중 악성확률에 대응하는 숫자 및 퍼센트(%)의 조합 텍스트를 맵핑한 형태로 표시가능한 알림신호를 출력할 수 있다.
또한, 상기 제어모듈은, 상기 이미지 프로세싱 프로그램을 통해 상기 병변정보가 연속 검출된 것으로 인식되어 상기 데이터 베이스부에 별도로 저장된 상기 10 프레임 이상의 프레임 이미지들 중 대표적인 하나의 프레임 이미지를 선정하는 이미지 선정부를 더 포함할 수 있고, 상기 이미지 선정부는, 상기 이미지 프로세싱 프로그램을 이용하여, 상기 데이터 베이스부에 별도로 저장된 상기 10 프레임 이상의 프레임 이미지들에 대해 블러(Blur)현상이 나타난 적어도 하나의 블러 이미지를 제거하는 블러 이미지 제거부; 상기 블러 이미지 제거부를 통해 상기 블러 이미지가 제거된 이미지 리스트에서 대표 이미지를 복수개 선별하는 대표 이미지 선별부; 및 상기 선별된 대표 이미지들 간 동일 병변정보의 검출여부를 판단하되, 상기 동일 병변정보의 검출로 판단되면, 상기 선별된 대표 이미지들을 중복 이미지로 취급하여 상기 선별된 대표 이미지들 중 하나를 제외한 나머지를 필터링하는 중복 이미지 필터링부를 포함할 수 있다.
또한, 상기 이미지 선정부의 이미지 프로세싱 프로그램은, 상기 다수 환자의 신체 내부기관을 기촬영한 복수건의 내시경 영상에서 병변이 나타난 2700 내지 2800 장의 프레임 이미지를 기반으로 상기 블러현상에 대해 학습할 수 있고, 상기 블러 이미지 제거부는, 상기 이미지 프로세싱 프로그램을 통해 상기 데이터 베이스부에 별도로 저장된 상기 10 프레임 이상의 프레임 이미지들에 대해 블러인 확률을 획득하되, 상기 이미지 프로세싱 프로그램의 EfficientNetB6 구조에 의해 상기 프레임 이미지들에 대한 블러여부를 분류 후 블러 이미지를 제거할 수 있으며, 상기 대표 이미지 선별부는, 상기 블러 이미지 제거부를 통해 상기 블러 이미지가 제거된 이미지 리스트에서 15 내지 30 프레임 이내에 연속적으로 이어지는 프레임 이미지는 동일한 병변정보를 검출한 것으로 취급하고, 그 중 1/4 분위수 프레임 이미지, 중앙 프레임 이미지, 3/4 분위수 프레임 이미지를 대표 이미지로 선별할 수 있다.
또한, 상기 이미지 선정부의 이미지 프로세싱 프로그램은, 상기 다수 환자의 신체 내부기관을 기촬영한 복수건의 내시경 영상에서 병변이 나타난 6000 내지 6100 장의 프레임 이미지를 기반으로 상기 동일 병변정보 검출에 대해 학습할 수 있고, 상기 중복 이미지 필터링부는, 상기 이미지 프로세싱 프로그램을 통해 상기 선별된 대표 이미지들 간 동일 병변정보 검출여부 확률을 획득하되, 상기 이미지 프로세싱 프로그램의 EfficientNetB6 구조에서 마지막 레이어인 전결합층에서 획득된 벡터를 Annoy 알고리즘을 통해 벡터간 유사도를 비교하고 동일 병변정보 검출여부를 판단할 수 있다.
한편, 상기와 같은 목적을 달성하기 위한 기술적 방법인 본 발명의 일 실시예에 따른 인공지능 기반의 내시경 진단 보조 시스템을 제어하는 방법으로서, a) 내시경 모듈이 임의의 시술 대상환자의 신체 내부기관에 대한 내시경 영상을 실시간 제공하는 단계; b) 제어모듈이 상기 a)단계에서 제공되는 내시경 영상을 초당 복수개의 프레임씩 획득하고, 상기 획득에 따른 프레임 이미지를 이미지 프로세싱 프로그램의 조건에 부합하도록 변환하는 단계; c) 상기 제어모듈이 상기 b)단계에서 변환된 프레임 이미지를 상기 이미지 프로세싱 프로그램을 통해 분석하여 병변정보를 검출하는 단계; d) 상기 제어모듈이 상기 c)단계의 검출결과, 상기 b)단계에서 변환되는 프레임 이미지들 중 10 프레임 이상의 프레임 이미지들에 상기 병변정보가 연속적으로 검출되는지에 대한 여부를 인식하는 단계; e) 상기 제어모듈이 상기 d)단계의 인식결과, 상기 10 프레임 이상의 프레임 이미지들에 상기 병변정보가 연속 검출된 것으로 인식되면, 상기 연속 검출된 병변정보와 입력모듈로부터 입력되는 의료정보를 병변진단 프로그램을 통해 상호 매칭시키면서 상기 매칭결과에 대응하는 진단정보를 생성하는 단계; 및 f) 상기 제어모듈이 상기 연속 검출된 병변정보와, 상기 e)단계에서 생성된 진단정보에 따라 미리 설정된 알림신호를 출력하고, 알림모듈이 상기 제어모듈로부터 출력되는 알림신호에 따라 임의의 화면 상에 시각적으로 디스플레이하는 단계를 포함하되, c') 상기 제어모듈이 상기 b)단계에서 변환되는 프레임 이미지들을 상기 신체 내부기관의 각 구역에 각각 매칭시키면서 분류하고, 상기 분류결과에 따라 탐색완료 구역과 미탐색 구역을 구분하는 탐색정보를 더 생성하며, 상기 생성된 탐색정보에 따라 미리 설정된 알림신호를 출력하여, 상기 f)단계에서의 상기 알림모듈의 디스플레이 프로세스로 이어지도록 하는 단계를 더 포함할 수 있다.
또한, 상기 d)단계는, 상기 제어모듈이 상기 c)단계의 검출결과, 상기 병변정보가 검출되지 않으면, 상기 a)단계부터 다시 수행되도록 할 수 있고, 상기 e)단계는, 상기 제어모듈이 상기 d)단계의 인식결과, 상기 10 프레임 이상의 프레임 이미지들에 상기 병변정보가 연속 검출되지 않은 것으로 인식되면, 상기 a)단계부터 다시 수행되도록 할 수 있다.
또한, 상기 c')단계는, c'-1) 상기 제어모듈이 상기 b)단계에서 변환된 프레임 이미지를 실시간 입력받아 상기 이미지 프로세싱 프로그램을 통해 상기 신체 내부기관의 어느 구역과 매칭되는지 임의의 카테고리로 분류하는 단계; c'-2) 상기 제어모듈이 상기 c'-1)단계에서 분류된 프레임 이미지가 30 프레임 연속 동일한 구역의 카테고리로 분류되었는지 여부를 판단하는 단계; 및 c'-3) 상기 제어모듈이 상기 c'-2)단계에서의 판단결과에 따라 탐색완료 구역과 미탐색 구역을 구분하는 탐색정보를 생성하고, 상기 생성된 탐색정보에 따라 미리 설정된 알림신호를 출력하여, 상기 f) 단계에서의 상기 알림모듈의 디스플레이 프로세스로 이어지도록 하는 단계를 포함할 수 있다.
또한, 상기 c'-3)단계는, 상기 제어모듈이 상기 c'-2)단계의 판단결과, 상기 30 프레임 연속 동일한 구역의 카테고리로 분류된 것으로 판단되면, 해당 구역을 상기 내시경 모듈에 의한 탐색이 충족된 탐색완료 구역으로 취급하여 이에 대응하는 제1 탐색정보를 생성할 수 있고, 상기 내시경 모듈을 이용한 시술이 진행중인 시점에, 상기 30 프레임 연속 동일한 구역의 카테고리로 분류되지 못한 것으로 판단되면, 상기 a)단계부터 다시 수행되도록 할 수 있으며, 상기 내시경 모듈을 이용한 시술이 종료된 시점에, 상기 30 프레임 연속 동일한 구역의 카테고리로 분류되지 못한 것으로 판단되면, 해당 구역을 상기 내시경 모듈에 의한 탐색이 미흡한 미탐색 구역으로 취급하여 이에 대응하는 제2 탐색정보를 생성할 수 있다.
또한, 상기 e)단계는, e-1) 상기 제어모듈이 상기 d)단계의 인식결과, 상기 10 프레임 이상의 프레임 이미지들에 상기 병변정보가 연속 검출된 것으로 인식되면, 상기 이미지 프로세싱 프로그램을 통해 상기 10 프레임 이상의 프레임 이미지들 중 대표적인 하나의 프레임 이미지를 선정하는 단계를 더 포함할 수 있고, 상기 e-1)단계는, e-11) 상기 제어모듈이 상기 10 프레임 이상의 프레임 이미지들에 대해 블러현상이 나타난 적어도 하나의 블러 이미지를 제거하는 단계; e-12) 상기 제어모듈이 상기 e-11)단계를 통해 상기 블러 이미지가 제거된 이미지 리스트에서 대표 이미지를 복수개 선별하는 단계; 및 e-13) 상기 제어모듈이 상기 e-12)단계에서 선별된 대표 이미지들 간 동일 병변정보의 검출여부를 판단하되, 상기 동일 병변정보의 검출로 판단되면, 상기 선별된 대표 이미지들을 중복 이미지로 취급하여 상기 선별된 대표 이미지들 중 하나를 제외한 나머지를 필터링하는 단계를 포함할 수 있다.
본 발명에 따른 인공지능 기반의 내시경 진단 보조 시스템 및 이의 제어방법은 미리 학습된 내시경 이미지 데이터를 활용하여 자동으로 실시간 병변을 검출하고, 내시경 시술을 받는 환자의 생활습관 및 환경요인을 포함하는 의료정보 데이터를 인공지능 알고리즘에 적용하여 병변의 악성정도 진단 정확도와 효율성을 향상시킬 수 있는 효과가 있다.
또한, 본 발명에 의하면, 내시경 모듈이 탐색하는 신체 내부기관의 구역이 확인될 수 있도록 한 구성을 통해 블라인드 스팟을 방지할 수 있는 장점이 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 인공지능 기반의 내시경 진단 보조 시스템의 전자적인 구성을 개략적으로 나타낸 블록도.
도 2는 도 1에 따른 상기 내시경 진단 보조 시스템에서 제어모듈의 전자적인 구성을 개략적으로 나타낸 블록도.
도 3은 본 발명의 실시예에 따른 인공지능 기반의 내시경 진단 보조 시스템의 제어방법을 나타낸 흐름도.
도 4는 도 3에 따른 상기 내시경 진단 보조 시스템의 제어방법에서 탐색구역 확인단계를 나타낸 흐름도.
도 5는 도 3에 따른 상기 내시경 진단 보조 시스템의 제어방법에서 이미지 선정단계를 나타낸 흐름도.
도 6은 본 발명의 실시예에 따른 인공지능 기반의 내시경 진단 보조 시스템 및 이의 제어방법에 대한 전체 프로세스를 개략적으로 나타낸 설계도.
도 7은 상기 도 6에 따른 프로세스가 적용된 결과를 예시적으로 나타낸 도면.
도 2는 도 1에 따른 상기 내시경 진단 보조 시스템에서 제어모듈의 전자적인 구성을 개략적으로 나타낸 블록도.
도 3은 본 발명의 실시예에 따른 인공지능 기반의 내시경 진단 보조 시스템의 제어방법을 나타낸 흐름도.
도 4는 도 3에 따른 상기 내시경 진단 보조 시스템의 제어방법에서 탐색구역 확인단계를 나타낸 흐름도.
도 5는 도 3에 따른 상기 내시경 진단 보조 시스템의 제어방법에서 이미지 선정단계를 나타낸 흐름도.
도 6은 본 발명의 실시예에 따른 인공지능 기반의 내시경 진단 보조 시스템 및 이의 제어방법에 대한 전체 프로세스를 개략적으로 나타낸 설계도.
도 7은 상기 도 6에 따른 프로세스가 적용된 결과를 예시적으로 나타낸 도면.
이하에서는, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 실시예에 따른 인공지능 기반의 내시경 진단 보조 시스템의 전자적인 구성을 개략적으로 나타낸 블록도이고, 도 2는 도 1에 따른 상기 내시경 진단 보조 시스템에서 제어모듈의 전자적인 구성을 개략적으로 나타낸 블록도이며, 도 3은 본 발명의 실시예에 따른 인공지능 기반의 내시경 진단 보조 시스템의 제어방법을 나타낸 흐름도이고, 도 4는 도 3에 따른 상기 내시경 진단 보조 시스템의 제어방법에서 탐색구역 확인단계를 나타낸 흐름도이며, 도 5는 도 3에 따른 상기 내시경 진단 보조 시스템의 제어방법에서 이미지 선정단계를 나타낸 흐름도이고, 도 6은 본 발명의 실시예에 따른 인공지능 기반의 내시경 진단 보조 시스템 및 이의 제어방법에 대한 전체 프로세스를 개략적으로 나타낸 설계도이며, 도 7은 도 6에 따른 프로세스가 적용된 결과를 예시적으로 나타낸 도면이다.
도 1에 도시한 바와 같이, 본 발명에 따른 인공지능 기반의 내시경 진단 보조 시스템(100)은 내시경 모듈(110), 입력모듈(120), 제어모듈(130) 및 알림모듈(140)을 포함하여 구성할 수 있다.
상기 내시경 모듈(110)은 환자의 신체 내부기관을 촬영가능하게 구비되는 이미지 센서(미도시) 및 상기 이미지 센서로부터 촬영되는 영상을 디스플레이 가능하게 구비되는 모니터(미도시)를 포함하여 내시경 시술을 진행하기 위한 기기로서, 본 발명의 실시예에서는, 상기 환자의 신체 내부기관에 대한 내시경 영상을 후술될 제어모듈(130)로 제공하는 기능을 수행한다.
이러한 내시경 모듈(110)은 통상적으로 게재된 일반적인 공지의 기술 구성이므로, 더 구체적인 설명은 생략하기로 하며, 해당관련분야의 당업자에 의해 본 발명의 기술적 범위 내에서 다양하게 변경 설계될 수 있다.
상기 입력모듈(120)은 시술자(사용자)에게 입력환경을 제공하도록 구비된 것으로, 좀 더 구체적으로는, 상기 환자에 대한 임의의 의료정보를 입력가능하게 구성될 수 있다.
여기서, 상기 입력모듈(120)은 PC의 키보드 또는 마우스가 적용되는 것이 바람직하나, 태블릿 또는 스마트폰 등의 키패드가 취급될 수도 있으며, 이에 한정되지 않고, 본 발명의 기술적 범위 내에서 통상의 지식을 가진 당업자에 의해 다양한 입력장치의 취급이 가능함은 물론이다.
또한, 본 발명에 따르면, 상기 의료정보는 환자의 성별, 나이, 흡연여부, 음주여부, 기저질환 중 적어도 하나의 의료와 관련된 데이터를 포함하는 환자별 개인정보인 것이 바람직하다.
상기 제어모듈(130)은 상술한 내시경 모듈(110)로부터 제공되는 내시경 영상을 미리 저장된 이미지 프로세싱 프로그램을 통해 분석하여 병변정보를 검출하고, 미리 저장된 병변진단 프로그램을 통해 상기 검출된 병변정보와 상기 입력모듈(120)로부터 입력되는 의료정보를 매칭시키면서 상기 매칭결과에 대응하는 악성여부 및 악성확률 중 적어도 하나의 진단정보를 생성하며, 상기 병변정보 및 상기 진단정보에 따라 미리 설정된 알림신호를 출력하도록 구성될 수 있다.
한편, 상기 제어모듈(130)은 본 발명에 의하면, 딥러닝 모델이 적용된 이미지 프로세싱 프로그램을 통해 상기 내시경 영상에 대한 복수개의 프레임 이미지를 상기 신체 내부기관의 각 구역에 각각 매칭시키면서 분류하고, 상기 분류결과에 따라 탐색완료 구역과 미탐색 구역을 구분하는 탐색정보를 더 생성하며, 상기 생성된 탐색정보에 따라 미리 설정된 알림신호를 출력하도록 구성될 수도 있다.
여기서, 상기 제어모듈(130)의 이미지 프로세싱 프로그램은 다수 환자의 신체 내부기관을 기촬영한 복수건의 내시경 영상에서 병변이 나타난 복수개의 프레임 이미지를 우선 획득하여 미리 학습한 딥러닝 기반의 프로그램인 것이 바람직하다.
또한, 상기 제어모듈(130)의 병변진단 프로그램은 상기 병변이 나타난 복수건의 프레임 이미지와 그에 대응하는 다수 환자에 대한 복수건의 의료정보를 우선 획득하여 미리 매칭 학습한 딥러닝 기반의 프로그램인 것이 바람직하다.
이러한 상기 제어모듈(130)은 좀 더 구체적으로, 이미지 획득부(131), 이미지 변환부(132), 병변 검출부(133), 데이터 베이스부(134), 병변 진단부(135), 탐색구역 확인부(136) 및 알림신호 출력부(137)를 포함하여 구성될 수 있고, 이하, 도 2를 참조하여, 상기 제어모듈(130)의 하위구성을 보다 상세히 설명하기로 한다.
상기 이미지 획득부(131)는 내시경 모듈(110)로부터 제공되는 내시경 영상을 초당 복수개의 프레임씩 획득하는 구성으로, 본 발명의 바람직한 실시예에 따르면, 상기 내시경 영상을 초당 15 내지 30 프레임씩 획득하도록 구성하는 것이 바람직하다.
상기 이미지 변환부(132)는 상술한 이미지 획득부(131)에 의해 획득되는 프레임 이미지를 상기 이미지 프로세싱 프로그램의 조건에 부합하도록 변환하는 구성으로서, 보다 구체적으로는, 평균 가로 800 세로 1200 규격의 픽셀로 이루어지면서 기존 0 내지 255 사이의 픽셀 분포를 갖는 8비트의 프레임 이미지를 -1 내지 +1 사이의 픽셀 분포를 갖도록 변환하는 기능을 수행한다.
상기 병변 검출부(133)는 이미지 변환부(132)에 의해 변환된 프레임 이미지를 상기 이미지 프로세싱 프로그램을 통해 분석하여 이미지 상의 병변에 대한 크기, 형상, 좌표를 포함하는 병변정보를 검출하도록 구성될 수 있다.
이때, 상기 병변 검출부(133)의 이미지 프로세싱 프로그램은 상기 다수 환자의 신체 내부기관을 기촬영한 복수건의 내시경 영상에서 병변이 나타난 10000 내지 11000 장의 프레임 이미지를 학습하여 이미지 상의 병변 영역을 획득하되, EfficientNetB0를 Backbone으로 하는 EfficientDet 구조를 사용하면서, EfficientNetB0 구조를 통해 추출된 특징점(Feature)에 weighted bi-directional FPN(BiFPN)을 활용하여 이미지 상의 병변의 좌표에 대한 데이터를 획득하고, 픽셀 분석을 통해 이미지 상의 병변의 크기 및 형상에 대한 데이터를 획득하도록 구성될 수 있다.
또한, 상기 병변 검출부(133)는 이미지 변환부(132)에 의해 변환되는 프레임 이미지들 중 10 프레임 이상의 프레임 이미지들에 상기 병변정보가 연속적으로 검출되는지에 대한 여부를 인식가능하게 구성될 수 있다.
상기 데이터 베이스부(134)는 다수 환자의 신체 내부기관을 기촬영한 복수건의 내시경 영상에서 병변이 나타난 복수개의 프레임 이미지를 저장하면서, 상기 병변이 나타난 복수개의 프레임 이미지에 대응하는 다수 환자에 대한 복수건의 의료정보를 저장하여 상기 이미지 프로세싱 프로그램의 학습환경과 상기 병변진단 프로그램의 학습환경을 제공하는 기능을 수행한다.
여기서, 상기 데이터 베이스부(134)는 병변 검출부(133)를 통해 상기 10 프레임 이상의 프레임 이미지들에 상기 병변정보가 연속 검출된 것으로 인식되면, 해당 프레임 이미지들을 별도로 저장하도록 구성하는 것이 바람직하다.
상기 병변 진단부(135)는 병변 검출부(133)에 의해 검출된 병변정보와 상기 입력모듈(120)로부터 입력되는 의료정보를 상기 병변진단 프로그램을 통해 상호 매칭시키면서 상기 매칭결과에 대응하는 악성여부 및 악성확률 중 적어도 하나의 진단정보를 생성하도록 구성될 수 있다.
이러한 상기 병변 진단부(135)는 본 발명에 의하면, 상기 병변 검출부(133)를 통해 상기 10 프레임 이상의 프레임 이미지들에 상기 병변정보가 연속 검출된 것으로 인식된 경우에만 작동할 수 있다.
이때, 상기 병변 진단부(135)의 병변진단 프로그램은 상기 병변이 나타난 2000건 내지 2100건의 프레임 이미지와 그에 대응하는 2000명 내지 2100명의 환자에 대한 2000건 내지 2100건의 의료정보를 매칭 학습하여 이미지 상의 병변에 대한 악성정도를 진단하되, EfficientNetB0 구조를 통해 추출된 특징점(Feature)에 상기 의료정보의 데이터를 매칭하여 이미지 상의 병변의 악성여부 및 악성확률에 대한 데이터를 획득하도록 구성될 수 있다.
상기 탐색구역 확인부(136)는 이미지 변환부(132)에 의해 변환되는 프레임 이미지를 실시간 입력받아 상기 이미지 프로세싱 프로그램을 통해 상기 신체 내부기관의 어느 구역과 매칭되는지 임의의 카테고리로 분류하고, 상기 분류된 프레임 이미지가 30 프레임 연속 동일한 구역의 카테고리로 분류되었는지 여부를 판단하며, 상기 판단결과에 따라 탐색완료 구역과 미탐색 구역을 구분하는 탐색정보를 생성하는 기능을 수행한다.
이러한 상기 탐색구역 확인부(136)는 상술한 이미지 프로세싱 프로그램의 EfficientNetB0 구조를 통해 상기 신체 내부기관 중 위장관과 관련한 총 10가지의 카테고리로 분류하도록 구성될 수 있다.
여기서, 상기 10가지의 카테고리는 esophagus, squamocolumnar junction, middle upper body, lower body, antrum, duodenal bulb, duodenal_descending, angulus, retroflex middle upper body, fundus인 것이 바람직하다.
예컨대, 상기 탐색구역 확인부(136)는 상기 분류된 프레임 이미지가 상기 30 프레임 연속 동일한 구역의 카테고리로 분류된 것으로 판단되면, 해당 구역을 상기 내시경 모듈(110)에 의한 탐색이 충족된 탐색완료 구역으로 취급하여 이에 대응하는 제1 탐색정보를 생성할 수 있다.
한편, 상기 탐색구역 확인부(136)는 내시경 모듈(110)을 이용한 시술이 종료된 시점에, 상기 분류된 프레임 이미지가 상기 30 프레임 연속 동일한 구역의 카테고리로 분류되지 못한 것으로 판단되면, 해당 구역을 상기 내시경 모듈(110)에 의한 탐색이 미흡한 미탐색 구역으로 취급하여 이에 대응하는 제2 탐색정보를 생성할 수 있다.
상기 알림신호 출력부(137)는 병변 검출부(133)에 의해 검출된 병변정보와, 상기 병변 진단부(135)에 의해 생성된 진단정보와, 상기 탐색구역 확인부(136)에 의해 생성된 탐색정보에 따라 미리 설정된 알림신호를 출력하는 기능을 수행한다.
좀 더 구체적으로, 상기 알림신호 출력부(137)는 병변정보가 검출된 프레임 이미지를 후술될 알림모듈(140)의 화면 상에 스냅샷(snapshot) 이미지의 형태로 표시가능한 알림신호를 출력하되, 상기 스냅샷 이미지 상에, 상기 병변정보 중 병변의 좌표에 대응하도록 위치하여, 병변의 크기에 대응하는 크기를 가지며, 병변의 형상에 대응하는 다각형 실선을 맵핑한 형태로 표시가능한 알림신호를 출력하면서, 상기 스냅샷 이미지 상에, 상기 진단정보 중 악성여부에 대응하는 OX 텍스트와, 상기 진단정보 중 악성확률에 대응하는 숫자 및 퍼센트(%)의 조합 텍스트를 맵핑한 형태로 표시가능한 알림신호를 출력하도록 구성될 수 있다.
또한, 알림신호 출력부(137)는 탐색구역 확인부(136)에 의해 생성된 제1 탐색정보에 따라 상기 탐색완료 구역에 대한 스냅샷 이미지 및 텍스트 중 적어도 하나의 형태로 표시가능한 알림신호를 출력하도록 구성될 수 있으며, 상기 탐색구역 확인부(136)에 의해 생성된 제2 탐색정보에 따라 상기 미탐색 구역에 대한 스냅샷 이미지 및 텍스트 중 적어도 하나의 형태로 표시가능한 알림신호를 출력하도록 구성될 수 있다.
한편, 상기 제어모듈(130)은 이미지 프로세싱 프로그램을 통해 상기 병변정보가 연속 검출된 것으로 인식되어 상기 데이터 베이스부(134)에 별도로 저장된 상기 10 프레임 이상의 프레임 이미지들 중 대표적인 하나의 프레임 이미지를 선정하는 이미지 선정부(138)를 더 포함하여 구성될 수 있다.
여기서, 상기 이미지 선정부(138)의 이미지 프로세싱 프로그램은 본 발명에 따르면, 상기 다수 환자의 신체 내부기관을 기촬영한 복수건의 내시경 영상에서 병변이 나타난 2700 내지 2800 장의 프레임 이미지를 기반으로 상기 블러(Blur)현상에 대해 학습하도록 구성하는 것이 바람직하다.
또한, 상기 이미지 선정부(138)의 이미지 프로세싱 프로그램은 상기 다수 환자의 신체 내부기관을 기촬영한 복수건의 내시경 영상에서 병변이 나타난 6000 내지 6100 장의 프레임 이미지를 기반으로 동일 병변정보 검출에 대해 학습하도록 구성하는 것이 바람직하다.
이러한 상기 이미지 선정부(138)는 좀 더 구체적으로는, 블러 이미지 제거부(138a), 대표 이미지 선별부(138b) 및 중복 이미지 필터링부(138c)를 포함하여 구성될 수 있으며, 이하, 상기 이미지 선정부(138)의 하위구성을 보다 상세하게 설명하면 다음과 같다.
상기 블러 이미지 제거부(138a)는 데이터 베이스부(134)에 별도로 저장된 상기 10 프레임 이상의 프레임 이미지들에 대해 블러현상이 나타난 적어도 하나의 블러 이미지를 제거하는 기능을 수행한다.
좀 더 바람직하게는, 상기 블러 이미지 제거부(138a)는 이미지 프로세싱 프로그램을 통해 상기 데이터 베이스부(134)에 별도로 저장된 상기 10 프레임 이상의 프레임 이미지들에 대해 블러인 확률을 획득하되, 상기 이미지 프로세싱 프로그램의 EfficientNetB6 구조에 의해 상기 프레임 이미지들에 대한 블러여부를 분류 후 블러 이미지를 제거할 수 있다.
상기 대표 이미지 선별부(138b)는 블러 이미지 제거부(138a)를 통해 상기 블러 이미지가 제거된 이미지 리스트에서 대표 이미지를 복수개 선별하는 기능을 수행한다.
좀 더 바람직하게는, 상기 대표 이미지 선별부(138b)는 이미지 프로세싱 프로그램을 이용하여, 상기 블러 이미지 제거부(138a)를 통해 블러 이미지가 제거된 이미지 리스트에서 15 내지 30 프레임 이내에 연속적으로 이어지는 프레임 이미지는 동일한 병변정보를 검출한 것으로 취급하고, 그 중 1/4 분위수 프레임 이미지, 중앙 프레임 이미지, 3/4 분위수 프레임 이미지를 대표 이미지로 선별할 수 있다.
상기 중복 이미지 필터링부(138c)는 선별된 대표 이미지들 간 동일 병변정보의 검출여부를 판단하되, 상기 동일 병변정보의 검출로 판단되면, 상기 선별된 대표 이미지들을 중복 이미지로 취급하여 상기 선별된 대표 이미지들 중 하나를 제외한 나머지를 필터링하는 기능을 수행한다.
좀 더 바람직하게는, 상기 중복 이미지 필터링부(138c)는 이미지 프로세싱 프로그램을 통해 상기 선별된 대표 이미지들 간 동일 병변정보 검출여부 확률을 획득하되, 상기 이미지 프로세싱 프로그램의 EfficientNetB6 구조에서 마지막 레이어인 전결합층에서 획득된 벡터를 Ann(Approximate Nearest Neighbor)oy 알고리즘(근사치 이웃 방법)을 통해 벡터간 유사도를 비교하고 동일 병변정보 검출여부를 판단할 수 있다.
상기 알림모듈(140)은 상기 제어모듈(130)로부터 출력되는 알림신호에 따라 임의의 화면 상에 시각적으로 디스플레이하는 기능을 수행한다.
이러한 상기 알림모듈(140)은 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함하여 구성될 수 있다.
한편, 이와 같이 구성된 내시경 진단 보조 시스템(100)을 제어하는 방법은 도 3을 참조하여 내시경 영상 제공단계(S100), 프레임 이미지 변환단계(S200), 병변정보 검출단계(S300), 연속 검출여부 인식단계(부호 미표시), 진단정보 생성단계(S500), 알림모듈 디스플레이 단계(S600) 및 탐색구역 확인단계(S300')를 포함하여 구성할 수 있다.
상기 내시경 영상 제공단계(S100)에서는 내시경 모듈(110)이 임의의 시술 대상환자의 신체 내부기관에 대한 내시경 영상을 실시간 제공한다.
상기 프레임 이미지 변환단계(S200)에서는 제어모듈(130)이 상기 내시경 영상 제공단계(S100)에서 제공되는 내시경 영상을 초당 복수개의 프레임씩 획득하고, 상기 획득에 따른 프레임 이미지를 이미지 프로세싱 프로그램의 조건에 부합하도록 변환한다.
상기 병변정보 검출단계(S300)에서는 제어모듈(130)이 상기 프레임 이미지 변환단계(S200)에서 변환된 프레임 이미지를 상기 이미지 프로세싱 프로그램을 통해 분석하여 병변정보를 검출한다.
상기 연속 검출여부 인식단계에서는 제어모듈(130)이 상기 병변정보 검출단계(S300)의 검출(S410)결과, 상기 프레임 이미지 변환단계(S200)에서 변환되는 프레임 이미지들 중 10 프레임 이상의 프레임 이미지들에 상기 병변정보가 연속적으로 검출되는지에 대한 여부를 인식(S420)한다.
이러한 상기 연속 검출여부 인식단계는 제어모듈(130)이 상기 병변정보 검출단계(S300)의 검출결과, 상기 병변정보가 검출되지 않으면, 상기 내시경 영상 제공단계(S100)부터 다시 수행되도록 한다.
상기 진단정보 생성단계(S500)에서는 제어모듈(130)이 상기 연속 검출여부 인식단계의 인식결과, 상기 10 프레임 이상의 프레임 이미지들에 상기 병변정보가 연속 검출된 것으로 인식되면, 상기 연속 검출된 병변정보와 입력모듈(120)로부터 입력되는 의료정보를 병변진단 프로그램을 통해 상호 매칭시키면서 상기 매칭결과에 대응하는 진단정보를 생성한다.
여기서, 상기 진단정보 생성단계(S500)는 제어모듈(130)이 상기 연속 검출여부 인식단계의 인식결과, 상기 10 프레임 이상의 프레임 이미지들에 상기 병변정보가 연속 검출되지 않은 것으로 인식되면, 상기 내시경 영상 제공단계(S100)부터 다시 수행되도록 한다.
또한, 상기 진단정보 생성단계(S500)는 제어모듈(130)이 상기 연속 검출여부 인식단계의 인식결과, 상기 10 프레임 이상의 프레임 이미지들에 상기 병변정보가 연속 검출된 것으로 인식되면, 상기 이미지 프로세싱 프로그램을 통해 상기 10 프레임 이상의 프레임 이미지들 중 대표적인 하나의 프레임 이미지를 선정하는 이미지 선정단계(S510)를 더 포함할 수 있다.
이러한 상기 이미지 선정단계(S510)는 도 5에 나타낸 바와 같이, 블러 이미지 제거단계(S511), 대표 이미지 선별단계(S512) 및 중복 이미지 필터링단계(S513)를 포함하여 구성될 수 있다.
상기 블러 이미지 제거단계(S511)에서는 제어모듈(130)이 상기 10 프레임 이상의 프레임 이미지들에 대해 블러현상이 나타난 적어도 하나의 블러 이미지를 제거한다.
상기 대표 이미지 선별단계(S512)에서는 제어모듈(130)이 상기 블러 이미지 제거단계(S511)를 통해 상기 블러 이미지가 제거된 이미지 리스트에서 대표 이미지를 복수개 선별한다.
상기 중복 이미지 필터링단계(S513)에서는 제어모듈(130)이 상기 대표 이미지 선별단계(S512)에서 선별된 대표 이미지들 간 동일 병변정보의 검출여부를 판단하되, 상기 동일 병변정보의 검출로 판단되면, 상기 선별된 대표 이미지들을 중복 이미지로 취급하여 상기 선별된 대표 이미지들 중 하나를 제외한 나머지를 필터링한다.
상기 알림모듈 디스플레이 단계(S600)에서는 제어모듈(130)이 상기 연속 검출된 병변정보와, 상기 진단정보 생성단계(S500)에서 생성된 진단정보에 따라 미리 설정된 알림신호를 출력하고, 상기 알림모듈(140)이 제어모듈(130)로부터 출력되는 알림신호에 따라 임의의 화면 상에 시각적으로 디스플레이한다.
상기 탐색구역 확인단계(S300')에서는 제어모듈(130)이 상기 프레임 이미지 변환단계(S200)단계에서 변환되는 프레임 이미지들을 상기 신체 내부기관의 각 구역에 각각 매칭시키면서 분류하고, 상기 분류결과에 따라 탐색완료 구역과 미탐색 구역을 구분하는 탐색정보를 더 생성하며, 상기 생성된 탐색정보에 따라 미리 설정된 알림신호를 출력하여, 상술한 알림모듈 디스플레이 단계(S600)에서의 상기 알림모듈(140)의 디스플레이 프로세스로 이어지도록 한다.
여기서, 상기 탐색구역 확인단계(S300')는 좀 더 구체적으로, 도 4에 도시된 바와 같이, 카테고리별 분류단계(S310'), 연속 분류여부 판단단계(S320'), 탐색정보 생성단계(부호 미표시) 및 알림신호 출력단계(S340')를 포함하여 구성될 수 있다.
상기 카테고리별 분류단계(S310')에서는 제어모듈(130)이 상기 프레임 이미지 변환단계(S200)에서 변환된 프레임 이미지를 실시간 입력받아 상기 이미지 프로세싱 프로그램을 통해 상기 신체 내부기관의 어느 구역과 매칭되는지 임의의 카테고리로 분류한다.
상기 연속 분류여부 판단단계(S320')에서는 제어모듈(130)이 상기 카테고리별 분류단계(S310')에서 분류된 프레임 이미지가 30 프레임 연속 동일한 구역의 카테고리로 분류되었는지 여부를 판단(S321')하고, 상기 내시경 모듈(110)의 전원신호에 따라 내시경 시술의 종료여부를 판단(S322')한다.
상기 탐색정보 생성단계에서는 제어모듈(130)이 상기 연속 분류여부 판단단계(S320')에서의 판단결과에 따라 탐색완료 구역과 미탐색 구역을 구분하는 탐색정보를 생성한다.
이러한 상기 탐색정보 생성단계에서는 제어모듈(130)이 상기 연속 분류여부 판단단계(S320')의 판단결과, 상기 30 프레임 연속 동일한 구역의 카테고리로 분류된 것으로 판단되면, 해당 구역을 상기 내시경 모듈(110)에 의한 탐색이 충족된 탐색완료 구역으로 취급하여 이에 대응하는 제1 탐색정보를 생성(S331')할 수 있고, 상기 내시경 모듈(110)을 이용한 시술이 종료된 시점에, 상기 30 프레임 연속 동일한 구역의 카테고리로 분류되지 못한 것으로 판단되면, 해당 구역을 상기 내시경 모듈(110)에 의한 탐색이 미흡한 미탐색 구역으로 취급하여 이에 대응하는 제2 탐색정보를 생성할 수 있다.
또한, 상기 탐색정보 생성단계에서는 내시경 모듈(110)을 이용한 시술이 진행중인 시점에, 상기 30 프레임 연속 동일한 구역의 카테고리로 분류되지 못한 것으로 판단되면, 상기 내시경 영상 제공단계(S100)부터 다시 수행되도록 한다.
상기 알림신호 출력단계(S340')에서는 제어모듈(130)이 상기 탐색정보 생성단계에서 생성된 탐색정보에 따라 미리 설정된 알림신호를 출력하여, 상기 알림모듈 디스플레이 단계(S600)에서의 상기 알림모듈(140)의 디스플레이 프로세스로 이어지도록 한다.
상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 당업자는 상술한 실시예들에 기재된 각 구성을 서로 조합하는 방식으로 이용할 수 있다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.
100 : 내시경 진단 보조 시스템 110 : 내시경 모듈
120 : 입력모듈 130 : 제어모듈
131 : 이미지 획득부 132 : 이미지 변환부
133 : 병변 검출부 134 : 데이터 베이스부
135 : 병변 진단부 136 : 탐색구역 확인부
137 : 알림신호 출력부 138 : 이미지 선정부
138a : 블러 이미지 제거부 138b : 대표 이미지 선별부
138c : 중복 이미지 필터링부 140 : 알림모듈
120 : 입력모듈 130 : 제어모듈
131 : 이미지 획득부 132 : 이미지 변환부
133 : 병변 검출부 134 : 데이터 베이스부
135 : 병변 진단부 136 : 탐색구역 확인부
137 : 알림신호 출력부 138 : 이미지 선정부
138a : 블러 이미지 제거부 138b : 대표 이미지 선별부
138c : 중복 이미지 필터링부 140 : 알림모듈
Claims (18)
- 환자의 신체 내부기관에 대한 내시경 영상을 제공하는 내시경 모듈;
상기 환자에 대한 임의의 의료정보를 입력가능하게 구성되는 입력모듈;
상기 내시경 모듈로부터 제공되는 내시경 영상을 미리 저장된 이미지 프로세싱 프로그램을 통해 분석하여 병변정보를 검출하고, 미리 저장된 병변진단 프로그램을 통해 상기 검출된 병변정보와 상기 입력모듈로부터 입력되는 의료정보를 매칭시키면서 상기 매칭결과에 대응하는 악성여부 및 악성확률 중 적어도 하나의 진단정보를 생성하며, 상기 병변정보 및 상기 진단정보에 따라 미리 설정된 알림신호를 출력하는 제어모듈; 및
상기 제어모듈로부터 출력되는 알림신호에 따라 임의의 화면 상에 시각적으로 디스플레이하는 알림모듈을 포함하되,
상기 제어모듈은,
딥러닝 모델이 적용된 이미지 프로세싱 프로그램을 통해 상기 내시경 영상에 대한 복수개의 프레임 이미지를 상기 신체 내부기관의 각 구역에 각각 매칭시키면서 분류하고, 상기 분류결과에 따라 탐색완료 구역과 미탐색 구역을 구분하는 탐색정보를 더 생성하며, 상기 생성된 탐색정보에 따라 미리 설정된 알림신호를 출력하는 것을 특징으로 하는 인공지능 기반의 내시경 진단 보조 시스템.
- 제 1 항에 있어서,
상기 제어모듈의 이미지 프로세싱 프로그램은,
다수 환자의 신체 내부기관을 기촬영한 복수건의 내시경 영상에서 병변이 나타난 복수개의 프레임 이미지를 우선 획득하여 미리 학습한 딥러닝 기반의 프로그램인 것을 특징으로 하고,
상기 제어모듈의 병변진단 프로그램은,
상기 병변이 나타난 복수건의 프레임 이미지와 그에 대응하는 다수 환자에 대한 복수건의 의료정보를 우선 획득하여 미리 매칭 학습한 딥러닝 기반의 프로그램인 것을 특징으로 하는 인공지능 기반의 내시경 진단 보조 시스템.
- 제 2 항에 있어서,
상기 제어모듈은,
상기 내시경 모듈로부터 제공되는 내시경 영상을 초당 복수개의 프레임씩 획득하는 이미지 획득부;
상기 이미지 획득부에 의해 획득되는 프레임 이미지를 상기 이미지 프로세싱 프로그램의 조건에 부합하도록 변환하는 이미지 변환부;
상기 이미지 변환부에 의해 변환된 프레임 이미지를 상기 이미지 프로세싱 프로그램을 통해 분석하여 이미지 상의 병변에 대한 크기, 형상, 좌표를 포함하는 병변정보를 검출하는 병변 검출부;
상기 다수 환자의 신체 내부기관을 기촬영한 복수건의 내시경 영상에서 병변이 나타난 복수개의 프레임 이미지를 저장하면서, 상기 병변이 나타난 복수개의 프레임 이미지에 대응하는 다수 환자에 대한 복수건의 의료정보를 저장하여 상기 이미지 프로세싱 프로그램의 학습환경과 상기 병변진단 프로그램의 학습환경을 제공하는 데이터 베이스부;
상기 병변 검출부에 의해 검출된 병변정보와 상기 입력모듈로부터 입력되는 의료정보를 상기 병변진단 프로그램을 통해 상호 매칭시키면서 상기 매칭결과에 대응하는 악성여부 및 악성확률 중 적어도 하나의 진단정보를 생성하는 병변 진단부;
상기 이미지 변환부에 의해 변환되는 프레임 이미지를 실시간 입력받아 상기 이미지 프로세싱 프로그램을 통해 상기 신체 내부기관의 어느 구역과 매칭되는지 임의의 카테고리로 분류하고, 상기 분류된 프레임 이미지가 30 프레임 연속 동일한 구역의 카테고리로 분류되었는지 여부를 판단하며, 상기 판단결과에 따라 탐색완료 구역과 미탐색 구역을 구분하는 탐색정보를 생성하는 탐색구역 확인부; 및
상기 병변 검출부에 의해 검출된 병변정보와, 상기 병변 진단부에 의해 생성된 진단정보와, 상기 탐색구역 확인부에 의해 생성된 탐색정보에 따라 미리 설정된 알림신호를 출력하는 알림신호 출력부를 포함하는 것을 특징으로 하는 인공지능 기반의 내시경 진단 보조 시스템.
- 제 3 항에 있어서,
상기 병변 검출부의 이미지 프로세싱 프로그램은,
상기 다수 환자의 신체 내부기관을 기촬영한 복수건의 내시경 영상에서 병변이 나타난 10000 내지 11000 장의 프레임 이미지를 학습하여 이미지 상의 병변 영역을 획득하되,
EfficientNetB0를 Backbone으로 하는 EfficientDet 구조를 사용하면서, EfficientNetB0 구조를 통해 추출된 특징점(Feature)에 weighted bi-directional FPN(BiFPN)을 활용하여 이미지 상의 병변의 좌표에 대한 데이터를 획득하고, 픽셀 분석을 통해 이미지 상의 병변의 크기 및 형상에 대한 데이터를 획득하도록 구성된 것을 특징으로 하는 인공지능 기반의 내시경 진단 보조 시스템.
- 제 3 항에 있어서,
상기 병변 검출부는,
상기 이미지 변환부에 의해 변환되는 프레임 이미지들 중 10 프레임 이상의 프레임 이미지들에 상기 병변정보가 연속적으로 검출되는지에 대한 여부를 인식가능하게 구성된 것을 특징으로 하고,
상기 데이터 베이스부는,
상기 병변 검출부를 통해 상기 10 프레임 이상의 프레임 이미지들에 상기 병변정보가 연속 검출된 것으로 인식되면, 해당 프레임 이미지들을 별도로 저장하는 것을 특징으로 하며,
상기 병변 진단부는,
상기 병변 검출부를 통해 상기 10 프레임 이상의 프레임 이미지들에 상기 병변정보가 연속 검출된 것으로 인식된 경우에만 작동하는 것을 특징으로 하는 인공지능 기반의 내시경 진단 보조 시스템.
- 제 3 항에 있어서,
상기 병변 진단부의 병변진단 프로그램은,
상기 병변이 나타난 2000건 내지 2100건의 프레임 이미지와 그에 대응하는 2000명 내지 2100명의 환자에 대한 2000건 내지 2100건의 의료정보를 매칭 학습하여 이미지 상의 병변에 대한 악성정도를 진단하되,
EfficientNetB0 구조를 통해 추출된 특징점(Feature)에 상기 의료정보의 데이터를 매칭하여 이미지 상의 병변의 악성여부 및 악성확률에 대한 데이터를 획득하도록 구성된 것을 특징으로 하는 인공지능 기반의 내시경 진단 보조 시스템.
- 제 3 항에 있어서,
상기 탐색구역 확인부는,
상기 이미지 프로세싱 프로그램의 EfficientNetB0 구조를 통해 상기 신체 내부기관 중 위장관과 관련한 총 10가지의 카테고리로 분류하는 것을 특징으로 하고,
상기 10가지의 카테고리는,
esophagus, squamocolumnar junction, middle upper body, lower body, antrum, duodenal bulb, duodenal_descending, angulus, retroflex middle upper body, fundus인 것을 특징으로 하는 인공지능 기반의 내시경 진단 보조 시스템.
- 제 3 항에 있어서,
상기 탐색구역 확인부는,
상기 분류된 프레임 이미지가 상기 30 프레임 연속 동일한 구역의 카테고리로 분류된 것으로 판단되면, 해당 구역을 상기 내시경 모듈에 의한 탐색이 충족된 탐색완료 구역으로 취급하여 이에 대응하는 제1 탐색정보를 생성하는 것을 특징으로 하고,
상기 알림신호 출력부는,
상기 탐색구역 확인부에 의해 생성된 제1 탐색정보에 따라 상기 탐색완료 구역에 대한 스냅샷(snapshot) 이미지 및 텍스트 중 적어도 하나의 형태로 표시가능한 알림신호를 출력하는 것을 특징으로 하는 인공지능 기반의 내시경 진단 보조 시스템.
- 제 3 항에 있어서,
상기 탐색구역 확인부는,
상기 내시경 모듈을 이용한 시술이 종료된 시점에, 상기 분류된 프레임 이미지가 상기 30 프레임 연속 동일한 구역의 카테고리로 분류되지 못한 것으로 판단되면, 해당 구역을 상기 내시경 모듈에 의한 탐색이 미흡한 미탐색 구역으로 취급하여 이에 대응하는 제2 탐색정보를 생성하는 것을 특징으로 하고,
상기 알림신호 출력부는,
상기 탐색구역 확인부에 의해 생성된 제2 탐색정보에 따라 상기 미탐색 구역에 대한 스냅샷 이미지 및 텍스트 중 적어도 하나의 형태로 표시가능한 알림신호를 출력하는 것을 특징으로 하는 인공지능 기반의 내시경 진단 보조 시스템.
- 제 5 항에 있어서,
상기 알림신호 출력부는,
상기 병변정보가 검출된 프레임 이미지를 상기 알림모듈의 화면 상에 스냅샷 이미지의 형태로 표시가능한 알림신호를 출력하되,
상기 스냅샷 이미지 상에, 상기 병변정보 중 병변의 좌표에 대응하도록 위치하여, 병변의 크기에 대응하는 크기를 가지며, 병변의 형상에 대응하는 다각형 실선을 맵핑한 형태로 표시가능한 알림신호를 출력하면서,
상기 스냅샷 이미지 상에, 상기 진단정보 중 악성여부에 대응하는 OX 텍스트와, 상기 진단정보 중 악성확률에 대응하는 숫자 및 퍼센트(%)의 조합 텍스트를 맵핑한 형태로 표시가능한 알림신호를 출력하는 것을 특징으로 하는 인공지능 기반의 내시경 진단 보조 시스템.
- 제 10 항에 있어서,
상기 제어모듈은,
상기 이미지 프로세싱 프로그램을 통해 상기 병변정보가 연속 검출된 것으로 인식되어 상기 데이터 베이스부에 별도로 저장된 상기 10 프레임 이상의 프레임 이미지들 중 대표적인 하나의 프레임 이미지를 선정하는 이미지 선정부를 더 포함하는 것을 특징으로 하고,
상기 이미지 선정부는,
상기 이미지 프로세싱 프로그램을 이용하여,
상기 데이터 베이스부에 별도로 저장된 상기 10 프레임 이상의 프레임 이미지들에 대해 블러(Blur)현상이 나타난 적어도 하나의 블러 이미지를 제거하는 블러 이미지 제거부;
상기 블러 이미지 제거부를 통해 상기 블러 이미지가 제거된 이미지 리스트에서 대표 이미지를 복수개 선별하는 대표 이미지 선별부; 및
상기 선별된 대표 이미지들 간 동일 병변정보의 검출여부를 판단하되, 상기 동일 병변정보의 검출로 판단되면, 상기 선별된 대표 이미지들을 중복 이미지로 취급하여 상기 선별된 대표 이미지들 중 하나를 제외한 나머지를 필터링하는 중복 이미지 필터링부를 포함하는 것을 특징으로 하는 인공지능 기반의 내시경 진단 보조 시스템.
- 제 11 항에 있어서,
상기 이미지 선정부의 이미지 프로세싱 프로그램은,
상기 다수 환자의 신체 내부기관을 기촬영한 복수건의 내시경 영상에서 병변이 나타난 2700 내지 2800 장의 프레임 이미지를 기반으로 상기 블러현상에 대해 학습하는 것을 특징으로 하고,
상기 블러 이미지 제거부는,
상기 이미지 프로세싱 프로그램을 통해 상기 데이터 베이스부에 별도로 저장된 상기 10 프레임 이상의 프레임 이미지들에 대해 블러인 확률을 획득하되, 상기 이미지 프로세싱 프로그램의 EfficientNetB6 구조에 의해 상기 프레임 이미지들에 대한 블러여부를 분류 후 블러 이미지를 제거하는 것을 특징으로 하며,
상기 대표 이미지 선별부는,
상기 블러 이미지 제거부를 통해 상기 블러 이미지가 제거된 이미지 리스트에서 15 내지 30 프레임 이내에 연속적으로 이어지는 프레임 이미지는 동일한 병변정보를 검출한 것으로 취급하고, 그 중 1/4 분위수 프레임 이미지, 중앙 프레임 이미지, 3/4 분위수 프레임 이미지를 대표 이미지로 선별하는 것을 특징으로 하는 인공지능 기반의 내시경 진단 보조 시스템.
- 제 11 항에 있어서,
상기 이미지 선정부의 이미지 프로세싱 프로그램은,
상기 다수 환자의 신체 내부기관을 기촬영한 복수건의 내시경 영상에서 병변이 나타난 6000 내지 6100 장의 프레임 이미지를 기반으로 상기 동일 병변정보 검출에 대해 학습하는 것을 특징으로 하고,
상기 중복 이미지 필터링부는,
상기 이미지 프로세싱 프로그램을 통해 상기 선별된 대표 이미지들 간 동일 병변정보 검출여부 확률을 획득하되, 상기 이미지 프로세싱 프로그램의 EfficientNetB6 구조에서 마지막 레이어인 전결합층에서 획득된 벡터를 Annoy 알고리즘을 통해 벡터간 유사도를 비교하고 동일 병변정보 검출여부를 판단하는 것을 특징으로 하는 인공지능 기반의 내시경 진단 보조 시스템.
- 인공지능 기반의 내시경 진단 보조 시스템을 제어하는 방법으로서,
a) 내시경 모듈이 임의의 시술 대상환자의 신체 내부기관에 대한 내시경 영상을 실시간 제공하는 단계;
b) 제어모듈이 상기 a)단계에서 제공되는 내시경 영상을 초당 복수개의 프레임씩 획득하고, 상기 획득에 따른 프레임 이미지를 이미지 프로세싱 프로그램의 조건에 부합하도록 변환하는 단계;
c) 상기 제어모듈이 상기 b)단계에서 변환된 프레임 이미지를 상기 이미지 프로세싱 프로그램을 통해 분석하여 병변정보를 검출하는 단계;
d) 상기 제어모듈이 상기 c)단계의 검출결과, 상기 b)단계에서 변환되는 프레임 이미지들 중 10 프레임 이상의 프레임 이미지들에 상기 병변정보가 연속적으로 검출되는지에 대한 여부를 인식하는 단계;
e) 상기 제어모듈이 상기 d)단계의 인식결과, 상기 10 프레임 이상의 프레임 이미지들에 상기 병변정보가 연속 검출된 것으로 인식되면, 상기 연속 검출된 병변정보와 입력모듈로부터 입력되는 의료정보를 병변진단 프로그램을 통해 상호 매칭시키면서 상기 매칭결과에 대응하는 진단정보를 생성하는 단계; 및
f) 상기 제어모듈이 상기 연속 검출된 병변정보와, 상기 e)단계에서 생성된 진단정보에 따라 미리 설정된 알림신호를 출력하고, 알림모듈이 상기 제어모듈로부터 출력되는 알림신호에 따라 임의의 화면 상에 시각적으로 디스플레이하는 단계를 포함하되,
c') 상기 제어모듈이 상기 b)단계에서 변환되는 프레임 이미지들을 상기 신체 내부기관의 각 구역에 각각 매칭시키면서 분류하고, 상기 분류결과에 따라 탐색완료 구역과 미탐색 구역을 구분하는 탐색정보를 더 생성하며, 상기 생성된 탐색정보에 따라 미리 설정된 알림신호를 출력하여, 상기 f)단계에서의 상기 알림모듈의 디스플레이 프로세스로 이어지도록 하는 단계를 더 포함하는 것을 특징으로 하는 인공지능 기반의 내시경 진단 보조 시스템의 제어방법.
- 제 14 항에 있어서,
상기 d)단계는,
상기 제어모듈이 상기 c)단계의 검출결과, 상기 병변정보가 검출되지 않으면, 상기 a)단계부터 다시 수행되도록 하는 것을 특징으로 하고,
상기 e)단계는,
상기 제어모듈이 상기 d)단계의 인식결과, 상기 10 프레임 이상의 프레임 이미지들에 상기 병변정보가 연속 검출되지 않은 것으로 인식되면, 상기 a)단계부터 다시 수행되도록 하는 것을 특징으로 하는 인공지능 기반의 내시경 진단 보조 시스템의 제어방법.
- 제 14 항에 있어서,
상기 c')단계는,
c'-1) 상기 제어모듈이 상기 b)단계에서 변환된 프레임 이미지를 실시간 입력받아 상기 이미지 프로세싱 프로그램을 통해 상기 신체 내부기관의 어느 구역과 매칭되는지 임의의 카테고리로 분류하는 단계;
c'-2) 상기 제어모듈이 상기 c'-1)단계에서 분류된 프레임 이미지가 30 프레임 연속 동일한 구역의 카테고리로 분류되었는지 여부를 판단하는 단계; 및
c'-3) 상기 제어모듈이 상기 c'-2)단계에서의 판단결과에 따라 탐색완료 구역과 미탐색 구역을 구분하는 탐색정보를 생성하고, 상기 생성된 탐색정보에 따라 미리 설정된 알림신호를 출력하여, 상기 f) 단계에서의 상기 알림모듈의 디스플레이 프로세스로 이어지도록 하는 단계를 포함하는 것을 특징으로 하는 인공지능 기반의 내시경 진단 보조 시스템의 제어방법.
- 제 16 항에 있어서,
상기 c'-3)단계는,
상기 제어모듈이 상기 c'-2)단계의 판단결과,
상기 30 프레임 연속 동일한 구역의 카테고리로 분류된 것으로 판단되면, 해당 구역을 상기 내시경 모듈에 의한 탐색이 충족된 탐색완료 구역으로 취급하여 이에 대응하는 제1 탐색정보를 생성하는 것을 특징으로 하고,
상기 내시경 모듈을 이용한 시술이 진행중인 시점에, 상기 30 프레임 연속 동일한 구역의 카테고리로 분류되지 못한 것으로 판단되면, 상기 a)단계부터 다시 수행되도록 하는 것을 특징으로 하며,
상기 내시경 모듈을 이용한 시술이 종료된 시점에, 상기 30 프레임 연속 동일한 구역의 카테고리로 분류되지 못한 것으로 판단되면, 해당 구역을 상기 내시경 모듈에 의한 탐색이 미흡한 미탐색 구역으로 취급하여 이에 대응하는 제2 탐색정보를 생성하는 것을 특징으로 하는 인공지능 기반의 내시경 진단 보조 시스템의 제어방법.
- 제 14 항에 있어서,
상기 e)단계는,
e-1) 상기 제어모듈이 상기 d)단계의 인식결과, 상기 10 프레임 이상의 프레임 이미지들에 상기 병변정보가 연속 검출된 것으로 인식되면, 상기 이미지 프로세싱 프로그램을 통해 상기 10 프레임 이상의 프레임 이미지들 중 대표적인 하나의 프레임 이미지를 선정하는 단계를 더 포함하는 것을 특징으로 하고,
상기 e-1)단계는,
e-11) 상기 제어모듈이 상기 10 프레임 이상의 프레임 이미지들에 대해 블러현상이 나타난 적어도 하나의 블러 이미지를 제거하는 단계;
e-12) 상기 제어모듈이 상기 e-11)단계를 통해 상기 블러 이미지가 제거된 이미지 리스트에서 대표 이미지를 복수개 선별하는 단계; 및
e-13) 상기 제어모듈이 상기 e-12)단계에서 선별된 대표 이미지들 간 동일 병변정보의 검출여부를 판단하되, 상기 동일 병변정보의 검출로 판단되면, 상기 선별된 대표 이미지들을 중복 이미지로 취급하여 상기 선별된 대표 이미지들 중 하나를 제외한 나머지를 필터링하는 단계를 포함하는 것을 특징으로 하는 인공지능 기반의 내시경 진단 보조 시스템의 제어방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210143222A KR102637484B1 (ko) | 2021-10-26 | 2021-10-26 | 인공지능 기반의 내시경 진단 보조 시스템 및 이의 제어방법 |
| PCT/KR2022/016127 WO2023075303A1 (ko) | 2021-10-26 | 2022-10-21 | 인공지능 기반의 내시경 진단 보조 시스템 및 이의 제어방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210143222A KR102637484B1 (ko) | 2021-10-26 | 2021-10-26 | 인공지능 기반의 내시경 진단 보조 시스템 및 이의 제어방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230059244A true KR20230059244A (ko) | 2023-05-03 |
| KR102637484B1 KR102637484B1 (ko) | 2024-02-16 |
Family
ID=86159579
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210143222A KR102637484B1 (ko) | 2021-10-26 | 2021-10-26 | 인공지능 기반의 내시경 진단 보조 시스템 및 이의 제어방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102637484B1 (ko) |
| WO (1) | WO2023075303A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117788964A (zh) * | 2024-02-28 | 2024-03-29 | 苏州凌影云诺医疗科技有限公司 | 一种针对病变识别的跳变控制方法和系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101599129B1 (ko) | 2014-05-20 | 2016-03-02 | 박현준 | 내시경 상 보이는 병변의 크기 측정 방법 및 컴퓨터 판독 가능한 기록매체 |
| KR102222547B1 (ko) * | 2020-07-15 | 2021-03-04 | 주식회사 웨이센 | 인공지능 기반의 대장내시경 영상 분석 방법 |
| KR102237441B1 (ko) * | 2018-02-28 | 2021-04-07 | 이화여자대학교 산학협력단 | 뉴럴 네트워크를 이용하여 캡슐 내시경 영상으로부터 병변 판독 방법 및 장치 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5918548B2 (ja) * | 2012-01-24 | 2016-05-18 | 富士フイルム株式会社 | 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム |
| US10736497B2 (en) * | 2013-03-11 | 2020-08-11 | Institut Hospitalo-Universitaire De Chirurgie Mini-Invasive Guidee Par L'image | Anatomical site relocalisation using dual data synchronisation |
| KR101626802B1 (ko) * | 2013-05-29 | 2016-06-03 | 서울과학기술대학교 산학협력단 | 내시경기반의 특정병변 추적 및 모니터링 시스템 |
| KR102210806B1 (ko) * | 2018-10-02 | 2021-02-01 | 한림대학교 산학협력단 | 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법 |
-
2021
- 2021-10-26 KR KR1020210143222A patent/KR102637484B1/ko active IP Right Grant
-
2022
- 2022-10-21 WO PCT/KR2022/016127 patent/WO2023075303A1/ko unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101599129B1 (ko) | 2014-05-20 | 2016-03-02 | 박현준 | 내시경 상 보이는 병변의 크기 측정 방법 및 컴퓨터 판독 가능한 기록매체 |
| KR102237441B1 (ko) * | 2018-02-28 | 2021-04-07 | 이화여자대학교 산학협력단 | 뉴럴 네트워크를 이용하여 캡슐 내시경 영상으로부터 병변 판독 방법 및 장치 |
| KR102222547B1 (ko) * | 2020-07-15 | 2021-03-04 | 주식회사 웨이센 | 인공지능 기반의 대장내시경 영상 분석 방법 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117788964A (zh) * | 2024-02-28 | 2024-03-29 | 苏州凌影云诺医疗科技有限公司 | 一种针对病变识别的跳变控制方法和系统 |
| CN117788964B (zh) * | 2024-02-28 | 2024-05-07 | 苏州凌影云诺医疗科技有限公司 | 一种针对病变识别的跳变控制方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023075303A1 (ko) | 2023-05-04 |
| KR102637484B1 (ko) | 2024-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11633084B2 (en) | Image diagnosis assistance apparatus, data collection method, image diagnosis assistance method, and image diagnosis assistance program | |
| US20210345865A1 (en) | Systems and methods for generating and displaying a study of a stream of in-vivo images | |
| US20180263568A1 (en) | Systems and Methods for Clinical Image Classification | |
| US20180247107A1 (en) | Method and system for classification of endoscopic images using deep decision networks | |
| JP2020509455A (ja) | プログラム可能光源を使用する画像のマルチクラス分類のシステムおよび方法 | |
| WO2015141302A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP2024045234A (ja) | 腸の病理学のための画像スコアリング | |
| WO2006123455A1 (ja) | 画像表示装置 | |
| WO2007119297A1 (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
| JP7304951B2 (ja) | コンピュータプログラム、内視鏡用プロセッサの作動方法及び内視鏡用プロセッサ | |
| WO2020008834A1 (ja) | 画像処理装置、方法及び内視鏡システム | |
| US20200090548A1 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
| WO2021220822A1 (ja) | 画像診断装置、画像診断方法、画像診断プログラムおよび学習済みモデル | |
| JP6952214B2 (ja) | 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法 | |
| WO2020054543A1 (ja) | 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム | |
| Ghosh et al. | An automatic bleeding detection scheme in wireless capsule endoscopy based on histogram of an RGB-indexed image | |
| US20220133215A1 (en) | Method for evaluating skin lesions using artificial intelligence | |
| KR20160118037A (ko) | 의료 영상으로부터 병변의 위치를 자동으로 감지하는 장치 및 그 방법 | |
| JP2022145658A (ja) | 人工知能基盤の大腸内視鏡映像診断支援システム及び方法 | |
| JP2017070609A (ja) | 画像処理装置及び画像処理方法 | |
| KR102095730B1 (ko) | 딥러닝 기반의 대장 병변 검출 방법 | |
| KR102637484B1 (ko) | 인공지능 기반의 내시경 진단 보조 시스템 및 이의 제어방법 | |
| CN114901119A (zh) | 图像处理系统、内窥镜系统以及图像处理方法 | |
| JP6824868B2 (ja) | 画像解析装置及び画像解析方法 | |
| JP2019118670A (ja) | 診断支援装置、画像処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |