KR102648922B1 - 인공지능 기반의 혈관 학습을 통한 대장 용종 검출 방법 및 장치 - Google Patents
인공지능 기반의 혈관 학습을 통한 대장 용종 검출 방법 및 장치 Download PDFInfo
- Publication number
- KR102648922B1 KR102648922B1 KR1020220007724A KR20220007724A KR102648922B1 KR 102648922 B1 KR102648922 B1 KR 102648922B1 KR 1020220007724 A KR1020220007724 A KR 1020220007724A KR 20220007724 A KR20220007724 A KR 20220007724A KR 102648922 B1 KR102648922 B1 KR 102648922B1
- Authority
- KR
- South Korea
- Prior art keywords
- blood vessel
- colon
- image
- colonic
- visual effect
- Prior art date
Links
- 210000004204 blood vessel Anatomy 0.000 title claims abstract description 155
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 24
- 208000014081 polyp of colon Diseases 0.000 title claims description 43
- 230000000112 colonic effect Effects 0.000 claims abstract description 55
- 210000002429 large intestine Anatomy 0.000 claims abstract description 50
- 230000000007 visual effect Effects 0.000 claims abstract description 49
- 210000001072 colon Anatomy 0.000 claims abstract description 41
- 210000004877 mucosa Anatomy 0.000 claims abstract description 40
- 208000035984 Colonic Polyps Diseases 0.000 claims abstract description 29
- 238000013136 deep learning model Methods 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims description 41
- 208000037062 Polyps Diseases 0.000 claims description 39
- 238000004891 communication Methods 0.000 claims description 19
- 239000003550 marker Substances 0.000 claims description 19
- 239000010409 thin film Substances 0.000 claims description 18
- 230000002792 vascular Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 2
- 206010051589 Large intestine polyp Diseases 0.000 description 17
- 238000012360 testing method Methods 0.000 description 12
- 238000002052 colonoscopy Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000002159 abnormal effect Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 208000019399 Colonic disease Diseases 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 208000029742 colonic neoplasm Diseases 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 206010009944 Colon cancer Diseases 0.000 description 3
- 230000008984 colonic lesion Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001839 endoscopy Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 208000003200 Adenoma Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 231100000504 carcinogenesis Toxicity 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 235000006694 eating habits Nutrition 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Abstract
본 개시는 인공지능 기반의 혈관 학습을 통한 대장 용종 검출 방법 및 장치를 공개한다. 이 방법은 장치에 의해 수행되는 방법에 있어서, (a) 피검사자의 대장에 투입된 내시경으로부터 촬영된 영상을 실시간으로 수신하는 단계; (b) 상기 영상 내에서 대장 점막 및 대장 혈관이 포함된 각 구간 영상을 인식하는 단계; (c) 상기 각 구간 영상마다 대장 혈관상의 끊어짐 여부를 판단하는 단계; (d) 상기 각 구간 영상 내에서 대장 혈관이 끊어진 혈관상을 나타내는 제1 시각 효과를 표시하는 단계; 및 (e) 상기 각 구간 영상 내에서 대장 혈관이 연속된 혈관상을 나타내는 제2 시각 효과를 표시하는 단계; 를 포함하고, 상기 (b) 단계는, 딥러닝 모델을 통해 상기 각 구간 영상을 인식하되, 상기 딥러닝 모델은 외부 어노테이터들로부터 획득된 피검사자의 복수의 대장 영상 내의 혈관 데이터와, 상기 대장의 내부로 조사된 광으로 인한 혈관상의 끊어짐 정도 및 혈관 패턴을 기반으로 기계 학습된 모델인 것을 특징으로 한다.
Description
본 개시는 대장 용종 검출 방법 및 장치에 관한 것으로서, 보다 상세하게는, 본 개시는 인공지능 기반의 혈관 학습을 통한 대장 용종 검출 방법 및 장치에 관한 것이다.
최근에 서구화된 식습관과 운동 부족으로 국내에서 대장암 발생률은 급격히 증가하고 있다.
대장암의 80~90 %는 대장에 생긴 작은 혹인 용종(선종)에서 시작한다.
한 통계에 의하면, 대장 내시경 검사를 통해 이 용종을 조기 발견해 제거한다면 대장암에 의한 사망률을 66 %나 낮출 수 있게 된다는 보고도 있다.
전문 의료진은 각종 검사를 통해 피검사자의 병을 진단하고 치료법을 제시한다.
때에 따라서는 더 정확한 진단을 위해 방사선 영상이나 조직 슬라이드를 스캔한 병리 영상을 판독한다.
그런데, 10만×10만 픽셀 크기의 영상에서 100×100 픽셀 크기의 비정상적인 부위를 사람의 눈으로 찾는 일은 매우 어려운 일에 속한다.
아무리 전문적인 수련 과정을 거친 숙련의라도 육안으로는 종양 조직과 정상 조직을 구분하는 게 쉽지 않고, 영상에 따라서는 분석에 수십 분에서 수 시간이 걸리기도 한다.
아울러, 비정상적인 케이스를 놓치는 상황이 종종 발생한다.
대장은 길고 굴곡이 심하며 많은 주름진 형태를 가지기 때문에 숙련의가 대장 내벽 표면을 완벽하게 관찰하기가 매우 난해하다.
특히, 대장 점막 상에 존재하는 얇고 평평한 형태의 박막 평면형 용종은 보통 수준의 숙련도로는 발견이 쉽지 않고, 대장 점막의 미세한 변화나 1 mm 내외의 크기를 가지는 암세포는 육안으로 쉽게 구별하기가 어렵다.
또한, 사람의 육안으로 확인하는 작업이다 보니 휴먼 에러가 있을 수가 있어, 같은 피검사자를 두고 서로 다른 진단을 내리는 경우도 많이 있다.
전문의가 한정된 시간 안에 검토해야 하는 많은 정보를 감안한다면 오진의 가능성을 완전히 배제할 수 없는 것이다.
대표적으로, 암 오진 피해의 원인으로는 추가 검사를 소홀히 하거나 판독 오류라는 응답 비율이 가장 높은 것으로 알려져 있다.
아울러, 용종의 크기가 작거나 얇을수록 간과율이 높아지는 경향이 있어, 대장 내시경 정상 진단을 받은 지 수년 이내에 대장암 진단을 받는 케이스도 종종 발생한다.
또한, 대장 내시경 영상 판독 모니터에서 지원하는 해상도, 명암비, 휘도 등의 요소에 따라 영상이 온전하게 보이지 않을 가능성도 완전히 배제할 수 없다.
대장 내시경 영상 판독 모니터는 최소 8 비트 조건의 고해상도와 같은 요소를 필수로 지원해야 하나, 현실적으로는 고가의 장비이기 때문에 구매나 이용이 제한되는 한계가 있었다.
이러한 한계를 극복하고 좀 더 효율적으로 의료영상을 판독하려는 목적에서 최근에 딥러닝(deep learning)과 같은 인공지능(AI) 기술이 의료 영상을 이용한 진단 분야에 도입되고 있다.
딥러닝과 같은 기계 학습(machine learning)을 기반으로 하는 인공지능(AI) 기술은 의료 영상을 이용하여 피검사자의 질병을 정확하게 진단하는데 있어 비약적인 발전을 가져오는데 바탕이 되고 있다.
이에 본 발명자는 인공지능을 이용하여 대장 내시경 영상 내에서 대장 점막 및 대장 혈관이 포함된 각 구간 영상을 인식하고, 대장 혈관상의 끊어짐 여부에 대한 딥러닝 모델을 생성하여 검사 숙련도가 낮은 대장 내시경 검사자라도 대장 점막 상에 존재하는 얇고 평평한 형상의 박막 평면형 용종을 정확하게 탐지할 수 있게 하는 인공지능 기반의 혈관 학습을 통한 대장 용종 검출 방법 및 장치를 발명하기에 이르렀다.
본 개시가 해결하고자 하는 과제는 결장 혈관 구조의 형태를 학습한 인공지능을 이용하여 대장 점막 사이로 보이는 혈관상이 표시한 선을 중심으로 끊어지는 양상을 검출하여 의심 병변으로 판별하게 할 수 있는 인공지능 기반의 혈관 학습을 통한 대장 용종 검출 방법을 제공하는 것이다.
본 개시가 해결하고자 하는 다른 과제는 상기 과제를 달성하기 위한 인공지능 기반의 혈관 학습을 통한 대장 용종 검출 장치를 제공하는 것이다.
상술한 과제를 해결하기 위한 본 개시의 일 면에 따른 인공지능 기반의 혈관 학습을 통한 대장 용종 검출 방법은 장치에 의해 수행되는 방법에 있어서, (a) 피검사자의 대장에 투입된 내시경으로부터 촬영된 영상을 실시간으로 수신하는 단계; (b) 상기 영상 내에서 대장 점막 및 대장 혈관이 포함된 각 구간 영상을 인식하는 단계; (c) 상기 각 구간 영상마다 대장 혈관상의 끊어짐 여부를 판단하는 단계; (d) 상기 각 구간 영상 내에서 대장 혈관이 끊어진 혈관상을 나타내는 제1 시각 효과를 표시하는 단계; 및 (e) 상기 각 구간 영상 내에서 대장 혈관이 연속된 혈관상을 나타내는 제2 시각 효과를 표시하는 단계; 를 포함하고, 상기 (b) 단계는 딥러닝 모델을 통해 상기 각 구간 영상을 인식하되, 상기 딥러닝 모델은 외부 어노테이터들로부터 획득된 피검사자의 복수의 대장 영상 내의 혈관 데이터와, 상기 대장의 내부로 조사된 광으로 인한 혈관상의 끊어짐 정도 및 혈관 패턴을 기반으로 기계 학습된 모델인 것을 특징으로 한다.
상술한 과제를 해결하기 위한 본 개시의 일 면에 따른 인공지능 기반의 혈관 학습을 통한 대장 용종 검출 방법의 상기 제1 시각 효과는, 상기 각 구간 영상 내의 대장 혈관이 끊어진 해당 혈관상에 각각의 마커가 표시되는 시각 효과를 포함하는 것을 특징으로 한다.
상술한 과제를 해결하기 위한 본 개시의 일 면에 따른 인공지능 기반의 혈관 학습을 통한 대장 용종 검출 방법의 상기 각각의 마커의 크기는, 해당 혈관상의 끊어짐 정도를 기반으로 결정되는 것을 특징으로 한다.
상술한 과제를 해결하기 위한 본 개시의 일 면에 따른 인공지능 기반의 혈관 학습을 통한 대장 용종 검출 방법은 제어부가 상기 제1 시각 효과를 통하여 대장 점막 상에 박막 평면형 용종의 존재 여부 및 크기를 판단하고, 상기 제2 시각 효과를 통하여, 대장 점막 상의 박막 평면형 용종의 부존재 사실을 판단하는 것을 특징으로 한다.
상술한 과제를 해결하기 위한 본 개시의 일 면에 따른 인공지능 기반의 혈관 학습을 통한 대장 용종 검출 방법의 상기 (c) 단계에서, 상기 대장 혈관상의 끊어짐 여부는 해당 혈관상의 끊어짐 정도가 기 설정된 퍼센트 임계값 이상으로 변화되는지 여부로 판단되고, 상기 혈관상의 끊어짐 정도가 상기 기 설정된 퍼센트 임계값 이상인 경우, 제어부가 대장 점막 상 해당 영역에 박막 평면형 용종이 있는 것으로 판단하는 것을 특징으로 한다.
상술한 과제를 해결하기 위한 본 개시의 일 면에 따른 인공지능 기반의 혈관 학습을 통한 대장 용종 검출 방법은 하드웨어인 컴퓨터와 결합되어 수행하기 위해, 컴퓨터 판독 가능한 기록매체에 컴퓨터 프로그램으로 저장되는 것을 특징으로 한다.
상기 다른 과제를 해결하기 위한 본 개시의 다른 면에 따른 인공지능 기반의 혈관 학습을 통한 대장 용종 검출 장치는 디스플레이부; 피검사자의 대장에 투입된 대장 내시경으로부터 촬영된 영상을 실시간으로 수신하는 통신부; 상기 수신된 영상과, 상기 수신된 영상에서 대장 혈관을 인식하기 위한 딥러닝 모델을 저장하는 저장부; 및 상기 딥러닝 모델을 통해 상기 수신된 영상 내에서 대장 점막 및 대장 혈관이 포함된 각 구간 영상을 인식하고, 상기 각 구간 영상 내에서 대장 혈관이 끊어진 혈관상을 나타내는 제1 시각 효과를 상기 디스플레이부 상에 표시하며, 상기 각 구간 영상 내에서 대장 혈관이 연속된 혈관상을 나타내는 제2 시각 효과를 상기 디스플레이부 상에 표시하는 제어부;를 포함하고, 상기 딥러닝 모델은 외부 어노테이터들로부터 획득된 피검사자의 복수의 대장 영상 내의 혈관 데이터와, 상기 대장의 내부로 조사된 광으로 인한 혈관상의 끊어짐 정도 및 혈관 패턴을 기반으로 기계 학습된 모델인 것을 특징으로 한다.
상기 다른 과제를 해결하기 위한 본 개시의 다른 면에 따른 인공지능 기반의 혈관 학습을 통한 대장 용종 검출 장치의 상기 제1 시각 효과는, 상기 각 구간 영상 내의 대장 혈관이 끊어진 해당 혈관상에 각각의 마커가 표시되는 시각 효과를 포함하고, 상기 각각의 마커의 크기는, 해당 혈관상의 끊어짐 정도를 기반으로 결정되는 것을 특징으로 한다.
상기 다른 과제를 해결하기 위한 본 개시의 다른 면에 따른 인공지능 기반의 혈관 학습을 통한 대장 용종 검출 장치의 상기 제어부는, 상기 제1 시각 효과를 통하여 대장 점막 상에 박막 평면형 용종의 존재 여부 및 크기를 판단하고, 상기 제2 시각 효과를 통하여, 대장 점막 상의 박막 평면형 용종의 부존재 사실을 판단하는 것을 특징으로 한다.
상기 다른 과제를 해결하기 위한 본 개시의 다른 면에 따른 인공지능 기반의 혈관 학습을 통한 대장 용종 검출 장치의 상기 제어부는, 상기 대장 혈관상의 끊어짐 여부를 해당 혈관상의 끊어짐 정도가 기 설정된 퍼센트 임계값 이상으로 변화되는지 여부로 판단하여, 상기 기 설정된 퍼센트 임계값 이상인 경우 대장 점막 상 해당 영역에 박막 평면형 용종이 존재하는 것으로 판단하는 것을 특징으로 한다.
본 개시의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 개시에 의할 경우, 대장 내시경 영상을 통해 대장 질환 판독시 검사 숙련도가 낮은 대장 내시경 검사자라도 대장 점막 상에 존재하는 얇고 평평한 형상의 박막 평면형 용종이 숨어있는 비정상적인 대장 병변에 대하여 높은 정확도로 용종을 탐지 및 절제할 수 있게 된다.
본 개시의 효과는 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시예에 따른 인공지능 기반의 혈관 학습을 통한 대장 용종 검출 장치를 포함한 시스템의 블록도이다.
도 2는 본 개시의 일 실시예에 따른 인공지능 기반의 혈관 학습을 통한 대장 용종 검출을 위해 사용되는 딥러닝 모델이 학습되는 것을 개략적으로 나타낸 블록도이다.
도 3은 본 개시의 일 실시예에 따라 촬영된 내시경 영상에 박막 판형 용종이 숨어있는 대장 점막이 4가지 케이스 별로 디스플레이된 것을 나타낸 예시도이다.
도 4는 도 3에 도시된 4가지 케이스 별 예시도에 표시선이 추가로 디스플레이된 것을 나타낸 예시도이다.
도 5는 본 개시의 일 실시예에 따라 혈관이 보이는 정도 차이를 설명하기 위한 대장벽의 단면도이다.
도 6은 본 개시의 다른 실시예에 따른 인공지능 기반의 혈관 학습을 통한 대장 용종 검출 방법의 전반적인 동작을 설명하기 위한 순서도이다.
도 2는 본 개시의 일 실시예에 따른 인공지능 기반의 혈관 학습을 통한 대장 용종 검출을 위해 사용되는 딥러닝 모델이 학습되는 것을 개략적으로 나타낸 블록도이다.
도 3은 본 개시의 일 실시예에 따라 촬영된 내시경 영상에 박막 판형 용종이 숨어있는 대장 점막이 4가지 케이스 별로 디스플레이된 것을 나타낸 예시도이다.
도 4는 도 3에 도시된 4가지 케이스 별 예시도에 표시선이 추가로 디스플레이된 것을 나타낸 예시도이다.
도 5는 본 개시의 일 실시예에 따라 혈관이 보이는 정도 차이를 설명하기 위한 대장벽의 단면도이다.
도 6은 본 개시의 다른 실시예에 따른 인공지능 기반의 혈관 학습을 통한 대장 용종 검출 방법의 전반적인 동작을 설명하기 위한 순서도이다.
본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 개시는 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시의 개시가 완전하도록 하고, 본 개시가 속하는 기술 분야의 통상의 기술자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시는 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 개시의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시가 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
본 개시의 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 개시가 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
본 개시에서 제어부(240)는 프로세서(Processor), 컨트롤러(controller), 마이크로 컨트롤러(microcontroller), 마이크로 프로세서(microprocessor), 마이크로 컴퓨터(microcomputer) 등으로서, 통신부(210), 디스플레이부(220) 및 저장부(230)의 유기적인 동작을 전반적으로 제어하고, 각종 판단 및 연산을 수행하는 구성요소를 의미하고, 하드웨어(hardware) 또는 펌웨어(firmware), 소프트웨어 또는 이들의 결합에 의해 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 개시의 실시예를 상세하게 설명한다.
도 1은 본 개시의 일 실시예에 따른 인공지능 기반의 혈관 학습을 통한 대장 용종 검출 장치를 포함한 시스템의 블록도로서, 대장 내시경(100) 및 대장 용종 검출 장치(200)를 포함한다.
대장 내시경(100)은 카메라(110), 조명(120)을 포함하고, 대장 용종 검출 장치(200)는 통신부(210), 디스플레이부(220), 저장부(230) 및 제어부(240)를 포함한다.
도 2는 본 개시의 일 실시예에 따른 인공지능 기반의 혈관 학습을 통한 대장 용종 검출을 위해 사용되는 딥러닝 모델이 학습되는 것을 개략적으로 나타낸 블록도이다.
도 3은 본 개시의 일 실시예에 따라 촬영된 내시경 영상에 박막 판형 용종이 숨어있는 대장 점막이 4가지 케이스 별로 디스플레이된 것을 나타낸 예시도이다.
도 4는 도 3에 도시된 4가지 케이스 별 예시도에 표시선이 추가로 디스플레이된 것을 나타낸 예시도이다.
도 5는 본 개시의 일 실시예에 따라 혈관이 보이는 정도 차이를 설명하기 위한 대장벽의 단면도이다.
도 6은 본 개시의 다른 실시예에 따른 인공지능 기반의 혈관 학습을 통한 대장 용종 검출 방법의 전반적인 동작을 설명하기 위한 순서도이다.
도 1 내지 도 6을 참조하여 본 개시의 일 실시예에 따른 인공지능 기반의 혈관 학습을 통한 대장 용종 검출 방법의 유기적인 동작을 상세하게 설명하면 다음과 같다.
딥러닝이란 사람의 신경세포(biological neuron)를 모사하여 기계가 학습하도록 하는 인공신경망(Artificial Neural Network) 기반의 기계 학습법을 의미한다.
딥러닝 기술에서는 학습 데이터를 반복적으로 학습하여 질환을 진단하기 위한 진단 모델을 형성하게 되는데, 학습 데이터로 사용되는 질환의 종류가 다양하기 때문에 각 질환에 특화된 진단 모델을 개발하는 것이 중요하다.
이에, 본 개시에서는 대장에 대한 영상을 분석해 혈관상이 갑자기 끊어지는 형태를 보이는 곳을 얇고 평평한 형상의 박막 평면형 용종이 존재하고 있을 가능성이 있는 곳으로 표시하여 용종을 인식하는 딥러닝 알고리즘을 사용한다.
본 개시의 딥러닝 알고리즘에서, 결장 혈관 구조(colon vasculture)의 형태를 학습한 인공지능(AI)이 대장 점막 하부에 위치한 혈관상이 일종의 마커인 표시선을 중심으로 끊어지는 양상을 검출하여 의심 병변으로 판별한다.
즉, 대장 용종 검출 장치(200)는 대장 내시경을 수행할 때 대장 내시경 영상에서 표시선을 중심으로 끊어진 혈관상을 인식하여 그에 대한 영상을 대장 내시경 검사자에게 제공한다.
이로써, 대장 점막 상에 얇고 평평한 형상으로 존재하는 박막 평면형 용종에 대해 쉽게 발견할 수 있게 한다.
대장 용종 검출 장치(200)는 대장 내시경 영상에서 인식한 표시선을 중심으로 혈관상의 단절 여부 별로 시각 효과를 다르게 하여 표시함으로써, 혈관이 보이는 정도가 큰 경우에 대장 점막 하부에 위치한 혈관의 일부분만 확인하고 넘어가지 않고 혈관의 전체에 대해 확인할 수 있도록 유도한다.
이로써, 대장 점막 상에 얇고 평평한 형상으로 존재하는 용종의 존재 여부를 명확하게 판단할 수 있게 한다.
도 1을 참조하면, 대장 내시경(100)은 대장 내에 삽입되어 대장 내의 생체 조직을 관찰하는 장치로, 카메라(110), 조명(120) 등을 포함한다.
또한, 대장 용종 검출 장치(200)는 통신부(210), 디스플레이부(220), 저장부(230) 및 제어부(240)를 포함한다.
통신부(210)는 대장 용종 검출 장치(200)와 무선 통신 시스템 사이, 대장 용종 검출 장치(200)와 내시경(100) 또는 대장 용종 검출 장치(200)와 외부 장치(미도시) 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다.
통신부(210)는 피검사자의 대장에 투입된 대장 내시경(100)으로부터 촬영된 내시경 영상을 실시간으로 수신할 수 있고, 복수의 피검사자의 대장에 투입되는 내시경(100)으로부터 촬영된 영상을 수신받거나 한 피검사자에 대해 여러 번 대장에 투입되는 내시경(100)으로부터 촬영된 영상을 수신 받을 수 있다.
통신부(210)는 딥러닝 모델(231)의 학습을 위해 내시경(100)을 통해 촬영된 피검사자의 대장에 대한 영상에 대해 어노테이터(annotator), 일 예로, 의료진으로부터 획득된 대장 점막 하부에 위치한 혈관 데이터를 수신할 수 있다.
디스플레이부(220)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린으로 구현될 수 있다.
이러한 터치 스크린은, 대장 용종 검출 장치(200)와 사용자 사이의 입력 인터페이스를 제공함과 동시에, 대장 용종 검출 장치(200)와 사용자 사이의 출력 인터페이스를 제공한다.
디스플레이부(220)는 제어부(240)에서 생성한 다양한 정보를 표시하여 사용자에게 제공함과 동시에 사용자로부터 다양한 정보를 입력 받을 수 있다.
보다 상세하게는, 디스플레이부(220)는 통신부(210)로부터 수신된 내시경 영상의 각 구간마다 대장 점막 하부에 위치한 대장 혈관이 끊어진 혈관상을 나타내는 제1 시각 효과를 표시할 수 있다.
또한, 디스플레이부(220)는 각 구간 영상 내에 대장 혈관이 끊어지지 않고 연속된 혈관상을 나타내는 제2 시각 효과를 표시할 수 있다.
저장부(230)는 대장 용종 검출 장치(200)의 다양한 기능을 지원하는 정보를 저장할 수 있다.
저장부(230)는 대장 용종 검출 장치(200)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 대장 용종 검출 장치(200)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다.
이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버(미도시)로부터 다운로드 될 수 있다. 또한, 이러한 응용 프로그램 중 적어도 일부는, 대장 용종 검출 장치(200)의 기본적인 기능을 위하여 존재할 수 있다.
한편, 응용 프로그램은, 저장부(230)에 저장되고, 대장 용종 검출 장치(200) 상에 설치되어, 제어부(240)에 의하여 대장 용종 검출 장치(200)의 동작(또는 기능)을 수행하도록 구동될 수 있다.
저장부(230)는 피검사자의 대장에 투입된 대장 내시경(100)으로부터 촬영된 영상에서 대장 점막 하부에 위치한 혈관을 인식하기 위한 딥러닝 모델(231)을 저장할 수 있다.
여기서, 딥러닝 모델(231)은 콘볼루션 뉴럴 네트워크(CNN, convolutional neural network, 이하 CNN이라고 명칭함)를 포함할 수 있으나, 반드시 이에 한정되지 않고 다양한 구조의 신경망으로 형성될 수 있다.
CNN은 영상의 각 영역에 대해 복수의 필터를 적용하여 특징 지도(Feature Map)를 만들어 내는 콘볼루션 층(Convolution Layer)과 특징 지도를 공간적으로 통합함으로써, 위치나 회전의 변화에 불변하는 특징을 추출할 수 있도록 하는 통합층(Pooling Layer)을 번갈아 수차례 반복하는 구조로 형성될 수 있다.
이를 통해, 점, 선, 면 등의 낮은 수준의 특징에서부터 복잡하고 의미 있는 높은 수준의 특징까지 다양한 수준의 특징을 추출해낼 수 있다.
콘볼루션 층은 입력 영상의 각 패치에 대하여 필터와 국지 수용장(Local Receptive Field)의 내적에 비선형 활성 함수(Activation Function)를 취함으로써 특징 지도(Feature Map)를 구할 수 있다.
다른 네트워크 구조와 비교하여, CNN은 희소한 연결성 (Sparse Connectivity)과 공유된 가중치(Shared Weights)를 가진 필터를 사용하는 특징을 가질 수 있다.
이러한 연결구조는 학습할 모수의 개수를 줄여주고, 역전파 알고리즘을 통한 학습을 효율적으로 만들어 결과적으로 예측 성능을 향상시킬 수 있다.
이와 같이, 콘볼루션 층과 통합 층의 반복을 통해 최종적으로 추출된 특징은 다중 신경망(MLP: Multi-Layer Perceptron)이나 서포트 벡터 머신(SVM: Support Vector Machine)과 같은 분류 모델이 완전 연결 층(Fully-connected Layer)의 형태로 결합되어 분류 모델 학습 및 예측에 사용될 수 있다.
저장부(230)는 통신부(210)를 통해 수신된 대장 내시경 영상을 저장할 수 있다.
또한, 저장부(230)는 복수의 피검사자의 대장에 투입되는 내시경(100)으로부터 촬영된 영상 또는 한 피검사자에 대해 여러 번 대장에 투입되는 내시경(100)으로부터 촬영된 영상을 저장할 수 있다.
또는, 저장부(230)는 딥러닝 모델(231)의 학습을 위해 내시경(100)을 통해 촬영된 피검사자의 대장에 대한 영상에 대해 어노테이터 일 예로, 의료진으로부터 획득된 혈관 데이터를 저장할 수 있다.
제어부(240)는 응용 프로그램과 관련된 동작 외에도, 통상적으로 대장 용종 검출 장치(200)의 전반적인 동작을 제어할 수 있다.
제어부(240)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 저장부(230)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
제어부(240)는 저장부(230)에 저장된 응용 프로그램을 구동하기 위하여, 도 1에 도시된 구성요소들, 즉 통신부(210), 디스플레이부(220) 및 저장부(230)의 동작을 제어한다.
이하, 제어부(240)의 동작에 대해 상세히 설명하면 다음과 같다.
제어부(240)는 피검사자의 대장에 투입된 내시경(100)으로부터 촬영된 영상 내에서 딥러닝 모델(231)을 기반으로 대장 내벽 각 구간의 영상을 인식할 수 있다.
즉, 제어부(240)는 각 구간 영상에서 대장 점막 하부에 위치한 혈관을 인식하고, 혈관이 보이는 정도의 차이를 식별할 수 있다.
도 1 및 도 2에서 보는 바와 같이, 제어부(240)는 딥러닝 모델(231)을 통해 각 구간 영상을 인식하되, 딥러닝 모델(231)은, 외부 어노테이터들로부터 획득된 복수의 피검사자의 대장 영상 내의 혈관 데이터와, 대장의 내부로 조사된 광으로 인한 혈관상의 끊어짐 정도 및 혈관 패턴을 기반으로 기계 학습된 모델일 수 있다.
구체적으로, 제어부(240)는 복수의 피검사자의 대장에 투입된 내시경(100)으로부터 적어도 한번 이상 촬영된 적어도 하나의 영상을 획득하고, 복수의 영상 각각에 대해 어노테이터로부터 혈관 데이터를 획득할 수 있다.
여기서, 어노테이터는 대장의 혈관을 잘 식별할 수 있는 전문가일 수 있으며, 복수의 영상은, 한 피검사자에 대해 여러 번 진행된 내시경에 대한 영상이거나, 복수의 피검사자에게 진행된 내시경에 대한 영상일 수 있다.
이후, 제어부(240)는 대장의 내측의 혈관상의 끊어짐 정도 및 혈관 데이터를 기반으로 기계 학습할 수 있다.
여기서, 혈관상의 끊어짐 정도는, 제어부(240)가 내시경(100)의 조명(120)으로부터 대장 내벽에 조사되는 광에 따라 보이는 혈관상의 끊어짐 정도에 대해 기 설정된 퍼센트 임계값 이상으로 변화되는지를 판단하여 생성할 수 있다.
구체적으로, 제어부(240)는 혈관상의 끊어짐 정도가 기 설정된 퍼센트 임계값 이상인 경우, 그 부위에 용종이 있는 것으로 판단할 수 있다.
또한, 제어부(240)는 대장의 내시경 영상 내에서 혈관이 이루고 있는 혈관 패턴을 인식하고, 인식된 혈관 패턴을 기반으로 대장의 내시경 영상 내에서 용종이 있는 영역을 인식할 수 있다.
상세하게, 제어부(240)는 인식된 혈관 패턴을 기반으로 대장의 내시경 영상 내의 적어도 하나의 혈관 패턴이 내시경(100)의 조명(120)으로부터 대장 내벽에 조사되는 광에 의해 발생되는 혈관 패턴을 인식하여 대장의 내시경 영상 내에서 용종이 있는 영역을 인식할 수 있는 것이다.
제어부(240)는 내시경(100)이 투입된 지점부터 내시경(100)에 구비되는 조명(120)에 의해 대장 내부로 조사되는 광에 따라 식별되는 지점까지를 하나의 구간으로 설정할 수 있다.
즉, 제어부(240)는 대장을 n 개의 구간으로 분할하여 각각의 구간별로 대장 혈관을 인식할 수 있다.
여기서, 성인의 대장은 약 150cm 내지 170cm이고, 내시경(100)에 구비되는 조명(120)에서 조사되는 광에 따라 식별되는 지점까지의 거리는 대략적으로 10cm 내지 15cm일 수 있다.
따라서, 제어부(240)는 대장을 대략적으로 10개 내지 15개의 구간으로 분할하고, 각각의 구간별로 용종의 존재를 인식할 수 있다.
구체적으로, 제어부(240)는 내시경(100)이 투입된 지점과 내시경(100)에 구비되는 조명(120)에 의해 대장 내부로 조사되는 광에 따라 식별되는 지점을 딥러닝 모델(231)을 기반으로 생성할 수 있다.
제어부(240)는 각 구간 영상 내에 대장 혈관이 끊어진 혈관상을 나타내는 제1 시각 효과를 표시할 수 있다.
반면, 제어부(240)는 각 구간 영상 내에 대장 혈관이 끊어지지 않고 연속된 혈관상을 나타내는 제2 시각 효과를 표시할 수 있다.
제1 시각 효과는 각 구간 영상 내의 해당 대장 내벽 상에 각각의 마커가 표시되는 시각 효과를 포함할 수 있다.
각각의 마커의 길이는 해당 혈관상의 끊어짐 정도를 기반으로 결정될 수 있다.
이후, 제어부(240)는 마커의 존재 및 길이에 대한 제1 시각 효과를 표시하여 전문의가 대장 점막 상에 얇고 평평한 형상의 박막 평면형 용종의 존재 여부 및 크기를 확인하기 쉽게 해줄 수 있게 된다.
대장 내시경(100)은 복수개의 구간에서 제1 및 제2 시각 효과에 따라 대장 내 혈관상의 끊어짐 여부를 하나씩 확인하면서 대장 내부로 이동할 수 있다.
구체적으로, 내시경(100)이 영역마다 혈관상의 끊어짐 정도를 인식한 후, 영역마다 영역이 시작되는 시작지점으로 돌아오고 나서, 영역마다 빠짐없이 확인할 수 있다.
예를 들어, 도 4의 (a)를 보면, 제어부(240)는 제1 구간에서 가로 방향으로 연장되는 곡선(청색)으로 표시한 제1 마커(M1)를 중심으로 혈관상이 끊어지는 영상으로 제1 시각 효과를 표시할 수 있다.
도 4의 (b)를 보면, 제어부(240)는 제2 구간에서 대각선 방향으로 연장되는 직선(청색)으로 표시한 제2 마커(M2)를 중심으로 혈관상이 끊어지는 영상으로 제1 시각 효과를 표시할 수 있다.
도 4의 (c)를 보면, 제어부(240)는 제2 구간에서의 제2 마커(M2)보다는 길이가 긴 대각선 방향으로 연장되는 직선(청색)으로 표시한 제3 마커(M3)를 중심으로 제3 구간에서 혈관상이 끊어지는 영상으로 제1 시각 효과를 표시할 수 있다.
도 4의 (d)를 보면, 제어부(240)는 제2 구간에서 세로 방향으로 연장되는 곡선(청색)으로 표시한 제4 마커(M4)를 중심으로 혈관상이 끊어지는 영상으로 제1 시각 효과를 표시할 수 있다.
또한, 제어부(240)는 각 구간 영상 내에 대장 혈관이 끊어지지 않고 연속된 혈관상을 나타내는 제2 시각 효과를 표시할 수 있다.
이에 따라, 제어부(240)는 전문의가 내시경(100)을 통해 대장 질환 판독시 얇고 평평한 형상의 박막 평면형 용종이 숨어있는 비정상적인 대장 병변에 대한 제1 시각 효과 또는 정상적인 대장 내벽에 대한 제2 시각 효과를 통해 확실하게 제공함으로써, 확인을 못하고 넘어가는 용종 없이 모든 얇고 평평한 용종을 확인할 수 있도록 하여 대장 검사의 정확도를 높일 수 있게 된다.
도 6은 본 개시의 일 실시예에 따른 인공지능 기반의 혈관 학습을 통한 대장 용종 검출 방법의 전반적인 동작을 설명하기 위한 순서도이다.
먼저, 제어부(240)는 통신부(210)를 통해 실시간으로 수신(S100)한 피검사자의 대장에 투입된 내시경(100)으로부터 촬영된 영상 내에서 대장 점막 및 대장 혈관이 포함된 각 구간 영상을 인식한다(S200).
여기서, 제어부(240)는 내시경(100)에 의해 대장 내부로 조사되는 광을 기반으로 대장 점막 및 대장 혈관이 포함된 각 구간 영상을 인식한다.
또한, 제어부(240)는 딥러닝 모델(231)을 통해 각 구간 영상을 인식한다.
여기서, 딥러닝 모델(231)은, 외부 어노테이터들로부터 획득된 복수의 피검사자의 대장 영상 내의 혈관 데이터와, 대장의 내부로 조사된 광으로 인한 혈관상의 끊어짐 정도 및 혈관 패턴을 기반으로 기계 학습된 모델일 수 있다.
제어부(240)는 각 구간 영상마다 대장 혈관상의 끊어짐 여부를 판단한다(S300).
제어부(240)는 판단 결과, 각 구간 영상 내에 대장 혈관이 끊어진 혈관상을 나타내는 제1 시각 효과를 디스플레이부(220)에 표시한다(S400).
제1 시각 효과는 각 구간 영상 내의 대장 혈관이 끊어진 해당 혈관상에 각각의 마커가 표시되는 시각 효과를 포함하고, 각각의 마커의 크기는 해당 혈관상의 끊어짐 정도를 기반으로 결정될 수 있다.
제어부(240)는 판단 결과, 각 구간 영상 중 대장 혈관이 끊어지지 않고 연속된 혈관상을 나타내는 제2 시각 효과를 디스플레이부(220)에 표시한다(S500).
제어부(240)는 디스플레이부(220)에 표시된 제1 시각 효과를 통하여 대장 점막 상에 얇고 평평한 형상의 박막 평면형 용종의 존재 여부 및 크기를, 제2 시각 효과를 통하여 대장 점막 상의 용종의 부존재 사실을 전문의가 쉽게 알 수 있도록 제공한다.
도 6은 단계(S100) 내지 단계(S500)를 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 6에 기재된 순서를 변경하여 실행하거나, 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 6은 시계열적인 순서로 한정되는 것은 아니다.
이를 통하여, 대장 질환 판독시 얇고 평평한 형상의 박막 평면형 용종이 숨어있는 비정상적인 대장 병변을 놓칠 확률을 대폭 낮출 수 있게 된다.
또한, 검사 숙련도가 낮은 대장 내시경 검사자라도 본 개시의 대장 용종 검출 방법을 활용한다면 높은 정확도로 얇고 평평한 박막 평면형 용종을 탐지, 절제할 수 있게 된다.
이와 같이, 본 개시는 결장 혈관 구조의 형태를 학습한 인공지능을 이용하여 대장 점막 사이로 보이는 혈관상이 표시한 선을 중심으로 끊어지는 양상을 검출하여 의심 병변으로 판별하게 할 수 있는 인공지능 기반의 혈관 학습을 통한 대장 용종 검출 방법 및 장치를 제공한다.
이를 통하여, 본 개시는 대장 내시경 영상을 통해 대장 질환 판독시 검사 숙련도가 낮은 대장 내시경 검사자라도 대장 점막 상에 존재하는 얇고 평평한 형상의 박막 평면형 용종이 숨어있는 비정상적인 대장 병변에 대하여 높은 정확도로 용종을 탐지 및 절제할 수 있게 된다.
이상에서 전술한 본 개시에 따른 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다
상기 전술한 프로그램은, 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 방법들을 실행시키기 위하여, 컴퓨터의 제어부(CPU)가 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 컴퓨터의 제어부가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 컴퓨터의 제어부가 실행시키는데 필요한 추가 정보나 미디어가 컴퓨터의 내부 또는 외부 저장부의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 저장부 참조관련 코드를 더 포함할 수 있다. 또한, 컴퓨터의 제어부가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는 레지스터, 캐쉬, 저장부 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
본 개시의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 저장부(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 개시의 실시예를 설명하였지만, 본 개시가 속하는 기술분야의 통상의 기술자는 본 개시가 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100: 대장 내시경
110: 카메라
120: 조명
200: 대장 용종 검출 장치
210: 통신부
220: 디스플레이부
230: 저장부
240: 제어부
110: 카메라
120: 조명
200: 대장 용종 검출 장치
210: 통신부
220: 디스플레이부
230: 저장부
240: 제어부
Claims (10)
- 장치에 의해 수행되는 방법에 있어서,
(a) 피검사자의 대장에 투입된 내시경으로부터 촬영된 영상을 실시간으로 수신하는 단계;
(b) 상기 영상 내에서 대장 점막 및 대장 혈관이 포함된 각 구간 영상을 인식하는 단계;
(c) 상기 각 구간 영상마다 대장 혈관상의 끊어짐 여부를 판단하는 단계;
(d) 상기 각 구간 영상 내에서 대장 혈관이 끊어진 혈관상을 나타내는 제1 시각 효과를 표시하는 단계; 및
(e) 상기 각 구간 영상 내에서 대장 혈관이 연속된 혈관상을 나타내는 제2 시각 효과를 표시하는 단계;
를 포함하고,
상기 (b) 단계는,
딥러닝 모델을 통해 상기 각 구간 영상을 인식하되,
상기 딥러닝 모델은, 외부 어노테이터들로부터 획득된 피검사자의 복수의 대장 영상 내의 혈관 데이터와, 상기 대장의 내부로 조사된 광으로 인한 혈관상의 끊어짐 정도 및 혈관 패턴을 기반으로 기계 학습된 모델인,
인공지능 기반의 혈관 학습을 통한 대장 용종 검출 방법.
- 제1항에 있어서,
상기 제1 시각 효과는,
상기 각 구간 영상 내의 대장 혈관이 끊어진 해당 혈관상에 각각의 마커가 표시되는 시각 효과를 포함하는,
인공지능 기반의 혈관 학습을 통한 대장 용종 검출 방법.
- 제2항에 있어서,
상기 각각의 마커의 크기는,
해당 혈관상의 끊어짐 정도를 기반으로 결정되는,
인공지능 기반의 혈관 학습을 통한 대장 용종 검출 방법.
- 제1항에 있어서,
제어부가 상기 제1 시각 효과를 통하여 대장 점막 상에 박막 평면형 용종의 존재 여부 및 크기를 판단하고,
상기 제2 시각 효과를 통하여, 대장 점막 상의 박막 평면형 용종의 부존재 사실을 판단하는,
인공지능 기반의 혈관 학습을 통한 대장 용종 검출 방법.
- 제3항에 있어서,
상기 (c) 단계에서,
상기 대장 혈관상의 끊어짐 여부는 해당 혈관상의 끊어짐 정도가 기 설정된 퍼센트 임계값 이상으로 변화되는지 여부로 판단되고,
상기 혈관상의 끊어짐 정도가 상기 기 설정된 퍼센트 임계값 이상인 경우, 제어부가 대장 점막 상 해당 영역에 박막 평면형 용종이 있는 것으로 판단하는,
인공지능 기반의 혈관 학습을 통한 대장 용종 검출 방법.
- 하드웨어인 컴퓨터와 결합되어, 상기 제1 항 내지 제5 항 중 어느 한 항의 인공지능 기반의 혈관 학습을 통한 대장 용종 검출 방법을 수행하기 위해 컴퓨터 판독 가능한 기록매체에 저장된, 컴퓨터 프로그램.
- 디스플레이부;
피검사자의 대장에 투입된 대장 내시경으로부터 촬영된 영상을 실시간으로 수신하는 통신부;
상기 수신된 영상과, 상기 수신된 영상에서 대장 혈관을 인식하기 위한 딥러닝 모델을 저장하는 저장부; 및
상기 딥러닝 모델을 통해 상기 수신된 영상 내에서 대장 점막 및 대장 혈관이 포함된 각 구간 영상을 인식하고, 상기 각 구간 영상 내에서 대장 혈관이 끊어진 혈관상을 나타내는 제1 시각 효과를 상기 디스플레이부 상에 표시하며, 상기 각 구간 영상 내에서 대장 혈관이 연속된 혈관상을 나타내는 제2 시각 효과를 상기 디스플레이부 상에 표시하는 제어부;를 포함하고,
상기 딥러닝 모델은,
외부 어노테이터들로부터 획득된 피검사자의 복수의 대장 영상 내의 혈관 데이터와, 상기 대장의 내부로 조사된 광으로 인한 혈관상의 끊어짐 정도 및 혈관 패턴을 기반으로 기계 학습된 모델인,
인공지능 기반의 혈관 학습을 통한 대장 용종 검출 장치.
- 제7항에 있어서,
상기 제1 시각 효과는,
상기 각 구간 영상 내의 대장 혈관이 끊어진 해당 혈관상에 각각의 마커가 표시되는 시각 효과를 포함하고,
상기 각각의 마커의 크기는,
해당 혈관상의 끊어짐 정도를 기반으로 결정되는,
인공지능 기반의 혈관 학습을 통한 대장 용종 검출 장치.
- 제7항에 있어서,
상기 제어부는,
상기 제1 시각 효과를 통하여 대장 점막 상에 박막 평면형 용종의 존재 여부 및 크기를 판단하고,
상기 제2 시각 효과를 통하여, 대장 점막 상의 박막 평면형 용종의 부존재 사실을 판단하는,
인공지능 기반의 혈관 학습을 통한 대장 용종 검출 장치.
- 제8항에 있어서,
상기 제어부는,
상기 대장 혈관상의 끊어짐 여부를 해당 혈관상의 끊어짐 정도가 기 설정된 퍼센트 임계값 이상으로 변화되는지 여부로 판단하여, 상기 기 설정된 퍼센트 임계값 이상인 경우 대장 점막 상 해당 영역에 박막 평면형 용종이 존재하는 것으로 판단하는,
인공지능 기반의 혈관 학습을 통한 대장 용종 검출 장치.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220007724A KR102648922B1 (ko) | 2022-01-19 | 2022-01-19 | 인공지능 기반의 혈관 학습을 통한 대장 용종 검출 방법 및 장치 |
| PCT/KR2022/001942 WO2023140416A1 (ko) | 2022-01-19 | 2022-02-08 | 인공지능 기반의 혈관 학습을 통한 대장 용종 검출 방법 및 장치 |
| JP2023506328A JP7465409B2 (ja) | 2022-01-19 | 2022-02-08 | 人工知能基盤の血管学習による大腸ポリープ検出方法及び装置 |
| US17/720,817 US20230225584A1 (en) | 2022-01-19 | 2022-04-14 | Method of detecting colon polyps through artificial intelligence-based blood vessel learning and device thereof |
| KR1020240035478A KR20240038684A (ko) | 2022-01-19 | 2024-03-13 | 인공지능 기반의 대장 병변 검출 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220007724A KR102648922B1 (ko) | 2022-01-19 | 2022-01-19 | 인공지능 기반의 혈관 학습을 통한 대장 용종 검출 방법 및 장치 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020240035478A Division KR20240038684A (ko) | 2022-01-19 | 2024-03-13 | 인공지능 기반의 대장 병변 검출 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230111810A KR20230111810A (ko) | 2023-07-26 |
| KR102648922B1 true KR102648922B1 (ko) | 2024-03-15 |
Family
ID=87348436
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220007724A KR102648922B1 (ko) | 2022-01-19 | 2022-01-19 | 인공지능 기반의 혈관 학습을 통한 대장 용종 검출 방법 및 장치 |
| KR1020240035478A KR20240038684A (ko) | 2022-01-19 | 2024-03-13 | 인공지능 기반의 대장 병변 검출 방법 및 장치 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020240035478A KR20240038684A (ko) | 2022-01-19 | 2024-03-13 | 인공지능 기반의 대장 병변 검출 방법 및 장치 |
Country Status (2)
| Country | Link |
|---|---|
| KR (2) | KR102648922B1 (ko) |
| WO (1) | WO2023140416A1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012509715A (ja) | 2008-11-21 | 2012-04-26 | メイヨ・ファウンデーション・フォー・メディカル・エデュケーション・アンド・リサーチ | 大腸内視鏡検査追跡および評価システム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102416511B1 (ko) * | 2014-12-23 | 2022-07-05 | 삼성메디슨 주식회사 | 바디 마커를 생성하는 방법 및 장치. |
| KR102037303B1 (ko) | 2018-10-24 | 2019-10-28 | 아주대학교 산학협력단 | 캡슐 내시경의 위치를 추정하는 방법 및 장치 |
| KR102283443B1 (ko) * | 2019-08-05 | 2021-07-30 | 재단법인 아산사회복지재단 | 광 간섭 단층 영상 기반의 고위험 병변 진단 시스템 및 이의 진단 방법 |
| KR102344585B1 (ko) * | 2019-11-22 | 2021-12-30 | 가천대학교 산학협력단 | 딥러닝 학습을 이용한 내시경 영상으로부터 용종 진단 방법, 장치 및 프로그램 |
-
2022
- 2022-01-19 KR KR1020220007724A patent/KR102648922B1/ko active IP Right Grant
- 2022-02-08 WO PCT/KR2022/001942 patent/WO2023140416A1/ko active Application Filing
-
2024
- 2024-03-13 KR KR1020240035478A patent/KR20240038684A/ko active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012509715A (ja) | 2008-11-21 | 2012-04-26 | メイヨ・ファウンデーション・フォー・メディカル・エデュケーション・アンド・リサーチ | 大腸内視鏡検査追跡および評価システム |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023140416A1 (ko) | 2023-07-27 |
| KR20240038684A (ko) | 2024-03-25 |
| KR20230111810A (ko) | 2023-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yogapriya et al. | Gastrointestinal tract disease classification from wireless endoscopy images using pretrained deep learning model | |
| JP6215236B2 (ja) | 生体内画像ストリーム中の運動性事象を表示するためのシステムおよび方法 | |
| JP2023171651A (ja) | 生体内画像ストリームの精査用情報を生成及び表示するためのシステム並びに方法 | |
| JP2015509026A5 (ko) | ||
| US20230206435A1 (en) | Artificial intelligence-based gastroscopy diagnosis supporting system and method for improving gastrointestinal disease detection rate | |
| US20220133215A1 (en) | Method for evaluating skin lesions using artificial intelligence | |
| KR20220130855A (ko) | 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법 | |
| US11935239B2 (en) | Control method, apparatus and program for system for determining lesion obtained via real-time image | |
| Rasouli et al. | The role of artificial intelligence in colon polyps detection | |
| Song et al. | Use of artificial intelligence to improve the quality control of gastrointestinal endoscopy | |
| KR102648922B1 (ko) | 인공지능 기반의 혈관 학습을 통한 대장 용종 검출 방법 및 장치 | |
| JP7465409B2 (ja) | 人工知能基盤の血管学習による大腸ポリープ検出方法及び装置 | |
| KR20230118054A (ko) | 의료 영상으로부터 바이오마커 발현을 예측하는 방법및 시스템 | |
| CN115035086A (zh) | 一种基于深度学习的结核皮试智能筛查分析方法和装置 | |
| KR102536369B1 (ko) | 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법 | |
| US20240016366A1 (en) | Image diagnosis system for lesion | |
| KR102360615B1 (ko) | 내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법 | |
| WO2022025290A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、内視鏡装置、及び内視鏡画像処理システム | |
| US20240021103A1 (en) | Endoscopic training system | |
| KR102517232B1 (ko) | 머신러닝 기반의 의료 영상에 대한 반사광 제거 방법 및 이를 이용한 장치 | |
| US20230351592A1 (en) | Clinical decision support system having a multi-ordered hierarchy of classification modules | |
| JP7374224B2 (ja) | 内視鏡を用いた大腸検査ガイド装置 | |
| KR102566890B1 (ko) | 수술 부위 모니터링 방법 및 이를 이용한 디바이스 | |
| JP2023549571A (ja) | セリアック病様疾患の指標を含む画像を識別するためのシステム及び方法 | |
| US20240013375A1 (en) | Systems and methods for polyp size estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |