KR102502418B1 - 신경망 기반 의료 영상 처리 장치 및 방법 - Google Patents
신경망 기반 의료 영상 처리 장치 및 방법 Download PDFInfo
- Publication number
- KR102502418B1 KR102502418B1 KR1020220090390A KR20220090390A KR102502418B1 KR 102502418 B1 KR102502418 B1 KR 102502418B1 KR 1020220090390 A KR1020220090390 A KR 1020220090390A KR 20220090390 A KR20220090390 A KR 20220090390A KR 102502418 B1 KR102502418 B1 KR 102502418B1
- Authority
- KR
- South Korea
- Prior art keywords
- neural network
- algorithm
- medical image
- small intestine
- convolutional neural
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 51
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 123
- 210000000813 small intestine Anatomy 0.000 claims abstract description 103
- 210000000056 organ Anatomy 0.000 claims abstract description 87
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 56
- 210000002784 stomach Anatomy 0.000 claims abstract description 34
- 230000002123 temporal effect Effects 0.000 claims abstract description 34
- 230000011218 segmentation Effects 0.000 claims abstract description 32
- 238000001914 filtration Methods 0.000 claims abstract description 31
- 239000002775 capsule Substances 0.000 claims abstract description 15
- 210000002429 large intestine Anatomy 0.000 claims description 39
- 238000007635 classification algorithm Methods 0.000 claims description 31
- 230000002159 abnormal effect Effects 0.000 claims description 15
- 230000007774 longterm Effects 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 10
- 238000003672 processing method Methods 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 4
- 238000001839 endoscopy Methods 0.000 abstract description 3
- 210000001072 colon Anatomy 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Optics & Photonics (AREA)
- Veterinary Medicine (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Signal Processing (AREA)
Abstract
본 발명에 따른 신경망 기반 의료 영상 처리 장치는 캡슐 내시경에 의해 취득된 의료영상으로부터 소장 영역을 구분하는 신경망 기반 의료 영상 처리 장치에 있어서, 상기 의료영상에 대한 장기 구분을 수행하는 장기 구분 알고리즘이 탑재되는 메모리 및 상기 의료영상을 상기 장기 구분 알고리즘에 적용하여 상기 소장 영역이 구분되도록 하는 프로세서를 포함하고, 상기 장기 구분 알고리즘은 상기 의료영상에 포함되는 장기를 위, 소장 및 대장으로 구분하여 상기 소장 영역이 구분되도록 하는 합성곱 신경망 알고리즘과, 상기 합성곱 신경망 알고리즘에 연계되어 상기 합성곱 신경망 알고리즘에서 오분류되는 이미지를 감소시키는 시간적 필터링 알고리즘을 포함한다.
Description
본 발명은 신경망 기반 의료 영상 처리 장치 및 방법에 관한 것으로, 보다 상세하게는 캡슐 내시경에 의해 취득된 체내 의료영상으로부터 장기를 구분하는 신경망 기반 의료 영상 처리 장치 및 방법에 관한 것이다.
일반적으로 캡슐 내시경은 다양한 소장 질환의 진단을 위해 사용되고 있다. 소장 질환의 진단에서는 캡슐 내시경에 의해 취득된 체내 의료영상으로부터 소장 영역을 구분하기 위해 장기 구분이 요구된다.
이러한 의료영상의 장기 구분 기술은 이미 "대한민국 등록특허공보 제10-2237198호, 인공지능 기반의 의료영상 판독 서비스 시스템(2021.04.01.)"에 의해 공개되어 있다. 상기 등록발명은 분류 모델을 기반으로 복수의 장기가 영상 내 포함된 판독 대상 의료영상으로부터 장기 구분을 수행하는 발명이다.
다만, 캡슐 내시경은 체내 의료영상의 취득에서 초당 수십 장의 정지영상을 촬영하며 체내에서 8~12시간의 운항을 수행한다. 이때, 소화관 촬영에서는 약 5만장 이상의 정지영상이 생성된다. 따라서 임상의는 소장 질환의 진단을 위해 수많은 정지영상을 판독하여 진단을 수행하게 된다.
그러나 수많은 정지영상을 판독하는 것은 지루한 작업이며, 진단 결과에 오류를 초래할 수 있다. 이에, 인공지능 및 신경망 알고리즘을 기반으로 소장 영역을 구분하기 위한 연구개발이 이루어지고 있다. 그러나 대부분의 종래 기술은 한 장의 이미지에서 장기를 구분하기 위한 기술로 영상에서 장기가 변화하는 프레임을 찾는 것은 매우 어려운 일이다. 그럼에 불구하고 실제 임상 환경에서는 영상을 사용하여 진단을 수행하고 있다. 이에, 한 장의 이미지를 기반으로 소장 영역을 구분하는 것은 소장 질환의 진단에서 활용성이 떨어지는 문제점이 있었다.
본 발명의 목적은 영상에서 장기가 변화하는 프레임을 예측하여 소장 영역의 영상을 선택적으로 취득할 수 있는 신경망 기반 의료 영상 처리 장치 및 방법을 제공하기 위한 것이다.
본 발명에 따른 신경망 기반 의료 영상 처리 장치는 캡슐 내시경에 의해 취득된 의료영상으로부터 소장 영역을 구분하는 신경망 기반 의료 영상 처리 장치에 있어서, 상기 의료영상에 대한 장기 구분을 수행하는 장기 구분 알고리즘이 탑재되는 메모리 및 상기 의료영상을 상기 장기 구분 알고리즘에 적용하여 상기 소장 영역이 구분되도록 하는 프로세서를 포함하고, 상기 장기 구분 알고리즘은 상기 의료영상에 포함되는 장기를 위, 소장 및 대장으로 구분하여 상기 소장 영역이 구분되도록 하는 합성곱 신경망 알고리즘과, 상기 합성곱 신경망 알고리즘에 연계되어 상기 합성곱 신경망 알고리즘에서 오분류되는 이미지를 감소시키는 시간적 필터링 알고리즘을 포함한다.
상기 합성곱 신경망 알고리즘은 2D 이미지로 학습되는 ResNet 모델을 포함하고, 상기 시간적 필터링 알고리즘은 사비츠키-골레이 필터(Savitzky-golay filter) 및 메디안 필터(Median filter)로 구성된 하이브리드 시간 필터를 포함할 수 있다.
상기 합성곱 신경망 알고리즘의 학습에서는 복수 개의 상기 2D 이미지를 판독하여 상기 위, 소장 및 대장으로 3-클래스 라벨링을 수행하고, 상기 라벨링된 복수 개의 2D 이미지로 학습 세트를 생성하고 상기 학습 세트를 기반으로 상기 합성곱 신경망 알고리즘을 훈련하여 상기 합성곱 신경망 알고리즘이 상기 소장 영역을 예측하도록 할 수 있다.
상기 합성곱 신경망 알고리즘의 학습에서는 상기 라벨링 이후에 상기 라벨링된 복수 개의 2D 이미지를 랜덤 셀렉션하여 상기 학습 세트, 검증 세트 및 테스트 세트로 분류하고, 상기 각각의 세트에는 정상 데이터와 비정상 데이터가 함께 포함되도록 분류될 수 있다.
상기 합성곱 신경망 알고리즘의 학습에서는 상기 장기 간의 불균형이 조정되도록 상기 위, 소장 및 대장의 2D 이미지 비율을 1:2:1로 조정할 수 있다.
상기 2D 이미지의 비율 조정에서는 정상 및 비정상 위 이미지를 수평 및 수직 플립을 적용하여 확대하고, 정상 및 비정상 소장 이미지와, 정상 및 비정상 대장 이미지를 설정된 비율로 다운 샘플링할 수 있다.
상기 다운 샘플링에서는 정상 소장 및 정상 대장 이미지를 각각 2/3 및 1/3의 비율로 다운 샘플링하고, 비정상 소장 및 비정상 대장 이미지를 각각 3/4 및 3/7의 비율로 다운 샘플링할 수 있다.
상기 합성곱 신경망 알고리즘의 학습에서는 상기 합성곱 신경망 알고리즘의 훈련 이후에 상기 검증 세트를 기반으로 상기 합성곱 신경망 알고리즘을 검증할 수 있다.
상기 신경망 기반 의료 영상 처리 장치는 상기 합성곱 신경망 알고리즘의 학습 이후에 상기 테스트 세트를 기반으로 상기 합성곱 신경망 알고리즘 및 상기 시간적 필터링 알고리즘을 테스트할 수 있다.
상기 시간적 필터링 알고리즘의 적용에서는 이진 분류를 수행할 수 있다.
상기 이진 분류에서는 상기 합성곱 신경망 알고리즘에 의해 획득된 상기 소장 클래스를 상기 사비츠키-골레이 필터 및 메디안 필터에 적용하고, 상기 사비츠키-골레이 필터 및 메디안 필터의 결과를 더하여 나눈 다음에 1보다 큰 값을 1에 매핑하고, 0보다 작은 값은 0에 매핑하여 상기 소장의 프레임과, 상기 위 및 대장의 프레임을 구분할 수 있다.
상기 장기 구분 알고리즘은 상기 의료영상으로부터 장기가 변화하는 프레임을 예측하여 상기 소장 영역을 구분할 수 있다.
상기 장기 구분 알고리즘은 상기 합성곱 신경망 알고리즘에 의해 취득된 상기 소장 클래스를 상기 시간적 필터링 알고리즘에 적용하여 시간적으로 필터링된 확률을 임계값으로 지정하고, 상기 임계값을 기반으로 상기 소장의 프레임과, 상기 위 및 대장의 프레임을 구분할 수 있다.
상기 임계값은 0.87일 수 있다.
상기 시간적 필터링 알고리즘은 상기 합성곱 신경망 알고리즘에 의해 인접 프레임에서 도출된 장기 확률을 이용하여 프레임의 클래스 확률을 보정할 수 있다.
한편, 본 발명에 따른 신경망 기반 의료 영상 처리 방법은 캡슐 내시경에 의해 취득된 의료영상으로부터 소장 영역을 구분하는 신경망 기반 의료 영상 처리 방법에 있어서, 상기 의료영상을 장기 구분 알고리즘에 입력하는 단계 및 상기 장기 구분 알고리즘이 상기 의료영상으로부터 상기 소장 영역을 구분하는 단계를 포함하고, 상기 장기 구분 알고리즘은 상기 의료영상에 포함되는 장기를 위, 소장 및 대장으로 구분하여 상기 소장 영역이 구분되도록 하는 합성곱 신경망 알고리즘과, 상기 합성곱 신경망 알고리즘에 연계되어 상기 합성곱 신경망 알고리즘에서 오분류되는 이미지를 감소시키는 시간적 필터링 알고리즘을 포함할 수 있다.
본 발명에 따른 신경망 기반 의료 영상 처리 장치 및 방법은 장기 구분을 통해 소장 영상만을 자동 취득하여 임상의의 판독 시간을 현저하게 단축할 수 있는 효과가 있다.
또한, 본 발명에 따른 신경망 기반 의료 영상 처리 장치 및 방법은 높은 정확도로 소장의 시작 영역과 종료 영역을 파악하여 소장 내 병변을 진단하는 다른 기술과 융합 시에 큰 장점이 있다.
이상과 같은 본 발명의 기술적 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않은 또 다른 기술적 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 실시예에 따른 신경망 기반 의료 영상 처리 장치를 개략적으로 나타낸 구성도이고,
도 2는 본 실시예에 따른 신경망 기반 의료 영상 처리 장치의 장기 구분 알고리즘의 학습 방법 및 테스트 방법을 개략적으로 나타낸 흐름도이고,
도 3은 본 실시예에 따른 신경망 기반 의료 영상 처리 장치의 장기 구분 알고리즘의 검출 과정을 나타낸 흐름도이고,
도 4는 본 실시예에 따른 신경망 기반 영상 처리 장치의 장기 구분 알고리즘에 따른 결과를 나타낸 개념도이고,
도 5는 본 실시예에 따른 신경망 기반 의료 영상 처리 장치의 장기 구분 알고리즘을 그레이디언트 가중 클래스 활성화 맵으로 분석한 결과 데이터이고,
도 6은 본 실시예에 따른 신경망 기반 의료 영상 처리 장치의 장기 구분 알고리즘에서 위와 소장 사이의 전환 오차 및 소장과 대장 사이의 전환 오차를 나타낸 도면이고,
도 7은 본 실시예에 따른 신경망 기반 의료 영상 처리 방법을 나타낸 흐름도이다.
도 2는 본 실시예에 따른 신경망 기반 의료 영상 처리 장치의 장기 구분 알고리즘의 학습 방법 및 테스트 방법을 개략적으로 나타낸 흐름도이고,
도 3은 본 실시예에 따른 신경망 기반 의료 영상 처리 장치의 장기 구분 알고리즘의 검출 과정을 나타낸 흐름도이고,
도 4는 본 실시예에 따른 신경망 기반 영상 처리 장치의 장기 구분 알고리즘에 따른 결과를 나타낸 개념도이고,
도 5는 본 실시예에 따른 신경망 기반 의료 영상 처리 장치의 장기 구분 알고리즘을 그레이디언트 가중 클래스 활성화 맵으로 분석한 결과 데이터이고,
도 6은 본 실시예에 따른 신경망 기반 의료 영상 처리 장치의 장기 구분 알고리즘에서 위와 소장 사이의 전환 오차 및 소장과 대장 사이의 전환 오차를 나타낸 도면이고,
도 7은 본 실시예에 따른 신경망 기반 의료 영상 처리 방법을 나타낸 흐름도이다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 그러나 본 실시예는 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 도면에서의 요소의 형상 등은 보다 명확한 설명을 위하여 과장되게 표현된 부분이 있을 수 있으며, 도면 상에서 동일 부호로 표시된 요소는 동일 요소를 의미한다.
도 1은 본 실시예에 따른 신경망 기반 의료 영상 처리 장치를 개략적으로 나타낸 구성도이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 신경망 기반 의료 영상 처리 장치(100, 이하, 처리 장치라 칭한다.)는 무선 캡슐 내시경(10)으로부터 취득된 의료 영상(11)으로부터 장기가 변화하는 프레임을 예측하여 분석 대상인 소장 영상(12)만을 판독의사(30)에게 제공할 수 있다. 이때, 의료 영상(10)은 무선 캡슐 내시경(10)으로부터 실시간으로 제공되는 영상 또는 데이터베이스(미도시)로부터 제공되는 기저장 영상일 수 있다.
이러한 처리 장치(100)는 의료 영상(11)을 위, 소장 및 대장, 즉 3개 구간으로 구분하여, 소장 영상(12)만을 판독의사(30)에게 제공할 수 있다. 종래의 경우에 의료 영상(11)은 식도, 위, 소장 및 대장, 즉 4개 구간으로 구분될 수 있었다. 그러나 4개 구간으로 의료 영상(11)의 장기 구분이 수행될 경우에, 학습 데이터의 수가 적어 데이터 불균형이 발생되어 알고리즘의 성능저하가 발생된다. 이에, 처리 장치(100)는 식도 구간을 제외하고 장기 구분을 3개 구간으로 수행할 수 있다. 이때, 처리 장치(100)는 3개 구간의 장기 구분에서 위와 소장 경계의 랜드마크 및 소장과 대장 경계의 랜드마크를 기반으로 소장의 시작 영역과 종료 영역을 파악할 수 있다.
이를 위해, 처리 장치(100)는 메모리(110) 및 프로세서(120)를 포함할 수 있다.
메모리(110)에는 의료 영상(11)의 장기 구분을 수행하기 위한 장기 구분 알고리즘(111)이 탑재된다. 그리고, 프로세서(120)는 의료 영상(11)을 장기 구분 알고리즘(111)에 입력하여 의료 영상(11)으로부터 소장 영상(12)을 선택적으로 추출할 수 있다.
먼저, 처리 장치(100)에 탑재되는 장기 구분 알고리즘(111)은 2D 합성곱 신경망(Convolutional Neural Network, CNN) 알고리즘(111a) 및 시간적(Temporal filtering) 필터링 알고리즘(111b)의 조합으로 마련될 수 있다. 이러한 장기 구분 알고리즘(111)은 영상이 아닌 이미지로 학습될 수 있다. 이하에서는 첨부된 도면을 참조하여 장기 구분 알고리즘(111)의 학습 및 설계 방법에 대하여 상세히 설명하도록 한다.
도 2는 본 실시예에 따른 신경망 기반 의료 영상 처리 장치의 장기 구분 알고리즘의 학습 방법 및 테스트 방법을 개략적으로 나타낸 흐름도이다. 그리고 도 3은 본 실시예에 따른 신경망 기반 의료 영상 처리 장치의 장기 구분 알고리즘의 검출 과정을 나타낸 흐름도이고, 도 4는 본 실시예에 따른 신경망 기반 영상 처리 장치의 장기 구분 알고리즘에 따른 결과를 나타낸 개념도이다.
도 2 내지 도 4에 도시된 바와 같이, 본 실시예에 따른 장기 구분 알고리즘(111)의 학습 및 설계에서는 무선 캡슐 내시경(10)으로부터 취득된 WCE(Wireless Capsule Endoscope)이미지(13)를 사용할 수 있다. 다만, 이는 본 실시예를 설명하기 위한 것으로 학습 데이터의 종류는 한정하지 않는다. 여기서, WEC이미지(13)는 320*320 및 3FPS의 매트릭스 크기로 JPEG 형식으로 제공될 수 있다.
이후, 장기 구분 알고리즘(111)의 학습 및 설계에서는 기관별 이미지 라벨링을 수행한다(S210). 이미지 라벨링에서는 판독의사가 전체 대상 WEC이미지(13)를 수동으로 판독하여 위, 소장, 대장으로 3-클래스 라벨링을 수행할 수 있다. 그리고 라벨링이 완료된 WEC이미지를 학습 세트(Training set, S1), 검증 세트(Validation set, S2) 및 테스트 세트(Test set, S3)로 분류한다(S220). 이미지의 분류에서는 랜덤 셀렉션(Random selection) 방식이 적용될 수 있다. 이때, 각각의 세트(S1, S2, S3)에는 정상 데이터 및 비정상 데이터가 함께 포함되도록 분류될 수 있다.
이후, 장기 구분 알고리즘(111)의 학습 및 설계에서는 학습 세트(S1)를 기반으로 2D 합성곱 신경망 알고리즘(111a)의 훈련을 진행한다(S230). 2D 합성곱 신경망 알고리즘(111a)은 소장 영역의 확률을 예측하는 알고리즘일 수 있다. 2D 합성곱 신경망 알고리즘(111a)은 ResNet50 모델을 백본 네트워크로 하여 위, 소장 및 대상을 구분할 수 있도록 훈련된다.
이때, 장기 간의 불균형이 조정되도록 위, 소장 및 대장의 이미지의 비율을 1:2:1이 되도록 데이터 확대 또는 다운샘플링을 수행할 수 있다. 일례로, 정상 및 비정상 환자의 위 이미지를 수평 및 수직 플립을 적용하여 2배로 확대할 수 있다. 그리고 정상 환자의 소장 및 대장 이미지를 각각 2/3 및 1/3의 비율로 다운샘플링할 수 있고, 비정상 환자의 소장 및 대장 이미지를 각각 3/4 및 3/7의 비율로 다운샘플링할 수 있다. 이러한 2D 합성곱 신경망 알고리즘(111a)의 훈련에서는 학습률이 0.001일 수 있으며, 교차 엔트로피 손실이 있는 ADAM 최적화 프로그램이 적용될 수 있다.
한편, 2D 합성곱 신경망 알고리즘(111a)의 훈련이 완료되면, 장기 구분 알고리즘(111)은 무선 캡슐 내시경(10)의 의료 영상(11)으로부터 위, 소장 및 대장을 분류할 수 있다. 즉, 장기 구분 알고리즘(111)은 위, 소장 및 대장의 경계에 대한 확률을 예측하여 소장을 구분할 수 있다.
이후, 장기 구분 알고리즘(111)은 시간적 필터링 알고리즘(111b)을 수행하도록 설계된다. 시간적 필터링 알고리즘은 사비츠키-골레이 필터(Savitzky-golay filter) 및 메디안 필터(Median filter)로 구성된 하이브리드 시간 필터일 수 있다. 이에, 시간적 필터링 알고리즘(111b)에서는 소장의 확률만을 사용하여 소장과, 위 및 대장의 경계를 역치로 구분할 수 있게 한다.
그리고 시간적 필터링 알고리즘(111b)의 적용에서는 이진 분류가 수행될 수 있다. 시간적 필터링 알고리즘(111b)은 사비츠키-골레이 필터 및 메디안 필터의 결과값을 더하여 반으로 나눈 다음에 1보다 큰 값을 1에 매핑하고, 0보다 작은 값은 0에 매핑할 수 있다. 여기서, 최대값이 1보다 작으면 값을 최대값으로 나눌 수 있다. 일례로, 필터링 범위는 1,001프레임으로 설정될 수 있으며 시간적 필터링 알고리즘(111b)의 적용 이후에 소장과, 위 및 대장은 임계값 0.87로 분리될 수 있다. 여기서, 소장을 예측하는 프레임의 최소 지수는 소장의 시작 영역으로 결정되고, 최대 지수는 소장의 종료 영역으로 결정될 수 있다.
이와 같이, 장기 구분 알고리즘(111)은 시간적 필터링 알고리즘(111b)이 적용된 신경망 알고리즘을 적용하여 장기의 전이점 감지를 수행할 수 있다. 즉, 장기 구분 알고리즘(111)은 2D 합성곱 신경망 알고리즘(111a)을 통해 이미지를 위, 소장 및 대장으로 분류한다. 그리고 장기 구분 알고리즘(111)은 시간적 필터링 알고리즘(111b)을 통해 인접 프레임에서 도출된 장기 확률을 이용하여 프레임의 클래스 확률을 보정함으로써 2D 합성곱 신경망 알고리즘(111a)에서 오분류된 프레임의 수를 현저히 감소시킬 수 있다.
그리고 소장에 대하여 시간적으로 필터링된 확률을 임계값으로 지정하여 1에 매핑된 소장의 프레임과 0에 매핑된 위 및 대장의 프레임을 구분할 수 있다. 이에, 장기 구분 알고리즘(111)은 영상 프레임에서 장기 간 종속성을 갖는 위와 소장의 경계 및 소장과 대장의 경계의 전환점을 감지할 수 있다.
이와 같이, 장기 구분 알고리즘(111)의 학습 및 설계가 완료되면, 테스트 세트(S3)를 기반으로 장기 구분 알고리즘(111)의 테스트를 진행할 수 있다(S240).
일례로, 장기 구분 알고리즘(111)의 테스트에서는 설명 가능한 모델인 그레이디언트 가중 클래스 활성화 맵(Gradient-Weighted Class Activation Map, Grad-CAM, 이하 그래드 캠이라 칭한다.)을 ResNet50 모델에 적용할 수 있다. 그래드 캠은 예측된 클래스에 대한 기능맵에서 추출된 다음 무선 캡슐 내시경(10)의 이미지 크기, 320*320으로 조정될 수 있으며 원본 이미지에 겹쳐질 수 있다. 이에, 테스트에서는 학습 및 설계된 장기 구분 알고리즘(111)의 성능을 정확도, 민감도, 특이도, PPV(Positive Predictive Value) 및 NPN(negative Predictive Value) 등의 측면에서 정량적으로 분석할 수 있다.
이하에서는 본 실시예에 따른 장기 구분 알고리즘의 적용에서 3-클래스 분류 결과에 대하여 첨부된 도면을 참조하여 상세히 설명하도록 한다.
도 5는 본 실시예에 따른 신경망 기반 의료 영상 처리 장치의 장기 구분 알고리즘을 그레이디언트 가중 클래스 활성화 맵으로 분석한 결과 데이터이고, 도 6은 본 실시예에 따른 신경망 기반 의료 영상 처리 장치의 장기 구분 알고리즘에서 위와 소장 사이의 전환 오차 및 소장과 대장 사이의 전환 오차를 나타낸 도면이다.
도 5 및 도 6에 도시된 바와 같이, 본 실시예에 따른 장기 구분 알고리즘(111)을 그래드 캠으로 분석한 결과, 도 5의 색상 맵은 적색 및 청색이 각각 1과 0을 참조하는 정규화된 예측을 나타낸다.
여기서, 도 5a 및 도 5b를 비교하면 본 실시예에 따른 장기 구분 알고리즘(111)의 적용 결과가 내시경 의사의 기관 분류 과정과 유사하다는 것을 알 수 있다. 즉, 훈련 및 설계된 장기 구분 알고리즘(111)은 주름 및 트랙 방향을 따라 캡처된 어두운 영역 및 점막 혈관 패턴과 같은 구조적 정보를 통해 기관을 분류하는 것을 확인하였다.
또한, 본 실시예에 따른 장기 구분 알고리즘(111)은 종래 기술과 비교하여 높은 성능을 가지는 것을 확인하였다.
상기 표 1과 같이 종래 기술과 본 실시예에 따른 장기 구분 알고리즘(111)을 비교하면, 장기 구분 알고리즘(111)은 ResNet50 모델의 2D 합성곱 신경망 알고리즘(111a)과 시간적 필터링 알고리즘(111b)의 조합에 의해 높은 성능을 갖는 것을 확인하였다.
또한, 테스트 세트(S3)에서 무작위로 선택된 케이스에 대해 결과를 분석한 결과, 시간적 필터링 알고리즘(111b)이 분석 대상인 소장의 구분에서 강력한 효과를 얻는 것을 확인하였다. 특히, 시간적 필터링 알고리즘(111b)을 적용한 이후에 2D 합성곱 신경망 알고리즘(111a)에서 오분류된 이미지가 크게 감소하는 것을 확인하였다. 그리고 대장 영역에서 잘못 분류된 프레임이 많은 문제를 적절한 임계값 0.87을 도출하는 것에 의해 해결하여 소장과 대장의 구분이 가능한 것으로 나타났다.
그리고 시간 오류를 각 케이스에 대한 프레임 오류 및 FPS로 계산하였으며, 위와 소장 사이의 전환 오차가 38.8±25.8초, 소장과 대장 사이의 전환 오차가 32.0±19.1초에 불과한 것으로 나타나, 장기 구분 알고리즘(111)은 전환 시간 오류가 매우 낮은 것으로 나타났다.
한편, 이하에서는 첨부된 도면을 참조하여 처리용 의료 영상의 영상 처리 방법에 대하여 상세히 설명하도록 한다.
도 7은 본 실시예에 따른 신경망 기반 의료 영상 처리 방법을 나타낸 흐름도이다.
도 7에 도시된 바와 같이, 본 실시예에 따른 영상 처리 방법에서는 장기 구분 알고리즘(111)이 메모리(110)에 탑재된다.
이후, 외부로부터 처리 장치(100)로 처리용 의료 영상(11)이 제공되면, 프로세서(120)는 처리용 의료 영상(11)을 장기 구분 알고리즘(111)에 적용하여 장기 구분을 수행할 수 있다. 이에, 장기 구분 알고리즘(111)은 소장 프레임만을 자동 분류하여 판독의사(30)에게 제공할 수 있다.
보다 구체적으로 프로세서(120)는 처리용 의료 영상(11)을 장기 구분 알고리즘(111)에 입력한다(S710). 이에, 장기 구분 알고리즘(111)은 2D 합성곱 신경망 알고리즘에 처리용 의료 영상을 입력하여 ResNet50 모델을 기반으로 위, 소장 및 대장을 분류할 수 있다.
그리고 프로세서(120)는 분류된 소장 클래스를 사비츠키-골레이 필터(Savitzky-golay filter) 및 메디안 필터(Median filter)로 구성된 시간적 필터링 알고리즘(111)에 적용한다(S720). 이에, 위와 소장의 경계 및 소장과 대장의 경계는 역치로 구분될 수 있다.
이후, 프로세서(120)는 장기 구분 알고리즘(111)으로부터 구분된 분석 대상인 소장 영상(12)을 판독의사(30)에게 제공할 수 있다.
다만, 본 실시예에서는 프로세서(120)가 장기 구분 알고리즘(111)에 의해 구부된 소장 영상(13)을 판독의사(30)에게 직접 전달하는 것을 설명하고 있다. 그러나 이는 본 실시예를 설명하기 위한 것으로, 장기 구분 알고리즘(111)은 후속 처리, 일례로 병변 영역을 판단하는 다른 알고리즘과 연계되어 소장의 병변이 검출되도록 할 수 있다.
이와 같이, 본 발명에 따른 신경망 기반 의료 영상 처리 장치 및 방법은 장기 구분을 통해 소장 영상만을 자동 취득하여 임상의의 판독 시간을 현저하게 단축할 수 있는 효과가 있다.
또한, 본 발명에 따른 신경망 기반 의료 영상 처리 장치 및 방법은 높은 정확도로 소장의 시작 영역과 종료 영역을 파악하여 소장 내 병변을 진단하는 다른 기술과 융합 시에 큰 장점이 있다.
앞에서 설명되고, 도면에 도시된 본 발명의 일 실시예는 본 발명의 기술적 사상을 한정하는 것으로 해석되어서는 안 된다. 본 발명의 보호범위는 청구범위에 기재된 사항에 의하여만 제한되고, 본 발명의 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상을 다양한 형태로 개량 변경하는 것이 가능하다. 따라서 이러한 개량 및 변경은 통상의 지식을 가진 자에게 자명한 것인 한 본 발명의 보호범위에 속하게 될 것이다.
Claims (16)
- 캡슐 내시경에 의해 취득된 의료영상으로부터 소장 영역을 구분하는 신경망 기반 의료 영상 처리 장치에 있어서,
상기 의료영상에 대한 장기 구분을 수행하는 장기 구분 알고리즘이 탑재되는 메모리; 및
상기 의료영상을 상기 장기 구분 알고리즘에 적용하여 상기 소장 영역이 구분되도록 하는 프로세서를 포함하고,
상기 장기 구분 알고리즘은
상기 의료영상에 포함되는 장기를 위, 소장 및 대장으로 구분하여 상기 소장 영역이 구분되도록 하는 합성곱 신경망 알고리즘과,
상기 합성곱 신경망 알고리즘에 연계되어 상기 합성곱 신경망 알고리즘에서 오분류되는 이미지를 감소시키는 시간적 필터링 알고리즘을 포함하고,
상기 합성곱 신경망 알고리즘은 2D 이미지로 학습되는 ResNet 모델을 포함하고,
상기 시간적 필터링 알고리즘은 사비츠키-골레이 필터(Savitzky-golay filter) 및 메디안 필터(Median filter)로 구성된 하이브리드 시간 필터를 포함하며,
상기 시간적 필터링 알고리즘의 적용에서는 이진 분류를 수행하고,
상기 이진 분류에서는
상기 합성곱 신경망 알고리즘에 의해 획득된 소장 클래스를 상기 사비츠키-골레이 필터 및 메디안 필터에 적용하고
상기 사비츠키-골레이 필터 및 메디안 필터의 결과를 더하여 나눈 다음에 1보다 큰 값을 1에 매핑하고, 0보다 작은 값은 0에 매핑하여 상기 소장의 프레임과, 상기 위 및 대장의 프레임을 구분하는 것을 특징으로 하는 신경망 기반 의료 영상 처리 장치.
- 삭제
- 제1 항에 있어서,
상기 합성곱 신경망 알고리즘의 학습에서는
복수 개의 상기 2D 이미지를 판독하여 상기 위, 소장 및 대장으로 3-클래스 라벨링을 수행하고,
상기 라벨링된 복수 개의 2D 이미지로 학습 세트를 생성하고 상기 학습 세트를 기반으로 상기 합성곱 신경망 알고리즘을 훈련하여 상기 합성곱 신경망 알고리즘이 상기 소장 영역을 예측하도록 하는 것을 특징으로 하는 신경망 기반 의료 영상 처리 장치.
- 제3 항에 있어서,
상기 합성곱 신경망 알고리즘의 학습에서는
상기 라벨링 이후에 상기 라벨링된 복수 개의 2D 이미지를 랜덤 셀렉션하여 상기 학습 세트, 검증 세트 및 테스트 세트로 분류하고,
상기 각각의 세트에는 정상 데이터와 비정상 데이터가 함께 포함되도록 분류되는 것을 특징으로 하는 신경망 기반 의료 영상 처리 장치.
- 제4 항에 있어서,
상기 합성곱 신경망 알고리즘의 학습에서는
상기 장기 간의 불균형이 조정되도록 상기 위, 소장 및 대장의 2D 이미지 비율을 1:2:1로 조정하는 것을 특징으로 하는 신경망 기반 의료 영상 처리 장치.
- 제5 항에 있어서,
상기 2D 이미지의 비율 조정에서는
정상 및 비정상 위 이미지를 수평 및 수직 플립을 적용하여 확대하고,
정상 및 비정상 소장 이미지와, 정상 및 비정상 대장 이미지를 설정된 비율로 다운 샘플링하는 것을 특징으로 하는 신경망 기반 의료 영상 처리 장치.
- 제6 항에 있어서,
상기 다운 샘플링에서는
정상 소장 및 정상 대장 이미지를 각각 2/3 및 1/3의 비율로 다운 샘플링하고,
비정상 소장 및 비정상 대장 이미지를 각각 3/4 및 3/7의 비율로 다운샘플링하는 것을 특징으로 하는 신경망 기반 의료 영상 처리 장치.
- 제4 항에 있어서,
상기 합성곱 신경망 알고리즘의 학습에서는
상기 합성곱 신경망 알고리즘의 훈련 이후에 상기 검증 세트를 기반으로 상기 합성곱 신경망 알고리즘을 검증하는 것을 특징으로 하는 신경망 기반 의료 영상 처리 장치.
- 제4 항에 있어서,
상기 합성곱 신경망 알고리즘의 학습 이후에
상기 테스트 세트를 기반으로 상기 합성곱 신경망 알고리즘 및 상기 시간적 필터링 알고리즘을 테스트하는 것을 특징으로 하는 신경망 기반 의료 영상 처리 장치.
- 삭제
- 삭제
- 제1 항에 있어서,
상기 장기 구분 알고리즘은
상기 의료영상으로부터 장기가 변화하는 프레임을 예측하여 상기 소장 영역을 구분하는 것을 특징으로 하는 신경망 기반 의료 영상 처리 장치.
- 제1 항에 있어서,
상기 장기 구분 알고리즘은
상기 합성곱 신경망 알고리즘에 의해 취득된 상기 소장 클래스를 상기 시간적 필터링 알고리즘에 적용하여 시간적으로 필터링된 확률을 임계값으로 지정하고,
상기 임계값을 기반으로 상기 소장의 프레임과, 상기 위 및 대장의 프레임을 구분하는 것을 특징으로 하는 신경망 기반 의료 영상 처리 장치.
- 제13 항에 있어서,
상기 임계값은
0.87인 것을 특징으로 하는 신경망 기반 의료 영상 처리 장치.
- 제1 항에 있어서,
상기 시간적 필터링 알고리즘은
상기 합성곱 신경망 알고리즘에 의해 인접 프레임에서 도출된 장기 확률을 이용하여 프레임의 클래스 확률을 보정하는 것을 특징으로 하는 신경망 기반 의료 영상 처리 장치.
- 캡슐 내시경에 의해 취득된 의료영상으로부터 소장 영역을 구분하는 신경망 기반 의료 영상 처리 방법에 있어서,
상기 의료영상을 장기 구분 알고리즘에 입력하는 단계; 및
상기 장기 구분 알고리즘이 상기 의료영상으로부터 상기 소장 영역을 구분하는 단계를 포함하고,
상기 장기 구분 알고리즘은
상기 의료영상에 포함되는 장기를 위, 소장 및 대장으로 구분하여 상기 소장 영역이 구분되도록 하는 합성곱 신경망 알고리즘과,
상기 합성곱 신경망 알고리즘에 연계되어 상기 합성곱 신경망 알고리즘에서 오분류되는 이미지를 감소시키는 시간적 필터링 알고리즘을 포함하고,
상기 합성곱 신경망 알고리즘은 2D 이미지로 학습되는 ResNet 모델을 포함하고,
상기 시간적 필터링 알고리즘은 사비츠키-골레이 필터(Savitzky-golay filter) 및 메디안 필터(Median filter)로 구성된 하이브리드 시간 필터를 포함하며,
상기 시간적 필터링 알고리즘의 적용에서는 이진 분류를 수행하고,
상기 이진 분류에서는
상기 합성곱 신경망 알고리즘에 의해 획득된 소장 클래스를 상기 사비츠키-골레이 필터 및 메디안 필터에 적용하고
상기 사비츠키-골레이 필터 및 메디안 필터의 결과를 더하여 나눈 다음에 1보다 큰 값을 1에 매핑하고, 0보다 작은 값은 0에 매핑하여 상기 소장의 프레임과, 상기 위 및 대장의 프레임을 구분하는 것을 특징으로 하는 의료 영상 처리 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220090390A KR102502418B1 (ko) | 2022-07-21 | 2022-07-21 | 신경망 기반 의료 영상 처리 장치 및 방법 |
| PCT/KR2022/016819 WO2024019232A1 (ko) | 2022-07-21 | 2022-10-31 | 신경망 기반 의료 영상 처리 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220090390A KR102502418B1 (ko) | 2022-07-21 | 2022-07-21 | 신경망 기반 의료 영상 처리 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102502418B1 true KR102502418B1 (ko) | 2023-02-24 |
Family
ID=85330113
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220090390A KR102502418B1 (ko) | 2022-07-21 | 2022-07-21 | 신경망 기반 의료 영상 처리 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102502418B1 (ko) |
| WO (1) | WO2024019232A1 (ko) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200038120A (ko) * | 2018-10-02 | 2020-04-10 | 한림대학교 산학협력단 | 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법 |
| KR102237198B1 (ko) | 2020-06-05 | 2021-04-08 | 주식회사 딥노이드 | 인공지능 기반의 의료영상 판독 서비스 시스템 |
| US20210158525A1 (en) * | 2018-08-14 | 2021-05-27 | Canon Kabushiki Kaisha | Medical image processing apparatus, medical image processing method, computer-readable medium, and learned model |
| WO2022076879A1 (en) * | 2020-10-08 | 2022-04-14 | Board Of Supervisors Of Louisiana State University And Agricultural And Mechanical College | Raman spectroscopy system and methods of using the same |
| KR20220078495A (ko) * | 2020-12-03 | 2022-06-10 | 주식회사 서르 | 캡슐 내시경 영상 기반 소장 병변 판독 방법, 장치 및 프로그램 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100984395B1 (ko) * | 2008-11-03 | 2010-09-29 | 인하대학교 산학협력단 | 영상 특성 분석을 통한 캡슐 내시경 영상 처리 방법 |
| KR101878891B1 (ko) * | 2016-08-31 | 2018-07-16 | 주식회사 인트로메딕 | 캡슐 내시경에서의 영상 처리 방법, 캡슐 내시경 장치, 캡슐 내시경 장치와 연동하는 수신기, 수신기의 영상 처리 방법 및 캡슐 내시경 시스템 |
-
2022
- 2022-07-21 KR KR1020220090390A patent/KR102502418B1/ko active IP Right Grant
- 2022-10-31 WO PCT/KR2022/016819 patent/WO2024019232A1/ko unknown
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210158525A1 (en) * | 2018-08-14 | 2021-05-27 | Canon Kabushiki Kaisha | Medical image processing apparatus, medical image processing method, computer-readable medium, and learned model |
| KR20200038120A (ko) * | 2018-10-02 | 2020-04-10 | 한림대학교 산학협력단 | 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법 |
| KR102237198B1 (ko) | 2020-06-05 | 2021-04-08 | 주식회사 딥노이드 | 인공지능 기반의 의료영상 판독 서비스 시스템 |
| WO2022076879A1 (en) * | 2020-10-08 | 2022-04-14 | Board Of Supervisors Of Louisiana State University And Agricultural And Mechanical College | Raman spectroscopy system and methods of using the same |
| KR20220078495A (ko) * | 2020-12-03 | 2022-06-10 | 주식회사 서르 | 캡슐 내시경 영상 기반 소장 병변 판독 방법, 장치 및 프로그램 |
Non-Patent Citations (2)
| Title |
|---|
| Sibren van Vliet 외, Joint Brightness and Tone Stabilization of Capsule Endoscopy Videos, VISAPP 2018, 2018.01.29., Vol.4, pp.101-112.* * |
| Yuexian Zou 외, 2015 IEEE International Conference on Digital Signal Processing (DSP), 2015.07.24., pp.1274-1278. * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024019232A1 (ko) | 2024-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111428709B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN110600122B (zh) | 一种消化道影像的处理方法、装置、以及医疗系统 | |
| EP3479348B1 (en) | Method and apparatus for real-time detection of polyps in optical colonoscopy | |
| JP2022502150A (ja) | 胃内視鏡イメージのディープラーニングを利用して胃病変を診断する装置及び方法 | |
| JP5305850B2 (ja) | 画像処理装置、画像処理プログラムおよび画像処理方法 | |
| Goel et al. | Dilated CNN for abnormality detection in wireless capsule endoscopy images | |
| CN109635871B (zh) | 一种基于多特征融合的胶囊内窥镜图像分类方法 | |
| CN111275041B (zh) | 内窥镜图像展示方法、装置、计算机设备及存储介质 | |
| CN111968091B (zh) | 一种临床图像中病变区域的检测和分类方法 | |
| KR20200038121A (ko) | 실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법 | |
| CN114581375A (zh) | 一种无线胶囊内窥镜病灶自动检测方法、装置及存储介质 | |
| CN111080639A (zh) | 基于人工智能的多场景消化道内镜图像识别方法及系统 | |
| CN112334990A (zh) | 自动宫颈癌诊断系统 | |
| Ghosh et al. | Block based histogram feature extraction method for bleeding detection in wireless capsule endoscopy | |
| KR102502418B1 (ko) | 신경망 기반 의료 영상 처리 장치 및 방법 | |
| Arnold et al. | Indistinct frame detection in colonoscopy videos | |
| CN116830148A (zh) | 胶囊式内窥镜检查中小肠病变的自动检测和区分 | |
| Zhou et al. | Wireless capsule endoscopy video automatic segmentation | |
| WO2022108465A1 (en) | Automatic detection of colon lesions and blood in colon capsule endoscopy | |
| Sindhu et al. | A novel method for automatic detection of inflammatory bowel diseases in wireless capsule endoscopy images | |
| CN109671091B (zh) | 一种非钙化斑检测方法及非钙化斑检测设备 | |
| Fisher et al. | Colour image analysis of wireless capsule endoscopy video: A review | |
| Ciobanu et al. | Steps towards computer-assisted classification of colonoscopy video frames | |
| CN112734749A (zh) | 一种基于卷积神经网络模型的声带白斑辅助诊断系统 | |
| CN117437580B (zh) | 消化道肿瘤识别方法、系统及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |