KR20220072761A - 내시경 영상 병변 진단 시스템 - Google Patents

내시경 영상 병변 진단 시스템 Download PDF

Info

Publication number
KR20220072761A
KR20220072761A KR1020210158406A KR20210158406A KR20220072761A KR 20220072761 A KR20220072761 A KR 20220072761A KR 1020210158406 A KR1020210158406 A KR 1020210158406A KR 20210158406 A KR20210158406 A KR 20210158406A KR 20220072761 A KR20220072761 A KR 20220072761A
Authority
KR
South Korea
Prior art keywords
lesion
image
endoscopic
lesion diagnosis
neural network
Prior art date
Application number
KR1020210158406A
Other languages
English (en)
Other versions
KR102713332B1 (ko
Inventor
정재훈
Original Assignee
주식회사 아이도트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이도트 filed Critical 주식회사 아이도트
Priority to KR1020210158406A priority Critical patent/KR102713332B1/ko
Publication of KR20220072761A publication Critical patent/KR20220072761A/ko
Application granted granted Critical
Publication of KR102713332B1 publication Critical patent/KR102713332B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G06N3/0427—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 내시경 영상에 대해 병변을 진단하는 내시경 영상 병변 진단 시스템에 관한 것으로, 입력되는 내시경 영상으로부터 관찰 영상을 획득하기 위한 관찰 영상 획득부와; 획득된 관찰 영상을 전처리하기 위한 전처리부와; 사전 학습된 병변 진단용 인공 신경망 학습모델을 이용하여 상기 전처리된 관찰 영상에 대해 병변의 정도를 진단하는 병변 진단부와; 병변 진단 결과를 표시 출력하는 화면 표시 제어부;를 포함함을 특징으로 한다.

Description

내시경 영상 병변 진단 시스템{IMAGE LESION DIAGNOSIS SYSTEM}
본 발명은 내시경 영상 병변 진단 시스템에 관한 것으로, 특히 내시경 영상에 대해 병변을 진단하는 내시경 영상 병변 진단 시스템에 관한 것이다.
신체 내부의 상태 진단이나 병변 감지를 위해 내시경이 사용될 수 있다. 신체 내부의 이미지를 획득하기 위한 내시경 검진 방법으로는 카메라가 부착된 연성의 관을 환자의 입이나 항문을 통해 소화기관 등으로 투입하여 내부를 촬영하는 방법이 많이 사용된다.
그러나 소장과 같이 좁고 길이가 길면서 복잡하게 구부러진 소화 기관의 내부 관찰에는 일반적인 내시경 검진 방법이 한계가 있기 때문에, 캡슐형 내시경이 개발되어 이용되고 있다. 캡슐형 내시경은 알약 모양의 직경 약 9~11mm, 길이 약 24mm~26mm의 초소형 내시경으로, 알약과 같이 환자가 삼키기만 하면 내시경의 카메라가 위, 소장, 대장과 같은 장기 내부의 이미지를 수집하면서 외부의 수신기로 전송하고, 진단자는 캡슐 내시경이 전송한 체내 이미지를 표시부를 통해 관찰하면서 장기들의 내부 상태에 대한 진단을 수행한다.
이와 같이 내시경 영상에 대한 병변 진단은 보통 전문의 육안 관찰에 의해 이루어지기 때문에 전문의의 경험과 능력, 숙련도에 따라 서로 다른 진단결과를 얻을 수 있다. 따라서 내시경 영상에 대하여 전문의의 경험과 능력, 숙련도에 상관없이 객관적이고도 신뢰성 높은 새로운 진단방법이 필요하다.
대한민국 공개특허공보 제10-2020-0070062호 대한민국 공개특허공보 제10-2020-0038121호
이에 본 발명은 상술한 필요성에 따라 창안한 발명으로서, 본 발명의 주요 목적은 촬영된 내시경 영상 혹은 내시경 장비에서 획득 가능한 내시경 영상에 대해 병변을 자동 검출하여 진단할 수 있는 내시경 영상 병변 진단 시스템을 제공함에 있으며,
더 나아가 본 발명의 또 다른 목적은 내시경 장비에서 프리즈(freeze)된 것과 같은 상태의 내시경 영상만을 획득하여 병변을 자동 진단할 수 있는 내시경 영상 병변 진단 시스템을 제공함에 있다.
또한 본 발명의 다른 목적은 내시경 장비에서 프리즈되는 영상만을 획득하여 병변을 자동 진단함은 물론, 내시경 장비에서 획득되는 내시경 영상에서 병변을 실시간 검출하여 병변 진단할 수 있는 내시경 영상 병변 진단 시스템을 제공함에 있다.
더 나아가 본 발명의 또 다른 목적은 내시경 영상에 대해 병변 유무를 자동 진단하되, 병변의 정도와 침윤의 깊이를 진단하여 표시해 줄 수 있는 내시경 영상 병변 진단 시스템을 제공함에 있으며,
더 나아가 위 내시경 영상뿐만 아니라, 대장 내시경 영상에 대해서도 병변을 진단할 수 있도록 구축된 내시경 영상 병변 진단 시스템을 제공함에 있다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 내시경 영상 병변 진단 시스템은,
입력되는 내시경 영상으로부터 관찰 영상을 획득하기 위한 관찰 영상 획득부와;
획득된 관찰 영상을 전처리하기 위한 전처리부와;
사전 학습된 병변 진단용 인공 신경망 학습모델을 이용하여 상기 전처리된 관찰 영상에 대해 병변의 정도를 진단하는 병변 진단부와;
병변 진단 결과를 표시 출력하는 화면 표시 제어부;를 포함함을 특징으로 하며,
상기 관찰 영상 획득부는 상기 내시경 영상의 프레임들 중 프레임간 유사도가 정해진 임계치를 초과하는 영상 프레임들을 상기 관찰 영상으로 획득함을 특징으로 한다.
경우에 따라서는, 상기 관찰 영상 획득부는 내시경 장비 조작자의 머신 프리즈 동작에 따라 발생되는 전기신호 입력시에 상기 내시경 영상을 관찰 영상으로 캡쳐하여 획득할 수도 있다.
본 발명의 또 다른 실시예에 따른 내시경 영상 병변 진단 시스템은,
입력되는 내시경 영상을 전처리하기 위한 전처리부와;
사전 학습된 실시간 병변 영역 검출용 인공 신경망 학습모델을 이용하여 상기 전처리된 내시경 영상 프레임에서 병변 영역을 실시간 검출하는 병변 영역 검출부와;
검출된 병변 영역이 마킹된 내시경 영상 프레임을 표시 출력하는 화면 표시 제어부;를 포함함을 특징으로 한다.
이러한 구성을 포함하는 내시경 영상 병변 진단 시스템의 병변 영역 검출부는,
위 내시경 영상, 소장 내시경 영상, 대장 내시경 영상 중 하나 이상의 내시경 영상 각각에 대해 병변 영역을 검출하기 위해 사전 학습된 하나 이상의 병변 영역 검출용 인공 신경망 학습모델을 포함함을 특징으로 한다.
본 발명의 또 다른 실시예에 따른 내시경 영상 병변 진단 시스템은,
입력되는 내시경 영상을 전처리하기 위한 전처리부와;
사전 학습된 실시간 병변 영역 검출용 인공 신경망 학습모델을 이용하여 상기 전처리된 내시경 영상 프레임에서 병변 영역을 실시간 검출하는 병변 영역 검출부와;
사전 학습된 병변 진단용 인공 신경망 학습모델을 이용하여 상기 검출된 병변 영역에 대해 병변의 정도를 진단하는 병변 진단부와;
검출된 병변 영역과 병변 진단 결과를 표시 출력하는 화면 표시 제어부;를 포함함을 특징으로 한다.
상술한 기술적 과제 해결 수단에 따르면, 본 발명의 실시예에 따른 내시경 영상 병변 진단 시스템은 내시경 장비에서 머신 프리즈된 상태의 영상을 자동 인식하여 이를 관찰 영상으로 획득하여 병변을 진단할 수 있는 장점이 있으며,
더 나아가 획득된 관찰 영상, 즉 내시경 장비에서 프리즈된 상태 혹은 프리즈된 것과 같은 정지상태의 영상에 대해 사전 학습된 병변 진단용 인공 신경망 학습모델을 이용하여 병변의 정도를 자동 진단하여 그 결과를 표시하기 때문에, 전문의의 경험과 능력, 숙련도에 상관없이 객관적이고도 신뢰성 높은 진단 결과를 얻을 수 있는 장점이 있다.
또한 본 발명은 위 내시경 영상, 소장 내시경 영상, 대장 내시경 영상 중 하나 이상의 내시경 영상 각각에 대해 병변 영역을 검출하기 위해 사전 학습된 하나 이상의 병변 영역 검출용 인공 신경망 학습모델과 병변 진단용 인공 신경망 학습모델을 포함함으로써, 하나의 시스템 구축만으로도 동작모드(위 내시경 진단모드,.., 내장 내시경 진단모드로 설정)에 따라 위 내시경, 대장 내시경, 소장 내시경에 대한 병변 영역을 자동 검출하여 병변 정도를 자동 진단할 수 있는 장점이 있으며,
내시경 영상 병변 진단 시스템을 내시경 장비에 임베디드 시스템으로 구현하여 내시경 장비 자체에서 내시경 영상에 대한 병변을 자동 진단하도록 할 수도 있다.
도 1은 본 발명의 실시예에 따른 내시경 영상 병변 진단 시스템의 주변 구성 예시도.
도 2 내지 도 4는 본 발명의 실시예에 따른 내시경 영상 병변 진단 시스템의 구성 예시도.
도 5와 도 6은 본 발명의 실시예에 따른 내시경 영상 병변 진단 시스템의 동작 흐름 예시도.
도 7은 본 발명의 실시예에 따른 관찰 영상 획득을 설명하기 위한 도면.
도 8a 내지 도 9c는 본 발명의 실시예에 따른 내시경 영상 병변 정도 진단 예시도.
도 10과 도 11은 본 발명의 실시예에 따른 병변 진단 화면 예시도.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.
그리고 본 발명의 상세한 설명 및 청구항들에 걸쳐 '학습'은 절차에 따라 기계 학습(machine learning)을 수행함을 일컫는 용어인바, 인간의 교육 활동과 같은 정신적 작용을 지칭하도록 의도된 것이 아님을 통상의 기술자는 이해할 수 있을 것이다. 또한 본 발명의 상세한 설명 및 청구항들에 걸쳐, '포함하다'라는 단어 및 그 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다. 더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 구성 및 특성은 일 실시예에 관련하여 본 발명의 사상 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 사상 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
본 명세서에서 달리 표시되거나 분명히 문맥에 모순되지 않는 한, 단수로 지칭된 항목은, 그 문맥에서 달리 요구되지 않는 한, 복수의 것을 아우른다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
이하, 통상의 기술자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 내시경 영상 병변 진단 시스템(200)의 주변 구성도를 예시한 것이다.
본 발명의 실시예에 따른 내시경 영상 병변 진단 시스템(200)은 하나의 독립된 시스템으로 구현 가능함은 물론, 전문의(진단자)의 컴퓨터 시스템에 설치되어 컴퓨터 시스템의 메인 프로세서에서 실행 가능한 프로그램 데이터들의 집합체(응용 프로그램)로 구현 가능하다. 경우에 따라서는 내시경 장비의 메인 프로세서(제어부)에서 실행 가능한 응용 프로그램의 형태로 구현되어 실행될 수도 있다.
도 1에서는 전문의의 컴퓨터 시스템에 설치되어 있는 내시경 영상 병변 진단 시스템(200)을 도시한 것으로, 내시경 영상 병변 진단 시스템(200)은 구현 방법에 따라 내시경 장비(100)로부터 전달되는 프리즈(freeze) 상태의 영상에 대해 병변 정도를 자동 진단하여 표시하거나, 실시간 내시경 영상에 대해 병변 영역을 검출하여 표시하거나, 실시간 내시경 영상에 대해 병변 영역을 검출하고 그 검출된 병변 영역에 대해 병변 정도 및(혹은) 침윤 깊이를 자동 진단하여 표시하여 준다.
참고적으로 도 1에 도시한 내시경 장비(100)는 위 내시경 장비, 소장 내시경 장비, 대장 내시경 장비일 수 있다. 내시경 장비(100)는 내시경에 의해 얻어진 내시경 영상을 표시부에 표시한다. 내시경 장비(100)와 내시경 영상 병변 진단 시스템(200)이 설치된 컴퓨터 시스템 상호 간은 케이블 및 영상출력단자를 통해 상호 연결됨으로써, 내시경 장비(100)에 표시되는 동일 내시경 영상이 전문의 컴퓨터 시스템의 표시부에 표시될 수 있다.
한편 본 발명의 실시예에 따른 내시경 영상 병변 진단 시스템(200) 역시 내시경 종류에 따라 위 내시경 영상, 소장 내시경 영상, 대장 내시경 영상 중 하나 이상의 내시경 영상에 대하여 병변 영역, 병변 정도를 자동 검출하거나 진단할 수 있다.
이러한 내시경 영상 병변 진단 시스템(200)에 대하여 부연 설명하면,
도 2 내지 도 4는 본 발명의 실시예에 따른 내시경 영상 병변 진단 시스템의 구성도를 각각 예시한 것으로써, 도 2는 내시경 장비(100)로부터 전달되는 프리즈(freeze) 영상에 대해 병변 정도를 자동 진단하여 표시할 수 있는 내시경 영상 병변 진단 시스템을, 도 3은 실시간 내시경 영상에 대해 병변 영역을 자동 검출하여 표시하는 시스템을, 도 4는 실시간 내시경 영상에 대해 병변 영역을 자동 검출하고 그 검출된 병변 영역에 대해 병변 정도 및(혹은) 침윤 깊이를 자동 진단하여 표시하는 시스템을 도시한 것이다.
도 2를 우선 참조하면, 본 발명의 제1실시예에 따른 내시경 영상 병변 진단 시스템(200)은,
내시경 장비(100)로부터 입력되는 내시경 영상으로부터 관찰 영상을 획득하기 위한 관찰 영상 획득부(210)와,
획득된 관찰 영상을 전처리하기 위한 전처리부(220)와,
사전 학습된 병변 진단용 인공 신경망 학습모델을 이용하여 상기 전처리된 관찰 영상에 대해 병변의 정도를 진단하는 병변 진단부(230)와,
병변 진단 결과를 표시 출력하는 화면 표시 제어부(240)를 포함한다.
상기 관찰 영상 획득부(210)는 도 7에 도시한 바와 같이 내시경 영상의 프레임들 중 프레임간 유사도가 정해진 임계치를 초과하는 영상 프레임들(T1,T2,T3에서의 영상 프레임)을 관찰 영상으로 획득(캡쳐로 이해)한다. 여기서 내시경 영상의 프레임들 중 프레임간 유사도가 정해진 임계치를 초과하는 영상 프레임들이란 머신 프리즈 상태뿐만 아니라 이동중인 내시경 카메라(이미지 센싱부)가 정지하여 동일한 영상 프레임들이 얻어지는 상태로 이해하는 것이 바람직하다. 내시경 장비(100)측에서 내시경 진단을 수행하는 진단자에 의해 머신 프리즈될 경우 프리즈된 내시경 영상이 일시 정지되어 표시되기 때문에 이때의 영상 프레임들간의 유사도는 매우 높다고 할 수 있다. 이와 같이 프레임간 유사도가 정해진 임계치를 초과할 경우 내시경 영상 병변 진단 시스템(100)에서는 내시경 장비(100)측에서 내시경 영상의 프리즈가 된 것으로 인지해 해당 영상에 대한 병변 여부를 진단할 수 있다.
경우에 따라서는 내시경 장비(100) 조작자의 머신 프리즈 동작을 검출해 이에 연동하여 내시경 영상을 캡쳐하여 해당 영상에 대한 병변 여부를 진단할 수 있다.
즉, 관찰 영상 획득부(210)는 내시경 장비(100) 조작자의 머신 프리즈 동작에 따라 발생되는 전기신호 입력시에 내시경 영상을 관찰 영상으로 캡쳐하여 획득할 수도 있다. 상기 전기신호는 내시경 장비(100) 조작자가 내시경 영상을 프리즈하기 위해 장비를 조작하는 것(내시경 장비의 핸들 혹은 발판 조작)을 감지한 감지신호로 이해하는 것이 바람직하다.
전처리부(220)는 병변을 진단하기 위해 불필요한 부분(노이즈), 예를 들면 프레임 단위의 내시경 영상에서 혈액, 텍스트, 조직검사기구 등을 제거한다. 이러한 전처리부(220)는 전문의 등에 의해 병변 영역으로 마킹된 부위를 추출하여 에지 부분을 매끈(smoothing)하게 처리하는 전처리 과정을 병행하여 수행할 수 있다.
한편, 상기 병변 진단부(230)는 사전 학습된 병변 진단용 인공 신경망 학습모델을 이용하여 상기 전처리된 관찰 영상에서 병변 영역을 검출한 후 그 검출된 병변 영역에 대해 병변의 정도를 진단할 수도 있다.
상기 병변 진단용 인공 신경망 학습모델은 인공 신경망의 하나인 심층 신경망(Convolution Neural Network) 학습모델에서와 같이 입력층과 완전 연결층 사이에 컨벌루션층(convolution layer)층과 풀링층(pooling layer)이 반복되는 네트워크 구조일 수 있으며, 본원 출원인에 의해 선출원된 출원번호 10-2020-0007623호에 게시된 즉, 노이즈 완화를 위해 풀링층과 반복되는 컨벌루션층 중 어느 하나의 컨벌루션층에서 컨벌루션 연산과 디컨버루션 연산을 각각 병렬 처리하는 일군의 컨벌루션층과 일군의 디컨벌루션층을 포함하고, 상기 일군의 컨벌루션층과 디컨벌루션층을 각각 통과한 특성맵(feature map)들을 하나로 합쳐 완전 연결층으로 전달하는 합산층(add layer)을 포함하는 구조일 수 있다.
상기 병변 진단용 인공 신경망 학습모델은 전문의에 의해 병변 영역 및(혹은) 병변 정도가 마킹된 내시경 영상 데이터를 딥러닝 알고리즘을 통해 사전 학습하여 구축된 모델로서, 진단모드에서는 전처리된 관찰 영상에 대해 병변 정도를 자동 진단하거나, 전처리된 관찰 영상에서 병변 영역을 검출한 후 그 검출된 병변 영역에 대해 병변의 정도를 진단한다.
참고적으로 병변 진단용 인공 신경망 학습모델에서는 입력(x)과 그에 상응하는 한가지 출력(y)의 쌍 (x,y)을 학습시킨다. 입력은 이미지이고, 출력은 예를 들어 병변의 정도일 수 있다.
또한 강인한 학습모델을 구축하기 위해 본 발명의 실시예에서 이용되는 각각의 인공 신경망 학습모델은 데이터 증강된 학습 데이터를 학습할 수 있다. 데이터 증강의 종류는 좌/우 반전, 상/하 반전, 회전(-10˚∼ +10˚), 흐림(blur)을 사용할 수 있고, 학습 데이터의 학습, 벨리데이션, 테스트 데이터의 비율을 6:2:2로 맞출 수 있다.
또한 본 발명의 실시예에서 이용되는 각각의 인공 신경망 학습모델은 하이퍼-파라미터 튜닝 적용된 변형된 DenseNet 기반 인공 신경망(Modified DenseNet based Convolutional Neural Network)을 이용할 수 있다.
한편, 병변 진단부(230)는 위 내시경 영상, 소장 내시경 영상, 대장 내시경 영상 중 하나 이상의 내시경 영상 각각에 대해 병변의 정도를 진단하기 위해 사전 학습된 하나 이상의 병변 진단용 인공 신경망 학습모델을 포함할 수 있다. 이에 내시경 영상 병변 진단 시스템(200)은 위 내시경 영상에 대한 병변을 진단할 수도 있고 대장 내시경 영상에 대한 병변을 진단할 수도 있다. 경우에 따라서는 소장 내시경 영상에 대한 병변을 더 진단할 수도 있다.
참고적으로 상기 병변 진단용 인공 신경망 학습모델이 위 내시경 영상에 대한 진단모델이라면 병변 정도로서 정상(normal), 저도 이형성(Low Grade Dysplasia:LGD), 고도 이형성(High Grade Dysplasia:HGD), 조기 위암(Early Gastric Cancer:EGC), 진행성 위암(Advanced Gastric Cancer:AGC)을 진단할 수 있고, 소장 내시경 영상에 대한 진단모델이라면 출혈, 궤양, 혈관 확장증, 암종양을 진단할 수 있고, 대장 내시경 영상에 대한 진단모델이라면 Non-neoplasm, TA(Tubular Adenoma), HGD, 암을 진달할 수 있도록 사전 훈련하여 병변을 진단한다.
이하 도 3을 참조하여 본 발명의 또 다른 실시예에 따른 내시경 영상 병변 진단 시스템(200)을 부연 설명하면, 도 3에 도시한 내시경 영상 병변 진단 시스템(200)은,
내시경 장비(100)로부터 입력되는 내시경 영상을 전처리하기 위한 전처리부(215)와,
사전 학습된 실시간 병변 영역 검출용 인공 신경망 학습모델을 이용하여 상기 전처리된 내시경 영상 프레임에서 병변 영역을 실시간 검출하는 병변 영역 검출부(225)와,
검출된 병변 영역이 마킹된 내시경 영상 프레임을 표시 출력하는 화면 표시 제어부(235)를 포함한다.
상기 전처리부(235)는 프레임 단위의 내시경 영상에서 혈액, 텍스트, 조직검사기구를 인식하여 제거할 수 있으며, 상기 병변 영역 검출부(225) 역시 위 내시경 영상, 소장 내시경 영상, 대장 내시경 영상 중 하나 이상의 내시경 영상 각각에 대해 병변 영역을 검출하기 위해 사전 학습된 하나 이상의 병변 영역 검출용 인공 신경망 학습모델을 포함한다.
상기 병변 영역 검출용 인공 신경망 학습모델 역시 합성곱신경망(CNN)이라는 딥러닝 알고리즘을 이용해 학습 데이터를 사전에 학습한 모델로서, 학습 데이터는 전문의가 병변 영역을 마킹한 내시경 영상이라 할 수 있다.
도 3에 도시한 내시경 영상 병변 진단 시스템(200)은 실시간 입력되는 내시경 영상 프레임에 대해 병변 영역을 자동 검출하여 검출된 병변 영역이 마킹된 내시경 영상 프레임을 표시부에 표시해 주는 시스템이다. 내시경 영상 프레임에 대해 병변 영역이 자동 검출되면 그 병변 영역이 마킹된 영상 프레임이 표시부에 표시되기 때문에, 진단자는 병변 영역 마킹된 영상 프레임 표시시 집중하여 해당 영상을 관찰할 수 있다. 구현 방법에 따라 상기 병변 영역이 마킹된 내시경 영상 프레임들은 컴퓨터 시스템의 내부 메모리에 별도 저장되어 관리될 수 있다.
본 발명의 또 다른 실시예에 따른 내시경 영상 병변 진단 시스템(200)은 도 4에 도시한 바와 같이,
입력되는 내시경 영상을 전처리하기 위한 전처리부(250)와,
사전 학습된 실시간 병변 영역 검출용 인공 신경망 학습모델을 이용하여 상기 전처리된 내시경 영상 프레임에서 병변 영역을 실시간 검출하는 병변 영역 검출부(255)와,
사전 학습된 병변 진단용 인공 신경망 학습모델을 이용하여 상기 검출된 병변 영역에 대해 병변의 정도를 진단하는 병변 진단부(260)와,
검출된 병변 영역과 병변 진단 결과를 표시 출력하는 화면 표시 제어부(270)를 포함한다.
이들 구성을 포함하는 내시경 영상 병변 진단 시스템(200)에서, 상기 전처리부(250)는 내시경 영상 프레임에서 혈액, 텍스트, 조직검사기구를 인식하여 제거한다.
더 나아가 상기 병변 영역 검출부(255)는 위 내시경 영상, 소장 내시경 영상, 대장 내시경 영상 중 하나 이상의 내시경 영상 각각에 대해 병변 영역을 검출하기 위해 사전 학습된 하나 이상의 병변 영역 검출용 인공 신경망 학습모델을 포함할 수 있고,
상기 병변 진단부(260) 역시 위 내시경 영상, 소장 내시경 영상, 대장 내시경 영상 중 하나 이상의 내시경 영상 각각에 대해 병변의 정도를 진단하기 위해 사전 학습된 하나 이상의 병변 진단용 인공 신경망 학습모델을 포함할 수 있다.
이상에서 실시예별로 설명한 각 내시경 영상 병변 진단 시스템(200)은 병변 영역 검출시 그 사실을 진단자 혹은 전문의에게 알람을 통해 알리기 위한 기술적 구성을 더 포함할 수 있다. 또한 각 내시경 영상 병변 진단 시스템(200)이 대장 내시경 영상에 대한 병변을 진단하는 시스템이라면 병변 진단부는 침윤 깊이까지 진단하여 표시할 수 있다.
이하 상술한 내시경 영상 병변 진단 시스템(200)의 동작을 보다 구체적으로 설명하되, 하기에서는 위 내시경 영상에 대해 진단하는 동작을 설명하기로 한다.
도 5는 본 발명의 실시예에 따른 내시경 영상 병변 진단 시스템(200)의 동작 흐름도를 예시한 것이며, 도 7은 본 발명의 실시예에 따른 관찰 영상 획득을 설명하기 위한 도면을, 도 8a 내지 도 9c는 본 발명의 실시예에 따른 내시경 영상 병변 정도의 진단 화면을 예시한 것이며, 도 10과 도 11은 본 발명의 실시예에 따른 또 다른 병변 진단 화면 예시도이다.
우선 내시경 영상에 대한 병변을 진단하기에 앞서 내시경 영상 병변 진단 시스템(200)은 학습모드를 통해 병변 진단용 인공 신경망 학습모델을 학습시켜야 한다.
예를 들어 위 내시경 영상에 대해 전문의는 병변 영역을 마킹하고 병변 정도 정보를 입력한다. 이와 같이 병변 영역과 병변 정도 정보가 마킹 혹은 입력된 다수의 내시경 영상 프레임들은 전문의 명령에 따라 심층 신경망 구조를 갖는 병변 진단용 인공 신경망 학습모델로 전달된다.
이에 병변 진단용 인공 신경망 학습모델은 학습 데이터, 즉 위 내시경 영상에서 병변 영역 마킹된 영상의 특징들을 학습하고, 테스트 및 검증 단계를 거쳐 위 내시경 영상에 대해 정상/LGD/HGD/EGC/AGC 중 어느 하나를 병변 정도로서 예측하기 위한 모델의 학습을 종료한다.
이와 같이 병변 진단용 인공 신경망 학습모델의 학습이 이루어지면 이러한 학습모델에 기반하여 위 내시경 영상에 대한 병변 정도를 진단할 수 있다.
도 5를 참조하면, 우선 내시경을 통해 얻어지는 위 내시경 영상은 내시경 장비(100)의 표시부에 표시됨은 물론 내시경 영상 병변 진단 시스템(200)이 설치된 전문의 PC에 수신(S10단계)되어 표시부에 표시된다.
이에 내시경 영상 병변 진단 시스템(200)의 관찰 영상 획득부(210)는 수신된 내시경 영상에서 관찰 영상을 획득(S20단계)할 수 있다.
관찰 영상 획득 방법은 도 7에 도시한 바와 같이 내시경 영상의 프레임들 중 프레임간 유사도가 정해진 임계치를 초과하는 영상 프레임, 예를 들면 도 7에 도시한 T1,T2,T3 시점의 영상 프레임들을 관찰 영상으로 획득할 수 있다.
또 다른 방법으로서, 관찰 영상 획득부(210)는 내시경 장비 조작자의 머신 프리즈 동작에 따라 발생되는 전기신호 입력시에 내시경 영상을 관찰 영상으로 캡쳐하여 획득할 수도 있다.
획득된 관찰 영상은 전처리부(220)에 의해 전처리되어 병변 진단부(230)로 전달된다. 병변을 진단하기 위해 불필요한 영역과 객체를 제거하기 위한 전처리부(220)는 진단 영상의 종류(위 내시경, 소장 내시경, 대장 내시경)에 따라 다르게 설계할 수 있다.
예를 들어 병변 진단에 불필요한 텍스트, 보조진단기구, 혈액, 관찰대상 외의 장기에 대한 영상 등을 필요에 따라 제거할 수도 있도록 전처리할 수 있다.
관찰 영상에 대해 전처리가 완료되어 병변 진단부(230)로 전달되면, 병변 진단부(230)는 사전 학습된 병변 진단용 인공 신경망 학습모델을 이용하여 전처리된 관찰 영상에 대해 병변의 정도를 진단(S40단계)한다.
이후 화면 표시 제어부(240)는 병변 진단부(230)로부터 전달된 병변 진단 결과를 표시 출력(S50단계)한다. 도 8a 내지 도 8c에 도시한 바와 같이 위 내시경 영상에 대한 병변 정도 진단은 정상(도 8a), LGD/HGD(도 8b), EGC/AGC(도 8c)로 분류할 수 있다.
만약 병변 진단용 인공 신경망 학습모델이 대장 내시경 영상에 대해 병변 정도를 진단하기 위해 사전 학습학 학습모델이라면, 병변 진단부(230)는 도 9a와 도 9b에 도시한 바와 같이 대장 내시경 영상에 대해 4종류의 병변 정도를 자동 진단하여 화면 표시할 수 있다.
이상에서 설명한 바와 같이, 본 발명의 제1실시예에 따른 내시경 영상 병변 진단 시스템(200)은 내시경 장비(100)에서 머신 프리즈된 상태 혹은 머신 프리즈된 것과 같은 상태의 영상을 자동 인식하여 이를 관찰 영상으로 획득하여 병변을 진단할 수 있는 장점이 있으며, 더 나아가 획득된 관찰 영상, 즉 내시경 장비(100)에서 프리즈된 영상에 대해 사전 학습된 병변 진단용 인공 신경망 학습모델을 이용하여 병변의 정도를 자동 진단하여 그 결과를 표시하기 때문에, 전문의의 경험과 능력, 숙련도에 상관없이 객관적이고도 신뢰성 높은 진단 결과를 얻을 수 있는 장점이 있다.
또한 상술한 제1실시예에 따른 내시경 영상 병변 진단 시스템(200)은 위 내시경 영상, 대장 내시경 영상, 소장 내시경 영상을 관찰 영상으로 획득하여 병변 정도를 자동 진단할 수 있도록 병변 진단부(230)를 구축할 수 있기 때문에, 하나의 시스템 구축만으로도 동작모드(위 내시경 진단모드,.., 내장 내시경 진단모드로 설정)에 따라 위 내시경, 대장 내시경, 소장 내시경에 대한 병변 정도를 자동 진단할 수 있는 편리함이 있다.
이하 도 3에 도시한 본 발명의 제2실시예에 따른 내시경 영상 병변 진단 시스템(200)의 동작을 부연 설명하기로 한다.
내시경 영상에 대해 실시간 병변 영역을 검출하기에 앞서 도 3에 도시한 내시경 영상 병변 진단 시스템(200)은 학습모드를 통해 병변 영역 검출용 인공 신경망 학습모델을 학습시켜야 한다.
예를 들어 위 내시경 영상에 대해 전문의는 병변 영역을 마킹한다. 이와 같이 병변 영역이 마킹된 다수의 내시경 영상 프레임들은 전문의 명령에 따라 심층 신경망 구조를 갖는 병변 영역 검출용 인공 신경망 학습모델로 전달된다.
이에 병변 영역 검출용 인공 신경망 학습모델은 병변 영역 마킹된 영상의 특징들을 학습하고, 테스트 및 검증 단계를 거쳐 위 내시경 영상에 대해 병변 영역을 검출하기 위한 모델의 학습을 종료한다.
이와 같이 병변 영역 검출용 인공 신경망 학습모델의 학습이 이루어지면 이러한 학습모델에 기반하여 위 내시경 영상에 대한 병변 영역을 자동 검출할 수 있다.
우선 내시경을 통해 얻어지는 위 내시경 영상은 내시경 장비(100)의 표시부에 표시됨은 물론 내시경 영상 병변 진단 시스템(200)이 설치된 전문의 PC에 실시간 수신되어 표시부에 표시된다.
이에 내시경 영상 병변 진단 시스템(200)의 전처리부(215)는 수신된 위 내시경 영상을 전처리한다. 전처리부(215)는 앞서 설명하였듯이 병변 영역을 검출하기 위해 불필요한 영역과 객체, 예를 들면 텍스트, 보조진단기구, 혈액, 관찰대상 외의 장기에 대한 영상 등을 필요에 따라 제거할 수도 있도록 전처리한다.
전처리된 위 내시경 영상은 병변 영역 검출부(225)로 전달되고, 병변 영역 검출부(225)는 사전 학습된 실시간 병변 영역 검출용 인공 신경망 학습모델을 이용하여 상기 전처리된 위 내시경 영상 프레임에서 병변 영역을 실시간 검출한다. 병변 영역이 검출되면 병변 영역 검출부(225)는 병변 영역을 표시하기 위한 좌표 정보를 화면 표시 제어부(235)로 전달한다. 이에 화면 표시 제어부(235)는 도 10에 도시한 바와 같이 병변 영역(네모 박스)이 마킹된 위 내시경 영상 프레임을 표시 출력한다.
즉, 본 발명의 제2실시예에 따른 내시경 영상 병변 진단 시스템(200)은 위 내시경 영상에 대해 병변 영역이 실시간 검출되면 그 병변 영역이 마킹(혹은 알람 동시 출력)된 위 내시경 영상을 자동 표시해 줌으로써, 전문의와 같은 진단자는 병변 영역이 마킹된 영상 프레임을 집중 관찰하여 병변 정도를 추가 진단하거나, 병변 영역이 마킹된 영상이 얻어진 주변의 영상을 확인하기 위해 내시경의 위치를 재조정할 수 있다.
이상에서 언급한 병변 영역 검출부(225) 역시 위 내시경 영상, 소장 내시경 영상, 대장 내시경 영상 중 하나 이상의 내시경 영상 각각에 대해 병변 영역을 검출하기 위해 사전 학습된 하나 이상의 병변 영역 검출용 인공 신경망 학습모델을 포함함으로써, 하나의 시스템 구축만으로도 동작모드(위 내시경 진단모드,.., 내장 내시경 진단모드로 설정)에 따라 위 내시경, 대장 내시경, 소장 내시경에 대한 병변 영역을 자동 검출하여 표시할 수 있는 장점이 있다.
이하 도 4에 도시한 본 발명의 제3실시예에 따른 내시경 영상 병변 진단 시스템(200)의 동작을 도 6을 참조하여 부연 설명하기로 한다.
우선 내시경 영상에 대해 실시간 병변 영역을 검출하기에 앞서 도 4에 도시한 내시경 영상 병변 진단 시스템(200)은 학습모드를 통해 병변 영역 검출용 인공 신경망 학습모델을 학습시켜야 한다. 이러한 병변 영역 검출용 인공 신경망 학습모델의 학습 과정은 앞서 설명하였기에 이하 생략하기로 한다.
병변 영역 검출용 인공 신경망 학습모델의 학습과 더불어 제3실시예에 따른 내시경 영상 병변 진단 시스템(200)은 병변 정도를 진단하기 위한 병변 진단용 인공 신경망 학습모델을 학습시켜야 한다. 이러한 병변 진단용 인공 신경망 학습모델의 학습 과정 역시 도 5에서 이미 설명하였기에 이하 생략하기로 한다.
병변 영역 검출용 인공 신경망 학습모델과 병변 진단용 인공 신경망 학습모델의 학습이 이루어지면 이러한 학습모델들에 기반하여 위 내시경, 대장 내시경, 소장 내시경 영상에 대한 병변 영역 및 병변 정도를 자동 검출할 수 있다.
도 6을 참조하면, 우선 내시경을 통해 얻어지는 위 내시경 영상은 내시경 장비(100)의 표시부에 표시됨은 물론 내시경 영상 병변 진단 시스템(200)이 설치된 전문의 PC에 실시간 수신(S110단계)되어 표시부에 표시된다.
이에 내시경 영상 병변 진단 시스템(200)의 전처리부(250)는 수신된 위 내시경 영상을 전처리한다. 전처리부(250)는 앞서 설명하였듯이 병변 영역을 검출하기 위해 불필요한 영역과 객체, 예를 들면 텍스트, 보조진단기구, 혈액, 관찰대상 외의 장기에 대한 영상 등을 필요에 따라 제거할 수도 있도록 전처리한다.
전처리된 위 내시경 영상은 병변 영역 검출부(255)로 전달되고, 병변 영역 검출부(255)는 사전 학습된 실시간 병변 영역 검출용 인공 신경망 학습모델을 이용하여 상기 전처리된 위 내시경 영상 프레임에서 병변 영역을 실시간 검출(S120단계)한다. 병변 영역이 검출되면 병변 영역 검출부(255)는 병변 영역을 표시하기 위한 좌표 정보를 화면 표시 제어부(270)로 전달하고, 검출된 병변 영역 영상을 병변 진단부(260)로 전달한다.
병변 진단부(260)는 사전 학습된 병변 진단용 인공 신경망 학습모델을 이용하여 검출된 병변 영역에 대해 병변의 정도를 진단(S130단계)한다.
이후 화면 표시 제어부(270)는 병변 진단부(260)로부터 전달된 병변 진단 결과를 표시 출력(S140단계)한다.
이로써 표시부에는 도 10 혹은 도 11과 같이 내시경 영상에 대해 검출된 병변 영역이 마킹되어 표시되거나 병변 정도가 함께 표시될 수 있으며, 진단된 병변 정도 가능성이 함께 표시될 수 있다.
본 발명의 제3실시예에 따른 내시경 영상 병변 진단 시스템(200) 역시 내시경 영상에 대해 병변 영역을 실시간 자동 검출하고, 그 검출된 병변 영역에 대해 병변 정도를 자동 진단해 줌으로써, 전문의의 경험과 능력, 숙련도에 상관없이 객관적이고도 신뢰성 높은 진단 결과를 얻을 수 있는 장점이 있다.
또한 본 발명은 위 내시경 영상, 소장 내시경 영상, 대장 내시경 영상 중 하나 이상의 내시경 영상 각각에 대해 병변 영역을 검출하기 위해 사전 학습된 하나 이상의 병변 영역 검출용 인공 신경망 학습모델과 병변 진단용 인공 신경망 학습모델을 포함함으로써, 하나의 시스템 구축만으로도 동작모드(위 내시경 진단모드,.., 내장 내시경 진단모드로 설정)에 따라 위 내시경, 대장 내시경, 소장 내시경에 대한 병변 영역을 자동 검출하여 병변 정도를 자동 진단할 수 있는 장점이 있다.
한편 위 실시예에서는 내시경 영상 병변 진단 시스템(200)을 전문의의 PC에 설치하여 내시경 영상에 대한 병변을 검출하거나 병변 정도를 진단하는 시스템에 대하여 설명하였으나, 상술한 내시경 영상 병변 진단 시스템(200)을 내시경 장비(100)에 설치하거나 내시경 장비(100)의 메인 프로세서에서 실행되도록 임베디드 시스템으로 구현할 수도 있다.
예를 들어, 인체 내에 삽입되는 삽입부와 그 삽입부 내에 위치하여 인체로부터 반사되어 도달한 빛을 센싱하여 내시경 영상신호를 생성하는 이미지 센싱부를 포함하는 내시경과, 상기 내시경에 의해 촬상된 내시경 영상신호를 표시 가능한 내시경 영상으로 처리하는 이미지 신호 처리부와, 상기 내시경 영상을 표시하는 표시부를 포함하는 내시경 영상 병변 진단 시스템(내시경 장비로 이해하는 것이 바람직함)에 도 2에 도시한 바와 같이,
상기 내시경 영상으로부터 관찰 영상을 획득하기 위한 관찰 영상 획득부(210)와,
획득된 관찰 영상을 전처리하기 위한 전처리부(220)와,
사전 학습된 병변 진단용 인공 신경망 학습모델을 이용하여 상기 전처리된 관찰 영상에 대해 병변의 정도를 진단하는 병변 진단부(230)와,
병변 진단 결과를 내시경 영상과 함께 표시 출력하는 화면 표시 제어부(240)를 더 포함하여 하나의 내시경 장비(100)를 구축할 수도 있다.
또한 인체 내에 삽입되는 삽입부와 그 삽입부 내에 위치하여 인체로부터 반사되어 도달한 빛을 센싱하여 내시경 영상신호를 생성하는 이미지 센싱부를 포함하는 내시경과, 상기 내시경에 의해 촬상된 내시경 영상신호를 표시 가능한 내시경 영상으로 처리하는 이미지 신호 처리부와, 상기 내시경 영상을 표시하는 표시부를 포함하는 내시경 영상 병변 진단 시스템에 도 4에 도시한 바와 같이,
상기 내시경 영상을 전처리하기 위한 전처리부(250)와,
사전 학습된 실시간 병변 영역 검출용 인공 신경망 학습모델을 이용하여 상기 전처리된 내시경 영상 프레임에서 병변 영역을 실시간 검출하는 병변 영역 검출부(255)와,
사전 학습된 병변 진단용 인공 신경망 학습모델을 이용하여 상기 검출된 병변 영역에 대해 병변의 정도를 진단하는 병변 진단부(260)와,
검출된 병변 영역과 병변 진단 결과를 표시 출력하는 화면 표시 제어부(270)를 포함하여 하나의 내시경 장비(100)를 구축할 수도 있다.
참고적으로, 본 발명의 실시예에 따른 내시경 영상 병변 진단 시스템(200)의 병변 진단부(230)는 동일 병변에 여러 장의 캡쳐 영상이 획득되었을 경우 캡쳐 영상 당 진단을 내려줄 수도 있지만, 평균치를 이용해 진단을 내리는 것이 가장 바람직하며, 가장 중증을 기반으로 진단을 내릴 수도 있고, 빈도수를 고려하여 진단을 내릴 수 있도록 할 수도 있다.
위 실시예의 설명에 기초하여 해당 기술분야의 통상의 기술자는, 본 발명이 소프트웨어 및 하드웨어의 결합을 통하여 달성되거나 하드웨어만으로 달성될 수 있다는 점을 명확하게 이해할 수 있다. 본 발명의 기술적 해법의 대상물 또는 선행 기술들에 기여하는 부분들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 기계 판독 가능한 기록 매체에 기록될 수 있다. 상기 기계 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 기계 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. 상기 하드웨어 장치는 프로그램 명령어를 저장하기 위한 ROM/RAM 등과 같은 메모리와 결합되고 상기 메모리에 저장된 명령어들을 실행하도록 구성되는 CPU나 GPU와 같은 프로세서를 포함할 수 있으며, 외부 장치와 신호를 주고 받을 수 있는 통신부를 포함할 수 있다. 덧붙여, 상기 하드웨어 장치는 개발자들에 의하여 작성된 명령어들을 전달받기 위한 키보드, 마우스, 기타 외부 입력장치를 포함할 수 있다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 사람이라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다. 따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (6)

  1. 내시경 장비와 연결되는 컴퓨터 시스템에 설치되어 실행 가능한 내시경 영상 병변 진단 시스템에 있어서,
    상기 내시경 장비로부터 입력되는 내시경 영상의 프레임들 중 정해진 수의 인접 프레임간 유사도가 정해진 임계치를 초과하는 영상 프레임들을 관찰 영상으로 획득하기 위한 관찰 영상 획득부와;
    획득된 관찰 영상에서 혈액, 텍스트, 조직검사기구와 같은 노이즈를 제거하기 위한 전처리부와;
    사전 학습된 병변 진단용 인공 신경망 학습모델을 이용하여 상기 노이즈 제거된 관찰 영상에 대해 병변의 정도를 진단하는 병변 진단부와;
    병변 진단 결과를 표시 출력하는 화면 표시 제어부;를 포함함을 특징으로 하는 내시경 영상 병변 진단 시스템.
  2. 청구항 1에 있어서, 상기 병변 진단용 인공 신경망 학습모델은 입력층과 완전 연결층 사이에 컨벌루션층과 풀링층이 반복되는 네트워크 구조를 가지되,
    노이즈 완화를 위해 상기 풀링층과 반복되는 컨벌루션층 중 어느 하나의 컨벌루션층에서 컨벌루션 연산과 디컨벌루션 연산을 각각 병렬 처리하는 일군의 컨벌루션층과 일군의 디컨벌루션층을 포함하고, 상기 일군의 컨벌루션층과 디컨벌루션층을 각각 통과한 특성맵들을 합쳐 상기 완전 연결층으로 전달하는 합산층을 더 포함하는 네트워크 구조를 가짐을 특징으로 하는 내시경 영상 병변 진단 시스템.
  3. 청구항 1에 있어서, 상기 병변 진단부는,
    대장 내시경 영상에 대해 병변의 정도를 진단하기 위해 사전 학습된 병변 진단용 인공 신경망 학습모델을 포함함을 특징으로 하는 내시경 영상 병변 진단 시스템.
  4. 청구항 3에 있어서, 상기 병변 진단부는,
    사전 학습된 상기 병변 진단용 인공 신경망 학습모델을 이용하여 상기 노이즈 제거된 관찰 영상에서 병변 영역을 검출한 후 그 검출된 병변 영역에 대해 병변의 정도를 진단함을 특징으로 하는 내시경 영상 병변 진단 시스템.
  5. 인체 내에 삽입되는 삽입부와 그 삽입부 내에 위치하여 인체로부터 반사되어 도달한 빛을 센싱하여 내시경 영상신호를 생성하는 이미지 센싱부를 포함하는 내시경과, 상기 내시경에 의해 촬상된 내시경 영상신호를 표시 가능한 내시경 영상으로 처리하는 이미지 신호 처리부와, 상기 내시경 영상을 표시하는 표시부를 포함하는 내시경 영상 병변 진단 시스템에 있어서,
    상기 내시경 영상의 프레임들 중 정해진 수의 인접 프레임간 유사도가 정해진 임계치를 초과하는 영상 프레임들을 관찰 영상으로 획득하기 위한 관찰 영상 획득부와;
    획득된 관찰 영상에서 혈액, 텍스트, 조직검사기구와 같은 노이즈를 제거하기 위한 전처리부와;
    사전 학습된 병변 진단용 인공 신경망 학습모델을 이용하여 상기 노이즈 제거된 관찰 영상에 대해 병변의 정도를 진단하는 병변 진단부와;
    병변 진단 결과를 내시경영상과 함께 표시 출력하는 화면 표시 제어부;를 포함함을 특징으로 하는 내시경 영상 병변 진단 시스템.
  6. 청구항 5에 있어서, 상기 병변 진단부는,
    대장 내시경 영상에 대해 병변의 정도를 진단하기 위해 사전 학습된 병변 진단용 인공 신경망 학습모델을 포함함을 특징으로 하는 내시경 영상 병변 진단 시스템.
KR1020210158406A 2020-11-25 2021-11-17 내시경 영상 병변 진단 시스템 KR102713332B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210158406A KR102713332B1 (ko) 2020-11-25 2021-11-17 내시경 영상 병변 진단 시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200159910 2020-11-25
KR1020210158406A KR102713332B1 (ko) 2020-11-25 2021-11-17 내시경 영상 병변 진단 시스템

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020200159910 Division 2020-11-25 2020-11-25

Publications (2)

Publication Number Publication Date
KR20220072761A true KR20220072761A (ko) 2022-06-02
KR102713332B1 KR102713332B1 (ko) 2024-10-08

Family

ID=81756052

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210158406A KR102713332B1 (ko) 2020-11-25 2021-11-17 내시경 영상 병변 진단 시스템

Country Status (3)

Country Link
US (1) US20240016366A1 (ko)
KR (1) KR102713332B1 (ko)
WO (1) WO2022114357A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102525371B1 (ko) 2022-10-04 2023-04-25 에이트스튜디오 주식회사 진단 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200038121A (ko) 2018-10-02 2020-04-10 한림대학교 산학협력단 실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법
JP2020089712A (ja) * 2018-12-04 2020-06-11 Hoya株式会社 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム
KR20200070062A (ko) 2018-12-07 2020-06-17 주식회사 포인바이오닉스 인공신경망을 이용하여 캡슐형 내시경 영상에서 병변을 감지하는 시스템 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190090150A (ko) * 2018-01-24 2019-08-01 주식회사 인트로메딕 캡슐 내시경 영상의 서술자 생성 방법 및 장치, 서술자 기반 캡슐 내시경 영상 검색 방법 및 캡슐 내시경 모니터링 디바이스
KR102344041B1 (ko) * 2019-02-22 2021-12-29 가천대학교 산학협력단 병변 진단 시스템 및 방법
KR102259275B1 (ko) * 2019-03-13 2021-06-01 부산대학교 산학협력단 의료영상정보 딥러닝 기반의 동적 다차원 병변위치확인 방법 및 동적 다차원 병변위치확인 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200038121A (ko) 2018-10-02 2020-04-10 한림대학교 산학협력단 실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법
JP2020089712A (ja) * 2018-12-04 2020-06-11 Hoya株式会社 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム
KR20200070062A (ko) 2018-12-07 2020-06-17 주식회사 포인바이오닉스 인공신경망을 이용하여 캡슐형 내시경 영상에서 병변을 감지하는 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102525371B1 (ko) 2022-10-04 2023-04-25 에이트스튜디오 주식회사 진단 방법 및 장치

Also Published As

Publication number Publication date
WO2022114357A1 (ko) 2022-06-02
KR102713332B1 (ko) 2024-10-08
US20240016366A1 (en) 2024-01-18

Similar Documents

Publication Publication Date Title
EP1437083B1 (en) Endoscope insertion direction sensing method and endoscope insertion direction sensing apparatus
KR102185886B1 (ko) 인공지능을 이용한 대장 내시경 영상 분석 방법 및 장치
US20090079737A1 (en) Medical image processing apparatus and medical image processing method
US9521944B2 (en) Endoscope system for displaying an organ model image to which an endoscope image is pasted
KR20210063522A (ko) 딥러닝 학습을 이용한 내시경 영상으로부터 용종 진단 방법, 장치 및 프로그램
US20220409030A1 (en) Processing device, endoscope system, and method for processing captured image
JP7385731B2 (ja) 内視鏡システム、画像処理装置の作動方法及び内視鏡
JP2016539767A (ja) 内視鏡検査用装置
JP7189355B2 (ja) コンピュータプログラム、内視鏡用プロセッサ、及び情報処理方法
JP2018153346A (ja) 内視鏡位置特定装置、方法およびプログラム
KR102713332B1 (ko) 내시경 영상 병변 진단 시스템
US11812925B2 (en) Movement assistance system and movement assistance method for controlling output of position estimation result
US20240013389A1 (en) Medical information processing apparatus, endoscope system, medical information processing method, and medical information processing program
CN110236472A (zh) 基于视频的内窥镜检测系统及方法
KR102496672B1 (ko) 의료 영상 기반으로 내시경 장치를 제어하기 위한 방법, 장치 및 컴퓨터 프로그램
CN114451848B (zh) 内窥镜胶囊轨迹引导方法、装置及系统
WO2022224446A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
JP2019005038A (ja) 内視鏡システム
WO2024029502A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
KR102699583B1 (ko) 해부학적 구조물을 이용한 내시경 영상과 ct 영상 정합 방법 및 장치
KR20190046239A (ko) 모션 센서를 활용한 길이 측정 방법 및 장치
WO2023195103A1 (ja) 検査支援システムおよび検査支援方法
WO2023089716A1 (ja) 情報表示装置、情報表示方法、及び、記録媒体
KR20230163723A (ko) 내시경 검사 판독 보조 시스템
JP7389823B2 (ja) 画像処理装置、画像処理方法、及び、画像処理プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant