WO2022114357A1 - 영상 병변 진단 시스템 - Google Patents

영상 병변 진단 시스템 Download PDF

Info

Publication number
WO2022114357A1
WO2022114357A1 PCT/KR2020/018312 KR2020018312W WO2022114357A1 WO 2022114357 A1 WO2022114357 A1 WO 2022114357A1 KR 2020018312 W KR2020018312 W KR 2020018312W WO 2022114357 A1 WO2022114357 A1 WO 2022114357A1
Authority
WO
WIPO (PCT)
Prior art keywords
lesion
image
endoscopic
unit
neural network
Prior art date
Application number
PCT/KR2020/018312
Other languages
English (en)
French (fr)
Inventor
정재훈
Original Assignee
주식회사 아이도트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이도트 filed Critical 주식회사 아이도트
Priority to US18/038,649 priority Critical patent/US20240016366A1/en
Publication of WO2022114357A1 publication Critical patent/WO2022114357A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Definitions

  • the present invention relates to an imaging lesion diagnosis system, and more particularly, to an imaging lesion diagnosis system for diagnosing lesions on an endoscopic image.
  • An endoscope may be used to diagnose a condition inside the body or to detect a lesion.
  • an endoscopic examination method for acquiring an image of the inside of the body a method of photographing the inside by inserting a flexible tube with a camera into the digestive system through the mouth or anus of the patient is widely used.
  • Capsule-type endoscope is a pill-shaped microscopic endoscope with a diameter of about 9 to 11 mm and a length of about 24 mm to 26 mm. of the receiver, and the diagnostician performs a diagnosis on the internal state of the organs while observing the body image transmitted by the capsule endoscope through the display unit.
  • Patent Document 1 Republic of Korea Patent Publication No. 10-2020-0070062
  • Patent Document 2 Republic of Korea Patent Publication No. 10-2020-0038121
  • the present invention is an invention devised in response to the above-mentioned necessity, and a main object of the present invention is to provide an image lesion diagnosis system capable of automatically detecting and diagnosing lesions with respect to a photographed endoscopic image or an endoscopic image obtainable from an endoscope equipment.
  • an image lesion diagnosis system capable of automatically diagnosing a lesion by acquiring only an image frozen in an endoscope device.
  • Another object of the present invention is to provide an image lesion diagnosis system capable of automatically diagnosing a lesion by acquiring only an image frozen by an endoscopic device, as well as diagnosing a lesion by real-time detection of a lesion from an endoscopic image acquired from an endoscopic device. .
  • Another object of the present invention is to provide an image lesion diagnosis system capable of automatically diagnosing the presence or absence of a lesion on an endoscopic image, but diagnosing and displaying the degree of lesion and the depth of infiltration,
  • an image lesion diagnosis system constructed to diagnose lesions not only on the upper endoscopy image, but also on the small intestine endoscopy image and/or the colonoscopy image.
  • an observation image acquisition unit for acquiring an observation image from the input endoscopic image
  • a lesion diagnosis unit for diagnosing the degree of lesion with respect to the pre-processed observation image using the pre-trained artificial neural network learning model for lesion diagnosis
  • the observation image acquisition unit is characterized in that it acquires, as the observation image, image frames having a similarity between frames exceeding a predetermined threshold among the frames of the endoscopic image.
  • the observation image acquisition unit may capture and acquire the endoscopic image as an observation image when an electrical signal generated according to a machine freeze operation of an endoscope equipment operator is input.
  • a lesion region detector for real-time detection of a lesion region from the pre-processed endoscopic image frame using a pre-trained artificial neural network learning model for real-time lesion region detection
  • a screen display controller for displaying and outputting an endoscopic image frame in which the detected lesion region is marked.
  • the lesion area detection unit of the imaging lesion diagnosis system including such a configuration includes:
  • It is characterized in that it includes an artificial neural network learning model for detecting one or more lesion regions pre-trained in order to detect a lesion region for each of one or more endoscopic images of the upper endoscopy image, the small intestine endoscopy image, and the colonoscopy image.
  • a lesion region detector for real-time detection of a lesion region from the pre-processed endoscopic image frame using a pre-trained artificial neural network learning model for real-time lesion region detection
  • a lesion diagnosis unit for diagnosing a degree of a lesion with respect to the detected lesion region using a pre-trained artificial neural network learning model for lesion diagnosis
  • a screen display controller for displaying and outputting the detected lesion area and the lesion diagnosis result.
  • the image lesion diagnosis system has the advantage of automatically recognizing the machine-freeze image in the endoscope equipment and acquiring it as an observation image to diagnose the lesion,
  • the degree of lesion is automatically diagnosed and the result is displayed using the artificial neural network learning model for lesion diagnosis pre-learned on the acquired observation image, that is, the image frozen from the endoscope equipment, the experience, ability, and proficiency of the specialist Regardless, it has the advantage of obtaining objective and reliable diagnostic results.
  • the present invention provides an artificial neural network learning model for detecting one or more lesion regions and an artificial neural network learning model for lesion diagnosis, which have been pre-trained to detect a lesion region for each of one or more endoscopic images of an upper endoscopy image, a small intestine endoscopy image, and a colonoscopy image.
  • an artificial neural network learning model for detecting one or more lesion regions and an artificial neural network learning model for lesion diagnosis, which have been pre-trained to detect a lesion region for each of one or more endoscopic images of an upper endoscopy image, a small intestine endoscopy image, and a colonoscopy image.
  • the endoscope equipment By implementing the image lesion diagnosis system as an embedded system in the endoscope equipment, the endoscope equipment itself can automatically diagnose the lesion on the endoscopic image.
  • FIG. 1 is an exemplary diagram of a peripheral configuration of an imaging lesion diagnosis system according to an embodiment of the present invention
  • FIGS. 2 to 4 are diagrams illustrating the configuration of an imaging lesion diagnosis system according to an embodiment of the present invention.
  • FIG. 5 and 6 are exemplary flow diagrams of an imaging lesion diagnosis system according to an embodiment of the present invention.
  • FIG. 7 is a view for explaining acquisition of an observation image according to an embodiment of the present invention.
  • 8A to 9B are diagrams illustrating an endoscopic image lesion degree diagnosis according to an embodiment of the present invention.
  • FIG 10 and 11 are exemplary views of a lesion diagnosis screen according to an embodiment of the present invention.
  • FIG. 1 illustrates a peripheral configuration diagram of an imaging lesion diagnosis system 200 according to an embodiment of the present invention.
  • the imaging lesion diagnosis system 200 can be implemented as a single independent system, as well as a collection of program data ( application) can be implemented. In some cases, it may be implemented and executed in the form of an application program executable in the main processor (control unit) of the endoscope equipment.
  • FIG. 1 shows an imaging lesion diagnosis system 200 installed in a computer system of a specialist.
  • the imaging lesion diagnosis system 200 relates to a freeze image transmitted from the endoscopic equipment 100 according to an implementation method. Automatically diagnose and display the degree of lesion, detect and display the lesion area on the real-time endoscopic image, or detect and display the lesion area on the real-time endoscopic image and automatically diagnose the lesion level and/or depth of invasion for the detected lesion area to indicate
  • the endoscopy equipment 100 shown in FIG. 1 may be a gastroscopic equipment, a small intestine endoscopy equipment, or a colonoscopy equipment.
  • the endoscope equipment 100 displays the endoscope image obtained by the endoscope on the display unit.
  • the endoscope equipment 100 and the computer system in which the imaging lesion diagnosis system 200 is installed are interconnected through a cable and an image output terminal, so that the same endoscopic image displayed on the endoscope equipment 100 is displayed on the display unit of the specialist computer system. can be displayed.
  • the imaging lesion diagnosis system 200 can also automatically detect or diagnose the lesion area and the lesion degree with respect to one or more endoscopic images among a gastroscopic image, a small intestine endoscopy image, and a colonoscopy image according to the type of endoscope. have.
  • FIG. 2 to 4 each exemplify a configuration diagram of an imaging lesion diagnosis system according to an embodiment of the present invention.
  • Fig. 3 shows a system for automatically detecting and displaying a lesion region on a real-time endoscopic image
  • Fig. 4 shows a system for automatically detecting and displaying a lesion region on a real-time endoscopic image and displaying the lesion region on the detected lesion region. It shows a system for automatically diagnosing and displaying the degree of lesion and/or the depth of invasion.
  • the imaging lesion diagnosis system 200 includes:
  • An observation image acquisition unit 210 for acquiring an observation image from an endoscopic image input from the endoscope equipment 100;
  • a pre-processing unit 220 for pre-processing the obtained observation image and
  • a screen display control unit 240 for displaying and outputting a lesion diagnosis result.
  • the observation image acquisition unit 210 performs image frames T1, T2, and T3 in which the similarity between frames among frames of the endoscopic image exceeds a predetermined threshold (that is, recognized as machine freeze).
  • image frame is acquired (understood as capture) as an observation image.
  • the endoscope equipment 100 is machine frozen by a diagnostician who performs endoscopy diagnosis
  • the frozen endoscope image is displayed while being paused, so that the similarity between image frames at this time is very high.
  • the image lesion diagnosis system 100 may recognize that the endoscopic image has been frozen on the endoscope equipment 100 side and diagnose whether the image is a lesion.
  • the observation image acquisition unit 210 may capture and acquire an endoscope image as an observation image when an electrical signal generated according to the machine freeze operation of the operator of the endoscope equipment 100 is input.
  • the electrical signal is preferably understood as a detection signal that senses that the operator of the endoscope equipment 100 operates the equipment to freeze the endoscopic image (manipulation of the handle or footrest of the endoscope equipment).
  • the preprocessor 220 removes unnecessary parts (noise) for diagnosing the lesion, for example, blood, text, and biopsy instruments from the frame-by-frame endoscopic image.
  • the pre-processing unit 220 may perform a pre-processing process of extracting a portion marked as a lesion area by a specialist, etc. and processing the edge portion to be smooth (smoothing) in parallel.
  • the lesion diagnosis unit 230 may detect a lesion region in the pre-processed observation image using a pre-trained artificial neural network learning model for lesion diagnosis and then diagnose the degree of lesion with respect to the detected lesion region.
  • the artificial neural network learning model for lesion diagnosis has a convolutional layer and a pooling layer repeated between the input layer and the fully connected layer as in the deep neural network learning model, which is one of the artificial neural networks. It may have a network structure, that is, convolution and deconvolution operations in any one of the pooling layer and the repeated convolutional layer for noise mitigation, that is, published in Application No. 10-2020-0007623 previously filed by the applicant of the present application.
  • a summing layer feature maps that includes a group of convolutional layers and a group of deconvolution layers that process add layer may be included.
  • the artificial neural network learning model for lesion diagnosis is a model constructed by pre-learning endoscopic image data marked with a lesion area and/or lesion degree by a specialist through a deep learning algorithm. , or after detecting the lesion area from the preprocessed observation image, the degree of the lesion is diagnosed with respect to the detected lesion area.
  • a pair (x,y) of an input (x) and one output (y) corresponding thereto is learned.
  • the input may be an image
  • the output may be, for example, the extent of the lesion.
  • each artificial neural network learning model used in an embodiment of the present invention to build a robust learning model may learn data-enhanced learning data.
  • Types of data augmentation are left/right inversion, up/down inversion, rotation (-10 ⁇ +10 ⁇ ), and blur. It can be set to 2:2.
  • each artificial neural network learning model used in the embodiment of the present invention may use a modified DenseNet based Convolutional Neural Network to which hyper-parameter tuning is applied.
  • the lesion diagnosis unit 230 may include an artificial neural network learning model for diagnosing one or more lesions pre-trained in order to diagnose the degree of a lesion for each of one or more endoscopic images of an upper endoscopy image, a small intestine endoscopy image, and a colonoscopy image.
  • the image lesion diagnosis system 200 may diagnose a lesion on a gastroscopic image or a lesion on a colonoscopy image. In some cases, the lesion may be further diagnosed on the small intestine endoscopic image.
  • the artificial neural network learning model for lesion diagnosis is a diagnostic model for gastroscopic images
  • the lesion degree is normal, low grade dysplasia (LGD), high grade dysplasia (HGD), and early gastric cancer (Early).
  • LGD low grade dysplasia
  • HGD high grade dysplasia
  • Early early gastric cancer
  • Gastric Cancer (EGC) and Advanced Gastric Cancer (AGC) can be diagnosed, and if it is a diagnostic model for small intestine endoscopic imaging, bleeding, ulceration, vasodilation, and cancer tumors can be diagnosed. If it is a model, it is pre-trained to diagnose non-neoplasm, TA (Tubular Adenoma), HGD, and cancer.
  • FIG. 3 The imaging lesion diagnosis system 200 shown in FIG. 3 will be described in detail with reference to FIG. 3 .
  • the imaging lesion diagnosis system 200 shown in FIG. 3 will be described in detail with reference to FIG. 3 .
  • a screen display controller 235 for displaying and outputting an endoscopic image frame in which the detected lesion region is marked.
  • the preprocessor 235 may recognize and remove blood, text, and biopsy instruments from the endoscopic image in frame units, and the lesion region detection unit 225 also includes at least one of an upper endoscopy image, a small intestine endoscopy image, and a colonoscopy image. It includes an artificial neural network learning model for detecting one or more lesion regions pre-trained to detect a lesion region for each endoscopic image.
  • the artificial neural network learning model for detecting the lesion region is also a model in which learning data is previously learned using a deep learning algorithm called a convolutional neural network (CNN), and the learning data is an endoscopic image in which the lesion region is marked by a specialist.
  • CNN convolutional neural network
  • the image lesion diagnosis system 200 shown in FIG. 3 is a system that automatically detects a lesion region with respect to an endoscopic image frame input in real time, and displays an endoscopic image frame in which the detected lesion region is marked on the display unit.
  • the image frame marked with the lesion region is displayed on the display unit, so that the diagnostician can focus and observe the image while displaying the image frame marked with the lesion region.
  • the endoscopic image frames marked with the lesion region may be separately stored and managed in the internal memory of the computer system.
  • an imaging lesion diagnosis system 200 As shown in FIG. 4, an imaging lesion diagnosis system 200 according to another embodiment of the present invention is provided.
  • a pre-processing unit 250 for pre-processing the input endoscopic image and
  • a lesion region detection unit 255 for real-time detection of a lesion region from the preprocessed endoscopic image frame using a pre-trained artificial neural network learning model for real-time lesion region detection;
  • a lesion diagnosis unit 260 for diagnosing the degree of a lesion with respect to the detected lesion region using a pre-trained artificial neural network learning model for lesion diagnosis;
  • a screen display controller 270 for displaying and outputting the detected lesion area and lesion diagnosis result.
  • the preprocessor 250 recognizes and removes blood, text, and biopsy instruments from the endoscopic image frame.
  • the lesion region detection unit 255 includes an artificial neural network learning model for detecting one or more lesion regions pre-trained to detect the lesion region for each of one or more endoscopic images of the upper endoscopy image, the small intestine endoscopy image, and the colonoscopy image. can do,
  • the lesion diagnosis unit 260 may also include an artificial neural network learning model for diagnosing one or more lesions pre-trained for diagnosing the degree of a lesion with respect to each of one or more endoscopic images of an upper endoscopy image, a small intestine endoscopy image, and a colonoscopy image. .
  • Each of the imaging lesion diagnosis systems 200 described above for each embodiment may further include a technical configuration for notifying a diagnoser or a specialist through an alarm when a lesion region is detected.
  • the lesion diagnosis unit may diagnose and display the infiltration depth.
  • FIG. 15 is a flowchart illustrating an operation of the imaging lesion diagnosis system 200 according to an embodiment of the present invention
  • FIG. 7 is a view for explaining observation image acquisition according to an embodiment of the present invention
  • FIGS. shows an endoscopic image lesion level diagnosis screen according to an embodiment of the present invention
  • FIGS. 10 and 11 are diagrams illustrating another lesion diagnosis screen according to an embodiment of the present invention.
  • the image lesion diagnosis system 200 Before diagnosing a lesion on an endoscopic image, the image lesion diagnosis system 200 must learn an artificial neural network learning model for lesion diagnosis through a learning mode.
  • the specialist marks the lesion area and inputs the lesion degree information.
  • a plurality of endoscopic image frames in which the lesion area and lesion degree information are marked or input are transmitted to an artificial neural network learning model for lesion diagnosis having a deep neural network structure according to a specialist's command.
  • the artificial neural network learning model for lesion diagnosis learns the characteristics of the lesion area marked image from the learning data, that is, the upper endoscopy image, and goes through testing and verification steps to obtain any one of Normal/LGD/HGD/EGC/AGC for the upper endoscopy image. Terminate the training of the model to predict as the degree of lesion.
  • the learning model of the artificial neural network for lesion diagnosis is performed as described above, the degree of lesion on the upper endoscopy image can be diagnosed based on the learning model.
  • the upper endoscopy image obtained through the endoscope is displayed on the display unit of the endoscope equipment 100 , as well as being received (step S10 ) on the PC of the specialist in which the image lesion diagnosis system 200 is installed and displayed on the display unit.
  • the observation image acquisition unit 210 of the imaging lesion diagnosis system 200 may acquire an observation image from the received endoscopic image (step S20).
  • observation image acquisition method as shown in FIG. 7 , image frames in which the degree of similarity between frames among frames of the endoscopic image exceeds a predetermined threshold, for example, image frames at time points T1, T2, and T3 shown in FIG. 7 are used as observation images.
  • a predetermined threshold for example, image frames at time points T1, T2, and T3 shown in FIG. 7
  • the observation image acquisition unit 210 may capture and acquire an endoscope image as an observation image when an electrical signal generated according to a machine freeze operation of an endoscope equipment operator is input.
  • the acquired observation image is pre-processed by the pre-processing unit 220 and transmitted to the lesion diagnosis unit 230 .
  • the preprocessor 220 for removing unnecessary regions and objects for diagnosing a lesion may be designed differently according to types of diagnostic images (gastric endoscopy, small intestine endoscopy, colonoscopy endoscope).
  • the lesion diagnosis unit 230 diagnoses the degree of the lesion on the preprocessed observation image using the pre-trained artificial neural network learning model for lesion diagnosis (S40). step).
  • the screen display control unit 240 displays and outputs the lesion diagnosis result transmitted from the lesion diagnosis unit 230 (step S50).
  • the diagnosis of lesion level on the gastroendoscopic image can be classified into normal ( FIG. 8A ), LGD/HGD ( FIG. 8B ), and EGC/AGC ( FIG. 8C ).
  • the lesion diagnosis unit 230 provides four types for the colonoscopy image as shown in FIGS. 9A and 9B. The degree of lesion can be automatically diagnosed and displayed on the screen.
  • the image lesion diagnosis system 200 automatically recognizes the machine-freeze image in the endoscopic equipment 100 and acquires it as an observation image to diagnose the lesion. Furthermore, since the degree of the lesion is automatically diagnosed and the result is displayed using the artificial neural network learning model for lesion diagnosis pre-learned for the acquired observation image, that is, the image frozen in the endoscopy equipment 100, the doctor It has the advantage of being able to obtain objective and reliable diagnostic results regardless of experience, ability, or skill level.
  • the image lesion diagnosis system 200 builds the lesion diagnosis unit 230 to automatically diagnose the degree of lesion by acquiring the upper endoscopy image, the colonoscopy image, and the small intestine endoscopy image as observation images.
  • the image lesion diagnosis system 200 shown in FIG. 3 Prior to detecting the real-time lesion region with respect to the endoscopic image, the image lesion diagnosis system 200 shown in FIG. 3 must learn the artificial neural network learning model for lesion region detection through the learning mode.
  • the specialist marks the lesion area.
  • a plurality of endoscopic image frames in which the lesion area is marked as described above are transmitted to an artificial neural network learning model for detecting a lesion area having a deep neural network structure according to a command of a specialist.
  • the artificial neural network learning model for detecting the lesion region learns the characteristics of the image marked with the lesion region, and ends the learning of the model for detecting the lesion region in the upper endoscopic image through the testing and verification steps.
  • the lesion region for the upper endoscopy image can be automatically detected based on the learning model.
  • the upper endoscopy image obtained through the endoscope is displayed on the display unit of the endoscope equipment 100 , as well as being received in real time by the PC of the specialist in which the imaging lesion diagnosis system 200 is installed and displayed on the display unit.
  • the preprocessor 215 of the image lesion diagnosis system 200 preprocesses the received gastroscopic image.
  • the pre-processing unit 215 pre-processes unnecessary areas and objects to detect the lesion area, for example, text, auxiliary diagnostic tools, blood, and images of organs other than the object to be observed, if necessary.
  • the pre-processed upper endoscopic image is transmitted to the lesion region detector 225, and the lesion region detector 225 detects the lesion region in the pre-processed upper endoscopic image frame in real time using the pre-trained artificial neural network learning model for real-time lesion region detection. detect When the lesion region is detected, the lesion region detector 225 transmits coordinate information for displaying the lesion region to the screen display controller 235 . Accordingly, the screen display controller 235 displays and outputs the upper endoscope image frame in which the lesion area (square box) is marked as shown in FIG. 10 .
  • the image lesion diagnosis system 200 automatically displays the gastroscopic image in which the lesion area is marked (or simultaneously output with an alarm) when the lesion area is detected in the gastroscopic image in real time.
  • a diagnostician such as a specialist, may further diagnose the degree of lesion by intensively observing the image frame in which the lesion region is marked, or readjust the position of the endoscope in order to check an image surrounding the image in which the lesion region is marked.
  • the above-mentioned lesion region detection unit 225 also uses an artificial neural network learning model for detecting one or more lesion regions pre-trained to detect the lesion region for each of one or more endoscopic images of the upper endoscopy image, the small intestine endoscopy image, and the colonoscopy image.
  • an artificial neural network learning model for detecting one or more lesion regions pre-trained to detect the lesion region for each of one or more endoscopic images of the upper endoscopy image, the small intestine endoscopy image, and the colonoscopy image.
  • the image lesion diagnosis system 200 shown in FIG. 4 must learn an artificial neural network learning model for lesion region detection through a learning mode. Since the learning process of the artificial neural network learning model for detecting the lesion region has been described above, it will be omitted below.
  • the image lesion diagnosis system 200 In addition to learning the artificial neural network learning model for lesion region detection, the image lesion diagnosis system 200 according to the third embodiment must learn the artificial neural network learning model for lesion diagnosis for diagnosing the degree of lesion. Since the learning process of the artificial neural network learning model for lesion diagnosis has already been described in FIG. 5 , it will be omitted below.
  • the lesion region and the lesion degree can be automatically detected for upper endoscopy, colonoscopy, and small intestine endoscopy images based on these learning models.
  • the upper endoscopy image obtained through the endoscope is displayed on the display unit of the endoscope equipment 100, as well as being received (step S110) in real time by the PC of the specialist in which the image lesion diagnosis system 200 is installed and displayed on the display unit. .
  • the preprocessor 250 of the image lesion diagnosis system 200 preprocesses the received gastroscopic image.
  • the pre-processing unit 250 pre-processes unnecessary areas and objects to detect the lesion area, for example, text, auxiliary diagnostic tools, blood, images of organs other than the observation target, if necessary.
  • the pre-processed upper endoscopic image is transmitted to the lesion region detector 255, and the lesion region detector 255 detects the lesion region in the pre-processed upper endoscopic image frame in real time using the pre-trained artificial neural network learning model for real-time lesion region detection. detection (step S120).
  • the lesion region detector 255 transmits coordinate information for displaying the lesion region to the screen display controller 270 , and transmits the detected lesion region image to the lesion diagnosis unit 260 .
  • the lesion diagnosis unit 260 diagnoses the degree of the lesion with respect to the detected lesion area using the pre-learned artificial neural network learning model for lesion diagnosis (step S130).
  • the screen display control unit 270 displays and outputs the lesion diagnosis result transmitted from the lesion diagnosis unit 260 (step S140).
  • the lesion area detected with respect to the endoscopic image may be marked and displayed on the display unit as shown in FIG. 10 or 11 , or the degree of the lesion may be displayed together, and the possibility of the degree of the diagnosed lesion may be displayed together.
  • the imaging lesion diagnosis system 200 also automatically detects the lesion area in real-time with respect to the endoscopic image and automatically diagnoses the degree of lesion with respect to the detected lesion area, so that the expert's experience and ability, There is an advantage in that objective and reliable diagnostic results can be obtained regardless of skill level.
  • the present invention provides an artificial neural network learning model for detecting one or more lesion regions and an artificial neural network learning model for lesion diagnosis, pre-trained in order to detect a lesion region for each of one or more endoscopic images of a gastroscopic image, a small intestine endoscopy image, and a colonoscopy image.
  • an artificial neural network learning model for detecting one or more lesion regions and an artificial neural network learning model for lesion diagnosis, pre-trained in order to detect a lesion region for each of one or more endoscopic images of a gastroscopic image, a small intestine endoscopy image, and a colonoscopy image.
  • a system for detecting a lesion on an endoscopic image or diagnosing a lesion degree by installing the imaging lesion diagnosis system 200 in a PC of a specialist has been described. It may be installed in 100 or implemented as an embedded system to be executed in the main processor of the endoscopic equipment 100 .
  • an endoscope including an insertion unit inserted into the human body and an image sensing unit positioned within the insertion unit to sense light reflected from the human body and arriving therein to generate an endoscopic image signal, and an endoscope image signal captured by the endoscope
  • an image lesion diagnosis system (preferably understood as endoscopic equipment) including an image signal processing unit that processes the endoscopic image as a displayable endoscopic image and a display unit that displays the endoscopic image
  • an observation image acquisition unit 210 for acquiring an observation image from the endoscopic image
  • a pre-processing unit 220 for pre-processing the obtained observation image and
  • One endoscope equipment 100 may be constructed by further including a screen display control unit 240 for displaying and outputting a lesion diagnosis result together with an endoscope image.
  • an endoscope including an insertion unit inserted into the human body and an image sensing unit positioned in the insertion unit to sense light reflected from the human body and arrive at the endoscope to generate an endoscopic image signal, and an endoscope image signal captured by the endoscope can be displayed
  • an image lesion diagnosis system including an image signal processing unit for processing an endoscopic image and a display unit for displaying the endoscopic image
  • a pre-processing unit 250 for pre-processing the endoscopic image
  • a lesion diagnosis unit 260 for diagnosing the degree of a lesion with respect to the detected lesion region using a pre-trained artificial neural network learning model for lesion diagnosis;
  • One endoscope device 100 may be constructed by including the screen display controller 270 for displaying and outputting the detected lesion area and the lesion diagnosis result.
  • the lesion diagnosis unit 230 of the imaging lesion diagnosis system 200 may provide a diagnosis per captured image when multiple captured images are acquired for the same lesion, but using the average value It is most desirable to make a diagnosis, and it may make a diagnosis based on the most severe severity, or it may make a diagnosis based on frequency.
  • the object of the technical solution of the present invention or parts contributing to the prior art may be implemented in the form of program instructions that can be executed through various computer components and recorded in a machine-readable recording medium.
  • the machine-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded in the machine-readable recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware device may be configured to operate as one or more software modules for carrying out the processing according to the present invention, and vice versa.
  • the hardware device may include a processor, such as a CPU or GPU, coupled with a memory such as ROM/RAM for storing program instructions and configured to execute instructions stored in the memory, and capable of sending and receiving signals to and from an external device It may include a communication unit.
  • the hardware device may include a keyboard, a mouse, and other external input devices for receiving commands written by developers.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 내시경 영상에 대해 병변을 진단하는 영상 병변 진단 시스템에 관한 것으로, 입력되는 내시경 영상으로부터 관찰 영상을 획득하기 위한 관찰 영상 획득부와; 획득된 관찰 영상을 전처리하기 위한 전처리부와; 사전 학습된 병변 진단용 인공 신경망 학습모델을 이용하여 상기 전처리된 관찰 영상에 대해 병변의 정도를 진단하는 병변 진단부와; 병변 진단 결과를 표시 출력하는 화면 표시 제어부;를 포함함을 특징으로 한다.

Description

영상 병변 진단 시스템
본 발명은 영상 병변 진단 시스템에 관한 것으로, 특히 내시경 영상에 대해 병변을 진단하는 영상 병변 진단 시스템에 관한 것이다.
신체 내부의 상태 진단이나 병변 감지를 위해 내시경이 사용될 수 있다. 신체 내부의 이미지를 획득하기 위한 내시경 검진 방법으로는 카메라가 부착된 연성의 관을 환자의 입이나 항문을 통해 소화기관 등으로 투입하여 내부를 촬영하는 방법이 많이 사용된다.
그러나 소장과 같이 좁고 길이가 길면서 복잡하게 구부러진 소화 기관의 내부 관찰에는 일반적인 내시경 검진 방법이 한계가 있기 때문에, 캡슐형 내시경이 개발되어 이용되고 있다. 캡슐형 내시경은 알약 모양의 직경 약 9~11mm, 길이 약 24mm~26mm의 초소형 내시경으로, 알약과 같이 환자가 삼키기만 하면 내시경의 카메라가 위, 소장, 대장과 같은 장기 내부의 이미지를 수집하면서 외부의 수신기로 전송하고, 진단자는 캡슐 내시경이 전송한 체내 이미지를 표시부를 통해 관찰하면서 장기들의 내부 상태에 대한 진단을 수행한다.
이와 같이 내시경 영상에 대한 병변 진단은 보통 전문의 육안 관찰에 의해 이루어지기 때문에 전문의의 경험과 능력, 숙련도에 따라 서로 다른 진단결과를 얻을 수 있다. 따라서 내시경 영상에 대하여 전문의의 경험과 능력, 숙련도에 상관없이 객관적이고도 신뢰성 높은 새로운 진단방법이 필요하다.
[선행기술문헌]
[특허문헌]
(특허문헌 1) 대한민국 공개특허공보 제10-2020-0070062호
(특허문헌 2) 대한민국 공개특허공보 제10-2020-0038121호
이에 본 발명은 상술한 필요성에 따라 창안한 발명으로서, 본 발명의 주요 목적은 촬영된 내시경 영상 혹은 내시경 장비에서 획득 가능한 내시경 영상에 대해 병변을 자동 검출하여 진단할 수 있는 영상 병변 진단 시스템을 제공함에 있으며,
더 나아가 본 발명의 또 다른 목적은 내시경 장비에서 프리즈(freeze)되는 영상만을 획득하여 병변을 자동 진단할 수 있는 영상 병변 진단 시스템을 제공함에 있다.
또한 본 발명의 다른 목적은 내시경 장비에서 프리즈되는 영상만을 획득하여 병변을 자동 진단함은 물론, 내시경 장비에서 획득되는 내시경 영상에서 병변을 실시간 검출하여 병변 진단할 수 있는 영상 병변 진단 시스템을 제공함에 있다.
더 나아가 본 발명의 또 다른 목적은 내시경 영상에 대해 병변 유무를 자동 진단하되, 병변의 정도와 침윤의 깊이를 진단하여 표시해 줄 수 있는 영상 병변 진단 시스템을 제공함에 있으며,
더 나아가 위 내시경 영상뿐만 아니라, 소장 내시경 영상 및(혹은) 대장 내시경 영상에 대해서도 병변을 진단할 수 있도록 구축된 영상 병변 진단 시스템을 제공함에 있다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 영상 병변 진단 시스템은,
입력되는 내시경 영상으로부터 관찰 영상을 획득하기 위한 관찰 영상 획득부와;
획득된 관찰 영상을 전처리하기 위한 전처리부와;
사전 학습된 병변 진단용 인공 신경망 학습모델을 이용하여 상기 전처리된 관찰 영상에 대해 병변의 정도를 진단하는 병변 진단부와;
병변 진단 결과를 표시 출력하는 화면 표시 제어부;를 포함함을 특징으로 하며,
상기 관찰 영상 획득부는 상기 내시경 영상의 프레임들 중 프레임간 유사도가 정해진 임계치를 초과하는 영상 프레임들을 상기 관찰 영상으로 획득함을 특징으로 한다.
경우에 따라서는, 상기 관찰 영상 획득부는 내시경 장비 조작자의 머신 프리즈 동작에 따라 발생되는 전기신호 입력시에 상기 내시경 영상을 관찰 영상으로 캡쳐하여 획득할 수도 있다.
본 발명의 또 다른 실시예에 따른 영상 병변 진단 시스템은,
입력되는 내시경 영상을 전처리하기 위한 전처리부와;
사전 학습된 실시간 병변 영역 검출용 인공 신경망 학습모델을 이용하여 상기 전처리된 내시경 영상 프레임에서 병변 영역을 실시간 검출하는 병변 영역 검출부와;
검출된 병변 영역이 마킹된 내시경 영상 프레임을 표시 출력하는 화면 표시 제어부;를 포함함을 특징으로 한다.
이러한 구성을 포함하는 영상 병변 진단 시스템의 병변 영역 검출부는,
위 내시경 영상, 소장 내시경 영상, 대장 내시경 영상 중 하나 이상의 내시경 영상 각각에 대해 병변 영역을 검출하기 위해 사전 학습된 하나 이상의 병변 영역 검출용 인공 신경망 학습모델을 포함함을 특징으로 한다.
본 발명의 또 다른 실시예에 따른 영상 병변 진단 시스템은,
입력되는 내시경 영상을 전처리하기 위한 전처리부와;
사전 학습된 실시간 병변 영역 검출용 인공 신경망 학습모델을 이용하여 상기 전처리된 내시경 영상 프레임에서 병변 영역을 실시간 검출하는 병변 영역 검출부와;
사전 학습된 병변 진단용 인공 신경망 학습모델을 이용하여 상기 검출된 병변 영역에 대해 병변의 정도를 진단하는 병변 진단부와;
검출된 병변 영역과 병변 진단 결과를 표시 출력하는 화면 표시 제어부;를 포함함을 특징으로 한다.
상술한 기술적 과제 해결 수단에 따르면, 본 발명의 실시예에 따른 영상 병변 진단 시스템은 내시경 장비에서 머신 프리즈된 영상을 자동 인식하여 이를 관찰 영상으로 획득하여 병변을 진단할 수 있는 장점이 있으며,
더 나아가 획득된 관찰 영상, 즉 내시경 장비에서 프리즈된 영상에 대해 사전 학습된 병변 진단용 인공 신경망 학습모델을 이용하여 병변의 정도를 자동 진단하여 그 결과를 표시하기 때문에, 전문의의 경험과 능력, 숙련도에 상관없이 객관적이고도 신뢰성 높은 진단 결과를 얻을 수 있는 장점이 있다.
또한 본 발명은 위 내시경 영상, 소장 내시경 영상, 대장 내시경 영상 중 하나 이상의 내시경 영상 각각에 대해 병변 영역을 검출하기 위해 사전 학습된 하나 이상의 병변 영역 검출용 인공 신경망 학습모델과 병변 진단용 인공 신경망 학습모델을 포함함으로써, 하나의 시스템 구축만으로도 동작모드(위 내시경 진단모드,.., 내장 내시경 진단모드로 설정)에 따라 위 내시경, 대장 내시경, 소장 내시경에 대한 병변 영역을 자동 검출하여 병변 정도를 자동 진단할 수 있는 장점이 있으며,
영상 병변 진단 시스템을 내시경 장비에 임베디드 시스템으로 구현하여 내시경 장비 자체에서 내시경 영상에 대한 병변을 자동 진단하도록 할 수도 있다.
도 1은 본 발명의 실시예에 따른 영상 병변 진단 시스템의 주변 구성 예시도.
도 2 내지 도 4는 본 발명의 실시예에 따른 영상 병변 진단 시스템의 구성 예시도.
도 5와 도 6은 본 발명의 실시예에 따른 영상 병변 진단 시스템의 동작 흐름 예시도.
도 7은 본 발명의 실시예에 따른 관찰 영상 획득을 설명하기 위한 도면.
[규칙 제91조에 의한 정정 15.01.2021]　
도 8a 내지 도 9b는 본 발명의 실시예에 따른 내시경 영상 병변 정도 진단 예시도.
도 10과 도 11은 본 발명의 실시예에 따른 병변 진단 화면 예시도.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.
그리고 본 발명의 상세한 설명 및 청구항들에 걸쳐 '학습'은 절차에 따라 기계 학습(machine learning)을 수행함을 일컫는 용어인바, 인간의 교육 활동과 같은 정신적 작용을 지칭하도록 의도된 것이 아님을 통상의 기술자는 이해할 수 있을 것이다. 또한 본 발명의 상세한 설명 및 청구항들에 걸쳐, '포함하다'라는 단어 및 그 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다. 더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 구성 및 특성은 일 실시예에 관련하여 본 발명의 사상 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 사상 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
본 명세서에서 달리 표시되거나 분명히 문맥에 모순되지 않는 한, 단수로 지칭된 항목은, 그 문맥에서 달리 요구되지 않는 한, 복수의 것을 아우른다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
이하, 통상의 기술자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 영상 병변 진단 시스템(200)의 주변 구성도를 예시한 것이다.
본 발명의 실시예에 따른 영상 병변 진단 시스템(200)은 하나의 독립된 시스템으로 구현 가능함은 물론, 전문의(진단자)의 컴퓨터 시스템에 설치되어 컴퓨터 시스템의 메인 프로세서에서 실행 가능한 프로그램 데이터들의 집합체(응용 프로그램)로 구현 가능하다. 경우에 따라서는 내시경 장비의 메인 프로세서(제어부)에서 실행 가능한 응용 프로그램의 형태로 구현되어 실행될 수도 있다.
도 1에서는 전문의의 컴퓨터 시스템에 설치되어 있는 영상 병변 진단 시스템(200)을 도시한 것으로, 영상 병변 진단 시스템(200)은 구현 방법에 따라 내시경 장비(100)로부터 전달되는 프리즈(freeze) 영상에 대해 병변 정도를 자동 진단하여 표시하거나, 실시간 내시경 영상에 대해 병변 영역을 검출하여 표시하거나, 실시간 내시경 영상에 대해 병변 영역을 검출하고 그 검출된 병변 영역에 대해 병변 정도 및(혹은) 침윤 깊이를 자동 진단하여 표시하여 준다.
참고적으로 도 1에 도시한 내시경 장비(100)는 위 내시경 장비, 소장 내시경 장비, 대장 내시경 장비일 수 있다. 내시경 장비(100)는 내시경에 의해 얻어진 내시경 영상을 표시부에 표시한다. 내시경 장비(100)와 영상 병변 진단 시스템(200)이 설치된 컴퓨터 시스템 상호 간은 케이블 및 영상출력단자를 통해 상호 연결됨으로써, 내시경 장비(100)에 표시되는 동일 내시경 영상이 전문의 컴퓨터 시스템의 표시부에 표시될 수 있다.
한편 본 발명의 실시예에 따른 영상 병변 진단 시스템(200) 역시 내시경 종류에 따라 위 내시경 영상, 소장 내시경 영상, 대장 내시경 영상 중 하나 이상의 내시경 영상에 대하여 병변 영역, 병변 정도를 자동 검출하거나 진단할 수 있다.
이러한 영상 병변 진단 시스템(200)에 대하여 부연 설명하면,
도 2 내지 도 4는 본 발명의 실시예에 따른 영상 병변 진단 시스템의 구성도를 각각 예시한 것으로써, 도 2는 내시경 장비(100)로부터 전달되는 프리즈(freeze) 영상에 대해 병변 정도를 자동 진단하여 표시할 수 있는 영상 병변 진단 시스템을, 도 3은 실시간 내시경 영상에 대해 병변 영역을 자동 검출하여 표시하는 시스템을, 도 4는 실시간 내시경 영상에 대해 병변 영역을 자동 검출하고 그 검출된 병변 영역에 대해 병변 정도 및(혹은) 침윤 깊이를 자동 진단하여 표시하는 시스템을 도시한 것이다.
도 2를 우선 참조하면, 본 발명의 제1실시예에 따른 영상 병변 진단 시스템(200)은,
내시경 장비(100)로부터 입력되는 내시경 영상으로부터 관찰 영상을 획득하기 위한 관찰 영상 획득부(210)와,
획득된 관찰 영상을 전처리하기 위한 전처리부(220)와,
사전 학습된 병변 진단용 인공 신경망 학습모델을 이용하여 상기 전처리된 관찰 영상에 대해 병변의 정도를 진단하는 병변 진단부(230)와,
병변 진단 결과를 표시 출력하는 화면 표시 제어부(240)를 포함한다.
상기 관찰 영상 획득부(210)는 도 7에 도시한 바와 같이 내시경 영상의 프레임들 중 프레임간 유사도가 정해진 임계치를 초과(즉, 머신 프리즈로 인식)하는 영상 프레임들(T1,T2,T3에서의 영상 프레임)을 관찰 영상으로 획득(캡쳐로 이해)한다. 내시경 장비(100)측에서 내시경 진단을 수행하는 진단자에 의해 머신 프리즈될 경우 프리즈된 내시경 영상이 일시 정지되어 표시되기 때문에 이때의 영상 프레임들간의 유사도는 매우 높다고 할 수 있다. 이와 같이 프레임간 유사도가 정해진 임계치를 초과할 경우 영상 병변 진단 시스템(100)에서는 내시경 장비(100)측에서 내시경 영상의 프리즈가 된 것으로 인지해 해당 영상에 대한 병변 여부를 진단할 수 있다.
경우에 따라서는 내시경 장비(100) 조작자의 머신 프리즈 동작을 검출해 이에 연동하여 내시경 영상을 캡쳐하여 해당 영상에 대한 병변 여부를 진단할 수 있다.
즉, 관찰 영상 획득부(210)는 내시경 장비(100) 조작자의 머신 프리즈 동작에 따라 발생되는 전기신호 입력시에 내시경 영상을 관찰 영상으로 캡쳐하여 획득할 수도 있다. 상기 전기신호는 내시경 장비(100) 조작자가 내시경 영상을 프리즈하기 위해 장비를 조작하는 것(내시경 장비의 핸들 혹은 발판 조작)을 감지한 감지신호로 이해하는 것이 바람직하다.
전처리부(220)는 병변을 진단하기 위해 불필요한 부분(노이즈), 예를 들면 프레임 단위의 내시경 영상에서 혈액, 텍스트, 조직검사기구 등을 제거한다. 이러한 전처리부(220)는 전문의 등에 의해 병변 영역으로 마킹된 부위를 추출하여 에지 부분을 매끈(smoothing)하게 처리하는 전처리 과정을 병행하여 수행할 수 있다.
한편, 상기 병변 진단부(230)는 사전 학습된 병변 진단용 인공 신경망 학습모델을 이용하여 상기 전처리된 관찰 영상에서 병변 영역을 검출한 후 그 검출된 병변 영역에 대해 병변의 정도를 진단할 수도 있다.
상기 병변 진단용 인공 신경망 학습모델은 인공 신경망의 하나인 심층 신경망(Convolution Neural Network) 학습모델에서와 같이 입력층과 완전 연결층 사이에 컨벌루션층(convolution layer)층과 풀링층(pooling layer)이 반복되는 네트워크 구조일 수 있으며, 본원 출원인에 의해 선출원된 출원번호 10-2020-0007623호에 게시된 즉, 노이즈 완화를 위해 풀링층과 반복되는 컨벌루션층 중 어느 하나의 컨벌루션층에서 컨벌루션 연산과 디컨버루션 연산을 각각 병렬 처리하는 일군의 컨벌루션층과 일군의 디컨벌루션층을 포함하고, 상기 일군의 컨벌루션층과 디컨벌루션층을 각각 통과한 특성맵(feature map)들을 하나로 합쳐 완전 연결층으로 전달하는 합산층(add layer)을 포함하는 구조일 수 있다.
상기 병변 진단용 인공 신경망 학습모델은 전문의에 의해 병변 영역 및(혹은) 병변 정도가 마킹된 내시경 영상 데이터를 딥러닝 알고리즘을 통해 사전 학습하여 구축된 모델로서, 진단모드에서는 전처리된 관찰 영상에 대해 병변 정도를 자동 진단하거나, 전처리된 관찰 영상에서 병변 영역을 검출한 후 그 검출된 병변 영역에 대해 병변의 정도를 진단한다.
참고적으로 병변 진단용 인공 신경망 학습모델에서는 입력(x)과 그에 상응하는 한가지 출력(y)의 쌍 (x,y)을 학습시킨다. 입력은 이미지이고, 출력은 예를 들어 병변의 정도일 수 있다.
또한 강인한 학습모델을 구축하기 위해 본 발명의 실시예에서 이용되는 각각의 인공 신경망 학습모델은 데이터 증강된 학습 데이터를 학습할 수 있다. 데이터 증강의 종류는 좌/우 반전, 상/하 반전, 회전(-10˚∼ +10˚), 흐림(blur)을 사용할 수 있고, 학습 데이터의 학습, 벨리데이션, 테스트 데이터의 비율을 6:2:2로 맞출 수 있다.
또한 본 발명의 실시예에서 이용되는 각각의 인공 신경망 학습모델은 하이퍼-파라미터 튜닝 적용된 변형된 DenseNet 기반 인공 신경망(Modified DenseNet based Convolutional Neural Network)을 이용할 수 있다.
한편, 병변 진단부(230)는 위 내시경 영상, 소장 내시경 영상, 대장 내시경 영상 중 하나 이상의 내시경 영상 각각에 대해 병변의 정도를 진단하기 위해 사전 학습된 하나 이상의 병변 진단용 인공 신경망 학습모델을 포함할 수 있다. 이에 영상 병변 진단 시스템(200)은 위 내시경 영상에 대한 병변을 진단할 수도 있고 대장 내시경 영상에 대한 병변을 진단할 수도 있다. 경우에 따라서는 소장 내시경 영상에 대한 병변을 더 진단할 수도 있다.
참고적으로 상기 병변 진단용 인공 신경망 학습모델이 위 내시경 영상에 대한 진단모델이라면 병변 정도로서 정상(normal), 저도 이형성(Low Grade Dysplasia:LGD), 고도 이형성(High Grade Dysplasia:HGD), 조기 위암(Early Gastric Cancer:EGC), 진행성 위암(Advanced Gastric Cancer:AGC)을 진단할 수 있고, 소장 내시경 영상에 대한 진단모델이라면 출혈, 궤양, 혈관 확장증, 암종양을 진단할 수 있고, 대장 내시경 영상에 대한 진단모델이라면 Non-neoplasm, TA(Tubular Adenoma), HGD, 암을 진달할 수 있도록 사전 훈련하여 병변을 진단한다.
이하 도 3을 참조하여 본 발명의 또 다른 실시예에 따른 영상 병변 진단 시스템(200)을 부연 설명하면, 도 3에 도시한 영상 병변 진단 시스템(200)은,
내시경 장비(100)로부터 입력되는 내시경 영상을 전처리하기 위한 전처리부(215)와,
사전 학습된 실시간 병변 영역 검출용 인공 신경망 학습모델을 이용하여 상기 전처리된 내시경 영상 프레임에서 병변 영역을 실시간 검출하는 병변 영역 검출부(225)와,
검출된 병변 영역이 마킹된 내시경 영상 프레임을 표시 출력하는 화면 표시 제어부(235)를 포함한다.
상기 전처리부(235)는 프레임 단위의 내시경 영상에서 혈액, 텍스트, 조직검사기구를 인식하여 제거할 수 있으며, 상기 병변 영역 검출부(225) 역시 위 내시경 영상, 소장 내시경 영상, 대장 내시경 영상 중 하나 이상의 내시경 영상 각각에 대해 병변 영역을 검출하기 위해 사전 학습된 하나 이상의 병변 영역 검출용 인공 신경망 학습모델을 포함한다.
상기 병변 영역 검출용 인공 신경망 학습모델 역시 합성곱신경망(CNN)이라는 딥러닝 알고리즘을 이용해 학습 데이터를 사전에 학습한 모델로서, 학습 데이터는 전문의가 병변 영역을 마킹한 내시경 영상이라 할 수 있다.
도 3에 도시한 영상 병변 진단 시스템(200)은 실시간 입력되는 내시경 영상 프레임에 대해 병변 영역을 자동 검출하여 검출된 병변 영역이 마킹된 내시경 영상 프레임을 표시부에 표시해 주는 시스템이다. 내시경 영상 프레임에 대해 병변 영역이 자동 검출되면 그 병변 영역이 마킹된 영상 프레임이 표시부에 표시되기 때문에, 진단자는 병변 영역 마킹된 영상 프레임 표시시 집중하여 해당 영상을 관찰할 수 있다. 구현 방법에 따라 상기 병변 영역이 마킹된 내시경 영상 프레임들은 컴퓨터 시스템의 내부 메모리에 별도 저장되어 관리될 수 있다.
본 발명의 또 다른 실시예에 따른 영상 병변 진단 시스템(200)은 도 4에 도시한 바와 같이,
입력되는 내시경 영상을 전처리하기 위한 전처리부(250)와,
사전 학습된 실시간 병변 영역 검출용 인공 신경망 학습모델을 이용하여 상기 전처리된 내시경 영상 프레임에서 병변 영역을 실시간 검출하는 병변 영역 검출부(255)와,
사전 학습된 병변 진단용 인공 신경망 학습모델을 이용하여 상기 검출된 병변 영역에 대해 병변의 정도를 진단하는 병변 진단부(260)와,
검출된 병변 영역과 병변 진단 결과를 표시 출력하는 화면 표시 제어부(270)를 포함한다.
이들 구성을 포함하는 영상 병변 진단 시스템(200)에서, 상기 전처리부(250)는 내시경 영상 프레임에서 혈액, 텍스트, 조직검사기구를 인식하여 제거한다.
더 나아가 상기 병변 영역 검출부(255)는 위 내시경 영상, 소장 내시경 영상, 대장 내시경 영상 중 하나 이상의 내시경 영상 각각에 대해 병변 영역을 검출하기 위해 사전 학습된 하나 이상의 병변 영역 검출용 인공 신경망 학습모델을 포함할 수 있고,
상기 병변 진단부(260) 역시 위 내시경 영상, 소장 내시경 영상, 대장 내시경 영상 중 하나 이상의 내시경 영상 각각에 대해 병변의 정도를 진단하기 위해 사전 학습된 하나 이상의 병변 진단용 인공 신경망 학습모델을 포함할 수 있다.
이상에서 실시예별로 설명한 각 영상 병변 진단 시스템(200)은 병변 영역 검출시 그 사실을 진단자 혹은 전문의에게 알람을 통해 알리기 위한 기술적 구성을 더 포함할 수 있다. 또한 각 영상 병변 진단 시스템(200)이 대장 내시경 영상에 대한 병변을 진단하는 시스템이라면 병변 진단부는 침윤 깊이까지 진단하여 표시할 수 있다.
이하 상술한 영상 병변 진단 시스템(200)의 동작을 보다 구체적으로 설명하되, 하기에서는 위 내시경 영상에 대해 진단하는 동작을 설명하기로 한다.
[규칙 제91조에 의한 정정 15.01.2021]　
도 5는 본 발명의 실시예에 따른 영상 병변 진단 시스템(200)의 동작 흐름도를 예시한 것이며, 도 7은 본 발명의 실시예에 따른 관찰 영상 획득을 설명하기 위한 도면을, 도 8a 내지 도 9b는 본 발명의 실시예에 따른 내시경 영상 병변 정도의 진단 화면을 예시한 것이며, 도 10과 도 11은 본 발명의 실시예에 따른 또 다른 병변 진단 화면 예시도이다.
우선 내시경 영상에 대한 병변을 진단하기에 앞서 영상 병변 진단 시스템(200)은 학습모드를 통해 병변 진단용 인공 신경망 학습모델을 학습시켜야 한다.
예를 들어 위 내시경 영상에 대해 전문의는 병변 영역을 마킹하고 병변 정도 정보를 입력한다. 이와 같이 병변 영역과 병변 정도 정보가 마킹 혹은 입력된 다수의 내시경 영상 프레임들은 전문의 명령에 따라 심층 신경망 구조를 갖는 병변 진단용 인공 신경망 학습모델로 전달된다.
이에 병변 진단용 인공 신경망 학습모델은 학습 데이터, 즉 위 내시경 영상에서 병변 영역 마킹된 영상의 특징들을 학습하고, 테스트 및 검증 단계를 거쳐 위 내시경 영상에 대해 정상/LGD/HGD/EGC/AGC 중 어느 하나를 병변 정도로서 예측하기 위한 모델의 학습을 종료한다.
이와 같이 병변 진단용 인공 신경망 학습모델의 학습이 이루어지면 이러한 학습모델에 기반하여 위 내시경 영상에 대한 병변 정도를 진단할 수 있다.
도 5를 참조하면, 우선 내시경을 통해 얻어지는 위 내시경 영상은 내시경 장비(100)의 표시부에 표시됨은 물론 영상 병변 진단 시스템(200)이 설치된 전문의 PC에 수신(S10단계)되어 표시부에 표시된다.
이에 영상 병변 진단 시스템(200)의 관찰 영상 획득부(210)는 수신된 내시경 영상에서 관찰 영상을 획득(S20단계)할 수 있다.
관찰 영상 획득 방법은 도 7에 도시한 바와 같이 내시경 영상의 프레임들 중 프레임간 유사도가 정해진 임계치를 초과하는 영상 프레임, 예를 들면 도 7에 도시한 T1,T2,T3 시점의 영상 프레임들을 관찰 영상으로 획득할 수 있다.
또 다른 방법으로서, 관찰 영상 획득부(210)는 내시경 장비 조작자의 머신 프리즈 동작에 따라 발생되는 전기신호 입력시에 내시경 영상을 관찰 영상으로 캡쳐하여 획득할 수도 있다.
획득된 관찰 영상은 전처리부(220)에 의해 전처리되어 병변 진단부(230)로 전달된다. 병변을 진단하기 위해 불필요한 영역과 객체를 제거하기 위한 전처리부(220)는 진단 영상의 종류(위 내시경, 소장 내시경, 대장 내시경)에 따라 다르게 설계할 수 있다.
예를 들어 병변 진단에 불필요한 텍스트, 보조진단기구, 혈액, 관찰대상 외의 장기에 대한 영상 등을 필요에 따라 제거할 수도 있도록 전처리할 수 있다.
관찰 영상에 대해 전처리가 완료되어 병변 진단부(230)로 전달되면, 병변 진단부(230)는 사전 학습된 병변 진단용 인공 신경망 학습모델을 이용하여 전처리된 관찰 영상에 대해 병변의 정도를 진단(S40단계)한다.
이후 화면 표시 제어부(240)는 병변 진단부(230)로부터 전달된 병변 진단 결과를 표시 출력(S50단계)한다. 도 8a 내지 도 8c에 도시한 바와 같이 위 내시경 영상에 대한 병변 정도 진단은 정상(도 8a), LGD/HGD(도 8b), EGC/AGC(도 8c)로 분류할 수 있다.
만약 병변 진단용 인공 신경망 학습모델이 대장 내시경 영상에 대해 병변 정도를 진단하기 위해 사전 학습학 학습모델이라면, 병변 진단부(230)는 도 9a와 도 9b에 도시한 바와 같이 대장 내시경 영상에 대해 4종류의 병변 정도를 자동 진단하여 화면 표시할 수 있다.
이상에서 설명한 바와 같이, 본 발명의 제1실시예에 따른 영상 병변 진단 시스템(200)은 내시경 장비(100)에서 머신 프리즈된 영상을 자동 인식하여 이를 관찰 영상으로 획득하여 병변을 진단할 수 있는 장점이 있으며, 더 나아가 획득된 관찰 영상, 즉 내시경 장비(100)에서 프리즈된 영상에 대해 사전 학습된 병변 진단용 인공 신경망 학습모델을 이용하여 병변의 정도를 자동 진단하여 그 결과를 표시하기 때문에, 전문의의 경험과 능력, 숙련도에 상관없이 객관적이고도 신뢰성 높은 진단 결과를 얻을 수 있는 장점이 있다.
또한 상술한 제1실시예에 따른 영상 병변 진단 시스템(200)은 위 내시경 영상, 대장 내시경 영상, 소장 내시경 영상을 관찰 영상으로 획득하여 병변 정도를 자동 진단할 수 있도록 병변 진단부(230)를 구축할 수 있기 때문에, 하나의 시스템 구축만으로도 동작모드(위 내시경 진단모드,.., 내장 내시경 진단모드로 설정)에 따라 위 내시경, 대장 내시경, 소장 내시경에 대한 병변 정도를 자동 진단할 수 있는 편리함이 있다.
이하 도 3에 도시한 본 발명의 제2실시예에 따른 영상 병변 진단 시스템(200)의 동작을 부연 설명하기로 한다.
내시경 영상에 대해 실시간 병변 영역을 검출하기에 앞서 도 3에 도시한 영상 병변 진단 시스템(200)은 학습모드를 통해 병변 영역 검출용 인공 신경망 학습모델을 학습시켜야 한다.
예를 들어 위 내시경 영상에 대해 전문의는 병변 영역을 마킹한다. 이와 같이 병변 영역이 마킹된 다수의 내시경 영상 프레임들은 전문의 명령에 따라 심층 신경망 구조를 갖는 병변 영역 검출용 인공 신경망 학습모델로 전달된다.
이에 병변 영역 검출용 인공 신경망 학습모델은 병변 영역 마킹된 영상의 특징들을 학습하고, 테스트 및 검증 단계를 거쳐 위 내시경 영상에 대해 병변 영역을 검출하기 위한 모델의 학습을 종료한다.
이와 같이 병변 영역 검출용 인공 신경망 학습모델의 학습이 이루어지면 이러한 학습모델에 기반하여 위 내시경 영상에 대한 병변 영역을 자동 검출할 수 있다.
우선 내시경을 통해 얻어지는 위 내시경 영상은 내시경 장비(100)의 표시부에 표시됨은 물론 영상 병변 진단 시스템(200)이 설치된 전문의 PC에 실시간 수신되어 표시부에 표시된다.
이에 영상 병변 진단 시스템(200)의 전처리부(215)는 수신된 위 내시경 영상을 전처리한다. 전처리부(215)는 앞서 설명하였듯이 병변 영역을 검출하기 위해 불필요한 영역과 객체, 예를 들면 텍스트, 보조진단기구, 혈액, 관찰대상 외의 장기에 대한 영상 등을 필요에 따라 제거할 수도 있도록 전처리한다.
전처리된 위 내시경 영상은 병변 영역 검출부(225)로 전달되고, 병변 영역 검출부(225)는 사전 학습된 실시간 병변 영역 검출용 인공 신경망 학습모델을 이용하여 상기 전처리된 위 내시경 영상 프레임에서 병변 영역을 실시간 검출한다. 병변 영역이 검출되면 병변 영역 검출부(225)는 병변 영역을 표시하기 위한 좌표 정보를 화면 표시 제어부(235)로 전달한다. 이에 화면 표시 제어부(235)는 도 10에 도시한 바와 같이 병변 영역(네모 박스)이 마킹된 위 내시경 영상 프레임을 표시 출력한다.
즉, 본 발명의 제2실시예에 따른 영상 병변 진단 시스템(200)은 위 내시경 영상에 대해 병변 영역이 실시간 검출되면 그 병변 영역이 마킹(혹은 알람 동시 출력)된 위 내시경 영상을 자동 표시해 줌으로써, 전문의와 같은 진단자는 병변 영역이 마킹된 영상 프레임을 집중 관찰하여 병변 정도를 추가 진단하거나, 병변 영역이 마킹된 영상이 얻어진 주변의 영상을 확인하기 위해 내시경의 위치를 재조정할 수 있다.
이상에서 언급한 병변 영역 검출부(225) 역시 위 내시경 영상, 소장 내시경 영상, 대장 내시경 영상 중 하나 이상의 내시경 영상 각각에 대해 병변 영역을 검출하기 위해 사전 학습된 하나 이상의 병변 영역 검출용 인공 신경망 학습모델을 포함함으로써, 하나의 시스템 구축만으로도 동작모드(위 내시경 진단모드,.., 내장 내시경 진단모드로 설정)에 따라 위 내시경, 대장 내시경, 소장 내시경에 대한 병변 영역을 자동 검출하여 표시할 수 있는 장점이 있다.
이하 도 4에 도시한 본 발명의 제3실시예에 따른 영상 병변 진단 시스템(200)의 동작을 도 6을 참조하여 부연 설명하기로 한다.
우선 내시경 영상에 대해 실시간 병변 영역을 검출하기에 앞서 도 4에 도시한 영상 병변 진단 시스템(200)은 학습모드를 통해 병변 영역 검출용 인공 신경망 학습모델을 학습시켜야 한다. 이러한 병변 영역 검출용 인공 신경망 학습모델의 학습 과정은 앞서 설명하였기에 이하 생략하기로 한다.
병변 영역 검출용 인공 신경망 학습모델의 학습과 더불어 제3실시예에 따른 영상 병변 진단 시스템(200)은 병변 정도를 진단하기 위한 병변 진단용 인공 신경망 학습모델을 학습시켜야 한다. 이러한 병변 진단용 인공 신경망 학습모델의 학습 과정 역시 도 5에서 이미 설명하였기에 이하 생략하기로 한다.
병변 영역 검출용 인공 신경망 학습모델과 병변 진단용 인공 신경망 학습모델의 학습이 이루어지면 이러한 학습모델들에 기반하여 위 내시경, 대장 내시경, 소장 내시경 영상에 대한 병변 영역 및 병변 정도를 자동 검출할 수 있다.
도 6을 참조하면, 우선 내시경을 통해 얻어지는 위 내시경 영상은 내시경 장비(100)의 표시부에 표시됨은 물론 영상 병변 진단 시스템(200)이 설치된 전문의 PC에 실시간 수신(S110단계)되어 표시부에 표시된다.
이에 영상 병변 진단 시스템(200)의 전처리부(250)는 수신된 위 내시경 영상을 전처리한다. 전처리부(250)는 앞서 설명하였듯이 병변 영역을 검출하기 위해 불필요한 영역과 객체, 예를 들면 텍스트, 보조진단기구, 혈액, 관찰대상 외의 장기에 대한 영상 등을 필요에 따라 제거할 수도 있도록 전처리한다.
전처리된 위 내시경 영상은 병변 영역 검출부(255)로 전달되고, 병변 영역 검출부(255)는 사전 학습된 실시간 병변 영역 검출용 인공 신경망 학습모델을 이용하여 상기 전처리된 위 내시경 영상 프레임에서 병변 영역을 실시간 검출(S120단계)한다. 병변 영역이 검출되면 병변 영역 검출부(255)는 병변 영역을 표시하기 위한 좌표 정보를 화면 표시 제어부(270)로 전달하고, 검출된 병변 영역 영상을 병변 진단부(260)로 전달한다.
병변 진단부(260)는 사전 학습된 병변 진단용 인공 신경망 학습모델을 이용하여 검출된 병변 영역에 대해 병변의 정도를 진단(S130단계)한다.
이후 화면 표시 제어부(270)는 병변 진단부(260)로부터 전달된 병변 진단 결과를 표시 출력(S140단계)한다.
이로써 표시부에는 도 10 혹은 도 11과 같이 내시경 영상에 대해 검출된 병변 영역이 마킹되어 표시되거나 병변 정도가 함께 표시될 수 있으며, 진단된 병변 정도 가능성이 함께 표시될 수 있다.
본 발명의 제3실시예에 따른 영상 병변 진단 시스템(200) 역시 내시경 영상에 대해 병변 영역을 실시간 자동 검출하고, 그 검출된 병변 영역에 대해 병변 정도를 자동 진단해 줌으로써, 전문의의 경험과 능력, 숙련도에 상관없이 객관적이고도 신뢰성 높은 진단 결과를 얻을 수 있는 장점이 있다.
또한 본 발명은 위 내시경 영상, 소장 내시경 영상, 대장 내시경 영상 중 하나 이상의 내시경 영상 각각에 대해 병변 영역을 검출하기 위해 사전 학습된 하나 이상의 병변 영역 검출용 인공 신경망 학습모델과 병변 진단용 인공 신경망 학습모델을 포함함으로써, 하나의 시스템 구축만으로도 동작모드(위 내시경 진단모드,.., 내장 내시경 진단모드로 설정)에 따라 위 내시경, 대장 내시경, 소장 내시경에 대한 병변 영역을 자동 검출하여 병변 정도를 자동 진단할 수 있는 장점이 있다.
한편 위 실시예에서는 영상 병변 진단 시스템(200)을 전문의의 PC에 설치하여 내시경 영상에 대한 병변을 검출하거나 병변 정도를 진단하는 시스템에 대하여 설명하였으나, 상술한 영상 병변 진단 시스템(200)을 내시경 장비(100)에 설치하거나 내시경 장비(100)의 메인 프로세서에서 실행되도록 임베디드 시스템으로 구현할 수도 있다.
예를 들어, 인체 내에 삽입되는 삽입부와 그 삽입부 내에 위치하여 인체로부터 반사되어 도달한 빛을 센싱하여 내시경 영상신호를 생성하는 이미지 센싱부를 포함하는 내시경과, 상기 내시경에 의해 촬상된 내시경 영상신호를 표시 가능한 내시경 영상으로 처리하는 이미지 신호 처리부와, 상기 내시경 영상을 표시하는 표시부를 포함하는 영상 병변 진단 시스템(내시경 장비로 이해하는 것이 바람직함)에 도 2에 도시한 바와 같이,
상기 내시경 영상으로부터 관찰 영상을 획득하기 위한 관찰 영상 획득부(210)와,
획득된 관찰 영상을 전처리하기 위한 전처리부(220)와,
사전 학습된 병변 진단용 인공 신경망 학습모델을 이용하여 상기 전처리된 관찰 영상에 대해 병변의 정도를 진단하는 병변 진단부(230)와,
병변 진단 결과를 내시경 영상과 함께 표시 출력하는 화면 표시 제어부(240)를 더 포함하여 하나의 내시경 장비(100)를 구축할 수도 있다.
또한 인체 내에 삽입되는 삽입부와 그 삽입부 내에 위치하여 인체로부터 반사되어 도달한 빛을 센싱하여 내시경 영상신호를 생성하는 이미지 센싱부를 포함하는 내시경과, 상기 내시경에 의해 촬상된 내시경 영상신호를 표시 가능한 내시경 영상으로 처리하는 이미지 신호 처리부와, 상기 내시경 영상을 표시하는 표시부를 포함하는 영상 병변 진단 시스템에 도 4에 도시한 바와 같이,
상기 내시경 영상을 전처리하기 위한 전처리부(250)와,
사전 학습된 실시간 병변 영역 검출용 인공 신경망 학습모델을 이용하여 상기 전처리된 내시경 영상 프레임에서 병변 영역을 실시간 검출하는 병변 영역 검출부(255)와,
사전 학습된 병변 진단용 인공 신경망 학습모델을 이용하여 상기 검출된 병변 영역에 대해 병변의 정도를 진단하는 병변 진단부(260)와,
검출된 병변 영역과 병변 진단 결과를 표시 출력하는 화면 표시 제어부(270)를 포함하여 하나의 내시경 장비(100)를 구축할 수도 있다.
참고적으로, 본 발명의 실시예에 따른 영상 병변 진단 시스템(200)의 병변 진단부(230)는 동일 병변에 여러 장의 캡쳐 영상이 획득되었을 경우 캡쳐 영상 당 진단을 내려줄 수도 있지만, 평균치를 이용해 진단을 내리는 것이 가장 바람직하며, 가장 중증을 기반으로 진단을 내릴 수도 있고, 빈도수를 고려하여 진단을 내릴 수 있도록 할 수도 있다.
위 실시예의 설명에 기초하여 해당 기술분야의 통상의 기술자는, 본 발명이 소프트웨어 및 하드웨어의 결합을 통하여 달성되거나 하드웨어만으로 달성될 수 있다는 점을 명확하게 이해할 수 있다. 본 발명의 기술적 해법의 대상물 또는 선행 기술들에 기여하는 부분들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 기계 판독 가능한 기록 매체에 기록될 수 있다. 상기 기계 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 기계 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. 상기 하드웨어 장치는 프로그램 명령어를 저장하기 위한 ROM/RAM 등과 같은 메모리와 결합되고 상기 메모리에 저장된 명령어들을 실행하도록 구성되는 CPU나 GPU와 같은 프로세서를 포함할 수 있으며, 외부 장치와 신호를 주고 받을 수 있는 통신부를 포함할 수 있다. 덧붙여, 상기 하드웨어 장치는 개발자들에 의하여 작성된 명령어들을 전달받기 위한 키보드, 마우스, 기타 외부 입력장치를 포함할 수 있다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 사람이라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다. 따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (15)

  1. 입력되는 내시경 영상으로부터 관찰 영상을 획득하기 위한 관찰 영상 획득부와;
    획득된 관찰 영상을 전처리하기 위한 전처리부와;
    사전 학습된 병변 진단용 인공 신경망 학습모델을 이용하여 상기 전처리된 관찰 영상에 대해 병변의 정도를 진단하는 병변 진단부와;
    병변 진단 결과를 표시 출력하는 화면 표시 제어부;를 포함함을 특징으로 하는 영상 병변 진단 시스템.
  2. 청구항 1에 있어서, 상기 관찰 영상 획득부는,
    상기 내시경 영상의 프레임들 중 프레임간 유사도가 정해진 임계치를 초과하는 영상 프레임들을 상기 관찰 영상으로 획득함을 특징으로 하는 영상 병변 진단 시스템.
  3. 청구항 1에 있어서, 상기 관찰 영상 획득부는,
    내시경 장비 조작자의 머신 프리즈 동작에 따라 발생되는 전기신호 입력시에 상기 내시경 영상을 관찰 영상으로 캡쳐하여 획득함을 특징으로 하는 영상 병변 진단 시스템.
  4. 청구항 1에 있어서, 상기 병변 진단부는,
    위 내시경 영상, 소장 내시경 영상, 대장 내시경 영상 중 하나 이상의 내시경 영상 각각에 대해 병변의 정도를 진단하기 위해 사전 학습된 하나 이상의 병변 진단용 인공 신경망 학습모델을 포함함을 특징으로 하는 영상 병변 진단 시스템.
  5. 청구항 1 또는 청구항 4에 있어서, 상기 병변 진단부는,
    사전 학습된 병변 진단용 인공 신경망 학습모델을 이용하여 상기 전처리된 관찰 영상에서 병변 영역을 검출한 후 그 검출된 병변 영역에 대해 병변의 정도를 진단함을 특징으로 하는 영상 병변 진단 시스템.
  6. 청구항 1에 있어서, 상기 병변 진단용 인공 신경망 학습모델은,
    위 내시경 영상에 대해 정상, 저도 이형성, 고도 이형성, 조기 위암, 진행성 위암을 진단함을 특징으로 하는 영상 병변 진단 시스템.
  7. 입력되는 내시경 영상을 전처리하기 위한 전처리부와;
    사전 학습된 병변 영역 검출용 인공 신경망 학습모델을 이용하여 상기 전처리된 내시경 영상 프레임에서 병변 영역을 실시간 검출하는 병변 영역 검출부와;
    검출된 병변 영역이 마킹된 내시경 영상 프레임을 표시 출력하는 화면 표시 제어부;를 포함함을 특징으로 하는 영상 병변 진단 시스템.
  8. 청구항 7에 있어서, 상기 전처리부는,
    프레임 단위의 내시경 영상에서 혈액, 텍스트, 조직검사기구를 인식하여 제거함을 특징으로 하는 영상 병변 진단 시스템.
  9. 청구항 7에 있어서, 상기 병변 영역 검출부는,
    위 내시경 영상, 소장 내시경 영상, 대장 내시경 영상 중 하나 이상의 내시경 영상 각각에 대해 병변 영역을 검출하기 위해 사전 학습된 하나 이상의 병변 영역 검출용 인공 신경망 학습모델을 포함함을 특징으로 하는 영상 병변 진단 시스템.
  10. 입력되는 내시경 영상을 전처리하기 위한 전처리부와;
    사전 학습된 병변 영역 검출용 인공 신경망 학습모델을 이용하여 상기 전처리된 내시경 영상 프레임에서 병변 영역을 실시간 검출하는 병변 영역 검출부와;
    사전 학습된 병변 진단용 인공 신경망 학습모델을 이용하여 상기 검출된 병변 영역에 대해 병변의 정도를 진단하는 병변 진단부와;
    검출된 병변 영역과 병변 진단 결과를 표시 출력하는 화면 표시 제어부;를 포함함을 특징으로 하는 영상 병변 진단 시스템.
  11. 청구항 10에 있어서, 상기 전처리부는,
    내시경 영상 프레임에서 혈액, 텍스트, 조직검사기구를 인식하여 제거함을 특징으로 하는 영상 병변 진단 시스템.
  12. 청구항 10에 있어서, 상기 병변 영역 검출부는,
    위 내시경 영상, 소장 내시경 영상, 대장 내시경 영상 중 하나 이상의 내시경 영상 각각에 대해 병변 영역을 검출하기 위해 사전 학습된 하나 이상의 병변 영역 검출용 인공 신경망 학습모델을 포함함을 특징으로 하는 영상 병변 진단 시스템.
  13. 청구항 10에 있어서, 상기 병변 진단부는,
    위 내시경 영상, 소장 내시경 영상, 대장 내시경 영상 중 하나 이상의 내시경 영상 각각에 대해 병변의 정도를 진단하기 위해 사전 학습된 하나 이상의 병변 진단용 인공 신경망 학습모델을 포함함을 특징으로 하는 영상 병변 진단 시스템.
  14. 인체 내에 삽입되는 삽입부와 그 삽입부 내에 위치하여 인체로부터 반사되어 도달한 빛을 센싱하여 내시경 영상신호를 생성하는 이미지 센싱부를 포함하는 내시경과, 상기 내시경에 의해 촬상된 내시경 영상신호를 표시 가능한 내시경 영상으로 처리하는 이미지 신호 처리부와, 상기 내시경 영상을 표시하는 표시부를 포함하는 영상 병변 진단 시스템에 있어서,
    상기 내시경 영상으로부터 관찰 영상을 획득하기 위한 관찰 영상 획득부와;
    획득된 관찰 영상을 전처리하기 위한 전처리부와;
    사전 학습된 병변 진단용 인공 신경망 학습모델을 이용하여 상기 전처리된 관찰 영상에 대해 병변의 정도를 진단하는 병변 진단부와;
    병변 진단 결과를 내시경 영상과 함께 표시 출력하는 화면 표시 제어부;를 포함함을 특징으로 하는 영상 병변 진단 시스템.
  15. 인체 내에 삽입되는 삽입부와 그 삽입부 내에 위치하여 인체로부터 반사되어 도달한 빛을 센싱하여 내시경 영상신호를 생성하는 이미지 센싱부를 포함하는 내시경과, 상기 내시경에 의해 촬상된 내시경 영상신호를 표시 가능한 내시경 영상으로 처리하는 이미지 신호 처리부와, 상기 내시경 영상을 표시하는 표시부를 포함하는 영상 병변 진단 시스템에 있어서,
    상기 내시경 영상을 전처리하기 위한 전처리부와;
    사전 학습된 실시간 병변 영역 검출용 인공 신경망 학습모델을 이용하여 상기 전처리된 내시경 영상 프레임에서 병변 영역을 실시간 검출하는 병변 영역 검출부와;
    사전 학습된 병변 진단용 인공 신경망 학습모델을 이용하여 상기 검출된 병변 영역에 대해 병변의 정도를 진단하는 병변 진단부와;
    검출된 병변 영역과 병변 진단 결과를 표시 출력하는 화면 표시 제어부;를 포함함을 특징으로 하는 영상 병변 진단 시스템.
PCT/KR2020/018312 2020-11-25 2020-12-15 영상 병변 진단 시스템 WO2022114357A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/038,649 US20240016366A1 (en) 2020-11-25 2020-12-15 Image diagnosis system for lesion

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200159910 2020-11-25
KR10-2020-0159910 2020-11-25

Publications (1)

Publication Number Publication Date
WO2022114357A1 true WO2022114357A1 (ko) 2022-06-02

Family

ID=81756052

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/018312 WO2022114357A1 (ko) 2020-11-25 2020-12-15 영상 병변 진단 시스템

Country Status (3)

Country Link
US (1) US20240016366A1 (ko)
KR (1) KR20220072761A (ko)
WO (1) WO2022114357A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102525371B1 (ko) 2022-10-04 2023-04-25 에이트스튜디오 주식회사 진단 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190090150A (ko) * 2018-01-24 2019-08-01 주식회사 인트로메딕 캡슐 내시경 영상의 서술자 생성 방법 및 장치, 서술자 기반 캡슐 내시경 영상 검색 방법 및 캡슐 내시경 모니터링 디바이스
KR20200038121A (ko) * 2018-10-02 2020-04-10 한림대학교 산학협력단 실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법
JP2020089712A (ja) * 2018-12-04 2020-06-11 Hoya株式会社 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム
KR20200102961A (ko) * 2019-02-22 2020-09-01 가천대학교 산학협력단 병변 진단 시스템 및 방법
KR20200110111A (ko) * 2019-03-13 2020-09-23 부산대학교 산학협력단 의료영상정보 딥러닝 기반의 동적 다차원 질병진단 방법 및 동적 다차원 질병진단 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102287364B1 (ko) 2018-12-07 2021-08-06 주식회사 포인바이오닉스 인공신경망을 이용하여 캡슐형 내시경 영상에서 병변을 감지하는 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190090150A (ko) * 2018-01-24 2019-08-01 주식회사 인트로메딕 캡슐 내시경 영상의 서술자 생성 방법 및 장치, 서술자 기반 캡슐 내시경 영상 검색 방법 및 캡슐 내시경 모니터링 디바이스
KR20200038121A (ko) * 2018-10-02 2020-04-10 한림대학교 산학협력단 실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법
JP2020089712A (ja) * 2018-12-04 2020-06-11 Hoya株式会社 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム
KR20200102961A (ko) * 2019-02-22 2020-09-01 가천대학교 산학협력단 병변 진단 시스템 및 방법
KR20200110111A (ko) * 2019-03-13 2020-09-23 부산대학교 산학협력단 의료영상정보 딥러닝 기반의 동적 다차원 질병진단 방법 및 동적 다차원 질병진단 장치

Also Published As

Publication number Publication date
KR20220072761A (ko) 2022-06-02
US20240016366A1 (en) 2024-01-18

Similar Documents

Publication Publication Date Title
WO2020242239A1 (ko) 앙상블 학습 알고리즘을 이용한 인공지능 기반 진단 보조 시스템
WO2019132168A1 (ko) 수술영상데이터 학습시스템
EP2008571A1 (en) Endoscope insertion direction detecting device and endoscope insertion direction detecting method
WO2017192020A1 (ko) 치과용 3차원 데이터 처리장치 및 그 방법
EP1437083B1 (en) Endoscope insertion direction sensing method and endoscope insertion direction sensing apparatus
WO2016159726A1 (ko) 의료 영상으로부터 병변의 위치를 자동으로 감지하는 장치 및 그 방법
WO2016129771A1 (ko) 내시경 및 이를 포함하는 내시경 시스템
WO2017022882A1 (ko) 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템
WO2017030747A1 (en) Reconstruction with object detection for images captured from a capsule camera
WO2014208971A1 (en) Ultrasound image display method and apparatus
WO2006087981A1 (ja) 医用画像処理装置、管腔画像処理装置、管腔画像処理方法及びそれらのためのプログラム
WO2013095032A1 (ko) 초음파 영상을 이용하여 정중 시상면을 자동으로 검출하는 방법 및 그 장치
WO2021107748A2 (ko) 결석 제거장치 및 결석 크기 측정방법
WO2022059982A1 (ko) 초음파 진단 시스템
JP4749732B2 (ja) 医用画像処理装置
WO2022114357A1 (ko) 영상 병변 진단 시스템
WO2021010777A1 (ko) 관절염 심각도 정밀 분석 장치 및 방법
WO2019221586A1 (ko) 의료영상 관리 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
WO2022149836A1 (ko) 실시간 영상을 통해 획득되는 병변 판단 시스템의 제어 방법, 장치 및 프로그램
WO2022139068A1 (ko) 딥러닝 기반의 폐질환 진단 보조 시스템 및 딥러닝 기반의 폐질환 진단 보조 방법
WO2023075303A1 (ko) 인공지능 기반의 내시경 진단 보조 시스템 및 이의 제어방법
WO2021112436A1 (ko) 장 정결도의 자동화 계산 장치 및 방법
WO2021187699A1 (ko) 경동맥 초음파 진단 시스템
WO2024101484A1 (ko) 인공지능 기반의 병변 검출 방법 및 장치
WO2017010612A1 (ko) 의료 영상 분석 기반의 병리 진단 예측 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20963751

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20963751

Country of ref document: EP

Kind code of ref document: A1