WO2022019616A1 - 담낭 용종의 진단에 대한 정보 제공 방법 및 이를 이용한 담낭 용종의 진단에 대한 정보 제공용 디바이스 - Google Patents

담낭 용종의 진단에 대한 정보 제공 방법 및 이를 이용한 담낭 용종의 진단에 대한 정보 제공용 디바이스 Download PDF

Info

Publication number
WO2022019616A1
WO2022019616A1 PCT/KR2021/009346 KR2021009346W WO2022019616A1 WO 2022019616 A1 WO2022019616 A1 WO 2022019616A1 KR 2021009346 W KR2021009346 W KR 2021009346W WO 2022019616 A1 WO2022019616 A1 WO 2022019616A1
Authority
WO
WIPO (PCT)
Prior art keywords
gallbladder
polyp
medical image
diagnosis
gallbladder polyp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2021/009346
Other languages
English (en)
French (fr)
Inventor
조재희
장성일
김광기
김영재
김의주
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry Academic Cooperation Foundation of Yonsei University
Industry Academic Cooperation Foundation of Gachon University
Gil Medical Center
Original Assignee
Industry Academic Cooperation Foundation of Yonsei University
Industry Academic Cooperation Foundation of Gachon University
Gil Medical Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industry Academic Cooperation Foundation of Yonsei University, Industry Academic Cooperation Foundation of Gachon University, Gil Medical Center filed Critical Industry Academic Cooperation Foundation of Yonsei University
Priority to US18/017,402 priority Critical patent/US12511738B2/en
Priority to JP2023504125A priority patent/JP7571988B2/ja
Publication of WO2022019616A1 publication Critical patent/WO2022019616A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Clinical applications
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Clinical applications
    • A61B8/0833—Clinical applications involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Clinical applications involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Definitions

  • Gallbladder polyps refers to any type of mass or lump that protrudes into the lumen of the gallbladder, except for gallbladder stones, and may encompass various types and types of lesions.
  • gallbladder polyps can be classified into non-neoplastic GB polyps and neoplastic GB polyps.
  • non-neoplastic polyps may develop more frequently than neoplastic polyps.
  • non-neoplastic polyps are usually less than 10 mm in size and may be multiple.
  • neoplastic polyps can be divided into benign tumors, adenomas and malignant polyps, and are usually single lesions and may be more than 10 mm in size.
  • gallbladder polyps may be diagnosed through abdominal ultrasound examination.
  • abdominal ultrasonography has limitations in distinguishing between neoplastic and non-neoplastic gallbladder polyps.
  • the inventors of the present invention were able to construct the deep learning model to classify whether the neoplastic polyp was an adenomatous polyp or an adenocarcinoma polyp over multiple procedures, rather than classifying the gallbladder polyp by a single procedure. .
  • determining the characteristic for the gallbladder polyp comprises: using a second evaluation model configured to classify a non-neoplastic gallbladder polyp or a neoplastic gallbladder polyp with respect to the gallbladder polyp region, determining benign gallbladder polyps or neoplastic gallbladder polyps.
  • the agent configured to classify an adenocarcinoma gallbladder polyp or adenomatous gallbladder polyp with respect to the neoplastic gallbladder polyp region 3
  • the method may further include determining an adenocarcinogenic gallbladder polyp or an adenomatous gallbladder polyp.
  • the ultrasound medical image may include a scale bar
  • the cropping may include cropping the ROI to a predetermined level based on the scale bar
  • cropping to a predetermined level includes: calculating a size per pixel based on a scale bar; determining a target size based on the size per pixel; and determining a target size based on the target size. to crop the ROI.
  • the method for providing information while determining whether or not the occurrence of gallbladder polyps occurs, the ROI for the first evaluation model is displayed and provided on an ultrasound medical image, or during classification of the characteristics of gallbladder polyps , the method may further include displaying and providing an ROI for the second evaluation model on the ultrasound medical image.
  • the information providing device includes a communication unit configured to receive an ultrasound medical image including a gallbladder region of an object, and a processor connected to the communication unit.
  • the processor determines whether the subject has the gallbladder polyp by using the first evaluation model configured to determine whether the gallbladder polyp occurs based on the ultrasound medical image, and when the gallbladder polyp is determined in the ultrasound medical image, the gallbladder polyp and determine a characteristic for the gallbladder polyp based on the second evaluation model configured to classify the characteristic.
  • the processor is configured to use a second evaluation model configured to classify non-neoplastic gallbladder polyps or neoplastic gallbladder polyps with respect to the area of gallbladder polyps, It may be further configured to determine
  • the processor uses a third evaluation model configured to classify an adenocarcinogenic gallbladder polyp or adenomatous gallbladder polyp with respect to the neoplastic gallbladder polyp region, and to determine a gallbladder polyp or an adenomatous gallbladder polyp.
  • the processor determines a region of interest (ROI) with respect to the ultrasound medical image, crops the ROI, and uses one evaluation model to determine the gallbladder of the subject based on the ROI. It may be further configured to determine whether or not polyps develop.
  • ROI region of interest
  • the processor may be further configured to calculate a size per pixel based on the scale bar, determine a target size based on the size per pixel, and crop the ROI based on the target size. have.
  • the present invention can increase the diagnostic accuracy of gallbladder polyps.
  • the present invention can prevent erroneous interpretation of the progress of gallbladder polyps by medical staff due to inaccurate images, and improve the workflow of medical personnel in actual clinical practice.
  • the effect according to the present invention is not limited by the contents exemplified above, and more various effects are included in the present specification.
  • FIG. 1A exemplarily shows a gallbladder polyp diagnosis system based on a device for providing information on a diagnosis of gallbladder polyp according to an embodiment of the present invention.
  • FIG. 1B exemplarily shows the configuration of a device for providing information on a diagnosis of a gallbladder polyp according to an embodiment of the present invention.
  • 1C exemplarily shows the configuration of a medical staff device that receives and outputs information on gallbladder polyps from a device for providing information on diagnosis of gallbladder polyps according to an embodiment of the present invention.
  • 2A and 2B exemplarily show a procedure of a method for providing information for a diagnosis of a gallbladder polyp according to an embodiment of the present invention.
  • 3A and 3B exemplarily show a procedure for cropping an ROI according to a method for providing information on a diagnosis of a gallbladder polyp according to an embodiment of the present invention.
  • 5A illustrates learning and evaluation data of an evaluation model used in various embodiments of the present invention.
  • 5B to 5E illustrate evaluation results of an evaluation model used in various embodiments of the present invention.
  • expressions such as “have,” “may have,” “includes,” or “may include” refer to the presence of a corresponding characteristic (eg, a numerical value, function, operation, or component such as a part). and does not exclude the presence of additional features.
  • expressions such as “A or B,” “at least one of A or/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together.
  • “A or B,” “at least one of A and B,” or “at least one of A or B” means (1) includes at least one A, (2) includes at least one B; Or (3) it may refer to all cases including both at least one A and at least one B.
  • first may modify various elements, regardless of order and/or importance, and refer to one element. It is used only to distinguish it from other components, and does not limit the components.
  • first user equipment and the second user equipment may represent different user equipment regardless of order or importance.
  • the first component may be named as the second component, and similarly, the second component may also be renamed as the first component.
  • a component eg, a first component is "coupled with/to (operatively or communicatively)" to another component (eg, a second component);
  • another component eg, a second component
  • the certain element may be directly connected to the other element or may be connected through another element (eg, a third element).
  • a component eg, a first component
  • another component eg, a second component
  • a device configured to may mean that the device is “capable of” with another device or parts.
  • a processor configured (or configured to perform) A, B, and C refers to a dedicated processor (eg, an embedded processor) for performing the corresponding operations, or by executing one or more software programs stored in a memory device.
  • a generic-purpose processor eg, a CPU or an application processor
  • the term “individual” may refer to any subject for which a gallbladder polyp is predicted.
  • the subject may be a subject suspected of having a gallbladder polyp.
  • the subject disclosed herein may be any mammal except humans, but is not limited thereto.
  • the term “ultrasound medical image” may refer to an ultrasound medical image obtained from an ultrasound diagnosis device.
  • the ultrasound medical image may be a medical image including the gallbladder region.
  • the ultrasound medical image may be an endoscopic ultrasound medical image including the gallbladder obtained from an endoscopic ultrasound (EUS) diagnostic device, but is not limited thereto.
  • EUS endoscopic ultrasound
  • the format of the endoscopic ultrasound medical image may be dicom, jpeg, bitmap, png, tiff, but is not limited thereto.
  • the ultrasound medical image may be an endoscopic ultrasound video composed of a plurality of cuts.
  • the lesion may be determined for each frame of the video according to the method of providing information on the diagnosis of gallbladder polyp according to an embodiment of the present invention.
  • the present invention can provide a streaming service by performing prediction of a lesion simultaneously with reception of an endoscopic ultrasound medical image from an imaging device such as an endoscopic ultrasound, and can also provide diagnostic information for gallbladder polyps in real time.
  • ROI may refer to a gallbladder polyp suspected region, a region including the gallbladder polyp region, or a region of interest determined in the classification process of an evaluation model.
  • gallbladder polyps may be classified into neoplastic GB polyps and non-neoplastic GB polyps.
  • the third evaluation model may be a model trained to classify whether it is an adenomatous gallbladder polyp or an adenomatous gallbladder polyp by inputting an ROI determined as a neoplastic gallbladder polyp.
  • adenomatous gallbladder polyps may be used interchangeably with adenoma GB polyps, benign gallbladder polyps, or benign polyps within the present specification.
  • the gallbladder polyp diagnosis system uses an evaluation model based on three deep learning algorithms, thereby providing reliable diagnostic results for gallbladder polyps, particularly small-sized gallbladder polyps. .
  • the evaluation models used in various embodiments of the present invention may be further configured to provide a class activation map (CAM) in which a feature map of the last layer is visualized. Accordingly, it may be easy to identify a region suspected of being a lesion region.
  • CAM class activation map
  • 1A exemplarily shows a gallbladder polyp diagnosis system based on a device for providing information on a diagnosis of gallbladder polyp according to an embodiment of the present invention.
  • 1B exemplarily shows the configuration of a device for providing information on a diagnosis of a gallbladder polyp according to an embodiment of the present invention.
  • 1C exemplarily shows the configuration of a medical staff device that receives and outputs information on gallbladder polyps from a device for providing information on diagnosis of gallbladder polyps according to an embodiment of the present invention.
  • the gallbladder polyp diagnosis system 1000 may be a system configured to provide information related to a gallbladder polyp based on an endoscopic ultrasound medical image of a subject.
  • the gallbladder polyp diagnosis system 1000 includes a device for providing information on a diagnosis of a gallbladder polyp configured to determine whether a gallbladder system disease occurs in an individual, based on an endoscopic ultrasound medical image, for diagnosing a gallbladder polyp. It may be composed of a medical staff device 200 for receiving information about the endoscopic ultrasound diagnosis device 300 for providing an endoscopic ultrasound medical image.
  • the device 100 for providing information on a diagnosis of a gallbladder polyp may provide data related to the onset of a gallbladder disease in an individual to the medical staff device 200 .
  • the data provided from the device 100 for providing information on the diagnosis of gallbladder polyps may be provided as a web page through a web browser installed in the medical staff device 200, or may be provided in the form of an application or program. In various embodiments, such data may be provided in a form included in the platform in a client-server environment.
  • the medical staff device 200 is an electronic device that provides a user interface for requesting information on the onset of gallbladder disease to an individual and displaying diagnosis result data, including a smart phone, a tablet PC (Personal Computer), It may include at least one of a notebook computer and/or a PC.
  • the medical staff device 200 may receive a diagnosis result regarding the onset of a gallbladder disease for an individual from the device 100 for providing information on diagnosis of a gallbladder polyp, and may display the received result through a display unit.
  • the diagnosis result is the ROI predicted in the process of classifying the lesion by the evaluation models, the type of lesion (eg, normal, gallbladder stone, gallbladder polyp, neoplastic gallbladder polyp, non-neoplastic gallbladder polyp, adenoma) sexual gallbladder polyps, or adenocarcinogenic gallbladder polyps), and the like.
  • all steps for providing information on the onset of a gallbladder disease to an individual may be performed by the endoscopic ultrasound diagnosis device 300 .
  • the device 100 for providing information on diagnosis of gallbladder polyps includes a storage unit 110 , a communication unit 120 , and a processor 130 .
  • the storage unit 110 may store various data generated while diagnosing whether or not a gallbladder disease occurs in an individual.
  • the storage unit 110 stores an image including an ROI determined as a polyp suspicious region or a high contribution to classification in the classification process of the first evaluation model, the second evaluation model, and the third evaluation model, and saves the ROI. It may be configured to store the cropped image as a reference.
  • the storage unit 110 is a flash memory type, hard disk type, multimedia card micro type, card type memory (eg, SD or XD memory, etc.), RAM, SRAM, ROM, EEPROM, PROM, magnetic memory.
  • a magnetic disk, and an optical disk may include at least one type of storage medium.
  • the processor 130 is configured to classify the characteristics of the gallbladder polyp when the first evaluation model is configured to determine whether the gallbladder polyp occurs based on the endoscopic ultrasound medical image, and/or when the gallbladder polyp is determined in the ultrasound medical image.
  • the second evaluation model, and/or if the neoplastic gallbladder polyp is determined, may be based on a third evaluation model configured to classify the characteristics of the neoplastic gallbladder polyp.
  • the processor 130 may be configured to crop the ROI to a predetermined level based on the scale bar in order to increase the accuracy of diagnosing the gallbladder polyp.
  • the cropped ROI may be input to each evaluation model.
  • the processor 130 may be further configured to calculate a size per pixel based on the scale bar, determine a target size based on the size per pixel, and crop the ROI based on the target size. Accordingly, the processor 130 may classify the characteristics by reflecting the size information of the gallbladder polyp. Furthermore, the processor 130 may determine the size of the polyp in the endoscopic ultrasound medical image.
  • the processor 130 is configured to display the region of interest for the first evaluation model on the ultrasound medical image while determining whether or not the gallbladder polyp develops, or while classifying the characteristics of the gallbladder polyp, interest in the second evaluation model
  • the region may be further configured to be displayed on the ultrasound medical image.
  • the device 100 for providing information on the diagnosis of gallbladder polyps is not limited in hardware design.
  • the processor 130 of the device 100 for providing information on a diagnosis of a gallbladder polyp may be implemented as software. Accordingly, the diagnosis result for the gallbladder polyp may be displayed through the display unit of the endoscopic ultrasound diagnosis device 300 to which the software is connected.
  • the medical staff device 200 includes a communication unit 210 , a display unit 220 , a storage unit 230 , and a processor 240 .
  • the communication unit 210 determines whether the diagnosis result related to the diagnosis of the individual's gallbladder polyp from the device 100 for providing information on the diagnosis of the gallbladder polyp, for example, whether the individual is normal, gallbladder stones, gallbladder polyps, It can be assessed and determined whether a neoplastic gallbladder polyp, non-neoplastic gallbladder polyp, adenomatous gallbladder polyp, or adenocarcinogenic gallbladder polyp has developed. Meanwhile, the communication unit 210 may receive visual information such as a region of interest determined in a lesion prediction process. The information may be displayed and provided with respect to an endoscopic ultrasound medical image, but is not limited thereto.
  • the display unit 220 may include a touch screen, for example, a touch, gesture, proximity, drag, swipe using an electronic pen or a part of the user's body. A swipe or hovering input may be received.
  • the processor 240 is operatively connected to the communication unit 210 , the display unit 220 , and the storage unit 230 , and may perform various commands for providing a user interface for displaying result data.
  • FIGS. 2A and 2B and FIGS. 3A and 3B exemplarily show a procedure of a method for providing information for a diagnosis of a gallbladder polyp according to an embodiment of the present invention.
  • 3A and 3B exemplarily show a procedure for cropping an ROI according to a method for providing information on a diagnosis of a gallbladder polyp according to an embodiment of the present invention.
  • the procedure for diagnosing a gallbladder polyp is as follows. First, an ultrasound medical image of an object is received (S210). Next, it is determined whether or not the subject has a gallbladder polyp based on the ultrasound medical image by the first evaluation model (S220). Then, the characteristics of the gallbladder polyp are determined by the second evaluation model (S230), and finally, the diagnosis result is provided (S240).
  • an endoscopic ultrasound medical image or an ultrasound medical image such as an ultrasound video may be received.
  • the ultrasound medical image may include a gallbladder and a region suspected of a polyp within the gallbladder.
  • the endoscopic ultrasound diagnosis device in the step of receiving the ultrasound medical image ( S210 ), is driven to obtain an endoscopic ultrasound medical image photographed in real time.
  • the endoscopic ultrasound medical image 312 received in operation S210 of receiving the ultrasound medical image is cropped to include the ROI of the polyp suspicious region 3141 .
  • a cropped endoscopic ultrasound medical image 314 is obtained, and the cropped endoscopic ultrasound medical image 314 is input to the first evaluation model 320 .
  • the first evaluation model 320 may provide an ultrasound medical image 322 in which a region of interest is marked, which is a region of high interest in classifying whether it is a gallbladder polyp or a gallbladder stone.
  • CAM class activation map in which a feature map of the last layer for the first evaluation model 320 is visualized may be provided.
  • the polyp suspicious region 3141 of the endoscopic ultrasound medical image 314 cropped as a result of the step S220 in which it is determined whether or not the occurrence of a gallbladder polyp is determined may be classified as a gallbladder stone 324 or a gallbladder polyp 326.
  • the ROI which is a region suspected of being a lesion, may not be determined by the first evaluation model 320 . Accordingly, the first evaluation model 320 may be capable of discriminating a normal individual.
  • the gallbladder polyp may be classified as a non-neoplastic gallbladder polyp or a neoplastic gallbladder polyp by the second evaluation model.
  • the second evaluation model 330 is further configured to provide an ultrasound medical image 332 in which a region of interest is indicated, which is a region of high interest or contribution in the process of classifying whether the polyp is a neoplastic gallbladder or a non-neoplastic gallbladder polyp.
  • a region of interest is indicated, which is a region of high interest or contribution in the process of classifying whether the polyp is a neoplastic gallbladder or a non-neoplastic gallbladder polyp.
  • a CAM in which a feature map of the last layer for the second evaluation model 330 is visualized may be provided. Accordingly, it may be easy to identify the lesion area suspected of being a neoplastic gallbladder polyp or a non-neoplastic gallbladder polyp.
  • the polyp suspicious region 3141 of the endoscopic ultrasound medical image 314 cropped as a result of the step S230 in which the characteristic for the gallbladder polyp is determined is a non-neoplastic gallbladder polyp 334 or a neoplastic gallbladder polyp 336 ) can be classified as
  • a visually explainable gallbladder polyp diagnosis system may be provided. Accordingly, according to the present invention, by providing the gallbladder polyp diagnosis system, it is possible to prevent erroneous interpretation of the diagnosis of gallbladder polyp by medical staff due to inaccurate measurement, and improve the workflow of medical personnel in actual clinical practice. Furthermore, since the medical staff can quickly select an appropriate treatment method according to the evaluation result, the gallbladder polyp diagnosis system of the present invention has the effect of contributing to an early treatment and a good treatment prognosis.
  • the gallbladder polyp diagnosis system may perform lesion prediction at the same time as receiving an endoscopic ultrasound medical image from an imaging device such as an endoscopic ultrasound. That is, the gallbladder polyp diagnosis system may provide a streaming service, and may provide diagnosis information of the gallbladder polyp in real time.
  • 3A and 3B exemplarily show a procedure for cropping an ROI according to a method for providing information on a diagnosis of a gallbladder polyp according to an embodiment of the present invention.
  • a scale bar 352 may be displayed on the endoscopic ultrasound medical image 312 .
  • the scale bar 352 has a plurality of scales displayed, and each scale may be 0.5 cm. Accordingly, it may be possible to estimate the actual size (mm) per pixel by counting the number of pixels on the x-axis (horizontal axis) between the scales.
  • the step of calculating the size per pixel based on the scale bar ( S310 ) the coordinate values of the x-axis for each of two scales selected from the scale bar of the ultrasound medical image are determined, and based on the x-axis coordinates Then, the pixel distance between the scales is calculated. A size per pixel may then be calculated based on the pixel distance and the predetermined size for the scale.
  • coordinate values (x-axis values, y-axis values) of the clicked position may be obtained.
  • the pixel distance of the two scales may be determined based on the difference between the x-axis values.
  • a size per pixel may be determined.
  • the size per pixel may be determined based on the positions on the two scales determined by the manual method.
  • the scale bar is cropped in the endoscopic ultrasound medical image, and the scale bar is cropped by a connected component algorithm.
  • the position of the scale is determined based on the scale of .
  • the size per pixel may then be calculated based on the position of the scale and the predetermined size for the scale.
  • the scale in the endoscopic ultrasound medical image, the scale may be located in a specific area, except for the distance between the scales. Accordingly, a portion of the region where the scale is located in the ultrasound medical image may be cropped, and a connection element algorithm may be applied to pixels having a specific pixel value or more. As a result, the position of the scale may be automatically determined based on the size and position information of the detected objects. The size per pixel may then be calculated based on the position of the scale and the predetermined size for the scale.
  • the size per pixel may be determined based on the positions on the two scales determined by the automatic method.
  • the size of the ROI may be determined.
  • the size of the ROI may be 20 x 20 mm reflecting the size of the polyp. That is, in the step S310 in which the size per pixel is calculated based on the scale bar, the number of pixels corresponding to 20 mm may be inversely calculated through the manually or automatically calculated actual size per pixel.
  • an area corresponding to the target size for example, 20 ⁇ 20 mm may be cropped.
  • the cropped ROI based on the actual measurement information may be input to the first evaluation model, the second evaluation model, or the third evaluation model, and size information of the suspicious lesion may be reflected in classification. Furthermore, it is possible to classify the type of lesion with high accuracy for a polyp of a small size.
  • FIG. 4 exemplarily shows the structure of an evaluation model used in various embodiments of the present invention.
  • the first evaluation model, the second evaluation model, and the third evaluation model used in various embodiments of the present invention may be based on Resnet50.
  • the evaluation models based on Resnet50 include a plurality of convolution layers, a max pooling layer that extracts a local maximum and uses it as a feature, an average pooling layer, and an FC for lesion classification. (Fully Connected) layer may be formed.
  • the evaluation models may be further configured to provide a CAM (class activation map) in which a feature map of the last layer is visualized. Accordingly, it may be easy to identify a region suspected of being a lesion region.
  • the CAM may include a major ROI with a high degree of interest determined by evaluation models, and the major ROI may be normalized to have a value between 0 and 1 according to a degree.
  • the hyperparameter for training the evaluation model may be set to have a batch size of 40, an epoch of 300, and a learning rate of 0.0001, but the parameter values are not limited thereto.
  • the first evaluation model was learned to distinguish gallbladder polyps and gallbladder stones with respect to the polyp suspicious region, but is not limited thereto, and evaluation as 'normal' may also be possible.
  • the training data set includes 145 endoscopic ultrasound images obtained from individuals with neoplastic gallbladder polyps, 691 endoscopic ultrasound images obtained from individuals with non-neoplastic gallbladder polyps, and acquired from individuals with gallbladder stones. It consists of 203 endoscopic ultrasound images.
  • the tumorous gallbladder polyp individual may consist of an adenocarcinoma gallbladder polyp individual and an adenomatous gallbladder polyp individual individual
  • the non-neoplastic gallbladder polyp individual may consist of a cholesterol gallbladder polyp individual and adenomyomatosis individual.
  • the specificity of the classification for non-neoplastic gallbladder polyps and neoplastic gallbladder polyps was 77.4% and the accuracy was 74.4%, and the ratio by all medical staff with a specificity of 44.9% and an accuracy of 65.3%.
  • the second evaluation model has a similar level of classification accuracy when compared to an expert level medical person.
  • the sensitivity of classification for neoplastic gallbladder polyps, adenomatous gallbladder polyps and adenocarcinoma gallbladder polyps was 65.3%, specificity 60.6%, and accuracy 63.8%. This is higher than the classification results for adenomatous gallbladder polyps and adenocarcinoma gallbladder polyps by expert-level medical staff with sensitivity of 61.1%, specificity of 20.9%, and accuracy of 38.1%.
  • These results may mean that, in particular, the diagnostic performance of the third evaluation model in classifying metastatic and adenocarcinogenic gallbladder polyps is higher than that of professional level medical personnel.
  • the gallbladder polyp evaluation system based on a plurality of evaluation models can have a diagnostic ability similar to that of a medical professional at the professional level.
  • the gallbladder polyp diagnosis system based on the deep learning model may enable objective analysis of endoscopic ultrasound medical images regardless of the skill level of medical personnel.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Vascular Medicine (AREA)
  • Physiology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

본 발명은, 프로세서에 의해 구현되는 담낭 용종의 진단에 대한 정보 제공 방법으로서, 개체의 담낭 부위를 포함하는 초음파 의료 영상을 수신하는 단계, 초음파 의료 영상에 기초하여 담낭 용종의 발병 여부를 결정하도록 구성된 제1 평가 모델을 이용하여, 개체의 담낭 용종 발병 여부를 결정하는 단계, 초음파 의료 영상 내에서 담낭 용종이 결정된 경우, 담낭 용종의 특성을분류하도록 구성된 제2 평가 모델에 기초하여, 담낭 용종에 대한 특성을 결정하는 단계를 포함하는, 담낭 용종의 진단에 대한 정보 제공 방법 및 이를 이용한 담낭 용종의 진단에 대한 정보 제공용 디바이스를 제공한다.

Description

담낭 용종의 진단에 대한 정보 제공 방법 및 이를 이용한 담낭 용종의 진단에 대한 정보 제공용 디바이스
본 발명은, 담낭 용종의 진단에 대한 정보 제공 방법 및 이를 이용한 디바이스에 관한 것으로, 보다 구체적으로는 초음파 의료 영상에 기초하여 담낭 용종을 예측하도록 구성된 방법 및 디바이스에 관한 것이다.
담낭 용종 (gallbladder polyps, GB) 은, 담석 (gallbladder stones) 을 제외하고 담낭 내강으로 돌출하는 모든 형태의 종괴, 또는 혹을 의미하며, 다양한 종류와 형태의 병변을 포괄할 수 있다. 이때, 담낭 용종은 비-종양성 용종 (non-neoplastic GB polyps) 과 종양성 용종 (neoplastic GB polyps) 으로 분류될 수 있다.
보다 구체적으로, 비-종양성 용종인 콜레스테롤 용종이 종양성 용종보다 흔하게 발병할 수 있다. 이때, 비-종양성 용종은 크기가 대개 10mm 이하이며 다발성일 수 있다. 한편, 종양성 용종은 양성 종양인 선종과 악성 용종으로 구별될 수 있으며 대개 단일 병변이고 크기가 10mm 이상일 수 있다.
한편, 담낭 용종은 복부 초음파 검사를 통해 진단이 가능할 수 있다. 그러나, 복부 초음파로는 종양성 담낭 용종과 비-종양성 담낭 용종을 구별하는 것에 한계가 있다.
특히, 두 종류의 용종을 구별하는 것은 적절한 치료법을 선택하는 것에 있어서 매우 중요한 문제일 수 있다.
의료 서비스의 향상 등을 위하여 진단의 정확성이 더욱 요구되고 있음에 따라, 담낭 용종을 높은 정확도로 진단하고 분류할 수 있는 새로운 진단 방법의 개발이 요구된다.
발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.
전술한 한계를 극복하기 위한 방안으로, 비-종양성 담낭 용종 및 종양성 담낭 용종의 구별을 위한 조영 증강 초음파 (contrast-enhanced ultrasound, CEUS) 의 이용이 적용되었다.
이때, 조영 증강 초음파는, 일반 복부 초음파에 비하여 두 종류의 담낭 용종을 구별하는 능력이 개선되었으나, 크기가 2cm 미만의 용종을 구별하는 것은 여전히 한계가 있는 것으로 나타났다.
한편, 본 발명의 발명자들은, 이러한 한계를 극복하고자, 내시경 선단부에 US 프로브 (ultrasonogram probe) 가 장착되어 고해상도의 의료 영상을 제공하고, 저반향 포커스들 (hypoechoic foci), 저반향 스팟 (hyperechoic spot), 마이크로시스티스 (microcyst) 및 도플러 흐름 (doppler flow) 을 제공하고, 복잡한 스코어링 시스템 (scoring systems) 의 특성을 갖는 내시경 초음파 (endoscopic ultrasound, EUS) 를 담낭 용종 진단에 더욱 적용하고자 하였다.
이때, 본 발명의 발명자들은 내시경 초음파의 특성에 의해 비-종양성 담낭 용종 및 종양성 담낭 용종에 대한 신뢰도 높은 진단이 가능함을 인지할 수 있었다.
더욱이, 본 발명의 발명자들은, 인공지능 알고리즘 기반의 시스템을 도입함으로써 종래의 복부 초음파에 기초한 담낭 용종 진단 시스템이 갖는 한계 및 문제점들을 보완하고자 하였다. 이에, 본 발명의 발명자들은, 의료인의 숙련도에 관계 없이 내시경 초음파 의료 영상에 대한 객관적인 분석이 가능함을 인지할 수 있었다.
보다 구체적으로, 본 발명의 발명자들은 담낭 용종 진단 시스템에 대하여, 내시경 초음파 의료 영상에 기초하여 담낭 용종을 분류하도록 구성된 딥 러닝 모델을 적용하고자 하였다.
특히, 본 발명의 발명자들은, 딥 러닝 모델의 학습에 있어서, 의료 영상 내에 극히 일부 존재하는 작은 용종에 대한 분류의 정확도를 높이기 위한 방안으로, 병변을 포함하는 ROI (region of interest) 를 설정한 후, 이를 크로핑하여 이용하고자 하였다.
이때, 본 발명의 발명자들은 내시경 초음파 의료 영상의 경우, 픽셀 크기에 대한 정보를 갖고 있지 않다는 점을 인지하였고, 이를 해결하기 위한 방안으로 내시경 초음파 의료 영상에 표시된 스케일 바 (scale bar) 를 이용할 수 있음을 인지할 수 있었다.
그 결과, 픽셀당 실제 크기가 추정될 수 있음에 따라, 목표 크기를 갖는 ROI 영상이 획득될 수 있었고, 본 발명의 발명자들은, 담낭 용종 진단 시스템이 의심 병변의 크기 정보를 반영함에 따라 높은 정확도로 담낭 용종을 분류할 수 있음을 확인할 수 있었다.
더욱이, 본 발명의 발명자들은, 상기 딥 러닝 모델에 대하여, 단일의 절차에 의해 담낭 용종을 분류하는 것이 아닌, 다수의 절차에 걸쳐 종양성 용종이 선종 용종인지 선암 용종인지를 분류하도록 구축할 수 있었다.
이에, 본 발명의 발명자들은 담낭 용종 진단에 있어 용종의 서브타입과 같은 세부적인 특징을 제공함에 따라, 담낭 용종의 진단 정확도를 높이는 것을 기대할 수 있었다.
본 발명의 발명자들은, 새로운 용종 진단 시스템을 제공함으로써, 부정확한 영상으로 인한 의료진의 담낭 용종의 진행에 대한 잘못된 해석을 방지하고, 실제 임상 실무에 있어서 의료진의 워크 플로우를 향상시킬 수 있음을 기대할 수 있었다.
이에, 본 발명이 해결하고자 하는 과제는, 수신된 초음파 의료 영상에 대하여, 딥 러닝 알고리즘에 기초한 복수의 평가 모델을 이용하여 병변 여부를 결정하고, 병변을 분류하도록 구성된, 담낭 용종의 진단에 대한 정보 제공 방법 및 이를 이용한 디바이스를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 담낭 용종의 진단에 대한 정보 제공 방법이 제공된다. 본 정보 제공 방법은, 프로세서에 의해 구현되는 담낭 용종의 진단에 대한 정보 제공 방법으로서, 개체의 담낭 부위를 포함하는 초음파 의료 영상을 수신하는 단계, 초음파 의료 영상에 기초하여 담낭 용종의 발병 여부를 결정하도록 구성된 제1 평가 모델을 이용하여, 개체의 담낭 용종 발병 여부를 결정하는 단계, 초음파 의료 영상 내에서 담낭 용종이 결정된 경우, 담낭 용종의 특성을 분류하도록 구성된 제2 평가 모델에 기초하여, 담낭 용종에 대한 특성을 결정하는 단계를 포함하도록 구성된다.
본 발명의 특징에 따르면, 개체의 담낭 용종 발병 여부를 결정하는 단계는, 초음파 의료 영상에 기초하여 담낭 용종 또는 담낭 결석 (gallbladder stones) 을 분류하도록 더 학습된 상기 제1 평가 모델을 이용하여, 담낭 용종 또는 담낭 결석을 결정하는 단계를 포함할 수 있다.
본 발명의 다른 특징에 따르면, 담낭 용종에 대한 특성을 결정하는 단계는, 담낭 용종 영역에 대하여 비-종양성 담낭 용종 또는 종양성 담낭 용종을 분류하도록 구성된 제2 평가 모델을 이용하여, 비-종양성 담낭 용종 또는 종양성 담낭 용종을 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 담낭 용종에 대한 특성을 결정하는 단계 이후에, 종양성 담낭 용종이 결정된 경우, 종양성 담낭 용종 영역에 대하여 선암성 담낭 용종 또는 선종성 담낭 용종을 분류하도록 구성된 제3 평가 모델을 이용하여, 선암성 담낭 용종 또는 선종성 담낭 용종을 결정하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 정보 제공 방법은, 초음파 의료 영상을 수신하는 단계 이후에, 초음파 의료 영상에 대하여 ROI (region of interest) 를 결정하는 단계, 및 ROI를 크로핑 (cropping) 하는 단계를 더 포함할 수 있다.
이때, 개체의 담낭 용종 발병 여부를 결정하는 단계는, 제1 평가 모델을 이용하여, ROI를 기초로 개체의 담낭 용종 발병 여부를 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 초음파 의료 영상은, 스케일 바 (scale bar) 를 포함하고, 크로핑하는 단계는, 스케일 바에 기초하여 ROI를 미리 결정된 수준으로 크로핑하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 미리 결정된 수준으로 크로핑하는 단계는, 스케일 바에 기초하여 픽셀 당 크기를 산출하는 단계, 픽셀 당 크기에 기초하여, 목표 크기를 결정하는 단계, 및 목표 크기에 기초하여 ROI를 크로핑하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 스케일 바는 미리 결정된 크기를 갖는 눈금을 포함할 수 있다. 이때, 픽셀 당 크기를 산출하는 단계는, 초음파 의료 영상의 스케일 바에서 선택된 두 개의 눈금 각각에 대한 x축의 좌표 값을 결정하는 단계, x축 좌표에 기초하여 픽셀 거리를 산출하는 단계, 및 픽셀 거리 및 미리 결정된 크기에 기초하여 픽셀 당 크기를 산출하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 스케일 바는 미리 결정된 크기를 갖는 눈금을 포함할 수 있다. 이때, 픽셀 당 크기를 산출하는 단계는, 초음파 의료 영상 내에서 스케일 바를 크로핑하는 단계, 연결요소 (connected component) 알고리즘을 이용하여, 크로핑된 스케일 바의 눈금에 기초하여 눈금의 위치를 결정하는 단계, 및 눈금의 위치 및 미리 결정된 크기에 기초하여 픽셀 당 크기를 산출하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 초음파 의료 영상은, 내시경 초음파 (endoscopic ultrasound, EUS) 의료 영상일 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 정보 제공 방법은, 담낭 용종 발병 여부를 결정하는 하는 중에, 제1 평가 모델에 대한 ROI를 초음파 의료 영상에 표시하여 제공하거나, 담낭 용종의 특성을 분류하는 중에, 제2 평가 모델에 대한 ROI를 초음파 의료 영상에 표시하여 제공하는 단계를 더 포함할 수 있다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 담낭 용종의 진단에 대한 정보 제공용 디바이스가 제공된다. 본 정보 제공용 디바이스는, 개체의 담낭 부위를 포함하는 초음파 의료 영상을 수신하도록 구성된 통신부, 및 통신부와 연결된 프로세서를 포함한다. 이때, 프로세서는, 초음파 의료 영상에 기초하여 담낭 용종의 발병 여부를 결정하도록 구성된 제1 평가 모델을 이용하여, 개체의 담낭 용종 발병 여부를 결정하고, 초음파 의료 영상 내에서 담낭 용종이 결정된 경우 담낭 용종의 특성을분류하도록 구성된 제2 평가 모델에 기초하여, 담낭 용종에 대한 특성을 결정하도록 구성된다.
본 발명의 특징에 따르면, 프로세서는, 초음파 의료 영상에 기초하여 담낭 용종 또는 담낭 결석 (gallbladder stones) 을 분류하도록 더 학습된 제1 평가 모델을 이용하여, 담낭 용종 또는 담낭 결석을 결정하도록 구성될 수 있다.
본 발명의 다른 특징에 따르면, 프로세서는, 담낭 용종 영역에 대하여 비-종양성 담낭 용종 또는 종양성 담낭 용종을 분류하도록 구성된 제2 평가 모델을 이용하여, 비-종양성 담낭 용종 또는 종양성 담낭 용종을 결정하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 종양성 담낭 용종이 결정된 경우, 종양성 담낭 용종 영역에 대하여 선암성 담낭 용종 또는 선종성 담낭 용종을 분류하도록 구성된 제3 평가 모델을 이용하여, 선암성 담낭 용종 또는 선종성 담낭 용종을 결정하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 초음파 의료 영상에 대하여 ROI (region of interest) 를 결정하고, ROI를 크로핑 (cropping) 하고, 1 평가 모델을 이용하여, ROI를 기초로 개체의 담낭 용종 발병 여부를 결정하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 초음파 의료 영상은, 스케일 바 (scale bar) 를 포함하고, 프로세서는, 스케일 바에 기초하여 ROI를 미리 결정된 수준으로 크로핑하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 스케일 바에 기초하여 픽셀 당 크기를 산출하고, 픽셀 당 크기에 기초하여, 목표 크기를 결정하고, 목표 크기에 기초하여 ROI를 크로핑하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 스케일 바는 미리 결정된 크기를 갖는 눈금을 포함하고, 프로세서는, 초음파 의료 영상의 스케일 바에서 선택된 두 개의 눈금 각각에 대한 x축의 좌표 값을 결정하고, x축 좌표에 기초하여 픽셀 거리를 산출하고, 픽셀 거리 및 미리 결정된 크기에 기초하여 픽셀 당 크기를 산출하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 스케일 바는 미리 결정된 크기를 갖는 눈금을 포함하고, 프로세서는, 초음파 의료 영상 내에서 스케일 바를 크로핑하고, 연결요소 (connected component) 알고리즘을 이용하여, 크로핑된 스케일 바의 눈금에 기초하여 눈금의 위치를 결정하고, 눈금의 위치 및 미리 결정된 크기에 기초하여 픽셀 당 크기를 산출하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 초음파 의료 영상은, 내시경 초음파 (endoscopic ultrasound, EUS) 의료 영상일 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 담낭 용종 발병 여부를 결정하는 하는 중에, 제1 평가 모델에 대한 ROI를 초음파 의료 영상에 표시하여 제공하거나, 담낭 용종의 특성을 분류하는 중에, 제2 평가 모델에 대한 ROI를 초음파 의료 영상에 표시하여 제공하도록 더 구성될 수 있다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은, 딥 러닝 모델에 기초하여 초음파 의료 영상에 대하여 담낭 용종 여부와 함께 담낭 용종의 특성을 분류하도록 구성된 새로운 담낭 용종 진단 시스템을 제공함으로써 정확한 담낭 용종에 대한 진단 결과를 제공할 수 있다.
이에, 본 발명은 딥 러닝 모델에 기초한 담낭 용종 진단 시스템을 제공함에 따라, 의료인의 숙련도에 관계 없이 내시경 초음파 의료 영상에 대한 객관적인 분석이 가능할 수 있다.
특히, 본 발명은 딥 러닝 모델의 학습에 있어서 병변을 포함하는 ROI (region of interest) 를 설정한 후, ROI를 컷팅한 학습 데이터 세트를 이용함에 따라, 의료 영상 내에 극히 일부 존재하는 작은 용종에 대한 분류의 정확도가 높을 수 있다.
이때, 본 발명은 내시경 초음파 의료 영상에 표시된 스케일 바 (scale bar) 를 이용하도록 구성된 담낭 용종 진단 시스템을 제공함에 따라, 목표 크기를 갖는 ROI 영상이 획득될 수 있고 의심 병변의 크기 정보가 반영될 수 있어, 작은 크기의 담낭 용종을 높은 정확도로 분류할 수 있다.
또한, 본 발명은 단일의 절차에 의해 담낭 용종을 분류하는 것이 아닌, 다수의 절차에 걸쳐 종양성 용종이 양성 종양인지 악성 용종인지를 분류하도록 구성된 딥 러닝 모델을 이용함에 따라, 담낭 용종 진단에 있어 용종의 서브타입과 같은 세부적인 특징이 제공될 수 있다.
이에, 본 발명은 담낭 용종의 진단 정확도를 높일 수 있다.
더욱이 본 발명은 딥 러닝 모델에 기초한 용종 진단 시스템을 제공함으로써, 부정확한 영상으로 인한 의료진의 담낭 용종의 진행에 대한 잘못된 해석을 방지하고, 실제 임상 실무에 있어서 의료진의 워크 플로우를 향상시킬 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1a는 본 발명의 일 실시예에 따른 담낭 용종의 진단에 대한 정보 제공용 디바이스에 기초한 담낭 용종 진단 시스템을 예시적으로 도시한 것이다.
도 1b는 본 발명의 일 실시예에 따른 담낭 용종의 진단에 대한 정보 제공용 디바이스의 구성을 예시적으로 도시한 것이다.
도 1c는 본 발명의 일 실시예에 따른 담낭 용종의 진단에 대한 정보 제공용 디바이스로부터 담낭 용종에 대한 정보를 수신 받아 출력하는 의료진 디바이스의 구성을 예시적으로 도시한 것이다.
도 2a 및 2b는 본 발명의 일 실시예에 따른 담낭 용종의 진단에 대한 정보 제공 방법의 절차를 예시적으로 도시한 것이다.
도 3a 및 3b는 본 발명의 일 실시예에 따른 담낭 용종의 진단에 대한 정보 제공 방법에 따른 ROI의 크로핑하는 절차를 예시적으로 도시한 것이다.
도 4는 본 발명의 다양한 실시예에 이용되는 평가 모델의 구조를 예시적으로 도시한 것이다.
도 5a는 본 발명의 다양한 실시예에 이용되는 평가 모델의 학습 및 평가 데이터를 도시한 것이다.
도 5b 내지 5e는 본 발명의 다양한 실시예에 이용되는 평가 모델의 평가 결과를 도시한 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는(3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~ 를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 디바이스"라는 표현은, 그 디바이스가 다른 디바이스 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된)프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 디바이스에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.
본 명세서에서 사용되는 용어, "개체"는 담낭 용종을 예측하고자 하는 모든 대상을 의미할 수 있다. 예를 들어, 개체는, 담낭 용종 의심 개체일 수도 있다. 이때, 본 명세서 내에 개시된 개체는, 인간을 제외한 모든 포유 동물일 수 있으나, 이에 제한되는 것은 아니다.
본 명세서에서 사용되는 용어, "초음파 의료 영상"은, 초음파 진단 디바이스로부터 획득된 초음파 의료 영상을 의미할 수 있다. 이때, 초음파 의료 영상은 담낭 영역을 포함하는 의료 영상일 수 있다. 바람직하게, 초음파 의료 영상은 내시경 초음파 (endoscopic ultrasound, EUS) 진단 디바이스로부터 획득된, 담낭을 포함하는 내시경 초음파 의료 영상 일 수 있으나, 이에 제한되는 것은 아니다. 이때, 내시경 초음파 의료 영상의 포맷은 dicom, jpeg, bitmap, png, tiff일 수 있으나, 이에 제한되는 것은 아니다.
한편, 초음파 의료 영상은, 복수 개의 컷으로 구성된 내시경 초음파 동영상일 수 있다. 이때, 내시경 초음파 동영상은 본 발명의 일 실시예에 따른 담낭 용종의 진단에 대한 정보 제공 방법에 따라 동영상의 프레임 각각에 대하여 병변이 결정될 수도 있다. 그 결과, 본 발명은 내시경 초음파와 같은 영상 진단 디바이스로부터의 내시경 초음파 의료 영상의 수신과 동시에 병변의 예측을 수행하여 스트리밍 서비스를 제공할 수 있고, 실시간으로 담낭 용종의 진단 정보를 제공할 수도 있다.
본 발명의 일 특징에 따르면, 초음파 의료 영상은, 2차원 영상, 3차원 영상일 수 있다.
본 명세서에서 사용되는 용어, "제1 평가 모델"은 초음파 의료 영상을 입력으로 하여, 담낭 용종의 발병 여부를 출력하도록 구성된 모델일 수 있다.
보다 구체적으로 제1 평가 모델은, 초음파 의료 영상 내의 용종 의심 영역에 대응하는 ROI (region of interest) 를 입력으로 하여, ROI를 담낭 용종인지 또는 담낭 결석인지를 분류하도록 학습된 모델일 수 있다.
이때, 제1 평가 모델에 의해 ROI가 결정되지 않을 경우, 해당 초음파 의료 영상은 정상 개체에 대한 의료 영상일 수 있다. 즉, 제1 평가 모델은, 정상 또는 담낭 용종 또는 담낭 결석을 분류하도록 구성될 수 있다.
한편, 본 명세서에서 사용되는 용어, "ROI"는 담낭 용종 의심 영역, 또는 담낭 용종 영역을 포함하는 영역 또는 평가 모델의 분류 과정에서 결정된 관심 영역을 의미할 수 있다.
이때, ROI는 미리 결정된 크기, 예를 들어 20 x 20mm 또는 196 x 196 픽셀 (pixels) 의 크기로 크로핑되어 제1 평가 모델에 입력될 수 있다. 즉, 제1 평가 모델은, 크로핑된 ROI를 이용함에 따라 매우 작은 크기의 용종을 높은 정확도로 분류할 수 있다.
한편, 미리 결정된 크기는 이에 제한되는 것이 아니며, 검출하고자 하는 용종의 크기, 내시경 초음파 진단 디바이스의 종류에 따라 다양한 범위로 설정될 수 있다.
한편, 담낭 용종은 종양성 담낭 용종 (neoplastic GB polyps) 및 비-종양성 담낭 용종 (non-neoplastic GB polyps) 으로 분류될 수 있다.
본 명세서에서 사용되는 용어, "제2 평가 모델"은, 담낭 용종이 결정된 경우, 초음파 의료 영상을 입력으로 하여, 담낭 용종의 특성을 분류 및 출력하도록 구성된 모델일 수 있다.
보다 구체적으로 제2 평가 모델은, 담낭 용종으로 결정된 ROI 를 입력으로 하여, 담낭 용종이 종양성 담낭 용종인지 또는 비-종양성 담낭 용종인지를 분류하도록 학습된 모델일 수 있다.
이때, 종양성 담낭 용종은, 선종성 담낭 용종 (adenomatous GB polyps) 및 선암성 담낭 용종 (adenocarcinoma GB polyps) 으로 분류될 수 있다.
본 명세서에서 사용되는 용어, "제3 평가 모델"은, 종양성 담낭 용종이 결정된 경우, 초음파 의료 영상을 입력으로 하여, 종양성 담낭 용종의 특성을 분류하도록 구성된 모델일 수 있다.
보다 구체적으로 제3 평가 모델은, 종양성 담낭 용종으로 결정된 ROI 를 입력으로 하여, 선종성 담낭 용종인지 또는 선암성 담낭 용종인지를 분류하도록 학습된 모델일 수 있다.
한편, 선종성 담낭 용종은, 본원 명세서 내에서 아데노마 담낭 용종 (adenoma GB polyps), 양성 담낭 용종, 또는 양성 용종과 상호 교환적으로 이용될 수 있다.
나아가, 선암성 담낭 용종은, 본원 명세서 내에서 샘암종 담낭 용종 (adenocarcinoma GB polyps), 악성 담낭 용종 (malignant GB polyps), 또는 악성 용종과 상호 교환적으로 이용될 수 있다.
한편, 본 발명의 다양한 실시예에 따른 담낭 용종 진단 시스템은, 제1 평가 모델, 제2 평가 모델 및 제3 평가 모델을 순차적으로 이용하여, 최종적으로 종양성 담낭 용종의 특성을 분류하도록 구성될 수 있으나, 이에 제한되는 것은 아니다.
예를 들어, 본 발명의 다양한 실시예에 따른 담낭 용종 진단 시스템에서 단독의 평가 모델, 또는 다양한 조합의 평가 모델이 이용될 수 있다.
즉, 본 발명의 다양한 실시예에 따른 담낭 용종 진단 시스템은, 세 가지 딥 러닝 알고리즘에 기초한 평가 모델을 이용함에 따라, 담낭 용종, 특히 작은 크기의 담낭 용종에 대한 신뢰도 높은 진단 결과를 제공할 수 있다.
특히, 본 발명의 다양한 실시예에 이용되는 평가 모델들은 마지막 레이어의 특징 맵 (feature map) 이 시각화 된 CAM (class activation map) 을 제공하도록 더욱 구성될 수 있다. 이에, 병변 영역으로 의심되는 영역에 대한 확인이 용이할 수 있다.
한편, 본 발명의 다양한 실시예에 따른, 평가 모델들은, Resnet50일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 평가 모델들은 VGG net, R, DenseNet 및, encoder-decoder structure를 갖는 FCN (Fully Convolutional Network), SegNet, DeconvNet, DeepLAB V3+, U-net와 같은 DNN (deep neural network), SqueezeNet, Alexnet, ResNet18, MobileNet-v2, GoogLeNet, Resnet-v2, Resnet50, Resnet101, Inception-v3 중 선택된 적어도 하나의 알고리즘에 기초할 수 있다. 나아가, 상기 평가 모델들은 전술한 알고리즘 중 적어도 두 개의 알고리즘 모델에 기초한 앙상블 모델일 수 도 있다.
이하에서는 도 1a 내지 1c를 참조하여, 본 발명의 일 실시예에 따른 담낭 용종의 진단에 대한 정보 제공용 디바이스에 기초한 담낭 용종 진단 시스템을 설명한다.
도 1a는 본 발명의 일 실시예에 따른 담낭 용종의 진단에 대한 정보 제공용 디바이스에 기초한 담낭 용종 진단 시스템을 예시적으로 도시한 것이다. 도 1b는 본 발명의 일 실시예에 따른 담낭 용종의 진단에 대한 정보 제공용 디바이스의 구성을 예시적으로 도시한 것이다. 도 1c는 본 발명의 일 실시예에 따른 담낭 용종의 진단에 대한 정보 제공용 디바이스로부터 담낭 용종에 대한 정보를 수신 받아 출력하는 의료진 디바이스의 구성을 예시적으로 도시한 것이다.
먼저, 도 1a을 참조하면, 담낭 용종 진단 시스템 (1000) 은, 개체에 대한 내시경 초음파 의료 영상을 기초로 담낭 용종과 관련된 정보를 제공하도록 구성된 시스템일 수 있다. 이때, 담낭 용종 진단 시스템 (1000) 은, 내시경 초음파 의료 영상에 기초하여, 개체에 대한 담낭계 질환의 발병 여부를 결정하도록 구성된 담낭 용종의 진단에 대한 정보 제공용 디바이스 (100), 담낭 용종 진단에 대한 정보를 수신하는 의료진 디바이스 (200) 및 내시경 초음파 의료 영상을 제공하는 내시경 초음파 진단 디바이스 (300) 로 구성될 수 있다.
먼저, 담낭 용종의 진단에 대한 정보 제공용 디바이스 (100) 는 내시경 초음파 진단 디바이스 (300) 로부터 제공된 사용자의 내시경 초음파 의료 영상을 기초로 담낭계 질환의 발병 여부를 진단하기 위해 다양한 연산을 수행하는 범용 컴퓨터, 랩탑, 및/또는 데이터 서버 등을 포함할 수 있다. 이때, 의료진 디바이스 (200) 는 담낭 용종에 대한 웹 페이지를 제공하는 웹 서버 (web server) 또는 모바일 웹 사이트를 제공하는 모바일 웹 서버 (mobile web server) 에 액세스하기 위한 디바이스일 수 있으나, 이에 한정되지 않는다.
보다 구체적으로, 담낭 용종의 진단에 대한 정보 제공용 디바이스 (100) 는 내시경 초음파 진단 디바이스 (300) 로부터 내시경 초음파 의료 영상을 수신하고, 수신된 내시경 초음파 의료 영상으로부터 담낭계 질환의 발병 여부와 연관된 정보를 제공할 수 있다. 이때, 내시경 초음파 진단 디바이스 (300) 는, 복수의 평가 모델을 이용할 수 있고, 각각의 모델에 기초하여 단계적인 (stepwise) 평가를 진행할 수 있다.
담낭 용종의 진단에 대한 정보 제공용 디바이스 (100) 는 개체에 대한 담낭계 질환의 발병과 연관된 데이터를 의료진 디바이스 (200) 로 제공할 수 있다.
이와 같이 담낭 용종의 진단에 대한 정보 제공용 디바이스 (100) 로부터 제공되는 데이터는 의료진 디바이스 (200) 에 설치된 웹 브라우저를 통해 웹 페이지로 제공되거나, 어플리케이션, 또는 프로그램 형태로 제공될 수 있다. 다양한 실시예에서 이러한 데이터는 클라이언트-서버 환경에서 플랫폼에 포함되는 형태로 제공될 수 있다.
다음으로, 의료진 디바이스 (200) 는 개체에 대한 담낭계 질환의 발병에 대한 정보 제공을 요청하고 진단 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하는 전자 디바이스로서, 스마트폰, 태블릿 PC (Personal Computer), 노트북 및/또는 PC 등 중 적어도 하나를 포함할 수 있다.
의료진 디바이스 (200) 는 담낭 용종의 진단에 대한 정보 제공용 디바이스 (100) 로부터 개체에 대한 담낭계 질환의 발병에 관한 진단 결과를 수신하고, 수신된 결과를 표시부를 통해 표시할 수 있다. 여기서, 진단 결과는, 평가 모델들에 의해 병변을 분류하는 과정에서 예측된 ROI, 병변의 종류 (예를 들어, 정상, 담낭 결석, 담낭 용종, 종양성 담낭 용종, 비-종양성 담낭 용종, 선종성 담낭 용종, 또는 선암성 담낭 용종) 등을 포함할 수 있다.
한편, 위의 실시예들에 제한되지 않고, 개체에 대한 담낭계 질환의 발병에 대한 정보 제공에 대한 모든 단계들은 내시경 초음파 진단 디바이스 (300)에서 수행될 수도 있다.
다음으로, 도 1b를 참조하여, 본 발명의 담낭 용종의 진단에 대한 정보 제공용 디바이스 (100) 의 구성 요소에 대하여 구체적으로 설명한다.
도 1b를 참조하면, 담낭 용종의 진단에 대한 정보 제공용 디바이스 (100) 는 저장부 (110), 통신부 (120) 및 프로세서 (130) 를 포함한다.
먼저, 저장부 (110) 는 개체에 대한 담낭계 질환의 발병 여부를 진단하는 중에 생성된 다양한 데이터를 저장할 수 있다. 예를 들어, 저장부 (110) 는 제1 평가 모델, 제2 평가 모델 및 제3 평가 모델의 분류 과정에서 분류에 기여도가 높거나 용종 의심 영역으로 결정된 ROI를 포함하는 영상을 저장하고, ROI를 기준으로 크로핑된 영상을 저장하도록 구성될 수 있다. 다양한 실시예에서 저장부 (110) 는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
통신부 (120) 는 담낭 용종의 진단에 대한 정보 제공용 디바이스 (100) 가 외부 디바이스와 통신이 가능하도록 연결한다. 통신부 (120) 는 유/무선 통신을 이용하여 의료진 디바이스 (200), 나아가 내시경 초음파 진단 디바이스 (300) 와 연결되어 다양한 데이터를 송수신할 수 있다. 구체적으로, 통신부 (120) 는 내시경 초음파 진단 디바이스 (300) 로부터 개체의 내시경 초음파 의료 영상을 수신할 수 있다. 예를 들어, 통신부 (120) 는 내시경 초음파 진단 디바이스 (300) 로부터, 개체 대한 담낭 내시경 초음파 (동)영상을 수신할 수 있다. 나아가, 통신부 (120) 는 의료진 디바이스 (200) 로 진단 결과를 전달할 수 있다.
프로세서 (130) 는 저장부 (110) 및 통신부 (120) 와 동작 가능하게 연결되며, 개체에 대한 내시경 초음파 의료 영상을 분석하기 위한 다양한 명령들을 수행할 수 있다.
구체적으로, 프로세서 (130) 는 통신부 (120) 를 통해 수신된 내시경 초음파 의료 영상에 기초하여 담낭 용종의 발병 여부를 결정하고, 이의 특성을 분류하도록 구성될 수 있다.
이때, 프로세서 (130) 는 내시경 초음파 의료 영상에 기초하여 담낭 용종의 발병 여부를 결정하도록 구성된 제1 평가 모델, 및/또는 초음파 의료 영상 내에서 담낭 용종이 결정된 경우, 담낭 용종의 특성을 분류하도록 구성된 제2 평가 모델, 및/또는 종양성 담낭 용종이 결정된 경우, 종양성 담낭 용종의 특성을 분류하도록 구성된 제3 평가 모델에 기초할 수 있다.
한편, 프로세서 (130) 는, 담낭 용종 진단의 정확도를 높이기 위해, 스케일 바에 기초하여 ROI를 미리 결정된 수준으로 크로핑하도록 구성될 수 있다. 크로핑된 ROI는, 각각의 평가 모델에 입력 가능할 수 있다.
보다 구체적으로, 프로세서 (130) 는, 스케일 바에 기초하여 픽셀 당 크기를 산출하고, 픽셀 당 크기에 기초하여, 목표 크기를 결정하고, 목표 크기에 기초하여 ROI를 크로핑하도록 더 구성될 수 있다. 이에, 프로세서 (130) 는 담낭 용종의 크기 정보를 반영하여 특성을 분류할 수 있다. 더욱이, 프로세서 (130) 는 내시경 초음파 의료 영상 내의 용종에 대한 크기를 결정할 수도 있다.
나아가, 프로세서 (130) 는, 담낭 용종 발병 여부를 결정하는 하는 중에, 제1 평가 모델에 대한 관심 영역을 초음파 의료 영상에 표시하거나, 담낭 용종의 특성을 분류하는 중에, 제2 평가 모델에 대한 관심 영역을 상기 초음파 의료 영상에 표시하도록 더 구성될 수도 있다.
한편, 담낭 용종의 진단에 대한 정보 제공용 디바이스 (100) 는 하드웨어 적으로 설계된 것이 제한되는 것은 아니다. 예를 들어, 담낭 용종의 진단에 대한 정보 제공용 디바이스 (100) 의 프로세서 (130) 는 소프트웨어로 구현될 수 있다. 이에, 담낭 용종에 대한 진단 결과는 상기 소프트웨어가 연결된 내시경 초음파 진단 디바이스 (300) 의 표시부를 통해 표시될 수도 있다.
한편, 도 1c를 함께 참조하면, 의료진 디바이스 (200) 는 통신부 (210), 표시부 (220), 저장부 (230) 및 프로세서 (240) 를 포함한다.
통신부 (210) 는 의료진 디바이스 (200) 가 외부 디바이스와 통신이 가능하도록 두성될 수 있다. 통신부 (210) 는 유/무선 통신을 이용하여 담낭 용종의 진단에 대한 정보 제공용 디바이스 (100) 와 연결되어 담낭 용종의 진단과 연관된 다양한 데이터를 송신할 수 있다. 구체적으로, 통신부 (210) 는 담낭 용종의 진단에 대한 정보 제공용 디바이스 (100) 로부터 개체의 담낭 용종의 진단과 연관된 진단 결과, 예를 들어 개체가 정상 인지를 결정하거나, 담낭 결석, 담낭 용종, 종양성 담낭 용종, 비-종양성 담낭 용종, 선종성 담낭 용종, 또는 선암성 담낭 용종이 발병한 것인지를 평가하고 결정할 수 있다. 한편, 통신부 (210) 는 병변의 예측 과정에서 결정되는 관심 영역 등의 시각적 정보를 수신할 수 있다. 상기 정보들은 내시경 초음파 의료 영상에 대하여 표시되어 제공될 수 있으나, 이에 제한되는 것은 아니다.
표시부 (220) 는 개체의 담낭 용종의 진단과 연관된 진단 결과를 나타내기 위한 다양한 인터페이스 화면을 표시할 수 있다. 예를 들어, 표시부 (220) 는 개체가 정상 인지, 또는 담낭 결석, 담낭 용종, 종양성 담낭 용종, 비-종양성 담낭 용종, 선종성 담낭 용종, 또는 선암성 담낭 용종의 발병 위험도가 있는지를 확률적으로 표시하여 제공할 수 있고, 의심 영역을 내시경 초음파 의료 영상 내에 표시하여 제공할 수도 있다. 더욱이, 표시부 (220) 는 담낭 용종에 대한 크기를 출력할 수도 있다.
다양한 실시예에서 표시부 (220) 는 터치스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치 (touch), 제스처 (gesture), 근접, 드래그 (drag), 스와이프 (swipe) 또는 호버링 (hovering) 입력 등을 수신할 수 있다.
저장부 (230) 는 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 다양한 실시예에서 저장부 (230) 는 플래시 메모리 타입 (flash memory type), 하드디스크 타입 (hard disk type), 멀티미디어 카드 마이크로 타입 (multimedia card micro type), 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램 (Random Access Memory, RAM), SRAM (Static Random Access Memory), 롬 (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
프로세서 (240) 는 통신부 (210), 표시부 (220) 및 저장부 (230) 와 동작 가능하게 연결되며, 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하기 위한 다양한 명령들을 수행할 수 있다.
이하에서는, 도 2a 및 2b, 도 3a 및 3b를 참조하여, 본 발명의 일 실시예에 따른 담낭 용종의 진단에 대한 정보 제공 방법을 구체적으로 설명한다. 도 2a 및 2b는 본 발명의 일 실시예에 따른 담낭 용종의 진단에 대한 정보 제공 방법의 절차를 예시적으로 도시한 것이다. 도 3a 및 3b는 본 발명의 일 실시예에 따른 담낭 용종의 진단에 대한 정보 제공 방법에 따른 ROI의 크로핑하는 절차를 예시적으로 도시한 것이다.
먼저, 도 2a를 참조하면, 본 발명의 일 실시예에 따른 담낭 용종 진단의 절차는 다음과 같다. 먼저, 개체에 대한 초음파 의료 영상이 수신된다 (S210). 그 다음, 제1 평가 모델에 의해 초음파 의료 영상에 기초하여 개체의 담낭 용종 발병 여부가 결정된다 (S220). 그 다음, 제2 평가 모델에 의해 담낭 용종에 대한 특성이 결정되고 (S230), 마지막으로 진단 결과가 제공된다 (S240).
보다 구체적으로, 초음파 의료 영상이 수신되는 단계 (S210) 에서 내시경 초음파 의료 영상, 또는 초음파 동영상과 같은 초음파 의료 영상이 수신될 수 있다. 이때, 초음파 의료 영상은 담낭 및 담낭 내 용종 의심 영역을 포함할 수 있다.
본 발명의 일 실시예에 따르면, 초음파 의료 영상이 수신되는 단계 (S210) 에서, 내시경 초음파 진단 디바이스가 구동되어 실시간으로 촬영된 내시경 초음파 의료 영상이 획득될 수 있다.
다음으로, 담낭 용종의 발병 여부가 결정되는 단계 (S220) 에서, 내시경 초음파 의료 영상, 보다 구체적으로 용종 의심 영역이 크로핑된 이미지를 입력으로 하여 정상인지 또는, 담낭 용종 또는 담낭 결석의 발병 여부 출력하도록 구성된 제1 평가 모델이 이용될 수 있다.
본 발명의 특징에 따르면, 담낭 용종 발병 여부를 결정하는 하는 중에, 제1 평가 모델에 대한 관심 영역이 초음파 의료 영상에 표시되어 출력될 수도 있다.
예를 들어, 도 2b를 참조하면, 초음파 의료 영상이 수신되는 단계 (S210) 에 의해 수신된 내시경 초음파 의료 영상 (312) 은, 용종 의심 영역 (3141) 의 ROI를 포함하도록 크로핑된다. 그 결과, 크로핑된 내시경 초음파 의료 영상 (314) 이 획득되고, 크로핑된 내시경 초음파 의료 영상 (314) 은 제1 평가 모델 (320) 에 입력된다. 이때, 제1 평가 모델 (320) 은, 담낭 용종인지 또는 담낭 결석인지를 분류하는 것에 있어서 관심도가 높은 영역인, 관심 영역이 표시된 초음파 의료 영상 (322) 을 제공할 수 있다. 예를 들어, 제1 평가 모델 (320) 에 대한 마지막 레이어의 특징 맵 (feature map) 이 시각화 된 CAM (class activation map) 이 제공될 수 있다. 이에, 담낭 용종 또는 담낭 결석으로 의심되는 병변 영역에 대한 확인이 용이할 수 있다. 담낭 용종의 발병 여부가 결정되는 단계 (S220) 의 결과로 크로핑된 내시경 초음파 의료 영상 (314) 의 용종 의심 영역 (3141) 은, 담낭 결석 (324) 또는 담낭 용종 (326) 으로 분류될 수 있다. 한편, 정상인 개체의 경우, 제1 평가 모델 (320) 에 의해 병변으로 의심 되는 영역인 ROI의 결정이 일어나지 않을 수 있다. 이에, 제1 평가 모델 (320) 은 정상 개체에 대한 판별이 가능할 수 있다.
다시 도 2a를 참조하면, 담낭 용종에 대한 특성이 결정되는 단계 (S230) 에서, 제2 평가 모델에 의해, 담낭 용종이 비-종양성 담낭 용종 또는 종양성 담낭 용종으로 분류될 수 있다.
예를 들어, 도 2b를 다시 참조하면, 담낭 용종의 발병 여부가 결정되는 단계 (S220) 의 결과로 용종 의심 영역 (3141) 이 담낭 용종 (326) 으로 결정된 경우, 크로핑된 내시경 초음파 의료 영상 (314) 은 다시 제2 평가 모델 (330) 에 입력된다. 이때, 제2 평가 모델 (330) 은, 담낭 용종 영역에 대하여 비-종양성 담낭 용종 또는 종양성 담낭 용종을 분류하도록 구성된 모델일 수 있다. 제2 평가 모델 (330) 은, 종양성 담낭 용종인지 또는 비-종양성 담낭 용종인지를 분류하는 과정에서 관심도 또는 기여도가 높은 영역인, 관심 영역이 표시된 초음파 의료 영상 (332) 을 제공하도록 더욱 구성될 수 있다. 예를 들어, 제2 평가 모델 (330) 에 대한 마지막 레이어의 특징 맵이 시각화 된 CAM이 제공될 수 있다. 이에, 종양성 담낭 용종 또는 비-종양성 담낭 용종으로 의심되는 병변 영역에 대한 확인이 용이할 수 있다. 담낭 용종에 대한 특성이 결정되는 단계 (S230) 의 결과로 크로핑된 내시경 초음파 의료 영상 (314) 의 용종 의심 영역 (3141) 은, 비-종양성 담낭 용종 (334) 또는 종양성 담낭 용종 (336) 으로 분류될 수 있다.
본 발명의 다른 특징에 따르면, 담낭 용종에 대한 특성이 결정되는 단계 (S230) 이후에 종양성 담낭 용종이 결정된 경우, 종양성 담낭 용종 영역에 대하여 악성 종양성 담낭 용종 또는 양성 종양성 담낭 용종을 분류하도록 구성된 제3 평가 모델에 의해 악성 종양성 담낭 용종 또는 양성 종양성 담낭 용종이 분류되는 단계가 더욱 수행될 수 있다.
예를 들어, 도 2b를 다시 참조하면, 담낭 용종에 대한 특성이 결정되는 단계 (S230) 의 결과로 용종 의심 영역 (3141) 이 종양성 담낭 용종 (336) 으로 결정된 경우, 크로핑된 내시경 초음파 의료 영상 (314) 은 다시 제3 평가 모델 (340) 에 입력된다. 이때, 제3 평가 모델 (340) 은, 담낭 용종 영역에 대하여 선종성 담낭 용종 또는 선암성 담낭 용종을 분류하도록 구성된 모델일 수 있다. 제3 평가 모델 (340) 은, 선종성 담낭 용종인지 또는 선암성 담낭 용종인지를 분류하는 과정에서 관심도 또는 기여도가 높은 영역인, 관심 영역이 표시된 초음파 의료 영상 (342) 을 제공하도록 더욱 구성될 수 있다. 예를 들어, 제2 평가 모델 (340) 에 대한 마지막 레이어의 특징 맵이 시각화 된 CAM이 제공될 수 있다. 이에, 선종성 담낭 용종 또는 선암성 담낭 용종으로 의심되는 병변 영역에 대한 확인이 용이할 수 있다. 악성 종양성 담낭 용종 또는 양성 종양성 담낭 용종이 분류되는 단계의 결과로 크로핑된 내시경 초음파 의료 영상 (314) 의 용종 의심 영역 (3141) 은, 선종 용종 (344) 또는 선암 용종 (346) 으로 분류될 수 있다.
다시 도 2a를 참조하면, 진단 결과가 제공되는 단계 (S240) 에서, 개체가 정상 인지, 또는 담낭 결석, 담낭 용종, 종양성 담낭 용종, 비-종양성 담낭 용종, 선종성 담낭 용종, 또는 선암성 담낭 용종의 발병 위험도가 있는지가 확률 적으로 제공될 수 있다. 나아가, 의심 영역이 내시경 초음파 의료 영상 내에 표시되어 제공될 수 있고, 담낭 용종에 대한 크기가 표시되어 제공될 수 도 있다.
이상의 다양한 실시예에 따른 담낭 용종의 진단에 대한 정보 제공 방법에 따라, 시각적으로 설명 가능한 담낭 용종 진단 시스템이 제공될 수 있다. 이에, 본 발명은, 상기 담낭 용종 진단 시스템을 제공함에 따라 부정확한 측정으로 인한 의료진의 담낭 용종의 진단에 대한 잘못된 해석을 방지하고, 실제 임상 실무에 있어서 의료진의 워크 플로우를 향상시킬 수 있다. 나아가, 의료진은 평가 결과에 따른 적절한 치료 방법을 빠르게 선택할 수 있어, 본 발명의 담낭 용종 진단 시스템은 조기 치료 및 좋은 치료 예후에 기여할 수 있는 효과가 있다.
한편, 담낭 용종 진단 시스템은 내시경 초음파와 같은 영상 진단 디바이스로부터의 내시경 초음파 의료 영상의 수신과 동시에 병변의 예측을 수행할 수 있다. 즉, 담낭 용종 진단 시스템은 스트리밍 서비스를 제공할 수 있고, 실시간으로 담낭 용종의 진단 정보를 제공할 수 있다.
이하에서는, 도 3a 및 3b를 참조하여, 본 발명의 다양한 실시예에 이용되는, 제1 평가 모델, 제2 평가 모델 및 제3 평가 모델에 이용되는 ROI를 크로핑하는 단계를 구체적으로 설명한다. 도 3a 및 3b는 본 발명의 일 실시예에 따른 담낭 용종의 진단에 대한 정보 제공 방법에 따른 ROI의 크로핑하는 절차를 예시적으로 도시한 것이다.
이때, 초음파 의료 영상이 내시경 초음파 의료 영상일 경우, 픽셀의 크기의 확인이 어려움에 따라, 본 발명의 일 실시예에 따르면, 내시경 초음파 의료 영상 내의 눈금을 포함하는 스케일 바에 기초하여 픽셀 당 크기의 확인 및 목표 크기의 설정이 가능하다.
도 3a를 참조하면, ROI의 크로핑을 위해, 먼저 스케일 바에 기초하여 픽셀 당 크기가 산출되고 (S310), 픽셀 당 크기에 기초하여, 목표 크기가 결정되고 (S320), 목표 크기에 기초하여 ROI가 크로핑된다 (S330).
보다 구체적으로, 도 3b를 참조하면, 내시경 초음파 의료 영상 (312) 은에 스케일 바 (352) 가 표시될 수 있다. 이때, 스케일 바 (352) 는 복수의 눈금이 표시되어 있는데, 한 칸의 눈금은 0.5 cm일 수 있다. 이에, 눈금 간 x 축 (가로 축) 의 픽셀 개수를 세어 픽셀 당 실제 크기 (mm) 의 추정이 가능할 수 있다.
본 발명의 특징에 따르면, 스케일 바에 기초하여 픽셀 당 크기가 산출되는 단계 (S310) 에서, 초음파 의료 영상의 스케일 바에서 선택된 두 개의 눈금 각각에 대한 x축의 좌표 값이 결정되고, x축 좌표에 기초하여 눈금 간 픽셀 거리가 산출된다. 그 다음, 픽셀 거리 및 눈금에 대하여 미리 결정된 크기에 기초하여 픽셀 당 크기가 산출될 수 있다.
예를 들어, 내시경 초음파 의료 영상에서 스케일 바 내의 두 개 의 눈금을 차례로 클릭하면, 클릭한 위치의 좌표값 (x축 값, y축 값) 이 획득될 수 있다. 그 다음, x축 값의 차이에 기초하여 두 눈금의 픽셀 거리가 결정될 수 있다. 그 다음, 한 칸의 눈금이 0.5cm인 것과 결정된 픽셀 거리에 기초하여, 픽셀 당 크기가 결정될 수 있다.
즉, 수동 방법에 의해 결정된 두 개의 눈금에 위치에 기초하여 픽셀 당 크기가 결정될 수 있다.
본 발명의 다른 특징에 따르면, 스케일 바에 기초하여 픽셀 당 크기가 산출되는 단계 (S310) 에서, 내시경 초음파 의료 영상 내에서 스케일 바가 크로핑되고, 연결요소 (connected component) 알고리즘에 의해 크로핑된 스케일 바의 눈금에 기초하여 눈금의 위치가 결정된다. 그 다음, 눈금의 위치 및 눈금에 대하여 미리 결정된 크기에 기초하여 픽셀 당 크기가 산출될 수 있다.
예를 들어, 내시경 초음파 의료 영상에서 눈금은 눈금 간 거리만 상이할 뿐, 특정 영역에 위치할 수 있다. 이에, 초음파 의료 영상 내에서 눈금이 위치한 영역의 일부가 크로핑 되고, 특정 화소값 이상의 픽셀들을 대상으로 연결 요소 알고리즘이 적용될 수 있다. 그 결과, 검출된 오브젝트들 중 이의 크기 및 위치 정보에 기초하여 눈금의 위치가 자동으로 결정될 수 있다. 그 다음, 눈금의 위치 및 눈금에 대하여 미리 결정된 크기에 기초하여 픽셀 당 크기가 산출될 수 있다.
즉, 자동 방법에 의해 결정된 두 개의 눈금에 위치에 기초하여 픽셀 당 크기가 결정될 수 있다.
다음으로, 목표 크기가 결정되는 단계 (S320) 에서, ROI의 크기가 결정될 수 있다. 예를 들어, ROI의 크기는 용종의 크기를 반영하여 20 x 20 mm일 수 있다. 즉, 스케일 바에 기초하여 픽셀 당 크기가 산출되는 단계 (S310) 에서, 수동 또는 자동으로 산출된 픽셀 당 실제 크기를 통해, 20 mm에 해당하는 픽셀의 개수가 역으로 산출될 수 있다.
마지막으로, 목표 크기에 기초하여 ROI가 크로핑되는 단계 (S330) 에서, 목표 크기, 예를 들어 20 x 20 mm에 대응하는 영역이 크로핑될 수 있다.
실측 정보에 기초하여 크로핑된 ROI는 제1 평가 모델, 제2 평가 모델, 또는 제3 평가 모델에 입력될 수 있고, 분류에 있어서 의심 병변의 크기 정보가 반영될 수 있다. 나아가, 작은 크기의 용종에 대하여 높은 정확도로 병변의 종류를 분류할 수 있다.
이하에서는, 도 4를 참조하여 본 발명의 다양한 실시예에 적용되는 평가 모델의 구조에 대하여 설명한다. 도 4는 본 발명의 다양한 실시예에 이용되는 평가 모델의 구조를 예시적으로 도시한 것이다.
*
*이때, 본 발명의 다양한 실시예에 이용되는 제1 평가 모델, 제2 평가 모델 및 제3 평가 모델은 Resnet50에 기초할 수 있다. 보다 구체적으로, Resnet50에 기초한 평가 모델들은, 복수의 컨볼루션 (convolution) 레이어, 지역적 최대값을 뽑아 특징으로 사용하는 맥스 풀링 (max pooling) 레이어, 에버리지 풀링 (average pooling) 레이어 및 병변 분류를 위한 FC (Fully Connected) 레이어로 이루어질 수 있다.
보다 구체적으로, 평가 모델들에 초음파 의료 영상이 입력되면, 다층의 신경망 구조에 의해, 각각의 평가 모델은, 담낭 결석 또는 담낭 용종, 종양성 담낭 용종 또는 비-종양성 담낭 용종, 선암 담낭 용종 또는 선종 담낭 용종의 2 클래스로 병변을 분류하도록 구성될 수 있다. 그러나 이에 제한되는 것은 아니며, 제1 평가 모델은 정상을 분류할 수도 있다.
이때, 평가 모델들은 마지막 레이어의 특징 맵 (feature map) 이 시각화 된 CAM (class activation map) 을 제공하도록 더욱 구성될 수 있다. 이에, 병변 영역으로 의심되는 영역에 대한 확인이 용이할 수 있다.
예를 들어, CAM은 평가 모델들에 의해 결정된 관심도가 높은 주요 관심 영역을 포함할 수 있는데, 주요 관심 영역은 정도에 따라 0 내지 1사이의 값을 가지도록 정규화될 수도 있다.
한편, 평가 모델의 훈련을 위한 하이퍼 파라미터는 배치 크기가 40, 에폭이 300, 학습률이 0.0001로 설정될 수 있으나, 파라미터의 값은 이에 제한되는 것이 아니다.
나아가, 평가 모델들은 VGG net, R, DenseNet 및, encoder-decoder structure를 갖는 FCN (Fully Convolutional Network), SegNet, DeconvNet, DeepLAB V3+, U-net와 같은 DNN (deep neural network), SqueezeNet, Alexnet, ResNet18, MobileNet-v2, GoogLeNet, Resnet-v2, Resnet101, Inception-v3 중 선택된 적어도 하나의 알고리즘에 기초할 수 있다. 또한, 상기 평가 모델들은 전술한 알고리즘 중 적어도 두 개의 알고리즘 모델에 기초한 앙상블 모델일 수 도 있다.
평가: 본 발명의 다양한 실시예에 이용되는 제1 평가 모델, 제2 평가 모델 및 제3 평가 모델의 평가
이하에서는, 도 5a 내지 5e를 참조하여, 본 발명의 다양한 실시예에 따른 제1 평가 모델, 제2 평가 모델 및 제3 평가 모델의 학습 데이터와 이들의 평가 결과를 설명한다. 도 5a는 본 발명의 다양한 실시예에 이용되는 평가 모델의 학습 및 평가 데이터를 도시한 것이다. 도 5b 내지 5e는 본 발명의 다양한 실시예에 이용되는 평가 모델의 평가 결과를 도시한 것이다.
이때, 제1 평가 모델은, 용종 의심 영역에 대하여 담낭 용종 및 담낭 결석을 구별하도록 학습되었으나, 이에 제한되는 것이 아니며 '정상'으로의 평가 또한 가능할 수 있다.
먼저, 도 5a를 참조하면, 평가 모델 구축을 위해, 670 명의 환자로부터 획득된 1039 장의 영상이 학습용 데이터 셋으로 이용되었다. 보다 구체적으로, 학습용 데이터 셋은 종양성 담낭 용종을 갖는 개체로부터 획득된 145 장의 내시경 초음파 영상, 비-종양성 담낭 용종을 갖는 개체로부터 획득된 691 장의 내시경 초음파 영상, 및 담낭 결석을 갖는 개체로부터 획득된 203 장의 내시경 초음파 영상으로 이루어진다. 이때, 종양성 담낭 용종 개체는, 선암성 담낭 용종 개체와 선종성 담낭 용종 개체로 이루어질 수 있고, 비-종양성 담낭 용종 개체는 콜레스테롤 담낭 용종 개체 및 선근종증 개체로 이루어질 수 있다.
또한, 평가 모델의 검증을 위해, 83 명의 환자로부터 획득된 83 장의 영상이 검증용 데이터 셋으로 이용되었다. 보다 구체적으로, 검증용 데이터 셋은 종양성 담낭 용종을 갖는 개체로부터 획득된 20 장의 내시경 초음파 영상, 비-종양성 담낭 용종을 갖는 개체로부터 획득된 52 장의 내시경 초음파 영상, 및 담낭 결석을 갖는 개체로부터 획득된 11 장의 내시경 초음파 영상으로 이루어진다. 이때, 종양성 담낭 용종 개체는, 선암성 담낭 용종 개체와 선종성 담낭 용종 개체로 이루어질 수 있고, 비-종양성 담낭 용종 개체는 콜레스테롤 담낭 용종 개체 및 선근종증 개체로 이루어질 수 있다.
도 5b의 평가 결과를 참조하면, 담낭 용종 및 담낭 결석을 분류하도록 학습된 제1 평가 모델은, 분류의 민감도 (sensitivity) 가 96.3 %로, 특이도 (specificity) 가 92.9 %로, 정확도 (accuracy) 가 95.7 %로 나타난다. 더욱이, PPV (positive predictive value) 는 98.4 %로, NPV (negative predictive value) 는 79.5 %로 나타나며, 특히 진단 능력과 연관이 있는 AUC (Area Under Curve) 값은 0.99로 매우 높은 수준으로 나타난다. 이러한 결과는, 제1 평가 모델이 담낭 용종과 담낭 결석을 높은 정확도로 분류하며, 분류 결과가 높은 신뢰도를 갖는 다는 것을 의미할 수 있다.
또한, 담낭 용종에 대하여 비-종양성 담낭 용종 및 종양성 담낭 용종을 분류하도록 학습된 제2 평가 모델은, 분류의 민감도가 77.8 %로, 특이도가 91.6 %로, 정확도가 89.8 %로 나타난다. 더욱이, NPV는 96.5 %로 나타나며, 진단 능력과 연관이 있는 AUC 값은 0.891로 높은 수준으로 나타난다. 이러한 결과는, 제2 평가 모델이 비-종양성 담낭 용종 및 종양성 담낭 용종을 높은 정확도로 분류하며, 분류 결과가 높은 신뢰도를 갖는 다는 것을 의미할 수 있다.
나아가, 종양성 담낭 용종에 대하여 선암성 담낭 용종 및 선종성 담낭 용종을 분류하도록 학습된 제3 평가 모델은, 분류의 민감도가 85.6 %로, 정확도가 82.1 %로 나타난다. 더욱이, PPV는 87.4 %로 나타나며, 진단 능력과 연관이 있는 AUC 값은 0.910로 매우 높은 수준으로 나타난다. 이러한 결과는, 제3 평가 모델이 선암성 담낭 용종 및 선종성 담낭 용종을 높은 정확도로 분류하며, 분류 결과가 높은 신뢰도를 갖는 다는 것을 의미할 수 있다.
다음으로, 도 5c를 참조하면, 다양한 실시예에 따른 담낭 용종 진단 시스템에 이용되는 평가 모델들 각각과 전문가, 중급 및 초급의 의료인에 대한 병변 분류 결과가 비교하여 도시된다.
보다 구체적으로, 제1 평가 모델의 담낭 결석 및 담낭 용종에 대한 분류의 민감도는 98.4 %, 정확도는 84.6 %로, 특히 90.9 %의 민감도를 갖는 전체 의료진에 의한 담낭 결석 및 담낭 용종의 분류 결과보다 높은 것으로 나타난다.
제2 평가 모델의 경우, 비-종양성 담낭 용종 및 종양성 담낭 용종에 대한 분류의 특이도가 77.4 %, 정확도가 74.4 %로, 44.9 %의 특이도와 65.3 %의 정확도를 갖는 전체 의료진에 의한 비-종양성 담낭 용종 및 종양성 담낭 용종의 분류 결과보다 높은 것으로 나타난다. 특히, 제2 평가 모델은, 전문가 수준의 의료인과 비교했을 때 유사한 수준의 분류 정확도를 갖는 것으로 나타난다.
제3 평가 모델의 경우, 종양성 담낭 용종을, 선종성 담낭 용종 및 선암성 담낭 용종에 대한 분류의 민감도가 65.3 %, 특이도가 60.6 %, 정확도가 63.8 %로 나타난다. 이는, 민감도가 61.1 % 특이도가 20.9 %, 정확도가 38.1 %인 전문가 수준의 의료진에 의한 선종성 담낭 용종 및 선암성 담낭 용종에 대한 분류 결과보다 높은 것으로 나타난다. 이러한 결과는, 특히, 종성 담낭 용종 및 선암성 담낭 용종을 분류하는 것에 있어서 제3 평가 모델의 진단 성능이, 전문가 수준의 의료인보다 높다는 것을 의미할 수 있다.
도 5d의 (a)를 더욱 참조하면, 실선의 본 발명의 일 실시예에 따른 제2 평가 모델의 종양성 담낭 용종 및 비-종양성 담낭 용종의 분류에 대한 ROC 커브와 함께, 전문가, 중급 및 초급 의료진에 의한 진단 결과가 도시된다. 보다 구체적으로, 제2 평가 모델은 경험이 상대적으로 부족한 초급의 의료진보다 진단 능력이 유의하게 높은 것으로 나타난다.
도 5d의 (b)를 참조하면, 실선의 본 발명의 일 실시예에 따른 제3 평가 모델의 선종성 담낭 용종 및 선암성 담낭 용종의 분류에 대한 ROC 커브와 함께, 전문가, 중급 및 초급 의료진에 의한 진단 결과가 도시된다. 보다 구체적으로, 제3 평가 모델은 전문가보다 진단 능력이 유의하게 높은 것으로 나타난다.
이상의 결과에 따르면, 복수의 평가 모델에 기초한 담낭 용종 평가 시스템은, 전문가 수준의 의료진과 유사한 수준의 진단 능력을 가질 수 있는 것으로 나타난다.
즉, 딥 러닝 모델에 기초한 담낭 용종 진단 시스템은, 의료인의 숙련도에 관계 없이 내시경 초음파 의료 영상에 대한 객관적인 분석이 가능할 수 있다.
따라서, 본 발명은 딥 러닝 모델에 기초한 용종 진단 시스템을 제공함으로써, 부정확한 영상으로 인한 의료진의 담낭 용종의 진행에 대한 잘못된 해석을 방지하고, 실제 임상 실무에 있어서 의료진의 워크 플로우를 향상시킬 수 있다.
다음으로, 도 5e를 참조하면, 제1 평가 모델, 제2 평가 모델 및 제3 평가 모델의 분류 과정에서 분류에 기여도가 높은 영역을 도시하는 CAM 영상이 도시된다.
보다 구체적으로, 도 5e의 (a)를 참조하면, 본 발명의 다양한 실시예에 이용되는 제1 평가 모델에 의해 담낭 결석으로 결정된 영역에 대한 CAM 분석 결과에 따르면, 특정 영역에 대하여 관심도가 높은 것으로 나타난다. 나아가, 도 5e의 (b)를 참조하면, 본 발명의 다양한 실시예에 이용되는 제1 평가 모델에 의해 담낭 용종으로 결정된 영역에 대한 CAM 분석 결과에 따르면, 특정 용종 영역에 대하여 관심도가 높은 것으로 나타난다. 또한, 도 5e의 (c)를 참조하면, 본 발명의 다양한 실시예에 이용되는 제2 평가 모델에 의해 비-종양성 담낭 용종으로 결정된 영역에 대한 CAM 분석 결과에 따르면, 특정 용종 영역에 대하여 관심도가 높은 것으로 나타난다. 또한, 도 5e의 (d)를 참조하면, 본 발명의 다양한 실시예에 이용되는 제2 평가 모델에 의해 종양성 담낭 용종으로 결정된 영역에 대한 CAM 분석 결과에 따르면, 특정 용종 영역에 대하여 관심도가 높은 것으로 나타난다.
이와 같이 평가 모델들은 마지막 레이어의 특징 맵이 시각화 된 CAM 을 제공하도록 더욱 구성될 수 있어, 의료진은 병변 영역으로 의심되는 영역에 대하여 확인할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
*[부호의 설명]
100: 담낭 용종의 진단에 대한 정보 제공용 디바이스
110, 230: 저장부
120, 210: 통신부
130, 240: 프로세서
200: 의료진 디바이스
220: 표시부
300: 내시경 초음파 진단 디바이스
312: 내시경 초음파 의료 영상
314: 크로핑된 내시경 초음파 의료 영상
3141: 용종 의심 영역
320: 제1 평가 모델
322, 332, 334: 관심 영역이 표시된 초음파 의료 영상
324: 담낭 결석
326: 담낭 용종
330: 제2 분류 모델
334: 비-종양성 담낭 용종
336: 종양성 담낭 용종
340: 제3 평가 모델
344: 선종성 담낭 용종
346: 선암성 담낭 용종
352: 스케일 바
[이 발명을 지원한 국가연구개발사업]
[과제고유번호]1711093134
[과제번호]IITP-2020-2017-0-01630
[부처명]과학기술정보통신부
[과제관리(전문)기관명]정보통신기획평가원
[연구사업명]대학ICT연구센터육성지원사업
[연구과제명]의료 빅데이터를 활용한 뇌질환 예측·예방 기술개발 및 전문인력 양성
[기여율]1/1
[과제수행기관명]가천대학교 산학협력단
[연구기간]2019.01.01 ~ 2019.12.31

Claims (22)

  1. 프로세서에 의해 구현되는 용종 진단에 대한 정보 제공 방법으로,
    개체의 담낭 부위를 포함하는 초음파 의료 영상을 수신하는 단계;
    초음파 의료 영상에 기초하여 담낭 용종의 발병 여부를 결정하도록 구성된 제1 평가 모델을 이용하여, 상기 개체의 담낭 용종 발병 여부를 결정하는 단계;
    상기 초음파 의료 영상 내에서 담낭 용종이 결정된 경우, 담낭 용종의 특성을 분류하도록 구성된 제2 평가 모델에 기초하여, 상기 담낭 용종에 대한 특성을 결정하는 단계를 포함하는, 담낭 용종의 진단에 대한 정보 제공 방법.
  2. 제1항에 있어서,
    상기 개체의 담낭 용종 발병 여부를 결정하는 단계는,
    상기 초음파 의료 영상에 기초하여 담낭 용종 또는 담낭 결석 (gallbladder stones) 을 분류하도록 더 학습된 상기 제1 평가 모델을 이용하여, 담낭 용종 또는 담낭 결석을 결정하는 단계를 포함하는, 담낭 용종의 진단에 대한 정보 제공 방법.
  3. 제2항에 있어서,
    상기 담낭 용종에 대한 특성을 결정하는 단계는,
    담낭 용종 영역에 대하여 비-종양성 담낭 용종 또는 종양성 담낭 용종을 분류하도록 구성된 상기 제2 평가 모델을 이용하여, 비-종양성 담낭 용종 또는 종양성 담낭 용종을 결정하는 단계를 포함하는, 담낭 용종의 진단에 대한 정보 제공 방법.
  4. 제3항에 있어서,
    상기 담낭 용종에 대한 특성을 결정하는 단계 이후에,
    종양성 담낭 용종이 결정된 경우, 종양성 담낭 용종 영역에 대하여 선암성 담낭 용종 또는 선종성 담낭 용종을 분류하도록 구성된 제3 평가 모델을 이용하여, 선암성 담낭 용종 또는 선종성 담낭 용종을 결정하는 단계를 더 포함하는, 담낭 용종의 진단에 대한 정보 제공 방법.
  5. 제1항에 있어서,
    상기 초음파 의료 영상을 수신하는 단계 이후에,
    상기 초음파 의료 영상에 대하여 ROI (region of interest) 를 결정하는 단계, 및
    상기 ROI를 크로핑 (cropping) 하는 단계를 더 포함하고,
    상기 개체의 담낭 용종 발병 여부를 결정하는 단계는,
    상기 1 평가 모델을 이용하여, 상기 ROI를 기초로 개체의 담낭 용종 발병 여부를 결정하는 단계를 포함하는, 담낭 용종의 진단에 대한 정보 제공 방법.
  6. 제5항에 있어서,
    상기 초음파 의료 영상은, 스케일 바 (scale bar) 를 포함하고,
    상기 크로핑하는 단계는,
    상기 스케일 바에 기초하여 상기 ROI를 미리 결정된 수준으로 크로핑하는 단계를 포함하는, 담낭 용종의 진단에 대한 정보 제공 방법.
  7. 제6항에 있어서,
    상기 미리 결정된 수준으로 크로핑하는 단계는,
    상기 스케일 바에 기초하여 픽셀 당 크기를 산출하는 단계;
    상기 픽셀 당 크기에 기초하여, 목표 크기를 결정하는 단계, 및
    상기 목표 크기에 기초하여 상기 ROI를 크로핑하는 단계를 포함하는, 담낭 용종의 진단에 대한 정보 제공 방법.
  8. 제7항에 있어서,
    상기 스케일 바는 미리 결정된 크기를 갖는 눈금을 포함하고,
    상기 픽셀 당 크기를 산출하는 단계는,
    상기 초음파 의료 영상의 스케일 바에서 선택된 두 개의 눈금 각각에 대한 x축의 좌표 값을 결정하는 단계;
    상기 x축 좌표에 기초하여 픽셀 거리를 산출하는 단계, 및
    상기 픽셀 거리 및 상기 미리 결정된 크기에 기초하여 상기 픽셀 당 크기를 산출하는 단계를 포함하는, 담낭 용종의 진단에 대한 정보 제공 방법.
  9. 제7항에 있어서,
    상기 스케일 바는 미리 결정된 크기를 갖는 눈금을 포함하고,
    상기 픽셀 당 크기를 산출하는 단계는,
    상기 초음파 의료 영상 내에서 상기 스케일 바를 크로핑하는 단계;
    연결요소 (connected component) 알고리즘을 이용하여, 크로핑된 스케일 바의 눈금에 기초하여 눈금의 위치를 결정하는 단계, 및
    상기 눈금의 위치 및 상기 미리 결정된 크기에 기초하여 상기 픽셀 당 크기를 산출하는 단계를 포함하는, 담낭 용종의 진단에 대한 정보 제공 방법.
  10. 제1항에 있어서,
    상기 초음파 의료 영상은,
    내시경 초음파 (endoscopic ultrasound, EUS) 의료 영상인, 담낭 용종의 진단에 대한 정보 제공 방법.
  11. 제1항에 있어서,
    담낭 용종 발병 여부를 결정하는 하는 중에, 상기 제1 평가 모델에 대한 관심 영역을 상기 초음파 의료 영상에 표시하여 제공하거나,
    상기 담낭 용종의 특성을 분류하는 중에, 상기 제2 평가 모델에 대한 관심 영역을 상기 초음파 의료 영상에 표시하여 제공하는 단계를 더 포함하는, 담낭 용종의 진단에 대한 정보 제공 방법.
  12. 개체의 담낭 부위를 포함하는 초음파 의료 영상을 수신하도록 구성된 통신부, 및
    상기 통신부와 연결된 프로세서를 포함하고,
    상기 프로세서는,
    초음파 의료 영상에 기초하여 담낭 용종의 발병 여부를 결정하도록 구성된 제1 평가 모델을 이용하여, 상기 개체의 담낭 용종 발병 여부를 결정하고, 상기 초음파 의료 영상 내에서 담낭 용종이 결정된 경우 담낭 용종의 특성을분류하도록 구성된 제2 평가 모델에 기초하여, 상기 담낭 용종에 대한 특성을 결정하도록 구성된, 담낭 용종의 진단에 대한 정보 제공용 디바이스.
  13. 제12항에 있어서,
    상기 프로세서는,
    상기 초음파 의료 영상에 기초하여 담낭 용종 또는 담낭 결석 (gallbladder stones) 을 분류하도록 더 학습된 상기 제1 평가 모델을 이용하여, 담낭 용종 또는 담낭 결석을 결정하도록 구성된, 담낭 용종의 진단에 대한 정보 제공용 디바이스.
  14. 제13항에 있어서,
    상기 프로세서는,
    담낭 용종 영역에 대하여 비-종양성 담낭 용종 또는 종양성 담낭 용종을 분류하도록 구성된 상기 제2 평가 모델을 이용하여, 비-종양성 담낭 용종 또는 종양성 담낭 용종을 결정하도록 더 구성된, 담낭 용종의 진단에 대한 정보 제공용 디바이스.
  15. 제14항에 있어서,
    상기 프로세서는,
    종양성 담낭 용종이 결정된 경우, 종양성 담낭 용종 영역에 대하여 선암성 담낭 용종 또는 선종성 담낭 용종을 분류하도록 구성된 제3 평가 모델을 이용하여, 선암성 담낭 용종 또는 선종성 담낭 용종을 결정하도록 더 구성된, 담낭 용종의 진단에 대한 정보 제공용 디바이스.
  16. 제12항에 있어서,
    상기 프로세서는,
    상기 초음파 의료 영상에 대하여 ROI (region of interest) 를 결정하고, 상기 ROI를 크로핑 (cropping) 하고, 상기 1 평가 모델을 이용하여, 상기 ROI를 기초로 개체의 담낭 용종 발병 여부를 결정하도록 더 구성된, 담낭 용종의 진단에 대한 정보 제공용 디바이스.
  17. 제 16항에 있어서,
    상기 초음파 의료 영상은, 스케일 바 (scale bar) 를 포함하고,
    상기 프로세서는,
    상기 스케일 바에 기초하여 상기 ROI를 미리 결정된 수준으로 크로핑하도록 더 구성된, 담낭 용종의 진단에 대한 정보 제공용 디바이스.
  18. 제17항에 있어서,
    상기 프로세서는,
    상기 스케일 바에 기초하여 픽셀 당 크기를 산출하고, 상기 픽셀 당 크기에 기초하여, 목표 크기를 결정하고, 상기 목표 크기에 기초하여 상기 ROI를 크로핑하도록 더 구성된, 담낭 용종의 진단에 대한 정보 제공용 디바이스.
  19. 제18항에 있어서,
    상기 스케일 바는 미리 결정된 크기를 갖는 눈금을 포함하고,
    상기 프로세서는,
    상기 초음파 의료 영상의 스케일 바에서 선택된 두 개의 눈금 각각에 대한 x축의 좌표 값을 결정하고, 상기 x축 좌표에 기초하여 픽셀 거리를 산출하고, 상기 픽셀 거리 및 상기 미리 결정된 크기에 기초하여 상기 픽셀 당 크기를 산출하도록 더 구성된, 담낭 용종의 진단에 대한 정보 제공용 디바이스.
  20. 제18항에 있어서,
    상기 스케일 바는 미리 결정된 크기를 갖는 눈금을 포함하고,
    상기 프로세서는,
    상기 초음파 의료 영상 내에서 상기 스케일 바를 크로핑하고, 연결요소 (connected component) 알고리즘을 이용하여, 크로핑된 스케일 바의 눈금에 기초하여 눈금의 위치를 결정하고, 상기 눈금의 위치 및 상기 미리 결정된 크기에 기초하여 상기 픽셀 당 크기를 산출하도록 더 구성된, 담낭 용종의 진단에 대한 정보 제공용 디바이스.
  21. 상기 초음파 의료 영상은,
    내시경 초음파 (endoscopic ultrasound, EUS) 의료 영상인, 담낭 용종의 진단에 대한 정보 제공용 디바이스.
  22. 제12항에 있어서,
    상기 프로세서는,
    담낭 용종 발병 여부를 결정하는 하는 중에, 상기 제1 평가 모델에 대한 관심 영역을 상기 초음파 의료 영상에 표시하여 제공하거나,
    상기 담낭 용종의 특성을 분류하는 중에, 상기 제2 평가 모델에 대한 관심 영역을 상기 초음파 의료 영상에 표시하여 제공하도록 더 구성된, 담낭 용종의 진단에 대한 정보 제공용 디바이스.
PCT/KR2021/009346 2020-07-22 2021-07-20 담낭 용종의 진단에 대한 정보 제공 방법 및 이를 이용한 담낭 용종의 진단에 대한 정보 제공용 디바이스 Ceased WO2022019616A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/017,402 US12511738B2 (en) 2020-07-22 2021-07-20 Method for providing information about diagnosis of gallbladder polyp and device for providing information about diagnosis of gallbladder polyp using same
JP2023504125A JP7571988B2 (ja) 2020-07-22 2021-07-20 胆嚢ポリープの診断に対する情報提供方法及びそれを用いた胆嚢ポリープの診断に対する情報提供用デバイス

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200090945A KR102485930B1 (ko) 2020-07-22 2020-07-22 담낭 용종의 진단에 대한 정보 제공 방법 및 이를 이용한 담낭 용종의 진단에 대한 정보 제공용 디바이스
KR10-2020-0090945 2020-07-22

Publications (1)

Publication Number Publication Date
WO2022019616A1 true WO2022019616A1 (ko) 2022-01-27

Family

ID=79729629

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/009346 Ceased WO2022019616A1 (ko) 2020-07-22 2021-07-20 담낭 용종의 진단에 대한 정보 제공 방법 및 이를 이용한 담낭 용종의 진단에 대한 정보 제공용 디바이스

Country Status (4)

Country Link
US (1) US12511738B2 (ko)
JP (1) JP7571988B2 (ko)
KR (1) KR102485930B1 (ko)
WO (1) WO2022019616A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12626363B2 (en) * 2021-02-25 2026-05-12 Digestaid—Artificial Intelligence Development, LDA Automatic detection and differentiation of biliary lesions in cholangioscopy images
KR102804927B1 (ko) * 2022-08-08 2025-05-12 주식회사 빔웍스 초음파 영상을 기반으로 병변을 예측하는 방법
KR102780066B1 (ko) * 2022-11-16 2025-03-12 연세대학교 산학협력단 늑골 골절에 대한 정보 제공 방법 및 이를 이용한 디바이스
US12505917B1 (en) * 2024-08-12 2025-12-23 Northwestern Memorial Healthcare Assessment of clinical evaluations from machine learning systems

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140006466A (ko) * 2012-07-05 2014-01-16 주식회사 유비케어 검진소견 분석 장치 및 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101010927B1 (ko) 2008-11-26 2011-01-25 서울대학교산학협력단 전산화단층촬영을 이용한 가상대장내시경에서 자동화된 용종 검출 방법과 이를 이용한 용종 검출 시스템
KR101656582B1 (ko) * 2014-11-25 2016-09-12 재단법인 아산사회복지재단 갑상선암 자동 판별 방법 및 시스템
WO2018068004A1 (en) * 2016-10-07 2018-04-12 Baylor Research Institute Classification of polyps using learned image analysis
KR20180070990A (ko) * 2016-12-19 2018-06-27 삼성메디슨 주식회사 초음파 영상장치 및 그 제어방법
EP3844712A4 (en) 2018-08-31 2022-06-08 The University of British Columbia ULTRASONIC IMAGE ANALYSIS
JP7401088B2 (ja) 2018-12-07 2023-12-19 株式会社根本杏林堂 医用画像処理装置、医用画像処理方法および医用画像処理プログラム
KR102761629B1 (ko) * 2019-03-12 2025-02-03 삼성메디슨 주식회사 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품
WO2021202809A1 (en) * 2020-04-01 2021-10-07 GI Scientific, LLC Systems and methods for diagnosing and/or treating patients
KR102470862B1 (ko) * 2020-07-13 2022-11-24 연세대학교 원주산학협력단 일회용 초음파 탐촉자를 구비한 내시경 영상 진단 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140006466A (ko) * 2012-07-05 2014-01-16 주식회사 유비케어 검진소견 분석 장치 및 방법

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHAE HEE-DONG, LEE JAE YOUNG, JANG JIN-YOUNG, CHANG JIN HO, KANG JEEUN, KANG MEE JOO, HAN JOON KOO: "Photoacoustic Imaging for Differential Diagnosis of Benign Polyps versus Malignant Polyps of the Gallbladder: A Preliminary Study", KOREAN JOURNAL OF RADIOLOGY : OFFICIAL JOURNAL OF THE KOREAN RADIOLOGICAL SOCIETY, KOREA (SOUTH), vol. 18, no. 5, 1 September 2017 (2017-09-01), pages 821 - 827, XP055888963, ISSN: 1229-6929, DOI: 10.3348/kjr.2017.18.5.821 *
JEONG YOUNBEOM, KIM JUNG HOON, CHAE HEE-DONG, PARK SAE-JIN, BAE JAE SEOK, JOO IJIN, HAN JOON KOO: "Deep learning-based decision support system for the diagnosis of neoplastic gallbladder polyps on ultrasonography: Preliminary results", SCIENTIFIC REPORTS, NATURE PUBLISHING GROUP, US, vol. 10, no. 1, 1 December 2020 (2020-12-01), US , pages 7700 - 10, XP055888953, ISSN: 2045-2322, DOI: 10.1038/s41598-020-64205-y *
LEE JUNGYU: "Diagnosis and treatment of asymptomatic gallbladder abnormalities", 2016 SPRING CONFERENCE OF THE KOREAN SOCIETY OF INTERNAL MEDICINE, KOREAN SOCIETY OF INTERNAL MEDICINE, KOREA, 1 January 2016 (2016-01-01) - 22 October 2016 (2016-10-22), Korea, pages 108 - 113, XP055888961 *
MELLNICK VINCENT M., MENIAS CHRISTINE O., SANDRASEGARAN KUMAR, HARA AMY K., KIELAR ANIA Z., BRUNT ELIZABETH M., DOYLE MARIA B. MAJ: "Polypoid Lesions of the Gallbladder: Disease Spectrum with Pathologic Correlation", RADIOGRAPHICS., THE RADIOLOGICAL SOCIETY OF NORTH AMERICA., US, vol. 35, no. 2, 1 March 2015 (2015-03-01), US , pages 387 - 399, XP055888967, ISSN: 0271-5333, DOI: 10.1148/rg.352140095 *

Also Published As

Publication number Publication date
US12511738B2 (en) 2025-12-30
KR20220012462A (ko) 2022-02-04
JP7571988B2 (ja) 2024-10-23
JP2023539718A (ja) 2023-09-19
KR102485930B1 (ko) 2023-01-10
US20230274421A1 (en) 2023-08-31

Similar Documents

Publication Publication Date Title
WO2015080522A1 (en) Method and ultrasound apparatus for marking tumor on ultrasound elastography image
WO2016195417A1 (en) Apparatus and method of processing medical image
WO2019083227A1 (en) MEDICAL IMAGE PROCESSING METHOD, AND MEDICAL IMAGE PROCESSING APPARATUS IMPLEMENTING THE METHOD
WO2021261808A1 (ko) 병변 판독 결과 표시 방법
WO2015088277A1 (ko) 초음파 영상 표시 방법 및 장치
WO2014200230A1 (en) Method and apparatus for image registration
WO2015076607A1 (en) Apparatus and method for processing a medical image of a body lumen
WO2022050713A1 (ko) 흉부 이미지 판독 방법
WO2022124705A1 (ko) 의료 영상 기반 홀로그램 제공 장치 및 방법
WO2021006522A1 (ko) 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법
WO2022139246A1 (ko) 골절 검출 방법 및 이를 이용한 디바이스
WO2023128284A1 (ko) 자궁 경부암의 진단에 대한 정보 제공 방법 및 이를 이용한 자궁 경부암의 진단에 대한 정보 제공용 디바이스
WO2016085236A1 (ko) 갑상선암 자동 판별 방법 및 시스템
WO2022173232A2 (ko) 병변의 발생 위험성을 예측하는 방법 및 시스템
WO2020076133A1 (ko) 암 영역 검출의 유효성 평가 장치
WO2021182726A1 (ko) 초음파 진단 장치 및 그 동작방법
WO2015076508A1 (en) Method and apparatus for displaying ultrasound image
WO2021054518A1 (ko) 인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 진단방법, 장치 및 소프트웨어 프로그램
WO2021107471A1 (ko) 의료 데이터 검색 방법
CN115984228A (zh) 胃镜图像处理方法、装置、电子设备及存储介质
KR20220012462A (ko) 담낭 용종의 진단에 대한 정보 제공 방법 및 이를 이용한 담낭 용종의 진단에 대한 정보 제공용 디바이스
WO2022158908A1 (ko) 병리 이미지 분석 방법 및 시스템
WO2016047867A1 (en) Ultrasound image processing method and ultrasound imaging apparatus thereof
WO2023140475A1 (ko) 가이드 이미지와 복수의 3d 이미지 슬라이스로 구성된 3d 단층촬영 영상 간 병변 위치를 연동하여 제공하는 장치 및 방법
WO2021187725A1 (ko) 초음파 영상 장치 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21845379

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023504125

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21845379

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 18017402

Country of ref document: US