WO2022265197A1 - 인공지능에 기반하여 내시경 영상을 분석하기 위한 방법 및 장치 - Google Patents

인공지능에 기반하여 내시경 영상을 분석하기 위한 방법 및 장치 Download PDF

Info

Publication number
WO2022265197A1
WO2022265197A1 PCT/KR2022/004521 KR2022004521W WO2022265197A1 WO 2022265197 A1 WO2022265197 A1 WO 2022265197A1 KR 2022004521 W KR2022004521 W KR 2022004521W WO 2022265197 A1 WO2022265197 A1 WO 2022265197A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
polyp
image frame
artificial intelligence
server
Prior art date
Application number
PCT/KR2022/004521
Other languages
English (en)
French (fr)
Inventor
김원태
강신욱
이명재
김동민
송우혁
박재명
김준성
Original Assignee
(주)제이엘케이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)제이엘케이 filed Critical (주)제이엘케이
Publication of WO2022265197A1 publication Critical patent/WO2022265197A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Definitions

  • the present invention is for analyzing endoscopic images, and more particularly, relates to a method and apparatus for analyzing endoscopic images based on artificial intelligence (AI).
  • AI artificial intelligence
  • AI Artificial intelligence
  • ANN artificial neural network
  • an artificial neural network consists of an input layer, a hidden layer, and an output layer.
  • Each layer is composed of neurons, and the neurons of each layer are connected to the output of the neurons of the previous layer.
  • a value obtained by adding a bias to the inner product of each output value of neurons in the previous layer and the corresponding connection weight is calculated as a generally non-linear activation function. and the output value is passed to the neurons in the next layer.
  • An object of the present invention is to provide a method and apparatus for effectively analyzing an endoscopic image using artificial intelligence technology.
  • An object of the present invention is to provide a method and apparatus for detecting a polyp in real time in an endoscopic image using artificial intelligence technology.
  • a method of operating a server that analyzes an endoscopic image includes determining whether a first image frame photographed through an endoscopic device has sharpness equal to or higher than a critical level, and if the sharpness is equal to or higher than the critical level, , determining the region of the polyp in the first image frame, determining whether an object included in the region is another target other than the polyp, and classifying the type of the polyp if the target included in the region is a polyp and transmitting information about the location and size of the area and the type of the polyp.
  • whether the first image frame has sharpness equal to or higher than a threshold level is obtained by blurring the first image and the first image included in the first image frame. It can be determined based on the second image to be.
  • determining whether the first image frame has sharpness equal to or higher than a threshold level may include generating comparison indices for comparing the first image and the second image; and The method may include generating output data indicating whether to detect polyps in the first image frame by using a first artificial intelligence model from input data based on comparison indices.
  • the input data may include dimensionally reduced information obtained by principal component analysis of the comparison indices.
  • the region may be indicated by a rectangular bounding box.
  • the step of determining whether the object included in the area is another object other than the polyp includes the object included in the location based on pixel values of some of the images included in the bounding box. It may include a step of confirming whether the polyp is not a target other than the polyp.
  • the type of the polyp may be one of a first type requiring resection and a second type requiring no resection.
  • the method includes determining a region of a polyp in a second image frame taken prior to the first image frame, and transmitting information about the location and size of the region. can include more.
  • the determining of the region of the polyp in the first image frame may include determining a candidate region obtained by extending the region determined in the second image frame, and the first image frame.
  • the method may include determining a region of the polyp in a portion corresponding to the candidate region.
  • the area of the polyp, whether or not an object included in the area is other than a polyp, and classifying the type of the polyp include at least one It is performed based on an artificial intelligence model, and the at least one artificial intelligence model is learned using learning data generated based on images captured by the endoscope equipment and other endoscope equipment, the learning data, the endoscope equipment Compensated images may be included based on the first image taken from and the second image taken from the other endoscope equipment.
  • a server for analyzing an endoscopic image includes a communication unit and a processor, wherein the processor determines whether a first image frame photographed through the endoscopic device has sharpness equal to or higher than a threshold level, and , If it has sharpness equal to or higher than the threshold level, it determines the area of the polyp in the first image frame, determines whether an object included in the area is another object other than the polyp, and if the object included in the area is a polyp, The type of the polyp may be classified, and information on the location and size of the existing region and the type of the polyp may be controlled to be transmitted.
  • whether the first image frame has sharpness equal to or higher than a threshold level is obtained by blurring the first image and the first image included in the first image frame. It can be determined based on the second image to be.
  • the processor generates comparison indices for comparison between the first image and the second image, and uses a first artificial intelligence model from input data based on the comparison indices.
  • Output data representing whether to detect polyps in the first image frame may be generated.
  • the input data may include dimensionally reduced information obtained by principal component analysis of the comparison indices.
  • the region may be indicated by a rectangular bounding box.
  • the processor may determine whether an object included in the location is an object other than a polyp based on pixel values of a part of an image included in the bounding box.
  • the type of the polyp may be one of a first type requiring resection and a second type requiring no resection.
  • the processor may determine a region of the polyp in a second image frame captured prior to the first image frame, and may transmit information about the location and size of the region. .
  • the processor determines a candidate region obtained by extending the determined region in the second image frame
  • the region of the polyp may be determined in a portion corresponding to the candidate region in the first image frame.
  • the area of the polyp, whether or not an object included in the area is other than a polyp, and classifying the type of the polyp include at least one It is performed based on an artificial intelligence model, and the at least one artificial intelligence model is learned using learning data generated based on images captured by the endoscope equipment and other endoscope equipment, the learning data, the endoscope equipment Compensated images may be included based on the first image taken from and the second image taken from the other endoscope equipment.
  • polyps can be more effectively detected from endoscopic images.
  • FIG. 1 shows the structure of a system for operating an artificial intelligence model according to an embodiment of the present invention.
  • FIG. 2 shows the structure of an artificial neural network applicable to a system according to an embodiment of the present invention.
  • FIG 3 shows an overview of a system for endoscopic image analysis according to an embodiment of the present invention.
  • FIG. 4 illustrates an example of a procedure for analyzing an endoscopic image in a system according to an embodiment of the present invention.
  • 5A illustrates an example of a procedure for performing preprocessing for classifying an analysis target image in a system according to an embodiment of the present invention.
  • 5B shows an example of images before and after blurring for preprocessing in a system according to an embodiment of the present invention.
  • 5C illustrates an example of a result of principal component analysis on image frames in a system according to an embodiment of the present invention.
  • FIG. 6 illustrates an example of a procedure for adjusting the amount of computation required for endoscopic image analysis in a system according to an embodiment of the present invention.
  • FIG. 7 illustrates an example of a procedure for displaying a polyp detected from an endoscopic image in the system according to an embodiment of the present invention.
  • FIG. 8 illustrates an example of a procedure for learning an artificial intelligence model in a system according to an embodiment of the present invention.
  • FIG 9 illustrates an example of a procedure for reporting an error on a polyp detection result in the system according to an embodiment of the present invention.
  • the present invention proposes a technique for analyzing endoscopic images based on artificial intelligence technology. Specifically, the present invention relates to a technique for detecting and classifying a lesion (eg, a polyp) from an image provided from an endoscope device that photographs the large intestine of the human body.
  • a lesion eg, a polyp
  • FIG. 1 shows a network structure for operating an artificial intelligence model according to an embodiment of the present invention.
  • a network for operating an artificial intelligence model includes a test device 110 and a server 120 connected to a communication network. 1 illustrates one inspection device 110, two or more inspection devices may exist.
  • the examination device 110 is a device capable of photographing internal organs (eg, stomach, large intestine, etc.) or the inside of a body cavity, and includes a camera for photographing, a processor for image processing, and a display unit for displaying images.
  • the examination device 110 may further include components generally required as endoscope equipment.
  • the inspection device 110 may include a first display unit displaying a captured image and a second display unit displaying an image obtained by adding analysis results to the captured image.
  • the second display unit may be implemented to be included in a separate device not shown in FIG. 1 .
  • the server 120 is a device that performs inference using at least one artificial intelligence model according to embodiments of the present invention. That is, the server 120 may have an artificial intelligence model including an artificial neural network for reasoning and operate the artificial intelligence model. An example of an artificial neural network applicable to the present invention will be described with reference to FIG. 2 below. In addition, the server 120 may perform learning for the artificial intelligence model using the learning data.
  • the server 120 may be a local server existing in a local network or a remote access server (eg, a cloud server) connected through an external network.
  • the server 120 may include a communication unit for communication, a storage unit for storing data and programs, and a processor for control.
  • the examination device 110 provides the captured image to the server 120 through a communication network, and the server 120 analyzes the image using at least one artificial intelligence model to analyze the lesion (e.g., Polyps) are detected and classified.
  • the analysis result is provided to the testing device 110, and the testing device 110 may receive and display the analysis result.
  • the function of the server 120 may be provided by the testing device 110 .
  • an artificial neural network includes an input layer 210, at least one hidden layer 220, and an output layer 230.
  • Each of the layers 210, 220, and 230 is composed of a plurality of nodes, and each node is connected to an output of at least one node belonging to the previous layer.
  • Each node adds a bias to the inner product of each output value of the nodes in the previous layer and the corresponding connection weight, and then generates a non-linear activation function
  • the output value multiplied by is delivered to at least one neuron in the next layer.
  • Artificial neural network models used in various embodiments of the present invention include a fully convolutional neural network, a convolutional neural network, a recurrent neural network, and a restricted Boltzmann machine (RBM). ) and at least one of a deep belief neural network (DBN), but is not limited thereto.
  • a deep learning-based model may be applied to extract features of an image, and a machine learning-based model may be applied when the image is classified or recognized based on the extracted features.
  • the machine learning-based model may include a Support Vector Machine (SVM), AdaBoost, and the like, but is not limited thereto.
  • FIG. 3 shows an overview of a system for endoscopic image analysis according to an embodiment of the present invention.
  • FIG. 3 illustrates a process of processing an image captured by the endoscope equipment 310 (eg, the examination device 110a or 110b of FIG. 1 ).
  • the endoscope equipment 310 eg, the examination device 110a or 110b of FIG. 1 .
  • an image captured by the endoscope equipment 310 is converted into a plurality of image frames through encoding.
  • the image frames are provided as input data to algorithm 320a and processed by algorithm 320a.
  • a plurality of algorithms 320a, 320b, and 320c may be used in chain.
  • Each of the algorithms 320a, 320b, and 320c may be an algorithm implemented as a learned artificial intelligence model or an algorithm designed without learning.
  • the plurality of algorithms 320a to 320d may provide functions such as pre-processing of image frames, determination of polyps, post-processing of determination results, and classification.
  • the first algorithm 320a may be an artificial intelligence model that provides a function of excluding frames inappropriate for reading
  • the second algorithm 320b may be an artificial intelligence model that provides a function of finding and displaying the location of a polyp.
  • the third algorithm 320c may be an artificial intelligence model that provides a function of excluding foreign substances misdiagnosed as polyps
  • the fourth algorithm 320d may be an artificial intelligence model that provides a function of classifying polyps according to necessary measures.
  • some of the plurality of algorithms 320a, 320b, and 320c may be adaptively excluded or other algorithms may be adaptively added.
  • a detection result of a lesion (eg, polyp) generated through the plurality of algorithms 320a, 320b, and 320c may be displayed together with an image captured through the endoscopy equipment 310.
  • the endoscope device 310 may input an image being captured to an algorithm in real time and simultaneously display a detection result while capturing the image. That is, the user of the endoscope apparatus 310 may be provided with detection results by the plurality of algorithms 320a, 320b, and 320c at the same time while observing an image through photographing.
  • detection results of lesions generated through the plurality of algorithms 320a to 320d may be provided to other devices (not shown). Another device may obtain a detection result and an image, and display an image to which the detection result is added.
  • the output of the plurality of algorithms 320a to 320d may include an image to which a bounding box indicating the location of the lesion is added.
  • the outputs of the plurality of algorithms 320a to 320d include position and size data of a bounding box indicating the position of a lesion for each image frame, and the captured image may be provided from the endoscope equipment 310 .
  • the user can check the original image captured through the endoscope device 310 and the image to which the detection result is added through a separate device.
  • the endoscope device 310 may include two display units and display both the original image and the image to which the detection result is added through the two display units.
  • FIG. 4 illustrates an example of a procedure for analyzing an endoscopic image in a system according to an embodiment of the present invention. 4 illustrates an operating method of a server (eg, the server 120 of FIG. 1 ).
  • the server performs preprocessing to exclude inappropriate frames from among input frames. That is, the server receives input frames including endoscope images from the inspection device (eg, the inspection device 110 of FIG. 1 ) and classifies the received input frames.
  • an inappropriate frame may be understood as a frame including an image that is not suitable for use in polyp detection, and specifically, a frame including an image with severe light reflection, out of focus, or severe shaking. That is, an inappropriate frame may be understood as a frame including an image having sharpness below a critical level.
  • the server may use an artificial intelligence model for preprocessing. For example, the server may perform preprocessing using an artificial intelligence model based on a support vector machine algorithm.
  • the server determines the position of the polyp in the input frames. That is, the server may extract input data from each input frame and generate output data from the extracted input data using an artificial intelligence model. That is, the server may infer the position of the polyp using an artificial intelligence model.
  • the input data includes pixel values of an input frame or values derived from pixel values.
  • the position of the polyp is detected in units of areas of a predetermined shape (eg, square). That is, the output data may include a bounding box indicating the position of the polyp in the image. Accordingly, faster detection is possible in preparation for the case of detecting an accurate boundary of the polyp.
  • the server determines at least one polyp area in at least one input frame.
  • the server performs post-processing on the polyp area. That is, the server distinguishes objects other than the polyp by analyzing the region of at least one detected polyp. For example, other substances may include foreign substances such as food debris and air bubbles. That is, the polyp area determined in step S403 may not be finally determined as a polyp. Accordingly, the polyp region determined in step S403 is referred to as a polyp candidate region, and the region remaining after the post-processing in step S405 may be determined as the final polyp region.
  • the server may use an artificial intelligence model for post-processing. For example, the server may perform post-processing using an artificial intelligence model based on a convolutional neural network (CNN). At this time, the input data to the artificial intelligence model includes pixel values inside the bounding box or values derived from the pixel values.
  • CNN convolutional neural network
  • the server performs detailed classification on polyps.
  • the detailed classification means a classification according to necessary measures for polyps.
  • the server may classify the detected polyps into a first type that requires resection (eg, adenoma) and a second type that does not require resection (eg, hyperplastic polyp).
  • the server may use an artificial intelligence model for detailed classification.
  • the server may perform detailed classification using an artificial intelligence model based on CNN.
  • the input data to the artificial intelligence model includes pixel values inside the bounding box or values derived from the pixel values.
  • step S409 the server outputs the final detection result. That is, the server transmits data representing the detection result to the testing device so that the testing device can display the final detection result in real time.
  • the data includes the location of the polyp and a detailed classification result of the polyp, and accordingly, the examination device may display an indicator indicating the detection result on the image. At this time, the displayed indicator may be expressed differently according to the detailed classification result.
  • image frames are classified through preprocessing, and only image frames including images suitable for use in polyp detection may be analyzed.
  • Various techniques can be applied for pretreatment. An embodiment of the preprocessing is described below with reference to FIGS. 5A to 5C.
  • 5A illustrates an example of a procedure for performing preprocessing for classifying an analysis target image in a system according to an embodiment of the present invention.
  • 5A illustrates an operating method of a server (eg, server 120 of FIG. 1 ). The procedure illustrated in FIG. 5A is performed for each frame. Accordingly, when a plurality of image frames are to be analyzed, the procedure illustrated in FIG. 5A can be repeated.
  • the server blurs the image included in the frame.
  • the server may obtain the original image before the blur and the blurred image.
  • FIG. 5B shows an example of images before and after blurring for preprocessing in a system according to an embodiment of the present invention.
  • a blurry image 502a and a clear image 502b are converted into blurred images 504a and 504b through blurring, respectively, for reasons such as out of focus.
  • the sharp image 502b and the blurred image 504b show a difference that can be discerned with the naked eye, but the blurry image 502a and the blurred image 504a have a large difference do not show
  • the server generates at least one comparison index between the image before blurring and the image after blurring. That is, the server generates at least one index for comparison in order to convert the degree of change between the image before blurring and the image after blurring into data.
  • at least one comparison index may include at least one of Structural Similarity (SSIM), Normalized Correlation Coefficient (NCC), Sum of Squared Difference (SSD), and Root Mean Squared Error (RMSE).
  • SSIM Structural Similarity
  • NCC Normalized Correlation Coefficient
  • SSD Sum of Squared Difference
  • RMSE Root Mean Squared Error
  • the server classifies the image using at least one comparison index. That is, the server obtains a comparison result from at least one comparison index generated by using the learned AI model for classification.
  • the artificial intelligence model provides appropriate or inappropriate output data for an image frame, and the server may classify images based on the output data.
  • the server may reduce the dimension of information by performing principal component analysis on the comparison indices and input the dimensionally reduced information to the artificial intelligence model.
  • a trained artificial intelligence model is required.
  • the artificial intelligence model can be trained using the comparison metrics of labeled clear images and blurry images.
  • FIG. 5C illustrates an example of a principal component analysis result for image frames in the system according to an embodiment of the present invention. Referring to FIG. 5C , it is confirmed that frames excluded by preprocessing and frames maintained after preprocessing form separate clusters. Accordingly, the artificial intelligence model may be designed to output a classification result based on boundary values of clusters as shown in FIG. 5C.
  • 6 illustrates an example of a procedure for adjusting the amount of computation required for endoscopic image analysis in a system according to an embodiment of the present invention. 6 illustrates an operating method of a server (eg, the server 120 of FIG. 1 ).
  • step S601 the server checks the image change speed between input frames.
  • An image change speed between input frames may be evaluated based on difference values of pixel values.
  • the speed of image change between input frames may be evaluated based on the speed at which feature points of an image move during a plurality of input frames. It can be understood that the rapid change of the image requires a shorter response time to secure the real-time experience of the user.
  • the response time means a time from when an image frame is generated until an image to which a detection result is added is output.
  • step S603 the server checks the requested response time corresponding to the image change speed.
  • a mapping table is defined in advance so that the request response time is shorter as the image change speed increases, and the server can check the request response time by referring to the mapping table.
  • step S605 the server compares the current response time and the requested response time. If the current response time is equal to or less than the requested response time, the server returns to step S601 and continuously monitors the requested response time according to the image change speed and the current response time.
  • the server performs an operation amount reduction measure. Measures to reduce the amount of computation can be defined in various ways.
  • the calculation amount reduction measure may be defined by omitting some analysis steps. For example, while performing the procedure of FIG. 4 , the server may omit the post-processing operation of step S405. In this case, cases in which a foreign substance is misdiagnosed as a polyp may increase, but response time may decrease.
  • the measure for reducing the amount of calculations may be defined in such a way that results for a part of the polyp detection and classification procedure are displayed first, and results for the rest are subsequently displayed. In this case, as a result, the time until all calculations are completed does not decrease, but the primary judgment can be provided to the user more quickly, and the perceived real-time can be improved.
  • the perceived real-time can be maintained by reducing the amount of computation.
  • a corresponding action may be performed. For example, a situation in which a user stops movement of an endoscope may occur in order to closely observe an affected part at a specific location during endoscope imaging. In this case, the speed of change of the image is very slow or stopped, and accordingly, similar or identical image frames may be repeatedly generated. In this case, since image frames including the same image are stored redundantly, the server avoids repetitive storage of image frames in order to reduce the time required to store the image frames in the storage medium and the waste of storage space.
  • the storage and analysis of image frames may be paused or the storage and analysis cycle may be increased.
  • the server may temporarily stop storing and analyzing the frame if there is no change in the image, and increase the storage and analysis cycle of the image frame in proportion to the change speed if the change speed of the image is less than a threshold value.
  • an operation amount reduction measure may be applied.
  • a measure for reducing the amount of computation it is possible to display analysis results step by step. For example, a method of dividing the steps constituting the entire procedure into a plurality of performance groups and sequentially displaying analysis results whenever each performance group is completed may be applied. However, in this case, it is preferable that the execution groups are designed so that the analysis result of the previous execution group can accelerate the operation of the next execution group. An embodiment using a plurality of performance groups will be described with reference to FIG. 7 below.
  • 7 illustrates an example of a procedure for displaying a polyp detected from an endoscopic image in the system according to an embodiment of the present invention. 7 illustrates an operating method of a server (eg, the server 120 of FIG. 1 ).
  • the server detects a suspicious area using the first artificial intelligence model.
  • the server may perform preprocessing by excluding inappropriate image frames and detect the position of polyps in the remaining image frames. At this time, the entire area of the image frame becomes the subject of analysis.
  • step S703 the server controls to display a first indicator representing a suspicious area.
  • the server selects a partial region of the image determined to be a polyp as a suspect region and provides first information indicating the suspected region. That is, the server instructs the location and size of the suspicious region so that a device displaying the detection result (eg, a test device or a separate display device) can display the image to which the suspicious region is added using the first indicator. 1 Send information. If the server is a device having a display unit and displaying a detection result, this step may be understood as an operation of displaying an image to which the first indicator is added.
  • step S705 the server determines whether polyps are present using the second artificial intelligence model. That is, the server checks whether the subject of the image included in the suspicious area is a polyp.
  • this step may include the above-described post-processing operation (eg, step S405 of FIG. 4 ).
  • this step may be performed on an image frame not yet displayed to the user.
  • the server may use the image of the subject previously included in the suspicious area to reduce candidate areas for discovering the suspicious area in the image frame analyzed in this step.
  • the server determines the candidate region by expanding the suspect region at a predetermined rate in the image frame in which the suspected region was previously expressed, and then infers the suspicious region from some cold regions corresponding to the candidate region in the next image frame, and determines whether it is a polyp. can do.
  • the server checks whether the subject in the suspected area is determined to be a polyp.
  • step S709 the server controls to display a second indicator indicating the polyp.
  • step S711 the server controls to display a third indicator indicating that it is not a polyp.
  • the server controls to display the second indicator or the third indicator. That is, the server transmits second information about whether or not the subject included in the suspect area is a polyp.
  • the first indicator, the second indicator, and the third indicator are defined to be visually distinguishable from each other.
  • the first indicator, the second indicator, and the third indicator are bounding boxes expressed in different colors, It may be defined as at least one of bounding boxes to which other additional information (eg, icon, text, etc.) is attached.
  • the second execution group secondarily determines and displays misdiagnosis.
  • This step-by-step analysis and display can be modified in many ways.
  • three or more performance groups rather than two performance groups may be defined.
  • the first performance group may include up to the post-processing operation of FIG. 4
  • the second performance group may include the detailed classification operation of FIG. 4
  • the first action group includes up to the polyp location operation of FIG. 4, the second action group includes the post-processing action of FIG. 5, and the third action group includes the detailed classification operation of FIG. can include
  • 8 illustrates an example of a procedure for learning an artificial intelligence model in a system according to an embodiment of the present invention.
  • 8 illustrates an operating method of a server (eg, the server 120 of FIG. 1 ).
  • 8 illustrates a procedure for learning an artificial intelligence model for a second device (eg, a second endoscope device) using learning data based on an image generated by a first device (eg, a first endoscope device).
  • the server collects learning data based on the image generated through the first device.
  • the learning data includes images in which locations of lesions (eg, polyps) are marked with bounding boxes.
  • the image constituting the learning data is an image taken by the first equipment.
  • the server acquires the first image generated by the second device to which the artificial intelligence model is to be applied.
  • the second device is the device to which the artificial intelligence model learned through this procedure is applied, and is the same type of device as the first device, but may differ in manufacturer, use period, production year, product number, product version, use environment, etc.
  • step S805 the server selects a second image for comparison among training data.
  • the server selects one image to be compared with the first image, that is, the second image, among the images captured by the first device.
  • the server selects the second image based on the first image.
  • the server may select the second image so that the first image and the second image are images of the same person.
  • the server may select the second image so that the first image and the second image are images of the same location inside the organ.
  • step S807 the server corrects the training data according to the comparison analysis result between the first image and the second image, analyzes the difference in various image elements such as color difference and sharpness difference between the first image and the second image, and analyzes the difference Correct the images included in the training data to compensate for .
  • comparative analysis may be performed on a plurality of image pairs. Accordingly, learning data suitable for the characteristics of the second equipment to which the artificial intelligence model is to be applied may be obtained.
  • step S809 the server performs learning using the corrected learning data. That is, the server performs learning on the artificial intelligence model using the labeled training data. Specifically, the server may update the weights of the artificial intelligence model through a backpropagation process. The trained artificial intelligence model is then used for image analysis.
  • the server may determine the location of the polyp and determine the type of the polyp by using at least one learned artificial intelligence model. Accordingly, the user can take pictures of the inside of the stomach, large intestine, etc. using the endoscopic equipment, and observe the analysis result of the polyp in real time. At this time, there is a possibility that an error may occur depending on the progress of learning, the amount of learning data, and the like.
  • the error includes an error of not detecting a polyp as a polyp and an error of detecting a non-polyp as a polyp. Accordingly, the present invention proposes an embodiment in which detection errors are fed back from a user and re-learning is performed based on the feedback errors. An embodiment for feedback of a detection error is shown in FIG. 9 below.
  • 9 illustrates an example of a procedure for reporting an error on a polyp detection result in the system according to an embodiment of the present invention. 9 illustrates a method of operating a display device.
  • the display device may be a test device (eg, the test device 110 of FIG. 1 ) or a separate device.
  • the display device displays a screen including a detection result using an artificial intelligence model.
  • the display device may receive a detection result from a server (eg, the server 120 of FIG. 1 ), and display an image to which a bounding box indicating a polyp is added based on the received detection result.
  • a server eg, the server 120 of FIG. 1
  • the display device checks whether an error checking command is detected.
  • the error check command can be understood as a command to express the user's judgment that there is an error in the detection result of the currently displayed image frame, and to provide an error reporting menu so that specific error contents can be input after the end of the test.
  • the device comprises input means for detecting user commands.
  • the input means includes at least one of a touch screen, buttons, and a microphone.
  • An error checking command may be input by a user in a predefined manner.
  • step S905 the display device stores the time when the error checking command is detected. That is, since it is required to determine which image frame is an error in the contents of an error to be input later, the display device stores the time when the error checking command is detected.
  • the viewpoint may be stored in the form of an index of an image frame or a viewpoint value.
  • step S907 the server determines whether the inspection is finished.
  • the end of the examination may be determined based on the user's end or an input related to the end.
  • the end of the test may be determined based on stoppage of image capture, stoppage of image transmission, and the like.
  • the server displays an error report menu and checks the user's input information.
  • the error report menu is displayed when an error check command is detected at least once in step S903.
  • the error report menu is an interface for inputting the contents of errors determined by the user.
  • the error report menu displays the image frame captured at the time the error check command was detected, items for specifying the location of the error (e.g., a bounding box expressed as a polyp when it is not a polyp, a bounding box that is a polyp but missing), and the content of the error. It may include items for designation (e.g., a check box for selectively designating the case of a polyp detected but not a polyp or a polyp but not detected), and the like.
  • the user can designate the position of the error within the displayed image frame and input the content of the error.
  • step S911 the display device generates learning data based on the input information. Also, although not shown in FIG. 9 , the display device may transmit the generated learning data to the server for re-learning. Accordingly, the server may perform re-learning using learning data generated based on the error report. At this time, the server may perform re-learning when a predefined amount of learning data based on error reports is accumulated.
  • Exemplary methods of the present invention are presented as a series of operations for clarity of explanation, but this is not intended to limit the order in which steps are performed, and each step may be performed concurrently or in a different order, if desired.
  • other steps may be included in addition to the exemplified steps, other steps may be included except for some steps, or additional other steps may be included except for some steps.
  • various embodiments of the present invention may be implemented by hardware, firmware, software, or a combination thereof.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • It may be implemented by a processor (general processor), controller, microcontroller, microprocessor, or the like.
  • the scope of the present invention is software or machine-executable instructions (eg, operating systems, applications, firmware, programs, etc.) that cause operations according to methods of various embodiments to be executed on a device or computer, and such software or It includes a non-transitory computer-readable medium in which instructions and the like are stored and executable on a device or computer.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Abstract

본 발명은 인공지능(artificial intelligence, AI)에 기반하여 내시경 영상을 분석하기 위한 것으로, 내시경 영상을 분석하는 서버의 동작 방법은, 서버의 동작 방법은, 내시경 장비를 통해 촬영된 제1 영상 프레임이 임계 수준 이상의 선명도를 가지지 여부를 판단하는 단계, 상기 임계 수준 이상의 선명도를 가지면, 상기 제1 영상 프레임에서 용종의 영역을 판단하는 단계, 상기 영역에 포함되는 대상이 용종이 아닌 다른 대상인지 여부를 확인하는 단계, 상기 영역에 포함되는 대상이 용종이면, 상기 용종의 유형을 분류하는 단계, 및 상기 영역의 위치 및 크기, 상기 용종의 유형에 대한 정보를 송신하는 단계를 포함할 수 있다.

Description

인공지능에 기반하여 내시경 영상을 분석하기 위한 방법 및 장치
본 발명은 내시경 영상을 분석하기 위한 것으로, 특히, 인공지능(artificial intelligence, AI)에 기반하여 내시경 영상을 분석하기 위한 방법 및 장치에 대한 것이다.
인공지능(Artificial Intelligence, AI)은 인간의 지능으로 가능한 사고, 학습 및 분석 등을 컴퓨터 등의 기계가 수행하는 것을 의미한다. 최근 이러한 AI를 의료 산업에 접목하는 기술이 증가하고 있는 실정이다. 인공 신경망(Artificial Neural Network, ANN)은 기계 학습(machine learning)을 구현하는 기법들 중 하나이다.
일반적으로 인공 신경망은 입력 계층(input layer), 은닉 계층(hidden layer) 및 출력 계층(output layer)으로 이루어져 있다. 각 계층들은 뉴런(neuron)들로 구성되어 있으며, 각 계층의 뉴런들은 이전 계층의 뉴런들의 출력과 연결되어 있다. 이전 계층의 뉴런들의 각 출력 값과 그에 상응하는 연결 가중치(weight)를 내적(inner product)한 값에 바이어스(bias)를 더한 값을 일반적으로 비선형(non-linear)인 활성화 함수(activation function)에 넣고 그 출력 값을 다음 단계 계층의 뉴런들에게 전달한다.
이러한 인공지능 기술은 다양한 분야에 적용되기 위하여 활발히 연구되고 있다. 특히, 의료 분야에서 신약 개발, 질병 진단 등의 분야에서 인공지능 알고리즘을 이용한 다양한 플랫폼, 어플리케이션들이 개발되고 있다.
본 발명은 인공지능 기술을 이용하여 내시경 영상을 효과적으로 분석하기 위한 방법 및 장치를 제공하기 위한 것이다.
본 발명은 인공지능 기술을 이용하여 내시경 영상에서 실시간으로 용종(polyp)을 검출하기 위한 방법 및 장치를 제공하기 위한 것이다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시 예에 따른, 내시경 영상을 분석하는 서버의 동작 방법은, 내시경 장비를 통해 촬영된 제1 영상 프레임이 임계 수준 이상의 선명도를 가지지 여부를 판단하는 단계, 상기 임계 수준 이상의 선명도를 가지면, 상기 제1 영상 프레임에서 용종의 영역을 판단하는 단계, 상기 영역에 포함되는 대상이 용종이 아닌 다른 대상인지 여부를 확인하는 단계, 상기 영역에 포함되는 대상이 용종이면, 상기 용종의 유형을 분류하는 단계, 및 상기 영역의 위치 및 크기, 상기 용종의 유형에 대한 정보를 송신하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 제1 영상 프레임이 임계 수준 이상의 선명도를 가지지 여부는, 상기 제1 영상 프레임에 포함된 이미지인 제1 이미지 및 상기 제1 이미지를 블러링(blurring)함으로써 획득되는 제2 이미지에 기반하여 판단될 수 있다.
본 발명의 일 실시 예에 따르면, 상기 제1 영상 프레임이 임계 수준 이상의 선명도를 가지지 여부를 판단하는 단계는, 상기 제1 이미지 및 상기 제2 이미지의 비교를 위한 비교 지표들을 생성하는 단계, 및 상기 비교 지표들에 기반한 입력 데이터로부터 제1 인공지능 모델을 이용하여 상기 제1 영상 프레임에서 용종을 검출할지 여부를 나타내는 출력 데이터를 생성하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 입력 데이터는, 상기 비교 지표들에 대한 주성분 분석(principal component analysis)에 의해 획득되는 차원 축소된 정보를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 영역은, 사각형 모양의 바운딩 박스에 의해 지시될 수 있다.
본 발명의 일 실시 예에 따르면, 상기 영역에 포함되는 대상이 용종이 아닌 다른 대상인지 여부를 확인하는 단계는, 상기 바운딩 박스에 포함되는 이미지의 일부의 픽셀 값들에 기반하여 상기 위치에 포함되는 대상이 용종이 아닌 다른 대상인지 여부를 확인하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 용종의 유형은, 절제가 필요한 제1 유형 및 절제가 불필요한 제2 유형 중 하나일 수 있다.
본 발명의 일 실시 예에 따르면, 상기 방법은, 상기 제1 영상 프레임보다 앞서 촬영된 제2 영상 프레임에서 용종의 영역을 판단하는 단계, 및 상기 영역의 위치 및 크기에 대한 정보를 송신하는 단계를 더 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 제1 영상 프레임에서 상기 용종의 영역을 판단하는 단계는, 상기 제2 영상 프레임에서 판단된 영역을 확장한 후보 영역을 결정하는 단계, 및 상기 제1 영상 프레임 중 상기 후보 영역에 대응하는 일부에서 상기 용종의 영역을 판단하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 임계 수준 이상의 선명도를 가지지 여부, 상기 용종의 영역, 상기 영역에 포함되는 대상이 용종이 아닌 다른 대상인지 여부, 상기 용종의 유형을 분류하는 것은, 적어도 하나의 인공지능 모델에 기반하여 수행되며, 상기 적어도 하나의 인공지능 모델은, 상기 내시경 장비와 다른 내시경 장비에서 촬영된 이미지에 기반하여 생성된 학습 데이터를 이용하여 학습되며, 상기 학습 데이터는, 상기 내시경 장비에서 촬영된 제1 이미지 및 상기 다른 내시경 장비에서 촬영된 제2 이미지에 기반하여 보상된 이미지들을 포함할 수 있다.
본 발명의 일 실시 예에 따른, 내시경 영상을 분석하는 서버는, 통신부, 및 프로세서를 포함하고, 상기 프로세서는, 내시경 장비를 통해 촬영된 제1 영상 프레임이 임계 수준 이상의 선명도를 가지지 여부를 판단하고, 상기 임계 수준 이상의 선명도를 가지면, 상기 제1 영상 프레임에서 용종의 영역을 판단하고, 상기 영역에 포함되는 대상이 용종이 아닌 다른 대상인지 여부를 확인하고, 상기 영역에 포함되는 대상이 용종이면, 상기 용종의 유형을 분류하고, 기 영역의 위치 및 크기, 상기 용종의 유형에 대한 정보를 송신하도록 제어할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 제1 영상 프레임이 임계 수준 이상의 선명도를 가지지 여부는, 상기 제1 영상 프레임에 포함된 이미지인 제1 이미지 및 상기 제1 이미지를 블러링(blurring)함으로써 획득되는 제2 이미지에 기반하여 판단될 수 있다.
본 발명의 일 실시 예에 따르면, 상기 프로세서는, 상기 제1 이미지 및 상기 제2 이미지의 비교를 위한 비교 지표들을 생성하고, 상기 비교 지표들에 기반한 입력 데이터로부터 제1 인공지능 모델을 이용하여 상기 제1 영상 프레임에서 용종을 검출할지 여부를 나타내는 출력 데이터를 생성할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 입력 데이터는, 상기 비교 지표들에 대한 주성분 분석(principal component analysis)에 의해 획득되는 차원 축소된 정보를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 영역은, 사각형 모양의 바운딩 박스에 의해 지시될 수 있다.
본 발명의 일 실시 예에 따르면, 상기 프로세서는, 상기 바운딩 박스에 포함되는 이미지의 일부의 픽셀 값들에 기반하여 상기 위치에 포함되는 대상이 용종이 아닌 다른 대상인지 여부를 확인할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 용종의 유형은, 절제가 필요한 제1 유형 및 절제가 불필요한 제2 유형 중 하나일 수 있다.
본 발명의 일 실시 예에 따르면, 상기 프로세서는, 상기 제1 영상 프레임보다 앞서 촬영된 제2 영상 프레임에서 용종의 영역을 판단하고, 상기 영역의 위치 및 크기에 대한 정보를 송신하도록 제어할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 프로세서는, 상기 제2 영상 프레임에서 판단된 영역을 확장한 후보 영역을 결정하고,
상기 제1 영상 프레임 중 상기 후보 영역에 대응하는 일부에서 상기 용종의 영역을 판단할 수 있다.
본 발명의 일 실시 예에 따르면, 상기 임계 수준 이상의 선명도를 가지지 여부, 상기 용종의 영역, 상기 영역에 포함되는 대상이 용종이 아닌 다른 대상인지 여부, 상기 용종의 유형을 분류하는 것은, 적어도 하나의 인공지능 모델에 기반하여 수행되며, 상기 적어도 하나의 인공지능 모델은, 상기 내시경 장비와 다른 내시경 장비에서 촬영된 이미지에 기반하여 생성된 학습 데이터를 이용하여 학습되며, 상기 학습 데이터는, 상기 내시경 장비에서 촬영된 제1 이미지 및 상기 다른 내시경 장비에서 촬영된 제2 이미지에 기반하여 보상된 이미지들을 포함할 수 있다.
본 발명에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 발명의 상세한 설명의 예시적인 양상일 뿐이며, 본 발명의 범위를 제한하는 것은 아니다.
본 발명에 따르면, 내시경 영상으로부터 보다 효과적으로 용종(polyp)이 검출될 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 인공지능 모델을 운용하기 위한 시스템의 구조를 도시한다.
도 2는 본 발명의 일 실시 예에 따른 시스템에 적용 가능한 인공 신경망의 구조를 도시한다.
도 3은 본 발명의 일 실시 예에 따른 내시경 영상 분석을 위한 시스템의 개요를 도시한다.
도 4는 본 발명의 일 실시 예에 따른 시스템에서 내시경 영상을 분석하는 절차의 일 예를 도시한다.
도 5a는 본 발명의 일 실시 예에 따른 시스템에서 분석 대상 이미지를 분류하기 위한 전처리를 수행하는 절차의 일 예를 도시한다.
도 5b는 본 발명의 일 실시 예에 따른 시스템에서 전처리를 위한 블러링(blurring) 전후의 이미지들의 예를 도시한다.
도 5c는 본 발명의 일 실시 예에 따른 시스템에서 영상 프레임들에 대한 주성분 분석(principal component analysis) 결과의 예를 도시한다.
도 6은 본 발명의 일 실시 예에 따른 시스템에서 내시경 영상 분석에 필요한 연산량을 조절하는 절차의 일 예를 도시한다.
도 7은 본 발명의 일 실시 예에 따른 시스템에서 내시경 영상으로부터 검출된 용종을 표시하는 절차의 일 예를 도시한다.
도 8은 본 발명의 일 실시 예에 따른 시스템에서 인공지능 모델을 학습하는 절차의 일 예를 도시한다.
도 9는 본 발명의 일 실시 예에 따른 시스템에서 용종 검출 결과에 대한 오류를 보고하는 절차의 일 예를 도시한다.
첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 발명의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 발명에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 발명은 인공지능 기술에 기반하여 내시경 영상을 분석하는 기술에 대해 제안한다. 구체적으로, 본 발명은 인체의 대장 등을 촬영하는 내시경 장치로부터 제공되는 영상으로부터 병변(예: 용종)을 검출 및 분류하기 위한 기술에 관한 것이다.
도 1은 본 발명의 일 실시 예에 따른 인공지능 모델을 운용하기 위한 망 구조를 도시한다.
도 1을 참고하면, 인공지능 모델을 운용하기 위한 망은 통신망에 연결된 검사 장치(110), 서버(120)을 포함한다. 도 1은 1개의 검사 장치(110)를 예시하였으나, 2개 이상의 검사 장치들이 존재할 수 있다.
검사 장치(110)는 인체의 내부 장기(예: 위, 대장 등) 또는 체강 내부를 촬영할 수 있는 장치로서, 촬영을 위한 카메라, 영상 처리를 위한 프로세서, 영상을 표시하기 위한 표시부를 포함한다. 또한, 검사 장치(110)는 내시경 장비로서 일반적으로 요구되는 구성요소들을 더 포함할 수 있다. 본 발명의 일 실시 예에 따라, 검사 장치(110)는 촬영된 영상을 표시하는 제1 표시부 및 촬영된 영상에 분석 결과를 부가한 영상을 표시하는 제2 표시부를 포함할 수 있다. 다른 실시 예에 따라, 제2 표시부는 도 1에 도시되지 아니한 별도의 장치에 포함되도록 구현될 수 있다.
서버(120)는 본 발명의 실시 예들에 따른 적어도 하나의 인공지능 모델을 이용하여 추론(inference)을 수행하는 장치이다. 즉, 서버(120)는 추론을 위해 인공 신경망을 포함하는 인공지능 모델을 가지며, 인공지능 모델을 운용할 수 있다. 본 발명에 적용 가능한 인공 신경망의 일 예는 이하 도 2를 참고하여 설명된다. 또한, 서버(120)는 학습 데이터를 이용하여 인공지능 모델을 위한 학습을 수행할 수 있다. 여기서, 서버(120)는 로컬 네트워크에 존재하는 로컬 서버이거나, 외부 망을 통해 연결되는 원격 접속 서버(예: 클라우드 서버)일 수 있다. 서버(120)는 통신을 위한 통신부, 데이터, 프로그램을 저장하는 저장부, 제어를 위한 프로세서를 포함할 수 있다.
일 실시 예에 따라, 검사 장치(110)는 통신 망을 통해 서버(120)에게 촬영된 영상을 제공하고, 서버(120)는 적어도 하나의 인공지능 모델을 이용하여 영상을 분석함으로써 병변(예: 용종)을 검출 및 분류한다. 분석 결과는 검사 장치(110)에게 제공되고, 검사 장치(110)는 분석 결과를 수신 및 표시할 수 있다. 다만, 다른 실시 예에 따라, 서버(120)의 기능이 검사 장치(110)에 의해 제공될 수 있다.
도 2는 본 발명의 일 실시 예에 따른 시스템에 적용 가능한 인공 신경망의 구조를 도시한다. 도 2를 참고하면, 인공 신경망은 입력 계층(input layer)(210), 적어도 하나의 은닉 계층(hidden layer)(220), 출력 계층(output layer)(230)으로 이루어진다. 계층들(210, 220, 230) 각각은 복수의 노드(node)들로 구성되어 있으며, 노드들 각각은 이전 계층에 속한 적어도 하나의 노드의 출력과 연결되어 있다. 각 노드는 이전 계층의 노드들의 각 출력 값과 그에 상응하는 연결 가중치(weight)를 내적(inner product)한 값에 바이어스(bias)를 더한 후, 비선형(non-linear)인 활성화 함수(activation function)와 곱한 출력 값을 다음 계층의 적어도 하나의 뉴런에게 전달한다.
본 발명의 다양한 실시 예에서 사용되는 인공 신경망 모델은 완전 합성곱 신경망(fully convolutional neural network), 합성곱 신경망(convolutional neural network), 순환 신경망(recurrent neural network), 제한 볼츠만 머신(restricted Boltzmann machine, RBM) 및 심층 신뢰 신경망(deep belief neural network, DBN) 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다. 또는, 딥러닝 이외의 머신 러닝 방법도 포함할 수 있다. 또는 딥러닝과 머신 러닝을 결합한 하이브리드 형태의 모델도 포함할 수 있다. 예컨대, 딥러닝 기반의 모델을 적용하여 영상의 특징을 추출하고, 상기 추출된 특징에 기초하여 영상을 분류하거나 인식할 때는 머신 러닝 기반의 모델을 적용할 수도 있다. 머신 러닝 기반의 모델은 서포트 벡터 머신(Support Vector Machine, SVM), 에이다부스트(AdaBoost) 등을 포함할 수 있으나, 이에 한정되지 않는다.
도 3은 본 발명의 일 실시 예에 따른 내시경 영상 분석을 위한 시스템의 개요를 도시한다. 도 3은 내시경 장비(310)(예: 도 1의 검사 장치(110a 또는 110b))에서 촬영된 영상이 처리되는 과정을 예시한다.
도 3을 참고하면, 내시경 장비(310)에서 촬영된 영상은 인코딩을 통해 복수의 영상 프레임들로 변환된다. 영상 프레임은 알고리즘(320a)의 입력 데이터로서 제공되고, 알고리즘(320a)에 의해 처리된다. 이때, 다양한 실시 예들에 따라, 복수의 알고리즘들(320a, 320b, 320c)이 연쇄적으로 사용될 수 있다. 알고리즘들(320a, 320b, 320c) 각각은 학습된 인공지능 모델로 구현되는 알고리즘이거나, 또는 학습 없이 설계되는 알고리즘일 수 있다.
일 실시 예에 따라, 복수의 알고리즘들(320a 내지 320d)은 영상 프레임의 전처리(pre-processing), 용종의 판단, 판단 결과의 후처리(post-processing), 분류 등의 기능을 제공할 수 있다. 구체적으로, 제1 알고리즘(320a)은 판독에 부적절한 프레임을 제외하는 기능을 제공하는 인공지능 모델일 수 있고, 제2 알고리즘(320b)은 용종의 위치를 찾아 표시하는 기능을 제공하는 인공지능 모델일 수 있고, 제3 알고리즘(320c)은 용종으로 오판된 이물질을 배제하는 기능을 제공하는 인공지능 모델일 수 있고, 제4 알고리즘(320d)은 용종을 필요한 조치에 따라 분류하는 기능을 제공하는 인공지능 모델일 수 있다. 본 발명의 다양한 실시 예들에 따라, 복수의 알고리즘들(320a, 320b, 320c) 중 일부가 적응적으로 제외되거나, 다른 알고리즘이 적응적으로 추가될 수 있다.
본 발명의 일 실시 예에 따라, 복수의 알고리즘들(320a, 320b, 320c)을 통해 생성된 병변(예: 용종)의 검출 결과는 내시경 장비(310)를 통해 촬영된 영상과 함께 표시될 수 있다. 이를 위해, 내시경 장치(310)는 촬영 중인 영상을 실시간으로 알고리즘에 입력하고, 영상 촬영 중에 동시에 검출 결과를 표시할 수 있다. 즉, 내시경 장치(310)의 사용자는 촬영을 통해 영상을 관찰하면서, 동시에 복수의 알고리즘들(320a, 320b, 320c)에 의한 검출 결과를 제공받을 수 있다.
본 발명의 일 실시 예에 따라, 복수의 알고리즘들(320a 내지 320d)을 통해 생성된 병변(예: 용종)의 검출 결과는 다른 장치(미도시)에게 제공될 수 있다. 다른 장치는 검출 결과 및 영상을 획득하고, 검출 결과가 부가된 영상을 표시할 수 있다. 이때, 복수의 알고리즘들(320a 내지 320d)의 출력은 병변의 위치를 지시하는 바운딩 박스를 부가한 영상을 포함할 수 있다. 또는, 복수의 알고리즘들(320a 내지 320d)의 출력은 영상 프레임 별 병변의 위치를 지시하는 바운딩 박스의 위치 및 크기 데이터를 포함하고, 촬영된 영상은 내시경 장비(310)로부터 제공될 수 있다. 이에 따라, 사용자는 내시경 장치(310)를 통해 촬영된 영상의 원본을, 별도의 장치를 통해 검출 결과가 부가된 영상을 확인할 수 있다. 단, 구현 방식에 따라, 내시경 장치(310)가 2개의 표시부들을 포함하고, 2개의 표시부들을 통해 영상의 원본 및 검출 결과가 부가된 영상을 모두 표시할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 시스템에서 내시경 영상을 분석하는 절차의 일 예를 도시한다. 도 4는 서버(예: 도 1의 서버(120))의 동작 방법을 예시한다.
도 4를 참고하면, S401 단계에서, 서버는 입력 프레임 중에서 부적절한 프레임을 배제하는 전처리를 수행한다. 즉, 서버는 검사 장치(예: 도 1의 검사 장치(110))로부터 내시경 영상을 포함하는 입력 프레임들을 수신하고, 수신된 입력 프레임들을 분류한다. 예를 들어, 부적절한 프레임은 용종 검출에 사용하기 적절하지 아니한 이미지를 포함하는 프레임으로서, 구체적으로, 빛 반사가 심하거나, 초점이 맞지 않거나, 흔들림이 심한 이미지를 포함하는 프레임으로 이해될 수 있다. 즉, 부적절한 프레임은 임계 수준 이하의 선명도를 가지는 이미지를 포함하는 프레임으로 이해될 수 있다. 전처리를 통해, 적어도 하나의 입력 프레임이 제외될 수 있다. 이를 위해, 서버는 전처리를 위한 인공지능 모델을 이용할 수 있다. 예를 들어, 서버는 서포트 벡터 머신(support vector machine) 알고리즘에 기반한 인공지능 모델을 이용하여 전처리를 수행할 수 있다.
S403 단계에서, 서버는 입력 프레임들에서 용종의 위치를 판단한다. 즉, 서버는 각 입력 프레임으로부터 입력 데이터를 추출하고, 인공지능 모델을 이용하여 추출된 입력 데이터로부터 출력 데이터를 생성할 수 있다. 즉, 서버는 인공지능 모델을 이용하여 용종의 위치를 추론할 수 있다. 예를 들어, 입력 데이터는 입력 프레임의 픽셀 값들 또는 픽셀 값들로부터 도출되는 값들을 포함한다. 용종의 위치는 미리 정해진 모양(예: 사각형)의 영역 단위로 검출된다. 즉, 출력 데이터는 영상 내에서 용종의 위치를 지시하는 바운딩 박스(bounding box)를 포함할 수 있다. 이에 따라, 용종의 정확한 경계를 검출하는 경우에 대비하여, 보다 빠른 검출이 가능하다. 이를 통해, 서버는 적어도 하나의 입력 프레임에서 적어도 하나의 용종 영역을 결정한다.
S405 단계에서, 서버는 용종 영역에 대한 후처리를 수행한다. 즉, 서버는 검출된 적어도 하나의 용종 영역을 분석함으로써 용종이 아닌 다른 대상을 구분한다. 예를 들어, 다른 물질은 음식물 찌꺼기, 기포 등의 이물질을 포함할 수 있다. 즉, S403 단계에서 결정된 용종 영역은 최종적으로 용종으로 판단되는 것이 아닐 수 있다. 이에 따라, S403 단계에서 결정된 용종 영역은 용종 후보 영역이라 지칭되고, S405 단계의 후처리를 거쳐 남겨진 영역이 최종적인 용종 영역으로서 판정될 수 있다. 이를 위해, 서버는 후처리를 위한 인공지능 모델을 이용할 수 있다. 예를 들어, 서버는 CNN(convolutional neural network)에 기반한 인공지능 모델을 이용하여 후처리를 수행할 수 있다. 이때, 인공지능 모델로의 입력 데이터는 바운딩 박스 내부의 픽셀 값들 또는 픽셀 값들로부터 도출되는 값들을 포함한다.
S407 단계에서, 서버는 용종에 대한 세부 분류를 수행한다. 여기서, 세부 분류는 용종에 대해 필요한 조치에 따른 분류를 의미한다. 예를 들어, 서버는 검출된 용종들을 절제가 필요한 제1 유형(예: 선종(adenoma)) 및 절제가 불필요한 제2 유형(예: 과형성 용종(hyperplastic polyp))으로 분류할 수 있다. 이를 위해, 서버는 세부 분류를 위한 인공지능 모델을 이용할 수 있다. 예를 들어, 서버는 CNN에 기반한 인공지능 모델을 이용하여 세부 분류를 수행할 수 있다. 이때, 인공지능 모델로의 입력 데이터는 바운딩 박스 내부의 픽셀 값들 또는 픽셀 값들로부터 도출되는 값들을 포함한다.
S409 단계에서, 서버는 최종적인 검출 결과를 출력한다. 즉, 서버는 검사 장치가 최종적인 검출 결과를 실시간으로 표시할 수 있도록, 검사 장치에게 검출 결과를 나타내는 데이터를 송신한다. 이때, 데이터는 용종의 위치, 용종의 세부 분류 결과를 포함하며, 이에 따라, 검사 장치는 영상 위에 검출 결과를 나타내는 지시자를 표시할 수 있다. 이때, 표시되는 지시자는 세부 분류 결과에 따라 다르게 표현될 수 있다.
도 4를 참고하여 설명한 바와 같이, 영상 프레임들은 전처리를 통해 분류되며, 용종 검출에 사용하기 적절한 이미지를 포함하는 영상 프레임들만이 분석의 대상이 될 수 있다. 전처리를 위해 다양한 기법들이 적용될 수 있다. 전처리에 대한 일 실시 예가 이하 도 5a 내지 도 5c를 참고하여 설명된다.
도 5a는 본 발명의 일 실시 예에 따른 시스템에서 분석 대상 이미지를 분류하기 위한 전처리를 수행하는 절차의 일 예를 도시한다. 도 5a는 서버(예: 도 1의 서버(120))의 동작 방법을 예시한다. 도 5a에 예시된 절차는 각 프레임에 대하여 수행된다. 따라서, 복수의 영상 프레임들이 분석되는 경우, 도 5a에 예시된 절차는 반복될 수 있다.
도 5a를 참고하면, S501 단계에서, 서버는 프레임에 포함된 이미지를 블러링(blurring)한다. 이에 따라, 서버는 블러렁 전의 원본 이미지 및 블러링된 이미지를 획득할 수 있다. 원본 이미지 및 블러링된 이미지의 예는 도 5b와 같다. 도 5b는 본 발명의 일 실시 예에 따른 시스템에서 전처리를 위한 블러링(blurring) 전후의 이미지들의 예를 도시한다. 도 5b를 참고하면, 촛점이 맞지 않는 등의 이유로 흐릿한 이미지(502a) 및 선명한 이미지(502b) 각각이 블러링을 통해 블러링된 이미지들(504a, 504b)로 변환된다. 도 5와 같이, 블러링을 가한 경우, 선명한 이미지(502b)는 블러링된 이미지(504b)와 육안으로 식별 가능할 정도로 차이를 보이나, 흐릿한 이미지(502a) 및 블러링된 이미지(504a)는 큰 차이를 보이지 아니한다.
S503 단계에서, 서버는 블러링 전 이미지 및 블러링 후 이미지 간 적어도 하나의 비교 지표를 생성한다. 즉, 서버는 블러링 전 이미지 및 블러링 후 이미지 간 변화 정도를 데이터화하기 위하여, 비교를 위한 적어도 하나의 지표를 생성한다. 일 실시 예에 따라, 적어도 하나의 비교 지표는 SSIM(Structural similarity), NCC(Normalized Correlation Coefficient), SSD(Sum of Squared Difference), RMSE(Root Mean Squared Error) 중 적어도 하나를 포함할 수 있다.
S505 단계에서, 서버는 적어도 하나의 비교 지표 이용하여 이미지를 분류한다. 즉, 서버는 분류를 위해 학습된 인공지능 모델을 이용하여 생성된 적어도 하나의 비교 지표로부터 비교 결과를 획득한다. 인공지능 모델은 영상 프레임에 대하여 적절 또는 부적절의 출력 데이터를 제공하며, 서버는 출력 데이터에 기반하여 이미지를 분류할 수 있다. 이때, 일 실시 예에 따라, 서버는 비교 지표들에 대하여 주성분 분석(principal component analysis)을 수행함으로써 정보의 차원을 축소하고, 차원 축소된 정보를 인공지능 모델에 입력할 수 있다.
도 5a에 예시된 분류 동작을 위해, 학습된 인공지능 모델이 필요하다. 인공지능 모델은 라벨링된 선명한 이미지들 및 흐릿한 이미지들의 비교 지표들을 이용하여 학습될 수 있다. 비교 지표들에 대한 주성분 분석을 통해 정보의 차원을 축소하고, 축소된 차원의 정보를 이용하여 학습을 수행한 결과, 이하 도 5c와 같은 분포가 확인된다. 도 5c는 본 발명의 일 실시 예에 따른 시스템에서 영상 프레임들에 대한 주성분 분석 결과의 예를 도시한다. 도 5c를 참고하면, 전처리에 의해 제외되는 프레임들 및 전처리 후 유지되는 프레임들은 분리되는 군집들을 형성함이 확인된다. 이에 따라, 인공지능 모델은 도 5c와 같은 군집들의 경계 값들 기반으로 분류 결과를 출력하도록 설계될 수 있다.
도 6은 본 발명의 일 실시 예에 따른 시스템에서 내시경 영상 분석에 필요한 연산량을 조절하는 절차의 일 예를 도시한다. 도 6은 서버(예: 도 1의 서버(120))의 동작 방법을 예시한다.
도 6을 참고하면, S601 단계에서, 서버는 입력 프레임들 간 이미지 변화 속도를 확인한다. 입력 프레임들 간 이미지 변화 속도는 픽셀 값의 차분 값들에 기반하여 평가될 수 있다. 또는, 입력 프레임들 간 이미지 변화 속도는 복수의 입력 프레임들 동안 이미지의 특징점이 이동하는 속도에 기반하여 평가될 수 있다. 이미지의 변화가 빠름은 사용자의 체감 실시간성을 확보하기 위해 더 짧은 응답 시간을 필요로 하는 것으로 이해될 수 있다. 여기서, 응답 시간은 영상 프레임이 생성된 시점부터 검출 결과가 부가된 영상이 출력되기까지의 시간을 의미한다.
S603 단계에서, 서버는 이미지 변화 속도에 대응하는 요구 응답 시간을 확인한다. 이미지 변화 속도가 빠를수록, 더 짧은 응답 시간이 요구된다. 따라서, 이미지 변화 속도가 높을수록 요구 응답 시간이 짧도록 정의된 맵핑 테이블이 사전에 정의되며, 서버는 맵핑 테이블을 참고하여 요구 응답 시간을 확인할 수 있다.
S605 단계에서, 서버는 현재 응답 시간 및 요구 응답 시간을 비교한다. 만일, 현재 응답 시간이 요구 응답 시간 이하이면, 서버는 S601 단계로 되돌아가 이미지 변화 속도에 따른 요구 응답 시간과 현재 응답 시간을 지속적으로 모니터링한다.
반면, 현재 응답 시간이 요구 응답 시간보다 크면, S607 단계에서, 서버는 연산량 감소 조치를 수행한다. 연산량 감소 조치는 다양하게 정의될 수 있다. 일 실시 예에 따라, 연산량 감소 조치는 일부 분석 단계를 생략하는 방식으로 정의될 수 있다. 예를 들어, 도 4와 같은 절차를 수행 중, 서버는 S405 단계의 후처리 동작을 생략할 수 있다. 이 경우, 이물질이 용종으로 오판되는 경우가 증가할 수 있지만, 응답 시간이 감소될 수 있다. 다른 실시 예에 따라, 연산량 감소 조치는 용종 검출 및 분류 절차의 일부에 대한 결과를 먼저 표시하고, 나머지에 대한 결과를 후속적으로 표시하는 방식으로 정의될 수 있다. 이 경우, 결과적으로 모든 연산이 완료되기 까지의 시간은 감소하지 아니하나, 일차적인 판단이 좀더 빠르게 사용자에게 제공될 수 있고, 체감 실시간성이 개선될 수 있다.
도 6을 참고하여 설명된 실시 예에 따르면, 이미지의 변화 속도가 빠른 경우, 연산량을 감소시킴으로써 체감 실시간성이 유지될 수 있다. 반대로, 이미지의 변화 속도가 느린 경우, 대응하는 조치가 수행될 수 있다. 예를 들어, 사용자가 내시경 촬영 중 특정 위치의 환부를 면밀히 관찰하기 위해 내시경의 이동을 멈추는 상황이 발생할 수 있다. 이 경우, 이미지의 변화 속도는 매우 느려지거나 또는 멈추게 되며, 이에 따라 유사하거나 동일한 영상 프레임이 반복적으로 생성될 수 있다. 이 경우, 동일한 이미지를 포함하는 영상 프레임들이 중복적으로 저장되므로, 영상 프레임을 저장 매체에 저장하기 위해 소요되는 시간, 저장 공간의 낭비 등을 감소시키기 위해, 서버는 영상 프레임의 반복적인 저장을 회피하고, 영상 프레임의 저장 및 분석을 일시 정지하거나, 저장 및 분석의 주기를 증가시킬 수 있다. 구체적으로, 서버는, 이미지의 변화가 없다면 프레임의 저장 및 분석을 일시 정지하고, 이미지의 변화 속도가 임계치 미만이면 변화 속도에 비례하여 영상 프레임의 저장 및 분석 주기를 증가시킬 수 있다.
도 6을 참고하여 설명한 바와 같이, 연산량 감소 조치가 적용될 수 있다. 연산량 감소 조치에 대한 일 예로서, 분석 결과를 단계적으로 표시하는 것이 가능하다. 예를 들어, 전체 절차를 구성하는 단계들을 복수의 수행 그룹들로 구분하고, 각 수행 그룹이 완료될 때마다 순차적으로 분석 결과를 표시하는 방안이 적용될 수 있다. 단, 이 경우, 앞선 수행 그룹의 분석 결과가 다음 수행 그룹의 연산을 가속화할 수 있도록 수행 그룹들이 설계되는 것이 바람직하다. 복수의 수행 그룹들을 이용한 실시 예가 이하 도 7을 참고하여 설명된다.
도 7은 본 발명의 일 실시 예에 따른 시스템에서 내시경 영상으로부터 검출된 용종을 표시하는 절차의 일 예를 도시한다. 도 7은 서버(예: 도 1의 서버(120))의 동작 방법을 예시한다.
도 7을 참고하면, S701 단계에서, 서버는 제1 인공지능 모델 이용하여 의심 영역을 검출한다. 예를 들어, 서버는 부적절한 영상 프레임을 제외하는 전처리를 수행하고, 나머지 영상 프레임들에서 용종의 위치를 검출할 수 있다. 이때, 영상 프레임의 전체 영역이 분석의 대상이 된다.
S703 단계에서, 서버는 의심 영역을 표현하는 제1 지시지를 표시하도록 제어한다. 서버는 용종으로 판단된 영상의 일부 영역을 의심 영역으로 선정하고, 의심 영역을 지시하는 제1 정보를 제공한다. 즉, 서버는 검출 결과를 표시하는 장치(예: 검사 장치 또는 별도의 표시 장치)가 의심 영역이 부가된 영상을 제1 지시자를 이용하여 표시할 수 있도록, 의심 영역의 위치 및 크기를 지시하는 제1 정보를 송신한다. 만일, 서버가 표시부를 구비하고, 검출 결과를 표시하는 장치인 경우, 본 단계는 제1 지시자가 부가된 영상을 표시하는 동작으로 이해될 수 있다.
S705 단계에서, 서버는 제2 인공지능 모델 이용하여 용종 여부를 판단한다. 즉, 서버는 의심 영역에 포함된 이미지의 피사체가 용종인지 여부를 검사한다. 예를 들어, 본 단계는 전술한 후처리 동작(예: 도 4의 S405 단계)를 포함할 수 있다. 이때, S703 단계에서 제1 지시자가 부가된 영상은 이미 사용자에게 표시되었으므로, 아직 사용자에게 표시되지 아니한 영상 프레임에 대하여 본 단계가 수행될 수 있다. 이때, 서버는 앞서 의심 영역에 포함된 피사체의 이미지를 이용하여, 본 단계에서 분석되는 영상 프레임에서 의심 영역을 발견하기 위한 후보 영역을 줄일 수 있다. 예를 들어, 본 발명에서 취급하는 내시경 영상은 연속성을 가지기 때문에, 인접한 영상 프레임들 간 의심 영역의 위치의 이동에 한계가 존재한다. 따라서, 서버는 앞서 의심 영역이 표현된 영상 프레임에서 의심 영역을 일정 비율로 확장함으로써 후보 영역을 결정한 후, 다음 영상 프레임에서 후보 영역에 해당하는 일부 냉에서 의심 영역을 추론하고, 용종인지 여부를 판단할 수 있다. S707 단계에서, 서버는 의심 영역 내의 피사체가 용종으로 판단되었는지 확인한다.
만일, 용종으로 판단되면, S709 단계에서, 서버는 용종임을 나타내는 제2 지시자를 표시하도록 제어한다. 반면, 용종으로 판단되지 아니하면, S711 단계에서, 서버는 용종이 아님을 나타내는 제3 지시자를 표시하도록 제어한다. 다시 말해, 의심 영역에 포함된 피사체가 용종인지 아닌지에 따라, 서버는 제2 지시자 또는 제3 지시자를 표시하도록 제어한다. 즉, 서버는 의심 영역에 포함된 피사체가 용종인지 아닌지에 대한 제2 정보를 송신한다. 여기서, 제1 지시자, 제2 지시자, 제3 지시자는 시각적으로 서로 구분 가능하도록 정의되며, 예를 들어, 제1 지시자, 제2 지시자, 제3 지시자는 서로 다른 컬러로 표현된 바운딩 박스들, 서로 다른 추가 정보(예: 아이콘, 텍스트 등)가 부착된 바운딩 박스들 중 적어도 하나로 정의될 수 있다.
도 7을 참고하여 설명한 실시 예와 같이, 1차적으로 용종을 검출 및 표시하는 제1 수행 그룹 진행 후, 2차적으로 오판 여부를 판단 및 표시하는 제2 수행 그룹이 진행될 수 있다. 이러한 단계적인 분석 및 표시는 다양하게 변형될 수 있다. 나아가, 2개의 수행 그룹들이 아닌 3개 이상의 수행 그룹들이 정의될 수 있다. 예를 들어, 다른 실시 예에 따라, 제1 수행 그룹은 도 4의 후처리 동작까지를 포함하고, 제2 수행 그룹은 도 4의 세부 분류 동작을 포함할 수 있다. 또 다른 실시 예에 따라, 제1 수행 그룹은 도 4의 용종 위치 동작까지를 포함하고, 제2 수행 그룹은 도 5의 후처리 동작을 포함하고, 제3 수행 그룹은 도 4의 세부 분류 동작을 포함할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 시스템에서 인공지능 모델을 학습하는 절차의 일 예를 도시한다. 도 8은 서버(예: 도 1의 서버(120))의 동작 방법을 예시한다. 도 8은 제1 장비(예: 제1 내시경 장비)에서 생성된 이미지에 기반한 학습 데이터를 이용하여 제2 장비(예: 제2 내시경 장비)를 위한 인공지능 모델을 학습하는 절차를 예시한다.
도 8을 참고하면, S801 단계에서, 서버는 제1 장비를 통해 생성된 이미지에 기반한 학습 데이터를 수집한다. 예를 들어, 학습 데이터는 병변(예: 용종)의 위치를 바운딩 박스로 표시한 이미지들을 포함한다. 이때, 학습 데이터를 구성하는 이미지는 제1 장비에서 촬영된 이미지이다.
S803 단계에서, 서버는 인공지능 모델을 적용할 제2 장비를 통해 생성된 제1 이미지를 획득한다. 제2 장비는 본 절차를 통해 학습되는 인공지능 모델을 적용할 장비이며, 제1 장비와 동종의 장비이나, 제조사, 사용기간, 생산연도, 제품번호, 제품버전, 사용환경 등에서 다를 수 있다.
S805 단계에서, 서버는 학습 데이터 중 비교를 위한 제2 이미지를 선택한다. 다시 말해, 서버는 제1 장비에서 촬영된 이미지들 중 제1 이미지와 비교할 하나의 이미지, 즉, 제2 이미지를 선택한다. 이때, 서버는 제1 이미지에 기반하여 제2 이미지를 선택한다. 예를 들어, 서버는 제1 이미지 및 제2 이미지가 동일인을 촬영한 이미지들이 되도록 제2 이미지를 선택할 수 있다. 다른 예로, 서버는 제1 이미지 및 제2 이미지가 장기 내부에서 동일한 위치를 촬영한 이미지들이 되도록 제2 이미지를 선택할 수 있다.
S807 단계에서, 서버는 제1 이미지 및 제2 이미지 간 비교 분석 결과에 따라 학습 데이터를 보정한다, 제1 이미지 및 제2 이미지 간 컬러 차이, 선명도 차이 등 다양한 영상 요소의 차이를 분석하고, 해당 차이를 보상할 수 있도록 학습 데이터에 포함된 이미지들을 보정한다. 이때, 보다 정확한 보상을 위해, 복수의 이미지 쌍들에 대한 비교 분석이 수행될 수 있다. 이에 따라, 인공지능 모델이 적용될 제2 장비의 특성에 적합한 학습 데이터가 획득될 수 있다.
S809 단계에서, 서버는 보정된 학습 데이터를 이용하여 학습을 수행한다. 즉, 서버는 라벨링된 학습 데이터를 이용하여 인공지능 모델에 대한 학습을 수행한다. 구체적으로, 서버는 역전파 과정을 통해 인공지능 모델의 가중치들을 갱신할 수 있다. 학습된 인공지능 모델은 이후 영상 분석을 위해 사용된다.
전술한 다양한 실시 예들에 따라, 서버는 적어도 하나의 학습된 인공지능 모델을 이용하여 용종의 위치를 파악하고, 용종의 유형을 판단할 수 있다. 이에 따라, 사용자는 내시경 장비를 이용하여 위, 대장 등의 내부를 촬영함과 동시에, 실시간으로 용종에 대한 분석 결과를 관찰할 수 있다. 이때, 학습의 진행 정도, 학습 데이터의 양 등에 따라, 오류가 발생할 가능성이 있다. 오류는 용종을 용종으로 검출하지 못하는 오류와, 용종이 아닌 것을 용종으로 검출하는 오류를 포함한다. 이에 따라, 본 발명은 사용자로부터 검출 오류를 피드백 받고, 피드백된 오류에 기반하여 재학습을 수행하는 실시 예를 제안한다. 검출 오류의 피드백을 위한 실시 예는 이하 도 9와 같다.
도 9는 본 발명의 일 실시 예에 따른 시스템에서 용종 검출 결과에 대한 오류를 보고하는 절차의 일 예를 도시한다. 도 9는 표시 장치의 동작 방법을 예시한다. 여기서, 표시 장치는 검사 장치(예: 도 1의 검사 장치(110))이거나 별개의 장치일 수 있다.
도 9를 참고하면, S901 단계에서, 표시 장치는 인공지능 모델을 이용한 검출 결과를 포함하는 화면을 표시한다. 예를 들어, 표시 장치는 서버(예: 도 1의 서버(120))로부터 검출 결과를 수신하고, 수신된 검출 결과에 기반하여 용종을 지시하는 바운딩 박스가 부가된 영상을 표시할 수 있다.
S903 단계에서, 표시 장치는 오류 검사 명령이 검출되는지 확인한다. 여기서, 오류 검사 명령은 현재 표시되는 영상 프레임에 대한 검출 결과에 대해 오류가 존재한다는 사용자의 판단을 표현하고, 검사 종료 후 구체적인 오류 내용을 입력할 수 있도록 오류 보고 메뉴를 제공하라는 명령으로 이해될 수 있다. 이를 위해, 장치는 사용자의 명령을 감지하기 위한 입력 수단을 포함한다. 예를 들어, 입력 수단은 터치 스크린, 버튼, 마이크 중 적어도 하나를 포함한다. 미리 정의된 방식에 의해 오류 검사 명령이 사용자로부터 입력될 있다.
S905 단계에서, 표시 장치는 오류 검사 명령이 검출된 시점을 저장한다. 즉, 추후 입력될 오류의 내용이 어느 영상 프레임에 대한 오류인지 판단하는 것이 요구되므로, 표시 장치는 오류 검사 명령이 검출된 시점을 저장한다. 시점은 영상 프레임의 인덱스, 또는 시각 값의 형식으로 저장될 수 있다.
S907 단계에서, 서버는 검사가 종료되는지 판단한다. 예를 들어, 검사의 종료는 사용자의 종료 또는 종료에 관련된 입력에 기반하여 판단될 수 있다. 또는, 검사의 종료는 영상 촬영의 중단, 영상 송신의 중단 등에 기반하여 판단될 수 있다.
S909 단계에서, 서버는 오류 보고 메뉴를 표시하고, 사용자의 입력 정보를 확인한다. 오류 보고 메뉴는 S903 단계에서 오류 검사 명령이 적어도 1회 검출된 경우에 표시된다. 오류 보고 메뉴는 사용자가 판단한 오류의 내용을 입력하기 위한 인터페이스이다. 오류 보고 메뉴는 오류 검사 명령이 검출된 시점에 촬영된 영상 프레임, 오류의 위치(예: 용종이 아닌데 용종으로 표현된 바운딩 박스, 용종이지만 누락된 바운딩 박스)를 지정하기 위한 항목, 오류의 내용을 지정하기 위한 항목(예: 용종으로 검출되었으나 용종인 경우 또는 용종이지만 검출되지 아니한 경우를 선택적으로 지정하기 위한 체크 박스) 등을 포함할 수 있다. 오류 보고 메뉴를 통해, 사용자는 표시된 영상 프레임 내에서 오류의 위치를 지정하고, 오류의 내용을 입력할 수 있다.
S911 단계에서, 표시 장치는 입력 정보에 기반한 학습 데이터를 생성한다. 그리고, 도 9에 도시되지 아니하였으나, 표시 장치는 생성된 학습 데이터를 재학습을 위해 서버로 송신할 수 있다. 이에 따라, 서버는 오류 보고를 기반으로 생성된 학습 데이터를 이용하여 재학습을 수행할 수 있다. 이때, 서버는 미리 정의된 양만큼의 오류 보고에 기반한 학습 데이터가 누적되면, 재학습을 수행할 수 있다.
본 발명의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 발명에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 발명의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 발명의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 발명의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 발명의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.
상술한 내용은 내시경 영상을 분석하는 분야뿐 아니라, 인공지능에 기반하여 의료 영상을 분석하는 다양한 의료 영상 분야에 적용하는 것이 가능하다.

Claims (20)

  1. 내시경 영상을 분석하는 서버의 동작 방법은,
    내시경 장비를 통해 촬영된 제1 영상 프레임이 임계 수준 이상의 선명도를 가지는지 여부를 판단하는 단계;
    상기 임계 수준 이상의 선명도를 가지면, 제1 인공지능 모델을 이용하여 상기 제1 영상 프레임에서 용종의 영역을 판단하는 단계;
    상기 영역에 포함되는 대상이 용종이 아닌 다른 대상인지 여부를 확인하는 단계;
    상기 영역에 포함되는 대상이 용종이면, 제2 인공지능 모델을 이용하여 상기 용종의 유형을 분류하는 단계; 및
    상기 영역의 위치 및 크기, 상기 용종의 유형에 대한 정보 중 적어도 하나를 포함하는 분석 결과를 송신하는 단계를 포함하고,
    상기 제1 인공지능 모델 및 상기 제2 인공지능 모델은 상이한 인공지능 모델이고,
    상기 영역은, 사각형 모양의 바운딩 박스에 의해 지시되는 방법.
  2. 청구항 1에 있어서,
    상기 제1 영상 프레임이 임계 수준 이상의 선명도를 가지는지 여부는, 상기 제1 영상 프레임에 포함된 이미지인 제1 이미지 및 상기 제1 이미지를 블러링(blurring)함으로써 획득되는 제2 이미지에 기반하여 판단되는 방법.
  3. 청구항 2에 있어서,
    상기 제1 영상 프레임이 임계 수준 이상의 선명도를 가지는지 여부를 판단하는 단계는,
    상기 제1 이미지 및 상기 제2 이미지의 비교를 위한 비교 지표들을 생성하는 단계; 및
    상기 비교 지표들에 기반한 입력 데이터로부터 제1 인공지능 모델을 이용하여 상기 제1 영상 프레임에서 용종을 검출할지 여부를 나타내는 출력 데이터를 생성하는 단계를 포함하는 방법.
  4. 청구항 1에 있어서,
    청구항 1에 있어서,
    상기 영역에 포함되는 대상이 용종이 아닌 다른 대상인지 여부를 확인하는 단계는,
    상기 용종을 이물질과 구분하는 단계를 포함하고,
    상기 이물질은 음식물 찌꺼기 및 기포 중 적어도 하나를 포함하는 방법.
  5. 청구항 1에 있어서,
    상기 분석 결과를 토대로 수행된 오류 검사에 기반하여 생성된 학습 데이터로 학습을 수행하는 단계를 더 포함하고,
    상기 오류 검사에 기반하여 생성된 학습 데이터는, 상기 분석 결과가 다른 장치에서 표시된 후, 상기 표시된 분석 결과에 대해 사용자가 용종이 아님을 지시하기 위해 입력한 오류 정보에 기반하여 생성되는 데이터이고,
    상기 오류 정보는, 오류가 검출된 시점 및 오류의 위치 중 적어도 하나를 포함하는 방법.
  6. 청구항 1에 있어서,
    상기 영역에 포함되는 대상이 용종이 아닌 다른 대상인지 여부를 확인하는 단계는,
    상기 바운딩 박스에 포함되는 이미지의 일부의 픽셀 값들에 기반하여 상기 위치에 포함되는 대상이 용종이 아닌 다른 대상인지 여부를 확인하는 단계를 포함하는 방법.
  7. 청구항 1에 있어서,
    상기 제1 영상 프레임 및 상기 제1 영상 프레임 이후 촬영된 제3 영상 프레임 간의 이미지 변화 속도를 확인하는 단계;
    상기 이미지 변화 속도에 대응하는 요구 응답 시간을 확인하는 단계;
    상기 요구 응답 시간 및 현재 응답 시간을 비교하는 단계; 및
    상기 비교 결과에 기반하여 연산량을 감소시키는 단계를 더 포함하고,
    상기 요구 응답 시간은, 상기 이미지 변화 속도에 대응하여 요구되는 영상 프레임이 생성된 시점부터 검출 결과가 부가된 영상이 출력되기까지의 시간이고,
    상기 현재 응답 시간은, 현재 측정된 영상 프레임이 생성된 시점부터 검출 결과가 부가된 영상이 출력되기까지의 시간인 방법.
  8. 청구항 1에 있어서,
    상기 제1 영상 프레임보다 앞서 촬영된 제2 영상 프레임에서 용종의 영역을 판단하는 단계; 및
    상기 영역의 위치 및 크기에 대한 정보를 송신하는 단계를 더 포함하는 방법.
  9. 청구항 8에 있어서,
    상기 제1 영상 프레임에서 상기 용종의 영역을 판단하는 단계는,
    상기 제2 영상 프레임에서 판단된 영역을 확장한 후보 영역을 결정하는 단계; 및
    상기 제1 영상 프레임 중 상기 후보 영역에 대응하는 일부에서 상기 용종의 영역을 판단하는 단계를 포함하는 방법.
  10. 청구항 1에 있어서,
    상기 제1 인공지능 모델 및 제2 인공지능 모델은, 상기 내시경 장비와 다른 내시경 장비에서 촬영된 이미지에 기반하여 생성된 학습 데이터를 이용하여 학습되며,
    상기 학습 데이터는, 상기 내시경 장비에서 촬영된 제1 이미지 및 상기 다른 내시경 장비에서 촬영된 제2 이미지에 기반하여 보상된 이미지들을 포함하는 방법.
  11. 내시경 영상을 분석하는 서버는,
    통신부; 및
    프로세서를 포함하고,
    상기 프로세서는,
    내시경 장비를 통해 촬영된 제1 영상 프레임이 임계 수준 이상의 선명도를 가지는지 여부를 판단하고,
    상기 임계 수준 이상의 선명도를 가지면, 제1 인공지능 모델을 이용하여 상기 제1 영상 프레임에서 용종의 영역을 판단하고,
    상기 영역에 포함되는 대상이 용종이 아닌 다른 대상인지 여부를 확인하고,
    상기 영역에 포함되는 대상이 용종이면, 제2 인공지능 모델을 이용하여 상기 용종의 유형을 분류하고,
    상기 영역의 위치 및 크기, 상기 용종의 유형에 대한 정보 중 적어도 하나를 포함하는 분석 결과를 송신하도록 제어하고,
    상기 제1 인공지능 모델 및 상기 제2 인공지능 모델은 상이한 인공지능 모델이고,
    상기 영역은, 사각형 모양의 바운딩 박스에 의해 지시되는 서버.
  12. 청구항 11에 있어서,
    상기 제1 영상 프레임이 임계 수준 이상의 선명도를 가지는지 여부는, 상기 제1 영상 프레임에 포함된 이미지인 제1 이미지 및 상기 제1 이미지를 블러링(blurring)함으로써 획득되는 제2 이미지에 기반하여 판단되는 서버.
  13. 청구항 12에 있어서,
    상기 프로세서는,
    상기 제1 이미지 및 상기 제2 이미지의 비교를 위한 비교 지표들을 생성하고,
    상기 비교 지표들에 기반한 입력 데이터로부터 제1 인공지능 모델을 이용하여 상기 제1 영상 프레임에서 용종을 검출할지 여부를 나타내는 출력 데이터를 생성하는 서버.
  14. 청구항 11에 있어서,
    상기 프로세서는,
    상기 용종을 이물질과 구분하고,
    상기 이물질은, 음식물 찌꺼기 및 기포 중 적어도 하나를 포함하는 서버.
  15. 청구항 11에 있어서,
    상기 프로세서는,
    상기 분석 결과를 토대로 수행된 오류 검사에 기반하여 생성된 학습 데이터로 학습을 수행하고,
    상기 오류 검사에 기반하여 생성된 학습 데이터는, 상기 분석 결과를 표시한 장치를 통해 사용자가 입력한 오류 정보에 기반하여 생성되는 데이터이고,
    상기 오류 정보는, 오류가 검출된 시점 및 오류의 위치 중 적어도 하나를 포함하는 서버.
  16. 청구항 11에 있어서,
    상기 프로세서는, 상기 바운딩 박스에 포함되는 이미지의 일부의 픽셀 값들에 기반하여 상기 위치에 포함되는 대상이 용종이 아닌 다른 대상인지 여부를 확인하는 서버.
  17. 청구항 11에 있어서,
    상기 프로세서는,
    상기 제1 영상 프레임 및 상기 제1 영상 프레임 이후 촬영된 제3 영상 프레임 간의 이미지 변화 속도를 확인하고,
    상기 이미지 변화 속도에 대응하는 요구 응답 시간을 확인하고,
    상기 요구 응답 시간 및 현재 응답 시간을 비교하고,
    상기 비교 결과에 기반하여 연산량을 감소시키고,
    상기 요구 응답 시간은, 상기 이미지 변화 속도에 대응하여 요구되는 영상 프레임이 생성된 시점부터 검출 결과가 부가된 영상이 출력되기까지의 시간이고,
    상기 현재 응답 시간은, 현재 측정된 영상 프레임이 생성된 시점부터 검출 결과가 부가된 영상이 출력되기까지의 시간인, 서버.
  18. 청구항 11에 있어서,
    상기 프로세서는,
    상기 제1 영상 프레임보다 앞서 촬영된 제2 영상 프레임에서 용종의 영역을 판단하고,
    상기 영역의 위치 및 크기에 대한 정보를 송신하도록 제어하는 서버.
  19. 청구항 18에 있어서,
    상기 프로세서는,
    상기 제2 영상 프레임에서 판단된 영역을 확장한 후보 영역을 결정하고,
    상기 제1 영상 프레임 중 상기 후보 영역에 대응하는 일부에서 상기 용종의 영역을 판단하는 서버.
  20. 청구항 11에 있어서,
    상기 제1 인공지능 모델 및 제2 인공지능 모델은, 상기 내시경 장비와 다른 내시경 장비에서 촬영된 이미지에 기반하여 생성된 학습 데이터를 이용하여 학습되며,
    상기 학습 데이터는, 상기 내시경 장비에서 촬영된 제1 이미지 및 상기 다른 내시경 장비에서 촬영된 제2 이미지에 기반하여 보상된 이미지들을 포함하는 서버.
PCT/KR2022/004521 2021-06-15 2022-03-30 인공지능에 기반하여 내시경 영상을 분석하기 위한 방법 및 장치 WO2022265197A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0077434 2021-06-15
KR1020210077434A KR102388535B1 (ko) 2021-06-15 2021-06-15 인공지능에 기반하여 내시경 영상을 분석하기 위한 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2022265197A1 true WO2022265197A1 (ko) 2022-12-22

Family

ID=81452249

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/004521 WO2022265197A1 (ko) 2021-06-15 2022-03-30 인공지능에 기반하여 내시경 영상을 분석하기 위한 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102388535B1 (ko)
WO (1) WO2022265197A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102607977B1 (ko) 2022-03-07 2023-11-30 주식회사 웨이센 내시경 영상 분석 ai 모델을 이용한 소화관 내시경 영상 분석 장치 및 방법
KR20230163723A (ko) * 2022-05-24 2023-12-01 주식회사 아이도트 내시경 검사 판독 보조 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010512173A (ja) * 2006-08-21 2010-04-22 エスティーアイ・メディカル・システムズ・エルエルシー 内視鏡からの映像を用いるコンピュータ支援解析
WO2018158817A1 (ja) * 2017-02-28 2018-09-07 日本電気株式会社 画像診断装置、画像診断方法、及びプログラム
US20190156483A1 (en) * 2016-07-25 2019-05-23 Olympus Corporation Image processing apparatus and image processing method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010512173A (ja) * 2006-08-21 2010-04-22 エスティーアイ・メディカル・システムズ・エルエルシー 内視鏡からの映像を用いるコンピュータ支援解析
US20190156483A1 (en) * 2016-07-25 2019-05-23 Olympus Corporation Image processing apparatus and image processing method
WO2018158817A1 (ja) * 2017-02-28 2018-09-07 日本電気株式会社 画像診断装置、画像診断方法、及びプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GADERMAYR MICHAEL, UHL ANDREAS: "Making texture descriptors invariant to blur", EURASIP JOURNAL ON IMAGE AND VIDEO PROCESSING, vol. 2016, no. 1, 1 December 2016 (2016-12-01), XP093014852, DOI: 10.1186/s13640-016-0116-7 *
OZAWA TSUYOSHI, SOICHIRO ISHIHARA, MITSUHIRO FUJISHIRO, YOUICHI KUMAGAI, SATOKI SHICHIJO, TOMOHIRO TADA: "Automated endoscopic detection and classification of colorectal polyps using convolutional neural networks", THERAPEUTIC ADVANCES IN GASTROENTEROLOGY, vol. 13, 20 March 2020 (2020-03-20), XP093014850, DOI: 10.1177/ 1756284820910659 *
XINZI SUN; DECHUN WANG; CHENXI ZHANG; PENGFEI ZHANG; ZINAN XIONG; YU CAO; BENYUAN LIU; XIAOWEI LIU; SHUIJIAO CHEN: "Colorectal Polyp Detection in Real-world Scenario: Design and Experiment Study", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 11 January 2021 (2021-01-11), 201 Olin Library Cornell University Ithaca, NY 14853 , XP081856810 *

Also Published As

Publication number Publication date
KR102388535B1 (ko) 2022-04-22

Similar Documents

Publication Publication Date Title
WO2022265197A1 (ko) 인공지능에 기반하여 내시경 영상을 분석하기 위한 방법 및 장치
WO2017164478A1 (ko) 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치
WO2019083129A1 (ko) 피검체에 대한 안저 영상의 판독을 지원하는 방법 및 이를 이용한 장치
WO2019132590A1 (ko) 영상 변환 방법 및 장치
WO2020139009A1 (ko) 뇌혈관 질환 학습 장치, 뇌혈관 질환 검출 장치, 뇌혈관 질환 학습 방법 및 뇌혈관 질환 검출 방법
WO2022231392A1 (ko) 자동 기계학습을 통한 자동 진화형 플랫폼 구현 방법 및 장치
WO2021071288A1 (ko) 골절 진단모델의 학습 방법 및 장치
WO2021137454A1 (ko) 인공지능 기반의 사용자 의료정보 분석 방법 및 시스템
WO2015182904A1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
WO2020111754A9 (ko) 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템
JP7420916B2 (ja) 機械学習システムのリアルタイム展開
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
WO2022131642A1 (ko) 의료 영상 기반 질환 중증도 결정 장치 및 방법
WO2021101045A1 (en) Electronic apparatus and method for controlling thereof
WO2019240330A1 (ko) 영상 기반 힘 예측 시스템 및 그 방법
WO2021261727A1 (ko) 캡슐 내시경 영상 판독 시스템 및 방법
WO2024122907A1 (ko) 의료 시스템 제어 방법, 컴퓨터 프로그램 및 장치
WO2020222555A1 (ko) 영상 분석 장치 및 방법
WO2024019337A1 (en) Video enhancement method and apparatus
WO2023182702A1 (ko) 디지털 병리이미지의 인공지능 진단 데이터 처리 장치 및 그 방법
WO2022191424A1 (ko) 전자 장치 및 그 제어 방법
WO2022108004A1 (ko) 정신 질환 진단 프로토콜 자동 탐색을 위한 컴퓨터 시스템 및 그의 방법
JP2020071717A (ja) 情報処理装置、情報処理方法及びプログラム
WO2024010133A1 (ko) 머신 러닝을 이용한 영상 노이즈 학습 서버 및 영상 노이즈 저감 장치
WO2021015489A2 (ko) 인코더를 이용한 이미지의 특이 영역 분석 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22825128

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE