WO2021015490A2 - 이미지의 특이 영역 분석 방법 및 장치 - Google Patents

이미지의 특이 영역 분석 방법 및 장치 Download PDF

Info

Publication number
WO2021015490A2
WO2021015490A2 PCT/KR2020/009398 KR2020009398W WO2021015490A2 WO 2021015490 A2 WO2021015490 A2 WO 2021015490A2 KR 2020009398 W KR2020009398 W KR 2020009398W WO 2021015490 A2 WO2021015490 A2 WO 2021015490A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
attention map
normal
machine learning
abnormal
Prior art date
Application number
PCT/KR2020/009398
Other languages
English (en)
French (fr)
Other versions
WO2021015490A3 (ko
Inventor
김남국
배현진
서준범
이상민
Original Assignee
울산대학교 산학협력단
재단법인 아산사회복지재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산대학교 산학협력단, 재단법인 아산사회복지재단 filed Critical 울산대학교 산학협력단
Publication of WO2021015490A2 publication Critical patent/WO2021015490A2/ko
Publication of WO2021015490A3 publication Critical patent/WO2021015490A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present invention relates to a method and apparatus for analyzing a singular region of an image using a machine learning model.
  • Such electronic devices are being used as a means of assisting human behavior in a wide range throughout society.
  • Such electronic devices are also used in various ways in the medical field, and representatively, there may be medical image acquisition devices (eg, computed tomography (CT) and magnetic resonance imaging (MRI)).
  • CT computed tomography
  • MRI magnetic resonance imaging
  • Medical images acquired using a medical image acquisition device are read by skilled doctors and used as an auxiliary means for disease diagnosis.
  • the reading of medical images is performed depending on the subjective judgment of a medical expert (eg, a doctor), that is, a person. Accordingly, an error may occur in diagnosis according to the condition or skill of a doctor who is a judge of a medical image, and there is a risk that such error may lead to a medical accident. Accordingly, there is a need to provide information useful for a doctor's diagnostic action in relation to a medical image so that objective and accurate reading of the medical image can be made.
  • a medical expert eg, a doctor
  • the problem to be solved by the present invention is a method for analyzing a singular region to perform image analysis more effectively by identifying and providing a specific region that can act as an important factor in the analysis of an image (e.g., medical image) using a machine learning model. And an apparatus.
  • the method for analyzing a singular region of an image by inputting an abnormal image into a first machine learning model that is trained to generate at least one normal image related to an input image, Generating a normal image, generating an initial attention map including a singular region representing a difference between each of the plurality of normal images and the abnormal image, and a second learned to remove errors It may include the step of generating a final attention map based on removing the first attention map that is an error among the first attention maps using a machine learning model.
  • the first machine learning model is similar to the predetermined image, but generates a normal image when a predetermined image including an abnormal region is input using a plurality of normal images for training based on the generative machine learning model. Learning can be carried out.
  • the generative machine learning model may include a generative adversarial network.
  • the plurality of normal images may be fake images having a similarity with the abnormal image equal to or greater than a predetermined value.
  • the second machine learning model is based on a convolution neural network, a plurality of learning attention maps as input values, and an error of the learning attention map input by using the learning attention map of the error as a correct answer value.
  • Supervised learning may be performed to determine whether or not.
  • the second machine learning model may perform unsupervised learning on a plurality of learning attention maps.
  • the step of generating the final attention map may include integrating the first attention map from which the error has been removed into one image, so that a specific area of the first attention map from which the error has been removed overlaps in the final attention map. ) And generating the final attention map.
  • the step of generating the final attention map may include calculating an uncertainty for the singular region of the final attention map based on at least one of the size of the overlapped singular region of the final attention map and the number of overlapped initial attention maps. It may further include a step.
  • the abnormal image includes an image of an abnormal region obtained by photographing at least a part of the abnormal region indicated by the disease based on acquired from a patient having the disease, and the normal image is a normal state of a normal person who does not have the disease
  • a normal region image obtained by capturing a normal region representing a is included, and at least a portion of the normal region may positionally correspond to at least a portion of the abnormal region within each image.
  • the predetermined component may include at least one of bone, blood, and organs.
  • the apparatus for analyzing a singular region of an image inputs an abnormal image to a first machine learning model that is trained to generate at least one normal image related to an input image, A normal image generation unit that generates a normal image, an initial attention map generation unit that generates an initial attention map including a specific region representing a difference between each of the plurality of normal images and the abnormal image, and an error A final attention map generator for generating a final attention map based on removing the first attention map that is an error among the first attention maps by using the second machine learning model learned to remove.
  • the first machine learning model is similar to the predetermined image, but generates a normal image when a predetermined image including an abnormal region is input using a plurality of normal images for training based on the generative machine learning model. Learning can be carried out.
  • the generative machine learning model may include a generative adversarial network.
  • the plurality of normal images may be fake images having a similarity with the abnormal image equal to or greater than a predetermined value.
  • the second machine learning model is based on a convolution neural network, using a plurality of learning attention maps as input values, and an error of learning attention maps input as correct answer values. Supervised learning may be performed to determine whether or not.
  • unsupervised learning may be performed on a plurality of learning attention maps.
  • the final attention map generation unit may overlap and appear in the final attention map based on the integration of the first attention map from which the error has been removed into a single image, and a specific region of the first attention map from which the error has been removed. So that the final attention map may be generated.
  • the final attention map generator may further calculate the uncertainty of the singular region of the final attention map based on at least one of the size of the overlapped singular region of the final attention map and the number of overlapped initial attention maps. .
  • the abnormal image includes an image of an abnormal region obtained by photographing at least a part of the abnormal region indicated by the disease based on acquired from a patient having the disease, and the normal image is a normal state of a normal person who does not have the disease
  • a normal region image obtained by capturing a normal region representing a is included, and at least a portion of the normal region may positionally correspond to at least a portion of the abnormal region within each image.
  • the predetermined component may include at least one of bone, blood, and organs.
  • a computer-readable recording medium is a computer-readable recording medium storing a computer program, and is abnormal in a first machine learning model that is learned to generate at least one normal image related to an input image. Generating a plurality of normal images related to the abnormal image by inputting an image, and generating an initial attention map including a specific region representing a difference between each of the plurality of normal images and the abnormal image And generating a final attention map based on removing the first attention map that is an error among the first attention maps using a second machine learning model learned to remove the error. It may include a command to do.
  • the method and apparatus for analyzing a singular region uses a machine learning model to identify and provide a singular region that can act as an important element in the analysis of an image (eg, a medical image) to perform image analysis more effectively. You can do it.
  • an image eg, a medical image
  • FIG. 1 is a conceptual diagram illustrating a method for analyzing a singular region according to an embodiment of the present invention.
  • FIG. 2 shows an example of an image related to a method for analyzing a singular region according to an embodiment of the present invention.
  • FIG. 3 is a functional block diagram of an apparatus for analyzing a singular region according to an embodiment of the present invention.
  • FIG. 1 is a conceptual diagram illustrating a method for analyzing a singular region according to an embodiment of the present invention.
  • the first machine learning model 10 of FIG. 1 generates a fake normal image 13 that is similar to an input image (eg, a medical image), but represents the state of a person without disease, that is, a normal person (hereinafter, a normal state). It may be a machine learning model that has been trained to do. Accordingly, as shown in FIG. 1, when a state of a patient with a disease, that is, an abnormal image 11 representing an abnormal state, is input to the first machine learning model 10, it is similar to the abnormal image 11, but A normal image 13 representing the state may be generated. In this case, the normal image 13 may be an image having a degree of similarity with the abnormal image 11 or higher than a predetermined value.
  • the normal image 13 is a fake image generated from the first machine learning model 10 that is not acquired by imaging an actual normal person, but may represent various normal states that may appear to a normal person.
  • each of the normal image 13 and the abnormal image 11 is a medical image and may be an image of a part of a human body.
  • the normal image 13 may include at least a portion of the normal region indicating the normal state
  • the abnormal image 11 may include at least a portion of the abnormal region indicating the abnormal state.
  • at least a portion of the normal region may correspond to at least a portion of the abnormal region in a positional manner within each image.
  • the abnormal image 11 is an image representing the area of the skull
  • the normal image 13 may also be an image representing the area of the skull, and within each image, the area of the skull may positionally correspond to each other. have.
  • the first machine learning model 10 may be trained to generate a plurality (or two or more) different normal images by receiving one image. Accordingly, the first machine learning model 10 may receive one abnormal image 11 and generate a plurality of normal images 13.
  • a difference between each of the normal images 13 and the abnormal image 11 may be obtained.
  • This difference may correspond to an anomaly area, and when the singular area is obtained, an initial attention map 15 including the singular area may be generated.
  • the specific region represents the difference between the normal state and the abnormal state, and this information serves as an important part in the reading of the abnormal state through the abnormal image 11, that is, when diagnosing the patient's condition of the abnormal image 11. It can be an area.
  • the initial attention map 15 may be generated for each of the generated normal images 13. If 10 normal images 13 are acquired, 10 initial attention maps 15 may also be obtained.
  • the initial attention map 15 generated corresponding to each of the plurality of normal images 13 may be input as the second machine learning model 20.
  • the second machine learning model 20 may remove the attention map which is an error among the initial attention map 15 so that the final attention map 17 is generated.
  • a singular region may also be included in the final attention map 17, and since the singular region is generated by the second machine learning model 20 in a state in which errors are removed, high accuracy may be obtained.
  • the second machine learning model 20 is based on integrating the initial attention map from which the error has been removed into one image, and the first error is removed from the final attention map 17.
  • the final attention map 17 may be generated so that the specific area of the attention map 15 overlaps and appears.
  • the final attention map 17 may also provide information on the uncertainty of the singular region.
  • the uncertainty may be a value calculated based on at least one of the size of the overlapped singular region of the final attention map 17 and the number of overlapped initial attention maps.
  • the uncertainty is calculated in inverse proportion to the number of overlapping initial attention maps 15 by setting the case where overlap is performed as much as the number of initial attention maps 15 as 0, and the case where overlap is not performed as 1 Can be. Accordingly, as the number of overlapped initial attention maps 15 decreases, the uncertainty value may be calculated.
  • information on the uncertainty may be provided by displaying the uncertainty in text form on the final attention map 17, or by specifying a color according to the uncertainty value so that the unusual areas are displayed in different colors. You can also provide.
  • the form of providing information on uncertainty is not limited to the above-described example.
  • FIG. 2 shows an example of an image related to a method for analyzing a singular region according to an embodiment of the present invention.
  • an output image 13' may be obtained, and an input image 11' and an output image 13' An initial attention map 17 ′ in which a singular region including the difference of is displayed may be generated.
  • the input image 11' is a medical image (e.g., CT, MRI) obtained from a patient with a disease, and an area of an abnormal state indicated by a disease, that is, an abnormal area (a portion indicated by an arrow in FIG. 2) May be included in the image.
  • a medical image e.g., CT, MRI
  • an abnormal area a portion indicated by an arrow in FIG. 2
  • the abnormal region represents, for example, a bleeding part or a disease part of a patient and may be a characteristic part of an abnormal state that cannot be seen in a normal case.
  • the output image 13 ′ is acquired (or generated) by the first machine learning model 10 of FIG. 1, and may be an image similar to the input image 11 ′, but representing a normal state.
  • the initial attention map 17 ′ may include a specific region indicating a difference between the input image 11 ′ and the output image 13 ′.
  • the singular region may be a region of an abnormal state that is not derived from the normal state, that is, a region corresponding to the abnormal region. Referring to FIG. 2, in the initial attention map 17 ′, a characteristic part that is related to a disease in the input image 11 ′ is displayed as it is in the attention map 17 ′, but it can be seen that it is more clearly revealed.
  • the abnormal region is an important part in the diagnosis, progress, and state determination of a disease, and may be a part that the doctor focuses on.
  • a long skilled process is required to distinguish the abnormal region in the input image 11 ′, and an error may occur depending on a condition or the like even for an experienced expert. Accordingly, if information on the abnormal region is provided by generating the initial attention map 17 ′, analysis of the disease may be performed more easily.
  • errors for example, false positive errors, may occur in the initial attention map 17' due to the characteristics of the machine learning model.
  • the method and apparatus for analyzing a singular region can provide information on the singular region more accurately by generating a final attention map by removing an error from the initial attention map 17'.
  • FIG. 3 is a functional block diagram of an apparatus for analyzing a singular region according to an embodiment of the present invention. Used below'...
  • a term such as'negative' means a unit that processes at least one function or operation, which may be implemented by hardware or software, or a combination of hardware and software.
  • content overlapping with FIG. 1 may be omitted.
  • the singular area analysis apparatus 100 may include a normal image generation unit 110, an initial attention map generation unit 120, a final attention map generation unit 130, and a component determination unit 140.
  • the normal image generation unit 110 may be implemented by a computing device including a microprocessor, which is an initial attention map generation unit 120, a final attention map generation unit 130, and component discrimination to be described later. The same is true for part 140.
  • the normal image generation unit 110 inputs the abnormal image 11 to the first machine learning model 10 that has been trained to generate at least one normal image related to the input image, so that a plurality of normal images related to the abnormal image ( 13) can be created.
  • the first machine learning model 10 is similar to the input predetermined image when a predetermined image is input using a plurality of normal images for learning based on a generative machine learning model (e.g., a generative adversarial network). However, that is, learning may be performed to generate a normal image with a degree of similarity equal to or greater than a predetermined value.
  • the normal image generated by the first machine learning model 10 is not an actual image obtained from a person in a normal state, but 1 It may be a fake image generated by the machine learning model 10.
  • the generative machine learning model is not limited to the hostile generative network, and the first machine learning model 10 may be implemented as various types of generative machine learning models.
  • the generative machine learning model is composed of a generation algorithm corresponding to the first machine learning model 10 and a discrimination algorithm that determines the result generated by the first machine learning model 10, so that the result of the generation algorithm is more accurate. Learning may be performed so that the input image is generated (for example, to be closer to a normal image).
  • training of the first machine learning model 10 may be performed to reduce a difference between an image generated and an input image using a mean squared error (MSE) or a similar metric. Specifically, by performing back propagation in a direction in which the difference between the generated image and the input image decreases, the first machine learning based on adjusting the value of noise input to the first machine learning model 10 The model 10 may be trained. Learning about the first machine learning model 10 may be terminated when the difference between the generated image and the input image becomes less than or equal to a predetermined value.
  • MSE mean squared error
  • Such a first machine learning model 10 may be trained to generate an image in a batch unit by varying the initial value of training, and accordingly, several result images, that is, a plurality of normal images 13 It may be obtained from the first machine learning model 10.
  • the initial attention map generator 120 may generate an initial attention map including a specific region representing a difference from an abnormal image for each of the plurality of normal images 13. That is, an initial attention map 15 may be generated for each of the plurality of normal images 13 by obtaining a difference from the abnormal image for each of the plurality of normal images 13. Accordingly, a plurality of initial attention maps 15 corresponding to the plurality of normal images 13 may be generated.
  • the final attention map generation unit 130 may generate the final attention map 17 by removing the first attention map that is an error among the first attention maps using the second machine learning model 20 that has been trained to remove the error.
  • an error (eg, a false positive error) may be included in the initial attention map 15 generated by the first attention map generator 120. That is, at least some of the generated plurality of initial attention maps 15 may include information on an incorrect singular area. Accordingly, the error needs to be removed in order to provide more accurate information, and the final attention map generator 130 may generate the final attention map 17 with improved accuracy by removing the error.
  • the final attention map generation unit 130 may use the second machine learning model 20 as described above in order to remove the error, but the second machine learning model 20 is supervised learning or unsupervised learning. Based on the learning may be performed in advance.
  • the second machine learning model 20 is input based on a convolution neural network (CNN), using a plurality of learning attention maps as input values, and an error learning attention map as a correct answer value. It may be a model in which supervised learning has been performed to determine whether or not there is an error in the learned attention map.
  • CNN convolution neural network
  • the second machine learning model 20 may be a model in which unsupervised learning is performed so as to distinguish an attention map of an error based on classification (or classification) of a plurality of learning attention maps according to features. .
  • the final attention map generation unit 130 is based on the integration of the first attention map from which the error has been removed into one image, so that the singular area of the first attention map from which the error has been removed is overlapped and displayed in the final attention map 17.
  • An attention map 17 can be generated.
  • At least a portion of the singular region may have a different number of overlaps. Accordingly, an uncertainty may be calculated and information on the uncertainty may be provided together with the final attention map 17.
  • the final attention map generation unit 130 includes the final attention map 17 based on at least one of the size of the overlapped singular area of the final attention map 17 and the number of overlapped initial attention maps 15. You can calculate the uncertainty for the singular region of.
  • the component determination unit 140 may determine whether or not a predetermined component is included for a specific area of the final attention map 17 by using a third machine learning model that has been learned to determine a predetermined component.
  • the predetermined component may include at least one of bone, blood, and organ.
  • the third machine learning model is input when an image (eg, the initial attention map 15) including a singular region is input based on a machine learning algorithm (eg, a convolution neural network (CNN) or a deep neural network (DNN)). Learning may have been performed to determine the components included in the created image and output information about them.
  • a machine learning algorithm eg, a convolution neural network (CNN) or a deep neural network (DNN)
  • FIG. 4 shows the flow of each step of the method for analyzing a singular region according to an embodiment of the present invention. It goes without saying that each step of the method illustrated in FIG. 4 may be performed in a different order as illustrated in the drawings depending on the case.
  • the normal image generator 110 may generate a plurality of normal images related to the abnormal image (S110).
  • the abnormal image is a medical image, for example, CT or MRI, and may include an image of an abnormal region obtained by capturing at least a part of an abnormal region indicated by a disease based on acquired from a patient having a disease.
  • the normal image may include a normal region image taken of a normal region representing the normal state of a normal person without a disease, and an abnormal image and a similarity higher than a predetermined value, but a fake image, that is, artificially generated rather than obtained from a patient It may be an image.
  • the normal image generator 110 inputs an abnormal image to the first machine learning model 10 that has been trained to generate at least one normal image related to the input image, and generates a plurality of normal images related to the abnormal image. Can be generated.
  • the first machine learning model 10 is focused on a generative adversarial network (GAN) or a similar generative model, and when a predetermined image including an abnormal region is input using a plurality of normal images for training. It may be a machine learning model similar to a predetermined image, but in which training has been performed to generate a normal image.
  • GAN generative adversarial network
  • the initial attention map generator 120 may generate an initial attention map 15 including a specific area (S120).
  • the initial attention map 15 may be generated by the number corresponding to the plurality of normal images 13.
  • the singular region indicates a difference between a plurality of normal images and abnormal images, and may be a partial region of an image that should be intensively analyzed when reading the abnormal image.
  • the initial attention map 15 such a specific area may be displayed so that it is better distinguished from other areas.
  • the color, pattern, or contrast of the singular region may be displayed to be distinguished from other regions, or a line indicating the border of the singular region may be displayed to display the singular region.
  • the present invention is not limited thereto, and the initial attention map 15 may be generated so that the specific area is displayed in various ways.
  • the final attention map generator 130 may generate the final attention map 17 based on removing an error from the first attention map 15 (S130). Specifically, the final attention map generation unit 130 removes the first attention map 15 that is an error among the first attention maps 15 using the second machine learning model 20 learned to remove the error, The final attention map 17 may be generated.
  • the component determining unit 140 uses the third machine learning model learned to determine the predetermined component, and determines whether or not a predetermined component is included for the specific area of the final attention map 17. Can be identified.
  • the predetermined component may include at least one of bone, blood, and organ.
  • the third machine learning model may be a machine learning model in which learning is performed to determine a predetermined component. Accordingly, the component determining unit 140 may determine the component included in the final attention map 17 using the third machine learning model and provide information about it.
  • the component determination unit 140 determines the components included in the final attention map 17 by inputting the final attention map 17 to the third machine learning model.
  • the modified final attention map 17 may be output by modifying so that the information on is displayed.
  • the third machine learning model may be implemented to be included in the second machine learning model.
  • the process of generating the final attention map 17 based on the input of the initial attention map 15 and the process of determining the components may be performed in parallel or regardless of the order.
  • an image input to the first machine learning model 10 has been specified and described as an abnormal image, but the present invention is not limited thereto, and a questionable image of whether it is normal or abnormal may be input. Even in this case, the image generated by the first machine learning model 10 may be a normal image.
  • the specific area analysis apparatus 100 and its method according to an embodiment of the present invention provide a final attention map 17 from which errors have been removed, so that an expert (e.g., a doctor) analyzes a medical image for diagnosis of a patient.
  • the diagnosis efficiency can be improved by providing more accurate information on the specific area, which is a part to be analyzed centrally.
  • the specific area analysis apparatus 100 and the method according to an embodiment of the present invention provide an uncertainty about the specific area, thereby allowing the specific area to be selectively utilized by an expert, thereby improving the accuracy and efficiency of patient diagnosis. You can do it.
  • Combinations of each block of the block diagram attached to the present specification and each step of the flowchart may be performed by computer program instructions. Since these computer program instructions can be mounted on a processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, the instructions executed by the processor of the computer or other programmable data processing equipment are shown in each block or flow chart of the block diagram. Each step creates a means to perform the functions described.
  • These computer program instructions can also be stored in computer-usable or computer-readable memory that can be directed to a computer or other programmable data processing equipment to implement a function in a particular way, so that the computer-usable or computer-readable memory It is also possible to produce an article of manufacture in which the instructions stored in the block diagram contain instruction means for performing the functions described in each block of the block diagram or each step of the flowchart.
  • Computer program instructions can also be mounted on a computer or other programmable data processing equipment, so that a series of operating steps are performed on a computer or other programmable data processing equipment to create a computer-executable process to create a computer or other programmable data processing equipment. It is also possible for the instructions to perform the processing equipment to provide steps for performing the functions described in each block of the block diagram and each step of the flowchart.
  • each block or each step may represent a module, segment, or part of code comprising one or more executable instructions for executing the specified logical function(s). It should also be noted that in some alternative embodiments, functions mentioned in blocks or steps may occur out of order. For example, two blocks or steps shown in succession may in fact be performed substantially simultaneously, or the blocks or steps may sometimes be performed in the reverse order depending on the corresponding function.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 일 실시예에 따른 이미지의 특이 영역 분석 방법은, 입력되는 이미지와 관련된 적어도 하나의 정상 이미지를 생성하도록 학습된 제1 기계학습 모델에 비정상 이미지를 입력하여, 상기 비정상 이미지와 관련된 복수의 정상 이미지를 생성하는 단계와, 각각의 상기 복수의 정상 이미지와 상기 비정상 이미지와의 차이를 나타내는 특이 영역을 포함하는 최초 어텐션맵(attention map)을 생성하는 단계와, 오류를 제거하도록 학습된 제2 기계학습 모델을 이용하여 상기 최초 어텐션맵 중 오류인 최초 어텐션맵을 제거함에 기초하여, 최종 어텐션맵을 생성하는 단계를 포함할 수 있다.

Description

이미지의 특이 영역 분석 방법 및 장치
본 발명은 기계학습 모델을 이용하여 이미지의 특이 영역을 분석하는 특이 영역 분석 방법 및 장치에 관한 것이다.
전자 기술의 발달에 따라, 전자 장치는 사회 전반에 걸쳐 다양한 범위에서 사람의 행위를 보조하는 수단으로 이용되고 있다. 이러한 전자 장치는 의료 분야에서도 다양하게 이용되고 있는데, 대표적으로 의료용 영상 획득 장치(예: CT(computed tomography), MRI(magnetic resonance imaging))가 있을 수 있다.
의료용 영상 획득 장치를 이용하여 획득된 의료용 영상은 숙련된 의사들에 의해 판독되어 질병 진단의 보조 수단으로 사용된다.
한편, 의료용 영상의 판독 행위는 의료 분야의 전문가(예: 의사), 즉, 사람의 주관적 판단에 의존하여 이루어진다. 이에 따라, 의학용 영상의 판단자인 의사의 컨디션이나 숙련도에 따라 진단에 오류가 발생할 수 있고, 이러한 오류는 의료 사고로까지 이어질 수 있는 위험이 존재한다. 따라서, 객관적이며 정확한 의료용 영상의 판독이 이루어질 수 있도록 의료용 영상과 관련하여 의사의 진단 행위에 도움이 되는 정보가 제공될 필요가 있다.
본 발명이 해결하고자 하는 과제는, 기계학습 모델을 이용하여 이미지(예: 의료용 영상)의 분석에 중요한 요소로 작용 가능한 특이 영역을 판별하여 제공함으로써 이미지의 분석이 보다 효과적으로 수행되도록 하는 특이 영역 분석 방법 및 장치를 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 바로 제한되지 않으며, 언급되지는 않았으나 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있는 목적을 포함할 수 있다.
본 발명의 일 실시예에 따른 이미지의 특이 영역 분석 방법은, 입력되는 이미지와 관련된 적어도 하나의 정상 이미지를 생성하도록 학습된 제1 기계학습 모델에 비정상 이미지를 입력하여, 상기 비정상 이미지와 관련된 복수의 정상 이미지를 생성하는 단계와, 각각의 상기 복수의 정상 이미지와 상기 비정상 이미지와의 차이를 나타내는 특이 영역을 포함하는 최초 어텐션맵(attention map)을 생성하는 단계와, 오류를 제거하도록 학습된 제2 기계학습 모델을 이용하여 상기 최초 어텐션맵 중 오류인 최초 어텐션맵을 제거함에 기초하여, 최종 어텐션맵을 생성하는 단계를 포함할 수 있다.
또한, 상기 제1 기계학습 모델은, 생성형 기계학습 모델에 기초하여, 복수의 학습용 정상 이미지를 이용하여 비정상 영역을 포함하는 소정의 이미지가 입력되면 상기 소정의 이미지와 유사하되 정상 이미지를 생성하도록 학습이 수행될 수 있다.
또한, 상기 생성형 기계학습 모델은 적대적생성네트워크(generative adversarial network)를 포함할 수 있다.
또한, 상기 복수의 정상 이미지는, 상기 비정상 이미지와의 유사도가 소정값 이상의 가짜(fake) 이미지일 수 있다.
또한, 상기 제2 기계학습 모델은, 컨벌루션뉴럴네트워크(convolution neural network)에 기초하여, 복수의 학습용 어텐션맵을 입력값으로 하고, 오류의 학습용 어텐션맵을 정답값으로 하여 입력된 학습용 어텐션맵의 오류 여부를 판별하도록 지도 학습이 수행되어 있을 수 있다.
또한, 상기 제2 기계학습 모델은, 복수의 학습용 어텐션맵에 대한 비지도 학습이 수행될 수 있다.
또한, 상기 최종 어텐션맵을 생성하는 단계는, 상기 오류가 제거된 최초 어텐션맵을 하나의 이미지로 통합함에 기초하여, 상기 최종 어텐션맵 내에 상기 오류가 제거된 최초 어텐션맵의 특이 영역이 오버랩(overlap)되어 나타나도록 상기 최종 어텐션맵을 생성하는 단계를 포함할 수 있다.
또한, 상기 최종 어텐션맵을 생성하는 단계는, 상기 최종 어텐션맵의 오버랩된 특이 영역의 크기 및 오버랩된 최초 어텐션맵의 개수 중 적어도 하나에 기초하여 상기 최종 어텐션맵의 특이 영역에 대한 불확실도를 산출하는 단계를 더 포함할 수 있다.
또한, 상기 비정상 이미지는, 질환을 가지는 환자로부터 획득됨에 기초하여 상기 질환에 의해 나타나는 비정상 영역의 적어도 일부를 촬상한 비정상 영역 이미지를 포함하고, 상기 정상 이미지는, 상기 질환을 갖지 않는 정상인의 정상 상태를 나타내는 정상 영역을 촬상한 정상 영역 이미지를 포함하고, 상기 정상 영역의 적어도 일부는 상기 비정상 영역의 적어도 일부에 각 이미지 내에서 위치적으로 대응할 수 있다.
또한, 기지정된 구성요소를 판별하도록 학습된 제3 기계학습 모델을 이용하여, 상기 최종 어텐션맵의 특이 영역에 대해 상기 기지정된 구성요소가 포함되었는지 여부를 판별하는 단계를 더 포함하고, 상기 기지정된 구성요소는, 뼈, 혈액 및 기관 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따른 이미지의 특이 영역 분석 장치는, 입력되는 이미지와 관련된 적어도 하나의 정상 이미지를 생성하도록 학습된 제1 기계학습 모델에 비정상 이미지를 입력하여, 상기 비정상 이미지와 관련된 복수의 정상 이미지를 생성하는 정상 이미지 생성부와, 각각의 상기 복수의 정상 이미지와 상기 비정상 이미지와의 차이를 나타내는 특이 영역을 포함하는 최초 어텐션맵(attention map)을 생성하는 최초 어텐션맵 생성부와, 오류를 제거하도록 학습된 제2 기계학습 모델을 이용하여 상기 최초 어텐션맵 중 오류인 최초 어텐션맵을 제거함에 기초하여, 최종 어텐션맵을 생성하는 최종 어텐션맵 생성부를 포함할 수 있다.
또한, 상기 제1 기계학습 모델은, 생성형 기계학습 모델에 기초하여, 복수의 학습용 정상 이미지를 이용하여 비정상 영역을 포함하는 소정의 이미지가 입력되면 상기 소정의 이미지와 유사하되 정상 이미지를 생성하도록 학습이 수행될 수 있다.
또한, 상기 생성형 기계학습 모델은 적대적생성네트워크(generative adversarial network)를 포함할 수 있다.
또한, 상기 복수의 정상 이미지는, 상기 비정상 이미지와의 유사도가 소정값 이상의 가짜(fake) 이미지일 수 있다.
또한, 상기 제2 기계학습 모델은, 컨벌루션뉴럴네트워크(convolution neural network)에 기초하여, 복수의 학습용 어텐션맵을 입력값으로 하고, 오류의 학습용 어텐션맵을 정답값으로하여 입력된 학습용 어텐션맵의 오류 여부를 판별하도록 지도 학습이 수행되어 있을 수 있다.
또한, 상기 제2 기계학습 모델은, 복수의 학습용 어텐션맵에 대한 비지도 학습이 수행되어 있을 수 있다.
또한, 상기 최종 어텐션맵 생성부는, 상기 오류가 제거된 최초 어텐션맵을 하나의 이미지로 통합함에 기초하여, 상기 최종 어텐션맵 내에 상기 오류가 제거된 최초 어텐션맵의 특이 영역이 오버랩(overlap)되어 나타나도록 상기 최종 어텐션맵을 생성하는 단계를 포함할 수 있다.
또한, 상기 최종 어텐션맵 생성부는, 상기 최종 어텐션맵의 오버랩된 특이 영역의 크기 및 오버랩된 최초 어텐션맵의 개수 중 적어도 하나에 기초하여 상기 최종 어텐션맵의 특이 영역에 대한 불확실도를 더 산출할 수 있다.
또한, 상기 비정상 이미지는, 질환을 가지는 환자로부터 획득됨에 기초하여 상기 질환에 의해 나타나는 비정상 영역의 적어도 일부를 촬상한 비정상 영역 이미지를 포함하고, 상기 정상 이미지는, 상기 질환을 갖지 않는 정상인의 정상 상태를 나타내는 정상 영역을 촬상한 정상 영역 이미지를 포함하고, 상기 정상 영역의 적어도 일부는 상기 비정상 영역의 적어도 일부에 각 이미지 내에서 위치적으로 대응할 수 있다.
또한, 기지정된 구성요소를 판별하도록 학습된 제3 기계학습 모델을 이용하여, 상기 최종 어텐션맵의 특이 영역에 대해 상기 기지정된 구성요소가 포함되었는지 여부를 판별하는 구성요소 판별부를 더 포함하고, 상기 기지정된 구성요소는, 뼈, 혈액 및 기관 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따른 컴퓨터 판독 가능한 기록매체는, 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서, 입력되는 이미지와 관련된 적어도 하나의 정상 이미지를 생성하도록 학습된 제1 기계학습 모델에 비정상 이미지를 입력하여, 상기 비정상 이미지와 관련된 복수의 정상 이미지를 생성하는 단계와, 각각의 상기 복수의 정상 이미지와 상기 비정상 이미지와의 차이를 나타내는 특이 영역을 포함하는 최초 어텐션맵(attention map)을 생성하는 단계와, 오류를 제거하도록 학습된 제2 기계학습 모델을 이용하여 상기 최초 어텐션맵 중 오류인 최초 어텐션맵을 제거함에 기초하여, 최종 어텐션맵을 생성하는 단계를 포함하는 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다.
본 발명의 실시예에 따른 특이 영역 분석 방법 및 장치는, 기계학습 모델을 이용하여 이미지(예: 의료용 영상)의 분석에 중요한 요소로 작용 가능한 특이 영역을 판별하여 제공함으로써 이미지의 분석이 보다 효과적으로 수행되도록 할 수 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 특이 영역 분석 방법의 개념도를 도시한다.
도 2는 본 발명의 일 실시예에 따른 특이 영역 분석 방법과 관련된 이미지의 예를 도시한다.
도 3은 본 발명의 일 실시예에 따른 특이 영역 분석 장치의 기능 블록도를 도시한다.
도 4는 본 발명의 일 실시예에 따른 특이 영역 분석 방법의 각 단계의 흐름을 도시한다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 포함할 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로서 이해되어야 한다.
제 1, 제 2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 이와 같은 용어들에 의해 한정되지는 않는다. 이 용어들은 하나의 구성요소들을 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 특이 영역 분석 방법의 개념도를 도시한다.
도 1의 제1 기계학습 모델(10)은 입력되는 이미지(예: 의료용 영상)와 유사하되 질환이 없는 사람, 즉 정상인의 상태(이하, 정상 상태)를 나타내는 가짜의 정상 이미지(13)를 생성하도록 학습된 기계학습 모델일 수 있다. 이에 따라, 도 1에 도시된 바와 같이, 제1 기계학습 모델(10)에 질환이 있는 환자의 상태, 즉 비정상 상태를 나타내는 비정상 이미지(11)가 입력되면 비정상 이미지(11)와 유사하되, 정상 상태를 나타내는 정상 이미지(13)가 생성될 수 있다. 이 때, 정상 이미지(13)는 비정상 이미지(11)와의 유사도가 소정값 이상을 가지는 이미지일 수 있다.
정상 이미지(13)는 실제 정상인에 대한 촬상에 의해 획득된 것이 아닌 제1 기계학습 모델(10)로부터 생성된 가짜 이미지(fake image)이지만, 정상인에게 나타날 수 있는 다양한 정상 상태를 나타낼 수 있다.
또한, 정상 이미지(13)와 비정상 이미지(11) 각각은 모두 의료용 영상으로서 사람의 신체의 일부에 대한 이미지일 수 있다. 정상 이미지(13)에는 정상 상태를 나타내는 정상 영역의 적어도 일부가 포함될 수 있고, 비정상 이미지(11)에는 비정상 상태를 나타내는 비정상 영역의 적어도 일부가 포함될 수 있다. 이 때, 정상 영역의 적어도 일부는 비정상 영역의 적어도 일부에 각 이미지 내에서 위치적으로 대응할 수 있다.
예를 들어, 비정상 이미지(11)가 두개골에 대한 영역을 나타내는 이미지이면 정상 이미지(13)도 두개골에 대한 영역을 나타내는 이미지일 수 있으며, 각 이미지 내에서 두개골에 대한 영역이 서로 위치적으로 대응할 수 있다.
경우에 따라, 제1 기계학습 모델(10)은 하나의 이미지를 입력받아 서로 다른 복수(또는 2개 이상)의 정상 이미지를 생성하도록 학습이 수행된 것일 수 있다. 이에 따라, 제1 기계학습 모델(10)은 하나의 비정상 이미지(11)를 입력받아 복수의 정상 이미지(13)를 생성할 수 있다.
복수의 정상 이미지(13)가 생성되면, 정상 이미지(13) 각각 비정상 이미지(11)와의 차이가 구해질 수 있다. 이러한 차이는 특이 영역(anomaly area)에 해당할 수 있으며, 특이 영역이 구해지면, 특이 영역을 포함하는 최초 어텐션맵(15)이 생성될 수 있다. 특이 영역은, 정상 상태와 비정상 상태의 차이를 나타내는 것으로, 이러한 정보는 비정상 이미지(11)를 통한 비정상 상태에 대한 판독, 즉 비정상 이미지(11)의 환자의 상태를 진단할 때 중요한 부분으로 작용하는 영역일 수 있다.
최초 어텐션맵(15)은 생성된 정상 이미지(13) 각각 별로 생성될 수 있는 것으로, 만약, 정상 이미지(13)가 10개 획득되면, 최초 어텐션맵(15)도 10개 획득될 수 있다.
복수의 정상 이미지(13) 각각에 대응하여 생성된 최초 어텐션맵(15)은 제2 기계학습 모델(20)로 입력될 수 있다. 제2 기계학습 모델(20)은 최초 어텐션맵(15) 중 오류인 어텐션맵을 제거하여 최종 어텐션맵(17)이 생성되도록 할 수 있다. 최종 어텐션맵(17)에도 특이 영역이 포함될 수 있는데, 여기서의 특이 영역은 제2 기계학습 모델(20)에 의해 오류가 제거된 상태로 생성되는 것이므로 높은 정확도를 가지게 될 수 있다.
최종 어텐션맵(17)의 생성과 관련하여, 제2 기계학습 모델(20)은 오류가 제거된 최초 어텐션맵을 하나의 이미지로 통합함에 기초하여, 최종 어텐션맵(17)에 오류가 제거된 최초 어텐션맵(15)의 특이 영역이 오버랩(overlap)되어 나타나도록 최종 어텐션맵(17)을 생성할 수 있다.
경우에 따라, 최종 어텐션맵(17)은 특이 영역의 불확실도(uncertainty)에 대한 정보를 함께 제공할 수 있다. 불확실도는 최종 어텐션맵(17)의 오버랩된 특이 영역의 크기 및 오버랩된 최초 어텐션맵의 개수 중 적어도 하나에 대해 기초하여 산정되는 값일 수 있다.
예를 들어, 불확실도는 최초 어텐션맵(15)의 개수만큼 오버랩이 수행된 경우를 0으로 하고, 오버랩이 수행되지 않은 경우를 1로 하여, 오버랩된 최초 어텐션맵(15)의 개수에 반비례하여 산출될 수 있다. 이에 따라, 오버랩된 최초 어텐션맵(15)의 개수가 적을 수록 불확실도의 값이 크게 산출될 수 있다.
구체적으로 도시하지는 않았으나, 불확실도에 대한 정보는 최종 어텐션맵(17)에 불확실도를 텍스트 형태로 표시하여 제공할 수도 있고, 불확실도 값에 따라 색을 지정하여 특이 영역이 서로 다른 색으로 구분되어 나타나도록 함으로써 제공할 수도 있다. 다만, 불확실도에 대한 정보 제공의 형태는 상술된 예에 제한되지 않는다.
도 2는 본 발명의 일 실시예에 따른 특이 영역 분석 방법과 관련된 이미지의 예를 도시한다.
도 2를 참조하면, 입력 이미지(11')가 제1 기계학습 모델(10)에 입력되면, 출력 이미지(13')가 획득될 수 있고, 입력 이미지(11')와 출력 이미지(13')의 차이를 포함하는 특이 영역이 나타나는 최초 어텐션맵(17')이 생성될 수 있다.
여기서, 입력 이미지(11')는 질환을 가지는 환자로부터 획득되는 의료용 영상(예: CT, MRI)으로, 질환에 의해 나타나는 비정상 상태의 영역, 즉 비정상 영역(도 2의 화살표로 표시한 부분)이 이미지에 포함되어 있을 수 있다.
비정상 영역은, 예를 들면, 환자의 출혈 부분 또는 질환 부분을 나타내는 것으로 정상의 경우에는 볼 수 없는 비정상 상태의 특징적인 부분일 수 있다.
출력 이미지(13')는 도 1의 제1 기계학습 모델(10)에 의해 획득(또는 생성)되는 것으로, 입력 이미지(11')와는 유사하되 정상 상태를 나타내는 이미지일 수 있다.
최초 어텐션맵(17')에는 입력 이미지(11')와 출력 이미지(13') 간의 차이를 나타내는 특이 영역이 포함되어 있을 수 있다. 구체적으로, 특이 영역은 정상 상태에서는 도출되지 않는 비정상 상태의 영역, 즉 비정상 영역에 대응하는 영역일 수 있다. 도 2를 참고하면 최초 어텐션맵(17')에는 입력 이미지(11')에서 질환과 관련되어 나타나는 특징적인 부분이 어텐션맵(17')에 그대로 나타나되, 보다 명확하게 드러남을 알 수 있다.
한편, 비정상 영역은 질환의 진단, 경과, 상태 판단에서 중요한 부분으로서, 의사가 중점적으로 분석하는 부분일 수 있다. 그러나, 입력 이미지(11')에서 비정상 영역을 구분하기에는 오랜 숙련과정이 필요하며, 숙련된 전문가라 하더라도 컨디션 등에 따라 오류가 발생할 수도 있다. 이에 따라, 최초 어텐션맵(17')을 생성하여 비정상 영역에 대한 정보가 제공된다면, 질환의 분석이 보다 용이하게 수행될 수 있을 것이다.
다만, 이러한 최초 어텐션맵(17')에는 기계학습 모델의 특성에 의해 오류, 예를 들면 false positive 오류가 발생할 수 있다.
본 발명에 의한 특이 영역 분석 방법 및 장치는 최초 어텐션맵(17')에서 오류를 제거하여 최종 어텐션맵을 생성함으로써 보다 정확하게 특이 영역에 대한 정보를 제공할 수 있다.
도 3은 본 발명의 일 실시예에 따른 특이 영역 분석 장치의 기능 블록도를 도시한다. 이하 사용되는 '…부'등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 이하 도 2의 설명에서는 도 1과 중복되는 내용은 생략될 수 있다.
특이 영역 분석 장치(100)는 정상 이미지 생성부(110), 최초 어텐션맵 생성부(120), 최종 어텐션맵 생성부(130) 및 구성요소 판별부(140)를 포함할 수 있다.
정상 이미지 생성부(110)는, 마이크로프로세서(microprocessor)를 포함하는 연산 장치에 의해 구현될 수 있으며, 이는 후술할 최초 어텐션맵 생성부(120), 최종 어텐션맵 생성부(130) 및 구성요소 판별부(140)에 있어서도 같다.
정상 이미지 생성부(110)는 입력되는 이미지와 관련된 적어도 하나의 정상 이미지를 생성하도록 학습된 제1 기계학습 모델(10)에 비정상 이미지(11)를 입력하여, 비정상 이미지와 관련된 복수의 정상 이미지(13)를 생성할 수 있다.
제1 기계학습 모델(10)은 생성형 기계학습 모델(예: 적대적생성네트워크(generative adversarial network)에 기초하여, 복수의 학습용 정상 이미지를 이용하여 소정의 이미지가 입력되면 입력된 소정의 이미지와 유사하되, 즉 유사도가 소정값 이상이되 정상 이미지를 생성하도록 학습이 수행되는 것일 수 있다. 제1 기계학습 모델(10)에 의해 생성되는 정상 이미지는, 정상 상태의 사람으로부터 획득되는 실제 이미지가 아니라 제1 기계학습 모델(10)에 의해 생성된 가짜 이미지(fake image)일 수 있다.
여기서, 생성형 기계학습 모델은 적대적생성네트워크에 제한되는 것은 아니고 제1 기계학습 모델(10)은 다양한 종류의 생성형 기계학습 모델로 구현될 수도 있다.
생성형 기계학습 모델은 제1 기계학습 모델(10)에 대응하는 생성 알고리즘과 제1 기계학습 모델(10)에 의해 생성된 결과를 판별하는 판별 알고리즘으로 구성되어, 생성 알고리즘에 의한 결과물이 보다 정확하게(예: 입력되는 이미지가 보다 정상 이미지에 가깝도록) 생성되도록 학습이 수행되는 것일 수 있다.
구체적으로, 제1 기계학습 모델(10)의 학습은, MSE(mean squared error) 혹은 이와 유사한 메트릭을 이용하여 생성된 이미지와 입력된 이미지의 차이를 줄여나가도록 수행될 수 있다. 구체적으로, 생성된 이미지와 입력된 이미지의 차이가 줄어드는 방향으로 역전파(back propagation)를 수행함으로써, 제1 기계학습 모델(10)에 입력되는 노이즈의 값이 조정되도록 함에 기초하여 제1 기계학습 모델(10)을 학습시킨 것일 수 있다. 제1 기계학습 모델(10)에 대한 학습은 생성된 이미지와 입력된 이미지의 차이가 소정 값 이하가 되었을 때 종료될 수 있다.
이와 같은 제1 기계학습 모델(10)은 학습의 초기값을 다양하게 하여 배치(batch) 단위로 이미지를 생성하도록 학습될 수 있고, 이에 따라 여러 개의 결과 이미지, 즉 복수의 정상 이미지(13)가 제1 기계학습 모델(10)로부터 획득될 수 있다.
최초 어텐션맵 생성부(120)는 각각의 복수의 정상 이미지(13)에 대해 비정상 이미지와의 차이를 나타내는 특이 영역을 포함하는 최초 어텐션맵(attention map)을 생성할 수 있다. 즉, 복수의 정상 이미지(13) 각각에 대해 비정상 이미지와의 차이를 구하여 복수의 정상 이미지(13) 각각 별로 최초 어텐션맵(15)을 생성할 수 있다. 이에 따라, 복수의 정상 이미지(13)에 대응하는 각각의 최초 어텐션맵(15)이 복수개 생성될 수 있다.
최종 어텐션맵 생성부(130)는 오류를 제거하도록 학습된 제2 기계학습 모델(20)을 이용하여 최초 어텐션맵 중 오류인 최초 어텐션맵을 제거하여 최종 어텐션맵(17)을 생성할 수 있다.
구체적으로 설명하면, 최초 어텐션맵 생성부(120)에 의해 생성된 최초 어텐션맵(15)에는 오류(예: false positive 오류)가 포함되어 있을 수 있다. 즉, 생성된 복수의 최초 어텐션맵(15) 중 적어도 일부는 잘못된 특이 영역에 대한 정보를 포함하고 있을 수 있다. 이에 따라, 보다 정확한 정보의 제공을 위해 오류가 제거되어야 할 필요가 있고, 최종 어텐션맵 생성부(130)는 이러한 오류를 제거하여 보다 정확도가 향상된 최종 어텐션맵(17)을 생성할 수 있다.
최종 어텐션맵 생성부(130)는 오류의 제거를 위해, 상술한 바와 같이 제2 기계학습 모델(20)을 이용할 수 있는데, 제2 기계학습 모델(20)은 지도 학습 또는 비지도 학습이 수행됨에 기초하여 학습이 미리 수행된 것일 수 있다.
예를 들어, 제2 기계학습 모델(20)은, 컨벌루션뉴럴네트워크(convolution neural network, CNN)에 기초하여, 복수의 학습용 어텐션맵을 입력값으로 하고, 오류의 학습용 어텐션맵을 정답값으로하여 입력된 학습용 어텐션맵의 오류 여부를 판별하도록 지도 학습이 수행되어 있는 모델일 수 있다.
다른 예를 들면, 제2 기계학습 모델(20)은, 복수의 학습용 어텐션맵을 특징에 따라 구분(또는 분류)함에 기초하여 오류의 어텐션맵도 구분하도록 비지도 학습이 수행되어 있는 모델일 수 있다.
최종 어텐션맵 생성부(130)는, 오류가 제거된 최초 어텐션맵을 하나의 이미지로 통합함에 기초하여, 최종 어텐션맵(17) 내에 오류가 제거된 최초 어텐션맵의 특이 영역이 오버랩되어 나타나도록 최종 어텐션맵(17)을 생성할 수 있다.
한편, 특이 영역의 적어도 일부는 오버랩된 횟수가 상이할 수 있는데, 이에 따라 불확실도가 산출되어 최종 어텐션맵(17)과 함께 불확실도에 대한 정보가 제공될 수 있다.
구체적으로, 최종 어텐션맵 생성부(130)는, 최종 어텐션맵(17)의 오버랩된 특이 영역의 크기 및 오버랩된 최초 어텐션맵(15)의 개수 중 적어도 하나에 대해 기초하여 최종 어텐션맵(17)의 특이 영역에 대한 불확실도를 산출할 수 있다.
구성요소 판별부(140)는, 기지정된 구성요소를 판별하도록 학습된 제3 기계학습 모델을 이용하여, 최종 어텐션맵(17)의 특이 영역에 대해 기지정된 구성요소가 포함되었는지 여부를 판별할 수 있다. 여기서, 기지정된 구성요소는 뼈, 혈액 및 기관 중 적어도 하나를 포함할 수 있다.
제3 기계학습 모델은, 기계학습 알고리즘(예: CNN(convolution neural network), DNN(deep neural network))을 기초로 특이 영역을 포함하는 이미지(예: 최초 어텐션맵(15))이 입력되면 입력된 이미지에 포함되는 구성요소를 판별하여 그에 대한 정보를 출력하도록 학습이 수행된 것일 수 있다.
도 4는 본 발명의 일 실시예에 따른 특이 영역 분석 방법의 각 단계의 흐름을 도시한다. 도 4에 도시된 방법의 각 단계는 경우에 따라 도면에 도시된 바와 그 순서를 달리하여 수행될 수 있음은 물론이다.
도 4를 참조하면, 정상 이미지 생성부(110)는 비정상 이미지와 관련된 복수의 정상 이미지를 생성할 수 있다(S110). 비정상 이미지는 의료용 영상, 예를 들면 CT 또는 MRI로, 질환을 가지는 환자로부터 획득됨에 기초하여 질환에 의해 나타나는 비정상 영역의 적어도 일부를 촬상한 비정상 영역 이미지를 포함할 수 있다. 정상 이미지는 질환을 갖지 않는 정상인의 정상 상태를 나타나는 정상 영역을 촬상한 정상 영역 이미지를 포함할 수 있으며, 비정상 이미지와 유사도가 소정값 이상이되 가짜인 이미지, 즉 환자로부터 획득되는 것이 아닌 인위적으로 생성된 이미지일 수 있다.
구체적으로, 정상 이미지 생성부(110)는 입력되는 이미지와 관련된 적어도 하나의 정상 이미지를 생성하도록 학습된 제1 기계학습 모델(10)에 비정상 이미지를 입력하여, 비정상 이미지와 관련된 복수의 정상 이미지를 생성할 수 있다. 제1 기계학습 모델(10)은, 적대적생성네트워크(generative adversarial network, GAN) 혹은 이와 유사한 생성형 모델에 착안한 것으로 복수의 학습용 정상 이미지를 이용하여, 비정상 영역을 포함하는 소정의 이미지가 입력되면 소정의 이미지와 유사하되 정상 이미지를 생성하도록 학습이 수행된 기계학습 모델일 수 있다.
최초 어텐션맵 생성부(120)는 특이 영역을 포함하는 최초 어텐션맵(15)을 생성할 수 있다(S120). 최초 어텐션맵(15)은 복수의 정상 이미지(13)에 대응하는 수만큼 생성될 수 있다. 여기서, 특이 영역은, 복수의 정상 이미지와 비정상 이미지와의 차이를 나타내는 것으로, 비정상 이미지의 판독시 중점적으로 해석되어야 하는 이미지의 일부 영역일 수 있다.
최초 어텐션맵(15)에는 이러한 특이 영역이 다른 영역들과 보다 잘 구분되도록 표시될 수 있다. 예를 들어, 특이 영역의 색, 패턴 또는 명암이 다른 영역과 구분되도록 표시될 수도 있고, 특이 영역의 테두리를 나타내는 선이 나타나도록 하여 특이 영역이 표시되도록 할 수도 있다. 다만, 이에 제한되지 않고 다양한 방식으로 특이 영역이 표시되도록 최초 어텐션맵(15)이 생성될 수 있다.
최종 어텐션맵 생성부(130)는 최초 어텐션맵(15) 중 오류를 제거함에 기초하여 최종 어텐션맵(17)을 생성할 수 있다(S130). 구체적으로, 최종 어텐션맵 생성부(130)는 오류를 제거하도록 학습된 제2 기계학습 모델(20)을 이용하여 최초 어텐션맵(15) 중 오류인 최초 어텐션맵(15)을 제거함에 기초하여, 최종 어텐션맵(17)을 생성할 수 있다.
도시하지는 않았으나, 구성요소 판별부(140)는 기지정된 구성요소를 판별하도록 학습된 제3 기계학습 모델을 이용하여, 최종 어텐션맵(17)의 특이 영역에 대해 기지정된 구성요소가 포함되었는지 여부를 판별할 수 있다. 여기서, 기지정된 구성요소는, 뼈, 혈액 및 기관 중 적어도 하나를 포함할 수 있다.
제3 기계학습 모델은 기지정된 구성요소를 판별하도록 학습이 수행된 기계학습 모델일 수 있다. 이에 따라, 구성요소 판별부(140)는 제3 기계학습 모델을 이용하여 최종 어텐션맵(17)에 포함된 구성요소를 판별하고, 이에 대한 정보를 제공할 수 있다.
예를 들어, 구성요소 판별부(140)는 제3 기계학습 모델에 최종 어텐션맵(17)을 입력하여 최종 어텐션맵(17)에 포함된 구성요소를 판별함으로써 최종 어텐션맵(17)에 구성요소에 대한 정보가 표시되도록 수정하여 수정된 최종 어텐션맵(17)을 출력할 수 있다.
경우에 따라, 제3 기계학습 모델은 제2 기계학습 모델에 포함되도록 구현될 수도 있다. 이러한 경우, 최초 어텐션맵(15)의 입력에 기초하여 최종 어텐션맵(17)을 생성하는 과정과 구성요소를 판별하는 과정이 병렬적으로 또는 순서에 무관하게 수행될 수 있다.
한편, 상술한 본 발명의 설명에서, 제1 기계학습 모델(10)에 입력되는 이미지를 비정상 이미지로 특정하여 설명하였으나, 이에 제한되는 것은 아니고 정상인지 비정상인지 모르는 의문의 이미지가 입력될 수도 있다. 이러한 경우에도 제1 기계학습 모델(10)에 의해 생성되는 이미지는 정상 이미지일 수 있다.
본 발명의 일 실시예에 따른 특이 영역 분석 장치(100) 및 그 방법은, 오류가 제거된 최종 어텐션맵(17)을 제공함으로써, 환자의 진단을 위해 의료용 영상의 분석 시 전문가(예: 의사)가 중심적으로 분석해야할 부분인 특이 영역에 대한 보다 정확한 정보를 제공하여 진단의 효율이 향상되도록 할 수 있다.
본 발명의 일 실시예에 따른 특이 영역 분석 장치(100) 및 그 방법은, 특이 영역에 대한 불확실도를 제공함으로써, 특이 영역이 전문가로 하여금 선택적으로 활용되도록 함으로써 환자의 진단에 대한 정확도 및 효율이 향상되도록 할 수 있다.
본 명세서에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (21)

  1. 입력되는 이미지와 관련된 적어도 하나의 정상 이미지를 생성하도록 학습된 제1 기계학습 모델에 비정상 이미지를 입력하여, 상기 비정상 이미지와 관련된 복수의 정상 이미지를 생성하는 단계와,
    각각의 상기 복수의 정상 이미지와 상기 비정상 이미지와의 차이를 나타내는 특이 영역을 포함하는 최초 어텐션맵(attention map)을 생성하는 단계와,
    오류를 제거하도록 학습된 제2 기계학습 모델을 이용하여 상기 최초 어텐션맵 중 오류인 최초 어텐션맵을 제거함에 기초하여, 최종 어텐션맵을 생성하는 단계를 포함하는
    이미지의 특이 영역 분석 방법.
  2. 제1항에 있어서,
    상기 제1 기계학습 모델은,
    생성형 기계학습 모델에 기초하여, 복수의 학습용 정상 이미지를 이용하여 비정상 영역을 포함하는 소정의 이미지가 입력되면 상기 소정의 이미지와 유사하되 정상 이미지를 생성하도록 학습이 수행되는
    이미지의 특이 영역 분석 방법.
  3. 제2항에 있어서,
    상기 생성형 기계학습 모델은 적대적생성네트워크(generative adversarial network)를 포함하는
    이미지의 특이 영역 분석 방법.
  4. 제2항에 있어서,
    상기 복수의 정상 이미지는,
    상기 비정상 이미지와의 유사도가 소정값 이상의 가짜(fake) 이미지인
    이미지의 특이 영역 분석 방법.
  5. 제1항에 있어서,
    상기 제2 기계학습 모델은,
    컨벌루션뉴럴네트워크(convolution neural network)에 기초하여, 복수의 학습용 어텐션맵을 입력값으로 하고, 오류의 학습용 어텐션맵을 정답값으로 하여 입력된 학습용 어텐션맵의 오류 여부를 판별하도록 지도 학습이 수행되어 있는
    이미지의 특이 영역 분석 방법.
  6. 제1항에 있어서,
    상기 제2 기계학습 모델은,
    복수의 학습용 어텐션맵에 대한 비지도 학습이 수행되는
    이미지의 특이 영역 분석 방법.
  7. 제1항에 있어서,
    상기 최종 어텐션맵을 생성하는 단계는,
    상기 오류가 제거된 최초 어텐션맵을 하나의 이미지로 통합함에 기초하여, 상기 최종 어텐션맵 내에 상기 오류가 제거된 최초 어텐션맵의 특이 영역이 오버랩(overlap)되어 나타나도록 상기 최종 어텐션맵을 생성하는 단계를 포함하는
    이미지의 특이 영역 분석 방법.
  8. 제7항에 있어서,
    상기 최종 어텐션맵을 생성하는 단계는,
    상기 최종 어텐션맵의 오버랩된 특이 영역의 크기 및 오버랩된 최초 어텐션맵의 개수 중 적어도 하나에 기초하여 상기 최종 어텐션맵의 특이 영역에 대한 불확실도를 산출하는 단계를 더 포함하는
    이미지의 특이 영역 분석 방법.
  9. 제1항에 있어서,
    상기 비정상 이미지는,
    질환을 가지는 환자로부터 획득됨에 기초하여 상기 질환에 의해 나타나는 비정상 영역의 적어도 일부를 촬상한 비정상 영역 이미지를 포함하고,
    상기 정상 이미지는,
    상기 질환을 갖지 않는 정상인의 정상 상태를 나타내는 정상 영역을 촬상한 정상 영역 이미지를 포함하고,
    상기 정상 영역의 적어도 일부는 상기 비정상 영역의 적어도 일부에 각 이미지 내에서 위치적으로 대응하는
    이미지의 특이 영역 분석 방법.
  10. 제1항에 있어서,
    기지정된 구성요소를 판별하도록 학습된 제3 기계학습 모델을 이용하여, 상기 최종 어텐션맵의 특이 영역에 대해 상기 기지정된 구성요소가 포함되었는지 여부를 판별하는 단계를 더 포함하고,
    상기 기지정된 구성요소는,
    뼈, 혈액 및 기관 중 적어도 하나를 포함하는
    이미지의 특이 영역 분석 방법.
  11. 입력되는 이미지와 관련된 적어도 하나의 정상 이미지를 생성하도록 학습된 제1 기계학습 모델에 비정상 이미지를 입력하여, 상기 비정상 이미지와 관련된 복수의 정상 이미지를 생성하는 정상 이미지 생성부와,
    각각의 상기 복수의 정상 이미지와 상기 비정상 이미지와의 차이를 나타내는 특이 영역을 포함하는 최초 어텐션맵(attention map)을 생성하는 최초 어텐션맵 생성부와,
    오류를 제거하도록 학습된 제2 기계학습 모델을 이용하여 상기 최초 어텐션맵 중 오류인 최초 어텐션맵을 제거함에 기초하여, 최종 어텐션맵을 생성하는 최종 어텐션맵 생성부를 포함하는
    이미지의 특이 영역 분석 장치.
  12. 제11항에 있어서,
    상기 제1 기계학습 모델은,
    생성형 기계학습 모델에 기초하여, 복수의 학습용 정상 이미지를 이용하여 비정상 영역을 포함하는 소정의 이미지가 입력되면 상기 소정의 이미지와 유사하되 정상 이미지를 생성하도록 학습이 수행되는
    이미지의 특이 영역 분석 장치.
  13. 제12항에 있어서,
    상기 생성형 기계학습 모델은 적대적생성네트워크(generative adversarial network)를 포함하는
    이미지의 특이 영역 분석 장치.
  14. 제12항에 있어서,
    상기 복수의 정상 이미지는,
    상기 비정상 이미지와의 유사도가 소정값 이상의 가짜(fake) 이미지인
    이미지의 특이 영역 분석 장치.
  15. 제11항에 있어서,
    상기 제2 기계학습 모델은,
    컨벌루션뉴럴네트워크(convolution neural network)에 기초하여, 복수의 학습용 어텐션맵을 입력값으로 하고, 오류의 학습용 어텐션맵을 정답값으로하여 입력된 학습용 어텐션맵의 오류 여부를 판별하도록 지도 학습이 수행되어 있는
    이미지의 특이 영역 분석 장치.
  16. 제11항에 있어서,
    상기 제2 기계학습 모델은,
    복수의 학습용 어텐션맵에 대한 비지도 학습이 수행되어 있는
    이미지의 특이 영역 분석 장치.
  17. 제11항에 있어서,
    상기 최종 어텐션맵 생성부는,
    상기 오류가 제거된 최초 어텐션맵을 하나의 이미지로 통합함에 기초하여, 상기 최종 어텐션맵 내에 상기 오류가 제거된 최초 어텐션맵의 특이 영역이 오버랩(overlap)되어 나타나도록 상기 최종 어텐션맵을 생성하는 단계를 포함하는
    이미지의 특이 영역 분석 장치.
  18. 제17항에 있어서,
    상기 최종 어텐션맵 생성부는,
    상기 최종 어텐션맵의 오버랩된 특이 영역의 크기 및 오버랩된 최초 어텐션맵의 개수 중 적어도 하나에 기초하여 상기 최종 어텐션맵의 특이 영역에 대한 불확실도를 더 산출하는
    이미지의 특이 영역 분석 장치.
  19. 제11항에 있어서,
    상기 비정상 이미지는,
    질환을 가지는 환자로부터 획득됨에 기초하여 상기 질환에 의해 나타나는 비정상 영역의 적어도 일부를 촬상한 비정상 영역 이미지를 포함하고,
    상기 정상 이미지는,
    상기 질환을 갖지 않는 정상인의 정상 상태를 나타내는 정상 영역을 촬상한 정상 영역 이미지를 포함하고,
    상기 정상 영역의 적어도 일부는 상기 비정상 영역의 적어도 일부에 각 이미지 내에서 위치적으로 대응하는
    이미지의 특이 영역 분석 장치.
  20. 제11항에 있어서,
    기지정된 구성요소를 판별하도록 학습된 제3 기계학습 모델을 이용하여, 상기 최종 어텐션맵의 특이 영역에 대해 상기 기지정된 구성요소가 포함되었는지 여부를 판별하는 구성요소 판별부를 더 포함하고,
    상기 기지정된 구성요소는,
    뼈, 혈액 및 기관 중 적어도 하나를 포함하는
    이미지의 특이 영역 분석 장치.
  21. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
    입력되는 이미지와 관련된 적어도 하나의 정상 이미지를 생성하도록 학습된 제1 기계학습 모델에 비정상 이미지를 입력하여, 상기 비정상 이미지와 관련된 복수의 정상 이미지를 생성하는 단계와,
    각각의 상기 복수의 정상 이미지와 상기 비정상 이미지와의 차이를 나타내는 특이 영역을 포함하는 최초 어텐션맵(attention map)을 생성하는 단계와,
    오류를 제거하도록 학습된 제2 기계학습 모델을 이용하여 상기 최초 어텐션맵 중 오류인 최초 어텐션맵을 제거함에 기초하여, 최종 어텐션맵을 생성하는 단계를 포함하는 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
    컴퓨터 판독 가능한 기록매체.
PCT/KR2020/009398 2019-07-19 2020-07-16 이미지의 특이 영역 분석 방법 및 장치 WO2021015490A2 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190087669A KR102279160B1 (ko) 2019-07-19 2019-07-19 이미지의 특이 영역 분석 방법 및 장치
KR10-2019-0087669 2019-07-19

Publications (2)

Publication Number Publication Date
WO2021015490A2 true WO2021015490A2 (ko) 2021-01-28
WO2021015490A3 WO2021015490A3 (ko) 2021-03-18

Family

ID=74193020

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/009398 WO2021015490A2 (ko) 2019-07-19 2020-07-16 이미지의 특이 영역 분석 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102279160B1 (ko)
WO (1) WO2021015490A2 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102317992B1 (ko) * 2021-03-26 2021-10-28 주식회사 트윔 뉴럴 네트워크를 이용한 제품 검사 방법, 장치 및 제품 검사 장치 학습 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100519768B1 (ko) 2002-10-14 2005-10-07 삼성전자주식회사 반복매칭을 이용한 영상 검색방법 및 장치
KR20150098119A (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법
DE202017104953U1 (de) * 2016-08-18 2017-12-04 Google Inc. Verarbeiten von Fundusbildern unter Verwendung von Maschinenlernmodellen
EP3580693A1 (en) * 2017-03-16 2019-12-18 Siemens Aktiengesellschaft Visual localization in images using weakly supervised neural network
JP6955303B2 (ja) * 2017-04-12 2021-10-27 富士フイルム株式会社 医用画像処理装置および方法並びにプログラム

Also Published As

Publication number Publication date
KR20210010770A (ko) 2021-01-28
WO2021015490A3 (ko) 2021-03-18
KR102279160B1 (ko) 2021-07-20

Similar Documents

Publication Publication Date Title
WO2019132168A1 (ko) 수술영상데이터 학습시스템
WO2019088462A1 (ko) 혈압 추정 모델 생성 시스템 및 방법과 혈압 추정 시스템 및 방법
WO2019208848A1 (ko) 3차원 안구 움직임 측정 방법 및 전자동 딥러닝 기반 어지럼 진단 시스템
WO2020111754A9 (ko) 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템
WO2014208971A1 (en) Ultrasound image display method and apparatus
WO2017051943A1 (ko) 영상 생성 방법 및 장치, 및 영상 분석 방법
WO2022131642A1 (ko) 의료 영상 기반 질환 중증도 결정 장치 및 방법
WO2019172498A1 (ko) 종양의 악성도와 악성도 추론의 근거를 제공하는 컴퓨터 보조 진단 시스템 및 그 방법
WO2021071288A1 (ko) 골절 진단모델의 학습 방법 및 장치
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
WO2021006472A1 (ko) 임플란트 시술 계획 수립을 위한 다중 골밀도 표시방법 및 그 영상 처리장치
US20190343588A1 (en) Operating method for a medical system, and medical system for performing a surgical procedure
WO2020032562A2 (ko) 생체 이미지 진단 시스템, 생체 이미지 진단 방법, 및 이를 수행하기 위한 단말
WO2021034138A1 (ko) 치매 평가 방법 및 이를 이용한 장치
WO2021015490A2 (ko) 이미지의 특이 영역 분석 방법 및 장치
WO2020180135A1 (ko) 뇌 질환 예측 장치 및 방법, 뇌 질환을 예측하기 위한 학습 장치
WO2020139011A1 (ko) 뇌병변 정보 제공 장치 및 방법
WO2021015489A2 (ko) 인코더를 이용한 이미지의 특이 영역 분석 방법 및 장치
WO2022139068A1 (ko) 딥러닝 기반의 폐질환 진단 보조 시스템 및 딥러닝 기반의 폐질환 진단 보조 방법
WO2021054700A1 (ko) 치아 병변 정보 제공 방법 및 이를 이용한 장치
WO2023182702A1 (ko) 디지털 병리이미지의 인공지능 진단 데이터 처리 장치 및 그 방법
WO2023068732A1 (ko) 신경 심리 검사에 대한 점수를 획득하는 방법 및 이를 수행하는 신경 심리 검사 장치 및 컴퓨터 판독 가능한 기록매체
WO2020246676A1 (ko) 자궁경부암 자동 진단 시스템
CN110197722B (zh) Ai-cpu系统平台
WO2017010612A1 (ko) 의료 영상 분석 기반의 병리 진단 예측 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20844182

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20844182

Country of ref document: EP

Kind code of ref document: A2