WO2021015489A2 - 인코더를 이용한 이미지의 특이 영역 분석 방법 및 장치 - Google Patents

인코더를 이용한 이미지의 특이 영역 분석 방법 및 장치 Download PDF

Info

Publication number
WO2021015489A2
WO2021015489A2 PCT/KR2020/009397 KR2020009397W WO2021015489A2 WO 2021015489 A2 WO2021015489 A2 WO 2021015489A2 KR 2020009397 W KR2020009397 W KR 2020009397W WO 2021015489 A2 WO2021015489 A2 WO 2021015489A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
feature vector
normal
machine learning
learning model
Prior art date
Application number
PCT/KR2020/009397
Other languages
English (en)
French (fr)
Other versions
WO2021015489A3 (ko
Inventor
김남국
배현진
서준범
이상민
Original Assignee
울산대학교 산학협력단
재단법인 아산사회복지재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산대학교 산학협력단, 재단법인 아산사회복지재단 filed Critical 울산대학교 산학협력단
Publication of WO2021015489A2 publication Critical patent/WO2021015489A2/ko
Publication of WO2021015489A3 publication Critical patent/WO2021015489A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present invention relates to a method and apparatus for analyzing a singular region of an image using an encoder.
  • Such electronic devices are being used as a means of assisting human behavior in a wide range throughout society.
  • Such electronic devices are also used in various ways in the medical field, and representatively, there may be medical image acquisition devices (eg, computed tomography (CT) and magnetic resonance imaging (MRI)).
  • CT computed tomography
  • MRI magnetic resonance imaging
  • Medical images acquired using a medical image acquisition device are read by skilled doctors and used as an auxiliary means for disease diagnosis.
  • the reading of medical images is performed depending on the subjective judgment of a medical expert (eg, a doctor), that is, a person. Accordingly, an error may occur in diagnosis according to the condition or skill of a doctor who is a judge of a medical image, and there is a risk that such error may lead to a medical accident. Accordingly, there is a need to provide information useful for a doctor's diagnostic action in relation to a medical image so that objective and accurate reading of the medical image can be made.
  • a medical expert eg, a doctor
  • the problem to be solved by the present invention is to provide a method and apparatus for analyzing a singular region of an image more quickly and accurately using an encoder.
  • a method for analyzing a singular region of an image includes generating a feature vector for a query image using an encoder that generates a feature vector based on an input image, and an original image of the input feature vector. Generating a plurality of normal images related to the query image based on inputting the generated feature vectors to a first machine learning model trained to generate a normal image having a predetermined similarity to the (original image), and the plurality of For each of the normal images of, generating an attention map including a specific region representing a difference from the query image.
  • the encoder arranges the encoder at the input terminal of the first machine learning model and inputs a learning image to the encoder so that a feature vector of the learning image generated by the encoder is input to the first machine learning model.
  • To generate an output image and to minimize the difference between the output image of the first machine learning model and the training image by using back propagation, and rearrange the encoder to the output terminal of the first machine learning model.
  • the difference between the feature vector of the converted output image and the feature vector input to the first machine learning model is minimized using backpropagation. I can.
  • a feature vector having the highest similarity to a feature vector of the query image among feature vectors for each of a plurality of normal images for training previously stored in a database is used as a feature vector for the query image. It may include the step of determining.
  • the step of selecting at least one image based on the determination of an order having a high similarity to the query image among the generated plurality of normal images wherein the generating the attention map comprises: the selected image and the It may include the step of generating an attention map including a specific area related to the difference from the query image.
  • the first machine learning model is configured to generate a normal image having a high similarity to an image represented by the predetermined feature vector when a predetermined feature vector is input using a plurality of normal images for training based on the generative machine learning model. Learning is performed, and the generative machine learning model may include a generative adversarial network.
  • the method may further include generating a final attention map based on removing an error from among the attention maps generated for each of the plurality of normal images using the second machine learning model learned to remove the error.
  • the second machine learning model is based on a convolution neural network, using a plurality of learning attention maps as input values, and an error of learning attention maps input as correct answer values. Supervised learning may be performed to determine whether or not.
  • the second machine learning model may perform unsupervised learning on a plurality of learning attention maps.
  • the query image is an abnormal image including an abnormal region image of at least a part of the abnormal region indicated by the disease based on acquired from a patient having a disease
  • the plurality of normal images include the A region corresponding to the abnormal region image may be a normal region image including information on a normal state, but a similarity to the query image may be a fake image having a predetermined value or more.
  • the normal image may include a normal region image obtained by capturing a normal region representing a normal state of a normal person who does not have the disease.
  • An apparatus for analyzing a singular region of an image includes a feature vector generator that generates a feature vector for a query image using an encoder that generates a feature vector based on an input image, and an input feature vector.
  • a normal image that generates a plurality of normal images related to the query image based on the input of the generated feature vectors to the first machine learning model trained to generate a normal image having a predetermined similarity to the original image of It may include a generator, and an attention map generator for generating an attention map including a specific area representing a difference from the query image for each of the plurality of normal images.
  • the encoder arranges the encoder at the input terminal of the first machine learning model and inputs a learning image to the encoder so that a feature vector of the learning image generated by the encoder is input to the first machine learning model.
  • To generate an output image and to minimize the difference between the output image of the first machine learning model and the training image by using back propagation, and rearrange the encoder to the output terminal of the first machine learning model.
  • the difference between the feature vector of the converted output image and the feature vector input to the first machine learning model is minimized using backpropagation. I can.
  • the feature vector generator may determine a feature vector having the highest similarity to a feature vector of the query image among feature vectors for each of a plurality of normal images for training previously stored in a database as a feature vector for the query image.
  • a similar image selection unit for selecting at least one image based on the determination of the order of the high similarity to the query image from among the generated plurality of normal images
  • the attention map generation unit for selecting at least one image based on the determination of the order of the high similarity to the query image from among the generated plurality of normal images
  • the attention map generation unit for selecting at least one image based on the determination of the order of the high similarity to the query image from among the generated plurality of normal images
  • the attention map generation unit for selecting at least one image based on the determination of the order of the high similarity to the query image from among the generated plurality of normal images
  • An attention map including a specific area related to a difference from an image can be generated.
  • the first machine learning model is configured to generate a normal image having a high similarity to an image represented by the predetermined feature vector when a predetermined feature vector is input using a plurality of normal images for training based on the generative machine learning model. Learning is performed, and the generative machine learning model may include a generative adversarial network.
  • a final attention map generation unit for generating a final attention map based on removing an error from among the attention maps generated for each of the plurality of normal images using a second machine learning model trained to remove the error. I can.
  • the second machine learning model uses a plurality of learning attention maps as input values, and determines whether the inputted learning attention map is an error using the learning attention map of the error as a correct answer value Supervised learning is performed so that the generated machine learning model may include a generative adversarial network.
  • the second machine learning model may perform unsupervised learning on a plurality of learning attention maps.
  • the query image is an abnormal imaging image including an abnormal region image for at least a part of the abnormal region indicated by the disease based on acquired from a patient having a disease
  • the plurality of normal images are A region corresponding to the abnormal region image may be a normal region image including information on a normal state, but a similarity to the query image may be a fake image having a predetermined value or more.
  • the normal image may include a normal region image obtained by capturing a normal region representing a normal state of a normal person who does not have the disease.
  • a computer-readable recording medium is a computer-readable recording medium storing a computer program, and a feature vector for a query image is generated using an encoder that generates a feature vector based on an input image.
  • the generated feature vector is related to the query image based on the step of generating and inputting the generated feature vector to a first machine learning model trained to generate a normal image having a predetermined similarity with an original image of the input feature vector.
  • For the processor to perform a method comprising generating a plurality of normal images, and generating an attention map including a specific region representing a difference from the query image for each of the plurality of normal images. It may include a command to do.
  • an image may be analyzed more effectively by analyzing the singular region of an image more quickly and accurately using an encoder.
  • FIG. 1 is a conceptual diagram illustrating a method for analyzing a singular region according to an embodiment of the present invention.
  • FIG. 2 shows an example of a specific region analyzed by the specific region analysis method according to an embodiment of the present invention.
  • FIG. 3 is a functional block diagram of an apparatus for analyzing a singular region according to an embodiment of the present invention.
  • FIG. 5 is a conceptual diagram illustrating a method of learning an encoder model of an apparatus for analyzing a singular region according to an embodiment of the present invention.
  • FIG. 6 is a conceptual diagram illustrating a method of detecting a singular region using an encoder model and a machine learning model in an apparatus for analyzing a singular region according to another embodiment of the present invention.
  • FIG. 1 is a conceptual diagram illustrating a method for analyzing a singular region according to an embodiment of the present invention.
  • the image analyzed below will be described on the premise that it is a medical image such as CT or MRI, but is not limited thereto.
  • the generated feature vector 12 is a first machine learning model 20 connected to the encoder 10. Can be entered in
  • the encoder 10 minimizes the difference between the input image and the image output from the first machine learning model 20 arranged at the output terminal of the encoder 10, and the feature vector output from the encoder 10 and the first machine Learning may be performed so that a difference in feature vectors of an image output from the learning model 20 is minimized.
  • learning of the encoder 10 refers to FIG. 6.
  • the first machine learning model 20 is similar to an input image (eg, a medical image), but is trained to more accurately generate a fake normal image representing the state of a person without disease, that is, a normal person (hereinafter, a normal state). It may be a machine learning model based on a generative adversarial network (GAN), and accordingly, the first machine learning model 20 may generate a normal image 13 similar to the query image 11.
  • GAN generative adversarial network
  • the hostile generation network is a kind of generative machine learning model, and a detailed description thereof will be omitted since it is easy for a person skilled in the art.
  • the first machine learning model 20 may be implemented based on another generative machine learning model instead of a hostile generative network.
  • the query image 11 may be an abnormal captured image including an abnormal region image of at least a part of an abnormal region indicated by a disease based on acquired by photographing a patient having a disease.
  • the plurality of normal images 13 are fakes generated so that a region corresponding to the abnormal region image of the query image 11 is a normal region image containing information on a normal state, but the similarity with the query image 11 is greater than or equal to a predetermined value. It may be an image (non-captured image).
  • the attention map 15 including an anomaly area may be generated based on the determination of the difference between the normal image 13 and the query image 11.
  • the normal image 13 may be plural.
  • the attention map 15 is obtained from the query image 11 for each normal image 13, so that the normal image 13 Attention maps 15 corresponding to each may be generated.
  • the attention map 15 may include a specific area.
  • the singular area is for an area having a difference from the query image 11 for each of the normal images 13, and if the query image 11 is an abnormal image, a portion that appears because it is an abnormal image, that is, whether it is an abnormal image It can mean the main part where observations have to be performed for the reading of.
  • the unique area may be displayed on the attention map 15 in various ways.
  • the singular region may be displayed in the attention map 15 so that color, pattern, or contrast are distinguished from other regions, or a line representing the border of the singular region may be displayed so that the singular region is displayed.
  • the present invention is not limited thereto, and the initial attention map 15 may be generated so that the specific area is displayed in various ways.
  • the attention map 15 may be input to the second machine learning model 30 that is trained to remove errors. Accordingly, the attention map 15 may be removed from an error that may be generated by machine learning, for example, a false positive error, so that the final attention map 17 may be generated.
  • the second machine learning model 30 is the attention map 15
  • the final attention map 17 may be generated by removing the error and integrating it into one image.
  • a singular area of the attention map 15 from which errors have been removed may be overlapped and displayed.
  • FIG. 2 shows an example of a specific region analyzed by the specific region analysis method according to an embodiment of the present invention.
  • an input image 11 ′ is converted into a feature vector by the encoder 10 and may be input to the first machine learning model 20.
  • the first machine learning model 20 may receive an input image 11 ′ and generate an input image 11 ′ and an output image 13 ′. Based on this, the input image 11 ′ and the output image ( An attention map 15' in which a specific area for the difference of 13') is displayed may be generated.
  • the input image 11' is a medical image (e.g., CT, MRI) obtained from a patient with a disease, and an area of an abnormal state indicated by a disease, that is, an abnormal area (a portion indicated by an arrow in FIG. 2) May be included in the image.
  • a medical image e.g., CT, MRI
  • an abnormal area a portion indicated by an arrow in FIG. 2
  • the abnormal region represents, for example, a bleeding part or a disease part of a patient and may be a characteristic part of an abnormal state that cannot be seen in a normal case.
  • the output image 13 ′ is acquired (or generated) by the first machine learning model 20 of FIG. 1, and may be an image similar to the input image 11 ′, but representing a normal state.
  • the attention map 15 ′ may include a singular region representing the difference between the input image 11 ′ and the output image 13 ′.
  • the singular region is an abnormality that is not derived in a normal state. It may be an area of a state, that is, an area corresponding to an abnormal area.
  • the attention map 15 ′ a characteristic part that is related to a disease in the input image 11 ′ is displayed in the attention map 15 ′, but it can be seen that it is more clearly revealed.
  • the abnormal region is an important part in diagnosing a disease, a course, and determining a condition, and may be a part that is analyzed by a specialist (eg, a doctor).
  • a specialist eg, a doctor
  • a long skilled process is required for an expert to distinguish an abnormal area in the input image 11', and an error may occur depending on a condition or the like even for an expert. Accordingly, if information on the abnormal region is provided by generating the attention map 15 ′, analysis of the disease may be performed more easily.
  • errors for example, false positive errors, may occur in the attention map 15' due to the characteristics of the machine learning model.
  • the method and apparatus for analyzing a singular region according to the present invention can provide information on the singular region more accurately by generating a final attention map by removing an error from the attention map 15'.
  • FIG. 3 is a functional block diagram of an apparatus for analyzing a singular region according to an embodiment of the present invention. Used below'... A term such as'negative' means a unit that processes at least one function or operation, which may be implemented by hardware or software, or a combination of hardware and software. Hereinafter, in the description of FIG. 3, content overlapping with FIG. 1 or 2 may be omitted.
  • the singular region analysis apparatus 100 generates a feature vector generator 110, a normal image generator 120, an attention map generator 130, a similar image selector 140, and a final attention map. It may include a unit 150.
  • the feature vector generation unit 110 may be implemented by a computing device including a microprocessor, which is a normal image generation unit 120, an attention map generation unit 130, and a similar image selection unit 140 to be described later. ) And the final attention map generation unit 150.
  • the feature vector generator 110 may generate a feature vector for the query image 11 using the encoder 10 that generates a feature vector based on an input image.
  • the encoder 10 may be configured to receive the query image 11 and generate a feature vector for the query image 11.
  • the feature vector generation unit 110 may extract a feature vector of the query image 11 by inputting the query image 11 to the encoder 10.
  • the query image 11 may include, but is not limited to, an image of an abnormal region for at least a part of an abnormal region (eg, a bleeding region, a tumor region) that is indicated by a disease based on obtained from a patient having a disease. It may be implemented as a medical image obtained from a normal person who does not have a disease or an unknown medical image that does not know whether there is a disease.
  • the encoder 10 is an image disposed at the input terminal of the first machine learning model 20 and output by the first machine learning model 20 using back propagation (hereinafter, referred to as'output image'). Learning may be performed so that the difference between the learning image input to the encoder 10 for learning is minimized.
  • the encoder 10 may be re-arranged at the output terminal of the first machine learning model 20 to convert the output image from the first machine learning model 20 into a feature vector. Based on this, learning may be performed so that a difference between the feature vector input to the first machine learning model 20 and the feature vector of the output image is minimized.
  • the encoder 10 may perform learning in two forms, that is, learning at the input end and the output end of the first machine learning model 20. Such learning may be performed based on updating the weight of the network constituting the encoder 10 using backpropagation.
  • the feature vector generator 110 may determine a feature vector using an encoder that has not been trained and a database related to the feature vector. Specifically, the feature vector generation unit 110 generates a feature vector by inputting the query image 11 to the encoder, and the query image 11 among feature vectors for each of the plurality of normal images for training previously stored in the database A feature vector similar to the feature vector may be determined as a feature vector for the query image 11.
  • the database may be previously formed to include feature vectors for a plurality of normal images for training that have been transformed through an encoder.
  • a feature vector and a normal image for learning corresponding thereto may be mapped and stored in the database. Accordingly, when a feature vector is selected, information on a normal image for learning may also be obtained.
  • similar feature vectors can be determined in various ways. For example, a feature vector having a degree of similarity equal to or greater than a predetermined value may be determined in the database as a feature vector for the query image 11. For another example, a feature vector having a higher similarity by a predetermined number may be determined as a feature vector for the query image 11 after listing in the order of higher similarity. For another example, a feature vector that is most similar among feature vectors previously stored in the database may be determined as a feature vector for the query image 11.
  • the normal image generator 120 inputs the feature vector (or feature vector for the query image 11) extracted by the encoder 10 into the first machine learning model 20 to generate the normal image 13.
  • the first machine learning model 20 may be trained to generate a normal image having a predetermined similarity to an original image of an input feature vector.
  • the normal image 13 may be a plurality of images related to the query image 11 input to the encoder 10, and the region corresponding to the abnormal region image of the query image 11 is a normal image including information on a normal state.
  • the region image may be a fake image having a similarity to the query image 11 or higher than a predetermined value.
  • the first machine learning model 20 is based on a generative machine learning model, and when a predetermined image is input using a plurality of normal images for training, learning is performed to generate a normal image similar to the input image but representing a normal state. It can be.
  • the generative machine learning model may include a generative adversarial network (GAN).
  • GAN generative adversarial network
  • the present invention is not limited thereto, and the first machine learning model 20 may be implemented as various types of generative machine learning models.
  • Learning of the first machine learning model 20 may be performed to reduce a difference between an image generated and an input image using a mean squared error (MSE) or a similar metric.
  • MSE mean squared error
  • the first machine learning model 20 is based on adjusting the value of noise input to the first machine learning model 20 by performing backpropagation in a direction in which the difference between the generated image and the input image is reduced. It may have been learned. Learning about the first machine learning model 20 may be terminated when the difference between the generated image and the input image becomes less than or equal to a predetermined value.
  • Such a first machine learning model 20 may be trained to generate an image in a batch unit by varying the initial value of the learning, and accordingly, several result images, that is, a plurality of normal images 13 It may be obtained from the first machine learning model 20.
  • the attention map generator 130 may generate an attention map including a specific region representing a difference between the normal image 13 and the query image 11.
  • the singular region represents the difference between the normal state and the abnormal state, and this information may be an area that acts as an important part when reading the abnormal state through the query image 11.
  • the attention map 15 may be generated for each of the normal images 13, and if 10 normal images 13 are obtained, 10 attention maps 15 may also be obtained.
  • the singular region analysis apparatus 100 may include a similar image selection unit 140 operating in connection with a case of generating a feature vector using a database.
  • the similar image selection unit 140 uses a plurality of normal images 13 related thereto by the first machine learning model 20 based on the selection of a feature vector similar to the feature vector of the query image 11 from the database.
  • at least one image may be selected in the order of high similarity to the query image 11 among the plurality of generated normal images 13.
  • the attention map generator 130 may generate an attention map 15 including a feature region representing a difference from the query image 11 for each of the selected at least one image.
  • the final attention map generator 150 may generate the final attention map 17 by inputting the attention map 15 into the second machine learning model 30.
  • the second machine learning model 30 may be a machine learning model in which training is performed to generate a final attention map 17 which is an attention map with improved accuracy by removing an attention map that is an error among the attention map 15.
  • the second machine learning model 30 is based on a convolution neural network (CNN), and uses a plurality of learning attention maps as input values and an error of the input learning attention maps as correct answer values. Supervised learning may be performed to determine whether or not.
  • CNN convolution neural network
  • the second machine learning model 30 may form a plurality of clusters by classifying the input attention map 15 according to its characteristics based on the unsupervised learning on a plurality of learning attention maps. have.
  • the cluster classified by the second machine learning model 30 may include a cluster including an attention map of errors.
  • the final attention map generation unit 150 removes the error from the attention map 15 using the second machine learning model 30 and integrates the attention map from which the error has been removed into one image.
  • the final attention map 17 may be generated so that the unique areas of the attention map 15 overlap and appear.
  • FIG. 4 shows the flow of each step of the method for analyzing a singular region according to an embodiment of the present invention. It goes without saying that each step of the method illustrated in FIG. 4 may be performed in a different order as illustrated in the drawings depending on the case.
  • the feature vector generator 110 may generate a feature vector for the query image 11 by using an encoder 10 that generates a feature vector based on an input image (S110). . Specifically, the feature vector generator 110 may generate a feature vector for the query image 11 by inputting the query image 11 to the encoder.
  • the feature vector may be generated by a method using the learned encoder 10 or a method using a database.
  • the learned encoder 10 After the encoder 10 learns to generate a feature vector in consideration of the image output by the first machine learning model 20 that has been previously learned, the learned encoder 10 A feature vector may be generated by inputting the query image 11. A detailed description related to learning of the encoder 10 may refer to FIG. 6.
  • a method of using the database is to obtain a feature vector of the query image 11 and select a feature vector similar to the feature vector of the query image 11 from a database including feature vectors for a plurality of normal images for training. Can be created.
  • the normal image generator 120 may generate a plurality of normal images from the feature vectors using the first machine learning model 20 (S120). Specifically, the normal image generator 120 queries based on the input of the feature vector generated in the first machine learning model 20 that has been trained to generate a normal image having a predetermined similarity with the original image of the input feature vector. A plurality of normal images 13 related to the image 11 may be generated.
  • the first machine learning model 20 may be a machine learning model in which training is performed to generate a normal image based on a generative machine learning model.
  • the generative machine learning model is composed of a generation algorithm corresponding to the first machine learning model 20 and a discrimination algorithm that determines the result generated by the first machine learning model 20, so that the generation of the generation algorithm is more accurate ( Example: learning is performed so that the input image is closer to a normal image), and this is easy for a person skilled in the art, and a detailed description will be omitted.
  • the attention map generator 130 may generate an attention map 15 including a specific area (S130). Specifically, the attention map generator 130 may obtain a difference from the query image 11 for each of the plurality of normal images 13 and generate the attention map 15 in which the difference is revealed.
  • the final attention map generator 130 may generate the final attention map 17 based on removing errors from the attention maps generated for each of the plurality of normal images using the second machine learning model 30 ( S140). For example, the final attention map generation unit 130 removes the attention map that is an error by inputting the attention map 15 to the second machine learning model 30 learned to remove the error, and overlaps the remaining attention map. By doing so, the final attention map 17 can be generated.
  • the second machine learning model 30 may be a machine learning model in which learning is performed to remove errors in the attention map 15 based on supervised learning or unsupervised learning.
  • various machine learning algorithms eg, CNN, DNN may be used.
  • FIG. 5 is a conceptual diagram illustrating a method of learning an encoder model of an apparatus for analyzing a singular region according to an embodiment of the present invention.
  • a feature vector 23 of the training image 21 may be generated.
  • the feature vector 23 may be input to the first machine learning model 20, and accordingly, the output image 25 may be generated by the first machine learning model 20.
  • the first 1 learning learning in a manner in which the weight of the network constituting the encoder 10 is updated so that the difference between the output image of the first machine learning model 20 and the training image is minimized using backpropagation (hereinafter, the first 1 learning) can be performed.
  • the encoder 10 may be rearranged to the output terminal of the first machine learning model 20 to receive the output image 25 and convert it into a feature vector 27.
  • backpropagation is used so that the difference between the feature vector 27 obtained for the encoder 10 and the feature vector 23 input to the first machine learning model 20 is minimized.
  • Learning hereinafter, second learning
  • the first learning and the second learning are performed sequentially, it is not limited thereto.
  • the description has been made using the description that the input and output for each of the encoder 10 and the first machine learning model 20 is'arranged', which violates the convenience of description, but is not limited thereto, and the encoder 10 is the first Even if they are not disposed at the input and output ends of the machine learning model 20, they may be arranged in various forms as long as the input and output configurations are maintained.
  • FIG. 6 is a conceptual diagram illustrating a method of detecting a singular region using an encoder model and a machine learning model in an apparatus for analyzing a singular region according to another embodiment of the present invention.
  • a plurality of training images 41 may be input to the encoder 40, converted into feature vectors 43, and then stored in the database 60.
  • a feature vector and a normal image for learning corresponding thereto may be mapped and stored in the database. Accordingly, when a feature vector is selected, information on a normal image for learning may also be obtained.
  • a feature vector 51 for the query image 11 may be obtained. Thereafter, a feature vector 61 most similar to the feature vector 51 may be selected from among feature vectors related to the training image 41 stored in the database 60. Based on the selected feature vector 61 being input into the first machine learning model 20, a plurality of normal images 13 may be generated.
  • a normal image similar to the query image 11 is selected from among the plurality of normal images 13 by the similar image selection unit 140 of FIG. 3 so that the attention map 15 is generated only for the selected normal image. You may.
  • similar normal images can be selected in various ways. For example, a similar normal image may be selected based on determining a normal image having a similarity greater than or equal to a predetermined value among the plurality of normal images 13. As another example, a similar normal image may be selected based on determining a normal image representing a higher similarity value (the higher the similarity is, the higher the similarity is, the more similar one) among the plurality of normal images 13. have. For another example, based on determining the most similar image among the plurality of normal images 13, a similar normal image may be selected.
  • the normal image 13 for generating the attention map 15 using the learned encoder 10 or the database 60 is a query image ( By making it more similar to 11), the speed and accuracy of the singular region analysis can be improved.
  • Combinations of each block of the block diagram attached to the present specification and each step of the flowchart may be performed by computer program instructions. Since these computer program instructions can be mounted on a processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, the instructions executed by the processor of the computer or other programmable data processing equipment are shown in each block or flow chart of the block diagram. Each step creates a means to perform the functions described.
  • These computer program instructions can also be stored in computer-usable or computer-readable memory that can be directed to a computer or other programmable data processing equipment to implement a function in a particular way, so that the computer-usable or computer-readable memory It is also possible to produce an article of manufacture in which the instructions stored in the block diagram contain instruction means for performing the functions described in each block of the block diagram or each step of the flowchart.
  • Computer program instructions can also be mounted on a computer or other programmable data processing equipment, so that a series of operating steps are performed on a computer or other programmable data processing equipment to create a computer-executable process to create a computer or other programmable data processing equipment. It is also possible for the instructions to perform the processing equipment to provide steps for performing the functions described in each block of the block diagram and each step of the flowchart.
  • each block or each step may represent a module, segment, or part of code comprising one or more executable instructions for executing the specified logical function(s). It should also be noted that in some alternative embodiments, functions mentioned in blocks or steps may occur out of order. For example, two blocks or steps shown in succession may in fact be performed substantially simultaneously, or the blocks or steps may sometimes be performed in the reverse order depending on the corresponding function.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예에 따른 이미지의 특이 영역 분석 방법은, 입력되는 이미지를 기초로 특징 벡터를 생성하는 인코더를 이용하여 쿼리 이미지에 대한 특징 벡터를 생성하는 단계와, 입력되는 특징 벡터의 오리지날 이미지(original image)와 소정의 유사도를 갖는 정상 이미지를 생성하도록 학습된 제1 기계학습 모델에 상기 생성된 특징 벡터가 입력됨에 기초하여 상기 쿼리 이미지와 관련된 복수의 정상 이미지를 생성하는 단계와, 상기 복수의 정상 이미지 각각에 대해 상기 쿼리 이미지와의 차이를 나타내는 특이 영역을 포함하는 어텐션맵(attention map)을 생성하는 단계를 포함할 수 있다.

Description

인코더를 이용한 이미지의 특이 영역 분석 방법 및 장치
본 발명은 인코더를 이용하여 이미지의 특이 영역을 분석하는 특이 영역 분석 방법 및 장치에 관한 것이다.
전자 기술의 발달에 따라, 전자 장치는 사회 전반에 걸쳐 다양한 범위에서 사람의 행위를 보조하는 수단으로 이용되고 있다. 이러한 전자 장치는 의료 분야에서도 다양하게 이용되고 있는데, 대표적으로 의료용 영상 획득 장치(예: CT(computed tomography), MRI(magnetic resonance imaging))가 있을 수 있다.
의료용 영상 획득 장치를 이용하여 획득된 의료용 영상은 숙련된 의사들에 의해 판독되어 질병 진단의 보조 수단으로 사용된다.
한편, 의료용 영상의 판독 행위는 의료 분야의 전문가(예: 의사), 즉, 사람의 주관적 판단에 의존하여 이루어진다. 이에 따라, 의학용 영상의 판단자인 의사의 컨디션이나 숙련도에 따라 진단에 오류가 발생할 수 있고, 이러한 오류는 의료 사고로까지 이어질 수 있는 위험이 존재한다. 따라서, 객관적이며 정확한 의료용 영상의 판독이 이루어질 수 있도록 의료용 영상과 관련하여 의사의 진단 행위에 도움이 되는 정보가 제공될 필요가 있다.
이러한 측면에서, 의료용 영상에서 진단 행위에 도움이 되는 영역, 즉 의사에 의해 판단이 수행되어야 할 영역에 대한 부분인 특이 영역을 식별하여 이에 대한 정보를 제공하는 기술에 대한 연구가 이루어지고 있다. 그러나, 특이 영역의 식별을 위해서는 진단의 대상이 되는 의료용 영상과 방대한 양의 정상 상태의 데이터를 각각 비교해야 하기 때문에 시간적 측면에서 효율성이 떨어져 이를 향상시키기 위한 방안이 요구된다.
본 발명이 해결하고자 하는 과제는, 인코더를 이용하여 이미지의 특이 영역을 보다 신속하고 정확하게 분석하는 특이 영역 분석 방법 및 장치를 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 바로 제한되지 않으며, 언급되지는 않았으나 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있는 목적을 포함할 수 있다.
본 발명의 일 실시예에 따른 이미지의 특이 영역 분석 방법은, 입력되는 이미지를 기초로 특징 벡터를 생성하는 인코더를 이용하여 쿼리 이미지에 대한 특징 벡터를 생성하는 단계와, 입력되는 특징 벡터의 오리지날 이미지(original image)와 소정의 유사도를 갖는 정상 이미지를 생성하도록 학습된 제1 기계학습 모델에 상기 생성된 특징 벡터가 입력됨에 기초하여 상기 쿼리 이미지와 관련된 복수의 정상 이미지를 생성하는 단계와, 상기 복수의 정상 이미지 각각에 대해 상기 쿼리 이미지와의 차이를 나타내는 특이 영역을 포함하는 어텐션맵(attention map)을 생성하는 단계를 포함할 수 있다.
또한, 상기 인코더는, 상기 제1 기계학습 모델의 입력단에 상기 인코더를 배치하고 상기 인코더에 학습용 이미지를 입력시켜 상기 인코더에 의해 생성되는 상기 학습용 이미지의 특징 벡터가 상기 제1 기계학습 모델로 입력되도록 하여 출력 이미지를 생성하도록 하고, 역전파(back propagation)를 이용하여 상기 제1 기계학습 모델의 출력 이미지와 상기 학습용 이미지 간의 차이가 최소화되도록 하고, 상기 제1 기계학습 모델의 출력단에 상기 인코더를 재배치하고, 상기 인코더를 통해 상기 출력 이미지를 특징 벡터로 변환하여, 역전파를 이용하여 상기 변환된 출력 이미지의 특징 벡터와 상기 제1 기계학습 모델로 입력되는 특징 벡터 간의 차이가 최소화되도록 함으로써 학습되어 있을 수 있다.
또한, 상기 특징 벡터를 생성하는 단계는, 데이터베이스에 기저장되어 있는 복수의 학습용 정상 이미지 각각에 대한 특징 벡터 중 상기 쿼리 이미지의 특징 벡터와 가장 유사도가 높은 특징 벡터를 상기 쿼리 이미지에 대한 특징 벡터로 결정하는 단계를 포함할 수 있다.
또한, 상기 생성된 복수의 정상 이미지 중 상기 쿼리 이미지와 유사도가 높은 순서를 판별한 것에 기초하여 적어도 하나 이미지를 선택하는 단계를 더 포함하고, 상기 어텐션맵을 생성하는 단계는, 상기 선택된 이미지와 상기 쿼리 이미지와의 차이와 관련된 특이 영역을 포함하는 어텐션맵을 생성하는 단계를 포함할 수 있다.
또한, 상기 제1 기계학습 모델은, 생성형 기계학습 모델에 기초하여, 복수의 학습용 정상 이미지를 이용하여 소정의 특징 벡터가 입력되면 소정의 특징 벡터가 나타내는 이미지와 유사도가 높은 정상 이미지를 생성하도록 학습이 수행되어 있으며, 상기 생성형 기계학습 모델은 적대적생성네트워크(generative adversarial network)를 포함할 수 있다.
또한, 오류를 제거하도록 학습된 제2 기계학습 모델을 이용하여 상기 복수의 정상 이미지 각각에 대해 생성된 어텐션맵 중 오류를 제거함에 기초하여, 최종 어텐션맵을 생성하는 단계를 더 포함할 수 있다.
또한, 상기 제2 기계학습 모델은, 컨벌루션뉴럴네트워크(convolution neural network)에 기초하여, 복수의 학습용 어텐션맵을 입력값으로 하고, 오류의 학습용 어텐션맵을 정답값으로하여 입력된 학습용 어텐션맵의 오류 여부를 판별하도록 지도 학습이 수행되어 있을 수 있다.
또한, 상기 제2 기계학습 모델은, 복수의 학습용 어텐션맵에 대한 비지도 학습이 수행될 수 있다.
또한, 상기 쿼리 이미지는, 질환을 가지는 환자로부터 획득됨에 기초하여 상기 질환에 의해 나타나는 비정상 영역의 적어도 일부에 대한 비정상 영역 이미지를 포함하는 비정상 이미지이고, 상기 복수의 정상 이미지는, 상기 쿼리 이미지의 상기 비정상 영역 이미지에 대응하는 영역이 정상 상태에 대한 정보를 포함하는 정상 영역 이미지이되 상기 쿼리 이미지와의 유사도가 소정 값 이상의 가짜(fake) 이미지일 수 있다.
또한, 상기 정상 이미지는, 상기 질환을 갖지 않는 정상인의 정상 상태를 나타나는 정상 영역을 촬상한 정상 영역 이미지를 포함할 수 있다.
본 발명의 일 실시예에 따른 이미지의 특이 영역 분석 장치는, 입력되는 이미지를 기초로 특징 벡터를 생성하는 인코더를 이용하여 쿼리 이미지에 대한 특징 벡터를 생성하는 특징 벡터 생성부와, 입력되는 특징 벡터의 오리지날 이미지(original image)와 소정의 유사도를 가지는 정상 이미지를 생성하도록 학습된 제1 기계학습 모델에 상기 생성된 특징 벡터가 입력됨에 기초하여 상기 쿼리 이미지와 관련된 복수의 정상 이미지를 생성하는 정상 이미지 생성부와, 상기 복수의 정상 이미지 각각에 대해 상기 쿼리 이미지와의 차이를 나타내는 특이 영역을 포함하는 어텐션맵(attention map)을 생성하는 어텐션맵 생성부를 포함할 수 있다.
또한, 상기 인코더는, 상기 제1 기계학습 모델의 입력단에 상기 인코더를 배치하고 상기 인코더에 학습용 이미지를 입력시켜 상기 인코더에 의해 생성되는 상기 학습용 이미지의 특징 벡터가 상기 제1 기계학습 모델로 입력되도록 하여 출력 이미지를 생성하도록 하고, 역전파(back propagation)를 이용하여 상기 제1 기계학습 모델의 출력 이미지와 상기 학습용 이미지 간의 차이가 최소화되도록 하고, 상기 제1 기계학습 모델의 출력단에 상기 인코더를 재배치하고, 상기 인코더를 통해 상기 출력 이미지를 특징 벡터로 변환하여, 역전파를 이용하여 상기 변환된 출력 이미지의 특징 벡터와 상기 제1 기계학습 모델로 입력되는 특징 벡터 간의 차이가 최소화되도록 함으로써 학습되어 있을 수 있다.
또한, 상기 특징 벡터 생성부는, 데이터베이스에 기저장되어 있는 복수의 학습용 정상 이미지 각각에 대한 특징 벡터 중 상기 쿼리 이미지의 특징 벡터와 가장 유사도가 높은 특징 벡터를 상기 쿼리 이미지에 대한 특징 벡터로 결정할 수 있다.
또한, 상기 생성된 복수의 정상 이미지 중 상기 쿼리 이미지와 유사도가 높은 순서를 판별한 것에 기초하여 적어도 하나 이미지를 선택하는 유사 이미지 선택부를 더 포함하고, 상기 어텐션맵 생성부는, 상기 선택된 이미지와 상기 쿼리 이미지와의 차이와 관련된 특이 영역을 포함하는 어텐션맵을 생성할 수 있다.
또한, 상기 제1 기계학습 모델은, 생성형 기계학습 모델에 기초하여, 복수의 학습용 정상 이미지를 이용하여 소정의 특징 벡터가 입력되면 소정의 특징 벡터가 나타내는 이미지와 유사도가 높은 정상 이미지를 생성하도록 학습이 수행되어 있으며, 상기 생성형 기계학습 모델은 적대적생성네트워크(generative adversarial network)를 포함할 수 있다.
또한, 오류를 제거하도록 학습된 제2 기계학습 모델을 이용하여 상기 복수의 정상 이미지 각각에 대해 생성된 어텐션맵 중 오류를 제거함에 기초하여, 최종 어텐션맵을 생성하는 최종 어텐션맵 생성부를 더 포함할 수 있다.
또한, 상기 제2 기계학습 모델은, 생성형 기계학습 모델에 기초하여, 복수의 학습용 어텐션맵을 입력값으로 하고, 오류의 학습용 어텐션맵을 정답값으로하여 입력된 학습용 어텐션맵의 오류 여부를 판별하도록 지도 학습이 수행되어 있으며, 상기 생성형 기계학습 모델은 적대적생성네트워크(generative adversarial network)를 포함할 수 있다.
또한, 상기 제2 기계학습 모델은, 복수의 학습용 어텐션맵에 대한 비지도 학습이 수행될 수 있다.
또한, 상기 쿼리 이미지는, 질환을 가지는 환자로부터 획득됨에 기초하여 상기 질환에 의해 나타나는 비정상 영역의 적어도 일부에 대한 비정상 영역 이미지를 포함하는 비정상 촬상 이미지이고, 상기 복수의 정상 이미지는, 상기 쿼리 이미지의 상기 비정상 영역 이미지에 대응하는 영역이 정상 상태에 대한 정보를 포함하는 정상 영역 이미지이되 상기 쿼리 이미지와의 유사도가 소정 값 이상의 가짜(fake) 이미지일 수 있다.
또한, 상기 정상 이미지는, 상기 질환을 갖지 않는 정상인의 정상 상태를 나타나는 정상 영역을 촬상한 정상 영역 이미지를 포함할 수 있다.
본 발명의 일 실시예에 따른 컴퓨터 판독 가능한 기록매체는, 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서, 입력되는 이미지를 기초로 특징 벡터를 생성하는 인코더를 이용하여 쿼리 이미지에 대한 특징 벡터를 생성하는 단계와, 입력되는 특징 벡터의 오리지날 이미지(original image)와 소정의 유사도를 갖는 정상 이미지를 생성하도록 학습된 제1 기계학습 모델에 상기 생성된 특징 벡터가 입력됨에 기초하여 상기 쿼리 이미지와 관련된 복수의 정상 이미지를 생성하는 단계와, 상기 복수의 정상 이미지 각각에 대해 상기 쿼리 이미지와의 차이를 나타내는 특이 영역을 포함하는 어텐션맵(attention map)을 생성하는 단계를 포함하는 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다.
본 발명의 실시예에 따른 특이 영역 분석 방법 및 장치는, 인코더를 이용하여 이미지의 특이 영역을 보다 신속하고 정확하게 분석함으로써 이미지에 대한 분석이 보다 효과적으로 이루어지도록 할 수 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 특이 영역 분석 방법의 개념도를 도시한다.
도 2는 본 발명의 일 실시예에 따른 특이 영역 분석 방법에 의해 분석되는 특이 영역의 예를 도시한다.
도 3은 본 발명의 일 실시예에 따른 특이 영역 분석 장치의 기능 블록도를 도시한다.
도 4는 본 발명의 일 실시예에 따른 특이 영역 분석 방법의 각 단계의 흐름을 도시한다.
도 5는 본 발명의 일 실시예에 따른 특이 영역 분석 장치의 인코더 모델의 학습 방법에 대한 개념도를 도시한다.
도 6은 본 발명의 다른 실시예에 따른 특이 영역 분석 장치에서 인코더 모델과 기계학습 모델을 이용하여 특이 영역을 검출하는 방법에 대한 개념도를 도시한다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 포함할 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로서 이해되어야 한다.
제 1, 제 2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 이와 같은 용어들에 의해 한정되지는 않는다. 이 용어들은 하나의 구성요소들을 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 특이 영역 분석 방법의 개념도를 도시한다. 이하에서 분석되는 이미지는 CT 또는 MRI와 같은 의료용 영상임을 전제로 설명하겠으나, 이에 제한되는 것은 아니다.
도 1을 참조하면, 쿼리 이미지(11)가 인코더(10)에 입력되어 특징 벡터(12)가 생성되면, 생성된 특징 벡터(12)가 인코더(10)에 연결된 제1 기계학습 모델(20)에 입력될 수 있다.
인코더(10)는 입력되는 이미지와 인코더(10)의 출력단에 배치된 제1 기계학습 모델(20)에서 출력되는 이미지와의 차이가 최소화되고, 인코더(10)에서 출력되는 특징 벡터와 제1 기계학습 모델(20)에서 출력되는 이미지의 특징 벡터의 차이가 최소화되도록 학습이 수행된 것일 수 있다. 인코더(10)의 학습과 관련된 보다 구체적인 설명은 도 6을 참조할 수 있다.
제1 기계학습 모델(20)은 입력되는 이미지(예: 의료용 영상)와 유사하되 질환이 없는 사람, 즉 정상인의 상태(이하, 정상 상태)를 나타내는 가짜의 정상 이미지를 보다 정확하게 생성하도록 학습된 적대적생성네트워크(generative adversarial network, GAN) 기반의 기계학습 모델일 수 있으며, 이에 따라, 제1 기계학습 모델(20)은 쿼리 이미지(11)와 유사한 정상 이미지(13)를 생성할 수 있다. 적대적생성네트워크는 생성형 기계학습 모델의 일종으로 이에 대해서는 통상의 기술자에게 용이한바 자세한 설명은 생략하겠다.
경우에 따라 제1 기계학습 모델(20)은 적대적생성네트워크 대신 다른 생성형 기계학습 모델에 기초하여 구현될 수도 있다.
여기서, 쿼리 이미지(11)는 질환을 가지는 환자를 촬상하여 획득됨에 기초하여 질환에 의해 나타나는 비정상 영역의 적어도 일부에 대한 비정상 영역 이미지를 포함하는 비정상 촬상 이미지일 수 있다. 복수의 정상 이미지(13)는, 쿼리 이미지(11)의 비정상 영역 이미지에 대응하는 영역이 정상 상태에 대한 정보를 포함하는 정상 영역 이미지이되 쿼리 이미지(11)와의 유사도가 소정 값 이상이되도록 생성된 가짜 이미지(비촬상 이미지)일 수 있다.
정상 이미지(13)가 생성되면 정상 이미지(13)와 쿼리 이미지(11)의 차이가 판별됨에 기초하여, 특이 영역(anomaly area)을 포함하는 어텐션맵(15)이 생성될 수 있다. 상술한 바와 같이 정상 이미지(13)는 복수개일 수 있는데, 이러한 경우, 어텐션맵(15)은 각각의 정상 이미지(13)에 대해 쿼리 이미지(11)와의 차이가 획득됨에 따라, 정상 이미지(13) 각각에 상응하는 어텐션맵(15)이 생성될 수 있다.
어텐션맵(15)은 상술한 바와 같이 특이 영역을 포함할 수 있다. 특이 영역은, 정상 이미지(13) 각각에 대해 쿼리 이미지(11)와 차이를 가지는 영역에 대한 것으로, 만약 쿼리 이미지(11)가 비정상 이미지인 경우, 비정상 이미지이기 때문에 나타나는 부분, 즉 비정상 이미지인지 여부의 판독을 위해 관찰이 수행되어야 하는 주요 부분을 의미할 수 있다.
특이 영역은 어텐션맵(15) 상에서 다양한 방식으로 표시될 수 있다. 예를 들어, 특이 영역은 어텐션맵(15)에서 색, 패턴 또는 명암이 다른 영역과 구분되도록 표시될 수도 있고, 특이 영역의 테두리를 나타내는 선이 나타나도록 하여 특이 영역이 표시되도록 할 수도 있다. 다만, 이에 제한되지 않고 다양한 방식으로 특이 영역이 표시되도록 최초 어텐션맵(15)이 생성될 수 있다.
어텐션맵(15)은 오류를 제거하도록 학습된 제2 기계학습 모델(30)에 입력될 수 있다. 이에 따라, 어텐션맵(15)은 기계학습에 의해 발생가능한 오류, 예를 들어 false positive 오류가 제거되어 최종 어텐션맵(17)이 생성될 수 있다.
어텐션맵(15)이 복수인 경우, 복수의 어텐션맵(15)이 모두 제2 기계학습 모델(30)에 입력될 수 있고, 이에 따라, 제2 기계학습 모델(30)은 어텐션맵(15) 중 오류를 제거하고 하나의 이미지로 통합하여 최종 어텐션맵(17)을 생성할 수 있다. 최종 어텐션맵(17)에는 오류가 제거된 어텐션맵(15)의 특이 영역이 오버랩(overlap)되어 나타날 수 있다.
도 2는 본 발명의 일 실시예에 따른 특이 영역 분석 방법에 의해 분석되는 특이 영역의 예를 도시한다.
도 2를 참조하면, 입력 이미지(11')가 인코더(10)에 의해 특징 벡터로 전환되어, 제1 기계학습 모델(20)에 입력될 수 있다. 제1 기계학습 모델(20)은 입력 이미지(11')를 입력받아 입력 이미지(11')와 출력 이미지(13')를 생성할 수 있고, 이에 기초하여 입력 이미지(11')와 출력 이미지(13')의 차이에 대한 특이 영역이 나타나는 어텐션맵(15')이 생성될 수 있다.
여기서, 입력 이미지(11')는 질환을 가지는 환자로부터 획득되는 의료용 영상(예: CT, MRI)으로, 질환에 의해 나타나는 비정상 상태의 영역, 즉 비정상 영역(도 2의 화살표로 표시한 부분)이 이미지에 포함되어 있을 수 있다.
비정상 영역은, 예를 들면, 환자의 출혈 부분 또는 질환 부분을 나타내는 것으로 정상의 경우에는 볼 수 없는 비정상 상태의 특징적인 부분일 수 있다.
출력 이미지(13')는 도 1의 제1 기계학습 모델(20)에 의해 획득(또는 생성)되는 것으로, 입력 이미지(11')와는 유사하되 정상 상태를 나타내는 이미지일 수 있다.
상술한 바와 같이 어텐션맵(15')에는 입력 이미지(11')와 출력 이미지(13') 간의 차이를 나타내는 특이 영역이 포함되어 있을 수 있는데, 구체적으로, 특이 영역은 정상 상태에서는 도출되지 않는 비정상 상태의 영역, 즉 비정상 영역에 대응하는 영역일 수 있다.
도 2를 참고하면 어텐션맵(15')에는 입력 이미지(11')에서 질환과 관련되어 나타나는 특징적인 부분이 어텐션맵(15')에 나타나되, 보다 명확하게 드러남을 알 수 있다.
한편, 비정상 영역은 질환의 진단, 경과, 상태 판단에서 중요한 부분으로서, 전문가(예: 의사)가 중점적으로 분석하는 부분일 수 있다. 그러나, 전문가가 입력 이미지(11')에서 비정상 영역을 구분하기에는 오랜 숙련과정이 필요하며, 숙련된 전문가라 하더라도 컨디션 등에 따라 오류가 발생할 수도 있다. 이에 따라, 어텐션맵(15')을 생성하여 비정상 영역에 대한 정보가 제공된다면, 질환의 분석이 보다 용이하게 수행될 수 있을 것이다.
다만, 이러한 어텐션맵(15')에는 기계학습 모델의 특성에 의해 오류, 예를 들면 false positive 오류가 발생할 수 있다.
본 발명에 의한 특이 영역 분석 방법 및 장치는 어텐션맵(15')에서 오류를 제거하여 최종 어텐션맵을 생성함으로써 보다 정확하게 특이 영역에 대한 정보를 제공할 수 있다.
도 3은 본 발명의 일 실시예에 따른 특이 영역 분석 장치의 기능 블록도를 도시한다. 이하 사용되는 '…부'등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 이하 도 3의 설명에서는 도 1 또는 2와 중복되는 내용이 생략될 수 있다.
도 3을 참조하면, 특이 영역 분석 장치(100)는 특징 벡터 생성부(110), 정상 이미지 생성부(120), 어텐션맵 생성부(130), 유사 이미지 선택부(140) 및 최종 어텐션맵 생성부(150)를 포함할 수 있다.
특징 벡터 생성부(110)는 마이크로프로세서(microprocessor)를 포함하는 연산 장치에 의해 구현될 수 있으며, 이는 후술할 정상 이미지 생성부(120), 어텐션맵 생성부(130), 유사 이미지 선택부(140) 및 최종 어텐션맵 생성부(150)에 있어서도 같다.
특징 벡터 생성부(110)는 입력되는 이미지를 기초로 특징 벡터를 생성하는 인코더(10)를 이용하여, 쿼리 이미지(11)에 대한 특징 벡터를 생성할 수 있다. 여기서, 인코더(10)는 쿼리 이미지(11)를 입력 받아 쿼리 이미지(11)에 대한 특징 벡터를 생성하는 구성일 수 있다.
구체적으로, 특징 벡터 생성부(110)는 인코더(10)에 쿼리 이미지(11)를 입력시켜 쿼리 이미지(11)의 특징 벡터를 추출할 수 있다. 쿼리 이미지(11)는 질환을 가지는 환자로부터 획득됨에 기초하여 질환에 의해 나타나는 비정상 영역(예: 출혈 부위, 종양 부위)의 적어도 일부에 대한 비정상 영역 이미지를 포함할 수 있지만, 이에 제한되는 것은 아니고 질환을 가지지 않는 정상인으로부터 획득되는 의료용 영상이나 질환 여부를 모르는 미지의 의료용 영상으로 구현될 수도 있다.
한편, 인코더(10)는 제1 기계학습 모델(20)의 입력단에 배치되어 역전파(back propagation)를 이용하여 제1 기계학습 모델(20)에 의해 출력되는 이미지(이하, '출력 이미지')와 학습을 위해 인코더(10)에 입력되는 학습용 이미지 간의 차이가 최소화되도록 학습이 수행될 수 있다.
또한, 인코더(10)는 제1 기계학습 모델(20)의 출력단에도 다시 배치되어 제1 기계학습 모델(20)에 의한 출력 이미지를 특징 벡터로 변환할 수 있다. 이에 기초하여, 제1 기계학습 모델(20)로 입력되는 특징 벡터와 출력 이미지의 특징 벡터 간의 차이가 최소화되도록 학습이 수행될 수 있다.
이와 같이 인코더(10)는 제1 기계학습 모델(20)의 입력단에서의 학습과 출력단에서의 학습, 즉 2가지 형태로 학습이 수행될 수 있다. 이러한 학습은 역전파를 이용하여 인코더(10)를 구성하는 네트워크의 가중치(weight)를 업데이트함에 기초하여 수행되는 것일 수 있다.
경우에 따라, 특징 벡터 생성부(110)는 학습이 수행되지않은 인코더와 특징 벡터와 관련된 데이터베이스를 이용하여 특징 벡터를 결정할 수도 있다. 구체적으로, 특징 벡터 생성부(110)는 쿼리 이미지(11)를 인코더에 입력시켜 특징 벡터를 생성하고, 데이터베이스에 기저장되어 있는 복수의 학습용 정상 이미지 각각에 대한 특징 벡터 중 쿼리 이미지(11)의 특징 벡터와 유사한 특징 벡터를 쿼리 이미지(11)에 대한 특징 벡터로 결정할 수 있다.
여기서, 데이터베이스는 인코더를 통해 변환된 복수의 학습용 정상 이미지에 대한 특징 벡터를 포함하도록 기형성된 것일 수 있다. 경우에 따라, 데이터베이스에는 특징 벡터와 이에 대응하는 학습용 정상 이미지가 매핑되어 저장될 수도 있다. 이에 따라, 특징 벡터가 선택되면 그에 대한 학습용 정상 이미지에 대한 정보도 함께 획득될 수 있다.
한편, 유사한 특징 벡터는 다양한 방식으로 결정될 수 있다. 예를 들어, 데이터베이스에서 유사도가 소정값 이상인 특징 벡터를 판별하여 쿼리 이미지(11)에 대한 특징 벡터로 결정할 수 있다. 다른 예를 들면, 유사도가 높은 순서대로 나열한 뒤 소정 개수만큼 상위 유사도를 가지는 특징 벡터를 쿼리 이미지(11)에 대한 특징 벡터로 결정할 수 있다. 또 다른 예를 들면, 데이터베이스에 기저장되어 있는 특징 벡터 중 가장 유사한 특징 벡터를 쿼리 이미지(11)에 대한 특징 벡터로 결정할 수 있다.
정상 이미지 생성부(120)는 인코더(10)에 의해 추출된 특징 벡터(또는 쿼리 이미지(11)에 대한 특징 벡터)를 제1 기계학습 모델(20)에 입력시켜 정상 이미지(13)를 생성할 수 있다. 제1 기계학습 모델(20)은 입력되는 특징 벡터의 오리지날 이미지(original image)와 소정의 유사도를 갖는 정상 이미지를 생성하도록 학습된 것일 수 있다.
정상 이미지(13)는 인코더(10)에 입력되는 쿼리 이미지(11)와 관련된 복수의 이미지일 수 있으며, 쿼리 이미지(11)의 비정상 영역 이미지에 대응하는 영역이 정상 상태에 대한 정보를 포함하는 정상 영역 이미지이되 쿼리 이미지(11)와의 유사도가 소정 값 이상의 가짜(fake) 이미지일 수 있다.
제1 기계학습 모델(20)은 생성형 기계학습 모델에 기초하여, 복수의 학습용 정상 이미지를 이용하여 소정의 이미지가 입력되면 입력된 이미지와 유사하되 정상 상태를 나타내는 정상 이미지를 생성하도록 학습이 수행되는 것일 수 있다. 여기서, 생성형 기계학습 모델은 적대적생성네트워크(generative adversarial network, GAN)를 포함할 수 있다. 다만 이에 제한되는 것은 아니고 제1 기계학습 모델(20)은 다양한 종류의 생성형 기계학습 모델로 구현될 수도 있다.
제1 기계학습 모델(20)의 학습은, MSE(mean squared error) 혹은 이와 유사한 메트릭을 이용하여 생성된 이미지와 입력된 이미지의 차이를 줄여나가도록 수행될 수 있다. 구체적으로, 생성된 이미지와 입력된 이미지의 차이가 줄어드는 방향으로 역전파를 수행함으로써, 제1 기계학습 모델(20)에 입력되는 노이즈의 값이 조정되도록 함에 기초하여 제1 기계학습 모델(20)을 학습시킨 것일 수 있다. 제1 기계학습 모델(20)에 대한 학습은 생성된 이미지와 입력된 이미지의 차이가 소정 값 이하가 되었을 때 종료될 수 있다.
이와 같은 제1 기계학습 모델(20)은 학습의 초기값을 다양하게 하여 배치(batch) 단위로 이미지를 생성하도록 학습될 수 있고, 이에 따라 여러 개의 결과 이미지, 즉 복수의 정상 이미지(13)가 제1 기계학습 모델(20)로부터 획득될 수 있다.
어텐션맵 생성부(130)는 정상 이미지(13)에 대해 쿼리 이미지(11)와의 차이를 나타내는 특이 영역을 포함하는 어텐션맵을 생성할 수 있다. 특이 영역은, 정상 상태와 비정상 상태의 차이를 나타내는 것으로, 이러한 정보는 쿼리 이미지(11)를 통한 비정상 상태에 대한 판독 시 중요한 부분으로 작용하는 영역일 수 있다.
어텐션맵(15)은 정상 이미지(13) 각각에 대해 생성될 수 있는 것으로, 만약, 정상 이미지(13)가 10개 획득되면, 어텐션맵(15)도 10개 획득될 수 있다.
경우에 따라, 특이 영역 분석 장치(100)는 데이터베이스를 이용하여 특징 벡터를 생성하는 경우와 관련하여 동작하는 유사 이미지 선택부(140)를 포함할 수도 있다.
유사 이미지 선택부(140)는 상술한 바와 같이 쿼리 이미지(11)의 특징 벡터와 유사한 특징 벡터가 데이터베이스에서 선택됨에 기초하여 제1 기계학습 모델(20)에 의해 이와 관련된 복수의 정상 이미지(13)가 생성되면, 생성된 복수의 정상 이미지(13) 중 쿼리 이미지(11)와 유사도가 높은 순서대로 적어도 하나 이미지를 선택할 수 있다.
어텐션맵 생성부(130)는 선택된 적어도 하나의 이미지 각각에 대해 쿼리 이미지(11)와의 차이를 나타내는 특징 영역이 포함된 어텐션맵(15)을 생성할 수 있다.
최종 어텐션맵 생성부(150)는 어텐션맵(15)을 제2 기계학습 모델(30)에 입력시켜 최종 어텐션맵(17)을 생성할 수 있다. 제2 기계학습 모델(30)은 어텐션맵(15) 중 오류인 어텐션맵을 제거하여 보다 정확도가 향상된 어텐션맵인 최종 어텐션맵(17)을 생성하도록 학습이 수행된 기계학습 모델일 수 있다.
제2 기계학습 모델(30)은 컨벌루션뉴럴네트워크(convolution neural network, CNN)에 기초하여, 복수의 학습용 어텐션맵을 입력값으로 하고 오류의 학습용 어텐션맵을 정답값으로하여 입력된 학습용 어텐션맵의 오류 여부를 판별하도록 지도 학습이 수행된 것일 수 있다.
경우에 따라, 제2 기계학습 모델(30)은 복수의 학습용 어텐션맵에 대한 비지도 학습이 수행됨에 기초하여, 입력되는 어텐션맵(15)을 그 특성에 따라 분류하여 복수의 클러스터를 형성할 수 있다. 이러한 경우, 제2 기계학습 모델(30)에 의해 분류된 클러스터는 오류의 어텐션맵을 포함하는 클러스터를 포함할 수 있다.
최종 어텐션맵 생성부(150)는 제2 기계학습 모델(30)을 이용하여 어텐션맵(15) 중 오류를 제거하고, 오류가 제거된 어텐션맵을 하나의 이미지로 통합함에 기초하여 오류가 제거된 어텐션맵(15)의 특이 영역이 오버랩되어 나타나도록 최종 어텐션맵(17)을 생성할 수 있다.
최종 어텐션맵(17)에도 포함된 특이 영역은 제2 기계학습 모델(30)에 의해 오류가 제거된 상태로 생성되는 것이므로 높은 정확도를 가지게 될 수 있다.
도 4는 본 발명의 일 실시예에 따른 특이 영역 분석 방법의 각 단계의 흐름을 도시한다. 도 4에 도시된 방법의 각 단계는 경우에 따라 도면에 도시된 바와 그 순서를 달리하여 수행될 수 있음은 물론이다.
도 4를 참조하면, 특징 벡터 생성부(110)는 입력되는 이미지를 기초로 특징 벡터를 생성하는 인코더(10)를 이용하여, 쿼리 이미지(11)에 대한 특징 벡터를 생성할 수 있다(S110). 구체적으로, 특징 벡터 생성부(110)는 인코더에 쿼리 이미지(11)를 입력시켜 쿼리 이미지(11)에 대한 특징 벡터를 생성할 수 있다.
특징 벡터는 학습된 인코더(10)를 이용하는 방법 또는 데이터베이스를 이용하는 방법에 의해 생성될 수 있다. 학습된 인코더(10)를 이용하는 방법은 인코더(10)가 기학습된 제1 기계학습 모델(20)에 의해 출력되는 이미지를 고려하여 특징 벡터를 생성하도록 학습시킨 후에, 학습된 인코더(10)에 쿼리 이미지(11)를 입력시켜 특징 벡터를 생성할 수 있다. 인코더(10)의 학습과 관련된 구체적인 설명은 도 6을 참조할 수 있다
데이터베이스를 이용하는 방법은, 쿼리 이미지(11)의 특징 벡터를 구하고, 복수의 학습용 정상 이미지에 대한 특징 벡터를 포함하는 데이터베이스에서 쿼리 이미지(11)의 특징 벡터와 유사한 특징 벡터를 선택하는 방식으로 특징 벡터를 생성할 수 있다.
정상 이미지 생성부(120)는 제1 기계학습 모델(20)을 이용하여 특징 벡터로부터 복수의 정상 이미지를 생성할 수 있다(S120). 구체적으로, 정상 이미지 생성부(120)는 입력되는 특징 벡터의 오리지날 이미지와 소정의 유사도를 갖는 정상 이미지를 생성하도록 학습된 제1 기계학습 모델(20)에 생성된 특징 벡터가 입력됨에 기초하여 쿼리 이미지(11)와 관련된 복수의 정상 이미지(13)를 생성할 수 있다.
제1 기계학습 모델(20)은 생성형 기계학습 모델에 기반하여 정상 이미지를 생성하도록 학습이 수행된 기계학습 모델일 수 있다. 생성형 기계학습 모델은 제1 기계학습 모델(20)에 대응하는 생성 알고리즘과 제1 기계학습 모델(20)에 의해 생성된 결과를 판별하는 판별 알고리즘으로 구성되어, 생성 알고리즘의 생성이 보다 정확하게(예: 입력되는 이미지가 보다 정상 이미지에 가깝도록) 이루어지도록 학습이 수행되는 것으로, 이에 대해서는 통상의 기술자에게 용이한바 자세한 설명은 생략하겠다.
어텐션맵 생성부(130)는 특이 영역을 포함하는 어텐션맵(15)을 생성할 수 있다(S130). 구체적으로, 어텐션맵 생성부(130)는 복수의 정상 이미지(13) 각각에 대해 쿼리 이미지(11)와의 차이를 구하여, 이러한 차이가 각각 드러나는 어텐션맵(15)을 생성할 수 있다.
최종 어텐션맵 생성부(130)는 제2 기계학습 모델(30)을 이용하여 복수의 정상 이미지 각각에 대해 생성된 어텐션맵 중 오류를 제거함에 기초하여 최종 어텐션맵(17)을 생성할 수 있다(S140). 예를 들어, 최종 어텐션맵 생성부(130)는 오류를 제거하도록 학습된 제2 기계학습 모델(30)에 어텐션맵(15)이 입력되도록하여 오류인 어텐션맵을 제거하고, 남은 어텐션맵을 오버랩시켜 최종 어텐션맵(17)을 생성할 수 있다.
제2 기계학습 모델(30)은 지도 학습 또는 비지도 학습에 기초하여 어텐션맵(15)의 오류를 제거하도록 학습이 수행된 기계학습 모델일 수 있다. 제2 기계학습 모델(30)의 학습을 위해서는 다양한 기계학습 알고리즘(예: CNN, DNN)이 이용될 수 있다.
도 5는 본 발명의 일 실시예에 따른 특이 영역 분석 장치의 인코더 모델의 학습 방법에 대한 개념도를 도시한다.
인코더(10)는 제1 기계학습 모델(20)의 입력단에 배치됨에 기초하여, 인코더(10)에 학습용 이미지(21)가 입력되면 학습용 이미지(21)의 특징 벡터(23)가 생성될 수 있다. 특징 벡터(23)는 제1 기계학습 모델(20)로 입력될 수 있고, 이에 따라, 제1 기계학습 모델(20)에 의해 출력 이미지(25)가 생성될 수 있다.
이 때, 역전파를 이용하여 제1 기계학습 모델(20)의 출력 이미지와 학습용 이미지 간의 차이가 최소화되도록 인코더(10)를 구성하는 네트워크의 가중치(weight)가 업데이트되는 방식으로 학습(이하, 제1 학습)이 수행될 수 있다.
그 후, 인코더(10)는 제1 기계학습 모델(20)의 출력단에 재배치됨으로써 출력 이미지(25)를 입력받아 특징 벡터(27)로 변환할 수 있다. 특징 벡터(27)가 획득되면, 인코더(10)에 대해 획득된 특징 벡터(27)와 제1 기계학습 모델(20)에 입력된 특징 벡터(23)의 차이가 최소화되도록, 역전파를 이용하여 학습(이하, 제2 학습)이 다시 수행될 수 있다.
학습용 이미지(21)는 복수일 수 있으며 이에 따라 복수 회의 학습이 수행됨으로써 인코더(10)의 정확도 및 성능이 향상될 수 있다.
제1 학습과 제2 학습의 수행은 순차적으로 일어나는 것으로 설명하였으나, 이에 제한되는 것은 아니다. 또한, 인코더(10) 및 제1 기계학습 모델(20) 각각에 대한 입력과 출력의 설명의 편의를 위배 '배치'된다는 기재를 이용하여 설명하였으나, 이에 제한되는 것은 아니며 인코더(10)가 제1 기계학습 모델(20)의 입력단과 출력단에 배치되지 않더라고 입력되는 구성과 출력되는 구성이 유지되는 한 다양한 형태로 배치될 수 있다.
도 6은 본 발명의 다른 실시예에 따른 특이 영역 분석 장치에서 인코더 모델과 기계학습 모델을 이용하여 특이 영역을 검출하는 방법에 대한 개념도를 도시한다.
도 6을 참조하면, 복수의 학습용 이미지(41)는 인코더(40)에 입력되어 특징 벡터(43)로 변환된 후, 데이터베이스(60)에 저장될 수 있다. 경우에 따라, 데이터베이스에는 특징 벡터와 이에 대응하는 학습용 정상 이미지가 매핑되어 저장될 수도 있다. 이에 따라, 특징 벡터가 선택되면 그에 대한 학습용 정상 이미지에 대한 정보도 함께 획득될 수 있다.
인코더(50)에 쿼리 이미지(11)가 입력되면, 쿼리 이미지(11)에 대한 특징 벡터(51)가 획득될 수 있다. 그 후, 데이터베이스(60)에 저장된 학습용 이미지(41)와 관련된 특징 벡터 중 특징 벡터(51)와 가장 유사한 특징 벡터(61)가 선택될 수 있다. 선택된 특징 벡터(61)가 제1 기계학습 모델(20)로 입력됨에 기초하여, 복수의 정상 이미지(13)가 생성될 수 있다.
복수의 정상 이미지(13) 각각에 대해서는 도 1 내지 도 4를 통해 상술한 바와 같이 쿼리 이미지(11)와의 차이가 구해져 어텐션맵(15)이 생성될 수 있다.
경우에 따라, 도 3의 유사 이미지 선택부(140)에 의해 복수의 정상 이미지(13) 중 쿼리 이미지(11)와 유사한 정상 이미지를 선택하여, 선택된 정상 이미지에 대해서만 어텐션맵(15)이 생성되도록 할 수도 있다.
한편, 유사한 정상 이미지는 다양한 방식으로 선택될 수 있다. 예를 들어, 복수의 정상 이미지(13) 중 유사도가 소정값 이상인 정상 이미지를 판별함에 기초하여, 유사한 정상 이미지가 선택될 수 있다. 다른 예를 들면, 복수의 정상 이미지(13) 중 유사도가 상위 값(유사도가 높을수록 상위 값을 가지며, 더욱 유사한 것인 경우)을 나타내는 정상 이미지를 판별함에 기초하여, 유사한 정상 이미지가 선택될 수 있다. 또 다른 예를 들면, 복수의 정상 이미지(13) 중 가장 유사한 이미지를 판별함에 기초하여, 유사한 정상 이미지가 선택될 수 있다.
본 발명의 일 실시예에 따른 특이 영역 분석 장치 및 방법은, 학습된 인코더(10)를 이용하거나 데이터베이스(60)를 이용하여 어텐션맵(15)의 생성을 위한 정상 이미지(13)가 쿼리 이미지(11)와 보다 유사하게 획득되도록 함으로써, 특이 영역 분석의 속도 및 정확도를 향상시킬 수 있다.
본 명세서에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다

Claims (21)

  1. 입력되는 이미지를 기초로 특징 벡터를 생성하는 인코더를 이용하여 쿼리 이미지에 대한 특징 벡터를 생성하는 단계와,
    입력되는 특징 벡터의 오리지날 이미지(original image)와 소정의 유사도를 갖는 정상 이미지를 생성하도록 학습된 제1 기계학습 모델에 상기 생성된 특징 벡터가 입력됨에 기초하여 상기 쿼리 이미지와 관련된 복수의 정상 이미지를 생성하는 단계와,
    상기 복수의 정상 이미지 각각에 대해 상기 쿼리 이미지와의 차이를 나타내는 특이 영역을 포함하는 어텐션맵(attention map)을 생성하는 단계를 포함하는
    이미지의 특이 영역 분석 방법.
  2. 제1항에 있어서,
    상기 인코더는,
    상기 제1 기계학습 모델의 입력단에 상기 인코더를 배치하고 상기 인코더에 학습용 이미지를 입력시켜 상기 인코더에 의해 생성되는 상기 학습용 이미지의 특징 벡터가 상기 제1 기계학습 모델로 입력되도록 하여 출력 이미지를 생성하도록 하고,
    역전파(back propagation)를 이용하여 상기 제1 기계학습 모델의 출력 이미지와 상기 학습용 이미지 간의 차이가 최소화되도록 하고,
    상기 제1 기계학습 모델의 출력단에 상기 인코더를 재배치하고, 상기 인코더를 통해 상기 출력 이미지를 특징 벡터로 변환하여, 역전파를 이용하여 상기 변환된 출력 이미지의 특징 벡터와 상기 제1 기계학습 모델로 입력되는 특징 벡터 간의 차이가 최소화되도록 함으로써 학습되어 있는
    이미지의 특이 영역 분석 방법.
  3. 제1항에 있어서,
    상기 특징 벡터를 생성하는 단계는,
    데이터베이스에 기저장되어 있는 복수의 학습용 정상 이미지 각각에 대한 특징 벡터 중 상기 쿼리 이미지의 특징 벡터와 가장 유사도가 높은 특징 벡터를 상기 쿼리 이미지에 대한 특징 벡터로 결정하는 단계를 포함하는
    이미지의 특이 영역 분석 방법.
  4. 제3항에 있어서,
    상기 생성된 복수의 정상 이미지 중 상기 쿼리 이미지와 유사도가 높은 순서를 판별한 것에 기초하여 적어도 하나 이미지를 선택하는 단계를 더 포함하고,
    상기 어텐션맵을 생성하는 단계는,
    상기 선택된 이미지와 상기 쿼리 이미지와의 차이와 관련된 특이 영역을 포함하는 어텐션맵을 생성하는 단계를 포함하는
    이미지의 특이 영역 분석 방법.
  5. 제1항에 있어서,
    상기 제1 기계학습 모델은,
    생성형 기계학습 모델에 기초하여, 복수의 학습용 정상 이미지를 이용하여 소정의 특징 벡터가 입력되면 소정의 특징 벡터가 나타내는 이미지와 유사도가 높은 정상 이미지를 생성하도록 학습이 수행되어 있으며,
    상기 생성형 기계학습 모델은 적대적생성네트워크(generative adversarial network)를 포함하는
    이미지의 특이 영역 분석 방법.
  6. 제1항에 있어서,
    오류를 제거하도록 학습된 제2 기계학습 모델을 이용하여 상기 복수의 정상 이미지 각각에 대해 생성된 어텐션맵 중 오류를 제거함에 기초하여, 최종 어텐션맵을 생성하는 단계를 더 포함하는
    이미지의 특이 영역 분석 방법.
  7. 제6항에 있어서,
    상기 제2 기계학습 모델은,
    컨벌루션뉴럴네트워크(convolution neural network)에 기초하여, 복수의 학습용 어텐션맵을 입력값으로 하고, 오류의 학습용 어텐션맵을 정답값으로하여 입력된 학습용 어텐션맵의 오류 여부를 판별하도록 지도 학습이 수행되어 있는
    이미지의 특이 영역 분석 방법.
  8. 제6항에 있어서,
    상기 제2 기계학습 모델은,
    복수의 학습용 어텐션맵에 대한 비지도 학습이 수행되는
    이미지의 특이 영역 분석 방법.
  9. 제1항에 있어서,
    상기 쿼리 이미지는,
    질환을 가지는 환자로부터 획득됨에 기초하여 상기 질환에 의해 나타나는 비정상 영역의 적어도 일부에 대한 비정상 영역 이미지를 포함하는 비정상 촬상 이미지이고,
    상기 복수의 정상 이미지는,
    상기 쿼리 이미지의 상기 비정상 영역 이미지에 대응하는 영역이 정상 상태에 대한 정보를 포함하는 정상 영역 이미지이되 상기 쿼리 이미지와의 유사도가 소정 값 이상의 가짜(fake) 이미지인
    이미지의 특이 영역 분석 방법.
  10. 제9항에 있어서,
    상기 정상 이미지는,
    상기 질환을 갖지 않는 정상인의 정상 상태를 나타나는 정상 영역을 촬상한 정상 영역 이미지를 포함하는
    이미지의 특이 영역 분석 방법.
  11. 입력되는 이미지를 기초로 특징 벡터를 생성하는 인코더를 이용하여 쿼리 이미지에 대한 특징 벡터를 생성하는 특징 벡터 생성부와,
    입력되는 특징 벡터의 오리지날 이미지(original image)와 소정의 유사도를 가지는 정상 이미지를 생성하도록 학습된 제1 기계학습 모델에 상기 생성된 특징 벡터가 입력됨에 기초하여 상기 쿼리 이미지와 관련된 복수의 정상 이미지를 생성하는 정상 이미지 생성부와,
    상기 복수의 정상 이미지 각각에 대해 상기 쿼리 이미지와의 차이를 나타내는 특이 영역을 포함하는 어텐션맵(attention map)을 생성하는 어텐션맵 생성부를 포함하는
    이미지의 특이 영역 분석 장치.
  12. 제11항에 있어서,
    상기 인코더는,
    상기 제1 기계학습 모델의 입력단에 상기 인코더를 배치하고 상기 인코더에 학습용 이미지를 입력시켜 상기 인코더에 의해 생성되는 상기 학습용 이미지의 특징 벡터가 상기 제1 기계학습 모델로 입력되도록 하여 출력 이미지를 생성하도록 하고,
    역전파(back propagation)를 이용하여 상기 제1 기계학습 모델의 출력 이미지와 상기 학습용 이미지 간의 차이가 최소화되도록 하고,
    상기 제1 기계학습 모델의 출력단에 상기 인코더를 재배치하고, 상기 인코더를 통해 상기 출력 이미지를 특징 벡터로 변환하여, 역전파를 이용하여 상기 변환된 출력 이미지의 특징 벡터와 상기 제1 기계학습 모델로 입력되는 특징 벡터 간의 차이가 최소화되도록 함으로써 학습되어 있는
    이미지의 특이 영역 분석 장치.
  13. 제11항에 있어서,
    상기 특징 벡터 생성부는,
    데이터베이스에 기저장되어 있는 복수의 학습용 정상 이미지 각각에 대한 특징 벡터 중 상기 쿼리 이미지의 특징 벡터와 가장 유사도가 높은 특징 벡터를 상기 쿼리 이미지에 대한 특징 벡터로 결정하는
    이미지의 특이 영역 분석 장치.
  14. 제13항에 있어서,
    상기 생성된 복수의 정상 이미지 중 상기 쿼리 이미지와 유사도가 높은 순서를 판별한 것에 기초하여 적어도 하나 이미지를 선택하는 유사 이미지 선택부를 더 포함하고,
    상기 어텐션맵 생성부는,
    상기 선택된 이미지와 상기 쿼리 이미지와의 차이와 관련된 특이 영역을 포함하는 어텐션맵을 생성하는
    이미지의 특이 영역 분석 장치.
  15. 제11항에 있어서,
    상기 제1 기계학습 모델은,
    생성형 기계학습 모델에 기초하여, 복수의 학습용 정상 이미지를 이용하여 소정의 특징 벡터가 입력되면 소정의 특징 벡터가 나타내는 이미지와 유사도가 높은 정상 이미지를 생성하도록 학습이 수행되어 있으며,
    상기 생성형 기계학습 모델은 적대적생성네트워크(generative adversarial network)를 포함하는
    이미지의 특이 영역 분석 장치.
  16. 제11항에 있어서,
    오류를 제거하도록 학습된 제2 기계학습 모델을 이용하여 상기 복수의 정상 이미지 각각에 대해 생성된 어텐션맵 중 오류를 제거함에 기초하여, 최종 어텐션맵을 생성하는 최종 어텐션맵 생성부를 더 포함하는
    이미지의 특이 영역 분석 장치.
  17. 제16항에 있어서,
    상기 제2 기계학습 모델은,
    컨벌루션뉴럴네트워크(convolution neural network)에 기초하여, 복수의 학습용 어텐션맵을 입력값으로 하고, 오류의 학습용 어텐션맵을 정답값으로하여 입력된 학습용 어텐션맵의 오류 여부를 판별하도록 지도 학습이 수행되어 있는
    이미지의 특이 영역 분석 장치.
  18. 제16항에 있어서,
    상기 제2 기계학습 모델은,
    복수의 학습용 어텐션맵에 대한 비지도 학습이 수행되는
    이미지의 특이 영역 분석 장치.
  19. 제11항에 있어서,
    상기 쿼리 이미지는,
    질환을 가지는 환자로부터 획득됨에 기초하여 상기 질환에 의해 나타나는 비정상 영역의 적어도 일부에 대한 비정상 영역 이미지를 포함하는 비정상 촬상 이미지이고,
    상기 복수의 정상 이미지는,
    상기 쿼리 이미지의 상기 비정상 영역 이미지에 대응하는 영역이 정상 상태에 대한 정보를 포함하는 정상 영역 이미지이되 상기 쿼리 이미지와의 유사도가 소정 값 이상의 가짜(fake) 이미지인
    이미지의 특이 영역 분석 장치.
  20. 제19항에 있어서,
    상기 정상 이미지는,
    상기 질환을 갖지 않는 정상인의 정상 상태를 나타나는 정상 영역을 촬상한 정상 영역 이미지를 포함하는
    이미지의 특이 영역 분석 장치.
  21. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
    입력되는 이미지를 기초로 특징 벡터를 생성하는 인코더를 이용하여 쿼리 이미지에 대한 특징 벡터를 생성하는 단계와,
    입력되는 특징 벡터의 오리지날 이미지(original image)와 소정의 유사도를 갖는 정상 이미지를 생성하도록 학습된 제1 기계학습 모델에 상기 생성된 특징 벡터가 입력됨에 기초하여 상기 쿼리 이미지와 관련된 복수의 정상 이미지를 생성하는 단계와,
    상기 복수의 정상 이미지 각각에 대해 상기 쿼리 이미지와의 차이를 나타내는 특이 영역을 포함하는 어텐션맵(attention map)을 생성하는 단계를 포함하는 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
    컴퓨터 판독 가능한 기록매체.
PCT/KR2020/009397 2019-07-19 2020-07-16 인코더를 이용한 이미지의 특이 영역 분석 방법 및 장치 WO2021015489A2 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190087668A KR102400568B1 (ko) 2019-07-19 2019-07-19 인코더를 이용한 이미지의 특이 영역 분석 방법 및 장치
KR10-2019-0087668 2019-07-19

Publications (2)

Publication Number Publication Date
WO2021015489A2 true WO2021015489A2 (ko) 2021-01-28
WO2021015489A3 WO2021015489A3 (ko) 2021-03-18

Family

ID=74194023

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/009397 WO2021015489A2 (ko) 2019-07-19 2020-07-16 인코더를 이용한 이미지의 특이 영역 분석 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102400568B1 (ko)
WO (1) WO2021015489A2 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102490502B1 (ko) * 2022-03-14 2023-01-19 프로메디우스 주식회사 비지도 학습 기반 의료 데이터 분석 장치 및 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100519768B1 (ko) 2002-10-14 2005-10-07 삼성전자주식회사 반복매칭을 이용한 영상 검색방법 및 장치
KR100836740B1 (ko) * 2006-08-28 2008-06-10 계명대학교 산학협력단 영상 데이터 처리 방법 및 그에 따른 시스템
KR20150098119A (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법
DE202017104953U1 (de) * 2016-08-18 2017-12-04 Google Inc. Verarbeiten von Fundusbildern unter Verwendung von Maschinenlernmodellen
US10565305B2 (en) * 2016-11-18 2020-02-18 Salesforce.Com, Inc. Adaptive attention model for image captioning
EP3580693A1 (en) * 2017-03-16 2019-12-18 Siemens Aktiengesellschaft Visual localization in images using weakly supervised neural network

Also Published As

Publication number Publication date
KR102400568B1 (ko) 2022-05-24
KR20210010769A (ko) 2021-01-28
WO2021015489A3 (ko) 2021-03-18

Similar Documents

Publication Publication Date Title
WO2019132168A1 (ko) 수술영상데이터 학습시스템
WO2020111754A9 (ko) 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템
WO2017051945A1 (ko) 질환 모델 기반의 의료 정보 서비스 제공 방법 및 장치
WO2018106005A1 (ko) 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법
WO2017022882A1 (ko) 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템
WO2020071877A1 (ko) 병리 이미지 검색을 위한 시스템 및 방법
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
WO2020101457A2 (ko) 지도학습기반의 합의 진단방법 및 그 시스템
WO2020032559A2 (ko) 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 방법
WO2020180135A1 (ko) 뇌 질환 예측 장치 및 방법, 뇌 질환을 예측하기 위한 학습 장치
WO2021015489A2 (ko) 인코더를 이용한 이미지의 특이 영역 분석 방법 및 장치
WO2022197044A1 (ko) 뉴럴 네트워크를 이용한 방광병변 진단 방법 및 그 시스템
WO2020050456A1 (ko) 설비 데이터의 이상 정도 평가 방법
WO2021002669A1 (ko) 병변 통합 학습 모델을 구축하는 장치와 방법, 및 상기 병변 통합 학습 모델을 사용하여 병변을 진단하는 장치와 방법
WO2022220354A1 (ko) 어군 생태계의 이상 여부를 감지하기 위한 어군 생태계 모니터링 시스템 장치 및 그 동작 방법
WO2021015490A2 (ko) 이미지의 특이 영역 분석 방법 및 장치
WO2023182702A1 (ko) 디지털 병리이미지의 인공지능 진단 데이터 처리 장치 및 그 방법
WO2023224369A1 (ko) 심혈관 이미지의 3차원 재구성을 위한 cip 자동 검출 방법 및 시스템
WO2020246676A1 (ko) 자궁경부암 자동 진단 시스템
WO2017010612A1 (ko) 의료 영상 분석 기반의 병리 진단 예측 시스템 및 방법
WO2023068732A1 (ko) 신경 심리 검사에 대한 점수를 획득하는 방법 및 이를 수행하는 신경 심리 검사 장치 및 컴퓨터 판독 가능한 기록매체
WO2019235827A1 (ko) 듀얼 클래스를 지원하는 질병 진단 시스템 및 그 방법
WO2022158843A1 (ko) 조직 검체 이미지 정제 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2021045505A1 (ko) 뇌 두께 정보에 기반한 뇌 수축질환 계층적 진단 장치
WO2021137395A1 (ko) 심층신경망 알고리즘 기반의 문제 행동 분류 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20844780

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20844780

Country of ref document: EP

Kind code of ref document: A2