WO2017022882A1 - 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템 - Google Patents

의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템 Download PDF

Info

Publication number
WO2017022882A1
WO2017022882A1 PCT/KR2015/009447 KR2015009447W WO2017022882A1 WO 2017022882 A1 WO2017022882 A1 WO 2017022882A1 KR 2015009447 W KR2015009447 W KR 2015009447W WO 2017022882 A1 WO2017022882 A1 WO 2017022882A1
Authority
WO
WIPO (PCT)
Prior art keywords
classification
feature
variable
image
vector
Prior art date
Application number
PCT/KR2015/009447
Other languages
English (en)
French (fr)
Inventor
김효은
황상흠
백승욱
이정인
장민홍
유동근
팽경현
박승균
Original Assignee
주식회사 루닛
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 루닛 filed Critical 주식회사 루닛
Priority to US15/113,644 priority Critical patent/US10013757B2/en
Publication of WO2017022882A1 publication Critical patent/WO2017022882A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50—Clinical applications
    • A61B6/502—Clinical applications involving diagnosis of breast, i.e. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Definitions

  • the present invention relates to an apparatus for classifying a pathology diagnosis of a medical image and a pathological diagnosis system using the same. More particularly, the present invention efficiently classifies a medical image and learns pathological diagnosis through learning based on machine-learning. An apparatus and a system that can be performed.
  • Pathology is the field of medicine in which tissue samples are examined by naked eye or under a microscope and analyzed to determine abnormalities. For example, in order to diagnose cancer, a tissue sample of a suspected tissue is examined by a pathologist and a doctor through a microscope and diagnosed by determining the presence of cancer cells. This is called pathology diagnosis, and this pathology diagnosis is a final step of diagnosis as a confirmation procedure for diagnosis of a suspected lesion of a patient.
  • an existing image for comparing and analyzing an input query image and an image and pathological diagnosis data in which a corresponding pathological diagnosis result is databased are required.
  • the database to be analyzed should store the normal / abnormal images, the medical image including information on whether the lesion is present, the pathological diagnosis of the lesion, and the location of the lesion. Comparative analysis should be performed on query images. The presence or absence of such lesions, pathological diagnosis results and location information of the lesions may be referred to as tag information.
  • the database to be subjected to the comparative analysis will have more reliability as more images including the tag information exist. In particular, by using the image including the tag information such as machine learning (learning) to learn from a large amount of data to ensure that only the information optimized for prediction to always maintain more accurate results It can be predicted.
  • the present invention has been made to solve the above problems, and an object of the present invention is to provide an apparatus for diagnosing pathology of medical images that is efficiently learned based on machine learning for medical image analysis.
  • the present invention provides a pathological diagnosis classification apparatus for medical images that can improve learning efficiency and reliability by utilizing a small amount of location information, relatively large amount of lesion information and pathological diagnosis results of the lesion. For another purpose.
  • an apparatus for diagnosing pathology of a medical image including: a feature extractor configured to extract feature data of an input image by a feature extraction variable; A feature vector converter converting the extracted feature data into a feature vector by a vector conversion variable; And a vector classifier configured to classify the feature vector by a classification variable and output a pathological diagnosis classification result for an input image, wherein the feature extractor, the feature vector converter, and the vector classifier represent lesion presence and pathological diagnosis information.
  • Pathology of a medical image characterized by learning from a first tagged image having a first tag and a second tagged image having a first tag and a second tag indicating location information of the lesion and an image without tag information Provide a diagnostic classification device.
  • the feature extraction variable may be learned by a second tagged image, and the conversion variable may be learned by at least one of a first tagged image, a second tagged image, and an image without tag information.
  • the classification variable may be learned by at least one of the first tagged image and the second tagged image.
  • the learning module may form a patch image that is a partial image of the input images input to the feature extractor, separate the patch images into learning data and verification data, and minimize a cost function with respect to the learning data.
  • the process of adjusting the variable and the classification variable may be configured to adjust the feature extraction variable of the feature extraction unit by repeating the process until the cost function for the verification data becomes the minimum.
  • the learning module may be configured to set initial values of the feature extraction variable and the classification variable, and to calculate the feature data and the classification result based on the current feature extraction variable and the classification variable, and the feature extraction variable by the cost function. And calculating a difference between the feature extraction variable and the classification variable by calculating a change amount of the feature extraction variable and the classification variable so as to minimize the cost. And repeating the third process of updating the classification variable to adjust the feature extraction variable and the classification variable.
  • the learning module extracts a plurality of feature data by inputting a plurality of patch images of an input image to the feature extracting unit, and estimates a transform variable for converting the feature data into a feature vector having a fixed length.
  • the feature vector transform unit may be trained.
  • the learning module verifies a process of forming a patch image, which is a partial image of input images, separating the patch images into learning data and verification data, and adjusting a classification variable to minimize a cost function for the learning data. It is desirable to adjust the classification variables of the vector classifier by repeatedly performing the function until the cost function for the data is minimized.
  • the learning module may include a first process of setting an initial value of a classification variable, calculating a classification result based on the current classification variable, and a second process of calculating respective costs for the classification variable by a cost function; In order to minimize the cost, it is preferable to adjust the classification variable by calculating a change amount of the classification variable, calculating a difference with the existing classification variable, and repeating the third process of updating the classification variable.
  • the feature extractor receives a plurality of divided patch images with respect to the input image and extracts feature data for each patch image by a feature extraction variable, and the feature vector converter converts feature data for the patch image. It is preferable to convert the fixed length feature vector by a variable, and the vector classification unit classifies the fixed length feature vector by a classification variable to output a pathological diagnosis classification result for the input image.
  • the apparatus for diagnosing pathology of medical images as described above;
  • a testing module configured to output final analysis information on the input image based on a pathological diagnosis result output from the pathological diagnosis classification apparatus of the medical image with respect to the input image;
  • a learning module for training the classification apparatus based on the tagged images stored in the tagged image database; And a tagged image including a first tagged image having a first tag indicating lesion presence and pathological diagnosis information, and a second tagged image having a first tag and a second tag indicating position information of the lesion. It provides a pathological diagnosis system that includes a de imaging database.
  • the present invention can provide a pathological diagnosis classification apparatus for medical images that can improve the learning efficiency and reliability by utilizing a small amount of location information, relatively large amount of lesion information and pathological diagnosis results of the lesion in parallel. Can be.
  • the present invention can provide a pathology diagnosis system capable of performing pathology diagnosis using the pathology diagnosis classification apparatus as described above.
  • FIG. 1 is a diagram showing the configuration of a pathology diagnosis classification apparatus 100 of a medical image according to the present invention.
  • FIG. 2 is a view for explaining a tag used in the present invention.
  • FIG 3 is a diagram showing the overall configuration of a pathology diagnosis system 1000 including a classification apparatus 100 according to the present invention.
  • FIG. 4 is a diagram for describing a process of learning a feature extraction variable of the feature extraction unit 10 of the classification apparatus 100 by the learning module 300.
  • FIG. 5 is a diagram for describing a process of learning the feature vector converter 20 by the learning module 300.
  • FIG. 6 is a diagram for describing a process of learning the vector classifier 30 by the learning module 300.
  • FIG. 7 is a diagram for describing a process of outputting a pathological diagnosis classification result for an input image by the classification apparatus 100 in which a learning process is completed.
  • FIG 8 is an exemplary screen for explaining an example of operations of the classification apparatus 100 and the system 1000 according to the present invention.
  • FIG. 1 is a diagram showing the configuration of a pathology diagnosis classification apparatus 100 of a medical image according to the present invention.
  • a pathology diagnosis classification apparatus 100 (hereinafter, simply referred to as a "classifier 100") of a medical image may include a feature extraction unit 10, a feature vector conversion unit 20, and a vector classification unit. (30).
  • the feature extractor 10 extracts the feature data of the input image by the feature extraction variable, and the feature vector converter 20 features the feature data extracted by the feature extractor 10 by the conversion variable.
  • the vector classifier 30 performs a function of classifying the feature vector converted by the feature vector converter 20 by a classification variable and outputting a pathological diagnosis classification result for the input image.
  • the feature extraction variable refers to variables used to extract a feature of the input image
  • the conversion variable refers to a variable used when converting feature data into a feature vector
  • classification variables refer to variables used to classify feature vectors.
  • the classification apparatus 100 may output a pathological diagnosis classification result for the medical image input while being learned by the learning module (see FIG. 3).
  • the pathological diagnosis classification result may be output as a probability value.
  • the feature extracting unit 10, the feature vector converting unit 20, and the vector classifying unit 30 of the classification apparatus 100 have a first tag indicating the presence or absence of lesions and pathological diagnosis information. Learning is performed by a second tagged image having a first tagged image, a second tag having a first tag and position information of the lesion, and a general medical image having no tag information.
  • the feature extraction variable used in the feature extractor 10 is trained by the second tagged image, and the vector transform variable used in the feature vector converter 20 is characteristic of the input image itself excluding tag information. Since it is learned based on the information, regardless of the presence or absence of the tag information, it is learned by all medical images (that is, at least one of the first tagged image, the second tagged image and the image without the tag information), the vector classifier 30 The classification variable used in may be learned by at least one of the first tagged image and the second tagged image.
  • FIG. 2 is a view for explaining a tag used in the present invention.
  • FIG. 2 is a mammogram image, in which a portion indicated by a white square represents cancer cell tissue (lesion).
  • a portion indicated by a white square represents cancer cell tissue (lesion).
  • the tag for the image of FIG. 2 is added with only "breast cancer,” it is called a first tag because it indicates the presence of lesion and pathological diagnosis information.
  • the first tagged image is the first tagged image. .
  • the more the second tagged images including the location information of the lesion the higher the learning efficiency will be.
  • the first tagged image having no actual tag information or having only lesion information or diagnostic information, and the second tagged image having the second tag information, which is the location information of the lesion are very limited, which lowers the reliability of learning. It becomes the factor to let you do it.
  • the classification apparatus 100 of the present invention properly uses a limited number of second tagged images, a relatively large amount of first tagged images, and images without tag information for each variable at each stage used in learning. It is characterized in that to be able to perform the learning more efficiently and reliably.
  • FIG 3 is a diagram showing the overall configuration of a pathology diagnosis system 1000 including a classification apparatus 100 according to the present invention.
  • the pathology diagnosis system 1000 (hereinafter referred to simply as “system 1000”) includes a classification apparatus 100, a testing module 200, a learning module 300, a batch generator 400, a monitoring agent. 500 and a tagged image database 600.
  • the classification apparatus 100 performs the operation of classifying the pathological diagnosis result of the input image by extracting the feature data of the input image, converting the feature data into the feature vector, and classifying the feature vector.
  • the testing module 200 is a means for receiving an input image and classifying it by the classification apparatus 100 to output a pathological diagnosis result, and outputting final analysis information about the input image based on the input image.
  • the testing module 200 may include a preprocessor for performing a pre-processing operation to structure the input image into a form that can be used by the system 1000.
  • the classification apparatus 100 outputs a pathological diagnosis classification result for the input image, wherein the classification result is pathological information indicating the presence or absence of the lesion and pathological diagnosis result information of the lesion, or the location information indicating the location of the lesion together with the probability value. You can output
  • the testing module 200 receives the classification result and generates, processes, and processes other analysis information related to the classification result to generate a final analysis result of the input image.
  • the other analysis information may include comprehensive diagnostic information (such as abnormality) including a final pathological diagnosis result in consideration of the number of lesion positions and the number of lesion positions on the input image.
  • the final pathological diagnosis result information may be represented as a probability value based on the probability value of the lesion output from the classification apparatus 100, and may be included in other analysis information.
  • the learning module 300 is a module for learning the classification apparatus 100 based on the tagged images stored in the tagged image database 600.
  • the learning module 300 receives the batch data generated by the batch generator 400 to be described later, thereby training the classification apparatus 100.
  • a process of learning the classification apparatus 100 by the learning module 300 will be described in detail with reference to FIG. 4 or below.
  • the batch generator 400 generates batch data that is a bundle of tagged images (including an image and tag information of the corresponding image) stored in the tagged image database 600 and transmits the batch data to the learning module 300.
  • the classifying apparatus 100 is in charge of a function of learning by the batch data.
  • the monitoring agent 500 monitors the operation of each component of the system 1000 and controls their overall operation.
  • the monitoring agent 500 determines the learning start time point and the end time point, and determines the re-learning start time point and the end time point while monitoring the operations of the learning module 300 and the classification apparatus 100 in relation to the learning module 300.
  • the current learning state information is also received from the learning module 300.
  • the operation of the batch generator 400 is controlled by receiving the batch generator generation instruction transmission and completion signal for the batch generator 400.
  • test module 200 transmits an instruction for confirming the performance of the classification apparatus 100 in the current state and receives the state information of the classification apparatus 100 from the testing module 200.
  • the tagged image database 600 is a database for storing tagged images. As described above, the tagged image is composed of a first tagged image having a first tag indicating lesion presence and pathological diagnosis information, and a second tagged image having a first tag and a second tag indicating position information of the lesion. do.
  • system 100 may include an untagged image database that stores an image without tag information used in classifier variable learning.
  • a learning process performed in the system 1000 having such a configuration will be described in more detail with reference to FIG. 4.
  • FIG. 4 is a diagram for describing a process of learning a feature extraction variable of the feature extraction unit 10 of the classification apparatus 100 by the learning module 300.
  • batch data which is a bundle of input images input to the feature extractor 10, which are generated by the batch generator 400 by tagged images stored in the tagged image database 600 as described above. It is input to the extraction part 10.
  • the learning of the feature extractor 10 is performed by the second tagged image, wherein the second tagged image includes a first tag indicating the presence of the lesion and pathological diagnosis information, and a second tag indicating the location information of the lesion. Speak tagged video having both.
  • FIG. 4 shows a bundle of positive images among the second tagged images, and (b) shows a bundle of negative images.
  • a circle indicates a location of a lesion, and these images have location information of the corresponding lesion as a tag in the form of, for example, an (x, y) coordinate value.
  • the solid line and the dotted line rectangle denote patch images separated in pieces from each image, and the solid line line means negative and the dotted line line means positive.
  • FIG. 4A is a positive image, but among these, the patch image may be positive or negative.
  • FIG. 4 when there are n + m total patch images, there are n positive patch images and k negative patch images in FIG. 4 (a), and mk negative patch images in FIG. 4 (b) and positive patch images. Is zero.
  • each patch image may be different from each other, and the shape may also be various shapes such as a rectangle or a square.
  • the learning module 300 separates the patch images into learning data and verification data.
  • the training data is data used directly for learning
  • the validation data is data for verifying whether learning has been properly performed.
  • the learning module 300 extracts the feature by repeatedly performing the process of adjusting the feature extraction variable and the classification variable to minimize the cost function for the training data until the point at which the cost function for the validation data is minimized. A feature extraction variable of the unit 10 is learned.
  • the feature extraction variable refers to a variable for extracting feature data, which may be configured as follows.
  • the input image X when the input image X is composed of k-by-k pixels, the input image X may be expressed as a k 2 -dimensional vector as follows.
  • X (x_11, x_12,..., x_1k, x_21, x_22,..., x_2k,..., x_k1, x_k2,..., x_kk)
  • each element x_ij constituting X represents an (i, j) th pixel value
  • i, j is an integer having a value from 1 to k.
  • k denotes a dimension of the input image.
  • the input image is assumed to be a square image.
  • the feature extraction function f_feature may be expressed as follows.
  • the feature extraction function f_feature is a function expressed as a linear combination of each component x_ij of the input vector X and each component pf_ij of the feature extraction variable P_feature.
  • the feature extraction function f_feature actually used may be represented by a combination of linear and nonlinear functions reflecting the complexity of the algorithm.
  • the classification variable refers to a variable for outputting a classification result.
  • a feature extracted from the input image X is assumed to be an m-dimensional vector
  • the classification function f_classification may be expressed as follows.
  • classification result f_classification (feature, P_classification)
  • classification function f_classification is a function expressed as a linear combination of each component of the input feature vector and each component of the classification variable P_classification.
  • classification result f_classification (feature, P_classification)
  • the classification function (f_classification) actually used may be expressed as a combination of linear and nonlinear functions reflecting the complexity of the algorithm.
  • the learning module 300 learns the feature extraction variable and the classification variable as follows.
  • the learning module 300 sets initial values of the feature extraction variable and the classification variable as follows.
  • P_feature means a feature extraction variable and P_feature_init refers to an initial value of the feature extraction variable.
  • P_classfication means a classification variable
  • P_classification_init means an initial value of the classification variable
  • classification result f_classification (feature, P_classification)
  • f_feature refers to a function for outputting feature data when P_feature is a feature extraction variable from a given input image X
  • feature refers to feature data output by the function
  • f_classification means a function for outputting a classification result by the calculated feature data and a classification variable
  • a classification result means a classification result output by the function
  • the learning module 300 may define a cost function from the classification result predicted from the input image and the pathological reading result (tag) of the input image, and the feature extraction variable and the classification variable learned to date. Calculate the cost from The calculated cost means a quantified prediction error of the feature extraction and classification variables learned so far, and the lower the cost, the higher the accuracy of prediction.
  • the cost function quantifies the error by comparing the result of the result generated based on the current variables, that is, the feature extraction variable and the classification variable, with the values of the actual information (true label, first and second tag information). As a function, it can be expressed as cost (classification result, true label). The result returned by this cost function is the cost.
  • the classification result estimated from the variables learned so far is the probability that the input is positive (0: negative, 1: positive), and the classification result is output as a probability value between 0 and 1, which is close to 1. More positive), and the cost can be derived by quantifying the difference from a true label having a value of 0 or 1.
  • the learning module 300 calculates a change amount of the variable based on the current variable (delta_P_feature, delta_P_classification) so as to minimize the cost calculated by the cost function, and calculates the variable, that is, the feature extraction variable and the classification variable.
  • Each update is made as follows.
  • the process returns to the process of calculating the feature data and the classification result and repeats the subsequent process until a point at which the cost calculated by the cost function for the data for verification not used for learning is minimized at regular intervals.
  • the classification apparatus 100 may learn a feature extraction variable for extracting feature data in a form that is easy to classify, and a classification variable for classifying the extracted feature data well. It is learned.
  • the learning of the classification variable is for learning the feature extraction variable, the vector classification unit 30 to be described later to ignore the classification variable learned in the step to learn a new classification variable.
  • FIG. 5 is a diagram for describing a process of learning the feature vector converter 20 by the learning module 300.
  • the learning module 300 generates a plurality of (K) patch images for each of the input images and inputs the patch images to the feature extractor 10 to extract feature data for each patch image.
  • the feature data of the input image is generated using the feature data of the patch images.
  • the feature extractor 10 is in a state in which learning is completed through the process described with reference to FIG. 4.
  • the number of patch images for the input images does not need to be the same.
  • 10 patch images may be formed for the image A
  • 20 patch images may be formed for the image B.
  • the feature vector converter 20 learns the statistical characteristics of the input data itself excluding the tag information
  • the input vector here is one of a first tagged image, a second tagged image, and an image without tag information. You may use either. That is, the transform variable of the feature vector converter 20 may be learned by any one of a first tagged image, a second tagged image, and an image without tag information.
  • the feature extractor 10 may generate patches according to the feature extraction parameters learned through the process described with reference to FIG. 4. Extract feature data about the image and output it. This is ⁇ imgA_f1, imgA_f2,... , imgA_f10 ⁇ .
  • f1 means feature data for each patch image.
  • the feature extractor 10 extracts and outputs feature data for each patch image, which is ⁇ imgB_f1, imgB_f2,... , imgB_f10,... , imgB_f20 ⁇ .
  • the learning module 300 trains the transformation variable so that the feature vector converter 20 can convert the K feature data extracted for each image into a L-dimensional vector having a fixed length.
  • the process of learning the transformation variable may use a method known in the art, for example, the following method.
  • f_new when the new input feature data f_new follows the respective Gaussian function (quantized weight), f_new can be expressed as L weights, and the number of K constituting one input image can be expressed. K L-dimensional vectors may be generated for K feature data extracted from a patch image.
  • the above example is an example of extracting a single vector of a fixed dimension by reflecting the statistical characteristics of the input data from a plurality of input data, and simultaneously generating a single vector of the fixed dimension while reflecting the statistical characteristics of the input data.
  • all other types of learning methods can be used.
  • FIG. 6 is a diagram for describing a process of learning the vector classifier 30 by the learning module 300.
  • the learning module 300 obtains feature data by inputting a plurality (K) patch images from the input image to the feature extractor 10 and obtains the feature data through the feature vector converter 20.
  • the feature extraction unit 10 and the feature vector converter 20 are in a state in which the feature extraction variable and the transformation variable are learned through the process described with reference to FIGS. 4 and 5.
  • the feature vector converter 20 outputs a fixed length feature vector as described above, and the learning module 300 classifies the feature vector having the fixed length into the vector classifier 30. Train variables
  • the learning process of the classification variable may use the same method as described with reference to FIG. 4.
  • the input images are separated into training data and verification data, and the process of adjusting the classification variable to minimize the cost function for the training data is repeated.
  • the classification variable can be learned by repeatedly performing it to the minimum point.
  • the classifying variable used for outputting the pathological diagnosis result in the vector classifying unit 30 is adjusted and learned, thereby terminating the learning process of the classifying apparatus 100.
  • FIG. 7 is a diagram for describing a process of outputting a pathological diagnosis classification result for an input image by the classification apparatus 100 in which a learning process is completed.
  • the input image is divided into K patch images and input to the feature extractor 10 as described above.
  • the feature extractor 10 extracts feature data by the learned feature extracting variable as described above.
  • the extracted feature data is input to the feature vector converter 20.
  • the feature data is extracted for each patch image and configured as a set of K feature data for each input image.
  • the feature vector converter 20 converts the K feature data for each input image into a fixed-length feature vector based on the learned transformation variable.
  • the fixed length feature vector is input to the vector classifier 30, and the vector classifier 30 classifies the input fixed length feature vector by a classification variable and outputs a pathological diagnosis classification result.
  • the pathological diagnosis classification result may be given as a probability value.
  • a single input image may be divided into a plurality of patch images, classified based on the same, and the pathological diagnosis classification result of one input image may be output.
  • the pathological diagnosis classification result at this time may be the presence or absence of lesions and pathological diagnosis information, that is, information corresponding to the first tag.
  • the pathological diagnosis classification result of the patch image may be output and the location information of the lesion may be estimated based on the result. do.
  • the second tag information can be obtained.
  • FIG 8 is an exemplary screen for explaining an example of operations of the classification apparatus 100 and the system 1000 according to the present invention.
  • FIG. 8A illustrates a medical image input to the classification apparatus 100 as a mammogram.
  • the classification apparatus 100 When such an image is input to the classification apparatus 100, the classification apparatus 100 generates a plurality of patch images as described above and inputs them to the feature extractor 10.
  • FIG. 8B illustrates an example in which a patch image is divided and generated, and illustrates a case in which a patch image is generated in a Z shape.
  • the feature extractor 10 extracts the feature data for each patch as described above, and the vector converter 20 generates a feature vector having a fixed length therefor, transmits it to the vector classifier 30, and the vector classifier 30. ) Generates a classification result for the feature vector as a probability value.
  • FIG. 8 (c) shows the classification result indicated by the probability value for the patch, and it can be seen that the result value for each patch image is displayed in the range of 0 to 1.

Abstract

본 발명은 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템에 관한 것으로서, 입력 영상에 대한 특징 데이터를 특징 추출 변수에 의해 추출하는 특징 추출부; 상기 추출된 특징 데이터를 벡터 변환 변수에 의해 특징 벡터로 변환하는 특징 벡터 변환부; 및 상기 특징 벡터를 분류 변수에 의해 분류하여 입력 영상에 대한 병리 진단 분류 결과를 출력하는 벡터 분류부를 포함하고, 상기 특징 추출부, 특징 벡터 변환부 및 벡터 분류부는, 병변 유무 및 병리 진단 정보를 나타내는 제1 태그를 갖는 제1 태그드 영상과 제1 태그와 병변의 위치 정보를 나타내는 제2 태그를 함께 갖는 제2 태그드 영상과 태그 정보가 없는 영상에 의해 학습되는 것을 특징으로 하는 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템을 제공한다.

Description

의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템
본 발명은 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템에 관한 것으로서, 보다 상세하게는 머쉰-러닝(machine-learning)에 기초한 학습(learning)을 통해 의료 영상을 효율적으로 분류하고 병리 진단을 수행할 수 있는 장치 및 시스템에 관한 것이다.
병리학(pathology)이란, 조직 샘플을 육안이나 현미경을 통해 검사하고 이를 분석하여 이상 여부를 판별하는 의학의 분야이다. 예컨대, 암 진단 여부를 위해서는 해당 의심 조직의 조직 샘플을 현미경을 통해 병리학과 의사가 검사하고 암 세포의 존재 여부를 판단함으로써 암 진단을 내리게 된다. 이를 병리 진단이라고 하며, 이러한 병리 진단은 환자의 의심 병변에 대한 진단의 확정 절차로서 진단의 최종 단계라고 할 수 있다.
이러한 병리학적 진단을 컴퓨터 등의 장비에 의해 자동적으로 수행하기 위해서는, 입력되는 쿼리 영상을 비교 분석할 기존의 영상 및 그에 해당하는 병리 진단결과가 데이터베이스화된 영상 및 병리 진단 데이터가 필요하다.
분석 대상이 될 데이터베이스는, 정상 영상/이상 영상들과, 병변이 존재하는지의 여부, 병변의 병리 진단 결과와 해당 병변이 존재하는 위치에 대한 정보가 포함된 의료 영상을 저장해두어야 하며, 이것들과 입력되는 쿼리 영상에 대한 비교 분석을 수행해야 한다. 이러한 병변 존재 유무, 병변의 병리 진단 결과 및 위치 정보를 태그(tag) 정보라고 할 수 있는데, 비교 분석 대상이 될 데이터베이스는 이러한 태그 정보가 포함된 영상이 많으면 많을수록 보다 신뢰성을 가지게 될 것이다. 특히, 이러한 태그 정보가 포함된 영상을 이용하여 예컨대 머쉰-러닝(machine learning) 등과 같은 기술을 활용하여 방대한 양의 데이터로부터 학습을 수행하도록 하여 예측에 최적화된 정보만을 항상 유지하도록 하면 보다 정확한 결과를 예측해 낼 수 있다.
그러나, 종래의 기술로서는 이와 같이 의료 영상 분야에서 머쉰-러닝 등과 같은 학습 기술을 사용하여 의료 영상에 대한 분석 및 진단을 효율적으로 수행하여 병변의 병리 진단 결과를 예측할 수 있는 기술이 아직 제안되어 있지 않은 실정이다.
또한, 기존의 의료 시설에서 사용되는 각종 의료 영상들은 데이터베이스화되어 있지 않거나 체계화되어 있지 않은 경우가 많다. 특히, 영상 자체는 존재하더라도 해당 영상에 병변이 존재하는지의 여부, 병변의 병리 진단 결과와 병변의 위치에 대한 정보 즉, 태그 정보가 없는 경우가 대부분이다. 또한, 태그 정보가 존재하는 경우라도 병변의 위치 정보 없이 병변이 존재하는지의 여부 또는 해당 병변의 병리 진단 결과만을 나타내는 태그 정보만 존재하는 경우가 많아서 신뢰성 있는 데이터베이스를 구축하는데는 많은 어려움이 있다.
본 발명은 상기한 바와 같은 문제점을 해결하기 위한 것으로서, 의료 영상 분석을 위해 머쉰 러닝(machine learning)에 기반하여 효율적으로 학습되는 의료 영상의 병리 진단 분류 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 적은 양의 병변의 위치 정보와 상대적으로 많은 양의 병변 유무 정보 및 병변의 병리 진단 결과를 병행하여 활용함으로써 학습 효율과 신뢰성을 높일 수 있는 의료 영상의 병리 진단 분류 장치를 제공하는 것을 또 다른 목적으로 한다.
또한, 본 발명은 상기한 바와 같은 병리 진단 분류 장치를 이용하여 병리 진단을 수행할 수 있는 병리 진단 시스템을 제공하는 것을 또 다른 목적으로 한다.
본 발명은 의료 영상의 병리 진단 분류 장치에 있어서, 입력 영상에 대한 특징 데이터를 특징 추출 변수에 의해 추출하는 특징 추출부; 상기 추출된 특징 데이터를 벡터 변환 변수에 의해 특징 벡터로 변환하는 특징 벡터 변환부; 및 상기 특징 벡터를 분류 변수에 의해 분류하여 입력 영상에 대한 병리 진단 분류 결과를 출력하는 벡터 분류부를 포함하고, 상기 특징 추출부, 특징 벡터 변환부 및 벡터 분류부는, 병변 유무 및 병리 진단 정보를 나타내는 제1 태그를 갖는 제1 태그드 영상과 제1 태그와 병변의 위치 정보를 나타내는 제2 태그를 함께 갖는 제2 태그드 영상과 태그 정보가 없는 영상에 의해 학습되는 것을 특징으로 하는 의료 영상의 병리 진단 분류 장치를 제공한다.
여기에서, 상기 특징 추출 변수는, 제2 태그드 영상에 의해 학습되고, 상기 변환 변수는, 제1 태그드 영상, 제2 태그드 영상 및 태그 정보가 없는 영상 중 적어도 하나에 의해 학습되고, 상기 분류 변수는, 제1 태그드 영상 및 제2 태그드 영상 중 적어도 하나에 의해 학습되는 것이 바람직하다.
또한, 상기 학습 모듈은, 상기 특징 추출부로 입력되는 입력 영상들의 부분 영상인 패치 영상을 형성하고, 상기 패치 영상들을 학습용 데이터와 검증용 데이터로 분리하고, 학습용 데이터에 대해서 비용 함수를 최소화하도록 특징 추출 변수 및 분류 변수를 조절하는 과정을 검증용 데이터에 대한 비용 함수가 최소로 되는 시점까지 반복 수행함으로써 특징 추출부의 특징 추출 변수를 조절하도록 구성할 수도 있다.
또한, 상기 학습 모듈은, 특징 추출 변수 및 분류 변수의 초기값을 설정하고, 현재의 특징 추출 변수 및 분류 변수에 기초한 특징 데이터와 분류 결과를 계산하는 제1 과정과, 비용 함수에 의해 특징 추출 변수 및 분류 변수에 대한 각각의 비용을 계산하는 제2 과정과, 상기 비용을 최소화할 수 있도록 특징 추출 변수 및 분류 변수의 변화량을 계산하여 기존 특징 추출 변수 및 분류 변수와의 차를 계산하여 특징 추출 변수 및 분류 변수를 갱신하는 제3과정을 반복 수행함으로써 특징 추출 변수 및 분류 변수를 조절하도록 구성할 수 있다.
또한, 상기 학습 모듈은, 입력 영상에 대한 복수개의 패치 영상을 상기 특징 추출부에 입력시켜 복수개의 특징 데이터를 추출하고, 상기 특징 데이터를 고정된 길이의 특징 벡터로 변환하기 위한 변환 변수를 추정함으로써 특징 벡터 변환부를 학습시키도록 할 수도 있다.
또한, 상기 학습 모듈은, 입력 영상들의 부분 영상인 패치 영상을 형성하고, 상기 패치 영상들을 학습용 데이터와 검증용 데이터로 분리하고, 학습용 데이터에 대해서 비용 함수를 최소화하도록 분류 변수를 조절하는 과정을 검증용 데이터에 대한 비용 함수가 최소로 되는 시점까지 반복 수행함으로써 벡터 분류부의 분류 변수를 조절하는 것이 바람직하다.
또한, 상기 학습 모듈은, 분류 변수의 초기값을 설정하고, 현재의 분류 변수에 기초한 분류 결과를 계산하는 제1 과정과, 비용 함수에 의해 분류 변수에 대한 각각의 비용을 계산하는 제2 과정과, 상기 비용을 최소화할 수 있도록 분류 변수의 변화량을 계산하여 기존 분류 변수와의 차를 계산하여 분류 변수를 갱신하는 제3과정을 반복 수행함으로써 분류 변수를 조절하는 것이 바람직하다.
또한, 상기 특징 추출부는 입력 영상에 대해 복수개로 분할된 패치 영상을 입력받아 각각의 패치 영상에 대한 특징 데이터를 특징 추출 변수에 의해 추출하고, 상기 특징 벡터 변환부는 상기 패치 영상에 대한 특징 데이터를 변환 변수에 의해 고정 길이의 특징 벡터로 변환하고, 상기 벡터 분류부는 상기 고정 길이의 특징 벡터를 분류 변수에 의해 분류하여 입력 영상에 대한 병리 진단 분류 결과를 출력하는 것이 바람직하다.
본 발명의 다른 측면에 의하면, 상기한 바와 같은 의료 영상의 병리 진단 분류 장치; 입력 영상에 대해 상기 의료 영상의 병리 진단 분류 장치로부터 출력되는 병리 진단 결과에 기초하여 입력 영상에 대한 최종 분석 정보를 출력하는 테스팅 모듈; 태그드 영상 데이터베이스에 저장된 태그드 영상에 기초하여 분류 장치를 학습시키는 학습 모듈; 및 병변 유무 및 병리 진단 정보를 나타내는 제1 태그를 갖는 제1 태그드 영상과 제1 태그와 병변의 위치 정보를 나타내는 제2 태그를 함께 갖는 제2 태그드 영상으로 구성된 태그드 영상을 저장하는 태그드 영상 데이터베이스를 포함하는 병리 진단 시스템을 제공한다.
본 발명에 의하면, 의료 영상 분석을 위해 머쉰 러닝(machine learning)에 기반하여 효율적으로 학습되는 의료 영상의 병리 진단 분류 장치를 제공할 수 있다.
또한, 본 발명은 적은 양의 병변의 위치 정보와 상대적으로 많은 양의 병변 유무 정보 및 병변의 병리 진단 결과를 병행하여 활용함으로써 학습 효율과 신뢰성을 높일 수 있는 의료 영상의 병리 진단 분류 장치를 제공할 수 있다.
또한, 본 발명은 상기한 바와 같은 병리 진단 분류 장치를 이용하여 병리 진단을 수행할 수 있는 병리 진단 시스템을 제공할 수 있다.
도 1은 본 발명에 의한 의료 영상의 병리 진단 분류 장치(100)의 구성을 나타낸 도면이다.
도 2는 본 발명에서 사용되는 태그를 설명하기 위한 도면이다.
도 3은 본 발명에 의한 분류 장치(100)를 포함하는 병리 진단 시스템(1000)의 전체적인 구성을 나타낸 도면이다.
도 4는 학습 모듈(300)에 의해 분류 장치(100)의 특징 추출부(10)의 특징 추출 변수를 학습하는 과정을 설명하기 위한 도면이다.
도 5는 학습 모듈(300)에 의해 특징 벡터 변환부(20)가 학습되는 과정을 설명하기 위한 도면이다.
도 6은 학습 모듈(300)에 의해 벡터 분류부(30)가 학습되는 과정을 설명하기 위한 도면이다.
도 7은 학습 과정이 완료된 분류 장치(100)에 의해 입력 영상에 대한 병리 진단 분류 결과를 출력하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명에 의한 분류 장치(100) 및 시스템(1000)의 동작의 일예를 설명하기 위한 예시 화면이다.
이하, 첨부 도면을 참조하여 본 발명에 의한 실시예를 상세하게 설명하기로 한다.
도 1은 본 발명에 의한 의료 영상의 병리 진단 분류 장치(100)의 구성을 나타낸 도면이다.
도 1을 참조하면, 의료 영상의 병리 진단 분류 장치(100, 이하 간단히 "분류 장치(classifier,100)"라 한다)는, 특징 추출부(10), 특징 벡터 변환부(20) 및 벡터 분류부(30)를 포함한다.
특징 추출부(10)는, 입력 영상에 대한 특징 데이터를 특징 추출 변수에 의해 추출하고, 특징 벡터 변환부(20)는 상기 특징 추출부(10)에 의해 추출된 특징 데이터를 변환 변수에 의해 특징 벡터로 변환하며, 벡터 분류부(30)는 상기 특징 벡터 변환부(20)에서 변환된 특징 벡터를 분류 변수에 의해 분류하여 입력 영상에 대한 병리 진단 분류 결과를 출력하는 기능을 각각 수행한다.
여기에서 특징 추출 변수는 입력 영상에 대한 특징(feature)을 추출(extract)하기 위해 사용되는 변수(variables)를 의미하며, 변환 변수는 특징 데이터를 특징 벡터로 변환할 때 사용되는 변수를 말한다. 또한, 분류 변수는 특징 벡터를 분류하기 위해 사용되는 변수를 말한다.
이러한 분류 장치(100)는 학습 모듈(도 3 참조)에 의해 학습(learning)되면서 입력되는 의료 영상에 대한 병리 진단 분류 결과를 출력하는 것을 특징으로 한다. 여기서 병리 진단 분류 결과는 확률값으로 출력될 수 있다.
특히, 본 발명에 의한 분류 장치(100)의 특징 추출부(10), 특징 벡터 변환부(20) 및 벡터 분류부(30)는 병변 유무 및 병리 진단 정보를 나타내는 제1 태그(tag)를 갖는 제1 태그드 영상과 제1 태그와 병변의 위치 정보를 나타내는 제2 태그를 함께 갖는 제2 태그드 영상과 태그 정보를 갖지 않는 일반적인 의료 영상에 의해 학습이 이루어진다는 것을 특징으로 한다.
구체적으로는, 특징 추출부(10)에서 사용되는 특징 추출 변수는 제2 태그드 영상에 의해 학습되고, 특징 벡터 변환부(20)에서 사용되는 벡터 변환 변수는 태그 정보를 배제한 입력 영상 자체의 특성을 바탕으로 학습되기 때문에 태그 정보 유무와 상관없이 모든 의료 영상(즉, 제1 태그드 영상, 제2 태그드 영상 및 태그 정보가 없는 영상 중 적어도 하나)에 의해 학습되고, 벡터 분류부(30)에서 사용되는 분류 변수는 제1 태그드 영상과 제2 태그드 영상 중 적어도 어느 하나에 의해 학습되는 것을 특징으로 한다.
도 2는 본 발명에서 사용되는 태그를 설명하기 위한 도면이다.
도 2는 유방 X-선 촬영 영상으로서, 흰색 사각형으로 나타낸 부분이 암세포 조직(병변)을 나타낸다. 이 때, 도 2의 영상에 대한 태그가 "유방암"만이 추가되어 있는 경우 이는 병변 유무 및 병리 진단 정보를 나타내기 때문에 제1 태그라고 하고 이러한 제1 태그가 부착된 영상이 제1 태그드 영상이다.
한편, 도 2의 영상에 대한 태그가 "유방암", "(x,y) 좌표값"이 부착되어 있는 경우 이는 병변 유무 및 병리 진단 정보와 함께 병변의 위치 정보(도 2에서 흰색 사각형의 좌표 값)까지 포함되어 있는 경우 제2 태그를 포함하기 때문에 이는 제2 태그드 영상이라고 한다.
학습 수행시 보다 높은 신뢰성을 갖기 위해서는 많은 양의 데이터가 필요한데 특히 병변의 위치 정보까지 포함되어 있는 제2 태그드 영상이 많을수록 학습의 효율이 높아지게 될 것이다. 그러나, 실제 태그 정보가 없거나 병변의 유무나 진단 정보만을 갖는 제1 태그드 영상인 경우가 대부분이고 병변의 위치 정보인 제2 태그 정보까지 갖는 제2 태그드 영상은 매우 제한적이어서 학습의 신뢰도를 저하시키는 요인이 되고 있다.
따라서, 본 발명의 분류 장치(100)는 제한된 숫자의 제2 태그드 영상과 상대적으로 많은 양의 제1 태그드 영상 및 태그 정보가 없는 영상을 학습시 사용되는 각 단계에서의 변수마다 적절하게 이용하여 보다 효율적으로 또한 신뢰성있게 학습을 수행할 수 있도록 하는 것을 특징으로 한다.
도 3은 본 발명에 의한 분류 장치(100)를 포함하는 병리 진단 시스템(1000)의 전체적인 구성을 나타낸 도면이다.
도 3을 참조하면, 병리 진단 시스템(1000, 이하 간단히 "시스템(1000)"이라 한다)은 분류 장치(100), 테스팅 모듈(200), 학습 모듈(300), 배치 생성기(400), 모니터링 에이전트(500) 및 태그드 영상 데이터베이스(600)를 포함한다.
분류 장치(100)는 전술한 바와 같이 입력 영상에 대한 특징 데이터를 추출하고 이를 특징 벡터로 변환한 후 특징 벡터를 분류함으로써 입력 영상에 대한 병리 진단 결과를 분류하는 동작을 수행한다.
테스팅 모듈(200)은 입력 영상을 수신하고 이를 분류 장치(100)에 의해 분류함으로써 병리 진단 결과를 출력받고, 이에 기초하여 입력 영상에 대한 최종적인 분석 정보(diagnosis result)를 출력하는 수단이다. 도시하지는 않았으나 테스팅 모듈(200)은 입력 영상을 시스템(1000)에서 사용할 수 있는 형태로 구조화하기 위한 전처리(pre-processing) 작업을 수행하는 전처리부를 포함할 수 있다.
분류 장치(100)는 입력 영상에 대한 병리 진단 분류 결과를 출력하는데 분류 결과는 병변의 유무를 나타내는 병변 유무 정보 및 병변의 병리 진단 결과 정보이거나 이들 정보와 함께 병변의 위치를 나타내는 병변 위치 정보를 확률값으로 출력할 수 있다. 테스팅 모듈(200)은 이러한 분류 결과를 전달받아 분류 결과와 관련된 기타 분석 정보를 생성, 처리 및 가공하여 입력 영상에 대한 최종 분석 결과를 생성한다.
여기에서, 기타 분석 정보는 입력 영상에 대한 병변 위치의 갯수, 병변 위치의 갯수를 고려한 최종 병리 진단 결과를 포함하는 종합적인 진단 정보(이상 여부 등)를 포함할 수 있다. 또한, 분류 장치(100)에서 출력되는 병변의 확률값에 기초하여 최종 병리 진단 결과 정보를 확률값으로 나타내어 이를 기타 분석 정보에 포함시킬 수도 있다.
학습 모듈(300)은 태그드 영상 데이터베이스(600)에 저장된 태그드 영상에 기초하여 분류 장치(100)를 학습시키기 위한 모듈이다. 학습 모듈(300)은 후술하는 배치 생성기(400)에서 생성된 배치 데이터를 입력받아서 이에 의해 분류 장치(100)를 학습시킨다. 학습 모듈(300)이 분류 장치(100)를 학습시키는 과정은 도 4 이하를 참조하여 구체적으로 설명하기로 한다.
한편, 배치 생성기(batch generator, 400)는 태그드 영상 데이터베이스(600)에 저장된 태그드 영상들의 묶음(영상 및 해당 영상의 태그 정보를 포함)인 배치 데이터를 생성하고 이를 학습 모듈(300)로 전송함으로써 분류 장치(100)를 상기 배치 데이터에 의해 학습할 수 있도록 하는 기능을 담당한다.
모니터링 에이전트(500)는 시스템(1000)의 각 구성 요소들의 동작을 모니터링하고 이들의 전체적인 동작을 제어한다.
모니터링 에이전트(500)는 학습 모듈(300)과 관련하여 학습 모듈(300) 및 분류 장치(100)의 동작을 모니터링하면서, 학습 시작 시점 및 종료 시점을 결정하고, 재학습 시작 시점 및 종료 시점을 결정하고, 현재 학습 상태 정보도 학습 모듈(300)로부터 수신한다.
또한, 배치 생성기(400)에 대해서 배치 데이터의 생성 지시 송신 및 완료 신호를 수신함으로써 배치 생성기(400)의 동작을 제어한다.
또한, 테스팅 모듈(200)이 현재 상태의 분류 장치(100)의 성능을 확인하도록 하는 지시를 전송하고 테스팅 모듈(200)로부터 분류 장치(100)의 상태 정보를 수신한다.
태그드 영상 데이터베이스(600)는 태그드(tagged) 영상을 저장하는 데이터베이스이다. 전술한 바와 같이 태그드 영상은 병변 유무 및 병리 진단 정보를 나타내는 제1 태그를 갖는 제1 태그드 영상과 제1 태그와 병변의 위치 정보를 나타내는 제2 태그를 함께 갖는 제2 태그드 영상으로 구성된다.
한편, 도시하지는 않았으나, 시스템(100)은 분류 변수 학습시에 사용되는 태그 정보가 없는 영상을 저장하는 언태그드 영상 데이터베이스를 포함할 수 있다.
이러한 구성의 시스템(1000)에서 이루어지는 학습 과정에 대해 도 4 이하를 참조하여 보다 상세하게 설명하기로 한다.
도 4는 학습 모듈(300)에 의해 분류 장치(100)의 특징 추출부(10)의 특징 추출 변수를 학습하는 과정을 설명하기 위한 도면이다.
도 4는 특징 추출부(10)로 입력되는 입력 영상들의 묶음인 배치 데이터를 나타낸 것으로서 이들은 전술한 바와 같이 태그드 영상 데이터베이스(600)에 저장된 태그드 영상에 의해 배치 생성기(400)에서 생성되어 특징 추출부(10)로 입력된다.
전술한 바와 같이, 특징 추출부(10)의 학습은 제2 태그드 영상에 의해 수행되는데 제2 태그드 영상은 병변 유무 및 병리 진단 정보를 나타내는 제1 태그와 병변의 위치 정보를 나타내는 제2 태그를 모두 갖는 태그드 영상을 말한다.
도 4의 (a)는 이러한 제2 태그드 영상 중에서 양성인 영상의 묶음이고, (b)는 음성인 영상의 묶음을 나타낸다.
도 4의 (a)에서 원은 병변의 위치를 나타내며 이들 영상들은 해당 병변의 위치 정보를 예컨대 (x,y) 좌표값의 형태로 태그로서 가지고 있다.
또한, 도 4에서 실선 및 점선 사각형은 각각의 영상에서 조각 형태로 분리된 패치(patch) 영상을 의미하는데 실선 사각형은 음성을 의미하며 점선 사각형은 양성을 의미한다.
도 4의 (a)는 양성인 영상이지만 이들 중에서 패치 영상은 양성 또는 음성일 수 있다. 도 4에서 전체 패치 영상이 n+m개라 할 때 도 4의 (a)에서 양성 패치 영상은 n개이고 음성 패치 영상은 k개이며, 도 4의 (b)에서 음성 패치 영상은 m-k개이고 양성 패치 영상은 0개이다.
여기에서 각각의 패치 영상들의 크기는 서로 다를 수 있으며, 형태 또한 예컨대 직사각형 또는 정사각형 등과 같이 다양한 형태가 가능하다.
이러한 n+m개의 패치 영상들을 특징 추출부(10)에 입력하면서 학습을 수행하는데 이는 다음과 같은 과정을 통해 이루어진다.
우선, 학습 모듈(300)은 상기 패치 영상들을 학습용 데이터와 검증용 데이터로 분리한다. 학습용 데이터는 학습에 직접적으로 사용되는 데이터이고 검증용 데이터는 학습이 제대로 이루어졌는지를 검증하기 위한 데이터이다.
그리고, 학습 모듈(300)은 학습용 데이터에 대해서 비용 함수(cost function)를 최소화하도록 특징 추출 변수 및 분류 변수를 조절하는 과정을 검증용 데이터에 대한 비용 함수가 최소로 되는 시점까지 반복 수행함으로써 특징 추출부(10)의 특징 추출 변수를 학습시킨다.
여기에서, 특징 추출 변수라 함은, 특징 데이터를 추출하기 위한 변수(variable)를 의미하는데, 이는 다음과 같이 구성될 수 있다.
예를 들어, 입력 영상 X가 k-by-k 픽셀(pixel)로 구성될 경우, 입력 영상 X는 다음과 같은 k2-차원의 벡터로 표현할 수 있다.
X = (x_11,x_12,…,x_1k,x_21,x_22,…,x_2k,…,x_k1,x_k2,…,x_kk)
이 때, X를 구성하는 각 요소 x_ij는 (i,j) 번째 픽셀값을 의미하며, i,j 는 1~k까지의 값을 갖는 정수이다. k는 입력 영상의 차원(dimension)을 의미하는데, 본 수식에서는 편의상 입력 영상은 정사각형 영상으로 가정하였다.
앞서 정의한 입력 영상으로부터 특징(feature)을 추출해주는 변수인 특징 추출 변수를 P_feature라고 할 때, 특징 추출 함수(f_feature)는 다음과 같이 표현될 수 있다.
feature = f_feature(X, P_feature)
예를 들어, 특징 추출 함수(f_feature)가 입력 벡터 X의 각 구성 성분 x_ij들과 특징 추출 변수(P_feature)의 각 구성 성분들(pf_ij)과의 선형 조합으로 표현되는 함수라고 가정할 경우,
feature = f_feature(X, P_feature)
= pf_11*x_11 + pf_12*x_12 + … + pf_kk*x_kk
로 표현할 수 있으며, 실제 사용하는 특징 추출 함수(f_feature)는 알고리즘의 복잡도를 반영한 선형, 비선형 함수의 조합으로 표현될 수 있다.
한편, 분류 변수는 분류 결과를 출력하기 위한 변수를 의미하는데, 예를 들어 입력 영상 X로부터 추출된 특징(feature)을 m-차원의 벡터라고 가정할 경우,
feature = (f_1, f_2, … , f_m)
으로 표현할 수 있고, m-차원의 벡터로부터 분류 결과를 출력하는 변수를 P_classification이라고 할 경우, 분류 함수(f_classification)는 다음과 같이 표현될 수 있다.
classification result = f_classification(feature, P_classification)
예를 들어, 분류 함수(f_classification)이 입력 특징 벡터(feature)의 각 구성 성분과 분류 변수(P_classification)의 각 구성성분과의 선형 조합으로 표현되는 함수라고 가정할 경우,
classification result = f_classification(feature, P_classification)
= pc_1*f_1 + pc_2*f_2 + … + pc_m*f_m
으로 표현할 수 있으며, 실제 사용하는 분류 함수(f_classification)은 알고리즘의 복잡도를 반영한 선형, 비선형 함수의 조합으로 표현될 수 있다.
이러한 특징 추출 변수 및 분류 변수를 학습 모듈(300)이 학습시키는 과정은 다음과 같이 이루어진다.
우선, 학습 모듈(300)은 다음과 같이 특징 추출 변수와 분류 변수의 초기값을 설정한다.
P_feature = P_feature_init
P_classfication = P_classification_init
여기서, P_feature는 특징 추출 변수를 의미하며, P_feature_init은 특징 추출 변수의 초기값을 말한다.
또한, P_classfication은 분류 변수를 의미하며, P_classification_init은 분류 변수의 초기값을 의미한다.
다음으로, 다음과 같이 특징 데이터와 분류 결과를 연산한다.
feature = f_feature(X, P_feature)
classification result = f_classification(feature, P_classification)
여기에서, f_feature는 주어진 입력 영상 X로부터 P_feature를 특징 추출 변수로 할 때 특징 데이터를 출력하기 위한 함수를 의미하고, feature는 상기 함수에 의해 출력되는 특징 데이터를 의미한다.
또한, f_classification은 상기 계산된 특징 데이터 및 분류 변수에 의해 분류 결과를 출력하기 위한 함수를 의미하고, classification result은 상기 함수에 의해 출력되는 분류 결과를 의미한다.
다음으로, 학습 모듈(300)은 입력 영상으로부터 예측된 classification result와 입력 영상에 대한 병리 판독 결과(태그)로부터 비용 함수(cost function)를 정의할 수 있으며, 현재까지 학습된 특징 추출 변수 및 분류 변수로부터 비용(cost)을 계산한다. 계산된 비용은 현재까지 학습된 특징 추출 변수 및 분류 변수의 예측 오류를 정량화한 값을 의미하며, 비용이 낮을수록 예측 정확도가 높아진다.
비용 함수는 현재의 변수 즉, 특징 추출 변수 및 분류 변수를 기준으로 생성된 결과값(result)과 실제 정보(true label, 제1 및 제2 태그 정보)의 값을 비교하여 이들의 오차를 수치화한 함수로서, cost(classification result, true label)로 표현할 수 있다. 이러한 비용 함수에 의해 리턴된 결과값이 비용(cost)이 된다.
이 때, 현재까지 학습된 변수들로부터 추정되는 결과값(classification result)은 해당 입력이 양성일 확률(0: 음성, 1: 양성일 경우, classification result는 0~1 사이의 확률값으로 출력되며, 1에 가까울수록 양성일 확률이 높아짐)을 의미하며, 0 혹은 1의 값을 갖는 true label과의 차이를 정량화하여 비용을 도출할 수 있다.
이러한 비용 함수는 예컨대, 각 입력 영상 X에 대한 classification result (R) 및 true label (L) 로부터 squared_error_cost = (R-L)2 등과 같은 함수를 사용할 수 있으며 종래 기술에 의해 알려져 있는 어떠한 것이라도 그대로 사용할 수 있으므로 이에 대한 상세 설명은 생략한다.
다음으로, 학습 모듈(300)은 비용 함수에 의해 계산된 비용(cost)을 최소화할 수 있도록 현재 변수 기준으로 변수의 변화량을 계산(delta_P_feature, delta_P_classification)하고, 변수 즉, 특징 추출 변수 및 분류 변수를 각각 아래와 같은 방식으로 갱신(update)한다.
P_feature(new) = P_feature(old) - delta_P_feature
P_classification(new)= P_classification(old) - delta_P_classification
이후, 다시 상기 특징 데이터와 분류 결과를 연산하는 과정으로 돌아가서 이후의 과정을, 일정 주기마다 학습에 사용되지 않은 검증용 데이터에 대한 비용 함수에 의해 계산되는 비용(cost)이 최소가 되는 시점까지 반복 수행함으로써 특징 추출 변수 및 분류 변수를 조절한다.
이와 같은 과정을 수행하게 되면, 분류 장치(100)는 분류하기 용이한 형태의 특징 데이터가 추출될 수 있도록 하는 특징 추출 변수가 학습될 것이고 또한 추출된 특징 데이터를 잘 분류할 수 있도록 하는 분류 변수가 학습된다.
한편, 여기에서 분류 변수의 학습은 특징 추출 변수를 학습하기 위한 것으로서, 후술하는 벡터 분류부(30)에서 상기 단계에서 학습된 분류 변수는 무시하고 새로 분류 변수를 학습하게 된다.
다음으로, 도 5를 참조하여 특징 벡터 변환부(20)를 학습시키는 과정에 대해서 설명한다.
도 5는 학습 모듈(300)에 의해 특징 벡터 변환부(20)가 학습되는 과정을 설명하기 위한 도면이다.
우선, 학습 모듈(300)은 입력 영상들 각각에 대해 복수개(K개)의 패치 영상을 분할 생성하고 각각의 패치 영상들을 특징 추출부(10)로 입력시켜서 각각의 패치 영상에 대한 특징 데이터를 추출하고 패치 영상들의 특징 데이터의 집합으로 입력 영상에 대한 특징 데이터를 생성한다. 상기 특징 추출부(10)는 도 4에서 설명한 바와 같은 과정을 통해 학습이 완료된 상태이다.
여기에서, 입력 영상들에 대한 패치 영상의 숫자는 동일할 필요는 없다. 예컨대, 영상 A에 대해서는 10개의 패치 영상을, 영상 B에 대해서는 20개의 패치 영상을 형성할 수 있다.
또한, 특징 벡터 변환부(20)는 태그 정보를 배제한 입력 데이터 자체가 갖는 통계적 특성을 학습하기 때문에, 여기에서의 입력 영상은 제1 태그드 영상, 제2 태그드 영상 및 태그 정보가 없는 영상 중 어느 것을 사용해도 좋다. 즉, 특징 벡터 변환부(20)의 변환 변수는 제1 태그드 영상, 제2 태그드 영상 및 태그 정보가 없는 영상 중 어느 것에 의해서도 학습될 수 있다는 점을 특징으로 한다.
도 5에 나타낸 바와 같이, 영상 A로부터 10개의 패치 영상이 특징 추출부(10)로 입력되면 도 4에서 설명한 바와 같은 과정을 통해 학습된 특징 추출 변수에 의해 특징 추출부(10)는 각각의 패치 영상에 대한 특징 데이터를 추출하여 출력한다. 이는 {imgA_f1, imgA_f2, … , imgA_f10}로 나타낼 수 있다. 여기에서 f1은 각각의 패치 영상에 대한 특징 데이터를 의미한다.
또한, 영상 B로부터 20개의 패치 영상이 특징 추출부(10)로 입력되면 특징 추출부(10)는 각각의 패치 영상에 대한 특징 데이터를 추출하여 출력하고 이는 {imgB_f1, imgB_f2, … , imgB_f10, … , imgB_f20}로 나타낼 수 있다.
학습 모듈(300)은 이와 같이 각각의 영상에 대해 추출되는 K개의 특징 데이터를 특징 벡터 변환부(20)가 고정된 길이의 벡터(L-dimensional vector)로 변환할 수 있도록 변환 변수를 학습시킨다.
변환 변수를 학습시키는 과정은 종래 기술에 의해 알려져 있는 방법을 사용할 수 있는데, 예컨대 다음과 같은 방식을 사용할 수 있다.
임의의 패치 영상으로부터 추출된 m-차원 특징 데이터를 f라고 할 경우, 전체 학습용 영상들로부터 추출된 N개의 패치 영상에 대해 N개의 m-차원 특징 데이터 f1, f2, … , fN이 추출됐다고 가정한다. 이 때, N개의 특징 데이터들이 L개의 가우시안(Gaussian) 함수의 선형 조합을 따른다고 가정할 경우, N개의 특징 데이터들을 가장 잘 표현할 수 있는 L개의 가우시안 함수에 대한 변수들 (변환 변수: L개의 평균값 및 L개의 분산 값)을 추정할 수 있다.
이렇게 추정된 변환 변수들로부터, 새로 들어오는 입력 특징 데이터 f_new가 각각의 가우시안 함수를 따르는 정도(가중치)를 수치화했을 때, f_new를 L개의 가중치값으로 표현할 수 있으며, 하나의 입력영상을 구성하는 K개의 패치 영상으로부터 추출된 K개의 특징 데이터에 대해 K개의 L-차원 벡터를 생성할 수 있다.
추출된 K개의 L-차원 벡터들을 fc_1, fc_2, … , fc_K라고 할 경우, 최종 단일 L-차원 벡터 fc_final = (fc_1 + fc2 + … + fc_K)/K 로 표현할 수 있다.
상기 예는 다수의 입력 데이터들로부터 입력 데이터의 통계적 특성을 반영하여 고정된 차원의 단일 벡터를 추출하는 하나의 예시이며, 입력 데이터의 통계적 특성을 반영함과 동시에 고정된 차원의 단일 벡터를 생성할 수 있는 기타 모든 종류의 학습 방법을 사용할 수도 있음은 물론이다.
이와 같은 과정을 수행하면, 각각의 영상에 대해 고정된 길이의 특징 벡터를 추출하기에 적합한 변환 변수가 추정된다.
도 6은 학습 모듈(300)에 의해 벡터 분류부(30)가 학습되는 과정을 설명하기 위한 도면이다.
도 6을 참조하면, 학습 모듈(300)은 입력 영상으로부터 복수개(K개)의 패치 영상을 특징 추출부(10)로 입력시켜 특징 데이터를 획득하고 이를 특징 벡터 변환부(20)를 통해 특징 벡터로 변환시킨다. 여기서 특징 추출부(10)와 특징 벡터 변환부(20)는 도 4 및 도 5를 참조하여 설명한 바와 같은 과정을 통해 특징 추출 변수 및 변환 변수가 학습되어 있는 상태이다.
특징 벡터 변환부(20)는 전술한 바와 같이 고정된 길이의 특징 벡터(L dimensional vector)를 출력하는데, 학습 모듈(300)은 이 고정 길이의 특징 벡터를 벡터 분류부(30)로 입력시키면서 분류 변수를 학습시킨다.
분류 변수를 학습하는 과정은 도 4에서 설명한 바와 마찬가지 방식을 사용할 수 있다.
즉, 입력 영상들(또는 패치 영상)을 학습용 데이터와 검증용 데이터로 분리하고, 학습용 데이터에 대해서 비용 함수를 최소화하도록 분류 변수를 조절하는 과정을 반복하는데 이 과정을 검증용 데이터에 대한 비용 함수가 최소로 되는 시점까지 반복적으로 수행함으로써 분류 변수를 학습시킬 수 있다.
구체적인 방법은 도 4에서 설명한 바와 마찬가지이므로 상세 설명은 생략한다.
이와 같은 과정을 수행하면, 벡터 분류부(30)에서 병리 진단 결과를 출력하기 위해 사용되는 분류 변수가 조절됨으로써 학습되고 이에 의해 분류 장치(100)의 학습 과정이 종료된다.
도 7은 학습 과정이 완료된 분류 장치(100)에 의해 입력 영상에 대한 병리 진단 분류 결과를 출력하는 과정을 설명하기 위한 도면이다.
도 7을 참조하면, 입력 영상은 전술한 바와 같이 K개의 패치 영상으로 분할되어 특징 추출부(10)로 입력된다.
특징 추출부(10)는 앞서 살펴 본 바와 같이 학습된 특징 추출 변수에 의해 특징 데이터를 추출한다. 추출된 특징 데이터는 특징 벡터 변환부(20)로 입력된다. 전술한 바와 같이 특징 데이터는 각각의 패치 영상에 대해 추출되어 입력 영상별로 K개의 특징 데이터의 집합으로 구성된다.
특징 벡터 변환부(20)는 전술한 바와 같이 입력 영상별 K개의 특징 데이터들을 학습되어 있는 변환 변수에 기초하여 고정 길이의 특징 벡터(L-dimensional vector)로 변환한다.
고정 길이의 특징 벡터는 벡터 분류부(30)로 입력되고 벡터 분류부(30)는 입력되는 고정 길이 특징 벡터를 분류 변수에 의해 분류하고 병리 진단 분류 결과를 출력한다. 여기서 병리 진단 분류 결과는 확률값으로 주어질 수 있다.
이에 의하면, 하나의 입력 영상에 대해서 복수개의 패치 영상으로 분할하고 이를 기초로 분류한 후 하나의 입력 영상에 대한 병리 진단 분류 결과를 출력할 수 있다. 이 때의 병리 진단 분류 결과는 병변의 유무 및 병리 진단 정보 즉, 제1 태그에 해당하는 정보일 수 있다.
한편, K=1인 경우 즉, 하나의 입력 영상에 대해서 패치 영상이 하나인 경우에는 해당 패치 영상에 대한 병리 진단 분류 결과를 출력할 수 있으며 이 결과를 바탕으로 병변의 위치 정보를 추정할 수 있게 된다. 이에 의하여, 병변의 위치 정보를 알 수 있으므로 제2 태그 정보까지 획득할 수 있다.
도 8은 본 발명에 의한 분류 장치(100) 및 시스템(1000)의 동작의 일예를 설명하기 위한 예시 화면이다.
도 8의 (a)는 유방 촬영 영상으로서 분류 장치(100)에 입력되는 의료 영상을 나타낸 것이다. 이러한 영상이 분류 장치(100)로 입력되면, 분류 장치(100)는 전술한 바와 같이 복수개의 패치 영상을 분할 생성하고 이를 특징 추출부(10)로 입력시킨다.
도 8의 (b)는 패치 영상을 분할 생성하는 예를 나타낸 것으로서 패치 영상을 Z자 모양으로 생성하는 경우를 예시적으로 나타낸 것이다.
특징 추출부(10)는 전술한 바와 같이 패치별 특징 데이터를 추출하고 벡터 변환부(20)는 이에 대한 고정 길이의 특징 벡터를 생성하고 이를 벡터 분류부(30)로 전달하고 벡터 분류부(30)는 특징 벡터에 대한 분류 결과를 확률값으로 생성한다.
도 8의 (c)는 확률값으로 표시된 분류 결과를 패치에 대해서 나타낸 것으로서 각각의 패치 영상에 대한 결과값이 0~1의 범위로 표시되어 있음을 알 수 있다.
도 8의 (d)는 패치 영상 별 결과값을 그래프로 나타낸 것으로서 임계값이 0.9로 설정되어 이를 초과하는 (5) 및 (6)의 패치 영상에 대해 병변이 존재하다는 것을 확률에 기반하여 표시하고 있음을 알 수 있다.
이상에서, 본 발명의 바람직한 실시예를 참조하여 본 발명을 설명하였으나 본 발명은 상기 실시예에 한정되지 아니하며 다양한 형태의 수정 및 변형이 가능하다는 점은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 명확히 이해할 수 있을 것이다.

Claims (9)

  1. 의료 영상의 병리 진단 분류 장치에 있어서,
    입력 영상에 대한 특징 데이터를 특징 추출 변수에 의해 추출하는 특징 추출부;
    상기 추출된 특징 데이터를 벡터 변환 변수에 의해 특징 벡터로 변환하는 특징 벡터 변환부; 및
    상기 특징 벡터를 분류 변수에 의해 분류하여 입력 영상에 대한 병리 진단 분류 결과를 출력하는 벡터 분류부
    를 포함하고,
    상기 특징 추출부, 특징 벡터 변환부 및 벡터 분류부는, 병변 유무 및 병리 진단 정보를 나타내는 제1 태그를 갖는 제1 태그드 영상과 제1 태그와 병변의 위치 정보를 나타내는 제2 태그를 함께 갖는 제2 태그드 영상과 태그 정보가 없는 영상에 의해 학습되는 것을 특징으로 하는 의료 영상의 병리 진단 분류 장치.
  2. 제1항에 있어서,
    상기 특징 추출 변수는, 제2 태그드 영상에 의해 학습되고,
    상기 변환 변수는, 제1 태그드 영상, 제2 태그드 영상 및 태그 정보가 없는 영상 중 적어도 하나에 의해 학습되고,
    상기 분류 변수는, 제1 태그드 영상 및 제2 태그드 영상 중 적어도 하나에 의해 학습되는 것을 특징으로 하는 의료 영상의 병리 진단 분류 장치.
  3. 제2항에 있어서,
    상기 학습 모듈은,
    상기 특징 추출부로 입력되는 입력 영상들의 부분 영상인 패치 영상을 형성하고, 상기 패치 영상들을 학습용 데이터와 검증용 데이터로 분리하고,
    학습용 데이터에 대해서 비용 함수를 최소화하도록 특징 추출 변수 및 분류 변수를 조절하는 과정을 검증용 데이터에 대한 비용 함수가 최소로 되는 시점까지 반복 수행함으로써 특징 추출부의 특징 추출 변수를 조절하는 것을 특징으로 하는 의료 영상의 병리 진단 분류 장치.
  4. 제3항에 있어서,
    상기 학습 모듈은, 특징 추출 변수 및 분류 변수의 초기값을 설정하고,
    현재의 특징 추출 변수 및 분류 변수에 기초한 특징 데이터와 분류 결과를 계산하는 제1 과정과, 비용 함수에 의해 특징 추출 변수 및 분류 변수에 대한 각각의 비용을 계산하는 제2 과정과, 상기 비용을 최소화할 수 있도록 특징 추출 변수 및 분류 변수의 변화량을 계산하여 기존 특징 추출 변수 및 분류 변수와의 차를 계산하여 특징 추출 변수 및 분류 변수를 갱신하는 제3과정을 반복 수행함으로써 특징 추출 변수 및 분류 변수를 조절하는 것을 특징으로 하는 의료 영상의 병리 진단 분류 장치.
  5. 제4항에 있어서,
    상기 학습 모듈은,
    입력 영상에 대한 복수개의 패치 영상을 상기 특징 추출부에 입력시켜 복수개의 특징 데이터를 추출하고, 상기 특징 데이터를 고정된 길이의 특징 벡터로 변환하기 위한 변환 변수를 추정함으로써 특징 벡터 변환부를 학습시키는 것을 특징으로 하는 의료 영상의 병리 진단 분류 장치.
  6. 제5항에 있어서,
    상기 학습 모듈은,
    입력 영상들의 부분 영상인 패치 영상을 형성하고, 상기 패치 영상들을 학습용 데이터와 검증용 데이터로 분리하고,
    학습용 데이터에 대해서 비용 함수를 최소화하도록 분류 변수를 조절하는 과정을 검증용 데이터에 대한 비용 함수가 최소로 되는 시점까지 반복 수행함으로써 벡터 분류부의 분류 변수를 조절하는 것을 특징으로 하는 의료 영상의 병리 진단 분류 장치.
  7. 제6항에 있어서,
    상기 학습 모듈은, 분류 변수의 초기값을 설정하고,
    현재의 분류 변수에 기초한 분류 결과를 계산하는 제1 과정과, 비용 함수에 의해 분류 변수에 대한 각각의 비용을 계산하는 제2 과정과, 상기 비용을 최소화할 수 있도록 분류 변수의 변화량을 계산하여 기존 분류 변수와의 차를 계산하여 분류 변수를 갱신하는 제3과정을 반복 수행함으로써 분류 변수를 조절하는 것을 특징으로 하는 의료 영상의 병리 진단 분류 장치.
  8. 제7항에 있어서,
    상기 특징 추출부는 입력 영상에 대해 복수개로 분할된 패치 영상을 입력받아 각각의 패치 영상에 대한 특징 데이터를 특징 추출 변수에 의해 추출하고,
    상기 특징 벡터 변환부는 상기 패치 영상에 대한 특징 데이터를 변환 변수에 의해 고정 길이의 특징 벡터로 변환하고,
    상기 벡터 분류부는 상기 고정 길이의 특징 벡터를 분류 변수에 의해 분류하여 입력 영상에 대한 병리 진단 분류 결과를 출력하는 것을 특징으로 하는 의료 영상의 병리 진단 분류 장치.
  9. 제1항 내지 제8항 중 어느 한 항에 의한 의료 영상의 병리 진단 분류 장치;
    입력 영상에 대해 상기 의료 영상의 병리 진단 분류 장치로부터 출력되는 병리 진단 결과에 기초하여 입력 영상에 대한 최종 분석 정보를 출력하는 테스팅 모듈;
    태그드 영상 데이터베이스에 저장된 태그드 영상에 기초하여 분류 장치를 학습시키는 학습 모듈; 및
    병변 유무 및 병리 진단 정보를 나타내는 제1 태그를 갖는 제1 태그드 영상과 제1 태그와 병변의 위치 정보를 나타내는 제2 태그를 함께 갖는 제2 태그드 영상으로 구성된 태그드 영상을 저장하는 태그드 영상 데이터베이스
    를 포함하는 병리 진단 시스템.
PCT/KR2015/009447 2015-08-06 2015-09-08 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템 WO2017022882A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/113,644 US10013757B2 (en) 2015-08-06 2015-09-08 Classification apparatus for pathologic diagnosis of medical image, and pathologic diagnosis system using the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150111277A KR101623431B1 (ko) 2015-08-06 2015-08-06 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템
KR10-2015-0111277 2015-08-06

Publications (1)

Publication Number Publication Date
WO2017022882A1 true WO2017022882A1 (ko) 2017-02-09

Family

ID=56104394

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/009447 WO2017022882A1 (ko) 2015-08-06 2015-09-08 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템

Country Status (3)

Country Link
US (1) US10013757B2 (ko)
KR (1) KR101623431B1 (ko)
WO (1) WO2017022882A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113327673A (zh) * 2020-02-28 2021-08-31 株式会社日立制作所 医用摄像装置、医用图像处理装置以及图像处理程序
US20210383174A1 (en) * 2020-06-03 2021-12-09 Siemens Healthcare Gmbh Ai-based image analysis for the detection of normal images

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170265846A1 (en) * 2016-03-18 2017-09-21 Siemens Medical Solutions Usa, Inc. Alert assistance for survey mode ultrasound imaging
KR101980955B1 (ko) * 2016-08-22 2019-05-21 한국과학기술원 3차원 의료 영상에서 깊이 방향 재귀 학습을 이용하는 병변 특징 표현 분석 방법 및 시스템
US11200483B2 (en) 2016-08-30 2021-12-14 Lunit Inc. Machine learning method and apparatus based on weakly supervised learning
KR101908680B1 (ko) * 2016-08-30 2018-10-17 주식회사 루닛 약한 지도 학습 기반의 기계 학습 방법 및 그 장치
KR101889722B1 (ko) * 2017-02-10 2018-08-20 주식회사 루닛 악성 종양 진단 방법 및 장치
US11386540B2 (en) * 2017-03-31 2022-07-12 3M Innovative Properties Company Image based counterfeit detection
CN107527069A (zh) * 2017-08-22 2017-12-29 京东方科技集团股份有限公司 图像处理方法、装置、电子设备及计算机可读介质
KR102243830B1 (ko) 2018-02-22 2021-04-23 고려대학교 산학협력단 통합 의료 진단 서비스 제공 시스템 및 그 방법
CN111989558A (zh) 2018-03-16 2020-11-24 因为傲可值有限公司 用于自动处理组织学样品的样品处理系统和方法
KR102052263B1 (ko) 2018-04-10 2019-12-05 가톨릭대학교 산학협력단 염증성 피부질환 중증도 진단을 위한 표준영상 데이터 취득용 촬영장치
KR102064957B1 (ko) 2018-04-10 2020-01-10 가톨릭대학교 산학협력단 염증성 피부질환 중증도 진단을 위한 표준영상 정보 서비스 방법 및 서비스 시스템
KR101889725B1 (ko) * 2018-07-04 2018-08-20 주식회사 루닛 악성 종양 진단 방법 및 장치
KR101889724B1 (ko) * 2018-07-04 2018-08-20 주식회사 루닛 악성 종양 진단 방법 및 장치
KR101889723B1 (ko) * 2018-07-04 2018-08-20 주식회사 루닛 악성 종양 진단 방법 및 장치
EP3637362A1 (de) * 2018-10-11 2020-04-15 Siemens Healthcare GmbH Verfahren zur anpassung eines bildeindrucks
KR102075270B1 (ko) * 2018-11-09 2020-02-07 주식회사 루닛 어노테이션 작업 관리 방법, 이를 지원하는 장치 및 시스템
JP6912788B2 (ja) 2018-11-09 2021-08-04 ルニット・インコーポレイテッドＬｕｎｉｔ Ｉｎｃ． アノテーション作業の管理方法、それを支援する装置およびシステム
KR102330519B1 (ko) * 2018-12-03 2021-11-24 서울대학교병원 안저 사진을 이용한 뇌동맥류 예측 장치 및 뇌동맥류 예측 결과 제공 방법
KR102202361B1 (ko) * 2019-01-08 2021-01-14 전남대학교산학협력단 골 종양 탐지 시스템
US11361434B2 (en) 2019-01-25 2022-06-14 Otonexus Medical Technologies, Inc. Machine learning for otitis media diagnosis
KR102311654B1 (ko) 2019-02-01 2021-10-08 장현재 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 api 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템
KR102041906B1 (ko) 2019-03-06 2019-11-07 주식회사 에프앤디파트너스 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 api 엔진
KR102108961B1 (ko) 2019-04-23 2020-05-11 주식회사 에프앤디파트너스 이미지 기반의 인공지능 딥러닝을 이용한 혈압 추정 장치
KR102373988B1 (ko) * 2019-04-25 2022-03-15 인제대학교 산학협력단 다중 특성 융합을 기반으로 하는 알츠하이머병 분류 방법
CN110298383B (zh) * 2019-05-28 2021-07-13 中国科学院计算技术研究所 基于多模态深度学习的病理分类方法及系统
KR102186893B1 (ko) 2019-10-15 2020-12-04 주식회사 리드브레인 인공지능 기반 커리큘럼 학습 방법을 이용한 의료 영상 처리 시스템 및 지능형 의료 진단 및 진료 시스템
KR102166647B1 (ko) 2019-10-15 2020-11-13 주식회사 리드브레인 블록 기반 유연한 ai 모델을 이용한 지능형 의료 진단 및 진료 시스템
CN111227864B (zh) * 2020-01-12 2023-06-09 刘涛 使用超声图像利用计算机视觉进行病灶检测的装置
KR102081037B1 (ko) * 2020-01-28 2020-02-24 주식회사 루닛 어노테이션 작업 관리 방법, 이를 지원하는 장치 및 시스템
KR102413583B1 (ko) * 2020-01-28 2022-06-27 주식회사 루닛 어노테이션 작업 관리 방법, 이를 지원하는 장치 및 시스템
KR102162683B1 (ko) 2020-01-31 2020-10-07 주식회사 에프앤디파트너스 비정형 피부질환 영상데이터를 활용한 판독보조장치
KR102165487B1 (ko) 2020-01-31 2020-10-14 주식회사 에프앤디파트너스 비정형 피부질환 영상데이터를 활용한 피부 질환 판독 시스템
CN111291823B (zh) * 2020-02-24 2023-08-18 腾讯科技（深圳）有限公司 分类模型的融合方法、装置、电子设备及存储介质
WO2021177771A1 (ko) * 2020-03-06 2021-09-10 주식회사 루닛 의료 영상으로부터 바이오마커 발현을 예측하는 방법 및 시스템
CN111755118B (zh) * 2020-03-16 2024-03-08 腾讯科技（深圳）有限公司 医疗信息处理方法、装置、电子设备及存储介质
CN113470037A (zh) 2020-03-31 2021-10-01 阿里巴巴集团控股有限公司 数据处理方法、装置及系统
CN111640126B (zh) * 2020-05-29 2023-08-22 成都金盘电子科大多媒体技术有限公司 基于医学影像的人工智能诊断辅助方法
KR102436787B1 (ko) * 2020-06-29 2022-08-29 (주)휴톰 복수의 학습모델을 이용한 어노테이터 평가 및 어노테이션 분석 방법, 전자 장치 및 프로그램
WO2022015000A1 (ko) * 2020-07-13 2022-01-20 가톨릭대학교 산학협력단 다중 이미지를 이용한 암 진행/재발 예측 시스템 및 암 진행/재발 예측 방법
CN113178164B (zh) * 2020-10-12 2022-06-03 浙江山泓科技有限公司 一种用于led显示屏的智能图像处理装置
KR102545256B1 (ko) * 2021-01-20 2023-06-20 주식회사 한글과컴퓨터 기계학습용 데이터의 분류 저장 및 검색을 지원하는 데이터 처리 장치, 및 그 동작 방법
CN113066562A (zh) * 2021-04-23 2021-07-02 江南大学 基于5g的医疗图像传输方法及系统
KR20230097726A (ko) 2021-12-24 2023-07-03 주식회사 에프앤디파트너스 인공지능 딥러닝 기반의 피부질환 판별 장치
KR20230097743A (ko) 2021-12-24 2023-07-03 주식회사 에프앤디파트너스 인공지능 기반의 피부질환 학습 및 진단장치
KR20230114125A (ko) 2022-01-24 2023-08-01 주식회사 장승코퍼레이션 Ai 기반 의료 진단 시스템
KR20230129662A (ko) 2022-03-02 2023-09-11 주식회사 에프앤디파트너스 피부질환 학습을 이용한 피부질환 진단시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130012297A (ko) * 2011-07-25 2013-02-04 삼성전자주식회사 병변 검출 장치, 병변 검출 방법 및 병변 진단 장치
KR20130079863A (ko) * 2012-01-03 2013-07-11 삼성전자주식회사 병변 모양 규칙성 판단이 가능한 병변 진단 장치 및 이의 병변 모양 규칙성 판단 방법
KR20140018748A (ko) * 2012-08-03 2014-02-13 삼성전자주식회사 의료 영상에서 병변의 분석 장치 및 방법
KR20140042531A (ko) * 2012-09-28 2014-04-07 삼성전자주식회사 카테고리별 진단 모델을 이용한 병변 진단 장치 및 방법
KR20140063288A (ko) * 2012-11-16 2014-05-27 삼성전자주식회사 컴퓨터 보조 진단 방법 및 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7444308B2 (en) * 2001-06-15 2008-10-28 Health Discovery Corporation Data mining platform for bioinformatics and other knowledge discovery
US6996549B2 (en) * 1998-05-01 2006-02-07 Health Discovery Corporation Computer-aided image analysis
US6898528B2 (en) * 2002-07-23 2005-05-24 Ford Global Technologies, Llc Collision and injury mitigation system using fuzzy cluster tracking
US7492937B2 (en) * 2004-05-26 2009-02-17 Ramsay Thomas E System and method for identifying objects of interest in image data
US7421415B2 (en) * 2004-09-07 2008-09-02 Siemens Corporate Research, Inc. Methods and systems for 3D object detection using learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130012297A (ko) * 2011-07-25 2013-02-04 삼성전자주식회사 병변 검출 장치, 병변 검출 방법 및 병변 진단 장치
KR20130079863A (ko) * 2012-01-03 2013-07-11 삼성전자주식회사 병변 모양 규칙성 판단이 가능한 병변 진단 장치 및 이의 병변 모양 규칙성 판단 방법
KR20140018748A (ko) * 2012-08-03 2014-02-13 삼성전자주식회사 의료 영상에서 병변의 분석 장치 및 방법
KR20140042531A (ko) * 2012-09-28 2014-04-07 삼성전자주식회사 카테고리별 진단 모델을 이용한 병변 진단 장치 및 방법
KR20140063288A (ko) * 2012-11-16 2014-05-27 삼성전자주식회사 컴퓨터 보조 진단 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113327673A (zh) * 2020-02-28 2021-08-31 株式会社日立制作所 医用摄像装置、医用图像处理装置以及图像处理程序
US20210383174A1 (en) * 2020-06-03 2021-12-09 Siemens Healthcare Gmbh Ai-based image analysis for the detection of normal images
US11935230B2 (en) * 2020-06-03 2024-03-19 Siemens Healthineers Ag AI-based image analysis for the detection of normal images

Also Published As

Publication number Publication date
KR101623431B1 (ko) 2016-05-23
US10013757B2 (en) 2018-07-03
US20170236271A1 (en) 2017-08-17

Similar Documents

Publication Publication Date Title
WO2017022882A1 (ko) 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템
WO2016171341A1 (ko) 클라우드 기반 병리 분석 시스템 및 방법
WO2019132170A1 (ko) 학습용 데이터 관리방법, 장치 및 프로그램
WO2020242239A1 (ko) 앙상블 학습 알고리즘을 이용한 인공지능 기반 진단 보조 시스템
WO2022149894A1 (ko) 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2016163755A1 (ko) 품질 측정 기반의 얼굴 인식 방법 및 장치
WO2021025458A1 (ko) 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
WO2016159726A1 (ko) 의료 영상으로부터 병변의 위치를 자동으로 감지하는 장치 및 그 방법
WO2015072818A1 (ko) 뇌질환 진단 서비스 장치 및 뇌질환 진단 서비스 방법
WO2020071877A1 (ko) 병리 이미지 검색을 위한 시스템 및 방법
WO2010041836A2 (en) Method of detecting skin-colored area using variable skin color model
WO2020111754A2 (ko) 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템
WO2021153858A1 (ko) 비정형 피부질환 영상데이터를 활용한 판독보조장치
CN111751002A (zh) 一种基于红外热成像的带电设备故障智能诊断方法
WO2019168264A1 (ko) 전자 장치 및 그 제어 방법
WO2019240330A1 (ko) 영상 기반 힘 예측 시스템 및 그 방법
WO2020222555A1 (ko) 영상 분석 장치 및 방법
WO2020138549A1 (ko) 음향 방출 결함 신호 검출 장치 및 방법
WO2014157796A1 (ko) 진단 보조용 내시경 시스템 및 그 제어 방법
WO2017010612A1 (ko) 의료 영상 분석 기반의 병리 진단 예측 시스템 및 방법
WO2022146050A1 (ko) 우울증 진단을 위한 인공지능 연합학습 방법 및 시스템
WO2023282500A1 (ko) 슬라이드 스캔 데이터의 자동 레이블링 방법, 장치 및 프로그램
WO2021015489A2 (ko) 인코더를 이용한 이미지의 특이 영역 분석 방법 및 장치
WO2022114653A1 (ko) 데이터 경계 도출 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15900468

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15900468

Country of ref document: EP

Kind code of ref document: A1