WO2020076133A1 - 암 영역 검출의 유효성 평가 장치 - Google Patents

암 영역 검출의 유효성 평가 장치 Download PDF

Info

Publication number
WO2020076133A1
WO2020076133A1 PCT/KR2019/013395 KR2019013395W WO2020076133A1 WO 2020076133 A1 WO2020076133 A1 WO 2020076133A1 KR 2019013395 W KR2019013395 W KR 2019013395W WO 2020076133 A1 WO2020076133 A1 WO 2020076133A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
cancer
information
image
cancer region
Prior art date
Application number
PCT/KR2019/013395
Other languages
English (en)
French (fr)
Inventor
김원태
강신욱
이명재
김동민
장진성
Original Assignee
(주)제이엘케이인스펙션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)제이엘케이인스펙션 filed Critical (주)제이엘케이인스펙션
Publication of WO2020076133A1 publication Critical patent/WO2020076133A1/ko
Priority to US17/228,664 priority Critical patent/US11854193B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Definitions

  • the present disclosure relates to a cancer region detection technique, and more particularly, to a method and apparatus for evaluating the effectiveness of a detected cancer region based on image information analysis.
  • Deep learning is learning a very large amount of data, and when new data is input, the probability of selecting the highest answer based on the learning result is selected. Since deep learning can operate adaptively according to an image and automatically finds characteristic factors in the process of learning a model based on data, recent attempts to utilize it in the field of artificial intelligence are increasing.
  • a conventional image analysis technique using deep learning uses a convolutional neural network (CNN) and a maximum pooling technique to extract local features for each region of an image and then Based on the video recognition.
  • CNN convolutional neural network
  • this method has a problem in that the contents of the actual image are different, but an accurate recognition result is not provided for an image having a similar local information type.
  • various parameters that is, parametric MRI
  • MRI magnetic resonance imaging
  • This parametric MRI can be used as an important factor to indicate changes in the body or disease.
  • the status of a user or a patient may be various for a specific disease, and the disease may also exhibit various characteristics or forms. Therefore, there is a problem in that it is difficult to formalize the correlation between the information indicated by the parametric MRI and changes in the body or disease.
  • Technical problems of the present disclosure are directed to a method and apparatus for evaluating the effectiveness of a detected cancer region based on a deep learning model.
  • Another technical problem of the present disclosure relates to a method and apparatus for quantitatively evaluating a correspondence between a deep learning model-based cancer region and an actual cancer region.
  • an apparatus for evaluating the effectiveness of cancer region detection includes a parametric MRI providing unit that provides at least one parametric MRI (Magnetic Resonance Imaging) configured based on different parameters, and a first that receives a first arm region based on the at least one parametric MRI.
  • MRI Magnetic Resonance Imaging
  • a cancer region input unit the at least one parametric MRI as input, and a cancer region detection model for outputting cancer region information, and generating guide information corresponding to an analysis target image through the cancer region detection model, Based on a pathology image mapping a cancer region processing unit to be provided, a second cancer region input unit to receive a second cancer region based on the guide information, and an area where cancer of the extracted body part is present, It may include a validity evaluation unit that compares the first cancer region and the second cancer region, and generates validity evaluation information for the second cancer region.
  • a method for evaluating the effectiveness of cancer region detection includes providing at least one parametric MRI (Magnetic Resonance Imaging) configured based on different parameters, receiving a first cancer region based on the at least one parametric MRI, and the at least one A process of constructing a cancer region detection model using parametric MRI of the input and outputting cancer region information, and providing guide information corresponding to an analysis target image through the cancer region detection model, and the guide information Based on the process of inputting the second cancer region based on the pathology image mapping the region where the cancer of the extracted body part is present, and comparing the first cancer region and the second cancer region, the And generating validity evaluation information for the second cancer region.
  • parametric MRI Magnetic Resonance Imaging
  • a method and apparatus for evaluating the effectiveness of a cancer region detected based on a deep learning model may be provided.
  • a method and apparatus for quantitatively evaluating the correspondence between a deep learning model-based cancer region and an actual cancer region may be provided.
  • the agreement between the arm region set with reference to the deep learning model-based arm region and the actual arm region, and the agreement between the set arm region and the actual arm region without referring to the deep learning model-based arm region may be provided.
  • FIG. 1 is a block diagram showing a configuration of an apparatus for evaluating the effectiveness of detecting a cancer region according to an embodiment of the present disclosure.
  • FIGS. 2A and 2B are exemplary views of a screen output by the apparatus for evaluating the effectiveness of detecting a dark area according to an embodiment of the present disclosure.
  • 3A to 3C are diagrams illustrating an operation of generating a validity evaluation information based on coincidence information by a validity evaluation device for detecting a cancer area according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram showing a detailed configuration of the dark region processing unit provided in FIG. 1.
  • 5A to 5C are exemplary views of images processed by a dark region processing unit according to an exemplary embodiment of the present disclosure.
  • FIG. 6 is a block diagram showing the configuration of a cancer area learning apparatus according to an embodiment of the present disclosure.
  • FIG. 7 is a block diagram showing a configuration of a cancer detection model learning unit provided in a deep learning model learning apparatus according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram illustrating a process of generating and analyzing context information of an image according to an embodiment of the present disclosure.
  • FIG. 9 is a flowchart illustrating a procedure of a method for evaluating the effectiveness of cancer region detection according to an embodiment of the present disclosure.
  • FIG. 10 is a block diagram illustrating a computing system executing a method and apparatus for evaluating the effectiveness of cancer region detection according to an embodiment of the present disclosure.
  • first and second are used only for the purpose of distinguishing one component from other components, and do not limit the order or importance of components, etc., unless otherwise specified. Accordingly, within the scope of the present disclosure, the first component in one embodiment may be referred to as a second component in another embodiment, and likewise the second component in one embodiment may be the first component in another embodiment It can also be called.
  • the components that are distinguished from each other are for clarifying each feature, and the components are not necessarily separated. That is, a plurality of components may be integrated to be composed of one hardware or software unit, or one component may be distributed to be composed of a plurality of hardware or software units. Accordingly, such integrated or distributed embodiments are included in the scope of the present disclosure, unless otherwise stated.
  • components described in various embodiments are not necessarily essential components, and some may be optional components. Accordingly, an embodiment consisting of a subset of components described in one embodiment is also included in the scope of the present disclosure. In addition, embodiments including other components in addition to the components described in various embodiments are also included in the scope of the present disclosure.
  • an apparatus for evaluating the effectiveness of detecting a cancer region is an apparatus for evaluating the effectiveness of a cancer region input by a user.
  • an apparatus for evaluating the effectiveness of detecting a cancer region includes an environment in which a user (expert or doctor, etc.) can enter the first cancer region with reference to a parametric MRI, and deep learning-based learning It provides an environment in which the second cancer region can be input by referring to guide information provided by the cancer region detection model constructed through.
  • an apparatus for evaluating the effectiveness of detecting a cancer region according to an embodiment of the present disclosure is provided to perform the evaluation for the second cancer region.
  • FIG. 1 is a block diagram showing a configuration of an apparatus for evaluating the effectiveness of detecting a cancer region according to an embodiment of the present disclosure.
  • an apparatus 10 for evaluating the effectiveness of detecting a cancer region includes a cancer region processing unit 11, a parametric MRI providing unit 12, a first cancer region input unit 13, It may include a second cancer region input unit 15, a pathology image input unit 17, and an effectiveness evaluation unit 18.
  • the cancer region processing unit 11 may include a diagnostic region detection model 100 and a cancer region detection model 100 ′ built by the cancer region learning device 1.
  • the cancer region processing unit 11 Upon receiving the original parametric MRI, the cancer region processing unit 11 detects the parametric MRI of the diagnostic region using the diagnostic region detection model 100, and the cancer region detection model 100 'to the cancer region. Information (hereinafter referred to as 'cancer area information'). Also, the dark region processing unit 11 may generate guide information using dark region information.
  • the dark area processing unit 11 may provide guide information to the second dark area input unit 15.
  • the parametric MRI providing unit 12 may provide at least one parametric MRI so that a user (expert or doctor, etc.) can set the first cancer region while referring to at least one parametric MRI.
  • the first arm region input unit 13 includes a parametric MRI display unit 210 (refer to FIG. 2A) for displaying at least one parametric MRI, and a first input interface 220 capable of inputting the first arm region. It can provide a screen 200 that includes.
  • the parametric MRI display unit 210 includes a T1 (T1-weighted) image, a T2 (T2-weighted) image, a T2 * (T2 star) image, an ADC (apparent diffusion coefficients) image, and a FLAIR (Fluid Attenuated inversion recovery) image.
  • STIR Short TI inversion recovery
  • PWI Perfusion Weighted Image
  • the first input interface 220 may be connected through an image display unit 221 displaying a T2 image and an external input device such as a mouse device, a digitizer device, a touch screen device, etc., and an area designated by the external input device. It may include a predetermined indicator 222 output to. In addition, the first input interface 220 may set a predetermined region selected through the indicator 222 as a dark region, and include a first arm region indicator 223 indicating a corresponding region set as a dark region. You can.
  • the image display unit 221 displays a T2 image
  • the present disclosure does not limit the image displayed by the image display unit 221.
  • the image displayed by the image display unit 221 may be variously changed corresponding to the diagnosis area or the cancer area.
  • the first arm region input unit 13 may store and manage the first arm region input through the first input interface 220 in the first arm region DB 14.
  • the second arm region input unit 15 is a parametric MRI display unit (260, see FIG. 2B) for displaying at least one parametric MRI, and a guide for displaying guide information provided by the above-described dark region processing unit 11
  • a screen 250 including an information display unit 270 and a second input interface 280 through which a second arm region can be input may be provided.
  • the parametric MRI display unit 260 includes a T1 (T1-weighted) image, a T2 (T2-weighted) image, a T2 * (T2 star) image, an ADC (apparent diffusion coefficients) image, and a FLAIR (Fluid Attenuated inversion recovery) image.
  • At least one display unit 261 and 262 displaying at least one of a short TI inversion recovery (STIR) image and a perfusion weighted image (PWI).
  • the cancer region processing unit 11 may set a cancer candidate candidate region through feature region analysis and context analysis of the feature region included in at least one parametric MRI, and generate guide information including the set candidate region. You can.
  • the guide information display unit 270 may configure and display a guide image 271 including the cancer candidate region 271a.
  • the dark region processing unit 11 sets a predetermined threshold value, sets a region in which a probability value for a feature region detected as a dark region exceeds the predetermined threshold value as a cancer candidate point, and sets the set candidate point Guide information including the can be generated.
  • the guide information display unit 270 may configure and display a guide image 272 including candidate points 272a, 272b, and 272c.
  • the second input interface 280 provides an environment for receiving a dark area by a user, and is designated by an image display unit 281 displaying a T2 image and an external input device. It may include a predetermined indicator 282 output to the region, and a second arm region indicator 283 for setting and displaying a predetermined region selected through the indicator 282 as a dark region.
  • the image display unit 281 displays a T2 image
  • the present disclosure does not limit the image displayed by the image display unit 281.
  • the image displayed by the image display unit 281 may be variously changed corresponding to the diagnosis area or the cancer area.
  • the second arm region input unit 15 may store and manage the second arm region input through the second input interface 280 in the second arm region DB 16.
  • the pathology image input unit 17 may provide an environment for receiving a pathology image, and may display the received pathology image through a display or the like.
  • the pathology image may include an image of a pathology map that maps an area where cancer is present in the extracted diagnostic region in the form of an image.
  • the pathology image input unit 17 may provide the pathology image to the effectiveness evaluation unit 18.
  • the effectiveness evaluation unit 18 may compare the first cancer region and the second cancer region based on the pathology image, and generate validity evaluation information for the second cancer region.
  • the effectiveness evaluation unit 18 divides the region where the prostate is located into a predetermined size unit (302, see FIG. 3A), and a predetermined region where the first arm region 303 exists within the region where the prostate is located.
  • a first binary map 304 for a unit can be configured.
  • the effectiveness evaluation unit 18 divides the pathologic image 311 into predetermined size units (312), and the pathology binary for a predetermined unit in which the first cancer region 313 is located in the region where the prostate is located.
  • Map 314 may be constructed.
  • the validity evaluation unit 18 may check the first match degree information 320 for the first binary map 304 based on the pathology binary map 314.
  • the first coincidence information 320 may be information displayed by numerically measuring the degree of similarity between corresponding path regions of the pathological binary map 314 and the first binary map 304.
  • the first coincidence information 320 may include sensitivity information for a unit region (Sensitivity) and specificity information (Specificity).
  • the effectiveness evaluation unit 18 divides the region where the prostate is located into a predetermined size unit (see 332, FIG. 3B), and the predetermined region where the second arm region 333 is present in the region where the prostate is located.
  • a second binary map 334 may be configured.
  • the validity evaluation unit 18 may check the second match degree information 340 for the second binary map 334 based on the pathology binary map 314.
  • the second coincidence information 340 may be information displayed by numerically quantifying the degree of similarity between corresponding path regions of the pathological binary map 314 and the second binary map 334. Further, the second coincidence information 340 may include sensitivity information for a unit region (Sensitivity) and specificity information (Specificity).
  • the effectiveness evaluation unit 18 may compare the first consistency information 320 and the second consistency information 340 described above, and calculate and output the effectiveness evaluation information (see FIG. 3C). For example, the effectiveness evaluation unit 18 compares the above-described first coincidence information 320 and the second coincidence information 340, and the second coincidence information 340 is relatively higher than the first coincidence information 320. If it indicates, the second cancer region is determined to be valid, and if the second coincidence information 340 represents the same or relatively low value as the first coincidence information 320, the second cancer region may be determined to be invalid. .
  • the second cancer area is a user (expert or doctor) designating an area in which a cancer area is likely to exist based on guide information provided by the cancer area processing unit 11. Therefore, when the validity evaluation information indicates that the second cancer region is valid, the cancer region processing unit 11 may be recognized as a device that can be effectively used to determine the region where the cancer is present.
  • the user enters the first arm region (or second arm region) and then enters the first arm region.
  • the second arm region (or the first arm region) may be input while the one arm region (or the second arm region) is recognized.
  • the user recognizes the first arm region (or second arm region) input by the user
  • the second arm region or first arm region
  • the user may be input based on the will of the expert or doctor.
  • the second arm region (or the first arm region) is input based on the will of the user (expert or doctor), the second arm region (or the first arm region) is not correctly input, and the second arm region ( Alternatively, it may be difficult to determine the effectiveness of the first cancer region).
  • the effectiveness evaluation unit 18 may control the operations of the first arm region input unit 13 and the second arm region input unit 15. For example, the effectiveness evaluation unit 18 may first activate the second arm region input unit 15 so that the second arm region can be input, and receive the second arm region. Then, after a predetermined time (eg, one week or one month) has elapsed after the input of the second arm region is completed, the first arm region input unit 13 is activated to correspond to the first arm region. Cancer area can be input.
  • a predetermined time eg, one week or one month
  • the dark area processing unit 11 is illustrated as being provided in the effectiveness evaluation apparatus 10 for detecting the dark area, but the present disclosure is not limited thereto. It is sufficient that the apparatus 10 for evaluating the effectiveness of detecting a cancer region can provide an environment for inputting a cancer region (second cancer region) using guide information provided based on the cancer region detection model.
  • the dark area processing unit 11 may be provided as a separate device from the validity evaluation device 10 for detecting the dark area, and is connected to the validity evaluation device 10 for detecting the dark area through wired or wireless communication to provide guide information. can do.
  • the dark region processing unit 11, the second dark region input unit 15, and the second dark region DB 16 may be provided as separate devices and guide information provided based on the dark region detection model.
  • the cancer region (second arm region) may be input using and stored and managed in the second arm region DB 16.
  • the device having the dark area processing unit 11, the second dark area input unit 15, and the second dark area DB 16 can be connected to the effectiveness evaluation device 10 for detecting the dark area through wired or wireless communication.
  • the second cancer region stored in the second cancer region DB 16 may be provided to the effectiveness evaluation unit 18.
  • FIG. 4 is a diagram showing a detailed configuration of the dark region processing unit provided in FIG. 1.
  • the cancer region processing unit may generate and provide guide information including the cancer region using a diagnostic region detection model and a cancer region detection model.
  • the cancer region processing unit 40 may include a diagnostic region detection unit 41, a cancer region detection unit 43, and a guide information providing unit 45.
  • the diagnosis area detection unit 41 may include a diagnosis area detection model 100 constructed by the cancer area learning device 1 described above, and the cancer area detection unit 43 may be connected to the cancer area learning device 1 described above. It may include a cancer region detection model (100 ') built by.
  • the diagnostic area detection unit 41 receives the input of the original parametric MRI (501, 502, 503, see FIG. 5A), the diagnostic area detection model 100 is used to diagnose the parametric MRI of the diagnostic area (511, 512, 513). ) Can be detected and output.
  • the cancer region detection unit 43 may receive parametric MRIs 511, 512, and 513 of the diagnostic region output from the diagnostic region detection unit 41, and the cancer may be detected through the cancer region detection model 100 '. Information about the area (hereinafter referred to as 'dark area information') may be output.
  • the cancer region detection unit 43 uses the image 520 marking the region 521 (see FIG. 5B) where cancer is expected in at least one of the parametric MRIs 511, 512, and 513 of the diagnosis region as cancer region information.
  • Can print
  • the guide information providing unit 45 may generate guide information using the dark region information provided by the dark region detection unit 43. Also, the guide information providing unit 45 may output the generated guide information through a display or the like. For example, the guide information providing unit 45 may output the image 520 marking the region 521 where the arm is located as guide information through a display or the like.
  • the cancer region detection model 100 ′ may be constructed through learning to extract characteristics of an image to be analyzed and generate predetermined context information based on the extracted features, and the context information is included in the analysis target image It can be configured based on the probability value for the feature area.
  • the dark area detection unit 43 may configure dark area information including a probability value for a feature area detected as a dark area.
  • guide information may be generated using a probability value for a feature region detected as a dark region.
  • the dark region may include a plurality of feature regions having different probability values
  • the guide information providing unit 45 sets a predetermined threshold value, and the probability value for the feature region detected as the dark region is the predetermined value.
  • a region exceeding the threshold value may be set as a biopsy candidate point, and a guide image 530 including the set biopsy candidate point (531, 532, 533, see FIG. 5C) may be configured.
  • Probability values for each of the plurality of feature regions described above may be expressed in the form of a probability map, and as dark region information, may overlap and display in the dark region.
  • the guide information providing unit 45 may configure the guide image 530 by marking the cancer region 535 together with a probability map (not shown) or biopsy candidate points 531, 532, and 533.
  • the cancer region processing unit may generate and provide guide information including the cancer region using a diagnostic region detection model and a cancer region detection model.
  • the diagnostic area detection model and the cancer area detection model according to an embodiment of the present disclosure may be constructed by the cancer area learning apparatus according to an embodiment of the present disclosure.
  • FIG. 6 is a block diagram showing the configuration of a cancer area learning apparatus according to an embodiment of the present disclosure.
  • the cancer region learning apparatus 60 may include a cancer detection model learning unit 61, a parametric MRI input unit 63, a labeling reference information providing unit 65, and a labeling processing unit 67. have.
  • the cancer detection model learning unit 61 may perform learning of the cancer detection model based on a convolutional neural network (CNN) technique or a pooling technique.
  • CNN convolutional neural network
  • the cancer detection model learning unit 61 may receive an analysis target image in order to perform learning of the cancer detection model, and receive a specific object or a specific region included in the analysis target image as a cancer region, that is, A labeling operation may be performed.
  • the cancer detection model learning unit 61 may learn a cancer detection model by extracting features of an analysis target image and generating predetermined context information based on the extracted features. In addition, the cancer detection model learning unit 61 may repeatedly learn the cancer detection model to construct the cancer detection model 600.
  • the cancer detection model learning unit 61 may receive an MRI image as an analysis target image, and the input of the analysis target image may be processed by the parametric MRI input unit 63.
  • the parametric MRI input unit 63 may provide the user's body with an image captured by a magnetic resonance imaging (MRI) imaging device, that is, an MRI to the cancer detection model learning unit 61.
  • MRI magnetic resonance imaging
  • various images may be reconstructed by applying various parameters to the MRI.
  • an image reconstructed by applying predetermined parameters to the MRI is referred to as a parametric MRI.
  • the parametric MRI input unit 63 may provide at least one parametric MRI configured based on different parameters to the cancer detection model learning unit 61.
  • the at least one parametric MRI may include a T1 image, a T2 image, a T2 * image, an ADC image, a FLAIR image, a STIR image, and a PWI.
  • the cancer detection model learning unit 61 may learn a cancer detection model for various body organs or diagnosis areas provided in the user's (or patient's) body, each body organ or diagnosis area, or body organ or diagnosis area At least one parametric MRI may be selectively used based on the characteristics of the cancer region present in.
  • the parametric MRI input unit 63 may selectively input at least one parametric MRI corresponding to a body organ or a diagnostic area to the cancer detection model learning unit 61.
  • the parametric MRI input unit 63 may input T2 images, ADC images, and the like.
  • the parametric MRI input unit 63 may input a STIR image, a T1 image, a T1 with Agents image, a T2 image, and the like.
  • the parametric MRI input unit 63 may input a T1 image, a T2 image, FLAIR, and the like.
  • the parametric MRI input unit 63 may display the parametric MRI provided with the MRI to the cancer detection model learning unit 61 through a display or the like.
  • the parametric MRI input unit 63 may receive a parametric MRI (hereinafter referred to as 'original parametric MRI') based on the MRI of the body where the user's diagnostic area is located, and may be an original parametric MRI. It is possible to detect a parametric MRI (hereinafter referred to as 'parametric MRI of the diagnostic region') from which the diagnostic region has been extracted.
  • the parametric MRI of the diagnosis area may be provided to the cancer detection model learning unit 61 or displayed through a display or the like.
  • the operation of extracting the parametric MRI of the diagnostic region from the original parametric MRI by the parametric MRI input unit 63 may be performed based on a convolutional neural network (CNN) technique or a pooling technique.
  • CNN convolutional neural network
  • the parametric MRI input unit 63 may build a predetermined learning model through learning that uses the original parametric MRI as an input and outputs the parametric MRI of the diagnosis area as an output. Then, as the original parametric MRI is input, the parametric MRI input unit 63 may detect and output the parametric MRI of the diagnosis area.
  • the labeling reference information providing unit 65 may provide information contributing to the labeling processing of the cancer region.
  • the labeling reference information providing unit 65 may provide an environment for receiving a pathology image, and may display the received pathology image through a display or the like.
  • the pathology image may include an image of a pathology map that maps an area where cancer is present in the extracted diagnostic region in the form of an image.
  • the labeling reference information providing unit 65 confirms the DWI (Diffusion-weighted imaging) indicating information in which water molecules contained in the tissue are spread in a specific direction, and displays the information included in the MRI through the display, etc. Can be displayed.
  • the DWI may be obtained from an MRI imaging apparatus or may be obtained by processing an MRI provided from an MRI imaging apparatus.
  • the labeling reference information providing unit 65 may check Dynamic Contrast Enhanced (DCE) signal information and construct an environment capable of providing the confirmed DCE signal information.
  • the labeling processing unit 67 may provide an indicator indicating an area designated by the user while displaying at least one parametric MRI (eg, T2 image), and the area selected by the user as a dark area Can be set.
  • the labeling reference information providing unit 65 checks DCE signal information for the area indicated by the indicator generated and displayed by the labeling processing unit 67, and displays the confirmed DCE signal information through a display, etc. can do.
  • the labeling reference information providing unit 65 may display at least one reference information (eg, pathology image, DWI, DCE signal information, etc.) through a display.
  • reference information eg, pathology image, DWI, DCE signal information, etc.
  • the labeling reference information providing unit 65 may sequentially select and display at least one reference information (eg, pathological image, DWI, DCE signal information, etc.).
  • the labeling reference information providing unit 65 may sequentially select and display pathological images, DWI, and DCE signal information in conjunction with the labeling processing unit 67.
  • the labeling reference information providing unit 65 may display a pathological image together with a T2 image and an ADC image. And, in the state where the pathology image is displayed, as the information primarily labeling the cancer region is input by the labeling processing unit 67, the labeling reference information providing unit 65 displays the DWI together with the T2 image and the ADC image. can do.
  • the labeling reference information providing unit 65 checks the region indicated by the indicator, and the corresponding region DCE signal information corresponding to may be checked and displayed.
  • the labeling reference information providing unit 65 sequentially provides at least one reference information
  • at least one reference information is illustrated as pathology image, DWI, DCE signal information, etc.
  • the present disclosure is not limited thereto, and may be variously changed by those skilled in the art of the present disclosure.
  • the order of at least one reference information provided by the labeling reference information providing unit 65 may also be variously changed.
  • the labeling reference information providing unit 65 selectively selects reference information contributing to the labeling processing of the cancer region based on the characteristics of each body organ or diagnosis region or the cancer region existing in the body organ or the diagnosis region. Can provide.
  • the labeling reference information providing unit 65 includes T1 Contrast image, T2 Contrast image, PET (Positron Emission Tomography), SPECT (single photon emission computed tomography), DSA (Digital Subtraction) Angiography) can be provided as reference information.
  • the labeling reference information providing unit 65 may provide a T1 Contrast image, a T2 Contrast image, and the like as reference information.
  • the labeling reference information providing unit 65 may provide FDG-PET, SPECT, and the like as reference information.
  • the labeling processing unit 67 while providing at least one parametric MRI (eg, T2 image), the cancer detection model learning unit 61 specifies an output value for learning the cancer detection model That is, it is possible to provide an environment in which labeling can be performed.
  • the cancer detection model learning unit 61 specifies an output value for learning the cancer detection model That is, it is possible to provide an environment in which labeling can be performed.
  • the labeling processing unit 67 outputs at least one parametric MRI (eg, T2 image) to the display, and an area in which cancer is present in at least one parametric MRI (eg, T2 image) that is output, that is, cancer It is possible to provide an interface for receiving an area.
  • the labeling processing unit 67 may be connected through an external input device such as a mouse device, a digitizer device, a touch screen device, etc., and outputs a predetermined indicator in an area designated by the external input device, and outputs the external input device.
  • the region selected through may be set as a dark region.
  • FIG. 7 is a block diagram showing a configuration of a cancer detection model learning unit provided in the cancer area learning apparatus according to an embodiment of the present disclosure.
  • the cancer detection model learning unit 70 may include a feature extraction unit 71, a context generation unit 72, and a feature and context analysis unit 73.
  • the cancer detection model learning unit 70 may extract features of an analysis target image, generate context information based on the extracted features, and analyze an analysis target image based on the extracted features and the generated context information. For example, the cancer detection model learning unit 70 may classify an image or find a location of an object of interest using the extracted feature and the generated context information.
  • the input image of the cancer detection model learning unit 70 may be at least one parametric MRI.
  • the at least one parametric MRI eg, T2 image, ADC image, etc.
  • the at least one parametric MRI may be a raw image reconstructed based on predetermined parameters from an MRI, or in any form (format) for storing or transmitting the original image. It can be an image.
  • the feature extraction unit 71 may analyze the input image to extract features of the image.
  • the feature may be a local feature for each region of the image.
  • the feature extraction unit 71 may extract features of an input image using a general convolutional neural network (CNN) technique or a pooling technique.
  • the pooling technique may include at least one of a max (max) pooling technique and an average pooling technique.
  • the pooling technique referred to in the present disclosure is not limited to the max pooling technique or the average pooling technique, and includes any technique for obtaining a representative value of an image region of a predetermined size.
  • the representative value used in the pooling technique may be at least one of a variance value, a standard deviation value, a mean value, a most frequent value, a minimum value, and a weighted average value, in addition to the maximum value and the average value.
  • the convolutional neural network of the present disclosure can be used to extract “features” such as borders, line colors, and the like from input data (images), and may include a plurality of layers. Each layer may receive input data and process input data of the corresponding layer to generate output data.
  • the convolutional neural network may output a feature map generated by convolution of an input image or an input feature map with filter kernels as output data.
  • the initial layers of the convolutional neural network can be operated to extract low level features, such as edges or gradients, from the input.
  • the next layers of the neural network can extract progressively more complex features, such as the eyes and nose. The specific operation of the convolutional neural network will be described later with reference to FIG. 5.
  • the convolutional neural network may include a pooling layer in which a pooling operation is performed in addition to a convolutional layer in which a convolution operation is performed.
  • the pooling technique is a technique used to reduce the spatial size of data in the pooling layer.
  • the pooling technique includes a max pooling technique that selects a maximum value in a corresponding region and an average pooling technique that selects an average value of a corresponding region, and in the field of image recognition, a max pooling technique is generally used. do.
  • the pooling window size and spacing are generally set to the same value.
  • the stride means adjusting an interval to move when applying a filter to input data, that is, an interval to move the filter, and stride can also be used to adjust the size of output data. The detailed operation of the pulling technique will be described later with reference to FIG. 8.
  • the feature extracting unit 71 is pre-processing for extracting features of an image to be analyzed, and filtering may be applied to the image to be analyzed.
  • the filtering may be a Fast Fourier Transform (FFT), histogram equalization, motion artifact removal, or noise removal.
  • FFT Fast Fourier Transform
  • the filtering of the present disclosure is not limited to the above-listed methods, and may include all types of filtering that can improve the image quality.
  • the context generation unit 72 may generate context information of the input image (analysis target image) using features of the input image extracted from the feature extraction unit 71.
  • the context information may be a representative value representing all or part of an image to be analyzed.
  • the context information may be global context information of the input image.
  • the context generation unit 72 may generate context information by applying a convolutional neural network technique or a pooling technique to features extracted from the feature extraction unit 71.
  • the pooling technique may be, for example, an average pooling technique.
  • the feature and context analysis unit 73 may analyze an image based on the feature extracted from the feature extraction unit 71 and the context information generated by the context generation unit 72.
  • the feature and context analysis unit 73 according to an embodiment concatenates the local features of each region of the image extracted by the feature extraction unit 71 and the global context reconstructed by the context generation unit 72. It can be used together to classify the input image or to find the location of the object of interest included in the input image. Since information at a specific 2D position in the input image includes not only local feature information but also global context information, the feature and context analysis unit 73 uses these information, so that the actual content is different but local feature information. It is possible to more accurately recognize or classify similar input images.
  • the invention according to an embodiment of the present disclosure enables more accurate and efficient learning and image analysis by using global context information as well as local features used by a general convolutional neural network technique. do.
  • the invention according to the present disclosure may be referred to as 'deep neural network through context analysis'.
  • FIG. 8 is a diagram illustrating a process of generating and analyzing context information of an image according to an embodiment of the present disclosure.
  • the feature extraction unit 71 may extract a feature from the input image 801 using the input image 801 and generate a feature image 802 including the extracted feature information.
  • the extracted feature may be a feature for a local area of the input image.
  • the input image 801 may include an input image of an image analysis device or a feature map at each layer in a convolutional neural network model.
  • the feature image 802 may include a feature map and / or feature vector obtained by applying a convolutional neural network technique and / or a pooling technique to the input image 801.
  • the context generation unit 72 may generate context information by applying a convolutional neural network technique and / or a pooling technique to the feature image 802 extracted from the feature extraction unit 71.
  • the context generation unit 72 may generate context information of various scales, such as an entire image, a quadrant area, and a 9-section area, by variously adjusting the spacing of the pooling. Accordingly, the entire context information image 811 including the context information for the image having the full size of the image, the quarter context information image 812 including the context information for the quarter image having the size of the entire image divided into four parts, and A nine-fold contextual information image 813 including contextual information on a ninth-half-scaled image of the entire image can be obtained.
  • the feature and context analysis unit 73 may more accurately perform analysis on a specific region of an analysis target image by using both the feature image 802 and the context information images 811, 812, and 813.
  • the identified object is the prostate cancer from the feature image 802 including the local feature extracted by the feature extraction unit 71. It is not possible to accurately determine whether it is a benign tumor. That is, the feature extraction unit 71 may recognize the shape of the object based on the local feature, but may not accurately identify and classify the object using only the shape of the object.
  • the context generation unit 72 can more accurately identify and classify objects by generating context information 811, 812, and 813 based on the analysis target image or the feature image 802. You can.
  • the feature and context analysis unit 73 may identify the object having the shape of the prostate cancer or benign tumor as “prostate cancer” by utilizing the context information.
  • context information for an entire image In the embodiment described with reference to FIG. 8, it has been described to generate and utilize context information for an entire image, context information for a quarter image, and context information for a ninth image, but the size of the image for extracting context information is It is not limited to this.
  • context information on an image having a size other than the above-described image may be generated and utilized.
  • FIG. 9 is a flowchart illustrating a procedure of a method for evaluating the effectiveness of cancer region detection according to an embodiment of the present disclosure.
  • a method for evaluating the effectiveness of detecting a cancer region may generate and provide guide information based on a diagnosis region detection model and a cancer region detection model, and receive a second cancer region with reference to the guide information. have.
  • the method for evaluating the effectiveness of the detection of the cancer region is an operation for preparing the diagnosis region detection model and the cancer region detection model, which are the basis for generating guide information, and constructing a diagnosis region detection model (S901) and the cancer region detection model. It may include the step of building (S902).
  • the step (S901) of constructing the diagnosis area detection model and the step (S902) of building the cancer area detection model may be performed by the cancer area learning device 60, and specific operations may be described above. Refer to the configuration and operation description.
  • the cancer region learning apparatus may provide at least one parametric MRI.
  • Various images may be reconstructed by applying various parameters to an image taken by the MRI imaging apparatus of the user's body, that is, MRI.
  • an image reconstructed by applying predetermined parameters to the MRI may be para. It is indicated as a metric MRI.
  • the at least one parametric MRI may include a T1 image, a T2 image, a T2 * image, an ADC image, a FLAIR image, a STIR image, and a PWI.
  • the cancer area learning device may learn a cancer detection model for various body organs or diagnosis areas provided in a user's (or patient's) body, and cancers present in each body organ or diagnosis area or body organ or diagnosis area At least one parametric MRI may be selectively used based on the characteristics of the region.
  • the cancer region learning apparatus may selectively input at least one parametric MRI corresponding to a body organ or a diagnostic region.
  • the cancer region learning apparatus may input a T2 image, an ADC image, and the like.
  • the cancer region learning apparatus may input a TIR image, a T1 image, a T1 with Agents image, a T2 image, and the like.
  • the cancer region learning apparatus may input a T1 image, a T2 image, or FLAIR.
  • the at least one parametric MRI may be an image in which an area corresponding to the diagnosis area is extracted.
  • the cancer region learning apparatus may receive an original parametric MRI, and detect a parametric MRI in which a diagnostic region is extracted from the original parametric MRI, that is, a parametric MRI of the diagnostic region.
  • the cancer area learning apparatus may provide a parametric MRI of the diagnosis area.
  • the cancer area learning apparatus may provide a parametric MRI of the diagnosis area as an input for learning a deep learning model.
  • the cancer area learning device may configure a screen providing a parametric MRI of the diagnosis area and output it through a display or the like.
  • the cancer region learning apparatus may provide information (hereinafter referred to as “reference information”) that can be referred to designate the region where the cancer is located in the parametric MRI of the diagnostic region.
  • a diagnostic image of a user may be extracted, and a pathology image that visualizes an area where cancer tissue is present in the extracted diagnostic region may be configured.
  • the cancer region learning device may receive such a pathology image. It can provide an environment.
  • the cancer region learning apparatus may display the received pathology image through one region of the screen.
  • the MRI may include various parameters. Since the T2 image, the ADC image, etc. are made of a two-dimensional image, it may be difficult to identify cancer tissue existing in an area not displayed on the image itself. On the other hand, among the images obtained based on the MRI, DWI can represent information that is contained in the tissue and the water molecules contained in the tissue are spread in a specific direction, so that information not displayed on a T2 image, an ADC image, or the like can be expressed. You can. In consideration of this, the cancer area learning apparatus may further display the DWI through one area of the screen.
  • the dark area learning apparatus may check DCE signal information and may further display DCE signal information through one area of the screen.
  • the DCE signal information is information for checking the brightness of the corresponding organ, and may be information indicating a brightness of the selected area by selecting a predetermined area from an image obtained based on MRI. Accordingly, the cancer area learning apparatus may identify an area selected by the user through the user interface, and display DCE signal information corresponding thereto.
  • the cancer region learning apparatus may selectively provide reference information contributing to the labeling processing of the cancer region based on the characteristics of each body organ or the diagnosis region or the cancer region present in the body organ or the diagnosis region.
  • the cancer region learning apparatus may provide T1 Contrast image, T2 Contrast image, PET, SPECT, DSA, etc. as reference information.
  • the cancer region learning apparatus may provide a T1 Contrast image, a T2 Contrast image, and the like as reference information.
  • the cancer area learning device may provide FDG-PET, SPECT, etc. as reference information.
  • the cancer area learning apparatus may provide a user interface capable of performing labeling while displaying reference information (pathology image, DWI, DCE signal information, etc.).
  • the user interface may include at least one parametric MRI (eg, T2 image).
  • the user interface may be connected through an external input device such as a mouse device, a digitizer device, a touch screen device, etc., and may include a predetermined indicator output in a region designated by the external input device.
  • the dark area learning apparatus may set a predetermined area selected through the indicator as a dark area, and the user interface may include a labeling indicator indicating the corresponding area set as the dark area.
  • the cancer region learning apparatus may learn the cancer detection model by using the parametric MRI of the diagnostic region as an input and the labeled region as the output.
  • the apparatus for evaluating the effectiveness of detecting a cancer area may receive an image to be analyzed.
  • the analysis target image is an MRI of a user (or a patient) that is a target for diagnosing cancer, and may include at least one parametric MRI described above.
  • the validity evaluation apparatus for detecting the cancer region may check the cancer region information using the above-described diagnostic region detection model and the cancer region detection model (S904).
  • the validity evaluation apparatus for cancer region detection uses the diagnostic region detection model to determine the parametric MRI of the diagnostic region ( 511, 512, 513) can be detected and output.
  • the apparatus for evaluating the effectiveness of detecting a cancer region may input parametric MRIs 511, 512, and 513 of the diagnosis region into the cancer region detection model and output cancer region information.
  • the apparatus for evaluating the effectiveness of detecting a cancer region may output the image 271 marking the region 271a (see FIG. 2B) where the cancer is located in the parametric MRIs 511, 512, and 513 of the diagnosis region as cancer region information. have.
  • the apparatus for evaluating the validity of the detection of the cancer region may generate and provide guide information using the cancer region information identified through operation S904.
  • the apparatus for evaluating the effectiveness of detecting a cancer region may output an image 271 marking the region where the cancer is located as guide information through a display or the like.
  • the cancer region detection model may be constructed through learning to extract characteristics of an image to be analyzed and generate predetermined context information based on the extracted features. It may be configured based on probability values for the included feature regions. Based on this, in step S904, the apparatus for evaluating the effectiveness of detecting the cancer region may provide the probability value for the feature region detected as the cancer region as the cancer region information.
  • the validity evaluating apparatus for detecting the dark area may generate guide information using a probability value for the feature area detected as the dark area.
  • the apparatus for evaluating the validity of dark area detection sets a predetermined threshold value, sets an area where a probability value for a feature area detected as a dark area exceeds the predetermined threshold value as a candidate point, and sets the set candidate point 272a , 272b, 272c (see FIG. 2B).
  • the apparatus for evaluating the validity of the detection of the cancer region may receive the second cancer region based on the guide information.
  • the apparatus for evaluating the effectiveness of detecting a cancer region may display guide information and provide an input interface through which the second cancer region can be input.
  • the input interface 280 (see FIG. 2B) is a video display unit 281 for displaying a T2 image, and a predetermined indicator 282 and an indicator 282 output to a region designated by an external input device. And a second arm region indicator 283 for setting and displaying a predetermined region to be selected as a dark region.
  • the user (expert or doctor) can set and input a predetermined region as the second arm region through the input interface while checking the guide information (eg, the guide image 272).
  • the guide information eg, the guide image 272).
  • the image display unit 281 displays a T2 image
  • the present disclosure does not limit the image displayed by the image display unit 281.
  • the image displayed by the image display unit 281 may be variously changed corresponding to the diagnosis area or the cancer area.
  • the apparatus for evaluating the effectiveness of detecting a cancer region may receive a first cancer region based on a parametric MRI. That is, the apparatus for evaluating the validity of detecting the cancer region may display guide information and provide an input interface through which the first cancer region can be input.
  • the apparatus for evaluating the validity of cancer region detection may provide at least one parametric MRI so that a user (expert or doctor) can set the first cancer region while referring to at least one parametric MRI.
  • the apparatus for evaluating the effectiveness of detecting a cancer region includes a parametric MRI display unit 210 (refer to FIG. 2A) displaying at least one parametric MRI, and a screen including an input interface 220 capable of inputting the first cancer region. 200 can be provided.
  • the parametric MRI display unit 210 may include display units 211, 212, 213, and 214 for displaying at least one of T2 image, ADC image, DWI, and DCE signal information.
  • the input interface 220 may be connected through an image display unit 221 displaying a T2 image and an external input device such as a mouse device, a digitizer device, a touch screen device, and the like, and output to an area designated by the external input device. It may include a predetermined indicator 222. In addition, the input interface 220 may set a predetermined area selected through the indicator 222 as a dark area, and may include a first arm area indicator 223 indicating a corresponding area set as a dark area. .
  • a user may set and input a predetermined region as a first arm region through an input interface while checking at least one parametric MRI.
  • the image display unit 221 displays a T2 image
  • the present disclosure does not limit the image displayed by the image display unit 221.
  • the image displayed by the image display unit 221 may be variously changed corresponding to the diagnosis area or the cancer area.
  • the user enters the first arm region (or second arm region) and then enters the first arm region.
  • the second arm region (or the first arm region) may be input while the one arm region (or the second arm region) is recognized.
  • the user recognizes the first arm region (or second arm region) input by the user
  • the second arm region or first arm region
  • the user may be input based on the will of the expert or doctor.
  • the second arm region (or the first arm region) is input based on the will of the user (expert or doctor), the second arm region (or the first arm region) is not correctly input, and the second arm region ( Alternatively, it may be difficult to determine the effectiveness of the first cancer region).
  • the apparatus for evaluating the effectiveness of detecting the cancer region may perform step S906 and then proceed to step S907 after a predetermined time (eg, one week or one month) has elapsed.
  • a predetermined time eg, one week or one month
  • the apparatus for evaluating the effectiveness of detecting a cancer region checks whether a predetermined time (eg, one week or one month) has elapsed since the step S906 is completed, and a predetermined time (eg, one week or one month) has elapsed. Accordingly, step S907 may be performed.
  • a part of the user's (or patient's) body region may be extracted through surgery, and a pathological image visualizing an area where cancer tissue is present in the extracted body region may be configured.
  • the apparatus for evaluating the effectiveness of cancer area detection may provide an environment for receiving a pathology image, and may display the received pathology image through a display (S908).
  • the pathology image may include an image of a pathology map that maps an area in which the cancer of the extracted body region is present, in an image form.
  • the apparatus for evaluating the validity of detecting a cancer region may generate the validity evaluation information for the second cancer region by comparing the first cancer region and the second cancer region based on the pathology image.
  • the apparatus for evaluating the effectiveness of detecting a cancer region divides a part of the body region (eg, a prostate region) into predetermined size units (302, see FIG. 3A), and the first cancer region 303 exists within the region.
  • the first binary map 304 for a given unit can be configured.
  • the apparatus for evaluating the effectiveness of detecting a cancer region divides the pathologic image 311 into predetermined size units (312), and the first cancer region 313 is within an area where a part of the body region (eg, a prostate region) is located. It is possible to construct a pathological binary map 314 for a given unit.
  • the validity evaluation apparatus for detecting the dark region may check the first match degree information 320 for the first binary map 304 based on the pathology binary map 314.
  • the first coincidence information 320 may be information displayed by numerically measuring the degree of similarity between corresponding path regions of the pathological binary map 314 and the first binary map 304.
  • the first coincidence information 320 may include sensitivity information and specificity information for a unit region.
  • the apparatus for evaluating the effectiveness of detecting a cancer region divides a part of the body region (eg, a prostate region) into predetermined size units (see 332, FIG. 3B), and the second cancer region 333 exists within the region.
  • a second binary map 334 for a given unit can be configured.
  • the apparatus for evaluating the effectiveness of detecting the cancer region may check the second coincidence degree information 340 for the second binary map 334 based on the pathological binary map 314.
  • the second coincidence information 340 may be information displayed by numerically quantifying the degree of similarity between corresponding path regions of the pathological binary map 314 and the second binary map 334.
  • the second coincidence information 340 may include sensitivity information and specificity information for a unit region.
  • the validity evaluation apparatus for detecting the dark area may compare and output the first consistency information 320 and the second consistency information 340, to calculate and output the effectiveness evaluation information (see FIG. 3C).
  • the apparatus for evaluating the effectiveness of detecting a cancer area compares the first consistency information 320 and the second consistency information 340 described above, and the second consistency information 340 is relatively higher than the first consistency information 320. If a value is indicated, it is determined that the second cancer region is valid, and if the second coincidence information 340 is equal to or relatively lower than the first coincidence information 320, the second cancer region may be determined to be invalid. have.
  • the second cancer region is a user (expert or doctor) based on guide information designating a region in which a cancer region is likely to exist. Therefore, when the validity evaluation information indicates that the second cancer region is valid, the component providing the guide information can be recognized as a device that can be effectively used to determine the region where the cancer is present.
  • FIG. 10 is a block diagram illustrating a computing system executing a method and apparatus for evaluating the effectiveness of cancer region detection according to an embodiment of the present disclosure.
  • the computing system 1000 includes at least one processor 1100 connected through a bus 1200, a memory 1300, a user interface input device 1400, a user interface output device 1500, and storage 1600, and the network interface 1700.
  • the processor 1100 may be a central processing unit (CPU) or a semiconductor device that executes processing for instructions stored in the memory 1300 and / or storage 1600.
  • the memory 1300 and the storage 1600 may include various types of volatile or nonvolatile storage media.
  • the memory 1300 may include read only memory (ROM) and random access memory (RAM).
  • steps of a method or algorithm described in connection with the embodiments disclosed herein may be directly implemented by hardware executed by the processor 1100, a software module, or a combination of the two.
  • the software modules reside in storage media (ie, memory 1300 and / or storage 1600) such as RAM memory, flash memory, ROM memory, EPROM memory, EEPROM memory, registers, hard disk, removable disk, CD-ROM. You may.
  • An exemplary storage medium is coupled to the processor 1100, which can read information from and write information to the storage medium.
  • the storage medium may be integral with the processor 1100.
  • Processors and storage media may reside within an application specific integrated circuit (ASIC).
  • the ASIC may reside within a user terminal.
  • the processor and storage medium may reside as separate components within the user terminal.
  • Exemplary methods of the present disclosure are expressed as a series of operations for clarity of description, but are not intended to limit the order in which the steps are performed, and each step may be performed simultaneously or in a different order if necessary.
  • the steps illustrated may include other steps in addition, other steps may be included in addition to the remaining steps, or additional other steps may be included in addition to some steps.
  • various embodiments of the present disclosure may be implemented by hardware, firmware, software, or a combination thereof.
  • ASICs Application Specific Integrated Circuits
  • DSPs Digital Signal Processors
  • DSPDs Digital Signal Processing Devices
  • PLDs Programmable Logic Devices
  • FPGAs Field Programmable Gate Arrays
  • ASICs Application Specific Integrated Circuits
  • DSPs Digital Signal Processors
  • DSPDs Digital Signal Processing Devices
  • PLDs Programmable Logic Devices
  • FPGAs Field Programmable Gate Arrays
  • Universal It can be implemented by a processor (general processor), a controller, a microcontroller, a microprocessor.
  • the scope of the present disclosure includes software or machine-executable instructions (eg, operating systems, applications, firmware, programs, etc.) that cause an operation according to the method of various embodiments to be executed on a device or computer, and such software or Instructions include a non-transitory computer-readable medium that is stored and executable on a device or computer.
  • software or Instructions include a non-transitory computer-readable medium that is stored and executable on a device or computer.
  • the present invention can be used in the field of detecting diseases.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computational Linguistics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

암 영역 검출의 유효성 평가 장치가 제공될 수 있다. 상기 암 영역 검출의 유효성 평가 장치는 서로 다른 파라미터에 기초하여 구성된 적어도 하나의 파라메트릭 MRI(Magnetic Resonance Imaging)를 제공하는 파라메트릭 MRI 제공부와, 상기 적어도 하나의 파라메트릭 MRI에 기초하여 제1 암 영역을 입력받는 제1 암 영역 입력부와, 상기 적어도 하나의 파라메트릭 MRI를 입력으로 하고, 암 영역 정보를 출력으로 하는 암 영역 검출모델을 포함하고, 상기 암 영역 검출모델을 통해 분석 대상 영상에 대응되는 가이드 정보를 생성 및 제공하는 암 영역 처리부와, 상기 가이드 정보에 기초하여 제2 암 영역을 입력받는 제2 암 영역 입력부와, 추출된 신체 일부의 암이 존재하는 영역을 지도화한 병리영상을 기준으로 하고, 상기 제1 암 영역과 상기 제2 암 영역을 비교하여, 상기 제2 암 영역에 대한 유효성 평가 정보를 생성하는 유효성 평가부를 포함할 수 있다.

Description

암 영역 검출의 유효성 평가 장치
본 개시는 암 영역 검출 기술에 관한 것이며, 보다 구체적으로는 영상 정보 분석을 기반으로 검출된 암 영역에 대한 유효성을 평가하는 방법 및 장치에 대한 것이다.
딥러닝(deep learning)은 매우 방대한 양의 데이터를 학습하여, 새로운 데이터가 입력될 경우 학습 결과를 바탕으로 확률적으로 가장 높은 답을 선택하는 것이다. 이러한, 딥러닝은 영상에 따라 적응적으로 동작할 수 있으며, 데이터에 기초하여 모델을 학습하는 과정에서 특성인자를 자동으로 찾아내기 때문에 최근 인공 지능 분야에서 이를 활용하려는 시도가 늘어나고 있는 추세이다.
한편, 영상 인식과 관련하여 딥러닝을 이용한 종래의 영상 분석 기술은 합성곱 신경망(Convolutional Neural Network, CNN)과 최대 풀링(max pooling)기법을 이용하여 영상의 각 영역마다 국소적인 특징을 추출하고 이를 바탕으로 영상을 인식한다. 그러나, 이러한 방법은 실제 영상의 내용은 상이하지만 국소적인 정보 형태가 유사한 영상에 대해서는 정확한 인식 결과를 제공하지 못하는 문제가 있다.
한편, 사용자 또는 환자의 신체를 촬영한 자기공명영상(MRI; Magnetic Resonance Imaging)에 다양한 파라미터를 적용하여 다양한 영상, 즉, 파라메트릭 MRI를 재구성할 수 있다. 이러한 파라메트릭 MRI는 신체의 변화나, 질병을 나타내는 중요한 요소로 사용될 수 있다.
그러나, 특정 질병에 대하여 사용자 또는 환자의 상태는 다양하게 나타날 수 있으며, 또한, 질병 역시 다양한 특성이나 형태를 나타낼 수 있다. 따라서, 파라메트릭 MRI가 나타내는 정보와 신체의 변화 또는 질병과의 상관관계를 정형화하기 어려운 문제가 있다.
이러한 점을 고려하여, 영상의 국소적인 특징 및 전역적인 맥락에 기초하여 다양한 파라메트릭 MRI와 특정 질병 사이의 관계를 학습하고, 학습에 의해 구축된 딥러닝 모델을 사용하여 암 발생이 예상되는 영역을 검출할 수 있다.
나아가, 딥러닝 모델 기반으로 검출한 암 영역의 신뢰성을 높이기 위해서, 딥러닝 모델 기반으로 검출한 암 영역이 실제 암 영역과 일치하는지 여부를 확인할 필요가 있다.
본 개시의 기술적 과제는 딥러닝 모델 기반으로 검출한 암 영역에 대한 유효성을 평가하는 방법 및 장치에 대한 것이다.
본 개시의 다른 기술적 과제는 딥러닝 모델 기반의 암 영역과 실제 암이 존재하는 영역 사이의 일치도를 정량적으로 평가하는 방법 및 장치에 대한 것이다.
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 양상에 따르면, 암 영역 검출의 유효성 평가 장치가 제공될 수 있다. 상기 장치는 서로 다른 파라미터에 기초하여 구성된 적어도 하나의 파라메트릭 MRI(Magnetic Resonance Imaging)를 제공하는 파라메트릭 MRI 제공부와, 상기 적어도 하나의 파라메트릭 MRI에 기초하여 제1 암 영역을 입력받는 제1 암 영역 입력부와, 상기 적어도 하나의 파라메트릭 MRI를 입력으로 하고, 암 영역 정보를 출력으로 하는 암 영역 검출모델을 포함하고, 상기 암 영역 검출모델을 통해 분석 대상 영상에 대응되는 가이드 정보를 생성 및 제공하는 암 영역 처리부와, 상기 가이드 정보에 기초하여 제2 암 영역을 입력받는 제2 암 영역 입력부와, 추출된 신체 일부의 암이 존재하는 영역을 지도화한 병리영상을 기준으로 하고, 상기 제1 암 영역과 상기 제2 암 영역을 비교하여, 상기 제2 암 영역에 대한 유효성 평가 정보를 생성하는 유효성 평가부를 포함할 수 있다.
본 개시의 다른 양상에 따르면, 암 영역 검출의 유효성 평가 방법이 제공될 수 있다. 상기 방법은 서로 다른 파라미터에 기초하여 구성된 적어도 하나의 파라메트릭 MRI(Magnetic Resonance Imaging)를 제공하는 과정과, 상기 적어도 하나의 파라메트릭 MRI에 기초하여 제1 암 영역을 입력받는 과정과, 상기 적어도 하나의 파라메트릭 MRI를 입력으로 하고, 암 영역 정보를 출력으로 하는 암 영역 검출모델을 구축하는 과정과, 상기 암 영역 검출모델을 통해 분석 대상 영상에 대응되는 가이드 정보를 제공하는 과정과, 상기 가이드 정보에 기초하여 제2 암 영역을 입력받는 과정과, 추출된 신체 일부의 암이 존재하는 영역을 지도화한 병리영상을 기준으로 하고, 상기 제1 암 영역과 상기 제2 암 영역을 비교하여, 상기 제2 암 영역에 대한 유효성 평가 정보를 생성하는 과정을 포함할 수 있다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 개시에 따르면, 딥러닝 모델 기반으로 검출한 암 영역에 대한 유효성을 평가하는 방법 및 장치가 제공될 수 있다.
또한, 본 개시에 따르면, 딥러닝 모델 기반의 암 영역과 실제 암이 존재하는 영역 사이의 일치도를 정량적으로 평가하는 방법 및 장치가 제공될 수 있다.
또한, 본 개시에 따르면, 딥러닝 모델 기반의 암 영역을 참조하여 설정된 암 영역과 실제 암 영역 사이의 일치도와, 딥러닝 모델 기반의 암 영역을 참조하지 않고 설정된 암 영역과 실제 암 영역 사이의 일치도를 기반으로, 딥러닝 모델 기반으로 확인된 암 영역의 유효성을 평가하는 방법 및 장치가 제공될 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시 예에 따른 암 영역 검출의 유효성 평가 장치의 구성을 도시하는 블록도이다.
도 2a 및 도 2b는 본 개시의 일 실시 예에 따른 암 영역 검출의 유효성 평가 장치가 출력하는 화면의 일 예시도이다.
도 3a 내지 3c는 본 개시의 일 실시 예에 따른 암 영역 검출의 유효성 평가 장치가 일치도 정보를 기반으로 유효성 평가 정보를 생성하는 동작을 예시하는 도면이다.
도 4는 도 1에 구비된 암 영역 처리부의 상세 구성을 도시하는 도면이다.
도 5a 내지 도 5c는 본 개시의 일 실시 예에 따른 암 영역 처리부에 의해 처리되는 영상의 일 예시도이다.
도 6은 본 개시의 일 실시 예에 따른 암 영역 학습 장치의 구성을 나타내는 블록도이다.
도 7은 본 개시의 일 실시 예에 따른 딥러닝 모델 학습 장치에 구비되는 암 검출모델 학습부의 구성을 나타내는 블록도이다.
도 8은 본 개시의 일 실시 예에 따른 영상의 맥락 정보를 생성하고 분석하는 과정을 나타내는 도면이다.
도 9는 본 개시의 일 실시예에 따른 암 영역 검출의 유효성 평가 방법의 순서를 도시하는 흐름도이다.
도 10은 본 개시의 일 실시예에 따른 암 영역 검출의 유효성 평가 방법 및 장치를 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.
이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.
본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.
본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.
우선, 본 개시의 일 실시 예에 따른 암 영역 검출의 유효성 평가 장치는 사용자에 의해 입력되는 암 영역의 유효성을 평가하기 위한 장치이다. 특히, 본 개시의 일 실시 예에 따르면, 암 영역 검출의 유효성 평가 장치는 사용자(전문가 또는 의사 등)가 파라메트릭 MRI를 참조하여 제1 암 영역을 입력할 수 있는 환경과, 딥러닝 기반의 학습을 통해 구축된 암 영역 검출모델이 제공하는 가이드 정보를 참조하여 제2 암 영역을 입력할 수 있는 환경을 제공한다. 그리고, 본 개시의 일 실시 예에 따른 암 영역 검출의 유효성 평가 장치는 제2 암 영역에 대한 평가를 수행할 수 있도록 구비된다.
이하, 첨부한 도면을 참조하여 본 개시의 일 실시 예에 따른 암 영역 검출의 유효성 평가 장치에 대해서 설명한다.
도 1은 본 개시의 일 실시 예에 따른 암 영역 검출의 유효성 평가 장치의 구성을 도시하는 블록도이다.
도 1을 참조하면, 본 개시의 일 실시 예에 따른 암 영역 검출의 유효성 평가 장치(10)는 암 영역 처리부(11), 파라메트릭 MRI 제공부(12), 제1 암 영역 입력부(13), 제2 암 영역 입력부(15), 병리영상 입력부(17), 및 유효성 평가부(18)를 포함할 수 있다.
*암 영역 처리부(11)는 암 영역 학습 장치(1)에 의해 구축된 진단 영역 검출모델(100)과 암 영역 검출모델(100')을 포함할 수 있다.
암 영역 처리부(11)는 원본 파라메트릭 MRI를 입력 받음에 따라, 진단 영역 검출모델(100)을 사용하여 진단 영역의 파라메트릭 MRI를 검출하고, 암 영역 검출모델(100')을 통해 암 영역에 대한 정보(이하, '암 영역 정보'라 함)를 확인할 수 있다. 또한, 암 영역 처리부(11)는 암 영역 정보를 사용하여 가이드 정보를 생성할 수 있다.
그리고, 암 영역 처리부(11)는 가이드 정보를 제2 암 영역 입력부(15)에 제공할 수 있다.
한편, 파라메트릭 MRI 제공부(12)는 사용자(전문가 또는 의사 등)가 적어도 하나의 파라메트릭 MRI를 참조하면서 제1 암 영역을 설정할 수 있도록, 적어도 하나의 파라메트릭 MRI를 제공할 수 있다. 그리고, 제1 암 영역 입력부(13)는 적어도 하나의 파라메트릭 MRI를 표시하는 파라메트릭 MRI 표시부(210, 도 2a 참조)와, 제1 암 영역을 입력할 수 있는 제1입력 인터페이스(220)를 포함하는 화면(200)을 제공할 수 있다.
예컨대, 파라메트릭 MRI 표시부(210)는 T1(T1-weighted) 영상, T2(T2-weighted) 영상, T2*(T2 star) 영상, ADC(apparent diffusion coefficients) 영상, FLAIR (Fluid Attenuated inversion recovery) 영상, STIR(Short TI inversion recovery) 영상, PWI (Perfusion weighted image) 중 적어도 하나를 표시하는 표시부(211, 212, 213, 214)를 포함할 수 있다.
그리고, 제1입력 인터페이스(220)는 T2 영상을 표시하는 영상 표시부(221)와, 마우스 장치, 디지타이저 장치, 터치스크린 장치 등과 같은 외부 입력장치를 통해 연결될 수 있으며, 외부 입력장치에 의해 지정되는 영역에 출력되는 소정의 표시자(222)를 포함할 수 있다. 또한, 제1입력 인터페이스(220)는 표시자(222)를 통해 선택되는 소정의 영역을 암 영역으로 설정할 수 있으며, 암 영역으로 설정된 해당 영역을 표시하는 제1 암 영역 지시자(223)를 포함할 수 있다.
비록, 본 개시의 일 실시예에서, 영상 표시부(221)가 T2 영상을 표시하는 것을 예시하였으나, 본 개시가 영상 표시부(221)가 표시하는 영상을 한정하는 것은 아니다. 영상 표시부(221)가 표시하는 영상은 진단 영역 또는 암 영역에 대응하여 다양하게 변경될 수 있다.
그리고, 제1 암 영역 입력부(13)는 제1입력 인터페이스(220)를 통해 입력되는 제1 암 영역을 제1 암 영역 DB(14)에 저장 및 관리할 수 있다.
한편, 제2 암 영역 입력부(15)는 적어도 하나의 파라메트릭 MRI를 표시하는 파라메트릭 MRI 표시부(260, 도 2b 참조)와, 전술한 암 영역 처리부(11)가 제공한 가이드 정보를 표시하는 가이드 정보 표시부(270)와, 제2 암 영역을 입력할 수 있는 제2입력 인터페이스(280)를 포함하는 화면(250)을 제공할 수 있다.
예컨대, 파라메트릭 MRI 표시부(260)는 T1(T1-weighted) 영상, T2(T2-weighted) 영상, T2* (T2 star) 영상, ADC(apparent diffusion coefficients) 영상, FLAIR (Fluid Attenuated inversion recovery) 영상, STIR(Short TI inversion recovery) 영상, PWI (Perfusion weighted image) 중 적어도 하나를 표시하는 적어도 하나의 표시부(261, 262)를 포함할 수 있다.
예컨대, 암 영역 처리부(11)는 적어도 하나의 파라메트릭 MRI에 포함되는 특징 영역 분석과 특징 영역에 대한 맥락 분석 등을 통해 암 후보 후보 영역을 설정하고, 설정된 후보 영역을 포함하는 가이드 정보를 생성할 수 있다. 이에 대응하여, 가이드 정보 표시부(270)는 암 후보 영역(271a)을 포함하는 가이드 영상(271)을 구성하여 표시할 수 있다.
다른 예로서, 암 영역 처리부(11)는 미리 정해진 임계값을 설정하고, 암 영역으로 검출된 특징 영역에 대한 확률값이 상기 미리 정해진 임계값을 초과하는 영역을 암 후보 포인트로 설정하고, 설정된 후보 포인트를 포함하는 가이드 정보를 생성할 수 있다. 이에 대응하여, 가이드 정보 표시부(270)는 후보 포인트(272a, 272b, 272c)를 포함하는 가이드 영상(272)을 구성하여 표시할 수 있다.
제2입력 인터페이스(280)는 전술한 제1입력 인터페이스와 마찬가지로, 사용자에 의해 암 영역을 입력받을 수 있는 환경을 제공하며, T2 영상을 표시하는 영상 표시부(281)와, 외부 입력장치에 의해 지정되는 영역에 출력되는 소정의 표시자(282), 표시자(282)를 통해 선택되는 소정의 영역을 암 영역으로 설정하고 표시하는 제2 암 영역 지시자(283)를 포함할 수 있다.
비록, 본 개시의 일 실시예에서, 영상 표시부(281)가 T2 영상을 표시하는 것을 예시하였으나, 본 개시가 영상 표시부(281)가 표시하는 영상을 한정하는 것은 아니다. 영상 표시부(281)가 표시하는 영상은 진단 영역 또는 암 영역에 대응하여 다양하게 변경될 수 있다.
그리고, 제2 암 영역 입력부(15)는 제2입력 인터페이스(280)를 통해 입력되는 제2 암 영역을 제2 암 영역 DB(16)에 저장 및 관리할 수 있다.
한편, 사용자(또는 환자)의 진단 영역(예, 전립선 영역)을 수술을 통하여 적출하고, 적출된 진단 영역에서 암 조직이 존재하는 영역을 가시화한 병리영상(Pathology image)을 구성할 수 있다. 이를 고려하여, 병리영상 입력부(17)는 병리영상을 입력받을 수 있는 환경을 제공할 수 있으며, 입력받은 병리영상을 디스플레이 등을 통해 표시할 수 있다. 예컨대, 병리영상은 추출된 진단 영역의 암이 존재하는 영역을 지도화한 병리지도(pathology map)를 이미지 형태로 구성한 영상을 포함할 수 있다.
병리영상 입력부(17)는 상기 병리영상을 유효성 평가부(18)에 제공할 수 있다. 유효성 평가부(18)는 병리영상을 기준으로 제1 암 영역과 제2 암 영역을 비교하여, 제2 암 영역에 대한 유효성 평가 정보를 생성할 수 있다.
예를 들어, 유효성 평가부(18)는 전립선이 위치한 영역을 소정의 크기단위로 분할하고(302, 도 3a 참조), 전립선이 위치한 영역 내에서 상기 제1 암 영역(303)이 존재하는 소정의 단위에 대한 제1바이너리 맵(304)을 구성할 수 있다.
또한, 유효성 평가부(18)는 병리영상(311)을 소정의 크기단위로 분할하고(312), 전립선이 위치한 영역 내에서 상기 제1 암 영역(313)이 존재하는 소정의 단위에 대한 병리 바이너리 맵(314)을 구성할 수 있다.
그리고, 유효성 평가부(18)는 병리 바이너리 맵(314)을 기준으로, 제1바이너리 맵(304)에 대한 제1일치도 정보(320)를 확인할 수 있다. 상기 제1일치도 정보(320)는 병리 바이너리 맵(314)과 제1바이너리 맵(304)의 대응되는 단위 영역이 유사한 정도를 수치화하여 표시한 정보일 수 있다. 나아가, 상기 제1일치도 정보(320)는 단위 영역에 대한 민감도 정보(Sensitivity)와 특이도 정보(Specificity)를 포함할 수 있다.
마찬가지로, 유효성 평가부(18)는 전립선이 위치한 영역을 소정의 크기단위로 분할하고(332, 도 3b 참조), 전립선이 위치한 영역 내에서 상기 제2 암 영역(333)이 존재하는 소정의 단위에 대한 제2바이너리 맵(334)을 구성할 수 있다. 그리고, 유효성 평가부(18)는 병리 바이너리 맵(314)을 기준으로, 제2바이너리 맵(334)에 대한 제2일치도 정보(340)를 확인할 수 있다. 상기 제2일치도 정보(340)는 병리 바이너리 맵(314)과 제2바이너리 맵(334)의 대응되는 단위 영역이 유사한 정도를 수치화하여 표시한 정보일 수 있다. 나아가, 상기 제2일치도 정보(340)는 단위 영역에 대한 민감도 정보(Sensitivity)와 특이도 정보(Specificity)를 포함할 수 있다.
또한, 유효성 평가부(18)는 전술한 제1일치도 정보(320)와 제2일치도 정보(340)를 비교하여, 유효성 평가 정보를 산출 및 출력할 수 있다(도 3c 참조). 예컨대, 유효성 평가부(18)는 전술한 제1일치도 정보(320)와 제2일치도 정보(340)를 비교하고, 제2일치도 정보(340)가 제1일치도 정보(320)보다 상대적으로 높은 수치를 나타낼 경우 제2 암 영역이 유효한 것으로 결정하고, 제2일치도 정보(340)가 제1일치도 정보(320)와 동일하거나 상대적으로 낮은 수치를 나타낼 경우 제2 암 영역이 유효하지 않은 것으로 결정할 수 있다.
제2 암 영역은 암 영역 처리부(11)가 제공하는 가이드 정보를 기반으로 사용자(전문가 또는 의사 등)가 암 영역이 존재할 가능성이 높은 영역을 지정한 것이다. 따라서, 상기 유효성 평가 정보가 제2 암 영역이 유효한 것임을 나타낼 경우, 암 영역 처리부(11)는 암이 존재하는 영역을 결정하는데 유효하게 사용될 수 있는 장치로 인정될 수 있다.
한편, 제1 암 영역과, 제2 암 영역을 입력하는 시간적 차이가 없을 경우, 사용자(전문가 또는 의사 등)는 제1 암 영역(또는 제2 암 영역)을 입력한 후, 자신이 입력한 제1 암 영역(또는 제2 암 영역)을 인지하고 있는 상태에서, 제2 암 영역(또는 제1 암 영역)을 입력할 수 있다. 이와 같이, 사용자(전문가 또는 의사 등)가 자신이 입력한 제1 암 영역(또는 제2 암 영역)을 인지하고 있는 상태에서, 제2 암 영역(또는 제1 암 영역)을 입력할 경우, 사용자(전문가 또는 의사 등)의 의지를 기반으로 제2 암 영역(또는 제1 암 영역)이 입력될 수 있다. 사용자(전문가 또는 의사 등)의 의지를 기반으로 제2 암 영역(또는 제1 암 영역)이 입력될 경우, 제2 암 영역(또는 제1 암 영역)이 정확하게 입력되지 않으며, 제2 암 영역(또는 제1 암 영역)에 대한 유효성을 판단하기 어려울 수 있다.
전술한 바를 고려하여, 유효성 평가부(18)는 제1 암 영역 입력부(13)와 제2 암 영역 입력부(15)의 동작을 제어할 수 있다. 예컨대, 유효성 평가부(18)는 우선적으로 제2 암 영역이 입력될 수 있도록, 제2 암 영역 입력부(15)를 활성화하여, 제2 암 영역을 입력받을 수 있다. 그리고, 제2 암 영역이 입력이 완료된 후, 소정의 시간(예컨대, 1주일 또는 1달)이 경과한 후, 제1 암 영역 입력부(13)를 활성화하여, 제2 암 영역에 대응되는 제1 암 영역의 입력받을 수 있다.
나아가, 본 개시의 일 실시예에서, 암 영역 처리부(11)가 암 영역 검출의 유효성 평가 장치(10) 내에 구비되는 것을 예시하였으나, 본 개시가 이를 한정하는 것은 아니다. 암 영역 검출의 유효성 평가 장치(10)는 암 영역 검출모델을 기반으로 제공되는 가이드 정보를 사용하여 암 영역(제2 암 영역)을 입력할 수 있는 환경을 제공할 수 있으면 충분하다.
예컨대, 암 영역 처리부(11)는 암 영역 검출의 유효성 평가 장치(10)와 별도의 장치로서 구비될 수 있으며, 암 영역 검출의 유효성 평가 장치(10)와 유무선 통신을 통해 연결되어 가이드 정보를 제공할 수 있다.
다른 예로서, 암 영역 처리부(11), 제2 암 영역 입력부(15), 및 제2 암 영역 DB(16)는 별도의 장치로 구비될 수 있으며, 암 영역 검출모델을 기반으로 제공되는 가이드 정보를 사용하여 암 영역(제2 암 영역)을 입력받고, 이를 제2 암 영역 DB(16)에 저장 및 관리할 수 있다. 그리고, 암 영역 처리부(11), 제2 암 영역 입력부(15), 및 제2 암 영역 DB(16)를 구비한 장치는 암 영역 검출의 유효성 평가 장치(10)와 유무선 통신을 통해 연결될 수 있으며, 제2 암 영역 DB(16)에 저장된 제2 암 영역을 유효성 평가부(18)로 제공할 수도 있다.
도 4는 도 1에 구비된 암 영역 처리부의 상세 구성을 도시하는 도면이다.
도 4를 참조하면, 본 개시의 일 실시 예에 따른 암 영역 처리부는 진단 영역 검출모델 및 암 영역 검출모델을 사용하여 상기 암 영역을 포함하는 가이드 정보를 생성 및 제공할 수 있다.
구체적으로, 암 영역 처리부(40)는 진단 영역 검출부(41)와, 암 영역 검출부(43)와, 가이드 정보 제공부(45)를 포함할 수 있다.
진단 영역 검출부(41)는 전술한 암 영역 학습 장치(1)에 의해 구축된 진단 영역 검출모델(100)을 포함할 수 있으며, 암 영역 검출부(43)는 전술한 암 영역 학습 장치(1)에 의해 구축된 암 영역 검출모델(100')을 포함할 수 있다.
진단 영역 검출부(41)는 원본 파라메트릭 MRI(501, 502, 503, 도 5a 참조)를 입력 받음에 따라, 진단 영역 검출모델(100)을 사용하여 진단 영역의 파라메트릭 MRI(511, 512, 513)를 검출하여 출력할 수 있다.
이에 대응하여, 암 영역 검출부(43)는 진단 영역 검출부(41)로부터 출력되는 진단 영역의 파라메트릭 MRI(511, 512, 513)를 입력받을 수 있으며, 암 영역 검출모델(100')을 통해 암 영역에 대한 정보(이하, '암 영역 정보'라 함)를 출력할 수 있다.
특히, 암 영역 검출부(43)는 진단 영역의 파라메트릭 MRI(511, 512, 513) 중 적어도 하나에 암이 예상되는 영역(521, 도 5b 참조)을 마킹한 영상(520)을 암 영역 정보로서 출력할 수 있다.
가이드 정보 제공부(45)는 암 영역 검출부(43)가 제공하는 암 영역 정보를 사용하여 가이드 정보를 생성할 수 있다. 그리고, 가이드 정보 제공부(45)는 생성된 가이드 정보를 디스플레이 등을 통해 출력할 수 있다. 예컨대, 가이드 정보 제공부(45)는 암이 위치한 영역(521)을 마킹한 영상(520)을 가이드 정보로서 디스플레이 등을 통해 출력할 수 있다.
나아가, 암 영역 검출모델(100')은 분석 대상 영상의 특징을 추출하고, 추출된 특징을 기반으로 소정의 맥락 정보를 생성하는 학습을 통해 구축될 수 있는데, 이러한 맥락 정보는 분석 대상 영상에 포함된 특징 영역에 대한 확률값을 바탕으로 구성될 수 있다. 이에 기초하여, 암 영역 검출부(43)는 암 영역으로 검출된 특징 영역에 대한 확률값을 포함하여 암 영역 정보를 구성할 수도 있다.
전술한 바에 기초하여, 암 영역으로 검출된 특징 영역에 대한 확률값을 사용하여 가이드 정보를 생성할 수 있다. 예컨대, 암 영역은 서로 다른 확률값을 갖는 다수의 특징 영역을 포함할 수 있으며, 가이드 정보 제공부(45)는 미리 정해진 임계값을 설정하고, 암 영역으로 검출된 특징 영역에 대한 확률값이 상기 미리 정해진 임계값을 초과하는 영역을 생체검사(biopsy) 후보 포인트로 설정하고, 설정된 생체검사(biopsy) 후보 포인트(531, 532, 533, 도 5c 참조)를 포함하는 가이드 영상(530)을 구성할 수 있다. 전술한 다수의 특징 영역의 각각에 대한 확률값은 확률맵의 형태로 표현될 수 있으며, 암 영역 정보로서, 암 영역에 오버랩되어 표시될 수 있다.
또한, 가이드 정보 제공부(45)는 확률맵(미도시) 또는 생체검사 후보 포인트(531, 532, 533)와 함께 암 영역(535)을 마킹하여 가이드 영상(530)을 구성할 수도 있다.
한편, 본 개시의 일 실시 예에 따른 암 영역 처리부는 진단 영역 검출모델 및 암 영역 검출모델을 사용하여 상기 암 영역을 포함하는 가이드 정보를 생성 및 제공할 수 있다. 본 개시의 일 실시 예에 따른 진단 영역 검출모델 및 암 영역 검출모델은 본 개시의 일 실시예에 따른 암 영역 학습 장치에 의해 구축될 수 있다.
이하, 도 6 내지 도 8을 참조하여, 암 영역 학습 장치와 이를 사용하여 진단 영역 검출모델 및 암 영역 검출모델을 구축하는 동작을 상세하게 설명한다.
도 6은 본 개시의 일 실시 예에 따른 암 영역 학습 장치의 구성을 나타내는 블록도이다.
도 6을 참조하면, 암 영역 학습장치(60)는 암 검출모델 학습부(61), 파라메트릭 MRI 입력부(63), 라벨링 참조정보 제공부(65), 및 라벨링 처리부(67)를 포함할 수 있다.
우선, 암 검출모델 학습부(61)는 합성곱 신경망(Convolutional Neural Network, CNN) 기법 또는 풀링(pooling) 기법에 기초하여, 암 검출모델의 학습을 수행할 수 있다. 특히, 암 검출모델 학습부(61)가 암 검출모델의 학습을 수행하기 위해서 분석 대상 영상을 입력받을 수 있으며, 분석 대상 영상에 포함된 특정 객체 또는 특정 영역을 암 영역으로 입력받는 동작, 즉, 라벨링(Labeling) 동작을 수행할 수 있다.
그리고, 암 검출모델 학습부(61)는 분석 대상 영상의 특징을 추출하고, 추출된 특징을 기반으로 소정의 맥락 정보를 생성함으로써, 암 검출모델을 학습할 수 있다. 그리고, 암 검출모델 학습부(61)는 암 검출모델의 학습을 반복적으로 수행하여 암 검출모델(600)을 구축할 수 있다.
암 검출모델 학습부(61)는 분석 대상 영상으로서 MRI 영상을 입력받을 수 있는데, 이러한 분석 대상 영상의 입력은 파라메트릭 MRI 입력부(63)에 의해 처리될 수 있다. 파라메트릭 MRI 입력부(63)는 사용자의 신체를 자기공명영상(MRI; Magnetic Resonance Imaging) 촬영 장치에 의해 촬영된 영상, 즉, MRI를 암 검출모델 학습부(61)에 제공할 수 있다.
나아가, MRI에 다양한 파라미터를 적용하여 다양한 영상을 재구성할 수 있는데, 본 개시의 일 실시예에서는 MRI에 소정의 파라미터를 적용하여 재구성한 영상을 파라메트릭 MRI라 지시한다.
이에 기초하여, 파라메트릭 MRI 입력부(63)는 서로 다른 파라미터에 기초하여 구성된 적어도 하나의 파라메트릭 MRI를 암 검출모델 학습부(61)에 제공할 수 있다. 여기서, 적어도 하나의 파라메트릭 MRI는 T1 영상, T2 영상, T2* 영상, ADC 영상, FLAIR 영상, STIR 영상, PWI 등을 포함할 수 있다.
나아가, 암 검출모델 학습부(61)는 사용자(또는 환자)의 신체에 마련된 다양한 신체 기관 또는 진단 영역에 대한 암 검출모델을 학습할 수 있는데, 각 신체 기관 또는 진단 영역이나, 신체 기관 또는 진단 영역에 존재하는 암 영역의 특성에 기초하여 적어도 하나의 파라메트릭 MRI가 선택적으로 사용할 수 있다. 이를 위해, 파라메트릭 MRI 입력부(63)는 신체 기관 또는 진단 영역에 대응되는 적어도 하나의 파라메트릭 MRI를 선택적으로 암 검출모델 학습부(61)에 입력할 수 있다.
예컨대, 신체 기관 또는 진단 영역이 전립선 영역인 경우, 파라메트릭 MRI 입력부(63)는 T2 영상, ADC 영상 등을 입력할 수 있다. 다른 예로서, 신체 기관 또는 진단 영역이 간 영역인 경우, 파라메트릭 MRI 입력부(63)는 STIR 영상, T1 영상, T1 with Agents 영상, T2 영상 등을 입력할 수 있다. 또 다른 예로서, 신체 기관 또는 진단 영역이 뇌 영역인 경우, 파라메트릭 MRI 입력부(63)는 T1 영상, T2 영상, FLAIR 등을 입력할 수 있다.
또한, 파라메트릭 MRI 입력부(63)는 MRI를 암 검출모델 학습부(61)에 제공한 파라메트릭 MRI를 디스플레이 등을 통해 표시할 수 있다.
추가적으로, 파라메트릭 MRI 입력부(63)는 사용자의 진단 영역이 위치한 신체를 촬영한 MRI를 기준으로 한 파라메트릭 MRI(이하, '원본 파라메트릭 MRI'라 함)를 입력받을 수 있으며, 원본 파라메트릭 MRI로부터 진단 영역을 추출한 파라메트릭 MRI(이하, '진단 영역의 파라메트릭 MRI'라 함)를 검출할 수 있다. 그리고, 진단 영역의 파라메트릭 MRI를 암 검출모델 학습부(61)에 제공하거나, 디스플레이 등을 통해 표시할 수 있다.
파라메트릭 MRI 입력부(63)가 원본 파라메트릭 MRI로부터 진단 영역의 파라메트릭 MRI를 추출하는 동작은 합성곱 신경망(Convolutional Neural Network, CNN) 기법 또는 풀링(pooling) 기법 등에 기초하여 수행할 수 있다. 예를 들어, 파라메트릭 MRI 입력부(63)는 원본 파라메트릭 MRI를 입력으로 하고, 진단 영역의 파라메트릭 MRI를 출력으로 하는 학습을 통해 소정의 학습모델을 구축할 수 있다. 그리고, 파라메트릭 MRI 입력부(63)는 원본 파라메트릭 MRI가 입력됨에 따라, 진단 영역의 파라메트릭 MRI를 검출하여 출력할 수 있다.
한편, 라벨링 참조정보 제공부(65)는 상기 암 영역의 라벨링 처리에 기여하는 정보를 제공할 수 있다.
사용자(또는 환자)의 진단 영역을 수술을 통하여 적출하고, 적출된 진단 영역에서 암 조직이 존재하는 영역을 가시화한 병리영상(Pathology image)을 구성할 수 있다. 이를 고려하여, 라벨링 참조정보 제공부(65)는 병리 영상을 입력받을 수 있는 환경을 제공할 수 있으며, 입력받은 병리영상을 디스플레이 등을 통해 표시할 수 있다. 예컨대, 병리영상은 추출된 진단 영역의 암이 존재하는 영역을 지도화한 병리지도(pathology map)를 이미지 형태로 구성한 영상을 포함할 수 있다.
나아가, T2 영상이나, ADC 영상 등은 2차원 형태의 영상으로 이루어지므로, 영상 자체에 표시되지 않는 영역에 존재하는 암 조직을 확인하기가 어려울 수 있다. 이를 고려하여, 라벨링 참조정보 제공부(65)는 MRI에 포함된 정보를 조직 내에 포함된 물분자가 특정방향으로 확산된 정보를 나타내는 DWI(Diffusion-weighted imaging)를 확인하고, 이를 디스플레이 등을 통해 표시할 수 있다. 여기서, DWI는 MRI 촬영 장치로부터 제공받거나, MRI 촬영 장치로부터 제공받은 MRI를 가공하여 획득할 수 있다.
마찬가지로, T2 영상이나, ADC 영상 등은 2차원 형태의 영상으로 이루어지므로, 영상 자체에 표시되지 않는 영역에 존재하는 암 조직이나, 조직의 특성을 확인하기가 어려울 수 있다. 이를 고려하여, 라벨링 참조정보 제공부(65)는 DCE(Dynamic Contrast Enhanced) 신호정보를 확인할 수 있으며, 확인된 DCE 신호정보를 제공할 수 있는 환경을 구축할 수 있다. 예컨대, 라벨링 처리부(67)는 적어도 하나의 파라메트릭 MRI(예, T2 영상)를 표시하면서, 사용자에 의해 지정되는 영역을 표시하는 표시자를 제공할 수 있으며, 사용자에 의해 선택되는 영역을 암 영역으로 설정할 수 있다. 이를 고려하여, 라벨링 참조정보 제공부(65)는 라벨링 처리부(67)에 의해 생성 및 표시되는 상기 표시자가 지시하는 영역에 대한 DCE 신호정보를 확인하고, 확인된 DCE 신호정보를 디스플레이 등을 통해 표시할 수 있다.
라벨링 참조정보 제공부(65)는 적어도 하나의 참조정보(예, 병리영상, DWI, DCE 신호정보 등)를 디스플레이 등을 통해 표시할 수 있다.
다른 예로서, 라벨링 참조정보 제공부(65)는 적어도 하나의 참조정보(예, 병리영상, DWI, DCE 신호정보 등)를 순차적으로 선택하여 표시할 수 있다. 특히, 라벨링 참조정보 제공부(65)는 라벨링 처리부(67)와 연동하여 병리영상, DWI, 및 DCE 신호정보를 순차적으로 선택하여 표시할 수 있다. 예를 들어, 라벨링 참조정보 제공부(65)는 T2 영상, ADC 영상과 함께 병리영상을 디스플레이할 수 있다. 그리고, 병리영상이 디스플레이되는 상태에서, 라벨링 처리부(67)에 의해 1차적으로 암 영역을 라벨링한 정보가 입력됨에 따라, 라벨링 참조정보 제공부(65)는 T2 영상, ADC 영상과 함께 DWI를 디스플레이할 수 있다. 또한, DWI가 디스플레이되는 상태에서, 라벨링 처리부(67)에 의해 2차적으로 암 영역을 라벨링한 정보가 입력됨에 따라, 라벨링 참조정보 제공부(65)는 표시자가 지시하는 영역을 확인하고, 해당 영역에 대응되는 DCE 신호정보를 확인하여 표시할 수 있다.
본 개시의 일 실시예에서, 라벨링 참조정보 제공부(65)가 적어도 하나의 참조정보를 순차적으로 제공하는 것을 예시하면서, 적어도 하나의 참조정보를 병리영상, DWI, DCE 신호정보 등으로 예시하였으나, 본 개시가 이를 한정하는 것은 아니며, 본 개시의 기술분야에서 통상의 지식을 가진자에 의해 다양하게 변경될 수 있다. 또한, 라벨링 참조정보 제공부(65)가 제공하는 적어도 하나의 참조정보의 순서 역시 다양하게 변경될 수 있음은 물론이다.
나아가, 각 신체 기관 또는 진단 영역이나, 신체 기관 또는 진단 영역에 존재하는 암 영역의 특성에 따라, 라벨링의 참조정보로서 사용될 수 있는 정보(즉, 참조정보)는 다양하게 변경될 수 있다. 이에 따라, 라벨링 참조정보 제공부(65)는, 각 신체 기관 또는 진단 영역이나, 신체 기관 또는 진단 영역에 존재하는 암 영역의 특성에 기초하여 상기 암 영역의 라벨링 처리에 기여하는 참조정보를 선택적으로 제공할 수 있다.
예컨대, 신체 기관 또는 진단 영역이 전립선 영역인 경우, 라벨링 참조정보 제공부(65)는 T1 Contrast 영상, T2 Contrast 영상, PET(Positron Emission Tomography), SPECT(single photon emission computed tomography), DSA(Digital Subtraction Angiography) 등을 참조정보로서 제공할 수 있다. 다른 예로서, 신체 기관 또는 진단 영역이 간 영역인 경우, 라벨링 참조정보 제공부(65)는 T1 Contrast 영상, T2 Contrast 영상 등을 참조정보로서 제공할 수 있다. 또 다른 예로서, 신체 기관 또는 진단 영역이 뇌 영역인 경우, 라벨링 참조정보 제공부(65)는 FDG-PET, SPECT 등을 참조정보로서 제공할 수 있다.
한편, 라벨링 처리부(67)는 전술한 바와 같이, 적어도 하나의 파라메트릭 MRI(예, T2 영상)를 제공하면서, 암 검출모델 학습부(61)가 암 검출모델을 학습하기 위한 출력값을 지정하는 동작, 즉 라벨링을 수행할 수 있는 환경을 제공할 수 있다.
구체적으로, 라벨링 처리부(67)는 적어도 하나의 파라메트릭 MRI(예, T2 영상)를 디스플레이에 출력하고, 출력되는 적어도 하나의 파라메트릭 MRI(예, T2 영상)에서 암이 존재하는 영역, 즉 암 영역을 입력받을 수 있는 인터페이스를 제공할 수 있다. 예를 들어, 라벨링 처리부(67)는 마우스 장치, 디지타이저 장치, 터치스크린 장치 등과 같은 외부 입력장치를 통해 연결될 수 있으며, 외부 입력장치에 의해 지정되는 영역에 소정의 표시자를 출력하고, 외부 입력장치를 통해 선택되는 영역을 암 영역으로 설정할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 암 영역 학습장치에 구비되는 암 검출모델 학습부의 구성을 나타내는 블록도이다.
도 7을 참조하면, 암 검출모델 학습부(70)는 특징 추출부(71), 맥락 생성부(72), 특징 및 맥락 분석부(73)를 포함할 수 있다. 다만, 이는 본 실시예를 설명하기 위해 필요한 일부 구성요소만을 도시한 것일 뿐, 암 검출모델 학습부(70)에 포함된 구성요소가 전술한 예에 한정되는 것은 아니다.
암 검출모델 학습부(70)는 분석 대상 영상의 특징을 추출하고, 추출된 특징에 기초하여 맥락 정보를 생성하고, 추출된 특징 및 생성된 맥락 정보에 기초하여 분석 대상 영상을 분석할 수 있다. 예컨대, 암 검출모델 학습부(70)는 추출된 특징 및 생성된 맥락 정보를 이용하여 영상을 분류하거나 관심 객체의 위치를 찾아낼 수 있다.
암 검출모델 학습부(70)의 입력 영상은 적어도 하나의 파라메트릭 MRI일 수 있다. 상기 적어도 하나의 파라메트릭 MRI(예, T2 영상, ADC 영상 등)은 MRI로부터 소정의 파라미터에 기초하여 재구성된 원본(raw) 이미지이거나 상기 원본 이미지를 저장 또는 전송하기 위한 임의의 형태(포맷)의 이미지일 수 있다.
특징 추출부(71)는 입력 영상을 분석하여 영상의 특징을 추출할 수 있다. 예컨대, 상기 특징은 영상의 각 영역마다의 국소적인 특징일 수 있다. 일 실시 예에 따른 특징 추출부(71)는 일반적인 합성곱 신경망(Convolutional Neural Network, CNN) 기법 또는 풀링(pooling) 기법을 이용하여 입력 영상의 특징을 추출할 수 있다. 상기 풀링 기법은 맥스(max) 풀링 기법 및 평균(average) 풀링 기법 중 적어도 하나를 포함할 수 있다. 그러나, 본 개시에서 언급되는 풀링 기법은 맥스 풀링 기법 또는 평균 풀링 기법에 한정되지 않으며, 소정 크기의 영상 영역의 대표값을 획득하는 임의의 기법을 포함한다. 예컨대, 풀링 기법에 사용되는 대표값은 최대값 및 평균값 외에, 분산값, 표준 편차값, 중간값(mean value), 최빈값(most frequent value), 최소값, 가중 평균값 등 중 적어도 하나일 수 있다.
본 개시의 합성곱 신경망은 입력 데이터(영상)로부터 테두리, 선 색 등과 같은 "특징들(features)"을 추출하기 위해 이용될 수 있으며, 복수의 계층들(layers)을 포함할 수 있다. 각각의 계층은 입력 데이터를 수신하고, 해당 계층의 입력 데이터를 처리하여 출력 데이터를 생성할 수 있다. 합성곱 신경망은 입력된 영상 또는 입력된 특징맵(feature map)을 필터 커널들(filter kernels)과 컨볼루션하여 생성한 특징맵을 출력 데이터로서 출력할 수 있다. 합성곱 신경망의 초기 계층들은 입력으로부터 에지들 또는 그레디언트들과 같은 낮은 레벨의 특징들을 추출하도록 동작될 수 있다. 신경망의 다음 계층들은 눈, 코 등과 같은 점진적으로 더 복잡한 특징들을 추출할 수 있다. 합성곱 신경망의 구체적인 동작에 대해서는 도 5를 참고하여 후술한다.
합성곱 신경망은 컨볼루션 연산이 수행되는 합성곱 계층 외에도 풀링 연산이 수행되는 풀링 계층도 포함할 수 있다. 풀링 기법은 풀링 계층에서 데이터의 공간적 크기를 축소하는데 사용되는 기법이다. 구체적으로, 풀링 기법에는 해당 영역에서 최대값을 선택하는 맥스 풀링(max pooling) 기법과 해당 영역의 평균값을 선택하는 평균 풀링(average pooling) 기법이 있으며, 이미지 인식 분야에서는 일반적으로 맥스 풀링 기법이 사용된다. 풀링 기법에서는 일반적으로 풀링의 윈도우 크기와 간격(스트라이드, stride)을 같은 값으로 설정한다. 여기서, 스트라이드란 입력 데이터에 필터를 적용할 때 이동할 간격을 조절하는 것, 즉 필터가 이동할 간격을 의미하며, 스트라이드 또한 출력 데이터의 크기를 조절하기 위해 사용될 수 있다. 풀링 기법의 구체적인 동작에 대해서는 도 8을 참고하여 후술한다.
본 개시의 일 실시 예에 따른 특징 추출부(71)는 분석 대상 영상의 특징을 추출하기 위한 전처리(pre-processing)로서, 분석 대상 영상에 필터링을 적용할 수 있다. 상기 필터링은 고속 푸리에 변환(Fast Fourier Transform, FFT), 히스토그램 평활화(histogram equalization), 모션 아티팩트(motion artifact) 제거 또는 노이즈(noise) 제거 등일 수 있다. 그러나, 본 개시의 필터링은 상기 열거한 방법으로 제한되지 않으며, 영상의 품질을 개선할 수 있는 모든 형태의 필터링을 포함할 수 있다.
맥락 생성부(72)는 특징 추출부(71)로부터 추출된 입력 영상의 특징을 이용하여 입력 영상(분석 대상 영상)의 맥락 정보를 생성할 수 있다. 예컨대, 상기 맥락 정보는 분석 대상 영상의 전체 또는 일부 영역을 나타내는 대표값일 수 있다. 또한 상기 맥락 정보는 입력 영상의 전역적인 맥락 정보일 수 있다. 일 실시 예에 따른 맥락 생성부(72)는 합성곱 신경망 기법 또는 풀링 기법을 특징 추출부(71)로부터 추출된 특징에 적용하여 맥락 정보를 생성할 수 있다. 상기 풀링 기법은 예컨대, 평균 풀링(average pooling) 기법일 수 있다.
특징 및 맥락 분석부(73)는 특징 추출부(71)에서 추출된 특징 및 맥락 생성부(72)에서 생성된 맥락 정보에 기초하여 영상을 분석할 수 있다. 일 실시예에 따른 특징 및 맥락 분석부(73)는 특징 추출부(71)에서 추출된 영상의 각 영역마다의 국소적인 특징 및 맥락 생성부(72)에서 재구성된 전역적인 맥락을 결합(concatenate)하는 등의 방식으로 함께 사용하여, 입력 영상을 분류하거나 입력 영상에 포함된 관심 객체의 위치 등을 찾는데 이용할 수 있다. 입력 영상 내 특정 2차원 위치에서의 정보는 국소적인 특징 정보뿐만 아니라 전역적인 맥락 정보까지 포함하게 되므로, 특징 및 맥락 분석부(73)는 이들 정보를 이용함으로써, 실제 내용은 상이하지만 국소적인 특징 정보가 유사한 입력 영상들에 대해 보다 정확한 인식 또는 분류 등이 가능하게 된다.
전술한 바와 같이, 본 개시의 일 실시 예에 따른 발명은, 일반적인 합성곱 신경망 기법이 사용하는 국소적인 특징뿐만 아니라 전역적인 맥락 정보를 함께 사용함으로써, 보다 더 정확하고 효율적인 학습 및 영상 분석이 가능하게 된다. 이러한 관점에서 본 개시에 따른 발명을 '맥락 분석을 통한 심층 신경망'이라 할 수 있다.
도 8은 본 개시의 일 실시 예에 따른 영상의 맥락 정보를 생성하고 분석하는 과정을 나타내는 도면이다.
도 8을 참조하면, 특징 추출부(71)는 입력 영상(801)을 이용하여 입력 영상(801)으로부터 특징을 추출하고, 추출된 특징 정보를 포함하는 특징 영상(802)을 생성할 수 있다. 상기 추출된 특징은 입력 영상의 국소 영역에 대한 특징일 수 있다. 상기 입력 영상(801)은 영상 분석 장치의 입력 영상 또는 합성곱 신경망 모델 내의 각 계층에서의 특징맵을 포함할 수 있다. 또한 상기 특징 영상(802)은 입력 영상(801)에 대해 합성곱 신경망 기법 및/또는 풀링 기법을 적용하여 획득된 특징맵 및/또는 특징 벡터를 포함할 수 있다.
맥락 생성부(72)는 특징 추출부(71)에서 추출된 특징 영상(802)에 대해 합성곱 신경망 기법 및/또는 풀링 기법을 적용하여 맥락 정보를 생성할 수 있다. 예컨대, 맥락 생성부(72)는 풀링의 간격(stride)을 다양하게 조절함으로써 영상 전체, 4등분 영역, 9등분 영역 등의 다양한 크기(scale)의 맥락 정보를 생성할 수 있다. 이에 따라, 영상 전체 크기의 영상에 대한 맥락 정보를 포함하는 전체 맥락 정보 영상(811), 영상 전체를 4등분한 크기의 4등분 영상에 대한 맥락 정보를 포함하는 4등분 맥락 정보 영상(812) 및 영상 전체를 9등분한 크기의 9등분 영상에 대한 맥락 정보를 포함하는 9등분 맥락 정보 영상(813)이 획득될 수 있다.
특징 및 맥락 분석부(73)는 상기 특징 영상(802)과 상기 맥락 정보 영상(811, 812, 813)을 모두 이용하여 분석 대상 영상의 특정 영역에 대한 분석을 보다 정확히 수행할 수 있다.
예컨대, 전립선 암과 유사한 형태를 갖는 양성종양이 포함된 영상이 입력 영상인 경우, 특징 추출부(71)가 추출한 국소적인 특징을 포함하는 특징 영상(802)으로부터는 상기 식별된 객체가 전립선 암인지 양성종양인지 정확히 판단할 수 없다. 즉, 특징 추출부(71)는 국소적인 특징에 기초하여 객체의 형상을 인식할 수 있으나, 해당 객체의 형상만 가지고는 정확히 객체를 식별하고 분류할 수 없는 경우가 있다.
본 개시의 일 실시 예에 따른 맥락 생성부(72)는 상기 분석 대상 영상 또는 상기 특징 영상(802)에 기초하여 맥락 정보(811, 812, 813)를 생성함으로써, 보다 정확히 객체를 식별하고 분류할 수 있다.
본 개시의 일 실시 예에 따른 특징 및 맥락 분석부(73)는 상기 맥락 정보를 활용함으로써, 상기 전립선 암 또는 양성종양의 형상을 갖는 객체를 "전립선 암"으로 식별할 수 있다.
도 8을 참조하여 설명한 실시 예에서는 전체 영상에 대한 맥락 정보, 4등분 영상에 대한 맥락 정보, 9등분 영상에 대한 맥락 정보를 생성하고 활용하는 것에 대해 설명하였으나, 맥락 정보를 추출하는 영상의 크기는 이에 한정되지 않는다. 예컨대, 전술한 크기의 영상 이외의 크기를 갖는 영상에 대한 맥락 정보를 생성하고 활용할 수도 있다.
도 9는 본 개시의 일 실시예에 따른 암 영역 검출의 유효성 평가 방법의 순서를 도시하는 흐름도이다.
본 개시의 일 실시 예에 따른 암 영역 검출의 유효성 평가 방법은 진단 영역 검출모델과 암 영역 검출모델을 기반으로 가이드 정보를 생성 및 제공할 수 있으며, 가이드 정보를 참조한 제2 암 영역을 입력받을 수 있다.
따라서, 암 영역 검출의 유효성 평가 방법은 가이드 정보의 생성에 기초가 되는 진단 영역 검출모델과 암 영역 검출모델을 준비하기 위한 동작으로서, 진단 영역 검출모델을 구축하는 단계(S901)와 암 영역 검출모델을 구축하는 단계(S902)를 포함할 수 있다.
진단 영역 검출모델을 구축하는 단계(S901)와 암 영역 검출모델을 구축하는 단계(S902)는 암 영역 학습 장치(60)에 의해 수행될 수 있으며, 구체적인 동작은 전술한 암 영역 학습 장치(60)의 구성 및 동작 설명을 참조한다.
S901 단계에서, 암 영역 학습 장치는 적어도 하나의 파라메트릭 MRI를 제공할 수 있다. 사용자의 신체를 MRI 촬영 장치에 의해 촬영된 영상, 즉, MRI에 다양한 파라미터를 적용하여 다양한 영상을 재구성할 수 있는데, 본 개시의 일 실시예에서는 MRI에 소정의 파라미터를 적용하여 재구성한 영상을 파라메트릭 MRI라 지시한다. 여기서, 적어도 하나의 파라메트릭 MRI는 T1 영상, T2 영상, T2* 영상, ADC 영상, FLAIR 영상, STIR 영상, PWI 등을 포함할 수 있다.
나아가, 암 영역 학습 장치는 사용자(또는 환자)의 신체에 마련된 다양한 신체 기관 또는 진단 영역에 대한 암 검출모델을 학습할 수 있는데, 각 신체 기관 또는 진단 영역이나, 신체 기관 또는 진단 영역에 존재하는 암 영역의 특성에 기초하여 적어도 하나의 파라메트릭 MRI가 선택적으로 사용할 수 있다. 이를 위해, 암 영역 학습 장치는 신체 기관 또는 진단 영역에 대응되는 적어도 하나의 파라메트릭 MRI를 선택적으로 입력할 수 있다.
예컨대, 신체 기관 또는 진단 영역이 전립선 영역인 경우, 암 영역 학습 장치는 T2영상, ADC영상 등을 입력할 수 있다. 다른 예로서, 신체 기관 또는 진단 영역이 간 영역인 경우, 암 영역 학습 장치는 TIR 영상, T1 영상, T1 with Agents 영상, T2 영상 등을 입력할 수 있다. 또 다른 예로서, 신체 기관 또는 진단 영역이 뇌 영역인 경우, 암 영역 학습 장치는 T1 영상, T2 영상, FLAIR 등을 입력할 수 있다.
나아가, 적어도 하나의 파라메트릭 MRI는 진단 영역에 대응되는 영역을 추출한 영상일 수 있다. 구체적으로, 암 영역 학습 장치는 원본 파라메트릭 MRI를 입력받을 수 있으며, 원본 파라메트릭 MRI로부터 진단 영역을 추출한 파라메트릭 MRI, 즉, 진단 영역의 파라메트릭 MRI를 검출할 수 있다. 그리고, 암 영역 학습 장치는 진단 영역의 파라메트릭 MRI를 제공할 수 있다.
이때, 암 영역 학습 장치는 진단 영역의 파라메트릭 MRI를 딥러닝 모델의 학습을 위한 입력으로서 제공할 수 있다. 그리고, 암 영역 학습 장치는 진단 영역의 파라메트릭 MRI를 제공하는 화면을 구성하여 디스플레이 등을 통해 출력할 수 있다.
그리고, 암 영역 학습 장치는 진단 영역의 파라메트릭 MRI에서 암이 위치한 영역을 지정하는데 참조할 수 있는 정보(이하, '참조정보'라 함)를 제공할 수 있다.
예를 들어, 사용자(또는 환자)의 진단 영역을 적출하고, 적출된 진단 영역에서 암 조직이 존재하는 영역을 가시화한 병리영상를 구성할 수 있는데, 암 영역 학습 장치는 이러한 병리영상을 입력받을 수 있는 환경을 제공할 수 있다. 그리고, 암 영역 학습 장치는 입력받은 병리영상을 화면의 일 영역을 통해 디스플레이할 수 있다.
MRI는 다양한 파라미터를 포함할 수 있는데, T2 영상이나, ADC 영상 등은 2차원 형태의 영상로 이루어지므로, 영상 자체에 표시되지 않는 영역에 존재하는 암 조직을 확인하기가 어려울 수 있다. 한편, MRI에 기초하여 획득되는 영상 중, DWI는 MRI에 포함된 정보를 조직 내에 포함된 물분자가 특정방향으로 확산된 정보를 나타낼 수 있으므로, T2 영상이나, ADC 영상 등에 표시되지 않는 정보를 표현할 수 있다. 이를 고려하여, 암 영역 학습 장치는 DWI를 화면의 일 영역을 통해 더 디스플레이할 수 있다.
나아가, 암 영역 학습 장치는 DCE 신호정보를 확인할 수 있으며, DCE 신호정보를 화면의 일 영역을 통해 더 디스플레이 할 수도 있다. DCE 신호정보는 해당 기관의 밝기를 확인하는 정보로서 MRI에 기초하여 획득되는 영상으로부터 소정의 영역을 선택하고, 선택된 영역에 대한 밝기 정보를 나타내는 정보일 수 있다. 따라서, 암 영역 학습 장치는 사용자 인터페이스를 통해, 사용자에 의해 선택되는 영역을 확인하고, 이에 대응되는 DCE 신호정보를 표시할 수 있다.
나아가, 각 신체 기관 또는 진단 영역이나, 신체 기관 또는 진단 영역에 존재하는 암 영역의 특성에 따라, 라벨링의 참조정보로서 사용될 수 있는 정보는 다양하게 변경될 수 있다. 이에 따라, 암 영역 학습 장치는, 각 신체 기관 또는 진단 영역이나, 신체 기관 또는 진단 영역에 존재하는 암 영역의 특성에 기초하여 상기 암 영역의 라벨링 처리에 기여하는 참조정보를 선택적으로 제공할 수 있다.
예컨대, 신체 기관 또는 진단 영역이 전립선 영역인 경우, 암 영역 학습 장치는 T1 Contrast 영상, T2 Contrast 영상, PET, SPECT, DSA 등을 참조정보로서 제공할 수 있다. 다른 예로서, 신체 기관 또는 진단 영역이 간 영역인 경우, 암 영역 학습 장치는 T1 Contrast 영상, T2 Contrast 영상 등을 참조정보로서 제공할 수 있다. 또 다른 예로서, 신체 기관 또는 진단 영역이 뇌 영역인 경우, 암 영역 학습 장치는 FDG-PET, SPECT 등을 참조정보로서 제공할 수 있다.
또한, 암 영역 학습 장치는 참조정보(병리영상, DWI, DCE 신호정보 등)를 표시하면서, 라벨링을 수행할 수 있는 사용자 인터페이스를 제공할 수 있다.
이러한 사용자 인터페이스는 적어도 하나의 파라메트릭 MRI(예, T2 영상)를 포함할 수 있다. 또한, 사용자 인터페이스는 마우스 장치, 디지타이저 장치, 터치스크린 장치 등과 같은 외부 입력장치를 통해 연결될 수 있으며, 외부 입력장치에 의해 지정되는 영역에 출력되는 소정의 표시자를 포함할 수 있다. 그리고, 암 영역 학습 장치는 표시자를 통해 선택되는 소정의 영역을 암 영역으로 설정할 수 있으며, 사용자 인터페이스는 암 영역으로 설정된 해당 영역을 표시하는 라벨링 지시자를 포함할 수 있다.
사용자 인터페이스를 통해 암 영역이 설정되면, 암 영역 학습 장치는 진단 영역의 파라메트릭 MRI를 입력으로 하고, 라벨링된 영역을 출력으로 하여 암 검출모델을 학습할 수 있다.
한편, S903 단계에서, 암 영역 검출의 유효성 평가장치는 분석 대상 영상을 입력받을 수 있다. 여기서, 분석 대상 영상은 암을 진단할 대상이 되는 사용자(또는 환자)의 신체를 촬영한 MRI로서, 전술한 적어도 하나의 파라메트릭 MRI를 포함할 수 있다.
분석 대상 영상이 입력됨에 따라(S903-예), 암 영역 검출의 유효성 평가장치는 전술한 진단 영역 검출모델과 암 영역 검출모델을 사용하여 암 영역 정보를 확인할 수 있다(S904).
구체적으로, 분석 대상 영상으로서 원본 파라메틱 MRI(501, 502, 503, 도 5a 참조)를 입력 받음에 따라, 암 영역 검출의 유효성 평가장치는 진단 영역 검출모델을 사용하여 진단 영역의 파라메틱 MRI(511, 512, 513)를 검출 및 출력할 수 있다.
이에 대응하여, 암 영역 검출의 유효성 평가장치는 진단 영역의 파라메틱 MRI(511, 512, 513)를 암 영역 검출모델에 입력하여, 암 영역 정보를 출력할 수 있다.
특히, 암 영역 검출의 유효성 평가장치는 진단 영역의 파라메틱 MRI(511, 512, 513)에 암이 위치한 영역(271a, 도 2b 참조)을 마킹한 영상(271)을 암 영역 정보로서 출력할 수 있다.
S905 단계에서, 암 영역 검출의 유효성 평가장치는 S904 단계를 통해 확인된 암 영역 정보를 사용하여 가이드 정보를 생성 및 제공할 수 있다.
구체적으로, 암 영역 검출의 유효성 평가장치는 암이 위치한 영역을 마킹한 영상(271)을 가이드 정보로서 디스플레이 등을 통해 출력할 수 있다.
나아가, 암 영역 검출모델은 분석 대상 영상의 특징을 추출하고, 추출된 특징을 기반으로 소정의 맥락 정보를 생성하는 학습을 통해 구축될 수 있는데, 이러한 맥락 정보는 암 영역 검출모델은 분석 대상 영상에 포함된 특징 영역에 대한 확률값을 바탕으로 구성될 수 있다. 이에 기초하여, S904 단계에서, 암 영역 검출의 유효성 평가장치는 암 영역으로 검출된 특징 영역에 대한 확률값을 암 영역 정보로서 제공할 수도 있다.
그리고, S905 단계에서, 암 영역 검출의 유효성 평가장치는 암 영역으로 검출된 특징 영역에 대한 확률값을 사용하여 가이드 정보를 생성할 수 있다. 예컨대, 암 영역 검출의 유효성 평가장치는 미리 정해진 임계값을 설정하고, 암 영역으로 검출된 특징 영역에 대한 확률값이 상기 미리 정해진 임계값을 초과하는 영역을 후보 포인트로 설정하고, 설정된 후보 포인트(272a, 272b, 272c, 도 2b 참조)를 포함하는 가이드 영상(272)을 구성할 수 있다.
S906 단계에서, 암 영역 검출의 유효성 평가장치는 가이드 정보를 기반으로, 제2 암 영역을 입력받을 수 있다. 예컨대, 암 영역 검출의 유효성 평가장치는 가이드 정보를 디스플레이하고, 제2 암 영역을 입력받을 수 있는 입력 인터페이스를 제공할 수 있다.
예컨대, 입력 인터페이스(280, 도 2b참조)는 T2 영상을 표시하는 영상 표시부(281)와, 외부 입력장치에 의해 지정되는 영역에 출력되는 소정의 표시자(282), 표시자(282)를 통해 선택되는 소정의 영역을 암 영역으로 설정하고 표시하는 제2 암 영역 지시자(283)를 포함할 수 있다.
이에 따라, 사용자(전문가 또는 의사)는 가이드 정보(예, 가이드 영상(272))를 확인하면서, 입력 인터페이스를 통해 소정의 영역을 제2 암 영역으로 설정하여 입력할 수 있다.
비록, 본 개시의 일 실시예에서, 영상 표시부(281)가 T2 영상을 표시하는 것을 예시하였으나, 본 개시가 영상 표시부(281)가 표시하는 영상을 한정하는 것은 아니다. 영상 표시부(281)가 표시하는 영상은 진단 영역 또는 암 영역에 대응하여 다양하게 변경될 수 있다.
S907 단계에서, 암 영역 검출의 유효성 평가장치는 파라메트릭 MRI를 기반으로, 제1 암 영역을 입력받을 수 있다. 즉, 암 영역 검출의 유효성 평가장치는 가이드 정보를 디스플레이하고, 제1 암 영역을 입력받을 수 있는 입력 인터페이스를 제공할 수 있다.
*예컨대, 암 영역 검출의 유효성 평가장치는 사용자(전문가 또는 의사 등)가 적어도 하나의 파라메트릭 MRI를 참조하면서 제1 암 영역을 설정할 수 있도록, 적어도 하나의 파라메트릭 MRI를 제공할 수 있다. 그리고, 암 영역 검출의 유효성 평가장치는 적어도 하나의 파라메트릭 MRI를 표시하는 파라메트릭 MRI 표시부(210, 도 2a 참조)와, 제1 암 영역을 입력할 수 있는 입력 인터페이스(220)를 포함하는 화면(200)을 제공할 수 있다.
파라메트릭 MRI 표시부(210)는 T2영상, ADC 영상, DWI, DCE 신호정보 중 적어도 하나를 표시하는 표시부(211, 212, 213, 214)를 포함할 수 있다.
그리고, 입력 인터페이스(220)는 T2 영상을 표시하는 영상 표시부(221)와, 마우스 장치, 디지타이저 장치, 터치스크린 장치 등과 같은 외부 입력장치를 통해 연결될 수 있으며, 외부 입력장치에 의해 지정되는 영역에 출력되는 소정의 표시자(222)를 포함할 수 있다. 또한, 입력 인터페이스(220)는 표시자(222)를 통해 선택되는 소정의 영역을 암 영역으로 설정할 수 있으며, 암 영역으로 설정된 해당 영역을 표시하는 제1 암 영역 지시자(223)를 포함할 수 있다.
이러한 환경에서, 사용자(전문가 또는 의사)는 적어도 하나의 파라메트릭 MRI를 확인하면서, 입력 인터페이스를 통해 소정의 영역을 제1 암 영역으로 설정하여 입력할 수 있다.
비록, 본 개시의 일 실시예에서, 영상 표시부(221)가 T2 영상을 표시하는 것을 예시하였으나, 본 개시가 영상 표시부(221)가 표시하는 영상을 한정하는 것은 아니다. 영상 표시부(221)가 표시하는 영상은 진단 영역 또는 암 영역에 대응하여 다양하게 변경될 수 있다.
한편, 제1 암 영역과, 제2 암 영역을 입력하는 시간적 차이가 없을 경우, 사용자(전문가 또는 의사 등)는 제1 암 영역(또는 제2 암 영역)을 입력한 후, 자신이 입력한 제1 암 영역(또는 제2 암 영역)을 인지하고 있는 상태에서, 제2 암 영역(또는 제1 암 영역)을 입력할 수 있다. 이와 같이, 사용자(전문가 또는 의사 등)가 자신이 입력한 제1 암 영역(또는 제2 암 영역)을 인지하고 있는 상태에서, 제2 암 영역(또는 제1 암 영역)을 입력할 경우, 사용자(전문가 또는 의사 등)의 의지를 기반으로 제2 암 영역(또는 제1 암 영역)이 입력될 수 있다. 사용자(전문가 또는 의사 등)의 의지를 기반으로 제2 암 영역(또는 제1 암 영역)이 입력될 경우, 제2 암 영역(또는 제1 암 영역)이 정확하게 입력되지 않으며, 제2 암 영역(또는 제1 암 영역)에 대한 유효성을 판단하기 어려울 수 있다.
전술한 바를 고려하여, 암 영역 검출의 유효성 평가장치는 S906 단계를 수행한 후, 소정의 시간(예컨대, 1주일 또는 1달)이 경과된 후 S907 단계를 진행할 수 있다. 이를 위해, 암 영역 검출의 유효성 평가장치는 S906 단계가 완료된 후부터 소정의 시간(예컨대, 1주일 또는 1달)이 경과되었는지를 확인하고, 소정의 시간(예컨대, 1주일 또는 1달)이 경과됨에 따라, S907 단계를 진행할 수 있다.
한편, 사용자(또는 환자)의 신체 영역의 일부(예컨대, 전립선 영역)를 수술을 통하여 적출하고, 적출된 신체 영역에서 암 조직이 존재하는 영역을 가시화한 병리영상을 구성할 수 있다. 이를 고려하여, 암 영역 검출의 유효성 평가장치는 병리영상을 입력받을 수 있는 환경을 제공할 수 있으며, 입력받은 병리영상을 디스플레이 등을 통해 표시할 수 있다(S908). 예컨대, 병리영상은 추출된 신체 영역의 암이 존재하는 영역을 지도화한 병리지도를 이미지 형태로 구성한 영상을 포함할 수 있다.
S909 단계에서, 암 영역 검출의 유효성 평가장치는 병리영상을 기준으로 제1 암 영역과 제2 암 영역을 비교하여, 제2 암 영역에 대한 유효성 평가 정보를 생성할 수 있다.
예컨대, 암 영역 검출의 유효성 평가장치는 신체 영역의 일부(예컨대, 전립선 영역)를 소정의 크기단위로 분할하고(302, 도 3a 참조), 해당 영역 내에서 상기 제1 암 영역(303)이 존재하는 소정의 단위에 대한 제1바이너리 맵(304)을 구성할 수 있다.
또한, 암 영역 검출의 유효성 평가장치는 병리영상(311)을 소정의 크기단위로 분할하고(312), 신체 영역의 일부(예컨대, 전립선 영역)가 위치한 영역 내에서 상기 제1 암 영역(313)이 존재하는 소정의 단위에 대한 병리 바이너리 맵(314)을 구성할 수 있다.
그리고, 암 영역 검출의 유효성 평가장치는 병리 바이너리 맵(314)을 기준으로, 제1바이너리 맵(304)에 대한 제1일치도 정보(320)를 확인할 수 있다. 상기 제1일치도 정보(320)는 병리 바이너리 맵(314)과 제1바이너리 맵(304)의 대응되는 단위 영역이 유사한 정도를 수치화하여 표시한 정보일 수 있다. 나아가, 상기 제1일치도 정보(320)는 단위 영역에 대한 민감도 정보와 특이도 정보를 포함할 수 있다.
마찬가지로, 암 영역 검출의 유효성 평가장치는 신체 영역의 일부(예컨대, 전립선 영역)를 소정의 크기단위로 분할하고(332, 도 3b 참조), 해당 영역 내에서 상기 제2 암 영역(333)이 존재하는 소정의 단위에 대한 제2바이너리 맵(334)을 구성할 수 있다. 그리고, 암 영역 검출의 유효성 평가장치는 병리 바이너리 맵(314)을 기준으로, 제2바이너리 맵(334)에 대한 제2일치도 정보(340)를 확인할 수 있다. 상기 제2일치도 정보(340)는 병리 바이너리 맵(314)과 제2바이너리 맵(334)의 대응되는 단위 영역이 유사한 정도를 수치화하여 표시한 정보일 수 있다. 나아가, 상기 제2일치도 정보(340)는 단위 영역에 대한 민감도 정보와 특이도 정보를 포함할 수 있다.
또한, 암 영역 검출의 유효성 평가장치는 전술한 제1일치도 정보(320)와 제2일치도 정보(340)를 비교하여, 유효성 평가 정보를 산출 및 출력할 수 있다(도 3c 참조). 예컨대, 암 영역 검출의 유효성 평가장치는 전술한 제1일치도 정보(320)와 제2일치도 정보(340)를 비교하고, 제2일치도 정보(340)가 제1일치도 정보(320)보다 상대적으로 높은 수치를 나타낼 경우 제2 암 영역이 유효한 것으로 결정하고, 제2일치도 정보(340)가 제1일치도 정보(320)와 동일하거나 상대적으로 낮은 수치를 나타낼 경우 제2 암 영역이 유효하지 않은 것으로 결정할 수 있다.
제2 암 영역은 가이드 정보를 기반으로 사용자(전문가 또는 의사 등)가 암 영역이 존재할 가능성이 높은 영역을 지정한 것이다. 따라서, 상기 유효성 평가 정보가 제2 암 영역이 유효한 것임을 나타낼 경우, 가이드정보를 제공하는 구성부는 암이 존재하는 영역을 결정하는데 유효하게 사용될 수 있는 장치로 인정될 수 있다.
도 10은 본 개시의 일 실시예에 따른 암 영역 검출의 유효성 평가 방법 및 장치를 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.
도 10을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.
본 발명은 질병을 검출하는 분야에 활용될 수 있다.

Claims (20)

  1. 암 영역 검출의 유효성을 평가하는 장치에 있어서,
    서로 다른 파라미터에 기초하여 구성된 적어도 하나의 파라메트릭 MRI(Magnetic Resonance Imaging)를 제공하는 파라메트릭 MRI 제공부와,
    상기 적어도 하나의 파라메트릭 MRI에 기초하여 제1 암 영역을 입력받는 제1 암 영역 입력부와,
    상기 적어도 하나의 파라메트릭 MRI를 입력으로 하고, 암 영역 정보를 출력으로 하는 암 영역 검출모델을 포함하고, 상기 암 영역 검출모델을 통해 분석 대상 영상에 대응되는 가이드 정보를 생성 및 제공하는 암 영역 처리부와,
    상기 가이드 정보에 기초하여 제2 암 영역을 입력받는 제2 암 영역 입력부와,
    추출된 신체 일부의 암이 존재하는 영역을 지도화한 병리영상을 기준으로 하고, 상기 제1 암 영역과 상기 제2 암 영역을 비교하여, 상기 제2 암 영역에 대한 유효성 평가 정보를 생성하는 유효성 평가부를 포함하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 장치.
  2. 제1항에 있어서,
    상기 유효성 평가부는,
    상기 병리영상의 미리 정해진 단위 영역에 대응되는 상기 제1 암 영역의 상기 미리 정해진 단위에 대한, 일치 정도를 수치화한 제1일치도 정보를 확인하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 장치.
  3. 제2항에 있어서,
    상기 유효성 평가부는,
    상기 병리영상의 미리 정해진 단위 영역에 대응되는 상기 제2 암 영역의 상기 미리 정해진 단위에 대한, 일치 정도를 수치화한 제2일치도 정보를 확인하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 장치.
  4. 제3항에 있어서,
    상기 유효성 평가부는,
    상기 제1일치도 정보와 상기 제2일치도 정보를 비교하여 유효성 평가 정보를 생성하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 장치.
  5. 제2항 또는 제3항에 있어서,
    상기 제1일치도 정보 또는 상기 제2일치도 정보는 민감도(Sensitivity) 정보 및 특이도(Specificity) 정보를 포함하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 장치.
  6. 제1항에 있어서,
    상기 암 영역 검출모델은,
    상기 암 영역에 포함된 적어도 하나의 특징 영역에 대한 암이 존재할 확률값을 출력하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 장치.
  7. 제1항에 있어서,
    상기 적어도 하나의 파라메트릭 MRI는,
    T1(T1-weighted) 영상, T2(T2-weighted) 영상, T2*(T2 star) 영상, ADC(apparent diffusion coefficients) 영상, FLAIR(Fluid Attenuated inversion recovery) 영상, STIR(Short TI inversion recovery) 영상, PWI(Perfusion weighted image) 중, 적어도 하나를 포함하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 장치.
  8. 제1항에 있어서,
    상기 암 영역 검출모델은,
    적어도 하나의 참조정보를 사용하여 설정된 상기 암 영역의 라벨링 정보를 기반으로 상기 암 영역 정보를 결정하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 장치.
  9. 제8항에 있어서,
    상기 적어도 하나의 참조정보는,
    추출된 진단 영역의 암이 존재하는 영역을 이미지화하여 표시한 병리영상, DWI(Diffusion-weighted imaging), 및 DCE(Dynamic Contrast Enhanced) 신호정보 중, 적어도 하나를 포함하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 장치.
  10. 제8항에 있어서,
    상기 암 영역 검출모델은,
    상기 적어도 하나의 파라메트릭 MRI를 입력으로 하고, 상기 적어도 하나의 파라메트릭 MRI를 기반으로 상기 암 영역을 라벨링한 정보에 기초하여 학습되는 제1딥러닝 모델과,
    상기 적어도 하나의 파라메트릭 MRI 및 DWI를 입력으로 하고, 상기 적어도 하나의 파라메트릭 MRI 및 DWI를 기반으로 상기 암 영역을 라벨링한 정보에 기초하여 학습되는 제2딥러닝 모델과,
    상기 적어도 하나의 MRI 및 DCE 신호정보를 입력으로 하고, 상기 적어도 하나의 파라메트릭 MRI 및 DCE 신호정보를 기반으로 상기 암 영역을 라벨링한 정보에 기초하여 학습되는 제3딥러닝 모델을 포함하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 장치.
  11. 암 영역 검출의 유효성 평가 방법에 있어서,
    서로 다른 파라미터에 기초하여 구성된 적어도 하나의 파라메트릭 MRI(Magnetic Resonance Imaging)를 제공하는 과정과,
    상기 적어도 하나의 파라메트릭 MRI에 기초하여 제1 암 영역을 입력받는 과정과,
    상기 적어도 하나의 파라메트릭 MRI를 입력으로 하고, 암 영역 정보를 출력으로 하는 암 영역 검출모델을 구축하는 과정과,
    상기 암 영역 검출모델을 통해 분석 대상 영상에 대응되는 가이드 정보를 제공하는 과정과,
    상기 가이드 정보에 기초하여 제2 암 영역을 입력받는 과정과,
    추출된 신체 일부의 암이 존재하는 영역을 지도화한 병리영상을 기준으로 하고, 상기 제1 암 영역과 상기 제2 암 영역을 비교하여, 상기 제2 암 영역에 대한 유효성 평가 정보를 생성하는 과정을 포함하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 방법.
  12. 제11항에 있어서,
    상기 유효성 평가 정보를 생성하는 과정은,
    상기 병리영상의 미리 정해진 단위 영역에 대응되는 상기 제1 암 영역의 상기 미리 정해진 단위에 대한, 일치 정도를 수치화한 제1일치도 정보를 확인하는 과정을 포함하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 방법.
  13. 제12항에 있어서,
    상기 유효성 평가 정보를 생성하는 과정은,
    상기 병리영상의 미리 정해진 단위 영역에 대응되는 상기 제2 암 영역의 상기 미리 정해진 단위에 대한, 일치 정도를 수치화한 제2일치도 정보를 확인하는 과정을 포함하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 방법.
  14. 제13항에 있어서,
    상기 유효성 평가 정보를 생성하는 과정은,
    상기 제1일치도 정보와 상기 제2일치도 정보를 비교하여 유효성 평가 정보를 생성하는 과정을 포함하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 방법.
  15. 제12항 또는 제13항에 있어서,
    상기 제1일치도 정보 또는 상기 제2일치도 정보는 민감도(Sensitivity) 정보 및 특이도(Specificity) 정보를 포함하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 방법.
  16. 제11항에 있어서,
    상기 암 영역 검출모델은,
    상기 암 영역에 포함된 적어도 하나의 특징 영역에 대한 암이 존재할 확률값을 출력하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 방법.
  17. 제11항에 있어서,
    상기 적어도 하나의 파라메트릭 MRI는,
    T1(T1-weighted) 영상, T2(T2-weighted) 영상, T2* (T2 star) 영상, ADC(apparent diffusion coefficients) 영상, FLAIR (Fluid Attenuated inversion recovery) 영상, STIR (Short TI inversion recovery) 영상, PWI (Perfusion weighted image) 중, 적어도 하나를 포함하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 방법.
  18. 제11항에 있어서,
    상기 암 영역 검출모델은,
    적어도 하나의 참조정보를 사용하여 설정된 상기 암 영역의 라벨링 정보를 기반으로 상기 암 영역 정보를 결정하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 방법.
  19. 제18항에 있어서,
    상기 적어도 하나의 참조정보는,
    추출된 진단 영역의 암이 존재하는 영역을 이미지화하여 표시한 병리영상, DWI(Diffusion-weighted imaging), 및 DCE(Dynamic Contrast Enhanced) 신호정보 중, 적어도 하나를 포함하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 방법.
  20. 제18항에 있어서,
    상기 암 영역 검출모델은,
    상기 적어도 하나의 파라메트릭 MRI를 입력으로 하고, 상기 적어도 하나의 파라메트릭 MRI를 기반으로 상기 암 영역을 라벨링한 정보에 기초하여 학습되는 제1딥러닝 모델과,
    상기 적어도 하나의 파라메트릭 MRI 및 DWI를 입력으로 하고, 상기 적어도 하나의 파라메트릭 MRI 및 DWI를 기반으로 상기 암 영역을 라벨링한 정보에 기초하여 학습되는 제2딥러닝 모델과,
    상기 적어도 하나의 MRI 및 DCE 신호정보를 입력으로 하고, 상기 적어도 하나의 파라메트릭 MRI 및 DCE 신호정보를 기반으로 상기 암 영역을 라벨링한 정보에 기초하여 학습되는 제3딥러닝 모델을 포함하는 것을 특징으로 하는 암 영역 검출의 유효성 평가 방법.
PCT/KR2019/013395 2018-10-11 2019-10-11 암 영역 검출의 유효성 평가 장치 WO2020076133A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/228,664 US11854193B2 (en) 2018-10-11 2021-04-12 Validity evaluation device for cancer region detection

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0121394 2018-10-11
KR1020180121394A KR101996475B1 (ko) 2018-10-11 2018-10-11 암 영역 검출의 유효성 평가 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/228,664 Continuation US11854193B2 (en) 2018-10-11 2021-04-12 Validity evaluation device for cancer region detection

Publications (1)

Publication Number Publication Date
WO2020076133A1 true WO2020076133A1 (ko) 2020-04-16

Family

ID=68207751

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/013395 WO2020076133A1 (ko) 2018-10-11 2019-10-11 암 영역 검출의 유효성 평가 장치

Country Status (3)

Country Link
US (1) US11854193B2 (ko)
KR (1) KR101996475B1 (ko)
WO (1) WO2020076133A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102150853B1 (ko) * 2018-10-11 2020-09-03 (주)제이엘케이 암 영역에 대한 딥러닝 모델 학습 장치 및 방법
KR101996475B1 (ko) * 2018-10-11 2019-10-01 (주)제이엘케이인스펙션 암 영역 검출의 유효성 평가 장치
US20220051060A1 (en) * 2020-08-13 2022-02-17 Ohio State Innovation Foundation Methods for creating privacy-protecting synthetic data leveraging a constrained generative ensemble model
KR20230063147A (ko) 2021-11-01 2023-05-09 인제대학교 산학협력단 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 cnn과 앙상블 머신 러닝 분류 방법 및 시스템
KR20230080145A (ko) 2021-11-29 2023-06-07 인제대학교 산학협력단 이중 채널 조직 특징 기술을 사용하는 인공 지능 기반 전립선암 검출 방법 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130082551A (ko) * 2011-12-08 2013-07-22 한국전자통신연구원 임상 자료 분석 장치 및 그것의 임상 자료 분석 방법
KR101811028B1 (ko) * 2017-08-25 2017-12-20 (주)제이엘케이인스펙션 인공지능 기반 의료기기의 임상적 유효성 평가 방법 및 시스템
KR20180040287A (ko) * 2016-10-12 2018-04-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
KR20180082817A (ko) * 2017-01-11 2018-07-19 서울여자대학교 산학협력단 다중 파라메터 자기공명영상에서 전립선 주변부 영역의 전립선암 자동 검출 및 국소화 방법
KR101996475B1 (ko) * 2018-10-11 2019-10-01 (주)제이엘케이인스펙션 암 영역 검출의 유효성 평가 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103098090B (zh) * 2011-12-21 2015-01-21 中国科学院自动化研究所 多参数三维磁共振图像脑肿瘤分割方法
EP3586305B1 (en) * 2017-02-22 2021-08-04 The United States of America, as represented by The Secretary, Department of Health and Human Services Detection of prostate cancer in multi-parametric mri using random forest
US10489908B2 (en) * 2017-02-22 2019-11-26 Siemens Healthcare Gmbh Deep convolutional encoder-decoder for prostate cancer detection and classification
EP3759507A4 (en) * 2018-02-26 2021-12-01 The Board of Regents of the University of Texas System THREE-DIMENSIONAL REPRESENTATIONS OF POST-CONTRAST ENHANCED BRAIN LESIONS

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130082551A (ko) * 2011-12-08 2013-07-22 한국전자통신연구원 임상 자료 분석 장치 및 그것의 임상 자료 분석 방법
KR20180040287A (ko) * 2016-10-12 2018-04-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
KR20180082817A (ko) * 2017-01-11 2018-07-19 서울여자대학교 산학협력단 다중 파라메터 자기공명영상에서 전립선 주변부 영역의 전립선암 자동 검출 및 국소화 방법
KR101811028B1 (ko) * 2017-08-25 2017-12-20 (주)제이엘케이인스펙션 인공지능 기반 의료기기의 임상적 유효성 평가 방법 및 시스템
KR101996475B1 (ko) * 2018-10-11 2019-10-01 (주)제이엘케이인스펙션 암 영역 검출의 유효성 평가 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KIM, YOUNG GI ET AL.: "Automated Prostate Cancer Detection on Multi-parametric MR Imaging via Texture Analysis", THE JOURNAL OF KOREA MULTIMEDIA SOCIETY, vol. 19, no. 4, 2016, pages 736 - 746 *

Also Published As

Publication number Publication date
US11854193B2 (en) 2023-12-26
US20210303933A1 (en) 2021-09-30
KR101996475B1 (ko) 2019-10-01

Similar Documents

Publication Publication Date Title
WO2020076133A1 (ko) 암 영역 검출의 유효성 평가 장치
WO2020242239A1 (ko) 앙상블 학습 알고리즘을 이용한 인공지능 기반 진단 보조 시스템
WO2020076135A1 (ko) 암 영역에 대한 딥러닝 모델 학습 장치 및 방법
WO2020139009A1 (ko) 뇌혈관 질환 학습 장치, 뇌혈관 질환 검출 장치, 뇌혈관 질환 학습 방법 및 뇌혈관 질환 검출 방법
WO2014208971A1 (en) Ultrasound image display method and apparatus
WO2019164232A1 (ko) 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
KR101876338B1 (ko) 신경망을 이용한 간 경변 예측 장치 및 방법
WO2020122606A1 (ko) 인공신경망을 이용한 장기의 부피 측정 방법 및 그 장치
WO2021137454A1 (ko) 인공지능 기반의 사용자 의료정보 분석 방법 및 시스템
WO2016159726A1 (ko) 의료 영상으로부터 병변의 위치를 자동으로 감지하는 장치 및 그 방법
WO2022131642A1 (ko) 의료 영상 기반 질환 중증도 결정 장치 및 방법
WO2021261808A1 (ko) 병변 판독 결과 표시 방법
WO2014200230A1 (en) Method and apparatus for image registration
WO2020139011A1 (ko) 뇌병변 정보 제공 장치 및 방법
WO2023095989A1 (ko) 뇌질환 진단을 위한 다중 모달리티 의료 영상 분석 방법 및 장치
WO2020076134A1 (ko) 암 영역 정보 보정 장치 및 방법
Setiawan et al. Effect of image downsizing and color reduction on skin cancer pre-screening
WO2020075991A1 (ko) 암 영역 상태 평가 장치 및 방법
WO2021002669A1 (ko) 병변 통합 학습 모델을 구축하는 장치와 방법, 및 상기 병변 통합 학습 모델을 사용하여 병변을 진단하는 장치와 방법
CN111401102A (zh) 深度学习模型训练方法及装置、电子设备及存储介质
WO2020222555A1 (ko) 영상 분석 장치 및 방법
WO2017073801A1 (ko) 영상 기반 뇌졸중 병변 진단 시스템 및 방법
WO2023167448A1 (ko) 병리 슬라이드 이미지를 분석하는 방법 및 장치
WO2013042889A1 (ko) 의료영상에서의 세그멘테이션 방법 및 그 장치
WO2015099426A1 (ko) 뇌경색 영역의 분할 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19871908

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19871908

Country of ref document: EP

Kind code of ref document: A1