WO2020235966A1 - 예측된 메타데이터를 이용하여 의료 영상을 처리하는 장치 및 방법 - Google Patents

예측된 메타데이터를 이용하여 의료 영상을 처리하는 장치 및 방법 Download PDF

Info

Publication number
WO2020235966A1
WO2020235966A1 PCT/KR2020/006712 KR2020006712W WO2020235966A1 WO 2020235966 A1 WO2020235966 A1 WO 2020235966A1 KR 2020006712 W KR2020006712 W KR 2020006712W WO 2020235966 A1 WO2020235966 A1 WO 2020235966A1
Authority
WO
WIPO (PCT)
Prior art keywords
medical image
metadata
information
machine learning
learning model
Prior art date
Application number
PCT/KR2020/006712
Other languages
English (en)
French (fr)
Inventor
박종찬
유동근
유기현
남현섭
이현재
이상협
Original Assignee
주식회사 루닛
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 루닛 filed Critical 주식회사 루닛
Priority to EP20810680.7A priority Critical patent/EP3975197A4/en
Priority to US17/426,336 priority patent/US11978548B2/en
Publication of WO2020235966A1 publication Critical patent/WO2020235966A1/ko
Priority to US18/627,705 priority patent/US20240249824A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/16—Image preprocessing
    • G06V30/166—Normalisation of pattern dimensions
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Definitions

  • the present disclosure relates to an apparatus and method for predicting metadata by applying a machine learning model to a medical image, and processing a medical image by using the predicted metadata.
  • DICOM Digital Imaging and Communications in Medicine
  • DICOM data contains two types of information. One is the raw pixel array of captured medical images, and the other is the metadata recorded in the DICOM header.
  • the values recorded in the DICOM header are primarily used. For example, a medical practitioner checks the value of the "BodyPartExamined" attribute of the DICOM header, determines whether the medical image is a part of the patient's body to be read, and proceeds to read the medical image. In addition, medical personnel can normalize original images from various environments by using the "Window Center/Width" property of the DICOM header.
  • the metadata of medical images stored in the DICOM header different protocols exist for each hospital, and different subjective values may be input for each radiologist.
  • the metadata of the DICOM header may be different.
  • the DICOM header may have no value, incorrectly entered, or may be stored with different standards. In this case, medical personnel may not be able to read medical images or may make erroneous readings.
  • a normalized medical image is required to machine-learn a medical image, but if metadata is stored in different standards, there is a problem in that the medical image cannot be properly machine-learned.
  • a medical image analysis method includes the steps of generating second predicted metadata for a medical image using a predictive model, first metadata and second metadata stored corresponding to the medical image And determining a method of processing the medical image based on one of the.
  • the determining of a method of processing a medical image in the medical image analysis method includes selecting one of the first metadata and the second metadata based on the reliability of the second metadata. And determining a method of processing the medical image based on the selected metadata.
  • Selecting one of the first metadata and the second metadata in the medical image analysis method may include: selecting the second metadata when the reliability of the second metadata is greater than or equal to the reference; And when the reliability of the second metadata is less than the reference, selecting the first metadata.
  • the second metadata when the first metadata does not have information related to at least one item related to the processing method, the second metadata And determining a processing method of the medical image based on the.
  • Determining a medical image processing method of the medical image analysis method includes applying the medical image to an abnormality detection machine learning model when the selected metadata satisfies a predetermined condition. do.
  • the medical image is abnormal. It involves not applying to the detection machine learning model.
  • the determining of a medical image processing method in the medical image analysis method includes determining a reference value related to determination of an abnormality detection machine learning model based on the selected metadata, and detecting an abnormality in the medical image. And obtaining result information by applying it to the machine learning model, and obtaining final result information by comparing the reference value with the result information.
  • the determining of a medical image processing method in the medical image analysis method includes selecting an abnormality detection machine learning model corresponding to the selected metadata among a plurality of abnormality detection machine learning models, and And applying to the selected anomaly detection machine learning model.
  • the information related to at least one item included in the selected metadata of the medical image analysis method is information related to whether or not to use spot compression, information about display intention type, information about view, magnification information, It includes one of information related to image rotation, information about the presence of an artifact, information about the age of the patient, or information about the body part of the patient.
  • the prediction model of a medical image analysis method is a machine learning model for predicting metadata corresponding to a medical image from a medical image.
  • At least one of the first metadata and the second metadata of the medical image analysis method includes information related to an object included in the medical image, information on a photographing environment of the medical image, and a type of the medical image. And at least one of information on and information related to a method of displaying a medical image.
  • a medical image analysis apparatus includes a processor and a memory, and the processor generates second metadata for a medical image using a predictive model, based on a command stored in the memory, and A method of processing a medical image is determined based on one of the first metadata and the second metadata stored in correspondence with the data.
  • the processor of the medical image analysis apparatus selects one of the first metadata and the second metadata based on the reliability of the second metadata, based on a command stored in the memory, and A medical image processing method is determined based on the metadata.
  • the processor of the medical image analysis apparatus selects the second metadata when the reliability of the second metadata is greater than or equal to the reference based on a command stored in the memory, and the reliability of the second metadata is the reference. If less than, the first metadata is selected.
  • the processor of the medical image analysis apparatus is based on a second metadata when the first metadata does not have information related to at least one item related to a processing method based on a command stored in a memory. To determine how to process medical images.
  • the processor of the medical image analysis apparatus applies the medical image to an abnormality detection machine learning model when the selected metadata satisfies a predetermined condition based on a command stored in a memory.
  • the processor of the medical image analysis apparatus detects an abnormal medical image when information related to at least one item included in the selected metadata does not satisfy a predetermined condition based on a command stored in a memory. It does not apply to machine learning models.
  • the processor of the medical image analysis apparatus determines a reference value related to determination of an abnormality detection machine learning model based on selected metadata, based on a command stored in a memory, and detects an abnormality in a medical image.
  • the result information is obtained by applying it to the model, and the final result information is obtained by comparing the reference value with the result information.
  • the processor of the medical image analysis apparatus selects an abnormality detection machine learning model corresponding to the selected metadata among a plurality of abnormality detection machine learning models, and selects a medical image based on a command stored in a memory. Applied to anomaly detection machine learning model.
  • Information related to at least one item included in the selected metadata of the medical image analyzing apparatus includes information related to whether or not to use spot compression, information about display intention type, information about view, magnification information, It includes one of information related to image rotation, information about the presence of an artifact, information about the age of the patient, or information about the body part of the patient.
  • the prediction model of the medical image analysis apparatus is a machine learning model for predicting metadata corresponding to a medical image from a medical image.
  • At least one of the first metadata and the second metadata of the medical image analyzing apparatus may include information related to an object included in the medical image, information on a photographing environment of the medical image, and And at least one of information related to a display method of a medical image and information about a medical image.
  • a program for implementing the medical image analysis method as described above may be recorded in a computer-readable recording medium.
  • FIG. 1 is a block diagram of an apparatus 100 for analyzing a medical image according to an exemplary embodiment of the present disclosure.
  • FIG. 2 is a diagram illustrating an apparatus for analyzing a medical image according to an exemplary embodiment of the present disclosure.
  • FIG. 3 is a flowchart illustrating an operation of an apparatus for analyzing a medical image according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram illustrating a structure of a DICOM file according to an embodiment of the present disclosure.
  • FIG 5 illustrates CT information according to window center information and window width information according to an embodiment of the present disclosure.
  • FIG. 6 is a flowchart illustrating an operation of an apparatus for analyzing a medical image according to an exemplary embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating a process of learning a prediction model according to an embodiment of the present disclosure.
  • FIG. 8 is a flowchart illustrating an operation of an apparatus for analyzing a medical image according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram illustrating a process of using a prediction model according to an embodiment of the present disclosure.
  • FIG. 10 is a flowchart illustrating a process of detecting a lesion according to an embodiment of the present disclosure.
  • FIG. 11 is a block diagram illustrating an operation of an apparatus for analyzing a medical image according to an embodiment of the present disclosure.
  • FIG. 12 is a flowchart illustrating an operation of an image analysis apparatus according to an embodiment of the present disclosure.
  • FIG. 13 is a flowchart illustrating an operation of an apparatus for analyzing a medical image according to an exemplary embodiment of the present disclosure.
  • FIG. 14 is a diagram illustrating a condition in which a medical image is not applied to an abnormality detection machine learning model according to an embodiment of the present disclosure.
  • 15 is a flowchart illustrating an operation of an apparatus for analyzing a medical image according to an embodiment of the present disclosure.
  • 16 is a block diagram illustrating an operation of an apparatus for analyzing a medical image according to an embodiment of the present disclosure.
  • unit used in the specification refers to a software or hardware component, and “unit” performs certain roles. However, “unit” is not meant to be limited to software or hardware.
  • the “unit” may be configured to be in an addressable storage medium or may be configured to reproduce one or more processors.
  • unit refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, procedures, Includes subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, database, data structures, tables, arrays and variables.
  • the functions provided within the components and “units” may be combined into a smaller number of components and “units” or may be further separated into additional components and “units”.
  • the "unit” may be implemented with a processor and a memory.
  • processor is to be interpreted broadly to include general purpose processors, central processing units (CPUs), microprocessors, digital signal processors (DSPs), controllers, microcontrollers, state machines, and the like.
  • processor may refer to an application specific application (ASIC), programmable logic device (PLD), field programmable gate array (FPGA), and the like.
  • ASIC application specific application
  • PLD programmable logic device
  • FPGA field programmable gate array
  • processor refers to a combination of processing devices, such as, for example, a combination of a DSP and a microprocessor, a combination of a plurality of microprocessors, a combination of one or more microprocessors in combination with a DSP core, or any other such configuration. You can also refer to it.
  • memory should be interpreted broadly to include any electronic component capable of storing electronic information.
  • the term memory refers to random access memory (RAM), read-only memory (ROM), non-volatile random access memory (NVRAM), programmable read-only memory (PROM), erase-programmable read-only memory (EPROM), electrical May refer to various types of processor-readable media such as erasable PROM (EEPROM), flash memory, magnetic or optical data storage, registers, and the like.
  • RAM random access memory
  • ROM read-only memory
  • NVRAM non-volatile random access memory
  • PROM programmable read-only memory
  • EPROM erase-programmable read-only memory
  • EEPROM erasable PROM
  • flash memory magnetic or optical data storage, registers, and the like.
  • FIG. 1 is a block diagram of an apparatus 100 for analyzing a medical image according to an exemplary embodiment of the present disclosure.
  • the apparatus 100 for analyzing a medical image may include a data learning unit 110 and a data recognition unit 120.
  • the medical image analysis apparatus 100 as described above may include a processor and a memory.
  • the data learning unit 110 may train a machine learning model for performing a target task using the data set.
  • the data learning unit 110 may receive label information related to a data set and a target task.
  • the data learning unit 110 may acquire a machine learning model by performing machine learning on the relationship between the data set and label information.
  • the machine learning model acquired by the data learning unit 110 may be a model for generating label information using a data set.
  • the data recognition unit 120 may store the machine learning model of the data learning unit 110.
  • the data recognition unit 120 may apply the machine learning model to input data and output predicted label information.
  • the data recognition unit 120 may use input data, label information, and results output by the machine learning model to update the machine learning model.
  • At least one of the data learning unit 110 and the data recognition unit 120 may be manufactured in the form of at least one hardware chip and mounted on an electronic device.
  • at least one of the data learning unit 110 and the data recognition unit 120 may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or an existing general-purpose processor (eg, a CPU Alternatively, it may be manufactured as a part of an application processor) or a graphics dedicated processor (eg, a GPU) and mounted on various electronic devices.
  • AI artificial intelligence
  • an existing general-purpose processor eg, a CPU
  • a graphics dedicated processor eg, a GPU
  • the data learning unit 110 and the data recognition unit 120 may be mounted on separate electronic devices, respectively.
  • one of the data learning unit 110 and the data recognition unit 120 may be included in the electronic device, and the other may be included in the server.
  • the data learning unit 110 and the data recognition unit 120 may provide the machine learning model information built by the data learning unit 110 to the data recognition unit 120 through wired or wireless communication. Data input to the unit 120 may be provided to the data learning unit 110 as additional learning data.
  • At least one of the data learning unit 110 and the data recognition unit 120 may be implemented as a software module.
  • the software module is a memory or a computer-readable ratio. It may be stored in a non-transitory computer readable media.
  • at least one software module may be provided by an operating system (OS) or a predetermined application.
  • OS operating system
  • OS operating system
  • some of the at least one software module may be provided by an operating system (OS), and the remaining part may be provided by a predetermined application.
  • the data learning unit 110 includes a data acquisition unit 111, a preprocessor 112, a training data selection unit 113, a model learning unit 114, and a model evaluation unit 115.
  • the data acquisition unit 111 may acquire data necessary for machine learning. Since a lot of data is required for learning, the data acquisition unit 111 may receive a data set including a plurality of data.
  • Label information may be assigned to each of a plurality of data.
  • the label information may be ground truth information describing each of a plurality of pieces of data.
  • the label information may be information to be derived by a target task.
  • the label information may be obtained from a user input, a memory, or a result of a machine learning model. For example, if the target task is to determine whether a specific object exists from an image, the plurality of data will be a plurality of image data, and the label information will be whether a specific object exists in each of the plurality of images.
  • the preprocessor 112 may preprocess the acquired data so that the received data can be used for machine learning.
  • the preprocessor 112 may process the acquired data set into a preset format so that the model learning unit 114 to be described later can use it.
  • the learning data selection unit 113 may select data necessary for learning from among the preprocessed data.
  • the selected data may be provided to the model learning unit 114.
  • the learning data selection unit 113 may select data necessary for learning from among preprocessed data according to a preset criterion.
  • the training data selection unit 113 may select data according to a preset criterion by learning by the model learning unit 114 to be described later.
  • the model learning unit 114 may learn a criterion for which label information is to be output based on the data set. In addition, the model learning unit 114 may perform machine learning by using the data set and label information on the data set as training data. In addition, the model learning unit 114 may perform machine learning by additionally using the previously acquired machine learning model. In this case, the previously acquired machine learning model may be a pre-built model. For example, the machine learning model may be a model built in advance by receiving basic training data.
  • the machine learning model may be constructed in consideration of the application field of the learning model, the purpose of learning, or the computer performance of the device.
  • the machine learning model may be, for example, a model based on a neural network.
  • models such as Deep Neural Network (DNN), Recurrent Neural Network (RNN), Long Short-Term Memory models (LSTM), BRDNN (Bidirectional Recurrent Deep Neural Network), and Convolutional Neural Networks (CNN) are used as machine learning models.
  • DNN Deep Neural Network
  • RNN Recurrent Neural Network
  • LSTM Long Short-Term Memory models
  • BRDNN Bidirectional Recurrent Deep Neural Network
  • CNN Convolutional Neural Networks
  • the model learning unit 114 may determine a machine learning model having a high correlation between the input learning data and the basic learning data as a machine learning model to be trained.
  • the basic learning data may be pre-classified by data type, and the machine learning model may be pre-built for each data type.
  • the basic training data may be pre-classified according to various criteria such as a place where the training data is generated, a time when the training data is generated, a size of the training data, a creator of the training data, and a type of an object in the training data.
  • the model learning unit 114 may train the machine learning model using, for example, a learning algorithm including error back-propagation or gradient descent. For example, the model learning unit 114 may apply the input data to the machine learning model and obtain the applied output label information. This is called forward propagation. In addition, the model learning unit 114 may obtain an error between the output label information and the ground truth label information, propagate the error in the reverse direction, and update the weight of the machine learning model. This is called backpropagation.
  • a learning algorithm including error back-propagation or gradient descent.
  • the model learning unit 114 may apply the input data to the machine learning model and obtain the applied output label information. This is called forward propagation.
  • the model learning unit 114 may obtain an error between the output label information and the ground truth label information, propagate the error in the reverse direction, and update the weight of the machine learning model. This is called backpropagation.
  • the model learning unit 114 may learn the machine learning model through supervised learning using, for example, training data as an input value. In addition, the model learning unit 114, for example, by self-learning the type of data required for the target task without any guidance, unsupervised learning (unsupervised learning) to discover the criteria for the target task. Through this, a machine learning model can be obtained. In addition, the model learning unit 114 may acquire a machine learning model through semi-supervised learning and active learning. In addition, the model learning unit 114 may learn a machine learning model through reinforcement learning using feedback on whether a result of a target task according to learning is correct, for example.
  • the model learning unit 114 may store the learned machine learning model.
  • the model learning unit 114 may store the learned machine learning model in a memory of the electronic device including the data recognition unit 120.
  • the model learning unit 114 may store the learned machine learning model in a memory of a server connected to the electronic device through a wired or wireless network.
  • the memory in which the learned machine learning model is stored may also store commands or data related to at least one other component of the electronic device together.
  • the memory may store software and/or programs.
  • the program may include, for example, a kernel, middleware, an application programming interface (API), and/or an application program (or “application”).
  • the model evaluation unit 115 may input evaluation data to the machine learning model, and when a result output from the evaluation data does not satisfy a predetermined criterion, the model learning unit 114 may retrain.
  • the evaluation data may be preset data for evaluating the machine learning model.
  • the model evaluation unit 115 does not satisfy a predetermined criterion when the number or ratio of evaluation data whose recognition result is not accurate among the results of the machine learning model learned on the evaluation data exceeds a preset threshold. It can be evaluated as For example, when a predetermined criterion is defined as a ratio of 2%, when the learned machine learning model outputs incorrect recognition results for more than 20 evaluation data out of a total of 1000 evaluation data, the model evaluation unit 115 learns It can be evaluated that the machine learning model is not suitable.
  • the model evaluation unit 115 evaluates whether each learned machine learning model satisfies a predetermined criterion, and determines the model that satisfies the predetermined criterion as a final machine learning model. You can decide. In this case, when there are a plurality of models that satisfy a predetermined criterion, the model evaluation unit 115 may determine any one or a predetermined number of models previously set in the order of the highest evaluation scores as the final machine learning model.
  • At least one of the data acquisition unit 111, the preprocessor 112, the training data selection unit 113, the model learning unit 114, and the model evaluation unit 115 in the data learning unit 110 is at least one It can be manufactured in the form of a hardware chip and mounted on an electronic device.
  • at least one of the data acquisition unit 111, the preprocessor 112, the training data selection unit 113, the model learning unit 114, and the model evaluation unit 115 is artificial intelligence (AI). It may be manufactured in the form of a dedicated hardware chip, or may be manufactured as a part of an existing general-purpose processor (eg, a CPU or application processor) or a graphics dedicated processor (eg, a GPU) and mounted on the aforementioned various electronic devices.
  • AI artificial intelligence
  • the data acquisition unit 111, the preprocessor 112, the training data selection unit 113, the model learning unit 114, and the model evaluation unit 115 may be mounted on one electronic device, or separate Each of the electronic devices may be mounted.
  • some of the data acquisition unit 111, the preprocessing unit 112, the training data selection unit 113, the model learning unit 114, and the model evaluation unit 115 are included in the electronic device, and the rest are Can be included in the server.
  • At least one of the data acquisition unit 111, the preprocessor 112, the training data selection unit 113, the model learning unit 114, and the model evaluation unit 115 may be implemented as a software module.
  • At least one of the data acquisition unit 111, the preprocessing unit 112, the training data selection unit 113, the model learning unit 114, and the model evaluation unit 115 is a software module (or a program including an instruction) Module), the software module may be stored in a computer-readable non-transitory computer readable media.
  • at least one software module may be provided by an operating system (OS) or a predetermined application.
  • OS operating system
  • some of the at least one software module may be provided by an operating system (OS), and the remaining part may be provided by a predetermined application.
  • the data recognition unit 120 includes a data acquisition unit 121, a preprocessor 122, a recognition data selection unit 123, a recognition result providing unit 124, and a model update unit 125 It may include.
  • the data acquisition unit 121 may receive input data.
  • the preprocessor 122 may preprocess the acquired input data so that the acquired input data can be used by the recognition data selection unit 123 or the recognition result providing unit 124.
  • the recognition data selection unit 123 may select necessary data from among preprocessed data.
  • the selected data may be provided to the recognition result providing unit 124.
  • the recognition data selection unit 123 may select some or all of the preprocessed data according to a preset criterion.
  • the recognition data selection unit 123 may select data according to a preset criterion by learning by the model learning unit 114.
  • the recognition result providing unit 124 may obtain result data by applying the selected data to the machine learning model.
  • the machine learning model may be a machine learning model generated by the model learning unit 114.
  • the recognition result providing unit 124 may output result data.
  • the result data may be prediction label information corresponding to the input data.
  • the predicted label information may be data that the target task intends to derive from input data.
  • the model update unit 125 may update the machine learning model based on the evaluation of the recognition result provided by the recognition result providing unit 124. For example, the model update unit 125 provides the recognition result provided by the recognition result providing unit 124 to the model learning unit 114, so that the model learning unit 114 can update the machine learning model. have.
  • At least one of the data acquisition unit 121, the preprocessor 122, the recognition data selection unit 123, the recognition result providing unit 124, and the model update unit 125 in the data recognition unit 120 is at least It can be manufactured in the form of a single hardware chip and mounted on an electronic device.
  • at least one of the data acquisition unit 121, the preprocessor 122, the recognition data selection unit 123, the recognition result providing unit 124, and the model update unit 125 is artificial intelligence (AI). ) May be manufactured in the form of a dedicated hardware chip, or may be manufactured as a part of an existing general-purpose processor (eg, a CPU or application processor) or a graphics dedicated processor (eg, a GPU) and mounted in the aforementioned various electronic devices.
  • AI artificial intelligence
  • the data acquisition unit 121, the preprocessor 122, the recognition data selection unit 123, the recognition result providing unit 124, and the model update unit 125 may be mounted on one electronic device, or separately It may be mounted on each of the electronic devices.
  • some of the data acquisition unit 121, the preprocessor 122, the recognition data selection unit 123, the recognition result providing unit 124, and the model update unit 125 are included in the electronic device, and the rest Can be included in the server.
  • At least one of the data acquisition unit 121, the preprocessor 122, the recognition data selection unit 123, the recognition result providing unit 124, and the model update unit 125 may be implemented as a software module.
  • At least one of the data acquisition unit 121, the preprocessor 122, the recognition data selection unit 123, the recognition result providing unit 124, and the model update unit 125 includes a software module (or an instruction).
  • Program module the software module may be stored in a computer-readable non-transitory computer readable media.
  • at least one software module may be provided by an operating system (OS) or a predetermined application.
  • OS operating system
  • some of the at least one software module may be provided by an operating system (OS), and the remaining part may be provided by a predetermined application.
  • FIG. 2 is a diagram illustrating an apparatus for analyzing a medical image according to an exemplary embodiment of the present disclosure.
  • the medical image analysis apparatus 200 may include a processor 210 and a memory 220.
  • the processor 210 may execute instructions stored in the memory 220.
  • the medical image analysis apparatus 200 may include at least one of the data learning unit 110 and the data recognition unit 120. At least one of the data learning unit 110 and the data recognition unit 120 may be implemented by the processor 210 and the memory 220.
  • FIG. 3 is a flowchart illustrating an operation of an apparatus for analyzing a medical image according to an embodiment of the present disclosure.
  • the medical image analysis apparatus 200 based on a plurality of medical images for training and metadata matched to each of the plurality of medical images, learning a prediction model for predicting metadata of a medical image (310) You can do it.
  • a prediction model may be obtained by machine learning a relationship between a medical image and metadata based on the data learning unit 110 of the medical image analyzing apparatus 200.
  • the prediction model may correspond to the machine learning model of FIG. 1.
  • the apparatus 200 for analyzing a medical image may store the obtained prediction model in a memory or may transmit the obtained prediction model to the other apparatus 200 for analyzing a medical image by wire or wirelessly.
  • the apparatus 200 for analyzing medical images may perform an operation 320 of predicting metadata for an input medical image using the learned prediction model.
  • the data recognition unit 120 of the medical image analysis apparatus 200 may predict metadata by applying a prediction model to the input medical image.
  • the predictive model may be obtained from a memory of the medical image analyzing apparatus 200 or may be received from another medical image analyzing apparatus 200.
  • the plurality of medical images for learning and the input medical images may be images of various formats.
  • the plurality of medical images for learning and the input medical images may be images corresponding to the Digital Imaging and Communications in Medicine (DICOM) standard.
  • DICOM Digital Imaging and Communications in Medicine
  • the medical image analysis apparatus 200 may store information related to a medical image in a DICOM header.
  • the DICOM header may contain standard data elements.
  • Standard data elements mean elements related to medical images defined by the DICOM standard.
  • the medical image analysis apparatus 200 may obtain metadata from standard data elements.
  • DICOM headers may contain non-standard data elements.
  • the non-standard data element is not defined by the DICOM standard, but refers to an element related to a medical image that is generated according to the needs of a medical imaging device manufacturer or a medical institution.
  • the medical image analysis apparatus 200 may obtain metadata from a non-standard data element.
  • Information related to medical images may be stored in a storage space other than the DICOM header.
  • the medical image analysis apparatus 200 may store various information related to medical images together with a matching relationship between medical images.
  • the apparatus 200 for analyzing a medical image may acquire metadata based on various pieces of information related to a medical image.
  • FIG. 4 is a diagram illustrating a structure of a DICOM file according to an embodiment of the present disclosure.
  • the DICOM file 410 may include a DICOM header 411 and a medical image 412.
  • the medical image 412 may include various medical images, and may include, for example, at least one of CT, X-RAY, Mammography, and MRI images.
  • the DICOM header 411 may include various information related to medical images.
  • the medical image analysis apparatus 200 may obtain metadata 420 based on various information related to the medical image 412 included in the DICOM header 411.
  • the DICOM header 411 may include standard data elements or non-standard data elements.
  • the apparatus 200 for analyzing a medical image may acquire metadata based on a standard data element or a non-standard data element.
  • the metadata 420 includes information related to at least one of information related to an object included in a medical image, information about a photographing environment of a medical image, information about a type of medical image, and information related to a method of displaying a medical image. can do.
  • the information related to the object included in the medical image may include at least one of information on a body part included in the medical image, information on the existence of an artifact, and information on a patient.
  • the artificial object may include at least one of an implant or a medical device.
  • Body part information included in the medical image may be expressed as an index corresponding to the body part.
  • the body part information may include at least one of an index indicating a chest, a breast, a lung, an abdomen, an arm, or a leg.
  • information related to an object included in the medical image may include information on whether or not an artifact exists.
  • Artificial objects may be inserted into the patient's body for medical or cosmetic purposes.
  • the artificial object may include at least one of an implant or a medical device.
  • the medical device may include at least one of a tube, a catheter, or an electronic device (e.g. a cardiac implantable electronic device (CIED)).
  • the information on the presence or absence of an artifact may be information indicating whether the artifact is present in a medical image. Since the artificial object has a unique shape and texture, the medical image analysis apparatus 200 may obtain information on whether or not the artificial object exists in the medical image based on the predictive model.
  • Information on the patient includes the patient's gender or the patient's age.
  • the patient's age information may be a value representing the patient's age as a number.
  • the metadata may include the patient's birthday, and the medical image analysis apparatus 200 may calculate age information of the patient from the patient's birthday.
  • the patient's age information may be information indicating a range of age, for example, an age range.
  • the patient's age information may be displayed as an index indicating a child, a young person, a middle-aged person, or an age group. Since the degree of development of the body varies according to the age of the patient, the structure of the body shown in the medical image may vary.
  • the body shown in the medical image may be an object.
  • the apparatus 200 for analyzing a medical image may acquire age information of a patient based on the structure of an object shown in the medical image. Also, the apparatus 200 for analyzing a medical image may obtain information on the age of a patient from the medical image based on the predictive model.
  • the information on the environment for capturing a medical image may include various information related to capturing a medical image.
  • the information on the photographing environment of the medical image may include at least one of modality information of the medical image or information on the photographing method of the medical image.
  • the modality information of the medical image may indicate what kind of imaging equipment the medical image was captured.
  • the modality information of a medical image may be an index in which the medical image 412 indicates any one of CT, MRI, X-RAY, Mammography, and ultrasound images.
  • the modality information of the medical image is not limited thereto, and may represent various medical images photographed targeting a patient.
  • the information on the photographing environment of the medical image may include information on the photographing method of the medical image.
  • the information on the photographing environment of the medical image may correspond to a predetermined index represented by numbers or letters.
  • Information on a method of capturing a medical image may include information on a view in which an object is captured.
  • information on a view for photographing an object of a breast may include a Craniocaudal (CC) view, a Mediolateral oblique (MLO) view, a Mediolateral (ML) view, or a Lateromedial (LM) view. Since the overall shape of the object varies according to the view, the apparatus 200 for analyzing a medical image may automatically obtain information on the view based on the predictive model.
  • the object shown in the medical image may include a chest area.
  • the view information is PA view, AP view, lateral view, AP erect view, supine view, lordotic view, lateral decubitus view, expiratory chest radiograph view, sternum lateral view, sternum oblique view, ribs AP view, ribs PA view.
  • ribs may include oblique views.
  • the posterior-anterior (PA) view and the anterior-posterior (AP) view will be described in more detail as follows.
  • the information on the view may include information indicating whether the X-RAY is irradiated from the anterior to the posterior of the patient or from the posterior to the anterior of the patient. These are referred to as Anterior-Posterior (AP) view or Posterior-Anterior (PA) view, respectively.
  • AP Anterior-Posterior
  • PA Posterior-Anterior
  • information on a method of capturing a medical image may include magnification information.
  • the magnification information may indicate a magnification of a medical image capturing apparatus in which a medical image is captured. As the magnification information increases, it may indicate that the object is enlarged and photographed. Also, as the magnification information is smaller, it may indicate that the object is reduced and photographed.
  • the information on the method of capturing a medical image may include information related to whether or not spot compression is used.
  • Spot compression is a method for photographing in more detail by pressing a partial area of an object. According to the spot compression, by pushing a normal tissue out of an object with a compression plate, the apparatus for obtaining a medical image can take a picture of a suspected lesion area in more detail and enlarged. Therefore, the medical practitioner can facilitate diagnosis of the suspicious area in the subject.
  • the medical image analyzing apparatus 200 performs spot compression based on the prediction model. Information related to whether or not to use can be automatically obtained.
  • the information on the type of medical image may include information on the presentation intent type of the medical image.
  • the information on the display intention type may indicate that the medical image is a "final image" for diagnosis by a medical professional.
  • the information on the display intention type may indicate that the image is a "processing image” that requires input from a medical practitioner or additional processing in order to obtain a final image.
  • the processing image may be an intermediate medical image that can be displayed before the final medical image is acquired.
  • Information related to a display method of the medical image includes window center information and window width of the medical image. It may include at least one of information, color inversion information, information related to rotation of an image, and information about inversion of an image.
  • Window center information and window width information will be described with reference to FIG. 5.
  • FIG 5 illustrates CT information according to window center information and window width information according to an embodiment of the present disclosure.
  • the window center information and window width information may be information for adjusting brightness of a medical image and contrast of a medical image.
  • a window graph may be drawn based on the window center information 531 and the window width information 532.
  • the horizontal axis of the window graph may be the value of the input pixel.
  • the input pixel refers to the pixel of the input medical image.
  • the input pixel value may have a minimum value and a maximum value. The minimum and maximum values may be determined by at least one of an image capturing device, an image display device, and an image encoding standard. When the input pixel value has a maximum value, it may indicate that the input pixel is the brightest pixel, and when the input pixel value has a minimum value, it may indicate that the input pixel is the darkest pixel. However, it is not limited thereto.
  • the vertical axis of the window graph may be the value of the output pixel.
  • the medical image analysis apparatus 200 may determine the value of the output pixel by processing the value of the input pixel.
  • the medical image analysis apparatus 200 may display a medical image on the display based on the value of the output pixel.
  • the window graph 521 may be created.
  • the medical image analyzing apparatus 200 may generate a CT image 511 based on the window center information 531 and the window width information 532.
  • the medical image analysis apparatus 200 displays an input pixel value smaller than the first threshold value as a minimum pixel value based on the window center information 531 or the window width information 532, and an input pixel value greater than the second threshold value.
  • the CT image 511 may be generated by displaying as the maximum pixel value. That is, the apparatus 200 for analyzing a medical image may distinctly display input pixel values that are greater than or equal to the first threshold value and smaller than or equal to the second threshold value.
  • An input pixel value smaller than the first threshold value or an input pixel value larger than the second threshold value may be a clutter signal that is not important for medical image analysis.
  • the apparatus 200 for analyzing a medical image may adjust a first threshold value and a second threshold value based on the window center information 531 and the window width information 532 and may display only pixels important for medical image analysis.
  • a window graph 522 may appear as shown in FIG. 5.
  • the apparatus 200 for analyzing a medical image may generate a CT image 512 based on the window center information 531 and the window width information 532.
  • the apparatus 200 for analyzing a medical image may generate a CT image 512 by separately displaying all input pixel values based on the window center information 531 or the window width information 532.
  • the apparatus 200 for analyzing medical images may display a brighter portion of the input pixel or display a darker portion of the input pixel based on the slope of the line of the window graph 522.
  • the apparatus 200 for analyzing a medical image may adjust the brightness of a medical image based on the window center information 531 or the window width information 532. For example, when comparing the case where the window width information 532 is c and the case where the window width information 532 is b, it can be seen that the CT image 512 is darker than the CT image 511.
  • the medical image analysis apparatus 200 may make the medical image optimal for image analysis by adjusting the window center information 531 or the window width information 532.
  • a window graph 523 may appear as shown in FIG. 5.
  • the medical image analyzing apparatus 200 may generate a CT image 513 based on the window center information 531 and the window width information 532.
  • the medical image analyzing apparatus 200 may generate a CT image 513 by brightly processing all input pixel values greater than the third threshold value based on the window center information 531 or the window width information 532.
  • the apparatus 200 for analyzing medical images may display a brighter portion of the input pixel or display a darker portion of the input pixel based on the slope of the line of the window graph 522.
  • the apparatus 200 for analyzing a medical image may adjust the brightness of a medical image based on the window center information 531 or the window width information 532. For example, when comparing the case where the window center information 531 is a and the case where the window center information 531 is d, it can be seen that the CT image 512 is darker than the CT image 513.
  • An input pixel value greater than the third threshold may be a clutter signal that is not important for medical image analysis.
  • the apparatus 200 for analyzing a medical image may display only pixels important for medical image analysis by adjusting a third threshold based on the window center information 531 and the window width information 532.
  • the medical image analysis apparatus 200 may normalize original images from various environments based on the window center information 531 or the window width information 532.
  • the preprocessor 112 and the preprocessor 122 of the medical image analysis apparatus 200 may generate a normalized medical image from the original medical image.
  • the medical image analysis apparatus 200 may provide a prediction model to another medical image analysis apparatus.
  • Another apparatus for analyzing medical images may correct a medical image based on the predictive model of the present disclosure before performing other machine learning.
  • information related to a method of displaying a medical image may include color inversion information.
  • the apparatus 200 for analyzing a medical image may display a color of a medical image by inverting it based on the color inversion information.
  • the medical image analysis apparatus 200 may display a medical image using a value obtained by subtracting a pixel value in a medical image from a maximum value that a pixel value can have as a pixel value.
  • Information related to the method of displaying a medical image may include information related to rotation of the image.
  • the information related to the rotation of the image may indicate the amount of rotation of the photographed medical image information in a clockwise or counterclockwise direction.
  • Information related to image rotation may be indicated as an index corresponding to the rotation size, or may be indicated as a number in radian or degree units.
  • the medical image analysis apparatus 200 may rotate and display a medical image based on information related to rotation of the image.
  • Information related to the display method of the medical image may include information about the image inversion.
  • the flip information of the image may indicate that the medical image is inverted left and right based on the vertical axis and displayed.
  • the present invention is not limited thereto, and the image inversion information may indicate that the medical image is vertically inverted based on a horizontal axis.
  • the metadata 420 includes information related to at least one of information related to an object included in a medical image, information about a photographing environment of a medical image, and information related to a method of displaying a medical image.
  • the medical image analysis apparatus 200 may acquire metadata based on information stored in a standard format of a DICOM header. Also, the medical image analysis apparatus 200 may acquire metadata based on information stored in a non-standard format in the DICOM header. In addition, the medical image analysis apparatus 200 may acquire metadata based on information stored in a non-standard format in a storage space other than the DICOM header.
  • Non-standard formats may differ for each medical imaging device manufacturer or hospital.
  • the medical image analyzing apparatus 200 may also be inconvenient to acquire metadata using a different method for each manufacturer or hospital that provided the medical image.
  • the apparatus 200 for analyzing a medical image may perform metadata based on the medical image 412 even when metadata is acquired based on information stored in a non-standard format or when information related to a medical image does not exist at all. Can be generated. Step 310 of training the prediction model of FIG. 3 will be described in detail with reference to FIGS. 6 and 7.
  • FIG. 6 is a flowchart illustrating an operation of an apparatus for analyzing a medical image according to an exemplary embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating a process of learning a prediction model according to an embodiment of the present disclosure.
  • the prediction model may be included in the machine learning model described in FIG. 1.
  • the process of FIG. 6 may be performed by the data learning unit 110 included in the medical image analysis apparatus 200.
  • the medical image analysis apparatus 200 may receive an input data set 710 in order to learn a prediction model.
  • the input data set 710 may include a plurality of medical images 711 and metadata 712.
  • the apparatus 200 for analyzing medical images may perform an operation 610 of obtaining a plurality of medical images 711.
  • the medical image analysis apparatus 200 may acquire a plurality of medical images from the memory 220.
  • the apparatus 200 for analyzing medical images may acquire a plurality of medical images based on wired/wireless communication.
  • the apparatus 200 for analyzing medical images may perform an operation 620 of obtaining metadata 712 matched to each of a plurality of medical images.
  • the medical image analysis apparatus 200 may perform a step of acquiring a plurality of metadata matching each of a plurality of medical images from standard data elements of a DICOM header of each of a plurality of medical images for learning.
  • the present invention is not limited thereto, and the medical image analysis apparatus 200 may obtain metadata from a non-standard data element of a DICOM header or information in a non-standard format of a storage space other than the DICOM header.
  • the metadata 712 may include at least one of information related to an object included in a medical image, information about a type of medical image, information about a photographing environment of the medical image, and information related to a display method of the medical image. have.
  • the apparatus 200 for analyzing medical images may perform an operation 630 of learning a predictive model by using a plurality of medical images for learning and a plurality of acquired metadata.
  • the medical image analysis apparatus 200 may perform supervised learning using the original medical image and label information.
  • the label information may be metadata.
  • the label information may be information in the DICOM header, information stored in an area other than the DICOM header, information input by a user, or information input by a medical professional about the original medical image.
  • the apparatus 200 for analyzing a medical image may perform machine learning using regression or classification according to the characteristics of label information.
  • Machine learning may be used to learn a predictive model of the medical image analysis apparatus 200.
  • Machine learning can be based on Neural Networks.
  • algorithms such as Deep Neural Network (DNN), Recurrent Neural Network (RNN), Long Short-Term Memory models (LSTM), BRDNN (Bidirectional Recurrent Deep Neural Network), and Convolutional Neural Networks (CNN) can be used as machine learning.
  • DNN Deep Neural Network
  • RNN Recurrent Neural Network
  • LSTM Long Short-Term Memory models
  • BRDNN Bidirectional Recurrent Deep Neural Network
  • CNN Convolutional Neural Networks
  • the medical image analysis apparatus 200 may output the learned result as a prediction model 730.
  • the medical image analysis apparatus 200 may store the prediction model 730 in a memory.
  • the medical image analysis apparatus 200 may transmit the prediction model 730 to another medical image analysis apparatus 200.
  • FIG. 8 is a flowchart illustrating an operation of an apparatus for analyzing a medical image according to an embodiment of the present disclosure.
  • 9 is a diagram illustrating a process of using a prediction model according to an embodiment of the present disclosure.
  • the process of FIG. 8 may be performed by the data recognition unit 120 included in the medical image analysis apparatus 200.
  • the apparatus 200 for analyzing medical images may include a predictive model 730.
  • the medical image analysis apparatus 200 may receive a prediction model from another medical image analysis apparatus 200.
  • the apparatus 200 for analyzing medical images may acquire a predictive model by performing machine learning based on a plurality of medical images and metadata.
  • the apparatus 200 for analyzing a medical image may perform an operation 810 of receiving a medical image 910.
  • the medical image 910 may be an image to be analyzed by the medical image analysis apparatus 200.
  • the medical image analysis apparatus 200 may receive a medical image 910 from a user through an input device.
  • the medical image analysis apparatus 200 may receive a medical image 910 from another device through wired or wireless communication.
  • the medical image 910 may be independent of the plurality of medical images 711.
  • the medical image 910 may be an image different from the plurality of medical images 711, or may be the same image.
  • the medical image analysis apparatus 200 may perform an operation 820 of predicting the second metadata 930 corresponding to the input medical image 910 using the prediction model.
  • the second metadata 930 includes information related to an object included in the medical image 910, information on a photographing method, information on modality of the medical image, information on the type of medical image, and display of the medical image 910 It may include at least one of information related to the method.
  • the information related to an object included in the medical image may include at least one of information on a body part included in the medical image, information on the presence of an artifact, and information on a patient.
  • the information on the imaging method may include at least one of information on a view indicating a location where the object was captured, information on magnification, or information on whether to use spot compression.
  • the modality information on the medical image It can indicate whether it was shot with the type of imaging equipment.
  • the information on the type of the medical image may include information on the presentation intent type of the medical image.
  • the information related to the display method of the medical image includes at least one of window center information, window width information, color inversion information, information related to rotation of the image, and image inversion information of the medical image. Can include.
  • the medical image analysis apparatus 200 may perform an operation 830 of matching and storing the second metadata 930 with the input medical image 910 for the input medical image 910.
  • the medical image analysis apparatus 200 may store the second metadata 930 in a DICOM header in a standard format. However, it is not limited thereto.
  • the medical image analysis apparatus 200 may store the second metadata 930 in a non-standard format in the DICOM header or in a storage space other than the DICOM header.
  • the medical image analysis apparatus 200 may store first metadata corresponding to the medical image 910.
  • the first metadata is for the medical image 910 and may be data input by a user or data automatically generated by a medical imaging apparatus.
  • the first metadata may be data included in the medical image 910 or stored in correspondence with the medical image 910. Accordingly, the first metadata may be referred to as metadata stored in a medical image or metadata corresponding to a medical image.
  • the medical image analyzing apparatus 200 may compare the first metadata with the second metadata 930.
  • the medical image analyzing apparatus 200 may determine a processing method of the medical image 910 based on the comparison. This will be described in more detail with reference to FIG. 11.
  • the medical image analysis apparatus 200 may adjust the input medical image to an optimum condition or an optimum state for performing a target task. For example, the medical image analysis apparatus 200 may further perform the step of adjusting the input medical image based on the second metadata 930 in order to detect an abnormality in the input medical image. Can be done. Also, the apparatus 200 for analyzing a medical image may perform an operation of adjusting at least one of a window center, a window width, a color, and an output direction of the input medical image based on the second metadata 930.
  • the second metadata 930 includes at least one of predicted window center information, predicted window width information, predicted color inversion information, information related to the predicted image rotation, and predicted image inversion information. can do.
  • the apparatus 200 for analyzing a medical image may adjust a window center or a window width of the medical image 910 based on the predicted window center information or the predicted window width information.
  • the apparatus 200 for analyzing a medical image may adjust the color of the medical image 910 based on the predicted color inversion information.
  • the apparatus 200 for analyzing a medical image may determine an output direction of the medical image 910 based on information related to rotation of the predicted image and information on the inversion of the predicted image.
  • the apparatus 200 for analyzing medical images may predict metadata required from the original medical image before reading the lesion from the medical image. Also, the apparatus 200 for analyzing a medical image may adjust the medical image to be readable by using the predicted value. In addition, the medical image may determine whether the medical image is an image to be read based on the predicted value. Accordingly, the apparatus 200 for analyzing medical images may provide consistent reading results without relying on subjective and variable DICOM headers.
  • FIG. 10 is a flowchart illustrating a process of detecting a lesion according to an embodiment of the present disclosure.
  • the apparatus 200 for analyzing medical images may receive a medical image of a patient. As described with reference to FIG. 8, the apparatus 200 for analyzing a medical image may predict metadata by using a predictive model on a medical image of a patient. Since the metadata is predicted based on the same prediction model, the medical image analyzing apparatus 200 may acquire the second metadata 930 based on the same criterion no matter which medical image is received. Accordingly, the apparatus 200 for analyzing a medical image may increase a success rate of a target task by applying a machine learning model to at least one of the medical image and metadata.
  • the target task may be lesion detection.
  • the medical image analysis apparatus 200 adjusts the medical image of the patient based on the second metadata 930 (1010 ). ) Can be performed.
  • the apparatus 200 for analyzing medical images may perform an operation of adjusting at least one of a window center, a window width, a color, and an output direction of the input medical image based on the second metadata.
  • the medical image analysis apparatus 200 may perform an operation 1020 of checking a body part included in the second metadata 930.
  • the apparatus 200 for analyzing medical images may check whether the body part information of the second metadata 930 matches the body part to be detected abnormal.
  • a user may need a medical image for a specific body part in order to diagnose an abnormality from a medical image of a patient.
  • the user may input information on a specific body part into the medical image analysis apparatus 200.
  • the medical image analysis apparatus 200 may automatically acquire information on a specific body part corresponding to a lesion that the user is looking for.
  • the apparatus 200 for analyzing a medical image may compare specific body part information with body part information included in the second metadata 930 to determine whether the patient's medical image is an image corresponding to a specific body part. When the specific body part information and the body part information included in the second metadata 930 do not match, the medical image analyzing apparatus 200 acquires a new medical image of a patient or a new medical image of the patient. Can be done.
  • the medical image analysis apparatus 200 may perform an operation 1030 of checking modality included in the second metadata.
  • the medical image analysis apparatus 200 may check whether the modality information of the second metadata 930 is suitable for detecting an abnormality.
  • a user may need a medical image of a specific modality in order to diagnose an abnormality from a medical image of a patient.
  • the user may input information on a specific modality into the medical image analysis apparatus 200.
  • the medical image analysis apparatus 200 may automatically acquire specific modality information necessary to detect a lesion that the user is looking for.
  • the apparatus 200 for analyzing a medical image may compare specific modality information with modality information included in the second metadata 930 to determine whether the patient's medical image is an image based on a specific modality. When the specific modality information and the modality information included in the metadata do not match, the medical image analyzing apparatus 200 may acquire a new medical image of the patient or perform an operation for obtaining a new medical image of the patient.
  • the apparatus 200 for analyzing medical images may perform an operation 1040 of checking information on a patient included in the second metadata.
  • the medical image analysis apparatus 200 may check whether the information on the patient in the second metadata is suitable for detecting an abnormality.
  • a user may need specific patient information in order to diagnose an abnormality from a patient's medical image.
  • the medical image analysis apparatus 200 may determine whether the diagnosis target and the patient corresponding to the medical image are the same person.
  • the medical image analysis apparatus 200 may perform diagnosis on a patient of a specific age range in order to diagnose an abnormality.
  • the user may input information on a patient into the medical image analysis apparatus 200.
  • the medical image analysis apparatus 200 may automatically acquire patient information necessary to detect a lesion that the user is looking for.
  • the medical image analysis apparatus 200 may compare the input patient information and patient information included in the metadata.
  • the medical image analyzing apparatus 200 may output a warning message when the input patient information and patient information included in the metadata do not match.
  • the apparatus 200 for analyzing a medical image may perform an operation 1050 of detecting a lesion from the medical image 910 of a patient.
  • the medical image analysis apparatus 200 may use an abnormality detection machine learning model specialized for lesion detection in order to detect a lesion from a medical image.
  • the apparatus 200 for analyzing medical images may include an abnormality detection machine learning model.
  • the medical image analysis apparatus 200 may receive an abnormality detection machine learning model from another medical image analysis apparatus 200.
  • the apparatus 200 for analyzing medical images may acquire an abnormality detection machine learning model by performing machine learning based on the plurality of medical images and lesion labels corresponding to each of the plurality of medical images.
  • the apparatus 200 for analyzing medical images may generate a machine learning model using the data learning unit 110. Since the general process of generating the machine learning model has been described with reference to FIG. 1, duplicate descriptions are omitted.
  • the medical image analysis apparatus 200 may detect a lesion by applying the medical image 910 to an abnormality detection machine learning model.
  • the data recognition unit 120 included in the medical image analysis apparatus 200 may apply the medical image 910 to an abnormality detection machine learning model to detect lesion information.
  • the information on the lesion may include at least one of the name of the lesion, the location of the lesion, and the severity of the lesion. Since the general process of performing the target task based on the abnormality detection machine learning model has been described with reference to FIG. 1, duplicate descriptions are omitted.
  • FIG. 10 a process in which the medical image analysis apparatus 200 detects a lesion based on an abnormality detection machine learning model has been described. However, it is not limited thereto. An embodiment different from that of FIG. 10 may be described from FIG. 11. From FIG. 11, steps performed by the medical image analysis apparatus 200 to detect a lesion will be described. Some of the configurations described from FIG. 11 may also be used in FIG. 10.
  • FIG. 11 is a block diagram illustrating an operation of an apparatus for analyzing a medical image according to an embodiment of the present disclosure.
  • 12 is a flowchart illustrating an operation of an image analysis apparatus according to an embodiment of the present disclosure.
  • FIG. 11 will be described together with FIG. 12.
  • the medical image analysis apparatus 200 may perform an operation 1210 of obtaining a prediction model 730 to predict metadata for the medical image from the medical image.
  • the apparatus 200 for analyzing a medical image may pre-store the prediction model 730.
  • the medical image analysis apparatus 200 may receive a prediction model from another medical image analysis apparatus 200.
  • the apparatus 200 for analyzing medical images may acquire a predictive model 730 by performing machine learning based on a plurality of medical images and a plurality of metadata. The process of machine learning the prediction model 730 has already been described with reference to FIGS. 6 and 7, and thus redundant descriptions are omitted.
  • the apparatus 200 for analyzing medical images may perform an operation 1220 of generating second metadata for the medical image 910 using the predictive model 730. Since the step 1220 of generating the second metadata of FIG. 11 corresponds to the step 820 of predicting the metadata 930 corresponding to the medical image 910 of FIG. 8, a duplicate description will be omitted.
  • the medical image 910 may be an image to be analyzed by the medical image analysis apparatus 200.
  • the medical image analysis apparatus 200 may receive a medical image 910 from a user through an input device.
  • the medical image analysis apparatus 200 may receive a medical image 910 from another device through wired or wireless communication.
  • the medical image analysis apparatus 200 may use a medical image 910 that is previously stored.
  • the medical image 910 may be independent of the plurality of medical images 711 used to generate the predictive model 730.
  • the medical image 910 may be an image different from the plurality of medical images 711 used to generate the predictive model 730, or may be the same image.
  • the medical image analysis apparatus 200 may perform an operation 1230 of selecting at least one of the first metadata 1140 and the second metadata 930 corresponding to the medical image 910.
  • the first metadata 1140 may be data corresponding to the medical image 910.
  • the first metadata 1140 may be input by a user in the process of generating the medical image 910 or may be metadata generated by a medical device.
  • the first metadata 1140 may be generated by applying different criteria for each medical image. For example, the first metadata 1140 may appear differently for the same medical image due to differences in standards between medical institutions, differences in medical imaging equipment, or subjectivity of a user. Also, the first metadata 1140 may have missing information. This is because the user may omit the information input or the medical device may omit the information input according to the settings.
  • the second metadata 930 may be data obtained based on the same prediction model 730.
  • the second metadata 930 is information obtained from the medical image 910 according to the same criteria, and there may be no missing information.
  • the abnormality detection machine learning model may be a machine-learned model based on a medical image satisfying a specific condition. Therefore, the abnormality detection machine learning model can accurately predict lesions for medical images that satisfy specific conditions.
  • the medical image analysis apparatus 200 may select a medical image that satisfies a predetermined condition by using at least one of the second metadata 930 and the first metadata 1140. In addition, when a predetermined condition is satisfied, the medical image analysis apparatus 200 may accurately predict a lesion by applying the medical image to an abnormality detection machine learning model. That is, by using at least one of the second metadata 930 or the first metadata 1140, the medical image analysis apparatus 920 determines whether the medical image 910 is suitable for application to an abnormality detection machine learning model. Can be determined.
  • the first metadata 1140 and the second metadata 930 are information related to an object included in a medical image, information about a type of medical image, information about a photographing environment of a medical image, and a method of displaying a medical image. It may include information related to at least one of the information. Information related to the object included in the medical image, information on the type of the medical image, information on the photographing environment of the medical image, and information related to the display method of the medical image have already been described, and thus redundant description is omitted.
  • the medical image analysis apparatus 200 may determine the selected metadata based on at least one of the first metadata 1140 and the second metadata 930.
  • the selected metadata may be one of the first metadata 1140 and the second metadata 930.
  • the present invention is not limited thereto, and the selected metadata may be obtained using both the first metadata 1140 and the second metadata 930.
  • the selected metadata may be an average of the first metadata 1140 and the second metadata 930, and a predetermined formula for the first metadata 1140 and the second metadata 930 It may be output according to.
  • a method of obtaining the selected metadata by the medical image analysis apparatus 200 will be described in more detail with reference to FIG. 13.
  • the medical image analysis apparatus 200 may perform an operation 1240 of determining a processing method for the medical image 910 based on the selected metadata.
  • the selected metadata may be obtained based on at least one of the first metadata 1140 and the second metadata 930.
  • the apparatus 200 for analyzing a medical image may determine a processing method of the medical image 910 based on at least one of the first metadata 1140 and the second metadata 930.
  • the determined processing method may be whether to apply the medical image 910 to an abnormality detection machine learning model.
  • the medical image analysis apparatus 200 may determine whether the medical image 910 is suitable for an abnormality detection machine learning model based on the selected metadata.
  • the medical image analysis apparatus 200 may perform a step of determining whether the selected metadata satisfies a predetermined condition.
  • the medical image analysis apparatus 200 may perform an operation of applying the medical image 910 to an abnormality detection machine learning model.
  • the fact that the metadata selected here satisfies a predetermined condition may indicate that the medical image 910 is suitable for an abnormality detection machine learning model.
  • the medical image analysis apparatus 200 does not apply the medical image 910 to the abnormal detection machine learning model. May not.
  • the determined processing method may be to determine a reference value for the abnormality detection machine learning model.
  • the reference value may be a value used for a classifier.
  • the classifier may include a decision function, and may classify medical images into a specific class according to whether the result information of the abnormal machine learning model exceeds a reference value.
  • the apparatus 200 for analyzing medical images may perform an operation of determining a reference value for an abnormality detection machine learning model based on the selected metadata.
  • the medical image analysis apparatus 200 may determine a reference value differently according to the selected metadata.
  • the medical image analysis apparatus 200 may perform the step of obtaining final result information by comparing the reference value with result information of the abnormality detection machine learning model.
  • the medical image analysis apparatus 200 may apply the medical image 910 to an abnormality detection machine learning model and output result information.
  • the result information may be obtained for at least one class.
  • the class may correspond to actual label information. However, it is not limited thereto, and result information may be obtained for one class.
  • the result information may be information related to whether a specific lesion exists in the medical image 910. For example, the presence of a specific lesion may be of the first class and the absence of a specific lesion may be of the second class.
  • the resulting information can be presented numerically. The larger the result information, the higher the likelihood that a specific lesion exists in the medical image 910 may be indicated.
  • the apparatus 200 for analyzing a medical image may compare result information with a reference value, and determine that a specific lesion exists in the medical image 910 when the result information is greater than the reference value. In addition, when the result information is smaller than the reference value, the medical image analysis apparatus 200 may determine that a specific lesion does not exist in the medical image 910.
  • information on whether a specific lesion is present may be the final result information.
  • the final result information may be predicted label information.
  • the present invention is not limited thereto, and the smaller the result information, the higher the likelihood that a specific lesion exists in the medical image 910 may be indicated.
  • the medical image analyzing apparatus 200 may determine that a specific lesion exists in the medical image 910.
  • the medical image analysis apparatus 200 may determine that a specific lesion does not exist in the medical image 910.
  • the determined processing method may be whether to include the predicted label of the abnormality detection machine learning model in the final analysis result.
  • the anomaly detection machine learning model may output at least one of the predicted label and the reliability of the predicted label, and the medical image analysis apparatus 200 predicts when the reliability of the predicted label exceeds the threshold reliability.
  • the labeled label can be included in the final analysis result.
  • the medical image analyzing apparatus 200 may determine the threshold reliability based on at least one of the first metadata 1140 and the second metadata 930.
  • the determined processing method may be to select one of a plurality of abnormality detection machine learning models included in the medical image analysis apparatus 200.
  • the medical image analyzing apparatus 200 may include a plurality of abnormality detection machine learning models.
  • the plurality of abnormality detection machine learning models can discriminate different lesions or use different medical images.
  • the medical image analysis apparatus 200 may perform the step of selecting an abnormality detection machine learning model corresponding to the selected metadata from among a plurality of abnormality detection machine learning models. That is, the medical image analysis apparatus 200 may select an abnormality detection machine learning model optimized to analyze the medical image 910 based on the selected metadata. Also, the medical image analysis apparatus 200 may apply the selected abnormality detection machine learning model to the medical image 910. The medical image analysis apparatus 200 may derive the best result by selecting an abnormality detection machine learning model suitable for the medical image 910.
  • a process in which the medical image analysis apparatus 200 determines a method to apply the medical image 910 to the abnormality detection machine learning model will be described in more detail with reference to FIG. 14 or 15.
  • the apparatus 200 for analyzing a medical image may perform an operation 1220 of generating second metadata.
  • the medical image analysis apparatus 200 may perform an operation 1310 of acquiring reliability for the second metadata.
  • the apparatus 200 for analyzing medical images may acquire at least one of the second metadata and the reliability of the second metadata based on the prediction model 730. More specifically, the medical image analysis apparatus 200 may generate at least one of the second metadata and the reliability of the second metadata using the prediction model 730.
  • Reliability may mean a value related to a degree or probability that the second metadata is the same as ground-truth metadata.
  • the reliability may be proportional or inversely proportional to a probability that the second metadata is the same as ground-truth metadata.
  • the prediction model 730 which is a machine learning model, may output not only second metadata that is a prediction label, but also a reliability corresponding thereto. Reliability can be output in various forms. For example, reliability can be expressed as a number and size comparisons can be made.
  • the apparatus 200 for analyzing medical images may obtain reliability for each predicted label information.
  • the apparatus 200 for analyzing a medical image may classify a medical image into one of a plurality of classes related to prediction metadata using a predictive model.
  • the apparatus 200 for analyzing medical images may acquire reliability for at least one class among a plurality of classes.
  • the present invention is not limited thereto, and the apparatus 200 for analyzing a medical image may acquire reliability for a predictive model.
  • the apparatus 200 for analyzing medical images may obtain reliability for the prediction model by applying the test data set to the prediction model.
  • the medical image analysis apparatus 200 may perform the following steps to perform the step 1230 of selecting at least one of the first metadata 1140 and the second metadata 930.
  • Step 1320 may correspond to step 1162 of FIG. 11.
  • the criterion may be a value for determining whether the second metadata is available.
  • the reference is a predetermined value, and the medical image analysis apparatus 200 may store the reference.
  • the criteria can be modified by the user.
  • the criterion may be set differently based on the type of the second metadata.
  • the medical image analyzing apparatus 200 may perform an operation 1330 of selecting the second metadata 930. Step 1330 may correspond to step 1170 of FIG. 11.
  • the selected metadata may be the same as the second metadata 930.
  • the medical image analysis apparatus 200 may determine a method to apply the medical image 910 to the abnormality detection machine learning model based on the second metadata 930.
  • the medical image analyzing apparatus 200 may perform an operation of selecting the first metadata 1140. That is, when the reliability of the second metadata is less than the reference, step 1180 of FIG. 11 may be performed.
  • the selected metadata may be the same as the first metadata 1140.
  • the medical image analysis apparatus 200 may determine a method to apply the medical image 910 to the abnormality detection machine learning model based on the first metadata 1140.
  • 16 is a block diagram illustrating an operation of an apparatus for analyzing a medical image according to an embodiment of the present disclosure.
  • the medical image analysis apparatus 200 may perform an operation of determining whether the first metadata 1140 and the second metadata 930 are the same. This may correspond to step 1150 of FIG. 16. When the first metadata 1140 and the second metadata 930 are the same, the medical image analysis apparatus 200 may select one of the first metadata 1140 and the second metadata 930. Also, a method to apply the medical image 910 to the abnormality detection machine learning model may be determined based on the selected metadata.
  • the apparatus 200 for analyzing medical images may perform an operation of determining whether the first metadata 1140 has information related to at least one item related to a processing method.
  • the at least one item related to the processing method includes information related to an object included in the medical image 910, information about a photographing method, modality information of the medical image 910, information about the type of the medical image 910, and It may include at least one of information related to the display method of the medical image 910.
  • the first metadata 1140 may be assigned information as a variable. No value of the first metadata may have been assigned. That is, the first metadata 1140 may be a null value.
  • the medical image analyzing apparatus 200 may determine that the first metadata 1140 does not have information related to at least one item related to the processing method.
  • the medical image analysis apparatus 100 may perform an operation of selecting the second metadata 930. That is, the selected metadata may be the same as the second metadata 930.
  • the processing method determined by the medical image analysis apparatus 200 is whether to apply the medical image 910 to an anomaly detection machine learning model, or to determine a reference value for an anomaly detection machine learning model. Alternatively, it may be to select one of a plurality of abnormality detection machine learning models included in the medical image analysis apparatus 200.
  • FIG. 14 is a diagram illustrating a condition in which a medical image is not applied to an abnormality detection machine learning model according to an embodiment of the present disclosure.
  • the description is based on the standard format of the DICOM header. However, it is not limited thereto.
  • the present disclosure may be implemented using a non-standard format of the DICOM header, and may be implemented using other variables even if the standard format of the DICOM header is used.
  • the abnormality detection machine learning model may be a machine-learned model using a medical image that satisfies a specific condition. Therefore, the abnormality detection machine learning model can more accurately detect lesions for medical images that satisfy specific conditions.
  • the medical image analysis apparatus 200 may check whether the medical image satisfies a predetermined condition based on the selected metadata. Also, the medical image analysis apparatus 200 may determine a processing method of the medical image 910 based on the selected metadata.
  • the apparatus 200 for analyzing a medical image may apply a medical image in which the selected metadata satisfies a predetermined condition to an abnormality detection machine learning model. In addition, the medical image analysis apparatus 200 may determine a reference value for the abnormality detection machine learning model based on the selected metadata.
  • the medical image analysis apparatus 200 may or may not include the output result of the abnormality detection machine learning model in the final result according to the condition of the medical image. Also, the medical image analysis apparatus 200 may select an abnormality detection machine learning model corresponding to the selected metadata from among a plurality of abnormality detection machine learning models.
  • the apparatus 200 for analyzing a medical image may perform the following process to determine a method of processing a medical image.
  • the apparatus 200 for analyzing a medical image may perform an operation of determining whether spot compression is used for a medical image, based on information related to whether or not spot compression included in the selected metadata is used.
  • dcm.ViewCodeSequence[0].ViewModifierCodeSequence is information included in the selected metadata, and may be information related to whether or not spot compression is used. In FIG. 14, as an example of information related to whether or not spot compression is used, dcm.ViewCodeSequence[0].ViewModifierCodeSequence is described, but information related to whether or not the spot compression is used may be expressed as another variable. Based on the Len() function, the medical image analysis apparatus 200 may check whether the data length of dcm.ViewCodeSequence[0].ViewModifierCodeSequence is not zero. When the data length is not 0, the medical image analysis apparatus 200 may determine that spot compression is used for the medical image 910.
  • the medical image analyzing apparatus 200 may perform a step of not applying the medical image 910 to an abnormality detection machine learning model. In addition, when spot compression is not used for the medical image 910, the medical image analyzing apparatus 200 may perform a step of applying the medical image to an abnormality detection machine learning model.
  • spot compression is a method of obtaining a medical image by compressing a tissue of an object. Accordingly, the shape of the tissue of the object included in the medical image may be deformed compared to the medical image without using the spot compression.
  • An abnormality detection machine learning model machine-learned based on a medical image not using spot compression may be difficult to accurately analyze a medical image using spot compression. Accordingly, the apparatus 200 for analyzing a medical image may not apply the abnormal detection machine learning model to a medical image acquired using spot compression.
  • the medical image analyzing apparatus 200 may select an abnormality detection machine learning model corresponding to the selected metadata from among a plurality of abnormality detection machine learning models. For example, the medical image analysis apparatus 200 may be machine-learned based on a first abnormality detection machine learning model that is machine-learned based on a plurality of medical images using spot compression and a plurality of medical images without spot compression. A second abnormality detection machine learning model may be included. The apparatus 200 for analyzing a medical image may determine whether spot compression is used for a medical image based on the selected metadata. The medical image analysis apparatus 200 may apply a first abnormality detection machine learning model to a medical image using spot compression and a second abnormality detection machine learning model to a medical image not using spot compression.
  • the apparatus 200 for analyzing a medical image may perform the following process to determine a method of processing a medical image.
  • the apparatus 200 for analyzing a medical image may perform an operation of determining whether the medical image is an image for processing, based on information on a presentation intent type included in the selected metadata.
  • the dcm.PresentationIntentType is information included in the selected metadata, and may be information on a presentation intent type. In FIG. 14, as an example of information on the display intent type, it is described as dcm.PresentationIntentType, but the information on the display intent type may be expressed as another variable.
  • the medical image analysis apparatus 200 may determine that the medical image is an image for processing.
  • the medical image analysis apparatus 200 may determine that the medical image is not an image for processing.
  • the medical image analyzing apparatus 200 may perform a step of applying the medical image to an abnormality detection machine learning model. In addition, when the medical image is an image for processing, the medical image analyzing apparatus 200 may perform a step of not applying the medical image 910 to an abnormality detection machine learning model.
  • the processing image may be an intermediate medical image before obtaining the final medical image.
  • An abnormality detection machine learning model machine-learned based on the final medical image may be difficult to accurately analyze an image for processing. Accordingly, the apparatus 200 for analyzing medical images may not apply the abnormal detection machine learning model to the image for processing.
  • What is not applied here means that a machine learning model that is not machine-learned is not applied to a processing image, and a machine learning model that is machine-learned for a processing image can be applied to an intermediate medical image.
  • the medical image analyzing apparatus 200 may select an abnormality detection machine learning model corresponding to the selected metadata from among a plurality of abnormality detection machine learning models. For example, the apparatus 200 for analyzing a medical image may acquire a machine-learned first abnormality detection machine learning model based on an image for processing. In addition, the medical image analysis apparatus 200 may include a second abnormality detection machine learning model that is machine-learned based on a medical image other than a processing image. The medical image analyzing apparatus 200 may determine whether the medical image is an image for processing based on the selected metadata. The apparatus 200 for analyzing medical images may apply a first abnormality detection machine learning model to a processing image, and may apply a second abnormality detection machine learning model to a medical image that is not a processing image.
  • the apparatus 200 for analyzing a medical image may perform the following process to determine a method of processing a medical image.
  • the apparatus 200 for analyzing a medical image may perform an operation of determining whether the medical image is a predetermined view, based on information on a view included in the selected metadata.
  • dcm.ViewPosition is information included in the selected metadata and may be information on a view. In FIG. 14, as an example of view information, it is described as dcm.ViewPosition, but the view information may be expressed as another variable.
  • Information on the view information may include CC, MLO, ML, or LM when the object is a breast. Since CC, MLO, ML or LM have already been described, duplicate descriptions will be omitted.
  • the information on the view may include an AP or PA when the object of the medical image is a chest.
  • the medical image analyzing apparatus 200 may perform an operation of applying the medical image to an abnormality detection machine learning model. Also, when the medical image 910 is not a predetermined view, the medical image analyzing apparatus 200 may perform a step of not applying the medical image to the abnormal detection machine learning model.
  • the medical image analysis apparatus 200 may store a predetermined view. The medical image analysis apparatus 200 may set a predetermined view based on a user's input. Also, the medical image analysis apparatus 200 may automatically set a predetermined view according to the type of the abnormality detection machine learning model.
  • the predetermined view may be, for example, MLO or CC.
  • the apparatus 200 for analyzing medical images may not apply an abnormality detection machine learning model to medical images of the ML and LM.
  • the predetermined view may be, for example, an AP or a PA. That is, the medical image analysis apparatus 200 may not apply an abnormality detection machine learning model to a medical image of lateral (left lateral and right lateral).
  • the abnormality detection machine learning model may be a machine-learned model using a medical image of a predetermined view. That is, the abnormality detection machine learning model may accurately analyze a medical image of a predetermined view, and may not accurately analyze a medical image other than a predetermined view. Accordingly, the apparatus 200 for analyzing medical images may not apply the abnormality detection machine learning model to a medical image other than a predetermined view.
  • the machine learning model corresponding to the predetermined view is not applied, and the machine learning model obtained by machine learning for views other than the predetermined view may be applied to a medical image rather than a predetermined view.
  • the medical image analyzing apparatus 200 may select an abnormality detection machine learning model corresponding to the selected metadata from among a plurality of abnormality detection machine learning models.
  • the apparatus 200 for analyzing medical images may include a first abnormality detection machine learning model that is machine-learned based on a plurality of medical images instead of a predetermined view, and Two or more detection machine learning models may be included.
  • the apparatus 200 for analyzing a medical image may determine a view of a medical image based on the selected metadata.
  • the medical image analysis apparatus 200 may apply a first abnormality detection machine learning model to a medical image other than a predetermined view, and may apply a second abnormality detection machine learning model to a medical image of a predetermined view.
  • the apparatus 200 for analyzing a medical image may perform the following process to determine a method of processing a medical image.
  • the apparatus 200 for analyzing a medical image may perform an operation of determining whether a magnification of a medical image is equal to or less than a threshold magnification, based on magnification information included in the selected metadata.
  • dcm.EstimatedRadiographicMagnificationFactor is information included in the selected metadata, and may be magnification information.
  • magnification information may be expressed as another variable. Since the magnification information has already been described, duplicate descriptions will be omitted.
  • the medical image analyzing apparatus 200 may perform the step of applying the medical image to an abnormality detection machine learning model. In addition, when the imaging magnification of the medical image exceeds the threshold magnification, the medical image analyzing apparatus 200 may perform a step of not applying the medical image to the abnormal detection machine learning model.
  • the critical magnification is a predetermined value, and the medical image analyzing apparatus 200 may store the critical magnification.
  • the critical magnification can be modified by the user.
  • the threshold magnification may be set differently based on the type of the second metadata.
  • the critical magnification may be 1.0, for example.
  • the abnormality detection machine learning model may be a machine-learned model using a medical image below a critical magnification. That is, the abnormality detection machine learning model may accurately analyze a medical image below the critical magnification, and may not accurately analyze the medical image exceeding the critical magnification. Therefore, the medical image analysis apparatus 200 may not apply the abnormality detection machine learning model to a medical image exceeding the threshold magnification.
  • the medical image analyzing apparatus 200 may select an abnormality detection machine learning model corresponding to the selected metadata from among a plurality of abnormality detection machine learning models.
  • the apparatus 200 for analyzing medical images may include a first abnormality detection machine learning model machine-learned based on a plurality of medical images exceeding a threshold magnification and a second machine learning machine learning model based on a plurality of medical images below the critical magnification.
  • An abnormality detection machine learning model may be included.
  • the medical image analysis apparatus 200 may determine a magnification applied to the medical image based on the selected metadata.
  • the medical image analyzing apparatus 200 may apply a first abnormality detection machine learning model to a medical image exceeding a threshold magnification, and may apply a second abnormality detection machine learning model to a medical image below the threshold magnification.
  • the medical image analysis apparatus 200 may perform the following process to determine a method of processing a medical image.
  • the medical image analyzing apparatus 200 may perform an operation of determining whether the medical image has been rotated based on information related to rotation of the image included in the selected metadata.
  • dcm.Laterality is information included in the selected metadata, and may be information indicating whether the medical image is for the left object or the right object. For example, when the object is a breast, if dcm.Laterality is “L”, it indicates that the left breast is shown on the medical image, and if dcm.Laterality is “R”, it indicates that the right breast is shown on the medical image.
  • the medical image analysis apparatus 200 may determine whether the medical image 910 is rotated.
  • the medical image analysis apparatus 200 may perform a step of applying the unrotated medical image to an abnormality detection machine learning model.
  • the medical image analysis apparatus 200 may perform a step of not applying the rotated medical image to the abnormality detection machine learning model.
  • the abnormality detection machine learning model may be a machine-learned model using a non-rotated medical image. That is, the abnormality detection machine learning model may accurately analyze a non-rotated medical image and may not accurately analyze the rotated medical image. Therefore, the apparatus 200 for analyzing medical images may not apply the abnormal detection machine learning model to the rotated medical image.
  • the medical image analyzing apparatus 200 may select an abnormality detection machine learning model corresponding to the selected metadata from among a plurality of abnormality detection machine learning models.
  • the apparatus 200 for analyzing medical images may include a machine-learned first anomaly detection machine learning model based on a plurality of rotated medical images, and a second anomaly detection machine machine-learned based on a plurality of non-rotated medical images. It can contain a learning model.
  • the apparatus 200 for analyzing a medical image may determine whether the medical image is rotated based on the selected metadata.
  • the apparatus 200 for analyzing medical images may apply a first abnormality detection machine learning model to a rotated medical image, and may apply a second abnormality detection machine learning model to an unrotated medical image.
  • the apparatus 200 for analyzing medical images may not apply the abnormality detection machine learning model to the rotated medical image, but may convert the medical image and apply it to the abnormality detection machine learning model. That is, when the medical image is rotated, the medical image analyzing apparatus 200 may perform a step of converting the medical image into a non-rotated state. As already described, the apparatus 200 for analyzing a medical image may obtain a degree of rotation of an image based on information related to rotation. The medical image analysis apparatus 200 may convert the medical image into an unrotated state. In addition, the medical image analysis apparatus 200 may perform a step of applying the converted medical image to an abnormality detection machine learning model.
  • the apparatus 200 for analyzing a medical image may perform the following process to determine a method of processing a medical image.
  • the apparatus 200 for analyzing medical images may perform a step of determining whether or not an artificial object exists in the medical image based on information on whether or not an artificial object exists in the selected metadata.
  • dcm.BreastImplantPresent may be information on whether or not an artifact included in the selected metadata exists.
  • FIG. 14 as an example of information on the presence or absence of an artifact, it is described as dcm.BreastImplantPresent, but the information on the presence or absence of an artifact may be expressed as another variable.
  • the medical image analysis apparatus 200 may perform a step of applying the medical image to an abnormality detection machine learning model when there is no artificial object in the medical image. In addition, the medical image analysis apparatus 200 may perform a step of not applying the medical image to an abnormality detection machine learning model when an artificial object exists in the medical image.
  • the abnormality detection machine learning model may be a machine-learned model using a medical image in which an artifact does not exist. That is, the abnormality detection machine learning model may accurately analyze a medical image in which an artifact does not exist, and may not accurately analyze a medical image in which an artifact exists. Therefore, the apparatus 200 for analyzing medical images may not apply an abnormality detection machine learning model to a medical image in which an artifact exists.
  • the machine learning model corresponding to the medical image in which the artificial object does not exist is not applied to the medical image in which the artificial object exists, and the machine learning model corresponding to the medical image in which the artificial object exists is not applied. It can be applied to medical imaging.
  • the medical image analyzing apparatus 200 may select an abnormality detection machine learning model corresponding to the selected metadata from among a plurality of abnormality detection machine learning models.
  • the apparatus 200 for analyzing a medical image may include a first abnormality detection machine learning model that is machine-learned based on a plurality of medical images in which an artifact exists, and a machine-learned device based on a plurality of medical images in which the artifact does not exist. Two or more detection machine learning models may be included.
  • the apparatus 200 for analyzing medical images may determine whether or not an artificial object exists in the medical image based on the selected metadata.
  • the medical image analysis apparatus 200 may apply a first abnormality detection machine learning model to a medical image in which an artifact exists, and a second abnormality detection machine learning model to a medical image in which an artifact does not exist.
  • the machine learning model may determine a processing method of the medical image 910 based on various pieces of information included in the selected metadata.
  • the apparatus 200 for analyzing medical images may determine a processing method of the medical image 910 based on the age of the patient included in the selected metadata.
  • the medical image analysis apparatus 200 may perform the following process to determine a method of processing a medical image.
  • the medical image analysis apparatus 200 may determine whether the patient's age information included in the selected metadata is equal to or greater than a threshold age.
  • the patient age information included in the selected metadata may be actual patient age information, but is not limited thereto.
  • the patient's age information may not be information about the actual patient's age, but may be information about the development of a body part.
  • the abnormality detection machine learning model can detect abnormalities in body parts that are expressed in people over a critical age. Statistically, an abnormality detection machine learning model may not be able to detect an abnormality because a corresponding body part is not developed in a person under the critical age. Accordingly, the apparatus 200 for analyzing a medical image may obtain information on whether a corresponding body part is developed based on the selected metadata. As an example of information on whether or not the body part is developed, the age of the patient may be used.
  • the apparatus 200 for analyzing a medical image may determine whether a corresponding body part is developed from the medical image using the predictive models of FIGS. 9 to 10.
  • the apparatus 200 for analyzing a medical image may acquire the age of the patient predicted from the medical image using the prediction models of FIGS. 9 to 10 and determine whether the predicted age of the patient is greater than or equal to a threshold age.
  • the threshold age is a predetermined value, and the medical image analysis apparatus 200 may store the threshold age.
  • the critical age can be modified by the user.
  • the critical age may be set differently according to the target lesion of the abnormal detection machine learning model.
  • the critical age may be 15 years, for example.
  • the critical age may vary according to the learning of the machine learning model.
  • the medical image analyzing apparatus 200 may perform the step of applying the medical image to the abnormality detection machine learning model.
  • the medical image analyzing apparatus 200 may perform a step of not applying the medical image to the abnormality detection machine learning model.
  • the abnormality detection machine learning model may be a machine-learned model using medical images of patients with a critical age or older. That is, the abnormality detection machine learning model may accurately analyze medical images of patients above the critical age, and may not accurately analyze medical images of patients less than the critical age. Therefore, the apparatus 200 for analyzing medical images may not apply the abnormality detection machine learning model to medical images of patients under the critical age.
  • the not applied here means that the machine learning model corresponding to the medical image of the patient above the critical age is not applied to the medical image of the patient under the critical age.
  • the machine learning model that machine learning the medical image of the patient under the critical age Can be applied to medical images of patients under the critical age.
  • the medical image analyzing apparatus 200 may select an abnormality detection machine learning model corresponding to the selected metadata from among a plurality of abnormality detection machine learning models.
  • the apparatus 200 for analyzing a medical image may perform machine learning based on a first abnormality detection machine learning model that is machine-learned based on a plurality of medical images of a patient under a critical age and a plurality of medical images of a patient over a critical age.
  • the second abnormality detection machine learning model may be included.
  • the apparatus 200 for analyzing medical images may determine whether the age of the patient is equal to or greater than a threshold age based on the selected metadata.
  • the medical image analysis apparatus 200 may apply a first abnormality detection machine learning model to a medical image of a patient less than a critical age, and a second abnormality detection machine learning model to a medical image of a patient above the critical age. .
  • the apparatus 200 for analyzing a medical image may determine a method of processing the medical image 910 based on information on a patient's body part included in the selected metadata.
  • the medical image analysis apparatus 200 may perform the following process to determine a method of processing a medical image.
  • the medical image analysis apparatus 200 may determine whether the patient's body part information included in the selected metadata is the same as the predetermined body part.
  • the patient's body part information may be, for example, BodyPartExamined of the DICOM header.
  • the medical image analysis apparatus 200 may store a predetermined body part.
  • the medical image analysis apparatus 200 may set a predetermined body part based on a user's input.
  • the medical image analysis apparatus 200 may automatically set a predetermined body part according to the type of the abnormality detection machine learning model.
  • the predetermined body part may be a chest or a breast.
  • the apparatus 200 for analyzing a medical image may perform a step of applying the medical image to an abnormality detection machine learning model when the patient's body part information included in the selected metadata is the same as the predetermined body part.
  • the medical image analysis apparatus 200 may perform a step of not applying the medical image to the abnormality detection machine learning model.
  • the abnormality detection machine learning model may be a machine-learned model using a medical image of a predetermined body part. That is, the abnormality detection machine learning model may accurately analyze a medical image of a predetermined body part, and may not accurately analyze a medical image other than a predetermined body part. Accordingly, the apparatus 200 for analyzing a medical image may not apply the abnormality detection machine learning model to a medical image other than a predetermined body part.
  • the machine learning model corresponding to the medical image of the predetermined body part is not applied to the medical image other than the predetermined body part, and the machine learning model corresponding to the medical image other than the predetermined body part is not applied in advance. It can be applied to medical images other than the determined body part.
  • the medical image analyzing apparatus 200 may select an abnormality detection machine learning model corresponding to the selected metadata from among a plurality of abnormality detection machine learning models.
  • the apparatus 200 for analyzing medical images may include a first abnormality detection machine learning model that is machine-learned based on a plurality of medical images other than a predetermined body part.
  • the first abnormality detection machine learning model may be for one of a knee or an abdomen.
  • the medical image analysis apparatus 200 may include a second abnormality detection machine learning model that is machine-learned based on a plurality of medical images of a predetermined body part.
  • the second abnormality detection machine learning model may be for one of a breast or a breast.
  • the apparatus 200 for analyzing a medical image may determine a body part displayed in the medical image based on the selected metadata.
  • the medical image analysis apparatus 200 may apply a first abnormality detection machine learning model to a medical image that is not a predetermined body part and a second abnormality detection machine learning model to a medical image of a predetermined body part. .
  • the apparatus 200 for analyzing a medical image may perform an operation of determining a second threshold reliability based on the selected metadata.
  • the medical image analysis apparatus 200 may perform an operation of obtaining at least one of an analysis result and a reliability of the analysis result by applying the medical image to an abnormality detection machine learning model.
  • the medical image analysis apparatus 200 may perform the step of including the analysis result in the final result of the abnormality detection machine learning model.
  • 15 is a flowchart illustrating an operation of an apparatus for analyzing a medical image according to an embodiment of the present disclosure.
  • the apparatus 200 for analyzing a medical image may perform the following process to determine a method of processing a medical image.
  • the apparatus 200 for analyzing medical images may perform an operation 1510 of determining a reference value for an abnormality detection machine learning model based on the selected metadata.
  • the reference value may vary based on the selected metadata.
  • the medical image analysis apparatus 200 may select a reference value corresponding to the selected metadata based on a database stored in advance. Also, the apparatus 200 for analyzing medical images may determine a reference value corresponding to the selected metadata based on a predetermined function.
  • the reference value may be a value to be compared with result information output from the abnormality detection machine learning device.
  • the apparatus 200 for analyzing medical images may use a reference value prediction model to determine a reference value.
  • the reference value prediction model may correspond to the machine learning model described in FIG. 1. Since the generation and use of the reference value prediction model are similar to those of FIG. 6 or 8, duplicate descriptions are omitted.
  • the target task of the reference value prediction model may be to determine a reference value corresponding to the selected metadata. At least one piece of information included in the selected metadata may be applied to a reference value prediction model to automatically generate a reference value. More specifically, the selected metadata may include at least one of information related to an object included in a medical image, information about a photographing environment of a medical image, information about a type of a medical image, and information related to a method of displaying a medical image. have. Such information may be input to the reference value prediction model, and correspondingly, the reference value prediction model may generate a predicted reference value.
  • the apparatus 200 for analyzing a medical image may perform an operation of obtaining result information by applying a medical image to an abnormality detection machine learning model.
  • the abnormality detection machine learning model may output result information.
  • the result information may be information related to at least one lesion included in the medical image.
  • the result information may be information related to whether a specific lesion exists in the medical image 910.
  • the resulting information can be presented numerically. The larger the result information, the higher the likelihood that a specific lesion exists in the medical image 910 may be indicated.
  • the apparatus 200 for analyzing a medical image may compare result information with a reference value, and determine that a specific lesion exists in the medical image 910 when the result information is greater than the reference value.
  • the medical image analysis apparatus 200 may determine that a specific lesion does not exist in the medical image 910.
  • information on whether a specific lesion is present may be the final result information.
  • the final result information may be predicted label information.
  • the present invention is not limited thereto, and the result information may include information related to at least one of the name of the lesion, the location of the lesion, or the severity of the lesion.
  • the result information is information related to the lesion, may be an index, and may be expressed as a number.
  • the reason why the result information is expressed in numerical terms is as follows.
  • the abnormality detection machine learning model is performed in a computer device, and it is difficult for a computer device to machine learning characters themselves. Therefore, an abnormality detection machine learning model can perform machine learning using information related to lesions expressed as indexes. That is, the already described ground truth label information may be information related to a lesion expressed by an index.
  • the index can be Boolean or a number.
  • An anomaly detection machine learning model can perform binary classification.
  • the index when indicating that there is a specific lesion, the index may be “1” or “true”, and when indicating that there is no specific lesion, the index may be “0” or “false”.
  • the abnormality detection machine learning model can perform multiple classification.
  • an abnormality detection machine learning model may classify medical images into one of three or more classes.
  • the index "0" represents the first lesion
  • the index "1” represents the second lesion
  • the index "n” represents the n+1th lesion.
  • I can.
  • n may be an integer.
  • the index is not limited thereto, and the index may be a real number.
  • binary, decimal, or hexadecimal numbers may be used to represent the index.
  • result information output from the abnormality detection machine learning model can be expressed as a number.
  • the result information may be a real value including a positive number or a negative number, but is not limited thereto.
  • the result information may be comparable to a reference value.
  • the result information may be information indicating a possibility that a medical image is classified into a specific class. For example, the higher the result information, the higher the probability of being classified as the first class. However, the present invention is not limited thereto, and the lower the result information, the higher the probability of being classified into the first class.
  • the apparatus 200 for analyzing a medical image may perform an operation 1520 of obtaining final result information by comparing result information with a reference value.
  • the final result information may indicate a result of classifying medical images.
  • the final result information may be one of a plurality of classes. More specifically, if the target task of the abnormality detection machine learning model is to determine whether a specific lesion exists in the medical image, the medical image analysis apparatus 200 determines whether the result information is greater than or equal to the reference value, the final result information is the specific lesion. May indicate presence in medical images. In addition, when the result information is less than the reference value, the final result information may indicate that a specific lesion does not exist in the medical image.
  • the present invention is not limited thereto, and when the result information is less than the reference value, the final result information may indicate that a specific lesion exists in the medical image. Also, when the result information is greater than or equal to the reference value, the final result information may indicate that a specific lesion does not exist in the medical image.
  • the medical image analysis apparatus 200 may display final result information. The user may make a diagnosis based on the final result displayed on the medical image analysis apparatus 200.
  • the apparatus 200 for analyzing a medical image may obtain information on a view based on the selected metadata of the medical image 910.
  • the medical image 910 may be an X-ray image.
  • information about the view is PA view, AP view, lateral view, AP erect view, supine view, lordotic view, lateral decubitus view, expiratory chest radiograph view, sternum lateral view, sternum oblique view, ribs AP view, ribs PA view or It may include at least one of ribs oblique views.
  • the medical image analysis apparatus 200 may determine a reference value based on the selected metadata.
  • the medical image analysis apparatus 200 may set a reference value as a first value, and in the case of a PA view, set the reference value as a second value.
  • the apparatus 100 for analyzing medical images may obtain result information by applying the medical image 910 to an abnormality detection machine learning model.
  • the abnormality detection machine learning model may be an artificial intelligence model for determining whether a specific lesion, for example, consolidation or mediastinal widening exists from the medical image 910.
  • the medical image analyzing apparatus 200 may apply the same abnormality detection machine learning model to the medical image 910 regardless of whether the medical image is a PA view or an AP view.
  • the present invention is not limited thereto, and the medical image analysis apparatus 200 may select an anomaly detection machine learning model based on whether the medical image 910 is a PA view or an AP view and apply it to the medical image 910.
  • the resulting information relates to whether Consolidation or Mediastinal Widening is present in the medical image and can appear numerically.
  • the larger the result information the higher the likelihood that a specific lesion exists in the medical image 910 may be indicated.
  • the apparatus 200 for analyzing a medical image may obtain final result information by comparing result information with a reference value.
  • the medical image analysis apparatus 200 may indicate that the consolidation or mediastinal widening exists in the medical image.
  • the medical image analysis apparatus 200 may indicate that there is no consolidation or mediastinal widening in the medical image.
  • the present invention is not limited thereto, and the smaller the result information, the higher the likelihood that a specific lesion exists in the medical image 910 may be indicated.
  • the medical image analysis apparatus 200 may indicate that the medical image does not contain consolidation or mediastinal widening.
  • the medical image analysis apparatus 200 may indicate that consolidation or mediastinal widening exists in the medical image.
  • the AP view and the PA view may have different characteristics. For example, since the heart is located in front of the human body, AP view can make the heart relatively visible. Since the abnormality detection machine learning model according to the present disclosure determines a reference value according to whether it is a PA view or an AP view, the final result information can be derived by reflecting the characteristics of the AP view and the PA view. Therefore, the abnormal detection machine learning model can accurately detect lesions. In addition, the abnormality detection machine learning model can reduce false-positive or false-negative.
  • the medical image analyzing apparatus 200 may determine a reference value based on the type of lesion. For example, the reference value for Consolidation may be different from the reference value for Mediastinal Widening.
  • the medical image analysis apparatus 200 may compare result information on whether or not consolidation exists with a reference value for consolidation.
  • the medical image analysis apparatus 200 may compare result information on Mediastinal Widening with a reference value for Mediastinal Widening.
  • the apparatus 200 for analyzing medical images may determine a reference value by applying a similar method to other lesions, and may generate final result information based on the reference value.
  • the above-described embodiments of the present invention can be written as a program that can be executed in a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium.
  • the computer-readable recording medium includes a storage medium such as a magnetic storage medium (for example, ROM, floppy disk, hard disk, etc.) and an optical reading medium (for example, CD-ROM, DVD, etc.).

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pulmonology (AREA)
  • Optics & Photonics (AREA)
  • Physiology (AREA)
  • Computer Networks & Wireless Communication (AREA)

Abstract

본 개시는 하드웨어인 프로세서 및 메모리를 이용하여 의료 영상을 분석하기 위한 방법에 관한 것으로써, 예측 모델을 이용하여, 의료 영상에 대한 제2 메타데이터를 생성하는 단계, 의료 영상에 대응되는 제1 메타데이터 및 제2 메타데이터 중 적어도 하나에 기초하여 의료 영상의 처리 방법을 결정하는 단계를 포함한다.

Description

예측된 메타데이터를 이용하여 의료 영상을 처리하는 장치 및 방법
본 개시는 의료영상에 기계학습모델을 적용하여 메타데이터를 예측하고, 예측된 메타데이터를 이용하여 의료 영상을 처리하는 장치 및 방법에 관한 것이다.
의료 영상의 데이터 표준인 DICOM(Digital Imaging and Communications in Medicine)에 따르면, DICOM 데이터는 크게 2가지 정보를 담고 있다. 하나는 촬영된 의료영상 원본(raw pixel array)이며, 다른 하나는 DICOM 헤더에 기록된 메타데이터이다.
의료 영상 분석에는 일차적으로 DICOM 헤더에 기록되어 있는 값들을 활용한다. 예를 들어, 의료인은 DICOM 헤더의 "BodyPartExamined"라는 속성의 값을 보고 의료 영상이 판독 대상인 환자의 신체 부위인지를 판단하고, 의료 영상 판독을 진행한다. 또한, 의료인은 DICOM 헤더의 "Window Center/Width" 속성을 이용하여, 다양한 환경에서 온 원본 영상들을 정규화(normalization)할 수 있다.
이러한 DICOM 헤더에 저장된 의료 영상의 메타데이터는 병원 별로 다른 프로토콜이 존재하고, 방사선사 별로 서로 다른 주관적인 값이 입력되는 경우가 있다. 또한, 촬영 장비에 따라서도 DICOM 헤더의 메타데이터가 달라지는 경우가 있으며, 경우에 따라 DICOM 헤더에 값이 존재하지 않거나, 잘못 입력되어 있거나, 아니면 서로 다른 기준으로 저장되어 있을 수 있다. 이러한 경우 의료인은 의료 영상을 판독할 수 없거나, 잘못된 판독을 할 수 있다. 또한, 의료 영상을 기계학습하기 위해서는 정규화된 의료 영상이 필요하지만, 메타데이터 서로 다른 기준으로 저장되어 있다면, 의료 영상을 제대로 기계학습할 수 없는 문제점이 있다.
본 개시의 일 실시예에 따른 의료 영상 분석 방법은, 예측 모델을 이용하여, 의료 영상에 대한 예측된 제2 메타데이터를 생성하는 단계, 의료 영상에 대응하여 저장된 제1 메타데이터 및 제2 메타데이터 중 하나에 기초하여 의료 영상의 처리 방법을 결정하는 단계를 포함한다.
본 개시의 일 실시예에 따른 의료 영상 분석 방법의 의료 영상의 처리 방법을 결정하는 단계는, 제2 메타데이터에 대한 신뢰도를 기초로, 제1 메타데이터 및 제2 메타데이터 중 하나를 선택하는 단계 및 선택된 메타데이터에 기초하여 의료 영상의 처리 방법을 결정하는 단계를 포함한다.
본 개시의 일 실시예에 따른 의료 영상 분석 방법의 제1 메타데이터 및 제2 메타데이터 중 하나를 선택하는 단계는, 제2 메타데이터의 신뢰도가 기준 이상인 경우, 제2 메타데이터를 선택하는 단계; 및 제2 메타데이터의 신뢰도가 기준 미만인 경우, 제1 메타데이터를 선택하는 단계를 포함한다.
본 개시의 일 실시예에 따른 의료 영상 분석 방법의 의료 영상의 처리 방법을 결정하는 단계는, 제1 메타데이터가 처리 방법과 관련된 적어도 하나의 항목과 관련된 정보를 가지고 있지 않는 경우, 제2 메타데이터를 기초로 의료 영상의 처리 방법을 결정하는 단계를 포함한다.
본 개시의 일 실시예에 따른 의료 영상 분석 방법의 의료 영상의 처리 방법을 결정하는 단계는, 선택된 메타데이터가 미리 정해진 조건을 만족하는 경우, 의료 영상을 이상 검출 기계학습모델에 적용하는 단계를 포함한다.
본 개시의 일 실시예에 따른 의료 영상 분석 방법의 의료 영상의 처리 방법을 결정하는 단계는, 선택된 메타데이터에 포함된 적어도 하나의 항목과 관련된 정보가 미리 정해진 조건을 만족하지 않으면, 의료 영상을 이상 검출 기계학습모델에 적용하지 않는 단계를 포함한다.
본 개시의 일 실시예에 따른 의료 영상 분석 방법의 의료 영상의 처리 방법을 결정하는 단계는, 선택된 메타데이터에 기초하여 이상 검출 기계학습모델의 판단과 관련된 기준값을 결정하는 단계, 의료 영상을 이상 검출 기계학습모델에 적용하여 결과 정보를 획득하는 단계, 및 기준값을 결과 정보와 비교하여 최종 결과 정보를 획득하는 단계를 포함한다.
본 개시의 일 실시예에 따른 의료 영상 분석 방법의 의료 영상의 처리 방법을 결정하는 단계는, 복수의 이상 검출 기계학습모델 중 선택된 메타데이터에 대응하는 이상 검출 기계학습모델을 선택하는 단계 및 의료 영상을 선택된 이상 검출 기계학습모델에 적용하는 단계를 포함한다.
본 개시의 일 실시예에 따른 의료 영상 분석 방법의 선택된 메타데이터에 포함된 적어도 하나의 항목과 관련된 정보는 스팟 컴프레션 사용 여부에 관련된 정보, 표시 의도 타입에 대한 정보, 뷰에 대한 정보, 배율 정보, 영상 회전에 관련된 정보, 인공물 존재 여부에 대한 정보, 환자의 나이 정보 또는 환자의 신체 부위 정보 중 하나를 포함한다.
본 개시의 일 실시예에 따른 의료 영상 분석 방법의 예측 모델은 의료 영상으로부터 의료 영상에 대응되는 메타데이터를 예측하기 위한 기계학습모델이다.
본 개시의 일 실시예에 따른 의료 영상 분석 방법의 제1 메타데이터 및 제2 메타데이터 중 적어도 하나는, 의료 영상에 포함된 객체에 관련된 정보, 의료 영상의 촬영 환경에 대한 정보, 의료 영상의 종류에 대한 정보, 및 의료 영상의 표시 방법과 관련된 정보 중 적어도 하나를 포함한다.
본 개시의 일 실시예에 따른 의료 영상 분석 장치는 프로세서 및 메모리를 포함하고, 프로세서는 메모리에 저장된 명령어에 기초하여, 예측 모델을 이용하여, 의료 영상에 대한 제2 메타데이터를 생성하고, 의료 영상에 대응하여 저장된 제1 메타데이터 및 제2 메타데이터 중 하나에 기초하여 의료 영상의 처리 방법을 결정한다.
본 개시의 일 실시예에 따른 의료 영상 분석 장치의 프로세서는 메모리에 저장된 명령어에 기초하여, 제2 메타데이터에 대한 신뢰도를 기초로, 제1 메타데이터 및 제2 메타데이터 중 하나를 선택하고, 선택된 메타데이터에 기초하여 의료 영상의 처리 방법을 결정한다.
본 개시의 일 실시예에 따른 의료 영상 분석 장치의 프로세서는 메모리에 저장된 명령어에 기초하여, 제2 메타데이터의 신뢰도가 기준 이상인 경우, 제2 메타데이터를 선택하고, 제2 메타데이터의 신뢰도가 기준 미만인 경우, 제1 메타데이터를 선택한다.
본 개시의 일 실시예에 따른 의료 영상 분석 장치의 프로세서는 메모리에 저장된 명령어에 기초하여, 제1 메타데이터가 처리 방법과 관련된 적어도 하나의 항목과 관련된 정보를 가지고 있지 않는 경우 제2 메타데이터를 기초로 의료 영상의 처리 방법을 결정한다.
본 개시의 일 실시예에 따른 의료 영상 분석 장치의 프로세서는 메모리에 저장된 명령어에 기초하여, 선택된 메타데이터가 미리 정해진 조건을 만족하는 경우, 의료 영상을 이상 검출 기계학습모델에 적용한다.
본 개시의 일 실시예에 따른 의료 영상 분석 장치의 프로세서는 메모리에 저장된 명령어에 기초하여, 선택된 메타데이터에 포함된 적어도 하나의 항목과 관련된 정보가 미리 정해진 조건을 만족하지 않으면, 의료 영상을 이상 검출 기계학습모델에 적용하지 않는다.
본 개시의 일 실시예에 따른 의료 영상 분석 장치의 프로세서는 메모리에 저장된 명령어에 기초하여, 선택된 메타데이터에 기초하여 이상 검출 기계학습모델의 판단과 관련된 기준값을 결정하고, 의료 영상을 이상 검출 기계학습모델에 적용하여 결과 정보를 획득하고, 기준값을 결과 정보와 비교하여 최종 결과 정보를 획득한다.
본 개시의 일 실시예에 따른 의료 영상 분석 장치의 프로세서는 메모리에 저장된 명령어에 기초하여, 복수의 이상 검출 기계학습모델 중 선택된 메타데이터에 대응하는 이상 검출 기계학습모델을 선택하고, 의료 영상을 선택된 이상 검출 기계학습모델에 적용한다.
본 개시의 일 실시예에 따른 의료 영상 분석 장치의 선택된 메타데이터에 포함된 적어도 하나의 항목과 관련된 정보는 스팟 컴프레션 사용 여부에 관련된 정보, 표시 의도 타입에 대한 정보, 뷰에 대한 정보, 배율 정보, 영상 회전에 관련된 정보, 인공물 존재 여부에 대한 정보, 환자의 나이 정보 또는 환자의 신체 부위 정보 중 하나를 포함한다.
본 개시의 일 실시예에 따른 의료 영상 분석 장치의 예측 모델은 의료 영상으로부터 의료 영상에 대응되는 메타데이터를 예측하기 위한 기계학습모델이다.
본 개시의 일 실시예에 따른 의료 영상 분석 장치의 제1 메타데이터 및 제2 메타데이터 중 적어도 하나는, 의료 영상에 포함된 객체에 관련된 정보, 의료 영상의 촬영 환경에 대한 정보 의료 영상의 종류에 대한 정보, 및 의료 영상의 표시 방법과 관련된 정보 중 적어도 하나를 포함한다.
또한, 상술한 바와 같은 의료 영상 분석 방법을 구현하기 위한 프로그램은 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다.
도 1은 본 개시의 일 실시예에 따른 의료 영상 분석 장치(100)의 블록도이다.
도 2는 본 개시의 일 실시예에 따른 의료 영상 분석 장치를 나타낸 도면이다.
도 3은 본 개시의 일 실시예에 따라 의료 영상 분석 장치의 동작을 나타낸 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 DICOM 파일의 구조를 나타내는 도면이다.
도 5는 본 개시의 일 실시예에 따라, 윈도우 센터 정보 및 윈도우 너비 정보에 따른 CT정보를 나타낸다.
도 6은 본 개시의 일 실시예에 따른 의료 영상 분석 장치의 동작을 나타낸 흐름도이다.
도 7은 본 개시의 일 실시예에 따라 예측 모델을 학습하는 과정을 나타낸 도면이다.
도 8은 본 개시의 일 실시예에 따른 의료 영상 분석 장치의 동작을 나타낸 흐름도이다.
도 9은 본 개시의 일 실시예에 따라 예측 모델을 이용하는 과정을 나타낸 도면이다.
도 10은 본 개시의 일 실시예에 따라 병변을 검출하는 과정을 나타낸 흐름도이다.
도 11은 본 개시의 일 실시예에 따른 의료 영상 분석 장치의 동작을 설명하기 위한 블록도이다.
도 12는 본 개시의 일 실시예에 따른 영상 분석 장치의 동작을 설명하기 위한 흐름도이다.
도 13은 본 개시의 일 실시예에 따른 의료 영상 분석 장치의 동작을 설명하기 위한 흐름도이다.
도 14는 본 개시의 일 실시예에 따라 이상 검출 기계학습모델에 의료 영상을 적용하지 않는 조건을 나타낸 도면이다.
도 15는 본 개시의 일 실시예에 따른 의료 영상 분석 장치의 동작을 설명하기 위한 흐름도이다.
도 16은 본 개시의 일 실시예에 따른 의료 영상 분석 장치의 동작을 설명하기 위한 블록도이다.
개시된 실시예의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시가 완전하도록 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 개시된 실시예에 대해 구체적으로 설명하기로 한다.
본 명세서에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 관련 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서의 단수의 표현은 문맥상 명백하게 단수인 것으로 특정하지 않는 한, 복수의 표현을 포함한다. 또한 복수의 표현은 문맥상 명백하게 복수인 것으로 특정하지 않는 한, 단수의 표현을 포함한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어 또는 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
본 개시의 일 실시예에 따르면 "부"는 프로세서 및 메모리로 구현될 수 있다. 용어 "프로세서" 는 범용 프로세서, 중앙 처리 장치 (CPU), 마이크로프로세서, 디지털 신호 프로세서 (DSP), 제어기, 마이크로제어기, 상태 머신 등을 포함하도록 넓게 해석되어야 한다. 몇몇 환경에서는, "프로세서" 는 주문형 반도체 (ASIC), 프로그램가능 로직 디바이스 (PLD), 필드 프로그램가능 게이트 어레이 (FPGA) 등을 지칭할 수도 있다. 용어 "프로세서" 는, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들의 조합, DSP 코어와 결합한 하나 이상의 마이크로프로세서들의 조합, 또는 임의의 다른 그러한 구성들의 조합과 같은 처리 디바이스들의 조합을 지칭할 수도 있다.
용어 "메모리" 는 전자 정보를 저장 가능한 임의의 전자 컴포넌트를 포함하도록 넓게 해석되어야 한다. 용어 메모리는 임의 액세스 메모리 (RAM), 판독-전용 메모리 (ROM), 비-휘발성 임의 액세스 메모리 (NVRAM), 프로그램가능 판독-전용 메모리 (PROM), 소거-프로그램가능 판독 전용 메모리 (EPROM), 전기적으로 소거가능 PROM (EEPROM), 플래쉬 메모리, 자기 또는 광학 데이터 저장장치, 레지스터들 등과 같은 프로세서-판독가능 매체의 다양한 유형들을 지칭할 수도 있다. 프로세서가 메모리로부터 정보를 판독하고/하거나 메모리에 정보를 기록할 수 있다면 메모리는 프로세서와 전자 통신 상태에 있다고 불린다. 프로세서에 집적된 메모리는 프로세서와 전자 통신 상태에 있다.
아래에서는 첨부한 도면을 참고하여 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
도 1은 본 개시의 일 실시예에 따른 의료 영상 분석 장치(100)의 블록도이다.
도 1을 참조하면, 일 실시예에 따른 의료 영상 분석 장치(100)는 데이터 학습부(110) 및 데이터 인식부(120)를 포함할 수 있다. 상술한 바와 같은 의료 영상 분석 장치(100)는 프로세서 및 메모리를 포함할 수 있다.
데이터 학습부(110)는 데이터 세트를 이용하여 목표 태스크(target task)를 수행하기 위한 기계학습모델을 학습시킬 수 있다. 데이터 학습부(110)는 데이터 세트 및 목표 태스크와 관련된 레이블 정보를 수신할 수 있다. 데이터 학습부(110)는 데이터 세트와 레이블 정보의 관계에 대해 기계학습을 수행하여 기계학습모델을 획득할 수 있다. 일 실시예로, 데이터 학습부(110)가 획득한 기계학습모델은 데이터 세트를 이용하여 레이블 정보를 생성하기 위한 모델일 수 있다.
데이터 인식부(120)는 데이터 학습부(110)의 기계학습모델을 저장할 수 있다. 데이터 인식부(120)는 입력 데이터에 기계학습모델을 적용하여 예측된 레이블 정보를 출력할 수 있다. 또한, 데이터 인식부(120)는 입력 데이터, 레이블 정보 및 기계학습모델에 의해 출력된 결과를 기계학습모델을 갱신하는데 이용할 수 있다.
데이터 학습부(110) 및 데이터 인식부(120) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 학습부(110) 및 데이터 인식부(120) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 다양한 전자 장치에 탑재될 수도 있다.
또한 데이터 학습부(110) 및 데이터 인식부(120)는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(110) 및 데이터 인식부(120) 중 하나는 전자 장치에 포함되고, 나머지 하나는 서버에 포함될 수 있다. 또한, 데이터 학습부(110) 및 데이터 인식부(120)는 유선 또는 무선으로 통하여, 데이터 학습부(110)가 구축한 기계학습모델 정보를 데이터 인식부(120)로 제공할 수도 있고, 데이터 인식부(120)로 입력된 데이터가 추가 학습 데이터로써 데이터 학습부(110)로 제공될 수도 있다.
한편, 데이터 학습부(110) 및 데이터 인식부(120) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(110) 및 데이터 인식부(120) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션(instruction)을 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 메모리 또는 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
본 개시의 일 실시예에 따른 데이터 학습부(110)는 데이터 획득부(111), 전처리부(112), 학습 데이터 선택부(113), 모델 학습부(114) 및 모델 평가부(115)를 포함할 수 있다.
데이터 획득부(111)는 기계학습에 필요한 데이터를 획득할 수 있다. 학습을 위해서는 많은 데이터가 필요하므로, 데이터 획득부(111)는 복수의 데이터를 포함하는 데이터 세트를 수신할 수 있다.
복수의 데이터 각각에 대하여 레이블 정보가 할당될 수 있다. 레이블 정보는 복수의 데이터의 각각을 설명하는 실제(ground truth) 정보일 수 있다. 레이블 정보는 목표 태스크(target task)가 도출하고자 하는 정보일 수 있다. 레이블 정보는 사용자 입력으로부터 획득되거나, 메모리로부터 획득되거나, 기계학습모델의 결과로부터 획득될 수 있다. 예를 들어 목표 태스크가 영상으로부터 특정 물체의 존재 여부를 결정하는 것이라면, 복수의 데이터는 복수의 영상 데이터가 될 것이며 레이블 정보는 복수의 영상 각각에 특정 물체가 있는지 여부가 될 것이다.
전처리부(112)는 수신된 데이터가 기계학습에 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(112)는 후술할 모델 학습부(114)가 이용할 수 있도록, 획득된 데이터 세트를 미리 설정된 포맷으로 가공할 수 있다.
학습 데이터 선택부(113)는 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 모델 학습부(114)에 제공될 수 있다. 학습 데이터 선택부(113)는 기 설정된 기준에 따라, 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 또한, 학습 데이터 선택부(113)는 후술할 모델 학습부(114)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.
모델 학습부(114)는 데이터 세트에 기초하여 어떤 레이블 정보를 출력할 지에 관한 기준을 학습할 수 있다. 또한, 모델 학습부(114)는 데이터 세트 및 데이터 세트 대한 레이블 정보를 학습 데이터로써 이용하여 기계학습을 수행할 수 있다. 또한 모델 학습부(114)는 기존에 획득된 기계학습모델을 추가적으로 이용하여 기계학습을 수행할 수 있다. 이 경우, 기존에 획득된 기계학습모델은 미리 구축된 모델일 수 있다. 예를 들어, 기계학습모델은 기본 학습 데이터를 입력 받아 미리 구축된 모델일 수 있다.
기계학습모델은, 학습모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 기계학습모델은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 예컨대, Deep Neural Network (DNN), Recurrent Neural Network (RNN), Long Short-Term Memory models (LSTM), BRDNN (Bidirectional Recurrent Deep Neural Network), Convolutional Neural Networks (CNN)과 같은 모델이 기계학습모델로써 사용될 수 있으나, 이에 한정되지 않는다.
다양한 실시예에 따르면, 모델 학습부(114)는 미리 구축된 기계학습모델이 복수 개가 존재하는 경우, 입력된 학습 데이터와 기본 학습 데이터의 관련성이 큰 기계학습모델을 학습할 기계학습모델로 결정할 수 있다. 이 경우, 기본 학습 데이터는 데이터의 타입 별로 기 분류되어 있을 수 있으며, 기계학습모델은 데이터의 타입 별로 미리 구축되어 있을 수 있다. 예를 들어, 기본 학습 데이터는 학습 데이터가 생성된 장소, 학습 데이터가 생성된 시간, 학습 데이터의 크기, 학습 데이터의 생성자, 학습 데이터 내의 오브젝트의 종류 등과 같은 다양한 기준으로 기 분류되어 있을 수 있다.
또한, 모델 학습부(114)는, 예를 들어, 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 기계학습모델을 학습시킬 수 있다. 예를 들어, 모델 학습부(114)는 입력 데이터를 기계학습모델에 적용하고, 적용되어 나온 출력 레이블 정보를 획득할 수 있다. 이를 순전파라고 한다. 또한 모델 학습부(114)는 출력 레이블 정보와 실제(ground truth) 레이블 정보의 오차를 획득하고, 오차를 역방향으로 전파하면서 기계학습모델의 가중치를 업데이트할 수 있다. 이를 역전파라고 한다.
또한, 모델 학습부(114)는, 예를 들어, 학습 데이터를 입력 값으로 하는 지도 학습(supervised learning)을 통하여, 기계학습모델을 학습할 수 있다. 또한, 모델 학습부(114)는, 예를 들어, 별다른 지도없이 목표 태스크(target task)을 위해 필요한 데이터의 종류를 스스로 학습함으로써, 목표 태스크를 위한 기준을 발견하는 비지도 학습(unsupervised learning)을 통하여, 기계학습모델을 획득할 수 있다. 또한, 모델 학습부(114)는 준지도 학습(semi-supervised learning), 능동적 학습(active learning)을 통하여, 기계학습모델을 획득할 수도 있다. 또한, 모델 학습부(114)는, 예를 들어, 학습에 따른 목표 태스크의 결과가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 기계학습모델을 학습할 수 있다.
또한, 기계학습모델이 학습되면, 모델 학습부(114)는 학습된 기계학습모델을 저장할 수 있다. 이 경우, 모델 학습부(114)는 학습된 기계학습모델을 데이터 인식부(120)를 포함하는 전자 장치의 메모리에 저장할 수 있다. 또는, 모델 학습부(114)는 학습된 기계학습모델을 전자 장치와 유선 또는 무선 네트워크로 연결되는 서버의 메모리에 저장할 수도 있다.
학습된 기계학습모델이 저장되는 메모리는, 예를 들면, 전자 장치의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 함께 저장할 수도 있다. 또한, 메모리는 소프트웨어 및/또는 프로그램을 저장할 수도 있다. 프로그램은, 예를 들면, 커널, 미들웨어, 어플리케이션 프로그래밍 인터페이스(API) 및/또는 어플리케이션 프로그램(또는 "어플리케이션") 등을 포함할 수 있다.
모델 평가부(115)는 기계학습모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(114)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 기계학습모델을 평가하기 위한 기 설정된 데이터일 수 있다.
예를 들어, 모델 평가부(115)는 평가 데이터에 대한 학습된 기계학습모델의 결과 중에서, 인식 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우 소정 기준을 만족하지 못한 것으로 평가할 수 있다. 예컨대, 소정 기준이 비율 2%로 정의되는 경우, 학습된 기계학습모델이 총 1000개의 평가 데이터 중의 20개를 초과하는 평가 데이터에 대하여 잘못된 인식 결과를 출력하는 경우, 모델 평가부(115)는 학습된 기계학습모델이 적합하지 않은 것으로 평가할 수 있다.
한편, 학습된 기계학습모델이 복수 개가 존재하는 경우, 모델 평가부(115)는 각각의 학습된 기계학습모델에 대하여 소정 기준을 만족하는지를 평가하고, 소정 기준을 만족하는 모델을 최종 기계학습모델로써 결정할 수 있다. 이 경우, 소정 기준을 만족하는 모델이 복수 개인 경우, 모델 평가부(115)는 평가 점수가 높은 순으로 미리 설정된 어느 하나 또는 소정 개수의 모델을 최종 기계학습모델로써 결정할 수 있다.
한편, 데이터 학습부(110) 내의 데이터 획득부(111), 전처리부(112), 학습 데이터 선택부(113), 모델 학습부(114) 및 모델 평가부(115) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(111), 전처리부(112), 학습 데이터 선택부(113), 모델 학습부(114) 및 모델 평가부(115) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
또한, 데이터 획득부(111), 전처리부(112), 학습 데이터 선택부(113), 모델 학습부(114) 및 모델 평가부(115)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(111), 전처리부(112), 학습 데이터 선택부(113), 모델 학습부(114) 및 모델 평가부(115) 중 일부는 전자 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.
또한, 데이터 획득부(111), 전처리부(112), 학습 데이터 선택부(113), 모델 학습부(114) 및 모델 평가부(115) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(111), 전처리부(112), 학습 데이터 선택부(113), 모델 학습부(114) 및 모델 평가부(115) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
본 개시의 일 실시예에 따른 데이터 인식부(120)는 데이터 획득부(121), 전처리부(122), 인식 데이터 선택부(123), 인식 결과 제공부(124) 및 모델 갱신부(125)를 포함할 수 있다.
데이터 획득부(121)는 입력 데이터를 수신할 수 있다. 전처리부(122)는 획득된 입력 데이터가 인식 데이터 선택부(123) 또는 인식 결과 제공부(124)에서 이용될 수 있도록, 획득된 입력 데이터를 전처리할 수 있다.
인식 데이터 선택부(123)는 전처리된 데이터 중에서 필요한 데이터를 선택할 수 있다. 선택된 데이터는 인식 결과 제공부(124)에게 제공될 수 있다. 인식 데이터 선택부(123)는 기 설정된 기준에 따라, 전처리된 데이터 중에서 일부 또는 전부를 선택할 수 있다. 또한, 인식 데이터 선택부(123)는 모델 학습부(114)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.
인식 결과 제공부(124)는 선택된 데이터를 기계학습모델에 적용하여 결과 데이터를 획득할 수 있다. 기계학습모델은 모델 학습부(114)에 의하여 생성된 기계학습모델일 수 있다. 인식 결과 제공부(124)는 결과 데이터를 출력할 수 있다. 결과 데이터는 입력 데이터에 대응하는 예측 레이블 정보일 수 있다. 예측 레이블 정보는 목표 태스크가 입력 데이터로부터 도출하고자 했던 데이터일 수 있다.
모델 갱신부(125)는 인식 결과 제공부(124)에 의해 제공되는 인식 결과에 대한 평가에 기초하여, 기계학습모델이 갱신되도록 할 수 있다. 예를 들어, 모델 갱신부(125)는 인식 결과 제공부(124)에 의해 제공되는 인식 결과를 모델 학습부(114)에게 제공함으로써, 모델 학습부(114)가 기계학습모델을 갱신하도록 할 수 있다.
한편, 데이터 인식부(120) 내의 데이터 획득부(121), 전처리부(122), 인식 데이터 선택부(123), 인식 결과 제공부(124) 및 모델 갱신부(125) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(121), 전처리부(122), 인식 데이터 선택부(123), 인식 결과 제공부(124) 및 모델 갱신부(125) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
또한, 데이터 획득부(121), 전처리부(122), 인식 데이터 선택부(123), 인식 결과 제공부(124) 및 모델 갱신부(125)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(121), 전처리부(122), 인식 데이터 선택부(123), 인식 결과 제공부(124) 및 모델 갱신부(125) 중 일부는 전자 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.
또한, 데이터 획득부(121), 전처리부(122), 인식 데이터 선택부(123), 인식 결과 제공부(124) 및 모델 갱신부(125) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(121), 전처리부(122), 인식 데이터 선택부(123), 인식 결과 제공부(124) 및 모델 갱신부(125) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
아래에서는 데이터 학습부(110)가 데이터 세트들을 순차적으로 기계학습하는 방법 및 장치에 대하여 보다 자세히 설명한다.
도 2는 본 개시의 일 실시예에 따른 의료 영상 분석 장치를 나타낸 도면이다.
의료 영상 분석 장치(200)는 프로세서(210) 및 메모리(220)를 포함할 수 있다. 프로세서(210)는 메모리(220)에 저장된 명령어들을 수행할 수 있다.
상술한 바와 같이 의료 영상 분석 장치(200)는 데이터 학습부(110) 또는 데이터 인식부(120) 중 적어도 하나를 포함할 수 있다. 데이터 학습부(110) 또는 데이터 인식부(120) 중 적어도 하나는 프로세서(210) 및 메모리(220)에 의하여 구현될 수 있다.
이하, 의료 영상 분석 장치(200)의 동작에 대하여 이하에서 보다 자세히 설명한다.
도 3은 본 개시의 일 실시예에 따라 의료 영상 분석 장치의 동작을 나타낸 흐름도이다.
의료 영상 분석 장치(200)는 학습(training)을 위한 복수의 의료 영상 및 복수의 의료 영상 각각에 매칭된 메타데이터를 기초로, 의료 영상의 메타데이터를 예측하는 예측 모델을 학습하는 단계(310)를 수행할 수 있다. 의료 영상 분석 장치(200)의 데이터 학습부(110)에 기초하여 의료 영상 및 메타데이터의 관계를 기계학습하여 예측 모델을 획득할 수 있다. 예측 모델은 도 1의 기계학습모델에 대응될 수 있다. 의료 영상 분석 장치(200)는 획득된 예측 모델을 메모리에 저장하거나, 다른 의료 영상 분석 장치(200)에 유무선으로 송신할 수 있다.
또한 의료 영상 분석 장치(200)는 학습된 예측 모델을 이용하여, 입력된 의료 영상에 대한 메타데이터를 예측하는 단계(320)를 수행할 수 있다. 의료 영상 분석 장치(200)의 데이터 인식부(120)는 입력된 의료 영상에 예측 모델을 적용하여 메타데이터를 예측할 수 있다. 예측 모델은 의료 영상 분석 장치(200)의 메모리로부터 획득되거나, 다른 의료 영상 분석 장치(200)로부터 수신될 수 있다.
학습을 위한 복수의 의료 영상 및 입력된 의료 영상은 다양한 포맷(format)의 영상일 수 있다.
예를 들면, 학습을 위한 복수의 의료 영상 및 입력된 의료 영상은 DICOM(Digital Imaging and Communications in Medicine) 표준에 대응하는 영상일 수 있다. DICOM 표준에 따라, 의료 영상 분석 장치(200)는 의료 영상에 관련된 정보들을 DICOM 헤더에 저장할 수 있다.
DICOM 헤더에는 표준 데이터 요소(Standard Data Elements)를 포함할 수 있다. 표준 데이터 요소는 DICOM 표준에 의하여 정의된 의료 영상과 관련된 요소들을 의미한다. 의료 영상 분석 장치(200)는 표준 데이터 요소로부터 메타데이터를 획득할 수 있다. DICOM 헤더에는 비표준 데이터 요소를 포함할 수 있다. 비표준 데이터 요소는 DICOM 표준에 의하여 정의되지는 않았지만, 의료 영상 장치 제조사 또는 의료 기관의 필요에 따라 생성된, 의료 영상과 관련된 요소를 의미한다. 의료 영상 분석 장치(200)는 비표준 데이터 요소로부터 메타데이터를 획득할 수 있다.
의료 영상과 관련된 정보는 DICOM 헤더가 아닌 저장 공간에 저장되어 있을 수 있다. 의료 영상 분석 장치(200)는 의료 영상의 매칭 관계와 함께 의료 영상과 관련된 다양한 정보를 저장하고 있을 수 있다. 또한 의료 영상 분석 장치(200)는 의료 영상과 관련된 다양한 정보에 기초하여 메타데이터를 획득할 수 있다.
이하에서는 도 4와 함께 DICOM 헤더로부터 메타데이터를 획득하는 과정을 보다 자세히 설명한다.
도 4는 본 개시의 일 실시예에 따른 DICOM 파일의 구조를 나타내는 도면이다.
DICOM 파일(410)은 DICOM 헤더(411) 및 의료 영상(412)을 포함할 수 있다. 의료 영상(412)은 다양한 의료 영상이 포함될 수 있고, 예를 들면 CT, X-RAY, Mammography 또는 MRI 영상 중 적어도 하나를 포함할 수 있다. DICOM 헤더(411)는 의료 영상과 관련된 다양한 정보를 포함할 수 있다. 의료 영상 분석 장치(200)는 DICOM 헤더(411)에 포함된 의료 영상(412)과 관련된 다양한 정보에 기초하여 메타데이터(metadata; 420)를 획득할 수 있다.
DICOM 헤더(411)는 표준 데이터 요소 또는 비표준 데이터 요소를 포함할 수 있다. 의료 영상 분석 장치(200)는 표준 데이터 요소 또는 비표준 데이터 요소에 기초하여 메타데이터를 획득할 수 있다. 메타데이터(420)는 의료 영상에 포함된 객체에 관련된 정보, 의료 영상의 촬영 환경에 대한 정보, 의료 영상의 종류에 대한 정보, 및 의료 영상의 표시 방법과 관련된 정보 중 적어도 하나와 관련된 정보를 포함할 수 있다.
보다 구체적으로, 의료 영상에 포함된 객체에 관련된 정보는 의료 영상에 포함된 신체 부위 정보, 인공물 존재 여부에 대한 정보 및 환자에 대한 정보 중 적어도 하나를 포함할 수 있다. 여기서 인공물은 보형물 또는 의료 기기(medical device) 중 적어도 하나를 포함할 수 있다. 의료 영상에 포함된 신체 부위 정보는 신체 부위에 대응되는 인덱스로 표현될 수 있다. 예를 들어 신체 부위 정보는 가슴(chest), 유방(breast), 폐, 복부, 팔 또는 다리를 나타내는 인덱스 중 적어도 하나를 포함할 수 있다.
또한, 의료 영상에 포함된 객체에 관련된 정보는 인공물 존재 여부에 대한 정보를 포함할 수 있다. 환자의 몸에는 의료 또는 미용의 목적으로 인공물이 삽입되어 있을 수 있다. 인공물은 보형물 또는 의료 기기 중 적어도 하나를 포함할 수 있다. 또한 의료 기기는 튜브, 카테터 또는 전자 장치(e.g. 심장삽입전기장치(Cardiac implantable electronic device, CIED)) 중 적어도 하나를 포함할 수 있다. 인공물 존재 여부에 대한 정보는 이러한 인공물이 의료 영상에 있는지 여부를 나타내는 정보일 수 있다. 인공물은 특이한 형상 및 질감을 가지고 있으므로, 의료 영상 분석 장치(200)는 예측 모델에 기초하여 의료 영상에 인공물 존재 여부에 대한 정보를 획득할 수 있다.환자에 대한 정보는 환자의 성별 또는 환자의 나이 정보를 포함할 수 있다. 환자의 나이 정보는 환자의 나이를 숫자로 나타낸 값일 수 있다. 또한, 메타데이터는 환자의 생일을 포함할 수 있으며, 의료 영상 분석 장치(200)는 환자의 생일로부터 환자의 나이 정보를 계산할 수 있다. 또한, 환자의 나이 정보는 나이의 범위, 예를 들면 연령대를 나타내는 정보일 수 있다. 일 실시예로 환자의 나이 정보는 아동, 청년, 중장년 또는 연령대를 나타내는 인덱스로 표시될 수 있다. 환자의 나이에 따라 신체의 발달 정도가 달라지므로, 의료 영상에 나타나는 신체의 구조는 달라질 수 있다. 여기서 의료 영상에 나타나는 신체는 대상체일 수 있다. 의료 영상 분석 장치(200)는 의료 영상에 나타난 대상체의 구조에 기초하여 환자의 나이 정보를 획득할 수 있다. 또한 의료 영상 분석 장치(200)는 예측 모델에 기초하여 의료 영상으로부터 환자의 나이에 대한 정보를 획득할 수 있다.
의료 영상의 촬영 환경에 대한 정보는 의료 영상의 촬영과 관련된 다양한 정보를 포함할 수 있다. 의료 영상의 촬영 환경에 대한 정보는 의료 영상의 모달리티 정보(modality information) 또는 의료 영상의 촬영 방식에 대한 정보 중 적어도 하나를 포함할 수 있다.
의료 영상의 모달리티 정보는 의료 영상이 어떠한 종류의 영상 장비로 촬영되었는지를 나타낼 수 있다. 예를 들어, 의료 영상의 모달리티 정보는 의료 영상(412)이 CT, MRI, X-RAY, Mammography 또는 초음파 영상 중 어느 하나를 나타내는 인덱스일 수 있다. 하지만, 의료 영상의 모달리티 정보는 이에 한정되는 것은 아니며, 환자를 대상으로 촬영하는 다양한 의료 영상을 나타낼 수 있다.
또한 의료 영상의 촬영 환경에 대한 정보는 의료 영상의 촬영 방식에 대한 정보를 포함할 수 있다. 의료 영상의 촬영 환경에 대한 정보는 숫자 또는 문자로 나타나는 미리 정해진 인덱스에 대응될 수 있다.
의료 영상의 촬영 방식에 대한 정보는 대상체를 촬영하는 뷰(view)에 대한 정보를 포함할 수 있다. 예를 들어 유방(breast)을 대상체를 촬영하는 뷰에 대한 정보는 Craniocaudal(CC)뷰, Mediolateral oblique(MLO)뷰, Mediolateral(ML)뷰 또는 Lateromedial(LM)뷰를 포함할 수 있다. 뷰에 따라 대상체의 전체적인 형상이 달라지므로, 의료 영상 분석 장치(200)는 예측 모델에 기초하여 뷰에 대한 정보를 자동으로 획득할 수 있다.
또한 의료 영상에 나타난 대상체는 가슴(chest) 부위를 포함할 수 있다. 이때, 뷰에 대한 정보는 PA 뷰, AP뷰, lateral 뷰, AP erect 뷰, supine 뷰, lordotic 뷰, lateral decubitus 뷰, expiratory chest radiograph 뷰, sternum lateral 뷰, sternum oblique 뷰, ribs AP 뷰, ribs PA 뷰, ribs oblique 뷰를 포함할 수 있다.
PA(Posterior-Anterior)뷰 및 AP(Anterior-Posterior)뷰를 보다 자세히 설명하면 이하와 같다. 뷰에 대한 정보는 X-RAY가 환자의 앞(anterior)으로부터 뒤(posterior)로 조사되었는지 또는 환자의 뒤(posterior)로부터 앞(anterior)으로 조사되었는지를 나타내는 정보를 포함할 수 있다. 이를 각각 Anterior-Posterior(AP)뷰 또는 Posterior-Anterior(PA)뷰라고 한다. 일반적으로 환자가 서서 X-RAY를 찍는 경우 X-RAY가 환자의 뒤(posterior)로부터 앞(anterior)으로 조사되고, 환자가 서서 X-RAY를 찍기 힘든 경우 X-RAY가 앞(anterior)으로부터 뒤(posterior)로 조사되어, X-RAY 영상이 획득된다.
또한, 의료 영상의 촬영 방식에 대한 정보는 배율 정보를 포함할 수 있다. 배율 정보는 의료 영상이 촬영된 의료 영상 촬영 장치의 배율을 나타낼 수 있다. 배율 정보가 클 수록 대상체가 확대되어 촬영되었음을 나타낼 수 있다. 또한 배율 정보가 작을 수록 대상체가 축소되어 촬영되었음을 나타낼 수 있다.
또한 의료 영상의 촬영 방식에 대한 정보는 스팟 컴프레션(spot compression) 사용 여부에 관련된 정보를 포함할 수 있다. 스팟 컴프레션은 대상체의 일부 영역을 눌러서 보다 자세히 촬영하기 위한 방법이다. 스팟 컴프레션에 의하면, 가압 플레이트(compression plate)로 대상체 중 정상적인 조직을 밀어냄으로써, 의료 영상 획득 장치는 병변 의심 영역을 보다 자세하고 확대하여 촬영할 수 있다. 따라서 의료인은 대상체에서 의심 영역에 대한 진단을 용이하게 할 수 있다. 스팟 컴프레션을 이용하여 의료 영상을 획득한 경우, 가압 플레이트가 의료 영상에 포함되거나, 대상체가 눌리는 것에 의하여 의료 영상에 특이한 패턴이 형성되므로, 의료 영상 분석 장치(200)는 예측 모델에 기초하여 스팟 컴프레션 사용 여부에 관련된 정보를 자동으로 획득할 수 있다.
의료 영상의 종류에 대한 정보는 의료 영상의 표시 의도 타입(presentation intent type)에 대한 정보를 포함할 수 있다. 표시 의도 타입에 대한 정보는, 의료 영상이 의료인의 진단을 위한 "최종 영상"임을 나타낼 수 있다. 또한 표시 의도 타입에 대한 정보는, 영상이 최종 영상을 획득하기 위하여 의료인의 입력이 필요하거나 추가적인 처리가 필요한 "처리용 영상"임을 나타낼 수 있다. 처리용 영상은 최종 의료 영상을 획득하기 전에 표시될 수 있는 중간 단계의 의료 영상일 수 있다.의료 영상의 표시 방법과 관련된 정보는 의료 영상의 윈도우 센터(window center) 정보, 윈도우 너비(window width) 정보, 색상 반전 정보, 영상의 회전에 관련된 정보, 영상의 뒤집힘 정보 중 적어도 하나를 포함할 수 있다.
윈도우 센터 정보 및 윈도우 너비 정보에 대해서는 도 5와 함께 설명한다.
도 5는 본 개시의 일 실시예에 따라, 윈도우 센터 정보 및 윈도우 너비 정보에 따른 CT정보를 나타낸다.
윈도우 센터 정보 및 윈도우 너비 정보는 의료 영상의 밝기(brightness) 및 의료 영상의 대조(contrast)를 조정하기 위한 정보일 수 있다.
윈도우 센터 정보(531) 및 윈도우 너비 정보(532)에 기초하여 윈도우 그래프가 그려 질 수 있다. 윈도우 그래프의 가로축은 입력 픽셀의 값일 수 있다. 입력 픽셀은 입력 의료 영상이 가지고 있는 픽셀을 의미한다. 입력 픽셀의 값은 최소값 및 최대값이 있을 수 있다. 최소값 및 최대값은 영상 촬영 장치, 영상 표시 장치 또는 영상의 복부호화 표준 중 적어도 하나에 의하여 결정될 수 있다. 입력 픽셀 값이 최대값을 가지는 경우 입력 픽셀이 가장 밝은 픽셀임을 나타낼 수 있고, 입력 픽셀 값이 최소값을 가지는 경우 입력 픽셀이 가장 어두운 픽셀임을 나타낼 수 있다. 하지만 이에 한정되는 것은 아니다.
윈도우 그래프의 세로축은 출력 픽셀의 값일 수 있다. 의료 영상 분석 장치(200)는 입력 픽셀의 값을 가공하여 출력 픽셀의 값을 결정할 수 있다. 의료 영상 분석 장치(200)는 출력 픽셀의 값에 기초하여 의료 영상을 디스플레이에 표시할 수 있다.
예를 들어 윈도우 센터 정보(531)가 a이고 윈도우 너비 정보(532)가 b인 경우, 윈도우 그래프(521)가 만들어 질 수 있다. 의료 영상 분석 장치(200)는 윈도우 센터 정보(531) 및 윈도우 너비 정보(532)에 기초하여 CT 영상(511)을 생성할 수 있다. 의료 영상 분석 장치(200)는 윈도우 센터 정보(531) 또는 윈도우 너비 정보(532)에 기초하여 제 1 임계값보다 작은 입력 픽셀 값을 최소 픽셀 값으로 표시하고, 제 2 임계값보다 큰 입력 픽셀값을 최대 픽셀값으로 표시하여 CT 영상(511)을 생성할 수 있다. 즉, 의료 영상 분석 장치(200)는 제 1 임계값보다 크거나 같고, 제 2 임계값보다 작거나 같은 값을 가지는 입력 픽셀 값을 구분되게 표시할 수 있다.
제 1 임계값보다 작은 입력 픽셀값 또는 제 2 임계값보다 큰 입력 픽셀값은 의료 영상 분석에 중요하지 않은 클러터(clutter) 신호일 수 있다. 의료 영상 분석 장치(200)는 윈도우 센터 정보(531) 및 윈도우 너비 정보(532)에 기초하여 제 1 임계값 및 제 2 임계값을 조정하고, 의료 영상 분석에 중요한 픽셀들만 표시할 수 있다.
또한 예를 들어, 윈도우 센터 정보(531)가 a이고 윈도우 너비 정보(532)가 c인 경우, 도 5와 같이 윈도우 그래프(522)가 나타날 수 있다. 의료 영상 분석 장치(200)는 윈도우 센터 정보(531) 및 윈도우 너비 정보(532)에 기초하여 CT 영상(512)을 생성할 수 있다. 의료 영상 분석 장치(200)는 윈도우 센터 정보(531) 또는 윈도우 너비 정보(532)에 기초하여 입력 픽셀값 모두를 구분되게 표시하여, CT 영상(512)을 생성할 수 있다.
의료 영상 분석 장치(200)는 윈도우 그래프(522)의 라인의 기울기에 기초하여, 입력 픽셀의 밝은 부분을 더 밝게 표시하거나, 더 어둡게 표시할 수 있다. 의료 영상 분석 장치(200)는 윈도우 센터 정보(531) 또는 윈도우 너비 정보(532)에 기초하여 의료 영상의 밝기를 조정할 수 있다. 예를 들어, 윈도우 너비 정보(532)가 c인 경우와 윈도우 너비 정보(532)가 b인 경우를 비교하면, CT 영상(512)이 CT 영상(511)보다 어두움을 알 수 있다.
CT 영상(511)에 비하여 CT 영상(512)은 모든 픽셀값을 포함하므로 잃어버리는 정보가 없다. 하지만 의료 영상 분석에 중요하지 않은, 클러터(clutter) 신호를 모두 표현하므로, 영상 분석에 최적화되어 있지 않을 수 있다. 의료 영상 분석 장치(200)는 윈도우 센터 정보(531) 또는 윈도우 너비 정보(532)를 조절하여, 의료 영상을 영상 분석에 최적인 상태로 만들 수 있다.
또한, 예를 들어 윈도우 센터 정보(531)가 d이고 윈도우 너비 정보(532)가 c인 경우, 도 5와 같이 윈도우 그래프(523)가 나타날 수 있다. 의료 영상 분석 장치(200)는 윈도우 센터 정보(531) 및 윈도우 너비 정보(532)에 기초하여 CT 영상(513)을 생성할 수 있다. 의료 영상 분석 장치(200)는 윈도우 센터 정보(531) 또는 윈도우 너비 정보(532)에 기초하여 제 3 임계값보다 큰 입력 픽셀값을 모두 밝게 처리하여 CT 영상(513)을 생성할 수 있다.
의료 영상 분석 장치(200)는 윈도우 그래프(522)의 라인의 기울기에 기초하여, 입력 픽셀의 밝은 부분을 더 밝게 표시하거나, 더 어둡게 표시할 수 있다. 의료 영상 분석 장치(200)는 윈도우 센터 정보(531) 또는 윈도우 너비 정보(532)에 기초하여 의료 영상의 밝기를 조정할 수 있다. 예를 들어, 윈도우 센터 정보(531)가 a인 경우와 윈도우 센터 정보(531)가 d인 경우를 비교하면, CT 영상(512)이 CT 영상(513)보다 어두움을 알 수 있다.
제 3 임계값보다 큰 입력 픽셀값은 의료 영상 분석에 중요하지 않은 클러터 신호일 수 있다. 의료 영상 분석 장치(200)는 윈도우 센터 정보(531) 및 윈도우 너비 정보(532)에 기초하여 제 3 임계값을 조정하여 의료 영상 분석에 중요한 픽셀들만 표시할 수 있다.
의료 영상 분석 장치(200)는 윈도우 센터 정보(531) 또는 윈도우 너비 정보(532)에 기초하여 다양한 환경에서 온 원본 영상들을 정규화(normalization)할 수 있다. 의료 영상 분석 장치(200)의 전처리부(112) 및 전처리부(122)는 원본 의료 영상으로부터 정규화된 의료 영상을 생성할 수 있다. 또한, 의료 영상 분석 장치(200)는 예측 모델을 다른 의료 영상 분석 장치에 제공할 수 있다. 다른 의료 영상 분석 장치는 다른 기계학습을 수행하기 전에, 본 개시의 예측 모델에 기초하여 의료 영상을 보정할 수 있다.
다시 도 4를 참조하면, 의료 영상의 표시 방법과 관련된 정보는 색상 반전 정보를 포함할 수 있다. 의료 영상 분석 장치(200)는 색상 반전 정보에 기초하여 의료 영상의 색상을 반전하여 표시할 수 있다. 색상 반전 정보가 색상 반전을 나타내는 경우, 의료 영상 분석 장치(200)는 픽셀값이 가질 수 있는 최대값에서 의료 영상 내의 픽셀값을 차감한 값을 픽셀값으로 하여 의료 영상을 표시할 수 있다.
의료 영상의 표시 방법과 관련된 정보는 영상의 회전에 관련된 정보를 포함할 수 있다. 영상의 회전에 관련된 정보는 촬영된 의료 영상 정보를 시계 방향 또는 반시계 방향으로 회전하는 크기를 나타낼 수 있다. 영상 회전에 관련된 정보는 회전 크기에 대응되는 인덱스로 나타나거나, radian 또는 degree 단위의 수치로 나타날 수 있다. 의료 영상 분석 장치(200)는 영상의 회전에 관련된 정보에 기초하여 의료 영상을 회전하여 표시할 수 있다.
의료 영상의 표시 방법과 관련된 정보는 영상의 뒤집힘 정보를 포함할 수 있다. 영상의 뒤집힘(flip) 정보는 세로축을 기준으로 의료 영상을 좌우로 반전하여 표시하는 것을 나타낼 수 있다. 하지만 이에 한정되는 것은 아니며, 영상의 뒤집힘 정보는 가로축을 기준으로 의료 영상을 상하로 반전하여 표시하는 것을 나타낼 수 있다.
이제까지 메타데이터(420)가 의료 영상에 포함된 객체에 관련된 정보, 의료 영상의 촬영 환경에 대한 정보 및 의료 영상의 표시 방법과 관련된 정보 중 적어도 하나와 관련된 정보를 포함함을 설명하였다.
상술한 바와 같이 의료 영상 분석 장치(200)는 DICOM 헤더의 표준 형식으로 저장된 정보에 기초하여 메타데이터를 획득할 수 있다. 또한, 의료 영상 분석 장치(200)는 DICOM 헤더 내의 비표준 형식으로 저장된 정보에 기초하여 메타데이터를 획득할 수 있다. 또한 의료 영상 분석 장치(200)는 DICOM 헤더 이외의 저장공간에 비표준 형식으로 저장된 정보에 기초하여 메타데이터를 획득할 수 있다.
비표준 형식은 의료 영상 장치의 제조사 또는 병원마다 다를 수 있다. 비표준 형식으로 저장된 정보로부터 메타데이터를 획득하는 경우, 또한 의료 영상 분석 장치(200)는 의료 영상을 제공한 제조사 또는 병원마다 다른 방법을 사용하여 메타데이터를 획득해야 하는 불편함이 있을 수 있다.
본 개시에 따른 의료 영상 분석 장치(200)는 비표준 형식으로 저장된 정보에 기초하여 메타데이터를 획득하는 경우 또는 의료 영상과 관련된 정보가 아예 존재하지 않는 경우에도 의료 영상(412)에 기초하여 메타데이터를 생성할 수 있다. 도 3의 예측 모델을 학습하는 단계(310)에 대하여 도 6 및 도 7과 함께 자세히 설명한다.
도 6은 본 개시의 일 실시예에 따른 의료 영상 분석 장치의 동작을 나타낸 흐름도이다. 또한 도 7은 본 개시의 일 실시예에 따라 예측 모델을 학습하는 과정을 나타낸 도면이다.
이미 설명한 바와 같이 예측 모델은 도 1에서 설명한 기계학습모델에 포함될 수 있다. 도 6의 과정은 의료 영상 분석 장치(200)에 포함된 데이터 학습부(110)에 서 수행될 수 있다. 의료 영상 분석 장치(200)는 예측 모델을 학습하기 위하여, 입력 데이터 세트(710)를 수신할 수 있다. 입력 데이터 세트(710)는 복수의 의료 영상(711) 및 메타데이터(712)를 포함할 수 있다.
의료 영상 분석 장치(200)는 복수의 의료 영상(711)을 획득하는 단계(610)를 수행할 수 있다. 예를 들면, 의료 영상 분석 장치(200)는 메모리(220)로부터 복수의 의료 영상을 획득할 수 있다. 또한, 의료 영상 분석 장치(200)는 유무선 통신에 기초하여 복수의 의료 영상을 획득할 수 있다.
의료 영상 분석 장치(200)는 복수의 의료 영상 각각에 매칭된 메타데이터(712)를 획득하는 단계(620)를 수행할 수 있다. 의료 영상 분석 장치(200)는 학습을 위한 복수의 의료 영상 각각의 DICOM 헤더의 표준 데이터 요소(Standard Data Elements)로부터 복수의 의료 영상 각각에 매칭되는 복수의 메타데이터를 획득하는 단계를 수행할 수 있다. 하지만 이에 한정되는 것은 아니며, 의료 영상 분석 장치(200)는 DICOM 헤더의 비표준 데이터 요소 또는 DICOM 헤더 이외의 저장 공간의 비표준 형식의 정보로부터 메타데이터를 획득할 수 있다. 메타데이터(712)는 의료 영상에 포함된 객체에 관련된 정보, 의료 영상의 종류에 대한 정보, 상기 의료 영상의 촬영 환경에 대한 정보 및 상기 의료 영상의 표시 방법과 관련된 정보 중 적어도 하나를 포함할 수 있다.
이에 대해서는 도 3 내지 도 4와 함께 설명한 바와 같으므로 중복되는 설명은 생략한다.
의료 영상 분석 장치(200)는 학습을 위한 복수의 의료 영상 및 획득된 복수의 메타데이터를 이용하여, 예측 모델을 학습시키는 단계(630)를 수행할 수 있다. 의료 영상 분석 장치(200)는 원본 의료 영상 및 레이블 정보를 이용해서 지도학습을 수행할 수 있다. 레이블 정보는 메타데이터일 수 있다. 레이블 정보는 DICOM 헤더에 있는 정보, DICOM 헤더 이외의 영역에 저장된 정보, 사용자가 입력한 정보 또는 전문 의료인이 원본 의료 영상에 대하여 입력한 정보일 수 있다. 의료 영상 분석 장치(200)는 레이블 정보의 특성에 따라 회귀(regression) 또는 분류(classification)를 이용하여 기계학습할 수 있다.
의료 영상 분석 장치(200) 예측 모델을 학습하기 위하여 기계학습을 이용할 수 있다. 기계학습은 신경망(Neural Network)을 기반으로 할 수 있다. 예컨대, Deep Neural Network (DNN), Recurrent Neural Network (RNN), Long Short-Term Memory models (LSTM), BRDNN (Bidirectional Recurrent Deep Neural Network), Convolutional Neural Networks (CNN)과 같은 알고리즘이 기계학습으로써 사용될 수 있으나, 이에 한정되지 않는다.
의료 영상 분석 장치(200)는 학습된 결과를 예측 모델(730)로써 출력할 수 있다. 의료 영상 분석 장치(200)는 예측 모델(730)을 메모리에 저장할 수 있다. 의료 영상 분석 장치(200)는 예측 모델(730)을 다른 의료 영상 분석 장치(200)로 송신할 수 있다.
이제까지 예측 모델을 학습하는 단계(310)를 설명하였다. 이하에서는 예측 모델을 이용하여 메타데이터를 예측하는 단계(320)에 대하여 도 8 및 도 9와 함께 설명한다.
도 8은 본 개시의 일 실시예에 따른 의료 영상 분석 장치의 동작을 나타낸 흐름도이다. 또한 도 9은 본 개시의 일 실시예에 따라 예측 모델을 이용하는 과정을 나타낸 도면이다.
도 8의 과정은 의료 영상 분석 장치(200)에 포함된 데이터 인식부(120)에 서 수행될 수 있다. 의료 영상 분석 장치(200)는 예측 모델(730)을 포함할 수 있다. 의료 영상 분석 장치(200)는 다른 의료 영상 분석 장치(200)로부터 예측 모델을 수신할 수 있다. 또한, 의료 영상 분석 장치(200)는 복수의 의료 영상 및 메타데이터에 기초하여 기계학습을 수행하여 예측 모델을 획득할 수 있다.
의료 영상 분석 장치(200)는 의료 영상(910)을 수신하는 단계(810)를 수행할 수 있다. 의료 영상(910)은 의료 영상 분석 장치(200)의 분석의 대상이 되는 영상일 수 있다. 의료 영상 분석 장치(200)는 의료 영상(910)을 사용자로부터 입력장치를 통하여 입력 받을 수 있다. 의료 영상 분석 장치(200)는 의료 영상(910)을 다른 장치로부터 유무선 통신을 이용하여 입력 받을 수 있다. 의료 영상(910)은 복수의 의료 영상(711)과 독립적일 수 있다. 의료 영상(910)은 복수의 의료 영상(711)과 다른 영상일 수 있으며, 동일한 영상일 수도 있다.
의료 영상 분석 장치(200)는 예측 모델을 이용하여 입력된 의료 영상(910)에 대응되는 제2 메타데이터(930)를 예측하는 단계(820)를 수행할 수 있다. 제2 메타데이터(930)는 의료 영상(910)에 포함된 객체에 관련된 정보, 촬영 방식에 대한 정보, 의료 영상의 모달리티 정보, 의료 영상의 종류에 대한 정보, 및 상기 의료 영상(910)의 표시 방법과 관련된 정보 중 적어도 하나를 포함할 수 있다.
이미 설명한 바와 같이, 의료 영상에 포함된 객체에 관련된 정보는 의료 영상에 포함된 신체 부위 정보, 인공물 존재 여부에 대한 정보 및 환자에 대한 정보 중 적어도 하나를 포함할 수 있다. 또한, 촬영 방식에 대한 정보는 대상체를 찍은 위치를 나타내는 뷰에 대한 정보, 배율 정보 또는 스팟 컴프레션 사용 여부에 대한 정보 중 적어도 하나를 포함할 수 있다, 또한, 의료 영상의 모달리티 정보는 의료 영상이 어떠한 종류의 영상 장비로 촬영되었는지를 나타낼 수 있다. 또한, 의료 영상의 종류에 대한 정보는 의료 영상의 표시 의도 타입(presentation intent type)에 대한 정보를 포함할 수 있다. 또한, 의료 영상의 표시 방법과 관련된 정보는 의료 영상의 윈도우 센터(window center) 정보, 윈도우 너비(window width) 정보, 색상 반전 정보, 영상의 회전에 관련된 정보, 및 영상의 뒤집힘 정보 중 적어도 하나를 포함할 수 있다.
또한, 의료 영상 분석 장치(200)는 입력된 의료 영상(910)에 대해 제2 메타데이터(930)를 입력된 의료 영상(910)에 매칭하여 저장하는 단계(830)를 수행할 수 있다. 의료 영상 분석 장치(200)는 제2 메타데이터(930)를 DICOM 헤더에 표준 형식으로 저장할 수 있다. 하지만 이에 한정되는 것은 아니다. 의료 영상 분석 장치(200)는 제2 메타데이터(930)를 DICOM 헤더에 비표준 형식으로 저장하거나, DICOM 헤더가 아닌 저장공간에 저장할 수 있다.
의료 영상 분석 장치(200)는 의료 영상(910)에 대응하는 제1 메타데이터를 저장하고 있을 수 있다. 제1 메타데이터는 의료 영상(910)에 대한 것으로써, 사용자가 입력한 데이터이거나, 의료 영상 촬영 장치가 자동으로 생성한 데이터일 수 있다. 제1 메타데이터는 의료 영상(910)에 포함되거나 의료 영상(910)에 대응하여 저장된 데이터일 수 있다. 따라서, 제1 메타데이터는 의료 영상에 저장된 메타데이터 또는 의료 영상에 대응되는 메타데이터라고 할 수도 있다.
의료 영상 분석 장치(200)는 제1 메타데이터를 제2 메타데이터(930)와 비교할 수 있다. 의료 영상 분석 장치(200)는 비교에 기초하여 의료 영상(910)의 처리 방법을 결정할 수 있다. 이에 대해서는 도 11과 함께 보다 자세히 설명한다.
의료 영상 분석 장치(200)는 입력된 의료 영상을 목표 태스크를 수행하기 위한 최적 조건 또는 최적 상태로 조정(adjust)할 수 있다. 예를 들면, 의료 영상 분석 장치(200)는 입력된 의료 영상에서 이상(abnormal)을 검출하기 위해, 제2 메타데이터(930)를 기초로, 입력된 의료 영상을 조정(adjust)하는 단계를 더 수행할 수 있다. 또한, 의료 영상 분석 장치(200)는 제2 메타데이터(930)를 기초로, 입력된 의료 영상의 윈도우 센터, 윈도우 너비, 색상 및 출력 방향 중 적어도 하나를 조정하는 단계를 수행할 수 있다.
예를 들어, 제2 메타데이터(930)는 예측된 윈도우 센터 정보, 예측된 윈도우 너비 정보, 예측된 색상 반전 정보, 예측된 영상의 회전에 관련된 정보 및 예측된 영상의 뒤집힘 정보 중 적어도 하나를 포함할 수 있다. 의료 영상 분석 장치(200)는 예측된 윈도우 센터 정보 또는 예측된 윈도우 너비 정보에 기초하여 의료 영상(910)의 윈도우 센터 또는 윈도우 너비를 조정할 수 있다. 또한 의료 영상 분석 장치(200)는 예측된 색상 반전 정보에 기초하여 의료 영상(910)의 색상을 조정할 수 있다. 또한 의료 영상 분석 장치(200)는 예측된 영상의 회전에 관련된 정보 및 예측된 영상의 뒤집힘 정보에 기초하여 의료 영상(910)의 출력 방향을 결정할 수 있다.
의료 영상 분석 장치(200)는 의료 영상으로부터 병변을 판독하기 전에 원본 의료 영상에서 필요한 메타데이터를 예측할 수 있다. 또한, 의료 영상 분석 장치(200)는 예측된 값을 이용해서 의료 영상을 판독 가능하게 조정할 수 있다. 또한 의료 영상은 예측된 값에 기초하여 의료 영상이 판독 대상 영상인지 여부를 결정할 수 있다. 따라서 의료 영상 분석 장치(200)는 주관적이고 변동 가능한 DICOM 헤더에 의존하지 않고, 일관된 판독 결과를 제공할 수 있다.
도 10은 본 개시의 일 실시예에 따라 병변을 검출하는 과정을 나타낸 흐름도이다.
의료 영상 분석 장치(200)는 환자의 의료 영상을 수신할 수 있다. 도 8에서 설명한 바와 같이, 의료 영상 분석 장치(200)는 환자의 의료 영상에 예측 모델을 이용하여 메타데이터를 예측할 수 있다. 동일한 예측 모델에 기초하여 메타데이터를 예측하므로, 의료 영상 분석 장치(200)는 어떠한 의료 영상을 수신하더라도, 동일한 기준에 기초하여 제2 메타데이터(930)를 획득할 수 있다. 따라서, 의료 영상 분석 장치(200)는 의료 영상 및 메타데이터 중 적어도 하나에 기계학습모델을 적용하여 목표 태스크의 성공률을 높일 수 있다. 목표 태스크는 병변 검출일 수 있다.
의료 영상 분석 장치(200)는 입력된 의료 영상에서 이상(abnormal)을 검출하기 위해, 의료 영상 분석 장치(200)는 제2 메타데이터(930)에 기초하여 환자의 의료 영상을 조정하는 단계(1010)를 수행할 수 있다. 또한, 의료 영상 분석 장치(200)는 제2 메타데이터를 기초로, 입력된 의료 영상의 윈도우 센터, 윈도우 너비, 색상 및 출력 방향 중 적어도 하나를 조정하는 단계를 수행할 수 있다.
의료 영상 분석 장치(200)는 제2 메타데이터(930)에 포함된 신체부위를 확인하는 단계(1020)를 수행할 수 있다. 의료 영상 분석 장치(200)는 제2 메타데이터(930)의 신체부위 정보가 이상(abnormal)을 검출하고자 하는 신체부위와 일치하는지를 확인할 수 있다.
예를 들어, 사용자는 환자의 의료 영상으로부터 이상을 진단하기 위하여 특정 신체부위에 대한 의료 영상이 필요할 수 있다. 사용자는 특정 신체 부위에 대한 정보를 의료 영상 분석 장치(200)에 입력할 수 있다. 또는, 의료 영상 분석 장치(200)는 사용자가 찾고 있는 병변에 대응하는 특정 신체 부위 정보를 자동으로 획득할 수 있다. 의료 영상 분석 장치(200)는 특정 신체 부위 정보와 제2 메타데이터(930)에 포함된 신체 부위 정보를 비교하여, 환자의 의료 영상이 특정 신체 부위에 대응되는 영상인지 확인할 수 있다. 의료 영상 분석 장치(200)는 특정 신체 부위 정보와 제2 메타데이터(930)에 포함된 신체 부위 정보가 일치하지 않는 경우, 환자의 새로운 의료 영상을 획득하거나 환자의 새로운 의료 영상을 획득하기 위한 동작을 수행할 수 있다.
의료 영상 분석 장치(200)는 제2 메타데이터에 포함된 모달리티를 확인하는 단계(1030)를 수행할 수 있다. 의료 영상 분석 장치(200)는 제2 메타데이터(930)의 모달리티 정보가 이상을 검출하는데 적합한지를 확인할 수 있다.
예를 들어, 사용자는 환자의 의료 영상으로부터 이상을 진단하기 위하여 특정 모달리티의 의료 영상이 필요할 수 있다. 사용자는 특정 모달리티에 대한 정보를 의료 영상 분석 장치(200)에 입력할 수 있다. 또는, 의료 영상 분석 장치(200)는 사용자가 찾고 있는 병변을 검출하기 위해 필요한 특정 모달리티 정보를 자동으로 획득할 수 있다. 의료 영상 분석 장치(200)는 특정 모달리티 정보와 제2 메타데이터(930)에 포함된 모달리티 정보를 비교하여, 환자의 의료 영상이 특정 모달리티에 기초한 영상인지 확인할 수 있다. 의료 영상 분석 장치(200)는 특정 모달리티 정보와 메타데이터에 포함된 모달리티 정보가 일치하지 않는 경우, 환자의 새로운 의료 영상을 획득하거나 환자의 새로운 의료 영상을 획득하기 위한 동작을 수행할 수 있다.
의료 영상 분석 장치(200)는 제2 메타데이터에 포함된 환자에 대한 정보를 확인하는 단계(1040)를 수행할 수 있다. 의료 영상 분석 장치(200)는 제2 메타데이터의 환자에 대한 정보가 이상을 검출하는데 적합한지를 확인할 수 있다.
예를 들어, 사용자는 환자의 의료 영상으로부터 이상을 진단하기 위하여 특정 환자의 정보가 필요할 수 있다. 의료 영상 분석 장치(200)는 진단 대상과 의료 영상에 대응하는 환자가 동일한 사람인지를 판단할 수 있다. 또한 의료 영상 분석 장치(200)는 이상을 진단하기 위하여 특정한 연령 범위의 환자에게 진단을 수행할 수 있다. 예를 들면, 사용자는 환자에 대한 정보를 의료 영상 분석 장치(200)에 입력할 수 있다. 또는, 의료 영상 분석 장치(200)는 사용자가 찾고 있는 병변을 검출하기 위해 필요한 환자 정보를 자동으로 획득할 수 있다. 의료 영상 분석 장치(200)는 입력된 환자 정보와 메타데이터에 포함된 환자 정보를 비교할 수 있다. 의료 영상 분석 장치(200)는 입력된 환자 정보와 메타데이터에 포함된 환자 정보가 일치하지 않는 경우, 경고 메시지를 출력할 수 있다.
의료 영상 분석 장치(200)는 환자의 의료 영상(910)으로부터 병변 검출하는 단계(1050)를 수행할 수 있다. 의료 영상 분석 장치(200)는 의료 영상으로부터 병변을 검출하기 위하여, 병변 검출에 특화된 이상 검출 기계학습모델을 사용할 수 있다.
의료 영상 분석 장치(200)는 이상 검출 기계학습모델을 포함할 수 있다. 의료 영상 분석 장치(200)는 다른 의료 영상 분석 장치(200)로부터 이상 검출 기계학습모델을 수신할 수 있다. 또는, 의료 영상 분석 장치(200)는 복수의 의료 영상 및 복수의 의료 영상 각각에 대응하는 병변 레이블에 기초하여 기계학습을 수행하여 이상 검출 기계학습모델을 획득할 수 있다. 의료 영상 분석 장치(200)는 데이터 학습부(110)를 이용하여 기계학습모델을 생성할 수 있다. 기계학습모델을 생성하는 일반적인 과정에 대해서는 도 1과 함께 설명하였으므로 중복되는 설명은 생략한다.
또한 의료 영상 분석 장치(200)는 의료 영상(910)을 이상 검출 기계학습모델에 적용하여 병변을 검출할 수 있다. 의료 영상 분석 장치(200)에 포함된 데이터 인식부(120)는 의료 영상(910)을 이상 검출 기계학습모델에 적용하여 병변에 대한 정보를 검출할 수 있다. 여기서 병변에 대한 정보는 병변의 명칭, 병변의 위치, 및 병변의 심각성 중 적어도 하나를 포함할 수 있다. 이상 검출 기계학습모델에 기초하여 목표 태스크를 수행하는 일반적인 과정에 대해서는 도 1과 함께 설명하였으므로 중복되는 설명은 생략한다.
이상과 같이 도 10과 함께, 의료 영상 분석 장치(200)가 이상 검출 기계학습모델에 기반하여 병변을 검출하는 과정에 대하여 설명하였다. 하지만 이에 한정되는 것은 아니다. 도 10과 다른 실시예가 도 11부터 설명될 수 있다. 도 11부터는 의료 영상 분석 장치(200)가 병변을 검출하기 위해 수행하는 단계를 설명한다. 도 11부터 설명하는 구성 중 일부가 도 10에도 사용될 수 있다.
도 11은 본 개시의 일 실시예에 따른 의료 영상 분석 장치의 동작을 설명하기 위한 블록도이다. 또한 도 12는 본 개시의 일 실시예에 따른 영상 분석 장치의 동작을 설명하기 위한 흐름도이다. 이하에서는 도 12와 함께 도 11을 설명한다.
의료 영상 분석 장치(200)는 의료 영상으로부터 상기 의료 영상에 대한 메타데이터를 예측하기 위한, 예측 모델(730)을 획득하는 단계(1210)를 수행할 수 있다. 도 8에서 이미 설명한 바와 같이 의료 영상 분석 장치(200)는 예측 모델(730)을 미리 저장하고 있을 수 있다. 의료 영상 분석 장치(200)는 다른 의료 영상 분석 장치(200)로부터 예측 모델을 수신할 수 있다. 또한, 의료 영상 분석 장치(200)는 복수의 의료 영상 및 복수의 메타데이터에 기초하여 기계학습을 수행하여 예측 모델(730)을 획득할 수 있다. 예측 모델(730)을 기계학습하는 과정에 대해서는 도 6 및 도 7에서 이미 설명하였으므로 중복되는 설명은 생략한다.
의료 영상 분석 장치(200)는 예측 모델(730)을 이용하여, 의료 영상(910)에 대한 제2 메타데이터를 생성하는 단계(1220)를 수행할 수 있다. 도 11의 제2 메타데이터를 생성하는 단계(1220)는 도 8의 의료 영상(910)에 대응되는 메타데이터(930)를 예측하는 단계(820)에 대응되므로, 중복되는 설명은 생략한다.
의료 영상(910)은 의료 영상 분석 장치(200)의 분석의 대상이 되는 영상일 수 있다. 의료 영상 분석 장치(200)는 의료 영상(910)을 사용자로부터 입력장치를 통하여 입력 받을 수 있다. 의료 영상 분석 장치(200)는 의료 영상(910)을 다른 장치로부터 유무선 통신을 이용하여 입력 받을 수 있다. 의료 영상 분석 장치(200)는 미리 저장되어 있는 의료 영상(910)을 이용할 수 있다. 의료 영상(910)은 예측 모델(730)을 생성하기 위하여 사용된 복수의 의료 영상(711)과 독립적일 수 있다. 의료 영상(910)은 예측 모델(730)을 생성하기 위하여 사용된 복수의 의료 영상(711)과 다른 영상일 수 있으며, 동일한 영상일 수도 있다.
의료 영상 분석 장치(200)는 의료 영상(910)에 대응되는 제1 메타데이터(1140) 및 제2 메타데이터(930) 중 적어도 하나를 선택하는 단계(1230)를 수행할 수 있다. 제1 메타데이터(1140)는 의료 영상(910)에 대응되는 데이터일 수 있다. 제1 메타데이터(1140)는 의료 영상(910)의 생성 과정에서 사용자가 입력하거나, 의료 기기에 의하여 생성된 메타데이터일 수 있다. 제1 메타데이터(1140)는 의료 영상별로 서로 다른 기준이 적용되어 생성될 수 있다. 예를 들어, 제1 메타데이터(1140)는 의료 기관 사이의 기준의 차이, 의료 촬영 장비의 차이 또는 사용자의 주관에 의하여, 동일한 의료 영상에 대해서도 다르게 나타날 수 있다. 또한 제1 메타데이터(1140)는 누락된 정보가 있을 수 있다. 왜냐하면 사용자가 정보 입력을 누락하거나, 의료 기기가 설정에 따라 정보 입력을 누락할 수 있기 때문이다.
반면 제2 메타데이터(930)는 동일한 예측 모델(730)에 기초하여 획득된 데이터일 수 있다. 제2 메타데이터(930)는 동일한 기준에 의하여 의료 영상(910)으로부터 획득된 정보이며, 누락되는 정보가 없을 수 있다.
이상 검출 기계학습모델은 특정 조건을 만족하는 의료 영상에 기초하여 기계학습된 모델일 수 있다. 따라서 이상 검출 기계학습모델은 특정 조건을 만족하는 의료 영상에 대하여 정확하게 병변을 예측할 수 있다. 의료 영상 분석 장치(200)는 제2 메타데이터(930) 또는 제1 메타데이터(1140) 중 적어도 하나를 이용하여 미리 정해진 조건을 만족하는 의료 영상을 선택할 수 있다. 또한 의료 영상 분석 장치(200)는 미리 정해진 조건을 만족하는 경우 의료 영상을 이상 검출 기계학습모델에 적용하여 정확하게 병변을 예측할 수 있다. 즉, 제2 메타데이터(930) 또는 제1 메타데이터(1140) 중 적어도 하나를 이용함으로써, 의료 영상 분석 장치(920)는 의료 영상(910)이 이상 검출 기계학습모델에 적용하기에 적합한지 여부를 결정할 수 있다.
제1 메타데이터(1140) 및 제2 메타데이터(930)는 의료 영상에 포함된 객체에 관련된 정보, 의료 영상의 종류에 대한 정보, 의료 영상의 촬영 환경에 대한 정보 및 의료 영상의 표시 방법과 관련된 정보 중 적어도 하나와 관련된 정보를 포함할 수 있다. 의료 영상에 포함된 객체에 관련된 정보, 의료 영상의 종류에 대한 정보, 의료 영상의 촬영 환경에 대한 정보 및 의료 영상의 표시 방법과 관련된 정보에 대해서는 이미 설명하였으므로 중복되는 설명은 생략한다.
의료 영상 분석 장치(200)는 제1 메타데이터(1140) 및 제2 메타데이터(930) 중 적어도 하나에 기초하여 선택된 메타데이터를 결정할 수 있다. 선택된 메타데이터는 제1 메타데이터(1140) 및 제2 메타데이터(930) 중 하나일 수 있다. 하지만 이에 한정되는 것은 아니며, 선택된 메타데이터는 제1 메타데이터(1140) 및 제2 메타데이터(930) 모두를 이용하여 획득될 수 있다. 예를 들어, 선택된 메타데이터는 제1 메타데이터(1140) 및 제2 메타데이터(930)의 평균일 수 있고, 제1 메타데이터(1140) 및 제2 메타데이터(930)에 대해 미리 정해진 수식에 따른 출력일 수도 있다.
의료 영상 분석 장치(200)가 선택된 메타데이터를 획득하는 방법에 대해서는 도 13과 함께 보다 자세히 설명한다.
의료 영상 분석 장치(200)는 선택된 메타데이터에 기초하여 의료 영상(910)에 대한 처리 방법을 결정하는 단계(1240)를 수행할 수 있다. 이미 설명한 바와 같이 선택된 메타데이터는 제1 메타데이터(1140) 또는 제2 메타데이터(930) 중 적어도 하나에 기초하여 획득될 수 있다. 의료 영상 분석 장치(200)는 제1 메타데이터(1140) 또는 제2 메타데이터(930) 중 적어도 하나에 기초하여 의료 영상(910)의 처리 방법을 결정할 수 있다.
결정된 처리 방법은, 의료 영상(910)을 이상 검출 기계학습모델에 적용할지 여부에 대한 것일 수 있다. 예를 들어, 의료 영상 분석 장치(200)는 선택된 메타데이터에 기초하여 의료 영상(910)이 이상 검출 기계학습모델에 적합한지 결정할 수 있다. 의료 영상 분석 장치(200)는 선택된 메타데이터가 미리 정해진 조건을 만족하는지 여부를 결정하는 단계를 수행할 수 있다. 또한, 의료 영상 분석 장치(200)는 선택된 메타데이터가 미리 정해진 조건을 만족하는 경우, 의료 영상(910)을 이상 검출 기계학습모델에 적용하는 단계를 수행할 수 있다. 여기서 선택된 메타데이터가 미리 정해진 조건을 만족한다는 것은 의료 영상(910)이 이상 검출 기계학습모델에 적합하다는 것을 나타낼 수 있다. 반대로 의료 영상(910)이 의료 영상 분석 장치(200)는 선택된 메타데이터가 미리 정해진 조건을 만족하지 않는 경우, 의료 영상 분석 장치(200)는 의료 영상(910)을 이상 검출 기계학습모델에 적용하지 않을 수 있다.
또한 결정된 처리 방법은, 이상 검출 기계학습모델에 대한 기준값을 결정하는 것일 수 있다. 기준값은 분류기(classifier)를 위하여 사용되는 값일 수 있다. 분류기는 결정함수를 포함할 수 있으며, 이상 기계학습모델의 결과 정보가 기준값을 넘는지 여부에 따라, 의료 영상을 특정 클래스로 분류할 수 있다. 의료 영상 분석 장치(200)는 선택된 메타데이터에 기초하여 이상 검출 기계학습모델에 대한 기준값을 결정하는 단계를 수행할 수 있다. 의료 영상 분석 장치(200)는 선택된 메타데이터에 따라 기준값을 다르게 결정할 수 있다. 또한, 의료 영상 분석 장치(200)는 기준값을 이상 검출 기계학습모델의 결과 정보와 비교하여 최종 결과 정보를 획득하는 단계를 수행할 수 있다.
보다 구체적으로, 의료 영상 분석 장치(200)는 의료 영상(910)을 이상 검출 기계학습모델에 적용하여 결과 정보를 출력할 수 있다. 결과 정보는 적어도 하나의 클래스에 대하여 획득될 수 있다. 클래스는 실제 레이블 정보에 대응될 수 있다. 하지만 이에 한정되는 것은 아니며 결과 정보는 하나의 클래스에 대해 획득될 수 있다. 결과 정보는 의료 영상(910)에 특정 병변이 존재하는지 여부와 관련된 정보일 수 있다. 예를 들어, 특정 병변이 존재하는 것이 제 1 클래스가 되고 특정 병변이 존재하지 않는 것이 제 2 클래스가 될 수 있다. 결과 정보는 수치로 나타날 수 있다. 결과 정보는 커질 수록 의료 영상(910)에 특정 병변이 존재할 가능성이 높음을 나타낼 수 있다. 의료 영상 분석 장치(200)는 결과 정보를 기준값과 비교하여, 결과 정보가 기준값보다 큰 경우, 의료 영상(910)에 특정 병변이 존재한다고 결정할 수 있다. 또한 의료 영상 분석 장치(200)는 결과 정보가 기준값보다 작은 경우, 의료 영상(910)에 특정 병변이 존재하지 않는다고 결정할 수 있다. 여기서 특정 병변이 존재하는지 여부에 대한 정보가 최종 결과 정보일 수 있다. 또한 최종 결과 정보가 예측된 레이블 정보일 수 있다.
다만, 이에 한정되는 것은 아니며, 결과 정보는 작아질 수록 의료 영상(910)에 특정 병변이 존재할 가능성이 높음을 나타낼 수 있다. 의료 영상 분석 장치(200)는 결과 정보가 기준값보다 작은 경우, 의료 영상(910)에 특정 병변이 존재한다고 결정할 수 있다. 또한 의료 영상 분석 장치(200)는 결과 정보가 기준값보다 큰 경우, 의료 영상(910)에 특정 병변이 존재하지 않는다고 결정할 수 있다.
또한 결정된 처리 방법은, 이상 검출 기계학습모델의 예측된 레이블을 최종 분석 결과에 포함시킬지 여부에 대한 것일 수 있다. 예를 들어 이상 검출 기계학습모델은 예측된 레이블 및 예측된 레이블에 대한 신뢰도 중 적어도 하나를 출력할 수 있으며, 의료 영상 분석 장치(200)는 예측된 레이블에 대한 신뢰도가 임계 신뢰도를 넘는 경우, 예측된 레이블을 최종 분석 결과에 포함할 수 있다. 의료 영상 분석 장치(200)는 임계 신뢰도를 제1 메타데이터(1140) 또는 제2 메타데이터(930) 중 적어도 하나에 기초하여 결정할 수 있다.
또한 결정된 처리 방법은, 의료 영상 분석 장치(200)에 포함된 복수의 이상 검출 기계학습모델 중 하나를 선택하는 것일 수 있다. 의료 영상 분석 장치(200)는 복수의 이상 검출 기계학습모델을 포함할 수 있다. 복수의 이상 검출 기계학습모델은 서로 다른 병변을 판별하거나, 서로 다른 의료 영상을 이용할 수 있다. 의료 영상 분석 장치(200)는 복수의 이상 검출 기계학습모델 중 상기 선택된 메타데이터에 대응하는 이상 검출 기계학습모델을 선택하는 단계를 수행할 수 있다. 즉 의료 영상 분석 장치(200)는 선택된 메타데이터에 기초하여 의료 영상(910)을 분석하는데 최적화된 이상 검출 기계학습모델을 선택할 수 있다. 또한 의료 영상 분석 장치(200)는 선택된 이상 검출 기계학습모델을 의료 영상(910)에 적용할 수 있다. 의료 영상 분석 장치(200)는 의료 영상(910)에 적합한 이상 검출 기계학습모델을 선택함으로써, 최상의 결과를 도출할 수 있다.
의료 영상 분석 장치(200)가 의료 영상(910)을 이상 검출 기계학습모델에 적용할 방법을 결정하는 과정에 대해서는 도 14 또는 도 15와 함께 보다 자세히 설명한다. 먼저 도 13과 함께, 의료 영상 분석 장치(200)가 선택된 메타데이터를 획득하는 과정에 대하여 설명한다.
도 13은 본 개시의 일 실시예에 따른 의료 영상 분석 장치의 동작을 설명하기 위한 흐름도이다. 의료 영상 분석 장치(200)는 제2 메타데이터를 생성하는 단계(1220)를 수행할 수 있다. 또한 의료 영상 분석 장치(200)는 제2 메타데이터에 대한 신뢰도를 획득하는 단계(1310)를 수행할 수 있다. 의료 영상 분석 장치(200)는 예측 모델(730)에 기초하여 제2 메타데이터 및 제2 메타데이터에 대한 신뢰도 중 적어도 하나를 획득할 수 있다. 보다 구체적으로 의료 영상 분석 장치(200)는 예측 모델(730)을 이용하여 제2 메타데이터 및 제2 메타데이터에 대한 신뢰도 중 적어도 하나를 생성할 수 있다. 신뢰도는 제2 메타데이터가 실제 메타데이터(ground-truth metadata)와 동일한 정도, 또는 가능성과 관련된 값을 의미할 수 있다. 즉, 신뢰도는 제2 메타데이터가 실제 메타데이터(ground-truth metadata)와 동일할 확률과 비례하거나 반비례할 수 있다. 기계학습모델인 예측 모델(730)은 예측 레이블인 제2 메타데이터 뿐 아니라 이에 대응하는 신뢰도를 출력할 수 있다. 신뢰도는 다양한 형태로 출력될 수 있다. 예를 들면, 신뢰도는 숫자로 나타날 수 있으며 크기 비교가 가능할 수 있다. 의료 영상 분석 장치(200)는 예측된 레이블 정보 별로 신뢰도를 획득할 수 있다. 의료 영상 분석 장치(200)는 예측 모델을 이용하여 의료 영상을 예측 메타 데이터와 관련된 복수의 클래스 중 하나의 클래스로 분류할 수 있다. 의료 영상 분석 장치(200)는 복수의 클래스 중 적어도 하나의 클래스에 대하여 신뢰도를 획득할 수 있다. 하지만 이에 한정되는 것은 아니며, 의료 영상 분석 장치(200)는 예측 모델에 대한 신뢰도를 획득할 수 있다. 의료 영상 분석 장치(200)는 테스트 데이터 세트를 예측 모델에 적용하여 예측 모델에 대한 신뢰도를 획득할 수 있다.
의료 영상 분석 장치(200)는 제1 메타데이터(1140) 및 제2 메타데이터(930) 중 적어도 하나를 선택하는 단계(1230)를 수행하기 위하여 아래와 같은 단계를 수행할 수 있다.
제2 메타데이터의 신뢰도가 기준 이상인지 여부를 결정하는 단계(1320)를 수행할 수 있다. 단계(1320)는 도 11의 단계(1162)에 대응할 수 있다. 기준은 제2 메타데이터가 사용가능한지 여부를 판단하기 위한 값일 수 있다. 기준은 미리 정해진 값으로써, 의료 영상 분석 장치(200)는 기준을 저장하고 있을 수 있다. 기준은 사용자에 의하여 수정될 수 있다. 기준은 제2 메타데이터의 종류에 기초하여 다르게 설정될 수 있다.
의료 영상 분석 장치(200)는 제2 메타데이터의 신뢰도가 기준 이상인 경우, 제2 메타데이터(930)를 선택하는 단계(1330)를 수행할 수 있다. 단계(1330)는 도 11의 단계(1170)에 대응할 수 있다. 선택된 메타데이터는 제2 메타데이터(930)와 동일할 수 있다. 의료 영상 분석 장치(200)는 제2 메타데이터(930)에 기초하여 이상 검출 기계학습모델에 의료 영상(910)을 적용할 방법을 결정할 수 있다.
의료 영상 분석 장치(200)는 제2 메타데이터의 신뢰도가 기준 미만인 경우, 제1 메타데이터(1140)를 선택하는 단계를 수행할 수 있다. 즉, 제2 메타데이터의 신뢰도가 기준 미만인 경우, 도 11의 단계(1180)가 수행될 수 있다. 선택된 메타데이터는 제1 메타데이터(1140)와 동일할 수 있다. 의료 영상 분석 장치(200)는 제1 메타데이터(1140)에 기초하여 이상 검출 기계학습모델에 의료 영상(910)을 적용할 방법을 결정할 수 있다.
도 16은 본 개시의 일 실시예에 따른 의료 영상 분석 장치의 동작을 설명하기 위한 블록도이다.
이하에서는 도 16과 함께 도 11에서 추가적으로 수행될 수 있는 단계들을 설명한다.
의료 영상 분석 장치(200)는 제1 메타데이터(1140) 및 제2 메타데이터(930)가 동일한지 여부를 결정하는 단계를 수행할 수 있다. 이는 도 16의 단계(1150)에 대응될 수 있다. 제1 메타데이터(1140) 및 제2 메타데이터(930)가 동일한 경우, 의료 영상 분석 장치(200)는 제1 메타데이터(1140) 및 제2 메타데이터(930) 중 어느 하나를 선택할 수 있다. 또한 선택된 메타데이터에 기초하여 이상 검출 기계학습모델에 의료 영상(910)을 적용할 방법을 결정할 수 있다.
또한, 의료 영상 분석 장치(200)는 제1 메타데이터(1140)가 처리 방법과 관련된 적어도 하나의 항목과 관련된 정보를 가지고 있는지 여부를 결정하는 단계를 수행할 수 있다. 여기서 처리 방법과 관련된 적어도 하나의 항목은 의료 영상(910)에 포함된 객체에 관련된 정보, 촬영 방식에 대한 정보, 의료 영상(910)의 모달리티 정보, 의료 영상(910)의 종류에 대한 정보, 및 의료 영상(910)의 표시 방법과 관련된 정보 중 적어도 하나를 포함할 수 있다. 예를 들어, 제1 메타데이터(1140)는 변수로서 정보를 할당 받을 수 있다. 제1 메타데이터 아무런 값도 할당받지 않았을 수 있다. 즉, 제1 메타데이터(1140)는 널(null)값일 수 있다. 이 때, 의료 영상 분석 장치(200)는 제1 메타데이터(1140)가 처리 방법과 관련된 적어도 하나의 항목과 관련된 정보를 가지고 있지 않는 것으로 결정할 수 있다. 의료 영상 분석 장치(100)는 제1 메타데이터가 처리 방법과 관련된 적어도 하나의 항목과 관련된 정보를 가지고 있지 않는 경우, 제2 메타데이터(930)를 선택하는 단계를 수행할 수 있다. 즉, 선택된 메타데이터는 제2 메타데이터(930)와 동일할 수 있다.
이제까지 제1 메타데이터(1140) 및 제2 메타데이터(930) 중 하나를 선택하는 과정에 대하여 설명하였다. 이미 설명한 바와 같이, 의료 영상 분석 장치(200)에 의하여 결정된 처리 방법은, 의료 영상(910)을 이상 검출 기계학습모델에 적용할지 여부에 대한 것이거나, 이상 검출 기계학습모델에 대한 기준값을 결정하는 것이거나, 의료 영상 분석 장치(200)에 포함된 복수의 이상 검출 기계학습모델 중 하나를 선택하는 것일 수 있다.
이하에서는 도 14 내지 도 15와 함께, 선택된 메타데이터에 기초하여 이상 검출 기계학습모델에 의료 영상(910)의 처리 방법을 결정하는 과정을 설명한다.
도 14는 본 개시의 일 실시예에 따라 이상 검출 기계학습모델에 의료 영상을 적용하지 않는 조건을 나타낸 도면이다.
도 14에서 설명의 편의를 위하여, DICOM헤더의 표준 형식을 기준으로 설명한다. 하지만 이에 한정되는 것은 아니다. 본 개시는 DICOM헤더의 비표준 형식을 이용하여 구현될 수 있으며, DICOM헤더의 표준 형식을 이용하더라도, 다른 변수를 이용하여 구현될 수 있다.
이미 설명한 바와 같이 이상 검출 기계학습모델은 특정 조건을 만족하는 의료 영상을 이용하여 기계학습된 모델일 수 있다. 따라서 이상 검출 기계학습모델은 특정 조건을 만족하는 의료 영상에 대해서 보다 정확하게 병변을 검출할 수 있다. 의료 영상 분석 장치(200)는 선택된 메타데이터에 기초하여 의료 영상이 미리 정해진 조건을 만족하는지 여부를 확인할 수 있다. 또한 의료 영상 분석 장치(200)는 선택된 메타데이터에 기초하여 의료 영상(910)의 처리 방법을 결정할 수 있다. 의료 영상 분석 장치(200)는 선택된 메타데이터가 미리 정해진 조건을 만족하는 의료 영상을 이상 검출 기계학습모델에 적용할 수 있다. 또한 의료 영상 분석 장치(200)는 선택된 메타데이터에 기초하여 이상 검출 기계학습모델에 대한 기준값을 결정할 수 있다. 또한 의료 영상 분석 장치(200)는 의료 영상의 조건에 따라 이상 검출 기계학습모델의 출력 결과를 최종 결과에 포함시키거나 포함시키지 않을 수 있다. 또한, 의료 영상 분석 장치(200)는 복수의 이상 검출 기계학습모델 중 상기 선택된 메타데이터에 대응하는 이상 검출 기계학습모델을 선택할 수 있다.
이하에서는 구체적인 예시들에 대하여 설명한다.
도 14의 조건(1410)을 참조하면, 의료 영상 분석 장치(200)는 의료 영상의 처리 방법을 결정하기 위하여 다음과 같은 과정을 수행할 수 있다. 의료 영상 분석 장치(200)는 선택된 메타데이터에 포함된 스팟 컴프레션(spot compression) 사용 여부에 관련된 정보에 기초하여, 의료 영상에 대해 스팟 컴프레션이 사용되는지 여부를 결정하는 단계를 수행할 수 있다.
dcm.ViewCodeSequence[0].ViewModifierCodeSequence는 선택된 메타데이터에 포함된 정보로써, 스팟 컴프레션(spot compression) 사용 여부에 관련된 정보일 수 있다. 도 14에서는 스팟 컴프레션 사용 여부에 관련된 정보에 대한 한 예시로써, dcm.ViewCodeSequence[0].ViewModifierCodeSequence와 같이 기재되어 있으나, 스팟 컴프레션 사용 여부에 관련된 정보는 다른 변수로 표현될 수 있다. Len()함수에 기초하여, 의료 영상 분석 장치(200)는 dcm.ViewCodeSequence[0].ViewModifierCodeSequence의 데이터 길이가 0이 아닌지 확인할 수 있다. 의료 영상 분석 장치(200)는 데이터 길이가 0이 아닌 경우, 의료 영상(910)에 스팟 컴프레션이 사용되었음을 결정할 수 있다.
의료 영상 분석 장치(200)는 의료 영상(910)에 대해 스팟 컴프레션이 사용된 경우, 의료 영상(910)을 이상 검출 기계학습모델에 적용하지 않는 단계를 수행할 수 있다. 또한, 의료 영상 분석 장치(200)는 의료 영상(910)에 대해 스팟 컴프레션이 사용되지 않은 경우, 의료 영상을 이상 검출 기계학습모델에 적용하는 단계를 수행할 수 있다.
이미 설명한 바와 같이 스팟 컴프레션은 대상체의 조직을 압박하여 의료 영상을 획득하는 방법이다. 따라서, 스팟 컴프레션을 이용하지 않은 의료 영상과 비교하여, 의료 영상에 포함된 대상체의 조직의 모양이 변형되어 있을 수 있다. 스팟 컴프레션을 이용하지 않은 의료 영상에 기초하여 기계학습된 이상 검출 기계학습모델은 스팟 컴프레션을 이용한 의료 영상을 정확하게 분석하기 힘들 수 있다. 따라서 의료 영상 분석 장치(200)는 스팟 컴프레션을 이용하여 획득된 의료 영상에 이상 검출 기계학습모델을 적용하지 않을 수 있다.
여기서 적용하지 않는 다는 것은 스팟 컴프레션에 대해 기계학습하지 않은 기계학습모델을 스팟 컴프레션이 적용된 의료 영상에 적용하지 않는다는 것일 뿐, 스팟 컴프레션에 대해 기계학습한 기계학습모델은 스팟 컴프레션이 적용된 의료 영상에 적용될 수 있다.
의료 영상 분석 장치(200)는 복수의 이상 검출 기계학습모델 중 선택된 메타데이터에 대응하는 이상 검출 기계학습모델을 선택할 수 있다. 예를 들어, 의료 영상 분석 장치(200)는 스팟 컴프레션을 이용한 복수의 의료 영상에 기초하여 기계학습된 제 1 이상 검출 기계학습모델 및 스팟 컴프레션을 이용하지 않은 복수의 의료 영상에 기초하여 기계학습된 제 2 이상 검출 기계학습모델을 포함할 수 있다. 의료 영상 분석 장치(200)는 선택된 메타데이터에 기초하여 의료 영상에 스팟 컴프레션이 사용되었는지 여부를 결정할 수 있다. 의료 영상 분석 장치(200)는 스팟 컴프레션을 이용한 의료 영상에 대해서는 제 1 이상 검출 기계학습모델을 적용하고, 스팟 컴프레션을 이용하지 않은 의료 영상에 대해서는 제 2 이상 검출 기계학습모델을 적용할 수 있다.
도 14의 조건(1420)을 참조하면, 의료 영상 분석 장치(200)는 의료 영상의 처리 방법을 결정하기 위하여 다음과 같은 과정을 수행할 수 있다. 의료 영상 분석 장치(200)는 선택된 메타데이터에 포함된 표시 의도 타입(presentation intent type)에 대한 정보에 기초하여, 의료 영상이 처리용 영상인지 여부를 결정하는 단계를 수행할 수 있다.
dcm.PresentationIntentType는 선택된 메타데이터에 포함된 정보로써, 표시 의도 타입(presentation intent type)에 대한 정보일 수 있다. 도 14에서는 표시 의도 타입에 대한 정보의 한 예시로써, dcm.PresentationIntentType와 같이 기재되어 있으나, 표시 의도 타입에 대한 정보는 다른 변수로 표현될 수 있다. 표시 의도 타입에 대한 정보가 "FOR POCESSING"인 경우, 의료 영상 분석 장치(200)는 의료 영상이 처리용 영상임을 결정할 수 있다. 또한, 표시 의도 타입에 대한 정보가 "FOR POCESSING"이 아닌 경우, 의료 영상 분석 장치(200)는 의료 영상이 처리용 영상이 아님을 결정할 수 있다.
의료 영상이 처리용 영상이 아닌 경우, 의료 영상 분석 장치(200)는 의료 영상을 이상 검출 기계학습모델에 적용하는 단계를 수행할 수 있다. 또한 의료 영상이 처리용 영상인 경우, 의료 영상 분석 장치(200)는 의료 영상(910)을 이상 검출 기계학습모델에 적용하지 않는 단계를 수행할 수 있다.
이미 설명한 바와 같이 처리용 영상은 최종 의료 영상을 획득하기 전의 중간 단계의 의료 영상일 수 있다. 최종 의료 영상에 기초하여 기계학습된 이상 검출 기계학습모델은 처리용 영상을 정확하게 분석하기 힘들 수 있다. 따라서 의료 영상 분석 장치(200)는 처리용 영상에 이상 검출 기계학습모델을 적용하지 않을 수 있다.
여기서 적용하지 않는 다는 것은 처리용 영상에 대해 기계학습하지 않은 기계학습모델을 적용하지 않는다는 것일 뿐, 처리용 영상에 대해 기계학습한 기계학습모델은 중간 단계의 의료 영상에 적용될 수 있다.
의료 영상 분석 장치(200)는 복수의 이상 검출 기계학습모델 중 선택된 메타데이터에 대응하는 이상 검출 기계학습모델을 선택할 수 있다. 예를 들어, 의료 영상 분석 장치(200)는 처리용 영상에 기초하여 기계학습된 제 1 이상 검출 기계학습모델을 획득할 수 있다. 또한 의료 영상 분석 장치(200)는 처리용 영상이 아닌 의료 영상에 기초하여 기계학습된 제 2 이상 검출 기계학습모델을 포함할 수 있다. 의료 영상 분석 장치(200)는 선택된 메타데이터에 기초하여 의료 영상이 처리용 영상인지 여부를 결정할 수 있다. 의료 영상 분석 장치(200)는 처리용 영상에 대해서는 제 1 이상 검출 기계학습모델을 적용하고, 처리용 영상이 아닌 의료 영상에 대해서는 제 2 이상 검출 기계학습모델을 적용할 수 있다.
도 14의 조건(1430)을 참조하면, 의료 영상 분석 장치(200)는 의료 영상의 처리 방법을 결정하기 위하여 다음과 같은 과정을 수행할 수 있다. 의료 영상 분석 장치(200)는 선택된 메타데이터에 포함된 뷰(view)에 대한 정보에 기초하여, 의료 영상이 미리 정해진 뷰인지 여부를 결정하는 단계를 수행할 수 있다.
dcm.ViewPosition은 선택된 메타데이터에 포함된 정보로써, 뷰(view)에 대한 정보일 수 있다. 도 14에서는 뷰에 대한 정보에 대한 한 예시로써, dcm.ViewPosition와 같이 기재되어 있으나, 뷰에 대한 정보는 다른 변수로 표현될 수 있다. 뷰에 대한 정보에 대한 정보는 대상체가 유방(breast)인 경우 CC, MLO, ML 또는 LM을 포함할 수 있다. CC, MLO, ML 또는 LM에 대해서는 이미 설명한 바 있으므로 중복되는 설명은 생략한다. 뷰에 대한 정보는 의료 영상의 대상체가 가슴(chest)인 경우 AP 또는 PA를 포함할 수 있다.
의료 영상 분석 장치(200)는 의료 영상(910)이 미리 정해진 뷰인 경우, 의료 영상을 이상 검출 기계학습모델에 적용하는 단계를 수행할 수 있다. 또한, 의료 영상 분석 장치(200)는 의료 영상(910)이 미리 정해진 뷰가 아닌 경우, 의료 영상을 이상 검출 기계학습모델에 적용하지 않는 단계를 수행할 수 있다. 의료 영상 분석 장치(200)는 미리 정해진 뷰를 저장하고 있을 수 있다. 의료 영상 분석 장치(200)는 미리 정해진 뷰를 사용자의 입력에 기초하여 설정할 수 있다. 또한 의료 영상 분석 장치(200)는 이상 검출 기계학습모델의 종류에 따라 미리 정해진 뷰를 자동으로 설정할 수 있다. 미리 정해진 뷰는 예를 들어 MLO 또는 CC일 수 있다. 즉, 의료 영상 분석 장치(200)는 ML, LM의 의료 영상에 대해서는 이상 검출 기계학습모델을 적용하지 않을 수 있다. 또한, 미리 정해진 뷰는 예를 들어 AP 또는 PA 일 수 있다. 즉, 의료 영상 분석 장치(200)는 Lateral(left lateral and right lateral)의 의료 영상에 대해서는 이상 검출 기계학습모델을 적용하지 않을 수 있다.
이상 검출 기계학습모델은 미리 정해진 뷰의 의료 영상을 이용하여 기계학습된 모델일 수 있다. 즉, 이상 검출 기계학습모델은 미리 정해진 뷰의 의료 영상을 정확하게 분석할 수 있고, 미리 정해진 뷰가 아닌 의료 영상을 정확하게 분석하지 못할 수 있다. 따라서 의료 영상 분석 장치(200)는 미리 정해진 뷰가 아닌 의료 영상에 이상 검출 기계학습모델을 적용하지 않을 수 있다.
여기서 적용하지 않는 다는 것은 미리 정해진 뷰에 대응하는 기계학습모델을 적용하지 않는다는 것일 뿐, 미리 정해진 뷰 이외의 뷰에 대해 기계학습한 기계학습모델은 미리 정해진 뷰가 아닌 의료 영상에 적용될 수 있다.
의료 영상 분석 장치(200)는 복수의 이상 검출 기계학습모델 중 선택된 메타데이터에 대응하는 이상 검출 기계학습모델을 선택할 수 있다. 예를 들어, 의료 영상 분석 장치(200)는 미리 정해진 뷰가 아닌 복수의 의료 영상에 기초하여 기계학습된 제 1 이상 검출 기계학습모델 및 미리 정해진 뷰의 복수의 의료 영상에 기초하여 기계학습된 제 2 이상 검출 기계학습모델을 포함할 수 있다. 의료 영상 분석 장치(200)는 선택된 메타데이터에 기초하여 의료 영상의 뷰를 결정할 수 있다. 의료 영상 분석 장치(200)는 미리 정해진 뷰가 아닌 의료 영상에 대해서는 제 1 이상 검출 기계학습모델을 적용하고, 미리 정해진 뷰의 의료 영상에 대해서는 제 2 이상 검출 기계학습모델을 적용할 수 있다.
도 14의 조건(1440)을 참조하면, 의료 영상 분석 장치(200)는 의료 영상의 처리 방법을 결정하기 위하여 다음과 같은 과정을 수행할 수 있다. 의료 영상 분석 장치(200)는 선택된 메타데이터에 포함된 배율 정보에 기초하여, 의료 영상의 촬영 배율이 임계 배율 이하인지 결정하는 단계를 수행할 수 있다.
dcm.EstimatedRadiographicMagnificationFactor은 선택된 메타데이터에 포함된 정보로써, 배율 정보일 수 있다. 도 14에서는 배율 정보에 대한 한 예시로써, dcm.EstimatedRadiographicMagnificationFactor와 같이 기재되어 있으나, 배율 정보는 다른 변수로 표현될 수 있다. 배율 정보에 대해서는 이미 설명한 바 있으므로 중복되는 설명은 생략한다.
의료 영상 분석 장치(200)는 의료 영상의 촬영 배율이 임계 배율 이하인 경우, 의료 영상을 이상 검출 기계학습모델에 적용하는 단계를 수행할 수 있다. 또한, 의료 영상 분석 장치(200)는 의료 영상의 촬영 배율이 임계 배율 초과인 경우, 의료 영상을 이상 검출 기계학습모델에 적용하지 않는 단계를 수행할 수 있다.
임계 배율은 미리 정해진 값으로써, 의료 영상 분석 장치(200)는 임계 배율을 저장하고 있을 수 있다. 임계 배율은 사용자에 의하여 수정될 수 있다. 임계 배율은 제2 메타데이터의 종류에 기초하여 다르게 설정될 수 있다. 임계 배율은 예를 들어 1.0 일 수 있다.
이상 검출 기계학습모델은 임계 배율 이하의 의료 영상을 이용하여 기계학습된 모델일 수 있다. 즉, 이상 검출 기계학습모델은 임계 배율 이하의 의료 영상을 정확하게 분석할 수 있고, 임계 배율 초과의 의료 영상을 정확하게 분석하지 못할 수 있다. 따라서 의료 영상 분석 장치(200)는 임계 배율 초과의 의료 영상에 이상 검출 기계학습모델을 적용하지 않을 수 있다.
여기서 적용하지 않는 다는 것은 임계 배율 이하의 의료 영상에 대응하는 기계학습모델을 임계 배율 초과의 의료 영상에 적용하지 않는다는 것일 뿐, 임계 배율 초과의 의료 영상을 기계학습한 기계학습모델은 임계 배율 초과의 의료 영상에 적용될 수 있다.
의료 영상 분석 장치(200)는 복수의 이상 검출 기계학습모델 중 선택된 메타데이터에 대응하는 이상 검출 기계학습모델을 선택할 수 있다. 예를 들어, 의료 영상 분석 장치(200)는 임계 배율 초과의 복수의 의료 영상에 기초하여 기계학습된 제 1 이상 검출 기계학습모델 및 임계 배율 이하의 복수의 의료 영상에 기초하여 기계학습된 제 2 이상 검출 기계학습모델을 포함할 수 있다. 의료 영상 분석 장치(200)는 선택된 메타데이터에 기초하여 의료 영상에 적용된 배율을 결정할 수 있다. 의료 영상 분석 장치(200)는 임계 배율 초과의 의료 영상에 대해서는 제 1 이상 검출 기계학습모델을 적용하고, 임계 배율 이하의 의료 영상에 대해서는 제 2 이상 검출 기계학습모델을 적용할 수 있다.
도 14의 조건(1450) 및 조건(1460)을 참조하면, 의료 영상 분석 장치(200)는 의료 영상의 처리 방법을 결정하기 위하여 다음과 같은 과정을 수행할 수 있다. 의료 영상 분석 장치(200)는 선택된 메타데이터에 포함된 영상의 회전에 관련된 정보에 기초하여, 의료 영상이 회전되었는지 여부를 결정하는 단계를 수행할 수 있다.
dcm.Laterality는 선택된 메타데이터에 포함된 정보로써, 의료 영상이 왼쪽 대상체에 대한 것인지 또는 오른쪽 대상체에 대한 것인지를 나타내는 정보일 수 있다. 예를 들어, 대상체가 유방인 경우, dcm.Laterality가 "L"이면 의료 영상에 왼쪽 유방이 나타나 있다는 것을 나타내고, dcm.Laterality가 "R"이면 의료 영상에 오른쪽 유방이 나타나 있다는 것을 나타낸다. 또한, dcm.ImageOrientationPatien는 선택된 메타데이터에 포함된 정보로써, 회전 정도를 나타내는 정보일 수 있다. 예를 들어, dcm.Laterality=='L' and dcm.ImageOrientationPatient[1] == -1 인 경우, 의료 영상에는 왼쪽 유방이 표시되어 있으며 회전되지 않았음을 나타낼 수 있다. 또한, dcm.Laterality=='R' and dcm.ImageOrientationPatient[1] == 1인 경우, 의료 영상에는 오른쪽 유방이 표시되어 있으며, 회전되지 않았음을 나타낼 수 있다. 또한, 도 14에 나타난 바와 같이, dcm.Laterality == 'L' and dcm.ImageOrientationPatient[1] == 1인 경우, 의료 영상에는 왼쪽 유방이 표시되어 있으며 180도 회전되어 있음을 나타낼 수 있다. 또한, dcm.Laterality=='R' and dcm.ImageOrientationPatient[1] == -1인 경우, 의료 영상에는 오른쪽 유방이 표시되어 있으며, 180도 회전되어 있음을 나타낼 수 있다.
도 14에서는 회전에 관련된 정보에 대한 한 예시로써, dcm.Laterality 및 dcm.ImageOrientationPatient 와 같이 기재되어 있으나, 회전에 관련된 정보는 다른 변수로 표현될 수 있다.
이상에서 설명한 바와 같이 의료 영상 분석 장치(200)는 의료 영상(910)이 회전되었는지 여부를 결정할 수 있다. 의료 영상 분석 장치(200)는 회전되지 않은 의료 영상을 이상 검출 기계학습모델에 적용하는 단계를 수행할 수 있다. 또한, 의료 영상 분석 장치(200)는 회전된 의료 영상을 이상 검출 기계학습모델에 적용하지 않는 단계를 수행할 수 있다.
이상 검출 기계학습모델은 회전되지 않은 의료 영상을 이용하여 기계학습된 모델일 수 있다. 즉, 이상 검출 기계학습모델은 회전되지 않은 의료 영상을 정확하게 분석할 수 있고, 회전된 의료 영상을 정확하게 분석하지 못할 수 있다. 따라서 의료 영상 분석 장치(200)는 회전된 의료 영상에 이상 검출 기계학습모델을 적용하지 않을 수 있다.
여기서 적용하지 않는다는 것은 회전되지 않은 의료 영상에 대응하는 기계학습모델을 회전된 영상에 적용하지 않는다는 것일 뿐, 회전된 의료 영상을 기계학습한 기계학습모델은 회전된 의료 영상에 적용될 수 있다.
의료 영상 분석 장치(200)는 복수의 이상 검출 기계학습모델 중 선택된 메타데이터에 대응하는 이상 검출 기계학습모델을 선택할 수 있다. 예를 들어, 의료 영상 분석 장치(200)는 회전된 복수의 의료 영상에 기초하여 기계학습된 제 1 이상 검출 기계학습모델 및 회전되지 않은 복수의 의료 영상에 기초하여 기계학습된 제 2 이상 검출 기계학습모델을 포함할 수 있다. 의료 영상 분석 장치(200)는 선택된 메타데이터에 기초하여 의료 영상이 회전되었는지 여부를 결정할 수 있다. 의료 영상 분석 장치(200)는 회전된 의료 영상에 대해서는 제 1 이상 검출 기계학습모델을 적용하고, 회전되지 않은 의료 영상에 대해서는 제 2 이상 검출 기계학습모델을 적용할 수 있다.
또한 의료 영상 분석 장치(200)는 회전된 의료 영상에 이상 검출 기계학습모델을 적용하지 않는 것이 아니라, 의료 영상을 변환하여 이상 검출 기계학습모델에 적용할 수 있다. 즉, 의료 영상 분석 장치(200)는 의료 영상이 회전된 경우, 의료 영상을 회전되지 않은 상태로 변환하는 단계를 수행할 수 있다. 이미 설명한 바와 같이 의료 영상 분석 장치(200)는 회전에 관련된 정보에 기초하여 영상이 회전된 정도를 획득할 수 있다. 의료 영상 분석 장치(200)는 의료 영상을 회전 되지 않은 상태로 변환할 수 있다. 또한, 의료 영상 분석 장치(200)는 변환된 의료 영상을 이상 검출 기계학습모델에 적용하는 단계를 수행할 수 있다.
도 14의 조건(1470)을 참조하면, 의료 영상 분석 장치(200)는 의료 영상의 처리 방법을 결정하기 위하여 다음과 같은 과정을 수행할 수 있다. 의료 영상 분석 장치(200)는 선택된 메타데이터에 포함된 인공물 존재 여부에 대한 정보에 기초하여, 의료 영상에 인공물이 존재하는 여부를 결정하는 단계를 수행할 수 있다.
dcm.BreastImplantPresent은 선택된 메타데이터에 포함된 인공물 존재 여부에 대한 정보일 수 있다. 도 14에서는, 인공물 존재 여부에 대한 정보에 대한 한 예시로써, dcm.BreastImplantPresent와 같이 기재되어 있으나, 인공물 존재 여부에 대한 정보는 다른 변수로 표현될 수 있다.
의료 영상 분석 장치(200)는 의료 영상에 인공물이 존재하지 않는 경우, 의료 영상을 이상 검출 기계학습모델에 적용하는 단계를 수행할 수 있다. 또한, 의료 영상 분석 장치(200)는 의료 영상에 인공물이 존재하는 경우, 의료 영상을 이상 검출 기계학습모델에 적용하지 않는 단계를 수행할 수 있다.
이상 검출 기계학습모델은 인공물이 존재하지 않는 의료 영상을 이용하여 기계학습된 모델일 수 있다. 즉, 이상 검출 기계학습모델은 인공물이 존재하지 않는 의료 영상을 정확하게 분석할 수 있고, 인공물이 존재하는 의료 영상을 정확하게 분석하지 못할 수 있다. 따라서 의료 영상 분석 장치(200)는 인공물이 존재하는 의료 영상에 이상 검출 기계학습모델을 적용하지 않을 수 있다.
여기서 적용하지 않는 다는 것은 인공물이 존재하지 않는 의료 영상에 대응하는 기계학습모델을 인공물이 존재하는 의료 영상에 적용하지 않는다는 것일 뿐, 인공물이 존재하는 의료 영상에 대응하는 기계학습모델은 인공물이 존재하는 의료 영상에 적용될 수 있다.
의료 영상 분석 장치(200)는 복수의 이상 검출 기계학습모델 중 선택된 메타데이터에 대응하는 이상 검출 기계학습모델을 선택할 수 있다. 예를 들어, 의료 영상 분석 장치(200)는 인공물이 존재하는 복수의 의료 영상에 기초하여 기계학습된 제 1 이상 검출 기계학습모델 및 인공물이 존재하지 않는 복수의 의료 영상에 기초하여 기계학습된 제 2 이상 검출 기계학습모델을 포함할 수 있다. 의료 영상 분석 장치(200)는 선택된 메타데이터에 기초하여 의료 영상에 인공물이 존재하는지 여부를 결정할 수 있다. 의료 영상 분석 장치(200)는 인공물이 존재하는 의료 영상에 대해서는 제 1 이상 검출 기계학습모델을 적용하고, 인공물이 존재하지 않는 의료 영상에 대해서는 제 2 이상 검출 기계학습모델을 적용할 수 있다.
도 14에 기재되어 있지 않으나, 기계학습모델은 선택된 메타데이터에 포함된 다양한 정보에 기초하여 의료 영상(910)의 처리 방법을 결정할 수 있다.
예를 들어 의료 영상 분석 장치(200)는 선택된 메타데이터에 포함된 환자의 나이에 기초하여 의료 영상(910)의 처리 방법을 결정할 수 있다.
의료 영상 분석 장치(200)는 의료 영상의 처리 방법을 결정하기 위하여 다음과 같은 과정을 수행할 수 있다. 의료 영상 분석 장치(200)는 선택된 메타데이터에 포함된 환자의 나이 정보가 임계 나이 이상인지 여부를 결정할 수 있다.
여기서 선택된 메타데이터에 포함된 환자의 나이 정보는 실제 환자의 나이정보일 수도 있지만 이에 한정되는 것은 아니다. 환자의 나이 정보는 실제 환자의 나이에 대한 정보가 아닐 수 있고, 신체 부위의 발달 유무에 대한 정보일 수 있다. 예를 들어, 이상 검출 기계학습모델은 임계 나이 이상의 사람에게 발현되는 신체 부위에 대해 이상을 검출할 수 있다. 통계적으로 임계 나이 미만의 사람에게는 해당 신체 부위가 발달되지 않으므로 이상 검출 기계학습모델은 이상을 검출하지 못할 수 있다. 따라서 의료 영상 분석 장치(200)는 해당 신체 부위가 발달되어 있는지 여부에 대한 정보를 선택된 메타데이터에 기초하여 획득할 수 있다. 해당 신체 부위가 발달되어 있는지 여부에 대한 정보의 한 예시로써, 환자의 나이가 사용될 수 있다. 하지만 해당 신체 부위가 발달되어 있는지 여부를 결정하기 위하여 나이 이외의 다양한 정보가 사용될 수 있다. 의료 영상 분석 장치(200)는 도 9 내지 도 10의 예측 모델을 사용하여 의료 영상으로부터 해당 신체 부위가 발달되어 있는지 여부를 결정할 수 있다. 또한 의료 영상 분석 장치(200)는 도 9 내지 도 10의 예측 모델을 사용하여 의료 영상으로부터 예측된 환자의 나이를 획득하고, 예측된 환자의 나이가 임계 나이 이상인지 여부를 결정할 수 있다.
임계 나이는 미리 정해진 값으로써, 의료 영상 분석 장치(200)는 임계 나이를 저장하고 있을 수 있다. 임계 나이는 사용자에 의하여 수정될 수 있다. 임계 나이는 이상 검출 기계학습모델의 목표 병변에 따라 다르게 설정될 수 있다. 임계 나이는 예를 들어 15세 일 수 있다. 또한 임계 나이는 기계학습모델의 학습에 따라 가변될 수도 있다.
의료 영상 분석 장치(200)는 선택된 메타데이터에 포함된 환자의 나이 정보가 임계 나이 이상인 경우, 의료 영상을 이상 검출 기계학습모델에 적용하는 단계를 수행할 수 있다. 또한, 의료 영상 분석 장치(200)는 선택된 메타데이터에 포함된 환자의 나이 정보가 임계 나이 미만인 경우, 의료 영상을 이상 검출 기계학습모델에 적용하지 않는 단계를 수행할 수 있다.
이상 검출 기계학습모델은 임계 나이 이상의 환자에 대한 의료 영상을 이용하여 기계학습된 모델일 수 있다. 즉, 이상 검출 기계학습모델은 임계 나이 이상의 환자에 대한 의료 영상을 정확하게 분석할 수 있고, 임계 나이 미만의 환자에 대한 의료 영상을 정확하게 분석하지 못할 수 있다. 따라서 의료 영상 분석 장치(200)는 임계 나이 미만의 환자에 대한 의료 영상에 이상 검출 기계학습모델을 적용하지 않을 수 있다.
여기서 적용하지 않는 다는 것은 임계 나이 이상의 환자의 의료 영상에 대응하는 기계학습모델을 임계 나이 미만의 환자의 의료 영상에 적용하지 않는다는 것일 뿐, 임계 나이 미만의 환자의 의료 영상을 기계학습한 기계학습모델은 임계 나이 미만의 환자의 의료 영상에 적용될 수 있다.
의료 영상 분석 장치(200)는 복수의 이상 검출 기계학습모델 중 선택된 메타데이터에 대응하는 이상 검출 기계학습모델을 선택할 수 있다. 예를 들어, 의료 영상 분석 장치(200)는 임계 나이 미만의 환자의 복수의 의료 영상에 기초하여 기계학습된 제 1 이상 검출 기계학습모델 및 임계 나이 이상의 환자의 복수의 의료 영상에 기초하여 기계학습된 제 2 이상 검출 기계학습모델을 포함할 수 있다. 의료 영상 분석 장치(200)는 선택된 메타데이터에 기초하여 환자의 나이가 임계 나이 이상인지 여부를 결정할 수 있다. 의료 영상 분석 장치(200)는 임계 나이 미만의 환자의 의료 영상에 대해서는 제 1 이상 검출 기계학습모델을 적용하고, 임계 나이 이상의 환자의 의료 영상에 대해서는 제 2 이상 검출 기계학습모델을 적용할 수 있다.
또한, 의료 영상 분석 장치(200)는 선택된 메타데이터에 포함된 환자의 신체 부위 정보에 기초하여 의료 영상(910)의 처리 방법을 결정할 수 있다.
의료 영상 분석 장치(200)는 의료 영상의 처리 방법을 결정하기 위하여 다음과 같은 과정을 수행할 수 있다. 의료 영상 분석 장치(200)는 선택된 메타데이터에 포함된 환자의 신체 부위 정보가 미리 결정된 신체부위와 동일한지 여부를 결정할 수 있다. 여기서 환자의 신체 부위 정보는 예를 들어 DICOM 헤더의 BodyPartExamined일 수 있다.
의료 영상 분석 장치(200)는 미리 결정된 신체부위를 저장하고 있을 수 있다. 의료 영상 분석 장치(200)는 미리 결정된 신체부위를 사용자의 입력에 기초하여 설정할 수 있다. 또한 의료 영상 분석 장치(200)는 이상 검출 기계학습모델의 종류에 따라 미리 결정된 신체부위를 자동으로 설정할 수 있다. 예를 들어, 미리 결정된 신체부위는 가슴(chest) 또는 유방(breast)일 수 있다.
의료 영상 분석 장치(200)는 선택된 메타데이터에 포함된 환자의 신체 부위 정보가 미리 결정된 신체부위와 동일한 경우, 의료 영상을 이상 검출 기계학습모델에 적용하는 단계를 수행할 수 있다. 또한, 의료 영상 분석 장치(200)는 선택된 메타데이터에 포함된 환자의 신체 부위 정보가 미리 결정된 신체부위와 동일하지 않는 경우, 의료 영상을 이상 검출 기계학습모델에 적용하지 않는 단계를 수행할 수 있다.
이상 검출 기계학습모델은 미리 결정된 신체부위의 의료 영상을 이용하여 기계학습된 모델일 수 있다. 즉, 이상 검출 기계학습모델은 미리 결정된 신체부위의 의료 영상을 정확하게 분석할 수 있고, 미리 결정된 신체부위가 아닌 의료 영상을 정확하게 분석하지 못할 수 있다. 따라서 의료 영상 분석 장치(200)는 미리 결정된 신체부위가 아닌 의료 영상에 이상 검출 기계학습모델을 적용하지 않을 수 있다.
여기서 적용하지 않는다는 것은 미리 결정된 신체부위의 의료 영상에 대응하는 기계학습모델을 미리 결정된 신체부위가 아닌 의료 영상에 적용하지 않는다는 것일 뿐, 미리 결정된 신체부위가 아닌 의료 영상에 대응하는 기계학습모델은 미리 결정된 신체부위가 아닌 의료 영상에 적용될 수 있다.
의료 영상 분석 장치(200)는 복수의 이상 검출 기계학습모델 중 선택된 메타데이터에 대응하는 이상 검출 기계학습모델을 선택할 수 있다. 예를 들어, 의료 영상 분석 장치(200)는 미리 결정된 신체부위가 아닌 복수의 의료 영상에 기초하여 기계학습된 제 1 이상 검출 기계학습모델을 포함할 수 있다. 예를 들어 제 1 이상 검출 기계학습모델은 무릎 또는 복부 중 하나에 대한 것일 수 있다. 또한, 의료 영상 분석 장치(200)는 미리 결정된 신체부위의 복수의 의료 영상에 기초하여 기계학습된 제 2 이상 검출 기계학습모델을 포함할 수 있다. 예를 들어 제 2 이상 검출 기계학습모델은 가슴 또는 유방 중 하나에 대한 것일 수 있다. 의료 영상 분석 장치(200)는 선택된 메타데이터에 기초하여 의료 영상에 나타난 신체 부위를 결정할 수 있다. 의료 영상 분석 장치(200)는 미리 결정된 신체부위가 아닌 의료 영상에 대해서는 제 1 이상 검출 기계학습모델을 적용하고, 미리 결정된 신체부위의 의료 영상에 대해서는 제 2 이상 검출 기계학습모델을 적용할 수 있다.
또한, 의료 영상 분석 장치(200)는 선택된 메타데이터에 기초하여 제 2 임계 신뢰도를 결정하는 단계를 수행할 수 있다. 의료 영상 분석 장치(200)는 의료 영상을 이상 검출 기계학습모델에 적용하여, 분석 결과 및 분석 결과에 대한 신뢰도 중 적어도 하나를 획득하는 단계를 수행할 수 있다. 의료 영상 분석 장치(200)는 분석 결과에 대한 신뢰도가 제 2 임계 신뢰도 이상인 경우, 분석 결과를 이상 검출 기계학습모델의 최종 결과에 포함시키는 단계를 수행할 수 있다.
도 15는 본 개시의 일 실시예에 따른 의료 영상 분석 장치의 동작을 설명하기 위한 흐름도이다.
도 14의 조건(1410)을 참조하면, 의료 영상 분석 장치(200)는 의료 영상의 처리 방법을 결정하기 위하여 다음과 같은 과정을 수행할 수 있다.
의료 영상 분석 장치(200)는 선택된 메타데이터에 기초하여 이상 검출 기계학습모델에 대한 기준값을 결정하는 단계(1510)를 수행할 수 있다. 기준값은 선택된 메타데이터에 기초하여 달라질 수 있다. 의료 영상 분석 장치(200)는 미리 저장되어 있는 데이터베이스에 기초하여 선택된 메타데이터에 대응하는 기준값을 선택할 수 있다. 또한 의료 영상 분석 장치(200)는 미리 결정된 함수에 기초하여 선택된 메타데이터에 대응하는 기준값을 결정할 수 있다. 기준값은 이상 검출 기계학습장치가 출력하는 결과 정보와 비교되기 위한 값일 수 있다.
의료 영상 분석 장치(200)는 기준값을 결정하기 위하여 기준값 예측모델을 이용할 수 있다. 기준값 예측모델은 도 1에서 설명한 기계학습모델에 대응될 수 있다. 기준값 예측모델의 생성과 사용은 도 6 또는 도 8의 설명과 유사하므로 중복되는 설명은 생략한다. 기준값 예측모델의 목표 태스크는 선택된 메타데이터에 대응하는 기준값을 결정하는 것일 수 있다. 선택된 메타데이터에 포함된 적어도 하나의 정보가 기준값 예측모델에 적용되어 기준값이 자동으로 생성될 수 있다. 보다 구체적으로 선택된 메타데이터는 의료 영상에 포함된 객체에 관련된 정보, 의료 영상의 촬영 환경에 대한 정보, 의료 영상의 종류에 대한 정보, 및 의료 영상의 표시 방법과 관련된 정보 중 적어도 하나를 포함할 수 있다. 이러한 정보들이 기준값 예측모델에 입력될 수 있으며, 이에 대응하여 기준값 예측모델은 예측된 기준값을 생성할 수 있다.
의료 영상 분석 장치(200)는 의료 영상을 이상 검출 기계학습모델에 적용하여, 결과 정보를 획득하는 단계를 수행할 수 있다. 이상 검출 기계학습모델은 결과 정보를 출력할 수 있다. 결과 정보는 의료 영상에 포함된 적어도 하나의 병변에 관련된 정보일 수 있다. 결과 정보는 의료 영상(910)에 특정 병변이 존재하는지 여부와 관련된 정보일 수 있다. 결과 정보는 수치로 나타날 수 있다. 결과 정보는 커질 수록 의료 영상(910)에 특정 병변이 존재할 가능성이 높음을 나타낼 수 있다. 의료 영상 분석 장치(200)는 결과 정보를 기준값과 비교하여, 결과 정보가 기준값보다 큰 경우, 의료 영상(910)에 특정 병변이 존재한다고 결정할 수 있다. 또한 의료 영상 분석 장치(200)는 결과 정보가 기준값보다 작은 경우, 의료 영상(910)에 특정 병변이 존재하지 않는다고 결정할 수 있다. 여기서 특정 병변이 존재하는지 여부에 대한 정보가 최종 결과 정보일 수 있다. 또한 최종 결과 정보가 예측된 레이블 정보일 수 있다.
하지만 이에 한정되는 것은 아니며 결과 정보는 병변의 명칭, 병변의 위치 또는 병변의 심각성 중 적어도 하나와 관련된 정보를 포함할 수 있다.
결과 정보는 병변에 관련된 정보로써, 인덱스일 수 있으며, 숫자로 표현될 수 있다. 결과 정보가 수치로 표현되는 이유는 이하와 같다. 이상 검출 기계학습모델은 컴퓨터 장치에서 수행되며, 컴퓨터 장치가 문자 자체를 기계학습하기는 난이도가 높다. 따라서 이상 검출 기계학습모델은 인덱스로 표현된 병변과 관련된 정보를 이용하여 기계학습을 수행할 수 있다. 즉, 이미 설명한 실제(ground truth) 레이블 정보는 인덱스로 표현된 병변과 관련된 정보일 수 있다. 인덱스는 불리언(Boolean) 또는 숫자일 수 있다. 이상 검출 기계학습모델은 이진 분류를 수행할 수 있다. 예를 들어 특정 병변이 있음을 나타내는 경우 인덱스는 "1" 또는 "true"일 수 있으며, 특정 병변이 없음을 나타내는 경우 인덱스는 "0" 또는 "false"일 수 있다. 또한 이상 검출 기계학습모델은 다중 분류를 수행할 수 있다. 예를 들어, 이상 검출 기계학습모델은 의료 영상을 3개 이상의 클래스 중 하나로 분류할 수 있다. 예를 들어, 복수의 병변을 판별하는 이상 검출 기계학습모델에서 인덱스 "0"은 제 1 병변을 나타내고, 인덱스 "1"은 제 2 병변을 나타내고, 인덱스 "n"은 제 n+1 병변을 나타낼 수 있다. 여기서 n은 정수일 수 있다. 하지만 이에 한정되는 것은 아니며 인덱스는 실수일 수 있다. 또한 인덱스를 표현하기 위하여 2진수, 10진수 또는 16진수 등이 사용될 수 있다.
이와 같이 이상 검출 기계학습모델이 인덱스로 표현된 병변과 관련된 정보를 기계학습하므로, 이상 검출 기계학습모델이 출력한 결과 정보는 숫자로 표현될 수 있다. 결과 정보는 양수, 음수를 포함하는 실수값일 수 있으며 이에 한정되는 것은 아니다. 결과 정보는 기준값과 비교 가능할 수 있다. 결과 정보는 의료 영상이 특정 클래스로 분류될 가능성을 나타내는 정보 일 수 있다. 예를 들어 결과 정보가 높을 수록 제 1 클래스로 분류될 가능성이 높음을 나타낼 수 있다. 하지만 이에 한정되는 것은 아니며 결과 정보가 낮을 수록 제 1 클래스로 분류될 가능성이 높음을 나타낼 수 있다.
의료 영상 분석 장치(200)는 결과 정보를 기준값과 비교하여 최종 결과 정보를 획득하는 단계(1520)를 수행할 수 있다. 최종 결과 정보는 의료 영상을 분류한 결과를 나타낼 수 있다. 최종 결과 정보는 복수의 클래스 중 하나일 수 있다. 보다 구체적으로, 이상 검출 기계학습모델의 목표 태스크가 특정 병변이 의료 영상에 존재하는지 여부를 결정하기 위한 것이라면, 의료 영상 분석 장치(200)는 결과 정보가 기준값 이상인 경우, 최종 결과 정보는 특정 병변이 의료 영상에 존재함을 나타낼 수 있다. 또한 결과 정보가 기준값 미만인 경우, 최종 결과 정보는 특정 병변이 의료 영상에 존재하지 않음을 나타낼 수 있다. 하지만 이에 한정되는 것은 아니며, 의료 영상 분석 장치(200)는 결과 정보가 기준값 미만인 경우, 최종 결과 정보는 특정 병변이 의료 영상에 존재함을 나타낼 수 있다. 또한 결과 정보가 기준값 이상인 경우, 최종 결과 정보는 특정 병변이 의료 영상에 존재하지 않음을 나타낼 수 있다.
의료 영상 분석 장치(200)는 최종 결과 정보를 표시할 수 있다. 사용자는 의료 영상 분석 장치(200)에 표시된 최종 결과에 기초하여 진단을 할 수 있다.
이하에서는 도 15와 관련된 구체적인 예에 대하여 설명한다. 의료 영상 분석 장치(200)는 의료 영상(910)의 선택된 메타데이터에 기초하여 뷰에 대한 정보를 획득할 수 있다. 의료 영상(910)은 X-ray 영상일 수 있다. 또한 뷰에 대한 정보는 PA 뷰, AP뷰, lateral 뷰, AP erect 뷰, supine 뷰, lordotic 뷰, lateral decubitus 뷰, expiratory chest radiograph 뷰, sternum lateral 뷰, sternum oblique 뷰, ribs AP 뷰, ribs PA 뷰 또는 ribs oblique 뷰 중 적어도 하나를 포함할 수 있다.
의료 영상 분석 장치(200)는 선택된 메타데이터에 기초하여 기준값을 결정할 수 있다. 의료 영상 분석 장치(200)는 선택된 메타데이터에 포함된 뷰에 대한 정보가 AP 뷰인 경우, 기준값을 제 1 값으로 설정하고, PA 뷰인 경우 기준값을 제 2 값으로 설정할 수 있다.
의료 영상 분석 장치(100)는 의료 영상(910)을 이상 검출 기계학습모델에 적용하여 결과 정보를 획득할 수 있다. 본 단락에서 이상 검출 기계학습모델은 의료 영상(910)으로부터 특정 병변, 예를 들면, Consolidation이 존재하는지 여부 또는 Mediastinal Widening가 존재하는지 여부를 결정하기 위한 인공지능 모델일 수 있다. 의료 영상 분석 장치(200)는 의료 영상이 PA뷰 인지 AP뷰 인지에 상관없이 동일한 이상 검출 기계학습모델을 의료 영상(910)에 적용할 수 있다. 하지만 이에 한정되는 것은 아니며, 의료 영상 분석 장치(200)는 의료 영상(910)이 PA뷰 인지 AP뷰 인지에 기초하여 이상 검출 기계학습모델을 선택하여 의료 영상(910)에 적용할 수 있다.
이미 설명한 바와 같이 결과 정보는 Consolidation 또는 Mediastinal Widening가 의료 영상에 존재하는지 여부에 관련되고 숫자로 나타날 수 있다. 또한 결과 정보는 커질 수록 의료 영상(910)에 특정 병변이 존재할 가능성이 높음을 나타낼 수 있다.
의료 영상 분석 장치(200)는 결과 정보와 기준값을 비교하여 최종 결과 정보를 획득할 수 있다. 의료 영상 분석 장치(200)는 결과 정보가 기준값 이상인 경우, 최종 결과 정보는 의료 영상에 Consolidation 또는 Mediastinal Widening가 존재함을 나타낼 수 있다. 또한, 의료 영상 분석 장치(200)는 결과 정보가 기준값 미만인 경우, 최종 결과 정보는 의료 영상에 Consolidation 또는 Mediastinal Widening가 존재하지 않음을 나타낼 수 있다.
다만, 이에 한정되는 것은 아니며, 결과 정보는 작아질 수록 의료 영상(910)에 특정 병변이 존재할 가능성이 높음을 나타낼 수 있다. 의료 영상 분석 장치(200)는 결과 정보가 기준값 이상인 경우, 최종 결과 정보는 의료 영상에 Consolidation 또는 Mediastinal Widening가 존재하지 않음을 나타낼 수 있다. 또한, 의료 영상 분석 장치(200)는 결과 정보가 기준값 미만인 경우, 최종 결과 정보는 의료 영상에 Consolidation 또는 Mediastinal Widening가 존재함을 나타낼 수 있다.
AP 뷰와 PA 뷰는 서로 다른 특징을 가질 수 있다. 예를 들어, 심장은 인체의 앞쪽이 위치해 있으므로 AP뷰는 심장을 상대적으로 잘 보이게 할 수 있다. 본 개시에 따른 이상 검출 기계학습모델은 PA뷰인지 AP뷰인지 여부에 따라 기준값을 결정하므로, AP뷰와 PA뷰의 특성을 반영하여 최종 결과 정보를 도출할 수 있다. 따라서 이상 검출 기계학습모델은 병변 검출을 정확하게 할 수 있다. 또한 이상 검출 기계학습모델은 긍정오류(False-positive) 또는 부정오류(False-negative)를 줄일 수 있다.
위에서는 선택된 메타데이터에 기초하여 기준값이 달라지고, 병변의 종류에 관계없이 기준값이 동일한 구성에 대하여 설명하였다. 하지만 이에 한정되는 것은 아니며 기준값은 병변 별로 다를 수 있다. 의료 영상 분석 장치(200)는 병변의 종류에 기초하여 기준값을 결정할 수 있다. 예를 들어, Consolidation에 대한 기준값은 Mediastinal Widening에 대한 기준값과 다를 수 있다. 의료 영상 분석 장치(200)는 Consolidation의 존재 여부에 대한 결과 정보를 Consolidation에 대한 기준값과 비교할 수 있다. 또한 의료 영상 분석 장치(200)는 Mediastinal Widening에 대한 결과 정보를 Mediastinal Widening에 대한 기준값과 비교할 수 있다.
또한 위에서는 Consolidation 또는 Mediastinal Widening를 예시로 설명하였으나 이에 한정되는 것은 아니다. 의료 영상 분석 장치(200)는 다른 병변에 대해서도 유사한 방법을 적용하여 기준값을 결정하고 기준값에 기초하여 최종 결과 정보를 생성할 수 있다.
이제까지 다양한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.

Claims (22)

  1. 하드웨어인 프로세서 및 메모리를 이용하여 의료 영상을 분석하기 위한 방법에 있어서,
    예측 모델을 이용하여, 의료 영상에 대한 예측된 제2 메타데이터를 생성하는 단계;
    상기 의료 영상에 대응하여 저장된 제1 메타데이터 및 상기 제2 메타데이터 중 하나에 기초하여 상기 의료 영상의 처리 방법을 결정하는 단계;
    를 포함하는 의료 영상 분석 방법.
  2. 제 1 항에 있어서,
    상기 의료 영상의 처리 방법을 결정하는 단계는,
    상기 제2 메타데이터에 대한 신뢰도를 기초로, 상기 제1 메타데이터 및 상기 제2 메타데이터 중 하나를 선택하는 단계; 및
    상기 선택된 메타데이터에 기초하여 상기 의료 영상의 처리 방법을 결정하는 단계;
    를 포함하는 의료 영상 분석 방법.
  3. 제 2 항에 있어서,
    상기 제1 메타데이터 및 상기 제2 메타데이터 중 하나를 선택하는 단계는,
    상기 제2 메타데이터의 상기 신뢰도가 기준 이상인 경우, 상기 제2 메타데이터를 선택하는 단계; 및
    상기 제2 메타데이터의 상기 신뢰도가 상기 기준 미만인 경우, 상기 제1 메타데이터를 선택하는 단계;
    를 포함하는 의료 영상 분석 방법.
  4. 제 1 항에 있어서,
    상기 의료 영상의 처리 방법을 결정하는 단계는,
    상기 제1 메타데이터가 상기 처리 방법과 관련된 적어도 하나의 항목과 관련된 정보를 가지고 있지 않는 경우, 상기 제2 메타데이터를 기초로 상기 의료 영상의 처리 방법을 결정하는 단계;
    를 포함하는 의료 영상 분석 방법.
  5. 제 2 항에 있어서,
    상기 의료 영상의 처리 방법을 결정하는 단계는,
    상기 선택된 메타데이터가 미리 정해진 조건을 만족하는 경우, 상기 의료 영상을 이상 검출 기계학습모델에 적용하는 단계;
    를 포함하는 의료 영상 분석 방법.
  6. 제 2 항에 있어서,
    상기 의료 영상의 처리 방법을 결정하는 단계는,
    상기 선택된 메타데이터에 포함된 적어도 하나의 항목과 관련된 정보가 미리 정해진 조건을 만족하지 않으면, 상기 의료 영상을 이상 검출 기계학습모델에 적용하지 않는 단계;
    를 포함하는 의료 영상 분석 방법.
  7. 제 2 항에 있어서,
    상기 의료 영상의 처리 방법을 결정하는 단계는,
    선택된 메타데이터에 기초하여 이상 검출 기계학습모델의 판단과 관련된 기준값을 결정하는 단계;
    상기 의료 영상을 상기 이상 검출 기계학습모델에 적용하여 결과 정보를 획득하는 단계; 및
    상기 기준값을 상기 결과 정보와 비교하여 최종 결과 정보를 획득하는 단계;
    를 포함하는 의료 영상 분석 방법.
  8. 제 2 항에 있어서,
    상기 의료 영상의 처리 방법을 결정하는 단계는,
    복수의 이상 검출 기계학습모델 중 상기 선택된 메타데이터에 대응하는 이상 검출 기계학습모델을 선택하는 단계; 및
    상기 의료 영상을 상기 선택된 이상 검출 기계학습모델에 적용하는 단계;
    를 포함하는 의료 영상 분석 방법.
  9. 제 5 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 선택된 메타데이터에 포함된 적어도 하나의 항목과 관련된 정보는 스팟 컴프레션 사용 여부에 관련된 정보, 표시 의도 타입에 대한 정보, 뷰에 대한 정보, 배율 정보, 영상 회전에 관련된 정보, 인공물 존재 여부에 대한 정보, 환자의 나이 정보 또는 환자의 신체 부위 정보 중 하나를 포함하는 의료 영상 분석 방법.
  10. 제 1 항에 있어서,
    상기 예측 모델은 의료 영상으로부터 의료 영상에 대응되는 메타데이터를 예측하기 위한 기계학습모델인 의료 영상 분석 방법.
  11. 제1항에 있어서,
    상기 제1 메타데이터 및 상기 제2 메타데이터 중 적어도 하나는,
    상기 의료 영상에 포함된 객체에 관련된 정보, 상기 의료 영상의 촬영 환경에 대한 정보, 상기 의료 영상의 종류에 대한 정보, 및 상기 의료 영상의 표시 방법과 관련된 정보 중 적어도 하나를 포함하는 의료 영상 분석 방법.
  12. 의료 영상 분석 장치는 프로세서 및 메모리를 포함하고,
    상기 프로세서는 상기 메모리에 저장된 명령어에 기초하여,
    예측 모델을 이용하여, 의료 영상에 대한 예측된 제2 메타데이터를 생성하고,
    상기 의료 영상에 대응하여 저장된 제1 메타데이터 및 상기 제2 메타데이터 중 하나에 기초하여 상기 의료 영상의 처리 방법을 결정하는 의료 영상 분석 장치.
  13. 제 12 항에 있어서,
    상기 프로세서는 상기 메모리에 저장된 명령어에 기초하여,
    상기 제2 메타데이터에 대한 신뢰도를 기초로, 상기 제1 메타데이터 및 상기 제2 메타데이터 중 하나를 선택하고,
    상기 선택된 메타데이터에 기초하여 상기 의료 영상의 처리 방법을 결정하는 의료 영상 분석 장치.
  14. 제 13 항에 있어서,
    상기 프로세서는 상기 메모리에 저장된 명령어에 기초하여,
    상기 제2 메타데이터의 상기 신뢰도가 기준 이상인 경우, 상기 제2 메타데이터를 선택하고,
    상기 제2 메타데이터의 상기 신뢰도가 상기 기준 미만인 경우, 상기 제1 메타데이터를 선택하는 의료 영상 분석 장치.
  15. 제 12 항에 있어서,
    상기 프로세서는 상기 메모리에 저장된 명령어에 기초하여,
    상기 제1 메타데이터가 상기 처리 방법과 관련된 적어도 하나의 항목과 관련된 정보를 가지고 있지 않는 경우, 상기 제2 메타데이터를 기초로 상기 의료 영상의 처리 방법을 결정하는 의료 영상 분석 장치.
  16. 제 13 항에 있어서,
    상기 프로세서는 상기 메모리에 저장된 명령어에 기초하여,
    상기 선택된 메타데이터가 미리 정해진 조건을 만족하는 경우, 상기 의료 영상을 이상 검출 기계학습모델에 적용하는 의료 영상 분석 장치.
  17. 제 13 항에 있어서,
    상기 프로세서는 상기 메모리에 저장된 명령어에 기초하여,
    상기 선택된 메타데이터에 포함된 적어도 하나의 항목과 관련된 정보가 미리 정해진 조건을 만족하지 않으면, 상기 의료 영상을 이상 검출 기계학습모델에 적용하지 않는 의료 영상 분석 장치.
  18. 제 13 항에 있어서,
    상기 프로세서는 상기 메모리에 저장된 명령어에 기초하여,
    선택된 메타데이터에 기초하여 이상 검출 기계학습모델의 판단과 관련된 기준값을 결정하고,
    상기 의료 영상을 상기 이상 검출 기계학습모델에 적용하여 결과 정보를 획득하고,
    상기 기준값을 상기 결과 정보와 비교하여 최종 결과 정보를 획득하는 의료 영상 분석 장치.
  19. 제 13 항에 있어서,
    상기 프로세서는 상기 메모리에 저장된 명령어에 기초하여,
    복수의 이상 검출 기계학습모델 중 상기 선택된 메타데이터에 대응하는 이상 검출 기계학습모델을 선택하고,
    상기 의료 영상을 상기 선택된 이상 검출 기계학습모델에 적용하는 의료 영상 분석 장치.
  20. 제 16 항 내지 제 19 항 중 어느 한 항에 있어서,
    상기 선택된 메타데이터에 포함된 적어도 하나의 항목과 관련된 정보는 스팟 컴프레션 사용 여부에 관련된 정보, 표시 의도 타입에 대한 정보, 뷰에 대한 정보, 배율 정보, 영상 회전에 관련된 정보, 인공물 존재 여부에 대한 정보, 환자의 나이 정보 또는 환자의 신체 부위 정보 중 하나를 포함하는 의료 영상 분석 장치.
  21. 제 12 항에 있어서,
    상기 예측 모델은 의료 영상으로부터 의료 영상에 대응되는 메타데이터를 예측하기 위한 기계학습모델인 의료 영상 분석 장치.
  22. 제 12 항에 있어서,
    상기 제1 메타데이터 및 상기 제2 메타데이터 중 적어도 하나는,
    상기 의료 영상에 포함된 객체에 관련된 정보, 상기 의료 영상의 촬영 환경에 대한 정보 상기 의료 영상의 종류에 대한 정보, 및 상기 의료 영상의 표시 방법과 관련된 정보 중 적어도 하나를 포함하는 의료 영상 분석 장치.
PCT/KR2020/006712 2019-05-22 2020-05-22 예측된 메타데이터를 이용하여 의료 영상을 처리하는 장치 및 방법 WO2020235966A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20810680.7A EP3975197A4 (en) 2019-05-22 2020-05-22 DEVICE AND METHOD FOR PROCESSING A MEDICAL IMAGE USING PREDICTED METADATA
US17/426,336 US11978548B2 (en) 2019-05-22 2020-05-22 Apparatus and method for processing medical image using predicted metadata
US18/627,705 US20240249824A1 (en) 2019-05-22 2024-04-05 Apparatus and method for processing medical image using predicted metadata

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0059860 2019-05-22
KR1020190059860A KR102075293B1 (ko) 2019-05-22 2019-05-22 의료 영상의 메타데이터 예측 장치 및 방법

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/426,336 A-371-Of-International US11978548B2 (en) 2019-05-22 2020-05-22 Apparatus and method for processing medical image using predicted metadata
US18/627,705 Continuation US20240249824A1 (en) 2019-05-22 2024-04-05 Apparatus and method for processing medical image using predicted metadata

Publications (1)

Publication Number Publication Date
WO2020235966A1 true WO2020235966A1 (ko) 2020-11-26

Family

ID=69185503

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/006712 WO2020235966A1 (ko) 2019-05-22 2020-05-22 예측된 메타데이터를 이용하여 의료 영상을 처리하는 장치 및 방법

Country Status (6)

Country Link
US (5) US10824908B1 (ko)
EP (2) EP3742451B1 (ko)
JP (1) JP6895508B2 (ko)
KR (1) KR102075293B1 (ko)
CN (1) CN111986784B (ko)
WO (1) WO2020235966A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023126246A1 (en) * 2021-12-27 2023-07-06 Koninklijke Philips N.V. Screening for subtle condition sign detection

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6818424B2 (ja) * 2016-04-13 2021-01-20 キヤノン株式会社 診断支援装置、情報処理方法、診断支援システム及びプログラム
KR102075293B1 (ko) 2019-05-22 2020-02-07 주식회사 루닛 의료 영상의 메타데이터 예측 장치 및 방법
US20210366592A1 (en) * 2020-05-20 2021-11-25 Koninklijke Philips N.V. Real-time digital imaging and communication in medicine (dicom) label checker
CN113744117A (zh) * 2020-05-29 2021-12-03 Oppo广东移动通信有限公司 多媒体处理芯片、电子设备及动态图像处理方法
DE102020212205A1 (de) * 2020-09-28 2022-03-31 Siemens Healthcare Gmbh Individuelle Ermittlung der Brustkompression bei der Mammographie mit künstlicher Intelligenz
KR102457962B1 (ko) * 2020-10-30 2022-10-24 한국과학기술정보연구원 논문의 메타데이터 추출 방법 및 장치
KR102467096B1 (ko) * 2020-10-30 2022-11-15 한국과학기술정보연구원 논문 메타데이터 영역 분류 모델을 학습하기 위한 데이터셋의 검수 방법 및 장치
US20220208358A1 (en) * 2020-12-29 2022-06-30 Avicenna.Ai Systems, devices, and methods for rapid detection of medical conditions using machine learning
KR20220098312A (ko) * 2020-12-31 2022-07-12 센스타임 인터내셔널 피티이. 리미티드. 이미지 내 관련 대상 검출 방법, 장치, 디바이스 및 기록 매체
US20220358645A1 (en) * 2021-05-04 2022-11-10 Bsolutions, Inc. Systems and methods for developmental monitoring of children
CN118159832A (zh) * 2021-10-28 2024-06-07 松下知识产权经营株式会社 学习辅助系统、外观检查装置、外观检查用软件的更新装置及外观检查用模型的更新方法
EP4425155A1 (en) * 2021-10-28 2024-09-04 Panasonic Intellectual Property Management Co., Ltd. Annotation assistance system and training assistance system that is for model for inspecting appearance and that uses said annotation assistance system
EP4307243A1 (en) * 2022-07-11 2024-01-17 IB Lab GmbH Processing a medical image
KR20240068029A (ko) * 2022-11-08 2024-05-17 삼성전자주식회사 기계 학습 모델을 이용하여 영상을 획득하는 전자 장치 및 그 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013182444A (ja) * 2012-03-02 2013-09-12 Konica Minolta Inc 電子カルテ装置
KR20140042531A (ko) * 2012-09-28 2014-04-07 삼성전자주식회사 카테고리별 진단 모델을 이용한 병변 진단 장치 및 방법
KR20150087835A (ko) * 2014-01-15 2015-07-30 삼성전자주식회사 의료 영상 처리 장치 및 그에 따른 의료 영상 처리 방법
KR20180040287A (ko) * 2016-10-12 2018-04-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
KR20180061698A (ko) * 2016-11-30 2018-06-08 오스템임플란트 주식회사 의료영상 보정 방법, 이를 위한 장치, 및 이를 기록한 기록매체

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008011900A (ja) * 2006-07-03 2008-01-24 Fujifilm Corp 画像種類判別装置および方法並びにプログラム
US8687860B2 (en) 2009-11-24 2014-04-01 Penrad Technologies, Inc. Mammography statistical diagnostic profiler and prediction system
KR101860778B1 (ko) * 2011-08-24 2018-07-02 에스케이플래닛 주식회사 촬영 이미지 편집 방법 및 이에 적용되는 장치
JP2015043142A (ja) * 2013-08-26 2015-03-05 株式会社東芝 分散バックアップシステム
US20150278726A1 (en) 2014-03-31 2015-10-01 James Gelsin Marx Systems and methods for workflow processing
US11183293B2 (en) * 2014-11-07 2021-11-23 Koninklijke Philips N.V. Optimized anatomical structure of interest labelling
US10222942B1 (en) * 2015-01-22 2019-03-05 Clarifai, Inc. User interface for context labeling of multimedia items
JP2017118913A (ja) * 2015-12-28 2017-07-06 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム、並びに、サーバ、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
JP6812193B2 (ja) * 2016-10-07 2021-01-13 キヤノン株式会社 画像表示システム、画像表示方法、及びプログラム
US10275130B2 (en) 2017-05-12 2019-04-30 General Electric Company Facilitating transitioning between viewing native 2D and reconstructed 3D medical images
WO2018222755A1 (en) 2017-05-30 2018-12-06 Arterys Inc. Automated lesion detection, segmentation, and longitudinal identification
JP2019000444A (ja) * 2017-06-16 2019-01-10 株式会社ジェイマックシステム 医療診断支援装置、医療診断支援方法、医療診断支援プログラム、医療診断支援システム、複合医療診断支援方法および複合医療診断支援プログラム
US10949966B2 (en) * 2017-08-18 2021-03-16 Siemens Healthcare Gmbh Detecting and classifying medical images based on continuously-learning whole body landmarks detections
CN109589089A (zh) * 2017-09-30 2019-04-09 复旦大学 基于多模态影像数据的分析方法及其用途
US20190279082A1 (en) * 2018-03-07 2019-09-12 Movidius Ltd. Methods and apparatus to determine weights for use with convolutional neural networks
US10740866B2 (en) * 2018-06-26 2020-08-11 International Business Machines Corporation Determining appropriate medical image processing pipeline based on machine learning
US10824912B2 (en) * 2018-06-28 2020-11-03 General Electric Company Methods and apparatus to adapt medical image interfaces based on learning
US11151719B2 (en) 2018-12-19 2021-10-19 Caide Systems, Inc. Automatic brightness and contrast control neural network for medical diagnostic imaging
US11354351B2 (en) 2019-01-31 2022-06-07 Chooch Intelligence Technologies Co. Contextually generated perceptions
KR102075293B1 (ko) 2019-05-22 2020-02-07 주식회사 루닛 의료 영상의 메타데이터 예측 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013182444A (ja) * 2012-03-02 2013-09-12 Konica Minolta Inc 電子カルテ装置
KR20140042531A (ko) * 2012-09-28 2014-04-07 삼성전자주식회사 카테고리별 진단 모델을 이용한 병변 진단 장치 및 방법
KR20150087835A (ko) * 2014-01-15 2015-07-30 삼성전자주식회사 의료 영상 처리 장치 및 그에 따른 의료 영상 처리 방법
KR20180040287A (ko) * 2016-10-12 2018-04-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
KR20180061698A (ko) * 2016-11-30 2018-06-08 오스템임플란트 주식회사 의료영상 보정 방법, 이를 위한 장치, 및 이를 기록한 기록매체

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3975197A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023126246A1 (en) * 2021-12-27 2023-07-06 Koninklijke Philips N.V. Screening for subtle condition sign detection

Also Published As

Publication number Publication date
US10824908B1 (en) 2020-11-03
EP3742451B1 (en) 2023-07-19
CN111986784B (zh) 2021-11-09
US20220101984A1 (en) 2022-03-31
KR102075293B1 (ko) 2020-02-07
US20200372299A1 (en) 2020-11-26
JP2020191063A (ja) 2020-11-26
EP3975197A1 (en) 2022-03-30
US11978548B2 (en) 2024-05-07
JP6895508B2 (ja) 2021-06-30
EP3975197A4 (en) 2023-07-12
EP3742451A1 (en) 2020-11-25
US20210012160A1 (en) 2021-01-14
CN111986784A (zh) 2020-11-24
US20220269905A1 (en) 2022-08-25
US20240249824A1 (en) 2024-07-25

Similar Documents

Publication Publication Date Title
WO2020235966A1 (ko) 예측된 메타데이터를 이용하여 의료 영상을 처리하는 장치 및 방법
WO2020242239A1 (ko) 앙상블 학습 알고리즘을 이용한 인공지능 기반 진단 보조 시스템
WO2017142183A1 (ko) 영상처리장치, 영상처리방법 및 이를 기록한 기록매체
WO2020185003A1 (ko) 초음파 영상 표시 방법, 초음파 진단 장치 및 컴퓨터 프로그램 제품
WO2019039912A1 (ko) 진단 보조 시스템 및 그 제어 방법
WO2019083227A1 (en) MEDICAL IMAGE PROCESSING METHOD, AND MEDICAL IMAGE PROCESSING APPARATUS IMPLEMENTING THE METHOD
WO2019088555A1 (ko) 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법
WO2021006522A1 (ko) 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법
WO2021060899A1 (ko) 인공지능 모델을 사용 기관에 특화시키는 학습 방법, 이를 수행하는 장치
WO2016195417A1 (en) Apparatus and method of processing medical image
WO2015126217A2 (en) Diagnostic imaging method and apparatus, and recording medium thereof
WO2019164275A1 (ko) 수술도구 및 카메라의 위치 인식 방법 및 장치
WO2020105871A1 (ko) 전자 장치 및 그 제어 방법
WO2022220649A1 (ko) 심전도 이미지에 기반한 환자 평가 시스템 및 방법
WO2023182727A1 (en) Image verification method, diagnostic system performing same, and computer-readable recording medium having the method recorded thereon
WO2020076133A1 (ko) 암 영역 검출의 유효성 평가 장치
WO2021261808A1 (ko) 병변 판독 결과 표시 방법
WO2022050713A1 (ko) 흉부 이미지 판독 방법
WO2014200265A1 (en) Method and apparatus for providing medical information
WO2019194651A1 (ko) 전자 장치에서 생체 정보 측정 방법 및 장치
WO2021107471A1 (ko) 의료 데이터 검색 방법
WO2024039058A1 (ko) 피부 진단 장치, 이를 포함하는 피부 진단 시스템 및 그 방법
WO2020116878A1 (ko) 안저 사진을 이용한 뇌동맥류 예측 장치 및 뇌동맥류 예측 결과 제공 방법
WO2021091293A1 (ko) 의료 영상 출력 장치 및 이를 이용한 의료 영상 출력 방법
WO2023090819A1 (ko) 영상에서 인지적 노이즈를 제거하는 영상 처리 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20810680

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020810680

Country of ref document: EP

Effective date: 20211222