WO2020101428A1 - 병변 영역 검출 장치, 병변 영역 검출 방법 및 컴퓨터 프로그램 - Google Patents

병변 영역 검출 장치, 병변 영역 검출 방법 및 컴퓨터 프로그램 Download PDF

Info

Publication number
WO2020101428A1
WO2020101428A1 PCT/KR2019/015653 KR2019015653W WO2020101428A1 WO 2020101428 A1 WO2020101428 A1 WO 2020101428A1 KR 2019015653 W KR2019015653 W KR 2019015653W WO 2020101428 A1 WO2020101428 A1 WO 2020101428A1
Authority
WO
WIPO (PCT)
Prior art keywords
lesion
image
lesion area
diffusion
area detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2019/015653
Other languages
English (en)
French (fr)
Inventor
서우근
김윤철
이지은
송하나
성준경
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Life Public Welfare Foundation
Korea University Research and Business Foundation
Original Assignee
Samsung Life Public Welfare Foundation
Korea University Research and Business Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Life Public Welfare Foundation, Korea University Research and Business Foundation filed Critical Samsung Life Public Welfare Foundation
Publication of WO2020101428A1 publication Critical patent/WO2020101428A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T12/00—Tomographic reconstruction from projections
    • G06T12/10—Image preprocessing, e.g. calibration, positioning of sources or scatter correction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Definitions

  • the present disclosure relates to a lesion area detection apparatus, a lesion area detection method, and a computer program.
  • Magnetic resonance imaging (MRI) imaging device is a device that photographs an object using a magnetic field, and it shows the bone, as well as the disc, joints, nerve ligaments, heart, and cerebral blood vessels in three dimensions from the desired angle. It is widely used for diagnosis. Magnetic resonance imaging has the advantage of being able to obtain various contrast ratios by adjusting several parameters, and by using this, clinical diagnosis is performed by obtaining images of multiple contrast ratios for the same site.
  • Korean Patent Publication No. 2009-0075644 discloses a magnetic resonance imaging device that obtains a steady-state image of a patient by changing the spin phases of the patient's fat and moisture to generate a contrast ratio of the magnetic resonance image.
  • One embodiment of the present invention is to provide a lesion area detection apparatus, method, and computer program for detecting a lesion area using a weighted diffusion image and a diffusion coefficient image of an object.
  • a method for detecting a lesion region comprises: a lesion region detecting apparatus receiving a weighted diffusion image (DWI) and a diffusion coefficient image (ADC) of an object; Normalizing the weighted diffusion image by the lesion area detection apparatus; Normalizing the diffusion coefficient image by the lesion area detection apparatus; Extracting lesion regions from the weighted diffusion image and the diffusion coefficient image normalized by the lesion region detection apparatus using a lesion region detection model; And outputting one or more lesion areas extracted by the lesion area detection device.
  • DWI weighted diffusion image
  • ADC diffusion coefficient image
  • the lesion area detection model repeatedly receives pre-registered lesion masks corresponding to weighted diffusion images and diffusion coefficient images, and among the weighted diffusion images and input data extracted from the diffusion coefficient images, a lesion mask It can be characterized by selecting the data to be the basis for detecting them and learning based on the selected data.
  • the lesion area detection model may be characterized in that it is changed to another lesion area detection model when it is determined that the predetermined evaluation criteria are not satisfied in comparison with a previously registered lesion mask.
  • the lesion area detection model is characterized by receiving the transformed spreading coefficient images and weighted spreading images through a process of standardizing spreading coefficient images using a preset threshold and a standard deviation of spreading coefficients of each pixel. can do.
  • a data receiving unit for receiving a weighted diffusion image (DWI) and a diffusion coefficient image (ADC) of an object by the lesion area detection apparatus according to an embodiment of the present invention;
  • a pre-processing unit to normalize the weighted diffusion image and the diffusion coefficient image;
  • a lesion region detection unit for extracting lesion regions from the weighted diffusion image and the diffusion coefficient image normalized using a lesion region detection model;
  • an input / output unit outputting the extracted one or more lesion regions.
  • a computer program according to an embodiment of the present invention may be stored in a medium to execute any one of the methods of detecting a lesion area according to an embodiment of the present invention using a computer.
  • a lesion region of an object may be automatically detected through a lesion region detection model trained using a weighted diffusion image and a diffusion coefficient image.
  • FIG. 1 is a block diagram of a lesion area detection system according to embodiments of the present invention.
  • FIG. 2 is a block diagram of an apparatus for detecting a lesion area according to embodiments of the present invention
  • FIG. 3 is a view for explaining a structure of a storage unit of the apparatus for detecting a lesion area.
  • FIG. 4 is a block diagram of a learning model unit.
  • 5 and 6 are flowcharts of a method for detecting a lesion area according to embodiments of the present invention.
  • FIG. 7 is a diagram illustrating a learning process and a testing process in the lesion area detection apparatus.
  • FIG. 8 is an exemplary view of lesion masks predicted based on diffusion weighted images and diffusion coefficient images.
  • FIG. 9 is an exemplary diagram of a user interface for a diagnostic device that automatically measures the distribution of lesions and the volume of lesions based on the methods mentioned in the specification.
  • ICC a value corresponding to a matching ratio between an actual lesion region and a lesion region obtained through various methods.
  • first and second may be used to describe various components, but the components are not limited by the terms. The terms are only used to distinguish one component from other components.
  • first component may be referred to as a second component without departing from the scope of the present invention, and similarly, the second component may be referred to as a first component.
  • a part when a part is connected to another part, this includes not only the case of being directly connected, but also the case of being electrically connected with another element in between. Also, when a part includes a certain component, this means that other components may be further included rather than excluding other components unless otherwise specified.
  • terms such as “... unit” and “module” described in the specification mean a unit that processes at least one function or operation, which may be implemented in hardware or software, or a combination of hardware and software. .
  • an image may mean multidimensional data composed of discrete image elements (eg, pixels in a 2D image and voxels in a 3D image).
  • the image may include an X-ray device, a CT device, an MRI device, an ultrasound diagnostic device, and a medical image of an object acquired by another medical imaging device.
  • the subject may include a person or an animal, or a part of a person or animal.
  • the subject may include blood vessels or devices such as the liver, heart, uterus, brain, breast, and abdomen.
  • the object may include a phantom. Phantom refers to a material having a volume very close to the density and effective atomic number of an organism, and may include a spherical phantom having properties similar to a body.
  • the user is a medical professional, and may be a doctor, a nurse, a clinical pathologist, a medical imaging expert, or the like, but may be a technician repairing a medical device, but is not limited thereto.
  • the diffusion-weighted image is an image that maps the diffusion motion of molecules, particularly water molecules, in a biological tissue of a subject.
  • the diffusion of water molecules within the tissue is not free.
  • Diffusion weighted images reflect water molecules colliding with fibrous tissue or membranes. Therefore, the diffusion pattern of water molecules indicates the normal or abnormal state of the tissue.
  • the diffusion weighted image may well represent normal and abnormal states of the white matter fiber structure or gray matter of the brain.
  • the diffusion coefficient image refers to the processed image based on the value processed through a function of temperature as a diffusion coefficient.
  • the diffusion coefficient can be calculated using a diffusion weighted image because the cell walls are present in the body and the temperature is non-uniform.
  • the infarct area reduces the diffusion of water outside the cell due to the expansion of the cell.
  • a signal decrease becomes a small area, and the diffusion-weighted image appears bright.
  • the diffusion-reduced region appears darker than normal in the diffusion coefficient.
  • Water such as cerebrospinal fluid (CSF) is a free diffusion region, where the diffusion coefficient image is bright and the diffusion weighted image is dark.
  • CSF cerebrospinal fluid
  • FIG. 1 is a block diagram of a lesion area detection system according to embodiments of the present invention.
  • the lesion area detection system 10 may include an image photographing device 100 and a lesion area detection device 200.
  • the lesion area detection system 10 transmits an image of the object 1 acquired through the image capturing apparatus 100 to the lesion area detection device 200, and the lesion area detection device 200 models a lesion area detection model in blood vessels The lesion area of the object 1 is detected based on the obtained data.
  • the imaging device 100 is a device that outputs an image or image of the object 1, and may be an X-ray device, a CT device, an MRI device, an ultrasound diagnostic device, and other medical imaging devices.
  • the imaging apparatus 100 may acquire blood vessel images of all or part of the object 1.
  • the imaging apparatus 100 may photograph an object and output a TOF image, diffusion weighted imaging (DWI), or apparent diffusion coefficient imaging (ADC).
  • DWI diffusion weighted imaging
  • ADC apparent diffusion coefficient imaging
  • the lesion area detection apparatus 200 extracts input data necessary for detecting a lesion area from the diffusion weighted image and the diffusion coefficient image of the object, and uses the lesion area detection model learned using the input data to detect one or more lesion areas of the object. Can deduce.
  • the lesion region detection apparatus 200 may detect a lesion region distributed in a blood vessel of the object based on the input image.
  • the lesion area detection device 200 may be a computing device including one or more processors and storage media.
  • FIG. 2 is a block diagram of the lesion area detection apparatus 200 according to embodiments of the present invention
  • FIG. 3 is a view for explaining the structure of the storage unit 250 of the lesion region detection device.
  • the lesion area detection apparatus 200 may include a control unit 210, a communication unit 220, an input / output unit 240, and a storage unit 250.
  • the control unit 210 may be implemented with one or more processors, and configured to process instructions of a computer program by performing basic arithmetic, logic, and input / output operations.
  • the command may be provided to the control unit 210 by the storage unit 250 and the communication unit 220.
  • the control unit 210 may be configured to execute a received command according to program code stored in a recording device such as the storage unit 250.
  • the communication unit 220 may provide a function for communicating with an external device through a network.
  • the request generated by the control unit 210 of the lesion area detection device 200 according to the program code stored in the recording device such as the storage unit 250 is taken from the external image through the network under the control of the communication unit 220 It can be delivered to the device 100, a database, or another user terminal.
  • a control signal or command received through the communication unit 220 may be transmitted to the control unit 210 or the storage unit 250, and the received image image may be stored by the storage unit 250.
  • the storage unit 250 is a computer-readable recording medium, and may include a non-destructive mass storage device such as random access memory (RAM), read only memory (ROM), and a disk drive.
  • RAM random access memory
  • ROM read only memory
  • an operating system and at least one program code may be stored in the storage unit 250.
  • These software components may be loaded from a computer-readable recording medium separate from the storage unit 250 using a drive mechanism.
  • Such a separate computer-readable recording medium may include a computer-readable recording medium such as a floppy drive, disk, tape, DVD / CD-ROM drive, and memory card.
  • software components may be loaded into storage 250 via communication unit 220 rather than a computer-readable recording medium.
  • at least one program is a storage unit 250 based on a program (for example, the application described above) installed by files provided by a file distribution system that distributes installation files of developers or applications through a network. Can be loaded on.
  • the input / output unit 240 may receive a lesion area detection input, a lesion area input, and the like, and display a screen showing a blood vessel image, a lesion area, and the like.
  • the input / output unit 240 may include an operation panel for receiving user input, a display panel for displaying the screen, and the like.
  • the input unit may include devices capable of receiving various types of user input, such as a keyboard, a physical button, a touch screen, a camera, or a microphone.
  • the output unit may include a display panel or a speaker.
  • the present invention is not limited thereto, and the input / output unit 240 may include a configuration supporting various input / output.
  • the lesion region detection apparatus 200 may include an image receiving unit 251, an image preprocessing unit 252, a lesion region detection unit 253, and a learning model unit to detect the lesion region based on the diffusion weighted image and the diffusion coefficient image of the object (254).
  • the image receiving unit 251 may receive a diffusion weighted image and a diffusion coefficient image of the object.
  • the image pre-processing unit 252 standardizes the diffusion weighted image and the diffusion coefficient image in order to input the lesion region detection model.
  • the standardization process can be expressed by the following equation.
  • DWI (x, y) is the DWI signal value of the pixel at (x, y), Is the standardized DWI signal value of the pixel at the (x, y) position.
  • DWI signals obtained from other MRI machines can be unified into a single signal range, and the signal range is also suitable for training a neural network model.
  • the diffusion coefficient image (ADC) standardization process is different from the DWI standardization process.
  • the ADC standardization process can be expressed by the following equation.
  • the pixel's diffusion coefficient at position The This is the pixel's normalized spreading factor value at the location.
  • the image preprocessing unit 252 normalizes the spreading coefficient image using the standard deviation of the spreading coefficient values of each pixel of the spreading coefficient image and the threshold value of the spreading coefficient.
  • the image pre-processing unit 252 may standardize the diffusion weighted image in a manner similar to the diffusion coefficient image.
  • the lesion region detection unit 252 detects a lesion region of an object photographed using a lesion region detection model trained using a standardized diffusion coefficient image and a diffusion weighted image.
  • the lesion region may be part of the subject's brain.
  • the lesion region detection apparatus 200 may detect a lesion region of an object by using the lesion region detection model learned through the learning model unit 253.
  • the learning model unit 254 may include a data learning unit 2251 and a data recognition unit 2542.
  • the operation of each component is as follows.
  • the data learning unit 2251 may learn criteria for detecting a lesion area.
  • the data learning unit 2251 may learn criteria to determine what data to use to determine a predetermined lesion area and how to determine the lesion area using the data.
  • the data learning unit 2251 may be trained to use a diffusion coefficient image and a weighted diffusion image as data to be used for learning.
  • the data learning unit 2251 may learn to detect a lesion region using a standardized diffusion coefficient image and a weighted diffusion image.
  • the data learning unit 2251 may output a mask image representing the lesion area.
  • the data recognition unit 2252 may detect the lesion area of the object based on the input data.
  • the data recognition unit 2252 may detect the lesion region of the object from predetermined data using the trained lesion region detection model.
  • the data recognition unit 2252 acquires predetermined data according to a preset criterion by learning, and uses the acquired data as an input value to use the lesion area detection model, thereby detecting the lesion area of the object based on the predetermined data. Can be. Further, the result value output by the lesion region detection model using the obtained data as an input value may be used to update the lesion region detection model.
  • At least one of the data learning unit 2251 and the data recognition unit 2542 may be manufactured in the form of at least one hardware chip and mounted on an electronic device.
  • at least one of the data learning unit 2251 and the data recognition unit 2252 may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or an existing general-purpose processor (for example, a CPU) Alternatively, it may be manufactured as a part of an application processor or a graphics-only processor (for example, a GPU) and mounted on various electronic devices described above.
  • AI artificial intelligence
  • an existing general-purpose processor for example, a CPU
  • it may be manufactured as a part of an application processor or a graphics-only processor (for example, a GPU) and mounted on various electronic devices described above.
  • the data learning unit 2251 and the data recognition unit 2542 may be mounted on one electronic device, or may be mounted on separate electronic devices, respectively.
  • one of the data learning unit 2251 and the data recognition unit 2252 may be included in the electronic device, and the other may be included in the server.
  • the data learning unit 2251 and the data recognition unit 2252 may provide the model information constructed by the data learning unit 2251 to the data recognition unit 2252 through wired or wireless communication.
  • the data input to 2542) may be provided to the data learning unit 2251 as additional learning data.
  • At least one of the data learning unit 2251 and the data recognition unit 2252 may be implemented as a software module.
  • the software module is a computer-readable, non-transitory readable It may be stored in a readable media (non-transitory computer readable media).
  • at least one software module may be provided by an operating system (OS) or may be provided by a predetermined application.
  • OS operating system
  • OS operating system
  • OS operating system
  • OS operating system
  • some of the at least one software module may be provided by an operating system (OS), and the other may be provided by a predetermined application.
  • the data learning unit 2251 includes a data acquisition unit 2541-1, a pre-processing unit 2251-2, a training data selection unit 2541-3, and a model learning unit 2541-4 , May include a model evaluation unit 2251-5.
  • the data acquisition unit 251-1 may acquire data necessary for detecting a lesion region.
  • the data acquisition unit 251-1 may acquire data necessary for learning to detect a lesion region.
  • the data acquisition unit 2521-1 may acquire images, images, and text related to blood vessels from the lesion area detection device 200 or the image capture device 100.
  • the data acquisition unit 2541-1 may acquire a diffusion weighted image and a diffusion coefficient image.
  • the preprocessing unit 2251-2 may preprocess the acquired data so that the acquired data can be used for learning to detect the lesion area.
  • the pre-processing unit 2251-2 may process the acquired data in a preset format so that the model learning unit 2251-4, which will be described later, can use the acquired data for learning to detect the lesion area.
  • the preprocessing unit 2251-2 may resize the diffusion weighted image and the diffusion coefficient image.
  • the preprocessing unit 2251-2 resizes the resolution of the diffusion weighted image and the diffusion coefficient image while increasing or decreasing the resolution at a predetermined ratio.
  • the pre-processing unit 2251-2 can standardize the diffusion coefficient image and the weighted diffusion image. Specifically, the pre-processing unit 2251-2 can standardize the spreading coefficient image by using the standard deviation of the spreading coefficient values of each pixel of the spreading coefficient image and a preset threshold.
  • the learning data selection unit 2251-3 may select data necessary for learning from pre-processed data.
  • the selected data may be provided to the model learning unit 2251-4.
  • the learning data selector 2251-3 may select data necessary for learning from pre-processed data according to a preset criterion for detecting a lesion region.
  • the learning data selection unit 313 may select data according to criteria set by learning by the model learning unit 314 to be described later.
  • the model learning unit 2251-4 may train a lesion area detection model used for lesion area detection using learning data.
  • the lesion area detection model may be a model learning using an artificial neural network algorithm.
  • the lesion area detection model may extract features using a low-resolution weighted diffusion image and a diffusion coefficient image with a reduced resolution of the weighted diffusion image and the diffusion coefficient image.
  • the model learning unit 2541-4 restores regions corresponding to the lesion to a high dimension by using low-dimensional feature information extracted from the weighted diffusion image and the diffusion coefficient image, and the regions corresponding to the lesion are a lesion mask image, that is, a segmentation map ( segmentation map).
  • the lesion area detection model may be constructed in consideration of the application field of the recognition model, the purpose of learning, or the computer performance of the device.
  • the lesion area detection model may be, for example, a model based on a neural network.
  • a model such as a deep neural network (DNN), a recurrent neural network (RNN), or a bidirectional recurrent deep neural network (BRDNN) may be used as a lesion area detection model, but is not limited thereto.
  • the model learning unit 2251-4 may train the lesion area detection model, for example, through supervised learning using learning data as an input value.
  • the model learning unit 2251-4 learns the type of data necessary for the detection of a lesion region without any guidance, thereby unsupervised learning to discover a criterion for the detection of the lesion region. Through this, the lesion area detection model can be trained.
  • the model learning unit 314 may train the lesion area detection model, for example, through reinforcement learning using feedback on whether the result of the detection of the lesion area according to learning is correct.
  • the model learning unit 2251-4 may store the trained lesion region detection model.
  • the model learning unit 2251-4 may store the trained lesion area detection model in the memory of the electronic device including the data recognition unit 2542.
  • the model learning unit 2251-4 may store the trained lesion area detection model in the memory of the electronic device including the data recognition unit 2542 to be described later.
  • the model learning unit 2251-4 may store the trained lesion area detection model in a memory of a server connected to a wired or wireless network with the electronic device.
  • the memory in which the learned lesion area detection model is stored may store, for example, instructions or data related to at least one other component of the electronic device.
  • the memory may store software and / or programs.
  • the program may include, for example, a kernel, middleware, application programming interface (API), and / or application program (or "application").
  • the model evaluation unit 2251-5 inputs evaluation data to the lesion area detection model, and, when the recognition result output from the evaluation data does not satisfy a predetermined criterion, causes the model learning unit 2251-4 to learn again.
  • the evaluation data may be preset data for evaluating the lesion area detection model.
  • the model evaluator 2251-5 when the number or ratio of the evaluation data for which the lesion area detection result is not accurate among the recognition results of the trained lesion area detection model for the evaluation data exceeds a preset threshold. It can be evaluated that the predetermined criteria are not satisfied.
  • the model evaluator 2251-5 evaluates whether or not the predetermined criteria are satisfied for each trained lesion area detection model, and finalizes the model that satisfies the predetermined criteria. It can be determined as a lesion area detection model. In this case, when there are a plurality of models satisfying a predetermined criterion, the model evaluator 2251-5 may determine, as a final lesion area detection model, any one or a predetermined number of models preset in order of highest evaluation score.
  • the data acquisition unit 2541 in the data learning unit 2251, the pre-processing unit 2251-2, the learning data selection unit 2541-3, the model learning unit 2541-4 and the model evaluation unit 2541 may be manufactured in the form of at least one hardware chip and mounted on an electronic device.
  • at least one of the data acquisition unit 2541-1, the pre-processing unit 2251-2, the training data selection unit 2251-3, the model learning unit 2251-4 and the model evaluation unit 2551-5 One may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or as part of an existing general-purpose processor (eg, CPU or application processor) or graphics-only processor (eg, GPU), as described above. It may be mounted on various electronic devices.
  • AI artificial intelligence
  • an existing general-purpose processor eg, CPU or application processor
  • graphics-only processor eg, GPU
  • the data acquisition unit (2541-1), the pre-processing unit (2541-2), the training data selection unit (2541-3), the model learning unit (2541-4) and the model evaluation unit (2541-5) is one electronic It may be mounted on a device, or may be mounted on separate electronic devices, respectively.
  • at least one of the data acquisition unit (2541-1), the pre-processing unit (2541-2), the training data selection unit (2541-3), the model learning unit (2541-4) and the model evaluation unit (2541-5) It can be implemented as a software module.
  • At least one of the data acquisition unit 251-1, the pre-processing unit 2551-2, the training data selection unit 2551-3, the model learning unit 2541-4, and the model evaluation unit 2551-5 is a software module When implemented as (or a program module including an instruction), the software module may be stored in a computer-readable non-transitory computer readable media.
  • the data recognition unit 2252 includes a data acquisition unit 2542-1, a preprocessing unit 2542-2, a recognition data selection unit 2542-3, and a recognition result providing unit 2542-4 And a model update unit 2542-5.
  • the data acquisition unit 2252-1 may acquire data necessary for detecting the lesion area, and the pre-processing unit 2252-2 may preprocess the acquired data so that the acquired data for detecting the lesion area can be used. have.
  • the pre-processing unit 2542-2 may process the acquired data in a preset format so that the recognition result providing unit 2542-4, which will be described later, can use the acquired data to detect the lesion area.
  • the preprocessing unit 2251-2 may resize the diffusion weighted image and the diffusion coefficient image.
  • the preprocessing unit 2251-2 resizes the resolution of the diffusion weighted image and the diffusion coefficient image while increasing or decreasing the resolution at a predetermined ratio.
  • the pre-processing unit 2251-2 can standardize the diffusion coefficient image and the weighted diffusion image. Specifically, the pre-processing unit 2251-2 can standardize the spreading coefficient image by using the standard deviation of the spreading coefficient values of each pixel of the spreading coefficient image and a preset threshold.
  • the recognition data selection unit 2542-3 may select data necessary for detecting a lesion area from among pre-processed data.
  • the selected data may be provided to the recognition result providing unit 2542-4.
  • the recognition data selection unit 2542-3 may select some or all of the pre-processed data according to a preset criterion for detecting a lesion area.
  • the recognition data selection unit 2542-3 may select data according to a preset criterion by training by the model learning unit 2251-4.
  • the recognition result providing unit 2542-4 may apply the selected data to the lesion region detection model to determine the lesion region detection.
  • the recognition result providing unit 2542-4 may provide a recognition result according to the purpose of recognizing data.
  • the recognition result providing unit 2542-4 can apply the selected data to the lesion area detection model by using the data selected by the recognition data selection unit 2542-3 as an input value.
  • the recognition result is determined by the lesion region detection model, and may include a segmentation map representing only the region corresponding to the lesion of the object.
  • the model update unit 2252-5 may cause the lesion area detection model to be updated based on the evaluation of the recognition result provided by the recognition result providing unit 2542-4.
  • the model updating unit 2542-5 provides the model learning unit 2542-4 with the recognition result provided by the recognition result providing unit 2542-4, so that the model learning unit 2542-4
  • the lesion area detection model can be updated.
  • the data acquisition unit 2542-1, the pre-processing unit 2252-2, the recognition data selection unit 2542-3, the recognition result providing unit 2542-4 and the model update unit in the data recognition unit 2542 may be manufactured in the form of at least one hardware chip and mounted on an electronic device.
  • the data acquisition unit 2542-1, the pre-processing unit 2542-2, the recognition data selection unit 2542-3, the recognition result providing unit 2542-4, and the model update unit 2542-5 At least one may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or it may be manufactured as part of an existing general-purpose processor (for example, a CPU or application processor) or a graphics-only processor (for example, GPU). It may be mounted on various electronic devices.
  • AI artificial intelligence
  • 4 and 5 are flowcharts of a method for detecting a lesion area according to embodiments of the present invention.
  • the method for detecting a lesion area receives an image captured from the image capturing apparatus 100.
  • the lesion area detection apparatus 200 receives a weighted diffusion image and a diffusion coefficient image of the object.
  • the lesion area detection apparatus 200 standardizes the weighted diffusion image and the diffusion coefficient image, respectively.
  • the lesion region detection apparatus 200 extracts lesion regions from a standardized weighted diffusion image and a diffusion coefficient image using a lesion region detection model.
  • the lesion area detecting apparatus 200 outputs the extracted lesion areas.
  • the lesion area detecting apparatus 200 may output a lesion mask image representing a region corresponding to the lesion as 1, that is, a segmentation map.
  • the lesion area detection apparatus 200 may train a lesion area detection model.
  • the lesion area detection apparatus 200 receives a weighted diffusion image and a diffusion coefficient image of the object.
  • the lesion area detection apparatus 200 preprocesses the weighted diffusion image and the diffusion coefficient image.
  • the lesion area detection apparatus 200 may resize the diffusion weighted image and the diffusion coefficient image.
  • the lesion area detection apparatus 200 resizes the resolution of the diffusion weighted image and the diffusion coefficient image while increasing or decreasing the resolution at a predetermined ratio.
  • the lesion region detection apparatus 200 may standardize the diffusion coefficient image and the weighted diffusion image. Specifically, the lesion area detection apparatus 200 may standardize the diffusion coefficient image using a standard deviation and a preset threshold value of the diffusion coefficient values of each pixel of the diffusion coefficient image.
  • the lesion region detection apparatus 200 trains a lesion region detection model using a pre-processed weighted diffusion image and a diffusion coefficient image.
  • the lesion area detecting apparatus 200 outputs a lesion mask image specific to the lesion area in consideration of the location of the lesion and the degree of the lesion output through the trained lesion area detection model.
  • the lesion area detection apparatus 200 compares a preset lesion mask and an output lesion mask image to evaluate a lesion area detection model.
  • the lesion area detection apparatus 200 stores a lesion area detection model that satisfies a predetermined evaluation criterion in the storage unit.
  • the lesion region detection apparatus 200 may receive the lesion region detection model through the learning model apparatus 300 and infer the vascular age of the subject using the lesion region detection model. .
  • the learning model unit 254 may learn through a weighted diffusion image and a diffusion coefficient image and a lesion mask set by an expert.
  • the learning model unit 254 forms a lesion area detection model based on the parameters obtained as a result of the learning.
  • the learning model unit 254 may generate a supervised learning of U-net model through a lesion mask selected by experts for a weighted diffusion image (DWI) and a diffusion coefficient image (ADC).
  • DWI weighted diffusion image
  • ADC diffusion coefficient image
  • the lesion mask is output by inputting a weighted diffusion image (DWI) and a diffusion coefficient image (ADC) of an actual patient in the learned lesion area detection model.
  • DWI weighted diffusion image
  • ADC diffusion coefficient image
  • the trained lesion area detection model may be trained through various algorithms of machine learning such as U-net, ED-CNN, and SegNet.
  • the batch size to be learned may be determined according to processor performance, graphics processing power, instruction processing power, etc. of the computing device including the learning model unit 254.
  • FIG. 8 is an example showing, in each case, a map of lesions predicted by an actual machine learning model and a map of lesions designated by a stroke specialist when weighted diffusion images and diffusion coefficient images are given as inputs. It can be seen that the maps of the two lesions qualitatively match each other.
  • FIG. 9 is an exemplary diagram of a user interface for a diagnostic device that automatically measures the distribution of lesions and the volume of lesions based on the methods mentioned in the specification.
  • ICC a value corresponding to a matching ratio between an actual lesion region and a lesion region obtained through various methods.
  • ICC according to a lesion area detection model (RAPID-U-net (DWI + ADC)
  • the value was found to be 0.99.
  • the lesion area extracted by considering only the weighted diffusion image (DWI) had a correlation value with the actual lesion area of only 0.86. That is, as a result of the experiment, it was found that the lesion area detection model of the present invention that detects the lesion area in consideration of both DWI and ADC exhibits excellent performance.
  • the lesion area detection model may be generated by optimizing parameters such as the number of layers, the convolution filter, the number of epochs, and the batch size by the learning model unit 254.
  • the device described above may be implemented with hardware components, software components, and / or combinations of hardware components and software components.
  • the devices and components described in the embodiments include, for example, processors, controllers, arithmetic logic units (ALUs), digital signal processors (micro signal processors), microcomputers, field programmable gate arrays (FPGAs).
  • a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions may be implemented using one or more general purpose computers or special purpose computers.
  • the processing device may perform an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may access, store, manipulate, process, and generate data in response to the execution of the software.
  • OS operating system
  • the processing device may access, store, manipulate, process, and generate data in response to the execution of the software.
  • a processing device may be described as one being used, but a person having ordinary skill in the art, the processing device may include a plurality of processing elements and / or a plurality of types of processing elements. It can be seen that may include.
  • the processing device may include a plurality of processors or a processor and a controller.
  • other processing configurations such as parallel processors, are possible.
  • the software may include a computer program, code, instruction, or a combination of one or more of these, and configure the processing device to operate as desired, or process independently or collectively You can command the device.
  • Software and / or data may be interpreted by a processing device, or to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. , Or may be permanently or temporarily embodied in the transmitted signal wave.
  • the software may be distributed over networked computer systems, and stored or executed in a distributed manner.
  • Software and data may be stored in one or more computer-readable recording media.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, or the like alone or in combination.
  • the program instructions recorded in the medium may be specially designed and configured for the embodiments or may be known and usable by those skilled in computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs, DVDs, and magnetic media such as floptical disks.
  • -Hardware devices specifically configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like.
  • program instructions include high-level language codes that can be executed by a computer using an interpreter, etc., as well as machine language codes produced by a compiler.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

본 명세서는 병변 영역 검출 장치가 대상체의 가중 확산 이미지(DWI) 및 확산 계수 이미지(ADC)를 수신하는 단계; 상기 병변 영역 검출 장치가 상기 가중 확산 이미지를 표준화하는 단계; 상기 병변 영역 검출 장치가 상기 확산 계수 이미지를 표준화하는 단계; 상기 병변 영역 검출 장치가 병변 영역 검출 모델을 이용하여 표준화한 상기 가중 확산 이미지 및 상기 확산 계수 이미지로부터 병변 영역들을 추출하는 단계; 및 상기 병변 영역 검출 장치가 추출한 하나 이상의 병변 영역을 출력하는 단계;를 포함하는 병변 영역 검출 방법을 개시한다.

Description

병변 영역 검출 장치, 병변 영역 검출 방법 및 컴퓨터 프로그램
본 개시는 병변 영역 검출 장치, 병변 영역 검출 방법 및 컴퓨터 프로그램에 관한 것이다.
자기 공명 영상(MRI: magnetic resonance imaging) 촬영 장치는 자기장을 이용해 대상체를 촬영하는 장치로, 뼈는 물론, 디스크, 관절, 신경 인대, 심장, 뇌혈관 등을 원하는 각도에서 입체적으로 보여주기 때문에 정확한 질병 진단을 위해서 널리 이용되고 있다. 자기 공명 영상은 여러 파라미터를 조절함으로써 다양한 대조비를 얻을 수 있는 장점이 있고 이를 이용하여 임상 진단에서는 같은 부위에 대해 여러 대조비의 영상들을 얻어 진단을 한다. 국내 특허 공개 공보 2009-0075644는 자기 공명 영상의 대조비를 생성하도록 환자의 지방 및 수분의 스핀 상들을 변경하여 환자의 정상-상태 영상을 얻는 자기 공명 영상 장치를 개시하고 있다.
본 발명의 일 실시예는 대상체의 가중 확산 이미지 및 확산 계수 이미지를 이용하여 병변 영역을 검출하는 병변 영역 검출 장치, 방법 및 컴퓨터 프로그램을 제공하는데 있다.
본 발명의 일 실시예에 따르면, 병변 영역 검출 방법은 병변 영역 검출 장치가 대상체의 가중 확산 이미지(DWI) 및 확산 계수 이미지(ADC)를 수신하는 단계; 상기 병변 영역 검출 장치가 상기 가중 확산 이미지를 표준화하는 단계; 상기 병변 영역 검출 장치가 상기 확산 계수 이미지를 표준화하는 단계; 상기 병변 영역 검출 장치가 병변 영역 검출 모델을 이용하여 표준화한 상기 가중 확산 이미지 및 상기 확산 계수 이미지로부터 병변 영역들을 추출하는 단계; 및 상기 병변 영역 검출 장치가 추출한 하나 이상의 병변 영역을 출력하는 단계;를 포함할 수 있다.
상기 병변 영역 검출 모델은 가중 확산 이미지들 및 확산 계수 이미지들과 대응되어 기 등록된 병변 마스크들을 반복적으로 입력 받고, 상기 가중 확산 이미지들 및 상기 확산 계수 이미지들로부터 추출된 입력 데이터들 중에서, 병변 마스크들을 검출하는데 기준이 되는 데이터들을 선택하고, 선택한 데이터들을 기초로 학습되는 점을 특징으로 할 수 있다.
상기 병변 영역 검출 모델은 기 등록된 병변 마스크와 비교하여 기 설정된 평가 기준을 만족하지 않는 것으로 판단된 경우, 다른 병변 영역 검출 모델로 변경되는 점을 특징으로 할 수 있다.
상기 병변 영역 검출 모델은 확산 계수 이미지들을 기 설정된 임계 값 및 각 픽셀들의 확산 계수의 표준 편차를 이용하여 표준화하는 과정을 통해 변환된 확산 계수 이미지들 및 가중 확산 이미지들을 입력 받아 학습되는 점을 특징으로 할 수 있다.
본 발명의 일 실시예에 따른 병변 영역 검출 장치가 대상체의 가중 확산 이미지(DWI) 및 확산 계수 이미지(ADC)를 수신하는 데이터 수신부; 상기 가중 확산 이미지 및 상기 확산 계수 이미지를 표준화하는 전처리부; 병변 영역 검출 모델을 이용하여 표준화한 상기 가중 확산 이미지 및 상기 확산 계수 이미지로부터 병변 영역들을 추출하는 병변 영역 검출부; 및 추출한 하나 이상의 병변 영역을 출력하는 입출력부;를 포함할 수 있다.
본 발명의 실시예에 따른 컴퓨터 프로그램은 컴퓨터를 이용하여 본 발명의 실시예에 따른 병변 영역 검출 방법 중 어느 하나의 방법을 실행시키기 위하여 매체에 저장될 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 일 실시예에 따르면, 가중 확산 이미지 및 확산 계수 이미지를 이용하여 학습된 병변 영역 검출 모델을 통해 대상체의 병변 영역을 자동적으로 검출할 수 있다.
도 1은 본 발명의 실시예들에 따른 병변 영역 검출 시스템의 구성도이다.
도 2는 본 발명의 실시예들에 따른 병변 영역 검출 장치의 블록도이고, 도 3은 병변 영역 검출 장치의 저장부의 구조를 설명하기 위한 도면이다.
도 4는 학습 모델부의 블록도이다.
도 5 및 도 6은 본 발명의 실시예들에 따른 병변 영역 검출 방법의 흐름도들이다.
도 7은 병변 영역 검출 장치에서의 학습 과정 및 테스팅 과정을 설명하는 도면이다.
도 8은 확산 가중 이미지들 및 확산 계수 이미지들을 기초로 예측된 병변 마스크들의 예시 도면이다.
도 9는 명세서에서 언급한 방법을 바탕으로, 자동으로 병변의 분포와 병변의 부피를 측정하는 진단 장치에 대한 사용자 인터페이스의 예시 도면이다.
도 10은 실제 병변 영역과 여러 가지 방법들을 통해 획득된 병변 영역 사이의 일치하는 비율에 해당하는 값(ICC)을 나타내는 테이블이다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 예시적 실시예를 상세하게 설명한다. 또한, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명의 실시예에 따른 전자 장치를 구성하고 사용하는 방법을 상세히 설명한다. 각 도면에서 제시된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되지는 않는다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 항목들의 조합 또는 복수의 관련된 항목들 중의 어느 하나의 항목을 포함한다.
본 명세서에서 사용한 용어는 실시예를 설명하기 위해 사용된 것으로, 본 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원서에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전체에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 명세서에서, 영상은 이산적인 이미지 요소들(예를 들어, 2차원 이미지에 있어서의 픽셀들 및 3차원 이미지에 있어서의 복셀들)로 구성된 다차원 데이터를 의미할 수 있다. 예를 들어, 영상은 X-ray 장치, CT 장치, MRI 장치, 초음파 진단 장치, 및 다른 의료 영상 장치에 의해 획득된 대상체의 의료 이미지 등을 포함할 수 있다.
본 명세서에서, 대상체는 사람 또는 동물, 또는 사람 또는 동물의 일부를 포함할 수 있다. 예를 들어, 대상체는 간, 심장, 자궁, 뇌, 유방, 복부 등의 장치 또는 혈관을 포함할 수 있다. 또한, 대상체는 팬텀을 포함할 수 있다. 팬텀은 생물의 밀도와 실효 원자 번호에 아주 근사한 부피를 갖는 물질을 의미하는 것으로, 신체와 유사한 성질을 갖는 구형의 팬텀을 포함할 수 있다.
본 명세서에서, 사용자는 의료 전문가로서, 의사, 간호사, 임상 병리사, 의료 영상 전문가 등이 될 수 있으며, 의료 장치를 수리하는 기술자가 될 수 있으나, 이에 한정되지 않는다.
본 명세서에서, 확산 가중 이미지는 대상체의 생체 조직에서 분자 특히 물 분자의 확산 운동을 매핑(mapping)하는 영상이다. 조직 내에서 물 분자의 확산은 자유롭지 못하다. 확산 가중 이미지는 물 분자가 섬유 조직 또는 세포막(membranes)에 충돌하는 것을 반영한다. 따라서 물 분자의 확산 패턴은 조직의 정상 또는 비정상 상태를 나타내어 준다. 특히 확산 가중 이미지는 뇌의 백질의 섬유 구조 또는 회백질(gray matter)의 정상 및 비정상 상태를 잘 나타낼 수 있다.
확산 계수 이미지는 확산 계수로서 온도의 함수를 통해 처리된 값을 기준으로, 처리된 이미지를 말한다. 확산 계수는 신체 내에서는 세포벽이 존재하고 온도가 불균일하기 때문에 확산 가중 이미지를 이용하여 산출될 수 있다. 경색 영역은 세포의 팽창으로 인해 세포 바깥의 물의 확산이 감소된다. 확산이 감소된 영역은 확산 가중 이미지로 촬영하면 신호 저하(decrease)가 작은 영역이 되며 확산 가중 이미지에는 밝게 나온다. 반면, 확산이 감소된 영역은 확산 계수에서는 정상보다 어둡게 나온다. 뇌척수액(cerebrospinal fluid; CSF)과 같은 물은 자유 확산(free diffusion) 영역으로서 확산 계수 이미지는 밝게 나오고 확산 가중 이미지는 어둡게 나온다.
도 1은 본 발명의 실시예들에 따른 병변 영역 검출 시스템의 구성도이다.
병변 영역 검출 시스템(10)은 영상 촬영 장치(100), 병변 영역 검출 장치(200)를 포함할 수 있다.
병변 영역 검출 시스템(10)에서는 영상 촬영 장치 (100)를 통해 획득된 대상체(1)의 영상을 병변 영역 검출 장치(200)로 전달하고, 병변 영역 검출 장치(200)에서는 혈관에서 병변 영역 검출 모델을 이용하여 획득된 데이터를 기초로 대상체(1)의 병변 영역을 검출한다.
영상 촬영 장치(100)는 대상체(1)를 측정한 영상 또는 이미지를 출력하는 장치로서, X-ray 장치, CT 장치, MRI 장치, 초음파 진단 장치, 및 다른 의료 영상 장치일 수 있다. 영상 촬영 장치(100)는 대상체(1)의 전부 또는 일부의 혈관 이미지를 획득할 수 있다. 영상 촬영 장치(100)는 대상체를 촬영하여 TOF 영상, 확산 가중 이미지(DWI, diffusion weighted imaging) 또는 확산 계수 이미지(ADC, apparent diffusion coefficient imaging)을 출력할 수 있다.
병변 영역 검출 장치(200)는 대상체의 확산 가중 이미지 및 확산 계수 이미지로부터 병변 영역 검출에 필요한 입력 데이터를 추출하고, 입력 데이터를 이용하여 학습한 병변 영역 검출 모델을 이용하여 대상체의 하나 이상의 병변 영역을 추론할 수 있다. 병변 영역 검출 장치(200)는 입력된 영상을 기초로 대상체의 혈관에 분포한 병변 영역을 검출할 수 있다. 병변 영역 검출 장치(200)는 하나 이상의 프로세서, 저장 매체를 포함하는 컴퓨팅 장치일 수 있다.
도 2는 본 발명의 실시예들에 따른 병변 영역 검출 장치(200)의 블록도이고, 도 3은 병변 영역 검출 장치의 저장부(250)의 구조를 설명하기 위한 도면이다.
병변 영역 검출 장치(200)는 제어부(210), 통신부(220), 입출력부(240), 저장부(250)를 포함할 수 있다.
제어부(210)는 하나 이상의 프로세서들로 구현되어, 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 저장부(250), 통신부(220)에 의해 제어부(210)에 제공될 수 있다. 예를 들어 제어부(210)는 저장부(250)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
통신부(220)는 네트워크를 통해 외부의 장치와 통신하기 위한 기능을 제공할 수 있다. 일례로, 병변 영역 검출 장치(200)의 제어부(210)가 저장부(250)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이 통신부(220)의 제어에 따라 네트워크를 통해 외부의 영상 촬영 장치(100), 데이터베이스 또는 다른 사용자 단말로 전달할 수 있다. 예를 들어 통신부(220)를 통해 수신된 제어 신호나 명령 등은 제어부(210)나 저장부(250)로 전달될 수 있고, 수신된 영상 이미지 등은 저장부(250)로 저장될 수 있다.
저장부(250)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 저장부(250)에는 운영체제와 적어도 하나의 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘(drive mechanism)을 이용하여 저장부(250)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 통신부(220)를 통해 저장부(250)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템이 네트워크를 통해 제공하는 파일들에 의해 설치되는 프로그램(일례로 상술한 어플리케이션)에 기반하여 저장부(250)에 로딩될 수 있다.
입출력부(240)는 병변 영역 검출 입력, 병변 영역 입력 등을 수신하고, 혈관 영상, 병변 영역 등을 보여주는 화면을 표시할 수 있다. 예를 들어, 입출력부(240)는 사용자 입력을 수신하는 조작 패널(operation panel) 및 화면을 표시하는 디스플레이 패널(display panel) 등을 포함할 수 있다.
구체적으로, 입력부는 키보드, 물리 버튼, 터치 스크린, 카메라 또는 마이크 등과 같이 다양한 형태의 사용자 입력을 수신할 수 있는 장치들을 포함할 수 있다. 또한, 출력부는 디스플레이 패널 또는 스피커 등을 포함할 수 있다. 다만, 이에 한정되지 않고 입출력부(240)는 다양한 입출력을 지원하는 구성을 포함할 수 있다.
병변 영역 검출 장치(200)는 대상체의 확산 가중 이미지 및 확산 계수 이미지를 기초로 병변 영역을 검출하기 위해서, 영상 수신부(251), 영상 전처리부(252), 병변 영역 검출부(253), 학습 모델부(254)를 포함할 수 있다.
영상 수신부(251)는 대상체의 확산 가중 이미지 및 확산 계수 이미지를 수신할 수 있다.
영상 전처리부(252)는 병변 영역 검출 모델에 입력하기 위해서, 확산 가중 이미지 및 확산 계수 이미지를 표준화(standardization)한다. 표준화 과정은 다음의 식으로 나타낼 수 있다.
Figure PCTKR2019015653-appb-I000001
Figure PCTKR2019015653-appb-I000002
,
Figure PCTKR2019015653-appb-I000003
는 각각 뇌조직에서 정상부위의 DWI신호의 평균 및 표준편차이다. DWI(x, y) 는 (x,y) 위치에서 픽셀의 DWI 신호 값이고,
Figure PCTKR2019015653-appb-I000004
는 (x, y)위치에서 픽셀의 표준화된 DWI 신호 값이 된다. 표준화를 하게 되면, 다른 MRI 기계에서 얻은 DWI신호들을 하나의 신호 범위로 통일할 수 있고, 또한 neural network 모델을 학습하는데 있어서도 신호 범위가 적절하다고 볼 수 있다. 확산 계수 이미지 (ADC) 표준화 과정은 DWI 표준화 과정과 다르게 진행된다. ADC 표준화 과정은 다음의 식으로 나타낼 수 있다.
Figure PCTKR2019015653-appb-I000005
Figure PCTKR2019015653-appb-I000006
는 미리 정의된 확산 계수 임계 값(threshold)으로 주어진다.
Figure PCTKR2019015653-appb-I000007
는 뇌조직에서 정상부위의 확산 계수 값의 표준편차이다. 급성 뇌졸중 영상 진단에서 문턱값으로 주로 사용되는 600 (10-6 mm2/s)이 될 수 있다.
Figure PCTKR2019015653-appb-I000008
는
Figure PCTKR2019015653-appb-I000009
위치에서 픽셀의 확산 계수 값이고
Figure PCTKR2019015653-appb-I000010
는
Figure PCTKR2019015653-appb-I000011
위치에서 픽셀의 표준화된 확산 계수 값이 된다.
영상 전처리부(252)는 확산 계수 이미지의 각 픽셀의 확산 계수 값들의 표준 편차 및 확산 계수의 임계 값을 이용하여 확산 계수 이미지를 표준화한다. 영상 전처리부(252)는 확산 계수 이미지와 유사한 방법으로 확산 가중 이미지를 표준화할 수 있다.
병변 영역 검출부(252)는 표준화된 확산 계수 이미지 및 확산 가중 이미지를 이용하여 학습된 병변 영역 검출 모델을 이용하여 촬영된 대상체의 병변 영역을 검출한다. 병변 영역은 대상체의 뇌의 일부일 수 있다.
본 발명의 실시예에 따른 병변 영역 검출 장치(200)는 학습 모델부(253)를 통해 학습된 병변 영역 검출 모델을 이용하여, 대상체의 병변 영역을 검출할 수 있다.
구체적으로, 학습 모델부(254)는 데이터 학습부(2541) 및 데이터 인식부(2542)를 포함할 수 있다. 각 구성요소들의 동작은 아래와 같다.
데이터 학습부(2541)는 병변 영역 검출을 위한 기준을 학습할 수 있다. 데이터 학습부(2541)는 소정의 병변 영역을 판단하기 위하여 어떤 데이터를 이용할 지, 데이터를 이용하여 병변 영역을 어떻게 판단할 지에 관한 기준을 학습할 수 있다. 데이터 학습부(2541)는 학습에 이용될 데이터로 확산 계수 이미지 및 가중 확산 이미지를 이용하도록 학습될 수 있다. 또한, 데이터 학습부(2541)는 표준화된 확산 계수 이미지 및 가중 확산 이미지를 이용하여 병변 영역을 검출하도록 학습할 수 있다. 데이터 학습부(2541)는 병변 영역을 표현하는 마스크 이미지를 출력할 수 있다.
데이터 인식부(2542)는 입력된 데이터에 기초한 대상체의 병변 영역을 검출할 수 있다. 데이터 인식부(2542)는 학습된 병변 영역 검출 모델을 이용하여, 소정의 데이터로부터 대상체의 병변 영역을 검출할 수 있다. 데이터 인식부(2542)는 학습에 의한 기 설정된 기준에 따라 소정의 데이터를 획득하고, 획득된 데이터를 입력 값으로 하여 병변 영역 검출 모델을 이용함으로써, 소정의 데이터에 기초한 대상체의 병변 영역을 검출할 수 있다. 또한, 획득된 데이터를 입력 값으로 하여 병변 영역 검출 모델에 의해 출력된 결과 값은, 병변 영역 검출 모델을 갱신하는데 이용될 수 있다.
데이터 학습부(2541) 및 데이터 인식부(2542) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 학습부(2541) 및 데이터 인식부(2542) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
이 경우, 데이터 학습부(2541) 및 데이터 인식부(2542)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(2541) 및 데이터 인식부(2542) 중 하나는 전자 장치에 포함되고, 나머지 하나는 서버에 포함될 수 있다. 또한, 데이터 학습부(2541) 및 데이터 인식부(2542)는 유선 또는 무선으로 통하여, 데이터 학습부(2541)가 구축한 모델 정보를 데이터 인식부(2542)로 제공할 수도 있고, 데이터 인식부(2542)로 입력된 데이터가 추가 학습 데이터로서 데이터 학습부(2541)로 제공될 수도 있다.
한편, 데이터 학습부(2541) 및 데이터 인식부(2542) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(2541) 및 데이터 인식부(2542) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 4에 도시된 바와 같이, 데이터 학습부(2541)는 데이터 획득부(2541-1), 전처리부(2541-2), 학습 데이터 선택부(2541-3), 모델 학습부(2541-4), 모델 평가부(2541-5)를 포함할 수 있다.
데이터 획득부(2541-1)는 병변 영역 검출에 필요한 데이터를 획득할 수 있다. 데이터 획득부(2541-1)는 병변 영역 검출을 위한 학습을 위하여 필요한 데이터를 획득할 수 있다. 데이터 획득부(2541-1)는 병변 영역 검출 장치(200) 또는 영상 촬영 장치(100)로부터 혈관과 관련된 영상, 이미지, 텍스트를 획득할 수 있다. 구체적으로, 데이터 획득부(2541-1)는 확산 가중 이미지 및 확산 계수 이미지를 획득할 수 있다.
전처리부(2541-2)는 병변 영역 검출을 위한 학습에 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(2541-2)는 후술할 모델 학습부(2541-4)가 병변 영역 검출을 위한 학습을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다. 전처리부(2541-2)는 확산 가중 이미지 및 확산 계수 이미지를 리사이징(resize) 할 수 있다. 전처리부(2541-2)는 확산 가중 이미지 및 확산 계수 이미지의 해상도를 소정의 비율로 높이거나 낮추면서 리사이징(resize)한다. 전처리부(2541-2)는 확산 계수 이미지 및 가중 확산 이미지를 표준화할 수 있다. 구체적으로, 전처리부(2541-2)는 확산 계수 이미지의 각 픽셀의 확산 계수 값들의 표준 편차 및 기 설정된 임계 값을 이용하여 확산 계수 이미지를 표준화할 수 있다.
학습 데이터 선택부(2541-3)는 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 모델 학습부(2541-4)에 제공될 수 있다. 학습 데이터 선택부(2541-3)는 병변 영역 검출을 위한 기 설정된 기준에 따라, 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 또한, 학습 데이터 선택부(313)는 후술할 모델 학습부(314)에 의한 학습에 의해 설정된 기준에 따라 데이터를 선택할 수도 있다.
모델 학습부(2541-4)는 병변 영역 검출에 이용되는 병변 영역 검출 모델을 학습 데이터를 이용하여 학습시킬 수 있다. 이 경우, 병변 영역 검출 모델은 인공 신경망 알고리즘을 이용하여 학습하는 모델일 수 있다. 예를 들어, 병변 영역 검출 모델은 가중 확산 이미지 및 확산 계수 이미지의 해상도를 낮춘 저 해상도의 가중 확산 이미지 및 확산 계수 이미지를 이용하여 특징을 추출할 수 있다.
모델 학습부(2541-4)는 가중 확산 이미지 및 확산 계수 이미지로부터 추출한 저차원의 특징 정보를 이용하여 병변에 해당하는 영역들을 고차원으로 복원하고, 병변에 해당하는 영역들을 병변 마스크 이미지 즉 세그멘테이션 맵(segmentation map)으로 출력하도록 학습한다.
병변 영역 검출 모델은, 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 병변 영역 검출 모델은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 예컨대, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 병변 영역 검출 모델로서 사용될 수 있으나, 이에 한정되지 않는다.
또한, 모델 학습부(2541-4)는, 예를 들어, 학습 데이터를 입력 값으로 하는 지도 학습(supervised learning)을 통하여, 병변 영역 검출 모델을 학습시킬 수 있다. 또한, 모델 학습부(2541-4)는, 예를 들어, 별다른 지도 없이 병변 영역 검출을 위해 필요한 데이터의 종류를 스스로 학습함으로써, 병변 영역 검출을 위한 기준을 발견하는 비지도 학습(unsupervised learning)을 통하여, 병변 영역 검출 모델을 학습시킬 수 있다. 또한, 모델 학습부(314)는, 예를 들어, 학습에 따른 병변 영역 검출의 결과가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 병변 영역 검출 모델을 학습시킬 수 있다.
또한, 병변 영역 검출 모델이 학습되면, 모델 학습부(2541-4)는 학습된 병변 영역 검출 모델을 저장할 수 있다. 이 경우, 모델 학습부(2541-4)는 학습된 병변 영역 검출 모델을 데이터 인식부(2542)를 포함하는 전자 장치의 메모리에 저장할 수 있다. 또는, 모델 학습부(2541-4)는 학습된 병변 영역 검출 모델을 후술할 데이터 인식부(2542)를 포함하는 전자 장치의 메모리에 저장할 수 있다. 또는, 모델 학습부(2541-4)는 학습된 병변 영역 검출 모델을 전자 장치와 유선 또는 무선 네트워크로 연결되는 서버의 메모리에 저장할 수도 있다.
이 경우, 학습된 병변 영역 검출 모델이 저장되는 메모리는, 예를 들면, 전자 장치의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 함께 저장할 수도 있다. 또한, 메모리는 소프트웨어 및/또는 프로그램을 저장할 수도 있다. 프로그램은, 예를 들면, 커널, 미들웨어, 어플리케이션 프로그래밍 인터페이스(API) 및/또는 어플리케이션 프로그램(또는 "어플리케이션") 등을 포함할 수 있다.
모델 평가부(2541-5)는 병변 영역 검출 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 인식 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(2541-4)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 병변 영역 검출 모델을 평가하기 위한 기 설정된 데이터일 수 있다.
예를 들어, 모델 평가부(2541-5)는 평가 데이터에 대한 학습된 병변 영역 검출 모델의 인식 결과 중에서, 병변 영역 검출 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우 소정 기준을 만족하지 못한 것으로 평가할 수 있다.
한편, 학습된 병변 영역 검출 모델이 복수 개가 존재하는 경우, 모델 평가부(2541-5)는 각각의 학습된 병변 영역 검출 모델에 대하여 소정 기준을 만족하는지를 평가하고, 소정 기준을 만족하는 모델을 최종 병변 영역 검출 모델로서 결정할 수 있다. 이 경우, 소정 기준을 만족하는 모델이 복수 개인 경우, 모델 평가부(2541-5)는 평가 점수가 높은 순으로 미리 설정된 어느 하나 또는 소정 개수의 모델을 최종 병변 영역 검출 모델로서 결정할 수 있다.
한편, 데이터 학습부(2541) 내의 데이터 획득부(2541-1), 전처리부(2541-2), 학습 데이터 선택부(2541-3), 모델 학습부(2541-4) 및 모델 평가부(2541-5) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(2541-1), 전처리부(2541-2), 학습 데이터 선택부(2541-3), 모델 학습부(2541-4) 및 모델 평가부(2541-5) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
또한, 데이터 획득부(2541-1), 전처리부(2541-2), 학습 데이터 선택부(2541-3), 모델 학습부(2541-4) 및 모델 평가부(2541-5)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 또한, 데이터 획득부(2541-1), 전처리부(2541-2), 학습 데이터 선택부(2541-3), 모델 학습부(2541-4) 및 모델 평가부(2541-5) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(2541-1), 전처리부(2541-2), 학습 데이터 선택부(2541-3), 모델 학습부(2541-4) 및 모델 평가부(2541-5) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다.
다음으로, 데이터 인식부(2542)의 구조를 설명하겠다.
본 발명의 실시예에 따른 데이터 인식부(2542)는 데이터 획득부(2542-1), 전처리부(2542-2), 인식 데이터 선택부(2542-3), 인식 결과 제공부(2542-4) 및 모델 갱신부(2542-5)를 포함할 수 있다.
데이터 획득부(2542-1)는 병변 영역 검출에 필요한 데이터를 획득할 수 있으며, 전처리부(2542-2)는 병변 영역 검출을 위해 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(2542-2)는 후술할 인식 결과 제공부(2542-4)가 병변 영역 검출을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.
전처리부(2541-2)는 확산 가중 이미지 및 확산 계수 이미지를 리사이징(resize) 할 수 있다. 전처리부(2541-2)는 확산 가중 이미지 및 확산 계수 이미지의 해상도를 소정의 비율로 높이거나 낮추면서 리사이징(resize)한다. 전처리부(2541-2)는 확산 계수 이미지 및 가중 확산 이미지를 표준화할 수 있다. 구체적으로, 전처리부(2541-2)는 확산 계수 이미지의 각 픽셀의 확산 계수 값들의 표준 편차 및 기 설정된 임계 값을 이용하여 확산 계수 이미지를 표준화할 수 있다.
인식 데이터 선택부(2542-3)는 전처리된 데이터 중에서 병변 영역 검출에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 인식 결과 제공부(2542-4)에게 제공될 수 있다. 인식 데이터 선택부(2542-3)는 병변 영역 검출을 위한 기 설정된 기준에 따라, 전처리된 데이터 중에서 일부 또는 전부를 선택할 수 있다. 또한, 인식 데이터 선택부(2542-3)는 모델 학습부(2541-4)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.
인식 결과 제공부(2542-4)는 선택된 데이터를 병변 영역 검출 모델에 적용하여 병변 영역 검출을 판단할 수 있다. 인식 결과 제공부(2542-4)는 데이터의 인식 목적에 따른 인식 결과를 제공할 수 있다. 인식 결과 제공부(2542-4)는 인식 데이터 선택부(2542-3)에 의해 선택된 데이터를 입력 값으로 이용함으로써, 선택된 데이터를 병변 영역 검출 모델에 적용할 수 있다. 또한, 인식 결과는 병변 영역 검출 모델에 의해 결정되는데, 대상체의 병변에 해당하는 영역 만을 표현하는 세그멘테이션 맵(segmentation map)를 포함할 수 있다.
모델 갱신부(2542-5)는 인식 결과 제공부(2542-4)에 의해 제공되는 인식 결과에 대한 평가에 기초하여, 병변 영역 검출 모델이 갱신되도록 할 수 있다. 예를 들어, 모델 갱신부(2542-5)는 인식 결과 제공부(2542-4)에 의해 제공되는 인식 결과를 모델 학습부(2542-4)에게 제공함으로써, 모델 학습부(2542-4)가 병변 영역 검출 모델을 갱신하도록 할 수 있다.
한편, 데이터 인식부(2542) 내의 데이터 획득부(2542-1), 전처리부(2542-2), 인식 데이터 선택부(2542-3), 인식 결과 제공부(2542-4) 및 모델 갱신부(2542-5) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(2542-1), 전처리부(2542-2), 인식 데이터 선택부(2542-3), 인식 결과 제공부(2542-4) 및 모델 갱신부(2542-5) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
도 4 및 도 5는 본 발명의 실시예들에 따른 병변 영역 검출 방법의 흐름도이다.
도 4에 도시된 바와 같이, 병변 영역 검출 방법은 영상 촬영 장치(100)로부터 촬영된 영상을 수신한다.
S120에서는 병변 영역 검출 장치(200)는 대상체의 가중 확산 이미지 및 확산 계수 이미지를 수신한다.
S130에서는 병변 영역 검출 장치(200)는 가중 확산 이미지 및 확산 계수 이미지를 각각 표준화한다.
S140에서는 병변 영역 검출 장치(200)는 병변 영역 검출 모델을 이용하여 표준화된 가중 확산 이미지 및 확산 계수 이미지로부터 병변 영역들을 추출한다.
S150에서는 병변 영역 검출 장치(200)는 추출한 병변 영역들을 출력한다. 병변 영역 검출 장치(200)는 병변에 해당하는 영역을 1로 표현하는 병변 마스크 이미지 즉 세그멘테이션 맵(map)을 출력할 수 있다.
도 5에 도시된 바와 같이, 병변 영역 검출 장치(200)는 병변 영역 검출 모델을 학습시킬 수 있다.
S210에서 병변 영역 검출 장치(200)는 대상체의 가중 확산 이미지 및 확산 계수 이미지를 수신한다.
S220에서는 병변 영역 검출 장치(200)는 가중 확산 이미지 및 확산 계수 이미지를 전처리 한다. 병변 영역 검출 장치(200)는 확산 가중 이미지 및 확산 계수 이미지를 리사이징(resize) 할 수 있다. 병변 영역 검출 장치(200)는 확산 가중 이미지 및 확산 계수 이미지의 해상도를 소정의 비율로 높이거나 낮추면서 리사이징(resize)한다. 병변 영역 검출 장치(200)는 확산 계수 이미지 및 가중 확산 이미지를 표준화할 수 있다. 구체적으로, 병변 영역 검출 장치(200)는 확산 계수 이미지의 각 픽셀의 확산 계수 값들의 표준 편차 및 기 설정된 임계 값을 이용하여 확산 계수 이미지를 표준화할 수 있다.
S230에서는 병변 영역 검출 장치(200)는 전처리한 가중 확산 이미지 및 확산 계수 이미지를 이용하여 병변 영역 검출 모델을 학습시킨다.
S240에서는 병변 영역 검출 장치(200)는 학습된 병변 영역 검출 모델을 통해 출력된 병변의 위치 및 병변의 정도 등을 고려하여 병변 영역을 특정한 병변 마스크 이미지를 출력한다.
S250에서는 병변 영역 검출 장치(200)는 기 설정된 병변 마스크와 출력된 병변 마스크 이미지를 비교하여 병변 영역 검출 모델을 평가한다.
S260에서는 병변 영역 검출 장치(200)는 소정의 평가 기준을 만족하는 병변 영역 검출 모델을 저장부에 저장한다.
이를 통해, 본 발명의 실시예들에 따른 병변 영역 검출 장치(200)는 학습 모델 장치(300)를 통해 병변 영역 검출 모델을 제공 받아 병변 영역 검출 모델을 이용하여 대상체의 혈관 나이를 추론할 수 있다.
도 7에 도시된 바와 같이, 학습 모델부(254)는 가중 확산 이미지 및 확산 계수 이미지와 전문가에 의해 설정된 병변 마스크를 통해 학습할 수 있다. 학습 모델부(254)는 학습된 결과 획득된 파라미터를 기초로 병변 영역 검출 모델을 형성한다.
학습 모델부(254)는 가중 확산 이미지(DWI) 및 확산 계수 이미지(ADC)에 대한 전문가들에 의해 선택된 병변 마스크를 통해 학습된 모델(Supervised Learning of U-net Model)을 생성할 수 있다.
이렇게 학습된 병변 영역 검출 모델에 실제 환자의 가중 확산 이미지(DWI) 및 확산 계수 이미지(ADC)를 입력하여 병변 마스크를 출력한다. 이때, 학습된 병변 영역 검출 모델은 U-net, ED-CNN, SegNet 등과 같은 기계 학습의 다양한 알고리즘을 통해 학습될 수 있다.
학습 모델부(254)를 포함하는 컴퓨팅 장치의 프로세서 성능, 그래픽 처리 능력, 명령어 처리 능력 등에 따라 학습되는 배치(batch) 크기가 결정될 수 있다.
도 8은 가중 확산 이미지 및 확산 계수 이미지가 입력으로 주어졌을 때, 실제 기계학습 모델이 예측한 병변의 맵과 뇌졸중 전문의가 지정한 병변의 맵을 각각의 경우에 대해 보여주는 예시이다. 두 병변의 맵이 각각의 경우에 정성적으로 서로 일치함을 확인할 수 있다.
도 9는 명세서에서 언급한 방법을 바탕으로, 자동으로 병변의 분포와 병변의 부피를 측정하는 진단 장치에 대한 사용자 인터페이스의 예시 도면이다.
도 10은 실제 병변 영역과 여러 가지 방법들을 통해 획득된 병변 영역 사이의 일치하는 비율에 해당하는 값(ICC)을 나타내는 테이블이다.
도 10의 테이블에 따르면, 본 발명의 실시예에 따른 병변 영역 검출 모델과 진단의에 의한 수동 세분화 방법을 비교한 결과, 병변 영역 검출 모델( RAPID - U-net (DWI+ADC))에 따른 ICC 값이 0.99인 것으로 나타났다. 해당 테이블에 따르면, 가중 확산 이미지(DWI) 만을 고려하여 추출된 병변 영역은 실제 병변 영역과의 상관 값이 0.86에 불과한 것으로 나타났다. 즉, 실험 결과, DWI 및 ADC를 모두 고려하여 병변 영역을 검출하는 본 발명의 병변 영역 검출 모델이 우수한 성능을 나타내는 것으로 드러났다. 병변 영역 검출 모델은 학습 모델부(254)에 의해 레이어 수, 컨볼루션 필터, 에포크(epoch) 수, 배치(batch) 크기 와 같은 파라미터의 최적화를 거쳐 생성될 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (9)

  1. 병변 영역 검출 장치가 대상체의 가중 확산 이미지(DWI) 및 확산 계수 이미지(ADC)를 수신하는 단계;
    상기 병변 영역 검출 장치가 상기 가중 확산 이미지를 표준화하는 단계;
    상기 병변 영역 검출 장치가 상기 확산 계수 이미지를 표준화하는 단계;
    상기 병변 영역 검출 장치가 병변 영역 검출 모델을 이용하여 표준화한 상기 가중 확산 이미지 및 상기 확산 계수 이미지로부터 병변 영역들을 추출하는 단계; 및
    상기 병변 영역 검출 장치가 추출한 하나 이상의 병변 영역을 출력하는 단계;를 포함하는 병변 영역 검출 방법.
  2. 제1항에 있어서,
    상기 병변 영역 검출 모델은
    가중 확산 이미지들 및 확산 계수 이미지들과 대응되어 기 등록된 병변 마스크들을 반복적으로 입력 받고, 상기 가중 확산 이미지들 및 상기 확산 계수 이미지들로부터 추출된 입력 데이터들 중에서, 병변 마스크들을 검출하는데 기준이 되는 데이터들을 선택하고, 선택한 데이터들을 기초로 학습되는 점을 특징으로 하는, 병변 영역 검출 방법.
  3. 제1항에 있어서,
    상기 병변 영역 검출 모델은
    기 등록된 병변 마스크와 비교하여 기 설정된 평가 기준을 만족하지 않는 것으로 판단된 경우, 다른 병변 영역 검출 모델로 변경되는 점을 특징으로 하는, 병변 영역 검출 방법.
  4. 제1항에 있어서,
    상기 병변 영역 검출 모델은
    확산 계수 이미지들을 기 설정된 임계 값 및 각 픽셀들의 확산 계수의 표준 편차를 이용하여 표준화하는 과정을 통해 변환된 확산 계수 이미지들 및 가중 확산 이미지들을 입력 받아 학습되는 점을 특징으로 하는, 병변 영역 검출 방법.
  5. 대상체의 가중 확산 이미지(DWI) 및 확산 계수 이미지(ADC)를 수신하는 데이터 수신부;
    상기 가중 확산 이미지 및 상기 확산 계수 이미지를 표준화하는 전처리부;
    병변 영역 검출 모델을 이용하여 표준화한 상기 가중 확산 이미지 및 상기 확산 계수 이미지로부터 병변 영역들을 추출하는 병변 영역 검출부; 및
    추출한 하나 이상의 병변 영역을 출력하는 입출력부;를 포함하는 병변 영역 검출 장치.
  6. 제5항에 있어서,
    상기 병변 영역 검출 모델은
    가중 확산 이미지들 및 확산 계수 이미지들과 대응되어 기 등록된 병변 마스크들을 반복적으로 입력 받고, 상기 가중 확산 이미지들 및 상기 확산 계수 이미지들로부터 추출된 입력 데이터들 중에서, 병변 마스크들을 검출하는데 기준이 되는 데이터들을 선택하고, 선택한 데이터들을 기초로 학습되는 점을 특징으로 하는, 병변 영역 검출 장치.
  7. 제5항에 있어서,
    상기 병변 영역 검출 모델은
    기 등록된 병변 마스크와 비교하여 기 설정된 평가 기준을 만족하지 않는 것으로 판단된 경우, 다른 병변 영역 검출 모델로 변경되는 점을 특징으로 하는, 병변 영역 검출 장치.
  8. 제5항에 있어서,
    상기 병변 영역 검출 모델은
    확산 계수 이미지들을 기 설정된 임계 값 및 각 픽셀들의 확산 계수의 표준 편차를 이용하여 표준화하는 과정을 통해 변환된 확산 계수 이미지들 및 가중 확산 이미지들을 입력 받아 학습되는 점을 특징으로 하는, 병변 영역 검출 장치.
  9. 컴퓨터를 이용하여 제1항 내지 제4항 중 어느 한 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 저장 매체에 저장된 컴퓨터 프로그램.
PCT/KR2019/015653 2018-11-15 2019-11-15 병변 영역 검출 장치, 병변 영역 검출 방법 및 컴퓨터 프로그램 Ceased WO2020101428A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180141129A KR102375258B1 (ko) 2018-11-15 2018-11-15 병변 영역 검출 장치, 병변 영역 검출 방법 및 컴퓨터 프로그램
KR10-2018-0141129 2018-11-15

Publications (1)

Publication Number Publication Date
WO2020101428A1 true WO2020101428A1 (ko) 2020-05-22

Family

ID=70731242

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/015653 Ceased WO2020101428A1 (ko) 2018-11-15 2019-11-15 병변 영역 검출 장치, 병변 영역 검출 방법 및 컴퓨터 프로그램

Country Status (2)

Country Link
KR (1) KR102375258B1 (ko)
WO (1) WO2020101428A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330619A (zh) * 2020-10-29 2021-02-05 浙江大华技术股份有限公司 一种检测目标区域的方法、装置、设备及存储介质
US20250054134A1 (en) * 2023-08-09 2025-02-13 Uti Limited Partnership Systems and methods for detecting ocular lesions in fundus images
US12456197B2 (en) 2022-05-24 2025-10-28 International Business Machines Corporation Lesion detection and segmentation

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102744753B1 (ko) * 2021-08-26 2024-12-20 재단법인 아산사회복지재단 중이염 고막 영상에 기계 학습 모델을 이용하여 정상 고막 영상을 생성하기 위한 고막 영상 처리 장치 및 방법
KR20240078793A (ko) * 2022-11-28 2024-06-04 사회복지법인 삼성생명공익재단 Ai를 이용해 간의 구조를 3d 모델로 구현하는 방법 및 이를 위한 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140042531A (ko) * 2012-09-28 2014-04-07 삼성전자주식회사 카테고리별 진단 모델을 이용한 병변 진단 장치 및 방법
JP2016000102A (ja) * 2014-06-11 2016-01-07 ザイオソフト株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2017165801A1 (en) * 2016-03-24 2017-09-28 The Regents Of The University Of California Deep-learning-based cancer classification using a hierarchical classification framework
US20180240233A1 (en) * 2017-02-22 2018-08-23 Siemens Healthcare Gmbh Deep Convolutional Encoder-Decoder for Prostate Cancer Detection and Classification
WO2018161078A1 (en) * 2017-03-03 2018-09-07 Massachusetts Eye And Ear Infirmary Image adjustment and standardization

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101854071B1 (ko) * 2017-01-13 2018-05-03 고려대학교 산학협력단 딥러닝을 사용하여 관심 부위 이미지를 생성하는 방법 및 장치
KR101917947B1 (ko) * 2017-02-23 2018-11-12 고려대학교 산학협력단 딥러닝을 사용하여 재발 부위를 예측하고, pet 이미지를 생성하는 방법과 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140042531A (ko) * 2012-09-28 2014-04-07 삼성전자주식회사 카테고리별 진단 모델을 이용한 병변 진단 장치 및 방법
JP2016000102A (ja) * 2014-06-11 2016-01-07 ザイオソフト株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2017165801A1 (en) * 2016-03-24 2017-09-28 The Regents Of The University Of California Deep-learning-based cancer classification using a hierarchical classification framework
US20180240233A1 (en) * 2017-02-22 2018-08-23 Siemens Healthcare Gmbh Deep Convolutional Encoder-Decoder for Prostate Cancer Detection and Classification
WO2018161078A1 (en) * 2017-03-03 2018-09-07 Massachusetts Eye And Ear Infirmary Image adjustment and standardization

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330619A (zh) * 2020-10-29 2021-02-05 浙江大华技术股份有限公司 一种检测目标区域的方法、装置、设备及存储介质
CN112330619B (zh) * 2020-10-29 2023-10-10 浙江大华技术股份有限公司 一种检测目标区域的方法、装置、设备及存储介质
US12456197B2 (en) 2022-05-24 2025-10-28 International Business Machines Corporation Lesion detection and segmentation
US20250054134A1 (en) * 2023-08-09 2025-02-13 Uti Limited Partnership Systems and methods for detecting ocular lesions in fundus images

Also Published As

Publication number Publication date
KR20200056871A (ko) 2020-05-25
KR102375258B1 (ko) 2022-03-17

Similar Documents

Publication Publication Date Title
WO2020101428A1 (ko) 병변 영역 검출 장치, 병변 영역 검출 방법 및 컴퓨터 프로그램
KR102237441B1 (ko) 뉴럴 네트워크를 이용하여 캡슐 내시경 영상으로부터 병변 판독 방법 및 장치
WO2019103440A1 (ko) 피검체의 의료 영상의 판독을 지원하는 방법 및 이를 이용한 장치
WO2019132168A1 (ko) 수술영상데이터 학습시스템
WO2017022908A1 (ko) 심층신경망을 이용한 골 연령 산출방법 및 프로그램
WO2022131642A1 (ko) 의료 영상 기반 질환 중증도 결정 장치 및 방법
WO2020111557A1 (ko) 혈관 지도 구축 장치, 방법 및 상기 방법을 실행하기 위한 컴퓨터 프로그램
WO2021177771A1 (ko) 의료 영상으로부터 바이오마커 발현을 예측하는 방법 및 시스템
WO2021071288A1 (ko) 골절 진단모델의 학습 방법 및 장치
WO2021034138A1 (ko) 치매 평가 방법 및 이를 이용한 장치
WO2019189972A1 (ko) 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법
WO2019143021A1 (ko) 영상의 열람을 지원하는 방법 및 이를 이용한 장치
WO2021002669A1 (ko) 병변 통합 학습 모델을 구축하는 장치와 방법, 및 상기 병변 통합 학습 모델을 사용하여 병변을 진단하는 장치와 방법
WO2018093189A1 (ko) 급성뇌경색 발생시점 추정시스템, 방법 및 프로그램
WO2022145841A1 (ko) 병변 판독 방법 및 이를 위한 장치
CN113052930A (zh) 一种胸部dr双能量数字减影图像生成方法
WO2019124836A1 (ko) 제1 의료 영상의 관심 영역을 제2 의료 영상 위에 맵핑하는 방법 및 이를 이용한 장치
WO2021241830A1 (ko) 신장 기능 이상을 검출하는 심층 신경망 기반 망막 영상 분석 방법 및 장치
WO2020246676A1 (ko) 자궁경부암 자동 진단 시스템
CN113096132A (zh) 图像处理的方法、装置、存储介质和电子设备
WO2017010612A1 (ko) 의료 영상 분석 기반의 병리 진단 예측 시스템 및 방법
US11120554B2 (en) Image diagnosis apparatus, image diagnosis method, and program
WO2025023801A1 (ko) 의료 영상 분할 방법 및 이를 수행하는 장치
WO2025048107A1 (ko) 의료 영상 분할 방법 및 이를 수행하는 장치
CN119379675A (zh) 基于深度学习的前列腺mri图像辅助诊断方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19885601

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19885601

Country of ref document: EP

Kind code of ref document: A1