WO2024043591A1 - 융합 영상을 이용한 턱관절 및 두경부 질환 진단 방법 및 장치 - Google Patents

융합 영상을 이용한 턱관절 및 두경부 질환 진단 방법 및 장치 Download PDF

Info

Publication number
WO2024043591A1
WO2024043591A1 PCT/KR2023/011914 KR2023011914W WO2024043591A1 WO 2024043591 A1 WO2024043591 A1 WO 2024043591A1 KR 2023011914 W KR2023011914 W KR 2023011914W WO 2024043591 A1 WO2024043591 A1 WO 2024043591A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
fusion
fusion image
actual
generating device
Prior art date
Application number
PCT/KR2023/011914
Other languages
English (en)
French (fr)
Inventor
송인석
조용원
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020230104092A external-priority patent/KR20240026856A/ko
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Publication of WO2024043591A1 publication Critical patent/WO2024043591A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the following embodiments relate to technology for generating fusion images using medical images and technology for diagnosing temporomandibular joint diseases and head and neck diseases using fusion images.
  • diagnosis In order to determine the exact cause of a disease occurring in the jaw joint or head and neck region, diagnosis must be made using hard tissues (teeth, bones, etc.) and soft tissues (muscles, discs, etc.) by fusing CT images and MRI images.
  • MRI scans can be a significant financial burden for patients.
  • conventional technologies there is a technology for generating CT images by synthesizing them based on MRI images. This technology has the advantage of preventing patients from having to undergo both MRI and CT scans.
  • this method has limitations in that it can only replace CT scans, which do not impose a significant financial burden on the patient, and cannot replace MRI scans, which impose a financial burden on the patient.
  • a method of generating a fusion image by fusing a CT (computer tomography) image and an MR (magnetic resonance) image includes the steps of: performing encoding on an input multi-scale actual CT image; generating a feature map based on the encoded actual CT image; Inputting the generated feature map into a synthetic MRI generation model to obtain a synthetic MR image from the synthetic MRI generation model; and inputting the actual CT image and the synthesized MR image into a fusion image generation model to obtain a fusion image from the fusion image generation model.
  • the synthetic MRI generation model may include a generative adversarial network (GAN).
  • GAN generative adversarial network
  • the generative adversarial network may be supervised learning based on a sagittal image of the CT image included in the learning data and a sagittal image of the MR image included in the learning data.
  • the generative adversarial network may be supervised by using the cross-sectional image of the CT image and the cross-sectional image of the MR image, each corresponding to the same slice end, as the learning data.
  • the encoding may include cropping the input multi-scale actual CT image; performing down sampling on the cropped actual CT image; and inputting the cropped and down-sampled actual CT image into residual blocks.
  • the fusion image generation model may include a multi-path convolutional neural network (Multi-path CNN).
  • Multi-path CNN multi-path convolutional neural network
  • the method for generating a fusion image may further include determining a diagnosis result for the subject's jaw joint or head and neck based on the fusion image.
  • the determining step includes determining whether the subject's jaw joint or head and neck is normal or abnormal based on a predetermined standard; And when it is determined that the subject's jaw joint or head and neck is abnormal, it may include determining the name of the jaw joint or head and neck disease.
  • a fusion image generating apparatus includes a memory and a processor, the memory stores instructions executable by the processor, and when the instructions are executed by the processor, the processor performs the fusion
  • An image generation device performs encoding on an input multi-scale real CT image, generates a feature map based on the encoded real CT image, and applies the generated feature map to a synthetic MRI generation model.
  • Control the fusion image generation device to acquire a synthetic MR image from the synthetic MRI generation model by inputting the real CT image and the synthetic MR image into the fusion image generation model to obtain a fusion image from the fusion image generation model. can do.
  • the synthetic MRI generation model may include a generative adversarial network (GAN).
  • GAN generative adversarial network
  • the generative adversarial network may be supervised learning based on a sagittal image of the CT image included in the learning data and a sagittal image of the MR image included in the learning data.
  • the generative adversarial network may be supervised by using the cross-sectional image of the CT image and the cross-sectional image of the MR image, each corresponding to the same slice end, as the learning data.
  • the processor performs cropping on the input multi-scale real CT image, performs down-sampling on the cropped real CT image, and generates the cropped and down-sampled real CT image.
  • the fusion image generating device can be controlled to input residual blocks.
  • the fusion image generation model may include a multi-path convolutional neural network (Multi-path CNN).
  • Multi-path CNN multi-path convolutional neural network
  • the processor may control the fusion image generation device to determine a diagnosis result for the subject's jaw joint or head and neck based on the fusion image.
  • the processor determines whether the fusion image generating device determines whether the subject's jaw joint or head and neck is normal or abnormal based on a predetermined standard, and when the subject's jaw joint or head and neck is determined to be abnormal, the jaw joint Alternatively, the fusion image generating device may be controlled to determine the name of the head and neck disease.
  • an MR image can be synthesized from a CT image without additional MRI imaging.
  • the financial burden on patients caused by MRI imaging can be reduced and the patient can be prevented from being exposed to radiation.
  • a fusion image that can simultaneously read hard tissue and soft tissue can be generated using only CT images.
  • the misdiagnosis rate of temporomandibular joint or head and neck diseases is reduced, the accuracy of diagnosis is improved, and the time required for diagnosis is reduced. Costs can be reduced.
  • the burden of time and cost required for MR imaging can be eliminated and patient convenience can be promoted.
  • FIG. 1 is a diagram illustrating an overview of a fusion image generation system according to an embodiment.
  • Figure 2 is a flowchart for explaining a method for generating a fusion image according to an embodiment.
  • FIG. 3 is a diagram illustrating a process for generating an MR image and a fusion image from a CT image according to an embodiment.
  • FIG. 4 is a diagram illustrating a process for generating a fusion image from a CT image according to an embodiment.
  • FIG. 5 is a diagram illustrating a process for generating an MR image and a fusion image from a CT image according to another embodiment.
  • FIG. 6 is a diagram illustrating the configuration of a fusion image generating device according to an embodiment.
  • first or second may be used to describe various components, but these terms should be interpreted only for the purpose of distinguishing one component from another component.
  • a first component may be named a second component, and similarly, the second component may also be named a first component.
  • FIG. 1 is a diagram illustrating an overview of a fusion image generation system according to an embodiment.
  • the fusion image generation system described in this specification is a synthetic MR system based on actual CT (computer tomography) images in order to improve the diagnostic accuracy of jaw joint or head and neck diseases and reduce the financial burden and inconvenience of the subject (or patient).
  • CT computer tomography
  • synthetic MR images can be fused.
  • the actual CT image may be a CT image actually captured
  • the synthetic MR image may be an MR image generated based on the actual CT image and may correspond to the actual MR image.
  • the fusion image generation system may generate a fusion image for diagnosis of a jaw joint or head and neck disease, and depending on the embodiment, may perform a diagnosis of a jaw joint or head and neck disease based on the fusion image.
  • an actual CBCT (Cone beam computed tomography) image may be used instead of an actual CT image.
  • the synthetic MRI generation model 120 may receive an actual CT image 110 as input.
  • the synthetic MRI generation model 120 can receive a multi-scale actual CT image 110 as input.
  • the synthetic MRI generation model 120 may generate a synthetic MR image based on the actual CT image 110.
  • the fusion image generation model 140 can receive a synthetic MR image and an actual CT image 130 as input.
  • the fusion image generation model 140 may fuse the input synthetic MR image and the actual CT image 130 to generate a fusion image 150 in which the synthetic MR image and the actual CT image 130 are fused.
  • Figure 2 is a flowchart for explaining a method for generating a fusion image according to an embodiment.
  • the fusion image generating apparatus may perform encoding on the input multi-scale actual CT image using an encoder.
  • the fusion image generator performs cropping on the input multi-scale real CT image, performs down-sampling on the cropped real CT image, and converts the cropped and down-sampled real CT image into residual blocks of the encoder.
  • the remaining blocks of the encoder represent the remaining blocks excluding the block on which the encoder performs cropping and the block on which down-sampling is performed.
  • Residual blocks are, for example, used in ResNet (residual neural network) and may be blocks that can contain information for each layer without losing it.
  • the output of the remaining blocks may be blocks that are input to the next layer and can also be input to a layer with a skip connection among subsequent layers.
  • the fusion image generating apparatus may generate a feature map based on the actual encoded CT image.
  • the fusion image generating device can assign adaptive weighted weights to each feature map.
  • the fusion image generation apparatus may input the generated feature map into the synthetic MRI generation model and obtain a synthetic MR image from the synthetic MRI generation model.
  • the synthetic MR image corresponds to the actual MR image and can be generated based on the actual CT image without MRI imaging.
  • the synthetic MRI generation model may include a Generative Adversarial Network (GAN).
  • GAN Generative Adversarial Network
  • the synthetic MRI generation model or generative adversarial network inputs the feature map corresponding to the CT image into adaptive residual blocks to perform style-based normalization and up sampling.
  • a synthetic MR image can be generated by performing .
  • the resolution and accuracy of synthetic MR images can be improved through style-based normalization and upsampling.
  • the generative adversarial network can be supervised learning based on the sagittal image of the CT image included in the learning data and the cross-sectional image of the MR image included in the learning data.
  • the generative adversarial network can be supervised by using the cross-sectional image of the CT image and the cross-sectional image of the MR image corresponding to the same slice end as learning data. That is, CT images and MR images may be given a slice number for each slice, and the generative adversarial network generates a cross-sectional image of the CT image corresponding to the same slice end on a subject-by-subject basis (or a subject-by-patient basis).
  • the cross-sectional image of the MR image is supervised as learning data, so that there is no gap between the CT image and the MR image.
  • the cross-sectional image of the CT image and the cross-sectional image of the MR image, which are training data, may be in a multi-scale form including images of various resolutions. Through this, the diversity of images included in the learning data can be secured during the learning process.
  • the adversarial neural network can be learned by assigning adaptive weights based on patches for each region of CT images and MR images in order to prevent distortion of key regions.
  • the patch may refer to at least one of a piece or a part.
  • the fusion image generation device may input the actual CT image and the synthesized MR image into the fusion image generation model to obtain a fusion image from the fusion image generation model.
  • the fusion image may be an image that is a fusion of an actual CT image and a synthetic MR image.
  • an actual CT image may include hard tissue but not soft tissue.
  • a synthetic MR image may include soft tissue, and a fusion image of an actual CT image and a synthetic MR image may include both hard tissue and soft tissue.
  • the fusion image generation model may include a multi-path convolutional neural network (Multi-path CNN).
  • the fusion image generation model can perform registration so that the soft tissue included in the synthetic MR image and the hard tissue included in the actual CT image correspond to appropriate positions. Registration is a process of numerically parallelizing the actual CT image and the synthesized MR image to match them geometrically.
  • the fusion image generation model determines the exact reference position for fusing the actual CT image and the synthesized MR image according to the standard through registration. You can adjust the location.
  • the fusion image generating device can estimate information that cannot be obtained from the CT image by acquiring a synthetic MR image based on the CT image.
  • the fusion image generating device can obtain a fusion image that combines CT images and MR images, making it possible to identify not only bone change patterns but also soft tissue change patterns. The accuracy of diagnosis of temporomandibular joint disease can be improved by using fusion images.
  • the fusion image generating device may determine a diagnosis result for the subject's jaw joint or head and neck based on the fusion image.
  • the fusion image generating device may also be referred to as a temporomandibular joint disease diagnosis device.
  • the fusion image generating device may also be referred to as a head and neck disease diagnosis device.
  • the fusion image generating device can acquire MR images from CT images not only for the jaw joint and head, but also for various areas, generate fusion images, and diagnose diseases.
  • the fusion image generating device can obtain diagnostic results by inputting the fusion image into a diagnostic model based on a deep learning algorithm.
  • the diagnostic result may include whether the subject's jaw joint or head and neck is normal or abnormal based on predetermined standards, and if the subject's jaw joint or head and neck are determined to be abnormal, the name of the jaw joint or head and neck disease. .
  • the fusion image generating device or diagnostic model may determine whether the subject's jaw joint or head and neck is normal or abnormal based on predetermined criteria. If it is determined that the subject's jaw joint or head and neck is abnormal, the fusion image generating device can determine the name of the disease of the jaw joint or head and neck.
  • the diagnostic model can be learned based on the fusion image and learning data including whether the patient has a temporomandibular joint or head and neck disease corresponding to the fusion image, and the name of the temporomandibular joint or head and neck disease.
  • FIG. 3 is a diagram illustrating a process for generating an MR image and a fusion image from a CT image according to an embodiment.
  • the actual CT image 310 can be input to the fusion image generating device through a multi-scale method at various resolutions.
  • the actual CT image 310 may be a CT image in which hard tissue corresponding to the subject's (or patient's) jaw joint is imaged.
  • an embodiment based on a CT image in which hard tissue corresponding to the temporomandibular joint is captured is described, but this is only one embodiment, and the part of the subject's body imaged in the fusion image generation method is not limited to the description herein and the subject's body part is not limited to the description herein. It can be a variety of areas.
  • Hard tissues may include teeth and bones.
  • the fusion image generating device may generate a synthetic MR image 320 based on the actual CT image 310.
  • the synthetic MR image 320 is not generated through actual MRI imaging, but may be an MR image corresponding to an actual MR image.
  • the synthetic MR image 320 may include soft tissue corresponding to the subject's jaw joint. Soft tissue may include at least one of muscle and disc.
  • the fusion image generating device can perform registration on the actual CT image 310 and the synthesized MR image 320 to generate a fusion image 330 in which each part is appropriately positioned.
  • FIG. 4 is a diagram illustrating a process for generating a fusion image from a CT image according to an embodiment.
  • the fusion image generating apparatus may receive an actual CT image 410 of a first resolution and an actual CT image 420 of a second resolution.
  • the resolutions of the CT image 410 and the CT image 420 may be different.
  • the CT image 410 may be a higher-resolution CT image than the CT image 420.
  • the fusion image generating device is not limited to this and may receive more or fewer actual CT images.
  • CT images given as input can constitute multi-scale CT images.
  • the actual CT image 410 of the input first resolution may be input to the encoder 420 and encoded, and a feature map 430 may be generated as a result of encoding.
  • the encoder 420 may perform cropping and/or down sampling on the actual CT image 410 of the input first resolution, and the cropped and/or down sampling may be performed.
  • the feature map 430 can be obtained as an output of the residual blocks by inputting the actual CT image of the first resolution to the residual blocks.
  • the actual CT image 415 of the second resolution may be input to the encoder 425 and encoded, and a feature map 435 may be generated as a result of encoding.
  • the encoder 425 may perform cropping and/or down-sampling on the input actual CT image 415 of the second resolution, and may output the cropped and/or down-sampled actual CT image 415 of the second resolution as the remaining.
  • the feature map 435 can be generated as an output of the remaining blocks by inputting them into the blocks.
  • the generated feature maps 430 and 435 may be adaptively weighted feature maps, and the adaptive weighted feature map may accumulate features by weight starting from the bottom.
  • the weight may be determined based on the target image or target image, such as a cross-sectional image of an MR image included in the learning data.
  • the generated feature maps 430 and 435 may be input to the synthetic MRI generation model 440.
  • the synthetic MRI generation model 440 may generate a synthetic MR image in response to an input.
  • the synthetic MRI generation model 440 may perform style-based normalization by inputting the input feature maps 430 and 435 into adaptive residual blocks.
  • the synthetic MRI generation model 440 may generate a synthetic MR image by performing upsampling on adaptive residual blocks on which style-based normalization has been performed.
  • Adaptive residual blocks may be blocks to which features of residual blocks are adaptively applied.
  • Style-based normalization matches at least one of the target image, such as the cross-sectional image of the MR image included in the learning data, or the style of the target image, that is, shape and texture, to be similar in order to generate a synthetic MR image. It can represent the normalization process.
  • the fusion image generator inputs the actual CT image 420 into the convolutional neural network 460 and inputs the synthesized MR image 450 into the convolutional neural network 470 to generate the actual CT image 410 and the synthetic MR image ( A fused image 480 can be generated by merging 450).
  • the convolutional neural network 460 and the convolutional neural network 470 may be different neural networks or the same neural network.
  • a learning CT image of a first resolution, a learning CT image of a second resolution, and a target synthetic MR image are given as input.
  • the target synthetic MR image may correspond to a desirable synthetic MR image that the synthetic MRI generation model 440 should generate based on the learning CT image of the first resolution and the learning CT image of the second resolution.
  • the training CT image of the first resolution is input to the encoder 420, and the encoder 420 may output a feature map corresponding to the training CT image of the first resolution.
  • the training CT image of the second resolution is input to the encoder 425, and the encoder 425 may output a feature map corresponding to the training CT image of the second resolution.
  • the feature maps output from the encoder 420 and encoder 425 are input to the synthetic MRI generation model 440, and the synthetic MRI generation model 440 may output a synthetic MR image based on the input feature maps.
  • the learning device uses a loss function such as cross entropy to define a loss representing the difference between the synthetic MR image output by the synthetic MRI generation model 440 and the synthetic MR image for a pre-given purpose, and calculates the error inverse.
  • the parameters (e.g., weights of the neural network) of the synthetic MRI generation model 440 can be updated in a direction that reduces loss using a propagation algorithm.
  • the learning device can obtain a fused image by inputting the target synthetic MR image to the convolutional neural network 70 and fusing the results of inputting the learning CT image at the first resolution to the convolutional neural network 460. .
  • the learning device calculates the loss corresponding to the difference between the acquired fusion image and the desired fusion image given in advance using a loss function such as cross entropy, and uses an error backpropagation algorithm to reduce the loss by using a convolutional neural network (460).
  • parameters of the convolutional neural network 470 e.g., weights of the neural network
  • the learning device gradually moves the synthetic MRI generation model 440, the convolutional neural network 460, and/or the convolutional neural network 470 in a desirable direction by repeatedly performing the above learning process on a large number of learning CT images. It can be changed.
  • FIG. 5 is a diagram illustrating a process for generating an MR image and a fusion image from a CT image according to another embodiment.
  • the actual CT image 510 can be input to the fusion image generating device through a multi-scale method at various resolutions.
  • the actual CT image 510 may be a CT image in which hard tissue corresponding to the subject's (or patient's) neck is imaged.
  • an embodiment based on a CT image in which hard tissue corresponding to the neck is imaged is described, but it is only one of the embodiments, and the part of the subject's body imaged in the fusion image generation method is not limited to the description herein and the subject It can be various parts of .
  • Hard tissues may include teeth and bones.
  • the fusion image generating device may generate a synthetic MR image 520 based on the actual CT image 510.
  • the synthetic MR image 520 is not generated through actual MRI imaging, but may be an MR image corresponding to an actual MR image.
  • the synthetic MR image 520 may include soft tissue corresponding to the subject's neck. Soft tissue may include at least one of muscle and disc.
  • the fusion image generating device can perform registration on the actual CT image 510 and the synthesized MR image 520 to generate a fused image with the positions of each part appropriately arranged.
  • FIG. 6 is a diagram illustrating the configuration of a fusion image generating device according to an embodiment.
  • the fusion image generating device 600 may correspond to the fusion image generating device described in this specification.
  • the fusion image generating device 600 may include a processor 610, a memory 620, and a communicator 630.
  • the memory 620 is connected to the processor 610 and can store instructions executable by the processor 610, data to be operated by the processor 610, or data processed by the processor 610.
  • Memory 620 may include non-transitory computer-readable media, such as high-speed random access memory and/or non-volatile computer-readable storage media (e.g., one or more disk storage devices, flash memory devices, or other non-volatile solid-state memory devices). It can be included.
  • the communicator 630 provides an interface for communicating with an external device (eg, a hospital database or a CT imaging device).
  • an external device eg, a hospital database or a CT imaging device.
  • the processor 610 may control the fusion image generating apparatus 600 so that the fusion image generating apparatus 600 can perform one or more operations related to the operation of the fusion image generating apparatus 600.
  • the processor 610 may control the fusion image generation device 600 so that the fusion image generation device 600 performs encoding on the input multi-scale actual CT image.
  • the processor 610 performs cropping on the multi-scale actual CT image input by the fusion image generating device 600, performs down-sampling on the cropped actual CT image, and generates the cropped and down-sampled actual CT image.
  • the fusion image generating device 600 can be controlled to input the remaining blocks.
  • the processor 610 generates a feature map based on the encoded actual CT image, inputs the generated feature map into a synthetic MRI generation model, and obtains a synthetic MR image from the synthetic MRI generation model.
  • the fusion image generation device 600 can be controlled to obtain a fusion image from the fusion image generation model by inputting the actual CT image and the synthesized MR image into the fusion image generation model.
  • the processor 610 may control the fusion image generation device 600 to determine a diagnosis result for the subject's jaw joint or head and neck based on the fusion image.
  • the processor 610 uses the fusion image generating device 600 to determine whether the subject's jaw joint or head and neck is normal or abnormal based on a predetermined standard, and when it is determined that the subject's jaw joint or head and neck is abnormal, the jaw joint Alternatively, the fusion image generating device 600 may be controlled to determine the name of the head and neck disease.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium.
  • Computer-readable media may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the medium may be specially designed and configured for the embodiment or may be known and available to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Includes optical media (magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc.
  • program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
  • Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device.
  • Software and/or data may be used on any type of machine, component, physical device, virtual equipment, or computer storage medium to be interpreted by or to provide instructions or data to a processing device. It can be permanently or temporarily embodied in the device.
  • Software may be distributed over networked computer systems and stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer-readable recording media.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Optics & Photonics (AREA)
  • Epidemiology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

융합 영상 생성 방법 및 융합 영상 생성 장치가 개시된다. CT 영상 및 MR 영상이 융합된 융합 영상 생성 방법은 입력된 멀티 스케일의 실제 CT 영상에 대해 인코딩을 수행하는 단계, 인코딩된 실제 CT 영상에 기초하여 특징 맵을 생성하는 단계, 생성된 특징 맵을 합성 MRI 생성 모델에 입력하여 합성 MRI 생성 모델로부터 합성 MR 영상을 획득하는 단계 및 실제 CT 영상 및 합성 MR 영상을 융합 영상 생성 모델에 입력하여 융합 영상 생성 모델로부터 융합 영상을 획득하는 단계를 포함할 수 있다.

Description

융합 영상을 이용한 턱관절 및 두경부 질환 진단 방법 및 장치
아래 실시예들은 의료 영상을 이용하여 융합 영상을 생성하는 기술 및 융합 영상을 이용하여 턱관절 질환 및 두경부 질환을 진단하는 기술에 관한 것이다.
턱 관절 또는 두경부에 발생한 질환의 정확한 원인을 파악하기 위해서는 CT 영상과 MRI 영상을 융합하여 경조직(치아, 뼈 등)와 연조직(근육, 디스크 등)을 활용한 진단이 이루어져야 한다. 그러나, MRI 촬영은 환자에게 금전적으로 큰 부담이 될 수 있다. 종래의 기술 중 MRI 영상에 기초하여 CT 영상을 합성하여 생성하는 기술이 있다. 이 기술은 환자가 MRI 촬영 및 CT 촬영을 모두 해야 하는 번거로움을 방지해준다는 이점을 가진다. 그러나, 이 방법은 환자에게 금전적으로 크게 부담이 되지 않는 CT 촬영만을 대체할 수 있고, 환자에게 금전적인 부담을 안기는 MRI 촬영을 대체할 수는 없다는 점에서 한계가 있다.
일 실시예에 따른 CT(computer tomography) 영상 및 MR(magnetic resonance) 영상이 융합된 융합 영상 생성 방법은, 입력된 멀티 스케일의 실제 CT 영상에 대해 인코딩을 수행하는 단계; 상기 인코딩된 실제 CT 영상에 기초하여 특징 맵(feature map)을 생성하는 단계; 상기 생성된 특징 맵을 합성 MRI 생성 모델에 입력하여 상기 합성 MRI 생성 모델로부터 합성 MR 영상을 획득하는 단계; 및 상기 실제 CT 영상 및 상기 합성 MR 영상을 융합 영상 생성 모델에 입력하여 상기 융합 영상 생성 모델로부터 융합 영상을 획득하는 단계를 포함할 수 있다.
상기 합성 MRI 생성 모델은, 생성적 대립 신경망(Generative Adversarial Network; GAN)을 포함할 수 있다.
상기 생성적 대립 신경망은, 학습 데이터에 포함된 CT 영상의 단면(sagittal) 영상 및 상기 학습 데이터에 포함된 MR 영상의 단면 영상에 기초하여 지도 학습(Supervised Learning)될 수 있다.
상기 생성적 대립 신경망은, 각각 동일한 슬라이스 단에 대응하는 상기 CT 영상의 단면 영상 및 상기 MR 영상의 단면 영상을 상기 학습 데이터로써 지도 학습될 수 있다.
상기 인코딩을 수행하는 단계는, 상기 입력된 멀티 스케일의 실제 CT 영상에 대해 크롭을 수행하는 단계; 상기 크롭된 실제 CT 영상에 대해 다운 샘플링(down sampling)을 수행하는 단계; 및 상기 크롭되고 다운 샘플링된 실제 CT 영상을 잔여 블록들(residual blocks)에 입력하는 단계를 포함할 수 있다.
상기 융합 영상 생성 모델은, 멀티패스 콘볼루션 신경망(Multi-path Convolutional Neural Network; Multi-path CNN)을 포함할 수 있다.
일 실시예에 따른 융합 영상 생성 방법은 상기 융합 영상에 기초하여 대상자의 턱 관절 또는 두경부에 대한 진단 결과를 결정하는 단계를 더 포함할 수 있다.
상기 결정하는 단계는, 상기 대상자의 턱 관절 또는 두경부가 미리 정해진 기준에 기초하여 정상인지 또는 비정상인지 여부를 결정하는 단계; 및 상기 대상자의 턱 관절 또는 두경부가 비정상인 것으로 결정된 경우, 턱 관절 또는 두경부의 질환명을 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 융합 영상 생성 장치는 메모리 및 프로세서를 포함하고, 상기 메모리는 상기 프로세서에 의해 실행 가능한 인스트럭션들(instructions)을 저장하고, 상기 인스트럭션들이 상기 프로세서에 의해 실행될 때, 상기 프로세서는 상기 융합 영상 생성 장치가, 입력된 멀티 스케일의 실제 CT 영상에 대해 인코딩을 수행하고, 상기 인코딩된 실제 CT 영상에 기초하여 특징 맵(feature map)을 생성하고, 상기 생성된 특징 맵을 합성 MRI 생성 모델에 입력하여 상기 합성 MRI 생성 모델로부터 합성 MR 영상을 획득하고, 상기 실제 CT 영상 및 상기 합성 MR 영상을 융합 영상 생성 모델에 입력하여 상기 융합 영상 생성 모델로부터 융합 영상을 획득하도록 상기 융합 영상 생성 장치를 제어할 수 있다.
상기 합성 MRI 생성 모델은, 생성적 대립 신경망(Generative Adversarial Network; GAN)을 포함할 수 있다.
상기 생성적 대립 신경망은, 학습 데이터에 포함된 CT 영상의 단면(sagittal) 영상 및 상기 학습 데이터에 포함된 MR 영상의 단면 영상에 기초하여 지도 학습(Supervised Learning)될 수 있다.
상기 생성적 대립 신경망은, 각각 동일한 슬라이스 단에 대응하는 상기 CT 영상의 단면 영상 및 상기 MR 영상의 단면 영상을 상기 학습 데이터로써 지도 학습될 수 있다.
상기 프로세서는 상기 융합 영상 생성 장치가, 상기 입력된 멀티 스케일의 실제 CT 영상에 대해 크롭을 수행하고, 상기 크롭된 실제 CT 영상에 대해 다운 샘플링을 수행하고, 상기 크롭되고 다운 샘플링된 실제 CT 영상을 잔여 블록들(residual blocks)에 입력하도록 상기 융합 영상 생성 장치를 제어할 수 있다.
상기 융합 영상 생성 모델은, 멀티-패스 콘볼루션 신경망(Multi-path Convolutional Neural Network; Multi-path CNN)을 포함할 수 있다.
상기 프로세서는 상기 융합 영상 생성 장치가, 상기 융합 영상에 기초하여 대상자의 턱 관절 또는 두경부에 대한 진단 결과를 결정하도록 상기 융합 영상 생성 장치를 제어할 수 있다.
상기 프로세서는 상기 융합 영상 생성 장치가, 상기 대상자의 턱 관절 또는 두경부가 미리 정해진 기준에 기초하여 정상인지 또는 비정상인지 여부를 결정하고, 상기 대상자의 턱 관절 또는 두경부가 비정상인 것으로 결정된 경우, 턱 관절 또는 두경부의 질환명을 결정하도록 상기 융합 영상 생성 장치를 제어할 수 있다.
일 실시예에 따르면 추가적인 MRI 촬영 없이도 CT 영상으로부터 MR 영상을 합성할 수 있다.
일 실시예에 따르면 MRI 촬영에 의한 환자의 금전적인 부담을 절감시킬 수 있고, 환자가 방사선에 노출되는 것을 방지할 수 있다.
일 실시예에 따르면 CT 영상만으로도 종래의 CT 영상에서는 나타나지 않는 연조직에 대한 진단을 수행할 수 있다.
일 실시예에 따르면 CT 영상만을 이용하여, 경조직과 연조직을 동시에 판독할 수 있는 융합 영상을 생성할 수 있다.
일 실시예에 따르면, CT 영상 및 MR 영상 간 딥러닝 알고리즘 기술을 통해 합성, 변환, 융합을 정확하게 수행하여 턱 관절 또는 두경부 질환의 오진율을 낮추고, 진단의 정확도 향상시키고, 진단에 소요되는 시간과 비용을 절감할 수 있다.
일 실시예에 따르면, MRI 촬영 없이 MR 영상을 생성함으로써, MR 영상 촬영에 필요한 시간과 비용에 대한 부담을 제거할 수 있고, 환자의 편의를 도모할 수 있다.
도 1은 일 실시예에 따른 융합 영상 생성 시스템의 개요를 도시하는 도면이다.
도 2는 일 실시예에 따른 융합 영상 생성 방법을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 CT 영상으로부터 MR 영상 및 융합 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 CT 영상으로부터 융합 영상이 생성되는 과정을 설명하기 위한 도면이다.
도 5는 다른 실시예에 따른 CT 영상으로부터 MR 영상 및 융합 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 융합 영상 생성 장치의 구성을 도시하는 도면이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 융합 영상 생성 시스템의 개요를 도시하는 도면이다.
본 명세서에서 설명하는 융합 영상 생성 시스템은, 턱 관절 또는 두경부 질환의 진단 정확도를 향상시키고 대상자(또는 환자)의 금전적인 부담 및 번거로움을 절감시키기 위하여 실제 CT(computer tomography) 영상에 기초하여 합성 MR(magnetic resonance) 영상을 생성하고, 실제 CT 영상과 합성 MR 영상을 융합할 수 있다. 여기서 실제 CT 영상은 실제로 촬영된 CT 영상일 수 있고, 합성 MR 영상은 실제 CT 영상에 기초하여 생성된 MR 영상으로, 실제 MR 영상에 대응할 수 있다. 융합 영상 생성 시스템은 턱 관절 또는 두경부 질환의 진단을 위한 융합 영상을 생성할 수 있고, 실시예에 따라 융합 영상에 기초하여 턱 관절 또는 두경부 질환에 대한 진단을 수행할 수도 있다. 또한, 실시예에 따라 실제 CT 영상 대신 실제 CBCT(Cone beam computed tomography) 영상이 사용될 수도 있다.
도 1을 참조하면, 합성 MRI 생성 모델(120)은 실제 CT 영상(110)을 입력받을 수 있다. 합성 MRI 생성 모델(120)은 멀티 스케일의 실제 CT 영상(110)을 입력받을 수 있다. 합성 MRI 생성 모델(120)은 실제 CT 영상(110)에 기초하여 합성 MR 영상을 생성할 수 있다. 융합 영상 생성 모델(140)은 합성 MR 영상 및 실제 CT 영상(130)을 입력받을 수 있다. 융합 영상 생성 모델(140)은 입력받은 합성 MR 영상 및 실제 CT 영상(130)을 융합하여, 합성 MR 영상 및 실제 CT 영상(130)이 융합된 융합 영상(150)을 생성할 수 있다.
도 2는 일 실시예에 따른 융합 영상 생성 방법을 설명하기 위한 흐름도이다.
도 2를 참조하면, 단계(210)에서 융합 영상 생성 장치는 입력된 멀티 스케일의 실제 CT 영상에 대해 인코더(encoder)를 이용하여 인코딩을 수행할 수 있다. 융합 영상 생성 장치는 입력된 멀티 스케일의 실제 CT 영상에 대해 크롭을 수행하고, 크롭된 실제 CT 영상에 대해 다운 샘플링을 수행하며, 크롭되고 다운 샘플링된 실제 CT 영상을 인코더의 잔여 블록들(residual blocks)에 입력하여 인코딩을 수행할 수 있다. 여기서, 인코더의 잔여 블록들은 인코더에서 크롭을 수행하는 블록과 다운 샘플링을 수행한 블록을 제외한 나머지 블록들을 나타낸다. 잔여 블록들은 예를 들어 ResNet(residual neural network)에서 사용되고, 각 레이어별 정보를 잃지 않고 담을 수 있는 블록들일 수 있다. 잔여 블록들의 출력은 다음 레이어에 입력되고 그 이후의 레이어들 중에서 스킵 연결(skip connection)이 있는 레이어에도 입력될 수 있는 블록들일 수 있다.
단계(220)에서 융합 영상 생성 장치는 인코딩된 실제 CT 영상에 기초하여 특징 맵(feature map)을 생성할 수 있다. 융합 영상 생성 장치는 각 특징 맵에 적응적 가중치(adaptive weighted)를 부여할 수 있다.
단계(230)에서 융합 영상 생성 장치는 생성된 특징 맵을 합성 MRI 생성 모델에 입력하여 합성 MRI 생성 모델로부터 합성 MR 영상을 획득할 수 있다. 합성 MR 영상은 실제 MR 영상에 대응하면서도 MRI 촬영 없이 실제 CT 영상에 기초하여 생성될 수 있다.
합성 MRI 생성 모델은 생성적 대립 신경망(Generative Adversarial Network; GAN)을 포함할 수 있다. 합성 MRI 생성 모델 또는 생성적 대립 신경망은 CT 영상에 대응하는 특징 맵을 적응적 잔여 블록들(adaptive residual blocks)에 입력하여 스타일 기반의 정규화(style based normalization)를 수행하고, 업 샘플링(up sampling)을 수행하여 합성 MR 영상을 생성할 수 있다. 스타일 기반의 정규화 및 업 샘플링을 통해 합성 MR 영상의 해상도와 정확도가 향상될 수 있다.
생성적 대립 신경망은 학습 데이터에 포함된 CT 영상의 단면(sagittal) 영상 및 학습 데이터에 포함된 MR 영상의 단면 영상에 기초하여 지도 학습(Supervised Learning)될 수 있다. 생성적 대립 신경망은, 각각 동일한 슬라이스 단에 대응하는 CT 영상의 단면 영상 및 MR 영상의 단면 영상을 학습 데이터로써 지도 학습될 수 있다. 즉, CT 영상 및 MR 영상은 슬라이스마다 슬라이스 번호가 부여될 수 있는데, 생성적 대립 신경망은, 대상자 단위로(또는 대상자 별로, 환자 단위로), 각각 동일한 슬라이스 단에 대응하는 CT 영상의 단면 영상 및 MR 영상의 단면 영상을 학습 데이터로써 지도 학습되어, CT 영상과 MR 영상간 격이 없도록 학습될 수 있다.
학습 데이터인 CT 영상의 단면 영상 및 MR 영상의 단면 영상은 다양한 해상도의 이미지를 포함하는 멀티 스케일 형태일 수 있다. 이를 통해 학습 과정에서 학습 데이터에 포함된 영상의 다양성을 확보할 수 있다. 대립 신경망은, 주요 영역의 왜곡을 방지하기 위하여, CT 영상 및 MR 영상의 영역 별 패치에 기초하여 적응적 가중치를 부여하는 방식으로 학습될 수 있다. 여기서 패치는 조각 또는 부분 중 적어도 하나를 지칭할 수 있다.
단계(240)에서 융합 영상 생성 장치는 실제 CT 영상 및 합성 MR 영상을 융합 영상 생성 모델에 입력하여 융합 영상 생성 모델로부터 융합 영상을 획득할 수 있다. 여기서 융합 영상은 실제 CT 영상과 합성 MR 영상이 융합된 영상일 수 있다. 예를 들어, 실제 CT 영상은 경조직을 포함할 수 있지만 연조직을 포함하지 않을 수 있다. 반면에, 합성 MR 영상은 연조직을 포함할 수 있으며, 실제 CT 영상과 합성 MR 영상의 융합 영상은 경조직과 연조직을 모두 포함할 수 있다. 융합 영상 생성 모델은 멀티-패스 콘볼루션 신경망(Multi-path Convolutional Neural Network; Multi-path CNN)을 포함할 수 있다. 융합 영상 생성 모델은 레지스트레이션(registration)을 수행하여 합성 MR 영상에 포함된 연조직과 실제 CT 영상에 포함된 경조직이 적절한 위치에 대응되도록 할 수 있다. 레지스트레이션은 실제 CT 영상 및 합성 MR 영상을 수치적으로 병립하여 기하학적으로 일치시키는 과정으로, 융합 영상 생성 모델은 레지스트레이션을 통해 기준에 따라서 실제 CT 영상 및 합성 MR 영상을 융합하기 위한 정확한 기준 위치를 결정하거나 위치를 맞출 수 있다.
융합 영상 생성 장치는 CT 영상에 기초하여 합성 MR 영상을 획득하는 것에 의해 CT 영상으로부터 획득할 수 없는 정보를 추정할 수 있다. 또한, 융합 영상 생성 장치는 CT 영상 및 MR 영상을 융합한 융합 영상을 획득하는 것에 의해, 골변화 양상 뿐만 아니라 연조직의 변화 양상까지 모두 파악이 가능하도록 할 수 있다. 융합 영상을 이용함으로써 턱관절 질환의 진단의 정확성이 향상될 수 있다.
융합 영상 생성 장치는 실시예에 따라 융합 영상에 기초하여 대상자의 턱 관절 또는 두경부에 대한 진단 결과를 결정할 수도 있다. 융합 영상 생성 장치가 융합 영상에 기초하여 대상자의 턱 관절에 대한 진단 결과를 결정하는 경우, 융합 영상 생성 장치는 턱 관절 질환 진단 장치로도 지칭될 수 있다. 또한, 융합 영상 생성 장치가 융합 영상에 기초하여 대상자의 두경부에 대한 진단 결과를 결정하는 경우, 융합 영상 생성 장치는 두경부 질환 진단 장치라고도 지칭될 수 있다. 융합 영상 생성 장치는 턱 관절 및 두경우 뿐만 아니라 다양한 부위에 대해서도 CT 영상으로부터 MR 영상을 획득할 수 있고, 융합 영상을 생성할 수 있으며, 질환의 진단을 수행할 수도 있다. 융합 영상 생성 장치는 딥러닝 알고리즘에 기반한 진단 모델에 융합 영상을 입력하여 진단 결과를 획득할 수 있다. 여기서 진단 결과는 대상자의 턱 관절 또는 두경부가 미리 정해진 기준에 기초하여 정상인지 또는 비정상인지 여부와, 대상자의 턱 관절 또는 두경부가 비정상인 것으로 결정된 경우, 턱 관절 또는 두경부의 질환명을 포함할 수 있다.
융합 영상 생성 장치 또는 진단 모델은 대상자의 턱 관절 또는 두경부가 미리 정해진 기준에 기초하여 정상인지 또는 비정상인지 여부를 결정할 수 있다. 대상자의 턱 관절 또는 두경부가 비정상인 것으로 결정된 경우, 융합 영상 생성 장치는 턱 관절 또는 두경부의 질환명을 결정할 수 있다. 진단 모델은 융합 영상과 융합 영상에 대응하는 환자의 턱 관절 또는 두경부 질환 여부와 턱 관절 또는 두경부 질환명을 포함하는 학습 데이터에 기초하여 학습될 수 다.
도 3은 일 실시예에 따른 CT 영상으로부터 MR 영상 및 융합 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 3을 참조하면 실제 CT 영상(310)이 다양한 해상도로 멀티 스케일 방식을 통해 융합 영상 생성 장치에 입력될 수 있다. 실제 CT 영상(310)은 대상자(또는 환자)의 턱 관절에 대응하는 경조직이 촬영된 CT 영상일 수 있다. 일 실시예에서 턱 관절에 대응하는 경조직이 촬영된 CT 영상에 기초한 실시예가 설명되지만 이는 일 실시예일 뿐, 융합 영상 생성 방법에서 촬영된 대상자의 신체 일부는 본 명세서에서의 설명에 한정되지 않고 대상자의 다양한 부위가 될 수 있다. 경조직은 치아 및 뼈 등을 포함할 수 있다.
융합 영상 생성 장치는 실제 CT 영상(310)에 기초하여 합성 MR 영상(320)을 생성할 수 있다. 합성 MR 영상(320)은 실제 MRI 촬영을 통해 생성된 것은 아니지만 실제 MR 영상에 대응되는 MR 영상일 수 있다. 합성 MR 영상(320)은 대상자의 턱 관절에 대응하는 연조직을 포함할 수 있다. 연조직은 근육 및 디스크 중 적어도 하나를 포함할 수 있다.
융합 영상 생성 장치는 실제 CT 영상(310)과 합성 MR 영상(320)에 대해 레지스트레이션을 수행하여 각 부위의 위치가 적절하게 배치되어 융합된 융합 영상(330)을 생성할 수 있다.
도 4는 일 실시예에 따른 CT 영상으로부터 융합 영상이 생성되는 과정을 설명하기 위한 도면이다.
도 4를 참조하면, 융합 영상 생성 장치는 제1 해상도의 실제 CT 영상(410) 및 제2 해상도의 실제 CT 영상(420)을 입력받을 수 있다. 여기서 CT 영상(410) 및 CT 영상(420)의 해상도는 서로 다를 수 있다. 예를 들어, CT 영상(410)는 CT 영상(420)보다 고해상도의 CT 영상일 수 있다. 여기서 예시적으로 설명하기 위해 두 개의 해상도의 실제 CT 영상을 입력받는 것으로 설명하지만, 이에 한정되지 않고 융합 영상 생성 장치는 더 많거나 더 적은 수의 실제 CT 영상을 입력받을 수 있다. 예를 들어, 입력으로서 주어지는 CT 영상은 2개 이상일 수 있으며, 인코더(420, 425)의 개수는 CT 영상의 개수에 대응되게 설계될 수 있다. 입력으로서 주어지는 CT 영상들은 멀티 스케일의 CT 영상들을 구성할 수 있다.
입력된 제1 해상도의 실제 CT 영상(410)은 인코더(420)입력되어 인코딩될 수 있고, 인코딩의 결과로 특징 맵(430)이 생성될 수 있다. 일 실시예에서, 인코더(420)는 입력된 제1 해상도의 실제 CT 영상(410)에 대해 크롭(crop) 및/또는 다운 샘플링(down sampling)을 수행할 수 있고, 크롭 및/또는 다운 샘플링된 제1 해상도의 실제 CT 영상을 잔여 블록들에 입력시키는 것에 의해 잔여 블록들의 출력으로써 특징 맵(430)을 획득할 수 있다.
또한, 입력된 제2 해상도의 실제 CT 영상(415)는 인코더(425)에 입력되어 인코딩될 수 있고, 인코딩의 결과로 특징 맵(435)가 생성될 수 있다. 인코더(425)는 입력된 제2 해상도의 실제 CT 영상(415)에 대해 크롭 및/또는 다운 샘플링을 수행할 수 있고, 크롭 및/또는 다운 샘플링된 제2 해상도의 실제 CT 영상(415)을 잔여 블록들에 입력시키는 것에 의해 잔여 블록들의 출력으로써 특징 맵(435)를 생성할 수 있다.
생성된 특징 맵들(430 및 435)은 적응적 가중치가 부여된 적응적 가중 특징 맵일 수 있고, 적응적 가중 특징 맵은 제일 하단 부분에서부터 특징을 가중치 별로 누적 시킬 수 있다. 여기서, 가중치는 학습 데이터에 포함된 MR 영상의 단면 영상과 같은 목적 이미지 또는 목적 영상에 기초하여 결정될 수 있다.
생성된 특징 맵들(430 및 435)은 합성 MRI 생성 모델(440)에 입력될 수 있다. 합성 MRI 생성 모델(440)은 입력에 응답하여 합성 MR 영상을 생성할 수 있다. 합성 MRI 생성 모델(440)은 입력된 특징 맵들(430 및 435)을 적응적 잔여 블록(adaptive residual block)들에 입력하여 스타일 기반의 정규화를 수행할 수 있다. 합성 MRI 생성 모델(440)은 스타일 기반의 정규화가 수행된 적응적 잔여 블록들에 대해 업 샘플링을 수행하는 것에 의해 합성 MR 영상을 생성할 수 있다. 적응적 잔여 블록들은 잔여 블록들의 특징들이 적응적으로 적용되는 블록들일 수 있다. 스타일 기반의 정규화는 합성 MR 영상을 생성하기 위해, 학습 데이터에 포함된 MR 영상의 단면 영상과 같은 목적 이미지 또는 목적 영상의 스타일, 즉 형태(shape) 및 텍스처(texture) 중 적어도 하나를 유사하게 맞추는 정규화 과정을 나타낼 수 있다.
융합 영상 생성 장치는 실제 CT 영상(420)을 콘볼루션 신경망(460)에 입력하고, 합성 MR 영상(450)을 콘볼루션 신경망(470)에 입력하여, 실제 CT 영상(410)과 합성 MR 영상(450)이 융합된 융합 영상(480)을 생성할 수 있다. 실시예에 따라 콘볼루션 신경망(460) 및 콘볼루션 신경망(470)은 상이한 신경망일 수 있고 동일한 신경망일 수도 있다.
합성 MRI 생성 모델(440)의 학습 과정에서는, 입력으로서 제1 해상도의 학습 CT 영상 및 제2 해상도의 학습 CT 영상과 목적으로 하는 합성 MR 영상이 주어진다. 목적으로 하는 합성 MR 영상은 제1 해상도의 학습 CT 영상 및 제2 해상도의 학습 CT 영상에 기반하여 합성 MRI 생성 모델(440)이 생성해야 하는 바람직한 합성 MR 영상에 대응할 수 있다. 제1 해상도의 학습 CT 영상은 인코더(420)에 입력되고, 인코더(420)는 제1 해상도의 학습 CT 영상에 대응하는 특징 맵을 출력할 수 있다. 제2 해상도의 학습 CT 영상은 인코더(425)에 입력되고, 인코더(425)는 제2 해상도의 학습 CT 영상에 대응하는 특징 맵을 출력할 수 있다. 인코더(420) 및 인코더(425)에서 출력된 특징 맵들은 합성 MRI 생성 모델(440)에 입력되고, 합성 MRI 생성 모델(440)은 입력된 특징 맵들에 기초하여 합성 MR 영상을 출력할 수 있다. 일 실시예에서, 학습 장치는 크로스 엔트로피와 같은 손실 함수를 이용하여 합성 MRI 생성 모델(440)이 출력한 합성 MR 영상과 미리 주어진 목적으로 하는 합성 MR 영상 간의 차이를 나타내는 손실을 정의하고, 오류 역전파 알고리즘을 이용하여 손실이 줄어드는 방향으로 합성 MRI 생성 모델(440)의 파라미터(예: 뉴럴 네트워크의 가중치)를 업데이트할 수 있다. 또한, 학습 장치는 목적으로 하는 합성 MR 영상을 콘볼루션 신경망(70)에 입력시키고, 제1 해상도의 학습 CT 영상을 콘볼루션 신경망(460)에 입력시킨 결과를 융합하여 융합 영상을 획득할 수 있다. 학습 장치는 획득된 융합 영상과 미리 주어진 바람직한 융합 영상 간의 차이에 대응하는 손실을 크로스 엔트로피와 같은 손실 함수를 이용하여 계산하고, 오류 역전파 알고리즘을 이용하여 손실이 줄어드는 방향으로 콘볼루션 신경망(460) 및 콘볼루션 신경망(470)의 파라미터(예: 뉴럴 네트워크의 가중치)를 업데이트할 수 있다. 학습 장치는 많은 수의 학습 CT 영상들에 대해 위 학습 과정을 반복적으로 수행하는 것에 의해 합성 MRI 생성 모델(440), 콘볼루션 신경망(460) 및/또는 콘볼루션 신경망(470)을 점차 바람직한 방향으로 변경시킬 수 있다.
도 5는 다른 실시예에 따른 CT 영상으로부터 MR 영상 및 융합 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 5을 참조하면 실제 CT 영상(510)이 다양한 해상도로 멀티 스케일 방식을 통해 융합 영상 생성 장치에 입력될 수 있다. 실제 CT 영상(510)은 대상자(또는 환자)의 경두부에 대응하는 경조직이 촬영된 CT 영상일 수 있다. 이 실시예에서 경두부에 대응하는 경조직이 촬영된 CT 영상에 기초한 실시예가 설명되지만 실시예 중 하나일 뿐, 융합 영상 생성 방법에서 촬영된 대상자의 신체 일부는 본 명세서에서의 설명에 한정되지 않고 대상자의 다양한 부위가 될 수 있다. 경조직은 치아 및 뼈 등을 포함할 수 있다.
융합 영상 생성 장치는 실제 CT 영상(510)에 기초하여 합성 MR 영상(520)을 생성할 수 있다. 합성 MR 영상(520)은 실제 MRI 촬영을 통해 생성된 것은 아니지만 실제 MR 영상에 대응되는 MR 영상일 수 있다. 합성 MR 영상(520)은 대상자의 경두부에 대응하는 연조직을 포함할 수 있다. 연조직은 근육 및 디스크 중 적어도 하나를 포함할 수 있다.
융합 영상 생성 장치는 실제 CT 영상(510)과 합성 MR 영상(520)에 대해 레지스트레이션을 수행하여 각 부위의 위치가 적절하게 배치되어 융합된 융합 영상을 생성할 수 있다.
도 6은 일 실시예에 따른 융합 영상 생성 장치의 구성을 도시하는 도면이다.
도 6을 참조하면, 융합 영상 생성 장치(600)는 본 명세서에서 설명된 융합 영상 생성 장치에 대응할 수 있다. 융합 영상 생성 장치(600)는 프로세서(610), 메모리(620) 및 통신기(630)를 포함할 수 있다.
메모리(620)는 프로세서(610)에 연결되고, 프로세서(610)에 의해 실행가능한 인스트럭션들, 프로세서(610)가 연산할 데이터 또는 프로세서(610)에 의해 처리된 데이터를 저장할 수 있다. 메모리(620)는 비일시적인 컴퓨터 판독가능 매체, 예컨대 고속 랜덤 액세스 메모리 및/또는 비휘발성 컴퓨터 판독가능 저장 매체(예컨대, 하나 이상의 디스크 저장 장치, 플래쉬 메모리 장치, 또는 기타 비휘발성 솔리드 스테이트 메모리 장치)를 포함할 수 있다.
통신기(630)는 외부 장치(예를 들어, 병원 데이터베이스 또는 CT 영상 촬영 장치)와 통신하기 위한 인터페이스를 제공한다.
프로세서(610)는 융합 영상 생성 장치(600)의 동작과 관련된 하나 이상의 동작을 융합 영상 생성 장치(600)가 수행할 수 있도록 융합 영상 생성 장치(600)를 제어할 수 있다.
예를 들어, 프로세서(610)는 융합 영상 생성 장치(600)가 입력된 멀티 스케일의 실제 CT 영상에 대해 인코딩을 수행하도록 융합 영상 생성 장치(600)를 제어할 수 있다. 프로세서(610)는 융합 영상 생성 장치(600)가 입력된 멀티 스케일의 실제 CT 영상에 대해 크롭을 수행하고, 크롭된 실제 CT 영상에 대해 다운 샘플링을 수행하고, 크롭되고 다운 샘플링된 실제 CT 영상을 잔여 블록들에 입력하도록 융합 영상 생성 장치(600)를 제어할 수 있다.
프로세서(610)는 융합 영상 생성 장치(600)는 인코딩된 실제 CT 영상에 기초하여 특징 맵을 생성하고, 생성된 특징 맵을 합성 MRI 생성 모델에 입력하여 합성 MRI 생성 모델로부터 합성 MR 영상을 획득하고, 실제 CT 영상 및 합성 MR 영상을 융합 영상 생성 모델에 입력하여 융합 영상 생성 모델로부터 융합 영상을 획득하도록 융합 영상 생성 장치(600)를 제어할 수 있다.
프로세서(610)는 융합 영상 생성 장치(600)가 융합 영상에 기초하여 대상자의 턱 관절 또는 두경부에 대한 진단 결과를 결정하도록 융합 영상 생성 장치(600)를 제어할 수 있다. 프로세서(610)는 융합 영상 생성 장치(600) 대상자의 턱 관절 또는 두경부가 미리 정해진 기준에 기초하여 정상인지 또는 비정상인지 여부를 결정하고, 대상자의 턱 관절 또는 두경부가 비정상인 것으로 결정된 경우, 턱 관절 또는 두경부의 질환명을 결정하도록 융합 영상 생성 장치(600)를 제어할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 또는 컴퓨터 저장 매체 또는 장치에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (17)

  1. CT(computer tomography) 영상 및 MR(magnetic resonance) 영상이 융합된 융합 영상 생성 방법에 있어서,
    입력된 멀티 스케일의 실제 CT 영상에 대해 인코딩을 수행하는 단계;
    상기 인코딩된 실제 CT 영상에 기초하여 특징 맵(feature map)을 생성하는 단계;
    상기 생성된 특징 맵을 합성 MRI 생성 모델에 입력하여 상기 합성 MRI 생성 모델로부터 합성 MR 영상을 획득하는 단계; 및
    상기 실제 CT 영상 및 상기 합성 MR 영상을 융합 영상 생성 모델에 입력하여 상기 융합 영상 생성 모델로부터 융합 영상을 획득하는 단계
    를 포함하는,
    융합 영상 생성 방법.
  2. 제1항에 있어서,
    상기 합성 MRI 생성 모델은,
    생성적 대립 신경망(Generative Adversarial Network; GAN)을 포함하는,
    융합 영상 생성 방법.
  3. 제2항에 있어서,
    상기 생성적 대립 신경망은,
    학습 데이터에 포함된 CT 영상의 단면(sagittal) 영상 및 상기 학습 데이터에 포함된 MR 영상의 단면 영상에 기초하여 지도 학습(Supervised Learning)되는,
    융합 영상 생성 방법.
  4. 제3항에 있어서,
    상기 생성적 대립 신경망은,
    각각 동일한 슬라이스 단에 대응하는 상기 CT 영상의 단면 영상 및 상기 MR 영상의 단면 영상을 상기 학습 데이터로써 지도 학습되는,
    융합 영상 생성 방법.
  5. 제1항에 있어서,
    상기 인코딩을 수행하는 단계는,
    상기 입력된 멀티 스케일의 실제 CT 영상에 대해 크롭을 수행하는 단계;
    상기 크롭된 실제 CT 영상에 대해 다운 샘플링(down sampling)을 수행하는 단계; 및
    상기 크롭되고 다운 샘플링된 실제 CT 영상을 잔여 블록들(residual blocks)에 입력하는 단계
    를 포함하는,
    융합 영상 생성 방법.
  6. 제1항에 있어서,
    상기 융합 영상 생성 모델은,
    멀티패스 콘볼루션 신경망(Multi-path Convolutional Neural Network; Multi-path CNN)을 포함하는,
    융합 영상 생성 방법.
  7. 제1항에 있어서,
    상기 융합 영상에 기초하여 대상자의 턱 관절 또는 두경부에 대한 진단 결과를 결정하는 단계
    를 더 포함하는,
    융합 영상 생성 방법.
  8. 제7항에 있어서,
    상기 결정하는 단계는,
    상기 대상자의 턱 관절 또는 두경부가 미리 정해진 기준에 기초하여 정상인지 또는 비정상인지 여부를 결정하는 단계; 및
    상기 대상자의 턱 관절 또는 두경부가 비정상인 것으로 결정된 경우, 턱 관절 또는 두경부의 질환명을 결정하는 단계
    를 포함하는,
    융합 영상 생성 방법.
  9. 하드웨어와 결합되어 제1항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
  10. 융합 영상 생성 장치에 있어서,
    메모리 및 프로세서를 포함하고,
    상기 메모리는 상기 프로세서에 의해 실행 가능한 인스트럭션들(instructions)을 저장하고,
    상기 인스트럭션들이 상기 프로세서에 의해 실행될 때, 상기 프로세서는 상기 융합 영상 생성 장치가,
    입력된 멀티 스케일의 실제 CT 영상에 대해 인코딩을 수행하고,
    상기 인코딩된 실제 CT 영상에 기초하여 특징 맵(feature map)을 생성하고,
    상기 생성된 특징 맵을 합성 MRI 생성 모델에 입력하여 상기 합성 MRI 생성 모델로부터 합성 MR 영상을 획득하고,
    상기 실제 CT 영상 및 상기 합성 MR 영상을 융합 영상 생성 모델에 입력하여 상기 융합 영상 생성 모델로부터 융합 영상을 획득하도록 상기 융합 영상 생성 장치를 제어하는,
    융합 영상 생성 장치.
  11. 제10항에 있어서,
    상기 합성 MRI 생성 모델은,
    생성적 대립 신경망(Generative Adversarial Network; GAN)을 포함하는,
    융합 영상 생성 장치.
  12. 제11항에 있어서,
    상기 생성적 대립 신경망은,
    학습 데이터에 포함된 CT 영상의 단면(sagittal) 영상 및 상기 학습 데이터에 포함된 MR 영상의 단면 영상에 기초하여 지도 학습(Supervised Learning)되는,
    융합 영상 생성 장치.
  13. 제12항에 있어서,
    상기 생성적 대립 신경망은,
    각각 동일한 슬라이스 단에 대응하는 상기 CT 영상의 단면 영상 및 상기 MR 영상의 단면 영상을 상기 학습 데이터로써 지도 학습되는,
    융합 영상 생성 장치.
  14. 제10항에 있어서,
    상기 프로세서는 상기 융합 영상 생성 장치가,
    상기 입력된 멀티 스케일의 실제 CT 영상에 대해 크롭을 수행하고,
    상기 크롭된 실제 CT 영상에 대해 다운 샘플링을 수행하고,
    상기 크롭되고 다운 샘플링된 실제 CT 영상을 잔여 블록들(residual blocks)에 입력하도록 상기 융합 영상 생성 장치를 제어하는,
    융합 영상 생성 장치.
  15. 제10항에 있어서,
    상기 융합 영상 생성 모델은,
    멀티-패스 콘볼루션 신경망(Multi-path Convolutional Neural Network; Multi-path CNN)을 포함하는,
    융합 영상 생성 장치.
  16. 제10항에 있어서,
    상기 프로세서는 상기 융합 영상 생성 장치가,
    상기 융합 영상에 기초하여 대상자의 턱 관절 또는 두경부에 대한 진단 결과를 결정하도록 상기 융합 영상 생성 장치를 제어하는,
    융합 영상 생성 장치.
  17. 제16항에 있어서,
    상기 프로세서는 상기 융합 영상 생성 장치가,
    상기 대상자의 턱 관절 또는 두경부가 미리 정해진 기준에 기초하여 정상인지 또는 비정상인지 여부를 결정하고,
    상기 대상자의 턱 관절 또는 두경부가 비정상인 것으로 결정된 경우, 턱 관절 또는 두경부의 질환명을 결정하도록 상기 융합 영상 생성 장치를 제어하는,
    융합 영상 생성 장치.
PCT/KR2023/011914 2022-08-22 2023-08-11 융합 영상을 이용한 턱관절 및 두경부 질환 진단 방법 및 장치 WO2024043591A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0105060 2022-08-22
KR20220105060 2022-08-22
KR10-2023-0104092 2023-08-09
KR1020230104092A KR20240026856A (ko) 2022-08-22 2023-08-09 융합 영상을 이용한 턱관절 및 두경부 질환 진단 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2024043591A1 true WO2024043591A1 (ko) 2024-02-29

Family

ID=90013527

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/011914 WO2024043591A1 (ko) 2022-08-22 2023-08-11 융합 영상을 이용한 턱관절 및 두경부 질환 진단 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2024043591A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018192264A (ja) * 2017-05-18 2018-12-06 キヤノンメディカルシステムズ株式会社 医用画像処理装置
KR20220045366A (ko) * 2020-10-05 2022-04-12 고려대학교 산학협력단 인공지능 기반의 의료 영상 합성 장치 및 방법
KR20220057448A (ko) * 2020-10-29 2022-05-09 주식회사 크레스콤 통합 의료 영상 생성 방법, 통합 의료 영상 생성 장치, 및 통합 의료 영상 생성 시스템
US20220222873A1 (en) * 2021-01-14 2022-07-14 Therapanacea Devices and process for synthesizing images from a source nature to a target nature

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018192264A (ja) * 2017-05-18 2018-12-06 キヤノンメディカルシステムズ株式会社 医用画像処理装置
KR20220045366A (ko) * 2020-10-05 2022-04-12 고려대학교 산학협력단 인공지능 기반의 의료 영상 합성 장치 및 방법
KR20220057448A (ko) * 2020-10-29 2022-05-09 주식회사 크레스콤 통합 의료 영상 생성 방법, 통합 의료 영상 생성 장치, 및 통합 의료 영상 생성 시스템
US20220222873A1 (en) * 2021-01-14 2022-07-14 Therapanacea Devices and process for synthesizing images from a source nature to a target nature

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XUE YUNZHE, FARHAT FADI G., BOUKRINA OLGA, BARRETT A.M., BINDER JEFFREY R., ROSHAN USMAN W., GRAVES WILLIAM W.: "A multi-path 2.5 dimensional convolutional neural network system for segmenting stroke lesions in brain MRI images", NEUROIMAGE: CLINICAL, vol. 25, 1 January 2020 (2020-01-01), pages 102118, XP093142969, ISSN: 2213-1582, DOI: 10.1016/j.nicl.2019.102118 *

Similar Documents

Publication Publication Date Title
WO2019132168A1 (ko) 수술영상데이터 학습시스템
WO2020122357A1 (ko) 의료영상 재구성 방법 및 그 장치
US7158661B2 (en) Radiographic image processing method, radiographic image processing apparatus, radiographic image processing system, program, computer-readable storage medium, image diagnosis assisting method, and image diagnosis assisting system
WO2018056544A1 (ko) 치과 수술용 증강현실 시스템 및 구현방법
WO2021060700A1 (ko) 비디오투시 연하검사 판독 장치 및 방법
WO2020080604A1 (ko) 딥러닝 기반 ct 이미지 잡음 저감 장치 및 방법
WO2021015507A2 (ko) 인공지능을 이용한 조영증강 영상 및 비조영증강 영상 변환 방법 및 장치
WO2021230534A1 (ko) 안와 및 안와주변 병변 예측 장치 및 그 예측 방법
WO2022075641A1 (ko) 인공지능 기반의 의료 영상 합성 장치 및 방법
WO2024043591A1 (ko) 융합 영상을 이용한 턱관절 및 두경부 질환 진단 방법 및 장치
WO2022010075A1 (ko) 의료영상을 기초로 인체 조직을 분석하는 방법 및 그 장치
WO2019143120A1 (ko) 지능형 자동 방사선 치료계획 수립방법 및 시스템
WO2021054700A1 (ko) 치아 병변 정보 제공 방법 및 이를 이용한 장치
JP3706719B2 (ja) 画像処理装置及び方法及び記憶媒体
JP2004057592A (ja) 病院端末装置及び遠隔読影システム
WO2023008849A1 (ko) 3차원 치아 이미지 표시 장치 및 방법, 그리고 3차원 치아 이미지 표시 장치를 학습시키는 방법
WO2023121206A1 (ko) 신경망을 이용하여 영상의 노이즈를 저감하기 위한 학습 및 복원 방법과 이를 수행하는 컴퓨팅 장치
WO2022177044A1 (ko) 주목 메커니즘 기반의 멀티 스케일 조건부 적대적 생성 신경망을 활용한 고해상도 흉부 x선 영상 생성 장치 및 방법
WO2022055158A1 (ko) 치아 영상 부분 변환 방법 및 이를 위한 장치
WO2021145607A1 (ko) 치과 의무 기록 장치 및 그 치과 의무 기록 방법
KR20240026856A (ko) 융합 영상을 이용한 턱관절 및 두경부 질환 진단 방법 및 장치
EP4132411A1 (en) Real-time medical device tracking method from echocardiographic images for remote holographic proctoring
WO2019212179A1 (ko) 이첨판막의 판막륜 크기 결정 방법
WO2020230972A1 (ko) 훈련된 심층 신경망 모델의 재현 성능을 개선하는 방법 및 이를 이용한 장치
WO2023132523A1 (ko) 인공지능 모델에 기반하여 석회화에 대한 진단을 보조하기 위한 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23857625

Country of ref document: EP

Kind code of ref document: A1