WO2020060196A1 - 3차원 영상 재구성 장치 및 그 방법 - Google Patents

3차원 영상 재구성 장치 및 그 방법 Download PDF

Info

Publication number
WO2020060196A1
WO2020060196A1 PCT/KR2019/012086 KR2019012086W WO2020060196A1 WO 2020060196 A1 WO2020060196 A1 WO 2020060196A1 KR 2019012086 W KR2019012086 W KR 2019012086W WO 2020060196 A1 WO2020060196 A1 WO 2020060196A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
reconstruction
intercepted
intercept
Prior art date
Application number
PCT/KR2019/012086
Other languages
English (en)
French (fr)
Inventor
이동영
김유경
이재성
변민수
신성아
강승관
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190114294A external-priority patent/KR102245693B1/ko
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to US17/276,291 priority Critical patent/US11978146B2/en
Publication of WO2020060196A1 publication Critical patent/WO2020060196A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • a 3D image reconstruction apparatus and method are provided.
  • Three-dimensional (three-dimensional, 3D) images are widely used in medical imaging, such as patient diagnosis and disease prediction, and the need is gradually increasing.
  • medical imaging such as patient diagnosis and disease prediction
  • there are many difficulties in obtaining a high quality 3D image In particular, there is a big disadvantage that it takes a long time because the data storage capacity must be sufficiently supported and detailed shooting is required.
  • the problem to be solved by the present invention is to provide a 3D medical image with improved quality by accurately and quickly recovering specific information between sections of a 2D medical image.
  • the 3D reconstruction apparatus includes a communication unit that receives continuous 2D images having a random intercept interval, and one or more fragments positioned between 2D images based on feature points between adjacent 2D images. It includes an intercept image generating unit for generating an image, and a control unit for reconstructing and providing a two-dimensional image into a three-dimensional image using the generated intercept image.
  • the segmented image generator selects a voxel data group from a 2D image and repeats the process of applying the selected voxel data group to a learned deep learning algorithm to generate a segmented image located between 2D images in a 3D image format. can do.
  • a learning unit that learns a deep learning algorithm based on the original data by generating one or more intercepted images located between the secondary learning data by applying the 2D learning data generated based on the original data of the 3D image to the deep learning algorithm It may further include.
  • the learning unit performs linear interpolation on the 2D learning data, generates an intercepted image located between adjacent 2D learning data that is linearly interpolated, calculates an error with the original data corresponding to the generated intercepted image, and matches or not. If it is verified, the weights of a plurality of filters included in the deep learning algorithm may be adjusted and iteratively trained so that an intercepted image in which an error value is a threshold value or less is generated.
  • the learning unit may derive a parameter in which a loss function derived through the following equation is minimized to maintain fidelity between input and output.
  • n v is the number of voxels
  • y is the reference data
  • x s is the sparse sampled input
  • f is the generation network
  • L fid is the fidelity loss
  • L per is the perceptual loss of feature space
  • ⁇ is specific
  • the feature map, ⁇ 2 which performs the intermediate function of the neural network, is a tuning parameter for the loss function.
  • the intercept image generating unit blocks the voxel data group of the 2D image and connects the characteristics of each block in the convolution step and the characteristics of each block in the deconvolution step in a deep learning algorithm to obtain a high resolution of the intercept image.
  • an intercept image may be generated based on a preset filter application interval.
  • the intercept image generation unit may generate an intercept image that allows a minimized loss value to which a parameter derived in advance is applied using a WGAN-GP loss function including a gradient penalty term, a fidelity loss function, and a perceptual loss function.
  • the 3D image reconstruction method of the 3D reconstruction apparatus includes the steps of receiving continuous 2D images having arbitrary intercept intervals, and adjacent 2D images based on feature points between the 2D images. And generating one or more intercepted images located at and reconstructing and providing a two-dimensional image into a three-dimensional image using the generated intercepted image.
  • One embodiment of the present invention can specifically and quantitatively derive physiological and anatomical indicators, such as the thickness of the cerebral cortex, which was difficult to confirm in images of a section interval over a certain level.
  • One embodiment of the present invention can provide a 3D medical image by accurately and quickly recovering detailed information of a corresponding part even when a 3D medical image is taken.
  • FIG. 1 is a conceptual diagram illustrating a 3D reconstruction apparatus for reconstructing an image according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of a 3D reconstruction apparatus according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating an image reconstruction method of a 3D reconstruction apparatus according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a deep learning-based method for 3D reconstruction of a 2D medical image according to an embodiment of the present invention.
  • FIG. 5 is an exemplary view showing the structure of a neural network according to an embodiment of the present invention.
  • FIG. 6 is an exemplary view showing a 3D reconstruction method, linear interpolation, and reconstruction results through U-net according to an embodiment of the present invention.
  • FIG. 7 is a graph showing an accuracy evaluation result of the image reconstruction result of FIG. 6.
  • FIG. 8 is an exemplary view showing a 3D reconstruction method for a brain image, linear interpolation, and reconstruction results through U-net according to an embodiment of the present invention.
  • FIG. 9 is a graph for comparing 3D dice coefficients for the image reconstruction results of FIG. 8.
  • FIG. 1 is a conceptual diagram illustrating a 3D reconstruction apparatus for reconstructing an image according to an embodiment of the present invention.
  • a 3D reconstruction apparatus 200 receives a 2D image, it is reconstructed and provided as a 3D image through a deep learning algorithm 100 previously learned.
  • the 2D image means a set of continuous 2D images of the subject, and each 2D image has a random intercept interval.
  • the 3D reconstruction apparatus 200 receives a magnetic resonance image (MRI) representing a 2D cross-sectional image and reconstructs it into a magnetic resonance image of a 3D image through a pre-trained deep learning algorithm 100 Can be provided.
  • MRI magnetic resonance image
  • the 3D reconstruction apparatus 200 reconstructs an image
  • learning for constructing the deep learning algorithm 100 may be performed.
  • the deep learning algorithm 100 is trained so that a 3D image and a 2D image for the same image are provided as learning data, and in generating an intercepted image between the 2D images, the reconstruction can be performed in the same way as the 3D image. I can do it.
  • the deep learning algorithm 100 may be trained to find parameters that minimize the objective function set in the state in which the domain and the airspace of the function are given as data by supervised learning during machine learning through optimization.
  • the deep learning algorithm 100 may evaluate how well the function was learned by putting test data composed independently of the learning data.
  • the deep learning algorithm 100 includes a convolutional neural network (CNN), a generative adversarial network (GAN), a WASAN (Waserstein GAN), etc., which are known to be specialized in image processing. can do.
  • CNN convolutional neural network
  • GAN generative adversarial network
  • WASAN Wiserstein GAN
  • CNN convolutional neural networks
  • ResNet ResNet
  • DnCNN DenseNet
  • GAN Geneative Adversarial Network
  • GAN is a model of two neural network models: Generator (G) and Discriminator (D). Learning through competition and producing results.
  • the generator (G) learns actual data for the purpose of generating data that is close to reality and generates data based on this, and the discriminator (D) determines whether the data generated by the generator (G) is real or false To learn.
  • WGAN-GP is WGAN's advanced algorithm that adds a penalty term to apply k-Lipschitz constraints.
  • the 3D reconstruction apparatus 200 is described as reconstructing a 2D image into 3D using a deep learning algorithm of WGAN_GP, but is not limited thereto.
  • Equation 1 the loss function L WGAN-GP of WGAN_GP applied to the 3D reconstruction apparatus 200 is expressed by Equation 1 below.
  • E is the expected value for a given distribution
  • ⁇ symbol means the sample obtained from this distribution
  • P g represents the distribution of the generated data
  • the ⁇ parameter is set to 10. Is a randomly interpolated value that is implemented with uniform sampling from 0 to 1 and a sum of weights.
  • D is a discrimination network, and represents a logic function used to determine real or fake values.
  • Equation 1 the first and second terms minimize the Wasserstein distance between the generated data and the actual data distribution, allowing the network to generate more realistic samples between the actual data distribution.
  • the last term is implemented using automatic differentiation in Tensorflow.
  • the 1-Lipschitz constraint is implemented by calculating the slope of the logic function for.
  • FIG. 2 is a block diagram of a 3D reconstruction apparatus according to an embodiment of the present invention.
  • the 3D reconstruction apparatus 200 includes a communication unit 210, an intercept image generation unit 220, a control unit 230, and a learning unit 240.
  • the communication unit 210 may be connected to a terminal or a server, such as an interlocked imaging device, a medical device, or a medical image storage system, through a network to transmit and receive data.
  • a terminal or a server such as an interlocked imaging device, a medical device, or a medical image storage system
  • the data to be transmitted and received means a continuous two-dimensional image, a slice, an intercepted image, and the like, but is not limited thereto, and may include a tomography image of a three-dimensional image having an intercepted interval equal to or greater than a predetermined value.
  • the segmented image generation unit 220 generates one or more segmented images located between adjacent two-dimensional images based on feature points between the two-dimensional images.
  • the intercept image generation unit 220 generates the intercept image by applying the adjusted weight through the learned deep learning algorithm.
  • the section image generator 220 may generate one or more section images between the generated section image and the 2D image.
  • the intercept image generating unit 220 may repeatedly generate an intercept image to have an input or set intercept interval, and the intercept image may be generated as a 3D image.
  • the segmented image generator 220 may generate the segmented image by repeatedly applying based on a preset filter application interval.
  • controller 230 reconstructs and provides a 2D image into a 3D image using the generated intercept image.
  • the generated intercept image is formed as a 3D image, and the received 2D image using the 3D intercept image can be reconstructed into a 3D image and provided.
  • the learning unit 240 pre-learns a deep learning algorithm using learning data.
  • the learning unit 240 may receive learning data and original data that is a 3D image of the learning data, or generate learning data using the input 3D image, the original data.
  • the learning unit 240 may generate 2D learning data that is stretched into a 2D image so that the intercept interval is greater than or equal to the second threshold for the original data of the 3D image whose intercept interval is less than or equal to the first threshold.
  • the first threshold has a larger value than the second threshold, and each threshold can be easily changed and designed by the user according to conditions to be learned later.
  • the learning unit 240 may perform an update by re-learning the corresponding deep learning algorithm at a predetermined time interval or a set period for the learned deep learning algorithm.
  • the learning unit 240 may verify accuracy in response to the reconstructed 3D image.
  • the peak signal-to-noise ratio (PSNR), structural similarity (SSIM), and high frequency error standard (HFEN) can be used for image quality, as shown in Equation 2 below.
  • I x is the test image
  • I y is the reference image
  • MSE is the mean square error between them
  • ⁇ ( ⁇ ) and ⁇ ( ⁇ ) are the mean and variance or covariance of the two images
  • LoG ( ⁇ ) is a 3D Gaussian Laplacian filter function, and the size of the filter kernel is 15 pixels x 15 pixels x 15 pixels.
  • the learning unit 240 has been described as being included in the 3D reconstruction apparatus 200, but a terminal, a server, or a device for learning according to the application site and situation may be formed to be separately provided.
  • the 3D reconstruction apparatus 200 may be a server, a terminal, or a combination of these.
  • the terminal is a device having a computational processing capability by having a memory and a processor, respectively.
  • a memory and a processor respectively.
  • PDAs personal digital assistants
  • cell phones smart devices
  • tablets and the like.
  • the server is a processor in which a plurality of modules are stored, and a processor that is connected to the memory and reacts to a plurality of modules and processes service information provided to a terminal or action information for controlling service information, communication And means for displaying a user interface (UI).
  • UI user interface
  • Memory is a device that stores information, such as high-speed random access memory (high-speed random access memory, magnetic disk storage, flash memory device, other non-volatile solid-state memory device) It may include various types of memory such as volatile memory.
  • the communication means transmits and receives service information or action information to the terminal in real time.
  • the UI display means outputs service information or action information of the device in real time.
  • the UI display means may be an independent device that directly or indirectly outputs or displays the UI, or may be a part of the device.
  • FIG. 3 is a flowchart illustrating an image reconstruction method of a 3D reconstruction apparatus according to an embodiment of the present invention.
  • the 3D reconstruction apparatus 200 receives a 2D image having a random intercept interval (S310).
  • the 3D reconstruction apparatus 200 may check whether the intercept interval is a 2D image having a predetermined interval or more.
  • the 3D reconstruction apparatus 200 may collect a captured image by interlocking with each medical device in real time, and collect images by accessing a separate database (not shown).
  • the 3D reconstruction apparatus 200 may perform linear interpolation on the 2D image.
  • the 3D reconstruction apparatus 200 generates a segmented image between 2D images (S320).
  • the 3D reconstruction apparatus 200 may generate one or more intercepted images positioned between 2D images in 3D by using the learned deep learning algorithm.
  • the learned deep learning algorithm is learned before step S310 through the 3D reconstruction apparatus 200 or a separate terminal / server.
  • FIG. 4 is a diagram illustrating a deep learning based method for 3D reconstruction of a 2D medical image according to an embodiment of the present invention
  • FIG. 5 is an exemplary view showing a structure of a neural network according to an embodiment of the present invention to be.
  • the 3D reconstruction apparatus 200 extends the 2D image so that the sectioning interval is greater than or equal to the second threshold for the original data (Fully sampled MRI) of the 3D image in which the sectioning interval is less than or equal to the first threshold.
  • Learn using two-dimensional learning data (Sparsely sampled MRI).
  • the 3D reconstruction apparatus 200 samples every 5th slice in the axial direction with respect to the reference image. In addition, the 3D reconstruction apparatus 200 performs linear interpolation to compare it with a high resolution image generated through a deep learning algorithm.
  • the 3D reconstruction apparatus 200 may extract a voxel data group (3D Patch) from linearly interpolated 2D learning data (Linearly interpolated MRI) and apply it as an input value to a deep learning algorithm.
  • 3D Patch a voxel data group
  • linearly interpolated 2D learning data Linearly interpolated MRI
  • input values are applied in the form of a voxel data group (3D patch) (32x32x32), and the form of a voxel data group (3D patch) of the same form ( 32x32x32).
  • the form of the voxel data group is not limited to this as an example.
  • the 3D reconstruction apparatus 200 when the center of the voxel data group (3D patch) is in the extracted brain image, for example, the 3D reconstruction apparatus 200 is linearly interpolated from the data for training in which the stride is set to 16. Extract 32x32x32 input voxel data group. At this time, the 3D reconstruction apparatus 200 may normalize the input image intensity in a range from -1 to 1. By repeating this process, the 3D reconstruction apparatus 200 may acquire a total of 439,479 training patches having a batch size of 12.
  • a deep learning algorithm may be composed of nine high-density blocks and transition layers. And in the deep learning algorithm, each dense block with 5 convolutional layers continues to the next transition layer.
  • next transition layer may mean four blocks having a convolution transition layer to which a stride is applied, a block without a transition layer, and four blocks having a deconvolution transition layer.
  • the convolutional layer of the deep learning algorithm can maintain the function of the previous layer by connecting layers included in the process.
  • feature values for blocks may be connected to each other in correspondence to the case where the convolution layer and the deconvolution layer have the same size.
  • the convolution layer may be expressed by Equation 3 below.
  • H 1 denotes the composition of the activation function (exponential linear unit) and batch normalization of the 1 th th layer.
  • the 3D reconstruction apparatus 200 blocks each structure (voxel data group / 3D patch) to use a DenseNet structure capable of generating a deeper network, as shown in Equation (3).
  • the 3D reconstruction apparatus 200 may connect each block as a short-cut path.
  • a data compression process is performed by applying 1 ⁇ 1 ⁇ 1 convolution and 3 ⁇ 3 ⁇ 3 convolution.
  • the transition layer to be connected is the transition layer after the first 4 dense blocks (2 ⁇ 2 ⁇ 2), using convolution to sample the subsampled image Achieve a larger acceptance field.
  • the deconvolution (transferred convolution) transition layer is linked to the convolution block.
  • the feature computed in the convolution step where the stride of the dense block is applied is connected to the feature of the dense block of deconvolution for reverse propagation of the gradient so that the same dimension is maintained in each convolution step.
  • the deep learning algorithm applied in the present invention includes a verification network for verifying the generated data set to generate a realistic data set indistinguishable from the actual data set.
  • the verification network may consist of eight 3D convolutional layers, instant normalization, and leak rectification linear units.
  • the verification network may be composed of a single layer completely connected at the network end.
  • the 3D reconstruction apparatus 200 implements a differentiated deep learning algorithm using convolution with stride applied to the maximum pooling.
  • the 3D reconstruction apparatus 200 optimizes the deep learning algorithm using Equation 4 below to maintain fidelity between input and output in generating an ultra-high resolution intercept image in the deep learning algorithm.
  • m is the batch size
  • n v is the number of voxels
  • y is the reference data
  • x s is the sparse sampled input
  • f is the generation network.
  • L fid is a loss of fidelity, which can reduce the content difference between the reference and the output of the generating network.
  • L per is the perceptual loss of feature space
  • ⁇ is the feature map that performs the intermediate function of a specific neural network
  • ⁇ 2 is the tuning parameter for the loss function.
  • the perception loss can be evaluated using only the central slice of the input patch.
  • the total loss for this network education can be obtained as the sum of fidelity and perception loss after this process.
  • the 3D reconstruction apparatus 200 uses L per (perceptual loss) and L WGAN-GP as compared to a conventional neural network algorithm (eg, U-Net) that optimizes the algorithm using only L fid .
  • L per and L WGAN-GP are intended to improve the accuracy of the generated image, and in particular, can improve the accuracy of detailed structures such as gray matter and white matter of the brain.
  • the 3D reconstruction apparatus 200 may derive an optimized parameter (weight of the filter) through iterative learning so that the loss function L is minimized in Equation (4).
  • the 3D reconstruction apparatus 200 may complete learning and store the parameter for the learned deep learning algorithm in a linked database.
  • the 3D reconstruction apparatus 200 may generate a plurality of intercepted images for the received 2D image using a deep learning algorithm previously learned.
  • the intercepted image means an image connected between two-dimensional images.
  • the 3D reconstruction apparatus 200 may generate a first intercepted image between 2D images and a second intercepted image between a 2D image and a first intercepted image, and repeat such an intercepted image between 2D images.
  • a plurality of intercepted images having an interval of less than or equal to a first threshold may be generated.
  • the 3D reconstruction apparatus 200 reconstructs and provides a 2D image into a 3D image using the intercepted image (S330).
  • the 3D reconstruction apparatus 200 may transmit a plurality of intercepted images to a 3D image in succession, and transmit the 3D image to a linked user terminal or server.
  • the 3D reconstruction apparatus 200 may re-learn the deep learning algorithm learned according to the set interval, and accordingly update the weight applied to each layer.
  • FIG. 6 is an exemplary view showing a 3D reconstruction method according to an embodiment of the present invention, linear interpolation, and reconstruction results through U-net
  • FIG. 7 is a graph showing an accuracy evaluation result of the image reconstruction result of FIG. 6 to be.
  • linear interpolation and U-NET algorithm and reference data for reference data in the coronal, sagittal, and transaxial brains It shows the result of reconstruction into a 3D image through the 3D reconstruction method of the present invention.
  • each column represents the 137th to 140th slices of the horizontal plane (horizontal axis plane), the 95th slice of the coronal plane, and the 125th slice image of the filament plane.
  • the reconstructed 3D image according to the method proposed in the present invention has higher accuracy in detail than in the case of using U-net.
  • U-net For example, when checking the 138th (left to second) image of the horizontal plane (horizontal axis plane), it can be seen that reference data and shadow shapes not present in the projection according to the invention proposed in the present invention are displayed on U-net. .
  • FIG. 7 (a) is a graph showing a peak signal to noise ratio (PSNR) of a 3D image for linear interpolation, U-net, and the method proposed in the present invention.
  • PSNR peak signal to noise ratio
  • the value of PSNR is the highest for the method proposed in the present invention.
  • the PSNR is a parameter value mainly used to measure the image quality, and when the noise of the image is 0, the PSNR may have an infinite value. In other words, it can be evaluated that the higher the PSNR value, the higher the image quality.
  • FIG. 7 (b) is a graph showing structural similarity metric (SSIM) of a 3D image, and evaluates similarity between reference data and 3D images reconstructed according to each method. It can be seen from FIG. 7 (b) that the method proposed in the present invention has the highest similarity.
  • SSIM structural similarity metric
  • 7 (c) is a graph showing a high frequency error standard value (HFEN) of a 3D image, and it can be seen that the method proposed in the present invention is the lowest.
  • HFEN high frequency error standard value
  • FIG. 8 is an exemplary view showing a 3D reconstruction method for a brain image, linear interpolation, and reconstruction results through U-net according to an embodiment of the present invention
  • FIG. 9 is a 3D image reconstruction result of FIG. 8 This is a graph for comparing dice coefficients.
  • coronal gray matter (Coronal GM), sagittal gray matter (Sagittal GM), coronal white matter (Coronal WM), sagittal white matter (Sagittal WM), coronal cerebrospinal fluid (Coronal) CSF) and sagittal CSF
  • 3D image through linear interpolation and U-NET algorithm for reference data and 3D proposed methods of the present invention It shows the reconstructed results.
  • the 3D dice coefficient is one of the measures of the performance evaluation of the model, and the closer it is to 1, the better the performance, and the closer to 0, the better the performance.
  • the 3D image reconstruction apparatus 200 may generate a highly accurate sliced image through a trained neural network, thereby generating a 3D medical image with improved quality more quickly and efficiently.
  • the program for executing the method according to one embodiment of the present invention may be recorded on a computer-readable recording medium.
  • Computer-readable media may include program instructions, data files, data structures, or the like alone or in combination.
  • the media may be specially designed and constructed, or may be known and usable by those skilled in computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs, DVDs, magnetic-optical media such as floptical discs, and ROM, RAM, flash memory, etc.
  • Hardware devices specifically configured to store and execute the same program instructions are included.
  • the medium may be a transmission medium such as an optical or metal line, a waveguide including a carrier wave that transmits a signal specifying a program command, a data structure, or the like.
  • Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, etc., as well as machine language codes made by a compiler.
  • communication unit 220 intercept image generation unit
  • control unit 240 learning unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 2차원 의료 영상의 3차원 재구성 방법에 관한 것이다. 3차원 재구성 장치는 임의의 절편 간격을 가지는 연속적인 2차원 영상들을 수신하는 통신부, 2차원 영상들간의 특징점에 기초하여 인접한 2차원 영상 사이에 위치하는 하나 이상의 절편 영상을 생성하는 절편 영상 생성부, 그리고 생성된 절편 영상을 이용하여 2차원 영상을 3차원 영상으로 재구성하여 제공하는 제어부를 포함한다.

Description

3차원 영상 재구성 장치 및 그 방법
3차원 영상 재구성 장치 및 그 방법이 제공된다.
3차원 (three-dimensional, 3D) 영상은 의료 영상 등에서 환자의 진단과 질병 예측 등의 용도로 널리 쓰이며 그 필요성이 점차 증대되고 있다. 하지만 높은 품질의 3차원 영상을 획득하는 데에는 많은 어려움이 있다. 특히, 데이터 저장 용량이 충분히 뒷받침 되어야 하고 세밀한 촬영이 요구되기 때문에 촬영 시간이 오래 걸린다는 큰 단점이 있다.
그에 반해, 2차원 영상은 얻는 시간이 짧다는 점에서 가장 널리 이용되고 있다. 그러므로 MRI를 비롯하여 3차원 영상을 얻기 위해 2차원 촬영을 통해 절편의 크기를 늘려 3차원의 한 축 방향으로 드문드문 이미지를 얻는 방법이 이용된다.
이에 따라 촬영되는 절편 영상에서는 자세한 구조를 알 수 있으나 촬영된 절편 사이에서는 정량적인 영상 평가 또는 정성적인 영상 평가가 어렵다.
한편, 최근 많은 분야에서 복잡하고 고차원적인 문제를 효율적으로 해결하기 위해 빅데이터 기반의 인공 딥러닝 알고리즘에 대한 연구가 진행되고 있다. 특히, 기존 자료에 기초하여 데이터를 예측하고, 해당 데이터의 분류를 정리함에 있어서, 데이터의 보간, 생성 또는 재구성 관련 분야에서 효과적으로 적용할 수 있다.
따라서, 이와 같은 인공 신경망을 이용하여 2D 영상에서 3차원 영상으로 재구성하는 기술이 요구된다.
본 발명의 해결하고자 하는 과제는 2차원 의료 영상의 절편 사이의 구체적인 정보를 정확하고 빠르게 복구하여 품질이 향상된 3차원 의료 영상을 제공하기 위한 것이다.
상기 과제 이외에도 구체적으로 언급되지 않은 다른 과제를 달성하는 데 사용될 수 있다.
본 발명의 하나의 실시예에 따른 3차원 재구성 장치는 임의의 절편 간격을 가지는 연속적인 2차원 영상들을 수신하는 통신부, 인접한 2차원 영상들간의 특징점에 기초하여 2차원 영상 사이에 위치하는 하나 이상의 절편 영상을 생성하는 절편 영상 생성부, 그리고 생성된 절편 영상을 이용하여 2차원 영상을 3차원 영상으로 재구성하여 제공하는 제어부를 포함한다.
절편 영상 생성부는, 2차원 영상에서 복셀 데이터 그룹을 선택하고, 선택한 복셀 데이터 그룹을 학습된 딥러닝 알고리즘에 적용하는 과정을 반복하여 2차원 영상 사이에 위치하는 절편 영상을 3차원의 영상 형태로 생성할 수 있다.
3차원 영상의 원 데이터에 기초하여 생성된 2차원 학습 데이터를 딥러닝 알고리즘에 적용하여 2차 학습 데이터 사이에 위치하는 하나 이상의 절편 영상을 생성하면 원데이터에 기초하여 딥러닝 알고리즘을 학습시키는 학습부를 더 포함할 수 있다.
학습부는, 2차원 학습 데이터에 대해 선형 보간을 수행하고, 선형 보간된 인접한 2차원 학습 데이터 사이에 위치하는 절편 영상을 생성하며, 생성한 절편 영상에 대응하는 원 데이터와의 오차를 산출하여 일치 여부를 검증하면, 오차 값이 임계치 이하의 값이 되는 절편 영상이 생성되도록 딥러닝 알고리즘에 포함된 복수 개 필터의 가중치를 재조정하여 반복 학습시킬 수 있다.
학습부는, 딥러닝 알고리즘에서 초고해상도 절편 이미지를 생성함에 있어, 입력과 출력간의 충실도를 유지하고자 다음 수학식을 통해 도출되는 손실 함수가 최소가 되는 파라미터를 도출할 수 있다.
Figure PCTKR2019012086-appb-I000001
여기서, m은 배치 크기, nv는 복셀 수, y는 참조 데이터, xs는 희소 샘플링된 입력, f는 생성 네트워크, Lfid는 충실도 손실, Lper는 피처 공간의 지각적 손실, φ는 특정 신경망의 중간 기능을 수행하는 특징 맵, γ2는 손실 함수에 대한 튜닝 파라미터이다.
절편 영상 생성부는, 2차원 영상의 복셀 데이터 그룹에 대응하여 블록화하고, 딥러닝 알고리즘에서 컨볼루션의 단계에서의 각 블록의 특징과 디컨볼루션 단계에서의 각 블록의 특징을 연결하여 절편 영상의 고해상도 복셀 데이터 그룹이 생성되면, 미리 설정된 필터 적용 간격에 기초하여 절편 영상을 생성할 수 있다.
절편 영상 생성부는, 그라디언트 페널티 항을 포함하는 WGAN-GP 손실 함수, 충실도 손실 함수 그리고 지각적 손실 함수를 이용하여 미리 도출된 파라미터를 적용한 최소화된 손실 값이 연산되도록 하는 절편 영상을 생성할 수 있다.
본 발명의 하나의 실시예에 따른 3차원 재구성 장치의 3차원 영상 재구성 방법은 임의의 절편 간격을 가지는 연속적인 2차원 영상들을 수신하는 단계, 2차원 영상들 간의 특징점에 기초하여 인접한 2차원 영상 사이에 위치하는 하나 이상의 절편 영상을 생성하는 단계, 그리고 생성된 절편 영상을 이용하여 2차원 영상을 3차원 영상으로 재구성하여 제공하는 단계를 포함한다.
본 발명의 하나의 실시예는 2차원 영상 사이에 정보를 재구성하여 구체적인 정보를 정확하게 복구하여 제공함으로써, 환자의 진단 또는 연구를 진행함에 있어 저비용으로 정량적, 통계적 분석을 할 수 있다.
본 발명의 하나의 실시예는 일정 이상의 절편 간격의 영상에서 확인하기 어려웠던 대뇌피질의 두께 등의 생리, 해부학적 지표들을 구체적이고 정량적으로 도출할 수 있다.
본 발명의 하나의 실시예는 3차원 의료 영상을 촬영할 때 유실된 부분에 대해서도 정확하고 빠르게 해당 부분의 구체적인 정보를 복구하여 3차원 의료 영상을 제공할 수 있다.
도 1은 본 발명의 하나의 실시예에 따른 영상을 재구성하는 3차원 재구성 장치를 나타낸 개념도이다.
도 2는 본 발명의 하나의 실시예에 따른 3차원 재구성 장치의 구성도이다.
도 3은 본 발명의 하나의 실시예에 따른 3차원 재구성 장치의 영상 재구성 방법을 나타낸 순서도이다.
도 4는 본 발명의 하나의 실시예에 따른 2차원 의료 영상의 3차원 재구성하는 딥러닝 기반의 방법을 나타내는 도면이다.
도 5는 본 발명의 하나의 실시예에 따른 신경망의 구조를 나타낸 예시도이다.
도 6은 본 발명의 하나의 실시예에 따른 3차원 재구성 방법과 선형 보간, 그리고 U-net을 통한 재구성 결과를 나타낸 예시도이다.
도 7은 도 6의 영상 재구성 결과에 대한 정확도 평가 결과를 나타낸 그래프이다.
도 8은 본 발명의 하나의 실시예에 따른 뇌 이미지에 대한 3차원 재구성 방법과 선형 보간, 그리고 U-net을 통한 재구성 결과를 나타낸 예시도이다.
도 9는 도 8의 영상 재구성 결과에 대한 3D 다이스 계수를 비교하기 위한 그래프이다.
첨부한 도면을 참고로 하여 본 발명의 실시예에 대해 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 도면부호가 사용되었다. 또한 널리 알려져 있는 공지기술의 경우 그 구체적인 설명은 생략한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 하나의 실시예에 따른 영상을 재구성하는 3차원 재구성 장치를 나타낸 개념도이다.
도 1에 도시한 바와 같이, 3차원 재구성 장치(200)는 2차원 영상을 수신하면 미리 학습된 딥러닝 알고리즘(100)을 통해 3차원 영상으로 재구성하여 제공한다.
여기서, 2차원 영상은 피사체에 대한 연속적인 2차원 영상의 집합을 의미하며, 각각의 2차원 영상은 임의의 절편 간격을 가진다.
예를 들어, 3차원 재구성 장치(200)는 2차원 단면상을 나타내는 자기 공명 영상 (Magnetic Resonance imaging, MRI)을 수신하여 미리 학습된 딥러닝 알고리즘(100)을 통해 3차원 영상의 자기 공명 영상으로 재구성하여 제공할 수 있다.
한편, 3차원 재구성 장치(200)가 영상을 재구성하기 이전에 딥러닝 알고리즘(100)을 구축하기 위한 학습을 수행할 수 있다.
이때, 동일한 영상에 대한 3차원 영상과 2차원 영상을 학습 데이터로 구비하고, 2차원 영상 사이의 절편 영상을 생성함에 있어, 3차원 영상과 동일하게 재구성할 수 있도록 딥러닝 알고리즘(100)을 학습시킬 수 있다.
예를 들어, 딥러닝 알고리즘(100)은 머신 러닝 중에서 지도 학습으로 함수의 정의역과 공역이 각각 데이터로 주어져 있는 상태에서 설정된 목적함수를 최소화하는 매개변수를 최적화를 통해 찾아내도록 학습될 수 있다.
또한, 딥러닝 알고리즘(100)은 학습 데이터와 독립적으로 구성된 시험 데이터를 집어넣어 얼마나 함수가 잘 학습되었는지 평가될 수 있다.
한편, 딥러닝 알고리즘(100)은 딥러닝 알고리즘은 영상 처리에 특화되었다고 알려진 콘볼루션 신경망(CNN, convolutional neural network)이나 생성적 적대 신경망(GAN, generative adversarial network), WGAN (Waserstein GAN)등을 포함할 수 있다.
콘볼루션 신경망(CNN)의 예로는 VGGNet, ResNet, DnCNN, DenseNet 등이 있으며, 생성적 적대 신경망(Generative Adversarial Network: GAN)은 생성(Generator: G)와 판별(Discriminator: D)의 두 신경망 모델의 경쟁을 통해 학습하고 결과물을 생성해낸다.
생성자(G)는 실제에 가까운 데이터를 생성하는 것을 목적으로 실제 데이터를 학습하고 이를 바탕으로 데이터를 생성하고, 판별자(D)는 생성자(G)가 생성한 데이터를 실제인지, 거짓인지 판별하도록 학습한다.
WGAN-GP는 WGAN의 향상된 알고리즘으로 k-Lipschitz constraints를 적용하기 위한 패널티항을 추가한다,
이하에서는 3차원 재구성 장치(200)가 WGAN_GP의 딥러닝 알고리즘을 사용하여 2차원 영상을 3차원으로 재구성하는 것으로 설명하지만, 반드시 이에 한정되는 것은 아니다.
보다 상세하게 3차원 재구성 장치(200)에 적용되는 WGAN_GP의 손실 함수(LWGAN-GP)는 다음 수학식 1과 같다.
[수학식 1]
Figure PCTKR2019012086-appb-I000002
여기서 E는 주어진 분포에서 기대되는 값이고, "~" 기호는이 분포에서 얻은 표본을 의미하며,
Figure PCTKR2019012086-appb-I000003
생성 된 데이터를 나타낸다. 그리고 Pg 생성된 데이터의 분포, x and Pr실제 데이터를 나타내며, λ 파라미터는 10으로 설정된다.
Figure PCTKR2019012086-appb-I000004
는 임의로 보간 된 값으로 0에서 1까지의 균일한 샘플링과 가중치 합계로 구현된다. 그리고 D는 판별 네트워크로, 실제 또는 가짜 값을 결정하는데 사용하는 로직 함수를 나타낸다.
한편, 수학식 1에서 첫번째와 두번째 항은 생성된 데이터와 실제 데이터 분포 사이의 Wasserstein 거리를 최소화하여 네트워크가 실제 데이터 분포 사이의 보다 현실적인 샘플을 생성하도록 한다.
마지막 항은 텐서플로(Tensorflow)에서 자동 차별화를 사용하여 구현되는
Figure PCTKR2019012086-appb-I000005
에 대한 로직함수의 기울기를 계산하여 1-Lipschitz 제약을 구현한다.
이하에서는 도 2을 이용하여 딥러닝 알고리즘을 이용하여 2차원 영상을 3차원 영상으로 재구성하여 제공하는 3차원 재구성 장치에 대해서 상세하게 설명한다.
도 2는 본 발명의 하나의 실시예에 따른 3차원 재구성 장치의 구성도이다.
도 2에 도시한 바와 같이, 3차원 재구성 장치(200)는 통신부(210), 절편 영상 생성부(220), 제어부(230) 그리고 학습부(240)를 포함한다.
통신부(210)는 연동되는 영상 촬영 기기, 의료 기기, 의료영상 저장 시스템 등과 같은 단말 또는 서버와 네트워크로 연결되어 데이터를 송수신할 수 있다.
이때, 송수신되는 데이터는 연속적인 2차원 영상, 슬라이스, 절편 영상 등을 의미하지만 이에 한정되는 것은 아니며, 절편 간격이 일정 값 이상을 갖는 3차원 영상의 단층 촬영 영상을 포함할 수 있다.
절편 영상 생성부(220)는 2차원 영상들간의 특징점에 기초하여 인접한 2차원 영상 사이에 위치하는 하나 이상의 절편 영상을 생성한다.
이때, 절편 영상 생성부(220)는 학습된 딥러닝 알고리즘을 통해 조정된 가중치를 적용하여 절편 영상을 생성한다. 그리고 절편 영상 생성부(220)는 생성된 절편 영상과 2차원 영상 사이의 하나 이상의 절편 영상을 생성할 수 있다.
절편 영상 생성부(220)는 입력되거나 설정된 절편 간격을 가지도록 반복하여 절편 영상을 생성할 수 있으며, 절편 영상은 3차원 영상으로 생성될 수 있다. 이때, 절편 영상 생성부(220)는 2차원 영상의 복셀 데이터 그룹에 대응하여 절편 영상의 고해상도 복셀 데이터 그룹이 생성되면, 미리 설정된 필터 적용 간격에 기초하여 반복 적용함으로써 절편 영상을 생성할 수 있다.
그리고 제어부(230)는 생성된 절편 영상을 이용하여 2차원 영상을 3차원 영상으로 재구성하여 제공한다. 생성된 절편 영상은 3차원 영상으로 형성되며, 3차원 절편 영상을 이용하여 수신한 2차원 영상을 3차원 영상으로 재구성하여 제공할 수 있다.
학습부(240)는 학습 데이터를 이용하여 딥러닝 알고리즘을 미리 학습한다.
학습부(240)는 학습 데이터와 해당 학습 데이터의 3차원 영상인 원 데이터를 입력받거나 입력된 3차원 영상인 원데이터를 이용하여 학습 데이터를 생성할 수 있다.
예를 들어 학습부(240)는 절편 간격이 제1 임계치 이하인 3차원 영상의 원 데이터에 대해서 절편 간격이 제2 임계치 이상이 되도록 2차원 영상으로 늘린 2차원 학습 데이터를 생성할 수 있다.
여기서 제1 임계치는 제2 임계치보다 큰 값을 가지며, 각 임계치는 추후에 학습하고자 하는 조건에 따라 사용자에 의해 용이하게 변경 및 설계 가능하다.
그리고 학습부(240)는 학습된 딥러닝 알고리즘에 대해 일정시간 간격 또는 설정된 주기마다 해당 딥러닝 알고리즘을 재학습하여 업데이트를 수행할 수 있다.
또한, 학습부(240)는 재구성된 3차원 영상에 대응하여 정확도를 검증할 수 있다. 정확도를 검증할 때에는 다음 수학식 2와 같이, 영상 품질에 대해 피크 신호 대 잡음비 (PSNR), 구조적 유사성 (SSIM) 및 고주파수 오류 표준 (HFEN)등을 이용할 수 있다.
[수학식 2]
Figure PCTKR2019012086-appb-I000006
여기서, Ix는 테스트 이미지, Iy는 참조 이미지, MSE는 이들 사이의 평균 제곱 오차, μ(·) 및 σ(·)는 두 이미지의 평균 및 분산 또는 공분산을 의미하며, c1 = (0.01 × d)2 및 c2 = (0.03 × d)2를 나타낸다.
그리고 d는 이미지 강도의 최대 차이이고. LoG (·)는 3D 가우시안의 라플라시안(Laplacian of Gaussian)필터 함수이며, 필터 커널의 크기는 15 픽셀 x 15 픽셀 x 15 픽셀로 나타낸다.
이때, 학습부(240)는 3차원 재구성 장치(200) 내부에 포함되는 것으로 설명하였으나, 적용 현장 및 상황에 따라 학습하는 단말 또는 서버, 장치 등은 별도로 구비되도록 형성될 수 있다.
한편, 3차원 재구성 장치(200)는 서버, 단말, 또는 이들이 결합된 형태일 수 있다.
단말은 각각 메모리(memory), 프로세서(processor)를 구비함으로써 연산 처리 능력을 갖춘 장치를 통칭하는 것이다. 예를 들어, 퍼스널 컴퓨터(personal computer), 핸드헬드 컴퓨터(handheld computer), PDA(personal digital assistant), 휴대폰, 스마트 기기, 태블릿(tablet) 등이 있다.
서버는 복수개의 모듈(module)이 저장되어 있는 메모리, 그리고 메모리에 연결되어 있고 복수개의 모듈에 반응하며, 단말에 제공하는 서비스 정보 또는 서비스 정보를 제어하는 액션(action) 정보를 처리하는 프로세서, 통신 수단, 그리고 UI(user interface) 표시 수단을 포함할 수 있다.
메모리는 정보를 저장하는 장치로, 고속 랜덤 액세스 메모리(high-speed random access memory, 자기 디스크 저장 장치, 플래시 메모리 장치, 기타 비휘발성 고체 상태 메모리 장치(non-volatile solid-state memory device) 등의 비휘발성 메모리 등 다양한 종류의 메모리를 포함할 수 있다.
통신 수단은 단말과 서비스 정보 또는 액션 정보를 실시간으로 송수신한다.
UI 표시 수단은 장치의 서비스 정보 또는 액션 정보를 실시간으로 출력한다. UI 표시 수단은 UI를 직접적 또는 간접적으로 출력하거나 표시하는 독립된 장치일 수도 있으며, 또는 장치의 일부분일 수도 있다.
이하에서는 3차원 재구성 장치(200)의 2차원 영상 사이의 절편 영상을 생성하여 3차원 영상으로 재구성하는 과정에 대해서 상세하게 설명한다.
도 3은 본 발명의 하나의 실시예에 따른 3차원 재구성 장치의 영상 재구성 방법을 나타낸 순서도이다.
3차원 재구성 장치(200)는 임의의 절편 간격을 가지는 2차원 영상을 수신한다(S310).
3차원 재구성 장치(200)는 절편 간격이 미리 설정된 간격 이상을 가지는 2차원 영상인지 여부를 확인할 수 있다.
예를 들어, 3차원 재구성 장치(200)는 실시간으로 각각의 의료 기기에 연동되어 촬영 영상을 수집할 수 있고 별도의 데이터베이스(미도시함)에 접속하여 영상을 수집할 수 있다.
그리고 3차원 재구성 장치(200)는 2차원 영상에 대해서 선형 보간을 수행할 수 있다.
다음으로 3차원 재구성 장치(200)는 2차원 영상 사이의 절편 영상을 생성한다(S320).
이때, 3차원 재구성 장치(200)는 학습된 딥러닝 알고리즘을 이용하여 2차원 영상 사이에 위치하는 하나 이상의 절편 영상을 3차원으로 생성할 수 있다. 여기서, 학습된 딥러닝 알고리즘은 3차원 재구성 장치(200) 또는 별도의 단말/서버 등을 통해 S310 단계 이전에 학습된다.
이하에서는 도 4 및 도 5를 이용하여 3차원 재구성 장치(200)의 딥러닝 알고리즘의 학습 과정과 학습된 딥러닝 알고리즘에 대해서 상세하게 설명한다.
도 4는 본 발명의 하나의 실시예에 따른 2차원 의료 영상의 3차원 재구성하는 딥러닝 기반의 방법을 나타내는 도면이고, 도 5는 본 발명의 하나의 실시예에 따른 신경망의 구조를 나타낸 예시도이다.
도 4에 도시한 바와 같이, 3차원 재구성 장치(200)는 절편 간격이 제1 임계치 이하인 3차원 영상의 원 데이터(Fully sampled MRI)에 대해서 절편 간격이 제2 임계치 이상이 되도록 2차원 영상으로 늘린 2차원 학습 데이터(Sparsely sampled MRI)를 이용하여 학습한다.
그리고 3차원 재구성 장치(200)는 기준 이미지에 대해 축 방향으로 5 번째 슬라이스마다 샘플링한다. 그리고 3차원 재구성 장치(200)는 딥러닝 알고리즘을 통해 생성한 고해상도 이미지와 비교하기 위해 선형 보간을 수행한다.
3차원 재구성 장치(200)는 선형 보간된 2차원 학습 데이터(Linearly interpolated MRI)에서 복셀 데이터 그룹(3D Patch)를 추출하여 딥러닝 알고리즘에 입력값으로 적용할 수 있다.
다시 말해 3차원 재구성 장치(200)에서 학습되고 적용되는 딥러닝 알고리즘은 복셀 데이터 그룹(3D patch)의 형태(32x32x32)로 입력값이 적용되며, 동일한 형태의 복셀 데이터 그룹(3D patch)의 형태(32x32x32)로 출력값이 도출된다. 여기서, 복셀 데이터 그룹의 형태는 하나의 예시로 반드시 이에 한정하는 것은 아니다.
예를 들어, 3차원 재구성 장치(200)는 복셀 데이터 그룹(3D patch)의 중심이 추출 된 뇌 이미지에 있는 경우, 스트라이드(Stride, 필터 적용 간격)가 16으로 설정된 훈련을 위해 선형 보간 된 데이터로부터 32 × 32 × 32 크기의 입력 복셀 데이터 그룹을 추출 한다. 이때, 3차원 재구성 장치(200)는 입력 이미지 강도를 -1에서 1까지의 범위로 정규화할 수 있다. 이러한 과정을 반복하여 3차원 재구성 장치(200)는 배치 크기가 12 인 총 439,479 개의 훈련 패치를 획득할 수 있다.
도 5에 도시한 바와 같이, 예를 들어 딥러닝 알고리즘(Neural network)는 9 개의 고밀도 블록과 전이 레이어로 구성될 수 있다. 그리고 딥러닝 알고리즘에는 5 개의 컨볼루션 레이어를 갖는 각각의 조밀한 블록은 다음 전이 레이어에 이어진다.
여기서 다음 전이 레이어는 스트라이드가 적용된 컨볼루션 전이 레이어를 갖는 4 개의 블록, 전이 레이어가 없는 블록 그리고 디컨볼루션 천이 레이어를 가지는 4개의 블록들을 의미할 수 있다.
다시 말해, 딥러닝 알고리즘의 컨볼루션 레이어는 프로세스에 포함되는 레이어를 연결하여 이전 레이어의 기능을 유지할 수 있다.
이때, 컨볼루션 레이어와 디컨볼루션 레이어의 사이즈가 동일한 경우에 대응하여 서로 블록에 대한 특징값이 연결될 수 있다.
이에 컨볼루션 레이어는 다음 수학식 3과 같이 나타낼 수 있다.
[수학식 3]
Figure PCTKR2019012086-appb-I000007
여기서 xl는 ith 레이어의 특징 값을 나타내며, H1은 활성화 함수 (지수 선형 단위)의 구성 및 1th 번째 레이어의 일괄 정규화를 나타낸다.
3차원 재구성 장치(200)는 수학식 3과 같이, 더 깊은 네트워크를 생성할 수 있는 덴스넷(DenseNet) 구조를 이용하기 위해 각 구조를 블록화(복셀 데이터 그룹/3D patch)한다. 그리고 3차원 재구성 장치(200)는 각 불록을 지름길(short-cut path)와 같이 연결할 수 있다.
상세하게는 도 4 그리고 수학식 3과 같이, 밀도가 높은 블록의 각 컨볼루션 연산은 이전 출력값을 모두 포함되도록 연결되며, 동일한 수의 채널을 생성하기 때문에, 이전 레이어의 연결이 다음 레이어의 입력 채널 수를 증가시킬 수 있다.
따라서, 1 × 1 × 1 컨볼루션과 3 × 3 × 3 컨볼루션을 적용하여 데이터를 압축하는 과정을 수행한다.
예를 들어, 첫 번째 고밀도 블록 레이어에는 16 개의 채널이면, 연결되는 전이 레이어는 첫 4 개의 조밀한 블록 뒤의 전이 레이어는 (2 × 2 × 2) 컨볼루션을 사용하여 서브 샘플링 된 이미지를 샘플링하여 더 큰 수용 필드를 달성한다. 반면, 마지막 4 개의 조밀한 블록에서 디컨볼루션 (전이된 컨볼루션) 전이 레이어는 컨볼루션 블록에 연계된다.
다시 말해 조밀한 블록의 스트라이드가 적용된 컨볼루션 단계에서 계산되는 특징은 각각의 컨볼루션 단계에서 동일한 치수가 유지되도록 그라이언트(gradient)의 역전파를 위한 디컨볼루션의 조밀한 블록의 특징과 연결된다.
특히, 본 발명에서 적용하는 딥러닝 알고리즘은 실제 데이터 세트와 구별할 수 없는 사실적인 데이터 세트를 생성하기 위해 생성된 데이터 세트를 검증하기 위한 검증 네트워크를 포함한다.
예를 들어, 검증 네트워크는 8개의 3D 컨볼루션 레이어와 인스턴트 정규화, 그리고 누수 정류 선형 유닛으로 구성될 수 있다.
이때, 검증 네트워크는 네트워크 끝단에서 완전히 연결된 단일 레이어로 구성될 수 있다.
이처럼, 3차원 재구성 장치(200)는 최대 풀링보다 스트라이드가 적용된 컨볼루션을 사용하여 차별화된 딥러닝 알고리즘을 구현한다.
한편 3차원 재구성 장치(200)는 딥러닝 알고리즘에서 초고해상도 절편 이미지를 생성함에 있어, 입력과 출력간의 충실도를 유지하고자 다음 수학식 4를 이용하여 딥러닝 알고리즘을 최적화한다.
[수학식 4]
Figure PCTKR2019012086-appb-I000008
여기서, m은 배치 크기, nv는 복셀 수, y는 참조 데이터, xs는 희소 샘플링된 입력, f는 생성 네트워크를 나타낸다. 여기서 Lfid는 충실도 손실로, 생성 네트워크의 참조와 출력 간의 컨텐츠 차이를 줄일 수 있다. Lper는 피처 공간의 지각적 손실, φ는 특정 신경망의 중간 기능을 수행하는 특징 맵, γ2는 손실 함수에 대한 튜닝 파라미터이다.
이때, 빠른 훈련을 위해 입력 패치의 중앙 슬라이스만 사용하여 지각 손실을 평가할 수 있다. 이와 같은 네트워크 교육에 대한 총 손실은 이러한 프로세스 이후의 충실도와 지각 손실의 합으로 얻을 수 있다.
여기서, 3차원 재구성 장치(200)는 Lfid 만을 이용하여 알고리즘을 최적화하는 기존의 신경망 알고리즘(예를 들어, U-Net)에 비해 Lper (지각적 손실)과 LWGAN-GP를 함께 이용한다. 여기서, Lper 와 LWGAN-GP는 생성되는 이미지의 정확도를 향상시키기 위한 것으로, 특히 뇌의 회백질 및 백질과 같은 세부 구조에 대한 정확도를 향상시킬 수 있다.
그러므로 3차원 재구성 장치(200)는 수학식 4에서 손실 함수(L)가 최소화되도록 반복 학습을 통해 최적화된 파라미터(필터의 가중치)를 도출할 수 있다.
3차원 재구성 장치(200)는 최적화된 파라미터가 도출되면, 학습을 완료하고 학습된 딥러닝 알고리즘에 대한 파라미터를 연동되는 데이터베이스에 저장할 수 있다.
다음으로, 3차원 재구성 장치(200)는 미리 학습된 딥러닝 알고리즘을 이용하여 수신한 2차원 영상에 대한 다수개의 절편 영상을 생성할 수 있다.
이때, 절편 영상은 2차원 영상 간에 연결되는 영상을 의미한다.
3차원 재구성 장치(200)는 2차원 영상간의 제1 절편 영상을 생성하고, 2차원 영상과 제1 절편 영상 사이에 제2 절편 영상을 생성할 수 있으며, 이와 같은 반복으로 2차원 영상간에 절편 영상의 간격이 제1 임계치 이하가 되는 복수개의 절편 영상을 생성할 수 있다.
3차원 재구성 장치(200)는 절편 영상을 이용하여 2차원 영상을 3차원 영상으로 재구성하여 제공한다(S330).
3차원 재구성 장치(200)는 복수개의 절편 영상을 연이어 3차원 영상으로 재구성하면, 해당 3차원 영상을 연동되는 사용자 단말 또는 서버로 전송할 수 있다.
한편, 3차원 재구성 장치(200)는 설정된 간격에 따라 학습된 딥러닝 알고리즘을 재학습할 수 있으며, 그에 따라 각 레이어에 적용되는 가중치등을 업데이트할 수 있다.
이하에서는 도 6 내지 도 9를 이용하여 3차원 재구성 장치의 정확도에 대해서 상세하게 설명한다.
도 6은 본 발명의 하나의 실시예에 따른 3차원 재구성 방법과 선형 보간, 그리고 U-net을 통한 재구성 결과를 나타낸 예시도이고 도 7은 도 6의 영상 재구성 결과에 대한 정확도 평가 결과를 나타낸 그래프이다.
도 6에 도시한 바와 같이, 뇌의 관상면(Coronal), 시상면(Sagittal), 그리고 수평면(transaxial)에 있어서 기준 데이터(Reference data)에 대한 선형 보간 (Linear interpolation)과 U-NET 알고리즘 그리고 본 발명의 3차원 재구성 방법(Proposed networks)을 통해 3차원 영상으로 재구성한 결과를 나타낸다.
도 6에서 각 열은 수평면(횡축 평면)의 137번째에서 140번째 슬라이스를 나타내며, 관상 평면의 95번째 슬라이스 그리고 사상면의 125번째 슬라이스 이미지를 나타낸다.
선형 보간, U-net, 본 발명에 따라 재구성한 결과를 살펴보면, 선형 보간을 통해 재구성한 결과는 정확도가 매우 낮은 반면에, U-net과 본 발명에서 제안한 방법에 따른 3차원 영상을 재구성한 경우, 정확도가 매우 높은 것을 알 수 있다.
그 중에서도 U-net을 이용한 경우보다 본 발명에서 제안한 방법에 따른 재구성된 3차원 영상이 디테일한 부분에서 더 정확도가 높은 것을 확인할 수 있다. 예를 들어, 수평면(횡축 평면)의 138번째(왼쪽에서 두번째) 영상을 확인해보면 기준 데이터(Reference data)와 본 발명에서 제안한 발명에 따른 영사에는 없는 그림자 형체가 U-net에서 표시된 것을 알 수 있다.
또한 도 7에 도시한 바와 같이, 기준 데이터에 대한 다양한 초해상도(super-resolution, SR) 방법에 대한 정확도를 평가할 수 있다.
도 7의 (a)는 선형 보간, U-net, 본 발명에서 제안하는 방법에 대해서 3차원 영상의 피크 신호 대 잡음비(Peak Signal to Noise Ratio, PSNR)을 나타낸 그래프이다.
도 7의 (a)를 보면 본 발명에서 제안한 방법에 대해 PSNR의 값이 가장 높은 것을 알 수 있다. 여기서 PSNR은 영상의 화질을 측정하기 위해 주로 사용되는 파라미터 값으로, 영상의 노이즈가 0이면 PSNR은 무한대의 값을 가질 수 있다. 다시 말해, PSNR의 값이 클수록 영상의 화질이 높다고 평가할 수 있다.
도 7의 (b)는 3D 영상의 구조적 유사성(Structural Similarity Metric, SSIM)을 나타낸 그래프로, 기준 데이터와 각 방법에 따라 재구성한 3차원 영상간의 유사도를 평가한다. 도 7의 (b)에서도 본 발명에서 제안하는 방법에 대해서 유사도가 가장 높은 것을 알 수 있다.
도 7의 (c)는 3D 영상의 고주파수 오류 표준 값(High Frequency Error Norm, HFEN)을 나타낸 그래프로, 본 발명에서 제안하는 방법이 가장 낮은 것을 알 수 있다.
도 8은 본 발명의 하나의 실시예에 따른 뇌 이미지에 대한 3차원 재구성 방법과 선형 보간, 그리고 U-net을 통한 재구성 결과를 나타낸 예시도이고, 도 9는 도 8의 영상 재구성 결과에 대한 3D 다이스 계수를 비교하기 위한 그래프이다.
도 8에 도시한 바와 같이, 관상면의 회백질(Coronal GM), 시상면의 회백질(Sagittal GM), 관상면의 백질(Coronal WM), 시상면의 백질(Sagittal WM), 관상면의 뇌척수액(Coronal CSF) 그리고 시상면의 뇌척수액(Sagittal CSF)에 대해서, 기준 데이터(Reference data)에 대한 선형 보간 (Linear interpolation)과 U-NET 알고리즘 그리고 본 발명의 3차원 재구성 방법(Proposed networks)을 통해 3차원 영상으로 재구성한 결과를 나타낸다.
도 8의 노란색 화살표를 살펴보면, 선형 보간과 U-net의 방법인 경우, 기준 데이터에 비교하여 회백질(GM) 세그먼트의 복구가 정밀하지 않다는 것을 알 수 있다. 반면에, 본 발명에서 제안하는 방법은 기준 데이터에 대해 정밀하게 재구성된 이미지를 확인할 수 있다.
그리고 도 9에 도시한 바와 같이, 기준 데이터와 재구성된 초해상도 영상 간의 3D 다이스 계수를 나타낸 것으로, 회백질(GM), 백질(WM) 그리고 뇌척수액(CSF)에 대응하여 발명에서 제안한 방법에 따른 3D 다이스 계수가 가장 높은 것을 확인할 수 있다.
참고로 3D 다이스 계수(3D dice coefficient)는 모델의 성능 평가의 척도 중의 하나로, 1에 가까운 값을 가질수록 성능이 좋고, 0에 가까울수록 성능이 좋지 않다고 측정한다.
이와 같이, 본 발명에 따르면, 3차원 영상 재구성 장치(200)는 학습된 신경망을 통해 정확도가 높은 절편 영상을 생성하여 보다 빠르고 효율적으로 품질이 향상된 3차원 의료 영상을 생성할 수 있다.
본 발명의 하나의 실시예에 따른 방법을 실행시키기 위한 프로그램은 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다.
컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 여기서 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드가 포함된다.
이상에서 본 발명의 바람직한 하나의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
[부호의 설명]
100: 딥러닝 알고리즘 200: 3차원 영상 재구성 장치
210: 통신부 220: 절편 영상 생성부
230: 제어부 240: 학습부

Claims (12)

  1. 임의의 절편 간격을 가지는 연속적인 2차원 영상들을 수신하는 통신부,
    인접한 상기 2차원 영상들간의 특징점에 기초하여 상기 2차원 영상 사이에 위치하는 하나 이상의 절편 영상을 생성하는 절편 영상 생성부, 그리고
    생성된 상기 절편 영상을 이용하여 상기 2차원 영상을 3차원 영상으로 재구성하여 제공하는 제어부
    를 포함하는 3차원 재구성 장치.
  2. 제1항에서,
    상기 절편 영상 생성부는,
    상기 2차원 영상에서 복셀 데이터 그룹을 선택하고, 선택한 상기 복셀 데이터 그룹을 학습된 딥러닝 알고리즘에 적용하는 과정을 반복하여 상기 2차원 영상 사이에 위치하는 상기 절편 영상을 3차원의 영상 형태로 생성하는 3차원 재구성 장치.
  3. 제2항에서,
    3차원 영상의 원 데이터에 기초하여 생성된 2차원 학습 데이터를 딥러닝 알고리즘에 적용하여 상기 2차 학습 데이터 사이에 위치하는 하나 이상의 절편 영상을 생성하면 상기 원 데이터에 기초하여 상기 딥러닝 알고리즘을 학습시키는 학습부를 더 포함하는 3차원 재구성 장치.
  4. 제3항에서,
    상기 학습부는,
    상기 2차원 학습 데이터에 대해 선형 보간을 수행하고, 선형 보간된 인접한 2차원 학습 데이터 사이에 위치하는 절편 영상을 생성하며, 생성한 상기 절편 영상에 대응하는 상기 원 데이터와의 오차를 산출하여 일치 여부를 검증하면, 상기 오차 값이 임계치 이하의 값이 되는 절편 영상이 생성되도록 상기 딥러닝 알고리즘에 포함된 복수 개 필터의 가중치를 재조정하여 반복 학습시키는 3차원 재구성 장치.
  5. 제3항에서,
    상기 학습부는,
    딥러닝 알고리즘에서 초고해상도 절편 이미지를 생성함에 있어, 입력과 출력간의 충실도를 유지하고자 다음 수학식을 통해 도출되는 손실 함수가 최소가 되는 파라미터를 도출하는 3차원 재구성 장치.
    Figure PCTKR2019012086-appb-I000009
    여기서, m은 배치 크기, nv는 복셀 수, y는 참조 데이터, xs는 희소 샘플링된 입력, f는 생성 네트워크, Lfid는 충실도 손실, Lper는 피처 공간의 지각적 손실, φ는 특정 신경망의 중간 기능을 수행하는 특징 맵, γ2는 손실 함수에 대한 튜닝 파라미터임
  6. 제2항에서,
    상기 절편 영상 생성부는,
    상기 2차원 영상의 복셀 데이터 그룹에 대응하여 블록화하고, 상기 딥러닝 알고리즘에서 컨볼루션의 단계에서의 각 블록의 특징과 디컨볼루션 단계에서의 각 블록의 특징을 연결하여 상기 절편 영상의 고해상도 복셀 데이터 그룹이 생성되면, 미리 설정된 필터 적용 간격에 기초하여 절편 영상을 생성하는 3차원 재구성 장치.
  7. 제2항에서,
    상기 절편 영상 생성부는,
    그라디언트 페널티 항을 포함하는 WGAN-GP 손실 함수, 충실도 손실 함수 그리고 지각적 손실 함수를 이용하여 미리 도출된 파라미터를 적용한 최소화된 손실 값이 연산되도록 하는 절편 영상을 생성하는 3차원 재구성 장치.
  8. 임의의 절편 간격을 가지는 연속적인 2차원 영상들을 수신하는 단계,
    상기 2차원 영상들 간의 특징점에 기초하여 인접한 상기 2차원 영상 사이에 위치하는 하나 이상의 절편 영상을 생성하는 단계, 그리고
    생성된 상기 절편 영상을 이용하여 상기 2차원 영상을 3차원 영상으로 재구성하여 제공하는 단계
    를 포함하는 3차원 재구성 장치의 3차원 영상 재구성 방법.
  9. 제8항에서,
    상기 하나 이상의 절편 영상을 생성하는 단계는,
    상기 2차원 영상에서 복셀 데이터 그룹을 선택하고, 선택한 상기 복셀 데이터 그룹을 학습된 딥러닝 알고리즘에 적용하는 과정을 반복하여 상기 2차원 영상 사이에 위치하는 상기 절편 영상을 3차원의 영상 형태로 생성하는 3차원 재구성 장치의 3차원 영상 재구성 방법.
  10. 제9항에서,
    상기 하나 이상의 절편 영상을 생성하는 단계는,
    상기 2차원 영상의 복셀 데이터 그룹에 대응하여 블록화하고, 상기 딥러닝 알고리즘에서 컨볼루션의 단계에서의 각 블록의 특징과 디컨볼루션 단계에서의 각 블록의 특징을 연결하여 상기 절편 영상의 고해상도 복셀 데이터 그룹이 생성되면, 미리 설정된 필터 적용 간격에 기초하여 절편 영상을 생성하는 3차원 재구성 장치의 3차원 영상 재구성 방법.
  11. 제9항에서,
    상기 하나 이상의 절편 영상을 생성하는 단계는,
    그라디언트 페널티 항을 포함하는 WGAN-GP 손실 함수, 충실도 손실 함수 그리고 지각적 손실 함수를 이용하여 미리 도출된 파라미터를 적용한 최소화된 손실 값이 연산되도록 하는 절편 영상을 생성하는 3차원 재구성 장치의 3차원 영상 재구성 방법.
  12. 제8항에서,
    상기 수신하는 단계 이전에 3차원 영상의 원 데이터에 기초하여 생성된 2차원 학습 데이터 사이에 위치하는 절편 영상을 생성하고, 생성한 상기 절편 영상에 대응하는 상기 원 데이터와의 오차를 산출하여 일치 여부를 검증하면, 상기 오차 값이 임계치 이하의 값이 되는 절편 영상이 생성되도록 딥러닝 알고리즘에 포함된 복수 개 필터의 가중치를 재조정하여 반복 학습시키는 단계를 더 포함하는 3차원 재구성 장치의 3차원 영상 재구성 방법.
PCT/KR2019/012086 2018-09-18 2019-09-18 3차원 영상 재구성 장치 및 그 방법 WO2020060196A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/276,291 US11978146B2 (en) 2018-09-18 2019-09-18 Apparatus and method for reconstructing three-dimensional image

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2018-0111678 2018-09-18
KR20180111678 2018-09-18
KR10-2019-0114294 2019-09-17
KR1020190114294A KR102245693B1 (ko) 2018-09-18 2019-09-17 3차원 영상 재구성 장치 및 그 방법

Publications (1)

Publication Number Publication Date
WO2020060196A1 true WO2020060196A1 (ko) 2020-03-26

Family

ID=69888813

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/012086 WO2020060196A1 (ko) 2018-09-18 2019-09-18 3차원 영상 재구성 장치 및 그 방법

Country Status (2)

Country Link
US (1) US11978146B2 (ko)
WO (1) WO2020060196A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112750201A (zh) * 2021-01-15 2021-05-04 浙江商汤科技开发有限公司 三维重建方法及相关装置、设备
CN113313817A (zh) * 2021-05-31 2021-08-27 齐鲁工业大学 一种基于mct切片图像的皮革纤维束的三维重构方法及应用
WO2024092996A1 (zh) * 2022-11-04 2024-05-10 中国科学院深圳先进技术研究院 医学图像处理方法、装置、计算机设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11069125B2 (en) * 2019-04-09 2021-07-20 Intuitive Research And Technology Corporation Geometry buffer slice tool
JP2023146110A (ja) * 2022-03-29 2023-10-12 バイエル アクチェンゲゼルシャフト 機械学習モデルに入力する医用画像を生成するためのコンピュータ実装方法、コンピュータプログラム、学習済み機械学習モデルの作成方法、および装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120275675A1 (en) * 2007-03-27 2012-11-01 Cameron Anthony Piron Post-Acquisition Adaptive Reconstruction of MRI Data
US9483813B2 (en) * 2013-02-05 2016-11-01 Noritsu Precision Co., Ltd. Image processing apparatus, computer-readable medium storing an image processing program, and image processing method
WO2017223560A1 (en) * 2016-06-24 2017-12-28 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning
KR20180021635A (ko) * 2016-08-22 2018-03-05 한국과학기술원 3차원 의료 영상에서 깊이 방향 재귀 학습을 이용하는 병변 특징 표현 분석 방법 및 시스템
US20180085002A1 (en) * 2013-03-11 2018-03-29 Carestream Dental Technology Topco Limited Method and System For Three-Dimensional Imaging

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9757036B2 (en) * 2007-05-08 2017-09-12 Mediguide Ltd. Method for producing an electrophysiological map of the heart
JP5570713B2 (ja) * 2007-09-27 2014-08-13 株式会社東芝 磁気共鳴イメージング装置
WO2010150717A1 (ja) * 2009-06-23 2010-12-29 株式会社 日立メディコ Ｘ線ｃｔ装置
KR101659578B1 (ko) 2015-09-01 2016-09-23 삼성전자주식회사 자기 공명 영상 처리 방법 및 장치
KR101961177B1 (ko) 2016-07-22 2019-03-22 한국과학기술원 뉴럴 네트워크를 이용한 영상 처리 방법 및 장치
EP3462373A1 (en) * 2017-10-02 2019-04-03 Promaton Holding B.V. Automated classification and taxonomy of 3d teeth data using deep learning methods
KR101894278B1 (ko) 2018-01-18 2018-09-04 주식회사 뷰노 일련의 슬라이스 영상을 재구성하는 방법 및 이를 이용한 장치
US10699407B2 (en) * 2018-04-11 2020-06-30 Pie Medical Imaging B.V. Method and system for assessing vessel obstruction based on machine learning
EP3561778A1 (en) * 2018-04-26 2019-10-30 Promaton Holding B.V. Automated correction of metal affected voxel representations of x-ray data using deep learning techniques

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120275675A1 (en) * 2007-03-27 2012-11-01 Cameron Anthony Piron Post-Acquisition Adaptive Reconstruction of MRI Data
US9483813B2 (en) * 2013-02-05 2016-11-01 Noritsu Precision Co., Ltd. Image processing apparatus, computer-readable medium storing an image processing program, and image processing method
US20180085002A1 (en) * 2013-03-11 2018-03-29 Carestream Dental Technology Topco Limited Method and System For Three-Dimensional Imaging
WO2017223560A1 (en) * 2016-06-24 2017-12-28 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning
KR20180021635A (ko) * 2016-08-22 2018-03-05 한국과학기술원 3차원 의료 영상에서 깊이 방향 재귀 학습을 이용하는 병변 특징 표현 분석 방법 및 시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112750201A (zh) * 2021-01-15 2021-05-04 浙江商汤科技开发有限公司 三维重建方法及相关装置、设备
CN112750201B (zh) * 2021-01-15 2024-03-29 浙江商汤科技开发有限公司 三维重建方法及相关装置、设备
CN113313817A (zh) * 2021-05-31 2021-08-27 齐鲁工业大学 一种基于mct切片图像的皮革纤维束的三维重构方法及应用
WO2024092996A1 (zh) * 2022-11-04 2024-05-10 中国科学院深圳先进技术研究院 医学图像处理方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
US11978146B2 (en) 2024-05-07
US20220028154A1 (en) 2022-01-27

Similar Documents

Publication Publication Date Title
WO2020060196A1 (ko) 3차원 영상 재구성 장치 및 그 방법
KR102245693B1 (ko) 3차원 영상 재구성 장치 및 그 방법
CN111539947B (zh) 图像检测方法及相关模型的训练方法和相关装置、设备
CN111739076B (zh) 面向多种ct肺部纹理识别的非监督保内容域适应方法
WO2021054706A1 (en) Teaching gan (generative adversarial networks) to generate per-pixel annotation
CN112116601B (zh) 基于生成对抗残差网络的压缩感知采样重建方法及系统
CN110879982B (zh) 一种人群计数系统及方法
CN113314205B (zh) 一种高效的医学影像标注与学习系统
CN109087298B (zh) 一种阿尔兹海默病mri图像分类方法
CN107798673A (zh) 诊断支援装置、诊断支援装置的图像处理方法、以及存储程序的存储介质
CN112446891A (zh) 基于U-Net网络脑胶质瘤的医学图像分割方法
KR20190139781A (ko) 데이터 획득 시간 최소화를 위한 cnn 기반의 고해상도 영상 생성 장치 및 그 방법
CN114219719A (zh) 基于双重注意力和多尺度特征的cnn医学ct图像去噪方法
CN111951276A (zh) 图像分割方法、装置、计算机设备和存储介质
KR20220129405A (ko) 전역 어텐션 기반 컨볼루션 네트워크를 이용한 이미지 분할 방법 및 장치
Xu et al. Remote-sensing image usability assessment based on ResNet by combining edge and texture maps
WO2024039043A1 (ko) 학습 데이터 생성 방법, 컴퓨터 프로그램 및 장치
CN112515653B (zh) 一种基于核磁共振图像的脑网络构建方法
WO2023249402A1 (ko) 딥러닝 모델의 학습을 위한 의료 데이터의 처리 방법, 프로그램 및 장치
KR102036052B1 (ko) 인공지능 기반으로 비규격화 피부 이미지의 의료 영상 적합성을 판별 및 변환하는 장치
CN113963427B (zh) 一种快速活体检测的方法与系统
WO2022231200A1 (ko) 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
AT&T icip13_A3K5C1
CN111080730B (zh) 基于跨通道和空间加权卷积特征的脑图像解码方法及系统
CN109800719B (zh) 基于分部件和压缩字典稀疏表示的低分辨率人脸识别方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19861950

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19861950

Country of ref document: EP

Kind code of ref document: A1