WO2024075903A1 - 임상 ct 스캔 데이터에서의 심층 학습 기반 패치별 3차원 골 미세구조 재구성 방법 및 장치 - Google Patents

임상 ct 스캔 데이터에서의 심층 학습 기반 패치별 3차원 골 미세구조 재구성 방법 및 장치 Download PDF

Info

Publication number
WO2024075903A1
WO2024075903A1 PCT/KR2022/020533 KR2022020533W WO2024075903A1 WO 2024075903 A1 WO2024075903 A1 WO 2024075903A1 KR 2022020533 W KR2022020533 W KR 2022020533W WO 2024075903 A1 WO2024075903 A1 WO 2024075903A1
Authority
WO
WIPO (PCT)
Prior art keywords
resolution
low
skeletal system
image
image patches
Prior art date
Application number
PCT/KR2022/020533
Other languages
English (en)
French (fr)
Inventor
장인권
천봉주
고혁진
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of WO2024075903A1 publication Critical patent/WO2024075903A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography

Definitions

  • Various embodiments relate to a method and device for deep learning-based patch-specific 3D bone microstructure reconstruction from clinical CT scan data.
  • Osteoporosis is a representative degenerative disease that has no specific symptoms. Although the prevalence of osteoporosis is increasing due to the aging of society, the number of patients who are aware that they have osteoporosis is still very low. Since osteoporosis is generally recognized only after a fracture occurs, timely and effective medical response is difficult. Additionally, osteoporotic fractures cause serious disability and reduce an individual's quality of life. After an osteoporotic fracture, many patients lose the ability to be active. In addition, some patients may die when a hip fracture occurs. The number of osteoporosis patients in Korea has been steadily increasing, and it is highly likely that osteoporosis will emerge as a core problem in society.
  • osteoporosis According to research to date, bone strength damaged by osteoporosis cannot be restored to its original level. This is a result of the inability to restore the connectivity of the lost bone microstructure, which is an irreversible characteristic of the bone remodeling process. In other words, it is very important to prevent loss of bone microstructure due to osteoporosis in advance, and based on this, early diagnosis of osteoporosis has clinical significance.
  • Osteoporosis is defined as a condition in which bone strength is reduced due to a decrease in bone mass and qualitative deterioration of bone microstructure, making fractures more likely to occur.
  • Bone strength refers to the strength of the bone to resist fracture. Bone strength is determined by ‘bone mass’, which is the total amount of bone, and ‘bone quality’, such as bone microstructure, so obtaining the above two pieces of information is necessary to accurately diagnose osteoporosis.
  • bone mass which is the total amount of bone
  • bone quality such as bone microstructure
  • osteoporosis diagnosis based on bone mass diagnoses two patients with different bone quality as having the same level of osteoporosis if their bone mass is the same. Diagnosis methods that lack bone quality information have the potential for misdiagnosis and overdiagnosis, and these problems are consistently reported in clinical practice. Therefore, there is a need for the development of a new osteoporosis diagnosis method based on quantitative bone strength assessment that includes bone quality information.
  • bone microstructure is a very influential factor. Bone strength can be evaluated with higher accuracy when considering 3D bone microstructure together than when considering only bone density information.
  • a clinical study has been published showing that more accurate diagnosis of osteoporosis is possible when bone density measurement and bone microstructure analysis are performed together.
  • bone microstructure information is required for a reliable diagnosis of osteoporosis, but due to high radiation exposure, low signal-to-noise ratio, long imaging time, and limitations in the imaging area, it is currently impossible to obtain high-resolution skeletal system images capable of expressing bone microstructure. .
  • Deep learning-based image reconstruction technology is being actively applied to images of various soft tissues such as the brain.
  • high-resolution images of the skeletal system which is a hard tissue
  • the high-resolution magnification is currently limited to a maximum of 4 times.
  • there are difficulties in building training datasets due to the difficulty in obtaining high-resolution skeletal system images.
  • Image reconstruction technology based on topology optimization is based on Wolff's law, which states that bone remodeling is a process of changing bone microstructure to most efficiently withstand external loads with the minimum mass, under given bone mass constraints. Reconstructs bone microstructure with maximum stiffness through redistribution of bone density.
  • Topology-optimized design-based technology has shown high resolution magnification (about 10 times) and accurate bone strength assessment accuracy, but it requires excessive calculation time due to repetitive finite element analysis, which limits its clinical application.
  • Various embodiments propose a deep learning-based bone microstructure reconstruction technology for rapid and accurate diagnosis of skeletal-related diseases in clinical practice.
  • Various embodiments provide methods and devices for patch-specific 3D bone microstructure reconstruction based on deep learning from clinical CT scan data.
  • a method of a computer device includes dividing a low-resolution skeletal system image into a plurality of low-resolution image patches, using a pre-trained artificial neural network to separate a plurality of high-resolution image patches from the low-resolution image patches. It may include acquiring, and assembling and post-processing the high-resolution image patches to reconstruct high-resolution bone microstructure.
  • a computer device includes a memory, and a processor connected to the memory and configured to execute at least one command stored in the memory, wherein the processor converts a low-resolution skeletal system image into a plurality of low-resolution image patches. divided into sections, obtain a plurality of high-resolution image patches from the low-resolution image patches using a pre-trained artificial neural network, and assemble and post-process the high-resolution image patches to reconstruct high-resolution bone microstructure. You can.
  • the method may include converting a low-resolution skeletal system image into a plurality of low-resolution images. Dividing into patches, obtaining a plurality of high-resolution image patches from the low-resolution image patches using a pre-trained artificial neural network, and assembling and post-processing the high-resolution image patches to create a high-resolution bone microstructure. It may include a reconstructing step.
  • Various embodiments can quickly and accurately reconstruct three-dimensional, high-resolution bone microstructure from low-resolution clinical CT scan data using artificial neural networks. At this time, by assembling and post-processing high-resolution image patches obtained through an artificial neural network, the occurrence of discontinuous structures can be minimized and the patient's individual characteristics can be reflected, making it possible to assess patient-specific bone strength with higher accuracy than before.
  • 1 is a diagram schematically showing a computer device for reconstructing 3D bone microstructure for each patch according to various embodiments.
  • FIG. 2 is a diagram illustrating the operation characteristics of the computer device of FIG. 1 by way of example.
  • FIG. 3 is a diagram schematically illustrating a method for learning an artificial neural network of a computer device according to various embodiments.
  • FIG. 4 is a diagram exemplarily illustrating the step of generating learning data of FIG. 3.
  • FIG. 5 is a diagram illustrating the steps of training the artificial neural network of FIG. 3 by way of example.
  • FIG. 6 is a diagram schematically illustrating a method for reconstructing 3D bone microstructure for each patch of a computer device according to various embodiments.
  • FIG. 7 is a diagram illustrating the steps of reconstructing a three-dimensional bone microstructure by assembling and post-processing the high-resolution image patches of FIG. 6.
  • FIG. 8 is a diagram illustrating the density filtering of FIG. 7 by way of example.
  • FIG. 9 is a diagram illustrating the adaptive thresholding of FIG. 7 by way of example.
  • FIG. 1 is a diagram schematically showing a computer device 100 for reconstructing 3D bone microstructure for each patch according to various embodiments.
  • FIG. 2 is a diagram illustrating the operational characteristics of the computer device 100 of FIG. 1 by way of example.
  • the computer device 100 may include at least one of an input module 110, an output module 120, a memory 130, or a processor 140. In some embodiments, at least one of the components of computer device 100 may be omitted and at least one other component may be added. In some embodiments, at least two of the components of computer device 100 may be implemented as one integrated circuit.
  • the input module 110 may input a signal to be used in at least one component of the computer device 100.
  • the input module 110 is configured to receive a signal from an input device configured to allow the user to directly input a signal into the computer device 100, a sensor device configured to generate a signal by detecting changes in the surroundings, or an external device. It may include at least one of the receiving devices.
  • the input device may include at least one of a microphone, mouse, or keyboard.
  • the input device may include at least one of touch circuitry configured to detect a touch or a sensor circuit configured to measure the intensity of force generated by the touch.
  • the output module 120 may output information to the outside of the computer device 100.
  • the output module 120 may include at least one of a display device configured to visually output information, an audio output device capable of outputting information as an audio signal, or a transmission device capable of transmitting information wirelessly.
  • the display device may include at least one of a display, a hologram device, or a projector.
  • the display device may be implemented as a touch screen by being assembled with at least one of the touch circuit or the sensor circuit of the input module 110.
  • an audio output device may include at least one of a speaker or a receiver.
  • the receiving device and the transmitting device may be implemented as communication modules.
  • the communication module may perform communication with an external device in the computer device 100.
  • the communication module may establish a communication channel between the computer device 100 and an external device and perform communication with the external device through the communication channel.
  • the external device may include at least one of a vehicle, satellite, base station, server, or other computer system.
  • the communication module may include at least one of a wired communication module or a wireless communication module.
  • the wired communication module is connected to an external device by wire and can communicate by wire.
  • the wireless communication module may include at least one of a short-range communication module or a long-distance communication module.
  • the short-range communication module can communicate with external devices using short-range communication.
  • the short-range communication method may include at least one of Bluetooth, WiFi direct, or infrared data association (IrDA).
  • the long-distance communication module can communicate with external devices through long-distance communication.
  • the long-distance communication module can communicate with external devices through a network.
  • the network may include at least one of a cellular network, the Internet, or a computer network such as a local area network (LAN) or a wide area network (WAN).
  • LAN local area network
  • WAN wide area network
  • Memory 130 may store various data used by at least one component of computer device 100.
  • the memory 130 may include at least one of volatile memory and non-volatile memory.
  • Data may include at least one program and input or output data related thereto.
  • the program may be stored in the memory 130 as software including at least one command, and may include at least one of an operating system, middleware, or an application.
  • the processor 140 may execute a program in the memory 130 to control at least one component of the computer device 100. Through this, the processor 140 can process data or perform calculations. At this time, the processor 140 may execute instructions stored in the memory 130.
  • the computer device 100 may reconstruct a three-dimensional, high-resolution bone microstructure from a low-resolution skeletal system image, as shown in FIG. 2.
  • the processor 140 may acquire a low-resolution skeletal system image corresponding to a volume of interest (VOI) from low-resolution clinical CT scan data.
  • the processor 140 may sample a low-resolution skeletal system image and obtain low-resolution image patches.
  • the processor 140 may obtain low-resolution structural behavior information (eg, displacement, etc.) for each of the low-resolution image patches.
  • structural behavior information may represent the displacement of finite element model nodes in the region of interest when an external load is applied.
  • the processor 140 may obtain a plurality of high-resolution image patches from low-resolution image patches using a pre-trained artificial neural network in step 230.
  • the artificial neural network can be trained in advance based on a learning dataset generated from high-resolution skeletal images reconstructed through topology-optimal design-based skeletal image reconstruction technology.
  • the processor 140 can reconstruct high-resolution bone microstructure by assembling and post-processing high-resolution image patches in step 240.
  • the processor 140 performs density filtering and adaptive thresholding on the assembled image to clearly express the connectivity between high-resolution image patches and remove discontinuities between them. Post-processing can be performed repeatedly.
  • FIG. 3 is a diagram schematically illustrating a method for learning an artificial neural network of the computer device 100 according to various embodiments.
  • FIG. 4 is a diagram illustrating the step of generating learning data (step 310) of FIG. 3 by way of example.
  • FIG. 5 is a diagram illustrating an exemplary step of training the artificial neural network of FIG. 3 (step 320).
  • the computer device 100 may generate a learning dataset in step 310.
  • high-resolution skeletal system images capable of expressing bone microstructure are required.
  • high-resolution skeletal images capable of expressing bone microstructure cannot be obtained clinically, making it difficult to secure a sufficiently large learning dataset.
  • topology optimal design enables the acquisition of various high-resolution skeletal system images when applying different load conditions and bone density constraint conditions to low-resolution skeletal system images, making it possible to create a learning dataset.
  • Skeletal image reconstruction technology based on topology optimization enables reconstruction of bone microstructure and accurate assessment of bone strength, but has limitations in clinical application due to excessive calculation time.
  • the topology optimization design process could be replaced by an artificial neural network, it would be possible to reconstruct bone microstructure with a level of precision and calculation amount that is possible for clinical application.
  • the skeletal structure is composed of unit structures of rods, plates, and junctions. This means that even if a single image is divided into multiple partial images, the structural composition of the skeletal system within each individual image is similar. If it is possible to learn an artificial neural network with partial images, it is possible to acquire a huge amount of learning data from a small number of skeletal system images. This means that artificial neural networks can effectively learn how skeletal structures are structured.
  • the processor 140 performs topology optimization design a total of N times, for example, 10 times, by applying different load conditions and bone density constraint conditions to the region of interest in the low-resolution clinical CT scan data.
  • N bone microstructures for the region of interest that is, high-resolution skeletal system images
  • high-resolution skeletal system images can be acquired with a predetermined size, for example, 176X176X176.
  • the processor 140 may generate a learning dataset from high-resolution skeletal images.
  • the processor 140 may downscale high-resolution skeletal system images by 8 times as shown in FIG. 4 to obtain low-resolution skeletal system images at the clinical CT level for the region of interest.
  • low-resolution skeletal system images may be acquired with a predetermined size, for example, 22X22X22.
  • the processor 140 may perform finite element analysis on each of the low-resolution skeletal system images to obtain low-resolution structural behavior information (eg, displacement, etc.) for the region of interest.
  • the processor 140 divides each of the high-resolution skeletal system images into a plurality of high-resolution image patches, divides each of the low-resolution skeletal system images into a plurality of low-resolution image patches, and provides low-resolution structural behavior information for each of the low-resolution image patches. can be detected.
  • high-resolution image patches may be acquired with a predetermined size, such as 64X64X64
  • low-resolution image patches may be acquired with a predetermined size, such as 8X8X8.
  • the processor 140 can generate a learning dataset having a plurality of data pairs as shown in FIG. 4, where each data pair corresponds to a high-resolution image patch, a low-resolution image patch, and a low-resolution image patch for the low-resolution image patch. May contain low-resolution structural behavior information.
  • the processor 140 may apply data augmentation through rotation of high-resolution skeletal system images to augment the training dataset.
  • a learning dataset with a total of 51,200 data pairs can be created from a total of 10 high-resolution skeletal system images.
  • the computer device 100 may train an artificial neural network based on the learning dataset in step 320.
  • the processor 140 may train the artificial neural network so that when a low-resolution image patch and low-resolution structural behavior information about the low-resolution image patch are input to the artificial neural network, a high-resolution image patch is output from the artificial neural network.
  • the processor 140 may divide the learning dataset into a training dataset and a verification and test dataset. For example, some of the N high-resolution skeletal system images, for example, a training dataset related to 6 high-resolution skeletal system images out of 10 high-resolution skeletal system images, are assigned as the training dataset, and training data related to the remaining high-resolution skeletal images are used as training data.
  • the sets can be assigned as validation and test datasets. Additionally, the processor 140 may train an artificial neural network using a training dataset and then verify and test the trained artificial neural network using a verification and test dataset.
  • U-net can be used, which shows high accuracy in the segmentation problem of medical images, as shown in FIG. 5. Since skeletal system image reconstruction can be viewed as a segmentation problem of images consisting of two phases of bone and bone marrow, the use of U-net may be appropriate. For example, training may be conducted with a mean square error (MSE) loss function, a batch size of 40, and a learning rate of 0.001.
  • MSE mean square error
  • FIG. 6 is a diagram schematically illustrating a method for reconstructing 3D bone microstructure for each patch of the computer device 100 according to various embodiments.
  • FIG. 7 is a diagram illustrating the steps of reconstructing a three-dimensional bone microstructure by assembling and post-processing the high-resolution image patches of FIG. 6.
  • FIG. 8 is a diagram illustrating the density filtering of FIG. 7 by way of example, and
  • FIG. 9 is a diagram illustrating the adaptive thresholding of FIG. 7 by example.
  • the computer device 100 may acquire a low-resolution skeletal system image to be reconstructed in step 610.
  • the processor 140 may acquire a low-resolution skeletal system image corresponding to the region of interest from low-resolution clinical CT scan data.
  • the low-resolution skeletal system image may be acquired in a predetermined size, for example, 22X22X22 as shown in FIG. 2.
  • the processor 140 may perform finite element analysis on the low-resolution skeletal system image to obtain low-resolution structural behavior information (eg, displacement, etc.) for the region of interest.
  • the computer device 100 may divide the low-resolution skeletal system image into a plurality of low-resolution image patches in step 620.
  • the processor 140 may obtain low-resolution image patches by sampling a low-resolution skeletal system image.
  • low-resolution image patches can be obtained with a predetermined size, for example, 8X8X8 as shown in FIG. 2.
  • the processor 140 may obtain low-resolution structural behavior information for each of the low-resolution image patches.
  • the computer device 100 may respectively acquire a plurality of high-resolution image patches from the low-resolution image patches using a pre-trained artificial neural network in step 630.
  • the processor 140 may acquire each high-resolution image patch by learning each low-resolution image patch using the artificial neural network learned as described above.
  • high-resolution image patches can be obtained with a predetermined size, for example, 64X64X64.
  • the computer device 100 can reconstruct a three-dimensional, high-resolution bone microstructure by assembling and post-processing the high-resolution image patches in step 640.
  • the processor 140 may assemble high-resolution image patches as shown in FIG. 7 and obtain an assembled image.
  • artificial discontinuities occur in overlapping areas between high-resolution image patches, which may negatively affect the accuracy of bone strength assessment by inhibiting load propagation to the corresponding path. Therefore, in order to clearly express the connectivity between high-resolution image patches and remove discontinuities between them, the processor 140 iteratively performs density filtering and adaptive thresholding on the assembled image as shown in FIG. 7. Post-processing can be performed using .
  • the high-resolution bone microstructure can be reconstructed to a predetermined size, e.g., 176X176X176.
  • the processor 140 may alleviate artificial discontinuity by expressing the bone density of a specific voxel as a weighted sum of surrounding bone density values, as shown in FIG. 8, through density filtering. Meanwhile, the processor 140 can binarize the image through thresholding and convert the bone density of the binarized image to have a distribution of [0, 1] so that thresholding can be applied again. Iterative density filtering and thresholding is the process of reconstructing the initially unclear bone density distribution into bone microstructure with clear connectivity.
  • the processor 140 may binarize the image through adaptive thresholding. Adaptive thresholding can use different “optimal” threshold values for each location in the image, rather than a single “fixed” threshold value. As shown in FIG. 9, the processor 140 may utilize the bone density distribution of the low-resolution skeletal system image to calculate a threshold value for each location so that the thresholding result of the image has the same bone density distribution as that of the low-resolution skeletal system image. Through this, it is possible to utilize the patient's unique bone density distribution information on low-resolution skeletal system images. Additionally, the processor 140 may use a threshold value lower than the threshold value calculated for the initial one-time adaptive thresholding. Through this, connectivity between high-resolution image patches can be secured, improving the accuracy of structural strength evaluation.
  • Various embodiments of the present disclosure can quickly and accurately reconstruct high-resolution bone microstructure from low-resolution clinical CT scan data using an artificial neural network.
  • an artificial neural network by assembling and post-processing high-resolution image patches obtained through an artificial neural network, the occurrence of discontinuous structures can be minimized and the patient's individual characteristics can be reflected, making it possible to assess patient-specific bone strength with higher accuracy than before.
  • two volumes of interest (test datasets) that were not used in training of the artificial neural network were used.
  • high-resolution bone microstructure reconstructed from low-resolution skeletal system images was compared with the results of topology optimal design.
  • bone morphometric indices total bone volume, trabecular thickness (Tb.Th), trabecular separation (Tb.Sp), and degree of anisotropy were assessed. (degree of anisotropy) and apparent stiffness, which is an index of bone strength, were used.
  • degree of anisotropy and apparent stiffness, which is an index of bone strength, were used.
  • the bone morphological index and bone strength aspects also showed high accuracy, and the technology of the present disclosure significantly reduced the time required for reconstruction by approximately 99% compared to the existing topology-optimized design-based technology.
  • the technology of this disclosure can be applied and applied as follows.
  • the technology of the present disclosure can improve diagnostic accuracy for skeletal diseases.
  • the current bone density-based osteoporosis diagnosis method has the problem that bone strength evaluation is inaccurate due to “bone quality” information not being reflected, and the diagnosis result may vary depending on the bone density reference group.
  • the skeletal system image reconstruction methods currently being studied have limitations in terms of computational cost (topology optimization method) and high resolution ability (artificial neural network method). For clinical application, it is necessary to develop new technologies that can overcome the above limitations and provide rapid and high-resolution magnification.
  • the present disclosure solves the artificial structural discontinuity problem of the artificial neural network-based skeletal system image high-resolution technology, making it possible to provide accurate bone microstructure information necessary for the diagnosis of osteoporosis.
  • the technology of the present disclosure can be applied to drug prescription for diseases related to the skeletal system.
  • Drugs currently used to treat osteoporosis include bisphosphonates, tibolone, and denosumab, and the effectiveness of drugs is usually judged in terms of increase or decrease in bone mass.
  • the exact effect of individual drugs on bone microstructure has not been specified, and for this purpose, it is necessary to obtain information on bone microstructure in vivo.
  • accurate bone microstructure is expressed through the technology of the present disclosure, it is possible to more accurately determine the effect of individual drugs on bone microstructure and, by extension, bone strength. This means that side effects for individual patients can be minimized through customized prescriptions.
  • the physical limitations of medical imaging devices can be overcome through image reconstruction.
  • Currently used medical imaging devices CT, MRI, etc.
  • CT, MRI, etc. have limitations such as excessive radiation exposure and long imaging times, so the obtainable in-vivo resolution is limited to several hundred ⁇ m.
  • the technology of the present disclosure can effectively express bone microstructure through an image reconstruction method that is free from these physical constraints, and can provide information related to bone microstructure, such as accurate bone strength, required in the skeletal clinical field. Since the technology of the present disclosure is an image reconstruction method that is not limited by the type of imaging device, it can be easily applied to various existing medical imaging devices at a relatively low cost. In addition, from a technical perspective, the reliability of early diagnosis of osteoporosis can be improved.
  • osteoporosis is diagnosed through relative evaluation based on bone density.
  • this method does not reflect information on bone microstructure, making it impossible to accurately assess bone strength, and thus has low diagnostic reliability.
  • the technology of the present disclosure enables accurate assessment of bone strength by providing bone microstructure information through reconstruction of medical images.
  • low-dose, low-resolution medical images are used, long-term follow-up tests are possible, which can greatly contribute to improving the reliability of early diagnosis of osteoporosis.
  • osteoporosis-related medical costs can be reduced.
  • the annual medical cost of osteoporotic fractures in the United States amounts to 18 billion dollars, and the medical cost for osteoporosis treatment in Korea is also very high at 807.2 billion won.
  • the technology of the present disclosure can contribute to the accurate diagnosis of osteoporosis, it can preemptively/effectively respond to osteoporosis and osteoporotic fractures. If reliable early diagnosis of osteoporosis becomes possible through the technology of the present disclosure, it can be expected to reduce medical costs due to osteoporosis prevention and reduce side effects due to over-diagnosis and misdiagnosis.
  • Osteoporotic fractures cause not only direct costs for treatment, but also enormous social costs, such as additional labor input for the patient's treatment and loss of income due to the patient's early death.
  • social costs such as additional labor input for the patient's treatment and loss of income due to the patient's early death.
  • pension expenditure increases by an average of 70 million won compared to a case where no fracture occurs, while direct and indirect taxes It decreased by an average of 53 million won.
  • the technology of the present disclosure can contribute to reliable early diagnosis and timely medical intervention related to osteoporosis, and can prevent enormous social costs due to osteoporotic fractures in advance.
  • various embodiments provide a method and apparatus for deep learning-based patch-by-patch 3D bone microstructure reconstruction from clinical CT scan data.
  • the method of the computer device 100 includes dividing a low-resolution skeletal system image into a plurality of low-resolution image patches, and obtaining a plurality of high-resolution image patches from the low-resolution image patches using a pre-trained artificial neural network. It may include the step of assembling and post-processing high-resolution image patches to reconstruct high-resolution bone microstructure.
  • low-resolution skeletal system images may be acquired from a region of interest in low-resolution clinical CT scan data.
  • the method of the computer device 100 may further include training an artificial neural network.
  • the step of learning an artificial neural network involves performing topological optimal design by applying different load conditions and bone density constraint conditions to the region of interest in low-resolution clinical CT scan data, thereby performing a phase optimization of multiple high-resolution skeletal systems. It may include acquiring images, generating a learning dataset from high-resolution skeletal system images, and training an artificial neural network based on the learning dataset.
  • the step of generating a learning dataset includes downscaling high-resolution skeletal system images to obtain a plurality of low-resolution skeletal system images, performing finite element analysis on each of the low-resolution skeletal system images, and obtaining low-resolution skeletal system images.
  • Obtaining structural behavior information dividing each of the high-resolution skeletal system images into a plurality of high-resolution image patches, dividing each of the low-resolution skeletal system images into a plurality of low-resolution image patches, and dividing the low-resolution structural behavior information into a plurality of low-resolution image patches. It may include dividing each of the patches and creating a learning dataset.
  • the step of training the artificial neural network further includes the step of additionally acquiring at least one high-resolution skeletal system image through rotation of at least one of the high-resolution skeletal system images, thereby increasing the learning dataset. You can.
  • the method of the computer device 100 includes obtaining low-resolution structural behavior information by performing finite element analysis on a low-resolution skeletal system image, and dividing the low-resolution structural behavior information for each of the low-resolution image patches.
  • the artificial neural network may further include the step of, when each of the low-resolution image patches and the segmented low-resolution structural behavior information are input, the artificial neural network may output each of the high-resolution image patches.
  • the step of reconstructing the high-resolution bone microstructure may include post-processing an assembled image in which high-resolution image patches are assembled to reconstruct the high-resolution bone microstructure.
  • the step of post-processing the assembled image may repeatedly apply density filtering, which expresses the bone density of a specific voxel as a weighted sum of bone density values of surrounding voxels, and thresholding, which binarizes the image. .
  • thresholding is adaptive thresholding that uses different threshold values for each position of the image, and the threshold value is such that the thresholding result for the image has the same bone density distribution as the low-resolution skeletal system image. can be calculated.
  • the computer device 100 of various embodiments includes a memory 130, and a processor 140 connected to the memory 130 and configured to execute at least one instruction stored in the memory 130, and the processor 140 ) divides a low-resolution skeletal system image into a plurality of low-resolution image patches, uses a pre-trained artificial neural network to obtain a plurality of high-resolution image patches from the low-resolution image patches, and assembles and post-processes the high-resolution image patches. , can be configured to reconstruct bone microstructure at high resolution.
  • low-resolution skeletal system images may be acquired from a region of interest in low-resolution clinical CT scan data.
  • the processor 140 performs phase optimal design by applying different loading conditions and bone density constraint conditions to the region of interest in low-resolution clinical CT scan data, thereby generating a plurality of high-resolution skeletal system images. It can be configured to acquire, create a learning dataset from high-resolution skeletal system images, and train an artificial neural network based on the learning dataset.
  • the processor 140 downscales the high-resolution skeletal system images, respectively acquires a plurality of low-resolution skeletal system images, performs finite element analysis on each of the low-resolution skeletal system images, and provides low-resolution structural behavior information. Obtaining, dividing each of the high-resolution skeletal system images into a plurality of high-resolution image patches, dividing each of the low-resolution skeletal system images into a plurality of low-resolution image patches, and dividing the low-resolution structural behavior information for each of the plurality of low-resolution image patches.
  • it can be configured to generate a learning dataset.
  • the processor 140 is configured to additionally acquire at least one high-resolution skeletal system image through rotation of at least one of the high-resolution skeletal system images, thereby increasing the learning dataset.
  • the processor 140 is configured to perform finite element analysis on a low-resolution skeletal system image to obtain low-resolution structural behavior information, and to segment the low-resolution structural behavior information for each of the low-resolution image patches.
  • the neural network can output each of the high-resolution image patches.
  • the processor 140 uses a density to express the bone density of a specific voxel as a weighted sum of the bone density values of surrounding voxels for an assembled image in which high-resolution image patches are assembled. It can be configured to post-process by repeatedly applying filtering and thresholding to binarize the image.
  • thresholding is adaptive thresholding that uses different threshold values for each position of the image, and the threshold value is such that the thresholding result for the image has the same bone density distribution as the low-resolution skeletal system image. can be calculated.
  • the above-described method may be provided as a computer program stored in a computer-readable recording medium for execution on a computer.
  • Media may be used to continuously store executable programs on a computer, or to temporarily store them for execution or download.
  • the medium may be a variety of recording or storage means in the form of a single or several pieces of hardware combined. It is not limited to a medium directly connected to a computer system and may be distributed over a network. Examples of media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, And there may be something configured to store program instructions, including ROM, RAM, flash memory, etc. Additionally, examples of other media include recording or storage media managed by app stores that distribute applications, sites or servers that supply or distribute various other software, etc.
  • the processing units used to perform the techniques may include one or more ASICs, DSPs, digital signal processing devices (DSPDs), programmable logic devices (PLDs). ), field programmable gate arrays (FPGAs), processors, controllers, microcontrollers, microprocessors, electronic devices, and other electronic units designed to perform the functions described in this disclosure. , a computer, or a combination thereof.
  • the various illustrative logical blocks, modules, and circuits described in connection with this disclosure may be general-purpose processors, DSPs, ASICs, FPGAs or other programmable logic devices, discrete gate or transistor logic, discrete hardware components, or It may be implemented or performed as any combination of those designed to perform the functions described in.
  • a general-purpose processor may be a microprocessor, but in the alternative, the processor may be any conventional processor, controller, microcontroller, or state machine.
  • a processor may also be implemented as a combination of computing devices, such as a DSP and a microprocessor, a plurality of microprocessors, one or more microprocessors in conjunction with a DSP core, or any other configuration.
  • RAM random access memory
  • ROM read-only memory
  • NVRAM non-volatile random access memory
  • PROM on computer-readable media such as programmable read-only memory (EPROM), electrically erasable PROM (EEPROM), flash memory, compact disc (CD), magnetic or optical data storage devices, etc. It may also be implemented as stored instructions. Instructions may be executable by one or more processors and may cause the processor(s) to perform certain aspects of the functionality described in this disclosure.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Pulmonology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)

Abstract

다양한 실시예들은 임상 CT 스캔 데이터에서의 심층 학습 기반 패치별 3차원 골 미세구조 재구성 방법 및 장치를 제공한다. 다양한 실시예들에 따르면, 컴퓨터 장치는, 저해상도 골격계 영상을 복수의 저해상도 이미지 패치들로 분할하고, 미리 학습된 인공 신경망을 이용하여, 저해상도 이미지 패치들로부터 복수의 고해상도 이미지 패치들을 각각 획득하고, 고해상도 이미지 패치들을 조립 및 후처리하여, 고해상도 골 미세구조를 재구성하도록 구성될 수 있다.

Description

임상 CT 스캔 데이터에서의 심층 학습 기반 패치별 3차원 골 미세구조 재구성 방법 및 장치
다양한 실시예들은 임상 CT 스캔 데이터에서의 심층 학습 기반 패치별 3차원 골 미세구조 재구성 방법 및 장치에 관한 것이다.
골다공증(osteoporosis)은 대표적인 퇴행성 질환으로 특별한 자각증상이 없다. 사회의 고령화로 인해 골다공증의 유병률은 상승하고 있지만, 그럼에도 불구하고 골다공증임을 자각하는 환자는 매우 낮다. 일반적으로 골절 발생 후에야 골다공증임을 자각하므로, 시의적절하고 효과적인 의료 대응이 어렵다. 또한, 골다공증성 골절은 심각한 장애를 유발하여 개인의 삶의 질을 저하시킨다. 골다공증성 골절 이후, 많은 환자들이 활동 능력을 상실한다. 뿐만 아니라, 고관절 골절 발생 시 일부 환자들은 사망하기도 한다. 대한민국의 골다공증 환자 수는 꾸준히 증가해오고 있으며, 골다공증이 사회의 핵심 문제로 부상할 가능성이 크다. 현재까지의 연구에 따르면, 골다공증으로 인해 손상된 골 강도는 원래 수준으로의 회복이 불가능하다. 이는 골 재형성 과정의 비가역적 특성인, 소실된 골 미세구조의 연결성을 복구할 수 없어 발생하는 결과이다. 즉, 골다공증으로 인한 골 미세구조의 소실을 사전에 방지하는 것이 매우 중요하며, 이에 의거하여 골다공증의 조기진단은 임상적으로 중요한 의미가 있다.
골다공증은 골량의 감소와 골 미세구조의 질적인 악화로 인해 골 강도가 감소하여　골절이 일어날 가능성이 높은 상태로 정의되며, 골 강도는 뼈가 골절에 저항하는 힘을 의미한다. 골 강도는 뼈의 총량인 ‘골량’과 골 미세구조와 같은 ‘골질’에 의해서 결정되므로, 정확한 골다공증 진단을 위해서는 상기 두 정보의 획득이 필요하다. 현재 골다공증 진단은 여러 방사선 영상기기를 활용한 골밀도(bone mineral density; BMD) 측정을 통해 이루어지고 있으며, 대표적인 영상기기로 DXA(dual energy X-ray absorptiometry), QCT(quantitative computed tomography) 등이 있다. 이러한 영상기기들은 X-ray 감쇄율에 의한 골량 정보는 측정 가능하나, 600μm 수준의 낮은 해상도로 인하여 골 미세구조와 같은 골질 정보는 획득할 수 없다. 이와 같은 골량 기반의 골다공증 진단은 서로 다른 골질을 가지는 두 환자들을, 골량이 같다면 같은 수준의 골다공증으로 진단한다. 골질의 정보가 결여된 진단방식은 오진단, 과진단의 가능성이 존재하며, 이러한 문제점은 임상에서 꾸준히 보고되고 있다. 따라서, 골질 정보가 포함된 정량적 골 강도 평가를 기반으로 한 새로운 골다공증 진단 방법의 개발이 요구되고 있다.
골 강도 평가 시 골 미세구조는 큰 영향을 미치는 요소이다. 골밀도 정보만을 고려할 때보다, 3차원 골 미세구조를 함께 고려할 시 보다 높은 정확도로 골 강도를 평가할 수 있다. 또한, 골밀도 측정과 골 미세구조 분석을 함께 진행할 경우, 더욱 정확한 골다공증 진단이 가능하다는 임상연구가 발표된 바 있다. 즉, 신뢰성 있는 골다공증 진단을 위해서는 골 미세구조 정보가 필요하지만, 높은 방사선 노출, 낮은 신호대잡음비, 긴 촬영 시간, 촬영 부위의 제약 등으로 인해, 골 미세구조 표현이 가능한 고해상도 골격계 영상 획득은 현재 불가능하다.
하드웨어적 개선을 통한 영상 해상도 확보가 한계에 봉착함에 따라, 영상기기를 통해 획득한 영상의 후처리를 통해 해상도를 개선하려는 기술이 활발히 연구되고 있다. 해당 영상 고해상화 기술은 크게 심층 학습 기반 기술과 위상최적설계 기반 기술로 분류된다.
심층 학습 기반의 영상 재구성 기술은 뇌 등의 여러 연조직(soft tissue)을 촬영한 영상에 활발히 적용되고 있다. 다만, 경조직(hard tissue)인 골격계 영상 고해상화의 경우 복잡한 형상의 골 미세구조로 인해 성공적인 인공 신경망의 훈련이 매우 어려울뿐더러 고해상화 배율도 현재 최대 4배로 제한된다. 뿐만 아니라 고해상도 골격계 영상 확보의 어려움으로 인해 훈련 데이터셋 구축에 어려움이 있다. 또한, 골격계 영상에 심층 학습 기반 기술을 성공적으로 적용한 사례는 아직까지 보고된 바가 없다.
위상최적설계 기반 영상 재구성 기술은, 골 재형성은 최소의 질량으로 외부 하중을 가장 효율적으로 버틸 수 있도록 골 미세구조를 변화시키는 과정이라는 울프의 법칙(Wolff’s law)에 근거하여, 주어진 골량 제한조건 하에서 골밀도의 재분배를 통해 최대 강성의 골 미세구조를 재구성한다. 위상최적설계 기반 기술은 높은 고해상화 배율(10배 내외) 및 정확한 골 강도 평가 정확도를 보였지만, 반복적인 유한 요소 해석으로 인해 과도한 계산시간이 소요되어 임상 적용에 한계가 있다.
다양한 실시예들은 임상에서의 신속하고 정확한 골격계 관련 질환 진단을 위한 심층 학습 기반 골 미세구조 재구성 기술을 제안한다.
다양한 실시예들은 임상 CT 스캔 데이터에서의 심층 학습 기반 패치별 3차원 골 미세구조 재구성 방법 및 장치를 제공한다.
다양한 실시예들에 따르면, 컴퓨터 장치의 방법은, 저해상도 골격계 영상을 복수의 저해상도 이미지 패치들로 분할하는 단계, 미리 학습된 인공 신경망을 이용하여, 상기 저해상도 이미지 패치들로부터 복수의 고해상도 이미지 패치들을 각각 획득하는 단계, 및 상기 고해상도 이미지 패치들을 조립 및 후처리하여, 고해상도 골 미세구조를 재구성하는 단계를 포함할 수 있다.
다양한 실시예들에 따르면, 컴퓨터 장치는, 메모리, 및 상기 메모리와 연결되고, 상기 메모리에 저장된 적어도 하나의 명령을 실행하도록 구성된 프로세서를 포함하고, 상기 프로세서는, 저해상도 골격계 영상을 복수의 저해상도 이미지 패치들로 분할하고, 미리 학습된 인공 신경망을 이용하여, 상기 저해상도 이미지 패치들로부터 복수의 고해상도 이미지 패치들을 각각 획득하고, 상기 고해상도 이미지 패치들을 조립 및 후처리하여, 고해상도 골 미세구조를 재구성하도록 구성될 수 있다.
다양한 실시예들에 따르면, 컴퓨터 장치에 고해상도 골 미세구조를 획득하기 위한 방법을 실행시키기 위해 비-일시적인 컴퓨터 판독 가능한 기록 매체에 저장되는 컴퓨터 프로그램에서, 상기 방법은, 저해상도 골격계 영상을 복수의 저해상도 이미지 패치들로 분할하는 단계, 미리 학습된 인공 신경망을 이용하여, 상기 저해상도 이미지 패치들로부터 복수의 고해상도 이미지 패치들을 각각 획득하는 단계, 및 상기 고해상도 이미지 패치들을 조립 및 후처리하여, 고해상도 골 미세구조를 재구성하는 단계를 포함할 수 있다.
다양한 실시예들은, 인공 신경망을 이용하여, 저해상도의 임상 CT 스캔 데이터로부터 신속하고 정확하게 3차원의 고해상도 골 미세구조를 재구성할 수 있다. 이 때, 인공 신경망을 통해 획득되는 고해상도 이미지 패치들을 조립 및 후처리하여, 불연속적인 구조 발생을 최소화하며 환자의 개별 특성을 반영할 수 있으므로 기존 대비 높은 정확도의 환자 맞춤형 골 강도 평가가 가능할 것이다.
도 1은 다양한 실시예들에 따른 패치별 3차원 골 미세구조 재구성을 위한 컴퓨터 장치를 개략적으로 도시하는 도면이다.
도 2는 도 1의 컴퓨터 장치의 동작 특징을 예시적으로 설명하기 위한 도면이다.
도 3은 다양한 실시예들에 따른 컴퓨터 장치의 인공 신경망 학습을 위한 방법을 개략적으로 도시하는 도면이다.
도 4는 도 3의 학습 데이터를 생성하는 단계를 예시적으로 설명하기 위한 도면이다.
도 5는 도 3의 인공 신경망을 학습시키는 단계를 예시적으로 설명하기 위한 도면이다.
도 6은 다양한 실시예들에 따른 컴퓨터 장치의 패치별 3차원 골 미세구조 재구성을 위한 방법을 개략적으로 도시하는 도면이다.
도 7은 도 6의 고해상도 이미지 패치들을 조립 및 후처리하여, 3차원 골 미세구조를 재구성하는 단계를 예시적으로 설명하기 위한 도면이다.
도 8은 도 7의 밀도 필터링을 예시적으로 설명하기 위한 도면이다.
도 9는 도 7의 적응형 스레스홀딩을 예시적으로 설명하기 위한 도면이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 설명된다.
도 1은 다양한 실시예들에 따른 패치별 3차원 골 미세구조 재구성을 위한 컴퓨터 장치(100)를 개략적으로 도시하는 도면이다. 도 2는 도 1의 컴퓨터 장치(100)의 동작 특징을 예시적으로 설명하기 위한 도면이다.
도 1을 참조하면, 컴퓨터 장치(100)는 입력 모듈(110), 출력 모듈(120), 메모리(130), 또는 프로세서(140) 중 적어도 하나를 포함할 수 있다. 어떤 실시예에서, 컴퓨터 장치(100)의 구성 요소들 중 적어도 하나가 생략될 수 있으며, 적어도 하나의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서, 컴퓨터 장치(100)의 구성 요소들 중 적어도 두 개가 하나의 통합된 회로로 구현될 수 있다.
입력 모듈(110)은 컴퓨터 장치(100)의 적어도 하나의 구성 요소에 사용될 신호를 입력할 수 있다. 입력 모듈(110)은, 사용자가 컴퓨터 장치(100)에 직접적으로 신호를 입력하도록 구성되는 입력 장치, 주변의 변화를 감지하여 신호를 발생하도록 구성되는 센서 장치, 또는 외부 기기로부터 신호를 수신하도록 구성되는 수신 장치 중 적어도 하나를 포함할 수 있다. 예를 들면, 입력 장치는 마이크로폰(microphone), 마우스(mouse) 또는 키보드(keyboard) 중 적어도 하나를 포함할 수 있다. 어떤 실시예에서, 입력 장치는 터치를 감지하도록 설정된 터치 회로(touch circuitry) 또는 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로 중 적어도 하나를 포함할 수 있다.
출력 모듈(120)은 컴퓨터 장치(100)의 외부로 정보를 출력할 수 있다. 출력 모듈(120)은, 정보를 시각적으로 출력하도록 구성되는 표시 장치, 정보를 오디오 신호로 출력할 수 있는 오디오 출력 장치, 또는 정보를 무선으로 송신할 수 있는 송신 장치 중 적어도 하나를 포함할 수 있다. 예를 들면, 표시 장치는 디스플레이, 홀로그램 장치 또는 프로젝터 중 적어도 하나를 포함할 수 있다. 일 예로, 표시 장치는 입력 모듈(110)의 터치 회로 또는 센서 회로 중 적어도 하나와 조립되어, 터치 스크린으로 구현될 수 있다. 예를 들면, 오디오 출력 장치는 스피커 또는 리시버 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 수신 장치와 송신 장치는 통신 모듈로 구현될 수 있다. 통신 모듈은 컴퓨터 장치(100)에서 외부 기기와 통신을 수행할 수 있다. 통신 모듈은 컴퓨터 장치(100)와 외부 기기 간 통신 채널을 수립하고, 통신 채널을 통해, 외부 기기와 통신을 수행할 수 있다. 여기서, 외부 기기는 차량, 위성, 기지국, 서버 또는 다른 컴퓨터 시스템 중 적어도 하나를 포함할 수 있다. 통신 모듈은 유선 통신 모듈 또는 무선 통신 모듈 중 적어도 하나를 포함할 수 있다. 유선 통신 모듈은 외부 기기와 유선으로 연결되어, 유선으로 통신할 수 있다. 무선 통신 모듈은 근거리 통신 모듈 또는 원거리 통신 모듈 중 적어도 하나를 포함할 수 있다. 근거리 통신 모듈은 외부 기기와 근거리 통신 방식으로 통신할 수 있다. 예를 들면, 근거리 통신 방식은, 블루투스(Bluetooth), 와이파이 다이렉트(WiFi direct), 또는 적외선 통신(IrDA; infrared data association) 중 적어도 하나를 포함할 수 있다. 원거리 통신 모듈은 외부 기기와 원거리 통신 방식으로 통신할 수 있다. 여기서, 원거리 통신 모듈은 네트워크를 통해 외부 기기와 통신할 수 있다. 예를 들면, 네트워크는 셀룰러 네트워크, 인터넷, 또는 LAN(local area network)이나 WAN(wide area network)과 같은 컴퓨터 네트워크 중 적어도 하나를 포함할 수 있다.
메모리(130)는 컴퓨터 장치(100)의 적어도 하나의 구성 요소에 의해 사용되는 다양한 데이터를 저장할 수 있다. 예를 들면, 메모리(130)는 휘발성 메모리 또는 비휘발성 메모리 중 적어도 하나를 포함할 수 있다. 데이터는 적어도 하나의 프로그램 및 이와 관련된 입력 데이터 또는 출력 데이터를 포함할 수 있다. 프로그램은 메모리(130)에 적어도 하나의 명령을 포함하는 소프트웨어로서 저장될 수 있으며, 운영 체제, 미들 웨어 또는 어플리케이션 중 적어도 하나를 포함할 수 있다.
프로세서(140)는 메모리(130)의 프로그램을 실행하여, 컴퓨터 장치(100)의 적어도 하나의 구성 요소를 제어할 수 있다. 이를 통해, 프로세서(140)는 데이터 처리 또는 연산을 수행할 수 있다. 이 때, 프로세서(140)는 메모리(130)에 저장된 명령을 실행할 수 있다.
다양한 실시예들에 따르면, 컴퓨터 장치(100)는 도 2에 도시된 바와 같이 저해상도 골격계 영상으로부터 3차원의 고해상도 골 미세구조를 재구성할 수 있다. 구체적으로, 프로세서(140)는 210 단계에서 저해상도의 임상 CT 스캔 데이터에서 관심 부위(volume of interest; VOI)에 해당하는 저해상도 골격계 영상을 획득할 수 있다. 프로세서(140)는 220 단계에서 프로세서(140)는 저해상도 골격계 영상을 샘플링하여, 저해상도 이미지 패치들을 획득할 수 있다. 이 때, 프로세서(140)는 저해상도 이미지 패치들의 각각에 대한 저해상도 구조 거동 정보(예: 변위 등)를 획득할 수 있다. 여기서, 구조 거동 정보는 외부 하중이 인가되었을 때 관심 부위의 유한 요소 모델 노드의 변위를 나타낼 수 있다. 프로세서(140)는 230 단계에서 미리 학습된 인공 신경망을 이용하여, 저해상도 이미지 패치들로부터 복수의 고해상도 이미지 패치들을 각각 획득할 수 있다. 이 때, 인공 신경망은 위상최적설계 기반의 골격계 영상 재구성 기술을 통해 재구성되는 고해상도 골격계 영상들로부터 생성되는 학습 데이터셋을 기반으로 미리 학습될 수 있다. 프로세서(140)는 240 단계에서 고해상도 이미지 패치들을 조립 및 후처리하여, 고해상도 골 미세구조를 재구성할 수 있다. 이 때, 프로세서(140)는 고해상도 이미지 패치들 사이의 연결성을 명확하게 표현하고, 이들 사이의 불연속성을 제거하기 위해, 조립 영상에 대해 밀도 필터링(density filtering)과 적응형 스레스홀딩(thresholding)을 반복적으로 적용하는 후처리를 수행할 수 있다.
도 3은 다양한 실시예들에 따른 컴퓨터 장치(100)의 인공 신경망 학습을 위한 방법을 개략적으로 도시하는 도면이다. 도 4는 도 3의 학습 데이터를 생성하는 단계(310 단계)를 예시적으로 설명하기 위한 도면이다. 도 5는 도 3의 인공 신경망을 학습시키는 단계(320 단계)를 예시적으로 설명하기 위한 도면이다.
도 3을 참조하면, 컴퓨터 장치(100)는 310 단계에서 학습 데이터셋을 생성할 수 있다. 인공 신경망의 학습을 위해서는, 골 미세구조의 표현이 가능한 고해상도 골격계 영상을 필요로 한다. 다만, 상술된 바와 같이, 골 미세구조 표현이 가능한 고해상도 골격계 영상은 임상 촬영이 불가능하여, 충분한 규모의 학습 데이터셋을 확보하는 것이 용이하지 않다. 반면, 위상최적설계는 저해상도 골격계 영상에 서로 다른 하중 조건들과 골밀도 제한 조건들의 적용시, 다양한 고해상도 골격계 영상들의 획득을 가능하게 하여, 학습 데이터셋 생성이 가능하다. 위상최적설계 기반의 골격계 영상 재구성 기술은 골 미세구조의 재구성 및 정확한 골 강도 평가를 가능하게 하나, 과도한 계산시간의 소요로 인해 임상 적용에 한계가 있다. 따라서, 위상최적설계 과정을 인공 신경망으로 대체할 수 있다면, 임상 적용이 가능한 수준의 정밀도와 계산량으로 골 미세구조의 재구성이 가능할 것으로 예상되었다. 한편, 골격계 구조는 막대(rod), 판(plate), 분기(junction)의 단위 구조들로 구성된다. 이는 단일 영상을 다수의 부분 영상들로 분할하더라도, 개별 영상 내에서의 골격계 구조 구성이 유사함을 의미한다. 부분 영상들로 인공 신경망의 학습이 가능할 경우, 소수의 골격계 영상으로부터 막대한 양의 학습 데이터의 획득이 가능하다. 이는 인공 신경망으로 골격계 구조의 구성 방식을 효과적으로 학습할 수 있음을 의미한다.
프로세서(140)는 도 4에 도시된 바와 같이 저해상도의 임상 CT 스캔 데이터에서의 관심 부위에 대해 서로 다른 하중 조건들 및 골밀도 제한 조건들을 적용하여 총 N회, 예컨대, 10회의 위상최적설계를 수행함으로써, 관심 부위에 대한 N개의 골 미세구조들, 즉, 고해상도 골격계 영상들을 획득할 수 있다. 여기서, 고해상도 골격계 영상들은 미리 정해진 크기, 예컨대, 176X176X176로 획득될 수 있다. 이 후, 프로세서(140)는 고해상도 골격계 영상들로부터 학습 데이터셋을 생성할 수 있다.
구체적으로, 프로세서(140)는 도 4에 도시된 바와 같이 고해상도 골격계 영상들을 8배 다운스케일링하여, 관심 부위에 대한 임상 CT 수준의 저해상도 골격계 영상들을 획득할 수 있다. 여기서, 저해상도 골격계 영상들은 미리 정해진 크기, 예컨대, 22X22X22로 획득될 수 있다. 이 때, 프로세서(140)는 저해상도 골격계 영상들의 각각에 대해 유한 요소 해석을 수행하여 관심 부위에 대한 저해상도 구조 거동 정보(예: 변위 등)를 획득할 수 있다. 그리고, 프로세서(140)는 고해상도 골격계 영상들의 각각을 복수의 고해상도 이미지 패치들로 분할하고, 저해상도 골격계 영상들의 각각을 복수의 저해상도 이미지 패치들로 분할하며, 저해상도 이미지 패치들의 각각에 대한 저해상도 구조 거동 정보를 검출할 수 있다. 여기서, 고해상도 이미지 패치들은 미리 정해진 크기, 예컨대, 64X64X64로 획득되고, 저해상도 이미지 패치들은 미리 정해진 크기, 예컨대, 8X8X8로 획득될 수 있다. 이로써, 프로세서(140)는 도 4에 도시된 바와 같이 복수의 데이터 쌍들을 갖는 학습 데이터셋을 생성할 수 있으며, 각 데이터 쌍은 서로 대응하는 고해상도 이미지 패치, 저해상도 이미지 패치, 및 저해상도 이미지 패치에 대한 저해상도 구조 거동 정보를 포함할 수 있다.
일부 실시예들에서, 프로세서(140)는 고해상도 골격계 영상들의 회전을 통한 데이터 증강을 적용하여, 학습 데이터셋을 증대시킬 수 있다. 이를 통해, 예컨대, 총 10개의 고해상도 골격계 영상들로부터, 총 51,200 개의 데이터 쌍들을 갖는 학습 데이터셋이 생성될 수 있다.
다음으로, 컴퓨터 장치(100)는 320 단계에서 학습 데이터셋을 기반으로, 인공 신경망을 학습시킬 수 있다. 프로세서(140)는 저해상도 이미지 패치 및 저해상도 이미지 패치에 대한 저해상도 구조 거동 정보가 인공 신경망에 입력되면, 인공 신경망으로부터 고해상도 이미지 패치가 출력되도록, 인공 신경망을 학습시킬 수 있다. 이 때, 프로세서(140)는 학습 데이터셋을 훈련 데이터셋과 검증 및 테스트 데이터셋으로 구분할 수 있다. 예를 들어, N개의 고해상도 골격계 영상들 중 일부, 예컨대, 10개의 고해상도 골격계 영상들 중 6개의 고해상도 골격계 영상들과 관련된 학습 데이터셋을 훈련 데이터셋으로 할당하고, 나머지의 고해상도 영상들과 관련된 학습 데이터셋을 검증 및 테스트 데이터셋으로 할당할 수 있다. 그리고, 프로세서(140)는 훈련 데이터셋을 이용하여 인공 신경망을 훈련시킨 다음, 검증 및 테스트 데이터셋으로 훈련된 인공 신경망을 검증 및 테스트할 수 있다. 인공 신경망으로는 도 5에 도시된 바와 같이 의료 영상의 분할(segmentation) 문제에서 높은 정확도를 보이는 U-net이 사용될 수 있다. 골격계 영상 재구성은 골과 골수의 2상(相)으로 이루어지는 영상의 분할 문제로 볼 수 있으므로, U-net 사용이 적합할 수 있다. 예를 들어, 평균 제곱 오차(mean square error; MSE) 손실 함수, 배치 크기 40, 학습률(learning rate) 0.001로 학습이 진행될 수 있다.
도 6은 다양한 실시예들에 따른 컴퓨터 장치(100)의 패치별 3차원 골 미세구조 재구성을 위한 방법을 개략적으로 도시하는 도면이다. 도 7은 도 6의 고해상도 이미지 패치들을 조립 및 후처리하여, 3차원 골 미세구조를 재구성하는 단계를 예시적으로 설명하기 위한 도면이다. 도 8은 도 7의 밀도 필터링을 예시적으로 설명하기 위한 도면이고, 도 9는 도 7의 적응형 스레스홀딩을 예시적으로 설명하기 위한 도면이다.
도 6을 참조하면, 컴퓨터 장치(100)는 610 단계에서 재구성할 저해상도 골격계 영상을 획득할 수 있다. 프로세서(140)는 저해상도의 임상 CT 스캔 데이터에서 관심 부위에 해당하는 저해상도 골격계 영상을 획득할 수 있다. 여기서, 저해상도 골격계 영상은 미리 정해진 크기, 예컨대, 도 2에 도시된 바와 같은 22X22X22로 획득될 수 있다. 이 때, 프로세서(140)는 저해상도 골격계 영상에 대해 유한 요소 해석을 수행하여 관심 부위에 대한 저해상도 구조 거동 정보(예: 변위 등)를 획득할 수 있다.
다음으로, 컴퓨터 장치(100)는 620 단계에서 저해상도 골격계 영상을 복수의 저해상도 이미지 패치들로 분할할 수 있다. 프로세서(140)는 저해상도 골격계 영상을 샘플링하여, 저해상도 이미지 패치들을 획득할 수 있다. 여기서, 저해상도 이미지 패치들은 미리 정해진 크기, 예컨대, 도 2에 도시된 바와 같은 8X8X8로 획득될 수 있다. 이 때, 프로세서(140)는 저해상도 이미지 패치들의 각각에 대한 저해상도 구조 거동 정보를 획득할 수 있다.
다음으로, 컴퓨터 장치(100)는 630 단계에서 미리 학습된 인공 신경망을 이용하여, 저해상도 이미지 패치들로부터 복수의 고해상도 이미지 패치들을 각각 획득할 수 있다. 프로세서(140)는 상술된 바와 같이 학습된 인공 신경망을 이용하여 저해상도 이미지 패치들을 각각 학습함으로써, 고해상도 이미지 패치들을 각각 획득할 수 있다. 여기서, 고해상도 이미지 패치들은 미리 정해진 크기, 예컨대, 64X64X64로 획득될 수 있다.
다음으로, 컴퓨터 장치(100)는 640 단계에서 고해상도 이미지 패치들을 조립 및 후처리하여, 3차원의 고해상도 골 미세구조를 재구성할 수 있다. 프로세서(140)는 도 7에 도시된 바와 같이 고해상도 이미지 패치들을 조립하여, 조립 영상을 획득할 수 있다. 이 때, 고해상도 이미지 패치들의 사이의 중첩된 영역에서 인위적 불연속성이 발생하며, 이는 해당 경로로의 하중 전파를 저해하여 골 강도 평가의 정확성에 부정적인 영향을 미칠 수 있다. 따라서, 프로세서(140)는 고해상도 이미지 패치들 사이의 연결성을 명확하게 표현하고, 이들 사이의 불연속성을 제거하기 위해, 도 7에 도시된 바와 같이 조립 영상에 대해 밀도 필터링과 적응형 스레스홀딩을 반복적으로 적용하는 후처리를 수행할 수 있다. 결과적으로, 조립 영상으로부터 더욱 정확한 고해상도 골 미세구조가 재구성될 수 있으며, 이는 곧 골 강도 평가의 정확도 향상으로 연계될 수 있다. 여기서, 고해상도 골 미세구조는 미리 정해진 크기, 예컨대, 176X176X176으로 재구성될 수 있다.
다양한 실시예들에서, 프로세서(140)는 밀도 필터링을 통해, 도 8에 도시된 바와 같이 특정 복셀의 골밀도를 주변 골밀도 값들의 가중치 합으로 표현함으로써 인위적 불연속성을 완화시킬 수 있다. 한편, 프로세서(140)는 스레스홀딩을 통해 영상을 이진화하고, 이진화된 영상의 골밀도를 [0, 1]의 분포를 가지도록 변환하여 다시금 스레스홀딩을 적용할 수 있게 할 수 있다. 반복적 밀도 필터링과 스레스홀딩 초기의 불분명한 골밀도 분포를 연결성이 명확한 골 미세구조로 재구성하는 과정이다.
이 때, 프로세서(140)는 적응형 스레스홀딩을 통해 영상을 이진화할 수 있다. 적응형 스레스홀딩은 “고정”된 단일 문턱 값이 아닌, 영상의 위치별로 상이한 “최적”의 문턱 값을 사용할 수 있다. 프로세서(140)는 도 9에 도시된 바와 같이 저해상도 골격계 영상의 골밀도 분포를 활용하여, 영상의 스레스홀딩 결과가 저해상도 골격계 영상과 동일한 골밀도 분포를 갖도록 위치별 문턱 값을 계산할 수 있다. 이를 통해, 저해상도 골격계 영상에 대한 환자 고유의 골밀도 분포 정보를 활용할 수 있다. 그리고, 프로세서(140)는 초기 1회의 적응형 스레스홀딩에 대해 계산된 문턱 값보다 낮은 문턱 값을 사용할 수 있다. 이를 통해, 고해상도 이미지 패치들 사이의 연결성을 확보할 수 있어 구조 강도 평가의 정확도를 향상시킬 수 있다.
본 개시의 다양한 실시예들은, 인공 신경망을 이용하여, 저해상도의 임상 CT 스캔 데이터로부터 신속하고 정확하게 고해상도 골 미세구조를 재구성할 수 있다. 이 때, 인공 신경망을 통해 획득되는 고해상도 이미지 패치들을 조립 및 후처리하여, 불연속적인 구조 발생을 최소화하며 환자의 개별 특성을 반영할 수 있으므로 기존 대비 높은 정확도의 환자 맞춤형 골 강도 평가가 가능할 것이다. 본 개시의 기술의 검증을 위해 인공 신경망의 훈련에 사용되지 않은 2개의 관심용적(테스트 데이터셋)을 사용하였다. 본 개시를 통해 저해상도 골격계 영상으로부터 재구성된 고해상도 골 미세구조를 위상최적설계의 결과와 비교하였다. 정량적 평가를 위해, 4가지 골 형태학적 지수(bone morphometric indices)인 총 뼈 용적(total bone volume), 골소주 두께(trabecular thickness, Tb.Th), 골소주 거리(trabecular seperation, Tb.Sp), 이방성 정도(degree of anisotropy)와 골 강도 지수인 겉보기 강성(apparent stiffness)를 사용하였다. 본 개시의 기술과 위상최적설계로 각각 재구성된 골 미세구조를 비교한 결과, 두 구조가 매우 유사한 것을 확인하였다. 구체적으로, 골 형태학적 지수와 골 강도 측면 역시 높은 정확성을 보였으며, 본 개시의 기술이 재구성에 소요되는 시간을 기존 위상최적설계 기반 기술 대비 99% 내외로 크게 단축하였다.
본 개시의 기술은 다음과 같이 적용 및 응용될 수 있다. 첫 번째로, 본 개시의 기술은 골격계 질환에 대한 진단 정확도를 향상시킬 수 있다. 현재 골밀도 기반 골다공증 진단방식은 “골질” 정보의 미반영으로 인해 골 강도 평가가 부정확하며, 골밀도 기준 집단에 따라 진단 결과가 달라질 수 있다는 문제점이 있다. 현재 연구되고 있는 골격계 영상 재구성 방법은 계산 비용 측면(위상최적설계 방식)이나 고해상화 능력(인공 신경망 방식) 등에 제한이 있다. 임상 적용을 위해서는 상기 한계를 극복하여 신속하고 높은 고해상도 배율을 제공할 수 있는 새로운 기술 개발이 필요하다. 그런데, 본 개시는 인공 신경망 기반 골격계 영상 고해상화 기술이 가지는 인위적인 구조적 불연속성 문제를 해소함으로써, 골다공증 진단에 필요한 정확한 골 미세구조 정보의 제공이 가능하다. 두 번째로, 본 개시의 기술은 골격계 관련 질환의 약물 처방에 응용될 수 있다. 현재 골다공증 치료용으로 사용되는 약물로 비스포스포네이트, 티볼론, 데노수맙 등이 있으며, 대개 골량의 증감 측면에서 약물의 효용성을 판단하고 있다. 다만, 개별 약물이 골 미세구조에 미치는 정확한 영향은 특정하지 못하고 있으며, 이를 위해서는 생체 내 골 미세구조 정보의 획득이 필요하다. 본 개시의 기술을 통해 정확한 골 미세구조가 표현될 경우, 개별 약물이 골 미세구조, 더 나아가 골 강도에 미치는 효과를 더욱 정확하게 판명하는 것이 가능하다. 이는 곧 환자 맞춤형 처방을 통해 개별 환자의 부작용을 최소화할 수 있음을 의미한다.
나아가, 본 개시에 따르면, 다음과 같은 기대효과는 예측될 수 있다.
기술적 측면에서, 영상 재구성을 통한 의료영상기기의 물리적 한계를 극복할 수 있다. 현재 통용되는 의료영상기기(CT, MRI 등)는 과도한 방사선 노출 및 긴 촬영시간 등의 한계로 인해 획득 가능한 생체 내 해상도가 수백μm 수준으로 제한된다. 본 개시의 기술은 이러한 물리적 제약에서 자유로운 영상 재구성 방식을 통해 골 미세구조를 효과적으로 표현할 수 있으며, 골격계 임상 분야에서 요구하는 정확한 골 강도 등 골 미세구조 관련 정보 제공이 가능하다. 본 개시의 기술은 영상촬영기기의 종류에 제약을 받지 않는 영상 재구성 방식이므로, 기 구축된 다양한 의료영상기기에 상대적으로 저렴한 비용으로 쉽게 적용 가능한다. 아울러, 기술적 측면에서, 골다공증 조기 진단의 신뢰성이 향상될 수 있다. 현재 골다공증은 골밀도 기반의 상대평가를 통해 진단된다. 다만, 이러한 방법은 골 미세구조에 대한 정보가 반영되지 않아 정확한 골강도 평가가 불가능하여 진단 신뢰성이 낮다. 본 개시의 기술은 의료영상의 재구성을 통해 골 미세구조 정보를 제공함으로써 정확한 골 강도 평가가 가능하다. 또한, 저선량의 저해상도 의료영상을 활용하므로 장기간의 추적 검사가 가능하여, 골다공증 조기 진단의 신뢰성 향상에 크게 기여할 수 있다.
경제적·산업적 측면에서, 골다공증 관련 의료비용이 감소될 수 있다. 현재 미국의 골다공증성 골절에 의한 의료비용은 연간 180억 달러에 이르며, 국내의 골다공증 치료를 위한 의료 비용 역시 8,072억원으로 매우 높다. 본 개시의 기술은 골다공증의 정확한 진단에 기여 가능하므로, 골다공증 및 골다공증성 골절에 선제적/효과적으로 대응할 수 있다. 본 개시의 기술을 통해 신뢰성있는 골다공증 조기진단이 가능해질 경우, 골다공증 예방에 따른 의료비용의 감소 및 과진단·오진단에 따른 부작용 절감을 기대할 수 있다.
사회적 측면에서, 골다공증 진단의 정확도 향상을 통한 국민 삶의 질 개선 및 국가 재정이 보강될 수 있다. 골다공증성 골절은 치료를 위한 직접적인 비용뿐만 아니라, 환자의 치료를 위해 투입되는 추가적인 노동력 및 환자의 조기 사망으로 인한 소득 손실 등의 막대한 사회적 비용을 발생시킨다. 고령화연구패널조사의 데이터를 기반으로 한 연구 결과, 50~80세의 국민이 1건의 골다공증성 골절을 겪을 경우, 골절이 일어나지 않은 경우와 비교해 평균 7,000만원의 연금 지출이 늘어난 반면, 직·간접세는 평균 5,300만원이 감소하였다. 본 개시의 기술은 골다공증 관련 신뢰성있는 조기 진단 및 시의적절한 의료중재에 기여할 수 있으며, 골다공증성 골절로 인한 막대한 사회적 비용 발생을 사전에 예방할 수 있다.
요컨대, 다양한 실시예들은 임상 CT 스캔 데이터에서의 심층 학습 기반 패치별 3차원 골 미세구조 재구성 방법 및 장치를 제공한다.
다양한 실시예들의 컴퓨터 장치(100)의 방법은, 저해상도 골격계 영상을 복수의 저해상도 이미지 패치들로 분할하는 단계, 미리 학습된 인공 신경망을 이용하여, 저해상도 이미지 패치들로부터 복수의 고해상도 이미지 패치들을 각각 획득하는 단계, 및 고해상도 이미지 패치들을 조립 및 후처리하여, 고해상도 골 미세구조를 재구성하는 단계를 포함할 수 있다.
다양한 실시예들에 따르면, 저해상도 골격계 영상은, 저해상도의 임상 CT 스캔 데이터에서의 관심 부위로부터 획득될 수 있다.
다양한 실시예들에 따르면, 컴퓨터 장치(100)의 방법은, 인공 신경망을 학습시키는 단계를 더 포함할 수 있다.
다양한 실시예들에 따르면, 인공 신경망을 학습시키는 단계는, 저해상도의 임상 CT 스캔 데이터에서의 관심 부위에 대해 서로 다른 하중 조건들 및 골밀도 제한 조건들을 적용하여 위상최적설계를 수행함으로써, 복수의 고해상도 골격계 영상들을 획득하는 단계, 고해상도 골격계 영상들로부터 학습 데이터셋을 생성하는 단계, 및 학습 데이터셋을 기반으로, 인공 신경망을 학습시키는 단계를 포함할 수 있다.
다양한 실시예들에 따르면, 학습 데이터셋을 생성하는 단계는, 고해상도 골격계 영상들을 다운스케일링하여, 복수의 저해상도 골격계 영상들을 각각 획득하는 단계, 저해상도 골격계 영상들의 각각에 대해 유한 요소 해석을 수행하여, 저해상도 구조 거동 정보를 획득하는 단계, 및 고해상도 골격계 영상들의 각각을 복수의 고해상도 이미지 패치들로 분할하고, 저해상도 골격계 영상들의 각각을 복수의 저해상도 이미지 패치들로 분할하며, 저해상도 구조 거동 정보를 복수의 저해상도 이미지 패치들의 각각에 대해 분할하여, 학습 데이터셋을 생성하는 단계를 포함할 수 있다.
다양한 실시예들에 따르면, 인공 신경망을 학습시키는 단계는, 고해상도 골격계 영상들 중 적어도 하나의 회전을 통해 적어도 하나의 고해상도 골격계 영상을 추가적으로 획득하는 단계를 더 포함하고, 이로써, 학습 데이터셋이 증대될 수 있다.
다양한 실시예들에 따르면, 컴퓨터 장치(100)의 방법은, 저해상도 골격계 영상에 대해 유한 요소 해석을 수행하여 저해상도 구조 거동 정보를 획득하는 단계, 및 저해상도 구조 거동 정보를 저해상도 이미지 패치들의 각각에 대해 분할하는 단계를 더 포함하고, 인공 신경망은 저해상도 이미지 패치들의 각각과 분할된 저해상도 구조 거동 정보가 입력되면, 고해상도 이미지 패치들의 각각을 출력할 수 있다.
다양한 실시예들에 따르면, 고해상도 골 미세구조를 재구성하는 단계는, 고해상도 골 미세구조를 재구성하기 위해, 고해상도 이미지 패치들이 조립된 조립 영상을 후처리하는 단계를 포함할 수 있다.
다양한 실시예들에 따르면, 조립 영상을 후처리 하는 단계는, 특정 복셀의 골밀도를 주변 복셀들의 골밀도 값들의 가중치 합으로 표현하는 밀도 필터링, 및 영상을 이진화하는 스레스홀딩을 반복적으로 적용할 수 있다.
다양한 실시예들에 따르면, 스레스홀딩은, 영상의 위치별로 상이한 문턱 값을 사용하는 적응형 스레스홀딩이며, 문턱 값은, 영상에 대한 스레스홀딩 결과가 저해상도 골격계 영상과 동일한 골밀도 분포를 갖도록 계산될 수 있다.
다양한 실시예들의 컴퓨터 장치(100)는, 메모리(130), 및 메모리(130)와 연결되고, 메모리(130)에 저장된 적어도 하나의 명령을 실행하도록 구성된 프로세서(140)를 포함하고, 프로세서(140)는, 저해상도 골격계 영상을 복수의 저해상도 이미지 패치들로 분할하고, 미리 학습된 인공 신경망을 이용하여, 저해상도 이미지 패치들로부터 복수의 고해상도 이미지 패치들을 각각 획득하고, 고해상도 이미지 패치들을 조립 및 후처리하여, 고해상도 골 미세구조를 재구성하도록 구성될 수 있다.
다양한 실시예들에 따르면, 저해상도 골격계 영상은, 저해상도의 임상 CT 스캔 데이터에서의 관심 부위로부터 획득될 수 있다.
다양한 실시예들에 따르면, 프로세서(140)는, 저해상도의 임상 CT 스캔 데이터에서의 관심 부위에 대해 서로 다른 하중 조건들 및 골밀도 제한 조건들을 적용하여 위상최적설계를 수행함으로써, 복수의 고해상도 골격계 영상들을 획득하고, 고해상도 골격계 영상들로부터 학습 데이터셋을 생성하고, 학습 데이터셋을 기반으로, 인공 신경망을 학습시키도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(140)는, 고해상도 골격계 영상들을 다운스케일링하여, 복수의 저해상도 골격계 영상들을 각각 획득하고, 저해상도 골격계 영상들의 각각에 대해 유한 요소 해석을 수행하여, 저해상도 구조 거동 정보를 획득하고, 고해상도 골격계 영상들의 각각을 복수의 고해상도 이미지 패치들로 분할하고, 저해상도 골격계 영상들의 각각을 복수의 저해상도 이미지 패치들로 분할하며, 저해상도 구조 거동 정보를 복수의 저해상도 이미지 패치들의 각각에 대해 분할하여, 학습 데이터셋을 생성하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(140)는, 고해상도 골격계 영상들 중 적어도 하나의 회전을 통해 적어도 하나의 고해상도 골격계 영상을 추가적으로 획득하도록 구성되고, 이로써, 학습 데이터셋이 증대될 수 있다.
다양한 실시예들에 따르면, 프로세서(140)는, 저해상도 골격계 영상에 대해 유한 요소 해석을 수행하여 저해상도 구조 거동 정보를 획득하고, 저해상도 구조 거동 정보를 저해상도 이미지 패치들의 각각에 대해 분할하도록 구성되고, 인공 신경망은 저해상도 이미지 패치들의 각각과 분할된 저해상도 구조 거동 정보가 입력되면, 고해상도 이미지 패치들의 각각을 출력할 수 있다.
다양한 실시예들에 따르면, 프로세서(140)는, 고해상도 골 미세구조를 재구성하기 위해, 고해상도 이미지 패치들이 조립된 조립 영상에 대해, 특정 복셀의 골밀도를 주변 복셀들의 골밀도 값들의 가중치 합으로 표현하는 밀도 필터링, 및 영상을 이진화하는 스레스홀딩을 반복적으로 적용하여 후처리하도록 구성될 수 있다.
다양한 실시예들에 따르면, 스레스홀딩은, 영상의 위치별로 상이한 문턱 값을 사용하는 적응형 스레스홀딩이며, 문턱 값은, 영상에 대한 스레스홀딩 결과가 저해상도 골격계 영상과 동일한 골밀도 분포를 갖도록 계산될 수 있다.
상술한 방법은 컴퓨터에서 실행하기 위해 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램으로 제공될 수 있다. 매체는 컴퓨터로 실행 가능 한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록 수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
본 개시의 방법, 동작 또는 기법들은 다양한 수단에 의해 구현될 수도 있다. 예를 들어, 이러한 기법들은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수도 있다. 본원의 개시와 연계하여 설명된 다양한 예시적인 논리적 블록들, 모듈들, 회로들, 및 알고리즘 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자의 조합들로 구현될 수도 있음을 통상의 기술자들은 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호 대체를 명확하게 설명하기 위해, 다양한 예시적인 구성요소들, 블록들, 모듈들, 회로들, 및 단계들이 그들의 기능적 관점에서 일반적으로 위에서 설명되었다. 그러한 기능이 하드웨어로서 구현되는지 또는 소프트웨어로서 구현되는 지의 여부는, 특정 애플리케이션 및 전체 시스템에 부과되는 설계 요구사항들에 따라 달라진다. 통상의 기술자들은 각각의 특정 애플 리케이션을 위해 다양한 방식들로 설명된 기능을 구현할 수도 있으나, 그러한 구현들은 본 개시의 범위로부터 벗어나게 하는 것으로 해석되어서는 안된다.
하드웨어 구현에서, 기법들을 수행하는 데 이용되는 프로세싱 유닛들은, 하나 이상의 ASIC들, DSP들, 디지털 신호 프로세싱 디바이스들(digital signal processing devices; DSPD들), 프로그램가능 논리 디바이스들(programmable logic devices; PLD들), 필드 프로그램가능 게이트 어레이들(field programmable gate arrays; FPGA들), 프로세서들, 제어기들, 마이크로제어기들, 마이크로프로세서들, 전자 디바이스들, 본 개시에 설명된 기능들을 수행하도록 설계된 다른 전자 유닛들, 컴퓨터, 또는 이들의 조합 내에서 구현될 수도 있다.
따라서, 본 개시와 연계하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 및 회로들은 범용 프로세서, DSP, ASIC, FPGA나 다른 프로그램 가능 논리 디바이스, 이산 게이트나 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 본원에 설명된 기능들을 수행하도록 설계된 것들의 임의의 조합으로 구현되거나 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안으로, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한, 컴퓨팅 디바이스들의 조합, 예를 들면, DSP와 마이크로프로세서, 복수의 마이크로프로세서들, DSP 코어와 연계한 하나 이상의 마이크로프로세서들, 또는 임의의 다른 구성의 조합으로서 구현될 수도 있다.
펌웨어 및/또는 소프트웨어 구현에 있어서, 기법들은 랜덤 액세스 메모리(random access memory; RAM), 판독 전용 메모리(read-only memory; ROM), 비휘발성 RAM(non-volatile random access memory; NVRAM), PROM(programmable read-only memory), EPROM(erasable programmable read-only memory), EEPROM(electrically erasable PROM), 플래시 메모리, 컴팩트 디스크(compact disc; CD), 자기 또는 광학 데이터 스토리지 디바이스 등과 같은 컴퓨터 판독가능 매체 상에 저장된 명령들로서 구현될 수도 있다. 명령들은 하나 이상의 프로세서들에 의해 실행 가능할 수도 있고, 프로세서(들)로 하여금 본 개시에 설명된 기능의 특정 양태들을 수행하게 할 수도 있다.
이상 설명된 실시예들이 하나 이상의 독립형 컴퓨터 시스템에서 현재 개시된 주제의 양태들을 활용하는 것으로 기술되었으나, 본 개시는 이에 한정되 지 않고, 네트워크나 분산 컴퓨팅 환경과 같은 임의의 컴퓨팅 환경과 연계하여 구현될 수도 있다. 또 나아가, 본 개시에서 주제의 양상들은 복수의 프로세싱 칩들이나 장치들에서 구현될 수도 있고, 스토리지는 복수의 장치들에 걸쳐 유사하게 영향을 받게 될 수도 있다. 이러한 장치들은 PC들, 네트워크 서버들, 및 휴대용 장치들을 포함할 수도 있다.
본 개시가 일부 실시예들과 관련하여 설명되었지만, 본 개시의 발명이 속하는 기술분야의 통상의 기술자가 이해할 수 있는 본 개시의 범위를 벗어나지 않는 범위에서 다양한 변형 및 변경이 이루어질 수 있다. 또한, 그러한 변형 및 변경은 본 명세서에 첨부된 청구의 범위 내에 속하는 것으로 생각되어야 한다.

Claims (20)

  1. 컴퓨터 장치의 방법에 있어서,
    저해상도 골격계 영상을 복수의 저해상도 이미지 패치들로 분할하는 단계;
    미리 학습된 인공 신경망을 이용하여, 상기 저해상도 이미지 패치들로부터 복수의 고해상도 이미지 패치들을 각각 획득하는 단계; 및
    상기 고해상도 이미지 패치들을 조립 및 후처리하여, 고해상도 골 미세구조를 재구성하는 단계
    를 포함하는,
    방법.
  2. 제 1 항에 있어서,
    상기 저해상도 골격계 영상은,
    저해상도의 임상 CT 스캔 데이터에서의 관심 부위로부터 획득되는,
    방법.
  3. 제 1 항에 있어서,
    인공 신경망을 학습시키는 단계
    를 더 포함하고,
    상기 인공 신경망을 학습시키는 단계는,
    저해상도의 임상 CT 스캔 데이터에서의 관심 부위에 대해 서로 다른 하중 조건들 및 골밀도 제한 조건들을 적용하여 위상최적설계를 수행함으로써, 복수의 고해상도 골격계 영상들을 획득하는 단계;
    상기 고해상도 골격계 영상들로부터 학습 데이터셋을 생성하는 단계; 및
    상기 학습 데이터셋을 기반으로, 인공 신경망을 학습시키는 단계
    를 포함하는,
    방법.
  4. 제 3 항에 있어서,
    상기 학습 데이터셋을 생성하는 단계는,
    상기 고해상도 골격계 영상들을 다운스케일링하여, 복수의 저해상도 골격계 영상들을 각각 획득하는 단계;
    상기 저해상도 골격계 영상들의 각각에 대해 유한 요소 해석을 수행하여, 저해상도 구조 거동 정보를 획득하는 단계; 및
    상기 고해상도 골격계 영상들의 각각을 복수의 고해상도 이미지 패치들로 분할하고, 상기 저해상도 골격계 영상들의 각각을 복수의 저해상도 이미지 패치들로 분할하며, 상기 저해상도 구조 거동 정보를 복수의 저해상도 이미지 패치들의 각각에 대해 분할하여, 상기 학습 데이터셋을 생성하는 단계
    를 포함하는,
    방법.
  5. 제 3 항에 있어서,
    상기 인공 신경망을 학습시키는 단계는,
    상기 고해상도 골격계 영상들 중 적어도 하나의 회전을 통해 적어도 하나의 고해상도 골격계 영상을 추가적으로 획득하는 단계
    를 더 포함하고, 이로써, 상기 학습 데이터셋이 증대되는,
    방법.
  6. 제 1 항에 있어서,
    상기 저해상도 골격계 영상에 대해 유한 요소 해석을 수행하여 저해상도 구조 거동 정보를 획득하는 단계; 및
    상기 저해상도 구조 거동 정보를 상기 저해상도 이미지 패치들의 각각에 대해 분할하는 단계
    를 더 포함하고,
    상기 인공 신경망은,
    상기 저해상도 이미지 패치들의 각각과 상기 분할된 저해상도 구조 거동 정보가 입력되면, 상기 고해상도 이미지 패치들의 각각을 출력하는,
    방법.
  7. 제 1 항에 있어서,
    상기 고해상도 골 미세구조를 재구성하는 단계는,
    상기 고해상도 골 미세구조를 재구성하기 위해, 상기 고해상도 이미지 패치들이 조립된 조립 영상을 후처리하는 단계
    를 포함하고,
    상기 조립 영상을 후처리 하는 단계는,
    특정 복셀의 골밀도를 주변 복셀들의 골밀도 값들의 가중치 합으로 표현하는 밀도 필터링, 및 영상을 이진화하는 스레스홀딩을 반복적으로 적용하는,
    방법.
  8. 제 7 항에 있어서,
    상기 스레스홀딩은,
    상기 영상의 위치별로 상이한 문턱 값을 사용하는 적응형 스레스홀딩이며,
    상기 문턱 값은,
    상기 영상에 대한 스레스홀딩 결과가 상기 저해상도 골격계 영상과 동일한 골밀도 분포를 갖도록 계산되는,
    방법.
  9. 컴퓨터 장치에 있어서,
    메모리; 및
    상기 메모리와 연결되고, 상기 메모리에 저장된 적어도 하나의 명령을 실행하도록 구성된 프로세서를 포함하고,
    상기 프로세서는,
    저해상도 골격계 영상을 복수의 저해상도 이미지 패치들로 분할하고,
    미리 학습된 인공 신경망을 이용하여, 상기 저해상도 이미지 패치들로부터 복수의 고해상도 이미지 패치들을 각각 획득하고,
    상기 고해상도 이미지 패치들을 조립 및 후처리하여, 고해상도 골 미세구조를 재구성하도록 구성되는,
    컴퓨터 장치.
  10. 제 9 항에 있어서,
    상기 저해상도 골격계 영상은,
    저해상도의 임상 CT 스캔 데이터에서의 관심 부위로부터 획득되는,
    컴퓨터 장치.
  11. 제 9 항에 있어서,
    상기 프로세서는,
    저해상도의 임상 CT 스캔 데이터에서의 관심 부위에 대해 서로 다른 하중 조건들 및 골밀도 제한 조건들을 적용하여 위상최적설계를 수행함으로써, 복수의 고해상도 골격계 영상들을 획득하고,
    상기 고해상도 골격계 영상들로부터 학습 데이터셋을 생성하고,
    상기 학습 데이터셋을 기반으로, 인공 신경망을 학습시키도록 구성되는,
    컴퓨터 장치.
  12. 제 11 항에 있어서,
    상기 프로세서는,
    상기 고해상도 골격계 영상들을 다운스케일링하여, 복수의 저해상도 골격계 영상들을 각각 획득하고,
    상기 저해상도 골격계 영상들의 각각에 대해 유한 요소 해석을 수행하여, 저해상도 구조 거동 정보를 획득하고,
    상기 고해상도 골격계 영상들의 각각을 복수의 고해상도 이미지 패치들로 분할하고, 상기 저해상도 골격계 영상들의 각각을 복수의 저해상도 이미지 패치들로 분할하며, 상기 저해상도 구조 거동 정보를 복수의 저해상도 이미지 패치들의 각각에 대해 분할하여, 상기 학습 데이터셋을 생성하도록 구성되는,
    컴퓨터 장치.
  13. 제 11 항에 있어서,
    상기 프로세서는,
    상기 고해상도 골격계 영상들 중 적어도 하나의 회전을 통해 적어도 하나의 고해상도 골격계 영상을 추가적으로 획득하도록 구성되고,
    이로써, 상기 학습 데이터셋이 증대되는,
    컴퓨터 장치.
  14. 제 9 항에 있어서,
    상기 프로세서는,
    상기 저해상도 골격계 영상에 대해 유한 요소 해석을 수행하여 저해상도 구조 거동 정보를 획득하고,
    상기 저해상도 구조 거동 정보를 상기 저해상도 이미지 패치들의 각각에 대해 분할하도록 구성되고,
    상기 인공 신경망은,
    상기 저해상도 이미지 패치들의 각각과 상기 분할된 저해상도 구조 거동 정보가 입력되면, 상기 고해상도 이미지 패치들의 각각을 출력하는,
    컴퓨터 장치.
  15. 제 9 항에 있어서,
    상기 프로세서는,
    상기 고해상도 골 미세구조를 재구성하기 위해, 상기 고해상도 이미지 패치들이 조립된 조립 영상에 대해, 특정 복셀의 골밀도를 주변 복셀들의 골밀도 값들의 가중치 합으로 표현하는 밀도 필터링, 및 영상을 이진화하는 스레스홀딩을 반복적으로 적용하여 후처리하도록 구성되는,
    컴퓨터 장치.
  16. 제 15 항에 있어서,
    상기 스레스홀딩은,
    상기 영상의 위치별로 상이한 문턱 값을 사용하는 적응형 스레스홀딩이며,
    상기 문턱 값은,
    상기 영상에 대한 스레스홀딩 결과가 상기 저해상도 골격계 영상과 동일한 골밀도 분포를 갖도록 계산되는,
    컴퓨터 장치.
  17. 컴퓨터 장치에 고해상도 골 미세구조를 획득하기 위한 방법을 실행시키기 위해 비-일시적인 컴퓨터 판독 가능한 기록 매체에 저장되는 컴퓨터 프로그램에 있어서,
    상기 방법은,
    저해상도 골격계 영상을 복수의 저해상도 이미지 패치들로 분할하는 단계;
    미리 학습된 인공 신경망을 이용하여, 상기 저해상도 이미지 패치들로부터 복수의 고해상도 이미지 패치들을 각각 획득하는 단계; 및
    상기 고해상도 이미지 패치들을 조립 및 후처리하여, 고해상도 골 미세구조를 재구성하는 단계
    를 포함하는,
    컴퓨터 프로그램.
  18. 제 17 항에 있어서,
    상기 저해상도 골격계 영상은,
    저해상도의 임상 CT 스캔 데이터에서의 관심 부위로부터 획득되는,
    컴퓨터 프로그램.
  19. 제 17 항에 있어서,
    상기 고해상도 골 미세구조를 재구성하는 단계는,
    상기 고해상도 골 미세구조를 재구성하기 위해, 상기 고해상도 이미지 패치들이 조립된 조립 영상을 후처리하는 단계
    를 포함하고,
    상기 조립 영상을 후처리 하는 단계는,
    특정 복셀의 골밀도를 주변 복셀들의 골밀도 값들의 가중치 합으로 표현하는 밀도 필터링, 및 영상을 이진화하는 스레스홀딩을 반복적으로 적용하는,
    컴퓨터 프로그램.
  20. 제 19 항에 있어서,
    상기 스레스홀딩은,
    상기 영상의 위치별로 상이한 문턱 값을 사용하는 적응형 스레스홀딩이며,
    상기 문턱 값은,
    상기 영상에 대한 스레스홀딩 결과가 상기 저해상도 골격계 영상과 동일한 골밀도 분포를 갖도록 계산되는,
    컴퓨터 프로그램.
PCT/KR2022/020533 2022-10-06 2022-12-16 임상 ct 스캔 데이터에서의 심층 학습 기반 패치별 3차원 골 미세구조 재구성 방법 및 장치 WO2024075903A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0127616 2022-10-06
KR1020220127616A KR20240048161A (ko) 2022-10-06 2022-10-06 임상 ct 스캔 데이터에서의 심층 학습 기반 패치별 3차원 골 미세구조 재구성 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2024075903A1 true WO2024075903A1 (ko) 2024-04-11

Family

ID=85036120

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/020533 WO2024075903A1 (ko) 2022-10-06 2022-12-16 임상 ct 스캔 데이터에서의 심층 학습 기반 패치별 3차원 골 미세구조 재구성 방법 및 장치

Country Status (4)

Country Link
US (1) US20240119648A1 (ko)
EP (1) EP4350624A1 (ko)
KR (1) KR20240048161A (ko)
WO (1) WO2024075903A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170003476A (ko) * 2015-06-30 2017-01-09 한국과학기술원 영상 변환 장치 및 그 영상 변환 방법
KR101785215B1 (ko) * 2016-07-14 2017-10-16 한국과학기술원 3차원 골격계 영상의 국부 고해상화 방법 및 장치
KR20190040586A (ko) * 2017-10-11 2019-04-19 인하대학교 산학협력단 인공신경망을 이용한 단일 영상 고해상도 복원 방법 및 시스템
KR102084138B1 (ko) * 2018-03-29 2020-03-04 울산대학교 산학협력단 영상 처리 장치 및 방법
JP2021149473A (ja) * 2020-03-18 2021-09-27 株式会社リコー 画像処理装置、画像処理方法および画像処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170003476A (ko) * 2015-06-30 2017-01-09 한국과학기술원 영상 변환 장치 및 그 영상 변환 방법
KR101785215B1 (ko) * 2016-07-14 2017-10-16 한국과학기술원 3차원 골격계 영상의 국부 고해상화 방법 및 장치
KR20190040586A (ko) * 2017-10-11 2019-04-19 인하대학교 산학협력단 인공신경망을 이용한 단일 영상 고해상도 복원 방법 및 시스템
KR102084138B1 (ko) * 2018-03-29 2020-03-04 울산대학교 산학협력단 영상 처리 장치 및 방법
JP2021149473A (ja) * 2020-03-18 2021-09-27 株式会社リコー 画像処理装置、画像処理方法および画像処理プログラム

Also Published As

Publication number Publication date
EP4350624A1 (en) 2024-04-10
US20240119648A1 (en) 2024-04-11
KR20240048161A (ko) 2024-04-15

Similar Documents

Publication Publication Date Title
Hryniewska et al. Checklist for responsible deep learning modeling of medical images based on COVID-19 detection studies
JP7170145B2 (ja) 情報処理装置、プログラム、学習済みモデル、診断支援装置、学習装置及び予測モデルの生成方法
Maiorino et al. Is Torosaurus Triceratops? Geometric morphometric evidence of late Maastrichtian ceratopsid dinosaurs
US11043295B2 (en) Method and providing unit for providing a virtual tomographic stroke follow-up examination image
Barbosa Jr et al. Automated detection and quantification of COVID-19 airspace disease on chest radiographs: a novel approach achieving expert radiologist-level performance using a deep convolutional neural network trained on digital reconstructed radiographs from computed tomography-derived ground truth
Brugnara et al. Automated volumetric assessment with artificial neural networks might enable a more accurate assessment of disease burden in patients with multiple sclerosis
CN111524109A (zh) 头部医学影像的评分方法和装置、电子设备及存储介质
Hong et al. Optimal method for fetal brain age prediction using multiplanar slices from structural magnetic resonance imaging
CN111863204A (zh) 基于钼靶x线摄影检查的乳腺疾病ai辅助诊断方法及系统
Goodkin et al. FLAIR-only joint volumetric analysis of brain lesions and atrophy in clinically isolated syndrome (CIS) suggestive of multiple sclerosis
Mayorga-Ruiz et al. The role of AI in clinical trials
Imak et al. ResMIBCU-Net: an encoder–decoder network with residual blocks, modified inverted residual block, and bi-directional ConvLSTM for impacted tooth segmentation in panoramic X-ray images
Tang et al. Detection of COVID-19 using deep convolutional neural network on chest X-ray (CXR) images
Miller et al. Artificial intelligence-based attenuation correction; closer to clinical reality?
WO2023063489A1 (ko) 노드-링크 그래프 기반 골 미세구조 표현을 활용한 인공신경망으로 재구성된 골격계 영상의 골 미세구조 연결성 복구를 위한 컴퓨터 장치 및 그의 방법
US20190172188A1 (en) Method for merging an analysis data record with an image data record, positioning device, computer program and electronically readable data storage medium
KR101941209B1 (ko) 인공지능 기반 독립형 자동 질환 진단 시스템 및 방법
WO2024075903A1 (ko) 임상 ct 스캔 데이터에서의 심층 학습 기반 패치별 3차원 골 미세구조 재구성 방법 및 장치
Nagaoka et al. A deep learning system to diagnose COVID-19 pneumonia using masked lung CT images to avoid AI-generated COVID-19 diagnoses that include data outside the lungs
KR101948701B1 (ko) 피검체의 뇌 구조를 기술하는 잠재 변수에 기반하여 상기 피검체의 뇌질환을 판정하는 방법 및 이를 이용한 장치
CN116433973A (zh) 基于分层多尺度特征融合的儿童肺炎分类系统及方法
Cossio et al. Would the use of artificial intelligence in COVID-19 patient management add value to the healthcare system?
Karakuş et al. AI-Assisted Detection of Interproximal, Occlusal, and Secondary Caries on Bite-Wing Radiographs: A Single-Shot Deep Learning Approach
CN115089112A (zh) 卒中后认知障碍风险评估模型建立方法、装置及电子设备
KR20230128210A (ko) 치매 진단을 위한 의료 영상 회귀분석 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22961545

Country of ref document: EP

Kind code of ref document: A1