WO2023063489A1 - 노드-링크 그래프 기반 골 미세구조 표현을 활용한 인공신경망으로 재구성된 골격계 영상의 골 미세구조 연결성 복구를 위한 컴퓨터 장치 및 그의 방법 - Google Patents

노드-링크 그래프 기반 골 미세구조 표현을 활용한 인공신경망으로 재구성된 골격계 영상의 골 미세구조 연결성 복구를 위한 컴퓨터 장치 및 그의 방법 Download PDF

Info

Publication number
WO2023063489A1
WO2023063489A1 PCT/KR2021/018382 KR2021018382W WO2023063489A1 WO 2023063489 A1 WO2023063489 A1 WO 2023063489A1 KR 2021018382 W KR2021018382 W KR 2021018382W WO 2023063489 A1 WO2023063489 A1 WO 2023063489A1
Authority
WO
WIPO (PCT)
Prior art keywords
node
bone
link
bone density
computer device
Prior art date
Application number
PCT/KR2021/018382
Other languages
English (en)
French (fr)
Inventor
장인권
고혁진
천봉주
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of WO2023063489A1 publication Critical patent/WO2023063489A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30172—Centreline of tubular or elongated structure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction

Definitions

  • Various embodiments relate to a computer device and method for restoring bone microstructure connectivity of a skeletal system image reconstructed with an artificial neural network using node-linked graph-based bone microstructure representation.
  • Osteoporosis a representative degenerative disease, has no specific subjective symptoms, and thus, despite its high prevalence, few patients are aware that it is osteoporosis. Only 27.7% of elderly female patients aged 70 years or older and 6.6% of male patients were aware of osteoporosis. In general, since people are aware of osteoporosis after a fracture caused by an external shock, etc., it is difficult to provide timely and effective medical response. In addition, fractures due to osteoporosis cause severe disability and a decrease in quality of life for individuals. After experiencing an osteoporotic fracture, 61% of patients who were able to perform normal activities and 31% of those who were able to do outside activities lost their ability to function.
  • Osteoporosis is defined as “a state in which bone strength is reduced due to a decrease in bone mass and qualitative deterioration of the bone microstructure, resulting in a high probability of fracture.”
  • bone strength means the strength of bone to resist fracture, which is determined by 'bone mass', which is the total amount of bone, and 'bone quality', such as bone microstructure.
  • diagnosis of osteoporosis is made through various radiographic imaging devices capable of measuring bone mineral density (BMD), and representative imaging devices include DXA (Dual energy X-ray Absorptiometry) and QCT (Quantitative Computed Tomography). .
  • Bone microstructure is a factor that has a great influence on bone strength evaluation. Prediction of bone strength through a simple bone density measurement method shows an accuracy of about 70%, but when considering the three-dimensional bone microstructure, bone strength can be evaluated with an accuracy of 94%. In addition, a clinical study has been published showing that a more accurate diagnosis of osteoporosis is possible when bone density measurement and bone microstructure analysis are combined. In other words, bone microstructure analysis is essential for a reliable diagnosis of osteoporosis, but obtaining high-resolution medical images with a resolution of 50 ⁇ m capable of expressing bone microstructure is currently impossible due to enormous radiation exposure, low signal-to-noise ratio, and long imaging time.
  • Various embodiments propose a bone microstructure post-processing technique based on a node-link graph that is conceptually different from existing image high-resolution techniques.
  • Various embodiments provide a computer device and method for restoring bone microstructure connectivity of a skeletal system image reconstructed with an artificial neural network using node-link graph-based bone microstructure representation.
  • a method of a computer device includes expressing a node-link graph from a bone microstructure of a skeletal system image, reinforcing the connectivity of the bone microstructure in the node-link graph, and the node-links.
  • a step of converting the graph into a skeletal system image may be included.
  • a computer device includes a memory and a processor connected to the memory and configured to execute at least one command stored in the memory, wherein the processor performs a node-link from a bone microstructure of a skeletal system image. It may be configured to represent a graph, reinforce the connectivity of the bone microstructure in the node-link graph, and convert the node-link graph into a skeletal system image.
  • a non-transitory computer readable recording medium includes expressing a node-link graph from a bone microstructure of a skeletal system image, reinforcing connectivity of the bone microstructure in the node-link graph, and One or more programs for executing a method including converting the node-link graph into a skeletal system image may be recorded in a computer device.
  • a skeletal system image successfully reconstructed with an artificial neural network may be acquired.
  • generation of discontinuous structures may be minimized and a skeletal system image reflecting the structural characteristics of the bone microstructure may be obtained. Therefore, it will be possible to evaluate bone strength with high accuracy based on the skeletal system image reconstructed according to various embodiments.
  • FIG. 1 is a diagram illustrating an internal configuration of a computer device according to various embodiments.
  • FIG. 2 is a diagram conceptually illustrating an operating principle of a computer device according to various embodiments.
  • FIG. 3 is a diagram illustrating a method of operating a computer device according to various embodiments.
  • 4, 5, 6, and 7 are diagrams for explaining an operating method of a computer device according to various embodiments by way of example.
  • FIG. 1 is a diagram illustrating an internal configuration of a computer device 100 according to various embodiments.
  • 2 is a diagram for conceptually explaining the operating principle of the computer device 100 according to various embodiments.
  • a computer device 100 may include at least one of an input module 110, an output module 120, a memory 130, and a processor 140. In some embodiments, at least one of the components of computer device 100 may be omitted and at least one other component may be added. In some embodiments, at least two of the components of computer device 100 may be implemented as a single integrated circuit.
  • the input module 110 may input a signal to be used in at least one component of the computer device 100 .
  • the input module 110 is configured to receive a signal from an input device configured to directly input a signal to the computer device 100 by a user, a sensor device configured to generate a signal by detecting a change in the environment, or an external device. It may include at least one of the receiving devices that are.
  • the input device may include at least one of a microphone, mouse, or keyboard.
  • the input device may include at least one of a touch circuitry configured to detect a touch or a sensor circuit configured to measure a force generated by a touch.
  • the output module 120 may output information to the outside of the computer device 100 .
  • the output module 120 may include at least one of a display device configured to visually output information, an audio output device capable of outputting information as an audio signal, and a transmission device capable of wirelessly transmitting information.
  • the display device may include at least one of a display, a hologram device, and a projector.
  • the display device may be implemented as a touch screen by being assembled with at least one of a touch circuit and a sensor circuit of the input module 110 .
  • the audio output device may include at least one of a speaker and a receiver.
  • the receiving device and the transmitting device may be implemented as a communication module.
  • the communication module may perform communication with an external device in the computer device 100 .
  • the communication module may establish a communication channel between the computer device 100 and an external device, and perform communication with the external device through the communication channel.
  • the external device may include at least one of a vehicle, a satellite, a base station, a server, or another computer system.
  • the communication module may include at least one of a wired communication module and a wireless communication module.
  • the wired communication module may be connected to an external device through a wired connection and communicate through a wired connection.
  • the wireless communication module may include at least one of a short-distance communication module and a long-distance communication module.
  • the short-distance communication module may communicate with an external device in a short-distance communication method.
  • the short-range communication method may include at least one of Bluetooth, WiFi direct, and infrared data association (IrDA).
  • the remote communication module may communicate with an external device in a remote communication method.
  • the remote communication module may communicate with an external device through a network.
  • the network may include at least one of a cellular network, the Internet, or a computer network such as a local area network (LAN) or a wide area network (WAN).
  • the memory 130 may store various data used by at least one component of the computer device 100 .
  • the memory 130 may include at least one of volatile memory and non-volatile memory.
  • the data may include at least one program and related input data or output data.
  • the program may be stored as software including at least one instruction in the memory 130, and may include at least one of an operating system, middleware, and applications.
  • the processor 140 may execute a program in the memory 130 to control at least one component of the computer device 100 . Through this, the processor 140 may perform data processing or calculation. At this time, the processor 140 may execute instructions stored in the memory 130 .
  • the processor 140 generates a post-processed skeletal system image by applying a bone microstructure post-processing technique based on a node-link graph to the original skeletal system image, as shown in FIG. 2 .
  • the original skeletal system image may be reconstructed from a low-resolution skeletal system image by an artificial neural network.
  • the processor 140 may express a node-link graph from the bone microstructure of the original skeletal system image, as shown in (a) of FIG. 2 .
  • the processor 140 may represent the trabeculae of the bone microstructure as a plurality of links, and represent points where the links are connected and at least one open end of the links as a plurality of nodes. .
  • the processor 140 may reinforce the connectivity of the bone microstructure in the node-link graph.
  • the processor 140 may adjust the position of the node of the open end of the links, that is, the open end (open node) to an adjacent element.
  • the adjacent node may include at least one of a link, a node, or a boundary.
  • the processor 140 may convert the node-link graph into a skeletal system image, as shown in (c) of FIG. 2 .
  • FIG 3 is a diagram illustrating an operating method of the computer device 100 according to various embodiments.
  • 4, 5, 6, and 7 are diagrams for explaining an operating method of the computer device 100 according to various embodiments by way of example.
  • the computer device 100 may express a node-link graph from the bone microstructure of the skeletal system image.
  • the skeletal system image may be referred to as an original skeletal system image, and may be reconstructed from a low-resolution skeletal system image by an artificial neural network. It may be directly generated by the computer device 100 or received from an external device.
  • a node-link graph is a method in which objects are divided into nodes and links, and connections between nodes are represented by links.
  • the processor 140 may represent the trabecular bones of the bone microstructure as a plurality of links and then represent a plurality of nodes in the links. In this case, the processor 140 may represent points at which links are connected and at least one open end of the links as nodes. Through this, the processor 140 may generate a node-link graph corresponding to the skeletal system image, as shown in FIG. 4 .
  • processor 140 may preprocess the skeletal system image and then represent a node-link graph from the preprocessed skeletal system image. Specifically, as shown in FIG. 5 , the processor 140 may obtain a binarized image by performing image binarization that preserves the connectivity of the input image with respect to the skeletal system image. For example, in a skeletal system image in which a bone density distribution is expressed as 0.01 to 1, image binarization preserving connectivity of an input image may be performed by setting a threshold value of 0.05. Thereafter, as shown in FIG. 5 , the processor 140 may obtain a centerline image by performing centerline extraction on the binarized image. Thereafter, the processor 140 may express a node-link graph corresponding to the skeletal system image based on the centerline image.
  • the index for the connectivity of the bone microstructure is the number of nodes, the number of links, the node degree, or the number of unconnected nodes. may contain at least one.
  • the degree of a node means the number of links connected to the node, and among the nodes having a degree of 1, nodes that are not located on a boundary (a boundary of a skeletal system image or a node-link graph) are nodes that are disconnected from the surroundings. can indicate
  • the computer device 100 may reinforce the connectivity of the bone microstructure in the node-link graph.
  • the structural discontinuity of the bone microstructure may have a negative effect on the accuracy of bone strength evaluation. For example, when an external load is applied, a structural discontinuity in the bone microstructure cannot propagate the load, and thus may show a lower bone strength value than the actual one.
  • the processor 140 may reinforce the connectivity of the bone microstructure in the node-link graph.
  • the processor 140 may reinforce the connectivity of the bone microstructure based on the order of the node.
  • the structural discontinuity of the bone microstructure is generated at a node having a node degree of 1, and a node having a node degree of 1 may represent an open node connected to only one link.
  • the processor 140 may adjust the position of an open node to an adjacent element in a node-link graph.
  • the adjacent element may include at least one of a link, a node, or a boundary. That is, the processor 140 may move the location of an open node onto an adjacent element in the node-link graph. Through this, the discontinuity of the bone microstructure can be eliminated.
  • the computer device 100 may convert the node-link graph into a skeletal system image in step 330 .
  • the processor 140 may represent trabecular valleys respectively corresponding to the links of the node-link graph.
  • the processor 140 may express the thickness of each of the trabecular bones using the bone density of each of the links.
  • the processor 140 may search the bone mineral density for each of the links of the node-link graph. Specifically, for each link, the processor 140 may detect pixels belonging to the corresponding link in the original skeletal system image as link elements, as shown in (a) of FIG. 7 . Then, as shown in (b) and (c) of FIG. 7 , the processor 140 may search the bone density of pixels adjacent to the link element. Here, the processor 140 may search the bone density in a direction perpendicular to the link through a mask having the same shape as the arrangement of the link elements. At this time, the processor 140 may use only the central half mask in order not to be affected by the adjacent trabecular bone.
  • the processor 140 may search the bone density for each layer. For example, as shown in (b) of FIG. 7, the processor 140 searches for the bone density of the first layer and then, as shown in (c) of 7, the processor 140 searches for the bone density of the second layer. can do. Through this, when the bone density of the central half of the current layer exceeds a predetermined value, for example, 0.5, the bone density of the entire current layer may be set, and the bone density of the central half of the next layer may be searched.
  • a predetermined value for example, 0.5
  • the processor 140 may include expressing the thickness of each of the trabecular bones using the bone density while expressing the trabecular bones respectively corresponding to the links.
  • the above-described node-link graph-based bone microstructure post-processing technology is applied to the bone microstructure reconstructed with an artificial neural network, the occurrence of discontinuous structures can be minimized and the structural characteristics of the existing bone microstructure can be reflected. It will be possible to evaluate bone strength with high accuracy. A procedure was carried out to verify this.
  • the artificial neural network was implemented as U-Net.
  • U-Net is an artificial neural network based on a fully convolutional neural network, and is widely used in the image processing field.
  • the node-linked graph-based bone microstructure post-processing technology was applied to the bone microstructure reconstructed through U-Net, and comparison before and after application was performed.
  • the connectivity index of the bone microstructure and the apparent elastic modulus a factor related to bone strength, were used.
  • the connectivity index of the bone microstructure was improved overall and the error of the apparent elastic modulus was also significantly reduced.
  • the skeletal system image reconstruction methods studied so far have limitations in terms of computational cost (topology optimization method) or high resolution capability (artificial neural network method). For clinical application, it is necessary to develop new technologies that can overcome these limitations.
  • the technology according to various embodiments can provide accurate bone microstructural information necessary for diagnosing osteoporosis by solving the problem of artificial structural discontinuity of the artificial neural network-based high-resolution skeletal system image technology.
  • various drugs such as bisphosphonate, tibolone, and denosumab are currently being used for the treatment of osteoporosis, and the effectiveness of drugs is usually judged in terms of increase or decrease in bone mass.
  • drugs such as bisphosphonate, tibolone, and denosumab are currently being used for the treatment of osteoporosis, and the effectiveness of drugs is usually judged in terms of increase or decrease in bone mass.
  • it is necessary to acquire in vivo bone microstructure information.
  • the bone microstructure is accurately expressed through the technology according to various embodiments, it is possible to more accurately characterize the effect of individual drugs on the bone microstructure and, furthermore, on bone strength. This means that side effects of individual patients can be minimized through patient-specific prescriptions.
  • the technology according to various embodiments has the following advantages in terms of technology.
  • the technology according to various embodiments can effectively express the bone microstructure through image post-processing that is free from these physical constraints, and can provide bone microstructure-related information such as accurate bone strength required in the skeletal system clinical field.
  • the technology according to various embodiments is an image post-processing method that is not restricted by the type of imaging device, it can be easily applied to various pre-established medical imaging devices at a relatively low cost.
  • osteoporosis is diagnosed through relative evaluation based on bone density.
  • these methods do not reflect information on the bone microstructure, making it impossible to accurately evaluate bone strength, resulting in low diagnostic reliability.
  • the technology according to various embodiments enables accurate bone strength evaluation by providing bone microstructure information through post-processing of medical images.
  • the technology according to various embodiments utilizes low-resolution medical images of low dose, a long-term follow-up examination is possible, which can greatly contribute to improving the reliability of early diagnosis of osteoporosis.
  • the technology according to various embodiments has the following advantages in economic and industrial aspects. This means that osteoporosis-related medical costs can be reduced. Currently, the medical cost due to osteoporotic fracture in the United States reaches 18 billion dollars annually, and the medical cost for osteoporosis treatment in Korea is also very high at 807.2 billion won. However, since the technology according to various embodiments can contribute to accurate diagnosis of osteoporosis, it can preemptively/effectively respond to osteoporosis and osteoporotic fractures. If reliable early diagnosis of osteoporosis is possible through the technology according to various embodiments, reduction in medical costs due to prevention of osteoporosis and reduction of side effects due to overdiagnosis or misdiagnosis can be expected.
  • the technology according to various embodiments has the following advantages in a social aspect. This means that the quality of life of the people can be improved and the national finances can be reinforced through the improvement of the accuracy of osteoporosis diagnosis. Osteoporotic fractures cause not only direct costs for treatment, but also enormous social costs such as additional labor input for treatment of patients and loss of income due to early death of patients. As a result of a study based on data from the Population Research Panel Survey, when a citizen aged 50 to 80 suffered one osteoporotic fracture, the average pension expenditure increased by 70 million won compared to the case where no fracture occurred, while direct and indirect tax An average of 53 million won decreased. However, the technology according to various embodiments can contribute to reliable early diagnosis and timely medical intervention related to osteoporosis, and can prevent enormous social costs due to osteoporotic fractures in advance.
  • technologies according to various embodiments may be industrialized into various technical fields.
  • the technology according to various embodiments can be used to build a rapid and quantitative clinical diagnosis system based on medical skeletal system images.
  • Existing medical imaging devices could acquire only limited resolution medical images due to limited radiation exposure and imaging time.
  • Various technologies have been developed to solve this problem, but no device (or technology) capable of imaging bone microstructures in vivo has been reported yet.
  • the technology according to various embodiments does not incur enormous costs due to hardware replacement and can provide bone microstructure information within a short time, it will be able to innovate the existing skeletal disease diagnosis system.
  • the technology according to various embodiments can be used to develop drugs for treating skeletal diseases.
  • a technique according to various embodiments performs post-processing of a bone microstructure targeting a low-resolution image with little radiation exposure. Therefore, it is possible to solve the problem of excessive radiation exposure due to long-term follow-up, and at the same time, it is possible to analyze changes in the bone microstructure, so that the effect of drugs for treating skeletal diseases on the bone microstructure can be specified.
  • Various embodiments provide a computer device 100 and a method thereof for restoring bone microstructure connectivity of a skeletal system image reconstructed by an artificial neural network using node-link graph-based bone microstructure representation.
  • the method of the computer device 100 includes expressing a node-link graph from the bone microstructure of the input skeletal system image (step 310), reinforcing the connectivity of the bone microstructure in the node-link graph. It may include a step (step 320) and a step (step 330) of converting the node-link graph into a skeletal system image.
  • representing the node-link graph includes representing the trabeculae of the bone microstructure as a plurality of links, and the points and links to which the links are connected. It may include expressing at least one open end of a plurality of nodes.
  • the step of expressing the node-link graph may include performing image binarization on the input skeletal system image to obtain a binarized image, and performing centerline extraction on the binarized image, A step of obtaining a center line image may be further included, and in this case, links may be expressed based on the center line image.
  • the computer device 100 may reconstruct a skeletal system image from an input skeletal system image reconstructed by an artificial neural network.
  • reinforcing the connectivity of the bone microstructure may include adjusting the position of an open node to an adjacent element in the node-link graph.
  • an open node may be a node having a node degree of 1.
  • an adjacent element may include at least one of a link, a node, or a boundary.
  • converting the node-link graph into a skeletal system image may include: searching for bone density for each of a plurality of links of the node-link graph; Expressing the thickness of each of the trabecular bones using bone density while expressing the bones may be included.
  • the step of searching for the bone density may include moving a mask having the same shape as a link element composed of pixels belonging to each link in the input skeletal system image in a direction perpendicular to the link, while moving a central portion of the mask. Bone density can be explored.
  • the step of searching for the bone density may include, when pixels adjacent to the link element are in a plurality of layers, searching for the bone density of the current layer; if the bone density of the current layer exceeds a predetermined value, the current layer Searching for the bone density of the next layer while setting the bone density of the layer, and excluding the bone density of the current layer if the bone density of the current layer is less than or equal to a predetermined value.
  • the computer device 100 may include a memory 130 and a processor 140 connected to the memory 130 and configured to execute at least one instruction stored in the memory 130. .
  • the processor 140 expresses a node-link graph from the bone microstructure of the input skeletal system image, reinforces the connectivity of the bone microstructure in the node-link graph, and converts the node-link graph to the skeletal system. It can be configured to convert to video.
  • the processor 140 is configured to represent the trabecular bones of the bone microstructure as a plurality of links, and to represent the points at which the links are connected and at least one open end of the links as a plurality of nodes. can be configured.
  • the processor 140 performs image binarization on an input skeletal system image to obtain a binarized image, performs centerline extraction on the binarized image, obtains a centerline image, and based on the centerline image It can be configured to represent links and nodes as
  • the processor 140 may be configured to reconstruct a skeletal system image from an input skeletal system image reconstructed by an artificial neural network.
  • the processor 140 may be configured to adjust the position of an open node to an adjacent element in a node-link graph.
  • an adjacent element may include at least one of a link, a node, or a boundary.
  • the processor 140 searches the bone density for each of a plurality of links of the node-link graph, expresses the trabecular bones respectively corresponding to the links, and uses the bone density to search for each of the trabecular bones. It can be configured to express the thickness of.
  • the processor 140 moves a mask having the same shape as a link element composed of pixels belonging to each link in the input skeletal system image in a direction perpendicular to the link, and detects bone density at the center of the mask. It can be configured to search for.
  • the processor 140 searches for the bone density of the current layer when pixels adjacent to the link element are in a plurality of layers, and if the bone density of the current layer exceeds a predetermined value, the bone density of the current layer While setting the bone density, the bone density of the next layer may be searched, and if the bone density of the current layer is less than a predetermined value, the bone density of the current layer may be excluded.
  • the above method may be provided as a computer program stored in a computer readable recording medium to be executed on a computer.
  • the medium may continuously store a computer-executable program or temporarily store it for execution or download.
  • the medium may be various recording means or storage means in the form of a single or combined hardware, but is not limited to a medium directly connected to a certain computer system, and may be distributed on a network. Examples of the medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROM and DVD, magneto-optical media such as floptical disks, and ROM, RAM, flash memory, etc. configured to store program instructions.
  • examples of other media include recording media or storage media managed by an app store that distributes applications, a site that supplies or distributes various other software, and a server.
  • the processing units used to perform the techniques may include one or more ASICs, DSPs, digital signal processing devices (DSPDs), programmable logic devices (PLDs) ), field programmable gate arrays (FPGAs), processors, controllers, microcontrollers, microprocessors, electronic devices, and other electronic units designed to perform the functions described in this disclosure. , a computer, or a combination thereof.
  • a general purpose processor may be a microprocessor, but in the alternative, the processor may be any conventional processor, controller, microcontroller, or state machine.
  • a processor may also be implemented as a combination of computing devices, eg, a combination of a DSP and a microprocessor, a plurality of microprocessors, one or more microprocessors in conjunction with a DSP core, or any other configuration.
  • the techniques include random access memory (RAM), read-only memory (ROM), non-volatile random access memory (NVRAM), PROM (on a computer readable medium, such as programmable read-only memory (EPROM), erasable programmable read-only memory (EPROM), electrically erasable PROM (EEPROM), flash memory, compact disc (CD), magnetic or optical data storage device, or the like. It can also be implemented as stored instructions. Instructions may be executable by one or more processors and may cause the processor(s) to perform certain aspects of the functionality described in this disclosure.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

다양한 실시예들은 노드-링크 그래프 기반 골 미세구조 표현을 활용한 인공신경망으로 재구성된 골격계 영상의 골 미세구조 연결성 복구를 위한 컴퓨터 장치 및 그의 방법에 관한 것으로, 골격계 영상의 골 미세구조로부터 노드-링크 그래프를 표현하고, 노드-링크 그래프에서 골 미세구조의 연결성을 보강하고, 노드-링크 그래프를 골격계 영상으로 전환하도록 구성될 수 있다.

Description

노드-링크 그래프 기반 골 미세구조 표현을 활용한 인공신경망으로 재구성된 골격계 영상의 골 미세구조 연결성 복구를 위한 컴퓨터 장치 및 그의 방법
다양한 실시예들은 노드-링크 그래프 기반 골 미세구조 표현을 활용한 인공신경망으로 재구성된 골격계 영상의 골 미세구조 연결성 복구를 위한 컴퓨터 장치 및 그의 방법에 관한 것이다.
대표적 퇴행성 질환인 골다공증(osteoporosis)은 특별한 자각증상이 없어, 높은 유병률에도 불구하고 골다공증임을 스스로 자각하는 환자는 많지 않다. 70대 이상의 노인 여성 환자 중 27.7%, 남성 환자 중 6.6%만이 골다공증임을 인지하고 있다. 일반적으로 외부 충격 등으로 인한 골절 발생 이후 골다공증임을 자각하게 되므로, 시의적절하고 효과적인 의료 대응이 어려운 상황이다. 또한, 골다공증으로 인한 골절은 개인에게 심각한 장애와 함께 삶의 질 저하를 유발한다. 골다공증성 골절 경험 이후, 정상 활동이 가능했던 환자 중 61%, 외부 활동이 가능했던 환자의 31%가 활동 능력을 상실했다. 뿐만 아니라, 고관절 골절 발생 시 30일 내 사망률은 약 10%에 이르며, 1년 내 사망률은 20% 수준으로 보고되고 있다. 대한민국이 고령사회에 진입한 이후 골다공증 환자 수는 꾸준히 증가해 2019년에 100만 명을 돌파했다. 대한골대사학회에서 2019년 발행한 『골다공증 및 골다공증 골절 fact sheet 2019』에 따르면, 50세 이상 국민 중 골다공증 유병률은 여성 37.3%, 남성 7.5%로 매우 높으며, 골다공증의 전 단계인 골감소증 환자는 여성 48.9%, 남성 46.8%이다. 대한민국이 초고령화 사회로 진입하는 2025년경에는 골다공증이 사회의 핵심 문제로 부상할 가능성이 크다. 현재까지의 연구에 따르면, 골다공증으로 인해 손상된 골 강도는 원래 수준으로의 회복이 불가능하다. 이는 골 재형성 과정을 통해 소실된 골 미세구조의 연결성을 복구할 수 없다는 비가역적 특성에 의한 결과이다. 즉, 골다공증으로 인한 골 미세구조의 소실을 사전에 방지하는 것이 매우 중요하며, 이에 의거하여 골다공증의 조기진단은 임상적으로 중요한 의미가 있다.
골다공증은 ‘골(骨)량의 감소와 골 미세구조의 질적인 악화로 인해 골 강도가 감소하여　골절이 일어날 가능성이 높은 상태’로 정의된다. 여기서, 골 강도는 뼈가 골절에 저항하는 힘을 의미하며, 이는 뼈의 총량인 ‘골량’과 골 미세구조와 같은 ‘골질’에 의해서 결정된다. 현재 골다공증 진단은 골밀도(bone mineral density; BMD)를 측정할 수 있는 여러 방사선 영상기기를 통해 이루어지고 있으며, 대표적인 영상기기로 DXA(Dual energy X-ray Absorptiometry), QCT(Quantitative Computed Tomography) 등이 있다. 이러한 영상기기들은 X-ray 감쇄율에 의한 ‘골량’ 정보는 측정 가능하나, 600μm 수준의 낮은 해상도로 인하여 골 미세구조와 같은 ‘골질’ 정보는 획득할 수 없다. 즉, 서로 다른 골질을 가지는 두 환자들이 같은 골량을 가지는 경우, 두 환자들은 서로 다른 골 강도들을 가짐에도 불구하고 같은 수준의 골다공증 진단을 받게 됨. 이로 인해, 골다공증 관련 오진단·과진단의 가능성이 존재하며, 이러한 문제점은 임상에서 꾸준히 보고되고 있다. 따라서, 정량적 골 강도 평가를 기반으로 한 새로운 골다공증 진단 방법의 개발이 요구되고 있다.
골 강도 평가에서 골 미세구조는 큰 영향을 미치는 요소이다. 단순 골밀도 측정법을 통한 골 강도 예측은 약 70%의 정확도를 보이지만, 3차원 골 미세구조까지 고려할 시 94%의 정확도로 골 강도를 평가할 수 있다. 또한, 골밀도 측정과 골 미세구조 분석을 병행할 경우, 더욱 정확한 골다공증 진단이 가능하다는 임상연구가 발표된 바 있다. 즉, 신뢰성 있는 골다공증 진단을 위해서는 골 미세구조 분석이 필수적이나, 막대한 방사선 노출, 낮은 신호대잡음비, 긴 촬영 시간 등으로 인해 골 미세구조 표현이 가능한 50μm급 해상도의 고해상도 의료영상 획득은 현재 불가능한 상황이다.
기존 의료영상기기들은 생체 내 정보를 정량적으로 측정, 영상화함으로써 임상에서의 질병 진단 및 치료에 크게 이바지하고 있으나, 고해상도 골격계 영상의 획득에는 높은 방사선량, 낮은 신호대잡음비, 긴 촬영 시간, 촬영 부위의 제약 등 여러 문제가 존재한다. 방사선 의료영상 기기의 해상도 개선을 위해, 다양한 방사선 검출기, 새로운 촬영 방법 및 촬영 데이터 보간 등의 기술이 제안되었다. 그런데, 하드웨어적 개선을 통한 영상 해상도 확보가 한계에 봉착함에 따라, 의료 영상기기를 통해 획득한 영상정보를 후처리하여 해상도를 개선하려는 기술이 활발히 연구되고 있으며, 해당 영상 고해상화 기술은 크게 인공신경망 기반 기술과 위상최적설계 기반 기술로 분류된다. 인공신경망 기반의 영상 고해상화 기술은 뇌 등의 여러 연조직(soft tissue)을 촬영한 영상에 적용된 사례가 빈번히 보고되고 있다. 다만, 경조직(hard tissue)인 골격계 영상 고해상화의 경우, 고해상도 골격계 영상 확보의 어려움으로 인해 훈련 데이터베이스 구축에 어려움이 있으며, 고해상화 배율도 현재 최대 4배로 제한된다. 또한, 복잡한 형상의 골 미세구조로 인해 성공적인 인공신경망의 훈련이 매우 어렵기 때문에, 골격계 의료영상에 대해 인공신경망 기반 기술을 성공적으로 적용한 사례는 아직까지 보고된 바가 없다. 위상최적설계 기반 영상 고해상화 기술은 ‘골 재형성은 최소의 질량으로 외부 하중을 가장 효율적으로 버틸 수 있도록 골 미세구조를 변화시키는 과정’이라는 울프의 법칙(Wolff’s law)에 근거하여, 주어진 골량 제한조건 하에서 골밀도의 재분배를 통해 최대 강성의 골 미세구조를 탐색한다. 위상최적설계 기반 기술은 높은 고해상화 배율(10배 내외) 및 정확한 골 강도 평가 정확도를 보였지만, 반복적인 유한요소해석으로 인해 과도한 계산이 소요되어 임상 적용에 한계가 있다.
다양한 실시예들은 기존 영상 고해상화 기술과는 개념적으로 상이한 노드-링크 그래프 기반의 골 미세구조 후처리 기술을 제안한다.
다양한 실시예들은 노드-링크 그래프 기반 골 미세구조 표현을 활용한 인공신경망으로 재구성된 골격계 영상의 골 미세구조 연결성 복구를 위한 컴퓨터 장치 및 그의 방법을 제공한다.
다양한 실시예들에 따른 컴퓨터 장치의 방법은, 골격계 영상의 골 미세구조로부터 노드-링크 그래프를 표현하는 단계, 상기 노드-링크 그래프에서 상기 골 미세구조의 연결성을 보강하는 단계, 및 상기 노드-링크 그래프를 골격계 영상으로 전환하는 단계를 포함할 수 있다.
다양한 실시예들에 따른 컴퓨터 장치는, 메모리, 및 상기 메모리와 연결되고, 상기 메모리에 저장된 적어도 하나의 명령을 실행하도록 구성된 프로세서를 포함하고, 상기 프로세서는, 골격계 영상의 골 미세구조로부터 노드-링크 그래프를 표현하고, 상기 노드-링크 그래프에서 상기 골 미세구조의 연결성을 보강하고, 상기 노드-링크 그래프를 골격계 영상으로 전환하도록 구성될 수 있다.
다양한 실시예들에 따른 비-일시적인 컴퓨터 판독 가능한 기록 매체는, 골격계 영상의 골 미세구조로부터 노드-링크 그래프를 표현하는 단계, 상기 노드-링크 그래프에서 상기 골 미세구조의 연결성을 보강하는 단계, 및 상기 노드-링크 그래프를 골격계 영상으로 전환하는 단계를 포함하는 방법을 컴퓨터 장치에 실행시키기 위한 하나 이상의 프로그램들이 기록되어 있을 수 있다.
다양한 실시예들은, 인공신경망으로 성공적으로 재구성된 골격계 영상을 획득할 수 있다. 구체적으로, 다양한 실시예들은, 노드-링크 그래프 기반 골 미세구조 후처리 기술을 적용함으로써, 불연속적인 구조 발생을 최소화하며 골 미세구조의 구조적 특성이 반영된 골격계 영상을 획득할 수 있다. 따라서, 다양한 실시예들에 따라 재구성된 골격계 영상을 기반으로, 높은 정확도의 골 강도 평가가 가능할 것이다.
도 1은 다양한 실시예들에 따른 컴퓨터 장치의 내부 구성을 도시하는 도면이다.
도 2는 다양한 실시예들에 따른 컴퓨터 장치의 동작 원리를 개념적으로 설명하기 위한 도면이다.
도 3은 다양한 실시예들에 따른 컴퓨터 장치의 동작 방법을 도시하는 도면이다.
도 4, 도 5, 도 6, 및 도 7은 다양한 실시예들에 따른 컴퓨터 장치의 동작 방법을 예시적으로 설명하기 위한 도면들이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 설명된다.
도 1은 다양한 실시예들에 따른 컴퓨터 장치(100)의 내부 구성을 도시하는 도면이다. 도 2는 다양한 실시예들에 따른 컴퓨터 장치(100)의 동작 원리를 개념적으로 설명하기 위한 도면이다.
도 1을 참조하면, 컴퓨터 장치(100)는 입력 모듈(110), 출력 모듈(120), 메모리(130), 또는 프로세서(140) 중 적어도 하나를 포함할 수 있다. 어떤 실시예에서, 컴퓨터 장치(100)의 구성 요소들 중 적어도 하나가 생략될 수 있으며, 적어도 하나의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서, 컴퓨터 장치(100)의 구성 요소들 중 적어도 두 개가 하나의 통합된 회로로 구현될 수 있다.
입력 모듈(110)은 컴퓨터 장치(100)의 적어도 하나의 구성 요소에 사용될 신호를 입력할 수 있다. 입력 모듈(110)은, 사용자가 컴퓨터 장치(100)에 직접적으로 신호를 입력하도록 구성되는 입력 장치, 주변의 변화를 감지하여 신호를 발생하도록 구성되는 센서 장치, 또는 외부 기기로부터 신호를 수신하도록 구성되는 수신 장치 중 적어도 하나를 포함할 수 있다. 예를 들면, 입력 장치는 마이크로폰(microphone), 마우스(mouse) 또는 키보드(keyboard) 중 적어도 하나를 포함할 수 있다. 어떤 실시예에서, 입력 장치는 터치를 감지하도록 설정된 터치 회로(touch circuitry) 또는 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로 중 적어도 하나를 포함할 수 있다.
출력 모듈(120)은 컴퓨터 장치(100)의 외부로 정보를 출력할 수 있다. 출력 모듈(120)은, 정보를 시각적으로 출력하도록 구성되는 표시 장치, 정보를 오디오 신호로 출력할 수 있는 오디오 출력 장치, 또는 정보를 무선으로 송신할 수 있는 송신 장치 중 적어도 하나를 포함할 수 있다. 예를 들면, 표시 장치는 디스플레이, 홀로그램 장치 또는 프로젝터 중 적어도 하나를 포함할 수 있다. 일 예로, 표시 장치는 입력 모듈(110)의 터치 회로 또는 센서 회로 중 적어도 하나와 조립되어, 터치 스크린으로 구현될 수 있다. 예를 들면, 오디오 출력 장치는 스피커 또는 리시버 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 수신 장치와 송신 장치는 통신 모듈로 구현될 수 있다. 통신 모듈은 컴퓨터 장치(100)에서 외부 기기와 통신을 수행할 수 있다. 통신 모듈은 컴퓨터 장치(100)와 외부 기기 간 통신 채널을 수립하고, 통신 채널을 통해, 외부 기기와 통신을 수행할 수 있다. 여기서, 외부 기기는 차량, 위성, 기지국, 서버 또는 다른 컴퓨터 시스템 중 적어도 하나를 포함할 수 있다. 통신 모듈은 유선 통신 모듈 또는 무선 통신 모듈 중 적어도 하나를 포함할 수 있다. 유선 통신 모듈은 외부 기기와 유선으로 연결되어, 유선으로 통신할 수 있다. 무선 통신 모듈은 근거리 통신 모듈 또는 원거리 통신 모듈 중 적어도 하나를 포함할 수 있다. 근거리 통신 모듈은 외부 기기와 근거리 통신 방식으로 통신할 수 있다. 예를 들면, 근거리 통신 방식은, 블루투스(Bluetooth), 와이파이 다이렉트(WiFi direct), 또는 적외선 통신(IrDA; infrared data association) 중 적어도 하나를 포함할 수 있다. 원거리 통신 모듈은 외부 기기와 원거리 통신 방식으로 통신할 수 있다. 여기서, 원거리 통신 모듈은 네트워크를 통해 외부 기기와 통신할 수 있다. 예를 들면, 네트워크는 셀룰러 네트워크, 인터넷, 또는 LAN(local area network)이나 WAN(wide area network)과 같은 컴퓨터 네트워크 중 적어도 하나를 포함할 수 있다.
메모리(130)는 컴퓨터 장치(100)의 적어도 하나의 구성 요소에 의해 사용되는 다양한 데이터를 저장할 수 있다. 예를 들면, 메모리(130)는 휘발성 메모리 또는 비휘발성 메모리 중 적어도 하나를 포함할 수 있다. 데이터는 적어도 하나의 프로그램 및 이와 관련된 입력 데이터 또는 출력 데이터를 포함할 수 있다. 프로그램은 메모리(130)에 적어도 하나의 명령을 포함하는 소프트웨어로서 저장될 수 있으며, 운영 체제, 미들 웨어 또는 어플리케이션 중 적어도 하나를 포함할 수 있다.
프로세서(140)는 메모리(130)의 프로그램을 실행하여, 컴퓨터 장치(100)의 적어도 하나의 구성 요소를 제어할 수 있다. 이를 통해, 프로세서(140)는 데이터 처리 또는 연산을 수행할 수 있다. 이 때, 프로세서(140)는 메모리(130)에 저장된 명령을 실행할 수 있다.
다양한 실시예들에 따르면, 프로세서(140)는, 도 2에 도시된 바와 같이, 원본 골격계 영상에 대해 노드-링크 그래프 기반의 골 미세구조 후처리 기술을 적용하여, 후처리된 골격계 영상을 생성할 수 있다. 여기서, 원본 골격계 영상은 인공신경망으로 저해상도 골격계 영상으로부터 재구성된 것일 수 있다. 구체적으로, 프로세서(140)는, 도 2의 (a)에 도시된 바와 같이, 원본 골격계 영상의 골 미세구조로부터 노드-링크 그래프를 표현할 수 있다. 이 때, 프로세서(140)는 골 미세구조의 소주골들(trabeculae)을 복수의 링크들로 표현하고, 링크들이 연결되는 지점들 및 링크들의 적어도 하나의 개방단을 복수의 노드들로 표현할 수 있다. 그리고, 프로세서(140)는, 도 2의 (b)에 도시된 바와 같이, 노드-링크 그래프에서 골 미세구조의 연결성을 보강할 수 있다. 이 때, 프로세서(140)는 링크들의 개방단의 노드, 즉, 개방 단부(open node)의 위치를 인접 요소로 조정할 수 있다. 여기서, 인접 노드는 링크, 노드, 또는 경계 중 적어도 하나를 포함할 수 있다. 또한, 프로세서(140)는, 도 2의 (c)에 도시된 바와 같이, 노드-링크 그래프를 골격계 영상으로 전환할 수 있다.
도 3은 다양한 실시예들에 따른 컴퓨터 장치(100)의 동작 방법을 도시하는 도면이다. 도 4, 도 5, 도 6, 및 도 7은 다양한 실시예들에 따른 컴퓨터 장치(100)의 동작 방법을 예시적으로 설명하기 위한 도면들이다.
도 3을 참조하면, 컴퓨터 장치(100)는 310 단계에서, 골격계 영상의 골 미세구조로부터 노드-링크 그래프(node-link graph)를 표현할 수 있다. 여기서, 골격계 영상은 원본 골격계 영상으로 지칭될 수 있으며, 인공신경망으로 저해상도 골격계 영상으로부터 재구성된 것일 수 있다. 컴퓨터 장치(100)에서 직접 생성되거나 외부 기기로부터 수신될 수 있다. 노드-링크 그래프는 대상을 노드들과 링크들로 구분하고, 노드들 간의 연결을 링크들로 표현하는 방식이다. 구체적으로, 프로세서(140)는 골 미세구조의 소주골들을 복수의 링크들로 표현한 다음, 링크들에 복수의 노드들을 표현할 수 있다. 이 때, 프로세서(140)는 링크들이 연결되는 지점들 및 링크들의 적어도 하나의 개방단을 노드들로 표현할 수 있다. 이를 통해, 프로세서(140)는, 도 4에 도시된 바와 같이, 골격계 영상에 대응하는 노드-링크 그래프를 생성할 수 있다.
어떤 실시예들에서, 프로세서(140)는 골격계 영상을 선처리한 다음, 선처리된 골격계 영상으로부터 노드-링크 그래프를 표현할 수 있다. 구체적으로, 프로세서(140)는, 도 5에 도시된 바와 같이, 골격계 영상에 대해 입력 영상의 연결성을 보존하는 영상 이진화(binarization)를 수행하여, 이진화 영상을 획득할 수 있다. 예를 들면, 골밀도 분포가 0.01~1로 표현되는 골격계 영상에서 이진화 문턱 값(threshold)을 0.05로 설정함으로써, 입력 영상의 연결성을 보존하는 영상 이진화가 수행될 수 있다. 이 후, 프로세서(140)는, 도 5에 도시된 바와 같이, 이진화 영상에서 중심선(centerline) 추출을 수행하여, 중심선 영상을 획득할 수 있다. 이 후, 프로세서(140)는 중심선 영상을 기반으로, 골격계 영상에 대응하는 노드-링크 그래프를 표현할 수 있다.
이와 같이 골격계 영상이 노드-링크 그래프로 표현됨에 따라, 픽셀(또는, 복셀) 기반의 영상 정보 대비 데이터의 구성이 단순화되고, 골 미세구조의 연결성에 대한 다양한 정량적 지표가 확보될 수 있다. 골 미세구조의 연결성에 대한 지표는, 노드들의 개수(Number of nodes), 링크들의 개수(Number of links), 노드의 차수(Node degree), 또는 연결되지 않은 노드들의 개수(Number of unconnected nodes) 중 적어도 하나를 포함할 수 있다. 여기서, 노드의 차수는 노드에 연결된 링크의 개수를 의미하며, 노드의 차수가 1인 노드 중 경계(골격계 영상 또는 노드-링크 그래프의 경계)에 위치하지 않은 노드는 주변과의 연결이 끊어진 노드를 나타낼 수 있다.
다음으로, 컴퓨터 장치(100)는 320 단계에서, 노드-링크 그래프에서 골 미세구조의 연결성을 보강할 수 있다. 이 때, 골 미세구조의 구조적 불연속성은 골 강도 평가의 정확성에 부정적인 영향을 끼칠 수 있다. 예를 들면, 외부 하중이 가해질 때, 골 미세구조에서 구조적 불연속성이 발생한 부분은 하중 전파가 불가하므로, 실제보다 낮은 골 강도 값을 나타낼 수 있다. 이러한 문제를 해결하기 위해서는 사전에 구조적 불연속성 발생을 억제하거나, 기 발생한 구조적 불연속성이 발생한 부분을 후처리를 통해 연결해주어야 한다. 따라서, 골 미세구조의 연결성을 효과적으로 표현하고 향상시키기 위해, 프로세서(140)는 노드-링크 그래프에서 골 미세구조의 연결성을 보강할 수 있다.
이 때, 프로세서(140)는 노드의 차수를 기반으로, 골 미세구조의 연결성을 보강할 수 있다. 여기서, 골 미세구조의 구조적 불연속성은 노드 차수가 1인 노드에서 발생되며, 노드의 차수가 1인 노드는 하나의 링크에만 연결된 개방 노드를 나타낼 수 있다. 구체적으로, 프로세서(140)는, 도 6에 도시된 바와 같이, 노드-링크 그래프에서 개방 노드의 위치를 인접 요소로 조정할 수 있다. 여기서, 인접 요소는 링크, 노드, 또는 경계 중 적어도 하나를 포함할 수 있다. 즉, 프로세서(140)는 노드-링크 그래프에서 개방 노드의 위치를 인접 요소 상으로 이동시킬 수 있다. 이를 통해, 골 미세구조의 불연속성이 제거될 수 있다.
다음으로, 컴퓨터 장치(100)는 330 단계에서, 노드-링크 그래프를 골격계 영상으로 전환할 수 있다. 이 때, 프로세서(140)는 노드-링크 그래프의 링크들에 각각 대응하는 소주골들을 표현할 수 있다. 그리고, 프로세서(140)는 링크들의 각각의 골밀도를 이용하여, 소주골들의 각각의 두께를 표현할 수 있다.
이를 위해, 프로세서(140)는 노드-링크 그래프의 링크들의 각각에 대해 골밀도를 탐색할 수 있다. 구체적으로, 각 링크에 대해, 프로세서(140)는, 도 7의 (a)에 도시된 바와 같이, 원본 골격계 영상에서 해당 링크에 소속된 픽셀들을 링크 요소(link element)로 검출할 수 있다. 그런 다음, 프로세서(140)는, 도 7의 (b) 및 (c)에 도시된 바와 같이, 링크 요소에 인접한 픽셀들의 골밀도를 탐색할 수 있다. 여기서, 프로세서(140)는 링크 요소의 배치와 동일한 형상을 갖는 마스크(mask)를 통해, 해당 링크와 수직하는 방향으로, 골밀도를 탐색할 수 있다. 이 때, 프로세서(140)는 인접한 소주골의 영향을 받지 않기 위해, 중앙 절반 부분의 마스크만 사용할 수 있다. 바꿔 말하면, 링크 요소에 인접한 픽셀들이 복수의 레이어들로 있는 경우, 프로세서(140)는 레이어 별로 골밀도를 탐색할 수 있다. 예를 들면, 프로세서(140)는, 도 7의 (b)에 도시된 바와 같이, 첫 번째 레이어의 골밀도를 탐색한 다음, 7의 (c)에 도시된 바와 같이, 두 번째 레이어의 골밀도를 탐색할 수 있다. 이를 통해, 현재 레이어의 중앙 절반 부분의 골밀도가 미리 정해진 값, 예컨대, 0.5를 초과하는 경우, 해당 골밀도를 현재 레이어의 전체에 설정하고, 다음 레이어의 중앙 절반 부분의 골밀도를 탐색할 수 있다. 한편, 현재 레이어의 중앙 절반 부분의 골밀도가 미리 정해진 값, 예컨대, 0.5 이하인 경우, 해당 골밀도를 현재 레이어에 대해 설정하지 않고 제외시키며, 다음 레이어의 골밀도도 더 이상 탐색하지 않을 수 있다. 이를 통해, 프로세서(140)는 링크들에 각각 대응하는 소주골들을 표현하면서, 골밀도를 이용하여 소주골들의 각각의 두께를 표현하는 단계를 포함할 수 있다.
전술한 바와 같은 노드-링크 그래프 기반 골 미세구조 후처리 기술을 인공신경망으로 재구성된 골 미세구조에 적용할 경우, 불연속적인 구조 발생을 최소화하며 기존 골 미세구조의 구조적 특성을 반영할 수 있으므로 기존 대비 높은 정확도의 골 강도 평가가 가능할 것이다. 이를 검증하기 위한 절차가 진행되었다. 이 때, 인공신경망은 U-Net으로 구현되었다. U-Net은 완전 컨볼루션 신경망 기반의 인공신경망으로서, 영상 처리 분야에서 널리 사용되고 있다. 노드-링크 그래프 기반 골 미세구조 후처리 기술을 U-Net을 통해 재구성된 골 미세구조에 적용하여, 적용 전/후 비교를 수행하였다. 이 때, 정량적 검증을 위해, 골 미세구조의 연결성 지표와 골 강도 관련 인자인 겉보기 탄성 계수(Apparent elastic modulus)를 사용하였다. 노드-링크 그래프 기반 골 미세구조 후처리 기술을 다수의 골 미세구조 패치에 적용한 결과, 골 미세구조의 연결성 지표가 전반적으로 향상되었으며, 겉보기 탄성계수의 오차 또한 크게 감소하였다.
현재 골밀도 기반 골다공증 진단방식은 “골질”에 대한 미반영으로 인해 골 강도 추정이 부정확하며, 골밀도 기준 집단의 선정에 따라 진단 결과가 달라질 수 있다는 문제점이 있다. 현재까지 연구된 골격계 영상 재구성 방법은 계산 비용 측면(위상최적설계 방식)이나 고해상화 능력(인공신경망 방식) 등에 제한이 있다. 임상 적용을 위해서는 이러한 한계를 극복할 수 있는 새로운 기술 개발이 필요하다. 다양한 실시예들에 따른 기술은, 인공신경망 기반 골격계 영상 고해상화 기술이 가지는 인위적인 구조적 불연속성 문제를 해소함으로써, 골다공증 진단에 필요한 정확한 골 미세구조 정보의 제공이 가능하다.
아울러, 현재 골다공증 치료를 위해 비스포스포네이트, 티볼론, 데노수맙 등 다양한 약물이 사용되고 있으며, 대개 골량의 증감 측면에서 약물의 효용성을 판단하고 있다. 다만, 개별 약물이 골 미세구조에 미치는 정확한 영향을 특정하기 위해서는 생체 내 골 미세구조 정보의 획득이 필요하다. 다양한 실시예들에 따른 기술을 통해 골 미세구조가 정확하게 표현될 경우, 개별 약물이 골 미세구조, 더 나아가 골 강도에 미치는 효과를 더욱 정확하게 특정하는 것이 가능하다. 이는 곧 환자 맞춤형 처방을 통해 개별 환자의 부작용을 최소화할 수 있음을 의미한다.
다양한 실시예들에 따른 기술은 기술적 측면에서 다음의 이점들을 갖는다. 첫 번째로, 영상 후처리를 통해, 의료영상기기의 물리적 한계를 극복할 수 있다는 점이다. 현재 통용되는 의료영상기기는 과도한 방사선 노출 및 긴 촬영시간 등의 한계로 인해 획득 가능한 생체 내 해상도가 수백 μm 수준으로 제한된다. 그러나, 다양한 실시예들에 따른 기술은 이러한 물리적 제약에서 자유로운 영상 후처리 방식을 통해 골 미세구조를 효과적으로 표현할 수 있으며, 골격계 임상 분야에서 요구하는 정확한 골 강도 등 골 미세구조 관련 정보 제공이 가능하다. 그리고, 다양한 실시예들에 따른 기술은 영상촬영기기의 종류에 제약을 받지 않는 영상 후처리 방식이므로, 기 구축된 다양한 의료영상기기에 상대적으로 저렴한 비용으로 쉽게 적용 가능하다. 두 번째로, 골다공증 조기 진단의 신뢰성이 향상될 수 있다는 점이다. 현재 골다공증은 골밀도 기반의 상대평가를 통해 진단된다. 다만, 이러한 방법은 골 미세구조에 대한 정보가 반영되지 않아 정확한 골강도 평가가 불가능하여 진단 신뢰성이 낮다. 그러나, 다양한 실시예들에 따른 기술은 의료영상의 후처리를 통해 골 미세구조 정보를 제공함으로써 정확한 골 강도 평가가 가능하다. 또한, 다양한 실시예들에 따른 기술은 저선량의 저해상도 의료영상을 활용하므로 장기간의 추적 검사가 가능하여, 골다공증 조기 진단의 신뢰성 향상에 크게 기여할 수 있다.
다양한 실시예들에 따른 기술은 경제적, 산업적 측면에서 다음의 이점을 갖는다. 이는, 골다공증 관련 의료비용이 감소될 수 있다는 점이다. 현재 미국의 골다공증성 골절에 의한 의료비용은 연간 180억 달러에 이르며, 국내의 골다공증 치료를 위한 의료 비용 역시 8,072억원으로 매우 높다. 그러나, 다양한 실시예들에 따른 기술은 골다공증의 정확한 진단에 기여 가능하므로, 골다공증 및 골다공증성 골절에 선제적/효과적으로 대응할 수 있다. 다양한 실시예들에 따른 기술을 통해 신뢰성 있는 골다공증 조기진단이 가능해질 경우, 골다공증 예방에 따른 의료비용의 감소 및 과진단·오진단에 따른 부작용 절감을 기대할 수 있다.
다양한 실시예들에 따른 기술은 사회적 측면에서 다음의 이점을 갖는다. 이는, 골다공증 진단의 정확도 향상을 통해 국민 삶의 질이 개선되고, 국가 재정이 보강될 수 있다는 점이다. 골다공증성 골절은 치료를 위한 직접적인 비용뿐만 아니라, 환자의 치료를 위해 투입되는 추가적인 노동력 및 환자의 조기 사망으로 인한 소득 손실 등의 막대한 사회적 비용을 발생시킨다. 고령화연구패널조사의 데이터를 기반으로 한 연구 결과, 50~80세의 국민이 1건의 골다공증성 골절을 겪을 경우, 골절이 일어나지 않은 경우와 비교해 평균 7,000만원의 연금 지출이 늘어난 반면, 직·간접세는 평균 5,300만원이 감소하였다. 그러나, 다양한 실시예들에 따른 기술은 골다공증 관련 신뢰성있는 조기 진단 및 시의적절한 의료중재에 기여할 수 있으며, 골다공증성 골절로 인한 막대한 사회적 비용 발생을 사전에 예방할 수 있다.
따라서, 다양한 실시예들에 따른 기술은 다양한 기술 분야들로 산업화될 수 있을 것이다. 첫 번째로, 다양한 실시예들에 따른 기술은 의료 골격계 영상 기반의 신속하고 정량적인 임상 진단 시스템을 구축하는 데 활용될 수 있다. 기존 의료영상기기는 제한된 방사선 노출 및 촬영시간으로 인해 한정된 해상도의 의료영상만 획득 가능하였다. 이러한 문제를 해결하고자 다양한 기술들이 개발되었지만, 아직까지 생체 내 골 미세구조를 촬영할 수 있는 기기(혹은 기술)이 보고된 바 없다. 그러나, 다양한 실시예들에 따른 기술은 하드웨어 교체로 인한 막대한 비용이 발생하지 않으며, 골 미세구조 정보를 짧은 시간 내에 제공 가능하기 때문에 기존 골격계 질환 진단 체계를 혁신할 수 있을 것이다. 두 번째로, 다양한 실시예들에 따른 기술은 골격계 질환 치료용 약물 개발에 활용될 수 있다. 다양한 실시예들에 따른 기술은 방사선 노출이 적은 저해상도 영상을 대상으로 골 미세구조의 후처리를 진행한다. 따라서, 장기간의 추적 조사에 따른 과도한 방사선 노출 문제를 해결할 수 있으며, 동시에 골 미세구조의 변화를 분석할 수 있어 골격계 질환 치료용 약물이 골 미세구조에 미치는 효과를 특정할 수 있을 것이다.
다양한 실시예들은 노드-링크 그래프 기반 골 미세구조 표현을 활용한 인공신경망으로 재구성된 골격계 영상의 골 미세구조 연결성 복구를 위한 컴퓨터 장치(100) 및 그의 방법을 제공한다.
다양한 실시예들에 따른 컴퓨터 장치(100)의 방법은, 입력되는 골격계 영상의 골 미세구조로부터 노드-링크 그래프를 표현하는 단계(310 단계), 노드-링크 그래프에서 골 미세구조의 연결성을 보강하는 단계(320 단계), 및 노드-링크 그래프를 골격계 영상으로 전환하는 단계(330 단계)를 포함할 수 있다.
다양한 실시예들에 따르면, 노드-링크 그래프를 표현하는 단계(310 단계)는, 골 미세구조의 소주골들(trabeculae)을 복수의 링크들로 표현하는 단계, 및 링크들이 연결되는 지점들 및 링크들의 적어도 하나의 개방단을 복수의 노드들로 표현하는 단계를 포함할 수 있다.
다양한 실시예들에 따르면, 노드-링크 그래프를 표현하는 단계(310 단계)는, 입력되는 골격계 영상에 대해 영상 이진화를 수행하여, 이진화 영상을 획득하는 단계, 및 이진화 영상에서 중심선 추출을 수행하여, 중심선 영상을 획득하는 단계를 더 포함할 수 있으며, 이러한 경우, 링크들은 중심선 영상을 기반으로 표현될 수 있다.
다양한 실시예들에 따르면, 컴퓨터 장치(100)는, 인공신경망으로 재구성되어 입력되는 골격계 영상으로부터 골격계 영상을 재구성할 수 있다.
다양한 실시예들에 따르면, 골 미세구조의 연결성을 보강하는 단계(320 단계)는, 노드-링크 그래프에서 개방 노드의 위치를 인접 요소로 조정하는 단계를 포함할 수 있다.
다양한 실시예들에 따르면, 개방 노드는, 노드 차수가 1인 노드일 수 있다.
다양한 실시예들에 따르면, 인접 요소는, 링크, 노드, 또는 경계 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에 따르면, 노드-링크 그래프를 골격계 영상으로 전환하는 단계(330 단계)는, 노드-링크 그래프의 복수의 링크들의 각각에 대해 골밀도를 탐색하는 단계, 및 링크들에 각각 대응하는 소주골들을 표현하면서, 골밀도를 이용하여 소주골들의 각각의 두께를 표현하는 단계를 포함할 수 있다.
다양한 실시예들에 따르면, 골밀도를 탐색하는 단계는, 입력되는 골격계 영상에서 각 링크에 소속된 픽셀들로 이루어지는 링크 요소와 동일한 형상의 마스크를 링크와 수직하는 방향으로 이동시키면서, 마스크의 중앙 부분의 골밀도를 탐색할 수 있다.
다양한 실시예들에 따르면, 골밀도를 탐색하는 단계는, 링크 요소에 인접한 픽셀들이 복수의 레이어들로 있는 경우, 현재 레이어의 골밀도를 탐색하는 단계, 현재 레이어의 골밀도가 미리 정해진 값을 초과하면, 현재 레이어의 골밀도를 설정하면서 다음 레이어의 골밀도를 탐색하는 단계, 및 현재 레이어의 골밀도가 정해진 값 이하이면, 현재 레이어의 골밀도를 제외시키는 단계를 포함할 수 있다.
다양한 실시예들에 따른 컴퓨터 장치(100)는, 메모리(130), 및 메모리(130)와 연결되고, 메모리(130)에 저장된 적어도 하나의 명령을 실행하도록 구성된 프로세서(140)를 포함할 수 있다.
다양한 실시예들에 따르면, 프로세서(140)는, 입력되는 골격계 영상의 골 미세구조로부터 노드-링크 그래프를 표현하고, 노드-링크 그래프에서 골 미세구조의 연결성을 보강하고, 노드-링크 그래프를 골격계 영상으로 전환하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(140)는, 골 미세구조의 소주골들을 복수의 링크들로 표현하고, 링크들이 연결되는 지점들 및 링크들의 적어도 하나의 개방단을 복수의 노드들로 표현하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(140)는, 입력되는 골격계 영상에 대해 영상 이진화를 수행하여, 이진화 영상을 획득하고, 이진화 영상에서 중심선 추출을 수행하여, 중심선 영상을 획득하고, 중심선 영상을 기반으로 링크들 및 노드들을 표현하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(140)는, 인공신경망으로 재구성되어 입력되는 골격계 영상으로부터 골격계 영상을 재구성하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(140)는, 노드-링크 그래프에서 개방 노드의 위치를 인접 요소로 조정하도록 구성될 수 있다.
다양한 실시예들에 따르면, 인접 요소는, 링크, 노드, 또는 경계 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에 따르면, 프로세서(140)는, 노드-링크 그래프의 복수의 링크들의 각각에 대해 골밀도를 탐색하고, 링크들에 각각 대응하는 소주골들을 표현하면서, 골밀도를 이용하여 소주골들의 각각의 두께를 표현하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(140)는, 입력되는 골격계 영상에서 각 링크에 소속된 픽셀들로 이루어지는 링크 요소와 동일한 형상의 마스크를 링크와 수직하는 방향으로 이동시키면서, 마스크의 중앙 부분의 골밀도를 탐색하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(140)는, 링크 요소에 인접한 픽셀들이 복수의 레이어들로 있는 경우, 현재 레이어의 골밀도를 탐색하고, 현재 레이어의 골밀도가 미리 정해진 값을 초과하면, 현재 레이어의 골밀도를 설정하면서 다음 레이어의 골밀도를 탐색하고, 현재 레이어의 골밀도가 정해진 값 이하이면, 현재 레이어의 골밀도를 제외시키도록 구성될 수 있다.
상술한 방법은 컴퓨터에서 실행하기 위해 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램으로 제공될 수 있다. 매체는 컴퓨터로 실행 가능 한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록 수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
본 개시의 방법, 동작 또는 기법들은 다양한 수단에 의해 구현될 수도 있다. 예를 들어, 이러한 기법들은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수도 있다. 본원의 개시와 연계하여 설명된 다양한 예시적인 논리적 블록들, 모듈들, 회로들, 및 알고리즘 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자의 조합들로 구현될 수도 있음을 통상의 기술자들은 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호 대체를 명확하게 설명하기 위해, 다양한 예시적인 구성요소들, 블록들, 모듈들, 회로들, 및 단계들이 그들의 기능적 관점에서 일반적으로 위에서 설명되었다. 그러한 기능이 하드웨어로서 구현되는지 또는 소프트웨어로서 구현되는 지의 여부는, 특정 애플리케이션 및 전체 시스템에 부과되는 설계 요구사항들에 따라 달라진다. 통상의 기술자들은 각각의 특정 애플 리케이션을 위해 다양한 방식들로 설명된 기능을 구현할 수도 있으나, 그러한 구현들은 본 개시의 범위로부터 벗어나게 하는 것으로 해석되어서는 안된다.
하드웨어 구현에서, 기법들을 수행하는 데 이용되는 프로세싱 유닛들은, 하나 이상의 ASIC들, DSP들, 디지털 신호 프로세싱 디바이스들(digital signal processing devices; DSPD들), 프로그램가능 논리 디바이스들(programmable logic devices; PLD들), 필드 프로그램가능 게이트 어레이들(field programmable gate arrays; FPGA들), 프로세서들, 제어기들, 마이크로제어기들, 마이크로프로세서들, 전자 디바이스들, 본 개시에 설명된 기능들을 수행하도록 설계된 다른 전자 유닛들, 컴퓨터, 또는 이들의 조합 내에서 구현될 수도 있다.
따라서, 본 개시와 연계하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 및 회로들은 범용 프로세서, DSP, ASIC, FPGA나 다른 프로그램 가능 논리 디바이스, 이산 게이트나 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 본원에 설명된 기능들을 수행하도록 설계된 것들의 임의의 조합으로 구현되거나 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안으로, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한, 컴퓨팅 디바이스들의 조합, 예를 들면, DSP와 마이크로프로세서, 복수의 마이크로프로세서들, DSP 코어와 연계한 하나 이상의 마이크로프로세서들, 또는 임의의 다른 구성의 조합으로서 구현될 수도 있다.
펌웨어 및/또는 소프트웨어 구현에 있어서, 기법들은 랜덤 액세스 메모리(random access memory; RAM), 판독 전용 메모리(read-only memory; ROM), 비휘발성 RAM(non-volatile random access memory; NVRAM), PROM(programmable read-only memory), EPROM(erasable programmable read-only memory), EEPROM(electrically erasable PROM), 플래시 메모리, 컴팩트 디스크(compact disc; CD), 자기 또는 광학 데이터 스토리지 디바이스 등과 같은 컴퓨터 판독가능 매체 상에 저장된 명령들로서 구현될 수도 있다. 명령들은 하나 이상의 프로세서들에 의해 실행 가능할 수도 있고, 프로세서(들)로 하여금 본 개시에 설명된 기능의 특정 양태들을 수행하게 할 수도 있다.
이상 설명된 실시예들이 하나 이상의 독립형 컴퓨터 시스템에서 현재 개시된 주제의 양태들을 활용하는 것으로 기술되었으나, 본 개시는 이에 한정되 지 않고, 네트워크나 분산 컴퓨팅 환경과 같은 임의의 컴퓨팅 환경과 연계하여 구현될 수도 있다. 또 나아가, 본 개시에서 주제의 양상들은 복수의 프로세싱 칩들이나 장치들에서 구현될 수도 있고, 스토리지는 복수의 장치들에 걸쳐 유사하게 영향을 받게 될 수도 있다. 이러한 장치들은 PC들, 네트워크 서버들, 및 휴대용 장치들을 포함할 수도 있다.
본 개시가 일부 실시예들과 관련하여 설명되었지만, 본 개시의 발명이 속하는 기술분야의 통상의 기술자가 이해할 수 있는 본 개시의 범위를 벗어나지 않는 범위에서 다양한 변형 및 변경이 이루어질 수 있다. 또한, 그러한 변형 및 변경은 본 명세서에 첨부된 특허청구의 범위 내에 속하는 것으로 생각되어야 한다.

Claims (20)

  1. 컴퓨터 장치의 방법에 있어서,
    입력되는 골격계 영상의 골 미세구조로부터 노드-링크 그래프를 표현하는 단계;
    상기 노드-링크 그래프에서 상기 골 미세구조의 연결성을 보강하는 단계; 및
    상기 노드-링크 그래프를 골격계 영상으로 전환하는 단계
    를 포함하는,
    방법.
  2. 제1 항에 있어서,
    상기 노드-링크 그래프를 표현하는 단계는,
    상기 골 미세구조의 소주골들(trabeculae)을 복수의 링크들로 표현하는 단계; 및
    상기 링크들이 연결되는 지점들 및 상기 링크들의 적어도 하나의 개방단을 복수의 노드들로 표현하는 단계
    를 포함하는,
    방법.
  3. 제2 항에 있어서,
    상기 노드-링크 그래프를 표현하는 단계는,
    상기 입력되는 골격계 영상에 대해 영상 이진화(binarization)를 수행하여, 이진화 영상을 획득하는 단계; 및
    상기 이진화 영상에서 중심선 추출을 수행하여, 중심선 영상을 획득하는 단계
    를 더 포함하고,
    상기 링크들은 상기 중심선 영상을 기반으로 표현되는,
    방법.
  4. 제1 항에 있어서,
    상기 컴퓨터 장치는,
    인공신경망으로 재구성된 상기 입력되는 골격계 영상으로부터 상기 골격계 영상을 재구성하는,
    방법.
  5. 제1 항에 있어서,
    상기 골 미세구조의 상기 연결성을 보강하는 단계는,
    상기 노드-링크 그래프에서 개방 노드(open node)의 위치를 인접 요소로 조정하는 단계
    를 포함하는,
    방법.
  6. 제5 항에 있어서,
    상기 개방 노드는,
    노드 차수가 1인 노드인,
    방법.
  7. 제5 항에 있어서,
    상기 인접 요소는,
    링크, 노드, 또는 경계 중 적어도 하나를 포함하는,
    방법.
  8. 제1 항에 있어서,
    상기 노드-링크 그래프를 상기 골격계 영상으로 전환하는 단계는,
    상기 노드-링크 그래프의 복수의 링크들의 각각에 대해 골밀도를 탐색하는 단계; 및
    상기 링크들에 각각 대응하는 소주골들을 표현하면서, 상기 골밀도를 이용하여 상기 소주골들의 각각의 두께를 표현하는 단계
    를 포함하는,
    방법.
  9. 제8 항에 있어서,
    상기 골밀도를 탐색하는 단계는,
    상기 입력되는 골격계 영상에서 각 링크에 소속된 픽셀들로 이루어지는 링크 요소와 동일한 형상의 마스크를 상기 링크와 수직하는 방향으로 이동시키면서, 상기 마스크의 중앙 부분의 골밀도를 탐색하는,
    방법.
  10. 제9 항에 있어서,
    상기 골밀도를 탐색하는 단계는,
    상기 링크 요소에 인접한 픽셀들이 복수의 레이어들로 있는 경우,
    현재 레이어의 골밀도를 탐색하는 단계;
    상기 현재 레이어의 골밀도가 미리 정해진 값을 초과하면, 상기 현재 레이어의 골밀도를 설정하면서 다음 레이어의 골밀도를 탐색하는 단계; 및
    상기 현재 레이어의 골밀도가 상기 정해진 값 이하이면, 상기 현재 레이어의 골밀도를 제외시키는 단계
    를 포함하는,
    방법.
  11. 컴퓨터 장치에 있어서,
    메모리; 및
    상기 메모리와 연결되고, 상기 메모리에 저장된 적어도 하나의 명령을 실행하도록 구성된 프로세서를 포함하고,
    상기 프로세서는,
    입력되는 골격계 영상의 골 미세구조로부터 노드-링크 그래프를 표현하고,
    상기 노드-링크 그래프에서 상기 골 미세구조의 연결성을 보강하고,
    상기 노드-링크 그래프를 골격계 영상으로 전환하도록 구성되는,
    컴퓨터 장치.
  12. 제11 항에 있어서,
    상기 프로세서는,
    상기 골 미세구조의 소주골들을 복수의 링크들로 표현하고,
    상기 링크들이 연결되는 지점들 및 상기 링크들의 적어도 하나의 개방단을 복수의 노드들로 표현하도록 구성되는,
    컴퓨터 장치.
  13. 제12 항에 있어서,
    상기 프로세서는,
    상기 입력되는 골격계 영상에 대해 영상 이진화를 수행하여, 이진화 영상을 획득하고,
    상기 이진화 영상에서 중심선 추출을 수행하여, 중심선 영상을 획득하고,
    상기 중심선 영상을 기반으로 상기 링크들 및 상기 노드들을 표현하도록 구성되는,
    컴퓨터 장치.
  14. 제11 항에 있어서,
    상기 프로세서는,
    인공신경망으로 재구성된 상기 입력되는 골격계 영상으로부터 상기 골격계 영상을 재구성하도록 구성되는,
    컴퓨터 장치.
  15. 제11 항에 있어서,
    상기 프로세서는,
    상기 노드-링크 그래프에서 개방 노드의 위치를 인접 요소로 조정하도록 구성되는,
    컴퓨터 장치.
  16. 제15 항에 있어서,
    상기 인접 요소는,
    링크, 노드, 또는 경계 중 적어도 하나를 포함하는,
    컴퓨터 장치.
  17. 제11 항에 있어서,
    상기 프로세서는,
    상기 노드-링크 그래프의 복수의 링크들의 각각에 대해 골밀도를 탐색하고,
    상기 링크들에 각각 대응하는 소주골들을 표현하면서, 상기 골밀도를 이용하여 상기 소주골들의 각각의 두께를 표현하도록 구성되는,
    컴퓨터 장치.
  18. 제17 항에 있어서,
    상기 프로세서는,
    상기 입력되는 골격계 영상에서 각 링크에 소속된 픽셀들로 이루어지는 링크 요소와 동일한 형상의 마스크를 상기 링크와 수직하는 방향으로 이동시키면서, 상기 마스크의 중앙 부분의 골밀도를 탐색하도록 구성되는,
    컴퓨터 장치.
  19. 제18 항에 있어서,
    상기 프로세서는,
    상기 링크 요소에 인접한 픽셀들이 복수의 레이어들로 있는 경우,
    현재 레이어의 골밀도를 탐색하고,
    상기 현재 레이어의 골밀도가 미리 정해진 값을 초과하면, 상기 현재 레이어의 골밀도를 설정하면서 다음 레이어의 골밀도를 탐색하고,
    상기 현재 레이어의 골밀도가 상기 정해진 값 이하이면, 상기 현재 레이어의 골밀도를 제외시키도록 구성되는,
    컴퓨터 장치.
  20. 비-일시적인 컴퓨터 판독 가능한 기록 매체에 있어서,
    입력되는 골격계 영상의 골 미세구조로부터 노드-링크 그래프를 표현하는 단계;
    상기 노드-링크 그래프에서 상기 골 미세구조의 연결성을 보강하는 단계; 및
    상기 노드-링크 그래프를 골격계 영상으로 전환하는 단계
    를 포함하는 방법을 컴퓨터 장치에 실행시키기 위한 하나 이상의 프로그램들이 기록되어 있는 비-일시적인 컴퓨터 판독 가능한 기록 매체.
PCT/KR2021/018382 2021-10-15 2021-12-06 노드-링크 그래프 기반 골 미세구조 표현을 활용한 인공신경망으로 재구성된 골격계 영상의 골 미세구조 연결성 복구를 위한 컴퓨터 장치 및 그의 방법 WO2023063489A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0137093 2021-10-15
KR1020210137093A KR102643198B1 (ko) 2021-10-15 2021-10-15 노드-링크 그래프 기반 골 미세구조 표현을 활용한 인공신경망으로 재구성된 골격계 영상의 골 미세구조 연결성 복구를 위한 컴퓨터 장치 및 그의 방법

Publications (1)

Publication Number Publication Date
WO2023063489A1 true WO2023063489A1 (ko) 2023-04-20

Family

ID=80119174

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/018382 WO2023063489A1 (ko) 2021-10-15 2021-12-06 노드-링크 그래프 기반 골 미세구조 표현을 활용한 인공신경망으로 재구성된 골격계 영상의 골 미세구조 연결성 복구를 위한 컴퓨터 장치 및 그의 방법

Country Status (4)

Country Link
US (1) US20230122282A1 (ko)
EP (1) EP4167178A1 (ko)
KR (1) KR102643198B1 (ko)
WO (1) WO2023063489A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563952B (zh) * 2023-07-07 2023-09-15 厦门医学院 一种结合图神经网络和骨长约束的动捕缺失数据恢复方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160068086A (ko) * 2014-12-04 2016-06-15 한국과학기술원 골격계 영상 재구성 장치 및 방법
KR101979906B1 (ko) * 2017-11-07 2019-05-20 포항공과대학교 산학협력단 3차원 트리 구조 이미지의 형태 분석 시스템 및 방법
KR102223475B1 (ko) * 2019-04-05 2021-03-08 오스템임플란트 주식회사 다중 파노라믹 영상 표시방법 및 이를 위한 영상 표시장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160068647A (ko) * 2015-10-29 2016-06-15 한국과학기술원 골격계 영상 재구성 장치 및 방법
KR101785215B1 (ko) 2016-07-14 2017-10-16 한국과학기술원 3차원 골격계 영상의 국부 고해상화 방법 및 장치
KR20180008355A (ko) * 2017-09-01 2018-01-24 한국과학기술원 3차원 골격계 영상의 국부 고해상화 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160068086A (ko) * 2014-12-04 2016-06-15 한국과학기술원 골격계 영상 재구성 장치 및 방법
KR101979906B1 (ko) * 2017-11-07 2019-05-20 포항공과대학교 산학협력단 3차원 트리 구조 이미지의 형태 분석 시스템 및 방법
KR102223475B1 (ko) * 2019-04-05 2021-03-08 오스템임플란트 주식회사 다중 파노라믹 영상 표시방법 및 이를 위한 영상 표시장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AVIK MONDAL; CHANTAL NGUYEN; XIAO MA; AHMED E. ELBANNA; JEAN M. CARLSON: "Network models for characterization of trabecular bone", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 31 October 2018 (2018-10-31), 201 Olin Library Cornell University Ithaca, NY 14853 , XP081380392, DOI: 10.1103/PhysRevE.99.042406 *
KOH, HYUKJIN ET AL.: "Node-Link Graph-Based Postprocessing Method of Avoiding an Artificial Structural Discontinuity of Bone Microstructure Reconstructed by the Deep Neural Network", PROCEEDINGS OF THE KSME CAE AND APPLIED MECHANICS DIVISION 2021 SPRING CONFERENCE, August 2021 (2021-08-01), pages 196 - 197 *

Also Published As

Publication number Publication date
EP4167178A1 (en) 2023-04-19
KR102643198B1 (ko) 2024-03-05
KR20230053837A (ko) 2023-04-24
US20230122282A1 (en) 2023-04-20

Similar Documents

Publication Publication Date Title
Wu et al. Deep learning-based multi-view fusion model for screening 2019 novel coronavirus pneumonia: a multicentre study
Zhang Application of machine learning in CT images and X-rays of COVID-19 pneumonia
Colombi et al. Comparison of admission chest computed tomography and lung ultrasound performance for diagnosis of COVID-19 pneumonia in populations with different disease prevalence
Castiglioni et al. Machine learning applied on chest x-ray can aid in the diagnosis of COVID-19: a first experience from Lombardy, Italy
Ricciardi et al. Assessing cardiovascular risks from a mid-thigh CT image: a tree-based machine learning approach using radiodensitometric distributions
Yang et al. Comparison of four sarcopenia screening tools in nursing home residents
Bajc et al. EANM guidelines for ventilation/perfusion scintigraphy: part 2. Algorithms and clinical considerations for diagnosis of pulmonary emboli with V/P SPECT and MDCT
Acharya et al. A deep learning based approach towards the automatic diagnosis of pneumonia from chest radio-graphs
US20220122253A1 (en) Information processing device, program, trained model, diagnostic support device, learning device, and prediction model generation method
JP7374202B2 (ja) 機械学習システムおよび方法、統合サーバ、プログラムならびに推論モデルの作成方法
Brugnara et al. Automated volumetric assessment with artificial neural networks might enable a more accurate assessment of disease burden in patients with multiple sclerosis
WO2023063489A1 (ko) 노드-링크 그래프 기반 골 미세구조 표현을 활용한 인공신경망으로 재구성된 골격계 영상의 골 미세구조 연결성 복구를 위한 컴퓨터 장치 및 그의 방법
WO2019143179A1 (ko) 동일 피사체에 대하여 시간 간격을 두고 촬영된 영상 간에 동일 관심구역을 자동으로 검출하는 방법 및 이를 이용한 장치
CN108492862A (zh) 基于分布式ct终端机的医学影像云成像与判读方法及系统
Patelli et al. Preliminary detection of lung hypoperfusion in discharged Covid-19 patients during recovery
Ho et al. Application of deep learning neural network in predicting bone mineral density from plain X-ray radiography
Eroğlu et al. Is it useful to use computerized tomography image-based artificial intelligence modelling in the differential diagnosis of chronic otitis media with and without cholesteatoma?
Lee et al. Machine learning for accurate estimation of fetal gestational age based on ultrasound images
Fu et al. Densely connected attention network for diagnosing COVID-19 based on chest CT
KR101948701B1 (ko) 피검체의 뇌 구조를 기술하는 잠재 변수에 기반하여 상기 피검체의 뇌질환을 판정하는 방법 및 이를 이용한 장치
Raman et al. Economic analysis of the use of coronary calcium scoring as an alternative to stress ECG in the non-invasive diagnosis of coronary artery disease
Cossio et al. Would the Use of Artificial Intelligence in COVID-19 Patient Management Add Value to the Healthcare System?
WO2024075903A1 (ko) 임상 ct 스캔 데이터에서의 심층 학습 기반 패치별 3차원 골 미세구조 재구성 방법 및 장치
WO2023027248A1 (ko) 데이터 생성 방법 및 이를 이용한 학습방법 및 장치
Mruk et al. Interobserver agreement in semi-quantitative scale-based interpretation of chest radiographs in COVID-19 patients

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21960754

Country of ref document: EP

Kind code of ref document: A1