WO2019054576A1 - 환자 맞춤형 최적 이진화 방법과 분수령 알고리즘에 기반한 관절의 완전 자동 영상 분할 방법 및 장치 - Google Patents

환자 맞춤형 최적 이진화 방법과 분수령 알고리즘에 기반한 관절의 완전 자동 영상 분할 방법 및 장치 Download PDF

Info

Publication number
WO2019054576A1
WO2019054576A1 PCT/KR2017/014824 KR2017014824W WO2019054576A1 WO 2019054576 A1 WO2019054576 A1 WO 2019054576A1 KR 2017014824 W KR2017014824 W KR 2017014824W WO 2019054576 A1 WO2019054576 A1 WO 2019054576A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
mask
patch
target object
morphological
Prior art date
Application number
PCT/KR2017/014824
Other languages
English (en)
French (fr)
Inventor
장인권
김정진
남지민
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of WO2019054576A1 publication Critical patent/WO2019054576A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20008—Globally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20152—Watershed segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Definitions

  • the present invention relates to a technique for automatically segmenting a portion corresponding to a joint from a skeletal medical image.
  • the joint is an important part of the human body that connects the bones and bones. It acts as an axis for various movements of the vertebrae and limbs and enables various exercises. However, when a bone fracture that forms a joint area due to aging or osteoporosis occurs, Movement becomes difficult, and serious cases lead to death.
  • the unsupervised approach is a method of segmenting joints using only image processing techniques without prior knowledge of joint shapes, which is advantageous in implementation and short processing time, but does not guarantee reliable joint segmentation.
  • the non-lead approach includes a thresholding method, a region growing method, a watershed algorithm, and the like.
  • the binarization method is a method that removes less than a predetermined threshold value from the image and leaves more than a threshold value. It takes a very short time and is the simplest method. However, since the connectivity of the divided shape is not guaranteed, .
  • the region growth method is a method of progressively expanding the image element value to a similar region based on the seed point.
  • the region information of the shape can be provided by ensuring the connectivity of the divided shape, but when the contrast between image elements is small , It extends to the undesired area and results in erroneous results.
  • the watershed algorithm considers the input image as a topographic structure, filling the individual valleys with water, and combining the morphologically similar areas into patches. It can consider the morphological characteristics of the structure, It is not easy to select a patch having a desired shape without area information.
  • the supervised approach is a method of automatically dividing joints using the shape information of accumulated joints, but it is not easy to construct a large number of image information because the result of division is dependent on the accumulated image information.
  • statistical shape model based methods and atlas based methods exist.
  • the statistical shape model-based method statistically expresses a target shape using a plurality of dictionary information, and then, when an arbitrary image is input, a landmark of the target shape is searched for and is expressed using a statistical model
  • a method of performing image segmentation if the target shape is similar to the prior information, the image segmentation is performed relatively well, but if the image is different from the prior information, the image segmentation fails.
  • An atlas-based method is a method of constructing an atlas, which is a plurality of shape models considering the size, direction, and shape of a target shape, and using the atlas to divide an image. An arbitrary image is compared with an existing atlas, Little is the way to choose the atlas.
  • the atlas-based method can obtain accurate results for predictable shapes, but fails to perform image segmentation if there are elements that are not considered in advance.
  • Korean Patent Laid-Open No. 10-2017-0000040 is directed to a medical image segmentation apparatus and method based on user input capable of feedback.
  • Embodiments of the present invention are directed to automatically segmenting joints from skeletal medical images with high accuracy, reliability, and fast turnaround time, using mutually complementary relationships between non-instructional approaches.
  • a fully automatic image segmentation method extracts area information corresponding to a target object to be segmented by linking a thresholding method and a load path algorithm to a medical image photographed by the subject, Generating a first mask (Mask 1) based on the extracted region information; performing a morphological refinement based on a watershed algorithm on the medical image to generate a morphological patch; Generating a second mask (Mask 2) based on the generated morphological patch, and generating a second mask (Mask 1) corresponding to the target object from the medical image based on the first mask and the second mask And dividing the image.
  • the step of dividing an image corresponding to the target object may include merging the first mask corresponding to a regional patch and the second mask corresponding to a morphological patch, The image corresponding to the target object can be divided from the image.
  • the step of extracting the region information corresponding to the target object includes the steps of performing binarization based on a predetermined threshold value for the medical image, , Extracting a flag array related to the target object based on the load path algorithm, and extracting a flag array corresponding to the target object based on the extracted flag array and generating a regional patch.
  • the step of performing the binarization includes the steps of: setting a threshold value used in performing the binarization as a design variable of a golden section method; And changing the threshold value to be relatively low according to the division method.
  • the step of generating the morphological patch comprises the steps of performing preprocessing based on a median filter, an expansion computation, and an erosion computation on the medical image to generate the morphological patch .
  • the step of generating the morphological patch includes the steps of removing noise based on the median filter for the medical image, Performing a dilation operation and an erosion operation to enhance a boundary of an image corresponding to the target object and performing morphological refinement based on the watershed algorithm on the enhanced image, .
  • the step of dividing the image may include automatically extracting a patch corresponding to the first mask with respect to the second mask, thereby automatically dividing the image corresponding to the target object .
  • the medical image may be a Quantitative Computed Tomography (QCT), a Computed Tomography (CT), or a Magnetic Resonance Imaging (MRI) image
  • QCT Quantitative Computed Tomography
  • CT Computed Tomography
  • MRI Magnetic Resonance Imaging
  • an image corresponding to two different bones constituting the hip joint may be divided in the QCT, CT, or MRI image.
  • a fully automatic image segmentation apparatus includes a memory loaded with at least one program and at least one processor, wherein the at least one processor is configured to perform a binarization process on a medical image photographed by the subject under the control of the program, a thresholding method, and a load path algorithm to extract a region information corresponding to a target object to be divided; generating a first mask (Mask 1) based on the extracted region information; Generating a morphological patch by subjecting the medical image to morphological refinement based on a watershed algorithm to generate a morphological patch, generating a second mask based on the generated morphological patch, (Mask 2), and dividing an image corresponding to the target object from the medical image based on the first mask and the second mask It can handle the process.
  • a process of dividing an image corresponding to the target object may include merging the first mask corresponding to a regional patch and the second mask corresponding to a morphological patch, The image corresponding to the target object can be divided from the image.
  • the step of extracting the region information corresponding to the target object includes the steps of performing binarization based on a predetermined threshold value for the medical image, Extracting a flag array related to the target object based on the load path algorithm, and extracting a flag array corresponding to the target object based on the extracted flag array, and generating a regional patch.
  • the step of performing the binarization includes the steps of setting a threshold value used in performing the binarization as a design variable of a golden section method, And changing the threshold value to be relatively low according to a partitioning method.
  • the process of generating the morphological patch comprises performing preprocessing based on a median filter, an expansion computation, and an erosion computation on the medical image to generate the morphological patch .
  • a method of generating a morphological patch comprising: removing noise based on a median filter for the medical image; Performing a dilation operation and an erosion operation to enhance a boundary of an image corresponding to the target object and performing morphological refinement based on the watershed algorithm on the enhanced image, .
  • an image corresponding to the target object is automatically segmented by selectively extracting a patch corresponding to the first mask with respect to the second mask .
  • the medical image represents a QCT (Quantitative Computed Tomography) image
  • the process of dividing the image corresponds to a QCT, a computed tomography (CT), or an MRI (Magnetic Resonance Imaging)
  • the image can be divided.
  • the image segmentation process may divide an image corresponding to two different bones constituting the hip joint.
  • a method of selectively extracting one of the bones with respect to the second mask the image corresponding to the extracted bone can be divided from the medical image by performing merging based on the region patch corresponding to the bone extracted from the first mask.
  • a computer readable storage medium containing instructions for controlling a computer system to provide a fully automatic image segmentation, the instructions comprising instructions for performing a thresholding method, a load path (Mask 1) based on the extracted region information, a step of generating a first mask (Mask 1) based on the extracted region information, , Generating morphological patches by performing morphological refinement based on a watershed algorithm, generating a second mask (Mask 2) based on the generated morphological patches And dividing the image corresponding to the target object from the medical image based on the first mask and the second mask,
  • the computer system can be controlled.
  • the present invention improves accuracy and reliability by automatically segmenting joints from skeletal medical images using non-directive approaches, in particular, complementary relationships between thresholding techniques and watershed algorithms, The processing time required for image segmentation can be improved.
  • the region information of the hip joint can be extracted without previously preparing data related to the region information of the bones constituting the joint have. That is, region information of the hip joint can be extracted without a large number of data.
  • the accuracy and reliability of the joint segmentation depend on a large number of prior information (i.e., the quantity and quality of the segmentation result), but since the region information of the hip joint can be extracted without a large amount of data, Can be divided into a plurality of joints. It can also contribute to the creation of joint atlas maps and the generation of statistical data.
  • a patient-customized hip joint finite element model (FEM) can be obtained based on segmented images. That is, primary outcomes can contribute to surgery for fracture patients and arthritis patients, as well as to the manufacture of personalized artificial joints. In addition, it is possible to diagnose the personalized joint state by using the secondary result, quantitative bone strength evaluation, in conjunction with the finite element analysis.
  • FEM hip joint finite element model
  • FIG. 1 is a diagram showing a schematic configuration of a medical imaging apparatus and a fully automatic image dividing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram for explaining an internal configuration of a fully automatic image segmentation apparatus according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a fully automatic image segmentation method according to an exemplary embodiment of the present invention.
  • Figure 4 is a diagram showing a flag array and a regional patch in one embodiment of the present invention.
  • FIG. 5 is a view showing an automatically segmented femur image by merging a first mask and a second mask in an embodiment of the present invention.
  • FIG. 6 is a view showing a divided femur image in a QCT medical image according to an embodiment of the present invention.
  • FIG. 7 is a view showing a slice DOC comparison of divided femoral images in an embodiment of the present invention.
  • FIG. 8 is a block diagram for explaining an example of the internal configuration of a computer system in an embodiment of the present invention.
  • the present embodiments relate to techniques for segmenting an image corresponding to a joint from a medical image obtained by photographing an object, and more particularly, to a technique for segmenting an image corresponding to a joint using a complementary relationship between unsupervised approaches in a skeletal medical image And more particularly, to a technique for completely dividing a video image into a plurality of images.
  • the embodiments of the present invention automatically detect an image including a region corresponding to a joint in a skeletal medical image using a complementary relationship (i.e., characteristic) between a thresholding method and a watershed algorithm in a non- Quot;
  • a binarization method, a load path and a technique capable of obtaining a threshold value can be obtained in the binarization method, (Or extracts) the area information of the shape (e.g., bones) while showing the connectivity of the shape.
  • preprocessing based on the median filter, dilation, and erosion operations is performed prior to executing the watershed algorithm on the medical images. .
  • a specific rate-based partitioning method may include a golden ratio method based on a golden ratio.
  • golden ratio method based on a golden ratio.
  • various division methods can be used.
  • a general methodology for obtaining threshold values such as a division method based on various predetermined ratios may be used, and the threshold value used in binarization may be set as a design parameter of the division method / methodology.
  • the 'target object' indicates a shape to be divided (or extracted) from the medical image captured and generated in the medical imaging apparatus.
  • the target object may include a bone , Joints (e.g., hip joints), and the like.
  • the target object may represent bones of various shapes to be extracted / divided from the medical image in addition to the hip joint.
  • a wrist, an ankle, a knee, a lumbar spine, a jaw joint, or the like may be set as a target object. That is, the present fully automatic image segmentation method and apparatus can be applied to all of the human skeletal system, and can be applied to all the medical systems using the imaging apparatus.
  • the 'dilation operation' and the 'erosion operation' are morphology operations, which may correspond to a preprocessing process performed before image separation and image processing.
  • Morphology is an analysis of the geometry of an image, which can be used to analyze the geometry of a medical image.
  • the erosion operation can cause the objects of small chunks to disappear according to the size and frequency of use of the filter, and the expansion operation can cause the small holes in the object to disappear according to the size and frequency of use of the filter.
  • Such expansion computation and erosion computation can be implemented as functions, and pre-processing such as expansion computation and erosion computation can be performed on a medical image by calling an implemented function.
  • a method of dividing an image corresponding to a femur and a pelvis in a QCT image is described as an example.
  • this embodiment is applicable to a QCT image and a CT image and an MRI image, , Pelvis) can be divided. That is, it is possible to process pixels or voxel data of the corresponding image.
  • FIG. 1 is a diagram showing a schematic configuration of a medical imaging apparatus and a fully automatic image dividing apparatus according to an embodiment of the present invention.
  • the medical imaging apparatus 101 is an apparatus for photographing a subject for diagnosis of osteoporosis, measurement of bone density, confirmation of bone microstructure, and the like.
  • the medical imaging apparatus 101 may include all the medical devices that convert the intensity of the image of the subject into elasticity.
  • the medical imaging device 101 may be any medical imaging device capable of converting the intensity of an image into an elasticity, such as a computed tomography (CT) device, a quantitative computerized tomography device (QCT), a magnetic resonance imaging device . ≪ / RTI >
  • CT computed tomography
  • QCT quantitative computerized tomography
  • the subject can be a specific body part to be imaged for the measurement of bone density, for example, a thigh, a hip, a wrist, an ankle, a knee, a lumbar vertebra, and the like.
  • the medical imaging apparatus 101 can photograph the subject and the photographing information can be transmitted to the fully automatic image dividing device 102.
  • the fully automatic image dividing device 102 can generate a medical image based on the received image information.
  • the QCT photographing apparatus can detect X-rays transmitted through the subject and transmit the detected X-rays to the fully automatic image dividing apparatus 102.
  • the Fully Automatic Image Dividing Apparatus 102 can generate a QCT image as a medical image based on the received X-rays.
  • a CT image is generated.
  • the medical imaging apparatus 101 is an MRI
  • an MRI image can be generated, and the generated CT image or MRI image is transmitted to the FOUP 102 .
  • the fully automatic image segmentation device 102 can automatically split the image corresponding to the joint from the medical image using the complementary relationship between the binarization method and the watershed algorithm. For example, the fully automatic image segmentation device 102 may generate a first mask (MASK 1) corresponding to a regional patch associated with a medical image by linking a binarization method, a load path algorithm and a golden segmentation method . Here, as the load path algorithm is used in conjunction, the regional patch may include area information of the shape. The fully automatic image segmentation device 102 may then generate a second mask (MASK 2) representing a morphological patch associated with the medical image using a preprocessing and watershed algorithm. The fully automatic image segmentation apparatus 102 may divide an image corresponding to a desired target object from the medical image based on the generated first and second masks.
  • a first mask (MASK 1) corresponding to a regional patch associated with a medical image by linking a binarization method, a load path algorithm and a golden segmentation method .
  • the regional patch may include area information
  • the fully automatic image segmentation device 102 may be wired or wirelessly connected to the medical imaging device 101 or may be in the form of an add-on type coupled to the medical imaging device 100 or medical imaging software have.
  • the fully automatic image segmentation device 102 may be a computer system, a workstation, or the like.
  • FEM Finite Element Method
  • a target object for example, a joint
  • a mutually complementary relation between non-instructional approaches that is, An operation of automatically dividing an image
  • FIG. 2 is a block diagram illustrating an internal configuration of a fully automatic image segmentation apparatus according to an exemplary embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a fully automatic image segmentation method according to an exemplary embodiment of the present invention .
  • the fully automatic image segmentation apparatus 200 may include a processor 210, a bus 220, a network interface 230, and a memory 240.
  • Memory 240 may include an operating system 241 and a service routine 242.
  • the processor 210 may include a first mask generator 211, a second mask generator 212, and a video divider 213.
  • the fully automatic image segmentation device 200 may include more components than the components of FIG. However, there is no need to clearly illustrate most prior art components.
  • the fully automatic image segmentation device 200 may include other components such as a display or a transceiver.
  • the memory 240 may be a computer-readable recording medium and may include a permanent mass storage device such as a random access memory (RAM), a read only memory (ROM), and a disk drive.
  • the memory 240 may store program codes for the operating system 241 and the service routine 242.
  • These software components may be loaded from a computer readable recording medium separate from the memory 240 using a drive mechanism (not shown).
  • a computer-readable recording medium may include a computer-readable recording medium (not shown) such as a floppy drive, a disk, a tape, a DVD / CD-ROM drive, or a memory card.
  • the software components may be loaded into the memory 240 via the network interface 230 rather than from a computer readable recording medium.
  • the bus 220 may enable communication and data transfer between the components of the fully automatic image segmentation device 200.
  • the bus 220 may be configured using a high-speed serial bus, a parallel bus, a Storage Area Network (SAN), and / or other suitable communication technology.
  • SAN Storage Area Network
  • the network interface 230 may be a computer hardware component for connecting the fully automatic image segmentation device 200 to a computer network.
  • the network interface 230 may connect the fully automatic image segmentation device 200 to the computer network via a wireless or wired connection.
  • the processor 210 may be configured to process instructions of a computer program by performing basic arithmetic, logic, and input / output operations of the fully automatic image segmentation device 200.
  • the instructions may be provided by the memory 240 or the network interface 230 and to the processor 210 via the bus 220.
  • the processor 210 may be configured to execute program codes for the first mask generator 211, the second mask generator 212, and the image divider 213. Such program code may be stored in a recording device such as memory 240.
  • the first mask generator 211, the second mask generator 212 and the image divider 213 may be configured to perform the steps 310 through 350 of FIG.
  • step 310 the first mask generator 211 divides the medical image photographed by the thresholding method, the load path algorithm, and the golden section method into a plurality of images It is possible to extract region information corresponding to a target object that is a target object.
  • the first mask generation unit 211 may perform binarization based on a predetermined threshold value for a medical image. For example, if the value of each element constituting the medical image is equal to or less than the threshold value, it can be removed (for example, set to 0), and if it is larger than the threshold value,
  • the value of an element may represent a value of a pixel element. That is, the first mask generation unit 211 may remove pixels below the threshold value among the values of the pixels (i.e., pixels) constituting the medical image, and may leave pixels larger than the threshold value in the corresponding image.
  • the first mask generation unit 211 may repeatedly change (or adjust) the threshold value used in binarizing the medical image in association with the golden division method .
  • the first mask generation unit 211 may set the threshold value used in binarization as a design parameter of the golden partitioning method.
  • the golden division method is a method of finding the optimum point of a single variable function, and it is possible to reduce the search interval repeatedly using the golden ratio.
  • the first mask generation unit 211 extracts a flag array related to a target object (e.g., a hip joint) based on a load path algorithm for the binarized image .
  • the flag array can represent information on a connected area in the binarized image. For example, it may indicate whether the hip joints included in the binarized image are connected or not.
  • the first mask generation unit 211 may generate a regional patch corresponding to a target object based on the extracted flag array.
  • the first mask generation unit 211 may generate a first mask (Mask 1) based on the extracted area information. That is, the first mask generation unit 211 may generate the first mask based on the area patch indicating the information on the connected area.
  • a first mask (Mask 1) based on the extracted area information. That is, the first mask generation unit 211 may generate the first mask based on the area patch indicating the information on the connected area.
  • the second mask generation unit 212 may generate a morphology patch by performing morphological refinement based on a watershed algorithm on a medical image.
  • the second mask generation unit 212 preprocesses the medical image using a combination of the median filter, the expansion calculation, and the erosion calculation in order to prevent excessive refinement beyond a predetermined reference level when the watershed algorithm is applied. Can be performed.
  • the second mask generation unit 212 may generate a morphology patch by performing morphological refinement of a corresponding image using a watershed algorithm on a preprocessed image.
  • the second mask generation unit 212 may generate the second mask (Mask 2) based on the generated morphological patch.
  • the image divider 213 may divide the image corresponding to the target object (i.e., the hip joint) from the medical image based on the first mask and the second mask. For example, the image divider 213 may completely or automatically divide the image corresponding to the target object from the medical image by merging the first mask and the second mask of the area patch corresponding to the target object .
  • the image dividing unit 213 divides the shape of a bone corresponding to one of the plurality of bones And then merging the extracted morphological patch and the first mask to divide the image of the desired region.
  • a morphological patch corresponding to another unselected bone may be selectively extracted from the second mask, and an image of a desired region may be segmented by merging the extracted patch and the first mask.
  • the image divider 213 selectively extracts only a patch including the region P 1 (bone 1 ) corresponding to the thigh in the second mask, and performs merging with the first mask , It is possible to divide the image corresponding to the thigh from the medical image. Then, the image divider 213 may selectively extract only a patch including an area corresponding to the pelvis in the second mask, and may divide the image corresponding to the pelvis by merging with the first mask.
  • the target object is composed of two bones such as a hip joint
  • the two bones are selectively extracted and merged with the first mask to divide the image of the thigh and the pelvis from the medical image, respectively.
  • a morphological patch corresponding to each of three or more bones may be extracted and the desired bone image may be segmented from the medical image through merging with the first mask even if the target object is composed of three or more bones .
  • the patch may be selected in a random order from among a plurality of bones, or bones occupying the largest or smallest area, in the second mask.
  • the patches may alternatively be selected in the second mask in a combination of the above methods.
  • the remaining bones may be randomly selected for image segmentation, or one of the bones may be randomly selected.
  • the image segmentation may be performed in the order of the bones occupying the largest area / the smallest area on the second mask.
  • Figure 4 is a diagram showing a flag array and a regional patch in one embodiment of the present invention.
  • region information of bones constituting joints may be secured.
  • region information of bones constituting the corresponding joint can be statistically obtained using a plurality of data, and area information can be acquired without a plurality of data by linking the binarization method, the load path algorithm, and the golden division method.
  • the area information is information on a connected area, and may indicate a flag array (410).
  • the first mask generation unit 211 When the medical image is binarized (for example, an element less than a threshold value (that is, a pixel) is removed from the medical image) based on a predetermined threshold value TH, the first mask generation unit 211 generates binarization (A bone1 (i, j, k), 411) for the femur using the load path algorithm for the performed image (i.e., the medical image in which elements below the threshold value A flag array (A bone2 (i, j, k), 412) for the pelvis can be generated.
  • a bone1 (i, j, k) is represented by A femur (i, j, k) and A bone2 (i, j, k) is represented by A pelvis (i, j, k).
  • the first mask generation unit 211 may generate a regional patch 420 using the flag array 410. For example, a regional patch 421 for the femur and a regional patch 422 for the pelvis can be generated.
  • the flags of the bones constituting the hip joint may be connected or separated according to the binarization threshold TH. That is, the flag array of the thigh and the flag array of the pelvis may be connected or separated from each other depending on whether the threshold value is relatively high or low.
  • the first mask generation unit 211 sets the binarization threshold value as a design variable of the golden partitioning method .
  • the lowest threshold that separates the two bones (thighs and pelvis) that make up the hip in the medical image can be found.
  • a method of finding the lowest threshold value for separating a plurality of bones can be expressed as a patient-customized optimal binarization method so as to be distinguished from a general binarization method.
  • the first mask generation unit 211 may repeatedly change and adjust the threshold value so that the threshold value is relatively lowered according to the golden partitioning method until a predetermined convergence condition is satisfied.
  • the threshold value of binarization can be set as a design parameter of the golden partitioning method based on the following expression (1).
  • P 1 (bone 1 ) represents a femoral region patch
  • P 1 (bone 2) represents a pelvis region patch
  • the first mask generation unit 211 checks whether or not the pelvis and the femur are separated based on the load path algorithm, adjusts the threshold value according to the golden division method, and adjusts the threshold value until the predetermined convergence condition is satisfied. It is possible to perform the binarization repeatedly.
  • the first mask generator 211 generates a flag array (A bone 1 (i, j, k) 411) corresponding to each of the femur and pelvis in the binarized image based on the adjusted threshold value, flag arrangement can be extracted (a bone2 (i, j, k), 412) for, on the basis of the flag array may generate the area patch (421, 422) for the femur and the pelvis, respectively, and, The first mask generation unit 211 may generate the first mask (Mask 1) P MASK1 with the generated region patch based on the following Equation (2).
  • P MASK1 ⁇ (x, y , z)
  • P 1 (bone 1 ) represents a femoral region patch
  • P 1 (bone 2) represents a pelvis region patch
  • P 1 (non-bone) can represent non-interest areas that are not interested in the binarized image.
  • a region related to a hard tissue corresponds to a region of interest in a binarized image
  • the region other than the region i.e., the region corresponding to the bone
  • a region where an object other than a hard tissue an object such as a soft tissue, a fat, etc.
  • a region in which there is none exist as a non-interest region and P 1 (non-bone) .
  • the region of interest is a muscle, bones, fats, and the like may correspond to non-interest regions, and when the region of interest is fat, bones, muscles, and the like may correspond to non-interest regions.
  • FIG. 5 is a view showing an automatically segmented femur image by merging a first mask and a second mask in an embodiment of the present invention.
  • 510 may represent the first mask generated using the area patch of the femur and the patch of the pelvis generated when the threshold value is optimal.
  • the optimal threshold value i.e., THOPT in FIG. 4
  • THOPT the optimal threshold value
  • the lowest threshold value at which separation of the pelvis and femur is confirmed I.e., the first threshold value.
  • the 520 may represent a second mask generated based on a watershed algorithm.
  • the input image as a topographic structure and provide morphological information by patching regions (ie, regions) with similar pixel values.
  • the second mask generation unit 212 may perform preprocessing on the medical image to prevent excessive segmentation, and may perform preprocessing based on, for example, a median filter, an expansion calculation, and an erosion calculation.
  • the second mask generator 212 may remove noise using a median filter for a medical image.
  • the second mask generation unit 212 may enhance the boundaries of the image by performing an expansion operation and an erosion operation on the image from which the noise is removed.
  • the boundary of the hip joint image can be strengthened so that it becomes clear. If the boundary is strengthened, the second mask generation unit 212 may perform morphological refinement of the medical image based on the watershed algorithm, and generate a second mask (mask) using the morphological patch generated through the refinement 2, 520).
  • a second mask ( PMASK2 ) may be generated based on Equation (3) below.
  • n the total number of divided patches.
  • the portion indicated by white in 520 in FIG. 5 may correspond to n divided patches.
  • 530 can represent the femur image that has been automatically segmented from the medical image.
  • the image divider 213 divides the first and second masks 510,
  • the second mask 510 and 520 may be merged to successfully divide the image corresponding to each of the two bones constituting the hip joint (i.e., the femur and the pelvis).
  • the region dividing unit 213 may selectively extract a patch corresponding to the region P 1 (bone 1 ) to be extracted from the second mask (P MASK2 , 520) composed of a morphological patch. Then, the femur image 530 can be divided from the medical image by merging the extracted patch and the first mask 510. [ At this time, the region dividing unit 213 can selectively extract a patch of the region P 1 (bone 1 ) corresponding to the region to be extracted, for example, the femur in the first mask 510.
  • the area dividing unit 213 divides the femur image 530 by merging the femur patch 511 extracted from the first mask 510 and the fetal femur patch 521 extracted from the second mask 520 can do. For example, the area dividing unit 213 divides the extracted femur patch 511 and the femur patch 521 extracted from the second mask 520 based on Equation (4)
  • the image 530 can be automatically segmented. In the same manner, the region dividing section 213 can divide the pelvis image.
  • FIG. 6 is a view showing a divided femur image in a QCT medical image according to an embodiment of the present invention.
  • a QCT (Quantitative Computed Tomography) hip joint image is used to prove the effectiveness of the method of dividing the image corresponding to the target object by using the mutually complementary relationship between the binarization method and the watershed algorithm. And thus can display divided femoral images.
  • FIG. 7 is a view showing a slice DOC comparison of divided femoral images in an embodiment of the present invention.
  • DOC Dice Overlap Coefficient
  • DOC is a value quantitatively representing the similarity between two arbitrary images, . ≪ / RTI > 7, global DOC (DOC calculation for the entire domain) and slice DOC (DOC calculation for each slice) are calculated and compared for accurate comparison.
  • the fully automatic image segmentation method 710 of the present invention It can be seen that the accuracy is much higher than the SK-based automatic segmentation method 730. Also, it can be confirmed that the accuracy is similar to that of the SK-based semi-automatic division method 720.
  • the fully automatic image segmentation method 710 of the present invention is more accurate than the SK-based automatic segmentation method 730 in the femoral head region.
  • the fully automatic image segmentation method 710 of the present invention is faster than the SK-based semi-automatic segmentation method 720 by 10 times or more, and the SK-based automatic segmentation method 730, And the computation speed is similar to that of Fig.
  • Tables 2 and 3 below show the computation time required for dividing the femur image by the three methods shown in FIG. 7, and the calculation results of global DOC and slice DOC.
  • FIG. 8 is a block diagram for explaining an example of the internal configuration of a computer system in an embodiment of the present invention.
  • the computer system 800 includes at least one processor 810, a memory 820, a peripheral interface 830, an input / output subsystem (I / O subsystem 840, a power circuit 850, and a communication circuit 1060. At this time, the computer system 800 may correspond to a workstation.
  • the memory 820 may include, for example, a high-speed random access memory, a magnetic disk, SRAM, DRAM, ROM, flash memory or non-volatile memory. have.
  • the memory 820 may include software modules, a set of instructions, or various other data required for operation of the computer system 800. At this point, accessing the memory 820 from other components, such as the processor 810 or the peripheral device interface 830, may be controlled by the processor 820.
  • the peripheral device interface 830 may couple the input and / or output peripheral devices of the computer system 800 to the processor 810 and the memory 820.
  • the processor 810 may perform various functions and process data for the computer system 800 by executing a software module or a set of instructions stored in the memory 820.
  • the input / output subsystem 840 may couple various input / output peripheral devices to the peripheral interface 830.
  • the input / output subsystem 840 may include a controller for coupling a peripheral device such as a monitor, keyboard, mouse, printer, or a touch screen or sensor as needed, to the peripheral interface 830.
  • the input / output peripheral devices may be coupled to the peripheral device interface 830 without going through the input / output subsystem 840.
  • the power circuit 850 can power all or a portion of the components of the terminal.
  • the power circuit 850 may be a power management system, one or more power sources such as a battery or an alternating current (AC), a charging system, a power failure detection circuit, a power converter or inverter, And may include any other components for creation, management, distribution.
  • AC alternating current
  • the power circuit 850 may be a power management system, one or more power sources such as a battery or an alternating current (AC), a charging system, a power failure detection circuit, a power converter or inverter, And may include any other components for creation, management, distribution.
  • the communication circuitry 1060 may enable communication with other computer systems using at least one external port. Alternatively, as needed, communication circuitry 1060 may communicate with other computer systems by sending and receiving RF signals, also known as electromagnetic signals, including RF circuits.
  • RF signals also known as electromagnetic signals, including RF circuits.
  • the computer system may further include a display, etc. in addition to the components shown in Fig.
  • Components that may be included in computer system 800 may be implemented in hardware, software, or a combination of both hardware and software, including one or more signal processing or application specific integrated circuits.
  • the methods according to embodiments of the present invention may be implemented in the form of a program instruction that can be executed through various computer systems and recorded in a computer-readable medium.
  • the apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components.
  • the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA) , A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may also access, store, manipulate, process, and generate data in response to execution of the software.
  • OS operating system
  • the processing device may also access, store, manipulate, process, and generate data in response to execution of the software.
  • the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG.
  • the processing unit may comprise a plurality of processors or one processor and one controller.
  • Other processing configurations are also possible, such as a parallel processor.
  • the software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded.
  • the software may be distributed over a networked computer system and stored or executed in a distributed manner.
  • the software and data may be stored on one or more computer readable recording media.
  • the method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination.
  • the program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software.
  • Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

환자 맞춤형 최적 이진화 방법과 분수령 알고리즘에 기반한 관절의 완전 자동 영상 분할 방법 및 장치가 개시된다. 완전 자동 영상 분할 방법은, 피검사체를 촬영한 의료영상을 대상으로, 이진화(thresholding) 방법, 하중 경로(load path) 알고리즘을 연계하여 분할하고자 하는 타겟 대상(target object)에 해당하는 영역정보를 추출하는 단계, 추출된 영역정보에 기초하여 제1 마스크(Mask 1)를 생성하는 단계, 상기 의료영상을 대상으로, 분수령(watershed) 알고리즘에 기초하여 형태학적 세분화를 수행하여 형태학적 패치(patch)를 생성하는 단계, 생성된 상기 형태학적 패치(patch)에 기초하여 제2 마스크(Mask 2)를 생성하는 단계, 및 상기 제1 마스크와 제2 마스크에 기초하여 상기 의료영상으로부터 상기 타겟 대상에 해당하는 영상을 분할하는 단계를 포함할 수 있다.

Description

환자 맞춤형 최적 이진화 방법과 분수령 알고리즘에 기반한 관절의 완전 자동 영상 분할 방법 및 장치
본 발명은 골격계 의료 영상으로부터 관절에 해당하는 부분을 자동으로 영상 분할하는 기술에 관한 것이다.
관절은 뼈와 뼈가 연결되는 인체의 중요한 부위로, 척추와 사지의 각종 운동에 대한 축으로 작용하여 다양한 운동을 가능하게 하지만, 노화 또는 골다공증으로 인한 관절 부위를 이루는 뼈의 골절 발생 시, 독립적인 움직임이 어렵게 되며, 심각한 경우 사망에까지 이르게 된다.
특히, "건강보험심사평가원"에서 조사한 자료에 따르면, 국내 50세 이상에서의 고관절 골절 후 1년 이내 사망률은 여자 14.8%, 남자 20.9%로 매우 높은 수준이다. 더욱이, 사회의 고령화로 인해 고관절 골절 환자 수는 꾸준히 증가하고 있으며, 이에 따른 사회적 비용 또한 연간 1조원 이상으로 크게 증가하고 있다.
골다공증 조기진단 및 골다공증성 골절에 대한 위험성 평가 기술은 최근 의료영상기기, 영상처리기법, 의공학 분야의 발전에 따라 활발히 연구되고 있으며, 3차원 정량적 단층촬영(Quantitative Computed Tomography) 영상과 유한요소해석(finite element analysis)을 연계한 환자의 골 강도 평가법은 개별 환자의 골밀도 분포를 바탕으로 대상 골격계의 구조 강도를 정량적으로 추정할 수 있기 때문에 최근 학계와 의료계에서 많은 관심을 받고 있다. 다만, 유한요소해석(FEM) 기반의 골 강도 평가를 위해서는, 근육 및 뼈 등으로 구성된 복잡한 의료영상정보로부터 관절 부위 만을 분할하여 유한요소모델을 구성할 수 있는 영상분할 기술의 확보가 필수적이다.
관절의 형태학적 특징과 의료영상기기의 기술적 한계로 인해 관절 부위에 대한 자동 영상 분할은 아직까지 어려운 상황이다. 관절은 대개 몸속 깊숙한 곳에 위치하기 때문에 낮은 신호대잡음비(SNR, signal-to-noise ratio)를 가질 뿐 아니라, 골두의 얇은 피질골(cortical bone)과 관절연골(articular cartilage)은 생체 내(in vivo) 의료영상기기의 낮은 공간해상도로 인한 부분용적효과(Partial volume effect)에 취약하다. 이러한 문제점으로 인해 기존의 관절 영상 분할은 대개 사용자의 개입을 요구하는 수동(manual) 또는 반자동(semi-automatic) 방식으로 수행되어 왔다.
물론, 전문 기술자가 해당 기술을 활용할 경우, 관절 영상분할이 가능하지만, 오랜 작업시간과 사용자에 따른 결과의 상이함이 문제점으로 지적되고 있다. 이에 따라, 높은 정확성과 신뢰성, 짧은 처리시간을 가진 관절 자동 영상분할 방법을 개발하기 위해 최근 많은 연구가 이루어지고 있으며, 대표적으로, 관절의 자동 영상 분할 기법은 크게 비지도적(unsupervised) 접근법과 지도적(supervised) 접근법으로 구분된다.
비지도적(unsupervised) 접근법은 관절 형상에 대한 사전정보 없이 영상처리기법 만을 이용하여 관절을 분할하는 방법으로써, 구현의 편의성과 짧은 처리시간이 장점이지만, 신뢰성 있는 관절 분할을 보장하지 못한다. 예를 들어, 비지도적 접근법은 이진화(thresholding) 방법, 영역 성장(region growing) 방법, 분수령(watershed) 알고리즘 등을 포함한다.
이진화 방법은, 영상에서 정해진 임계값(threshold) 이하는 제거하고 임계값 이상을 남기는 방법으로서, 매우 적은 시간이 소요되고 가장 간단한 방법이지만, 분할된 형상의 연결성이 보장되지 않는 관계로 형상의 영역정보를 얻기 어렵다.
영역성장 방법은 씨앗점을 기점으로 영상요소 값이 유사한 영역으로 점진적으로 확장시켜 나가는 방법으로서, 분할된 형상의 연결성을 보장하여, 형상의 영역정보를 제공할 수 있지만, 영상요소 간의 대조가 작을 경우, 원하지 않는 영역까지 확장되어 잘못된 결과를 얻게 된다.
분수령 알고리즘은 입력 영상을 지형적 구조로 간주하여 개별 계곡에 물을 채워가며 형태학적으로 비슷한 영역끼리 패치(patch) 형태로 묶어내는 방법으로서, 구조의 형태학적 특성을 고려할 수 있지만, 영상을 과도하게 분할하는 경향이 있어서 영역정보 없이는 원하는 형상의 패치를 선택하는 것이 용이하지 않다.
지도적(supervised) 접근법은 축적된 관절의 형상 정보를 이용하여 관절을 자동 분할할 수 있는 방법이나, 분할 결과가 축적된 영상정보에 의존적이며, 다수의 영상정보를 구축하는 것이 용이하지 않다. 지도적 접근법의 대표적 예로서, 통계 형상 모델(statistical shape model) 기반 방법과 아틀라스(atlas) 기반 방법이 존재한다. 통계 형상 모델(statistical shape model) 기반 방법은 다수의 사전 정보를 이용하여 대상 형상을 통계적으로 표현한 후, 임의의 영상이 입력되면 대상 형상의 랜드마크(landmark)를 찾아, 통계모델을 이용하여 표현한 후 영상분할을 수행하는 방법으로서, 대상 형상이 사전 정보와 비슷할 경우에는 영상분할이 비교적 잘 수행되지만, 사전 정보와 상이한 영상이 입력될 경우 영상분할에 실패하게 된다.
아틀라스(atlas) 기반 방법은 대상 형상의 사이즈, 방향, 모양 등을 고려한 다수의 형상모델인 아틀라스를 구축하여 이를 영상분할에 이용하는 방법으로서, 입력된 임의의 영상을 기존의 아틀라스와 비교하여 가장 오차가 적은 아틀라스를 선택하는 방법이다. 아틀라스 기반 방법은 예측 가능한 형상에 대해서는 정확한 결과를 얻을 수 있지만, 사전에 고려하지 않은 요소가 존재하는 경우에는 영상 분할에 실패하게 된다.
따라서, 골격계 의료 영상으로부터 관절 부분을 완전 자동으로 영상 분할하는 기술이 요구된다.
한국공개특허 제10-2017-0000040호는 피드백이 가능한 사용자 입력 기반의 의료영상 분할 장치 및 방법에 관한 것으로, 디스플레이된 3차원 의료영상 이미지에서 사용자로부터 분할하고자 하는 관심영역과 배경영역이 선택된 2차원 분할 대상 이미지를 생성하고, 2차원 분할대상 이미지를 3차원으로 확장하는 기술을 개시하고 있다.
본 발명의 실시예들은 비지도적 접근법 간의 상호보완적 관계를 이용하여, 높은 정확성과 신뢰성, 빠른 처리시간으로 골격계 의료 영상으로부터 관절을 자동으로 영상 분할하기 위한 것이다.
완전 자동 영상 분할 방법은, 피검사체를 촬영한 의료영상을 대상으로, 이진화(thresholding) 방법, 하중 경로(load path) 알고리즘을 연계하여 분할하고자 하는 타겟 대상(target object)에 해당하는 영역정보를 추출하는 단계, 추출된 영역정보에 기초하여 제1 마스크(Mask 1)를 생성하는 단계, 상기 의료영상을 대상으로, 분수령(watershed) 알고리즘에 기초하여 형태학적 세분화를 수행하여 형태학적 패치(patch)를 생성하는 단계, 생성된 상기 형태학적 패치(patch)에 기초하여 제2 마스크(Mask 2)를 생성하는 단계, 및 상기 제1 마스크와 제2 마스크에 기초하여 상기 의료영상으로부터 상기 타겟 대상에 해당하는 영상을 분할하는 단계를 포함할 수 있다.
일측면에 따르면, 상기 타겟 대상에 해당하는 영상을 분할하는 단계는, 영역 패치(regional patch)에 해당하는 상기 제1 마스크와 형태학적 패치에 해당하는 상기 제2 마스크를 병합(merging)하여 상기 의료영상으로부터 상기 타겟 대상에 해당하는 영상을 분할할 수 있다.
다른 측면에 따르면, 상기 타겟 대상(target object)에 해당하는 영역정보를 추출하는 단계는, 상기 의료영상을 대상으로 미리 지정된 임계값에 기초하여 이진화를 수행하는 단계, 상기 이진화가 수행된 영상을 대상으로, 상기 하중 경로(load path) 알고리즘에 기초하여 상기 타겟 대상과 관련된 플래그 배열(flag array)을 추출하는 단계, 및 추출된 상기 플래그 배열에 기초하여 상기 타겟 대상(target object)에 해당하는 영역 패치(regional patch)를 생성하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 이진화를 수행하는 단계는, 상기 이진화의 수행 시 이용된 임계값을 황금분할법(golden section method)의 설계 변수로 설정하는 단계, 및 미리 지정된 수렴조건이 만족할 때까지 상기 황금분할법에 따라 상기 임계값이 상대적으로 낮아지도록 변경하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 형태학적 패치(patch)를 생성하는 단계는, 상기 의료영상을 대상으로, 중앙값 필터, 팽창연산, 및 침식연산을 기반으로 하는 전처리를 수행하여 상기 형태학적 패치를 생성할 수 있다.
또 다른 측면에 따르면, 상기 형태학적 패치(patch)를 생성하는 단계는, 상기 의료영상을 대상으로, 중앙값 필터에 기초하여 노이즈(noise)를 제거하는 단계, 상기 노이즈가 제거된 영상을 대상으로, 팽창연산 및 침식연산을 수행하여 상기 타겟 대상에 해당하는 영상의 경계(boundary)를 강화하는 단계, 및 상기 경계가 강화된 영상을 대상으로, 상기 분수령 알고리즘에 기초하여 형태학적 세분화를 수행하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 영상을 분할하는 단계는, 상기 제2 마스크를 대상으로, 상기 제1 마스크에 해당하는 패치(patch)를 선택적으로 추출함으로써, 상기 타겟 대상에 해당하는 영상을 자동 분할할 수 있다.
또 다른 측면에 따르면, 상기 의료영상은, QCT(Quantitative Computed Tomography), CT(Computed Tomography), 또는 MRI(Magnetic Resonance Imaging) 영상을 나타내고, 상기 영상을 분할하는 단계는, 상기 QCT, CT 또는 MRI 영상에서 고관절에 해당하는 영상을 분할할 수 있다.
또 다른 측면에 따르면, 상기 영상을 분할하는 단계는, 상기 QCT, CT 또는 MRI 영상에서 고관절을 구성하는 서로 다른 두 개의 뼈에 해당하는 영상을 분할할 수 있다.
완전 자동 영상 분할 장치는 적어도 하나의 프로그램이 로딩된 메모리, 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 프로그램의 제어에 따라, 피검사체를 촬영한 의료영상을 대상으로, 이진화(thresholding) 방법, 하중 경로(load path) 알고리즘을 연계하여 분할하고자 하는 타겟 대상(target object)에 해당하는 영역정보를 추출하는 과정, 추출된 영역정보에 기초하여 제1 마스크(Mask 1)를 생성하는 과정, 상기 의료영상을 대상으로, 분수령(watershed) 알고리즘에 기초하여 형태학적 세분화를 수행하여 형태학적 패치(patch)를 생성하는 과정, 생성된 상기 형태학적 패치(patch)에 기초하여 제2 마스크(Mask 2)를 생성하는 과정, 및 상기 제1 마스크와 제2 마스크에 기초하여 상기 의료영상으로부터 상기 타겟 대상에 해당하는 영상을 분할하는 과정을 처리할 수 있다.
일측면에 따르면, 상기 타겟 대상에 해당하는 영상을 분할하는 과정은, 영역 패치(regional patch)에 해당하는 상기 제1 마스크와 형태학적 패치에 해당하는 상기 제2 마스크를 병합(merging)하여 상기 의료영상으로부터 상기 타겟 대상에 해당하는 영상을 분할할 수 있다.
다른 측면에 따르면, 상기 타겟 대상(target object)에 해당하는 영역정보를 추출하는 과정은, 상기 의료영상을 대상으로 미리 지정된 임계값에 기초하여 이진화를 수행하는 과정, 상기 이진화가 수행된 영상을 대상으로, 상기 하중 경로(load path) 알고리즘에 기초하여 상기 타겟 대상과 관련된 플래그 배열(flag array)을 추출하는 과정, 및 추출된 상기 플래그 배열에 기초하여 상기 타겟 대상(target object)에 해당하는 영역 패치(regional patch)를 생성하는 과정을 포함할 수 있다.
또 다른 측면에 따르면, 상기 이진화를 수행하는 과정은, 상기 이진화의 수행 시 이용된 임계값을 황금분할법(golden section method)의 설계 변수로 설정하는 과정, 및 미리 지정된 수렴조건이 만족할 때까지 상기 황금분할법에 따라 상기 임계값이 상대적으로 낮아지도록 변경하는 과정을 포함할 수 있다.
또 다른 측면에 따르면, 상기 형태학적 패치(patch)를 생성하는 과정은, 상기 의료영상을 대상으로, 중앙값 필터, 팽창연산, 및 침식연산을 기반으로 하는 전처리를 수행하여 상기 형태학적 패치를 생성할 수 있다.
또 다른 측면에 따르면, 상기 형태학적 패치(patch)를 생성하는 과정은, 상기 의료영상을 대상으로, 중앙값 필터에 기초하여 노이즈(noise)를 제거하는 과정, 상기 노이즈가 제거된 영상을 대상으로, 팽창연산 및 침식연산을 수행하여 상기 타겟 대상에 해당하는 영상의 경계(boundary)를 강화하는 과정, 및 상기 경계가 강화된 영상을 대상으로, 상기 분수령 알고리즘에 기초하여 형태학적 세분화를 수행하는 과정을 포함할 수 있다.
또 다른 측면에 따르면, 상기 영상을 분할하는 과정은, 상기 제2 마스크를 대상으로, 상기 제1 마스크에 해당하는 패치(patch)를 선택적으로 추출함으로써, 상기 타겟 대상에 해당하는 영상을 자동 분할할 수 있다.
또 다른 측면에 따르면, 상기 의료영상은, QCT(Quantitative Computed Tomography) 영상을 나타내고, 상기 영상을 분할하는 과정은, 상기 QCT, CT(Computed Tomography), 또는 MRI(Magnetic Resonance Imaging) 영상에서 고관절에 해당하는 영상을 분할할 수 있다.
또 다른 측면에 따르면, 상기 영상을 분할하는 과정은, 상기 QCT, CT 또는 MRI 영상에서 고관절을 구성하는 서로 다른 두 개의 뼈에 해당하는 영상을 분할할 수 있다.
또 다른 측면에 따르면, 상기 영상을 분할하는 과정은, 상기 타겟 대상이 두 개 이상의 뼈로 구성된 경우, 상기 제2 마스크를 대상으로, 어느 하나의 뼈를 선택적으로 추출하고, 추출된 뼈에 해당하는 형태학적 패치와 상기 제1 마스크에서 추출된 상기 뼈에 해당하는 영역 패치를 기반으로 병합(merging)을 수행하여 상기 의료영상으로부터 상기 추출된 뼈에 해당하는 영상을 분할할 수 있다.
컴퓨터 시스템이 완전 자동 영상 분할을 제공하도록 제어하는 명령(instruction)을 포함하는 컴퓨터 판독가능 저장 매체로서, 상기 명령은, 피검사체를 촬영한 의료영상을 대상으로, 이진화(thresholding) 방법, 하중 경로(load path) 알고리즘을 연계하여 분할하고자 하는 타겟 대상(target object)에 해당하는 영역정보를 추출하는 단계, 추출된 영역정보에 기초하여 제1 마스크(Mask 1)를 생성하는 단계, 상기 의료영상을 대상으로, 분수령(watershed) 알고리즘에 기초하여 형태학적 세분화를 수행하여 형태학적 패치(patch)를 생성하는 단계, 생성된 상기 형태학적 패치(patch)에 기초하여 제2 마스크(Mask 2)를 생성하는 단계, 및 상기 제1 마스크와 제2 마스크에 기초하여 상기 의료영상으로부터 상기 타겟 대상에 해당하는 영상을 분할하는 단계를 포함하는 방법에 의하여 상기 컴퓨터 시스템을 제어할 수 있다.
본 발명에 의하면, 비지도적 접근법, 특히, 이진화(thresholding) 기법 및 분수령 알고리즘(watershed) 간의 상호보완적 관계를 이용하여, 골격계 의료 영상으로부터 관절을 완전 자동으로 영상 분할함으로써, 정확성과 신뢰성을 높이고, 영상 분할에 소요되는 처리시간을 향상시킬 수 있다.
또한, 초기 비용이 매우 적은 비지도적 접근법 기반의 영상 분할을 수행함으로써, 지도적 방법의 비용적 한계를 극복할 수 있다.
또한, 이진화 방법, 하중 경로(load path) 알고리즘을 연계하여 고관절의 영역정보를 추출함으로써, 관절을 구성하는 뼈들의 영역정보와 관련된 데이터들을 사전에 데이터로 구축하지 않고도 고관절의 영역정보를 추출할 수 있다. 즉, 다수의 데이터없이 고관절의 영역정보 추출이 가능하도록 할 수 있다.
또한, 지도적 접근법의 경우, 관절 분할의 정확도와 신뢰도가 다수의 사전 정보(즉, 분할 결과의 양과 질)에 의존적이었으나, 다수의 데이터없이 고관절의 영역정보 추출이 가능함에 따라, 빠른 시간 내에 높은 정확도로 다수의 관절을 분할할 수 있다. 그리고, 관절 아틀라스 맵(atlas map) 생성과 통계적 자료 생성에 기여할 수 있다.
또한, 분할된 영상을 기반으로 환자 맞춤형 고관절 유한요소모델(FEM)을 얻을 수 있다. 즉, 1차적 결과물로 골절 환자 및 관절염 환자를 위한 수술, 개인 맞춤형 인공관절 제작에 기여할 수 있다. 그리고, 유한요소해석과 연계하여 2차적 결과물인 정량적 골강도 평가를 토해 개인 맞춤형 관절 상태를 진단할 수 있다.
도 1은 본 발명의 일실시예에 있어서, 의료 영상 장치와 완전 자동 영상 분할 장치의 개략적인 구성을 도시한 도면이다.
도 2는 본 발명의 일실시예에 있어서, 완전 자동 영상 분할 장치의 내부 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 일실시예에 있어서, 완전 자동 영상 분할 방법을 도시한 흐름도이다.
도 4는 본 발명의 일실시예에 있어서, 플래그 배열(flag array) 및 영역 패치(regional patch)를 도시한 도면이다.
도 5는 본 발명의 일실시예에 있어서, 제1 마스크와 제2 마스크를 병합(merging)하여 자동 분할된 대퇴골 영상을 도시한 도면이다.
도 6은 본 발명의 일실시예에 있어서, QCT 의료영상에서 분할된 대퇴골 영상을 도시한 도면이다.
도 7은 본 발명의 일실시예에 있어서, 분할된 대퇴골 영상의 slice DOC 비교를 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 있어서, 컴퓨터 시스템의 내부 구성의 일례를 설명하기 위한 블록도이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
본 실시예들은, 피검사체를 촬영한 의료영상으로부터 관절에 해당하는 영상을 분할하는 기술에 관한 것으로서, 구체적으로, 골격계 의료영상에서 비지도적(unsupervised) 접근법 간의 상호보완적 관계를 이용하여 관절에 해당하는 영상을 완전 자동으로 분할하는 기술에 관한 것이다. 특히, 본 실시예들은 비지도적 접근법 중 이진화(thresholding) 방법 및 분수령(watershed) 알고리즘 간의 상호보완적 관계(즉, 특성)을 이용하여 골격계 의료영상에서 관절에 해당하는 영역을 포함하는 영상을 자동으로 분할하는 기술에 관한 것이다. 그리고, 이진화 방법에서, 연결성이 보장되지 않아 형상의 영역정보를 얻을 수 없는 것을 이진화 방법, 하중 경로(load path) 및 임계점 값을 구할 수 있는 기법(예컨대, 특정 비율 기반의 분할법(section method))을 연계함으로써, 형상의 연결성을 나타내면서 형상(예컨대, 뼈들)의 영역정보를 확보(또는 추출)하도록 하는 것이다. 그리고, 분수령 알고리즘에서 의료영상을 과도하게 세분화하던 것을 방지하기 위해, 의료영상을 대상으로 분수령 알고리즘을 수행하기 이전에 중앙값 필터, 팽창 연산 및 침식 연산을 기반으로 하는 전처리(preprocessing)을 수행하는 기술에 관한 것이다.
예를 들어, 특정 비율 기반의 분할법은 황금 비율기반의 황금분할법(golden section method)를 포함할 수 있으며, 이하의 실시예들에서는 상기 분할법으로서 황금분할법을 이용하는 경우를 예를 들어 설명하나, 황금분할법 이외에 다양한 분할법이 이용될 수 있다. 예컨대, 황금 비율 이외에 미리 지정된 다양한 비율을 기반으로 하는 분할법 등 임계점 값을 구할 수 있는 일반적인 방법론들이 모두 이용 가능하며, 이진화 시 이용된 임계값이 해당 분할법/방법론의 설계변수로 설정될 수 있다.
본 실시예들에서, '타겟 대상(target object)'은, 의료 영상 장치에서 촬영되어 생성된 의료영상으로부터 분할(또는 추출)하고자 하는 형상을 나타내는 것으로서, 예를 들어, 특정 신체 부위에 해당하는 뼈, 관절(예컨대, 고관절) 등을 나타낼 수 있다. 이하의 실시예들에서, 타겟 대상이 고관절인 경우를 예로 들어 설명하나, 이는 실시예에 해당될 뿐, 타겟 대상은 고관절 이외에 의료영상으로부터 추출/분할하고자 하는 다양한 형상의 뼈를 나타낼 수 있다. 예컨대, 손목, 발목, 무릎, 요추, 턱관절 등이 타겟 대상으로 설정될 수도 있다. 즉, 본 완전 자동 영상 분할 방법 및 장치는 인체 골격계 전반에 적용될 수 있으며, 영상 기기를 사용하는 의료계 모두에 응용될 수 있다.
본 실시예들에서, '팽창(dilation) 연산' 및 '침식(erosion) 연산'은 모폴로지(Morphology) 연산으로서, 영상의 분리, 영상처리 이전에 수행되는 전처리 과정에 해당할 수 있다. 모폴로지는 이미지의 기하학적 형태를 분석하는 것으로서, 상기 팽창 연산 및 침식 연산은 의료영상의 기하학적 형태를 분석하기 위해 이용될 수 있다. 침식 연산은 필터의 크기 및 사용 횟수에 따라 작은 덩어리의 객체들을 사라지게 할 수 있고, 팽창 연산은 필터의 크기 및 사용 횟수에 따라 객체 내부에 있는 작은 구멍들을 사라지게 할 수 있다. 이러한, 팽창 연산 및 침식 연산은 함수로 구현될 수 있으며, 구현된 함수를 호출하여 의료영상을 대상으로 팽창 연산 및 침식 연산 등의 전처리가 수행될 수 있다.
본 실시예들에서는, QCT 영상에서 대퇴골, 골반에 해당하는 영상을 분할하는 방법을 예로 들어 설명하나, 이는 실시예에 해당되며, QCT 영상 이외에 CT 영상, MRI 영상을 대상으로 원하는 부분(예컨대, 대퇴골, 골반)에 해당하는 영상을 분할할 수도 있다. 즉, 해당 영상의 픽셀(pixel) 또는 복셀 데이터(voxel data) 처리가 가능할 수 있다.
도 1은 본 발명의 일실시예에 있어서, 의료 영상 장치와 완전 자동 영상 분할 장치의 개략적인 구성을 도시한 도면이다.
도 1을 참고하면, 의료 영상 장치(101)는 골다공증 진단, 골밀도 측정, 골미세구조 확인 등을 위해 피검사체를 촬영하는 장치일 있다.
여기서, 의료 영상 장치(101)는 피검사체를 촬영한 영상의 세기를 탄성률로 변환하는 모든 의료 장치를 포함할 수 있다. 예를 들어, 의료 영상 장치(101)는 컴퓨터 단층 촬영 장치(CT), 정량적 컴퓨터 단층 촬영 장치(QCT), 자기공명 촬영 장치(MRI) 등 영상의 세기를 탄성률로 변환할 수 있는 모든 의료 영상 기기를 포함할 수 있다. 그리고, 피검사체는, 골밀도 측정을 위해 촬영되는 특정 신체 부위로서, 예를 들어, 대퇴부, 고관절, 손목, 발목, 무릎, 요추 등을 포함할 수 있다.
이처럼, 의료 영상 장치(101)에서 피검사체를 촬영하고, 촬영 정보는 완전 자동 영상 분할 장치(102)로 전송할 수 있다. 그러면, 완전 자동 영상 분할 장치(102)는 수신된 촬영 정보에 기초하여 의료영상을 생성할 수 있다. 예를 들어, QCT 촬영 장치에서 피검사체를 촬영한 경우, QCT 촬영 장치는 피검사체를 투과한 X선을 검출하여 완전 자동 영상 분할 장치(102)로 전달할 수 있다. 그러면, 완전 자동 영상 분할 장치(102)는 전달받은 X선에 기초하여 QCT 영상을 의료영상으로 생성할 수 있다. 이외에, 의료 영상 장치(101)가 CT인 경우, CT 영상이 생성되고, MRI인 경우, MRI 영상이 생성될 수 있으며, 생성된 CT 영상 또는 MRI 영상이 완전 자동 영상 분할 장치(102)로 전달될 수 있다.
그리고, 완전 자동 영상 분할 장치(102)는 이진화 방법과 분수령 알고리즘 간의 상호 보완적 관계를 이용하여 의료영상으로부터 관절에 해당하는 영상을 자동 분할할 수 있다. 예를 들어, 완전 자동 영상 분할 장치(102)는 이진화 방법, 하중 경로 알고리즘 및 황금 분할법을 연계하여 의료영상과 관련된 영역 패치(regional patch)에 해당하는 제1 마스크(MASK 1)를 생성할 수 있다. 여기서, 하중 경로 알고리즘을 연계하여 사용함에 따라, 영역 패치(regional patch)는 형상의 영역 정보를 포함할 수 있다. 그리고, 완전 자동 영상 분할 장치(102)는 전처리 및 분수령 알고리즘을 이용하여 의료영상과 관련된 형태학적 패치를 나타내는 제2 마스크(MASK 2)를 생성할 수 있다. 완전 자동 영상 분할 장치(102)는 생성된 제1 및 제2 마스크를 기반으로 의료영상으로부터 원하는 타겟 대상에 해당하는 영상을 분할할 수 있다.
완전 자동 영상 분할 장치(102)는 의료 영상 장치(101)에 유선 또는 무선으로 연결될 수도 있고, 의료 영상 장치(100) 또는 의료 영상 소프트웨어에 애드-온(add-on) 타입으로 결합된 형태일 수도 있다. 예를 들어, 완전 자동 영상 분할 장치(102)는 컴퓨터 시스템, 워크스테이션 등이 이용될 수 있다. 그리고, 유한요소해석(Finite Element Method: FEM) 소프트웨어와 연계하는 경우, 관절의 골강도 평가 또는 골다공증 진단, 환자 맞춤형 인공관절 설계 소프트웨어로의 확장이 가능할 수 있다.
이하에서는 도 2 및 도 3을 참고하여 비지도적 접근법 간의 상호 보완적 관계, 즉, 이진화 방법과 분수령 알고리즘 간의 상호 보완적 관계를 이용하여 의료영상으로부터 추출하고자 하는 타겟 대상(예컨대, 관절)에 해당하는 영상을 자동으로 분할하는 동작에 대해 설명하기로 한다.
도 2는 본 발명의 일실시예에 있어서, 완전 자동 영상 분할 장치의 내부 구성을 설명하기 위한 블록도이고, 도 3은 본 발명의 일실시예에 있어서, 완전 자동 영상 분할 방법을 도시한 흐름도이다.
본 실시예에 따른 완전 자동 영상 분할 장치(200)는 프로세서(210), 버스(220), 네트워크 인터페이스(230) 및 메모리(240)를 포함할 수 있다. 메모리(240)는 운영체제(241) 및 서비스 루틴(242)을 포함할 수 있다. 프로세서(210)는 제1 마스크 생성부(211), 제2 마스크 생성부(212), 및 영상 분할부(213)를 포함할 수 있다. 다른 실시예들에서 완전 자동 영상 분할 장치(200)는 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 완전 자동 영상 분할 장치(200)는 디스플레이나 트랜시버(transceiver)와 같은 다른 구성요소들을 포함할 수도 있다.
메모리(240)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(240)에는 운영체제(241)와 서비스 루틴(242)을 위한 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘(drive mechanism, 미도시)을 이용하여 메모리(240)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체(미도시)를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 네트워크 인터페이스(230)를 통해 메모리(240)에 로딩될 수도 있다.
버스(220)는 완전 자동 영상 분할 장치(200)의 구성요소들간의 통신 및 데이터 전송을 가능하게 할 수 있다. 버스(220)는 고속 시리얼 버스(high-speed serial bus), 병렬 버스(parallel bus), SAN(Storage Area Network) 및/또는 다른 적절한 통신 기술을 이용하여 구성될 수 있다.
네트워크 인터페이스(230)는 완전 자동 영상 분할 장치(200)를 컴퓨터 네트워크에 연결하기 위한 컴퓨터 하드웨어 구성요소일 수 있다. 네트워크 인터페이스(230)는 완전 자동 영상 분할 장치(200)를 무선 또는 유선 커넥션을 통해 컴퓨터 네트워크에 연결시킬 수 있다.
프로세서(210)는 기본적인 산술, 로직 및 완전 자동 영상 분할 장치(200)의 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(240) 또는 네트워크 인터페이스(230)에 의해, 그리고 버스(220)를 통해 프로세서(210)로 제공될 수 있다. 프로세서(210)는 제1 마스크 생성부(211), 제2 마스크 생성부(212) 및 영상 분할부(213)를 위한 프로그램 코드를 실행하도록 구성될 수 있다. 이러한 프로그램 코드는 메모리(240)와 같은 기록 장치에 저장될 수 있다.
제1 마스크 생성부(211), 제2 마스크 생성부(212) 및 영상 분할부(213)는 도 3의 각 단계들(310 내지 350 단계)을 수행하기 위해 구성될 수 있다.
310 단계에서, 제1 마스크 생성부(211)는 피검사체를 촬영한 의료영상을 대상으로, 이진화(thresholding) 방법, 하중 경로(load path) 알고리즘 및 황금분할법(golden section method)을 연계하여 분할하고자 하는 타겟 대상(target object)에 해당하는 영역 정보를 추출할 수 있다.
311 단계에서, 제1 마스크 생성부(211)는 의료영상을 대상으로 미리 지정된 임계값에 기초하여 이진화를 수행할 수 있다. 예를 들어, 의료영상을 구성하는 각 요소(element)의 값이 상기 임계값 이하이면 제거(예컨대, 0으로 설정)하고, 상기 임계값보다 크면 남도록 유지(예컨대, 1로 설정)할 수 있다. 여기서, 요소(element)의 값은 화소(pixel element)의 값을 나타낼 수 있다. 즉, 제1 마스크 생성부(211)는 의료영상을 구성하는 각 화소들(즉, 픽셀들)의 값들 중 임계 이하의 화소들은 제거하고, 임계값보다 큰 화소들을 해당 영상에 남겨둘 수 있다.
이때, 플래그 배열을 추출하기 이전 단계에서, 제1 마스크 생성부(211)는 황금분할법과 연계하여 상기 의료영상을 대상으로 이진화 수행 시 이용된 상기 임계값을 반복하여 변경(또는 조정)할 수 있다. 예를 들어, 제1 마스크 생성부(211)는 이진화 수행 시 이용된 상기 임계값을 황금분할법의 설계변수로 설정할 수 있다. 황금분할법은 단일 변수 함수의 최적점을 찾는 방법으로써, 황금비율 사용하여 반복적으로 탐색 간격을 줄여갈 수 있다.
312 단계에서, 제1 마스크 생성부(211)는 이진화가 수행된 영상을 대상으로, 하중 경로(load path) 알고리즘에 기초하여 타겟 대상(예컨대, 고관절)과 관련된 플래그 배열(flag array)을 추출할 수 있다. 여기서, 플래그 배열은, 이진화된 영상 내에서 연결된 영역에 대한 정보를 나타낼 수 있다. 예컨대, 이진화된 영상에 포함된 고관절이 연결되어 있는지, 분리되어 있는지 여부 등을 나타낼 수 있다.
313 단계에서, 제1 마스크 생성부(211)는 추출된 플래그 배열에 기초하여 타겟 대상(target objet)에 해당하는 영역 패치(regional patch)를 생성할 수 있다.
320 단계에서, 제1 마스크 생성부(211)는 추출된 영역 정보에 기초하여 제1 마스크(Mask 1)를 생성할 수 있다. 즉, 제1 마스크 생성부(211)는 연결된 영역에 대한 정보를 나타내는 영역 패치에 기초하여 제1 마스크를 생성할 수 있다. 여기서, 제1 마스크를 생성하는 자세한 동작은 아래의 도 4를 참고하여 후술하기로 한다.
330 단계에서, 제2 마스크 생성부(212)는 의료영상을 대상으로 분수령(watershed) 알고리즘에 기초하여 형태학적 세분화를 수행하여 형태학적 패치(morphology patch)를 생성할 수 있다.
이때, 제2 마스크 생성부(212)는 분수령 알고리즘 적용 시 미리 지정된 기준 레벨 이상의 과도한 세분화를 방지하기 위하여, 중앙값 필터, 팽창연산, 침식연산을 복합적으로 사용하여 의료영상을 대상으로 전처리(preprocessing)를 수행할 수 있다. 그리고, 제2 마스크 생성부(212)는 전처리가 수행된 영상을 대상으로 분수령 알고리즘을 이용하여 해당 영상의 형태학적 세분화를 수행함으로써, 형태학적 패치(morphology patch)를 생성할 수 있다.
340 단계에서, 제2 마스크 생성부(212)는 생성된 형태학적 패치에 기초하여 제2 마스크(Mask 2)를 생성할 수 있다.
350 단계에서, 영상 분할부(213)는 제1 마스크와 제2 마스크에 기초하여 의료영상으로부터 타겟 대상(즉, 고관절)에 해당하는 영상을 분할할 수 있다. 예를 들어, 영상 분할부(213)는 타겟 대상에 해당하는 영역 패치의 제1 마스크와 상기 제2 마스크를 병합(merging)하여 타겟 대상에 해당하는 영상을 의료영상으로부터 완전 자동으로 분할할 수 있다.
이때, 타겟 대상인 고관절이 대퇴부와 골반과 같이 복수개의 뼈(예컨대, 두 개의 뼈)로 분리되어 이루어진 경우, 영상 분할부(213)는 제2 마스크에서 복수의 뼈 중 어느 하나의 뼈에 해당하는 형태학적 패치를 선택적으로 추출하고, 추출된 형태학적 패치와 제1 마스크를 병합(merging)하여 원하는 영역의 영상을 분할할 수 있다. 그리고, 선택되지 않은 다른 하나의 뼈에 해당하는 형태학적 패치를 상기 제2 마스크에서 선택적으로 추출하고, 추출된 패치와 제1 마스크를 병합하여 원하는 영역의 영상을 분할할 수 있다.
예를 들어, 영상 분할부(213)는 제2 마스크에서 대퇴부에 해당하는 영역(P1(bone1))을 포함하는 패치(patch)만을 선택적으로 추출하여 제1 마스크와 병합(merging)을 수행함으로써, 의료영상으로부터 대퇴부에 해당하는 영상을 분할할 수 있다. 이어, 영상 분할부(213)는 제2 마스크에서 골반에 해당하는 영역을 포함하는 패치만을 선택적으로 추출하여 제1 마스크와 병합을 통해, 골반에 해당하는 영상을 분할할 수도 있다. 여기서는 타겟 대상이 고관절과 같이 2개의 뼈로 구성된 경우에, 2개의 뼈를 선택적으로 추출 및 제1 마스크와 병합하여, 의료영상으로부터 대퇴부와 골반의 영상을 각각 분할하는 것을 예로 들어 설명하였으나, 이는 실시예에 해당되며, 타겟 대상이 3개 이상의 뼈로 구성된 경우에도, 3개 이상의 뼈 각각에 해당하는 형태학적 패치를 추출하고, 제1 마스크와의 병합을 통해 원하는 뼈의 영상을 의료영상으로부터 분할할 수 있다. 예컨대, 복수개의 뼈들 중 랜덤(random)한 순서, 또는 가장 많거나 적은 영역을 차지하는 뼈를 우선 순서로 제2 마스크에서 선택적으로 해당 패치가 선택될 수 있다. 이외에, 상기 방법들을 결합한 형태로 제2 마스크에서 선택적으로 해당 패치가 선택될 수도 있다. 예컨대, 가장 많은 영역을 차지하는 뼈를 선택하여 해당 뼈관련 영상을 분할한 이후, 나머지 뼈들을 대상으로는 랜덤하게 선택하여 영상 분할이 수행될 수도 있고, 랜덤하게 어느 하나의 뼈를 선택하여 해당 뼈와 관련된 영상 분할이 수행된 이후에, 제2 마스크 상에서 가장 많은 영역/가장 적은 영역을 차지하는 뼈 순서대로 선택되어 영상 분할이 수행될 수도 있다.
도 4는 본 발명의 일실시예에 있어서, 플래그 배열(flag array) 및 영역 패치(regional patch)를 도시한 도면이다.
도 4를 참고하면, 의료영상으로부터 관절 등의 타겟 대상에 해당하는 영상을 분할하기 위해서는 일차적으로 관절을 구성하는 뼈들의 영역 정보를 확보해야 할 수 있다. 이때, 다수의 데이터를 이용하여 통계적으로 해당 관절을 구성하는 뼈들의 영역 정보를 확보할 수도 있고, 이진화 방법, 하중 경로 알고리즘, 및 황금분할법을 연계하여 다수의 데이터없이 영역 정보를 확보할 수도 있다. 영역 정보는 연결된 영역에 대한 정보로서, 플래그 배열(flag array, 410)을 나타낼 수 있다.
미리 지정된 임계값(TH)에 기초하여 의료영상을 대상으로 이진화(예컨대, 의료영상에서 임계값 이하의 요소(즉, 화소)는 제거)가 수행되면, 제1 마스크 생성부(211)는 이진화가 수행된 영상(즉, 임계값 이하의 요소(즉, 화소)가 제거된 의료영상)을 대상으로 하중경로 알고리즘을 이용하여 대퇴골에 대한 플래그 배열(Abone1(i,j,k), 411)과 골반에 대한 플래그 배열(Abone2(i,j,k), 412)을 생성할 수 있다. 여기서, bone 1이 대퇴골이고, bone 2가 골반인 경우, Abone1(i,j,k)는 Afemur(i,j,k)로 표현되고, Abone2(i,j,k)는 Apelvis(i,j,k)로 표현될 수 있다.
그리고, 제1 마스크 생성부(211)는 플래그 배열(410)을 이용하여 영역 패치(regional patch, 420)를 생성할 수 있다. 예컨대, 대퇴골에 대한 영역 패치(421) 및 골반에 대한 영역 패치(422)를 생성할 수 있다.
이때, 도 4와 같이, 고관절을 구성하는 뼈들의 플래그 배열은 이진화의 임계값(TH)에 따라 연결될 수도 있고, 분리될 수도 있다. 즉, 상기 임계값이 상대적으로 높은지 낮은지에 따라 대퇴부의 플래그 배열과 골반의 플래그 배열이 연결될 수도 있고, 서로 분리될 수도 있다. 이때, 임계값이 상대적으로 높을 경우, 고관절의 외형이 보존되지 않은 상태에서 두 플래그 배열이 분리될 수 있으므로, 제1 마스크 생성부(211)는 이진화의 임계값을 황금분할법의 설계변수로 설정하고, 해당 의료영상에서 고관절을 이루는 두 뼈(대퇴부와 골반)을 분리하는 가장 낮은 임계값을 찾을 수 있다. 여기서, 복수의 뼈를 분리하는 가장 낮은 상기 임계값을 찾는 방법을 일반적인 이진화 방법과 구분되도록 환자맞춤형 최적 이진화 방법으로 표현할 수 있다.
일례로, 제1 마스크 생성부(211)는 미리 지정된 수렴조건이 만족할 때까지 황금분할법에 따라 상기 임계값이 상대적으로 낮아지도록 반복적으로 상기 임계값을 변경 조정할 수 있다. 예컨대, 아래의 수학식 1에 기초하여 이진화의 임계값을 황금분할법의 설계변수로 설정할 수 있다.
[수학식 1]
Minimize (threshold value)
subject t.o P1(bone1)∩P1(bone2)=Φ
수학식 1에서, P1(bone1)은 대퇴부 영역 패치, P1(bone2)는 골반 영역 패치를 나타낼 수 있다.
그리고, 제1 마스크 생성부(211)는 하중 경로 알고리즘에 기초하여 골반과 대퇴골의 분리 여부를 확인하고, 황금분할법에 따라 상기 임계값을 변경 조정하면서 미리 지정된 수렴조건이 만족할 때까지 조정된 임계값으로 이진화를 반복적으로 수행할 수 있다. 그러면, 제1 마스크 생성부(211)는 변경 조정된 임계값에 기초하여 이진화가 수행된 영상에서 대퇴골과 골반 각각에 해당하는 플래그 배열((Abone1(i,j,k), 411)과 골반에 대한 플래그 배열(Abone2(i,j,k), 412)을 추출할 수 있으며, 플래그 배열에 기초하여 대퇴골과 골반 각각에 해당하는 영역 패치(421, 422)를 생성할 수 있다. 그리고, 제1 마스크 생성부(211)는 아래의 수학식 2에 기초하여 상기 생성된 영역 패치로 제1 마스크(Mask 1) PMASK1를 생성할 수 있다.
[수학식 2]
PMASK1={(x, y, z)|(x, y, z)∈P1(bone1)∪P1(bone2)∪P1(non-bone)}
수학식 2에서, P1(bone1)은 대퇴부 영역 패치, P1(bone2)는 골반 영역 패치를 나타낼 수 있다. 그리고, P1(non-bone)은 이진화가 수행된 영상에서 관심이 없는 비관심 영역을 나타낼 수 있다. 예컨대, 대퇴부, 골반 등과 같이 뼈(hard tissu)와 관련된 영상을 추출하고자 하는 경우, 이진화가 수행된 영상에서 뼈(hard tissu)와 관련된 영역이 관심 영역에 해당하고, 상기 이진화가 수행된 영상에서 관심 영역(즉, 뼈에 해당하는 영역)을 제외한 나머지 영역이 비관심 영역에 해당할 수 있다. 예를 들어, 뼈(hard tissu)이외의 오브젝트(object, 예컨대, 근육(soft tissu), 지방 등)가 존재하는 영역 및 아무것도 존재하지 않는 영역이 비관심 영역으로서, P1(non-bone)에 해당할 수 있다. 이때, 관심 영역이 근육인 경우, 뼈, 지방 등이 비관심 영역에 해당할 수 있으며, 관심 영역이 지방인 경우, 뼈, 근육 등이 비관심 영역에 해당할 수 있다.
도 5는 본 발명의 일실시예에 있어서, 제1 마스크와 제2 마스크를 병합(merging)하여 자동 분할된 대퇴골 영상을 도시한 도면이다.
도 5를 참고하면, 510은 임계값이 최적인 경우에 생성된 대퇴골의 영역 패치와 골반의 영역 패치를 이용하여 생성된 제1 마스크를 나타낼 수 있다. 여기서, 최적의 임계값(즉, 도 4의 THOPT)은 이진화 시 임계값을 변경 조정하면서 골반과 대퇴골의 분리 여부가 확인될 수 있으며, 예컨대, 골반과 대퇴골의 분리가 확인되는 가장 낮은 임계값(즉, 첫번째 임계값)을 나타낼 수 있다.
520은 분수령(watershed) 알고리즘에 기초하여 생성된 제2 마스크를 나타낼 수 있다. 분수령 알고리즘을 입력 영상을 지형적 구조로 간주하고, 화소값이 유사한 지역(즉, 영역)끼리 패치화시켜 형태학적 정보를 제공할 수 있다. 이때, 경계가 불분명한 영상에 분수령 알고리즘을 적용하는 경우, 영상을 과도하게 세분화하여 잘못된 형태학적 패치 정보가 제공될 수 있다. 이에 따라, 제2 마스크 생성부(212)는 과도한 세분화를 방지하기 위해 의료영상을 대상으로 전처리를 수행할 수 있으며, 예컨대, 중앙값 필터, 팽창연산, 침식연산에 기초하여 전처리를 수행할 수 있다.
일례로, 제2 마스크 생성부(212)는 의료영상을 대상으로 중앙값 필터를 이용하여 노이즈(noise)를 제거할 수 있다. 그리고, 제2 마스크 생성부(212)는 노이즈가 제거된 영상을 대상으로 팽창연산과 침식연산을 수행하여 해당 영상의 경계(boundary)를 강화할 수 있다. 예컨대, 고관절 영상의 경계가 분명해지도록 강화할 수 있다. 이처럼, 경계가 강화되면, 제2 마스크 생성부(212)는 분수령 알고리즘에 기초하여 해당 의료영상의 형태학적 세분화를 수행할 수 있으며, 세분화를 통해 생성된 형태학적 패치를 이용하여 제2 마스크(Mask 2, 520)를 생성할 수 있다. 예컨대, 아래의 수학식 3에 기초하여 제2 마스크(PMASK2)가 생성될 수 있다.
[수학식 3]
Figure PCTKR2017014824-appb-I000001
수학식 3에서, n은 분할된 패치들의 총 개수를 나타내는 것으로서, 예컨대, 도 5의 520에서 하얀색으로 표시된 부분이 n개로 분할된 패치들에 해당할 수 있다.
530은 의료영상에서 자동 분할된 대퇴골 영상을 나타낼 수 있다.
위의 수학식 2에 기초하여 생성된 제1 마스크(510)와 수학식 3에 기초하여 생성된 제2 마스크(520)는 상호 보완적인 관계를 가지고 있으므로, 영상 분할부(213)는 제1 및 제2 마스크(510, 520)을 병합(merging)하여 고관절을 이루는 두 개의 뼈(즉, 대퇴골 및 골반) 각각에 해당하는 영상을 성공적으로 분할할 수 있다.
예를 들어, 영역 분할부(213)는 형태학적 패치로 구성된 제2 마스크(PMASK2, 520)에서 추출하고자 하는 영역(P1(bone1))에 해당하는 패치를 선택적으로 추출할 수 있다. 그리고, 추출된 패치와 제1 마스크(510)를 병합(merging)하여 대퇴골 영상(530)을 의료영상으로부터 분할할 수 있다. 이때, 영역 분할부(213)는 제1 마스크(510)에서 상기 추출하고자 하는 영역, 예컨대, 대퇴골에 해당하는 영역(P1(bone1))의 패치를 선택적으로 추출할 수 있다. 그리고, 영역 분할부(213)는 제1 마스크(510)에서 추출된 대퇴골의 패치(511)와 제2 마스크(520)에서 추출된 대퇴골의 패치(521)를 병합하여 대퇴골 영상(530)을 분할할 수 있다. 예를 들어, 영역 분할부(213)는 아래의 수학식 4에 기초하여 상기 추출된 대퇴골의 패치(511)와 제2 마스크(520)에서 추출된 대퇴골의 패치(521)의 교집합을 통해 상기 대퇴골 영상(530)을 자동 분할할 수 있다. 동일한 방법으로, 영역 분할부(213)는 골반 영상을 분할할 수 있다.
[수학식 4]
Figure PCTKR2017014824-appb-I000002
도 6은 본 발명의 일실시예에 있어서, QCT 의료영상에서 분할된 대퇴골 영상을 도시한 도면이다.
도 6에서는, 이진화 방법 및 분수령 알고리즘 간의 상호 보완적 관계를 이용하여 타겟 대상에 해당하는 영상을 분할하는 방법의 유효성을 입증하기 위해, QCT(Quantitative computed tomography) 고관절 영상을 대상으로, 제안 기술을 적용하여 분할된 대퇴골 영상을 나타낼 수 있다.
도 6을 참고하면, QCT 고관절 영상에서 대퇴골 영상이 효과적으로 분할됨을 확인할 수 있다.
도 6에서, 4개의 케이스(case) 모두 "대사성 골 질환(metabolic bone disorders)"을 겪지 않았으며, 케이스 1 내지 4(case 1-case 4)는 아래의 표 1과 같을 수 있다.
Figure PCTKR2017014824-appb-T000001
도 7은 본 발명의 일실시예에 있어서, 분할된 대퇴골 영상의 slice DOC 비교를 나타내는 도면이다.
도 7에서는 본 발명의 완전 자동 영상 분할 방법의 효용성을 정량적으로 증명하기 위하여, 수동으로 분할한 고관절 영상(즉, 대퇴골 영상)과의 DOC(Dice Overlap Coefficient) 값(710)을 Snake 기반의 반자동 분할 방법(720) 및 SK(Simplified-Kang) 기반의 자동 분할 방법(730)과 비교 도시하고 있다.
710은 본 발명의 완전 자동 영상 분할 방법에 따라 분할된 대퇴골 영상 및 slice DOC를 나타내고, 720은 Snake 기반의 반자동 분할 방법에 따라 분할된 대퇴골 영상 및 slice DOC를 나타내고, 730은 SK(Simplified-Kang) 기반의 자동 분할 방법에 따라 분할된 대퇴골 영상 slice DOC를 나타낼 수 있다. DOC는 임의의 두 영상 간의 유사성을 정량적으로 나타내는 값으로서,
Figure PCTKR2017014824-appb-I000003
로 정의될 수 있다. 도 7에서, 정확한 비교를 위해 global DOC(전체 도메인에 대하여 DOC 계산) 및 slice DOC(각 slice에 대하여 DOC 계산)를 계산하여 비교하였으며, 정량적 분석 결과, 본 발명의 완전 자동 영상 분할 방법(710)이 SK 기반의 자동 분할 방법(730)보다 정확도가 매우 높음을 확인할 수 있다. 그리고, SK 기반의 반자동 분할 방법(720)과는 유사한 수준의 정확도를 가짐을 확인할 수 있다.
그리고, 본 발명의 완전 자동 영상 분할 방법(710)은 대퇴골두(femoral head) 영역에서 SK 기반의 자동 분할 방법(730)보다 정확도가 매우 우수함을 확인할 수 있다.
또한, 계산시간(processing time) 측면에서, 본 발명의 완전 자동 영상 분할 방법(710)은 SK 기반의 반자동 분할 방법(720)보다 10배 이상 처리속도가 빠르고, SK 기반의 자동 분할 방법(730)과는 유사한 수준의 계산속도를 가짐을 확인할 수 있다.
아래의 표 2 및 표 3에서는 도 7에 도시된 3가지 방법 별 대퇴골 영상을 분할하는데 소요되는 계산 시간과 Global DOC 및 slice DOC 의 계산 결과를 나타낼 수 있다.
Figure PCTKR2017014824-appb-T000002
Figure PCTKR2017014824-appb-T000003
도 8은 본 발명의 일 실시예에 있어서, 컴퓨터 시스템의 내부 구성의 일례를 설명하기 위한 블록도이다.
도 8을 참고하면, 컴퓨터 시스템(800)은 적어도 하나의 프로세서(processor)(810), 메모리(memory)(820), 주변장치 인터페이스(peripheral interface)(830), 입/출력 서브시스템(I/O subsystem)(840), 전력 회로(850) 및 통신 회로(1060)를 적어도 포함할 수 있다. 이때, 컴퓨터 시스템(800)은 워크스테이션에 해당될 수 있다.
메모리(820)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(820)는 컴퓨터 시스템(800)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다. 이때, 프로세서(810)나 주변장치 인터페이스(830) 등의 다른 컴포넌트에서 메모리(820)에 액세스하는 것은 프로세서(820)에 의해 제어될 수 있다.
주변장치 인터페이스(830)는 컴퓨터 시스템(800)의 입력 및/또는 출력 주변장치를 프로세서(810) 및 메모리(820)에 결합시킬 수 있다. 프로세서(810)는 메모리(820)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨터 시스템(800)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.
입/출력 서브시스템(840)은 다양한 입/출력 주변장치들을 주변장치 인터페이스(830)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템(840)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 주변장치 인터페이스(830)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템(840)을 거치지 않고 주변장치 인터페이스(830)에 결합될 수도 있다.
전력 회로(850)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(850)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.
통신 회로(1060)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨터 시스템과 통신을 가능하게 할 수 있다. 또는 상술한 바와 같이 필요에 따라 통신 회로(1060)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨터 시스템과 통신을 가능하게 할 수도 있다.
이러한 도 8의 실시예는, 컴퓨터 시스템(800)의 일례일 뿐이고, 컴퓨터 시스템(800)은 도 8에 도시된 일부 컴포넌트가 생략되거나, 도 8에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 컴퓨터 시스템은 도 8에 도시된 컴포넌트들 외에도, 디스플레이 등을 더 포함할 수도 있다. 컴퓨터 시스템(800)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 시스템을 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 피검사체를 촬영한 의료영상을 대상으로, 이진화(thresholding) 방법, 하중 경로(load path) 알고리즘을 연계하여 분할하고자 하는 타겟 대상(target object)에 해당하는 영역정보를 추출하는 단계;
    추출된 영역정보에 기초하여 제1 마스크(Mask 1)를 생성하는 단계;
    상기 의료영상을 대상으로, 분수령(watershed) 알고리즘에 기초하여 형태학적 세분화를 수행하여 형태학적 패치(patch)를 생성하는 단계;
    생성된 상기 형태학적 패치(patch)에 기초하여 제2 마스크(Mask 2)를 생성하는 단계; 및
    상기 제1 마스크와 제2 마스크에 기초하여 상기 의료영상으로부터 상기 타겟 대상에 해당하는 영상을 분할하는 단계
    를 포함하는 완전 자동 영상 분할 방법.
  2. 제1항에 있어서,
    상기 타겟 대상에 해당하는 영상을 분할하는 단계는,
    영역 패치(regional patch)에 해당하는 상기 제1 마스크와 형태학적 패치에 해당하는 상기 제2 마스크를 병합(merging)하여 상기 의료영상으로부터 상기 타겟 대상에 해당하는 영상을 분할하는 것
    을 특징으로 하는 완전 자동 영상 분할 방법.
  3. 제1항에 있어서,
    상기 타겟 대상(target object)에 해당하는 영역정보를 추출하는 단계는,
    상기 의료영상을 대상으로 미리 지정된 임계값에 기초하여 이진화를 수행하는 단계;
    상기 이진화가 수행된 영상을 대상으로, 상기 하중 경로(load path) 알고리즘에 기초하여 상기 타겟 대상과 관련된 플래그 배열(flag array)을 추출하는 단계; 및
    추출된 상기 플래그 배열에 기초하여 상기 타겟 대상(target object)에 해당하는 영역 패치(regional patch)를 생성하는 단계
    를 포함하는 완전 자동 영상 분할 방법.
  4. 제3항에 있어서,
    상기 이진화를 수행하는 단계는,
    상기 이진화의 수행 시 이용된 임계값을 황금분할법(golden section method)의 설계 변수로 설정하는 단계; 및
    미리 지정된 수렴조건이 만족할 때까지 상기 황금분할법에 따라 상기 임계값이 상대적으로 낮아지도록 변경하는 단계
    를 포함하는 완전 자동 영상 분할 방법.
  5. 제1항에 있어서,
    상기 형태학적 패치(patch)를 생성하는 단계는,
    상기 의료영상을 대상으로, 중앙값 필터, 팽창연산, 및 침식연산을 기반으로 하는 전처리를 수행하여 상기 형태학적 패치를 생성하는 것
    을 특징으로 하는 완전 자동 영상 분할 방법.
  6. 제1항에 있어서,
    상기 형태학적 패치(patch)를 생성하는 단계는,
    상기 의료영상을 대상으로, 중앙값 필터에 기초하여 노이즈(noise)를 제거하는 단계;
    상기 노이즈가 제거된 영상을 대상으로, 팽창연산 및 침식연산을 수행하여 상기 타겟 대상에 해당하는 영상의 경계(boundary)를 강화하는 단계; 및
    상기 경계가 강화된 영상을 대상으로, 상기 분수령 알고리즘에 기초하여 형태학적 세분화를 수행하는 단계
    를 포함하는 완전 자동 영상 분할 방법.
  7. 제1항에 있어서,
    상기 영상을 분할하는 단계는,
    상기 제2 마스크를 대상으로, 상기 제1 마스크에 해당하는 패치(patch)를 선택적으로 추출함으로써, 상기 타겟 대상에 해당하는 영상을 자동 분할하는 것
    을 특징으로 하는 완전 자동 영상 분할 방법.
  8. 제1항에 있어서,
    상기 의료영상은, QCT(Quantitative Computed Tomography), CT(Computed Tomography), 또는 MRI(Magnetic Resonance Imaging) 영상을 나타내고,
    상기 영상을 분할하는 단계는,
    상기 QCT, CT 또는 MRI 영상에서 고관절에 해당하는 영상을 분할하는 것
    을 특징으로 하는 완전 자동 영상 분할 방법.
  9. 제8항에 있어서,
    상기 영상을 분할하는 단계는,
    상기 QCT, CT 또는 MRI 영상에서 고관절을 구성하는 서로 다른 두 개의 뼈에 해당하는 영상을 분할하는 것
    을 특징으로 하는 완전 자동 영상 분할 방법.
  10. 적어도 하나의 프로그램이 로딩된 메모리; 및
    적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서는, 상기 프로그램의 제어에 따라,
    피검사체를 촬영한 의료영상을 대상으로, 이진화(thresholding) 방법, 하중 경로(load path) 알고리즘을 연계하여 분할하고자 하는 타겟 대상(target object)에 해당하는 영역정보를 추출하는 과정;
    추출된 영역정보에 기초하여 제1 마스크(Mask 1)를 생성하는 과정;
    상기 의료영상을 대상으로, 분수령(watershed) 알고리즘에 기초하여 형태학적 세분화를 수행하여 형태학적 패치(patch)를 생성하는 과정;
    생성된 상기 형태학적 패치(patch)에 기초하여 제2 마스크(Mask 2)를 생성하는 과정; 및
    상기 제1 마스크와 제2 마스크에 기초하여 상기 의료영상으로부터 상기 타겟 대상에 해당하는 영상을 분할하는 과정
    을 처리하는 완전 자동 영상 분할 장치.
  11. 제10항에 있어서,
    상기 타겟 대상에 해당하는 영상을 분할하는 과정은,
    영역 패치(regional patch)에 해당하는 상기 제1 마스크와 형태학적 패치에 해당하는 상기 제2 마스크를 병합(merging)하여 상기 의료영상으로부터 상기 타겟 대상에 해당하는 영상을 분할하는 것
    을 특징으로 하는 완전 자동 영상 분할 장치.
  12. 제10항에 있어서,
    상기 타겟 대상(target object)에 해당하는 영역정보를 추출하는 과정은,
    상기 의료영상을 대상으로 미리 지정된 임계값에 기초하여 이진화를 수행하는 과정;
    상기 이진화가 수행된 영상을 대상으로, 상기 하중 경로(load path) 알고리즘에 기초하여 상기 타겟 대상과 관련된 플래그 배열(flag array)을 추출하는 과정; 및
    추출된 상기 플래그 배열에 기초하여 상기 타겟 대상(target object)에 해당하는 영역 패치(regional patch)를 생성하는 과정
    을 포함하는 완전 자동 영상 분할 장치.
  13. 제12항에 있어서,
    상기 이진화를 수행하는 과정은,
    상기 이진화의 수행 시 이용된 임계값을 황금분할법(golden section method)의 설계 변수로 설정하는 과정; 및
    미리 지정된 수렴조건이 만족할 때까지 상기 황금분할법에 따라 상기 임계값이 상대적으로 낮아지도록 변경하는 과정
    을 포함하는 완전 자동 영상 분할 장치.
  14. 제10항에 있어서,
    상기 형태학적 패치(patch)를 생성하는 과정은,
    상기 의료영상을 대상으로, 중앙값 필터, 팽창연산, 및 침식연산을 기반으로 하는 전처리를 수행하여 상기 형태학적 패치를 생성하는 것
    을 특징으로 하는 완전 자동 영상 분할 장치.
  15. 제10항에 있어서,
    상기 형태학적 패치(patch)를 생성하는 과정은,
    상기 의료영상을 대상으로, 중앙값 필터에 기초하여 노이즈(noise)를 제거하는 과정;
    상기 노이즈가 제거된 영상을 대상으로, 팽창연산 및 침식연산을 수행하여 상기 타겟 대상에 해당하는 영상의 경계(boundary)를 강화하는 과정; 및
    상기 경계가 강화된 영상을 대상으로, 상기 분수령 알고리즘에 기초하여 형태학적 세분화를 수행하는 과정
    을 포함하는 완전 자동 영상 분할 장치.
  16. 제10항에 있어서,
    상기 영상을 분할하는 과정은,
    상기 제2 마스크를 대상으로, 상기 제1 마스크에 해당하는 패치(patch)를 선택적으로 추출함으로써, 상기 타겟 대상에 해당하는 영상을 자동 분할하는 것
    을 특징으로 하는 완전 자동 영상 분할 장치.
  17. 제10항에 있어서,
    상기 의료영상은, QCT(Quantitative Computed Tomography), CT(Computed Tomography) 또는 MRI(Magnetic Resonance Imaging) 영상을 나타내고,
    상기 영상을 분할하는 과정은,
    상기 QCT, CT, 또는 MRI 영상에서 고관절에 해당하는 영상을 분할하는 것
    을 특징으로 하는 완전 자동 영상 분할 장치.
  18. 제17항에 있어서,
    상기 영상을 분할하는 과정은,
    상기 QCT, CT, 또는 MRI 영상에서 고관절을 구성하는 서로 다른 두 개의 뼈에 해당하는 영상을 분할하는 것
    을 특징으로 하는 완전 자동 영상 분할 장치.
  19. 제16항에 있어서,
    상기 영상을 분할하는 과정은,
    상기 타겟 대상이 두 개 이상의 뼈로 구성된 경우, 상기 제2 마스크를 대상으로, 어느 하나의 뼈를 선택적으로 추출하고, 추출된 뼈에 해당하는 형태학적 패치와 상기 제1 마스크에서 추출된 상기 뼈에 해당하는 영역 패치를 기반으로 병합(merging)을 수행하여 상기 의료영상으로부터 상기 추출된 뼈에 해당하는 영상을 분할하는 것
    을 특징으로 하는 완전 자동 영상 분할 장치.
  20. 컴퓨터 시스템이 완전 자동 영상 분할을 제공하도록 제어하는 명령(instruction)을 포함하는 컴퓨터 판독가능 저장 매체로서,
    상기 명령은,
    피검사체를 촬영한 의료영상을 대상으로, 이진화(thresholding) 방법, 하중 경로(load path) 알고리즘을 연계하여 분할하고자 하는 타겟 대상(target object)에 해당하는 영역정보를 추출하는 단계;
    추출된 영역정보에 기초하여 제1 마스크(Mask 1)를 생성하는 단계;
    상기 의료영상을 대상으로, 분수령(watershed) 알고리즘에 기초하여 형태학적 세분화를 수행하여 형태학적 패치(patch)를 생성하는 단계;
    생성된 상기 형태학적 패치(patch)에 기초하여 제2 마스크(Mask 2)를 생성하는 단계; 및
    상기 제1 마스크와 제2 마스크에 기초하여 상기 의료영상으로부터 상기 타겟 대상에 해당하는 영상을 분할하는 단계
    를 포함하는 방법에 의하여 상기 컴퓨터 시스템을 제어하는 컴퓨터 판독가능 저장 매체.
PCT/KR2017/014824 2017-09-15 2017-12-15 환자 맞춤형 최적 이진화 방법과 분수령 알고리즘에 기반한 관절의 완전 자동 영상 분할 방법 및 장치 WO2019054576A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0118523 2017-09-15
KR1020170118523A KR101930644B1 (ko) 2017-09-15 2017-09-15 환자 맞춤형 최적 이진화 방법과 분수령 알고리즘에 기반한 관절의 완전 자동 영상 분할 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2019054576A1 true WO2019054576A1 (ko) 2019-03-21

Family

ID=60935716

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/014824 WO2019054576A1 (ko) 2017-09-15 2017-12-15 환자 맞춤형 최적 이진화 방법과 분수령 알고리즘에 기반한 관절의 완전 자동 영상 분할 방법 및 장치

Country Status (4)

Country Link
US (1) US10540770B2 (ko)
EP (1) EP3457356B1 (ko)
KR (1) KR101930644B1 (ko)
WO (1) WO2019054576A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102277021B1 (ko) * 2019-08-13 2021-07-14 주식회사 디오 3차원 구강 ct 영상의 상하악 분리 방법 및 장치
CN111402265A (zh) * 2020-03-12 2020-07-10 广东电网有限责任公司广州供电局 一种基于形态学标记的电力设备红外热像分割方法
CN112884714A (zh) * 2021-01-25 2021-06-01 上海健康医学院 一种淋巴结ct图像自动分割方法及系统
KR102555996B1 (ko) * 2021-04-09 2023-07-13 연세대학교 산학협력단 의료 영상에 기반하여 목적 부위에 대한 질환을 결정하기 위한 장치 및 방법
CN113128009B (zh) * 2021-04-27 2021-12-07 中国水利水电科学研究院 一种考虑山区平原地貌差异的子流域单元划分方法
CN113642437B (zh) * 2021-08-03 2022-05-31 中国地质大学（北京） 一种对煤中不同组分含量及半径的定量计算方法
CN114332144A (zh) * 2021-12-28 2022-04-12 中国联合网络通信集团有限公司 样本粒度检测方法、系统、电子设备及存储介质
KR102566183B1 (ko) * 2022-05-23 2023-08-10 가천대학교 산학협력단 골반 자동 계측에 대한 정보 제공 방법 및 이를 이용한 장치
US11960515B1 (en) 2023-10-06 2024-04-16 Armada Systems, Inc. Edge computing units for operating conversational tools at local sites
US11995412B1 (en) 2023-10-06 2024-05-28 Armada Systems, Inc. Video based question and answer
US12086557B1 (en) 2023-10-06 2024-09-10 Armada Systems, Inc. Natural language statistical model with alerts
US12067041B1 (en) 2023-10-06 2024-08-20 Armada Systems, Inc. Time series data to statistical natural language interaction

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990050535A (ko) * 1997-12-17 1999-07-05 정선종 공간 정보와 분수령 알고리즘을 이용한 영상 분할 결과 보정 방법
KR20090082798A (ko) * 2008-01-28 2009-07-31 고려대학교 산학협력단 영상에서 특정 피사체를 인식하는 시스템 및 방법
KR20140123399A (ko) * 2013-04-12 2014-10-22 삼성전자주식회사 사용자 영상의 신체 부위를 검출하는 장치 및 방법
KR20170038622A (ko) * 2015-09-30 2017-04-07 삼성전자주식회사 영상으로부터 객체를 분할하는 방법 및 장치
KR20170058698A (ko) * 2015-11-19 2017-05-29 삼성전자주식회사 무릎 자기공명영상의 관절연골 분할 장치 및 그 분할 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2617882T3 (es) 2005-05-13 2017-06-20 Tripath Imaging, Inc. Método de análisis de imagen basado en la separación de cromógenos
US20070116357A1 (en) * 2005-11-23 2007-05-24 Agfa-Gevaert Method for point-of-interest attraction in digital images
US10354377B2 (en) * 2012-04-11 2019-07-16 The Trustees Of Columbia University In The City Of New York Techniques for segmentation of lymph nodes, lung lesions and other solid or part-solid objects
EP2811458A1 (en) * 2013-06-05 2014-12-10 Agfa Healthcare Automated aorta detection in a CTA volume
KR101727670B1 (ko) 2015-06-22 2017-04-18 한국광기술원 피드백이 가능한 사용자 입력 기반의 의료영상 분할 장치 및 방법
US9999400B2 (en) * 2015-07-29 2018-06-19 Perkinelmer Health Services, Inc. Systems and methods for automated segmentation of individual skeletal bones in 3D anatomical images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990050535A (ko) * 1997-12-17 1999-07-05 정선종 공간 정보와 분수령 알고리즘을 이용한 영상 분할 결과 보정 방법
KR20090082798A (ko) * 2008-01-28 2009-07-31 고려대학교 산학협력단 영상에서 특정 피사체를 인식하는 시스템 및 방법
KR20140123399A (ko) * 2013-04-12 2014-10-22 삼성전자주식회사 사용자 영상의 신체 부위를 검출하는 장치 및 방법
KR20170038622A (ko) * 2015-09-30 2017-04-07 삼성전자주식회사 영상으로부터 객체를 분할하는 방법 및 장치
KR20170058698A (ko) * 2015-11-19 2017-05-29 삼성전자주식회사 무릎 자기공명영상의 관절연골 분할 장치 및 그 분할 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KIM, JUNG JIN ET AL.: "Computational Efficiency Improvement of Localized Resolution Enhancement for 3D Skeletal Images and Its Clinical Feasibility Study", THE KOREAN SOCIETY OF MECHANICAL ENGINEERING, 31 December 2016 (2016-12-31), pages 902 - 904, Retrieved from the Internet <URL:http://www.dbpia.co.kr/Article/NODE07104521> *

Also Published As

Publication number Publication date
EP3457356B1 (en) 2019-12-18
US10540770B2 (en) 2020-01-21
EP3457356A1 (en) 2019-03-20
KR101930644B1 (ko) 2018-12-18
US20190087960A1 (en) 2019-03-21

Similar Documents

Publication Publication Date Title
WO2019054576A1 (ko) 환자 맞춤형 최적 이진화 방법과 분수령 알고리즘에 기반한 관절의 완전 자동 영상 분할 방법 및 장치
US7920730B2 (en) Automatic bone detection in MRI images
CN110570515B (zh) 一种利用ct图像进行人体骨骼三维建模的方法
EP2194505B1 (en) Method and apparatus for segmenting spine and aorta in a medical image according to a skeletal atlas
WO2016126056A1 (ko) 의료정보 제공 장치 및 의료정보 제공 방법
WO2022139246A1 (ko) 골절 검출 방법 및 이를 이용한 디바이스
US11257214B2 (en) Two-stage variational image segmentation of medical images using fracture mechanics
CN106846346A (zh) 基于关键帧标记的序列ct图像骨盆轮廓快速提取方法
Onal et al. MRI-based segmentation of pubic bone for evaluation of pelvic organ prolapse
CN106780491A (zh) Gvf法分割ct骨盆图像中采用的初始轮廓生成方法
Jeevakala et al. Artificial intelligence in detection and segmentation of internal auditory canal and its nerves using deep learning techniques
Lee et al. Segmentation of anterior cruciate ligament in knee MR images using graph cuts with patient-specific shape constraints and label refinement
CN106780492A (zh) 一种ct骨盆图像的关键帧提取方法
KR101801376B1 (ko) 3차원 위상 기술자를 이용한 두개골 이형 자동판단시스템 및 이를 이용한 두개골 이형 자동판단방법
Elmorsy et al. K3. A region growing liver segmentation method with advanced morphological enhancement
KR20180128001A (ko) 핵의학 화상으로부터의 생리적 집적의 자동 제거 및 ct 화상의 자동 세그멘테이션
US20180325478A1 (en) Image display device, method, and program
JP3049021B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラムを記録した記録媒体
JP2019201879A (ja) 大腰筋領域画定装置および大腰筋領域画定方法
CN103854288B (zh) 十字韧带分割的方法及其系统
Zhou et al. Automated segmentation and recognition of the bone structure in non-contrast torso CT images using implicit anatomical knowledge
Ng et al. Salient features useful for the accurate segmentation of masticatory muscles from minimum slices subsets of magnetic resonance images
Xu et al. Automatic segmentation method for cone-beam computed tomography image of the bone graft region within maxillary sinus based on the Atrous spatial pyramid convolution network
Ababneh et al. An automated content-based segmentation framework: Application to MR images of knee for osteoarthritis research
Kim et al. Object-tracking segmentation method: vertebra and rib segmentation in CT images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17924839

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17924839

Country of ref document: EP

Kind code of ref document: A1