KR101953629B1 - Method and apparatus for automatic segmentation of the mandible using shape-constrained information in cranio-maxillo-facial cbct images - Google Patents

Method and apparatus for automatic segmentation of the mandible using shape-constrained information in cranio-maxillo-facial cbct images Download PDF

Info

Publication number
KR101953629B1
KR101953629B1 KR1020170155664A KR20170155664A KR101953629B1 KR 101953629 B1 KR101953629 B1 KR 101953629B1 KR 1020170155664 A KR1020170155664 A KR 1020170155664A KR 20170155664 A KR20170155664 A KR 20170155664A KR 101953629 B1 KR101953629 B1 KR 101953629B1
Authority
KR
South Korea
Prior art keywords
shape
cbct
mandible
brightness value
image
Prior art date
Application number
KR1020170155664A
Other languages
Korean (ko)
Inventor
홍헬렌
이민진
김주진
Original Assignee
서울여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울여자대학교 산학협력단 filed Critical 서울여자대학교 산학협력단
Priority to KR1020170155664A priority Critical patent/KR101953629B1/en
Application granted granted Critical
Publication of KR101953629B1 publication Critical patent/KR101953629B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Software Systems (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pulmonology (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Probability & Statistics with Applications (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

According to an embodiment of the present invention, a method for automatically segmenting a mandible using shape-constrained information in a craniomaxillofacial cone beam computed tomography (CBCT) image comprises the steps of: (a) globally segmenting a mandible in a craniomaxillofacial CBCT image based on an average shape obtained from a statistical shape model of a mandible multi-detector computed tomography (MDCT) image; and (b) locally improving a mandible segmenting result in consideration of brightness value characteristics and shape information for each region. The mandible can be segmented by being robust to a noise in a craniomaxillofacial CBCT image with a low brightness value contrast ratio and the segmentation accuracy can be increased in a mandible body region including a narrow region formed with a large curvature and a condyle region of which a position is different for each patient.

Description

두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 방법 및 장치{METHOD AND APPARATUS FOR AUTOMATIC SEGMENTATION OF THE MANDIBLE USING SHAPE-CONSTRAINED INFORMATION IN CRANIO-MAXILLO-FACIAL CBCT IMAGES}TECHNICAL FIELD The present invention relates to a method and apparatus for automatically dividing a mandible using geometric constraint information in two or more maxillofacial CBCT images,

본 발명은 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for automatically dividing a mandible using shape constraint information in a two-facial CBCT image.

두개악안면 기형으로 인해 발생되는 악골의 형태 변형과 위치 변화는 얼굴 모양과 치아 교합에 큰 영향을 미치므로 악골 교정을 위한 악안면 수술을 위해 두개악안면 기형의 정확한 진단과 수술 계획이 필요하다. 또한, 치아 임플란트를 악골에 삽입하는 치아 임플란트 수술에서 악골의 위치와 해부학적 구조를 고려하여 수술을 계획하는 것이 필요하다.The morphological changes and position changes of the jaw caused by the two maxillofacial anomalies have a great effect on the facial shape and the tooth occlusion. Therefore, accurate diagnosis and plan of operation of the two maxillofacial anomalies are needed for maxillofacial surgery for jaw correction. In addition, it is necessary to plan the operation considering the position of the jaw and the anatomical structure in the dental implant surgery for inserting the tooth implant into the jaw.

이러한 수술 계획 시 필요한 악골 모델 생성을 위해 두개악안면 콘빔 컴퓨터단층촬영(CMT CBCT: Cranio-Manillo-Facial Cone Beam Computed Tomography) 영상에서 악골 분할이 선행되어야 한다. 두개악안면 CBCT 영상은 다중검출 컴퓨터단층촬영(MDCT: Multi-Detector Computed Tomography) 영상보다 방사선량이 적고 촬영 시간이 짧아 주로 사용되지만, 도 1과 같이 치아 보철물로 인한 금속성 잡음과 영상 촬영 시 움직임으로 인한 잡음이 발생할 뿐 아니라 환자마다 악골 형상이 다양하며 특히 관절구 뼈가 가늘어 주변과 밝기값 구분이 명확하지 않고, 관절구 영역의 위치와 형상이 다양하여 두개악안면 CBCT 영상에서 악골을 자동 분할하는데 한계가 있다.In order to create the necessary jaw model for this surgical planning, the division of the jaw should precede the CMT CBCT (Cranio-Manillo-Facial Cone Beam Computed Tomography) image. The two maxillofacial CBCT images are mainly used because they have a smaller radiation dose and shorter imaging time than MDCT (Multi-Detector Computed Tomography) images. However, as shown in FIG. 1, the metallic noise due to the dental prosthesis and the noise . In addition, there is a limit in the automatic segmentation of the jaws in the craniofacial CBCT images because of the variety of location and shape of the joint area, .

두개악안면 영상에서 악골을 분할하는 연구는 밝기값 기반, 형상모델 기반, 머신러닝 기반 분할 방법으로 나누어 볼 수 있다. 밝기값 기반 분할 방법의 경우, Spampinato 등은 MDCT 영상에서 비트 평면(bit plane)을 생성하여 최상위 비트 평면을 선택한 후, 형태학적 연산을 적용하여 가장 큰 연결 요소를 선택함으로써 하악골의 하단을 분할하였고, 하악골 상단의 경우 하악골 하단 분할 방법을 동일하게 사용한 후, 거리, 위치, 형상제약 조건에 만족하는 연결 요소를 선택하여 분할하였다. Nassef 등은 MDCT 영상에서 골조직과 주변 조직들은 서로 다른 밝기값을 갖는다는 점을 고려하여 최대와 최소 밝기값 기반의 씨앗 영역 성장법(seeded region growing)을 사용하여 하악골을 분할하였다. 그러나 밝기값 기반 분할 방법은 잡음이 많고 밝기값 대조대비가 상대적으로 낮은 두개악안면 CBCT 영상에서 골조직과 밝기값이 유사한 주변 조직으로 누출이 발생하여 분할 정확도가 떨어지는 한계점이 있다.The study of dividing jaws in two maxillofacial images can be divided into brightness value based, shape model based, and machine learning based partitioning methods. In the brightness-based segmentation method, Spampinato et al. Generated a bit plane in the MDCT image, selected the most significant bit plane, applied the morphological operation, and divided the bottom of the mandible by selecting the largest connecting element. In the case of the mandibular upper part, the method of splitting the mandibular lower part was used in the same way and then the connecting elements satisfying the distance, position and shape constraint were selected and divided. Nassef et al. Used the seeded region growing method based on the maximum and minimum brightness values to divide the mandible in consideration of the fact that the bone tissue and surrounding tissues have different brightness values in the MDCT image. However, the brightness-based segmentation method has a limitation in that the accuracy of segmentation is low due to leakage to peripheral tissues having similar brightness values to the bone tissue in two maxillofacial CBCT images, which have high noise and relatively low contrast in contrast.

형상모델 기반 분할 방법의 경우, Lamecker 등은 두개악안면 CBCT 영상에서 통계형상모델(SSM: Statistical Shape Model)을 생성하여 활성형상모델(ASM: Active Shape Model) 기반의 분할을 수행한 후, 분할한 형상모델의 표면 법선을 따라 생성한 밝기값 프로파일에서 밝기값 최대치를 탐색하여 하악골을 최종 분할하였다. Abdolali 등은 두개악안면 CBCT 영상에서 하악 신경관을 분할하기 위해 임계값 기법을 이용해 초기 하악골 영역을 분할하고, 활성형상모델 기반으로 하악골 분할을 개선하였다. Wang 등은 아틀라스 생성을 위해 MDCT 영상을 이용해 비강체 정합을 통해 초기 아틀라스를 생성하고 환자 맞춤형 아틀라스 생성을 위해 패치 기반 표현(patch-based representation)과 스파스 코딩(sparse coding)을 수행한 후, 최대사후확률(maximum a posteriori probability)을 통해 악골 분할을 수행하였다. 후속 연구로는 아틀라스 생성 시 상악골과 하악골의 치아 구분을 정확하게 하기 위해 비강체 정합 대신 머리와 치아 부위의 해부학적 랜드마크(landmark)를 이용하여 영상을 정렬시켜 환자 맞춤형 아틀라스를 생성하였다. Aghdasi 등은 훈련 및 테스트 데이터에서 해부학적 랜드마크를 사용하여 하악골 영역을 관심영역으로 설정하고, 임계값 기법을 기반으로 골조직을 분할하여 3차원 포인트 클라우드(point cloud)를 생성하고 ICP(Iterative Closest Point) 알고리즘 기반의 어파인 정합을 통해 하악골을 분할하였다.In the case of the shape model-based segmentation method, Lamecker et al. Generated a statistical shape model (SSM) on two maxillofacial CBCT images and performed segmentation based on the active shape model (ASM: Active Shape Model) The maximal value of brightness was searched in the brightness profile generated along the surface normal of the model, and the mandible was finally divided. Abdolali et al. Have divided the initial mandibular region using the threshold technique to divide the mandibular neural tube from the two maxillofacial CBCT images, and improved the mandibular segmentation based on the active shape model. Wang et al. Generated atlas using non-rigid matching using MDCT images for atlas generation and performed patch-based representation and sparse coding for patient-customized atlas generation, Jaw division was performed through a maximum a posteriori probability. In subsequent studies, patient - tailored atlas was created by aligning the images using anatomical landmarks of the head and teeth, instead of non - rigid body alignment, in order to precisely segment the teeth of the maxilla and mandible during atlas generation. Aghdasi et al. Used the anatomical landmarks in the training and test data to set the mandibular region as the region of interest and split the bone tissue based on the threshold technique to create a three-dimensional point cloud and generate an ICP (Iterative Closest Point ) Algorithm - based affine matching.

형상모델 기반 분할 방법은 훈련 데이터를 이용해 생성된 형상모델을 기반으로 악골을 분할하므로 금속성 잡음 등에 영향을 받지 않고 분할이 가능하나 형상모델을 생성하는데 사용하는 훈련 데이터의 개수와 형태가 분할 정확도에 영향을 미치며, 환자 맞춤형 아틀라스를 사용하더라도 환자마다 위치 변이가 큰 관절구 영역의 경우 분할 정확도가 낮아지는 한계가 있다.The shape model based segmentation method can divide the jaws based on the shape model generated using the training data so that they can be divided without being influenced by the metallic noise. However, the number and type of training data used to generate the shape model affects the division accuracy And there is a limit in that the accuracy of segmentation is lowered in the case of the joint region where the positional variation is large in each patient even if the patient-customized atlas is used.

머신러닝 기반 분할 방법의 경우, Wang 등은 전문가가 분할한 훈련 아틀라스를 테스트 CBCT 영상에 어파인 정합하여 다수 투표(majority voting) 기법을 사용하여 상악골과 하악골의 분할 확률맵을 추정한 후, CBCT 영상과 추정된 분할 확률맵에서 각각 하르-유사(Haar-like) 특징을 추출하고, 랜덤 포레스트(random forest)를 사용하여 분류기를 훈련시켰다. 또한, 분류기 훈련 단계와 분할 확률맵 개선 단계를 반복적으로 수행하여 최종적으로 분류기를 개선하여 악골을 분할했다. 이러한 머신러닝 기반 분할 방법은 많은 수의 레이블된 훈련 데이터가 필요하며 훈련 데이터의 수가 분할 정확도에 영향을 미친다는 한계가 있다.In the case of the machine learning based segmentation method, Wang et al. Proposed a method of predicting the segmentation probability map of the maxilla and mandible using the majority voting technique by matching the training atlas divided by the expert to the test CBCT image, Haar-like features were extracted from the estimated partition probability map, and the classifier was trained using a random forest. In addition, the classifier training step and the partition probability map improvement step are repeatedly performed, and finally, the classifier is improved to divide the jaw. Such a machine learning based partitioning method requires a large number of labeled training data and has a limitation that the number of training data affects the partitioning accuracy.

KRKR 10-171886810-1718868 B1B1

본 발명이 해결하고자 하는 과제는 밝기값 대조대비가 낮은 두개악안면 CBCT 영상에서 잡음에 견고하게 하악골을 분할할 수 있고, 큰 곡률로 이루어진 좁은 영역을 포함하는 하악골 체부 영역과 환자마다 위치가 상이한 관절구 영역의 분할 정확도를 향상시킬 수 있는, 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 방법을 제공하는 것이다.SUMMARY OF THE INVENTION The object of the present invention is to provide a method for dividing a mandible in a craniofacial CBCT image having a low contrast in a brightness value and a method of dividing the mandible into a plurality of regions, The present invention provides a method of automatically dividing a mandible using geometric constraint information in two maxillofacial CBCT images, which can improve the accuracy of segmentation of a region.

본 발명이 해결하고자 하는 다른 과제는 밝기값 대조대비가 낮은 두개악안면 CBCT 영상에서 잡음에 견고하게 하악골을 분할할 수 있고, 큰 곡률로 이루어진 좁은 영역을 포함하는 하악골 체부 영역과 환자마다 위치가 상이한 관절구 영역의 분할 정확도를 향상시킬 수 있는, 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 장치를 제공하는 것이다.Another problem to be solved by the present invention is to divide the mandible firmly into noise in the two maxillofacial CBCT images with low contrast of brightness value contrast and to provide a method of dividing the mandible body region including the narrow region of large curvature and the joints It is an object of the present invention to provide an apparatus for automatically dividing a mandible using shape constraint information in two maxillofacial CBCT images, which can improve the accuracy of division of a spherical region.

상기 과제를 해결하기 위한 본 발명의 일 실시예에 의한 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 방법은,According to another aspect of the present invention, there is provided a method for automatically dividing a mandible using shape constraint information in a two-facial CBCT image,

(a) 하악골 다중검출 컴퓨터단층촬영(MDCT) 영상의 통계형상모델로부터 획득된 평균 형상에 기반하여 두개악안면 콘빔 컴퓨터단층촬영(CBCT) 영상에서 전역적으로 하악골을 분할하는 단계; 및(a) dividing the mandible globally in a cranial maxillofacial computed tomography (CBCT) image based on an average shape obtained from a statistical shape model of a mandible multi-detector computed tomography (MDCT) image; And

(b) 영역별 형태 정보 및 밝기값 특징을 고려하여 지역적으로 상기 하악골 분할 결과를 개선하는 단계를 포함한다.(b) locally enhancing the mandible segmentation result in consideration of the feature information and the brightness value feature of each region.

본 발명의 일 실시예에 의한 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 방법에 있어서, 상기 단계 (a)는,In the method of automatically dividing a mandible using shape constraint information in a craniofacial surface CBCT image according to an embodiment of the present invention, the step (a)

(a-1) 상기 CBCT 영상과 상기 MDCT 영상이 동일한 밝기값 범위를 갖도록, 상기 CBCT 영상과 상기 MDCT 영상의 밝기값을 정규화하는 단계;(a-1) normalizing brightness values of the CBCT image and the MDCT image so that the CBCT image and the MDCT image have the same brightness value range;

(a-2) 상기 MDCT 영상의 통계형상모델로부터 평균 형상을 획득하는 단계;(a-2) obtaining an average shape from the statistical shape model of the MDCT image;

(a-3) 상기 CBCT 영상의 밝기값 프로파일과 상기 평균 형상의 밝기값 프로파일 간의 유사성 측정을 통해 예측 형상을 생성하는 단계;(a-3) generating a predicted shape by measuring similarity between a brightness value profile of the CBCT image and a brightness value profile of the average shape;

(a-4) 상기 통계형상모델의 최적 변형 모드를 산정하여 상기 예측 형상의 변형된 형상을 획득하는 단계; 및(a-4) obtaining a deformed shape of the predicted shape by calculating an optimal deformation mode of the statistical shape model; And

(a-5) 상기 변형된 형상에 기반하여 상기 CBCT 영상에서 하악골을 분할하는 단계를 포함할 수 있다,(a-5) dividing the mandible in the CBCT image based on the deformed shape,

또한, 본 발명의 일 실시예에 의한 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 방법에 있어서, 상기 단계 (a-3)은,In the method of automatically dividing a mandible using geometric constraint information in a craniofacial surface CBCT image according to an embodiment of the present invention, the step (a-3)

상기 정규화된 두개악안면 CBCT 영상의 밝기값 프로파일과 상기 평균 형상의 밝기값 프로파일 간의 유사성 측정을 통해 수학식 2와 같이 정점을 최적화된 지점으로 이동하여 예측 정점(

Figure 112017115931237-pat00001
)을 생성하여 예측 정점들의 집합인 예측 형상을 생성하는 단계를 포함하고,The similarity between the brightness value profile of the normalized two craniofacial surface CBCT images and the brightness profile of the average shape is measured to move the vertex to the optimized point as shown in Equation (2)
Figure 112017115931237-pat00001
And generating a prediction shape that is a set of prediction vertices,

[수학식 2]&Quot; (2) "

Figure 112017115931237-pat00002
Figure 112017115931237-pat00002

Figure 112017115931237-pat00003
은 t 시점에서 평균 형상 표면을 구성하는 i번째 정점
Figure 112017115931237-pat00004
의 예측된 정점을 나타내며, ni는 정점
Figure 112017115931237-pat00005
의 법선 벡터 방향이고,
Figure 112017115931237-pat00006
는 i번째 정점
Figure 112017115931237-pat00007
의 밝기값 프로파일 내에 최적화된 지점 i번째 정점
Figure 112017115931237-pat00008
와의 유클리디안 거리 함수 ED를 통해 계산되며, I는 두개악안면 CBCT 영상의 밝기값이고,
Figure 112017115931237-pat00009
은 평균 형상의 밝기값이며,
Figure 112017115931237-pat00010
는 훈련 데이터에서 i번째 정점의 평균 밝기값에 대한 표준 편차이고, N은 밝기값 프로파일의 길이를 나타낼 수 있다.
Figure 112017115931237-pat00003
Is an i-th peak
Figure 112017115931237-pat00004
And n i represents the vertex of the vertex
Figure 112017115931237-pat00005
Gt; is the normal vector direction of <
Figure 112017115931237-pat00006
Is the ith vertex
Figure 112017115931237-pat00007
Lt; RTI ID = 0.0 > i < / RTI >
Figure 112017115931237-pat00008
Is calculated through the Euclidean distance function ED, I is the brightness value of the two maxillofacial CBCT images,
Figure 112017115931237-pat00009
Is the brightness value of the average shape,
Figure 112017115931237-pat00010
Is the standard deviation of the average brightness value of the i-th vertex in the training data, and N is the length of the brightness value profile.

또한, 본 발명의 일 실시예에 의한 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 방법에 있어서, 상기 단계 (a-4)에서, 상기 최적 변형 모드(

Figure 112017115931237-pat00011
)와 상기 변형된 형상(
Figure 112017115931237-pat00012
)은, 수학식 3을 통해 계산되고,In the method of automatically dividing a mandible using geometric constraint information in a craniofacial surface CBCT image according to an embodiment of the present invention, in the step (a-4)
Figure 112017115931237-pat00011
) And the deformed shape (
Figure 112017115931237-pat00012
) Is calculated through Equation (3)

[수학식 3]&Quot; (3) "

Figure 112017115931237-pat00013
Figure 112017115931237-pat00013

Figure 112017115931237-pat00014
는 평균 형상이며,
Figure 112017115931237-pat00015
는 최적화된 t시점에서의 예측 형상이고,
Figure 112017115931237-pat00016
는 최소 제곱법으로 구해진 값이며, P는 주 변형성분 행렬일 수 있다.
Figure 112017115931237-pat00014
Is an average shape,
Figure 112017115931237-pat00015
Is a predicted shape at the optimized time t,
Figure 112017115931237-pat00016
Is a value obtained by a least squares method, and P may be a main strain component matrix.

또한, 본 발명의 일 실시예에 의한 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 방법에 있어서, 상기 단계 (a-3) 및 단계 (a-4)는 변형된 형상의 변화가 일정 이하가 되거나 최대 반복 횟수를 만족할 때까지 수행될 수 있다.In the method of automatically dividing a mandible using shape constraint information in a two-facial CBCT image according to an embodiment of the present invention, the steps (a-3) and (a-4) Or until the maximum number of repetitions is satisfied.

또한, 본 발명의 일 실시예에 의한 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 방법에 있어서, 상기 단계 (b)는,Further, in the method of automatically dividing a mandible using shape constraint information in a craniofacial surface CBCT image according to an embodiment of the present invention, the step (b)

(b-1) 상기 단계 (a)에서 분할된 CBCT 영상의 전역적 하악골 분할 결과에 기반하여, 뼈 영역을 최대로 포함할 수 있도록 점진적으로 윈도우를 확장하여 분할 영역을 산정하는 단계;(b-1) estimating a segmented region by gradually expanding a window so as to maximally include a bone region, based on a global mandible segmentation result of the CBCT image segmented in the step (a);

(b-2) 이진화를 사용하여 최종적으로 하악골 체부 영역을 분할하는 단계;(b-2) dividing the mandibular body region ultimately using binarization;

(b-3) 관절구 영역의 시작 지점 슬라이스에서 분할된 관절구의 형태 정보를 고려하여 일정 범위의 밴드 형태의 윈도우를 산정하는 단계; 및(b-3) calculating a band-shaped window of a certain range in consideration of morphological information of the joints divided at the start point slice of the joint region; And

(b-4) 산정된 윈도우 내에서 강화된 밝기값 지도를 생성하여 관절구 영역을 분할하는 단계를 포함할 수 있다.(b-4) generating an enhanced brightness value map within the estimated window to divide the articulation region.

또한, 본 발명의 일 실시예에 의한 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 방법에 있어서, 상기 단계 (b-4)는,In the method of automatically dividing a mandible using shape restriction information in a craniofacial surface CBCT image according to an embodiment of the present invention, the step (b-4)

하위 30% 이하의 기울기 크기를 갖는 부분을 0으로 변환하여 강화된 기울기 지도를 생성한 후, 상기 밴드 내 x, y축으로 가장 큰 기울기 크기를 갖는 화소들을 관절구 영역의 경계선으로 설정하여 관절구 영역 분할 결과를 개선하는 단계를 포함할 수 있다.A gradient slope map is generated by converting a portion having a slope size of less than 30% to 0, and then a pixel having the largest slope size in the x and y axes in the band is set as a boundary line of the articulation region, And improving the region segmentation result.

상기 다른 과제를 해결하기 위한 본 발명의 일 실시예에 의한 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 장치는,According to another aspect of the present invention, there is provided an apparatus for automatically dividing a mandible using shape constraint information in a two-facial CBCT image,

하악골 다중검출 컴퓨터단층촬영(MDCT) 영상의 통계형상모델로부터 획득된 평균 형상에 기반하여 두개악안면 콘빔 컴퓨터단층촬영(CBCT) 영상에서 전역적으로 하악골을 분할하기 위한 전역적 하악골 분할부; 및Global Mandibular Partition for Global Mandibular Segmentation in Craniofacial Convex Computed Tomography (CBCT) Images Based on the Mean Shape Obtained from Statistical Shape Model of Mandibular Multimetection Computed Tomography (MDCT) Images; And

영역별 형태 정보 및 밝기값 특징을 고려하여 지역적으로 상기 하악골 분할 결과를 개선하기 위한 지역적 하악골 분할 개선부를 포함한다.And a regional mandibular segmentation improvement unit for improving the result of the mandibular segmentation regionally considering the feature information and the brightness value characteristic by region.

본 발명의 일 실시예에 의한 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 장치에 있어서, 상기 전역적 하악골 분할부는,In an automatic mandible dividing device using shape restriction information in a craniofacial surface CBCT image according to an embodiment of the present invention,

(a-1) 상기 CBCT 영상과 상기 MDCT 영상이 동일한 밝기값 범위를 갖도록, 상기 CBCT 영상과 상기 MDCT 영상의 밝기값을 정규화하는 동작;(a-1) normalizing brightness values of the CBCT image and the MDCT image so that the CBCT image and the MDCT image have the same brightness value range;

(a-2) 상기 MDCT 영상의 통계형상모델로부터 평균 형상을 획득하는 동작;(a-2) obtaining an average shape from a statistical shape model of the MDCT image;

(a-3) 상기 CBCT 영상의 밝기값 프로파일과 상기 평균 형상의 밝기값 프로파일 간의 유사성 측정을 통해 예측 형상을 생성하는 동작;(a-3) generating a predicted shape by measuring similarity between a brightness value profile of the CBCT image and a brightness value profile of the average shape;

(a-4) 상기 통계형상모델의 최적 변형 모드를 산정하여 상기 예측 형상의 변형된 형상을 획득하는 동작; 및(a-4) obtaining the deformed shape of the predicted shape by calculating an optimal deformation mode of the statistical shape model; And

(a-5) 상기 변형된 형상에 기반하여 상기 CBCT 영상에서 하악골을 분할하는 동작을 수행할 수 있다.(a-5) dividing the mandible in the CBCT image based on the deformed shape.

또한, 본 발명의 일 실시예에 의한 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 장치에 있어서, 상기 동작 (a-3)은,In addition, in the automatic mandible dividing device using the shape constraint information in the two maxilla-faceted CBCT images according to the embodiment of the present invention, the operation (a-3)

상기 정규화된 두개악안면 CBCT 영상의 밝기값 프로파일과 상기 평균 형상의 밝기값 프로파일 간의 유사성 측정을 통해 수학식 2와 같이 정점을 최적화된 지점으로 이동하여 예측 정점(

Figure 112017115931237-pat00017
)을 생성하여 예측 정점들의 집합인 예측 형상을 생성하는 동작을 포함하고,The similarity between the brightness value profile of the normalized two craniofacial surface CBCT images and the brightness profile of the average shape is measured to move the vertex to the optimized point as shown in Equation (2)
Figure 112017115931237-pat00017
) To generate a predicted shape, which is a set of predicted vertices,

[수학식 2]&Quot; (2) "

Figure 112017115931237-pat00018
Figure 112017115931237-pat00018

Figure 112017115931237-pat00019
은 t 시점에서 평균 형상 표면을 구성하는 i번째 정점
Figure 112017115931237-pat00020
의 예측된 정점을 나타내며, ni는 정점
Figure 112017115931237-pat00021
의 법선 벡터 방향이고,
Figure 112017115931237-pat00022
는 i번째 정점
Figure 112017115931237-pat00023
의 밝기값 프로파일 내에 최적화된 지점 i번째 정점
Figure 112017115931237-pat00024
와의 유클리디안 거리함수 ED를 통해 계산되며, I는 두개악안면 CBCT 영상의 밝기값이고,
Figure 112017115931237-pat00025
은 평균 형상의 밝기값이며,
Figure 112017115931237-pat00026
는 훈련 데이터에서 i번째 정점의 평균 밝기값에 대한 표준 편차이고, N은 밝기값 프로파일의 길이를 나타낼 수 있다.
Figure 112017115931237-pat00019
Is an i-th peak
Figure 112017115931237-pat00020
And n i represents the vertex of the vertex
Figure 112017115931237-pat00021
Gt; is the normal vector direction of <
Figure 112017115931237-pat00022
Is the ith vertex
Figure 112017115931237-pat00023
Lt; RTI ID = 0.0 > i < / RTI >
Figure 112017115931237-pat00024
Is calculated through the Euclidean distance function ED, I is the brightness value of the two maxillofacial CBCT images,
Figure 112017115931237-pat00025
Is the brightness value of the average shape,
Figure 112017115931237-pat00026
Is the standard deviation of the average brightness value of the i-th vertex in the training data, and N is the length of the brightness value profile.

또한, 본 발명의 일 실시예에 의한 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 장치에 있어서, 상기 동작 (a-4)에서, 상기 최적 변형 모드(

Figure 112017115931237-pat00027
)와 상기 변형된 형상(
Figure 112017115931237-pat00028
)은, 수학식 3을 통해 계산되고,In addition, in the automatic mandible dividing apparatus using shape constraint information in two maxilla-facial CBCT images according to an embodiment of the present invention, in the operation (a-4)
Figure 112017115931237-pat00027
) And the deformed shape (
Figure 112017115931237-pat00028
) Is calculated through Equation (3)

[수학식 3]&Quot; (3) "

Figure 112017115931237-pat00029
Figure 112017115931237-pat00029

Figure 112017115931237-pat00030
는 평균 형상이며,
Figure 112017115931237-pat00031
는 최적화된 t시점에서의 예측 형상이고,
Figure 112017115931237-pat00032
는 최소 제곱법으로 구해진 값이며, P는 주 변형성분 행렬일 수 있다.
Figure 112017115931237-pat00030
Is an average shape,
Figure 112017115931237-pat00031
Is a predicted shape at the optimized time t,
Figure 112017115931237-pat00032
Is a value obtained by a least squares method, and P may be a main strain component matrix.

또한, 본 발명의 일 실시예에 의한 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 장치에 있어서, 상기 동작 (a-3) 및 동작 (a-4)는 변형된 형상의 변화가 일정 이하가 되거나 최대 반복 횟수를 만족할 때까지 수행될 수 있다.In addition, in the automatic mandible dividing apparatus using shape restriction information in two maxilla-faceted CBCT images according to an embodiment of the present invention, the operations (a-3) and (a-4) Or until the maximum number of repetitions is satisfied.

또한, 본 발명의 일 실시예에 의한 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 장치에 있어서, 상기 동작 (b)는,In addition, in the automatic mandible dividing device using shape constraint information in two maxilla-facial CBCT images according to an embodiment of the present invention, the operation (b)

(b-1) 상기 동작 (a)에서 분할된 상기 CBCT 영상의 전역적 하악골 분할 결과에 기반하여, 뼈 영역을 최대로 포함할 수 있도록 점진적으로 윈도우를 확장하여 분할 영역을 산정하는 동작;(b-1) calculating a divided region by gradually expanding a window so as to maximally include a bone region, based on a global mandible segmentation result of the CBCT image divided in the operation (a);

(b-2) 이진화를 사용하여 최종적으로 하악골 체부 영역을 분할하는 동작;(b-2) an operation of dividing the mandible body region finally using binarization;

(b-3) 관절구 영역의 시작 지점 슬라이스에서 분할된 관절구의 형태 정보를 고려하여 일정 범위의 밴드 형태의 윈도우를 산정하는 동작; 및(b-3) calculating a window of a certain range of bands considering the shape information of the joints divided at the start point slice of the joint region; And

(b-4) 산정된 윈도우 내에서 강화된 밝기값 지도를 생성하여 관절구 영역을 분할하는 동작을 포함할 수 있다.(b-4) generating an enhanced brightness value map within the estimated window to divide the articulation region.

또한, 본 발명의 일 실시예에 의한 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 장치에 있어서, 상기 동작 (b-4)는,In addition, in the automatic mandible dividing device using shape restriction information in two cranial facial CBCT images according to an embodiment of the present invention, the operation (b-4)

하위 30% 이하의 기울기 크기를 갖는 부분을 0으로 변환하여 강화된 기울기 지도를 생성한 후, 상기 밴드 내 x, y축으로 가장 큰 기울기 크기를 갖는 화소들을 관절구 영역의 경계선으로 설정하여 관절구 영역 분할 결과를 개선하는 동작을 포함할 수 있다.A gradient slope map is generated by converting a portion having a slope size of less than 30% to 0, and then a pixel having the largest slope size in the x and y axes in the band is set as a boundary line of the articulation region, And to improve the result of region segmentation.

본 발명의 일 실시예에 의한 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 방법 및 장치에 의하면, 밝기값 대조대비가 낮은 두개악안면 CBCT 영상에서 잡음에 견고하게 하악골을 분할할 수 있고, 큰 곡률로 이루어진 좁은 영역을 포함하는 하악골 체부 영역과 환자마다 위치가 상이한 관절구 영역의 분할 정확도를 향상시킬 수 있다.According to the method and apparatus for automatically dividing the mandible using the shape constraint information in the two maxillofacial CBCT images according to the embodiment of the present invention, it is possible to divide the mandible firmly into noise in the two maxillofacial CBCT images with low contrast of the brightness value, It is possible to improve the accuracy of division of the mandible body region including the narrow region made of the curvature and the joint region having the different positions for each patient.

도 1은 두개악안면 CBCT 영상들의 특성을 도시한 도면으로, (a) 금속성 잡음, (b) 움직임으로 인한 잡음, (c) 큰 곡률의 좁은 영역을 포함하는 하악골 체부 영역, (d) 밝기값 대조대비가 낮고 얇은 뼈를 갖는 관절구 영역, (e) 환자에 따른 다양한 관절구 형상 및 위치를 도시한 도면.
도 2는 본 발명의 일 실시예에 의한 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 장치의 블록도.
도 3은 본 발명의 일 실시예에 의한 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 방법의 흐름도.
도 4는 도 3의 전역적 하악골 분할 단계의 상세 흐름도.
도 5는 도 3의 지역적으로 하악골 분할 결과를 개선하는 단계의 상세 흐름도.
도 6은 밝기값 정규화를 도시한 도면으로, (a) 밝기값 정규화 이전의 MDCT 영상, (b) 밝기값 정규화 이후의 MDCT 영상, (c) 밝기값 정규화 이전의 CBCT 영상, (d) 밝기값 정규화 이후의 CBCT 영상을 도시한 도면.
도 7은 CBCT 영상의 밝기값 프로파일과 평균 형상의 밝기값 프로파일 간의 유사성 측정을 통한 형상 예측을 도시한 도면으로, M은 CBCT 영상의 밝기값 프로파일 길이.
도 8은 전역적 형상제약 하악골 분할의 결과를 도시한 도면으로, (a) 원본 영상, (b) 전역적 형상제약 분할 이후의 영상을 도시한 도면.
도 9는 하악골 체부 영역에서의 점진적 슬라이딩 윈도우 탐색을 도시한 도면으로, (a)는 전역적 형상제약 하악골 분할을 사용한 초기 슬라이딩 윈도우, (b) 윈도우 크기를 점진적으로 확장하는 최종 슬라이딩 윈도우를 도시한 도면.
도 10은 관절구 영역의 좁은 밴드 내의 강화된 기울기 지도의 생성을 도시한 도면으로, (a) 전역적 형상제약 분할, (b) 일반적인 기울기 지도, (c) 강화된 기울기 지도, (d) 지역적 형상제약 분할을 도시한 도면.
도 11은 두개악안면 CBCT 영상들에 대한 제안된 형상제약 하악골 분할의 결과들을 도시한 도면으로, (a) 원본 이미지, (b) 방법 A, (c) 방법 B, (d) 수동 분할, (e) 방법 A(상단)와 방법 B(하단)의 ADD 오차를 컬러맵으로 가시화한 도면.
도 12는 하악골 체부 영역과 관절구 영역에 대한 제안된 형상제약 분할의 정량적 평가를 도시한 도면으로, (a)는 방법 A와 방법 B 간의 DSC의 박스플롯, (b) 방법 A와 방법 B 간의 ADD의 박스플롯을 도시한 도면.FIG. 1 is a diagram showing the characteristics of two maxillofacial CBCT images. FIG. 1 (a) shows metallic noise, (b) noise due to motion, (c) a mandible body region including a narrow region of large curvature, A joint area having a low contrast and a thin bone, (e) various joint shapes and positions according to the patient.
2 is a block diagram of a mandibular automatic segmentation apparatus using shape constraint information in two maxilla-faceted CBCT images according to an embodiment of the present invention.
3 is a flowchart of a method of automatically dividing a mandible using geometric constraint information in two maxillofacial CBCT images according to an embodiment of the present invention.
Figure 4 is a detailed flowchart of the global mandibular segmentation step of Figure 3;
Figure 5 is a detailed flowchart of the step of locally improving the mandible segmentation result of Figure 3;
FIG. 6 is a diagram illustrating normalization of brightness values, in which (a) an MDCT image before brightness normalization, (b) an MDCT image after brightness normalization, (c) a CBCT image before brightness normalization, A diagram showing a CBCT image after normalization.
FIG. 7 is a diagram illustrating shape prediction by measuring similarity between a brightness value profile of a CBCT image and a brightness value profile of an average shape, and M is a brightness value profile length of a CBCT image.
FIG. 8 is a view showing the result of global shape constraint mandibular segmentation, which shows (a) an original image, and (b) an image after global shape constraint division;
FIG. 9 shows a progressive sliding window search in the mandible body region, wherein (a) shows an initial sliding window using a global shape constraint mandibular segmentation, and (b) a final sliding window that gradually expands the window size drawing.
Figure 10 shows the creation of an enhanced gradient map within a narrow band of the articulation region, which includes (a) global shape constraint partitioning, (b) general slope map, (c) enhanced slope map, (d) Fig.
Figure 11 shows the results of the proposed shape constraint mandibular segmentation for two maxillofacial CBCT images, including (a) original image, (b) method A, (c) method B, ) Diagram showing ADD error of method A (top) and method B (bottom) as color map.
Figure 12 shows a quantitative evaluation of the proposed shape constraint partitioning for the mandibular body region and the articulating region, wherein (a) is a box plot of DSC between Method A and Method B, (b) between the method A and Method B A diagram showing a box plot of ADD.

본 발명의 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 연관되어지는 이하의 상세한 설명과 바람직한 실시예들로부터 더욱 명백해질 것이다.BRIEF DESCRIPTION OF THE DRAWINGS The objectives, specific advantages and novel features of the present invention will become more apparent from the following detailed description taken in conjunction with the accompanying drawings, in which: FIG.

이에 앞서 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이고 사전적인 의미로 해석되어서는 아니되며, 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있는 원칙에 입각하여 본 발명의 기술적 사상에 부합되는 의미와 개념으로 해석되어야 한다.Prior to that, terms and words used in the present specification and claims should not be construed in a conventional and dictionary sense, and the inventor may properly define the concept of the term in order to best explain its invention Should be construed in accordance with the principles and the meanings and concepts consistent with the technical idea of the present invention.

본 명세서에서 각 도면의 구성요소들에 참조번호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다.It should be noted that, in the present specification, the reference numerals are added to the constituent elements of the drawings, and the same constituent elements are assigned the same number as much as possible even if they are displayed on different drawings.

또한, "제1", "제2", "일면", "타면" 등의 용어는, 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 상기 용어들에 의해 제한되는 것은 아니다.Also, the terms "first", "second", "one side", "other side", etc. are used to distinguish one element from another, It is not.

이하, 본 발명을 설명함에 있어, 본 발명의 요지를 불필요하게 흐릴 수 있는 관련된 공지 기술에 대한 상세한 설명은 생략한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS In the following description of the present invention, a detailed description of known arts which may unnecessarily obscure the gist of the present invention will be omitted.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시형태를 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 발명의 일 실시예에 의한 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 방법 및 장치에서는 하악골 MDCT 영상으로부터 생성한 하악골 통계형상모델을 기반으로 활성형상모델 분할을 수행하여 잡음에 견고하게 CBCT 영상에서 하악골을 분할하고(200, 단계 S300), 하악골의 영역별 형태 정보 및 밝기값 특징을 고려하여 하악골 분할 결과를 개선한다(202, 단계 S302).In the method and apparatus for automatically dividing the mandible using the shape constraint information in the two maxillofacial CBCT images according to the embodiment of the present invention, active shape model division is performed based on the mandible statistical shape model generated from the mandible MDCT image, The mandible is divided in the image (Step 200, Step S300), and the mandible segmentation result is improved 202 (Step S302) by considering the morphological information and brightness characteristic of the mandible.

하악골Mandible 자동 분할 Automatic segmentation

도 2에 도시된 본 발명의 일 실시예에 의한 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 장치는, 하악골 다중검출 컴퓨터단층촬영(MDCT) 영상의 통계형상모델 기반으로 활성형상모델을 수행하여 하악골을 전역적으로 분할하기 위한 전역적 하악골 분할부(200), 및 영역별 형태 정보 및 밝기값 특징을 고려하여 상기 하악골 분할 결과를 지역적으로 개선하기 위한 지역적 하악골 분할 개선부(202)를 포함한다.The automatic mandatory segmentation apparatus using shape constraint information in two maxillofacial CBCT images according to an embodiment of the present invention shown in FIG. 2 performs an active shape model based on a statistical shape model of a mandible multidetector computed tomography (MDCT) image A global mandibular dividing unit 200 for dividing the mandible globally, and a regional mandibular dividing improving unit 202 for locally improving the mandible dividing result in consideration of feature information and brightness value characteristics of each region do.

또한, 도 3에 도시된 본 발명의 일 실시예에 의한 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 방법은, (a) 하악골 다중검출 컴퓨터단층촬영(MDCT) 영상의 통계형상모델로부터 획득된 평균 형상에 기반하여 두개악안면 콘빔 컴퓨터단층촬영(CBCT) 영상에서 전역적으로 하악골을 분할하는 단계(단계 S300), 및 (b) 영역별 형태 정보 및 밝기값 특징을 고려하여 지역적으로 상기 하악골 분할 결과를 개선하는 단계(단계 S302)를 포함한다.In addition, the method of automatically dividing a mandible using shape constraint information in two maxillofacial CBCT images according to an embodiment of the present invention shown in FIG. 3 includes (a) obtaining from a statistical shape model of a mandible multi-detection computerized tomography (MDCT) (Step S300) of dividing the mandible globally in the craniofacial condyle computed tomography (CBCT) image based on the average shape of the mandible (step S300), and (b) And improving the result (step S302).

형상정보 기반의 전역적 Globally based on geometry information 하악골Mandible 분할 Division

두개악안면 CBCT 영상에서 하악골은 적은 방사선량의 사용으로 잡음이 많고, MDCT 영상보다 밝기값 대조대비와 영상 화질이 상대적으로 낮아 밝기값 기반으로 하악골을 분할하는데 한계가 있다. 따라서 단계 S300에서, 전역적 하악골 분할부(200)는, 두개악안면 CBCT 영상보다 밝기값 대조대비가 상대적으로 명확한 하악골 MDCT 영상을 사용하여 통계형상모델을 생성하고 통계형상모델로부터 획득된 평균 형상을 이용한 형상정보 기반의 분할을 수행함으로써 CBCT 영상에서 잡음에 견고하게 하악골을 분할한다.In craniofacial CBCT images, there is a lot of noise due to low dose of the mandible, and there is a limit to divide the mandible based on the brightness value because the contrast value and the image quality are comparatively lower than the MDCT image. Accordingly, in step S300, the global mandibular segmentation unit 200 generates a statistical shape model using a mandible MDCT image having a relatively clear contrast of brightness value contrast than the two maxillofacial CBCT images, and uses the average shape obtained from the statistical shape model We divide the mandible firmly into noise in CBCT images by performing segmentation based on shape information.

도 4를 참조하여, 전역적 하악골 분할에 대해 상세히 설명하기로 한다.With reference to FIG. 4, the global mandibular segmentation will be described in detail.

두개악안면 CBCT 영상의 밝기값은 15-비트를 사용하고 하악골 MDCT 영상은 12-비트를 사용하여 밝기값 범위가 다르므로, 단계 S400에서, 전역적 하악골 분할부(200)는 뼈를 포함하는 밝기값 범위를 수학식 1과 같이 0~255로 밝기값 정규화를 수행하여 도 6의 (b), (d)처럼 두 영상이 동일한 밝기값 범위를 갖도록 밝기값 변환을 수행한다.Since the brightness value range of the craniofacial CBCT image is 15-bit and the 12-bit range of the mandible MDCT image is different, the global mandibular segmentation unit 200 determines the brightness value including the bone The range of brightness values is normalized from 0 to 255 as shown in Equation 1 to perform brightness value conversion so that the two images have the same brightness value range as shown in FIGS. 6 (b) and 6 (d).

Figure 112017115931237-pat00033
Figure 112017115931237-pat00033

이때, I는 원본 영상의 밝기값이고

Figure 112017115931237-pat00034
와
Figure 112017115931237-pat00035
은 각각 사용하고자 하는 밝기값 범위의 최대값과 최소값으로, 실험에 의해 -200HU과 1550HU을 사용한다.At this time, I is the brightness value of the original image
Figure 112017115931237-pat00034
Wow
Figure 112017115931237-pat00035
Are -200HU and 1550HU, respectively, as the maximum and minimum values of the brightness range to be used, respectively.

단계 S402에서, 전역적 하악골 분할부(200)는 하악골 MDCT 영상의 통계형상모델로부터 평균 형상을 획득한다. 통계형상모델 생성을 위해 밝기값 정규화된 MDCT 영상을 사용하고, 생성 기법은 이전 연구로 수행된 방법을 사용하였다.In step S402, the global mandibular segmentation section 200 acquires an average shape from the statistical shape model of the mandible MDCT image. In order to generate the statistical shape model, the brightness normalized MDCT image is used and the generation method is the same as the previous method.

형상정보 기반의 활성형상모델 분할은 통계형상모델로부터 얻은 평균 형상을 밝기값 정규화된 두개악안면 CBCT 영상에 올려놓은 후 형상 예측과 변형 단계를 반복적으로 수행하여 하악골을 전역적으로 분할한다.The active shape model segmentation based on shape information is performed by repeatedly performing the shape prediction and deformation steps after placing the average shape obtained from the statistical shape model on two craniofacial CBCT images normalized with brightness values and dividing the mandible globally.

단계 S404의 형상 예측 단계에서는 도 7과 같이 밝기값 정규화된 두개악안면 CBCT 영상의 밝기값 프로파일(profile)과 평균 형상의 밝기값 프로파일 간의 유사성 측정을 통해 수학식 2와 같이 정점을 최적화된 지점으로 이동하여 예측 정점(

Figure 112017115931237-pat00036
)을 생성하여 예측 정점들의 집합인 예측 형상을 생성하며, 유사성 측정 방법은 유클리디안 거리(Euclidean distance)를 사용한다. In the shape prediction step of step S404, the similarity between the brightness value profile of the two craniofacial CBCT images normalized in brightness values and the brightness value profile of the average shape is measured, as shown in FIG. 7, to move the vertex to the optimized point And the predicted vertex (
Figure 112017115931237-pat00036
) To generate a predicted shape, which is a set of predicted vertices, and the similarity measurement method uses an Euclidean distance.

Figure 112017115931237-pat00037
Figure 112017115931237-pat00037

이때,

Figure 112017115931237-pat00038
은 t 시점에서 평균 형상 표면을 구성하는 i번째 정점
Figure 112017115931237-pat00039
의 예측된 정점을 나타내며, ni는 정점
Figure 112017115931237-pat00040
의 법선 벡터 방향이다.
Figure 112017115931237-pat00041
는 i번째 정점
Figure 112017115931237-pat00042
의 밝기값 프로파일 내에 최적화된 지점 i번째 정점
Figure 112017115931237-pat00043
와의 유클리디안 거리함수 ED를 통해 계산된다. I는 두개악안면 CBCT 영상의 밝기값이고,
Figure 112017115931237-pat00044
은 평균 형상의 밝기값이다.
Figure 112017115931237-pat00045
는 훈련 데이터에서 i번째 정점의 평균 밝기값에 대한 표준 편차이고, N은 밝기값 프로파일 길이를 나타낸다. At this time,
Figure 112017115931237-pat00038
Is an i-th peak
Figure 112017115931237-pat00039
And n i represents the vertex of the vertex
Figure 112017115931237-pat00040
Is the normal vector direction.
Figure 112017115931237-pat00041
Is the ith vertex
Figure 112017115931237-pat00042
Lt; RTI ID = 0.0 > i < / RTI >
Figure 112017115931237-pat00043
Lt; RTI ID = 0.0 > ED. ≪ / RTI > I is the brightness value of the two maxillofacial CBCT images,
Figure 112017115931237-pat00044
Is the brightness value of the average shape.
Figure 112017115931237-pat00045
Is the standard deviation of the average brightness value of the i-th vertex in the training data, and N is the brightness value profile length.

단계 S406의 형상 변형 단계에서는 각 정점의 법선 방향으로만 이동하여 형상이 왜곡되거나 잘못 산정될 수 있으므로 수학식 3과 같이 통계적으로 허용 가능한 범위에서 통계형상모델의 최적 변형 모드를 산정하여 변형된 형상(

Figure 112017115931237-pat00046
)을 구한다. 최적 변형 모드(
Figure 112017115931237-pat00047
)는 최소 제곱법(least square method)을 사용하여 수학식 3을 통해 계산되며, 본 발명의 일 실시예에서는 -3 내지 +3 범위의 변형 모드 중 하나가 최적 변형 모드로 산정된다.In the shape deformation step of step S406, the shape may be distorted or misdirected by moving only in the normal direction of each vertex. Therefore, the optimal deformation mode of the statistical shape model is calculated within a statistically acceptable range as shown in equation (3)
Figure 112017115931237-pat00046
). Optimum strain mode (
Figure 112017115931237-pat00047
) Is calculated through Equation 3 using the least square method, and in one embodiment of the present invention, one of the deformation modes in the range of -3 to +3 is estimated as the optimum deformation mode.

Figure 112017115931237-pat00048
Figure 112017115931237-pat00048

이때,

Figure 112017115931237-pat00049
는 평균 형상이고,
Figure 112017115931237-pat00050
는 최적화된 t시점에서의 예측 형상이며,
Figure 112017115931237-pat00051
는 최소 제곱법으로 구해진 값이다. 변형 모드
Figure 112017115931237-pat00052
는 주 변형성분 행렬(P)과 예측 형상(
Figure 112017115931237-pat00053
)과 평균 형상(
Figure 112017115931237-pat00054
)을 통해 계산된다. 최적 변형 모드가 구해지면 최종적으로 변형된 형상
Figure 112017115931237-pat00055
를 계산한다. 주 변형성분 행렬(P)은 MDCT 영상의 통계형상모델과 함께 획득될 수 있으며, 화소에 대한 방향성을 나타낸다.At this time,
Figure 112017115931237-pat00049
Is an average shape,
Figure 112017115931237-pat00050
Is a predicted shape at the optimized time t,
Figure 112017115931237-pat00051
Is a value obtained by least square method. Deformation mode
Figure 112017115931237-pat00052
(P) and the predicted shape (
Figure 112017115931237-pat00053
) And average shape (
Figure 112017115931237-pat00054
). When the optimum deformation mode is obtained,
Figure 112017115931237-pat00055
. The main distortion component matrix P can be obtained together with the statistical shape model of the MDCT image and indicates the directionality to the pixel.

단계 S404의 형상 예측 단계와 단계 S406의 변형 단계는 통계형상 정보에 의해 변형된 형상의 변화가 일정 이하가 되거나 최대 반복 횟수를 만족할 때까지 수행될 수 있다.The shape prediction step of step S404 and the deforming step of step S406 may be performed until the variation of the shape deformed by the statistical shape information is less than or equal to the predetermined maximum number of iterations.

단계 S408에서, 전역적 하악골 분할부(200)는 변형된 형상에 기반하여 CBCT 영상에서 하악골을 분할한다.In step S408, the global mandibular segmentation unit 200 divides the mandible in the CBCT image based on the deformed shape.

형상정보 기반의 전역적 하악골 분할 단계(단계 S300)는 상대적으로 밝기값 대조대비가 큰 하악골 MDCT 영상을 사용하여 평균형상모델을 생성하고, 생성한 평균형상모델을 사용하여 하악골 분할을 수행함으로써 도 8과 같이 잡음에 견고하게 하악골을 분할한다.In the global mandibular segmentation step based on the shape information (step S300), an average shape model is generated using a mandible MDCT image having a relatively large brightness contrast contrast, and the mandible segmentation is performed using the generated average shape model, As shown in Fig.

영역별 형태 정보 및 Region type information and 밝기값Brightness value 특징을 고려한 지역적  Geographical features considered 하악골Mandible 분할 개선 Improved partitioning

단계 S300의 형상정보 기반 분할은 평균형상모델을 기반으로 분할 형상을 예측함으로써 큰 곡률로 이루어진 좁은 영역을 포함하는 하악골 체부 영역(mandible body region)에서 형상을 정확히 표현하지 못하고 완만하게 분할되며, 환자마다 위치가 상이한 관절구 영역(condyle region)은 환자별 형상을 반영하지 못하는 한계가 있다.The shape information-based segmentation in step S300 predicts the segmented shape based on the average shape model so that the shape can not be accurately expressed in the mandible body region including a narrow region having a large curvature, The condyle region, which has a different position, has a limitation that it does not reflect the shape of the patient.

따라서 단계 S302에서, 지역적 하악골 분할 개선부(202)는 하악골의 형태학적 특성에 따라 상단의 관절구 영역과 하단의 하악골 체부 영역으로 나누고, 전역적 분할 형태 정보를 기반으로 관심 영역을 산정하며, 밝기값 및 기울기 정보를 사용하여 최종적으로 하악골을 분할한다.Therefore, in step S302, the regional mandibular incision improvement unit 202 divides the upper and lower mandibular body regions according to the morphological characteristics of the mandible, calculates the region of interest based on the global division type information, The value and slope information are used to finally divide the mandible.

하악골 체부 영역은 뼈의 피조골(cortical bone)과 주변 조직 간의 밝기값 대조대비가 명확하기 때문에 단계 S500에서 지역적 하악골 분할 개선부(202)는 점진적 슬라이딩 윈도우 탐색을 통해 분할 영역을 산정하고, 단계 S502에서 오츠 이진화(Otsu's thresholding)를 사용하여 최종적으로 하악골 체부 영역을 분할한다.Since the contrast of the contrast between the cortical bone of the bone and the surrounding tissue is clear, in step S500, the regional mandibular bone resurfacing unit 202 estimates the divided area through the progressive sliding window search, (Otsu's thresholding) is used to finally divide the mandibular body region.

점진적 슬라이딩 윈도우 탐색은 전역적 하악골 분할 결과를 초기 영역(도 9의 (a))으로 하고, 뼈 영역을 최대로 포함할 수 있도록 점진적으로 윈도우를 확장하여 분할 영역(도 9의 (b))을 산정한다. 이때, 0~255로 정규화된 밝기값 범위에서 뼈의 밝기값은 60 이상으로 산정한다.9 (a)), and gradually enlarges the window so as to maximally include the bone region, thereby obtaining a divided region (FIG. 9 (b)). . At this time, the brightness value of the bones in the normalized brightness value range from 0 to 255 is calculated to be 60 or more.

관절구 영역은 얇은 뼈로 이루어져 있어 밝기값 대조대비가 낮고 위치 및 형상이 다양하여 전역적 분할 결과를 바탕으로 분할 영역을 탐색하기 어려운 한계점이 있다. 따라서 단계 S504에서, 비교적 정확한 분할 결과를 보이는 관절구 영역의 시작 지점 슬라이스에서 분할된 관절구의 형태 정보를 고려하여 일정 범위의 밴드 형태의 윈도우를 산정하고, 단계 S506에서 윈도우 내에서 강화된 기울기 지도(gradient map)를 생성하여 관절구 영역을 분할한다. 여기에서 기울기란 화소들 간의 밝기값 차이를 의미한다.The articular area is composed of thin bones, so there is a limitation that it is difficult to search the divided area based on the global division results because the contrast of brightness value is low and the position and shape are various. Accordingly, in step S504, a band-shaped window of a certain range is calculated in consideration of the morphological information of the jointed sphere at the starting point slice of the joint sphere having the relatively accurate division result, and in step S506, the enhanced gradient map gradient map) to divide the articulation region. Here, the inclination means a difference in brightness value between pixels.

이때, 관절구 영역은 밝기값 대조대비가 낮아 넓은 크기의 밴드를 지정하면 뼈 내부나 주변 잡음 등으로 누출이 발생할 수 있으므로 이전 슬라이스의 분할 경계선(contour)으로부터 내외부로 좁은 밴드(narrow band) 형태의 윈도우를 생성하며 밴드의 두께는 실험적으로 10-화소 두께를 사용하였다.In this case, since the contrast value of the articulation area is low, if a wide-sized band is designated, leakage may occur due to internal or peripheral noise of the bone. Therefore, a narrow band shape from the contour of the previous slice to the inside and outside The window is created and the thickness of the band is experimentally set to 10-pixel thickness.

단계 S506에서, 이와 같이 설정한 밴드 내에서 뼈 경계를 강화하고 기울기가 약한 뼈 내부로의 누출을 방지하기 위해서 하위 30% 이하의 기울기 크기를 갖는 부분을 0으로 변환하여 강화된 기울기 지도를 생성한 후, 밴드 내 x, y축으로 가장 큰 기울기 크기를 갖는 화소들을 관절구 영역의 경계선으로 하여 관절구 영역 분할 결과를 개선한다.In step S506, in order to strengthen the bone boundary within the band thus set and prevent leakage to the inside of the bone having a weak gradient, a portion having a slope size lower than 30% is converted into 0 to generate an enhanced slope map And the pixels having the largest gradient magnitude in the x and y axes in the band are used as the boundaries of the articulation region, thereby improving the result of splitting the articulation region.

도 10의 (c)는 밴드 내에서 생성한 강화된 기울기 지도로 도 10의 (b)와 달리 큰 기울기 크기를 갖는 부분만 남게 되어 뼈 내부나 주변 잡음으로의 누출을 방지할 수 있다.In FIG. 10 (c), only a portion having a large gradient size is left unlike FIG. 10 (b) by the enhanced gradient map generated in the band, thereby preventing leakage to the inside of bone or surrounding noise.

실험 및 결과Experiments and results

본 발명에서 제안한 방법의 통계형상모델 생성을 위해 사용된 데이터는 SIEMENS Sensation 10에서 촬영된 10개의 두개악안면 MDCT 영상이다. 영상의 해상도는 512×512, 화소 크기는 0.25~0.48㎟, 슬라이스 간격은 0.5㎜, 슬라이스 영상 장 수는 188~243장이다. 하악골 분할을 위해 사용된 데이터는 (주)덴티움 rainbow CBCT에서 촬영된 3개의 두개악안면 영상이고, 영상의 해상도는 512×512, 화소 크기는 0.31㎟, 슬라이스 간격은 0.31㎜, 슬라이스 영상 장 수는 616~683장이다. The data used to generate the statistical shape model of the method proposed by the present invention are 10 craniofacial MDCT images taken at SIEMENS Sensation 10. The resolution of the image is 512 × 512, the pixel size is 0.25 to 0.48 mm 2, the slice interval is 0.5 mm, and the slice image length is 188 to 243. The data used for mandibular segmentation were 3 craniofacial images taken from the Dentium rainbow CBCT, the resolution of the image was 512 × 512, the pixel size was 0.31 mm 2, the slice interval was 0.31 mm, 616 ~ 683.

제안 방법의 성능은 정성적 평가 및 정량적 평가를 통해 분석되었고, 제안 방법(방법 B)과의 비교 방법은 형상모델을 사용한 전역적 하악골 분할 방법(방법 A)을 사용하였다. 정성적 평가에서는 제안 방법을 적용하여 얻은 영역별 분할 결과 영상의 육안평가를 통해 분석하였고, 정량적 평가에서는 전문가에 의해 수동으로 분할된 데이터와의 다이스 계수(DSC: Dice Similarity Coefficient), 볼륨 중복 오차(VOE: Volumetric Overlap Error), 평균 거리 차이(ADD: Average Distance Difference) 및 평균 제곱근 편차(RMSD: Root Mean Square Deviation)를 통해 제안방법의 분할 정확도를 분석하였다.The performance of the proposed method was analyzed through qualitative and quantitative evaluation, and the method of comparison with the proposed method (Method B) was a global method of mandibular segmentation using shape model (Method A). In quantitative evaluation, DSC (Dice Similarity Coefficient) and volume duplication error (DSC) with manually segmented data were analyzed by qualitative evaluation. VOE: Volumetric Overlap Error), Average Distance Difference (ADD), and Root Mean Square Deviation (RMSD).

도 11은 비교 방법과 제안 방법을 적용하여 하악골을 분할한 결과이다. 도 11의 (b)는 방법 A(Method A)를 통해 하악골을 분할한 결과로 금속성 잡음에는 견고한 결과를 보이지만 하악골 체부 영역에서 큰 곡률로 이루어진 좁은 영역에서는 과소분할된 것을 볼 수 있으며, 환자마다 위치가 다양한 관절구 영역의 경우 부정확한 분할 결과를 보인다.11 shows the result of dividing the mandible by applying the comparison method and the proposed method. Fig. 11 (b) shows the result of dividing the mandible by the method A (method A), which shows a strong result in the metallic noise. However, in the narrow region with large curvature in the mandibular body region, In the case of various joint spheres, the result is inaccurate division.

그러나 제안 방법을 적용한 결과인 도 11의 (c)는 금속성 잡음에도 견고한 결과를 보일 뿐 아니라 하악골 체부 영역과 관절구 영역에 대해서 영역별 형태 및 밝기값 특징을 고려하여 분할 정확도가 개선되어 수동분할 결과와 유사한 것을 확인하였다.11 (c), which is a result of applying the proposed method, not only shows a robust result in the metallic noise, but also improves the segmentation accuracy in consideration of feature and brightness value characteristics of the mandible body region and articular region, .

도 11의 (e)는 제안 방법 및 비교 방법과 수동 분할 간의 ADD 오차를 컬러맵으로 가시화한 것으로 비교 방법 보다 제안 방법의 정확도가 높아짐을 알 수 있다. FIG. 11 (e) shows that the ADD error between the proposed method and the comparative method and the manual division is visualized as a color map, and the accuracy of the proposed method is higher than that of the comparative method.

제안 방법의 분할 정확도를 검증하기 위해 DSC, VOE, ADD 및 RMSD는 수학식 4를 통해 측정하였다.DSC, VOE, ADD, and RMSD were measured using Equation (4) to verify the segmentation accuracy of the proposed method.

Figure 112017115931237-pat00056
Figure 112017115931237-pat00056

이때, A는 수동 분할 결과, B는 비교 방법 또는 제안 방법 결과, N은 분할 영역의 표면점의 개수, Ax, Bx, Ay, By는 분할 영역의 표면점 좌표,

Figure 112017115931237-pat00057
는 수동 분할 결과와 비교 방법 또는 제안 방법 간의 최소 표면점 거리이다. In this case, A is a manual division result, B is a comparison method or a proposed method result, N is the number of surface points of the divided area, A x , B x , A y , and B y are the surface point coordinates of the divided area,
Figure 112017115931237-pat00057
Is the minimum surface point distance between the results of the manual segmentation and the comparison method or proposed method.

표 1은 실험 데이터에 하악골 분할 제안 방법을 적용하여 얻은 영역별 정량 평가 결과로 제안 방법인 방법 B(Method B)를 사용했을 때 방법 A(Method A) 보다 DSC는 하악골 체부 영역에서 12.08p%, 관절구 영역에서 37.95p% 향상되었고, VOE의 경우 하악골 체부 영역에서 19.87p%, 관절구 영역에서 46.76p% 감소되었다. ADD와 RMSD는 각각 하악골 체부 영역에서 78.1%, 41.2%, 관절구 영역에서 88.4%, 78.3% 감소되었다.Table 1 shows that DSC is 12.08p% in the mandibular body area than method A (Method A) when using the proposed method B (Method B) 37.95p% improvement was observed in the area of the articulation, and 19.87p% in the mandibular body area and 46.76p% in the articular area in the case of VOE. ADD and RMSD decreased 78.1%, 41.2%, 88.4% and 78.3% in the mandibular body area, respectively.

도 12는 DSC와 ADD를 박스플롯(box plot)으로 나타낸 것으로 관절구 영역에서 제안 방법인 방법 B(Method B)를 사용했을 때 방법 A(Method A)보다 평균뿐 아니라 분산도 크게 개선됨을 알 수 있다.Fig. 12 shows DSC and ADD as box plots. It can be seen that when using the proposed method B (method B) in the articulated area, not only the average but also the variance is significantly improved as compared with the method A have.

결론conclusion

본 발명에서는 두개악안면 CBCT 영상에서 하악골을 자동으로 분할하는 방법 및 장치를 제안하였다. MDCT 영상을 사용하여 통계형상모델을 생성하고, 형상모델 기반의 분할을 수행하여 잡음이 많고 밝기값 대조대비가 낮은 두개악안면 CBCT 영상에서도 견고하게 하악골을 전역적으로 분할하였다. 또한, 영역별 형태 정보 및 밝기값 특징을 이용한 분할 개선으로 큰 곡률로 이루어진 좁은 영역을 가진 하악골 체부 영역과 환자마다 위치가 상이한 관절구 영역에서 분할 정확도가 향상되었다. 실험을 통해 제안한 방법이 형상모델 기반 방법인 비교 방법보다 DSC가 하악골 체부 영역에서 12.08p%, 관절구 영역에서 37.95p% 향상되었다.The present invention proposes a method and apparatus for automatically dividing the mandible in two maxillofacial CBCT images. The statistical shape model was generated using MDCT image and segmentation based on shape model was performed to divide the mandible globally firmly in two maxillofacial CBCT images with high noise and low contrast of contrast. In addition, the segmentation accuracy was improved in the mandibular body region with a narrow region of large curvature and in the region of the joint where the position was different from patient to patient due to the improvement of segmentation using region type information and brightness value feature. Experimental results show that DSC is improved by 12.08p% in the mandibular body area and by 37.95p% in the articular area compared with the comparative method based on the shape model.

이상 본 발명을 구체적인 실시예를 통하여 상세하게 설명하였으나, 이는 본 발명을 구체적으로 설명하기 위한 것으로, 본 발명은 이에 한정되지 않으며, 본 발명의 기술적 사상 내에서 당 분야의 통상의 지식을 가진 자에 의해 그 변형이나 개량이 가능함은 명백하다고 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. It is clear that the present invention can be modified or improved.

본 발명의 단순한 변형 내지 변경은 모두 본 발명의 영역에 속하는 것으로, 본 발명의 구체적인 보호 범위는 첨부된 청구범위에 의하여 명확해질 것이다.It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims.

200 : 전역적 하악골 분할부 202 : 지역적 하악골 분할 개선부200: Global Mandibular Split Part 202: Regional Mandibular Split Improvement Part

Claims (14)

(a) 하악골 다중검출 컴퓨터단층촬영(MDCT) 영상의 통계형상모델로부터 획득된 평균 형상에 기반하여 두개악안면 콘빔 컴퓨터단층촬영(CBCT) 영상에서 전역적으로 하악골을 분할하는 단계; 및
(b) 영역별 형태 정보 및 밝기값 특징을 고려하여 지역적으로 상기 하악골 분할 결과를 개선하는 단계를 포함하고,
상기 단계 (a)는,
(a-1) 상기 CBCT 영상과 상기 MDCT 영상이 동일한 밝기값 범위를 갖도록, 상기 CBCT 영상과 상기 MDCT 영상의 밝기값을 정규화하는 단계;
(a-2) 상기 MDCT 영상의 통계형상모델로부터 평균 형상을 획득하는 단계;
(a-3) 상기 CBCT 영상의 밝기값 프로파일과 상기 평균 형상의 밝기값 프로파일 간의 유사성 측정을 통해 예측 형상을 생성하는 단계;
(a-4) 상기 통계형상모델의 최적 변형 모드를 산정하여 상기 예측 형상의 변형된 형상을 획득하는 단계; 및
(a-5) 상기 변형된 형상에 기반하여 상기 CBCT 영상에서 하악골을 분할하는 단계를 포함하는, 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 방법.(a) dividing the mandible globally in a cranial maxillofacial computed tomography (CBCT) image based on an average shape obtained from a statistical shape model of a mandible multi-detector computed tomography (MDCT) image; And
(b) locally enhancing the mandible segmentation result by taking into account the morphological information and brightness value characteristics of each region,
The step (a)
(a-1) normalizing brightness values of the CBCT image and the MDCT image so that the CBCT image and the MDCT image have the same brightness value range;
(a-2) obtaining an average shape from the statistical shape model of the MDCT image;
(a-3) generating a predicted shape by measuring similarity between a brightness value profile of the CBCT image and a brightness value profile of the average shape;
(a-4) obtaining a deformed shape of the predicted shape by calculating an optimal deformation mode of the statistical shape model; And
(a-5) dividing the mandible in the CBCT image based on the deformed shape; and automatically dividing the mandible using shape constraint information in the two maxillofacial CBCT images. 삭제delete 청구항 1에 있어서,
상기 단계 (a-3)은,
상기 정규화된 두개악안면 CBCT 영상의 밝기값 프로파일과 상기 평균 형상의 밝기값 프로파일 간의 유사성 측정을 통해 수학식 2와 같이 정점을 최적화된 지점으로 이동하여 예측 정점(
Figure 112018103453986-pat00058
)을 생성하여 예측 정점들의 집합인 예측 형상을 생성하는 단계를 포함하고,
[수학식 2]
Figure 112018103453986-pat00059

Figure 112018103453986-pat00060
은 t 시점에서 평균 형상 표면을 구성하는 i번째 정점
Figure 112018103453986-pat00061
의 예측된 정점을 나타내며, ni는 정점
Figure 112018103453986-pat00062
의 법선 벡터 방향이고,
Figure 112018103453986-pat00063
는 i번째 정점
Figure 112018103453986-pat00064
의 밝기값 프로파일 내에 최적화된 지점 i번째 정점
Figure 112018103453986-pat00065
와의 유클리디안 거리 함수 ED를 통해 계산되며, I는 두개악안면 CBCT 영상의 밝기값이고,
Figure 112018103453986-pat00066
은 평균 형상의 밝기값이며,
Figure 112018103453986-pat00067
는 훈련 데이터에서 i번째 정점의 평균 밝기값에 대한 표준 편차이고, N은 밝기값 프로파일의 길이를 나타내는, 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 방법.The method according to claim 1,
The step (a-3)
The similarity between the brightness value profile of the normalized two craniofacial surface CBCT images and the brightness profile of the average shape is measured to move the vertex to the optimized point as shown in Equation (2)
Figure 112018103453986-pat00058
And generating a prediction shape that is a set of prediction vertices,
&Quot; (2) "
Figure 112018103453986-pat00059

Figure 112018103453986-pat00060
Is an i-th peak
Figure 112018103453986-pat00061
And n i represents the vertex of the vertex
Figure 112018103453986-pat00062
Gt; is the normal vector direction of <
Figure 112018103453986-pat00063
Is the ith vertex
Figure 112018103453986-pat00064
Lt; RTI ID = 0.0 > i < / RTI >
Figure 112018103453986-pat00065
Is calculated through the Euclidean distance function ED, I is the brightness value of the two maxillofacial CBCT images,
Figure 112018103453986-pat00066
Is the brightness value of the average shape,
Figure 112018103453986-pat00067
Is the standard deviation of the average brightness value of the i-th vertex in the training data, and N is the length of the brightness value profile, using the shape constraint information in two maxillofacial CBCT images. 청구항 3에 있어서,
상기 단계 (a-4)에서, 상기 최적 변형 모드(
Figure 112017115931237-pat00068
)와 상기 변형된 형상(
Figure 112017115931237-pat00069
)은, 수학식 3을 통해 계산되고,
[수학식 3]
Figure 112017115931237-pat00070

Figure 112017115931237-pat00071
는 평균 형상이며,
Figure 112017115931237-pat00072
는 최적화된 t시점에서의 예측 형상이고,
Figure 112017115931237-pat00073
는 최소 제곱법으로 구해진 값이며, P는 주 변형성분 행렬인, 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 방법.The method of claim 3,
In the step (a-4), the optimum deformation mode (
Figure 112017115931237-pat00068
) And the deformed shape (
Figure 112017115931237-pat00069
) Is calculated through Equation (3)
&Quot; (3) "
Figure 112017115931237-pat00070

Figure 112017115931237-pat00071
Is an average shape,
Figure 112017115931237-pat00072
Is a predicted shape at the optimized time t,
Figure 112017115931237-pat00073
Is the value obtained by the least squares method, and P is the main distortion component matrix, using the shape constraint information in two maxillofacial CBCT images. 청구항 4에 있어서,
상기 단계 (a-3) 및 단계 (a-4)는 변형된 형상의 변화가 일정 이하가 되거나 최대 반복 횟수를 만족할 때까지 수행되는, 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 방법.The method of claim 4,
Wherein the step (a-3) and the step (a-4) are performed until the variation of the deformed shape is less than a predetermined value or until the maximum number of iterations is satisfied. 청구항 1에 있어서,
상기 단계 (b)는,
(b-1) 상기 단계 (a)에서 분할된 CBCT 영상의 전역적 하악골 분할 결과에 기반하여, 뼈 영역을 최대로 포함할 수 있도록 점진적으로 윈도우를 확장하여 분할 영역을 산정하는 단계;
(b-2) 이진화를 사용하여 최종적으로 하악골 체부 영역을 분할하는 단계;
(b-3) 관절구 영역의 시작 지점 슬라이스에서 분할된 관절구의 형태 정보를 고려하여 일정 범위의 밴드 형태의 윈도우를 산정하는 단계; 및
(b-4) 산정된 윈도우 내에서 강화된 밝기값 지도를 생성하여 관절구 영역을 분할하는 단계를 포함하는, 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 방법.The method according to claim 1,
The step (b)
(b-1) estimating a segmented region by gradually expanding a window so as to maximally include a bone region, based on a global mandible segmentation result of the CBCT image segmented in the step (a);
(b-2) dividing the mandibular body region ultimately using binarization;
(b-3) calculating a band-shaped window of a certain range in consideration of morphological information of the joints divided at the start point slice of the joint region; And
(b-4) generating an enhanced brightness value map within the estimated window to divide the articulation region, and a method for automatically dividing the mandible using geometric constraint information in two maxillofacial CBCT images. 청구항 6에 있어서,
상기 단계 (b-4)는,
하위 30% 이하의 기울기 크기를 갖는 부분을 0으로 변환하여 강화된 기울기 지도를 생성한 후, 상기 밴드 내 x, y축으로 가장 큰 기울기 크기를 갖는 화소들을 관절구 영역의 경계선으로 설정하여 관절구 영역 분할 결과를 개선하는 단계를 포함하는, 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 방법.The method of claim 6,
The step (b-4)
A gradient slope map is generated by converting a portion having a slope size of less than 30% to 0, and then a pixel having the largest slope size in the x and y axes in the band is set as a boundary line of the articulation region, A method for automatic segmentation of a mandible using shape constraint information in two maxillofacial CBCT images, comprising the step of improving the region segmentation result. 하악골 다중검출 컴퓨터단층촬영(MDCT) 영상의 통계형상모델로부터 획득된 평균 형상에 기반하여 두개악안면 콘빔 컴퓨터단층촬영(CBCT) 영상에서 전역적으로 하악골을 분할하기 위한 전역적 하악골 분할부; 및
영역별 형태 정보 및 밝기값 특징을 고려하여 지역적으로 상기 하악골 분할 결과를 개선하기 위한 지역적 하악골 분할 개선부를 포함하고,
상기 전역적 하악골 분할부는,
(a-1) 상기 CBCT 영상과 상기 MDCT 영상이 동일한 밝기값 범위를 갖도록, 상기 CBCT 영상과 상기 MDCT 영상의 밝기값을 정규화하는 동작;
(a-2) 상기 MDCT 영상의 통계형상모델로부터 평균 형상을 획득하는 동작;
(a-3) 상기 CBCT 영상의 밝기값 프로파일과 상기 평균 형상의 밝기값 프로파일 간의 유사성 측정을 통해 예측 형상을 생성하는 동작;
(a-4) 상기 통계형상모델의 최적 변형 모드를 산정하여 상기 예측 형상의 변형된 형상을 획득하는 동작; 및
(a-5) 상기 변형된 형상에 기반하여 상기 CBCT 영상에서 하악골을 분할하는 동작을 수행하는, 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 장치.Global Mandibular Partition for Global Mandibular Segmentation in Craniofacial Convex Computed Tomography (CBCT) Images Based on the Mean Shape Obtained from Statistical Shape Model of Mandibular Multimetection Computed Tomography (MDCT) Images; And
And a regional mandibular segmentation improving unit for improving the result of the mandibular segmentation regionally in consideration of feature information and brightness value characteristics of each region,
Wherein the global mandibular divider comprises:
(a-1) normalizing brightness values of the CBCT image and the MDCT image so that the CBCT image and the MDCT image have the same brightness value range;
(a-2) obtaining an average shape from a statistical shape model of the MDCT image;
(a-3) generating a predicted shape by measuring similarity between a brightness value profile of the CBCT image and a brightness value profile of the average shape;
(a-4) obtaining the deformed shape of the predicted shape by calculating an optimal deformation mode of the statistical shape model; And
(a-5) The mandibular automatic segmentation apparatus using shape constraint information in two maxillofacial CBCT images, which performs an operation of dividing the mandible in the CBCT image based on the deformed shape. 삭제delete 청구항 8에 있어서,
상기 동작 (a-3)은,
상기 정규화된 두개악안면 CBCT 영상의 밝기값 프로파일과 상기 평균 형상의 밝기값 프로파일 간의 유사성 측정을 통해 수학식 2와 같이 정점을 최적화된 지점으로 이동하여 예측 정점(
Figure 112018103453986-pat00074
)을 생성하여 예측 정점들의 집합인 예측 형상을 생성하는 동작을 포함하고,
[수학식 2]
Figure 112018103453986-pat00075

Figure 112018103453986-pat00076
은 t 시점에서 평균 형상 표면을 구성하는 i번째 정점
Figure 112018103453986-pat00077
의 예측된 정점을 나타내며, ni는 정점
Figure 112018103453986-pat00078
의 법선 벡터 방향이고,
Figure 112018103453986-pat00079
는 i번째 정점
Figure 112018103453986-pat00080
의 밝기값 프로파일 내에 최적화된 지점 i번째 정점
Figure 112018103453986-pat00081
와의 유클리디안 거리함수 ED를 통해 계산되며, I는 두개악안면 CBCT 영상의 밝기값이고,
Figure 112018103453986-pat00082
은 평균 형상의 밝기값이며,
Figure 112018103453986-pat00083
는 훈련 데이터에서 i번째 정점의 평균 밝기값에 대한 표준 편차이고, N은 밝기값 프로파일의 길이를 나타내는, 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 장치.The method of claim 8,
The operation (a-3)
The similarity between the brightness value profile of the normalized two craniofacial surface CBCT images and the brightness profile of the average shape is measured to move the vertex to the optimized point as shown in Equation (2)
Figure 112018103453986-pat00074
) To generate a predicted shape, which is a set of predicted vertices,
&Quot; (2) "
Figure 112018103453986-pat00075

Figure 112018103453986-pat00076
Is an i-th peak
Figure 112018103453986-pat00077
And n i represents the vertex of the vertex
Figure 112018103453986-pat00078
Gt; is the normal vector direction of <
Figure 112018103453986-pat00079
Is the ith vertex
Figure 112018103453986-pat00080
Lt; RTI ID = 0.0 > i < / RTI >
Figure 112018103453986-pat00081
Is calculated through the Euclidean distance function ED, I is the brightness value of the two maxillofacial CBCT images,
Figure 112018103453986-pat00082
Is the brightness value of the average shape,
Figure 112018103453986-pat00083
Is the standard deviation of the average brightness value of the i-th vertex in the training data, and N is the length of the brightness value profile, using the shape constraint information in the two maxilla-facial CBCT images. 청구항 10에 있어서,
상기 동작 (a-4)에서, 상기 최적 변형 모드(
Figure 112017115931237-pat00084
)와 상기 변형된 형상(
Figure 112017115931237-pat00085
)은, 수학식 3을 통해 계산되고,
[수학식 3]
Figure 112017115931237-pat00086

Figure 112017115931237-pat00087
는 평균 형상이며,
Figure 112017115931237-pat00088
는 최적화된 t시점에서의 예측 형상이고,
Figure 112017115931237-pat00089
는 최소 제곱법으로 구해진 값이며, P는 주 변형성분 행렬인, 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 장치.The method of claim 10,
In the operation (a-4), the optimum deformation mode (
Figure 112017115931237-pat00084
) And the deformed shape (
Figure 112017115931237-pat00085
) Is calculated through Equation (3)
&Quot; (3) "
Figure 112017115931237-pat00086

Figure 112017115931237-pat00087
Is an average shape,
Figure 112017115931237-pat00088
Is a predicted shape at the optimized time t,
Figure 112017115931237-pat00089
Is a value obtained by the least squares method, and P is a main distortion component matrix, using the shape constraint information in two maxillofacial CBCT images. 청구항 11에 있어서,
상기 동작 (a-3) 및 동작 (a-4)는 변형된 형상의 변화가 일정 이하가 되거나 최대 반복 횟수를 만족할 때까지 수행되는, 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 장치.The method of claim 11,
Wherein the operation (a-3) and the operation (a-4) are performed until the variation of the deformed shape becomes less than a predetermined value or until the maximum number of repetitions is satisfied. 청구항 8에 있어서,
상기 지역적 하악골 분할 개선부는,
(b-1) 상기 전역적 하악골 분할부에 의해 분할된 상기 CBCT 영상의 전역적 하악골 분할 결과에 기반하여, 뼈 영역을 최대로 포함할 수 있도록 점진적으로 윈도우를 확장하여 분할 영역을 산정하는 동작;
(b-2) 이진화를 사용하여 최종적으로 하악골 체부 영역을 분할하는 동작;
(b-3) 관절구 영역의 시작 지점 슬라이스에서 분할된 관절구의 형태 정보를 고려하여 일정 범위의 밴드 형태의 윈도우를 산정하는 동작; 및
(b-4) 산정된 윈도우 내에서 강화된 밝기값 지도를 생성하여 관절구 영역을 분할하는 동작을 수행하는, 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 장치.The method of claim 8,
The regional mandibular bone segmentation improving unit comprises:
(b-1) calculating a divided region by gradually expanding the window so as to maximize the bone region based on the global mandibular segmentation result of the CBCT image divided by the global mandibular segmentation unit;
(b-2) an operation of dividing the mandible body region finally using binarization;
(b-3) calculating a window of a certain range of bands considering the shape information of the joints divided at the start point slice of the joint region; And
(b-4) Automatic mandibular automatic segmentation using shape constraint information in two maxillofacial CBCT images, which performs an operation of dividing a joint region by generating an enhanced brightness value map in the estimated window. 청구항 13에 있어서,
상기 동작 (b-4)는,
하위 30% 이하의 기울기 크기를 갖는 부분을 0으로 변환하여 강화된 기울기 지도를 생성한 후, 상기 밴드 내 x, y축으로 가장 큰 기울기 크기를 갖는 화소들을 관절구 영역의 경계선으로 설정하여 관절구 영역 분할 결과를 개선하는 동작을 포함하는, 두개악안면 CBCT 영상에서 형상제약 정보를 사용한 하악골 자동 분할 장치.14. The method of claim 13,
The operation (b-4)
A gradient slope map is generated by converting a portion having a slope size of less than 30% to 0, and then a pixel having the largest slope size in the x and y axes in the band is set as a boundary line of the articulation region, A mandibular automatic segmentation device using shape constraint information in two maxillofacial CBCT images, including an operation of improving the region segmentation result.
KR1020170155664A 2017-11-21 2017-11-21 Method and apparatus for automatic segmentation of the mandible using shape-constrained information in cranio-maxillo-facial cbct images KR101953629B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170155664A KR101953629B1 (en) 2017-11-21 2017-11-21 Method and apparatus for automatic segmentation of the mandible using shape-constrained information in cranio-maxillo-facial cbct images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170155664A KR101953629B1 (en) 2017-11-21 2017-11-21 Method and apparatus for automatic segmentation of the mandible using shape-constrained information in cranio-maxillo-facial cbct images

Publications (1)

Publication Number Publication Date
KR101953629B1 true KR101953629B1 (en) 2019-03-05

Family

ID=65760232

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170155664A KR101953629B1 (en) 2017-11-21 2017-11-21 Method and apparatus for automatic segmentation of the mandible using shape-constrained information in cranio-maxillo-facial cbct images

Country Status (1)

Country Link
KR (1) KR101953629B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210055438A (en) 2019-11-07 2021-05-17 부산대학교 산학협력단 Apparatus and Method for Eliminating Panoramic Dual and Ghost Image using Deep Learning
KR20230046620A (en) 2021-09-30 2023-04-06 주식회사 에이치디엑스윌 Method for determining criterion of head rotation on cephalic ct radiographs, recording medium storing program for executing the same, and recording medium storing program for executing the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160060574A (en) * 2014-11-19 2016-05-30 성균관대학교산학협력단 Apparatus and method for reconstructing three dimensional images using dental ct images
KR20160097342A (en) * 2013-12-09 2016-08-17 모하메드 라쉬완 마푸즈 Bone reconstruction and orthopedic implants
KR101718868B1 (en) 2015-09-21 2017-03-22 한국과학기술연구원 Method for forming 3d mazillofacial model by automatically segmenting medical image, automatic image segmentation and model formation server performing the same, and storage mdeium storing the same
KR20170065118A (en) * 2015-12-03 2017-06-13 서울여자대학교 산학협력단 Method and apparatus for tumor tracking during radiation treatment using image registration and tumor matching between planning 4d mdct and treatment 4d cbct

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160097342A (en) * 2013-12-09 2016-08-17 모하메드 라쉬완 마푸즈 Bone reconstruction and orthopedic implants
KR20160060574A (en) * 2014-11-19 2016-05-30 성균관대학교산학협력단 Apparatus and method for reconstructing three dimensional images using dental ct images
KR101718868B1 (en) 2015-09-21 2017-03-22 한국과학기술연구원 Method for forming 3d mazillofacial model by automatically segmenting medical image, automatic image segmentation and model formation server performing the same, and storage mdeium storing the same
KR20170065118A (en) * 2015-12-03 2017-06-13 서울여자대학교 산학협력단 Method and apparatus for tumor tracking during radiation treatment using image registration and tumor matching between planning 4d mdct and treatment 4d cbct

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210055438A (en) 2019-11-07 2021-05-17 부산대학교 산학협력단 Apparatus and Method for Eliminating Panoramic Dual and Ghost Image using Deep Learning
KR20230046620A (en) 2021-09-30 2023-04-06 주식회사 에이치디엑스윌 Method for determining criterion of head rotation on cephalic ct radiographs, recording medium storing program for executing the same, and recording medium storing program for executing the same

Similar Documents

Publication Publication Date Title
US9672302B2 (en) Producing a three-dimensional model of an implant
US10068671B2 (en) Methods and systems for producing an implant
CN107203998B (en) Method for carrying out dentition segmentation on cone beam CT image
US9275191B2 (en) Methods and systems for producing an implant
US9818186B2 (en) Method for forming 3D maxillofacial model by automatically segmenting medical image, automatic image segmentation and model formation server performing the same, and storage medium storing the same
CN111150489B (en) Computer-aided system for alignment of prosthesis
CN106846346B (en) Method for rapidly extracting pelvis outline of sequence CT image based on key frame mark
EP2715663B1 (en) Apparatus for generating assignments between image regions of an image and element classes
Baka et al. Statistical shape model-based femur kinematics from biplane fluoroscopy
CN110946652B (en) Method and device for planning screw path of bone screw
KR101769808B1 (en) Cartilage segmentation apparatus and the method from knee mr images
CN106780491B (en) Initial contour generation method adopted in segmentation of CT pelvic image by GVF method
CN109493943B (en) Three-dimensional visual scalp craniotomy positioning method combined with optical surgical navigation
KR101953629B1 (en) Method and apparatus for automatic segmentation of the mandible using shape-constrained information in cranio-maxillo-facial cbct images
CN106780492B (en) Method for extracting key frame of CT pelvic image
CN111192268A (en) Medical image segmentation model construction method and CBCT image bone segmentation method
CN114093462A (en) Medical image processing method, computer device, and storage medium
Woo et al. Automatic matching of computed tomography and stereolithography data
Dhar et al. Automatic tracing of mandibular canal pathways using deep learning
US8284196B2 (en) Method and system for reconstructing a model of an object
KR102643071B1 (en) Method for determining criterion of head rotation on cephalic ct radiographs, recording medium storing program for executing the same, and recording medium storing program for executing the same
US20230306677A1 (en) Automated registration method of 3d facial scan data and 3d volumetric medical image data using deep learning and computer readable medium having program for performing the method
US20230240762A1 (en) Method and device for segmentation and registration of an anatomical structure
CN115568873A (en) Automatic adjustment method for CT image
CN115578456A (en) Simulated pneumoperitoneum image generation method and device and computer equipment

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant