KR101370496B1 - 복합매질로 이루어진 시편에 대한 X-ray CT 영상의 최소 단위에 존재하는 각 순수매질의 부피비 측정방법 - Google Patents

복합매질로 이루어진 시편에 대한 X-ray CT 영상의 최소 단위에 존재하는 각 순수매질의 부피비 측정방법 Download PDF

Info

Publication number
KR101370496B1
KR101370496B1 KR20130114407A KR20130114407A KR101370496B1 KR 101370496 B1 KR101370496 B1 KR 101370496B1 KR 20130114407 A KR20130114407 A KR 20130114407A KR 20130114407 A KR20130114407 A KR 20130114407A KR 101370496 B1 KR101370496 B1 KR 101370496B1
Authority
KR
South Korea
Prior art keywords
medium
ray
pure
gfs
voxel
Prior art date
Application number
KR20130114407A
Other languages
English (en)
Inventor
신휴성
김광염
Original Assignee
한국건설기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국건설기술연구원 filed Critical 한국건설기술연구원
Priority to KR20130114407A priority Critical patent/KR101370496B1/ko
Priority to JP2016513856A priority patent/JP6039132B2/ja
Priority to US14/771,793 priority patent/US20160011125A1/en
Priority to PCT/KR2013/011794 priority patent/WO2015046668A1/ko
Application granted granted Critical
Publication of KR101370496B1 publication Critical patent/KR101370496B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G01N23/046—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using tomography, e.g. computed tomography [CT]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B15/00—Measuring arrangements characterised by the use of electromagnetic waves or particle radiation, e.g. by the use of microwaves, X-rays, gamma rays or electrons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biochemistry (AREA)
  • Pulmonology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명은 시편에 대해 X-ray CT 촬영을 수행함에 있어서 시편의 복셀 중에서 순수 매질이 혼합되어 있는 믹셀에 대해서, 각각의 순수 매질이 차지하는 부피 즉, 해당 믹셀에 혼합된 순수 매질의 부피비를 산출할 수 있게 하는, X-ray CT 촬영에서의 최소 단위에 존재하는 각 순수매질의 부피비 측정방법에 관한 것이다.

Description

복합매질로 이루어진 시편에 대한 X-ray CT 영상의 최소 단위에 존재하는 각 순수매질의 부피비 측정방법{Estimation method for volume fractions of constituent materials in a unit voxel of X-ray CT image}
본 발명은 복합매질로 이루어진 시편에 대해 X-ray CT 촬영을 수행함으로써 시편에서 각각의 매질이 차지하는 부피비를 측정하는 방법에 관한 것으로서, 구체적으로는 시편에 대해 X-ray CT 촬영을 수행함에 있어서 시편의 복셀 중, 순수 매질이 혼합되어 있는 믹셀내에서, 각각의 순수 매질이 차지하는 부피 즉, 해당 믹셀에 혼합된 순수 매질의 부피비를 산출할 수 있게 하는, X-ray CT 영상의 최소 단위에 존재하는 각 순수매질의 부피비 측정방법에 관한 것이다.
X-ray CT 촬영이 의료분야를 비롯하여 여러 산업분야에 이용되고 있다. 대한민국 등록특허 제10-1120250호에는 의료분야에서 X-ray CT 촬영을 수행하여 얻은 영상을 처리하는 방법이 개시되어 있다.
공지된 종래의 X-ray CT 촬영장치에서는 촬영대상(시편)에 X-ray를 투과시켜 3차원 영상단위인 복셀(voxel) 단위에서 시편의 3차원 이미지를 형성하게 한다. 본 명세서에서는 이와 같이 X-ray를 투과하여 CT 값을 산출하는 과정을 편의상 "CT 촬영"라고 약칭하며, 이 때 사용되는 X-ray CT 촬영장치는 편의상 "CT 촬영장치"라고 약칭한다.
이와 같이 시편에 대해 CT 촬영을 함에 있어서, 3차원 형상의 시편은 복셀(voxel)이라는 3차원 영상의 기본단위로 이루어진 것으로 볼 수 있다. 즉, 시편의 영상에서 CT 촬영을 하여 인식할 수 있는 최소 기본 단위가 복셀인 것이다. 시편이 여러 종류의 매질이 섞여서 만들어진 매질 복합체(복합매질)인 경우, 시편의 영상에서 하나의 복셀은 한 가지 종류의 순수매질로 이루어질 수도 있지만, 여러 종류의 매질이 혼합된 상태일 수 있다. 예를 들어, 시편이 지반으로부터 채취한 토사인 경우, 토사에는 공극이 존재하고 공극에는 공기가 존재하므로, 토사는 "공기"와 "골재"라는 2개의 순수매질이 혼합된 것 즉 "공기-골재"의 매질 복합체라고 볼 수 있다. 이 때, 이와 같인 토사의 시편을 최소 단위인 복셀로 분할하였을 때, 어떤 복셀은 오로지 공기로만 채워진 것이거나 또는 골재만으로 채워진 것일 수도 있지만, 어떤 복셀의 경우에는 공기와 골재가 섞여 있는 것일 수도 있다. 이와 같이 여러 종류의 매질이 혼합된 상태의 복셀은 "믹셀(mixel)"이라고 칭한다. 즉, 위에서 예시한 토사의 경우에는 공기와 골재가 섞여 있는 복셀이 바로 "믹셀"에 해당하는 것이다.
종래의 CT 촬영장치 및 CT 촬영방법에서는, 각각의 복셀에 대해 CT 값의 역치(threshold)를 정해두고, 정해진 역치를 기준으로 2분법에 의해 각각의 복셀을 구분하였다. 도 1에는 종래의 CT 촬영장치 및 CT 촬영방법에서 시편의 복셀을 2분법에 의해 구분하는 방식을 설명하기 위한 개념도가 도시되어 있는데, 도 1의 (a)에 도시된 것처럼 시편을 X-ray CT 촬영에서 인식할 수 있는 최소 단위에 해당하는 "복셀"로 분할하였을 때, 어떤 복셀의 경우에는 순수하게 하나의 매질로만 이루어져 있게 되지만, 믹셀(mixel)이라고 기재된 복셀의 경우, 순수하게 하나의 매질로 이루어지지 않고 다른 매질이 혼합된 상태에 있게 된다. 즉, 믹셀에서는 여러 종류의 매질이 소정의 부피비를 가지고 혼합되어 있는 것이다.
그런데 종래의 CT 촬영장치 및 CT 촬영방법에서는 정해진 역치(threshold)를 기준으로 2분법에 의해 복셀을 구분하기 때문에, 단순히 각각의 복셀에 대한 CT 값이 역치를 초과하는지의 여부만을 판단하여, 도 1의 (b)에서 흑색(black)과 백색(white)으로 도시된 것처럼, 각각의 복셀을 단순히 2개 중의 하나로 분류하게 된다. 즉, 종래의 기술에서는 여러 종류의 매질이 혼합되어 있는 믹셀이 존재할지라도, 이러한 믹셀에 혼합된 매질의 부피비를 전혀 고려하지 못한 채, CT 값의 역치만을 기준으로 하여 복셀을 2개의 종류로만 구분하게 된다. 이와 같이 종래의 X-ray CT 촬영장치 및 X-ray CT 촬영방법에 의해서는 믹셀에서의 매질 부피비를 전혀 고려하지 못하기 때문에 시편을 이루는 매질의 부피비를 산출하였을 경우, 정확성과 신뢰성이 낮다는 기술적 한계가 존재한다.
대한민국 등록특허공보 제10-1120250호(2012. 03. 16. 공고) 참조.
본 발명은 위와 같은 종래 기술의 한계와 단점을 극복하기 위하여 개발된 것으로서, 여러 종류의 매질이 혼합되어 있는 믹셀이 존재할지라도, 이러한 믹셀에 혼합된 매질의 부피비를 전혀 고려하지 못한 채, CT 값의 역치만을 기준으로 하여 복셀을 2개의 종류로만 구분하게 되는 종래 기술의 한계를 극복하여, 복수개의 순수매질이 혼합된 복합매질(매질 복합체)로 만들어진 시편에 대한 CT 영상의 최소 단위에 해당하는 각각의 복셀 즉, 시편 영상을 이루는 각각의 복셀에 대해, 해당 복셀 내에서 각 순수매질이 차지하는 부피비를 산출할 수 있는 방법을 제공하는 것을 목적으로 한다.
위와 같은 과제를 달성하기 위하여 본 발명에서는, 복수개의 순수매질이 혼합된 복합매질로 만들어진 시편에 대한 X-ray CT 촬영에서 최소 단위에 해당하는 각각의 복셀에 대해, 해당 복셀 내에서 각 순수매질이 차지하는 부피비를 산출하는 방법으로서, CT 촬영장치에 의해 X-ray를 조사하여 CT 촬영을 수행함으로써 복합매질로 이루어진 시편에 대한 X-ray 히스토그램을 입수하는 단계; 입수된 복합매질의 X-ray 히스토그램을 대표하는 가우스 함수 및 이를 구성하는 개별적인 가우스 함수를 연산장치에서 산출하는 단계; 각각의 순수매질에 대한 GF의 평균값과, 복합매질의 X-ray 히스토그램을 대표하는 GF를 구성하는 복수개의 GF 각각의 평균값의 차이(Li,j)를 연산하고, 산출된 Li,j 값을 이용하여 각각의 가우스 함수에서 각각의 순수매질이 차지하는 부피비(PRi,j)를 산정하는 단계; 및 각각의 복셀에 대한 각 순수매질의 부피비(VF)를 산출하는 단계를 포함하는 것을 특징으로 하는 복셀 내에서의 각 순수매질 부피비 측정방법이 제공된다.
위와 같은 본 발명에 있어서, 입수된 X-ray 히스토그램을 대표하는 가우스 함수 및 이를 구성하는 개별적인 가우스 함수를 연산장치에서 산출하는 단계는, 입수된 복합매질의 X-ray 히스토그램의 극대점 개수를 계수하고, 각 순수매질의 X-ray 히스토그램을 대표하는 가우스 함수의 평균값을 판독하고; 추가적인 보조 가우스 함수의 개수를 결정한 후, 각 보조 가우스 함수에 대한 평균값을 결정하여, 전체 가우스 함수의 합으로 이루어진 복합매질의 임시 가우스 함수를 산출하고; 산출된 임시 가우스 함수 중에서, CT 촬영으로 입수한 X-ray 히스토그램과의 분산값의 차이 및 면적값의 차이가 최소로 되는 가우스 함수를 복합매질의 X-ray 히스토그램을 대표하는 GF로 채택함으로써 진행될 수 있다.
본 발명에서는 복수개의 순수매질이 혼합된 복합매질(매질 복합체)로 만들어진 시편에 대한 CT 영상의 최소 단위에 해당하는 각각의 복셀 즉, 시편의 CT 영상을 이루는 각각의 복셀에 대해, 해당 복셀 내에서 각 순수매질이 차지하는 부피비를 산출할 수 있게 되는 것이다. 즉, 본 발명에 의하면 시편의 복셀 중에서 복수의 순수 매질이 혼합되어 있는 믹셀에 대해서, 각각의 순수 매질이 차지하는 부피 즉, 해당 믹셀내에서 혼합된 순수 매질의 부피비를 산출할 수 있게 되는 효과가 발휘되는 것이다.
따라서 본 발명에 의하면, 복셀에 근거하여 시편을 이루는 각 매질의 부피비를 산출하였을 때, 복셀의 크기, 즉 CT영상의 해상도에 크게 영향을 받지 않고 각 순수 매질의 부피비에 대한 정확한 연산결과를 얻을 수 있게 된다. 또한, 복셀(믹셀 포함)내 순수 매질의 부피비 산정이 가능하게 되어 종래의 2분법으로는 불가능했던 시료내 각 순수 매질의 부피비 분포도를 산출할 수 있으며, 시료내 X-ray CT 촬영을 이용한 시편의 분석방법에 대해 정확성과 신뢰성을 높일 수 있게 되는 효과가 발휘된다.
도 1은 종래의 CT 촬영장치 및 CT 촬영방법에서 시편의 복셀을 2분법에 의해 구분하는 방식을 설명하기 위한 개념도이다.
도 2는 하나의 물질(순수매질)로 이루어진 시편에 대한 CT 값의 X-ray 히스토그램이다.
도 3은 본 발명에 따른 방법의 개략적인 과정을 보여주는 흐름도이다.
도 4는 다중 회귀분석을 통하여 복합매질의 X-ray 히스토그램을 대표하는 GF를 연산하여 산출하는 과정에 대한 흐름도이다.
도 5는 3종의 순수매질이 혼합된 복합매질로 이루어진 촬영대상 시편에 대한 CT 값의 X-ray 히스토그램이다.
도 6은 도 5에 도시된 X-ray 히스토그램에서 영역 A와 영역 B에 보조 GF가 존재하는 것을 보여주는 X-ray 히스토그램이다.
도 7은 각 GF에서 각각의 순수매질이 차지하는 부피비를 산정하는 단계에 대한 상세한 흐름도이다.
도 8은 본 발명에 따라 복셀을 구분하는 방식을 설명하기 위한 개념도이다.
이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다. 본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 하나의 실시예로서 설명되는 것이며, 이것에 의해 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지 않는다.
본 발명에서는 매질의 부피비를 측정하고자 하는 시편을 우선 공지의 CT 촬영장치에 의해 X-ray를 투사하여 CT 촬영을 하게 된다. CT 촬영장치에서는 X-ray의 투과능력을 평가하여, X-ray의 투과능력에 따라 시편의 CT 영상의 복셀 단위에서 고유한 값을 얻게 되는데, 이와 같이 CT 촬영장치에서 각각의 매질의 X-ray 투과 정도에 근거하여 시편의 CT 영상의 복셀에 독자적으로 부여받는 고유 값을 "CT 값"이라 총칭한다. 본 발명에서는 이렇게 공지의 CT 촬영장치에 의해 CT 촬영함으로써 자동적으로 산출되는 CT 값을 이용하여 해당 CT 촬영장치에 대해, 복셀단위에서 시편을 이루는 복수의 구성 매질의 부피비를 측정할 수 있는 방법을 제공한다.
CT 촬영장치를 이용하여 시편에 대해 CT 촬영을 하게 되면, CT 값의 X-ray CT 히스토그램(이하, "X-ray 히스토그램"이라고 약칭함)을 취득하게 되는데, 도 2에는 하나의 물질 즉, 순수매질로 이루어진 시편에 대한 X-ray 히스토그램의 일예가 도시되어 있다. X-ray 히스토그램에서 x축은 CT 촬영장치에서 복셀단위에 대해 얻어지는 "CT값"이고, y축은 해당 CT 값의 "빈도수" 즉, 해당 CT 값을 가지는 시편의 복셀(voxel)의 수이다. 이와 같이, 측정 대상이 되는 시편을 CT 촬영하여 입수한 X-ray 히스토그램은 종(bell) 형상을 이루게 되므로, 수학적으로는 평균값과 분산, 그리고 곡선 그래프 아래 영역의 면적값으로 정의되는 가우스 분포함수(Gaussian distribution Function/ 이하, "GF"라고 약칭한다)로 표현될 수 있다. 즉, 1종류의 물질로 이루어진 순수 매질의 X-ray 히스토그램은 하나의 고유한 GF로 대표될 수 있는 것이다. 도 2에서 도면부호 M은 종(bell) 형상의 X-ray 히스토그램의 그래프에서의 극대점(M)을 의미한다.
한편, 복합 매질의 경우, 복수개의 순수 매질이 혼합된 것이므로, 이러한 복합 매질의 X-ray 히스토그램에 대한 GF는, 복합 매질을 이루는 각 순수 매질들의 고유 구성비에 따른 합으로 표현될 수 있다.
위와 같은 사항을 기초로 본 발명에서는 다음과 같은 단계를 순차적으로 수행하게 되는데, 본 발명의 방법은 입력장치, 연산장치, 및 출력장치(영상장치)를 포함하는 시스템에 의해 수행될 수 있으며, 방법의 수행에 필요한 입력데이터는 사용자에 의해 입력장치를 통해 입력될 수 있다. 상기 연산장치는 컴퓨터로 이루어질 수 있으며, 본 발명의 방법에 포함된 일련의 과정들이 상기 연산장치에서 구동되는 컴퓨터 프로그램에 의해 수행될 수 있다. 특히, 이러한 연산장치는 CT 촬영장치에 구비될 수도 있지만, CT 촬영장치와 연결된 별도의 장치로 구비될 수도 있다.
도 3에는 본 발명에 따른 방법의 개략적인 과정을 보여주는 흐름도가 도시되어 있다. 본 발명에 따른 방법에서는 우선 공지의 CT 촬영장치에 의해 X-ray를 조사하여 CT 촬영을 수행함으로써 시편에 대한 X-ray 히스토그램을 입수하고(단계 S0), 연산장치에서는 입수된 X-ray 히스토그램을 대표하는 GF를 산출한다(단계 S1). 순수 매질의 경우, 도 2에 도시된 것처럼 X-ray 히스토그램은 하나의 극대값을 가지는 곡선의 형태를 가지게 되며, GF는 평균값(종 형상의 곡선에서의 평균값), 분산값, 그리고 곡선의 아래 부분에 대한 면적값으로 정의되는 함수이므로, 순수매질에 대한 X-ray 히스토그램을 대표하는 GF는, CT 촬영을 통해 입수된 X-ray 히스토그램으로부터 공지의 수학적 방법에 의해 결정할 수 있게 된다.
그러나 여러 종류의 순수매질이 혼합된 복합매질의 경우, X-ray 히스토그램은 하나의 GF로 표현되지 않고, 평균값과 분산값, 그리고 면적값을 각각 달리하는 복수개의 GF 합으로 표현된다. 따라서 본 발명에서는 CT 촬영을 통해 입수된 X-ray 히스토그램에 근거하여 다중 회귀분석을 수행함으로써 복합매질을 대표하는 복수개의 GF들을 연산하여 산출하게 된다.
아래에서는 이러한 과정 즉, 연산장치에서 다중 회귀분석을 통하여 복합매질의 X-ray 히스토그램을 대표하는 GF를 연산하여 산출하는 과정을 좀더 상세히 설명한다. 도 4에는 다중 회귀분석을 통하여 복합매질의 X-ray 히스토그램을 대표하는 GF를 연산하여 산출하는 과정에 대한 흐름도가 도시되어 있으며, 도 5에는 3종의 순수매질이 혼합된 복합매질로 이루어진 촬영대상 시편에 대한 CT 값의 X-ray 히스토그램의 일예가 도시되어 있다. 도 5에 예시된 것처럼, 예를 들어 촬영대상 시편이 3개의 순수매질이 혼합된 복합매질(매질 복합체)로 이루어진 경우, X-ray 히스토그램은 순수매질을 대표하고 극대점을 갖는 3개의 GF를 포함하게 된다. 따라서 본 발명에서는 촬영대상 시편에 대해 X-ray 히스토그램을 입수한 후, 극대점의 개수를 계수하여 이를 촬영대상 시편을 구성하는 순수매질의 개수로 삼게 된다(단계 S1-1). 도 3에 예시된 경우에는 촬영대상 시편은 3개의 극대점을 가지고 있으므로, 순수매질 p1, p2 및 p3로 구성된 것이라고 할 수 있다.
이와 같이 X-ray 히스토그램에서의 극대점을 계수하는 것과 함께, 각각의 극대점에서의 CT 값을 각 순수매질의 X-ray 히스토그램을 대표하는 GF의 평균값으로 판독한다(단계 S1-2). 도 3의 경우, 순수매질 p1에 대한 극대점에서의 CT 값인 μP1을 판독하고, 순수매질 p2에 대한 극대점에서의 CT 값인 μP2 및 순수매질 p3에 대한 극대점에서의 CT 값인 μP3를 각각 판독한다. 이렇게 판독된 각 순수매질의 극대점에서의 CT 값은, 각 순수매질의 X-ray 히스토그램을 대표하는 GF의 평균값이 된다. 즉, GF는 평균값(bell 형상의 곡선에서의 평균값), 분산, 그리고 곡선의 아래 부분에 대한 면적값으로 정의되는 함수인데, 이렇게 판독된 각 순수매질의 극대점에서의 CT 값은, 각 순수매질의 X-ray 히스토그램을 대표하는 GF의 평균값이 되는 것이다.
한편, 복합매질의 X-ray 히스토그램은, 순수매질의 X-ray 히스토그램의 합으로만 이루어진 것이 아니다. 도 5에서 영역 A와 영역 B로 표시된 구간의 경우, 빈도수가 소정 값을 갖고 있으므로, 영역 A와 영역 B에 대해서도 수학적으로 표현해야 하며, 영역 A와 영역 B와 같이 순수매질의 극대점 사이의 구간을 포함하는 전체 복합매질의 X-ray 히스토그램을 GF로 표현하기 위해서는 순수매질의 X-ray 히스토그램에 대한 GF 이외에 추가적인 보조 GF가 더 필요하다. 도 6에는 도 5에 도시된 X-ray 히스토그램에서 영역 A와 영역 B에 보조 GF가 존재하는 것을 보여주는 X-ray 히스토그램이 도시되어 있는데, 도 6에 도시된 것과 같이 보조 GF가 더 필요한 것이다.
따라서 다중 회귀분석을 통하여 복합매질의 X-ray 히스토그램을 대표하는 GF를 연산하여 산출하기 위해서는 추가적인 보조 GF의 개수를 정하게 된다(단계 S1-3). 즉, 사용자는 복합매질의 X-ray 히스토그램을 대표하는 GF를 산출하는데 이용될 보조 GF의 개수(NF)를 임의로 정하는 것이다. 보조 GF의 개수(NF)가 정해지면, 연산장치에서는 순수매질간의 X-ray 히스토그램을 대표하는 GF의 평균값 간격을 상기 보조 GF의 개수(NF)로 나누어서, 각각의 보조 GF에 대한 평균값을 결정한다(단계 S1-4).
이와 같이 복합매질을 이루는 순수매질에 대해, 연산장치에서의 연산과정에 의해, 각각의 순수매질의 X-ray 히스토그램을 대표하는 GF의 평균값이 결정되고(단계 S1-2), 복합매질의 X-ray 히스토그램을 대표하는 GF를 산출하는데 이용될 보조 GF의 개수와, 각각의 보조 GF의 평균값이 결정되면(단계 S1-3 및 S1-4), 순수매질을 대표하는 GF와 보조 GF들의 형태를 결정하는 분산값 및 면적값들을 임의로 설정하고, 각 순수매질을 대표하는 GF와 보조 GF들을 모두 합하여 정의된 복합매질의 '임시 GF'를 산출한다(단계 S1-5).
'임시 GF'와 실제 CT 촬영을 통해 얻어진 X-ray 히스토그램 간의 오차(수평축의 최소와 최대범위 사이에서 일정 간격의 값(CT 값)에 대한 '임시 GF'와 X-ray 히스토그램을 통한 수직축의 대응값 간의 차이의 총합)가 최소가 되었을 때의 순수매질의 GF와 보조 GF의 분산값 및 면적값들의 조합을 산출한다. 이러한 일련의 연산과정을 일반적으로 '다중 회귀분석'이라 하는데, 이러한 다중 회귀분석을 통해 순수매질의 GF와 보조 GF의 분산값과 면적값의 조합이 결정되고, 이들의 합으로 정의되는 "복합매질의 X-ray 히스토그램을 대표하는 GF"가 채택된다(단계 S1-6). 즉, 산출된 임시 GF 중에서, CT 촬영으로 입수한 X-ray 히스토그램과의 복수개의 수평축 값에 대한 대응 수직축 값(함수 또는 히스토그램 곡선을 통한 수직축 대응값)들의 오차가 최소로 되는 GF를 복합매질의 X-ray 히스토그램을 대표하는 GF로 채택하게 되는 것이다.
이러한 관계를 수학적으로 표현하면 아래의 수학식 1과 같다.
Figure 112013087287145-pat00001
위의 수학식 1에서 NF는 순수매질의 개수와 보조 GF의 개수를 합한 개수이며, GFJ는 면적값, 분산값과 평균값으로 정의되는 종 형태의 가우스 분포함수로서 복합매질의 X-ray 히스토그램을 대표하는 GF를 구성하게 되는 개별적인 GF를 의미한다. 도 3에 도시된 것처럼, 예를 들어 복합매질이 p1, p2 및 p3의 순수매질 3개로 구성되어 있고, 보조 GF의 개수를 17로 정하였다면, 총 GFJ의 개수 NF는 20 (J = 1 ~ 20)이므로, 위 수학식 1은 아래의 수학식 2로 표현되는 것이다.
Figure 112013087287145-pat00002
위의 수학식 2에서 GF1 , GF2,.. 은 각각 순수매질의 GF와 보조 GF로서, 상기 단계 S1-2 및 단계 S1-3에 의해 정해진 평균값을 가진다. 또한, 상기 수학식 2에서 복합매질의 X-ray 히스토그램을 대표하는 GF는 위 단계 S1-5와 S1-6의 다중 회귀분석을 통해 결정된 분산값과 면적값으로 형태가 결정된 모든 GF의 합으로 정의되는 함수이다.
이와 같이, 복합매질의 X-ray 히스토그램을 대표하는 GF와, 이를 구성하는 개별적인 GF가 각각 산출되어 결정되면, 연산장치에서는 믹셀을 대표하는 보조 GF들에서 각각의 순수매질이 차지하는 부피비를 산정한다(단계 S2).
도 7에는 각 GF에서 각각의 순수매질이 차지하는 부피비를 산정하는 단계에 대한 상세한 흐름도가 도시되어 있는데, 도 7에 도시된 것처럼 우선 각각의 순수매질에 대한 GF의 평균값과, 복합매질의 X-ray 히스토그램을 대표하는 GF를 구성하는 복수개의 보조 GF 각각의 평균값의 차이를 연산한다(단계 S2-1). 즉, 복합매질의 X-ray 히스토그램을 대표하는 GF를 구성하는 복수개의 GF 중에서 i번째 순수매질에 대한 GF의 평균값(μi)과, 복합매질(믹셀)의 X-ray 히스토그램을 대표하는 GF를 구성하는 복수개의 GF 중에서 j번째 GF의 평균값(μj)의 차이(Li,j)를 아래의 수학식 3에 의하여 연산하는 것이다.
Figure 112013087287145-pat00003
위의 수학식 3에 의하여 연산된 Li ,j 값이 작을수록, 해당하는 순수매질의 비율이 커진다는 것이 된다. 도 3에 예시된 것처럼, 순수매질이 p1, p2 및 p3의 3개이고, 복합매질의 X-ray 히스토그램을 대표하는 GF를 구성하는 GF들의 평균값이, 순수매질 p3의 GF 평균값에 근접한다면, 즉 수학식 3에 의하여 연산된 L3,j값이 작다면, 이는 순수매질 p3가 차지하는 비율이 크다는 것을 의미하게 된다.
따라서 각각의 순수매질에 대한 GF의 평균값과, 복합매질의 X-ray 히스토그램을 대표하는 GF를 구성하는 복수개의 GF 각각의 평균값의 차이를 연산한 후에는, 연산된 결과를 이용하여 각각의 GF에서 각각의 순수매질이 차지하는 부피비를 연산한다(단계 S2-1). 즉, 위의 수학식 3에 의하여 Li,j 값을 연산한 후에는, Li,j 값을 이용하여, 복합매질의 X-ray 히스토그램을 대표하는 GF를 구성하는 복수개의 GF 중에서 j번째 GF에서 i번째 순수매질이 차지하는 부피비 PRi,j를 아래의 수학식 4에 의하여 산출하는 것이다.
Figure 112013087287145-pat00004
위의 수학식 4에서 Li ,j는 수학식 3에 의하여 연산된 값이고, NP는 순수매질의 개수(단계 S1-1에 의해 정해진 순수매질의 개수)이다. 수학식 4에서 PRi ,j는, 상기한 수학식 1에서 복합매질의 X-ray 히스토그램을 대표하는 GF를 산출하는데 사용되었던 복수개의 GF 중에서 j번째 GF에 대해, j번째 GF에서 i번째 순수매질이 차지하는 부피비를 의미한다.
이와 같이 복합매질의 X-ray 히스토그램을 대표하는 GF를 산출하는데 사용되었던 복수개의 GF의 각각에 대해, 순수매질이 차지하는 부피비가 상기한 수학식 4에 의해 산출되면, 연산장치에서는 각각의 복셀에 대한 각 순수매질의 부피비 VF를 아래의 수학식 5에 의하여 산출한다(단계 S3).
Figure 112013087287145-pat00005
위의 수학식 5에서 VFi(x)는 CT 값이 x인 복셀에서 i번째 순수매질이 차지하고 있는 부피비이다. 수학식 5에서 PRi ,j는 복합매질의 X-ray 히스토그램을 대표하는 GF를 구성하는 복수개의 GF 중에서 j번째 GF에서 i번째 순수매질이 차지하는 부피비(수학식 4에 의해 연산된 것)이고, GFj(x)는 CT 값이 x인 복셀에 대한 j번째 GF의 복셀 빈도수이다. 즉, 위 수학식 5의 GFj(x)는, 복합매질의 X-ray 히스토그램을 대표하는 GF를 구성하는 복수개의 GF 중에서 j번째 GF의 X-ray 히스토그램 그래프를 그렸을 때, 해당 그래프에서 가로 축의 CT 값이 x일 때의 세로축의 값을 의미하는 것이다.
한편, 수학식 5에서 NP는 순수매질의 개수이고, NF는 순수매질의 개수와 보조 GF의 개수를 합한 개수(수학식 1 참조)이다.
이와 같이 본 발명에서는 복수개의 순수매질이 혼합된 복합매질(매질 복합체)로 만들어진 시편에 대한 CT 촬영에서 최소 단위에 해당하는 각각의 복셀 즉, 시편을 이루는 각각의 복셀에 대해, 해당 복셀 내에서 각 순수매질이 차지하는 부피비를 산출할 수 있게 되는 것이다. 앞서 설명한 것처럼 마치 디지털카메라로 물건을 촬영하였을 때, 촬영의 최소 단위인 "픽셀"이 모여서 물건의 2차원 영상을 이루는 것처럼, 시편을 CT 촬영하게 되면 시편은 CT 촬영의 최소 단위인 복셀이 모인 것으로 간주되는데, 본 발명에 의하면 시편의 복셀 중에서 복수의 순수 매질이 혼합되어 있는 복셀 즉, 믹셀에 대해, 해당 믹셀에 혼합된 순수 매질의 부피비를 산출할 수 있게 되는 것이다.
도 8에는 본 발명에 따라 복셀을 구분하는 방식을 설명하기 위한 개념도가 도시되어 있는데, 도 8의 (a)에 도시된 것처럼 시편이 믹셀과 순수한 매질만으로 이루어진 복셀로 이루어진 경우, 본 발명에서는 해당 믹셀에 혼합된 순수 매질의 부피비를 산출할 수 있게 되므로, 도 8의 (b)에 도시된 것처럼, 순수 매질의 부피비에 따라 각각의 복셀(믹셀을 포함)을 구분할 수 있게 되는 것이다.
즉, 앞서 살펴보았듯이, 종래 기술에 의해서는 정해진 역치를 기준으로 2분법에 의해 복셀을 구분하기 때문에, 시편에 대한 복셀 중에서 여러 종류의 매질이 혼합되어 있는 믹셀이 존재할지라도, 이러한 믹셀에 혼합된 순수 매질의 부피비를 전혀 고려하지 못하였고, 따라서 공지의 방법에 의해 시편을 이루는 각 매질의 부피비를 산출하더라도 정확성과 신뢰성이 낮다는 단점이 있었다. 그러나 본 발명에서는 위와 같이 순수 매질이 혼합되어 있는 믹셀에 대해서, 해당 믹셀에 혼합된 순수 매질의 부피비를 산출할 수 있게 되므로, 복셀에 근거하여 공지의 방법에 의해 시편을 이루는 각 매질의 부피비를 산출하였을 때, 1개의 복셀 단위의 부피 내에서도 순수 매질의 부피비를 정확하게 연산할 수 있게 되며, CT 촬영을 이용한 시편의 평균 부피비 분석방법에 대해 정확성과 신뢰성을 높일 수 있게 되는 효과가 발휘된다.
M: X-ray 히스토그램의 극대점

Claims (2)

  1. 복수개의 순수매질이 혼합된 복합매질로 만들어진 시편에 대한 X-ray CT 촬영에서 최소 단위에 해당하는 각각의 복셀에 대해, 해당 복셀 내에서 각 순수매질이 차지하는 부피비를 산출하는 방법으로서,
    CT 촬영장치에 의해 X-ray를 투과하여 CT 촬영을 수행함으로써 복합매질로 이루어진 시편에 대한 X-ray 히스토그램을 입수하는 단계;
    CT 촬영에 의해 입수된 복합매질의 X-ray 히스토그램을 대표하는 GF 및 이를 구성하는 개별적인 GF를 연산장치에서 산출하는 단계;
    각각의 순수매질에 대한 GF의 평균값과, 복합매질의 X-ray 히스토그램을 대표하는 GF를 구성하는 복수개의 GF 각각의 평균값의 차이(Li,j)를 수학식 3에 의하여 연산하고, 산출된 Li,j 값을 이용하여 수학식 4에 의하여, 각각의 가우스 함수에서 각각의 순수매질이 차지하는 부피비(PRi,j)를 산정하는 단계; 및
    각각의 복셀 크기 단위에서 각 순수매질의 부피비(VF)를 수학식 5에 의하여 산출하는 단계를 포함하는 것을 특징으로 하는 복셀 내에서의 각 순수매질 부피비 측정방법.
    (수학식 3)
    Figure 112013087287145-pat00006

    (수학식 4)
    Figure 112013087287145-pat00007

    (수학식 5)
    Figure 112013087287145-pat00008

    (수학식 3, 수학식 4 및 수학식 5에서, μi는 i번째 복합매질의 X-ray 히스토그램을 대표하는 GF를 구성하는 복수개의 GF 중에서 순수매질에 대한 GF의 평균값이고, μj는 복합매질의 X-ray 히스토그램을 대표하는 GF를 구성하는 복수개의 GF중에서 j번째 GF의 평균값이며, Li,j는 μi와 μj의 차이이고, NP는 순수매질의 개수이며, PRi,j는 복합매질의 X-ray 히스토그램을 대표하는 GF를 구성하는 복수개의 GF중에서 j번째 GF에서 i번째 순수매질이 차지하는 부피비이고, NF는 순수매질의 개수와 보조 GF의 개수를 합한 개수이며, VFi(x)는 CT 값이 x인 복셀에서 i번째 순수매질이 차지하고 있는 부피비이고, GFj(x)는 복합매질의 X-ray 히스토그램을 대표하는 GF를 구성하는 복수개의 GF 중에서 CT 값이 x인 복셀에 대한 j번째 가우스 함수의 복셀 빈도수이다)
  2. 제1항에 있어서,
    입수된 X-ray 히스토그램을 대표하는 GF 및 이를 구성하는 개별적인 GF를 연산장치에서 산출하는 단계는,
    입수된 복합매질의 X-ray 히스토그램의 극대점 개수를 계수하고, 각 순수매질의 X-ray 히스토그램을 대표하는 GF의 평균값을 판독하고;
    추가적인 보조 GF의 개수를 결정한 후, 각 보조 GF에 대한 평균값을 결정하여, 전체 GF의 합으로 이루어진 복합매질의 임시 GF를 산출하고;
    산출된 임시 GF 중에서, CT 촬영으로 입수한 X-ray 히스토그램과의 복수개의 수평축 값에 대한 대응 수직축 값들의 오차가 최소로 되는 GF를 복합매질의 X-ray 히스토그램을 대표하는 GF로 채택함으로써 수행되는 것을 특징으로 하는 복셀 내에서의 각 순수매질 부피비 측정방법.
KR20130114407A 2013-09-26 2013-09-26 복합매질로 이루어진 시편에 대한 X-ray CT 영상의 최소 단위에 존재하는 각 순수매질의 부피비 측정방법 KR101370496B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR20130114407A KR101370496B1 (ko) 2013-09-26 2013-09-26 복합매질로 이루어진 시편에 대한 X-ray CT 영상의 최소 단위에 존재하는 각 순수매질의 부피비 측정방법
JP2016513856A JP6039132B2 (ja) 2013-09-26 2013-12-18 複合媒質からなる試片に対するｘ線ｃｔ画像の最小単位に存在する各純粋媒質の体積比の測定方法
US14/771,793 US20160011125A1 (en) 2013-09-26 2013-12-18 Method for measuring volume ratio of each constituent medium existing in minimum unit of x-ray ct image for specimen formed of complex mediums
PCT/KR2013/011794 WO2015046668A1 (ko) 2013-09-26 2013-12-18 복합매질로 이루어진 시편에 대한 Ｘ－ｒａｙ ＣＴ 영상의 최소 단위에 존재하는 각 순수매질의 부피비 측정방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130114407A KR101370496B1 (ko) 2013-09-26 2013-09-26 복합매질로 이루어진 시편에 대한 X-ray CT 영상의 최소 단위에 존재하는 각 순수매질의 부피비 측정방법

Publications (1)

Publication Number Publication Date
KR101370496B1 true KR101370496B1 (ko) 2014-03-06

Family

ID=50647600

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130114407A KR101370496B1 (ko) 2013-09-26 2013-09-26 복합매질로 이루어진 시편에 대한 X-ray CT 영상의 최소 단위에 존재하는 각 순수매질의 부피비 측정방법

Country Status (4)

Country Link
US (1) US20160011125A1 (ko)
JP (1) JP6039132B2 (ko)
KR (1) KR101370496B1 (ko)
WO (1) WO2015046668A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150141889A (ko) 2014-06-10 2015-12-21 한국건설기술연구원 3D X-ray CT 촬영을 이용한 재료의 이방성 측정방법
KR102177448B1 (ko) * 2019-08-13 2020-11-11 연세대학교 산학협력단 X-선 ct 이미지 및 공극 크기 분포를 이용한 다공성 재료 또는 균열 재료의 3차원 유동 평가 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6595910B2 (ja) 2015-12-28 2019-10-23 キヤノン株式会社 Ｃｔ装置、ｃｔ撮影方法及びプログラム
JP6946935B2 (ja) * 2017-10-30 2021-10-13 日本製鉄株式会社 気孔率推定方法及び気孔率推定装置
JP7234821B2 (ja) * 2019-02-13 2023-03-08 住友金属鉱山株式会社 粉末試料の分析方法、ｘ線ｃｔ測定用試料の作製方法およびｘ線ｃｔ測定用試料

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4982086A (en) 1988-07-14 1991-01-01 Atlantic Richfield Company Method of porosity determination in porous media by x-ray computed tomography
JP2002538915A (ja) 1999-03-18 2002-11-19 ザ リサーチ ファウンデーション オブ ステイト ユニヴァーシティ オブ ニューヨーク ３次元仮想検査、ナビゲーション及び視覚化を実行するシステム及び方法
JP2008525142A (ja) 2004-12-29 2008-07-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ｘ線投影のアーチファクト補正のための装置及び方法
KR20110054092A (ko) * 2009-11-17 2011-05-25 한국건설기술연구원 엑스레이 씨티촬영을 통한 미세 토사의 간극비 측정방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2113752C (en) * 1994-01-19 1999-03-02 Stephen Michael Rooks Inspection system for cross-sectional imaging
US6315445B1 (en) * 1996-02-21 2001-11-13 Lunar Corporation Densitometry adapter for compact x-ray fluoroscopy machine
US6324240B1 (en) * 1998-11-12 2001-11-27 The Board Of Trustees Of The Leland Stanford Junior University Method for beam hardening correction in quantitative computed X-ray tomography
JP3534009B2 (ja) * 1999-09-24 2004-06-07 日本電気株式会社 輪郭抽出方法及び装置
JP3649328B2 (ja) * 2002-04-10 2005-05-18 日本電気株式会社 画像領域抽出方法および装置
US6876721B2 (en) * 2003-01-22 2005-04-05 Saudi Arabian Oil Company Method for depth-matching using computerized tomography
JP4609322B2 (ja) * 2003-07-29 2011-01-12 日本電気株式会社 染色体状態の評価方法および評価システム
KR100719350B1 (ko) * 2005-09-08 2007-05-17 건국대학교 산학협력단 유방암 진단시스템 및 진단방법
JP4714607B2 (ja) * 2006-03-14 2011-06-29 新日本製鐵株式会社 高炉出銑流測定システム、高炉出銑流測定方法、及びコンピュータプログラム
US8290232B2 (en) * 2008-02-15 2012-10-16 Mayo Foundation For Medical Education And Research System and method for quantitative imaging of chemical composition to decompose more than two materials
JP4668289B2 (ja) * 2008-04-03 2011-04-13 富士フイルム株式会社 画像処理装置および方法並びにプログラム
KR101151155B1 (ko) * 2010-06-28 2012-06-01 경희대학교 산학협력단 로컬 바이너리 피팅법을 이용한 관절 간격 측정방법
US8582718B2 (en) * 2010-11-30 2013-11-12 Morpho Detection, Inc. Method and system for deriving molecular interference functions from XRD profiles
WO2013108886A1 (ja) * 2012-01-20 2013-07-25 株式会社ニコン Ｘ線装置、方法、構造物の製造方法、プログラム及びプログラムを記録した記録媒体
FR2994481B1 (fr) * 2012-08-07 2014-08-29 Snecma Procede de caracterisation d'un objet en materiau composite
JP6031339B2 (ja) * 2012-11-21 2016-11-24 富士フイルム株式会社 透視画像濃度補正方法、非破壊検査方法、及び画像処理装置
US20140270393A1 (en) * 2013-03-15 2014-09-18 Bp Corporation North America Inc. Systems and methods for improving direct numerical simulation of material properties from rock samples and determining uncertainty in the material properties

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4982086A (en) 1988-07-14 1991-01-01 Atlantic Richfield Company Method of porosity determination in porous media by x-ray computed tomography
JP2002538915A (ja) 1999-03-18 2002-11-19 ザ リサーチ ファウンデーション オブ ステイト ユニヴァーシティ オブ ニューヨーク ３次元仮想検査、ナビゲーション及び視覚化を実行するシステム及び方法
JP2008525142A (ja) 2004-12-29 2008-07-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ｘ線投影のアーチファクト補正のための装置及び方法
KR20110054092A (ko) * 2009-11-17 2011-05-25 한국건설기술연구원 엑스레이 씨티촬영을 통한 미세 토사의 간극비 측정방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150141889A (ko) 2014-06-10 2015-12-21 한국건설기술연구원 3D X-ray CT 촬영을 이용한 재료의 이방성 측정방법
KR102177448B1 (ko) * 2019-08-13 2020-11-11 연세대학교 산학협력단 X-선 ct 이미지 및 공극 크기 분포를 이용한 다공성 재료 또는 균열 재료의 3차원 유동 평가 방법

Also Published As

Publication number Publication date
JP2016522720A (ja) 2016-08-04
JP6039132B2 (ja) 2016-12-07
WO2015046668A1 (ko) 2015-04-02
US20160011125A1 (en) 2016-01-14

Similar Documents

Publication Publication Date Title
KR101370496B1 (ko) 복합매질로 이루어진 시편에 대한 X-ray CT 영상의 최소 단위에 존재하는 각 순수매질의 부피비 측정방법
CN100496402C (zh) 图像处理方法、图像处理系统以及x-射线ct系统
Lontoc-Roy et al. Advances in the acquisition and analysis of CT scan data to isolate a crop root system from the soil medium and quantify root system complexity in 3-D space
CN102498438B (zh) 放射线成像系统的扩展低对比度可检测性
Brosinsky et al. Spectral fingerprinting: sediment source discrimination and contribution modelling of artificial mixtures based on VNIR-SWIR spectral properties
Tafesse et al. Digital sieving-Matlab based 3-D image analysis
KR100963186B1 (ko) 방사선을 이용하여 액체형태물품에 대한 보안검사를수행하는 방법 및 장치
Carbonneau et al. Robotic photosieving from low‐cost multirotor sUAS: a proof‐of‐concept
Ferreira et al. Lime application effects on soil aggregate properties: Use of the mean weight diameter and synchrotron-based X-ray μCT techniques
CN112106107A (zh) 显微镜切片图像的聚焦加权的机器学习分类器误差预测
US9652684B2 (en) Image processing for classification and segmentation of rock samples
Pires et al. Porosity distribution by computed tomography and its importance to characterize soil clod samples
Ketcham et al. Characterizing, measuring, and utilizing the resolution of CT imagery for improved quantification of fine-scale features
CN108663287B (zh) 一种利用ct图像精确计算煤岩密度的方法
Jiang et al. A vertical profile imaging method for quantifying rock fragments in gravelly soil
Kozakiewicz Image analysis algorithm for detection and measurement of Martian sand grains
CN104616251A (zh) 一种数字x线图像散射修正的方法及装置
Ferreira et al. Representative elementary area for soil bulk density measurements of samples collected in volumetric rings by CT image analyses
Beraldo et al. Application of x-ray computed tomography in the evaluation of soil porosity in soil management systems
JP2023534175A (ja) Ｌｆａ試験片のニューラル・ネットワーク分析
KR101446171B1 (ko) X선 ct 영상을 이용한 시멘트 기반 재료의 기포간격계수 측정방법
Valous et al. Spatial intratumoral heterogeneity of proliferation in immunohistochemical images of solid tumors
CN103048257A (zh) 一种砂土种类识别与颗粒组分分析装置
CN101036160A (zh) 数据显示系统和方法
Vimort et al. Detection of bone loss via subchondral bone analysis

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170202

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180201

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190201

Year of fee payment: 6