KR101294254B1 - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR101294254B1
KR101294254B1 KR1020120064464A KR20120064464A KR101294254B1 KR 101294254 B1 KR101294254 B1 KR 101294254B1 KR 1020120064464 A KR1020120064464 A KR 1020120064464A KR 20120064464 A KR20120064464 A KR 20120064464A KR 101294254 B1 KR101294254 B1 KR 101294254B1
Authority
KR
South Korea
Prior art keywords
region
brightness
interest
calculation
rois
Prior art date
Application number
KR1020120064464A
Other languages
English (en)
Inventor
홍병우
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020120064464A priority Critical patent/KR101294254B1/ko
Application granted granted Critical
Publication of KR101294254B1 publication Critical patent/KR101294254B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/207Analysis of motion for motion estimation over a hierarchy of resolutions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]

Abstract

동적 조영 증강 자기공명영상에서 관심이 있는 영역을 추출하는 방법 및 장치에 관한 것으로, 일실시예에 따른 영상 처리 장치는 동적 조영 증강(Dynamic Contrast Enhanced) 자기공명영상(MRI, Magnetic Resonance Imaging)을 입력 받아, 상기 동적 조영 증강 자기공명영상의 픽셀마다 시간에 따라 변화하는 밝기 시그네이처를 추출하는 추출부, 상기 픽셀마다 추출된 밝기 시그네이처들 간의 형태 유사도에 기초하여 설정된 시간마다 관심영역을 결정하는 결정부 및 상기 설정된 시간마다 결정된 관심영역들의 위치를 비교하여, 촬영 객체의 움직임을 추정하는 추정부를 포함할 수 있다.

Description

영상 처리 장치 및 방법{METHOD AND APPARATUS FOR IMAGE PROCESSING}
기술분야는 영상 처리 방법 및 장치에 관한 것으로서, 더욱 상세하게는 동적 조영 증강 자기공명영상에서 관심이 있는 영역을 추출하는 방법 및 장치에 관한 것이다.
동적 조영 증강(DCE, Dynamic Contrast Enhanced) 자기공명영상(MRI, Magnetic Resonance Imaging)은 인체 조직의 혈기(vascularity), 관류(perfusion) 및 모세혈관 투과성(capillary permeability)에 관한 정보를 제공할 수 있다.
동적 조영 증강 자기공명영상은 조영제(contrast agent)에 반응하여 시간에 따라 다른 밝기 값을 가지는 영상을 제공함으로써, 임상(clinical) 정보를 제공할 수 있다.
종래, 동적 조영 증강 자기공명영상에 기초하여 병변(lesion)을 판독하기 위해서는 판독하는 사람이 영상에서 병변의 발생이 추정되는 영역을 결정한 후, 결정한 영역의 시간에 따른 밝기 값의 변화를 관찰하여 병변의 발생여부를 확인하는 것이 일반적이었다.
그러나, 먼저 병변의 발생이 추정되는 영역을 결정하는 과정에서 불확실한 요소가 개입되므로, 정확하게 병변이 발생한 영역을 추정하는데 시간과 비용이 소모된다. 또한, 촬영 객체에 움직임이 발생하는 경우, 동적 조영 증강 자기공명영상에서 병변의 발생이 추정되는 영역도 이동할 것이다.
따라서, 병변의 발생이 추정되는 영역, 즉 관심영역을 결정하고, 관심영역이 이동하는 경우, 그 이동을 추적하는 기술에 대한 연구가 계속적으로 이루어질 필요가 있다.
본 발명은 동적 조영 증강 자기공명영상을 구성하는 모든 픽셀의 시간에 따라 변하는 밝기 시그네이처 간의 형태 유사도에 기초하여 관심영역을 결정함으로써, 추출하고자 하는 관심영역을 정확하게 결정하는 방법을 제공한다.
또한, 본 발명은 관심영역의 경계를 촬영 객체의 움직임에 따라 보상함으로써, 촬영 객체의 움직임에 대응하는 관심영역을 결정하는 방법을 제공한다.
또한, 본 발명은 동적 조영 증강 자기공명영상에서 관심영역의 이동 거리 및 이동 방향을 추적하여 촬영 객체의 움직임을 보상하는 방법을 제공한다.
본 발명의 일실시예에 따른 영상 처리 장치는 동적 조영 증강(Dynamic Contrast Enhanced) 자기공명영상(MRI, Magnetic Resonance Imaging)을 입력 받아, 상기 동적 조영 증강 자기공명영상의 픽셀마다 시간에 따라 변화하는 밝기 시그네이처를 추출하는 추출부, 상기 픽셀마다 추출된 밝기 시그네이처들 간의 형태 유사도에 기초하여 설정된 시간마다 관심영역을 결정하는 결정부 및 상기 설정된 시간마다 결정된 관심영역들의 위치를 비교하여, 촬영 객체의 움직임을 추정하는 추정부를 포함할 수 있다.
상기 결정부는 상기 동적 조영 증강 자기공명영상에서, 계산영역 내부에 포함된 각 픽셀마다 상기 계산영역 내부의 밝기 시그네이처의 평균에서 상기 계산영역 내부에 포함된 각 픽셀의 밝기 시그네이처를 제1 감산하는 제1 계산부, 상기 동적 조영 증강 자기공명영상에서, 계산영역 외부에 포함된 각 픽셀마다 상기 계산영역 외부의 밝기 시그네이처의 평균에서 상기 계산영역 외부에 포함된 각 픽셀의 밝기 시그네이처를 제2 감산하는 제2 계산부 및 상기 제1 감산의 결과와 상기 제2 감산의 결과를 합산한 값이 최소가 되는 계산영역을 제1 관심영역으로 결정하는 제1 관심영역 결정부를 포함할 수 있다.
상기 결정부는 상기 설정된 시간에서, 상기 결정된 제1 관심영역이 복수개인 경우에, 상기 복수개의 제1 관심영역들의 사이즈를 비교하고, 사이즈가 큰 순서대로 적어도 두 개의 제1 관심영역들을 포함하는 영역을 제2 관심영역으로 결정하는 제2 관심영역 결정부를 더 포함할 수 있다.
상기 결정부는 고정된 시점에서, 상기 계산영역 내부에 포함된 각 픽셀마다 상기 계산영역 내부의 밝기 값의 평균에서 상기 계산영역 내부에 포함된 각 픽셀의 밝기 값을 제1 감산하는 제1 계산부, 상기 고정된 시점에서, 상기 계산영역 외부에 포함된 각 픽셀마다 상기 계산영역 외부의 밝기 값의 평균에서 상기 계산영역 외부에 포함된 각 픽셀의 밝기 값을 제2 감산하는 제2 계산부 및 상기 제1 감산의 결과와 상기 제2 감산의 결과를 합산한 값이 최소가 되는 계산영역을 제1 관심영역으로 결정하는 제1 관심영역 결정부를 포함할 수 있다.
상기 결정부는 상기 고정된 시점에서, 상기 결정된 제1 관심영역이 복수개인 경우에, 상기 복수개의 제1 관심영역들의 사이즈를 비교하고, 사이즈가 큰 순서대로 적어도 두 개의 제1 관심영역들을 포함하는 영역을 제2 관심영역으로 결정하는 제2 관심영역 결정부를 더 포함할 수 있다.
다른 일실시예에 따른 영상 처리 장치는 상기 결정된 관심영역들의 바운더리(boundary)에 가중치를 적용하는 제어부를 더 포함할 수 있다.
상기 제어부는 상기 결정된 관심영역들의 바운더리를 기준으로 소정 거리 내에 위치한 픽셀들의 밝기 값의 유사도에 기초하여 상기 가중치를 결정하는 가중치 결정부 및 상기 결정된 가중치를 상기 바운더리를 기준으로 소정 거리 내에 위치한 픽셀들에 적용하는 가중치 적용부를 포함할 수 있다.
일실시예에 따른 영상 처리 방법은 동적 조영 증강(Dynamic Contrast Enhanced) 자기공명영상(MRI, Magnetic Resonance Imaging)을 입력 받아, 상기 동적 조영 증강 자기공명영상의 픽셀마다 시간에 따라 변화하는 밝기 시그네이처를 추출하는 단계, 상기 픽셀마다 추출된 밝기 시그네이처들 간의 형태 유사도에 기초하여 설정된 시간마다 관심영역을 결정하는 단계 및 상기 설정된 시간마다 결정된 관심영역들의 위치를 비교하여, 촬영 객체의 움직임을 추정하는 단계를 포함할 수 있다.
상기 결정하는 단계는 상기 동적 조영 증강 자기공명영상에서, 계산영역 내부에 포함된 각 픽셀마다 상기 계산영역 내부의 밝기 시그네이처의 평균에서 상기 계산영역 내부에 포함된 각 픽셀의 밝기 시그네이처를 제1 감산하는 단계, 상기 동적 조영 증강 자기공명영상에서, 계산영역 외부에 포함된 각 픽셀마다 상기 계산영역 외부의 밝기 시그네이처의 평균에서 상기 계산영역 외부에 포함된 각 픽셀의 밝기 시그네이처를 제2 감산하는 단계 및 상기 제1 감산의 결과와 상기 제2 감산의 결과를 합산한 값이 최소가 되는 계산영역을 제1 관심영역으로 결정하는 단계를 포함할 수 있다.
상기 결정하는 단계는 상기 설정된 시간에서, 상기 결정된 제1 관심영역이 복수개인 경우에, 상기 복수개의 제1 관심영역들의 사이즈를 비교하고, 사이즈가 큰 순서대로 적어도 두 개의 제1 관심영역들을 포함하는 영역을 제2 관심영역으로 결정하는 단계를 더 포함할 수 있다.
본 발명은 촬영조건을 고려하여 조도를 추정하고 이미지의 텍스쳐와 특징을 보존함으로써 촬영이미지에서 불균일한 조도를 제거하여 촬영조건에 견고한 방법 및 장치를 제공할 수 있다.
또한, 본 발명은 불균일한 조도를 제거한 이미지로부터 텍스쳐의 각 영역에서 다중 스케일 엔트로피를 생성하고, 다중 스케일 엔트로피를 이용하여 유사성을 바탕으로 영상을 분할하는 방법 및 장치를 제공할 수 있다.
또한, 본 발명은 다중 스케일 엔트로피를 이용함으로써 계산에 요구되는 파라미터를 최소화하여 연산속도를 개선할 수 있는 방법 및 장치를 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 영상 처리 장치의 블록도이다.
도 2는 본 발명의 일실시예에 따른 동적조영증강 자기공명영상의 각 픽셀의 밝기 시그네이처를 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 영상 처리 장치에서 결정된 관심영역을 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 영상 처리 장치에서 결정된 관심영역 및 관심영역의 경계를 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 영상 처리 방법에서 관심영역을 추정하는 과정을 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 영상 처리 방법에서 촬영 객체의 움직임에 따라 이동하는 관심영역을 추적하는 과정을 나타낸 도면이다.
도 7은 일반적인 동적 조영 증강 자기공명영상을 시간 별로 나타낸 도면이다.
도 8 내지 도 11은 본 발명의 일실시예에 따른 영상 처리 방법으로 동적 조영 증강 자기공명영상에서 관심영역 및 미세하게 움직임이 발생한 관심영역을 추출한 도면이다.
도 12는 본 발명의 일실시예에 따른 영상 처리 방법의 흐름도이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 영상 처리 장치의 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 관심영역 결정 장치는 추출부(110), 결정부(120), 제어부(130) 및 추정부(140)를 포함할 수 있다.
추출부(110)는 동적 조영 증강(Dynamic Contrast Enhanced, 이하 DCE라 함) 자기공명영상(Magnetic Resonance Imaging, 이하 MRI라 함)을 입력 받아, 동적 조영 증강 자기공명영상의 픽셀마다 시간에 따라 변화하는 밝기 시그네이처를 추출할 수 있다. DCE MRI는 조영제와 반응하여 발생하는 밝기의 변화를 보여줄 수 있다. 추출부(110)는 DCE MRI로부터 픽셀 별로 밝기 시그네이처를 추출할 수 있다. 밝기 시그네이처는 시간에 따라 변화하는 픽셀의 밝기 값을 나타낼 수 있다. 밝기 시그네이처는 시간에 따라 변화하며, 특정한 형태를 가질 수 있다. 조영제는 특정 물질 또는 특정 조직과 반응하며, 반응한 특정 물질 또는 특정 조식에서는 짧은 시간에 빛의 밝기가 증가하였다가 감소할 수 있다.
결정부(120)는 픽셀마다 추출된 밝기 시그네이처들 간의 형태 유사도에 기초하여 설정된 시간마다 관심영역을 결정할 수 있다. 이때, 관심영역을 결정한다는 의미에는 관심영역의 모양을 결정한다는 의미도 포함된다. 관심영역을 결정하는 시간의 설정은 제어부(130)에서 임의로 결정될 수도 있고, 제어부(130)를 통하여 사용자에 의해 설정될 수도 있다.
추출부(120)에서는 픽셀 별로 밝기 시그네이처가 추출될 수 있는데, 결정부(120)는 밝기 시그네이처의 형태가 유사한 픽셀들을 관심영역으로 결정할 수 있다. 밝기 시그네이처의 형태가 유사하다는 것은 밝기가 최대 값을 가지는 시점이 유사하다는 것과 동일한 의미일 수 있다. 밝기 시그네이처의 형태를 키네틱(kinetic) 시그네이처라고 정의할 수도 있다.
결정부(120)는 DCE MRI보다 작은 크기의 계산영역을 설정하고, DCE MRI에서 계산영역 별로 밝기 시그네이처의 형태가 유사한지 여부를 판단할 수도 있다. 계산영역의 이용은 아래에서 좀 더 상세하게 설명한다.
결정부(120)는 제1 계산부(121), 제2 계산부(123), 제1 관심영역 결정부(125)를 포함할 수 있다.
제1 계산부(121)는 DCE MRI에서, 계산영역 내부에 포함된 각 픽셀마다 계산영역 내부의 밝기 시그네이처의 평균에서 계산영역 내부에 포함된 각 픽셀의 밝기 시그네이처를 제1 감산(subtract)할 수 있다.
제2 계산부(123)는 DCE MRI에서, 계산영역 외부에 포함된 각 픽셀마다 계산영역 외부의 밝기 시그네이처의 평균에서 계산영역 외부에 포함된 각 픽셀의 밝기 시그네이처를 제2 감산할 수 있다.
제1 관심영역 결정부(125)는 제1 감산의 결과와 제2 감산의 결과를 합산한 값이 최소가 되는 계산영역을 제1 관심영역으로 결정할 수 있다. 제1 관심영역 결정부(125)는 제1 감산의 결과와 제2 감산의 결과를 합산한 값이 최소가 되는 시점 및 제1 감산의 결과와 제2 감산의 결과를 합산한 값이 최소가 되는 계산영역을 계산할 수 있다. 제1 관심영역 결정부(125)는 상기 최소가 되는 시점에서의 상기 최소가 되는 계산영역을 제1 관심영역으로 결정할 수 있다.
계산영역은 DCE MRI의 임의의 위치로 설정될 수 있다. 계산영역을 이동시키며, 제1 감산과 제2 감산이 이루어질 수 있다. 계산영역이 관심영역에 위치하는 경우에 제1 감산의 결과와 제2 감산의 결과의 합은 최소 값을 가질 수 있다. 도 5에서 관심영역을 결정하는 과정에 대해 좀 더 상세하게 설명하기로 한다.
결정부(120)는 제2 관심영역 결정부(127)를 더 포함할 수 있다. 제2 관심영역 결정부(127)는 제1 관심영역 결정부(125)에서 결정된 제1 관심영역이 복수개인 경우에, 복수개의 제1 관심영역들의 사이즈를 비교하고, 사이즈가 큰 순서대로 적어도 두 개의 제1 관심영역들을 포함하는 영역을 제2 관심영역으로 결정할 수 있다. 예를 들면, 제1 관심영역 결정부(125)에서 10개의 제1 관심영역들이 결정된 경우에, 제1 관심영역들의 넓이가 큰 순서대로, 첫 번째로 큰 제1 관심영역과 두 번째로 큰 제1 관심영역을 포함하는 영역이 제2 관심영역으로 결정될 수 있다. 또는 제1 관심영역들의 넓이가 동일한 경우, 동일한 넓이를 가지는 제1 관심영역들을 포함하는 영역이 제2 관심영역으로 결정될 수 있다.
제1 계산부(121)는 고정된 시점에서, 계산영역 내부에 포함된 각 픽셀마다 계산영역 내부의 밝기 값의 평균에서 계산영역 내부에 포함된 각 픽셀의 밝기 값을 제1 감산할 수 있다. 밝기 시그네이처는 시간에 따른 밝기의 변화가 고려된 것이므로, 고정된 시점에서는 밝기 시그네이처가 아닌 밝기 값이 이용될 수 있다. 특정 시점에서의 밝기 시그네이처 값은 밝기 값으로 이용될 수 있다.
제2 계산부(123)는 고정된 시점에서, 계산영역 외부에 포함된 각 픽셀마다 계산영역 외부의 밝기 값의 평균에서 계산영역 외부에 포함된 각 픽셀의 밝기 값을 제2 감산할 수 있다.
제1 관심영역 결정부(125)는 제1 감산의 결과와 제2 감산의 결과를 합산한 값이 최소가 되는 계산영역을 제1 관심영역으로 결정할 수 있다. 제1 관심영역 결정부(125)는 고정된 시점에서, 제1 관심영역을 결정할 수 있다.
제2 관심영역 결정부(127)는 고정된 시점에서, 결정된 제1 관심영역이 복수개인 경우에, 복수개의 제1 관심영역들의 사이즈를 비교하고, 사이즈가 큰 순서대로 적어도 두 개의 제1 관심영역들을 포함하는 영역을 제2 관심영역으로 결정할 수 있다.
결정부(120)는 [수학식 1]에 기초하여 Ein(R, a)와 Eout(R, b)의 합이 최소가 되는 영역을 관심영역으로 결정할 수 있다.
[수학식 1]
Figure 112012047836397-pat00001
여기서 Ein는 시간 t의 관심영역 Rt의 내부의 에너지, Eout는 시간 t의 관심영역 Rt의 외부의 에너지, at는 관심영역 Rt의 내부의 밝기 시그네이처의 평균, bt는 관심영역 Rt의 외부의 밝기 시그네이처의 평균, f(x, t)는 DCE MRI의 각 픽셀의 밝기 시그네이처, R은 DCE MRI를 나타낸다.
제어부(130)는 결정된 관심영역의 바운더리(boundary)에 가중치를 적용할 수 있다.
제어부(130)는 가중치 결정부(131) 및 가중치 적용부(133)를 포함할 수 있다.
가중치 결정부(131)는 결정된 관심영역의 바운더리를 기준으로 바운더리에 해당하는 픽셀로부터 소정 거리 내에 위치한 픽셀들의 밝기 값의 유사도에 기초하여 가중치를 결정할 수 있다.
가중치 결정부(131)는 결정된 관심영역의 바운더리를 기준으로 가중치를 결정할 수 있다. 예를 들면, 바운더리에 해당하는 픽셀의 밝기 값을 1이라고 가정하면, 바운더리에 해당하는 픽셀로부터 관심영역 내부의 방향에 위치한 픽셀들에는 1보다 큰 가중치가 결정될 수 있고, 바운더리에 해당하는 픽셀로부터 관심영역 외부의 방향에 위치한 픽셀들에는 1보다 작은 가중치가 결정될 수 있다.
가중치 적용부(133)는 가중치 결정부(131)에서 결정된 가중치를 바운더리를 기준으로 소정 거리 내에 위치한 픽셀들에 적용할 수 있다. 예를 들면, 소정 거리는 바운더리에 해당하는 픽셀로부터 관심영역의 내부 방향으로 2개의 픽셀들 및 관심영역의 외부 방향으로 2개의 픽셀들을 의미할 수 있다.
가중치 적용부(133)는 [수학식 2]에 기초하여 가중치를 적용할 수 있다.
[수학식 2]
Figure 112012047836397-pat00002
여기서, Ereg는 시간 t의 관심영역 Rt의 바운더리(boundary)의 에너지로, Ereg(R)는 각각의 시간 t에서 관심영역 Rt의 바운더리가 스무스(smooth)해지도록 바운더리의 길이를 조절하는 함수이다.
또한, 제어부(130)는 픽셀마다 추출된 밝기 시그네이처들의 패턴과 기 설정된 종양 별 밝기 시그네이처 패턴을 비교하여, 추출된 밝기 시그네이처들의 패턴과 매칭되는 종양의 종류를 결정할 수 있다. DCE MRI는 조영제와 반응하는 세포 조직에 대한 정보를 제공할 수 있다. 병변의 종류에 따라 밝기 시그네이처의 패턴이 다를 수 있다. 병변의 종류에 따라 매칭되는 밝기 시그네이처의 패턴이 메모리 장치에 저장될 수 있다. 제어부(130)는 DCE MRI에서 추출된 밝기 시그네이처의 패턴을 저장된 밝기 시그네이처 패턴과 비교하여, 매칭되는 병변의 종류를 검색할 수 있다.
추정부(140)는 설정된 시간마다 결정된 관심영역들의 위치를 비교하여, 촬영 객체의 움직임을 추정할 수 있다. 여기서 촬영 객체는 DCE MRI에 촬영된 대상을 의미한다. 또한, 추정부(140)는 설정된 시간마다 결정된 관심영역의 모양을 비교하여, 관심영역의 변형된 모양(deformed shape)을 추정할 수 있다.
DCE MRI 영상에서 밝기 시그네이처는 시간에 따라 변화하는 밝기 값이므로, 촬영 객체에 움직임이 발생하는 경우, 시간 별로, 유사한 형태를 가지는 밝기 시그네이처들의 위치도 변화할 수 있다. 즉, 시간 별로 관심영역의 위치가 변화할 수 있다. 따라서, 추정부(140)는 시간 별로 관심영역의 위치를 비교함으로써, 촬영 객체의 움직임을 추정할 수 있다. 추정된 움직임만큼, 이전의 시간에 결정된 관심영역을 보상할 수 있다. 즉, 이전에 결정된 관심영역을 가장 마지막에 결정된 관심영역으로 업데이트 할 수 있다.
추정부(140)는 [수학식 3]에 기초하여 촬영 객체의 움직임을 추정할 수 있다.
[수학식 3]
Figure 112012047836397-pat00003
여기서, h(t, x)는 관심영역의 이동을 나타내는 함수이다.
결정부(120)는 [수학식 4]에 기초하여 관심영역의 이동 및 가중치가 적용된 새로운 관심영역을 계산할 수 있다. 이때, 결정부(120)는 Ein(u, h, a), Eout(u, h, b) 및 Ereg(u, h)의 합이 최소가 되는 영역을 관심영역으로 결정할 수 있다.
[수학식 4]
Figure 112012047836397-pat00004
여기서, u(x)는 관심영역의 내부 또는 외부를 나타내는 값, ∇u(x)는 관심영역의 변화량, ∇h(t, x)는 관심영역의 이동의 변화량,
Figure 112012047836397-pat00005
는 h(t, x)의 야코비안 디터미넌트(Determinant of jacobian), Ein는 시간 t의 관심영역 Rt의 내부의 에너지, Eout는 시간 t의 관심영역 Rt의 외부의 에너지, at는 관심영역 Rt의 내부의 밝기 시그네이처의 평균, bt는 관심영역 Rt의 외부의 밝기 시그네이처의 평균, f(x, t)는 DCE MRI의 각 픽셀의 밝기 시그네이처, R은 DCE MRI를 나타낸다. u(x)는 관심영역 내부에서는 값 1, 관심영역 외부에서는 값 0을 가진다.
제어부(130)는 관심영역 결정 장치의 전반적인 제어를 담당하고, 추출부(110), 결정부(120) 및 추정부(140)의 기능을 수행할 수 있다. 도 1의 실시 예에서 이를 별도로 구성하여 도시한 것은 각 기능들을 구별하여 설명하기 위함이다. 따라서 실제로 제품을 구현하는 경우에 이들 모두를 제어부(130)에서 처리하도록 구성할 수도 있으며, 이들 중 일부만을 제어부(130)에서 처리하도록 구성할 수도 있다.
도 2는 본 발명의 일실시예에 따른 동적조영증강 자기공명영상의 각 픽셀의 밝기 시그네이처를 나타낸 도면이다.
도 2를 참조하면, (a)는 동적조영증강(DCE) 자기공명영상(MRI)(210)에서 계산영역(220) 및 픽셀들(221, 223, 225)을 나타내고, (b)는 각 픽셀(221, 223, 225)의 밝기 시그네이처들(231, 233, 235)을 나타낸 그래프이다.
영상 처리 장치는 계산영역(220)을 DCE MRI(210)의 임의의 위치에 설정할 수 있다. 계산영역(220)에 포함된 픽셀(221)의 밝기 시그네이처(231)와 픽셀(223)의 밝기 시그네이처(233)가 유사한 형태를 가지면, 픽셀(221)과 픽셀(223)은 관심영역 내부의 픽셀로 분류될 수 있다. 픽셀(225)의 밝기 시그네이처(235)는 픽셀(221) 및 픽셀(223)의 밝기 시그네이처(231) 및 밝기 시그네이처(233)와 상이한 형태를 가지므로, 관심영역 외부의 픽셀로 분류될 수 있다. 밝기 시그네이처(231)와 밝기 시그네이처(233)가 유사한 형태를 가지는지 여부는 밝기 시그네이처(231)와 밝기 시그네이처(233)가 최대 밝기를 나타내는 시점이 동일한지 여부로 결정될 수도 있다.
밝기 시그네이처(231, 233, 235)는 각 픽셀(221, 223, 225)에서 시간에 따른 밝기의 변화를 나타낸 함수로 정의될 수 있다.
도 3은 본 발명의 일실시예에 따른 영상 처리 장치에서 결정된 관심영역을 나타낸 도면이다.
도 3을 참조하면, 동적조영증강(DCE) 자기공명영상(MRI)(310)에서 밝기 시그네이처의 형태의 유사도에 따라 복수의 제1 관심영역들(311, 312, 313, 314, 315, 316, 317, 318, 319)이 결정될 수 있다. 이렇게 관심영역이 복수개인 경우에는 관심영역의 넓이를 기준으로 순서를 정하여, 순서가 큰 관심영역들을 연결하여 새로운 관심영역이 결정될 수 있다. 이때, 관심영역들 간의 거리도 새로운 관심영역을 결정하는 요소(factor)가 될 수 있다.
도 3을 참조하면, 복수의 제1 관심영역들(311, 312, 313, 314, 315, 316, 317, 318, 319)의 넓이를 기준으로 제1 관심영역들(316, 317, 318, 319)이 유사한 넓이를 가진다.
또한, 제1 관심영역들(316, 317, 318, 319) 간의 거리가 제1 관심영역들(311, 312, 313, 314, 315) 간의 거리보다 가깝다.
영상 처리 장치는 제1 관심영역들(316, 317, 318, 319)을 포함하는 새로운 제2 관심영역(320)을 결정할 수 있다.
도 4는 본 발명의 일실시예에 따른 영상 처리 장치에서 결정된 관심영역 및 관심영역의 경계를 나타낸 도면이다.
도 4를 참조하면, (a)는 동적조영증강(DCE) 자기공명영상(MRI)(410)에서 관심영역(420)을 나타내고, (b)는 관심영역(420)의 밝기 값을 나타낸다.
관심영역(420)의 경계는 촬영 객체의 움직임(motion)에 따라 유동적으로 조절될 필요가 있다. 관심영역의 밝기 값의 분포(430)는 경계가 분명한 경우를 나타내고, 관심영역의 밝기 값의 분포(440)는 경계를 중심으로 어느 정도의 마진(margin)이 주어진 경우를 나타낸다. 관심영역의 밝기 값의 분포(430)의 경계를 중심으로 가중치를 적용하여, 소프트(soft)한 경계가 형성될 수 있다.
이때, 가중치는 경계를 중심으로 한 밝기 시그네이처의 유사도에 기초하여 결정될 수 있다.
도 5는 본 발명의 일실시예에 따른 영상 처리 방법에서 관심영역을 추정하는 과정을 나타낸 도면이다.
도 5를 참조하면, (a)는 동적조영증강(DCE) 자기공명영상(MRI)(510)에서 관심영역(520)과 계산영역(530)이 일치하지 않는 경우를 나타내고, (b)는 DCE MRI(510)에서, 관심영역(520)과 계산영역(530)이 일치한 경우를 나타낸다.
(a)를 참조하면, 관심영역(520)과 계산영역(530)의 일부(531)가 겹친다. 관심영역(520) 내부의 밝기 시그네이처 값을 10이라고 가정하고, 관심영역(520) 외부의 밝기 시그네이처 값을 0이라고 가정하며, 계산영역(530) 내부의 밝기 시그네이처 값의 평균을 10이라고 가정할 수 있다. 중복영역(531)에서는 제1 감산결과가 0이 되고, 나머지 영역(533)에서는 제1 감산결과가 10이 될 수 있다. 제2 감산결과는 0이 아닌 값이 될 수 있다. 제1 감산결과는 계산영역(530) 내부의 밝기 시그네이처 값의 평균에서 각 픽셀의 밝기 시그네이처 값을 감산하여 계산되고, 제2 감산결과는 계산영역(530) 외부의 밝기 시그네이처 값의 평균에서 각 픽셀의 밝기 시그네이처 값을 감산하여 계산될 수 있다. 제1 감산결과 및 제2 감산결과로는 감산 결과, 부호에 관계 없이 절대 값만이 고려될 수 있다.
(b)를 참조하면, 관심영역(520)과 계산영역(530)이 모두 겹친다. 관심영역(520) 내부의 밝기 시그네이처 값을 10이라고 가정하고, 관심영역(520) 외부의 밝기 시그네이처 값을 0이라고 가정하며, 계산영역(530) 내부의 밝기 시그네이처 값의 평균을 10이라고 가정할 수 있다. 중복영역(531)에서는 제1 감산결과가 0이 되고, 제2 감산결과도 0이 될 수 있다.
(a)의 경우와 (b)의 경우를 비교해보면, 제1 감산결과와 제2 감산결과의 합이 (b)의 경우에 더 작음을 알 수 있다. 즉, 계산영역(530)이 관심영역(520)과 일치하는 경우에 제1 감산결과와 제2 감산결과의 값이 가장 작다. 따라서, 반대로 생각하면, 제1 감산결과와 제2 감산결과의 값이 가장 작은 경우의 계산영역(530)이 관심영역(520)으로 결정될 수 있다.
도 6은 본 발명의 일실시예에 따른 영상 처리 방법에서 촬영 객체의 움직임에 따라 이동하는 관심영역을 추적하는 과정을 나타낸 도면이다.
도 6을 참조하면, 촬영 객체의 움직임에 따라, 동적조영증강(DCE) 자기공명영상(MRI)에서, 관심영역(620)은 이동할 수 있다. 영상 처리 장치는 설정된 시간마다 관심영역(620)을 추출(segmentation)할 수 있다. 영상 처리 장치는 설정된 시간 별로 DCE MRI에서 밝기 시그네이처의 형태의 유사도에 기초하여 관심영역(620)을 추출할 수 있다. 시간 별로 추출된 관심영역(620)의 비교를 통해 관심영역(620)의 이동량 및 촬영객체의 움직임이 추정될 수 있다. 관심영역(620)은 마지막에 추출된 관심영역(620)으로 그 위치 및 영역이 업데이트될 수 있다.
도 7은 일반적인 동적 조영 증강 자기공명영상을 시간 별로 나타낸 도면이다.
도 7은 여성의 가슴부위가 촬영된 동적조영증강(DCE) 자기공명영상(MRI)을 나타낸다. 동적조영증강(DCE) 자기공명영상(MRI)을 시간상 8 단계로 구별하여 각각의 단계에서 단면(slice)이 도시되었다. 도 7을 참조하면, t=1/7의 부분부터 다른 부분보다 밝게 빛나는 부분이 보이기 시작한다.
도 8 내지 도 11은 본 발명의 일실시예에 따른 영상 처리 방법으로 동적 조영 증강 자기공명영상에서 관심영역 및 미세하게 움직임이 발생한 관심영역을 추출한 도면이다.
도 8 내지 도 11은 다양한 조직 형태를 가지는 가슴부위에 대해 촬영된 동적조영증강(DCE) 자기공명영상(MRI)에 일 실시예에 따른 관심영역 결정 방법을 적용하여 관심영역을 추출한 도면이다.
각각의 도면은 두 줄의 영상들로 구성되는데, 첫 번째 줄은 촬영 객체가 이동하지 않는 경우의 영상을 나타내고, 두 번째 줄은 촬영 객체에 움직임이 발생한 경우의 영상을 나타낸다.
첫 번째 줄에서는 순서대로 시간 0에서의 DCE MRI의 밝기 값을 나타낸 영상, 시간 1에서의 DCE MRI의 밝기 값을 나타낸 영상, 결정된 관심영역을 포함한 촬영 객체의 윤곽을 나타낸 영상, 관심영역 만을 나타낸 영상이다.
두 번째 줄에서는 순서대로, 시간 0에서의 촬영 객체의 움직임을 고려하여, 촬영 객체의 모양을 컬러 값으로 나타낸 영상, 시간 1에서의 촬영 객체의 움직임을 고려하여, 촬영 객체의 모양을 컬러 값으로 나타낸 영상, 시간 0에서의 촬영 객체의 움직임을 고려하여, 결정된 관심영역을 포함한 촬영 객체의 윤곽을 나타낸 영상, 시간 1에서의 촬영 객체의 움직임을 고려하여, 결정된 관심영역을 포함한 촬영 객체의 윤곽을 나타낸 영상이다.
도 12는 본 발명의 일실시예에 따른 영상 처리 방법의 흐름도이다.
1210단계에서, 영상 처리 장치는 동적 조영 증강(Dynamic Contrast Enhanced) 자기공명영상(MRI, Magnetic Resonance Imaging)을 입력 받아, 동적 조영 증강 자기공명영상의 픽셀마다 시간에 따라 변화하는 밝기 시그네이처를 추출할 수 있다.
1220단계에서, 영상 처리 장치는 픽셀마다 추출된 밝기 시그네이처들 간의 형태 유사도에 기초하여 설정된 시간마다 관심영역을 결정할 수 있다.
1230단계에서, 영상 처리 장치는 설정된 시간마다 결정된 관심영역들의 위치를 비교하여, 촬영 객체의 움직임을 추정할 수 있다.
이 밖에 영상 처리 장치와 관련하여 도 1 및 도 6에서 설명한 내용들은 영상 처리 방법에도 동일하게 적용될 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
110: 추출부
120: 결정부
130: 제어부
140: 추정부

Claims (10)

  1. 동적 조영 증강(Dynamic Contrast Enhanced) 자기공명영상(MRI, Magnetic Resonance Imaging)을 입력 받아, 상기 동적 조영 증강 자기공명영상의 픽셀마다 시간에 따라 변화하는 밝기 시그네이처를 추출하는 추출부;
    상기 픽셀마다 추출된 밝기 시그네이처들 간의 형태 유사도에 기초하여 설정된 시간마다 관심영역을 결정하는 결정부; 및
    상기 설정된 시간마다 결정된 관심영역들의 위치를 비교하여, 촬영 객체의 움직임을 추정하는 추정부
    를 포함하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 결정부는
    상기 동적 조영 증강 자기공명영상에서, 계산영역 내부에 포함된 각 픽셀마다 상기 계산영역 내부의 밝기 시그네이처의 평균에서 상기 계산영역 내부에 포함된 각 픽셀의 밝기 시그네이처를 제1 감산하는 제1 계산부;
    상기 동적 조영 증강 자기공명영상에서, 계산영역 외부에 포함된 각 픽셀마다 상기 계산영역 외부의 밝기 시그네이처의 평균에서 상기 계산영역 외부에 포함된 각 픽셀의 밝기 시그네이처를 제2 감산하는 제2 계산부; 및
    상기 제1 감산의 결과와 상기 제2 감산의 결과를 합산한 값이 최소가 되는 계산영역을 제1 관심영역으로 결정하는 제1 관심영역 결정부
    를 포함하는 영상 처리 장치.
  3. 제2항에 있어서,
    상기 결정부는
    상기 설정된 시간에서, 상기 결정된 제1 관심영역이 복수개인 경우에, 상기 복수개의 제1 관심영역들의 사이즈를 비교하고, 사이즈가 큰 순서대로 적어도 두 개의 제1 관심영역들을 포함하는 영역을 제2 관심영역으로 결정하는 제2 관심영역 결정부
    를 더 포함하는 영상 처리 장치.
  4. 제1항에 있어서,
    상기 결정부는
    고정된 시점에서, 계산영역 내부에 포함된 각 픽셀마다 상기 계산영역 내부의 밝기 값의 평균에서 상기 계산영역 내부에 포함된 각 픽셀의 밝기 값을 제1 감산하는 제1 계산부;
    상기 고정된 시점에서, 상기 계산영역 외부에 포함된 각 픽셀마다 상기 계산영역 외부의 밝기 값의 평균에서 상기 계산영역 외부에 포함된 각 픽셀의 밝기 값을 제2 감산하는 제2 계산부; 및
    상기 제1 감산의 결과와 상기 제2 감산의 결과를 합산한 값이 최소가 되는 계산영역을 제1 관심영역으로 결정하는 제1 관심영역 결정부
    를 포함하는 영상 처리 장치.
  5. 제4항에 있어서,
    상기 결정부는
    상기 고정된 시점에서, 상기 결정된 제1 관심영역이 복수개인 경우에, 상기 복수개의 제1 관심영역들의 사이즈를 비교하고, 사이즈가 큰 순서대로 적어도 두 개의 제1 관심영역들을 포함하는 영역을 제2 관심영역으로 결정하는 제2 관심영역 결정부
    를 더 포함하는 영상 처리 장치.
  6. 제1항에 있어서,
    상기 결정된 관심영역들의 바운더리(boundary)에 가중치를 적용하는 제어부
    를 더 포함하는 영상 처리 장치.
  7. 제6항에 있어서,
    상기 제어부는
    상기 결정된 관심영역들의 바운더리를 기준으로 소정 거리 내에 위치한 픽셀들의 밝기 값의 유사도에 기초하여 상기 가중치를 결정하는 가중치 결정부; 및
    상기 결정된 가중치를 상기 바운더리를 기준으로 소정 거리 내에 위치한 픽셀들에 적용하는 가중치 적용부
    를 포함하는 영상 처리 장치.
  8. 동적 조영 증강(Dynamic Contrast Enhanced) 자기공명영상(MRI, Magnetic Resonance Imaging)을 입력 받아, 상기 동적 조영 증강 자기공명영상의 픽셀마다 시간에 따라 변화하는 밝기 시그네이처를 추출하는 단계;
    상기 픽셀마다 추출된 밝기 시그네이처들 간의 형태 유사도에 기초하여 설정된 시간마다 관심영역을 결정하는 단계; 및
    상기 설정된 시간마다 결정된 관심영역들의 위치를 비교하여, 촬영 객체의 움직임을 추정하는 단계
    를 포함하는 영상 처리 방법.
  9. 제8항에 있어서,
    상기 결정하는 단계는
    상기 동적 조영 증강 자기공명영상에서, 계산영역 내부에 포함된 각 픽셀마다 상기 계산영역 내부의 밝기 시그네이처의 평균에서 상기 계산영역 내부에 포함된 각 픽셀의 밝기 시그네이처를 제1 감산하는 단계;
    상기 동적 조영 증강 자기공명영상에서, 계산영역 외부에 포함된 각 픽셀마다 상기 계산영역 외부의 밝기 시그네이처의 평균에서 상기 계산영역 외부에 포함된 각 픽셀의 밝기 시그네이처를 제2 감산하는 단계; 및
    상기 제1 감산의 결과와 상기 제2 감산의 결과를 합산한 값이 최소가 되는 계산영역을 제1 관심영역으로 결정하는 단계
    를 포함하는 영상 처리 방법.
  10. 제9항에 있어서,
    상기 결정하는 단계는
    상기 설정된 시간에서, 상기 결정된 제1 관심영역이 복수개인 경우에, 상기 복수개의 제1 관심영역들의 사이즈를 비교하고, 사이즈가 큰 순서대로 적어도 두 개의 제1 관심영역들을 포함하는 영역을 제2 관심영역으로 결정하는 단계
    를 더 포함하는 영상 처리 방법.
KR1020120064464A 2012-06-15 2012-06-15 영상 처리 장치 및 방법 KR101294254B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120064464A KR101294254B1 (ko) 2012-06-15 2012-06-15 영상 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120064464A KR101294254B1 (ko) 2012-06-15 2012-06-15 영상 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101294254B1 true KR101294254B1 (ko) 2013-08-16

Family

ID=49220072

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120064464A KR101294254B1 (ko) 2012-06-15 2012-06-15 영상 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101294254B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101685822B1 (ko) * 2015-06-18 2016-12-12 인하대학교 산학협력단 X-ray 영상을 위한 대비 향상 방법 및 시스템
KR101846530B1 (ko) 2016-08-26 2018-04-09 삼성전자주식회사 자기공명영상장치 및 그 제어방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005511225A (ja) * 2001-12-08 2005-04-28 キネテイツク・リミテツド Mri中の物体の動きの影響を補償する方法
KR20100010742A (ko) * 2008-07-23 2010-02-02 주식회사 메디슨 병소의 시술 정보를 제공하는 의료 시스템
KR101000786B1 (ko) * 2008-07-03 2010-12-14 한국과학기술원 움직임 추정 및 움직임 보상을 이용한 압축 센싱 기반 동적자기공명 영상기법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005511225A (ja) * 2001-12-08 2005-04-28 キネテイツク・リミテツド Mri中の物体の動きの影響を補償する方法
KR101000786B1 (ko) * 2008-07-03 2010-12-14 한국과학기술원 움직임 추정 및 움직임 보상을 이용한 압축 센싱 기반 동적자기공명 영상기법
KR20100010742A (ko) * 2008-07-23 2010-02-02 주식회사 메디슨 병소의 시술 정보를 제공하는 의료 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101685822B1 (ko) * 2015-06-18 2016-12-12 인하대학교 산학협력단 X-ray 영상을 위한 대비 향상 방법 및 시스템
KR101846530B1 (ko) 2016-08-26 2018-04-09 삼성전자주식회사 자기공명영상장치 및 그 제어방법

Similar Documents

Publication Publication Date Title
Park et al. Skull stripping based on region growing for magnetic resonance brain images
He et al. Active contours driven by weighted region-scalable fitting energy based on local entropy
Sun et al. Local morphology fitting active contour for automatic vascular segmentation
Harati et al. Fully automated tumor segmentation based on improved fuzzy connectedness algorithm in brain MR images
Suganthi et al. Anisotropic diffusion filter based edge enhancement for segmentation of breast thermogram using level sets
US8068655B2 (en) Method and system for vessel enhancement and artifact reduction in TOF MR angiography of brain
Abbas et al. Skin tumor area extraction using an improved dynamic programming approach
WO2021129325A1 (zh) 超声图像病灶的分割方法、装置和计算机设备
JP2019512361A (ja) 体積画像データセット内の血管構造のセグメント化のための方法及びシステム
US10521906B2 (en) Method and image processor for evaluating a contrast agent-enhanced magnetic resonance slice image of a heart
Cavalcanti et al. A coarse-to-fine approach for segmenting melanocytic skin lesions in standard camera images
US11751823B2 (en) Image processing apparatus, image processing method, and program
Tsai et al. Automatic segmentation of vessels from angiogram sequences using adaptive feature transformation
Sethi et al. Segmentation of cancerous regions in liver using an edge-based and phase congruent region enhancement method
JP6458166B2 (ja) 医用画像処理方法及び装置及びシステム及びプログラム
KR101294254B1 (ko) 영상 처리 장치 및 방법
Bauer et al. Extracting curve skeletons from gray value images for virtual endoscopy
Xie et al. No-reference hair occlusion assessment for dermoscopy images based on distribution feature
Tian et al. A flexible 3D cerebrovascular extraction from TOF-MRA images
KR101294255B1 (ko) 관심영역 결정 방법 및 장치
Doshi et al. Automatic pharynx and larynx cancer segmentation framework (PLCSF) on contrast enhanced MR images
Park et al. Medical image segmentation using level set method with a new hybrid speed function based on boundary and region segmentation
Myint et al. Effective kidney segmentation using gradient based approach in abdominal CT images
Hemmati et al. Segmentation of carotid arteries in computed tomography angiography images using fast marching and graph cut methods
KR101494975B1 (ko) 3차원 자동 유방 초음파 영상의 유두 자동 검출 시스템 및 그 검출 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160629

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170626

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180625

Year of fee payment: 6