KR100342435B1 - 3차원 의료영상 데이터의 가시화방법 - Google Patents

3차원 의료영상 데이터의 가시화방법 Download PDF

Info

Publication number
KR100342435B1
KR100342435B1 KR1020000061083A KR20000061083A KR100342435B1 KR 100342435 B1 KR100342435 B1 KR 100342435B1 KR 1020000061083 A KR1020000061083 A KR 1020000061083A KR 20000061083 A KR20000061083 A KR 20000061083A KR 100342435 B1 KR100342435 B1 KR 100342435B1
Authority
KR
South Korea
Prior art keywords
data
image
low resolution
depth
obtaining
Prior art date
Application number
KR1020000061083A
Other languages
English (en)
Other versions
KR20020030451A (ko
Inventor
박현욱
김근호
Original Assignee
윤덕용
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤덕용, 한국과학기술원 filed Critical 윤덕용
Priority to KR1020000061083A priority Critical patent/KR100342435B1/ko
Priority to JP2000382753A priority patent/JP3407113B2/ja
Publication of KR20020030451A publication Critical patent/KR20020030451A/ko
Application granted granted Critical
Publication of KR100342435B1 publication Critical patent/KR100342435B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Generation (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

본 발명은 3차원 의료영상 데이터의 가시화방법에 관한 것으로서, 더 상세하게는 부 표본 3차원 데이터로부터 저해상도 영상을 구하고 저해상도 영상 또는 깊이정보와 3차원 데이터를 이용, 고화질의 영상을 구현하여 의료영상의 3차원 데이터를 가시화하고 실시간 처리를 할 수 있는 3차원 의료영상 데이터의 가시화방법에 관한 것이다.
본 발명은 3차원 데이터를 2x2x2의 크기 블록으로 평균하여 부 표본화된 데이터에서 저해상도 영상 또는 깊이 정보를 구하고 2차원으로 보간하여 저해상도 영상을 구하는 제1단계와, 상기 제1단계의 저해상도 영상과 원 데이터를 이용하여 고해상도 영상을 구하는 제2단계로 구성된다.
본 발명에 의하면 고해상도의 MIP 및 VR 영상을 얻는 데 필요한 계산시간을 절약하여 화질을 가변하면서 빠르게 고화질 영상을 볼 수 있는 효과가 있다.

Description

3차원 의료영상 데이터의 가시화방법 {Visibility Method of 3-Dimension Medical Image Data}
본 발명은 3차원 의료영상 데이터의 가시화방법에 관한 것으로서, 더 상세하게는 부 표본 3차원 데이터로부터 저해상도 영상을 구하고 저해상도 영상 또는 깊이정보와 3차원 데이터를 이용, 고화질의 영상을 구현하여 의료영상의 3차원 데이터를 가시화하고 실시간 처리를 할 수 있는 3차원 의료영상 데이터의 가시화방법에 관한 것이다.
일반적으로 대부분 의료영상의 응용은 3차원 데이터의 실시간 처리와 가시화를 요구한다.
MIP(최대강도 투사; maximum intensity projection)와 VR(용적묘사; volume rendering)은 3차원 영상을 가시화하는 데 좋은 기능을 갖지만 많은 계산량이 요구된다.
MIP와 VR의 처리속도는 3차원 데이터의 단위인 복셀(voxel : volume element)의 개수에 비례하여 늘어난다.
이중 MIP는 간단한 처리이지만 하나의 광선이 지나가는 모든 복셀을 비교해야 하므로 계산량이 많은 치명적인 단점이 있고, VR은 한 복셀당 복잡한 계산을 요구하므로 또한 많은 계산량이 단점이다.
따라서, 실시간으로 3차원 의료영상의 MIP와 VR을 구현할 수 없었고 3차원 의료영상의 MIP와 VR을 소프트웨어로 구현하는 것이 불가능한 문제점이 있었다.
본 발명은 상술한 계산량 문제을 해결하기 위하여 안출된 것으로, 저해상도로 MIP 및 VR을 수행하고 빠른 시간내 처리가 가능한 계층적 구조의 MIP 및 VR 영상을 구현하여 시간을 절감하고 고화질의 영상을 구현하며 의사들의 빠른 진료를 도울 수 있는 3차원 의료영상 데이터의 가시화방법을 제공하는 데 그 목적이 있다.
본 발명은 부 표본 3차원 데이터로부터 저해상도 영상을 구하고 저해상도 영상 또는 깊이정보와 원래 3차원 데이터를 이용 고화질의 영상을 구하는 계층적 접근방식을 기술적 사상으로 한다.
도 1은 본 발명에 따른 계층적 MIP의 전체 구조도이다.
도 2는 본 발명에 따른 연관성 이용 선택방법을 보인 도면이다.
도 3은 본 발명에 따른 임계치에 대한 PSNR과 종래 알고리즘과의 계산량 관계를 보여주는 그래프이다.
도 4는 본 발명에 따른 주어진 임계치에 대한 MIP 영상이다.
도 5는 본 발명에 따른 계층적 VR의 전체 구조도이다.
도 6은 본 발명에 따른 깊이 정보 선택방법을 보인 도면이다.
도 7은 본 발명에 따른 깊이 정보의 획득방법을 보인 도면이다.
도 8은 본 발명에 따른 깊이 증가에 대한 PSNR과 종래 알고리즘과의 계산량 관계를 보여주는 그래프이다.
도 9는 본 발명에 따른 깊이 증가에 대한 VR 비교영상이다.
<도면의 주요부분에 대한 부호의 설명>
10 : 부 표본화된 데이터 12 : 원 데이터
14a,14b : MIP 16 : 보간
18 : 비교 20 : 저해상도 영상
22 : 고해상도 영상 24a,24b : VR
S10 : 제1단계 S12 : 제2단계
이하 본 발명을 첨부된 도면 도 1 내지 도 9를 참고로 하여 설명하면 다음과 같다.
먼저 본 발명에 따른 계층적(hierarchical) MIP의 방법을 설명하면 다음과 같다.
도 1은 본 발명에 따른 계층적 MIP의 전체 구조도이다.
제1단계(S10)에서는 고속처리를 위해 부 표본화된 데이터(10,Sub-sampled Data)에서 저해상도 MIP(14a)를 구하고 2차원으로 보간(16)하여 저해상도 영상(20)을 구하는 단계이다.
제2단계(S12)에서는 제1단계(S10)의 저해상도 영상(20)과 원 데이터(12,Fulloriginal Data)를 이용, 고해상도 MIP 영상(22)을 구하는 단계이다.
제1단계(S10)의 부 표본화(sub-sampling)는 3차원 데이터를 2x2x2 크기의 블록으로 평균화하여 되는 것으로, 이 평균값은 2x2x2의 크기의 블록 원래의 인접한 복셀 뿐 아니라 그 내부의 값들과도 연관성을 갖는다.
부 표본화된 데이터(10)로부터 저해상도 MIP(14a)를 구할 때 고속처리가 가능하고 관심영역을 조망하기 위해 적합하다.
관심영역을 조망하기 위해 시간을 더 들여 자세히 관찰을 하고 싶을 때에는 상기 저해상도 MIP(14a)와 부 표본화된 데이터(10)의 값을 비교하여 연관성이 큰 곳에 해당하는 전체 해상도 데이터를 얻는다.
도 2와 같이 연관성이 큰 곳을 판별하는 방법은 주어진 임계치((r),threshold ratio)에 저해상도 MIP의 값(P)을 곱한 값보다 부표본화된 값(x)이 더 큰 곳에 해당하는 전 해상도의 8개 복셀을 구하면 된다.
이러한 방법은 3차원 영상의 공간적인 연관성을 이용하는 것으로 MIP 처리를 할 때 연관성이 적은 부분은 생략하는 것에 의해 빠른 계산이 가능하게 된다.
도 3은 임계치에 따른 화질과 계산량을 보여준다.
도 3의 좌측 그래프는 자기공명 혈관조영(MRA, Magnetic Resonance Angiography)의 데이터 크기가 256x256x96이고, 왼쪽으로 30도만큼 회전되었을 때의 결과이고, 우측 그래프는 SUN UltraSPARC 1 workstation에서 is iprof - Insruction Profiler으로 계산량을 측정한 결과이다.
여기에서 계산량과 PSNR(Peak Signal to Noise Ratio)는 임계치에 따라 트레이드-어프(trade-off) 관계이다.
도 4는 MRA 데이터의 결과로서 좌측은 임계치가 0.0일 때 MIP 영상이고 우측은 임계치가 0.7일때 MIP 영상이다.
도 4의 우측 그림에 의해 주관적 화질의 저하가 없는 40 dB의 PSNR일 때 종래 계산량의 60%로 감소한다는 것을 알 수 있어, 결론적으로 실시간으로 MIP 계산이 가능하게 되는 것이다.
본 발명에 따른 계층적(hierarchical) VR의 방법을 설명하면 다음과 같다.
대부분의 의료영상 테이터는 공간상의 관심 밖 영역의 많은 데이터를 가지고 있다.
즉, 영상 데이터는 불투명도(opacity)를 가지고 물체(object)로 분류가 가능한 복셀들을 만나는데 많은 계산량을 소모한다.
또한 도 7과 같이 물체를 만난다 할지라도 용적묘사(VR)에 포함되는 것은 겉 표면에 해당하는 복셀들이고 그 이상의 깊이에서는 광선(ray)이 소멸(termination)되므로 계산을 할 필요가 없어진다.
본 발명은 이러한 깊이 정보를 기반으로 하여 처음에는 마우스를 클릭한 상태에서 조망하는 동안에는 저해상도의 영상으로 부여주고 관심있는 부분에 다다랐을 때에는 마우스의 클릭 상태를 풀어 저해상도 깊이 정보의 이용과 원 데이터를 이용하여 고해상도의 VR 영상을 구하는 단계이다.
도 5는 VR의 전체 구조도이다.
제1단계(S10)에서는 고속처리를 위해 부 표본화된 데이터(10)에서 저해상도VR(24a)을 구하고 2차원으로 보간(16)하여 저해상도 영상(20)을 구하는 단계이다.
제2단계(S12)에서는 제1단계(S10)의 저해상도에서 깊이정보와 원 데이터(12)를 이용하여 고해상도 VR 영상(22)을 구하는 단계이다.
제1단계(S10)의 부 표본화(sub-sampling)는 3차원 데이터를 2x2x2 크기의 블록으로 평균화하여 되는 것으로, 이 평균값은 2x2x2의 크기의 블록 원래의 인접한 복셀 뿐 아니라 그 내부의 값들과도 연관성을 갖는다.
부 표본화된 데이터(10)로부터 저해상도 VR(24a)을 구할 때 고속처리가 가능하고 관심영역을 조망하기 위해 적합하다.
관심영역을 조망하기 위해 시간을 더 들여 자세히 관찰을 하고 싶을 때에는 상기 부 표본화된 데이터(10)가 저해상도 VR(24a)을 구할 때 실제로 렌더링 되는 곳의 깊이정보를 얻어내고 그 깊이의 데이터만 렌더링하여 전체 해상도 데이터를 얻는다.
깊이정보를 선택하는 방법은 도 6과 같이 주어진 부 표본화된 복셀에 해당하는 불투명도(opacity)가 존재할 때, 즉 어느 값(αmin) 이상의 값을 가질 때의 처음 위치를 시작 깊이로 구하고 광선이 소멸될 때 마지막 깊이를 구하는 방법이다.
즉, 시작 깊이를 Depth1로 저장하고 광선이 소멸(ray-termination)된 위치인 마지막 깊이를 Depth2로 저장하여 그 깊이 사이에 해당하는 전해상도의 복셀을 렌더링한 영상을 구하는 방법이다.
광선이 진행함에 따라 부 표본화된 데이터(10)를 합성할 때, 누적되는 불투명도는 2배를 해주어 누적시키고, 합성되는 픽셀의 값도 불투명도에 2배를 해주어 누적시켜 고해상도의 누적되는 것과 같은 효과를 줄 수 있도록 한다.
이러한 깊이정보 선택방법은 3차원 영상의 공간적인 연관성을 이용하는 것으로 VR 처리를 할 때 연관성이 적은 부분은 생략하는 것에 의해 빠른 계산이 가능하게 된다.
도 8은 깊이정보에서 앞뒤로 깊이를 확장시키면서 렌더링되는 복셀을 증가시키는 방법으로 에러를 줄일 수 있으나 계산량은 늘어남을 보여준다.
그에 따른 화질과 종래의 렌더링과의 계산량의 비율을 보여주고 있다.
도 8에서 좌측의 그래프는 자기공명 혈관조영(MRA, Magnetic Resonance Angiography)의 데이터 크기가 256x256x96이고, 왼쪽으로 30도만큼 회전되었을 때의 결과이고, 우측 그래프는 SUN UltraSPARC 1 workstation에서 is iprof - Insruction Profiler으로 계산량을 측정한 결과이다.
종래의 VR 계산량은 295.94 Million instruction이다.
여기에서 계산량과 PSNR(Peak Signal to Noise Ratio)는 깊이 증가에 따라 트레이드-어프(trade-off) 관계이다.
도 9는 MRA 데이터의 결과로서 좌측은 원 영상일 때 MIP 영상이고 우측은 2개의 복셀만큼 깊이를 증가될 때 MIP 영상이다.
도 9의 우측 그림에 의해 주관적 화질의 저하가 없는 40 dB의 PSNR일 때 종래 계산량의 50%로 감소한다는 것을 알 수 있어, 결론적으로 실시간으로 VR 계산이 가능하게 되는 것이다.
이상에서와 같이, 본 발명은 부표본 3차원 데이터로부터 저해상도 영상을 구하고 다음 저해상도 영상 또는 깊이 정보와 원래의 3차원 데이터를 이용 고화질의 영상을 구하는 계층적 접근방식에 의해 고해상도의 MIP 및 VR 영상을 얻는 데 필요한 계산시간을 절약하여 화질을 가변하면서 빠르게 고화질 영상을 볼 수 있는 효과가 있다.
본 발명에 의하면 의료영상 시스템의 구조를 크게 변경함 없이 소프트웨어 적으로 첨가할 수 있어 컴퓨터 단층촬영(Computer Tomography), 자기공명 단층촬영(Magnetic Resonance Imaging), 초음파진단(Ultrasonography)과 같은 3차원 가시화 의료 영상 시스템에 널리 이용될 수 있는 것이다.

Claims (8)

  1. 3차원 데이터를 2x2x2의 크기 블록으로 평균하여 부 표본화된 데이터에서 저해상도 MIP를 구하고 2차원으로 보간하여 저해상도 영상을 구하는 제1단계와,
    상기 제1단계의 저해상도 영상과 원 데이터를 이용하여 고해상도 MIP 영상을 구하는 제2단계를 포함하는 것을 특징으로 하는 3차원 의료영상 데이터의 가시화방법.
  2. 청구항 1에 있어서, 상기 제1단계의 저해상도 MIP와 부 표본화된 데이터의 값을 비교하여 연관성이 큰 곳에 해당하는 전체 해상도 데이터를 얻음으로써 관심영역을 조망함을 특징으로 하는 3차원 의료영상 데이터의 가시화방법.
  3. 청구항 2에 있어서, 상기 연관성이 큰 곳은 주어진 임계치(r)에 저해상도 MIP의 값(P)을 곱한 값보다 부표본화된 값(x)이 더 큰 곳임을 특징으로 하는 3차원 의료영상 데이터의 가시화방법.
  4. 3차원 데이터를 2x2x2의 크기 블록으로 평균하여 부 표본화된 데이터에서 저해상도 VR을 구하고 2차원으로 보간하여 저해상도 영상을 구하는 제1단계와,
    상기 제1단계의 저해상도에서 얻어진 깊이정보와 원 데이터를 이용하여 고해상도 VR 영상을 구하는 제2단계를 포함하는 것을 특징으로 하는 3차원 의료영상 데이터의 가시화방법.
  5. 청구항 4에 있어서, 상기 제1단계의 부 표본화된 데이터가 저해상도의 VR을 구할 때 실제로 렌더링되는 곳의 깊이정보를 얻어내고 그 깊이의 데이터만 렌더링하여 전체 해상도 데이터를 얻음으로써 관심영역을 조망함을 특징으로 하는 3차원 의료영상 데이터의 가시화방법.
  6. 청구항 4 또는 청구항 5에 있어서, 상기 깊이정보는 부 표본화된 복셀에 해당하는 불투명도(opacity)가 존재할 때의 처음 위치를 시작 깊이로 구하고 광선이 소멸될 때 마지막 깊이를 구하여 얻어짐을 특징으로 하는 3차원 의료영상 데이터의 가시화방법.
  7. 청구항 6에 있어서, 상기 시작 깊이를 Depth1로 저장하고 광선이 소멸된 위치인 마지막 깊이를 Depth2로 저장하여 그 깊이 사이에 해당하는 전해상도의 복셀을 렌더링함을 특징으로 하는 3차원 의료영상 데이터의 가시화방법.
  8. 청구항 6에 있어서, 상기 불투명도에 2배를 곱하여 누적하는 기법으로 부표본화된 데이터(10)를 렌더링하고 합성함을 특징으로 하는 3차원 의료영상 데이터의 가시화방법.
KR1020000061083A 2000-10-17 2000-10-17 3차원 의료영상 데이터의 가시화방법 KR100342435B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020000061083A KR100342435B1 (ko) 2000-10-17 2000-10-17 3차원 의료영상 데이터의 가시화방법
JP2000382753A JP3407113B2 (ja) 2000-10-17 2000-12-15 ３次元医療映像データの可視化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020000061083A KR100342435B1 (ko) 2000-10-17 2000-10-17 3차원 의료영상 데이터의 가시화방법

Publications (2)

Publication Number Publication Date
KR20020030451A KR20020030451A (ko) 2002-04-25
KR100342435B1 true KR100342435B1 (ko) 2002-07-03

Family

ID=19693960

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020000061083A KR100342435B1 (ko) 2000-10-17 2000-10-17 3차원 의료영상 데이터의 가시화방법

Country Status (2)

Country Link
JP (1) JP3407113B2 (ko)
KR (1) KR100342435B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008259612A (ja) 2007-04-11 2008-10-30 Fujifilm Corp 投影画像生成装置およびそのプログラム
KR100918480B1 (ko) 2007-09-03 2009-09-28 한국전자통신연구원 스테레오 비전 시스템 및 그 처리 방법
KR101138969B1 (ko) * 2011-09-05 2012-04-25 주식회사 쓰리디산업영상 고속 구동을 위한 3차원 투과 영상데이터의 액세스 방법 및 이를 위한 사용자 인터페이스 장치
KR101978172B1 (ko) 2011-11-29 2019-05-15 삼성전자주식회사 깊이 영상을 고해상도로 변환하는 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980026639A (ko) * 1996-10-10 1998-07-15 김광호 3차원 그래픽 콘트롤러
KR19980041876A (ko) * 1996-11-27 1998-08-17 제이 엘. 채스킨 지배적인 구조의 제거를 통한 데이터 시각화 향상 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980026639A (ko) * 1996-10-10 1998-07-15 김광호 3차원 그래픽 콘트롤러
KR19980041876A (ko) * 1996-11-27 1998-08-17 제이 엘. 채스킨 지배적인 구조의 제거를 통한 데이터 시각화 향상 방법 및 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문(자기공명 영상으로부터 얻은 특정 부위의 표면을 이용하여 내부를 가시화 하기 위해, 표면의 일부를 제거하는 방법과 영상에서 제거된 표면의 면적에 따라 내부로 입사하는 빛의 양을 조절하여 물체의 내부를 가시화하는 방법 ,1998 ) *

Also Published As

Publication number Publication date
JP2002133441A (ja) 2002-05-10
KR20020030451A (ko) 2002-04-25
JP3407113B2 (ja) 2003-05-19

Similar Documents

Publication Publication Date Title
Raskar et al. Image precision silhouette edges
Wang et al. Volume sampled voxelization of geometric primitives
EP0758118B1 (en) A volume rendering apparatus and method
US7742060B2 (en) Sampling methods suited for graphics hardware acceleration
US20110109629A1 (en) Rendering improvement for 3d display
JP2009238117A (ja) 多視差画像生成装置および方法
WO1999052082A1 (en) Guard region and hither plane vertex modification for graphics rendering
Min et al. 2D/3D freeview video generation for 3DTV system
JP2006526834A (ja) ボリューム・レンダリング用の適応画像補間
KR100342435B1 (ko) 3차원 의료영상 데이터의 가시화방법
US20010030650A1 (en) System, method and program for computer graphics rendering
Choi et al. 2D-plus-depth based resolution and frame-rate up-conversion technique for depth video
Su et al. Demosaicing of color images using pixel level data-dependent triangulation
JP2009247502A (ja) 中間画像生成方法および装置ならびにプログラム
JP2000123197A (ja) 立体測定デ―タにおける表面を表示する方法及びシステム
Vosters et al. Evaluation of efficient high quality depth upsampling methods for 3DTV
Slabaugh et al. Image-based photo hulls for fast and photo-realistic new view synthesis
Xiao et al. From Images to Video: View Morphing of Three Images.
US6445392B1 (en) Method and apparatus for simplified anti-aliasing in a video graphics system
Mäkitalo et al. Reducing computational complexity of real-time stereoscopic ray tracing with spatiotemporal sample reprojection
EP3115964A1 (en) Method and device for removing an object in a video
Lee et al. Template-based rendering of run-length encoded volumes
Lenz Processing and presentation of 3D-images
US20240311959A1 (en) Frame Interpolation Using Both Optical Motion And In-Game Motion
Pollard et al. Automatically synthesising virtual viewpoints by trinocular image interpolation

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20001017

PA0201 Request for examination
PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20020530

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20020617

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20020618

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20050531

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20060530

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20070531

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20080530

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20090421

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20100405

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20110411

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20120328

Start annual number: 11

End annual number: 11

FPAY Annual fee payment

Payment date: 20130327

Year of fee payment: 12

PR1001 Payment of annual fee

Payment date: 20130327

Start annual number: 12

End annual number: 12

FPAY Annual fee payment

Payment date: 20130905

Year of fee payment: 19

PR1001 Payment of annual fee

Payment date: 20130905

Start annual number: 13

End annual number: 19

PC1801 Expiration of term

Termination date: 20210417

Termination category: Expiration of duration