KR100931396B1 - 개인식별에 적합한 재현성 있는 치아 영상 획득 및 처리시스템 - Google Patents

개인식별에 적합한 재현성 있는 치아 영상 획득 및 처리시스템 Download PDF

Info

Publication number
KR100931396B1
KR100931396B1 KR1020080016460A KR20080016460A KR100931396B1 KR 100931396 B1 KR100931396 B1 KR 100931396B1 KR 1020080016460 A KR1020080016460 A KR 1020080016460A KR 20080016460 A KR20080016460 A KR 20080016460A KR 100931396 B1 KR100931396 B1 KR 100931396B1
Authority
KR
South Korea
Prior art keywords
tooth
image
tooth image
standard
recognizer
Prior art date
Application number
KR1020080016460A
Other languages
English (en)
Other versions
KR20090090907A (ko
Inventor
김명수
신영숙
오준호
Original Assignee
조선대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조선대학교산학협력단 filed Critical 조선대학교산학협력단
Priority to KR1020080016460A priority Critical patent/KR100931396B1/ko
Publication of KR20090090907A publication Critical patent/KR20090090907A/ko
Application granted granted Critical
Publication of KR100931396B1 publication Critical patent/KR100931396B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • A61B5/1171Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1178Identification of persons based on the shapes or appearances of their bodies or parts thereof using dental data

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Dentistry (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 치아 영상 획득 및 처리 시스템에 관한 것으로 더욱 상세하게는 피 인식자의 치아 영상을 일정한 크기의 표준 치아 영상으로 획득하고 외형분석 또는 주성분분석 방법에 의해 근접도를 비교함으로써 재현성이 있고 치아 영상의 인식률를 향상시킬 수 있는 치아 영상 획득 및 처리 시스템에 관한 것이다.
본 발명의 일 실시예에 따른 치아 영상 획득 및 처리 시스템은 일정한 치아 영상을 획득하기 위해 피 인식자의 치아 자세를 유도하는 피 인식자 자세유도수단, 상기 피 인식자 자세유도수단에 의해 유도된 피 인식자의 치아 영상을 획득하는 영상획득수단 및 상기 치아 영상 중 치아를 포함하는 일정한 크기의 표준 치아 영상을 잘라내 획득하는 표준 치아 형상 획득 수단을 포함하여 이루어진다.
치아 영상, 주성분 분석, 개인 식별, 근접도, 외형 분석

Description

개인식별에 적합한 재현성 있는 치아 영상 획득 및 처리 시스템{SYSTEM FOR REPRODUCIBLE TEETH IMAGE RECORDING AND PROCESSING SUITABLE FOR PERSONAL IDENTIFICATION}
본 발명은 치아 영상 획득 및 처리 시스템에 관한 것으로 더욱 상세하게는 피 인식자의 치아 영상을 일정한 크기의 표준 치아 영상으로 획득하고 외형분석 또는 주성분분석 방법에 의해 근접도를 비교함으로써 재현성이 있고 치아 영상의 인식률를 향상시킬 수 있는 치아 영상 획득 및 처리 시스템에 관한 것이다.
오늘날 정보보호와 신분확인을 위해 이용되는 개인인식 기술 분야는 매우 다양해진 가운데 고전적인 개인 인식방법으로는 지문인식방법에서부터 최근 개발된 얼굴인식, 홍채인식이나 DNA검사 등이 있다.
상기 지문인식이나 홍채인식 등은 개인의 신체가 훼손되었을 경우 개인 인식에 어려움이 있었으며, 상기 DNA검사에 의한 인식방법은 검사시간이 오래 걸리고 고가의 검사장비가 필요하므로 개인 인식에 어려움이 있다.
한편, 상기 얼굴인식 방법은 피 인식자에게 특별한 자세나 행위를 요구하지 않고 자연스럽게 인식을 수행할 수 있다는 장점 때문에 경쟁력 있는 개인 인식방법으로 평가되고 있다.
또한, 상기 얼굴인식 방법은 사진 혹은 카메라를 통해 입력되는 정지영상 및 동영상의 자료를 분석하여 얼굴을 찾아내어 특징을 추출하여 기존의 확보된 데이터베이스 안에서 부합하는 특징을 가진 얼굴 영상이 존재하는지 여부를 알아내는 개인 인식방법이다.
그러나 상기 얼굴인식 방법 역시 이런 경쟁력 있는 장점에도 불구하고 표정, 분장 등 얼굴 자체의 변화와 위치, 자세, 조명 등 영상획득에 영향을 주는 주변 환경의 변화 등으로 인하여 견실한 영상데이터를 얻을 수 없는 문제점이 있다.
또한, 얼굴인식 방법 역시 사체 등을 신원확인 하는 데 있어 안면이 훼손된 경우 인식할 수 없는 문제점이 있었다.
본 발명은 상기의 문제점들을 해결하기 위해 창안된 것으로, 본 발명의 목적은 개인 인식을 위해 치아 영상을 이용하고 상기 치아 영상을 일정한 표준 치아 영상으로 획득함으로써 주변 환경 변화에 강인한 치아 영상 획득 및 처리시스템을 제공하는 데 있다.
또한, 본 발명의 목적은 치아의 일부 영상만으로도 인식이 가능하므로 피 인식자의 불편감이 적으며 재현성 있는 치아 영상 획득 및 처리시스템을 제공하는 데 있다.
또한, 본 발명의 목적은 훼손된 사체의 신원확인에도 영상인식방법을 활용할 수 있는 치아 영상 획득 및 처리 시스템을 제공하는 데 있다.
상기의 목적을 달성하기 위한 본 발명의 일 실시예에따른 치아 영상 획득 및 처리 시스템은 일정한 치아 영상을 획득하기 위해 피 인식자의 치아 자세를 유도하는 피 인식자 자세유도수단, 상기 피 인식자 자세유도수단에 의해 유도된 피 인식자의 치아 영상을 획득하는 영상획득수단 및 상기 치아 영상 중 치아를 포함하는 일정한 크기의 표준 치아 영상을 잘라내 획득하는 표준 치아 형상 획득 수단을 포함하여 이루어진다.
바람직한 실시예에 있어서, 상기 자세유도수단은 상기 피 인식자의 얼굴 위 치가 일정한 위치에 고정되도록 유도하는 위치유도기 또는 상기 피 인식자가 일정한 발음을 하도록 유도하는 발음유도기를 포함하여 이루어진다.
바람직한 실시예에 있어서, 상기 표준 치아 영상과 비교대상이 되는 기준 치아 영상들이 미리 저장되는 기준 치아 영상 데이터베이스 및 상기 표준 치아 영상과 상기 기준 치아 영상들을 비교하여 상기 표준 치아 영상과 근접도를 평가하는 근접도 비교수단을 더 포함한다.
바람직한 실시예에 있어서, 상기 근접도 비교수단은 외형분석 또는 주성분분석(PCA:Principal Component Analysis)에 기반하여 상기 표준 치아 영상과 상기 기준 치아 영상을 비교하여 근접도를 평가한다.
바람직한 실시예에 있어서, 상기 기준 치아 영상들 중 일정한 근접도 내의 기준 치아 영상이 존재할 경우 상기 표준 치아 영상을 기준 치아 영상으로 인증하는 인증 수단을 더 포함한다.
바람직한 실시예에 있어서, 상기 인증 수단에 의한 인증이 있을 경우 외부로 인증신호를 전송하는 인증신호 발생수단을 더 포함한다.
상술한 바와 같이 본 발명에 의하면, 피 인식자 자세유도수단을 이용하여 피 인식자의 치아 영상을 일정한 크기, 모양 및 각도에서 촬영한 영상으로 획득할 수 있으므로 주변 환경 변화에 강인한 치아 영상 획득 및 처리시스템을 제공할 수 있는 효과가 있다.
또한, 본 발명에 의하면, 치아의 일부 영상만으로도 인식이 가능하므로 재현성 있는 치아 영상 획득 및 처리시스템을 제공할 수 있는 효과가 있다.
또한, 본 발명에 의하면, 치아 영상을 개인 식별에 활용함으로써 훼손된 사체의 신원확인에도 효과적으로 적용할 수 있는 치아 영상 획득 및 처리 시스템을 제공할 수 있는 효과가 있다.
이하, 첨부한 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 치아 영상 획득 및 처리시스템을 보여주는 도면이다.
도 1을 참조하면 본 발명의 일 실시예에 따른 치아 영상 획득 및 처리시스템은 피 인식자 자세유도수단(100), 영상 획득 수단(200), 표준 치아 영상 획득수단(300), 기준 치아 영상 데이터 베이스(400), 근접도 비교수단(500), 인증수단(600) 및 인증신호 발생수단(700)을 포함하여 이루어진다.
상기 피 인식자 자세유도수단(100)은 인식하고자 하는 피 인식자의 치아 영상을 일정한 치아 영상으로 획득하기 위해 피 인식자의 치아 자세를 유도한다.
또한, 상기 피 인식자 자세유도수단(100)은 위치유도기(110) 및/또는 발음유도기(120)를 구비한다.
상기 위치유도기(110)는 피 인식자의 치아 영상 크기나 촬영각도에 관한 자 세를 유도하기 위해 피 인식자의 얼굴 위치를 일정한 위치에 고정되도록 하는 장치로써, 예를 들면 피 인식자가 얼굴을 놓을 수 있는 턱 받침대(도시하지 않음)로 구비될 수 있다.
상기 발음유도기(120)는 피 인식자의 치아가 벌어지거나 닫히는 등 일정한 모양에 관한 자세를 유도하기 위해 피 인식자가 일정한 발음을 하도록 유도하는 장치로써, 예를 들면 스피커 장치를 이용하여 의해 "'이'라고 말하세요."와 같은 안내음성을 출력할 수 있다.
즉, 치아 영상을 피 인식자가 일정한 자세를 갖추고 치아 영상을 획득하므로 환경 변화의 영향에 강인한 치아 영상을 획득할 수 있는 장점이 있다.
상기 영상획득수단(200)은 상기 피 인식자 자세유도수단(100)에 의해 일정한 자세를 갖는 피 인식자의 치아 영상을 획득한다.
예를 들면, 상기 영상획득수단(200)은 디지털 카메라나 캠코더로 구비된다. 그러나 필름 카메라로 촬영한 후 현상된 사진을 디지털 영상으로 스캔하는 방법을 사용할 수도 있다.
상기 표준 치아 영상 획득수단(300)은 상기 영상획득수단(200)에 의해 획득된 피 인식자의 치아 영상을 치아를 포함하는 일정한 크기의 표준 치아 영상으로 획득한다.
다시 말하면 상기 영상획득수단(200)에 의해 획득된 치아 영상에서 일정한 크기의 영상을 잘라내 표준 치아 영상으로 획득한다.
즉, 얼굴 전체의 모습으로 개인 인식을 하는 것이 아니라 치아를 중심으로 일정한 부분만을 인식에 이용한다.
따라서 치아의 일부만 노출된 경우에도 개인 인식을 할 수 있으므로 재현성이 좋고, 훼손된 사체 등의 신원 파악에 있어서 치아 영상만을 이용하여 용이하게 개인 인식을 할 수 있는 장점이 있다.
상기 기준 치아 영상 데이터베이스(400)는 상기 표준 치아 영상과 비교대상이 되는 기준 치아 영상들이 미리 저장된다.
또한, 상기 기준 치아 영상 데이터베이스(400)의 기준 치아 영상은 치과의 치아 X선 영상이나 파노라마 사진 등으로부터 얻어질 수 있고, 상기 표준 치아 영상 획득수단(300)에 의해 획득된 표준 치아 영상이 저장될 수 있다.
즉, 상기 기준 치아 영상 데이터베이스(400)에 저장되는 기준 치아 영상은 치아의 영상이 포함된 영상이라면 어떠한 영상도 가능하므로 다양한 출처에서 수집하여 저장하는 것이 가능하다.
상기 근접도 비교수단(500)은 상기 표준치아 영상획득수단(300)에서 획득된 표준치아 영상과 상기 기준영상 데이터베이스(400)에 저장된 기준 치아 영상들을 비교하여 일정한 범위 내의 근접도를 가지는 기준 치아 영상이 있는지 비교한다.
또한, 상기 근접도 비교수단(500)은 외형분석 또는 주성분 분석((PCA:Principal Component Analysis)의 방법에 기반하여 상기 표준 치아 영상과 상기 기준 치아 영상들을 비교한다.
한편, 상기 외형분석은 영상분석의 한 방법으로 일반적으로 영상 내의 그림자, 에지, 대칭성, 엔트로피, 광류 또는 컬러 등을 이용하여 분석하는 방법으로 영 상의 외형을 분석하는 방법이다.
또한, 상기 주성분 분석은 영상의 일정한 구역인 고유공간에서 그 공간을 구성하는 좌표계의 벡터들을 통계적으로 계산하는 방법으로써 얼굴인식 분야에서 보편적으로 쓰이는 방법이다.
또한, 상기 근접도 비교수단(500)은 상기 표준 치아 영상과 최근접 기준 치아 영상을 찾아내거나 근접한 순서대로 기준 치아 영상들을 제시해 줄 수 있다.
상기 인증수단(600)은 상기 근접도 비교수단(500)에서 비교한 결과 상기 표준 치아 영상과 일정한 범위 내의 근접도를 가지는 기준 치아 영상이 존재할 경우, 상기 표준 치아 영상을 상기 일정한 범위 내의 근접도를 가지는 기준 치아 영상과 동일한 영상으로 결정하여 인증한다.
상기 인증신호 발생수단(700)은 상기 인증수단(600)에서 상기 표준 치아 영상이 기준 치아 영상으로 인증될 경우 외부기기로 인증신호를 출력한다.
예를 들면, 상기 인증신호는 출입문을 개폐하거나(10), 컴퓨터 등의 자료에 대한 접근을 허가하거나(20) 또는 사체인증을 위한 장치(30)로도 출력될 수 있다.
도 2은 본 발명의 일 실시예에 따른 치아 영상 획득 및 처리 방법을 보여주는 도면이다.
이하에서는 도 1의 설명과 실질적으로 동일한 구성의 설명에 대해서는 생략하기로 한다.
도 2를 참조하면 본 발명의 일 실시예에 따른 치아 영상 획득 및 처리 방법은 먼저, 피 인식자의 치아 영상을 일정한 치아 영상으로 획득하기 위해 피 인식자 의 얼굴 위치를 일정한 곳에 위치하도록 하거나 일정한 발음을 하도록 유도한다(S1000).
다음, 피 인식자의 치아 영상을 촬영장치에 의해 획득한다(S2000).
따라서 일정한 크기와 촬영 각도로 치아 영상을 획득할 수 있다.
다음, 획득된 피 인식자의 치아 영상 중 치아를 포함하는 일정한 크기의 영상으로 잘라낸 표준 치아 영상을 획득한다(S3000).
따라서, 재현성이 있는 치아 영상을 획득할 수 있다.
다음, 미리 저장된 기준 치아 영상과 상기 표준 치아 영상을 비교하여 영상들 간의 근접도를 평가한다(S4000).
또한, 상기 근접도 평가는 외형분석 또는 주성분 분석((PCA:Principal Component Analysis)의 방법에 기반하여 이루어진다.
다음, 일정한 근접도 내의 기준 치아 영상이 존재하면 상기 표준 치아 영상을 인증한다(S6000).
즉, 피 인식자의 표준 치아 영상이 미리 저장된 기준 치아 영상 중에 존재하는 지를 판단하는 것이다.
다음, 인증신호를 발생시켜(S7000) 상기 피 인증자를 인증한다.
예를 들면, 인증신호는 출입문의 개폐나 컴퓨터 자료의 접근 또는 사체의 확인 등에 사용될 수 있다.
이상에서, 본 발명의 구성 및 동작을 상기한 설명 및 도면에 따라 도시하였 지만, 이는 예를 들어 설명한 것에 불과하며 본 발명의 기술적 사상 및 범위를 벗어나지 않는 범위 내에서 다양한 변화 및 변경이 가능함은 물론이다.
도 1은 본 발명의 일 실시예에 따른 치아 영상 획득 및 처리시스템을 보여주는 도면,
도 2은 본 발명의 일 실시예에 따른 치아 영상 획득 및 처리방법을 보여주는 도면이다.
본 발명에 따른 도면들에서 실질적으로 동일한 구성과 기능을 가진 구성요소들에 대하여는 동일한 참조부호를 사용한다.
<도면의 주요부분에 대한 부호의 설명>
100:피 인식자 자세유도수단 200:영상획득수단
300:표준 치아 영상획득수단 400:기준 치아 영상 데이터베이스
500:근접도 비교수단 600:인증수단
700:인증신호 발생수단

Claims (7)

  1. 일정한 치아 영상을 획득하기 위해 피 인식자의 치아 자세를 유도하는 피 인식자 자세유도수단;
    상기 피 인식자 자세유도수단에 의해 유도된 피 인식자의 치아 영상을 획득하는 영상획득수단; 및
    상기 치아 영상 중 치아를 포함하는 일정한 크기의 표준 치아 영상을 잘라내 획득하는 표준 치아 영상 획득 수단을 포함하고,
    상기 자세유도수단은 상기 피 인식자가 일정한 발음을 하도록 유도하는 발음유도기를 포함하는 것을 특징으로 하는 치아 영상 획득 및 처리 시스템.
  2. 제 1 항에 있어서
    상기 자세유도수단은 상기 피 인식자의 얼굴 위치가 일정한 위치에 고정되도록 유도하는 위치유도기를 포함하는 것을 특징으로 하는 치아 영상 획득 및 처리 시스템.
  3. 삭제
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 표준 치아 영상과 비교대상이 되는 기준 치아 영상들이 미리 저장되는 기준 치아 영상 데이터베이스; 및
    상기 표준 치아 영상과 상기 기준 치아 영상들을 비교하여 상기 표준 치아 영상과 근접도를 평가하는 근접도 비교수단을 더 포함하는 것을 특징으로 하는 치아 영상 획득 및 처리 시스템.
  5. 제 4 항에 있어서,
    상기 근접도 비교수단은 외형분석 또는 주성분분석(PCA:Principal Component Analysis)에 기반하여 상기 표준 치아 영상과 상기 기준 치아 영상을 비교하는 것을 특징으로 하는 치아 영상 획득 및 처리 시스템.
  6. 제 5 항에 있어서,
    상기 기준 치아 영상들 중 일정한 근접도 내의 기준 치아 영상이 존재할 경우 상기 표준 치아 영상을 기준 치아 영상으로 인증하는 인증 수단을 더 포함하는 것을 특징으로 하는 치아 영상 획득 및 처리 시스템.
  7. 제 6 항에 있어서,
    상기 인증 수단에 의한 인증이 있을 경우 외부로 인증신호를 전송하는 인증신호 발생수단을 더 포함하는 것을 특징으로 하는 치아 영상 획득 및 처리 시스템.
KR1020080016460A 2008-02-22 2008-02-22 개인식별에 적합한 재현성 있는 치아 영상 획득 및 처리시스템 KR100931396B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080016460A KR100931396B1 (ko) 2008-02-22 2008-02-22 개인식별에 적합한 재현성 있는 치아 영상 획득 및 처리시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080016460A KR100931396B1 (ko) 2008-02-22 2008-02-22 개인식별에 적합한 재현성 있는 치아 영상 획득 및 처리시스템

Publications (2)

Publication Number Publication Date
KR20090090907A KR20090090907A (ko) 2009-08-26
KR100931396B1 true KR100931396B1 (ko) 2009-12-11

Family

ID=41208639

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080016460A KR100931396B1 (ko) 2008-02-22 2008-02-22 개인식별에 적합한 재현성 있는 치아 영상 획득 및 처리시스템

Country Status (1)

Country Link
KR (1) KR100931396B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102443330B1 (ko) 2021-01-27 2022-09-14 전주대학교 산학협력단 치아 기반 개인 식별 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040059313A (ko) * 2002-12-28 2004-07-05 삼성전자주식회사 치아영상으로부터 치아영역 추출방법 및 치아영상을이용한 신원확인방법 및 장치
KR200378992Y1 (ko) * 2004-12-31 2005-03-16 (주) 옵토바이오메드 피부 및 치아 측정용 카메라의 거치장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040059313A (ko) * 2002-12-28 2004-07-05 삼성전자주식회사 치아영상으로부터 치아영역 추출방법 및 치아영상을이용한 신원확인방법 및 장치
KR200378992Y1 (ko) * 2004-12-31 2005-03-16 (주) 옵토바이오메드 피부 및 치아 측정용 카메라의 거치장치

Also Published As

Publication number Publication date
KR20090090907A (ko) 2009-08-26

Similar Documents

Publication Publication Date Title
JP3271750B2 (ja) アイリス識別コード抽出方法及び装置、アイリス認識方法及び装置、データ暗号化装置
CN105518711B (zh) 活体检测方法、活体检测系统以及计算机程序产品
JP5521304B2 (ja) 撮像装置、撮像プログラム、撮像方法、認証装置、認証プログラム及び認証方法
AU2007245887B2 (en) Procedure for identifying a person by eyelash analysis
US8514240B2 (en) Authentication system, authentication program, and method of authentication
JP6532642B2 (ja) 生体情報認証装置および生体情報処理方法
JP2004118627A (ja) 人物認証装置および人物認証方法
KR20090034272A (ko) 인물 인증 장치 및 인물 인증 방법
WO2004021884A1 (ja) 個人認識装置
US20070127781A1 (en) Animal eye biometrics
US11080557B2 (en) Image authentication apparatus, method, and storage medium using registered image
US11756338B2 (en) Authentication device, authentication method, and recording medium
KR101724971B1 (ko) 광각 카메라를 이용한 얼굴 인식 시스템 및 그를 이용한 얼굴 인식 방법
JPWO2009004916A1 (ja) なりすまし検知システム、なりすまし検知方法およびなりすまし検知用プログラム
JP2004038305A (ja) 個人識別装置
JP2007094535A (ja) 認証システム及び認証方法
JP2013232060A (ja) 画像認識装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置
TW201721510A (zh) 人臉及聲紋語音之複合辨識系統
KR100931396B1 (ko) 개인식별에 적합한 재현성 있는 치아 영상 획득 및 처리시스템
JP2010182056A (ja) パスワード入力装置及びパスワード照合システム
JP4606304B2 (ja) 近赤外線顔画像作成装置、近赤外線顔画像作成方法、及び顔画像照合装置
KR20110092848A (ko) 얼굴 인증 및 등록방법
KR101082842B1 (ko) 영상을 이용한 얼굴 인식 방법 및 그 장치
KR102431711B1 (ko) 출입 대상자에 대한 출입인증 처리장치 및 방법
US11216679B2 (en) Biometric authentication apparatus and biometric authentication method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121129

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131128

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee