KR100267262B1 - 지문 특징 추출방법 - Google Patents
지문 특징 추출방법Info
- Publication number
- KR100267262B1 KR100267262B1 KR1019980008581A KR19980008581A KR100267262B1 KR 100267262 B1 KR100267262 B1 KR 100267262B1 KR 1019980008581 A KR1019980008581 A KR 1019980008581A KR 19980008581 A KR19980008581 A KR 19980008581A KR 100267262 B1 KR100267262 B1 KR 100267262B1
- Authority
- KR
- South Korea
- Prior art keywords
- pixel
- fingerprint
- subregion
- quality
- fingerprint image
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
Landscapes
- Collating Specific Patterns (AREA)
Abstract
본 발명은 지문인식방법에 관한 것으로, 특히, 완만한 곡률변화를 가지는 지문 융선의 방향을 구한 후, 이를 특징점 추출의 정보로 사용함으로써, 신분확인 여부에 기준이 되는 개인별 지문의 특징을 효율적으로 추출해 내는 지문 특징 추출방법에 관한 것이다.
종래의 FFT기반의 지문인식 시스템은 실시간 처리에 있어 매우 우수한 성능을 보이며 보안성에 있어서도 엄지와 검지 모두에 적절한 인식률을 보장 하나, 그 방법의 특성상 주파수 공간에서 운용되므로 전자주민증 사업에서 요구하는 특징점, 즉, 단점이나 분기점의 정확한 위치를 추출하기에는 부적합한 문제점이 있다.
본 발명은 지문을 일반적으로 완만한 곡률 변화를 가지는 융선의 부드러운 흐름으로 보고, 지문이 일정한 방향을 갖는 최소 크기의 융선들로 이루어져 있다고 가정한 다음, 해당 융선들의 방향을 구하여 특징점 추출의 정보로 사용하므로써, 신분확인 여부에 기준이 되는 개인별 지문의 특징을 효율적으로 추출해 낼 수 있다.
Description
본 발명은 지문인식방법에 관한 것으로, 특히, 완만한 곡률변화를 가지는 지문 융선의 방향을 구한 후, 이를 특징점 추출의 정보로 사용함으로써, 신분확인 여부에 기준이 되는 개인별 지문의 특징을 효율적으로 추출해 내는 지문 특징 추출방법에 관한 것이다.
종래의 지문인식 방법으로는 크게 세선화나 주파수 공간에서의 푸리에변환이나 웨이브릿변환, 또는 신경회로망이나 퍼지논리에 의한 것등이 있으며, 이들은 대부분 잡음을 줄이는 전처리와 보정 과정의 후처리를 필요로 하게 된다. 또한 이들간에는 구문론적 방법이나 통계적, 규칙 기반적, 신경회로망 구성등의 방법이 혼재되어 사용되는 것이 일반적이며, 특징적인 방법으로 체인코드나 융선 추적등이 사용된다.
전술한 바와 같은, 종래의 FFT(Fast Fourier Transform ; 고속푸리에변환)기반의 지문인식 시스템은 실시간 처리에 있어 매우 우수한 성능을 보이며 보안성에 있어서도 엄지와 검지 모두에 적절한 인식률을 보장 하나, 그 방법의 특성상 주파수 공간에서 운용되므로 전자주민증 사업에서 요구하는 특징점, 즉, 단점이나 분기점의 정확한 위치를 추출하기에는 부적합한 문제점이 있다.
본 발명은 전술한 바와 같은 문제점을 감안하여 안출한 것으로, 지문을 일반적으로 완만한 곡률 변화를 가지는 융선의 부드러운 흐름으로 보고, 지문이 일정한 방향을 갖는 최소 크기의 융선들로 이루어져 있다고 가정한 다음, 해당 융선들의 방향을 구하여 특징점 추출의 정보로 사용하므로써, 신분확인 여부에 기준이 되는 개인별 지문의 특징을 효율적으로 추출해 내는 지문 특징 추출방법을 제공하는 데, 그 목적이 있다.
상기와 같은 목적을 달성하기 위해 본 발명은, 지문 특징 추출방법에 있어서, 지문을 입력받는 제1과정과; 상기 제1과정이후, 입력된 지문화상을 소정크기의 부영역으로 분할한 후, 각 부영역별 융선의 방향을 결정하는 제2과정과; 상기 제2과정이후, 입력된 지문 화상에서 전체적, 국부적 화상의 지문 품질을 측정하는 제3과정과; 상기 제3과정이후, 입력된 지문화상에서, 지문영역과 배경영역을 분리하는 제4과정과; 상기 제4과정이후, 입력된 지문화상이 처리가능한지를 검사하는 제5과정과; 상기 제5과정에서 입력된 지문이 처리가능한 화질이면, 융선의 방향및 품질에 따라 고른 지문형태를 나타내도록 이진화를 수행하는 제6과정과; 상기 제6과정이후, 융선의 방향, 품질에 따라 융선과 골사이의 구분을 확실하게 하는 평활화를 수행하는 제7과정과; 상기 제7과정이후, 평활화작업이 종료된 지문화상에서 융선의 골격선만을 추출하는 세선화를 수행하는 제8과정과; 상기 제8과정이후, 세선화된 지문화상에서 특징점을 추출한 후, 의사 특징점을 제거하는 제9과정과; 상기 제9과정이후, 추출된 특징점의 수가 저장공간의 크기보다 작은지를 검사하는 제10과정과; 상기 제10과정에서 추출된 특징점의 수가 저장공간의 크기보다 크면, 해당 검출된 특징점에 따라 특징량을 작성하는 제11과정과; 상기 제10과정에서, 추출된 특징점의 수가 저장공간의 크기보다 작으면, 부가 특징점을 탐색한 후, 상기 제11과정으로 귀환하는 것을 특징으로 한다.
한편, 상기 제2과정은, 입력된 지문화상을 로딩하는 제1단계와; 상기 제1단계이후, 입력된 지문화상을 소정크기의 부영역으로 분할하는 제2단계와; 상기 제2단계이후, 부영역의 각 방향별로 화소값 차의 합을 계산하는 제3단계와; 상기 제3단계이후, 각 방향별로 화소값 차의 합이 가장 작은 방향을 해당 부영역의 융선의 대표방향으로 결정하는 제4단계를 포함하는 것을 특징으로 한다.
한편, 상기 제3과정은, 지문 융선방향의 화소값의 변화를 계산하는 제1단계와; 상기 제1단계이후, 지문 융선과 수직인 방향의 화소값의 변화를 계산하는 제2단계와; 상기 제2단계이후, 지문의 융선 방향 및 이에 수직인 방향의 화소값의 변화에 따라 지문 화상의 품질을 계산하는 제3단계를 포함하는 것을 특징으로 한다.
한편, 상기 제6과정은, 소정의 화상레벨로 표현된 지문화상과 부영역별 방향지도 및 부영역별 품질을 입력받는 제1단계와; 상기 제1단계이후, 각 방향으로 이동하며, 지문화상의 모든 화소에 대하여 소정크기의 부영역을 선택하는 제2단계와; 상기 제2단계이후, 선택된 부영역의 품질이 기설정된 기준값이상인지를 검사하는 제3단계와; 상기 제3단계에서 선택된 부영역의 품질이 기설정된 기준값 보다 낮으면, 선택된 부영역내의 모든 화소에 대하여, 융선방향을 기준으로 부영역을 양분하도록 이동하여 화소를 선택하는 제4단계와; 상기 제4단계이후, 선택된 화소의 트랜색트 추출후, 화소값의 평균값을 산출하는 제5단계와; 상기 제5단계이후, 부영역을 벗어나지 않는 범위내에서 트랜색트내의 화소를 따라 이동하여 화소값이 평균값보다 클 경우, 제1화소값으로 설정하고, 화소값이 평균값보다 작을 경우, 제2화소값으로 설정하는 제5단계와; 상기 제3단계에서 선택된 부영역의 품질이 기설정된 기준값보다 크면, 부영역 중심화소에서 트랜잭트를 추출한 후, 화소값의 평균값을 산출하는 제6단계와; 상기 제6단계에서 부영역내 모든 화소를 각 방향으로 이동하여 화소값이 평균값보다 크면 제1화소값으로 설정하고, 화소값이 평균값보다 작을 경우, 제2화소값으로 설정하는 제7단계를 포함하는 것을 특징으로 한다.
한편, 상기 제7과정은, 이진화된 지문화상과 부영역별 방향지도 및 부영역별 품질을 입력받는 제1단계와; 상기 제1단계이후, 입력된 지문화상의 모든 화소에 대하여, 각 방향으로 이동하며 소정크기의 부영역을 선택하는 제2단계와; 상기 제2단계이후, 선택된 부영역의 품질이 기설정된 기준값 이상인지를 검사하는 제3단계와; 상기 제3단계에서, 선택된 부영역의 품질이 기설정된 기준값보다 작으면, 각 방향으로 이동하여 부영역내의 모든 화소에 대하여, 한 화소씩 선택한 후, 선택된 화소에 방향별 연결 마스크를 적용하는 제4단계와; 상기 제3단계에서, 선택된 부영역의 품질이 기설정된 기준값 이상이거나 상기 제4단계의 과정이 종료되면, 각 방향으로 부영역내의 모든 화소에 대해, 한 화소씩 선택한 후, 해당 선택된 화소에 방향별 평활화 마스크를 적용하는 제5단계를 포함하는 것을 특징으로 한다.
한편, 상기 제9과정은, 세선화된 지문화상을 입력받는 제1단계와; 각 방향으로 이동하면서, 모든 화소에 대해, 한 화소씩 선택한 후, 단점 및 분기점을 추출하는 제1단계와; 상기 제1단계이후, 각 방향으로 이동하면서, 모든 화소에 대해, 한 화소씩 선택하여, 단점일 경우, 단선 및 잔가지를 검출하는 제2단계와; 상기 제2단계이후, 각 방향으로 이동하면서, 모든 화소에 대해, 한 화소씩 선택하여, 분기점일 경우, 연결여부를 검출하는 제3단계와; 상기 제3단계이후, 각 방향으로 이동하면서, 모든 화소에 대해, 한 화소씩 선택하여, 단점일 경우, 절선을 검출하는 제4단계와; 상기 제4단계이후, 각 방향으로 이동하면서, 모든 화소에 대해, 한 화소씩 선택하여, 해당 화소가 특징점일 경우, 해당 특징점에 대한 방향을 검출하는 제5단계를 포함하는 것을 특징으로 한다.
한편, 상기 제12과정은, 세선화된 지문화상과 특징점의 갯수를 입력받는 제1단계와; 상기 제1단계이후, 특징점의 갯수가 정합이 가능할 정도가 아니면, 모든 화소에 대해 각 방향별로 이동하면서, 선택된 화소가 특징점일 경우, 해당 특징점의 방향에 수직으로 선을 연장하여 만나는 부가 특징점을 탐색하는 제2단계를 포함하는 것을 특징으로 한다.
도 1은 본 발명의 실시예에 따른 지문 특징 추출장치의 구성블록도.
도 2는 8가지 융선방향을 나타낸 방향도.
도 3은 지문 융선의 방향결정용 마스크.
도 4는 지문 융선의 방향결정시 계산영역을 나타낸 예시도.
도 5는 이진화과정에서 임계치 설정을 나타낸 예시도
도 6은 평활화과정에서 연결에 의한 블록내 중심 화소값의 결정예시도
도 7은 평활화에 의한 블록 내 중심 화소값의 결정예시도.
도 8은 세선화과정에서 지울 수 있는 중심화소의 예시도.
도 9는 특징량 추출과정에서 특징량의 종류 및 방향을 나타낸 예시도.
도 10은 특징량 추출과정에서 가짜 특징량의 종류를 나타낸 예시도.
도 11은 특징량 추출과정에서 설정하는 국소영역의 예시도.
도 12는 특징량 추출과정에서 단점 및 분기점의 추출과정을 나타낸 예시도.
도 13은 특징량 추출과정에서 가짜 특징량의 종류 및 검출방법을 나타낸 예시도.
도 14는 본 발명에 따른 지문특징 추출방법의 전체 동작흐름도.
도 15는 도 14에 도시된 융선의 방향결정과정의 상세 동작흐름도.
도 16은 도 14에 도시된 지문화상 품질결정과정의 상세 동작흐름도.
도 17은 도 14에 도시된 배경영역 분리과정의 상세 동작흐름도.
도 18은 도 14에 도시된 이진화과정의 상세 동작흐름도.
도 19는 도 14에 도시된 평활화과정의 상세 동작흐름도.
도 20은 도 14에 도시된 특징점추출 및 의사특징점 제거과정의 상세 동작흐름도.
도 21은 도 14에 도시된 부가특징점 탐색과정의 상세 동작흐름도.
* 도면의 주요부분에 대한 부호의 설명 *
10 : 지문화상입력장치 20 : A/D컨버터
30 : 화상메모리 40 : I/O인터페이스
50 : 콘솔 60 : 외부기억장치
70 : 주제어부 80 : 작업메모리
90 : 프로그램메모리 100 : 출력장치
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명하면 다음과 같다.
본 발명의 실시예에 따른 지문 특징 추출장치는 첨부된 도면 도1에 도시된 바와 같이, 지문화상입력장치(10), A/D컨버터(20), 화상메모리(30), I/O인터페이스(40), 콘솔(50), 외부기억장치(60), 주제어부(70), 작업메모리(80), 프로그램메모리(90) 및 출력장치(100)을 구비한다.
지문화상입력장치(10)는 조회를 원하는 사람의 지문을 스캐닝한 후, 해당 지문화상의 명암에 따른 아날로그 신호를 A/D컨버터(20)측으로 출력한다. A/D컨버터(20)는 지문화상입력장치(10)로 부터 인가되는 아날로그신호를 디지탈신호로 변환하여 화상메모리(30)측으로 출력한다. 화상메모리(30)는 지문화상입력장치(10)로 부터 인가된 지문의 화상에 대한 디지탈 데이터를 저장한다. I/O인터페이스(40)는 화상메모리(30)와 콘솔(50), 출력장치(100) 및 주제어부(70)를 정합한다. 콘솔(50)은 사용자의 선택에 따라 외부기억장치(60)에 저장되어 있는 다수의 지문화상 데이터중에서 특정 지문화상을 선택하거나 선택모드에 따른 동작신호를 주제어부(70)측으로 출력한다. 외부기억장치(60)는 기입력된 다수의 지문화상데이터를 저장한다. 주제어부(70)는 콘솔(50)로 부터 입력된 선택신호에 따라 현재 입력된 지문화상과 외부기억장치(60)에 저장되어 있는 지문화상을 비교한 후, 해당 결과를 출력장치(100)를 통해 출력한다. 작업메모리(80)는 현재 입력된 지문화상과 비교대상 지문화상의 비교작업시, 사용하는 메모리이다. 프로그램메모리(90)는 지문 비교장치의 동작데이터가 저장되어 있는 바, 본 발명에 따른 지문의 특징을 추출하기 위한 알고리즘이 프로그램되어 있다. 출력장치(100)는 입력된 지문화상과 비교대상 지문화상의 비교결과에 따른 메시지나 해당 지문화상을 디스플레이한다.
전술한 바와 같이 구성되는 본 발명의 동작을 첨부된 도면을 참조하여 상세하게 설명하면 다음과 같다.
본 발명의 개략적인 동작을 첨부된 도면 도14의 동작순서도에 따라 설명하면, 먼저, 지문화상입력장치(10)를 통해 지문을 스캐닝한 후, 이를 일정한 포맷의 디지탈 지문화상으로 생성한다(스텝 S1). 이후에, 입력된 지문화상을 소정크기의 부영역으로 분할한 후, 각 부영역별 융선의 방향을 결정한다(스텝 S2). 이후에, 주제어부(70)는 입력된 지문 화상에서 전체적, 국부적 화상의 지문 품질을 계산하고(스텝 S3), 이에 따라 지문영역과 배경영역을 분리하게 된다(스텝 S4). 이후에, 주제어부(70)는 계산된 품질에 의거하여, 입력된 지문화상이 처리가능한지를 검사하는 바(스텝 S5), 이 때, 입력된 지문이 처리가능한 화질이면, 융선의 방향및 품질에 따라 고른 지문형태를 나타내도록 이진화를 수행한 후(스텝 S6), 융선의 방향, 품질에 따라 융선과 골사이의 구분을 확실하게 하는 평활화를 수행한다(스텝 S7). 이후에, 평활화작업이 종료된 지문화상에서 융선의 골격선만을 추출하는 세선화를 수행하고(스텝 S8), 세선화된 지문화상에서 특징점을 추출한 후, 추출된 특징점중에서, 의사 특징점을 제거하여 실제의 특징짐만을 추출하게 된다(스텝 S9). 이후에, 추출된 특징점의 수가 저장공간의 크기보다 작은지를 검사하여(스텝 S10), 추출된 특징점의 수가 저장공간의 크기보다 크면, 해당 검출된 특징점에 따라 입력된 지문화상에 대한 특징량을 작성하고(스텝 S11), 추출된 특징점의 수가 저장공간의 크기보다 작으면, 부가 특징점을 탐색한 후(스텝 S12), 기검출된 특징점과 새롭게 검출된 부가 특징점에 따라 입력된 지문화상에 대한 특징량을 작성하게 된다.
전술한 바와 같이 동작하는 본 발명을 각 과정별로 좀 더 구체적으로 설명하면 다음과 같다.
먼저, 상기 스텝 S1에서, 본 발명의 실시예에 따른 디지탈 지문화상은 폭 288화소, 높이 352화소로 구성되며, 각 화소는 8비트의 A/D컨버터(20)를 사용하여 256단계의 그레이레벨을 생성하게 된다.
한편, 상기 스텝 S2에서, 융선의 방향은 첨부된 도면 도2에 도시된 바와 같이 8방향으로 분류하며, 첨부된 도면 도15에 도시된 동작순서도에 따라 융선의 방향을 결정하게 된다. 즉, 입력된 지문화상을 로딩하여(스텝 S2-1), 입력된 지문화상에 대하여, 16*16 화소로 구성되는 부영역으로 분할한 후(스텝 S2-2), 첨부된 도면 도3의 5*5 화소크기의 지문융선의 방향 결정용 마스크를 사용하여 결정하게 되는 바, 필요에 따라 8방향 이상의 방향이 필요한 경우, 5*5 화소크기의 지문융선의 방향 결정용 마스크를 n×n으로 확장 할 수 있으며, n×n으로 확장했을 때에는 2n-2개의 방향을 찾을 수 있게 된다. 이에, 해당 지문융선의 방향 결정용 마스크를 사용하여 부영역의 각 방향별로 화소값의 합을 계산한 후(스텝 S2-3), 각 방향별로 화소값의 합이 가장 작은 방향을 해당 부영역의 융선의 대표방향으로 결정한다(스텝 S2-4). 즉, 18*22개의 부영역 중, k행 l열에 위치한 부영역의 방향은 부영역내의 모든 화소(P)에 마스크를 사용하였을 때, 다음 수학식1로 결정되는 8가지의 Di값 중 Di가 최소값을 가지는 i의 방향을 대표방향으로 결정하게 된다. 이 때, 속도의 향상이 필요한 경우에는 모든 화소(P)에 마스크를 사용하지 않고, 한 화소나 그 이상의 화소를 건너뛰며 연산할 수 있다.
(단, i = 0,1,…,7)
wi,wi′: 해당하는 화소에서의 계조도
x,y : 부영역안에서 P의 좌표
상기 수식에서 계산 범위는 한 부영역(16*16)에서 상하좌우로 8화소씩 늘린 32*32영역에서 실시하는 데, 이는 국부적인 상처나 주름 또는 잡음으로 인해서 융선의 방향이 잘못 구해지는 것을 막기위해 첨부된 도면 도4와 같이 한 블록에서 상하좌우로 8화소씩 늘린 영역에서 Di를 계산하게 된다.
한편, 상기 스텝 S3은, 첨부된 도면 도16의 동작순서도에 따라 각 부영역별 품질을 계산하게 되는 바, 이 때, 사용되는 마스크는 상기 스텝 S2에서 융선의 방향결정에 사용된 것과 같은 5*5의 마스크를 사용하게 된다. 먼저, 다음의 수학식 2에 따라, 지문 융선방향에 따라 화소값 변화량의 합, A를 계산하고(스텝 S3-1), 수학식 3에 따라, 지문 융선과 수직인 방향에 따라 화소값 변화량의 합, B를 계산한다(스텝 S3-2).
(단, u = 0,1,…,7)
wu,wu′: 해당하는 화소에서의 계조도
x,y : 부영역안에서 P의 좌표
(단, v = 0,1,…,7)
wv,wv′: 해당하는 화소에서의 계조도
x,y : 부영역안에서 P의 좌표
수학식 2에서, A값이 크다는 것은 지문이 끊기거나 노이즈가 많음을 의미하며, 수학식 3에서, B값이 크다는 것은 융선과 골이 뚜렷이 구별되는 이미지 임을 의미한다. 따라서, 지문의 융선 방향 및 이에 수직인 방향의 화소값의 변화에 따라 지문 화상의 품질을 계산하는데, 본 발명의 실시예에서는 사용가능한 부영역과 사용불가능한 부영역으로 구분하고, 사용가능한 부영역에 대해서는 4단계의 품질을 적용한다(스텝 S3-3).
한편, 상기 스텝 S4는, 첨부된 도면 도17의 동작순서도에 따라 추출된 특징점이 지문영역안에 존재하는 진짜 특징점인지, 지문과 프리즘의 경계에 존재하는 의사 특징점인지를 판단할 수 있도록 지문 영역을 포그라운드, 프리즘영역을 백그라운드로 배경영역을 분리하게 되는 바, 먼저, 상기 스텝 S3에서 품질이 결정된 지문화상을 입력받은 후(스텝 S4-1), 해당 지문화상에서 소정크기의 부영역을 선택한 후, 해당 선택된 부영역이 백그라운드 부영역인지를 검사한다(스텝 S4-2). 이 때, 상기 스텝 S3에서 계산된 처리불가능한 영역은 백그라운드 부영역으로 인식하고, 처리가능한 4단계의 영역은 포그라운드 부영역으로 인식하여, 해당 선택된 부영역이 백그라운드 부영역이면, 현재 선택된 부영역 주위의 8부영역에서 포그라운드와 백그라운드의 상호 천이 갯수, 즉, 포그라운드로 설정된 부영역에서 백그라운드로 설정된 부영역으로 바뀌는 갯수와 백그라운드로 설정된 부영역에서 포그라운드로 설정된 부영역으로 바뀌는 갯수의 합을 계산한다(스텝 S4-3). 이후에, 현재 선택된 부영역주위의 8부영역중, 포그라운드로 설정된 부영역의 갯수를 계산하여(스텝 S4-4), 상기 스텝 S4-3에서 계산된 천이갯수와 상기 제4단계에서 계산된 포그라운드 부영역의 갯수가 소정의 조건을 만족하면(스텝 S4-5), 예를들어, 본 발명의 실시예에 따라 포그라운드와 백그라운드의 상호 천이 갯수가 3보다 크거나, 포그라운드로 설정된 부영역의 갯수가 4보다 크면, 상처나 주름, 노이즈등으로 지문의 안쪽영역임에도 불구하고 백그라운드로 설정되었음으로 인지하여, 현재 선택된 부영역을 가장 낮은 등급의 포그라운드 부영역으로 설정하며(스텝 S4-6), 모든 부영역에 대해서 본 과정을 실시하게 된다(스텝 S4-7, S4-8).
한편, 상기 스텝 S6은, 첨부된 도면 도18의 동작순서도에 따라 256계조의 지문화상을 2계조의 지문화상으로 변환시키는 이진화를 수행하게 되는 바, 먼저, 256계조의 화상계조로 표현된 지문화상을 입력받아(스텝 S6-1), 각 방향으로 이동하며, 지문화상의 모든 화소에 대하여 소정크기의 부영역을 선택한 후(스텝 S6-2), 선택된 부영역의 품질이 기설정된 기준값 이상인지를 검사하는 바(스텝 S6-3), 선택된 부영역의 품질이 기설정된 기준값 보다 낮으면, 선택된 부영역내의 모든 화소에 대하여, 융선방향을 기준으로 부영역을 양분하도록 이동하여 화소를 선택하여(스텝 S6-4), 선택된 화소의 트랜색트 추출후, 화소값의 평균값을 산출한다(스텝 S6-5). 이후에, 부영역을 벗어나지 않는 범위내에서 트랜색트내의 화소를 따라 이동하여 화소값이 평균값보다 클 경우, 제1화소값으로 설정하고, 화소값이 평균값보다 작을 경우, 제2화소값으로 설정한다(스텝 S6-6). 한편, 상기 스텝 S6-3에서 선택된 부영역의 품질이 기설정된 기준값보다 크면, 부영역 중심화소에서 트랜색트를 추출하여, 화소값의 평균값을 산출한 후(스텝 S6-8), 부영역내 모든 화소를 각 방향으로 이동하여 화소값이 평균값보다 크면 제1화소값으로 설정하고, 화소값이 평균값보다 작을 경우, 제2화소값으로 설정하게 된다(스텝 S6-9). 즉, 첨부된 도면 도5에 도시된 바와 같이, 부영역내의 매 화소마다 융선방향에 수직인 쪽으로 미리 지정된 크기(본 발명의 실시예에서는 16*1의 크기로 설정)만큼의 조각을 떼어내어 그 화소 값들의 평균을 기준값으로 설정하여, 해당 기준값보다 높은 화소는 제1화소값, 즉, 가장밝은 값인 255계조로 지정하고, 해당 기준값보다 낮은 화소는 제2화소값, 즉, 가장 어두운 값은 0계조로 설정하게 됨으로써, 떼어낸 조각의 평균밝기에 따라 기준값을 적절히 설정하여 이에 따라 이진화를 수행하게 된다.
한편, 상기 스텝 S7은, 첨부된 도면 도19의 동작순서도에 따라 융선의 골 사이를 구분해 주거나 끊어진 융선을 서로 이어주는 평활화를 수행하게 되는 바, 먼저, 2계조로 이진화된 지문화상을 입력받은 후(스텝 S7-1), 입력된 지문화상의 모든 화소에 대하여, 각 방향으로 이동하며 소정크기의 부영역을 선택하게 된다(스텝 S7-2). 이후에, 선택된 부영역의 품질이 기설정된 기준값 이상인지를 검사하는 바(스텝 S7-3), 선택된 부영역의 품질이 기설정된 기준값보다 작으면, 각 방향으로 이동하여 부영역내의 모든 화소에 대하여, 한 화소씩 선택한 후(스텝 S7-4), 선택된 화소에 방향별 연결 마스크를 적용하고(스텝 S7-5), 상기 스텝 S7-3에서, 선택된 부영역의 품질이 기설정된 기준값 이상이거나 상기 제4단계의 과정이 종료되면, 각 방향으로 부영역내의 모든 화소에 대해, 한 화소씩 선택한 후(스텝 S7-7), 해당 선택된 화소에 방향별 평활화 마스크를 적용한다(스텝 S7-8).
즉, 다시 말해서, 이진화 처리된 지문 화상의 매 부영역에서 검은 색 화소의 수를 세어 검은 색이 미리 정해진 값, (16*16*3)/5 보다 크면 부영역 내에 골이 융선보다 많다고 판단하고, 이와 반대로 흰 색이 (16*16*3)/5 보다 크면 융선이 골보다 많다고 결정한다. 이후에, 부영역내의 매 화소마다, 첨부된 도면 도6과 같이 그가 속하는 부영역의 대표 융선 방향에 일치하는 방향으로 일정 거리 떨어진 곳에 일정 크기의 마스크를 갖다 대고, 이 마스크 내에 존재하는 검은 색의 화소 수를 카운트한다. 이 때, 양쪽 마스크 모두에서 검은색 화소가 미리 정의된 숫자, 즉, 융선이 골보다 많다고 판단된 경우에는 2, 골이 융선보다 많다고 판단된 경우에는 6보다 크면, 중심화소를 검은색으로 설정하고, 이와 반대의 경우에는 흰색으로 설정한다. 상기 과정을 전체 지문화상에 대해 수행된 후, 다시 전체 화상에 대해 첨부된 도면 도7과 같은 3*7의 마스크내 검정색 화소수를 세어, 그 수가 미리 정의된 값(11)보다 크면 중심 화소를 검은 색으로 설정하고 반대의 경우에는 흰색으로 설정한다.
한편, 상기 스텝 S8에서, 세선화의 요건은, 먼저, 세선화결과 골격선의 폭은 1이어야 하고, 골격선의 위치는 선 도형의 중심에 위치해야 하며, 골격선은 원래의 도형에 있어서의 연결성을 유지해야 한다. 또한, 세선화 과정에서 골격선의 길이가 계속해서 줄어서는 안되고, 패턴 윤곽선의 작은 요철로 인한 잡 가지선의 모양이 골격선에 첨가되지 않아야 한다. 상기와 같은 요건을 만족하기 위해 본 발명의 실시예에서는 다음의 단계를 거쳐 세선화를 하게 된다. 먼저, 평활화된 지문 화상을 좌우상하로 화소단위로 이동하면서, 선택된 화소를 중심으로 3*3의 국소 영역을 설정한다. 이 때, 다음의 조건을 만족하면 해당 국소영역의 중심화소를 흰색으로부터 검은색으로 변환한다. 첫째, 중심화소가 세선화 대상내의 한 화소이어야 하고, 둘째, 중심화소의 상하좌우, 4개의 이웃화소중 적어도 하나가 검은색이어야 한다. 이는 세선화 대상 패턴의 주변점일 조건이다. 세째, 중심화소의 이웃하는 8개의 화소중에서 두 개 이상이 흰색이어야 한다. 이는 끝점을 보존하여 골격선의 길이를 계속 줄여나가지 않게 하는 조건이다. 네째, 중심화소의 이웃하는 8개의 화소중에서 적어도 하나는 검은 색이어야 한다. 이는 끝 고립점을 보존하는 조건이다. 다섯째, 연결성을 보존해야 한다. 첨부된 도면 도8은 세선화에서 지울 수 있는 중심화소의 예를 도시하고 있다.
한편, 상기 스텝 S9는, 첨부된 도면 도20의 동작순서도에 따라 지문인식의 주요정보인 특징점 후보들을 추출하고, 의사 특징점을 제거하는 과정을 수행하게 되는 바, 먼저, 세선화된 지문화상을 입력받아(스텝 S9-1), 각 방향으로 이동하면서, 모든 화소에 대해, 한 화소씩 선택한 후(스텝 S9-2), 단점 및 분기점을 추출한다(스텝 S9-3). 이 단계에서는 첨부된 도면 도9에 도시된 바와 같이, 단점 및 분기점을 추출하게 되는 데, 이 때 추출된 특징점은 첨부된 도면 도10에 도시된 바와 같이 진짜 특징점외에도 가짜 특징점도 함께 추출된다. 특징점 추출의 구체적인 방법은 세선화된 지문 화상을 좌우상하로 화소단위로 이동하면서, 선택된 화소를 중심으로 첨부된 도면 도11에 도시된 바와 같은 3*3의 국소 영역을 설정하여, 해당 선택된 중심화소가 흰색, 즉, 융선일 때 교차수를 산출한다. 이 때, 교차수는 흰색에서 검은색의 화소로 천이할 때의 갯수이며, 교차수는 다음의 수학식 4에 따라 산출된다.
상기 수학식 4에 따라 산출된 교차수를 기준으로 단점 및 분기점을 추출하는 바, 첨부된 도면 도12에 도시된 바와 같이, 교차수가 1이면 단점으로 판단하고, 교차수가 3이상이면 분기점으로 판단하게 된다. 이후에, 각 방향으로 이동하면서, 모든 화소에 대해, 한 화소씩 선택하여(스텝 S9-5), 단점일 경우(스텝 S9-6), 단선 및 잔가지를 검출하고(스텝 S9-7), 각 방향으로 이동하면서, 모든 화소에 대해, 한 화소씩 선택하여(스텝 S9-9), 분기점일 경우(스텝 S9-10), 연결여부를 검출한 후(스텝 S9-11), 각 방향으로 이동하면서, 모든 화소에 대해, 한 화소씩 선택하여(스텝 S9-13), 단점일 경우(스텝 S9-14), 절선을 검출하게 된다(스텝 S9-15). 이후에, 각 방향으로 이동하면서, 모든 화소에 대해, 한 화소씩 선택하여(스텝 S9-17), 해당 화소가 특징점일 경우(스텝 S9-18), 해당 특징점에 대한 방향을 검출한다(스텝 S9-19). 이 때, 의사 특징점의 종류는 첨부된 도면 도13에 도시된 바와 같으며, 그 판단 방법은, 단선일 경우, 선택된 한 단점으로 세선화된 융선을 따라 추적했을 때, 미리 정의된 길이보다 짧은 거리내에서 또다른 단점을 만난다면 그 두 단점은 단선을 이루게 된다. 또한 잔가지의 검출 방법은 선택된 한 단점으로 부터 세선화된 융선을 따라 추적했을 때 미리 정의된 길이보다 짧은 거리내에서 분기점을 만난다면 그 단점과 분기점은 잔가지를 이룬다. 또한, 연결검출은 선택된 한 분기점으로 부터 세선화된 융선을 따라 추적했을 때 미리 정의된 길이보다 짧은 거리내에서 또다른 분기점을 만난다면 그 두 분기점은 연결을 이룬다. 또한, 절선검출은 선택된 한 단점으로 부터 미리 정의된 길이보다 짧은 거리내에서 또다른 단점이 있고, 그 두 단점의 방향차가 미리 정의된 허용치 보다 작다면 그 두 단점은 끊어진 선을 이룬다.
한편, 상기 스텝 S12는 추출된 특징점의 수가 저장공간의 크기보다 작을 경우, 또다른 부가 특징점을 검출하는 과정이며, 그 상세한 과정을 첨부된 도면 도21을 참조하여 설명하면, 먼저, 세선화된 지문화상과 특징점의 갯수를 입력받아(스텝 S12-1), 추출된 특징점의 갯수가 정합이 가능할 정도가 아니면(스텝 S12-2), 모든 화소에 대해 각 방향별로 이동하면서, 화소를 선택하여(스텝 S12-3), 선택된 화소가 특징점일 경우(스텝 S12-4), 해당 특징점의 방향에 수직으로 선을 연장하여 만나는 부가 특징점을 탐색하게 된다(스텝 S12-5).
전술한 바와 같이, 본 발명은 지문을 일반적으로 완만한 곡률 변화를 가지는 융선의 부드러운 흐름으로 보고, 지문이 일정한 방향을 갖는 최소 크기의 융선들로 이루어져 있다고 가정한 다음, 해당 융선들의 방향을 구하여 특징점 추출의 정보로 사용하므로써, 신분확인 여부에 기준이 되는 개인별 지문의 특징을 효율적으로 추출해 낼 수 있다.
Claims (7)
- 지문 특징 추출방법에 있어서, 지문을 입력받는 제1과정과; 상기 제1과정이후, 입력된 지문화상을 소정크기의 부영역으로 분할한 후, 각 부영역별 융선의 방향을 결정하는 제2과정과; 상기 제2과정이후, 입력된 지문 화상에서 전체적, 국부적 화상의 지문 품질을 측정하는 제3과정과; 상기 제3과정이후, 입력된 지문화상에서, 지문영역과 배경영역을 분리하는 제4과정과; 상기 제4과정이후, 입력된 지문화상이 처리가능한지를 검사하는 제5과정과; 상기 제5과정에서 입력된 지문이 처리가능한 화질이면, 융선의 방향및 품질에 따라 고른 지문형태를 나타내도록 이진화를 수행하는 제6과정과; 상기 제6과정이후, 융선의 방향, 품질에 따라 융선과 골사이의 구분을 확실하게 하는 평활화를 수행하는 제7과정과; 상기 제7과정이후, 평활화작업이 종료된 지문화상에서 융선의 골격선만을 추출하는 세선화를 수행하는 제8과정과; 상기 제8과정이후, 세선화된 지문화상에서 특징점을 추출한 후, 의사 특징점을 제거하는 제9과정과; 상기 제9과정이후, 추출된 특징점의 수가 저장공간의 크기보다 작은지를 검사하는 제10과정과; 상기 제10과정에서 추출된 특징점의 수가 저장공간의 크기보다 크면, 해당 검출된 특징점에 따라 특징량을 작성하는 제11과정과; 상기 제10과정에서, 추출된 특징점의 수가 저장공간의 크기보다 작으면, 부가 특징점을 탐색한 후, 상기 제11과정으로 귀환하는 것을 특징으로 하는 지문 특징 추출방법.
- 제 1 항에 있어서,상기 제2과정은, 입력된 지문화상을 로딩하는 제1단계와; 상기 제1단계이후, 입력된 지문화상을 소정크기의 부영역으로 분할하는 제2단계와; 상기 제2단계이후, 부영역의 각 방향별로 화소값 차의 합을 계산하는 제3단계와; 상기 제3단계이후, 각 방향별로 화소값 차의 합이 가장 작은 방향을 해당 부영역의 융선의 대표방향으로 결정하는 제4단계를 포함하는 것을 특징으로 하는 지문 특징 추출방법.
- 제 1 항에 있어서,상기 제3과정은, 지문 융선방향의 화소값의 변화를 계산하는 제1단계와; 상기 제1단계이후, 지문 융선과 수직인 방향의 화소값의 변화를 계산하는 제2단계와; 상기 제2단계이후, 지문의 융선 방향 및 이에 수직인 방향의 화소값의 변화에 따라 지문 화상의 품질을 계산하는 제3단계를 포함하는 것을 특징으로 하는 지문 특징 추출방법.
- 제 1 항에 있어서,상기 제6과정은, 소정의 화상레벨로 표현된 지문화상과 부영역별 방향지도 및 부영역별 품질을 입력받는 제1단계와; 상기 제1단계이후, 각 방향으로 이동하며, 지문화상의 모든 화소에 대하여 소정크기의 부영역을 선택하는 제2단계와; 상기 제2단계이후, 선택된 부영역의 품질이 기설정된 기준값이상인지를 검사하는 제3단계와; 상기 제3단계에서 선택된 부영역의 품질이 기설정된 기준값 보다 낮으면, 선택된 부영역내의 모든 화소에 대하여, 융선방향을 기준으로 부영역을 양분하도록 이동하여 화소를 선택하는 제4단계와; 상기 제4단계이후, 선택된 화소의 트랜색트 추출후, 화소값의 평균값을 산출하는 제5단계와; 상기 제5단계이후, 부영역을 벗어나지 않는 범위내에서 트랜색트내의 화소를 따라 이동하여 화소값이 평균값보다 클 경우, 제1화소값으로 설정하고, 화소값이 평균값보다 작을 경우, 제2화소값으로 설정하는 제5단계와; 상기 제3단계에서 선택된 부영역의 품질이 기설정된 기준값보다 크면, 부영역 중심화소에서 트랜잭트를 추출한 후, 화소값의 평균값을 산출하는 제6단계와; 상기 제6단계에서 부영역내 모든 화소를 각 방향으로 이동하여 화소값이 평균값보다 크면 제1화소값으로 설정하고, 화소값이 평균값보다 작을 경우, 제2화소값으로 설정하는 제7단계를 포함하는 것을 특징으로 하는 지문 특징 추출방법.
- 제 1 항에 있어서,상기 제7과정은, 이진화된 지문화상과 부영역별 방향지도 및 부영역별 품질을 입력받는 제1단계와; 상기 제1단계이후, 입력된 지문화상의 모든 화소에 대하여, 각 방향으로 이동하며 소정크기의 부영역을 선택하는 제2단계와; 상기 제2단계이후, 선택된 부영역의 품질이 기설정된 기준값 이상인지를 검사하는 제3단계와; 상기 제3단계에서, 선택된 부영역의 품질이 기설정된 기준값보다 작으면, 각 방향으로 이동하여 부영역내의 모든 화소에 대하여, 한 화소씩 선택한 후, 선택된 화소에 방향별 연결 마스크를 적용하는 제4단계와; 상기 제3단계에서, 선택된 부영역의 품질이 기설정된 기준값 이상이거나 상기 제4단계의 과정이 종료되면, 각 방향으로 부영역내의 모든 화소에 대해, 한 화소씩 선택한 후, 해당 선택된 화소에 방향별 평활화 마스크를 적용하는 제5단계를 포함하는 것을 특징으로 하는 지문 특징 추출방법.
- 제 1 항에 있어서,상기 제9과정은, 세선화된 지문화상을 입력받는 제1단계와; 각 방향으로 이동하면서, 모든 화소에 대해, 한 화소씩 선택한 후, 단점 및 분기점을 추출하는 제1단계와; 상기 제1단계이후, 각 방향으로 이동하면서, 모든 화소에 대해, 한 화소씩 선택하여, 단점일 경우, 단선 및 잔가지를 검출하는 제2단계와; 상기 제2단계이후, 각 방향으로 이동하면서, 모든 화소에 대해, 한 화소씩 선택하여, 분기점일 경우, 연결여부를 검출하는 제3단계와; 상기 제3단계이후, 각 방향으로 이동하면서, 모든 화소에 대해, 한 화소씩 선택하여, 단점일 경우, 절선을 검출하는 제4단계와; 상기 제4단계이후, 각 방향으로 이동하면서, 모든 화소에 대해, 한 화소씩 선택하여, 해당 화소가 특징점일 경우, 해당 특징점에 대한 방향을 검출하는 제5단계를 포함하는 것을 특징으로 하는 지문 특징 추출방법.
- 제 1 항에 있어서,상기 제12과정은, 세선화된 지문화상과 특징점의 갯수를 입력받는 제1단계와; 상기 제1단계이후, 특징점의 갯수가 정합이 가능할 정도가 아니면, 모든 화소에 대해 각 방향별로 이동하면서, 선택된 화소가 특징점일 경우, 해당 특징점의 방향에 수직으로 선을 연장하여 만나는 부가 특징점을 탐색하는 제2단계를 포함하는 것을 특징으로 하는 지문 특징 추출방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019980008581A KR100267262B1 (ko) | 1998-03-13 | 1998-03-13 | 지문 특징 추출방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019980008581A KR100267262B1 (ko) | 1998-03-13 | 1998-03-13 | 지문 특징 추출방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR19990074775A KR19990074775A (ko) | 1999-10-05 |
KR100267262B1 true KR100267262B1 (ko) | 2000-11-01 |
Family
ID=19534780
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1019980008581A KR100267262B1 (ko) | 1998-03-13 | 1998-03-13 | 지문 특징 추출방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100267262B1 (ko) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030040825A (ko) * | 2001-11-16 | 2003-05-23 | 에버미디어 주식회사 | 적응 이진화와 특징점 보정을 통한 지문인식 성능 향상 방법 |
KR100460825B1 (ko) * | 2001-02-14 | 2004-12-09 | 테스텍 주식회사 | 지문이미지 취득방법 |
US7027626B2 (en) | 2001-03-26 | 2006-04-11 | Nec Corporation | System and method for processing fingerprint/palmprint image |
KR20080069809A (ko) * | 2007-01-24 | 2008-07-29 | (주) 대성하이텍 | 지문인식장치에서 이미지 세그먼트를 이용한 지문 인식방법 |
KR101676000B1 (ko) * | 2015-06-18 | 2016-11-14 | 주식회사 유니온커뮤니티 | 은행, 통신사 또는 보험사와 개인 사이에서 생성된 디지털 문서 내의 지문 감지 및 보안처리 방법 |
US9710630B2 (en) | 2013-10-30 | 2017-07-18 | Samsung Electronics Co., Ltd. | Electronic device and method of providing security using complex biometric information |
US10509944B2 (en) | 2017-02-24 | 2019-12-17 | Samsung Display Co., Ltd. | Method and device for recognizing fingerprint |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100391182B1 (ko) * | 2000-09-25 | 2003-07-16 | 주식회사 디토정보기술 | 직접 골 추적을 이용한 지문 특징 추출방법 |
KR100432491B1 (ko) * | 2001-08-31 | 2004-05-22 | (주)니트 젠 | 융선방향 모델을 이용한 지문 특징데이터 추출방법 |
KR100489430B1 (ko) * | 2002-05-04 | 2005-05-12 | 에버미디어 주식회사 | 위치이동, 회전에 무관한 지문인식 방법 및 지문인식 장치및 그 방법을 실행시키기 위한 프로그램을 기록한기록매체 |
KR100763312B1 (ko) * | 2005-04-15 | 2007-10-04 | 주식회사 슈프리마 | 지문 인증 처리 방법, 및 지문 획득 장치와 보안 인증모듈을 포함하는 지문 인증 처리 시스템 |
KR100698724B1 (ko) * | 2005-06-21 | 2007-03-23 | 포스데이타 주식회사 | 융선 방향 정보를 이용한 지문이미지의 특이점 및 중심점추출 방법 |
KR101017798B1 (ko) * | 2008-11-03 | 2011-03-02 | 서울대학교산학협력단 | 평균 곡률을 이용하는 지정맥 인증 방법 및 장치 |
-
1998
- 1998-03-13 KR KR1019980008581A patent/KR100267262B1/ko not_active IP Right Cessation
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100460825B1 (ko) * | 2001-02-14 | 2004-12-09 | 테스텍 주식회사 | 지문이미지 취득방법 |
US7027626B2 (en) | 2001-03-26 | 2006-04-11 | Nec Corporation | System and method for processing fingerprint/palmprint image |
KR20030040825A (ko) * | 2001-11-16 | 2003-05-23 | 에버미디어 주식회사 | 적응 이진화와 특징점 보정을 통한 지문인식 성능 향상 방법 |
KR20080069809A (ko) * | 2007-01-24 | 2008-07-29 | (주) 대성하이텍 | 지문인식장치에서 이미지 세그먼트를 이용한 지문 인식방법 |
US9710630B2 (en) | 2013-10-30 | 2017-07-18 | Samsung Electronics Co., Ltd. | Electronic device and method of providing security using complex biometric information |
KR101676000B1 (ko) * | 2015-06-18 | 2016-11-14 | 주식회사 유니온커뮤니티 | 은행, 통신사 또는 보험사와 개인 사이에서 생성된 디지털 문서 내의 지문 감지 및 보안처리 방법 |
US10509944B2 (en) | 2017-02-24 | 2019-12-17 | Samsung Display Co., Ltd. | Method and device for recognizing fingerprint |
Also Published As
Publication number | Publication date |
---|---|
KR19990074775A (ko) | 1999-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100267262B1 (ko) | 지문 특징 추출방법 | |
Farina et al. | Fingerprint minutiae extraction from skeletonized binary images | |
US5963656A (en) | System and method for determining the quality of fingerprint images | |
US5105467A (en) | Method of fingerprint verification | |
US6072895A (en) | System and method using minutiae pruning for fingerprint image processing | |
Amengual et al. | Real-time minutiae extraction in fingerprint images | |
KR100432491B1 (ko) | 융선방향 모델을 이용한 지문 특징데이터 추출방법 | |
US20220383608A1 (en) | Image processing apparatus, image processing method, and program for detecting defect from image | |
Shneier | Using pyramids to define local thresholds for blob detection | |
Kunt | Edge detection: A tuttorial review | |
Hu et al. | Structural primitive extraction and coding for handwritten numeral recognition | |
Chi et al. | Separation of single-and double-touching handwritten numeral strings | |
Aithal | A conceptual Study on Fingerprint Thinning Process based on Edge Prediction | |
Singh et al. | Fingerprint feature extraction using morphological operations | |
Csetverikov | Basic algorithms for digital image analysis: a course | |
CN102073868A (zh) | 基于数字图象闭合轮廓链的图象区域识别方法 | |
Zou et al. | Extracting strokes from static line images based on selective searching | |
KR100391182B1 (ko) | 직접 골 추적을 이용한 지문 특징 추출방법 | |
Distante et al. | Image segmentation | |
US5568566A (en) | Drawing processing apparatus | |
CN100573551C (zh) | 指纹数字图像处理中的相位移动模糊差分二值化方法 | |
Chang et al. | Skeletonization of binary digital patterns using a fast Euclidean distance transformation | |
Jayarathna et al. | A junction based segmentation algorithm for offline handwritten connected character segmentation | |
JPH07193716A (ja) | エッジ強調装置 | |
Iryna et al. | FEATURES OF METHODS OF ISSUATION OF KEY AREAS AND VECTOR RECOGNITION OF MANUSCRIPT SYMBOLS ON THE IMAGE |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130628 Year of fee payment: 14 |
|
FPAY | Annual fee payment |
Payment date: 20140701 Year of fee payment: 15 |
|
FPAY | Annual fee payment |
Payment date: 20150703 Year of fee payment: 16 |
|
FPAY | Annual fee payment |
Payment date: 20160701 Year of fee payment: 17 |
|
LAPS | Lapse due to unpaid annual fee |