KR20200000001A

KR20200000001A - 딥 러닝 기반의 지정맥 특징과 손가락 형태를 이용하는 생체 인식 장치 및 방법

Info

Publication number: KR20200000001A
Application number: KR1020180064759A
Authority: KR
Inventors: 박강령; 김완
Original assignee: 동국대학교 산학협력단
Priority date: 2018-06-05
Filing date: 2018-06-05
Publication date: 2020-01-02
Anticipated expiration: 2038-06-05
Also published as: KR102138652B1

Abstract

본 발명은 생체 인식 기술에 관한 것으로, 보다 상세하게는 딥 러닝 기반의 지정맥 특징과 손가락 형태를 통한 생체 인식 기술에 관한 것이다. 본 발명의 일 실시 예에 따르면, 조명 변화, 위치 변화, 음영, 정렬 불일치, 손가락 압력 등의 요인에 강인한 생체 인식을 수행할 수 있다.

Description

딥 러닝 기반의 지정맥 특징과 손가락 형태를 이용하는 생체 인식 장치 및 방법{APPARATUS AND METHOD FOR BIOMETRICS USING FINGER VEIN FEATURE AND FINGER SHAPE BASED ON DEEP LEARNING}

본 발명은 생체 인식 기술에 관한 것으로, 보다 상세하게는 딥 러닝 기반의 지정맥 특징과 손가락 형태를 통한 생체 인식 기술에 관한 것이다.

생체 인식은 지문, 홍채, 정맥 등을 이용한 인식 방법으로 사용자를 효과적으로 구별할 수 있는 고유한 행동학적 또는 생물학적 요소를 고려하여 정량적인 방식에 따라 데이터의 특징을 분석하여 사용자를 확인하는 방법이다. 생체 인식은 시스템 보안, 금융전자결제, 출입 통제 등을 포함한 많은 응용 분야에서 사용된다. 최근에는 스마트폰의 대중화에 따라 PC 환경 이외의 분야에서도 생체 인증 기술이 대두되고 있다. 기존의 생체 인식 기술 중에서도 다양한 장점을 가진 손가락 기반 인식의 기술이 존재한다. 예를 들어, 생체 인식 기술 중 혈관 내 패턴 특징을 통한 지정맥 인식 방법, 피부의 주름진 미세한 질감을 인식하는 방법, 기하학적 특징에 기반한 손가락 형태 인식 방법 등이 존재한다. 그러나 기존의 단일 인식을 사용하는 방법은 조명 변화, 위치 변화, 음영, 정렬 불일치, 손가락 압력 등에 의해 품질이 변화하고 다양한 이유에 의해서 패턴을 추출하는 것이 어렵고 이에 따라 인식 성능이 감소된 부분이 존재한다. 또한, 최근 하드웨어 및 알고리즘의 발전으로 컨볼루션 신경망(CNN) 기반 알고리즘으로 생체 인식 기술을 개선하려는 시도가 있었으나, 현존하는 CNN 기반의 연구는 기대할 만한 성능을 보여주지 못하였다.

본 발명의 배경기술은 대한민국 공개특허 제2017-0017588호에 개시되어 있다.

본 발명의 해결하고자 하는 과제는 지정맥 특징과 손가락 형태를 이용한 딥 러닝 기반의 생체 인식 장치 및 방법을 제공하는 것이다.

본 발명의 일 측면에 따르면, 딥 러닝 기반의 지정맥 특징과 손가락 형태를 이용하는 생체 인식 장치가 제공된다.

본 발명의 일 실시 예에 따른 딥 러닝 기반의 지정맥 특징과 손가락 형태를 이용하는 생체 인식 장치는 입력 영상에 대해 전처리를 수행하여 전처리 영상을 생성하는 전처리부, 상기 전처리 영상으로부터 관심 영상을 생성하는 관심 영상 추출부, 상기 관심 영상에 대한 스펙트로그램 이미지를 생성하고, 상기 스펙트로그램 이미지를 컨볼루션 신경망에 적용하여 형태 점수를 산출하는 형태 점수 산출부, 상기 관심 영상에 대한 차 영상을 생성하고, 상기 차 영상을 컨볼루션 신경망에 적용하여 지정맥 점수를 산출하는 지정맥 점수 산출부 및 상기 형태 점수 및 상기 지정맥 점수를 융합하여 최종 점수를 산출하고, 상기 최종 점수에 따라 생체 인식 정보를 생성하는 인식부를 포함할 수 있다.

상기 형태 점수 산출부는, 상기 관심 영상에 대해 단시간 푸리에 변환(Short time Fourier Transform, STFT)을 적용하여 상기 스펙트로그램 이미지를 산출할 수 있다.

상기 지정맥 점수 산출부는, 상기 관심 영상과 동일 클래스 및 다른 클래스의 영상 간의 픽셀값 차이를 포함하는 상기 차 영상을 생성할 수 있다.

상기 컨볼루션 신경망은 15개의 컨벌루션 레이어, 4개의 숏컷 레이어 및 1개의 완전 연결 레이어를 포함하되, 각 상기 컨벌루션 레이어에서 이용된 커널 사이즈는 1×1, 3×3 및 7×7 중 어느 하나이고, 패딩 수는 0 또는 1이고, 스트라이드 수는 1 또는 2일 수 있다.

상기 숏컷 레이어는 56×56×256, 28×28×512, 14×14×1024 및 7×7×2048 중 어느 하나의 사이즈에 해당하는 특징맵을 포함할 수 있다.

상기 전처리부는, 상기 입력 영상에 대해 이진화를 적용하고, 이진화된 상기 입력 영상의 열화된 부분을 복원하여 손가락 영역을 검출하고, 상기 입력 영상 중 상기 손가락 영역에 해당하는 영상을 포함하는 상기 전처리 영상을 생성할 수 있다.

상기 관심 영상 추출부는, 상기 전처리 영상으로부터 관심 영역(ROI: Region of Interest)를 추출하고, 상기 관심 영역에서 경계면의 각도를 측정하고, 상기 경계면의 각도에 따라 전처리 영상을 회전 변환하고, 관심 영역과 배경을 포함하는 상기 관심 영상을 생성할 수 있다.

본 발명의 다른 측면에 따르면, 딥 러닝 기반의 지정맥 특징과 손가락 형태를 이용하는 생체 인식 방법 및 이를 실행하는 컴퓨터 프로그램이 기록된 기록매체가 제공된다.

본 발명의 일 실시 예에 따른 딥 러닝 기반의 지정맥 특징과 손가락 형태를 이용하는 생체 인식 방법 및 이를 실행하는 컴퓨터 프로그램이 기록된 기록매체는 입력 영상에 대해 전처리를 수행하여 전처리 영상을 생성하는 단계, 상기 전처리 영상으로부터 관심 영상을 생성하는 단계, 상기 관심 영상에 대한 스펙트로그램 이미지를 생성하고, 상기 스펙트로그램 이미지를 컨볼루션 신경망에 적용하여 형태 점수를 산출하는 단계, 상기 관심 영상에 대한 차 영상을 생성하고, 상기 차 영상을 컨볼루션 신경망에 적용하여 지정맥 점수를 산출하는 단계; 및 상기 형태 점수 및 상기 지정맥 점수를 융합하여 최종 점수를 산출하고, 상기 최종 점수에 따라 생체 인식 정보를 생성하는 단계를 포함할 수 있다.

본 발명의 일 실시 예에 따르면, 조명 변화, 위치 변화, 음영, 정렬 불일치, 손가락 압력 등의 요인에 강인한 생체 인식을 수행할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 생체 인식 장치를 예시한 도면.
도 2는 본 발명의 일 실시 예에 따른 생체 인식 장치에 적용된 전처리 과정을 설명하기 위한 도면.
도 3은 본 발명의 일 실시 예에 따른 생체 인식 장치가 관심 영상을 생성하는 과정을 설명하기 위한 도면.
도 4는 본 발명의 일 실시 예에 따른 생체 인식 장치가 이용하는 단시간 푸리에 변환을 설명하기 위한 도면.
도 5는 본 발명의 일 실시 예에 따른 생체 인식 장치가 이용하는 컨볼루션 신경망의 구조를 개략적으로 예시한 도면.
도 6은 본 발명의 일 실시 예에 따른 생체 인식 장치가 이용하는 컨볼루션 신경망의 구체적인 구조를 예시한 도면.
도 7은 본 발명의 일 실시 예에 따른 생체 인식 장치가 생체 인식을 수행하는 과정을 예시한 순서도.
도 8은 본 발명의 일 실시 예에 따른 생체 인식 장치의 테스트 영상에 대한 테스트 결과를 예시한 도면.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.

이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 일 실시 예에 따른 생체 인식 장치를 예시한 도면이고, 도 2는 본 발명의 일 실시 예에 따른 생체 인식 장치에 적용된 전처리 과정을 설명하기 위한 도면이고, 도 3은 본 발명의 일 실시 예에 따른 생체 인식 장치가 관심 영상을 생성하는 과정을 설명하기 위한 도면이고, 도 4는 본 발명의 일 실시 예에 따른 생체 인식 장치가 이용하는 단시간 푸리에 변환을 설명하기 위한 도면이다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 생체 인식 장치는 입력부(110), 전처리부(120), 관심 영역 추출부(130), 형태 점수 산출부(140), 지정맥 점수 산출부(150) 및 인식부(160)를 포함한다.

입력부(110)는 네트워크 또는 미리 지정된 입력 단자를 통해 영상을 입력받는다. 이하, 입력부(110)가 입력 받은 영상을 입력 영상이라 지칭하도록 한다. 입력부(110)는 입력 영상을 전처리부(120)로 전송한다.

전처리부(120)는 입력 영상에 대해 전처리 프로세스를 수행하여 전처리 영상을 생성한다. 예를 들어, 전처리부(120)는 입력 영상(예를 들어, 도 2의 200)에 대해 이진화 처리를 수행하고, 이진화된 입력 영상(예를 들어, 도 2의 210)에 대해 convex hull 알고리즘을 적용하여 홀 등의 열화된 부분을 복원하여 손가락 영역(예를 들어, 도 2의 220)을 검출하고, 입력 영상 중 손가락 영역에 해당하는 영상을 포함하는 전처리 영상을 생성한다. 전처리부(120)는 전처리 영상을 관심 영역 추출부(130)로 전송한다.

관심 영역 추출부(130)는 전처리 영상으로부터 관심 영역(ROI: Region of Interest)를 추출하고, 관심 영역을 포함하는 관심 영상을 생성한다. 예를 들어, 관심 영역 추출부(130)는 4x20 mask를 사용하여 지정맥의 상측 경계면 및 하측 경계면을 검출하여 굵기정보와 지정맥 특징이 포함된 관심 영역을 추출할 수 있다. 관심 영역 추출부(130)는 도 3의 300과 같은 입력 영상에 대해 이진화를 수행하여 310과 같은 영상을 획득하였다고 가정하는 경우, 지정된 ROI에서 경계면의 각도를 측정하고, 320과 같이 경계면의 각도에 따라 전처리 영상을 회전 변환하고, 330과 같이 관심 영역과 배경을 포함하는 관심 영상을 생성할 수 있다. 관심 영역 추출부(130)는 관심 영상을 형태 점수 산출부(140) 및 지정맥 점수 산출부(150)로 전송한다.

형태 점수 산출부(140)는 도 4의 400과 같이 관심 영상에 대해 지정맥 영역 두께의 수직 높이를 측정하여 지정된 너비만큼 이진 푸리에 변환(Discrete Fourier transform, DFT)를 수행하는 단시간 푸리에 변환(Short time Fourier Transform, STFT)를 통해 420과 같이 관심 영상을 주파수 영역으로 표현하는 스펙트로그램 이미지(spectogram image)를 생성한다. 예를 들어, 형태 점수 산출부(140)는 도 4의 410 및 수학식 1과 같은 단시간 푸리에 변환을 이용할 수 있다.

[수학식 1]

여기서, n는 지정맥 수평 위치, w는 주파수 축, f(m)는 분석할 신호, W(m)는 픽셀 길이 R에 따른 윈도우(window)이다.

형태 점수 산출부(140)는 컨볼루션 신경망(Convolutional Neural Network)을 이용하여 스펙트로그램 이미지에 대한 특징값을 산출한다. 형태 점수 산출부(140)는 산출된 특징값과 같은 클래스에 해당하는 스펙트로그램 이미지에 해당하는 특징값 간의 유클리디안 거리(Euclidean distance)와 산출된 특징값과 다른 클래스에 해당하는 스펙트로그램 이미지에 해당하는 특징값 간의 유클리디안 거리에 따라 형태 점수를 산출한다. 이 때, 형태 점수 산출부(140)는 각 클래스별 스펙트로그램 이미지를 학습한 컨볼루션 신경망을 이용할 수 있다. 형태 점수 산출부(140)는 형태 점수를 인식부(160)로 전송한다.

지정맥 점수 산출부(150)는 관심 영상으로부터 지정맥에 해당하는 영역(이하, 지정맥 영역이라 지칭)을 추출하고, 해당 영역을 포함하는 영상의 크기를 지정된 크기가 되도록 변환을 수행한다. 지정맥 점수 산출부(150)는 동일 클래스의 영상에 포함된 지정맥 영역과 관심 영상의 지정맥 영역의 픽셀값의 차이를 나타내는 차 영상과, 다른 클래스의 영상에 포함된 지정맥 영역과 관심 영상의 지정맥 영역의 픽셀값의 차이를 나타내는 차 영상을 생성한다. 지정맥 점수 산출부(150)는 컨볼루션 신경망을 이용하여 차 영상에 대한 지정맥 점수를 산출한다. 이 때, 지정맥 점수 산출부(150)는 각 동일 클래스 간의 차 영상과 상이한 클래스 간의 차 영상을 학습한 컨볼루션 신경망을 이용할 수 있다. 지정맥 점수 산출부(150)는 지정맥 점수를 인식부(160)로 전송한다.

인식부(160)는 미리 지정된 방식(예를 들어, Weighted sum, weighted product, perception, bayesian 등)을 통해 형태 점수와 지정맥 점수를 융합하여 최종 점수를 산출한다. 이 때, weighted sum은 각 단일방식에 가중치를 부여하여 합한 score를 쓰는 방식이며, weighted product는 각 단일방식의 가중치 곱을 score로 쓰는 방식이다. Bayesian(

은 수학식 2에 따라서 계산되고 Perceptron

은 수학식 3에 따라서 계산되는 방식이다.

[수학식 2]

[수학식 3]

이 때, s1은 형태 점수이고, s2는 지정맥 점수이고, w0, w1 및 w2는 미리 지정된 가중치이다.

이 때, 인식부(160)는 여러 융합 방식을 통해 최종 점수를 각각 산출하고, 가장 오류율이 낮은 융합 방식을 통한 최종 점수를 선정할 수 있다.

인식부(160)는 최종 점수가 미리 지정된 임계값 이하인 경우, 해당 입력 영상의 사용자를 정당한 사용자로 인식함을 나타내는 생체 인식 정보를 생성한다. 반대로 인식부(160)는 최종 점수가 미리 지정된 임계값을 초과하는 경우, 해당 입력 영상의 사용자를 부적격한 사용자로 인식하는 생체 인식 정보를 생성한다.

도 5는 본 발명의 일 실시 예에 따른 생체 인식 장치가 이용하는 컨볼루션 신경망의 구조를 개략적으로 예시한 도면이고, 도 6은 본 발명의 일 실시 예에 따른 생체 인식 장치가 이용하는 컨볼루션 신경망의 구체적인 구조를 예시한 도면이다.

본 발명의 일 실시 예에 따른 생체 인식 장치가 이용하는 컨볼루션 신경망은 Group1~3의 구조를 도 5와 같이 포함할 수 있다.

구체적으로 도 6과 같이 컨볼루션 신경망은 15개의 컨벌루션 레이어, 4개의 숏컷 레이어, 1개의 완전 연결 레이어를 포함할 수 있다.

224x224 픽셀로 리사이즈된 영상에 기반하여 출력되는 feature map size는 다음의 수학식 4와 같이 계산된다.

[수학식 4]

Feature map size = ((Input size - size of kernel + size of padding *2)/number of stride) +1

각 컨벌루션 레이어에서는 구조의 최적화를 위해 배치 정규화(batch normalization), Rectified linear unit(ReLU) 를 거친다. 배치 정규화는 데이터 간의 연관성이 적은 mini-batch 단위로 feature의 mean 및 covariance를 구하고 정규화를 거치는 과정이다.

첫 번째 컨벌루션 레이어에서는 3x3 max pooling을 통해 3x3 윈도우 영역 내에서 가장 큰 값을 사용하는 서브샘플링(subsampling) 역할을 수행한다. Group2, Group4, Group 6 및 Group8 은 bottleneck 구조를 사용한다. Group2, Group4, Group 6 및 Group8의 첫번 째 1x1 사이즈의 컨벌루션 레이어에서는 필터 사이즈를 축소하고, 3x3 사이즈의 컨벌루션 레이어에서 특징을 추출하였다. 숏컷(shortcut)과의 connection을 위해 다음 컨벌루션 레이어에서 다시 1x1 사이즈의 윈도우를 사용하여 숏컷의 필터와 동일하도록 하였다. 이로 인해 단일 3x3 사이즈의 컨벌루션 과정 보다 학습할 파라미터가 감소되어 처리할 연산량이 적어진다. 또한, Group3, Group6, Group9 에서 숏컷 구조를 사용하였다. 숏컷 구조는 학습된 필터와 이전의 레이어들을 학습하지 않고 스킵한 필터를 연결(connect)한다. 컨벌루션 신경망은 모든 그룹의 레이어 이후, 윈도우 내에서 평균값을 처리하는 average pooling를 거쳐 fully connected layer를 통해 label에 따른 클래스를 인식한다. 따라서 컨벌루션 신경망이 깊어지면 발생하는 degradation problem 을 해결하고 학습을 최적화할 수 있다.

즉, CNN의 예를 들면, Group 1은 64개의 필터를 이용한 컨볼루션 레이어를 통해 112×112×64의 특징 맵을 생성한다. Group 1의 컨벌루션 레이어에서 이용된 스트라이드 수는 2이고, 패딩 수는 3일 수 있다.

또한, CNN의 예를 들면, Group 2는 64 또는 256개의 필터를 이용한 컨볼루션 레이어를 통해 56×56×64 또는 56×56×256의 특징 맵을 생성한다. Group 2의 컨벌루션 레이어에서 이용된 스트라이드 수는 1이고, 패딩 수는 0 또는 1일 수 있다.

또한, CNN의 예를 들면, Group 3은 숏컷 레이어를 통해 56×56×256의 특징 맵을 생성한다.

또한, CNN의 예를 들면, Group 4는 128 또는 512개의 필터를 이용한 컨볼루션 레이어를 통해 28×28×128 또는 28×28×512의 특징 맵을 생성한다. Group 4의 컨벌루션 레이어에서 이용된 스트라이드 수는 1 또는 2이고, 패딩 수는 0 또는 1일 수 있다.

또한, CNN의 예를 들면, Group 5는 숏컷 레이어를 통해 28×28×512의 특징 맵을 생성한다.

또한, CNN의 예를 들면, Group 6은 256 또는 1024개의 필터를 이용한 컨볼루션 레이어를 통해 14×14×256 또는 14×14×1024의 특징 맵을 생성한다. Group 6의 컨벌루션 레이어에서 이용된 스트라이드 수는 1 또는 2이고, 패딩 수는 0 또는 1일 수 있다.

또한, CNN의 예를 들면, Group 7은 숏컷 레이어를 통해 14×14×1024의 특징 맵을 생성한다.

또한, CNN의 예를 들면, Group 8은 512 또는 2048개의 필터를 이용한 컨볼루션 레이어를 통해 7×7×512 또는 7×7×2048의 특징 맵을 생성한다. Group 6의 컨벌루션 레이어에서 이용된 스트라이드 수는 1 또는 2이고, 패딩 수는 0 또는 1일 수 있다.

도 6의 2/1*는 1번째 연산에서의 값은 1이고 그 이후의 연산에서는 2를 의미한다, **는 앞에 있는 숫자는 첫번째 group(2,3,4,5,6,7,8,9)에 해당하는 반복 횟수이고, 뒤에 있는 숫자는 두번째 group(2-1, 3-1, 4-1, 5-1, 6-1, 7-1, 8-1, 9-1)에 해당하는 반복 횟수 이다. ***는 resnet101단에서의 반복 횟수이다. 표시가 없는 나머지 반복 횟수는 50단과 동일하다.

도 7은 본 발명의 일 실시 예에 따른 생체 인식 장치가 생체 인식을 수행하는 과정을 예시한 순서도이다. 이하 설명하는 각 단계는 생체 인식 장치를 구성하는 각 기능부를 통해 수행되는 과정이나, 발명의 간결하고 명확한 설명을 위해 각 단계의 주체를 생체 인식 장치로 통칭하도록 한다.

단계 S710에서 생체 인식 장치는 입력 영상을 입력 받는다.

단계 S720에서 생체 인식 장치는 입력 영상에 대해 전처리를 수행한다. 예를 들어, 생체 인식 장치는 입력 영상에 대해 이진화 처리를 수행하고, 이진화된 입력 영상에 대해 convex hull 알고리즘을 적용하여 홀 등의 열화된 부분을 복원하여 손가락 영역을 검출하고, 입력 영상 중 손가락 영역에 해당하는 영상을 포함하는 전처리 영상을 생성할 수 있다.

단계 S730에서 생체 인식 장치는 생체 인식 장치는 전처리 영상으로부터 관심 영역(ROI: Region of Interest)를 추출하고, 관심 영역을 포함하는 관심 영상을 생성한다. 생체 인식 장치는 지정된 ROI에서 경계면의 각도를 측정하고, 경계면의 각도에 따라 전처리 영상을 회전 변환하고, 관심 영역과 배경을 포함하는 관심 영상을 생성할 수 있다.

단계 S740에서 생체 인식 장치는 관심 영상에 대해 단시간 푸리에 변환(Short time Fourier Transform, STFT)을 적용하여 스펙트로그램 이미지를 산출한다.

단계 S750에서 생체 인식 장치는 컨볼루션 신경망을 통해 스펙트로그램 이미지에 따른 손가락의 형태에 대한 특징값을 산출한다.

단계 S760에서 생체 인식 장치는 특징값에 따른 형태 점수를 산출한다. 예를 들어, 생체 인식 장치는 산출된 특징값과 같은 클래스에 해당하는 스펙트로그램 이미지에 해당하는 특징값 간의 유클리디안 거리(Euclidean distance)와 산출된 특징값과 다른 클래스에 해당하는 스펙트로그램 이미지에 해당하는 특징값 간의 유클리디안 거리에 따라 형태 점수를 산출할 수 있다.

단계 S770에서 생체 인식 장치는 관심 영상의 크기를 미리 지정된 크기로 조정한다.예를 들어, 생체 인식 장치는 관심 영상으로부터 지정맥 영역을 추출하고, 지정맥 영역을 포함하는 영상의 크기를 지정된 크기가 되도록 변환을 수행한다.

단계 S780에서 생체 인식 장치는 동일 클래스의 영상에 포함된 지정맥 영역과 관심 영상의 지정맥 영역의 픽셀값의 차이를 나타내는 차 영상과, 다른 클래스의 영상에 포함된 지정맥 영역과 관심 영상의 지정맥 영역의 픽셀값의 차이를 나타내는 차 영상을 생성한다.

단계 S790에서 생체 인식 장치는 컨볼루션 신경망을 통해 차 영상에 따른 지정맥 점수를 산출한다.

단계 S792에서 생체 인식 장치는 미리 지정된 방식(예를 들어, Weighted sum, weighted product, perception, bayesian 등)을 통해 형태 점수와 지정맥 점수를 융합하여 최종 점수를 산출한다.

단계 S794에서 생체 인식 장치는 최종 점수에 따른 생체 인식 정보를 생성한다. 예를 들어, 생체 인식 장치는 최종 점수가 미리 지정된 임계값 이하인 경우, 해당 입력 영상의 사용자를 정당한 사용자로 인식함을 나타내는 생체 인식 정보를 생성하고, 최종 점수가 미리 지정된 임계값을 초과하는 경우, 해당 입력 영상의 사용자를 부적격한 사용자로 인식하는 생체 인식 정보를 생성할 수 있다.

도 8은 본 발명의 일 실시 예에 따른 생체 인식 장치의 테스트 영상에 대한 테스트 결과를 예시한 도면이다.

도 8을 참조하면, 생체 인식에서 오류율을 측정하기 위한 수단으로 False Acceptance Ratio(FAR) 와 False Rejection Rate(FRR)가 존재한다. FAR은 서로 다른 클래스를 인식됨(authentic)으로 판단할 경우 발생하며 FRR은 서로 같은 클래스를 인식 되지 않음(imposter)로 판단할 경우 발생하는 오류 수치이다. FAR 곡선과 FRR 곡선을 같이 나타낸 것을 ROC curve라고 하며 sensitivity에 따른 오류율을 보여주는 그래프이다. 일반적으로 sensitivity가 증가하면 FRR은 증가하고 FAR은 감소하며 반대로 sensitivity가 감소하면 FRR은 감소하고 FAR은 증가한다. 그래프 곡선에 따라 FAR과 FRR이 만나는 지점을 Equal Error Rate(EER)이라고 하며 성능의 지표가 된다.

두 개의 데이터베이스(SDUMLA-HMT, PolyU)에 대해서 EER을 산출한 결과, perception 방식이 가장 오류율이 낮은 것을 보여 준다.

본 발명의 실시 예에 따른 생체 인식 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims

딥 러닝 기반의 지정맥 특징과 손가락 형태를 이용하는 생체 인식 장치에 있어서,
입력 영상에 대해 전처리를 수행하여 전처리 영상을 생성하는 전처리부;
상기 전처리 영상으로부터 관심 영상을 생성하는 관심 영상 추출부;
상기 관심 영상에 대한 스펙트로그램 이미지를 생성하고, 상기 스펙트로그램 이미지를 컨볼루션 신경망에 적용하여 형태 점수를 산출하는 형태 점수 산출부;
상기 관심 영상에 대한 차 영상을 생성하고, 상기 차 영상을 컨볼루션 신경망에 적용하여 지정맥 점수를 산출하는 지정맥 점수 산출부; 및
상기 형태 점수 및 상기 지정맥 점수를 융합하여 최종 점수를 산출하고, 상기 최종 점수에 따라 생체 인식 정보를 생성하는 인식부를 포함하는 생체 인식 장치.
제1항에 있어서,
상기 형태 점수 산출부는,
상기 관심 영상에 대해 단시간 푸리에 변환(Short time Fourier Transform, STFT)을 적용하여 상기 스펙트로그램 이미지를 산출하는 것을 특징으로 하는 생체 인식 장치.
제1항에 있어서,
상기 지정맥 점수 산출부는,
상기 관심 영상과 동일 클래스 및 다른 클래스의 영상 간의 픽셀값 차이를 포함하는 상기 차 영상을 생성하는 것을 특징으로 하는 생체 인식 장치.
제1항에 있어서,
상기 컨볼루션 신경망은
15개의 컨벌루션 레이어, 4개의 숏컷 레이어 및 1개의 완전 연결 레이어를 포함하되,
각 상기 컨벌루션 레이어에서 이용된 커널 사이즈는 1×1, 3×3 및 7×7 중 어느 하나이고, 패딩 수는 0 또는 1이고, 스트라이드 수는 1 또는 2인 것을 특징으로 하는 생체 인식 장치.
제4항에 있어서,
상기 숏컷 레이어는 56×56×256, 28×28×512, 14×14×1024 및 7×7×2048 중 어느 하나의 사이즈에 해당하는 특징맵을 포함하는 것을 특징으로 하는 생체 인식 장치.
제1항에 있어서,
상기 전처리부는,
상기 입력 영상에 대해 이진화를 적용하고, 이진화된 상기 입력 영상의 열화된 부분을 복원하여 손가락 영역을 검출하고, 상기 입력 영상 중 상기 손가락 영역에 해당하는 영상을 포함하는 상기 전처리 영상을 생성하는 것을 특징으로 하는 생체 인식 장치.
제1항에 있어서,
상기 관심 영상 추출부는,
상기 전처리 영상으로부터 관심 영역(ROI: Region of Interest)를 추출하고,
상기 관심 영역에서 경계면의 각도를 측정하고,
상기 경계면의 각도에 따라 전처리 영상을 회전 변환하고,
관심 영역과 배경을 포함하는 상기 관심 영상을 생성하는 것을 특징으로 하는 생체 인식 장치.
생체 인식 장치가 딥 러닝 기반의 지정맥 특징과 손가락 형태를 이용하는 생체 인식을 수행하는 방법에 있어서,
입력 영상에 대해 전처리를 수행하여 전처리 영상을 생성하는 단계;
상기 전처리 영상으로부터 관심 영상을 생성하는 단계;
상기 관심 영상에 대한 스펙트로그램 이미지를 생성하고, 상기 스펙트로그램 이미지를 컨볼루션 신경망에 적용하여 형태 점수를 산출하는 단계;
상기 관심 영상에 대한 차 영상을 생성하고, 상기 차 영상을 컨볼루션 신경망에 적용하여 지정맥 점수를 산출하는 단계; 및
상기 형태 점수 및 상기 지정맥 점수를 융합하여 최종 점수를 산출하고, 상기 최종 점수에 따라 생체 인식 정보를 생성하는 단계를 포함하는 생체 인식 방법.
제8항에 있어서,
상기 관심 영상에 대한 스펙트로그램 이미지를 생성하고, 상기 스펙트로그램 이미지를 컨볼루션 신경망에 적용하여 형태 점수를 산출하는 단계는,
상기 관심 영상에 대해 단시간 푸리에 변환(Short time Fourier Transform, STFT)을 적용하여 상기 스펙트로그램 이미지를 산출하는 단계를 포함하는 것을 특징으로 하는 생체 인식 방법.
제8항에 있어서,
상기 관심 영상에 대한 차 영상을 생성하고, 상기 차 영상을 컨볼루션 신경망에 적용하여 지정맥 점수를 산출하는 단계는,
상기 관심 영상과 동일 클래스 및 다른 클래스의 영상 간의 픽셀값 차이를 포함하는 상기 차 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 생체 인식 방법.
제8항에 있어서,
상기 컨볼루션 신경망은
15개의 컨벌루션 레이어, 4개의 숏컷 레이어 및 1개의 완전 연결 레이어를 포함하되,
각 상기 컨벌루션 레이어에서 이용된 커널 사이즈는 1×1, 3×3 및 7×7 중 어느 하나이고, 패딩 수는 0 또는 1이고, 스트라이드 수는 1 또는 2인 것을 특징으로 하는 생체 인식 방법.
제11항에 있어서,
상기 숏컷 레이어는 56×56×256, 28×28×512, 14×14×1024 및 7×7×2048 중 어느 하나의 사이즈에 해당하는 특징맵을 포함하는 것을 특징으로 하는 생체 인식 방법.
제8항에 있어서,
상기 입력 영상에 대해 전처리를 수행하여 전처리 영상을 생성하는 단계는,
상기 입력 영상에 대해 이진화를 적용하고, 이진화된 상기 입력 영상의 열화된 부분을 복원하여 손가락 영역을 검출하고, 상기 입력 영상 중 상기 손가락 영역에 해당하는 영상을 포함하는 상기 전처리 영상을 생성하는 단계인 것을 특징으로 하는 생체 인식 장치.
제8항에 있어서,
상기 전처리 영상으로부터 관심 영상을 생성하는 단계는,
상기 전처리 영상으로부터 관심 영역(ROI: Region of Interest)를 추출하는 단계;
상기 관심 영역에서 경계면의 각도를 측정하는 단계;
상기 경계면의 각도에 따라 전처리 영상을 회전 변환하는 단계; 및
관심 영역과 배경을 포함하는 상기 관심 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 생체 인식 방법.
제8항 내지 제14항 중 어느 하나의 생체 인식 방법을 실행하는 컴퓨터 프로그램을 기록한 컴퓨터가 판독 가능한 기록매체.