KR102212125B1

KR102212125B1 - 조건부 적대적 생성 신경망을 이용하는 홍채 인식 장치 및 방법

Info

Publication number: KR102212125B1
Application number: KR1020190092544A
Authority: KR
Inventors: 박강령; 이민범
Original assignee: 동국대학교 산학협력단
Priority date: 2019-07-30
Filing date: 2019-07-30
Publication date: 2021-02-05

Abstract

본 발명의 일 실시 예에 따른 홍채 인식 장치는 훈련 영상을 입력 받아 정규화를 수행하는 훈련 영상 처리부, 훈련 영상에 따라 확장 영상을 생성하는 영상 확장부, 확장 영상을 통해 컨볼루션 신경망을 학습시키는 훈련부, 테스트 영상을 입력 받아 정규화를 수행하는 테스트 영상 처리부, 테스트 영상을 컨볼루션 신경망에 입력하여 특징벡터를 산출하고, 특징벡터와 기 등록된 영상의 특징벡터 간의 유클리디안 거리를 산출하는 거리 측정부 및 유클리디안 거리에 따라 홍채 인식 정보를 생성하는 홍채 인식부를 포함한다.

Description

조건부 적대적 생성 신경망을 이용하는 홍채 인식 장치 및 방법{APPARATUS AND METHOD FOR IDENTIFYING IRIS USING CONDITIONAL GENERATIVE ADVERSARIAL NETWORKS}

본 발명은 홍채 인식 기술에 관한 것으로, 보다 상세하게는 조건부 적대적 생성 신경망을 이용한 홍채 인식 기술에 관한 것이다.

일반적으로 홍채 인식 장치는 카메라가 눈으로부터 10cm 이내의 매우 근접한 거리에서 눈을 촬영하여야 홍채 인식이 가능하다. 또한, 해당 카메라는 홍채 인식 전용 카메라이여야 하고 근적외선 조명을 사용하여 촬영이 필요한 카메라이다.

일반적인 스마트 기기와 같은 디바이스는 매우 근접한 거리에서 눈을 촬영하기가 불가능한 형태로 이용된다. 또한, 일반 기기는 4m 이상의 원거리에서 가시광선 카메라로 촬영하는 환경일 수 밖에 없는 디바이스이다. 해당 가시광선 카메라로 눈 영상을 촬영하여 일반적인 홍채 인식을 시도할 경우에는 홍채의 패턴이 뚜렷하지 않고, optical blur, motion blur, off-angle view, specular reflection 등의 다양한 노이즈가 이미지에 포함되어 있어 일반 기기의 가시광선 카메라를 이용할 경우 홍채 인식 정확도가 떨어지는 문제가 있다.

본 발명의 배경기술은 대한민국 공개특허 제2007-0119105호에 개시되어 있다.

본 발명의 해결하고자 하는 과제는 조건부 적대적 생성 신경망을 이용한 홍채 인식 장치 및 방법을 제공하는 것이다.

본 발명의 일 측면에 따르면, 훈련 영상을 입력 받아 정규화를 수행하는 훈련 영상 처리부; 상기 훈련 영상에 따라 확장 영상을 생성하는 영상 확장부; 상기 확장 영상을 통해 컨볼루션 신경망을 학습시키는 훈련부; 테스트 영상을 입력 받아 정규화를 수행하는 테스트 영상 처리부; 상기 테스트 영상을 상기 컨볼루션 신경망에 입력하여 특징벡터를 산출하고, 상기 특징벡터와 기 등록된 영상의 특징벡터 간의 유클리디안 거리를 산출하는 거리 측정부; 및 상기 유클리디안 거리에 따라 홍채 인식 정보를 생성하는 홍채 인식부를 포함하는 홍채 인식 장치가 제공된다.

상기 영상 확장부는 조건부 적대적 생성 신경망(conditional generative neural networks, cGAN)에 입력하여 상기 확장 영상을 생성할 수 있다.

상기 조건부 적대적 생성 신경망은 복수의 컨볼루션 레이어를 통해 특징맵을 다운샘플링하는 인코더와 전치 컨볼루션 레이어를 통해 특징맵을 업샘플링하는 디코더를 포함하여 추가 영상을 생성하는 이미지 생성부 및 상기 추가 영상과 추가 정보로 사용된 이미지의 쌍(fake images) 및 지오메트릭 센터 이미지(geometric center image)와 추가 정보로 사용된 이미지의 쌍(real images)을 입력 받아 상기 추가 영상의 진짜 또는 가짜를 나타내는 최종값으로 출력하는 이미지 판단부를 포함할 수 있다.

상기 컨볼루션 신경망은 홍채 영역을 포함하는 홍채 영상을 입력 받는 제1 컨볼루션 신경망, 상기 홍채 영역과 눈 주변 영역을 포함하는 제1 눈 영상을 입력받는 제2 컨볼루션 신경망 및 상기 제1 눈 영상에 비해 더 큰 눈 주변 영역을 포함하는 제2 눈 영상을 입력받는 제3 컨볼루션 신경망을 포함할 수 있다.

상기 홍채 인식부는 서포트 벡터 머신(support vector machine, SVM)을 이용하여 상기 유클리디안 거리에 대한 스코어 레벨 퓨전(score level fusion)을 수행하여 최종값을 산출하고, 상기 최종값에 따라 테스트 영상의 사용자가 등록된 사용자로 인식하는 여부를 나타내는 홍채 인식 정보를 생성할 수 있다.

본 발명의 다른 측면에 따르면, 홍채 인식 장치가 홍채를 인식하는 방법에 있어서, 훈련 영상을 입력 받아 정규화를 수행하는 단계; 상기 훈련 영상에 따라 확장 영상을 생성하는 단계; 상기 확장 영상을 통해 컨볼루션 신경망을 학습시키는 단계; 테스트 영상을 입력 받아 정규화를 수행하는 단계; 상기 테스트 영상을 상기 컨볼루션 신경망에 입력하여 특징벡터를 산출하고, 상기 특징벡터와 기 등록된 영상의 특징벡터 간의 유클리디안 거리를 산출하는 단계; 및 상기 유클리디안 거리에 따라 홍채 인식 정보를 생성하는 단계를 포함하는 홍채 인식 방법이 제공된다.

상기 훈련 영상에 따라 확장 영상을 생성하는 단계는 조건부 적대적 생성 신경망(conditional generative neural networks, cGAN)에 입력하여 상기 확장 영상을 생성하는 단계일 수 있다.

상기 유클리디안 거리에 따라 홍채 인식 정보를 생성하는 단계는 서포트 벡터 머신(support vector machine, SVM)을 이용하여 상기 유클리디안 거리에 대한 스코어 레벨 퓨전(score level fusion)을 수행하여 최종값을 산출하는 단계; 및 상기 최종값에 따라 테스트 영상의 사용자가 등록된 사용자로 인식하는 여부를 나타내는 홍채 인식 정보를 생성하는 단계를 포함할 수 있다.

본 발명의 또 다른 측면에 따르면, 상기 홍채 인식 방법을 실행하고 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램이 제공된다.

본 발명의 일 실시 예에 따르면, 다양한 노이즈(조명 반사광, 눈썹, 눈꺼풀 등)이 포함된 눈 영상에 대해 별도의 노이즈 제거 과정 없이 홍채 인식을 정확하게 수행할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 홍채 인식 장치를 간략히 예시한 블록도.
도 2는 본 발명의 일 실시 예에 따른 홍채 인식 장치가 입력 받는 훈련 영상을 예시한 도면.
도 3은 본 발명의 일 실시 예에 따른 홍채 인식 장치가 검출하는 홍채 영역을 예시한 도면.
도 4는 본 발명의 일 실시 예에 다른 홍채 인식 장치가 생성하는 홍채 영상을 예시한 도면.
도 5는 본 발명의 일 실시 예에 따른 홍채 인식 장치가 이용하는 조건부 적대적 생성 신경망 중 이미지 생성부의 전반부 구조를 예시한 도면.
도 6은 본 발명의 일 실시 예에 따른 홍채 인식 장치가 이용하는 조건부 적대적 생성 신경망 중 이미지 생성부의 후반부 구조를 예시한 도면.
도 7은 본 발명의 일 실시 예에 따른 홍채 인식 장치가 이용하는 조건부 적대적 생성 신경망 중 이미지 판별부의 구조를 예시한 도면.
도 8은 본 발명의 일 실시 예에 따른 홍채 인식 장치가 이용하는 컨볼루션 신경망을 예시한 도면.
도 9는 본 발명의 일 실시 예에 따른 홍채 인식 장치가 3개의 컨볼루션 신경망에 입력하는 영상을 설명하는 도면.
도 10은 본 발명의 일 실시 예에 따른 홍채 인식 장치가 홍채 인식을 수행하는 방법을 예시한 순서도.
도 11은 본 발명의 일 실시 예에 따른 홍채 인식 장치를 NICE.II training dataset로 실험한 결과를 예시한 도면.
도 12는 일반적은 홍채 인식 장치를 NICE.II training dataset로 실험한 결과를 예시한 도면.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.

이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 일 실시 예에 따른 홍채 인식 장치를 간략히 예시한 블록도이고, 도 2는 본 발명의 일 실시 예에 따른 홍채 인식 장치가 입력 받는 훈련 영상을 예시한 도면이고, 도 3은 본 발명의 일 실시 예에 따른 홍채 인식 장치가 검출하는 홍채 영역을 예시한 도면이고, 도 4는 본 발명의 일 실시 예에 다른 홍채 인식 장치가 생성하는 홍채 영상을 예시한 도면이고, 도 5는 본 발명의 일 실시 예에 따른 홍채 인식 장치가 이용하는 조건부 적대적 생성 신경망 중 이미지 생성부의 전반부 구조를 예시한 도면이고, 도 6은 본 발명의 일 실시 예에 따른 홍채 인식 장치가 이용하는 조건부 적대적 생성 신경망 중 이미지 생성부의 후반부 구조를 예시한 도면이고, 도 7은 본 발명의 일 실시 예에 따른 홍채 인식 장치가 이용하는 조건부 적대적 생성 신경망 중 이미지 판별부의 구조를 예시한 도면이고, 도 8은 본 발명의 일 실시 예에 따른 홍채 인식 장치가 이용하는 컨볼루션 신경망을 예시한 도면이고, 도 9는 본 발명의 일 실시 예에 따른 홍채 인식 장치가 3개의 컨볼루션 신경망에 입력하는 영상을 설명하는 도면이다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 홍채 인식 장치는 훈련 영상 처리부(110), 영상 확장부(120), 훈련부(130), 테스트 영상 처리부(140), 거리 측정부(150) 및 홍채 인식부(160)를 포함한다.

훈련 영상 처리부(110)는 신경망의 훈련에 사용될 영상인 훈련 영상을 입력 받고, 훈련 영상에서 홍채와 동공의 위치 정보를 검출하고, 홍채와 동공의 위치 정보에 따른 홍채 영역을 정규화하여 홍채 영상을 생성한다. 예를 들어, 훈련 영상 처리부(110)는 도 2와 같은 눈을 촬영한 훈련 영상을 입력 받을 수 있다. 훈련 영상 처리부(110)는 도 3과 같이 훈련 영상 중 홍채와 동공의 중심점과 그 직경을 two circular edge detector(CED)를 통해 검출할 수 있다. 훈련 영상 처리부(110)는 도 4와 같이 홍채에 해당하는 영역을 미리 지정된 크기의 직사각형의 이미지인 홍채 영상으로 정규화할 수 있다. 이 때, 홍채 영상의 세로 방향의 각 픽셀값은 홍채 영역의 반지름 방향에 있는 점 중 홍채 영상의 각 픽셀에 대응하는 점들의 평균으로 설정될 수 있다. 또한, 홍채 영상의 가로 방향의 각 픽셀값은 홍채 영역 중 해당 픽셀값에 대응하는 각도에 위치하는 점들에 따라 설정될 수 있다. 즉, 홍채 영상의 각 픽셀의 값은 해당 위치(가로 및 세로 위치)에 대응하는 홍채 영역의 각도 및 홍채 중심으로부터의 거리에 위치하는 점들의 값에 따라 홍채 영역을 극좌표계 변환하여 결정된다. 즉, 훈련 영상 처리부(110)는 홍채 영역을 극좌표계 변환하여 비정방형의 미리 설정된 크기의 홍채 영상으로 생성할 수 있다.

또한, 훈련 영상 처리부(110)는 훈련 영상에서 홍채 영역 뿐만 아니라 눈 주변 영역을 포함하는 영역을 포함하도록 지정된 크기로 홍채 영역의 중심으로부터 반경을 확장시킨 영역을 포함하는 눈 영상을 생성하는 정규화를 수행한다. 이 때, 훈련 영상 처리부(110)는 반경을 확장하는 정도를 달리하여 2개의 눈 영상을 생성할 수 있다. 훈련 영상 처리부(110)는 훈련 영상 및 홍채 영상을 영상 확장부(120)로 전송한다. 이 때, 훈련 영상 처리부(110)는 눈 주변 영역을 극좌표계 변환하여 비정방형의 미리 설정된 크기의 눈영상으로 생성할 수 있다.

영상 확장부(120)는 훈련 영상을 조건부 적대적 생성 신경망(conditional generative neural networks, cGAN)에 입력하여 추가적인 훈련 영상을 포함하는 확장 영상을 생성한다.

이 때, 조건부 적대적 생성 신경망은 이미지 생성부와 이미지 판별부를 포함한다.

도 5및 도 6과 같이 이미지 생성부는 256 x 256 x 3 (height x width x channel) 크기의 영상을 입력 받고, 인코더(encoder)의 제1 내지 제8 컨볼루션 레이어(1st~8th convolutional layers)에서 5 x 5 크기의 필터로 특징맵(feature map)을 계산한다. 이미지 생성부는 별도의 최대 풀링 레이어 (max pooling)와 같은 풀링 레이어(pooling layer)를 사용하지 않고, 각 컨볼루션 레이어의 패딩(padding)과 스트라이드(stride)를 2 x 2 로 계산하도록 설정되어 특징맵의 크기가 줄도록 한다. 제8 컨볼루션 레이어를 통해 1 x 1 x 512로 줄어든 특징맵은 디코더의 제1 내지 제8 전치 컨볼루션 레이어(1st~8th transposed convolutional layers)를 통해 업샘플링(up-sampling)될 수 있다. 이미지 생성부는 상술한 과정에서 제너레이터 모델(generator model)의 총 레이어의 수가 지정된 수일 때 레이어 간에 스킵 커넥션(skip-connection)을 포함하여 로우 레벨 정보(low-level information)을 잃지 않을 수 있다.

이미지 판별부는 이미지 생성부에서 생성된 이미지와 추가 정보로 사용된 이미지를 쌍(fake images)으로 입력 받거나, 지오메트릭 센터 이미지(geometric center image)와 추가 정보로 사용된 이미지를 쌍(real images)으로 입력 받는다. 이 때, 추가 정보로 사용된 이미지는 지오메트릭 센터 이미지를 가로 및 세로 방향으로 미리 지정된 범위(예를 들어,-4 내지 +4)만큼 이동시켜 생성된 복수의 이미지일 수 있다. 이 때, 도 7과 같이 입력된 이미지는 5x5의 필터 사이즈를 가지는 4개의 컨볼루션 레이어를 통해 32 x 32 x 512 크기까지 줄어든 특징맵으로 변환된다. 이미지 판별부는 생성된 특징맵을 완전 연결 레이어(fully connected layer)의 선형 회기(linear regression), 시그모이드 함수(sigmoid function)로 입력하여 진짜 또는 가짜를 나타내는 최종값으로 출력한다.

영상 확장부(120)는 이미지 판별부를 통해 진짜로 판단된 추가로 생성된 영상과 기존 훈련 영상을 포함하는 영상(이하, 확장 영상이라 지칭) 및 홍채 영상을 훈련부(130)로 전송한다.

훈련부(130)는 3개의 컨볼루션 신경망을 확장 영상에 대한 홍채 영상 및 눈 영상으로 훈련시킨다. 이 때, 훈련부(130)가 훈련시키는 3개의 컨볼루션 신경망은 도 8과 같은 구조를 포함한다. 즉, 컨볼루션 신경망은 8개의 컨볼루션 레이어(1st convolutional layer ~ 8th convolutional layer), 10개의 배치 정규화 레이어(Batch normalization), 10개의 정류 선형 유닛 레이어(ReLU layer), 3개의 완전 연결 레이어(1st fully connected layer ~ 3rd fully connected layer), 4개의 최대 풀링 레이어(max pooling layer)를 포함한다. 컨볼루션 신경망은 8x256x3의 정규화된 눈 영상 또는 홍채 영상을 입력 받아 4096개의 특징 벡터를 생성하고, 생성한 특징 벡터와 기 등록된 영상의 특징 벡터와의 유클리디안 거리를 산출하도록 설계된다. 이 때, 제1 컨볼루션 신경망은 홍채 영상에 따라 유클리디안 거리를 산출하도록 훈련 받고, 제2 컨볼루션 신경망 및 제3 컨볼루션 신경망은 정규화된 확장 영상에 따라 유클리디안 거리를 산출하도록 훈련 받는 신경망이다.

도 8을 참조하면, 구체적으로 제1 컨볼루션 레이어, 제1 배치 정규화 레이어 및 제1 정류 선형 유닛 레이어는 8×244×64의 특징맵을 입력 받는다. 제1 컨볼루션 레이어에서 이용된 커널 사이즈는 1×13이고, 스트라이드 수는 1x1이고, 패딩 수는 0x0일 수 있다.

제2 컨볼루션 레이어, 제2 배치 정규화 레이어 및 제2 정류 선형 유닛 레이어는 8×232×64의 특징맵을 입력 받는다. 제2 컨볼루션 레이어에서 이용된 커널 사이즈는 1×13이고, 스트라이드 수는 1x1이고, 패딩 수는 0x0일 수 있다.

제3 컨볼루션 레이어, 제3 배치 정규화 레이어 및 제3 정류 선형 유닛 레이어는 8×104×128의 특징맵을 입력 받는다. 제3 컨볼루션 레이어에서 이용된 커널 사이즈는 1×13이고, 스트라이드 수는 1x1이고, 패딩 수는 0x0일 수 있다.

제4 컨볼루션 레이어, 제4 배치 정규화 레이어 및 제4 정류 선형 유닛 레이어는 8×92×128의 특징맵을 입력 받는다. 제4 컨볼루션 레이어에서 이용된 커널 사이즈는 1×13이고, 스트라이드 수는 1x1이고, 패딩 수는 0x0일 수 있다.

제5 컨볼루션 레이어, 제5 배치 정규화 레이어 및 제5 정류 선형 유닛 레이어는 8×36×256의 특징맵을 입력 받는다. 제5 컨볼루션 레이어에서 이용된 커널 사이즈는 1×11이고, 스트라이드 수는 1x1이고, 패딩 수는 0x0일 수 있다.

제6 컨볼루션 레이어, 제6 배치 정규화 레이어 및 제6 정류 선형 유닛 레이어는 8×26×256의 특징맵을 입력 받는다. 제6 컨볼루션 레이어에서 이용된 커널 사이즈는 1×11이고, 스트라이드 수는 1x1이고, 패딩 수는 0x0일 수 있다.

제7 컨볼루션 레이어, 제7 배치 정규화 레이어 및 제7 정류 선형 유닛 레이어는 6×11×512의 특징맵을 입력 받는다. 제7 컨볼루션 레이어에서 이용된 커널 사이즈는 3×3이고, 스트라이드 수는 1x1이고, 패딩 수는 0x0일 수 있다.

제8 컨볼루션 레이어, 제8 배치 정규화 레이어 및 제8 정류 선형 유닛 레이어는 4×9×512의 특징맵을 입력 받는다. 제8 컨볼루션 레이어에서 이용된 커널 사이즈는 3×3이고, 스트라이드 수는 1x1이고, 패딩 수는 0x0일 수 있다.

다시 도 1을 참조하면, 테스트 영상 처리부(140)는 테스트 영상을 입력 받아 정규화 과정을 수행한다. 이 때, 테스트 영상 처리부(140)는 테스트 영상 중 홍채 영역을 정규화한 홍채 영상 및 눈 주위 영역을 포함하는 크기로 정규화한 두 개의 눈 영상을 생성한다.

거리 측정부(150)는 제1 컨볼루션 신경망 내지 제3 컨볼루션 신경망을 통해 특징 벡터를 생성하고, 생성한 특징 벡터와 기 등록된 영상의 특징 벡터와의 유클리디안 거리를 산출한다. 이 때, 거리 측정부(150)는 도 9와 같이 홍채 영상을 제1 컨볼루션 신경망으로 입력하고, 상이하게 정규화된 각 눈 영상을 제2 컨볼루션 신경망 및 제3 컨볼루션 신경망 각각에 입력한다. 거리 측정부(150)는 각 컨볼루션 신경망으로부터 산출된 3쌍의 유클리디안 거리를 홍채 인식부(160)로 전송한다.

홍채 인식부(160)는 서포트 벡터 머신(support vector machine, SVM)을 이용하여 3쌍의 유클리디안 거리에 대한 스코어 레벨 퓨전(score level fusion)을 수행하여 최종값을 산출하고, 최종값에 따라 테스트 영상의 사용자가 등록된 사용자로 인식하는 여부를 판단하고, 판단 결과를 나타내는 홍채 인식 정보를 생성한다.

도 10은 본 발명의 일 실시 예에 따른 홍채 인식 장치가 홍채 인식을 수행하는 방법을 예시한 순서도이다. 이하에서 설명하는 각 단계는 도 1을 참조하여 상술한 홍채 인식 장치의 각 기능부가 수행하는 과정이나, 발명의 간결하고 명확한 설명을 위해 각 단계의 주체를 홍채 인식 장치로 통칭하도록 한다.

도 10을 참조하면, 단계 1010에서 홍채 인식 장치는 훈련 영상을 정규화하는 처리 과정을 수행한다. 예를 들어, 홍채 인식 장치는 신경망의 훈련에 사용될 영상인 훈련 영상을 입력 받고, 훈련 영상에서 홍채와 동공의 위치 정보를 검출하고, 홍채와 동공의 위치 정보에 따른 홍채 영역을 정규화하여 홍채 영상을 생성할 수 있다. 또한, 홍채 인식 장치는 훈련 영상에서 홍채 영역 뿐만 아니라 눈 주변 영역을 포함하는 영역을 포함하도록 지정된 크기로 눈 영상을 생성할 수 있다.

단계 1020에서 홍채 인식 장치는 홍채 영상을 통해 조건부 적대적 생성 신경망(conditional generative neural networks, cGAN)을 학습시키고, 조건부 대적 생성 신경망에 훈련 영상을 입력하여 추가적인 훈련 영상을 포함하는 확장 영상을 생성한다.

단계 1030에서 홍채 인식 장치는 확장 영상에 대해 정규화를 수행하여 홍채 영상 및 눈 영상을 생성하고, 홍채 영상 및 눈 영상을 통해 3개의 컨볼루션 신경망을 학습시킨다. 이 때, 홍채 인식 장치는 제1 컨볼루션 신경망을 홍채 영상을 통해 학습시키고, 제2 컨볼루션 신경망 및 제3 컨볼루션 신경망은 눈 영상을 통해 학습시킨다.

단계 1040에서 홍채 인식 장치는 테스트 영상을 정규화하는 처리 과정을 수행한다. 예를 들어, 홍채 인식 장치는 테스트 영상을 입력 받고, 테스트 영상에서 홍채와 동공의 위치 정보를 검출하고, 홍채와 동공의 위치 정보에 따른 홍채 영역을 정규화하여 홍채 영상을 생성할 수 있다. 또한, 홍채 인식 장치는 테스트 영상에서 홍채 영역 뿐만 아니라 눈 주변 영역을 포함하는 영역을 포함하도록 지정된 크기로 테스트 영상을 정규화할 수 있다.

단계 1050에서 홍채 인식 장치는 단계 1030에서 훈련된 3개의 컨볼루션 신경망에 홍채 영상 및 눈 영상을 입력하여 특징 벡터를 생성하고, 기 등록된 사용자의 영상에 대응하는 특징 벡터와 생성된 특징 벡터 간의 유클리디안 거리를 산출한다.

단계 1060에서 홍채 인식 장치는 서포트 벡터 머신(support vector machine, SVM)을 이용하여 3개의 컨볼루션 신경망에 따라 산출된 유클리디안 거리에 대한 스코어 레벨 퓨전(score level fusion)을 수행하여 최종값을 산출하고, 최종값에 따라 테스트 영상의 사용자가 등록된 사용자로 인식하는 여부를 판단하고, 판단 결과를 나타내는 홍채 인식 정보를 생성한다.

도 11은 본 발명의 일 실시 예에 따른 홍채 인식 장치를 NICE.II training dataset로 실험한 결과를 예시한 도면이고, 도 12는 일반적은 홍채 인식 장치를 NICE.II training dataset로 실험한 결과를 예시한 도면이다.

도 11에서는 총 171개의 클래스로 구성된 NICE.II training dataset을 86개의 클래스와 85개의 클래스로 나누어 교차 검증에 따른 결과를 예시하고 있다. 이 때, EER 평균은 8.58 %이며, d-prime 값 평균은 3.31으로 도 12의 다른 일반적인 방법에 따른 실험 결과에 비해 본 발명의 일 실시 예에 따른 홍채 인식 장치의 성능이 앞서는 것을 볼 수 있다.

상술한 홍채 인식 방법은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.

이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.

도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시 예 들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims

훈련 영상을 입력 받아 정규화를 수행하는 훈련 영상 처리부;
상기 훈련 영상에 따라 확장 영상을 생성하는 영상 확장부;
상기 확장 영상을 통해 컨볼루션 신경망을 학습시키는 훈련부;
테스트 영상을 입력 받아 정규화를 수행하는 테스트 영상 처리부;
상기 테스트 영상을 상기 컨볼루션 신경망에 입력하여 특징벡터를 산출하고, 상기 특징벡터와 기 등록된 영상의 특징벡터 간의 유클리디안 거리를 산출하는 거리 측정부; 및
상기 유클리디안 거리에 따라 홍채 인식 정보를 생성하는 홍채 인식부를 포함하고,
상기 영상 확장부는 조건부 적대적 생성 신경망(conditional generative neural networks, cGAN)에 입력하여 상기 확장 영상을 생성하고,
상기 조건부 적대적 생성 신경망은
복수의 컨볼루션 레이어를 통해 특징맵을 다운샘플링하는 인코더와 전치 컨볼루션 레이어를 통해 특징맵을 업샘플링하는 디코더를 포함하여 추가 영상을 생성하는 이미지 생성부; 및
상기 추가 영상과 추가 정보로 사용된 이미지의 쌍(fake images) 및 지오메트릭 센터 이미지(geometric center image)와 추가 정보로 사용된 이미지의 쌍(real images)을 입력 받아 상기 추가 영상의 진짜 또는 가짜를 나타내는 최종값으로 출력하는 이미지 판단부를 포함하는 홍채 인식 장치.
삭제
삭제
제1항에 있어서,
상기 컨볼루션 신경망은 홍채 영역을 포함하는 홍채 영상을 입력 받는 제1 컨볼루션 신경망, 상기 홍채 영역과 눈 주변 영역을 포함하는 제1 눈 영상을 입력받는 제2 컨볼루션 신경망 및 상기 제1 눈 영상에 비해 더 큰 눈 주변 영역을 포함하는 제2 눈 영상을 입력받는 제3 컨볼루션 신경망을 포함하는 것을 특징으로 하는 홍채 인식 장치.
제4 항에 있어서,
상기 홍채 인식부는 서포트 벡터 머신(support vector machine, SVM)을 이용하여 상기 유클리디안 거리에 대한 스코어 레벨 퓨전(score level fusion)을 수행하여 최종값을 산출하고, 상기 최종값에 따라 테스트 영상의 사용자가 등록된 사용자로 인식하는 여부를 나타내는 홍채 인식 정보를 생성하는 것을 특징으로 하는 홍채 인식 장치.
홍채 인식 장치가 홍채를 인식하는 방법에 있어서,
훈련 영상을 입력 받아 정규화를 수행하는 단계;
상기 훈련 영상에 따라 확장 영상을 생성하는 단계;
상기 확장 영상을 통해 컨볼루션 신경망을 학습시키는 단계;
테스트 영상을 입력 받아 정규화를 수행하는 단계;
상기 테스트 영상을 상기 컨볼루션 신경망에 입력하여 특징벡터를 산출하고, 상기 특징벡터와 기 등록된 영상의 특징벡터 간의 유클리디안 거리를 산출하는 단계; 및
상기 유클리디안 거리에 따라 홍채 인식 정보를 생성하는 단계를 포함하고,
상기 훈련 영상에 따라 확장 영상을 생성하는 단계는 조건부 적대적 생성 신경망(conditional generative neural networks, cGAN)에 입력하여 상기 확장 영상을 생성하고,
상기 조건부 적대적 생성 신경망은
복수의 컨볼루션 레이어를 통해 특징맵을 다운샘플링하는 인코더와 전치 컨볼루션 레이어를 통해 특징맵을 업샘플링하는 디코더를 포함하여 추가 영상을 생성하는 이미지 생성부; 및
상기 추가 영상과 추가 정보로 사용된 이미지의 쌍(fake images) 및 지오메트릭 센터 이미지(geometric center image)와 추가 정보로 사용된 이미지의 쌍(real images)을 입력 받아 상기 추가 영상의 진짜 또는 가짜를 나타내는 최종값으로 출력하는 이미지 판단부를 포함하는 홍채 인식 방법.
삭제
삭제
제6 항에 있어서,
상기 컨볼루션 신경망은 홍채 영역을 포함하는 홍채 영상을 입력 받는 제1 컨볼루션 신경망, 상기 홍채 영역과 눈 주변 영역을 포함하는 제1 눈 영상을 입력받는 제2 컨볼루션 신경망 및 상기 제1 눈 영상에 비해 더 큰 눈 주변 영역을 포함하는 제2 눈 영상을 입력받는 제3 컨볼루션 신경망을 포함하는 것을 특징으로 하는 홍채 인식 방법.
제9 항에 있어서,
상기 유클리디안 거리에 따라 홍채 인식 정보를 생성하는 단계는
서포트 벡터 머신(support vector machine, SVM)을 이용하여 상기 유클리디안 거리에 대한 스코어 레벨 퓨전(score level fusion)을 수행하여 최종값을 산출하는 단계; 및
상기 최종값에 따라 테스트 영상의 사용자가 등록된 사용자로 인식하는 여부를 나타내는 홍채 인식 정보를 생성하는 단계
를 포함하는 것을 특징으로 하는 홍채 인식 방법.
제6항, 제 9항 내지 제10항 중 어느 하나의 홍채 인식 방법을 실행하고 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램.