KR20200014461A

KR20200014461A - 콘볼루션 신경망을 이용한 걸음걸이 기반 신원 인식 장치 및 방법

Info

Publication number: KR20200014461A
Application number: KR1020180089117A
Authority: KR
Inventors: 박강령; 간바야르
Original assignee: 동국대학교 산학협력단
Priority date: 2018-07-31
Filing date: 2018-07-31
Publication date: 2020-02-11
Also published as: KR102101221B1

Abstract

본 발명은 신원 인식 기술에 관한 것으로, 보다 상세하게는 콘볼루션 신경망을 이용한 걸음걸이 기반 신원 인식 기술에 관한 것이다. 본 발명의 일 실시 예에 따르면, 감시 카메라의 영상의 공간 및 시간적 특징을 분석하여 조명 변화, 자세 변화, 배경과 신체의 차이가 적은 경우에도 좋은 인식 성능을 제공할 수 있다.

Description

콘볼루션 신경망을 이용한 걸음걸이 기반 신원 인식 장치 및 방법{APPARATUS AND METHOD FOR IDENTIFYING BASED ON GAIT USING CONVOLUTION NEURAL NETWORK}

본 발명은 신원 인식 기술에 관한 것으로, 보다 상세하게는 콘볼루션 신경망을 이용한 걸음걸이 기반 신원 인식 기술에 관한 것이다.

가시광선 감시 카메라는 최근 공공 도시 환경에 범죄 예방 및 사고 예방을 위해 대규모로 설치되어 있다. 이로 인해 감시 카메라가 생성한 영상의 생체 인식 정보를 이용한 식별(human identification) 연구가 활발히 진행 중이다.

하지만, 감시 카메라가 생성한 영상은 저조도에서 촬영한 경우가 많아 신원 인식이 어려운 경우가 많다.

특히, 감시 카메라 등의 신원 인식을 위해 얼굴 등의 정보를 이용하기 어려운 경우, 걸음걸이를 통해 신원을 인식하는 기술이 존재하고, 해당 기술은 걸음 도중의 스켈레톤 관절 움직임, 사이클, 케이던스, 보폭 등을 이용한다. 하지만, 저조도의 환경에서 촬영된 영상은 스켈레톤 관절 움직임, 사이클, 케이던스, 보폭 등의 정보를 검출하기 어려워서, 감시 카메라가 생성한 영상에 대해 걸음걸이 기반 신원 인식을 적용하기는 어려운 점이 있다.

본 발명의 배경기술은 대한민국 공개특허 제2017-0017588호에 개시되어 있다.

본 발명의 해결하고자 하는 과제는 콘볼루션 신경망을 이용한 걸음걸이 기반 신원 인식 장치 및 방법을 제공하는 것이다.

본 발명의 일 측면에 따르면, 콘볼루션 신경망을 이용한 걸음걸이 기반 신원 인식 장치를 제공한다.

본 발명의 일 실시 예에 따른 콘볼루션 신경망을 이용한 걸음걸이 기반 신원 인식 장치는 입력 영상으로부터 특징 이미지를 추출하는 특징 이미지 생성부, 상기 특징 이미지를 콘볼루션 신경망인 제1 신경망에 입력하여 딥 점수를 산출하는 딥 처리부, 상기 특징 이미지를 콘볼루션 신경망과 롱 숏 텀 메모리가 결합된 신경망인 제2 신경망에 입력하여 롱 숏 텀 점수를 산출하는 롱 숏 텀 처리부 및 상기 딥 점수 및 상기 롱 숏 텀 점수를 결합하여 최종 점수를 산출하고, 상기 최종 점수에 따라 신원 인식 정보를 생성하는 인식부를 포함할 수 있다.

상기 인식부는 상기 딥 점수 및 상기 롱 숏 텀 점수에 가중치를 적용하여 상기 최종 점수를 산출할 수 있다.

상기 제1 신경망은 16개의 콘볼루션 레이어, 5개의 최대 풀링 레이어 및 2개의 완전 연결 레이어를 포함하고, 상기 콘볼루션 레이어 중 제1 콘볼루션 레이어 및 제2 콘볼루션 레이어는 224×224×64의 특징 맵을 생성하고, 제3 콘볼루션 레이어 및 제4 콘볼루션 레이어는 112×112×128의 특징 맵을 생성하고, 제5 콘볼루션 레이어 내지 제8 콘볼루션 레이어는 56×56×256의 특징 맵을 생성하고, 제9 콘볼루션 레이어 내지 제12 콘볼루션 레이어는 28×28×256의 특징 맵을 생성하고, 제13 콘볼루션 레이어 내지 제16 콘볼루션 레이어는 14×14×512의 특징 맵을 생성할 수 있다.

상기 제1 콘볼루션 레이어 내지 상기 제16 콘볼루션 레이어의 커널 사이즈는 3×3이고, 스트라이드 수는 1×1이고, 패딩 수는 1×1일 수 있다.

상기 제2 신경망은 6개의 콘볼루션 레이어, 3개의 최대 풀링 레이어, 2개의 완전 연결 레이어 및 롱 숏 텀 메모리 레이어를 포함하되, 상기 콘볼루션 레이어 중 제1 콘볼루션 레이어는 5×222×222×64의 특징 맵을 생성하고, 제2 콘볼루션 레이어는 5×220×220×64의 특징 맵을 생성하고, 제3 콘볼루션 레이어는 5×108×108×128의 특징 맵을 생성하고, 제4 콘볼루션 레이어는 5×106×106×128의 특징 맵을 생성하고, 제5 콘볼루션 레이어는 5×51×51×256의 특징 맵을 생성하고, 제6 콘볼루션 레이어는 5×49×49×256의 특징 맵을 생성하는 것을 특징으로 할 수 있다.

상기 제2 신경망의 상기 제1 콘볼루션 레이어 내지 상기 제6 콘볼루션 레이어의 커널 사이즈는 3×3이고, 스트라이드 수는 1×1이고, 패딩 수는 0×0일 수 있다.

본 발명의 다른 일 측면에 따르면, 콘볼루션 신경망을 이용한 걸음걸이 기반 신원 인식 방법을 제공한다.

본 발명의 일 실시 예에 따른 콘볼루션 신경망을 이용한 걸음걸이 기반 신원 인식 방법은 입력 영상으로부터 특징 이미지를 추출하는 단계, 상기 특징 이미지를 콘볼루션 신경망인 제1 신경망에 입력하여 딥 점수를 산출하는 단계, 상기 특징 이미지를 콘볼루션 신경망과 롱 숏 텀 메모리가 결합된 신경망인 제2 신경망에 입력하여 롱 숏 텀 점수를 산출하는 단계, 및 상기 딥 점수 및 상기 롱 숏 텀 점수를 결합하여 최종 점수를 산출하고, 상기 최종 점수에 따라 신원 인식 정보를 생성하는 단계를 포함할 수 있다.

상기 딥 점수 및 상기 롱 숏 텀 점수를 결합하여 최종 점수를 산출하고, 상기 최종 점수에 따라 신원 인식 정보를 생성하는 단계는, 상기 딥 점수 및 상기 롱 숏 텀 점수에 가중치를 적용하여 상기 최종 점수를 산출하는 단계를 포함할 수 있다.

본 발명의 일 실시 예에 따르면, 감시 카메라의 영상의 공간 및 시간적 특징을 분석하여 조명 변화, 자세 변화, 배경과 신체의 차이가 적은 경우에도 좋은 인식 성능을 제공할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 신원 인식 장치를 예시한 블록도.
도 2는 본 발명의 일 실시 예에 따른 신원 인식 장치가 입력 받은 입력 영상을 예시한 도면.
도 3은 본 발명의 일 실시 예에 따른 신원 인식 장치가 이용하는 제1 신경망의 간략한 구조를 예시한 도면.
도 4는 본 발명의 일 실시 예에 따른 신원 인식 장치가 이용하는 제1 신경망의 구체적인 전반부 구조를 예시한 도면.
도 5는 본 발명의 일 실시 예에 따른 신원 인식 장치가 이용하는 제2 신경망의 구체적인 후반부 구조를 예시한 도면.
도 6은 본 발명의 일 실시 예에 따른 신원 인식 장치가 이용하는 제2 신경망의 간략한 구조를 예시한 도면.
도 7은 본 발명의 일 실시 예에 따른 신원 인식 장치가 이용하는 제2 신경망의 구체적인 구조를 예시한 도면.
도 8은 본 발명의 일 실시 예에 따른 신원 인식 장치가 신원을 인식하는 과정을 예시한 순서도.
도 9는 본 발명의 일 실시 예에 따른 신원 인식 장치의 테스트 영상에 대한 테스트 결과를 예시한 도면.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.

이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 일 실시 예에 따른 신원 인식 장치를 예시한 블록도이고, 도 2는 본 발명의 일 실시 예에 따른 신원 인식 장치가 입력 받은 입력 영상을 예시한 도면이다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 신원 인식 장치는 입력부(110), 특징 이미지 생성부(120), 딥 처리부(130), 롱 숏 텀 처리부(140) 및 인식부(150)를 포함한다.

입력부(110)는 네트워크 또는 미리 지정된 입력 단자를 통해 영상을 입력 받는다. 이하, 입력부(110)가 입력 받은 영상을 입력 영상이라 지칭하도록 한다. 이 때, 입력 영상은 감시 카메라에 의해 생성된 영상일 수 있다. 예를 들어, 감시 카메라는 도 2의 210과 같이 저조도에서 촬영된 입력 영상을 수신하거나, 220과 같이 사용자의 신체와 배경의 차이가 크기 않은 영상일 수 있다. 입력부(110)는 입력 영상을 특징 이미지 생성부(120)로 전송한다.

특징 이미지 생성부(120)는 입력 영상으로부터 특징 이미지를 추출한다. 예를 들어, 특징 이미지 생성부(120)는 입력 영상의 연속된 프레임 간의 차이를 나타내는 차 영상을 생성하고, 차 영상에 대해 이미지 평균(image averaging)을 적용하고, 차 영상 중 사용자의 신체에 해당하는 영역(이하, 신체 영역이라 지칭)을 상부 영역, 중부 영역 및 하부 영역으로 분할할 수 있다. 특징 이미지 생성부(120)는 신체 영역 중 상부 영역, 하부 영역, 상부 영역과 하부 영역을 결합한 영역의 값을 각 채널의 값으로 포함하는 3 채널 이미지를 특징 이미지로 생성할 수 있다. 따라서, 특징 이미지는 걷고 있는 사람의 신체 상부와 하부가 주로 변화하는 입력 영상에서 사람의 걸음걸이를 주요하게 나타내는 이미지이다. 특징 이미지 생성부(120)는 특징 이미지를 딥 처리부(130) 및 롱 숏 텀 처리부(140)로 전송한다. 이 때, 특징 이미지 생성부(120)는 일 시점의 프레임과 지정된 수의 일 시점 이전 프레임에 따라 일 시점에 대한 특징 이미지를 생성하여 딥 처리부(130)로 전송할 수 있다. 또한, 특징 이미지 생성부(120)는 일 시점보다 이전의 타 시점의 프레임과 지정된 수의 타 시점 이전 프레임에 따라 타 시점에 대한 특징 이미지를 생성하고, 일 시점 및 타 시점에 대한 특징 이미지를 생성하여 롱 숏 텀 처리부(140)로 전송할 수 있다. 즉, 특징 이미지 생성부(120)는 시점 t에 대한 특징 이미지를 생성하여 딥 처리부(130)로 전송하고, 시점 t, t-1, t-2, t-3, t-4에 대한 특징 이미지를 롱 숏 텀 처리부(140)로 전송할 수 있다.

딥 처리부(130)는 제1 신경망을 통해 특징 이미지에 대한 특징 벡터를 산출하고, 산출된 특징 벡터와 사용자의 신원 인식을 위해 미리 등록된 특징 벡터와의 유클리디안 거리(Euclidean distance)를 산출하여 인식부(150)로 전송한다. 이 때, 제1 신경망은 콘볼루션 신경망(Convolutional Neural Network)으로 하나의 특징 이미지에 따라 유클리디안 거리를 산출한다. 제1 신경망에 대해서는 추후 도 3 및 도 4를 참조하여 상세히 설명하도록 한다. 딥 처리부(130)는 유클리디안 거리를 포함하는 딥 점수를 생성하여 인식부(150)로 전송한다.

롱 숏 텀 처리부(140)는 제2 신경망을 통해 특징 이미지들에 대한 특징 벡터를 산출하고, 산출된 특징 벡터와 미리 등록된 특징 간의 유클리디안 거리를 산출하여 인식부(150)로 전송한다. 이 때, 제2 신경망은 제1 신경망에 비해 적은 레이어를 포함하는 콘볼루션 신경망과 롱 숏 텀 메모리(Long Short-Term Memory: LSTM)이 결합된 신경망일 수 있다. 제2 신경망에 대해서는 추후 도 5 및 도 6을 참조하여 상세히 설명하도록 한다. 롱 숏 텀 처리부(140)는 유클리디안 거리를 포함하는 롱 숏 텀 점수를 생성하여 인식부(150)로 전송한다.

인식부(150)는 딥 점수 및 롱 숏 텀 점수를 결합(fusion)하여 최종 점수를 산출한다. 예를 들어, 인식부(150)는 딥 점수 및 롱 숏 텀 점수 각각에 미리 지정된 가중치를 곱하고, 가중치가 곱해진 딥 점수 및 롱 숏 텀 점수를 합하거나 곱하여 최종 점수를 산출할 수 있다. 즉, 인식부(170)는 딥 점수 및 롱 숏 텀 점수에 대해 weight sum 또는 weight product를 최종 점수로 산출할 수 있다. 인식부(170)는 최종 점수가 미리 지정된 임계 값 이하인 경우, 사용자의 신원을 나타내는 신원 인식 정보를 생성하고, 최종 점수가 미리 지정된 임계 값 초과인 경우, 사용자가 지정된 인원이 아님을 나타내는 신원 인식 정보를 생성할 수 있다.

도 3은 본 발명의 일 실시 예에 따른 신원 인식 장치가 이용하는 제1 신경망의 간략한 구조를 예시한 도면이고, 도 4는 본 발명의 일 실시 예에 따른 신원 인식 장치가 이용하는 제1 신경망의 구체적인 전반부 구조를 예시한 도면이고, 도 5는 본 발명의 일 실시 예에 따른 신원 인식 장치가 이용하는 제2 신경망의 구체적인 후반부 구조를 예시한 도면이다.

제1 신경망은 도 3과 같은 구조를 가지는 콘볼루션 신경망으로, 구체적으로 도 4 및 도 5와 같이 16개의 콘볼루션 레이어, 5개의 최대 풀링 레이어, 2개의 완전 연결 레이어를 포함할 수 있다.

16개의 콘볼루션 레이어 중 제1 콘볼루션 레이어(Conv1_1) 및 제2 콘볼루션 레이어(Conv1_2)는 224×224×64의 특징 맵을 생성한다. 제1 콘볼루션 레이어 및 제2 콘볼루션 레이어에서 이용된 커널 사이즈는 3×3이고, 스트라이드 수는 1×1이고, 패딩 수는 1×1일 수 있다.

제3 콘볼루션 레이어(Conv2_1) 및 제4 콘볼루션 레이어(Conv2_2)는 112×112×128의 특징 맵을 생성한다. 제3 콘볼루션 레이어 및 제4 콘볼루션 레이어에서 이용된 커널 사이즈는 3×3이고, 스트라이드 수는 1×1이고, 패딩 수는 1×1일 수 있다.

제5 콘볼루션 레이어(Conv3_1), 제6 콘볼루션 레이어(Conv3_2), 제7 콘볼루션 레이어(Conv3_3) 및 제8 콘볼루션 레이어(Conv3_4)는 56×56×256의 특징 맵을 생성한다. 제5 콘볼루션 레이어, 제6 콘볼루션 레이어, 제7 콘볼루션 레이어 및 제8 콘볼루션 레이어에서 이용된 커널 사이즈는 3×3이고, 스트라이드 수는 1×1이고, 패딩 수는 1×1일 수 있다.

제9 콘볼루션 레이어(Conv4_1), 제10 콘볼루션 레이어(Conv4_2), 제11 콘볼루션 레이어(Conv4_3) 및 제12 콘볼루션 레이어(Conv4_4)는 28×28×512의 특징 맵을 생성한다. 제9 콘볼루션 레이어, 제10 콘볼루션 레이어, 제11 콘볼루션 레이어 및 제12 콘볼루션 레이어에서 이용된 커널 사이즈는 3×3이고, 스트라이드 수는 1×1이고, 패딩 수는 1×1일 수 있다.

제13 콘볼루션 레이어(Conv5_1), 제14 콘볼루션 레이어(Conv5_2), 제15 콘볼루션 레이어(Conv5_3) 및 제16 콘볼루션 레이어(Conv5_4)는 14×14×512의 특징 맵을 생성한다. 제13 콘볼루션 레이어, 제14 콘볼루션 레이어, 제15 콘볼루션 레이어 및 제16 콘볼루션 레이어에서 이용된 커널 사이즈는 3×3이고, 스트라이드 수는 1×1이고, 패딩 수는 1×1일 수 있다.

도 6은 본 발명의 일 실시 예에 따른 신원 인식 장치가 이용하는 제2 신경망의 간략한 구조를 예시한 도면이고, 도 7은 본 발명의 일 실시 예에 따른 신원 인식 장치가 이용하는 제2 신경망의 구체적인 구조를 예시한 도면이다.

도 6과 같이, 제2 신경망은 제1 신경망을 축소한 형태인 콘볼루션 신경망에 롱 숏 텀 메모리(Long Short-Term Memory) 레이어가 이어진 형태의 신경망이다.

구체적으로 도 7과 같이 제2 신경망은 6개의 콘볼루션 레이어, 3개의 최대 풀링 레이어, 2개의 완전 연결 레이어 및 롱 숏 텀 메모리 레이어를 포함한다.

6개의 콘볼루션 레이어 중 제1 콘볼루션 레이어(Conv1_1)는 5×222×222×64의 특징 맵을 생성하고, 제2 콘볼루션 레이어(Conv1_2)는 5×220×220×64의 특징 맵을 생성한다. 제1 콘볼루션 레이어 및 제2 콘볼루션 레이어에서 이용된 커널 사이즈는 3×3이고, 스트라이드 수는 1×1이고, 패딩 수는 0×0일 수 있다.

제3 콘볼루션 레이어(Conv2_1)는 5×108×108×128의 특징 맵을 생성하고, 제4 콘볼루션 레이어(Conv2_2)는 5×106×106×128의 특징 맵을 생성한다. 제3 콘볼루션 레이어 및 제4 콘볼루션 레이어에서 이용된 커널 사이즈는 3×3이고, 스트라이드 수는 1×1이고, 패딩 수는 0×0일 수 있다.

제5 콘볼루션 레이어(Conv3_1)는 5×51×51×256의 특징 맵을 생성하고, 제6 콘볼루션 레이어(Conv3_2)는 5×49×49×256의 특징 맵을 생성한다. 제5 콘볼루션 레이어 및 제6 콘볼루션 레이어에서 이용된 커널 사이즈는 3×3이고, 스트라이드 수는 1×1이고, 패딩 수는 0×0일 수 있다.

롱 숏 텀 메모리 레이어는 제6 콘볼루션 레이어 이후에 위치하고 1000×1의 특징맵을 생성한다.

도 8은 본 발명의 일 실시 예에 따른 신원 인식 장치가 신원을 인식하는 과정을 예시한 순서도이다. 이하 설명하는 각 단계는 신원 인식 장치를 구성하는 각 기능부를 통해 수행되는 과정이나, 발명의 간결하고 명확한 설명을 위해 각 단계의 주체를 신원 인식 장치로 통칭하도록 한다.

도 8을 참조하면, 단계 S810에서 신원 인식 장치는 네트워크 또는 미리 지정된 입력 단자를 통해 입력 영상을 입력 받는다.

단계 S820에서 신원 인식 장치는 입력 영상으로부터 특징 이미지를 추출한다. 예를 들어, 신원 인식 장치는 입력 영상의 연속된 프레임 간의 차이를 나타내는 차 영상을 생성하고, 차 영상에 대해 이미지 평균(image averaging)을 적용하고, 차 영상 중 신체 영역을 상부 영역, 중부 영역 및 하부 영역으로 분할할 수 있다. 신원 인식 장치는 신체 영역 중 상부 영역, 하부 영역, 상부 영역과 하부 영역을 결합한 영역을 각각 채널로 하는 3 채널 이미지를 특징 이미지로 생성할 수 있다.

단계 S830에서 신원 인식 장치는 일 시점에 상응하는 특징 이미지를 제1 신경망에 입력하여 특징 벡터를 추출하고, 특징 벡터와 미리 등록된 특징 벡터와의 유클리드 거리에 따른 딥 정보를 생성한다.

단계 S840에서 신원 인식 장치는 일 시점 및 일 시점 이전의 타 시점에 상응하는 특징 이미지를 제2 신경망에 입력하여 특징 벡터를 추출하고, 특징 벡터와 미리 등록된 특징 벡터와의 유클리드 거리에 따른 롱 숏 텀 정보를 생성한다.

단계 S850에서 신원 인식 장치는 딥 정보와 롱 숏 텀 정보를 결합(fusion)하여 최종 점수를 산출한다. 예를 들어, 신원 인식 장치는 딥 점수 및 롱 숏 텀 점수 각각에 미리 지정된 가중치를 곱하고, 가중치가 곱해진 딥 점수 및 롱 숏 텀 점수를 합하거나 곱하여 최종 점수를 산출할 수 있다.

단계 S860에서 신원 인식 장치는 최종 점수에 따라 신원 인식 정보를 생성한다. 예를 들어, 신원 인식 장치는 최종 점수가 미리 지정된 임계 값 이하인 경우, 사용자의 신원을 나타내는 신원 인식 정보를 생성하고, 최종 점수가 미리 지정된 임계 값 초과인 경우, 사용자가 지정된 인원이 아님을 나타내는 신원 인식 정보를 생성할 수 있다.

도 9는 본 발명의 일 실시 예에 따른 신원 인식 장치의 테스트 영상에 대한 테스트 결과를 예시한 도면이다.

도 9를 참조하면, 인식 기술에서 오류율을 측정하기 위한 수단으로 False acceptance ratio(FAR) 와 false rejection rate(FRR)가 존재한다. FAR은 서로 다른 클래스를 인식됨(authentic)으로 판단할 경우 발생하며 FRR은 서로 같은 클래스를 인식 되지 않음(imposter)로 판단할 경우 발생하는 오류 수치이다. FAR 곡선과 FRR 곡선을 같이 나타낸 것을 ROC curve라고 하며 sensitivity에 따른 오류율을 보여주는 그래프이다. 일반적으로 sensitivity가 증가하면 FRR은 증가하고 FAR은 감소하며 반대로 sensitivity가 감소하면 FRR은 감소하고 FAR은 증가한다. 그래프 곡선에 따라 FAR과 FRR이 만나는 지점을 Equal Error Rate(EER)이라고 하며 성능의 지표가 된다.

도 2에서 예시한 바와 같이 테스트 영상은 낮은 조도에서 촬영되거나 사용자의 신체와 배경 간의 차이가 크기 않은 영상을 포함한다. 테스트 영상을 기존의 신원 인식 시스템과 본 발명의 일 실시 예에 따른 신원 인식 장치에 입력하여 EER을 산출한 결과, 신원 인식 장치의 EER이 가장 낮은 것을 확인할 수 있다.

따라서, 본 발명의 일 실시 예에 따른 신원 인식 장치는 조명 변화, 자세 변화, 배경과 신체의 차이가 적은 경우에도 좋은 인식 성능을 제공할 수 있다.

본 발명의 실시 예에 따른 신원 인식 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드 뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims

신원 인식 장치에 있어서,
입력 영상으로부터 특징 이미지를 추출하는 특징 이미지 생성부;
상기 특징 이미지를 콘볼루션 신경망인 제1 신경망에 입력하여 딥 점수를 산출하는 딥 처리부;
상기 특징 이미지를 콘볼루션 신경망과 롱 숏 텀 메모리가 결합된 신경망인 제2 신경망에 입력하여 롱 숏 텀 점수를 산출하는 롱 숏 텀 처리부; 및
상기 딥 점수 및 상기 롱 숏 텀 점수를 결합하여 최종 점수를 산출하고, 상기 최종 점수에 따라 신원 인식 정보를 생성하는 인식부를 포함하는 신원 인식 장치.
제1 항에 있어서,
상기 인식부는 상기 딥 점수 및 상기 롱 숏 텀 점수에 가중치를 적용하여 상기 최종 점수를 산출하는 것을 특징으로 하는 신원 인식 장치.
제1 항에 있어서,
상기 특징 이미지 생성부는,
상기 입력 영상의 연속된 프레임 간의 차이를 나타내는 차 영상을 생성하고, 상기 차 영상의 신체 영역 중 상부 영역과 하부 영역을 결합한 영역, 상기 상부 영역 및 상기 하부 영역의 값을 각 채널의 값으로 포함하는 3 채널 이미지를 상기 특징 이미지로 생성하는 것을 특징으로 하는 신원 인식 장치.
제1 항에 있어서,
상기 제1 신경망은
16개의 콘볼루션 레이어, 5개의 최대 풀링 레이어 및 2개의 완전 연결 레이어를 포함하고,
상기 콘볼루션 레이어 중 제1 콘볼루션 레이어 및 제2 콘볼루션 레이어는 224×224×64의 특징 맵을 생성하고, 제3 콘볼루션 레이어 및 제4 콘볼루션 레이어는 112×112×128의 특징 맵을 생성하고, 제5 콘볼루션 레이어 내지 제8 콘볼루션 레이어는 56×56×256의 특징 맵을 생성하고, 제9 콘볼루션 레이어 내지 제12 콘볼루션 레이어는 28×28×256의 특징 맵을 생성하고, 제13 콘볼루션 레이어 내지 제16 콘볼루션 레이어는 14×14×512의 특징 맵을 생성하는 것을 특징으로 하는 신원 인식 장치.
제4 항에 있어서,
상기 제1 콘볼루션 레이어 내지 상기 제16 콘볼루션 레이어의 커널 사이즈는 3×3이고, 스트라이드 수는 1×1이고, 패딩 수는 1×1인 것을 특징으로 하는 신원 인식 장치.
제1 항에 있어서,
상기 제2 신경망은 6개의 콘볼루션 레이어, 3개의 최대 풀링 레이어, 2개의 완전 연결 레이어 및 롱 숏 텀 메모리 레이어를 포함하되,
상기 콘볼루션 레이어 중 제1 콘볼루션 레이어는 5×222×222×64의 특징 맵을 생성하고, 제2 콘볼루션 레이어는 5×220×220×64의 특징 맵을 생성하고, 제3 콘볼루션 레이어는 5×108×108×128의 특징 맵을 생성하고, 제4 콘볼루션 레이어는 5×106×106×128의 특징 맵을 생성하고, 제5 콘볼루션 레이어는 5×51×51×256의 특징 맵을 생성하고, 제6 콘볼루션 레이어는 5×49×49×256의 특징 맵을 생성하는 것을 특징으로 하는 신원 인식 장치.
제4 항에 있어서,
상기 제1 콘볼루션 레이어 내지 상기 제6 콘볼루션 레이어의 커널 사이즈는 3×3이고, 스트라이드 수는 1×1이고, 패딩 수는 0×0인 것을 특징으로 하는 신원 인식 장치.
신원 인식 장치가 신원을 인식하는 방법에 있어서,
입력 영상으로부터 특징 이미지를 추출하는 단계;
상기 특징 이미지를 콘볼루션 신경망인 제1 신경망에 입력하여 딥 점수를 산출하는 단계;
상기 특징 이미지를 콘볼루션 신경망과 롱 숏 텀 메모리가 결합된 신경망인 제2 신경망에 입력하여 롱 숏 텀 점수를 산출하는 단계; 및
상기 딥 점수 및 상기 롱 숏 텀 점수를 결합하여 최종 점수를 산출하고, 상기 최종 점수에 따라 신원 인식 정보를 생성하는 단계를 포함하는 신원 인식 방법.
제8 항에 있어서,
상기 딥 점수 및 상기 롱 숏 텀 점수를 결합하여 최종 점수를 산출하고, 상기 최종 점수에 따라 신원 인식 정보를 생성하는 단계는,
상기 딥 점수 및 상기 롱 숏 텀 점수에 가중치를 적용하여 상기 최종 점수를 산출하는 단계를 포함하는 것을 특징으로 하는 신원 인식 방법.
제8 항에 있어서,
상기 입력 영상으로부터 특징 이미지를 추출하는 단계는,
상기 입력 영상의 연속된 프레임 간의 차이를 나타내는 차 영상을 생성하고, 상기 차 영상의 신체 영역 중 상부 영역과 하부 영역을 결합한 영역, 상기 상부 영역 및 상기 하부 영역의 값을 각 채널의 값으로 포함하는 3 채널 이미지를 상기 특징 이미지로 생성하는 단계인 것을 특징으로 하는 신원 인식 방법.
제8 항에 있어서,
상기 제1 신경망은
16개의 콘볼루션 레이어, 5개의 최대 풀링 레이어 및 2개의 완전 연결 레이어를 포함하고,
상기 콘볼루션 레이어 중 제1 콘볼루션 레이어 및 제2 콘볼루션 레이어는 224×224×64의 특징 맵을 생성하고, 제3 콘볼루션 레이어 및 제4 콘볼루션 레이어는 112×112×128의 특징 맵을 생성하고, 제5 콘볼루션 레이어 내지 제8 콘볼루션 레이어는 56×56×256의 특징 맵을 생성하고, 제9 콘볼루션 레이어 내지 제12 콘볼루션 레이어는 28×28×256의 특징 맵을 생성하고, 제13 콘볼루션 레이어 내지 제16 콘볼루션 레이어는 14×14×512의 특징 맵을 생성하는 것을 특징으로 하는 신원 인식 방법.
제10 항에 있어서,
상기 제1 콘볼루션 레이어 내지 상기 제16 콘볼루션 레이어의 커널 사이즈는 3×3이고, 스트라이드 수는 1×1이고, 패딩 수는 1×1인 것을 특징으로 하는 신원 인식 방법.
제8 항에 있어서,
상기 제2 신경망은 6개의 콘볼루션 레이어, 3개의 최대 풀링 레이어, 2개의 완전 연결 레이어 및 롱 숏 텀 메모리 레이어를 포함하되,
상기 콘볼루션 레이어 중 제1 콘볼루션 레이어는 5×222×222×64의 특징 맵을 생성하고, 제2 콘볼루션 레이어는 5×220×220×64의 특징 맵을 생성하고, 제3 콘볼루션 레이어는 5×108×108×128의 특징 맵을 생성하고, 제4 콘볼루션 레이어는 5×106×106×128의 특징 맵을 생성하고, 제5 콘볼루션 레이어는 5×51×51×256의 특징 맵을 생성하고, 제6 콘볼루션 레이어는 5×49×49×256의 특징 맵을 생성하는 것을 특징으로 하는 신원 인식 방법.
제13 항에 있어서,
상기 제1 콘볼루션 레이어 내지 상기 제6 콘볼루션 레이어의 커널 사이즈는 3×3이고, 스트라이드 수는 1×1이고, 패딩 수는 0×0인 것을 특징으로 하는 신원 인식 방법.
제8 항 내지 제14 항 중 어느 하나의 신원 인식 방법을 실행하고 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램.