KR20200013271A - 딥 러닝 기반의 사용자 몸을 이용한 신원 인식 장치 및 방법 - Google Patents

딥 러닝 기반의 사용자 몸을 이용한 신원 인식 장치 및 방법 Download PDF

Info

Publication number
KR20200013271A
KR20200013271A KR1020180081356A KR20180081356A KR20200013271A KR 20200013271 A KR20200013271 A KR 20200013271A KR 1020180081356 A KR1020180081356 A KR 1020180081356A KR 20180081356 A KR20180081356 A KR 20180081356A KR 20200013271 A KR20200013271 A KR 20200013271A
Authority
KR
South Korea
Prior art keywords
face
image
feature information
branch
neural network
Prior art date
Application number
KR1020180081356A
Other languages
English (en)
Other versions
KR102161476B1 (ko
Inventor
박강령
구자형
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020180081356A priority Critical patent/KR102161476B1/ko
Publication of KR20200013271A publication Critical patent/KR20200013271A/ko
Application granted granted Critical
Publication of KR102161476B1 publication Critical patent/KR102161476B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06K9/00268—
    • G06K9/00201—
    • G06K9/00362—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Abstract

본 발명은 신원 인식 기술에 관한 것으로, 보다 상세하게는 딥 러닝 기반의 사용자 몸을 이용한 신원 인식 기술에 관한 것이다. 본 발명의 일 실시 예에 따르면, 사용자를 촬영한 영상이 흐리거나 노이즈를 포함하는 경우에도 사용자에 대한 신원 인식을 정확하게 수행할 수 있다.

Description

딥 러닝 기반의 사용자 몸을 이용한 신원 인식 장치 및 방법{APPARATUS AND METHOD FOR IDENTIFYING USER USING USER BODY BASED ON DEEP LEARNING}
본 발명은 신원 인식 기술에 관한 것으로, 보다 상세하게는 딥 러닝 기반의 사용자 몸을 이용한 신원 인식 기술에 관한 것이다.
신원 인식 방법은 지문, 홍채, 정맥, 얼굴 등을 이용한 인식 방법 등의 사용자를 효과적으로 구별할 수 있는 고유한 행동학적 또는 생물학적 요소를 고려하여 정량적인 방식에 따라 데이터의 특징을 분석하여 사용자를 확인하는 방법이다. 신원 인식은 시스템 보안, 금융전자결제, 출입 통제 등을 포함한 많은 응용 분야에서 사용된다. 최근에는 스마트폰의 대중화에 따라 PC환경 이외의 분야에서도 신원 인증 기술이 대두되고 있다. 기존의 신원 인식 기술 중에서도 다양한 장점을 가진 얼굴 인식 기술이 존재한다. 얼굴 인식 기술은 사람을 정확하게 식별할 수 있는 점이 있으나, CCTV 카메라 등의 원거리에서 촬영한 영상을 이용하는 경우, 영상이 흐리거나 노이즈를 포함하는 경우가 많아 얼굴 인식 기술만으로는 신원 인식이 어려운 점이 있다.
본 발명의 배경기술은 대한민국 공개특허 제2017-0017588호에 개시되어 있다.
본 발명은 딥 러닝 기반의 사용자 몸을 이용한 신원 인식 장치 및 방법을 제공한다.
본 발명의 일 측면에 따르면, 딥 러닝 기반의 사용자 몸을 이용한 신원 인식 장치를 제공한다.
본 발명의 일 실시 예에 따른 딥 러닝 기반의 사용자 몸을 이용한 신원 인식 장치는 입력 영상에 대해 얼굴 영상 및 몸 영상을 생성하는 영상 생성부, 얼굴 신경망을 통해 상기 얼굴 영상으로부터 얼굴 특징 정보를 추출하는 얼굴 특징 추출부, 몸 신경망을 통해 상기 몸 영상으로부터 몸 특징 정보를 추출하는 몸 특징 추출부, 상기 얼굴 특징 정보 및 상기 몸 특징 정보에 따라 퓨전 점수를 산출하는 퓨전 점수 산출부 및 상기 퓨전 점수에 따라 신원 인식 정보를 생성하는 신원 인식부를 포함할 수 있다.
상기 퓨전 점수 산출부는 상기 얼굴 특징 정보에 따른 얼굴 매칭 거리 및 상기 몸 특징 정보에 따른 몸 매칭 거리를 산출하고, 상기 얼굴 매칭 거리 및 상기 몸 매칭 거리에 가중치를 적용하여 상기 퓨전 점수를 산출할 수 있다.
상기 얼굴 신경망은, 13개의 콘볼루션 레이어, 5개의 풀링 레이어 및 3개의 완전 연결 레이어를 포함하고, 각 상기 콘볼루션 레이어에서 이용된 커널 사이즈는 3×3이고, 패딩 수는 1이고, 스트라이드 수는 1일 수 있다.
상기 몸 신경망은 5개의 콘볼루션 레이어, 2개의 풀링 레이어 및 1개의 완전 연결 레이어를 포함하되, 상기 콘볼루션 레이어 중 4개의 콘볼루션 레이어는 3개의 브랜치(branch)를 포함하고, 상기 브랜치 중 제1 브랜치 및 제3 브랜치에서 이용된 커널 사이즈는 1×1이고, 스트라이드 수는 1×1이고, 패딩 수는 0×0이고, 제2 브랜치에서 이용된 커널 사이즈는 3×3이고, 스트라이드 수는 1×1이고, 패딩 수는 1×1일 수 있다.
상기 영상 생성부는, 상기 얼굴 영상에 대한 초점 점수를 산출하고, 상기 초점 점수가 미리 지정된 임계 값 미만인 경우, 새로운 입력 영상에 대한 얼굴 영상을 다시 생성할 수 있다.
본 발명의 다른 일 측면에 따르면, 딥 러닝 기반의 사용자 몸을 이용한 신원 인식 방법을 제공한다.
본 발명의 일 실시 예에 따른 딥 러닝 기반의 사용자 몸을 이용한 신원 인식 방법은 입력 영상에 대해 얼굴 영상 및 몸 영상을 생성하는 단계, 얼굴 신경망을 통해 상기 얼굴 영상으로부터 얼굴 특징 정보를 추출하는 단계, 몸 신경망을 통해 상기 몸 영상으로부터 몸 특징 정보를 추출하는 단계, 상기 얼굴 특징 정보 및 상기 몸 특징 정보에 따라 퓨전 점수를 산출하는 단계 및 상기 퓨전 점수에 따라 신원 인식 정보를 생성하는 단계를 포함할 수 있다.
상기 얼굴 특징 정보 및 상기 몸 특징 정보에 따라 퓨전 점수를 산출하는 단계는 상기 얼굴 특징 정보에 따른 얼굴 매칭 거리 및 상기 몸 특징 정보에 따른 몸 매칭 거리를 산출하고, 상기 얼굴 매칭 거리 및 상기 몸 매칭 거리에 가중치를 적용하여 상기 퓨전 점수를 산출하는 단계일 수 있다.
상기 얼굴 신경망은, 13개의 콘볼루션 레이어, 5개의 풀링 레이어 및 3개의 완전 연결 레이어를 포함하고, 각 상기 콘볼루션 레이어에서 이용된 커널 사이즈는 3×3이고, 패딩 수는 1이고, 스트라이드 수는 1일 수 있다.
상기 몸 신경망은, 5개의 콘볼루션 레이어, 2개의 풀링 레이어 및 1개의 완전 연결 레이어를 포함하되, 상기 콘볼루션 레이어 중 4개의 콘볼루션 레이어는 3개의 브랜치(branch)를 포함하고, 상기 브랜치 중 제1 브랜치 및 제3 브랜치에서 이용된 커널 사이즈는 1×1이고, 스트라이드 수는 1×1이고, 패딩 수는 0×0이고, 제2 브랜치에서 이용된 커널 사이즈는 3×3이고, 스트라이드 수는 1×1이고, 패딩 수는 1×1일 수 있다.
상기 입력 영상에 대해 얼굴 영상 및 몸 영상을 생성하는 단계는, 상기 얼굴 영상에 대한 초점 점수를 산출하는 단계; 상기 초점 점수가 미리 지정된 임계 값 미만인 경우, 새로운 입력 영상에 대한 얼굴 영상을 다시 생성하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 딥 러닝 기반의 가시광선 카메라를 이용하여 실내 환경의 사용자의 신원 인식을 정확하게 수행할 수 있다.
본 발명의 일 실시 예에 따르면, 사용자를 촬영한 영상이 흐리거나 노이즈를 포함하는 경우에도 사용자에 대한 신원 인식을 정확하게 수행할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 신원 인식 장치를 예시한 도면.
도 2는 본 발명의 일 실시 예에 따른 신원 인식 장치가 생성한 얼굴 영상을 예시한 도면.
도 3은 본 발명의 일 실시 예에 따른 신원 인식 장치가 사용하는 얼굴 신경망의 간략한 구조를 예시한 도면.
도 4는 본 발명의 일 실시 예에 따른 신원 인식 장치가 사용하는 얼굴 신경망의 구체적인 초반 구조를 예시한 도면.
도 5는 본 발명의 일 실시 예에 따른 신원 인식 장치가 사용하는 얼굴 신경망의 구체적인 후반 구조를 예시한 도면.
도 6은 본 발명의 일 실시 예에 따른 신원 인식 장치가 사용하는 몸 신경망의 간략한 구조를 예시한 도면.
도 7은 본 발명의 일 실시 예에 따른 신원 인식 장치가 사용하는 몸 신경망의 구체적인 구조를 예시한 도면.
도 8은 본 발명의 일 실시 예에 따른 신원 인식 장치가 신원을 인식하는 방법을 예시한 순서도.
도 9는 본 발명의 일 실시 예에 따른 신원 인식 장치의 제1 데이터베이스의 테스트 영상에 대한 테스트 결과를 예시한 도면.
도 10은 본 발명의 일 실시 예에 따른 신원 인식 장치의 제1 데이터베이스의 테스트 영상에 대한 테스트 결과를 예시한 도면.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.
이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 신원 인식 장치를 예시한 도면이고, 도 2는 본 발명의 일 실시 예에 따른 신원 인식 장치가 생성한 얼굴 영상을 예시한 도면이고, 도 3은 본 발명의 일 실시 예에 따른 신원 인식 장치가 사용하는 얼굴 신경망의 간략한 구조를 예시한 도면이고, 도 4는 본 발명의 일 실시 예에 따른 신원 인식 장치가 사용하는 얼굴 신경망의 구체적인 초반 구조를 예시한 도면이고, 도 5는 본 발명의 일 실시 예에 따른 신원 인식 장치가 사용하는 얼굴 신경망의 구체적인 후반 구조를 예시한 도면이고, 도 6은 본 발명의 일 실시 예에 따른 신원 인식 장치가 사용하는 몸 신경망의 간략한 구조를 예시한 도면이고, 도 7은 본 발명의 일 실시 예에 따른 신원 인식 장치가 사용하는 몸 신경망의 구체적인 구조를 예시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 신원 인식 장치는 입력부(110), 영상 생성부(120), 얼굴 초점 검출부(130), 얼굴 특징 추출부(140), 몸 특징 추출부(150), 퓨전 점수 산출부(160) 및 신원 인식부(170)를 포함한다.
입력부(110)는 네트워크 또는 미리 지정된 입력 단자를 통해 영상을 입력 받는다. 이하, 입력부(110)가 입력 받은 영상을 입력 영상이라 지칭하도록 한다. 입력부(110)는 입력 영상을 영상 생성부(120)로 전송한다.
영상 생성부(120)는 입력 영상 중 미리 지정된 알고리즘에 따라 얼굴 영역을 포함하는 얼굴 영상을 생성한다.
얼굴 초점 검출부(130)는 생성한 얼굴 영상에서 초점 점수를 산출한다. 여기서, 초점 점수는 얼굴 영상이 촬영되었을 때 초점이 어느 정도 식별 가능한 정도인지를 나타내는 점수이다. 얼굴 초점 검출부(130)는 콘볼루션 필터(convolutional filter)를 얼굴 영상에 적용하였을 경우, 오프셋(offset) 값의 변화에 대응하는 초점 점수를 산출할 수 있다. 이 때, 초점 점수가 높은 경우, 도 2의 210과 같이 초점 점수가 낮은 경우(도 2의 220)보다 얼굴 영상이 선명하다. 얼굴 초점 검출부(130)는 얼굴 영상에 대한 초점 점수가 도 2의 210과 같이 미리 지정된 임계 값 이상인 경우, 얼굴 영상을 얼굴 특징 추출부(140)로 전송한다. 얼굴 초점 검출부(130)는 얼굴 영상에 대한 초점 점수가 도 2의 220과 같이 임계 값 미만인 경우, 입력 영상을 다시 입력부(110)로부터 수신하여 얼굴 영상에 대한 초점 점수를 다시 산출할 수 있다. 따라서, 얼굴 초점 검출부(130)는 초점이 얼굴 영상을 통해 유효한 특징 정보를 추출하기 어려운 경우, 새로운 입력 영상을 통해 얼굴 영상을 추출함으로써 신원 인식의 정확성을 높일 수 있다.
영상 생성부(120)는 또한, 입력 영상 중 얼굴 영역을 제외한 몸 영상을 생성하고, 몸 영상을 몸 특징 추출부(150)로 전송한다.
얼굴 특징 추출부(140)는 얼굴 영상으로부터 얼굴 특징 정보를 추출한다. 이 때, 얼굴 특징 추출부(140)는 얼굴 신경망에 얼굴 영상을 입력하여 얼굴 특징 정보를 추출할 수 있다. 예를 들어, 얼굴 특징 추출부(140)는 도 3과 같은 구조의 얼굴 신경망을 통해 얼굴 특징 정보를 추출할 수 있다.
즉, 얼굴 신경망은 도 4 및 도 5와 같이 13개의 콘볼루션 레이어, 5개의 풀링 레이어 및 3개의 완전 연결 레이어를 포함하는 신경망일 수 있다.
제1 콘볼루션 레이어 및 제2 콘볼루션 레이어는 224×224×64의 특징 맵을 생성한다. 제1 콘볼루션 레이어 및 제2 콘볼루션 레이어에서 이용된 커널 사이즈는 3×3이고, 스트라이드 수는 1이고, 패딩 수는 1일 수 있다.
제3 콘볼루션 레이어 및 제4 콘볼루션 레이어는 112×112×128의 특징 맵을 생성한다. 제3 콘볼루션 레이어 및 제4 콘볼루션 레이어에서 이용된 커널 사이즈는 3×3이고, 스트라이드 수는 1이고, 패딩 수는 1일 수 있다.
제5 콘볼루션 레이어, 제6 콘볼루션 레이어 및 제7 콘볼루션 레이어는 56×56×256의 특징 맵을 생성한다. 제5 콘볼루션 레이어, 제6 콘볼루션 레이어 및 제7 콘볼루션 레이어에서 이용된 커널 사이즈는 3×3이고, 스트라이드 수는 1이고, 패딩 수는 1일 수 있다.
제8 콘볼루션 레이어, 제9 콘볼루션 레이어 및 제10 콘볼루션 레이어는 28×28×256의 특징 맵을 생성한다. 제8 콘볼루션 레이어, 제9 콘볼루션 레이어 및 제10 콘볼루션 레이어에서 이용된 커널 사이즈는 3×3이고, 스트라이드 수는 1이고, 패딩 수는 1일 수 있다.
제11 콘볼루션 레이어, 제12 콘볼루션 레이어 및 제13 콘볼루션 레이어는 14×14×512의 특징 맵을 생성한다. 제11 콘볼루션 레이어, 제12 콘볼루션 레이어 및 제13 콘볼루션 레이어에서 이용된 커널 사이즈는 3×3이고, 스트라이드 수는 1이고, 패딩 수는 1일 수 있다.
얼굴 특징 추출부(140)는 얼굴 특징 정보를 퓨전 점수 산출부(160)로 전송한다.
몸 특징 추출부(150)는 몸 신경망에 몸 영상을 입력하여 몸 특징 정보를 산출한다. 예를 들어, 몸 특징 추출부(150)는 도 6과 같은 구조의 몸 신경망을 통해 몸 특징 정보를 산출할 수 있다.
즉, 몸 신경망은 도 7과 같이 5 종류의 콘볼루션 레이어, 2개의 풀링 레이어, 1개의 완전 연결 레이어를 포함할 수 있다.
도 7을 참조하면, 첫 번째 콘볼루션 레이어(conv1)는 112×112×64의 특징 맵을 생성한다. 첫 번째 콘볼루션 레이어에서 이용된 커널 사이즈는 7×7이고, 스트라이드 수는 2×2이고, 패딩 수는 3×3일 수 있다.
두 번째 콘볼루션 레이어(conv2)는 3개의 브랜치(branch)를 포함한다. 제1 브랜치(Branch2a)는 56×56×64의 특징 맵을 생성한다. 제1 브랜치에서 이용된 커널 사이즈는 1×1이고, 스트라이드 수는 1×1이고, 패딩 수는 0×0일 수 있다. 제2 브랜치(Branch2b)는 56×56×64의 특징 맵을 생성한다. 제2 브랜치에서 이용된 커널 사이즈는 3×3이고, 스트라이드 수는 1×1이고, 패딩 수는 1×1일 수 있다. 제3 브랜치(Branch2c)는 56×56×256의 특징 맵을 생성한다. 제3 브랜치에서 이용된 커널 사이즈는 1×1이고, 스트라이드 수는 1×1이고, 패딩 수는 0×0일 수 있다.
세 번째 콘볼루션 레이어(conv3)는 3개의 브랜치(branch)를 포함한다. 제1 브랜치(Branch2a)는 28×28×128의 특징 맵을 생성한다. 제1 브랜치에서 이용된 커널 사이즈는 1×1이고, 스트라이드 수는 1×1이고, 패딩 수는 0×0일 수 있다. 제2 브랜치(Branch2b)는 28×28×128의 특징 맵을 생성한다. 제2 브랜치에서 이용된 커널 사이즈는 3×3이고, 스트라이드 수는 1×1이고, 패딩 수는 1×1일 수 있다. 제3 브랜치(Branch2c)는 28×28×512의 특징 맵을 생성한다. 제3 브랜치에서 이용된 커널 사이즈는 1×1이고, 스트라이드 수는 1×1이고, 패딩 수는 0×0일 수 있다.
네 번째 콘볼루션 레이어(conv4)는 3개의 브랜치(branch)를 포함한다. 제1 브랜치(Branch2a)는 14×14×256의 특징 맵을 생성한다. 제1 브랜치에서 이용된 커널 사이즈는 1×1이고, 스트라이드 수는 1×1이고, 패딩 수는 0×0일 수 있다. 제2 브랜치(Branch2b)는 14×14×256의 특징 맵을 생성한다. 제2 브랜치에서 이용된 커널 사이즈는 3×3이고, 스트라이드 수는 1×1이고, 패딩 수는 1×1일 수 있다. 제3 브랜치(Branch2c)는 14×14×1024의 특징 맵을 생성한다. 제3 브랜치에서 이용된 커널 사이즈는 1×1이고, 스트라이드 수는 1×1이고, 패딩 수는 0×0일 수 있다.
다섯 번째 콘볼루션 레이어(conv5)는 3개의 브랜치(branch)를 포함한다. 제1 브랜치(Branch2a)는 7×7×512의 특징 맵을 생성한다. 제1 브랜치에서 이용된 커널 사이즈는 1×1이고, 스트라이드 수는 1×1이고, 패딩 수는 0×0일 수 있다. 제2 브랜치(Branch2b)는 7×7×512의 특징 맵을 생성한다. 제2 브랜치에서 이용된 커널 사이즈는 3×3이고, 스트라이드 수는 1×1이고, 패딩 수는 1×1일 수 있다. 제3 브랜치(Branch2c)는 7×7×2048의 특징 맵을 생성한다. 제3 브랜치에서 이용된 커널 사이즈는 1×1이고, 스트라이드 수는 1×1이고, 패딩 수는 0×0일 수 있다.
몸 특징 추출부(150)는 몸 특징 벡터를 생성하여 퓨전 점수 산출부(160)로 전송한다.
퓨전 점수 산출부(160)는 얼굴 특징 벡터와 몸 특징 벡터를 결합하여 퓨전 점수를 산출한다. 예를 들어, 퓨전 점수 산출부(160)는 얼굴 특징 벡터와 데이터베이스에 미리 지정된 특징 벡터와의 얼굴 매칭 거리, 몸 특징 벡터와 데이터베이스에 미리 저장된 특징 벡터와의 몸 매칭 거리를 각각 산출할 수 있다. 퓨전 점수 산출부(160)는 얼굴 매칭 거리와 몸 매칭 거리 각각에 미리 지정된 가중치를 곱하고, 가중치가 곱해진 얼굴 매칭 거리와 몸 매칭 거리를 합하거나 곱하여 퓨전 점수를 산출할 수 있다. 즉, 퓨전 점수 산출부(160)는 얼굴 매칭 거리와 몸 매칭 거리에 대해 weight sum 또는 weight product를 퓨전 점수로 산출할 수 있다. 퓨전 점수 산출부(160)는 퓨전 점수를 신원 인식부(170)로 전송한다.
신원 인식부(170)는 퓨전 점수에 따라 사용자의 신원을 나타내는 신원 인식 정보를 생성한다. 예를 들어, 신원 인식부(170)는 퓨전 점수가 미리 지정된 임계 값 이하인 경우, 사용자의 신원을 나타내는 신원 인식 정보를 생성하고, 퓨전 점수가 미리 지정된 임계 값 초과인 경우, 사용자가 지정된 인원이 아님을 나타내는 신원 인식 정보를 생성할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 신원 인식 장치가 신원을 인식하는 방법을 예시한 순서도이다. 이하 설명하는 각 단계는 도 1을 참조하여 상술한 신원 인식 장치에 포함된 각 기능부를 통해 수행되는 단계이나, 발명의 간결하고 명확한 설명을 위해 각 단계의 주체를 신원 인식 장치로 통칭하도록 한다.
도 8을 참조하면, 단계 S810에서 신원 인식 장치는 입력 영상을 입력 받는다. 예를 들어, 신원 인식 장치는 네트워크 또는 미리 지정된 입력 단자를 통해 입력 영상을 입력 받을 수 있다.
단계 S820에서 신원 인식 장치는 입력 영상으로부터 얼굴 영상을 검출한다.
단계 S830에서 신원 인식 장치는 얼굴 영상에 대한 초점 점수를 산출하고, 초점 점수가 지정된 임계 값 미만인 경우, 단계 S810부터의 과정을 다시 수행한다.
단계 S830에서 초점 점수가 임계 값 이상인 경우, 단계 S840에서 신원 인식 장치는 얼굴 신경망을 통해 얼굴 특징 정보를 산출한다. 얼굴 신경망에 대해서는 도 3 내지 도 5를 참조하여 상술하였다.
단계 S850에서 신원 인식 장치는 얼굴 특징 정보에 대응하는 얼굴 매칭 거리를 산출한다.
단계 S860에서 신원 인식 장치는 입력 영상에서 얼굴 영역을 제외한 몸 영상을 검출한다.
단계 S870에서 신원 인식 장치는 몸 신경 망을 통해 몸 특징 정보를 생성한다. 몸 신경망에 대해서는 도 6 및 도 7을 참조하여 상술하였다.
단계 S880에서 신원 인식 장치는 몸 특징 정보에 대응하는 몸 매칭 거리를 산출한다.
단계 S890에서 신원 인식 장치는 얼굴 특징 정보 및 몸 특징 정보를 결합하여 퓨전 점수를 산출한다. 예를 들어, 신원 인식 장치는 얼굴 특징 정보에 대응하는 얼굴 매칭 거리 및 몸 특징 정보에 대응하는 몸 매칭 거리를 산출하고, 얼굴 매칭 거리 및 몸 매칭 거리에 가중치를 적용하여 퓨전 점수를 산출할 수 있다.
단계 S900에서 신원 인식 장치는 퓨전 점수에 대응하는 신원 인식 정보를 생성한다. 예를 들어, 신원 인식 장치는 퓨전 점수가 미리 지정된 임계 값 이하인 경우, 사용자의 신원을 나타내는 신원 인식 정보를 생성하고, 퓨전 점수가 미리 지정된 임계 값 초과인 경우, 사용자가 지정된 인원이 아님을 나타내는 신원 인식 정보를 생성할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 신원 인식 장치의 제1 데이터베이스의 테스트 영상에 대한 테스트 결과를 예시한 도면이고, 도 10은 본 발명의 일 실시 예에 따른 신원 인식 장치의 제1 데이터베이스의 테스트 영상에 대한 테스트 결과를 예시한 도면이다.
신원 인식에서 오류율을 측정하기 위한 수단으로 False acceptance ratio(FAR)가 존재한다. FAR은 서로 다른 클래스를 인식됨(authentic)으로 판단할 경우 발생하는 확률을 의미한다. General acceptance ratio(GAR)는 같은 클래스를 인식됨으로 판단할 경우가 발생하는 확률을 의미한다. 따라서, GAR이 높으면서 FAR이 낮은 방식이 정확성이 높은 신원 인식 방법임을 의미한다.
도 9의 그래프와 같이 제1 데이터베이스의 테스트 영상에서는 weighted sum 방식의 퓨전 점수를 산출하는 본 발명의 일 실시 예에 따른 신원 인식 방법이 가장 정확한 것으로 나타난다. 또한, 도 10의 그래프와 같이 제2 데이터베이스의 테스트 영상에서도 weighted sum 방식의 퓨전 점수를 산출하는 본 발명의 일 실시 예에 따른 신원 인식 방법이 가장 정확한 것으로 나타난다. 제1 데이터베이스 및 제2 데이터베이스는 실내에서 사용자가 이동하는 영상을 보유하고 있는 데이터베이스로 다소 흐리고 노이즈를 포함하는 서로 상이한 영상을 포함한다. 따라서, 본 발명의 일 실시 예에 따른 신원 인식 장치는 입력 영상에서 얼굴만을 통해 신원을 인식하는 방식이나, 몸 전체만을 통해 신원을 인식하는 방식에 비해 높은 신원 인식 정확성을 보장한다.
본 발명의 실시 예에 따른 신원 인식 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드 뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (11)

  1. 딥 러닝 기반의 사용자 몸을 이용한 신원 인식 장치에 있어서,
    입력 영상에 대해 얼굴 영상 및 몸 영상을 생성하는 영상 생성부;
    얼굴 신경망을 통해 상기 얼굴 영상으로부터 얼굴 특징 정보를 추출하는 얼굴 특징 추출부;
    몸 신경망을 통해 상기 몸 영상으로부터 몸 특징 정보를 추출하는 몸 특징 추출부;
    상기 얼굴 특징 정보 및 상기 몸 특징 정보에 따라 퓨전 점수를 산출하는 퓨전 점수 산출부; 및
    상기 퓨전 점수에 따라 신원 인식 정보를 생성하는 신원 인식부를 포함하는 신원 인식 장치.
  2. 제1 항에 있어서,
    상기 퓨전 점수 산출부는 상기 얼굴 특징 정보에 따른 얼굴 매칭 거리 및 상기 몸 특징 정보에 따른 몸 매칭 거리를 산출하고, 상기 얼굴 매칭 거리 및 상기 몸 매칭 거리에 가중치를 적용하여 상기 퓨전 점수를 산출하는 것을 특징으로 하는 신원 인식 장치.
  3. 제1항에 있어서,
    상기 얼굴 신경망은,
    13개의 콘볼루션 레이어, 5개의 풀링 레이어 및 3개의 완전 연결 레이어를 포함하고,
    각 상기 콘볼루션 레이어에서 이용된 커널 사이즈는 3×3이고, 패딩 수는 1이고, 스트라이드 수는 1인 것을 특징으로 하는 신원 인식 장치.
  4. 제1항에 있어서,
    상기 몸 신경망은
    5개의 콘볼루션 레이어, 2개의 풀링 레이어 및 1개의 완전 연결 레이어를 포함하되,
    상기 콘볼루션 레이어 중 4개의 콘볼루션 레이어는 3개의 브랜치(branch)를 포함하고,
    상기 브랜치 중 제1 브랜치 및 제3 브랜치에서 이용된 커널 사이즈는 1×1이고, 스트라이드 수는 1×1이고, 패딩 수는 0×0이고, 제2 브랜치에서 이용된 커널 사이즈는 3×3이고, 스트라이드 수는 1×1이고, 패딩 수는 1×1인 것을 특징으로 하는 신원 인식 장치.
  5. 제1 항에 있어서,
    상기 영상 생성부는,
    상기 얼굴 영상에 대한 초점 점수를 산출하고,
    상기 초점 점수가 미리 지정된 임계 값 미만인 경우, 새로운 입력 영상에 대한 얼굴 영상을 다시 생성하는 것을 특징으로 하는 신원 인식 장치.
  6. 신원 인식 장치가 신원을 인식하는 방법에 있어서,
    입력 영상에 대해 얼굴 영상 및 몸 영상을 생성하는 단계;
    얼굴 신경망을 통해 상기 얼굴 영상으로부터 얼굴 특징 정보를 추출하는 단계;
    몸 신경망을 통해 상기 몸 영상으로부터 몸 특징 정보를 추출하는 단계;
    상기 얼굴 특징 정보 및 상기 몸 특징 정보에 따라 퓨전 점수를 산출하는 단계; 및
    상기 퓨전 점수에 따라 신원 인식 정보를 생성하는 단계를 포함하는 신원 인식 방법.
  7. 제6 항에 있어서,
    상기 얼굴 특징 정보 및 상기 몸 특징 정보에 따라 퓨전 점수를 산출하는 단계는 상기 얼굴 특징 정보에 따른 얼굴 매칭 거리 및 상기 몸 특징 정보에 따른 몸 매칭 거리를 산출하고, 상기 얼굴 매칭 거리 및 상기 몸 매칭 거리에 가중치를 적용하여 상기 퓨전 점수를 산출하는 단계인 것을 특징으로 하는 신원 인식 방법.
  8. 제6 항에 있어서,
    상기 얼굴 신경망은,
    13개의 콘볼루션 레이어, 5개의 풀링 레이어 및 3개의 완전 연결 레이어를 포함하고,
    각 상기 콘볼루션 레이어에서 이용된 커널 사이즈는 3×3이고, 패딩 수는 1이고, 스트라이드 수는 1인 것을 특징으로 하는 신원 인식 방법.
  9. 제6 항에 있어서,
    상기 몸 신경망은
    5개의 콘볼루션 레이어, 2개의 풀링 레이어 및 1개의 완전 연결 레이어를 포함하되,
    상기 콘볼루션 레이어 중 4개의 콘볼루션 레이어는 3개의 브랜치(branch)를 포함하고,
    상기 브랜치 중 제1 브랜치 및 제3 브랜치에서 이용된 커널 사이즈는 1×1이고, 스트라이드 수는 1×1이고, 패딩 수는 0×0이고, 제2 브랜치에서 이용된 커널 사이즈는 3×3이고, 스트라이드 수는 1×1이고, 패딩 수는 1×1인 것을 특징으로 하는 신원 인식 방법.
  10. 제1 항에 있어서,
    상기 입력 영상에 대해 얼굴 영상 및 몸 영상을 생성하는 단계는,
    상기 얼굴 영상에 대한 초점 점수를 산출하는 단계;
    상기 초점 점수가 미리 지정된 임계 값 미만인 경우, 새로운 입력 영상에 대한 얼굴 영상을 다시 생성하는 단계를 포함하는 것을 특징으로 하는 신원 인식 방법.
  11. 제6항 내지 제10항 중 어느 하나의 신원 인식 방법을 실행하고 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램.

KR1020180081356A 2018-07-13 2018-07-13 딥 러닝 기반의 사용자 몸을 이용한 신원 인식 장치 및 방법 KR102161476B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180081356A KR102161476B1 (ko) 2018-07-13 2018-07-13 딥 러닝 기반의 사용자 몸을 이용한 신원 인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180081356A KR102161476B1 (ko) 2018-07-13 2018-07-13 딥 러닝 기반의 사용자 몸을 이용한 신원 인식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200013271A true KR20200013271A (ko) 2020-02-07
KR102161476B1 KR102161476B1 (ko) 2020-10-06

Family

ID=69570298

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180081356A KR102161476B1 (ko) 2018-07-13 2018-07-13 딥 러닝 기반의 사용자 몸을 이용한 신원 인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102161476B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597850A (zh) * 2020-12-15 2021-04-02 浙江大华技术股份有限公司 一种身份识别方法及装置
CN113591864A (zh) * 2021-07-28 2021-11-02 北京百度网讯科技有限公司 文本识别模型框架的训练方法、装置及系统
KR20220039463A (ko) * 2020-09-22 2022-03-29 (주) 아하 딥 러닝 기반 사람 인식 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110129789A (ko) * 2010-05-26 2011-12-02 수원대학교산학협력단 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템 및 방법
KR101302601B1 (ko) * 2012-04-12 2013-08-30 오용길 홍채인증용 영상처리장치 및 그 방법
KR20180080081A (ko) * 2017-01-03 2018-07-11 한국과학기술원 Cnn 기반의 와일드 환경에 강인한 얼굴 검출 방법 및 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110129789A (ko) * 2010-05-26 2011-12-02 수원대학교산학협력단 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템 및 방법
KR101302601B1 (ko) * 2012-04-12 2013-08-30 오용길 홍채인증용 영상처리장치 및 그 방법
KR20180080081A (ko) * 2017-01-03 2018-07-11 한국과학기술원 Cnn 기반의 와일드 환경에 강인한 얼굴 검출 방법 및 시스템

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220039463A (ko) * 2020-09-22 2022-03-29 (주) 아하 딥 러닝 기반 사람 인식 장치 및 방법
WO2022065649A1 (ko) * 2020-09-22 2022-03-31 주식회사 아하정보통신 딥 러닝 기반 사람 인식 장치 및 방법
CN112597850A (zh) * 2020-12-15 2021-04-02 浙江大华技术股份有限公司 一种身份识别方法及装置
CN112597850B (zh) * 2020-12-15 2022-04-19 浙江大华技术股份有限公司 一种身份识别方法及装置
CN113591864A (zh) * 2021-07-28 2021-11-02 北京百度网讯科技有限公司 文本识别模型框架的训练方法、装置及系统

Also Published As

Publication number Publication date
KR102161476B1 (ko) 2020-10-06

Similar Documents

Publication Publication Date Title
JP7040712B2 (ja) 個人情報保護のために原本データをコンシーリング処理する変調ネットワークを学習する方法及びテストする方法、そして、これを利用した学習装置及びテスト装置
EP3872699B1 (en) Face liveness detection method and apparatus, and electronic device
CN108509915B (zh) 人脸识别模型的生成方法和装置
CN107609481B (zh) 为人脸识别生成训练数据的方法、装置和计算机存储介质
CN109101919B (zh) 用于生成信息的方法和装置
KR102184787B1 (ko) 개인 정보를 보호하기 위하여 원본 데이터를 컨실링 처리하여 생성된 변조 데이터를 인식하기 위해 사용되는 사용자 러닝 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고 이를 이용한 학습 장치 및 테스트 장치
KR101956071B1 (ko) 사용자 인증 방법 및 장치
US20220172518A1 (en) Image recognition method and apparatus, computer-readable storage medium, and electronic device
CN108429619A (zh) 身份认证方法和系统
KR102412832B1 (ko) 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조 네트워크를 학습하는 방법 및 테스팅하는 방법, 그리고, 이를 이용한 학습 장치 및 테스팅 장치
CN111539740B (zh) 一种支付方法、装置及设备
KR102161476B1 (ko) 딥 러닝 기반의 사용자 몸을 이용한 신원 인식 장치 및 방법
CN109145783B (zh) 用于生成信息的方法和装置
KR102592551B1 (ko) Ar장치를 위한 객체 인식 처리 장치 및 방법
JP7412496B2 (ja) 生体（ｌｉｖｅｎｅｓｓ）検出検証方法、生体検出検証システム、記録媒体、及び生体検出検証システムの訓練方法
CN109947971B (zh) 图像检索方法、装置、电子设备及存储介质
KR102101221B1 (ko) 콘볼루션 신경망을 이용한 걸음걸이 기반 신원 인식 장치 및 방법
Monteiro et al. Development of voice spoofing detection systems for 2019 edition of automatic speaker verification and countermeasures challenge
KR102138652B1 (ko) 딥 러닝 기반의 지정맥 특징과 손가락 형태를 이용하는 생체 인식 장치 및 방법
KR20200106236A (ko) 딥 러닝 기반의 지정맥을 이용한 생체 인식 장치 및 방법
CN114565953A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
KR20190109772A (ko) 얼굴 인식 시스템의 위조 공격 탐지 장치 및 방법
CN110705439B (zh) 一种信息的处理方法、装置及设备
CN114495903A (zh) 一种语言类别识别方法、装置、电子设备和存储介质
KR20230088616A (ko) 비전 트랜스포머 기반의 얼굴 표정 인식장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant