KR20200018741A - 콘볼루션 신경망 기반 감시 카메라 영상의 눈 주변 영역 인식 장치 및 방법 - Google Patents

콘볼루션 신경망 기반 감시 카메라 영상의 눈 주변 영역 인식 장치 및 방법 Download PDF

Info

Publication number
KR20200018741A
KR20200018741A KR1020180086335A KR20180086335A KR20200018741A KR 20200018741 A KR20200018741 A KR 20200018741A KR 1020180086335 A KR1020180086335 A KR 1020180086335A KR 20180086335 A KR20180086335 A KR 20180086335A KR 20200018741 A KR20200018741 A KR 20200018741A
Authority
KR
South Korea
Prior art keywords
eye
score
area
loose
periphery
Prior art date
Application number
KR1020180086335A
Other languages
English (en)
Other versions
KR102213497B1 (ko
Inventor
박강령
김민철
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020180086335A priority Critical patent/KR102213497B1/ko
Publication of KR20200018741A publication Critical patent/KR20200018741A/ko
Application granted granted Critical
Publication of KR102213497B1 publication Critical patent/KR102213497B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06K9/00597—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 눈 주변 영역 인식 기술에 관한 것으로, 보다 상세하게는 콘볼루션 신경망 기반 감시 카메라 영상의 눈 주변 영역 인식 기술에 관한 것이다. 본 발명의 일 실시 예에 따른 눈 주변 영역 인식 기술은 조명 변화, 자세 변화, 표정 변화, 장신구로 인한 가려짐 등의 요소로 인한 인식 성능 저하를 완화시킬 수 있다.

Description

콘볼루션 신경망 기반 감시 카메라 영상의 눈 주변 영역 인식 장치 및 방법{APPARATUS AND METHOD FOR IDENTIFYING PREOCULAR OF SURVEILANCE CAMERA IMAGE BASED ON CONVOLUTION NEURAL NETWORK}
본 발명은 눈 주변 영역 인식 기술에 관한 것으로, 보다 상세하게는 콘볼루션 신경망 기반 감시 카메라 영상의 눈 주변 영역 인식 기술에 관한 것이다.
가시광선 감시 카메라는 최근 공공 도시 환경에 범죄 예방 및 사고 예방을 위해 대규모로 설치되어 있다. 이로 인해 감시 카메라가 생성한 영상의 생체 인식 정보를 이용한 식별(human identification) 연구가 활발히 진행 중이다. 식별 연구 중 가장 활발히 진행된 연구는 얼굴 인식 분야이다. 얼굴 인식 기술은 우수한 인식 성능을 제공하지만 노화, 표정 변화, 악세사리에 의한 가려짐(occlusion) 등의 이유로 인식 성능이 급격하게 저하되는 단점을 가진다.
본 발명의 배경기술은 대한민국 공개특허 제2017-0017588호에 개시되어 있다.
본 발명의 해결하고자 하는 과제는 콘볼루션 신경망 기반 감시 카메라 영상의 눈 주변 영역 인식 장치 및 방법을 제공하는 것이다.
본 발명의 일 측면에 따르면, 눈 주변 영역 인식 장치가 제공된다.
본 발명의 일 실시 예에 따른 눈 주변 영역 인식 장치는 입력 영상으로부터 랜드마크를 검출하는 랜드마크 검출부, 상기 랜드마크에 따라 상기 입력 영상으로부터 느슨한 눈 주변 영역 및 바듯한 눈 주변 영역을 검출하는 눈 주변 영역 검출부, 상기 느슨한 눈 주변 영역 콘볼루션 신경망에 입력하여 느슨한 점수를 산출하는 느슨한 점수 산출부, 상기 바듯한 눈 주변 영역 대한 바듯한 점수를 산출하는 바듯한 점수 산출부 및 상기 느슨한 점수 및 상기 바듯한 점수를 결합하여 최종 점수를 산출하고, 상기 최종 점수에 따라 눈 주변 영역 인식 정보를 생성하는 인식부를 포함할 수 있다.
상기 인식부는 상기 느슨한 점수 및 상기 바듯한 점수에 가중치를 적용하여 상기 최종 점수를 산출할 수 있다.
상기 눈 주변 영역 검출부는, 상기 랜드마크 중 눈의 양 끝에 해당하는 지점의 중심점을 산출하고, 상기 중심점으로부터 눈의 양 끝점까지의 거리인 눈 반경에 미리 지정된 상수를 곱하여 눈 영역 반경을 산출하고, 상기 중심점으로부터 세로 및 가로 거리가 상기 눈 영역 반경 내에 해당하는 픽셀을 포함하는 반경 영역을 검출하고, 상기 반경 영역을 미리 지정된 제1 크기로 보정하여 상기 느슨한 눈 주변 영역을 검출하고, 상기 느슨한 눈 주변 영역 중 상기 중심점으로부터 상기 제1 크기보다 작은 제2 크기 내에 위치하는 픽셀을 포함하는 바듯한 눈 주변 영역을 검출할 수 있다.
상기 콘볼루션 신경망은 13개의 콘볼루션 레이어, 5개의 최대 풀링 레이어 및 3개의 완전 연결 레이어를 포함하고, 상기 콘볼루션 레이어 중 제1 콘볼루션 레이어 및 제2 콘볼루션 레이어는 224×224×64의 특징 맵을 생성하고, 제3 콘볼루션 레이어 및 제4 콘볼루션 레이어는 112×112×128의 특징 맵을 생성하고, 제5 콘볼루션 레이어, 제6 콘볼루션 레이어 및 제7 콘볼루션 레이어는 56×56×256의 특징 맵을 생성하고, 제8 콘볼루션 레이어, 제9 콘볼루션 레이어 및 제10 콘볼루션 레이어는 28×28×256의 특징 맵을 생성하고, 제11 콘볼루션 레이어, 제12 콘볼루션 레이어 및 제13 콘볼루션 레이어는 14×14×512의 특징 맵을 생성할 수 있다.
상기 제1 콘볼루션 레이어 내지 상기 제13 콘볼루션 레이어의 커널 사이즈는 3×3이고, 스트라이드 수는 1×1이고, 패딩 수는 1×1일 수 있다.
상기 눈 주변 영역 인식 장치는 상기 느슨한 눈 주변 영역 및 바듯한 눈 주변 영역에 대한 초점 점수를 산출하고, 상기 초점 점수가 미리 지정된 임계값 미만인 경우, 상기 랜드마크 검출부가 새로운 입력 영상에 대한 랜드마크를 다시 검출하도록 제어하는 초점 검증부를 더 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 눈 주변 영역 인식 장치가 제공된다.
본 발명의 일 실시 예에 따른 눈 주변 영역 인식 방법은 입력 영상으로부터 랜드마크를 검출하는 단계, 상기 랜드마크에 따라 상기 입력 영상으로부터 느슨한 눈 주변 영역 및 바듯한 눈 주변 영역을 검출하는 단계, 상기 느슨한 눈 주변 영역 콘볼루션 신경망에 입력하여 느슨한 점수를 산출하는 단계, 상기 바듯한 눈 주변 영역 대한 바듯한 점수를 산출하는 단계 및 상기 느슨한 점수 및 상기 바듯한 점수를 결합하여 최종 점수를 산출하고, 상기 최종 점수에 따라 눈 주변 영역 인식 정보를 생성하는 단계를 포함할 수 있다.
상기 느슨한 점수 및 상기 바듯한 점수를 결합하여 최종 점수를 산출하고, 상기 최종 점수에 따라 눈 주변 영역 인식 정보를 생성하는 단계는, 상기 느슨한 점수 및 상기 바듯한 점수에 가중치를 적용하여 상기 최종 점수를 산출하는 단계일 수 있다.
상기 랜드마크에 따라 상기 입력 영상으로부터 느슨한 눈 주변 영역 및 바듯한 눈 주변 영역을 검출하는 단계는, 상기 랜드마크 중 눈의 양 끝에 해당하는 지점의 중심점을 산출하는 단계, 상기 중심점으로부터 눈의 양 끝점까지의 거리인 눈 반경에 미리 지정된 상수를 곱하여 눈 영역 반경을 산출하는 단계, 상기 중심점으로부터 세로 및 가로 거리가 상기 눈 영역 반경 내에 해당하는 픽셀을 포함하는 반경 영역을 검출하는 단계, 상기 반경 영역을 미리 지정된 제1 크기로 보정하여 상기 느슨한 눈 주변 영역을 검출하는 단계, 및 상기 느슨한 눈 주변 영역 중 상기 중심점으로부터 상기 제1 크기보다 작은 제2 크기 내에 위치하는 픽셀을 포함하는 바듯한 눈 주변 영역을 검출하는 단계를 포함할 수 있다.
상기 콘볼루션 신경망은 13개의 콘볼루션 레이어, 5개의 최대 풀링 레이어 및 3개의 완전 연결 레이어를 포함하고, 상기 콘볼루션 레이어 중 제1 콘볼루션 레이어 및 제2 콘볼루션 레이어는 224×224×64의 특징 맵을 생성하고, 제3 콘볼루션 레이어 및 제4 콘볼루션 레이어는 112×112×128의 특징 맵을 생성하고, 제5 콘볼루션 레이어, 제6 콘볼루션 레이어 및 제7 콘볼루션 레이어는 56×56×256의 특징 맵을 생성하고, 제8 콘볼루션 레이어, 제9 콘볼루션 레이어 및 제10 콘볼루션 레이어는 28×28×256의 특징 맵을 생성하고, 제11 콘볼루션 레이어, 제12 콘볼루션 레이어 및 제13 콘볼루션 레이어는 14×14×512의 특징 맵을 생성할 수 있다.
상기 제1 콘볼루션 레이어 내지 상기 제13 콘볼루션 레이어의 커널 사이즈는 3×3이고, 스트라이드 수는 1×1이고, 패딩 수는 1×1일 수 있다.
상기 눈 주변 영역 인식 방법은 상기 느슨한 눈 주변 영역 및 바듯한 눈 주변 영역에 대한 초점 점수를 산출하고, 상기 초점 점수가 미리 지정된 임계값 미만인 경우, 상기 랜드마크 검출부가 새로운 입력 영상에 대한 랜드마크를 다시 검출하도록 제어하는 단계를 더 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 조명 변화, 자세 변화, 표정 변화, 장신구로 인한 가려짐 등의 요소로 인한 인식 성능 저하를 완화시킬 수 있다.
도 1은 본 발명의 일 실시 예에 따른 눈 주변 인식 장치를 예시한 블록도.
도 2는 본 발명의 일 실시 예에 따른 눈 주변 인식 장치가 눈 주변 영역을 검출하는 과정을 설명하기 위한 도면.
도 3은 본 발명의 일 실시 예에 따른 눈 주변 인식 장치가 초점 점수에 따라 구분하는 눈 주변 영역을 예시한 도면.
도 4는 본 발명의 일 실시 예에 따른 눈 주변 영역 인식 장치가 이용하는 콘볼루션 신경망의 구조를 간략히 나타낸 구조도.
도 5는 본 발명의 일 실시 예에 따른 눈 주변 영역 인식 장치가 이용하는 콘볼루션 신경망의 초반 구조를 상세히 나타낸 도면.
도 6은 본 발명의 일 실시 예에 따른 눈 주변 영역 인식 장치가 이용하는 콘볼루션 신경망의 후반 구조를 상세히 나타낸 도면.
도 7은 본 발명의 일 실시 예에 따른 눈 주변 영역 인식 장치가 눈 주변 영역을 인식하는 과정을 예시한 순서도.
도 8은 본 발명의 일 실시 예에 따른 눈 주변 영역 인식 장치의 테스트 영상에 대한 테스트 결과를 예시한 도면.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.
이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 눈 주변 인식 장치를 예시한 블록도이고, 도 2는 본 발명의 일 실시 예에 따른 눈 주변 인식 장치가 눈 주변 영역을 검출하는 과정을 설명하기 위한 도면이고, 도 3은 본 발명의 일 실시 예에 따른 눈 주변 인식 장치가 초점 점수에 따라 구분하는 눈 주변 영역을 예시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 눈 주변 인식 장치는 입력부(110), 랜드마크 검출부(120), 눈 주변 영역 검출부(130), 초점 검증부(140), 느슨한 점수 산출부(150), 바듯한 점수 산출부(160) 및 인식부(170)를 포함한다.
입력부(110)는 네트워크 또는 미리 지정된 입력 단자를 통해 영상을 입력 받는다. 이하, 입력부(110)가 입력 받은 영상을 입력 영상이라 지칭하도록 한다. 이 때, 입력 영상은 감시 카메라에 의해 생성된 영상일 수 있다. 입력부(110)는 입력 영상을 랜드마크 검출부(120)로 전송한다.
랜드마크 검출부(120)는 입력 영상으로부터 얼굴 영상을 추출하고, 얼굴 영상으로부터 랜드마크를 검출한다. 예를 들어, 랜드마크 검출부(120)는 210 및 220과 같이 미리 지정된 알고리즘을 통해 입력 영상으로부터 얼굴 영상을 추출한다. 랜드마크 검출부(120)는 도 2의 230과 같은 얼굴 영상에서 특징에 해당하는 지점인 랜드마크를 검출한다. 랜드마크 검출부(120)는 얼굴 영상 및 랜드마크를 눈 주변 영역 검출부(130)로 전송한다.
눈 주변 영역 검출부(130)는 얼굴 영상으로부터 눈 주변 영역을 검출한다. 예를 들어, 눈 주변 영역 검출부(130)는 랜드마크 중 눈의 양 끝점들의 중심점을 산출하고, 중심점으로부터 눈의 양 끝점까지의 거리(이하, 눈 반경이라 지칭)를 산출할 수 있다. 눈 주변 영역 검출부(130)는 눈 반경에 미리 지정된 상수(예를 들어, 3.2)를 곱하여 눈 영역 반경을 산출할 수 있다. 눈 주변 영역 검출부(130)는 중심점으로부터 세로 및 가로 거리가 눈 영역 반경 내에 해당하는 픽셀을 포함하는 반경 영역을 검출하고, 반경 영역을 미리 지정된 가로 및 세로 크기(예를 들어, 224 X 224)로 보정하여 느슨한(loose) 눈 주변 영역을 산출할 수 있다. 또한, 눈 주변 영역 검출부(130)는 느슨한 눈 주변 영역 중 중심점으로부터 미리 지정된 가로 및 세로 크기(예를 들어, 140 X 140) 내에 위치하는 픽셀을 포함하는 바듯한(tight) 눈 주변 영역을 산출할 수 있다. 눈 주변 영역 검출부(130)는 느슨한 눈 주변 영역 및 바듯한 눈 주변 영역(이하 눈 주변 영역이라 통칭하도록 함)을 초점 검증부(140)로 전송한다.
초점 검증부(140)는 눈 주변 영역에 대한 초점 점수를 산출한다. 초점 점수는 눈 주변 영역의 초점이 어느 정도 식별 가능한 정도인지를 나타내는 점수이다. 예를 들어, 초점 검증부(140)는 콘볼루션 필터(convolutional filter)를 눈 주변 영역에 적용하였을 경우, 오프셋(offset) 값의 변화에 대응하는 초점 점수를 산출할 수 있다. 이 때, 초점 점수가 높은 경우, 도 3의 310과 같이 초점 점수가 낮은 경우(도 3의 320)보다 눈 주변 영역이 선명하다. 초점 검증부(140)는 눈 주변 영역에 대한 초점 점수가 미리 지정된 임계값 초과인 경우, 느슨한 눈 주변 영역을 느슨한 점수 산출부(150)로 전송하고 바듯한 눈 주변 영역을 바듯한 점수 산출부(160)로 전송한다. 초점 검증부(140)는 눈 주변 영역에 대한 초점 점수가 미리 지정된 임계값 이하인 경우, 입력부(110)가 새로운 입력 영상을 입력 받도록 제어한다.
느슨한 점수 산출부(150)는 느슨한 눈 주변 영역을 콘볼루션 신경망에 입력하여 느슨한 점수를 산출한다. 예를 들어, 느슨한 점수 산출부(150)는 콘볼루션 신경망을 이용하여 느슨한 눈 주변 영역의 특징 정보를 산출하고, 특징 정보에 따라 미리 등록된 영상과의 유클리디언 거리(euclidean distance)인 느슨한 점수를 산출할 수 있다. 느슨한 점수 산출부(150)는 느슨한 점수를 인식부(170)로 전송한다.
바듯한 점수 산출부(160)는 바듯한 눈 주변 영역을 콘볼루션 신경망에 입력하여 바듯한 점수를 산출한다. 예를 들어, 바듯한 점수 산출부(160)는 콘볼루션 신경망을 이용하여 바듯한 눈 주변 영역의 특징 정보를 산출하고, 미리 등록된 영상의 특징정보와 바듯한 눈 주변 영역의 특징 정보 간의 유클리디언 거리인 바듯한 점수를 산출할 수 있다. 바듯한 점수 산출부(150)는 바듯한 점수를 인식부(170)로 전송한다. 느슨한 점수 산출부(150) 및 바듯한 점수 산출부(160)가 이용하는 콘볼루션 신경망에 대해서는 추후 도 4 내지 도 6을 참조하여 상세히 설명하도록 한다.
인식부(170)는 느슨한 점수 및 바듯한 점수를 결합(fusion)하여 최종 점수를 산출한다. 예를 들어, 인식부(170)는 느슨한 점수 및 바듯한 점수 각각에 미리 지정된 가중치를 곱하고, 가중치가 곱해진 느슨한 점수와 바듯한 점수를 합하거나 곱하여 최종 점수를 산출할 수 있다. 즉, 인식부(170)는 얼굴 매칭 거리와 몸 매칭 거리에 대해 weight sum 또는 weight product를 최종 점수로 산출할 수 있다. 인식부(170)는 최종 점수가 미리 지정된 임계값 이하인 경우, 사용자의 신원을 나타내는 눈 주변 영역 인식 정보를 생성하고, 최종 점수가 미리 지정된 임계값 초과인 경우, 사용자가 지정된 인원이 아님을 나타내는 눈 주변 영역 인식 정보를 생성할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 눈 주변 영역 인식 장치가 이용하는 콘볼루션 신경망의 구조를 간략히 나타낸 구조도이고, 도 5는 본 발명의 일 실시 예에 따른 눈 주변 영역 인식 장치가 이용하는 콘볼루션 신경망의 초반 구조를 상세히 나타낸 도면이고, 도 6은 본 발명의 일 실시 예에 따른 눈 주변 영역 인식 장치가 이용하는 콘볼루션 신경망의 후반 구조를 상세히 나타낸 도면이다.
도 4와 같이 본 발명의 일 실시 예에 따른 눈 주변 영역 인식 장치가 이용하는 콘볼루션 신경망은 Group1~5의 구조를 가질 수 있다.
구체적으로 도 5 및 도 6과 같이 콘볼루션 신경망은 13개의 콘볼루션 레이어, 5개의 최대 풀링 레이어, 3개의 완전 연결 레이어를 포함할 수 있다.
제1 콘볼루션 레이어 및 제2 콘볼루션 레이어는 224×224×64의 특징 맵을 생성한다. 제1 콘볼루션 레이어 및 제2 콘볼루션 레이어에서 이용된 커널 사이즈는 3×3이고, 스트라이드 수는 1×1이고, 패딩 수는 1×1일 수 있다.
제3 콘볼루션 레이어 및 제4 콘볼루션 레이어는 112×112×128의 특징 맵을 생성한다. 제3 콘볼루션 레이어 및 제4 콘볼루션 레이어에서 이용된 커널 사이즈는 3×3이고, 스트라이드 수는 1×1이고, 패딩 수는 1×1일 수 있다.
제5 콘볼루션 레이어, 제6 콘볼루션 레이어 및 제7 콘볼루션 레이어는 56×56×256의 특징 맵을 생성한다. 제5 콘볼루션 레이어, 제6 콘볼루션 레이어 및 제7 콘볼루션 레이어에서 이용된 커널 사이즈는 3×3이고, 스트라이드 수는 1×1이고, 패딩 수는 1×1일 수 있다.
제8 콘볼루션 레이어, 제9 콘볼루션 레이어 및 제10 콘볼루션 레이어는 28×28×256의 특징 맵을 생성한다. 제8 콘볼루션 레이어, 제9 콘볼루션 레이어 및 제10 콘볼루션 레이어에서 이용된 커널 사이즈는 3×3이고, 스트라이드 수는 1×1이고, 패딩 수는 1×1일 수 있다.
제11 콘볼루션 레이어, 제12 콘볼루션 레이어 및 제13 콘볼루션 레이어는 14×14×512의 특징 맵을 생성한다. 제11 콘볼루션 레이어, 제12 콘볼루션 레이어 및 제13 콘볼루션 레이어에서 이용된 커널 사이즈는 3×3이고, 스트라이드 수는 1×1이고, 패딩 수는 1×1일 수 있다.
도 7은 본 발명의 일 실시 예에 따른 눈 주변 영역 인식 장치가 눈 주변 영역을 인식하는 과정을 예시한 순서도이다. 이하 설명하는 각 단계는 눈 주변 영역 인식 장치를 구성하는 각 기능부를 통해 수행되는 과정이나, 발명의 간결하고 명확한 설명을 위해 각 단계의 주체를 눈 주변 영역 인식 장치로 통칭하도록 한다.
단계 S710에서 눈 주변 영역 인식 장치는 네트워크 또는 미리 지정된 입력 단자를 통해 입력 영상을 입력 받는다.
단계 S720에서 눈 주변 영역 인식 장치는 입력 영상으로부터 얼굴 영상을 추출하고, 얼굴 영상으로부터 랜드마크를 검출한다. 예를 들어, 눈 주변 영역 인식 장치는 미리 지정된 알고리즘을 통해 입력 영상으로부터 얼굴 영상을 추출하고, 얼굴 영상에서 특징에 해당하는 지점인 랜드마크를 검출한다.
단계 S730에서 눈 주변 영역 인식 장치는 얼굴 영상으로부터 눈 주변 영역을 검출한다. 예를 들어, 눈 주변 영역 인식 장치는 랜드마크 중 눈의 양 끝점들의 중심점을 산출하고, 중심점으로부터 눈의 양 끝점까지의 거리(이하, 눈 반경이라 지칭)를 산출할 수 있다. 눈 주변 영역 인식 장치는 눈 반경에 미리 지정된 상수(예를 들어, 3.2)를 곱하여 눈 영역 반경을 산출할 수 있다. 눈 주변 영역 인식 장치는 중심점으로부터 세로 및 가로 거리가 눈 영역 반경 내에 해당하는 픽셀을 포함하는 반경 영역을 검출하고, 반경 영역을 미리 지정된 가로 및 세로 크기(예를 들어, 224 X 224)로 보정하여 느슨한 눈 주변 영역을 산출할 수 있다. 또한, 눈 주변 영역 인식 장치는 느슨한 눈 주변 영역 중 중심점으로부터 미리 지정된 가로 및 세로 크기(예를 들어, 140 X 140) 내에 위치하는 픽셀을 포함하는 바듯한 눈 주변 영역을 산출할 수 있다.
단계 S740에서 눈 주변 영역 인식 장치는 눈 주변 영역에 대한 초점 점수를 산출하고, 눈 주변 영역에 대한 초점 점수가 미리 지정된 임계값 초과인지 판단한다.
단계 S740에서 눈 주변 영역에 대한 초점 점수가 미리 지정된 임계값 미만인 경우, 눈 주변 영역 인식 장치는 단계 S710부터의 과정을 반복 수행한다.
단계 S740에서 눈 주변 영역에 대한 초점 점수가 미리 지정된 임계값 초과인지인 경우, 단계 S750에서 눈 주변 영역 인식 장치는 느슨한 점수를 산출하고, 단계 S760에서 눈 주변 영역 인식 장치는 바듯한 점수를 산출한다. 예를 들어, 눈 주변 영역 인식 장치는 느슨한 점수 산출부(150)는 콘볼루션 신경망을 이용하여 느슨한 눈 주변 영역의 특징 정보를 산출하고, 특징 정보에 따라 미리 등록된 영상과의 유클리디언 거리(euclidean distance)인 느슨한 점수를 산출할 수 있다. 또한, 눈 주변 영역 인식 장치는 콘볼루션 신경망을 이용하여 바듯한 눈 주변 영역의 특징 정보를 산출하고, 미리 등록된 영상의 특징정보와 바듯한 눈 주변 영역의 특징 정보 간의 유클리디언 거리인 바듯한 점수를 산출할 수 있다. 바듯한 점수 산출부(150)는 바듯한 점수를 인식부(170)로 전송한다. 콘볼루션 신경망에 대해서는 도 4 내지 도 6을 참조하여 상세히 설명하였다.
단계 S770에서 눈 주변 영역 인식 장치는 느슨한 점수 및 바듯한 점수를 결합하여 최종 점수를 산출한다.
단계 S780에서 눈 주변 영역 인식 장치는 최종 점수에 따라 눈 주변 영역 인식 정보를 생성한다. 예를 들어, 눈 주변 영역 인식 장치는 최종 점수가 미리 지정된 임계값 이하인 경우, 사용자의 신원을 나타내는 눈 주변 영역 인식 정보를 생성하고, 최종 점수가 미리 지정된 임계값 초과인 경우, 사용자가 지정된 인원이 아님을 나타내는 눈 주변 영역 인식 정보를 생성할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 눈 주변 영역 인식 장치의 테스트 영상에 대한 테스트 결과를 예시한 도면이다.
도 8을 참조하면, 생체 인식에서 오류율을 측정하기 위한 수단으로 False acceptance ratio(FAR) 와 false rejection rate(FRR)가 존재한다. FAR은 서로 다른 클래스를 인식됨(authentic)으로 판단할 경우 발생하며 FRR은 서로 같은 클래스를 인식 되지 않음(imposter)로 판단할 경우 발생하는 오류 수치이다. FAR 곡선과 FRR 곡선을 같이 나타낸 것을 ROC curve라고 하며 sensitivity에 따른 오류율을 보여주는 그래프이다. 일반적으로 sensitivity가 증가하면 FRR은 증가하고 FAR은 감소하며 반대로 sensitivity가 감소하면 FRR은 감소하고 FAR은 증가한다. 그래프 곡선에 따라 FAR과 FRR이 만나는 지점을 Equal Error Rate(EER)이라고 하며 성능의 지표가 된다.
특정 데이터베이스의 테스트 영상을 기존의 얼굴 인식 시스템과 본 발명의 일 실시 예에 따른 눈 주변 영역 인식 장치에 입력하여 EER을 산출한 결과, 눈 주변 영역 인식 장치가 얼굴을 가리는 물체가 없는 경우에는 EER이 기존 얼굴 인식 시스템보다 조금 더 높지만, 얼굴을 가리는 물체가 있는 경우에는 EER이 기존 얼굴 인식 시스템보다 상당히 낮다.
따라서, 본 발명의 일 실시 예에 따른 눈 주변 영역 인식 장치는 조명 변화, 자세 변화, 표정 변화, 장신구로 인한 가려짐 등의 요소로 인한 인식 성능 저하를 완화시킬 수 있다.
본 발명의 실시 예에 따른 생체 인식 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드 뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (13)

  1. 입력 영상으로부터 랜드마크를 검출하는 랜드마크 검출부;
    상기 랜드마크에 따라 상기 입력 영상으로부터 느슨한 눈 주변 영역 및 바듯한 눈 주변 영역을 검출하는 눈 주변 영역 검출부;
    상기 느슨한 눈 주변 영역 콘볼루션 신경망에 입력하여 느슨한 점수를 산출하는 느슨한 점수 산출부;
    상기 바듯한 눈 주변 영역 대한 바듯한 점수를 산출하는 바듯한 점수 산출부; 및
    상기 느슨한 점수 및 상기 바듯한 점수를 결합하여 최종 점수를 산출하고, 상기 최종 점수에 따라 눈 주변 영역 인식 정보를 생성하는 인식부를 포함하는 눈 주변 영역 인식 장치.
  2. 제1 항에 있어서,
    상기 인식부는 상기 느슨한 점수 및 상기 바듯한 점수에 가중치를 적용하여 상기 최종 점수를 산출하는 것을 특징으로 하는 눈 주변 영역 인식 장치.
  3. 제1 항에 있어서,
    상기 눈 주변 영역 검출부는,
    상기 랜드마크 중 눈의 양 끝에 해당하는 지점의 중심점을 산출하고,
    상기 중심점으로부터 눈의 양 끝점까지의 거리인 눈 반경에 미리 지정된 상수를 곱하여 눈 영역 반경을 산출하고,
    상기 중심점으로부터 세로 및 가로 거리가 상기 눈 영역 반경 내에 해당하는 픽셀을 포함하는 반경 영역을 검출하고,
    상기 반경 영역을 미리 지정된 제1 크기로 보정하여 상기 느슨한 눈 주변 영역을 검출하고,
    상기 느슨한 눈 주변 영역 중 상기 중심점으로부터 상기 제1 크기보다 작은 제2 크기 내에 위치하는 픽셀을 포함하는 바듯한 눈 주변 영역을 검출하는 것을 특징으로 하는 눈 주변 영역 인식 장치.
  4. 제1 항에 있어서,
    상기 콘볼루션 신경망은
    13개의 콘볼루션 레이어, 5개의 최대 풀링 레이어 및 3개의 완전 연결 레이어를 포함하고,
    상기 콘볼루션 레이어 중 제1 콘볼루션 레이어 및 제2 콘볼루션 레이어는 224×224×64의 특징 맵을 생성하고, 제3 콘볼루션 레이어 및 제4 콘볼루션 레이어는 112×112×128의 특징 맵을 생성하고, 제5 콘볼루션 레이어, 제6 콘볼루션 레이어 및 제7 콘볼루션 레이어는 56×56×256의 특징 맵을 생성하고, 제8 콘볼루션 레이어, 제9 콘볼루션 레이어 및 제10 콘볼루션 레이어는 28×28×256의 특징 맵을 생성하고, 제11 콘볼루션 레이어, 제12 콘볼루션 레이어 및 제13 콘볼루션 레이어는 14×14×512의 특징 맵을 생성하는 것을 특징으로 하는 눈 주변 영역 인식 장치.
  5. 제4 항에 있어서,
    상기 제1 콘볼루션 레이어 내지 상기 제13 콘볼루션 레이어의 커널 사이즈는 3×3이고, 스트라이드 수는 1×1이고, 패딩 수는 1×1인 것을 특징으로 하는 눈 주변 영역 인식 장치.
  6. 제1 항에 있어서,
    상기 느슨한 눈 주변 영역 및 바듯한 눈 주변 영역에 대한 초점 점수를 산출하고,
    상기 초점 점수가 미리 지정된 임계값 미만인 경우, 상기 랜드마크 검출부가 새로운 입력 영상에 대한 랜드마크를 다시 검출하도록 제어하는 초점 검증부를 더 포함하는 눈 주변 영역 인식 장치.
  7. 눈 주변 영역 인식 장치가 눈 주변 영역을 인식하는 방법에 있어서,
    입력 영상으로부터 랜드마크를 검출하는 단계;
    상기 랜드마크에 따라 상기 입력 영상으로부터 느슨한 눈 주변 영역 및 바듯한 눈 주변 영역을 검출하는 단계;
    상기 느슨한 눈 주변 영역 콘볼루션 신경망에 입력하여 느슨한 점수를 산출하는 단계;
    상기 바듯한 눈 주변 영역 대한 바듯한 점수를 산출하는 단계; 및
    상기 느슨한 점수 및 상기 바듯한 점수를 결합하여 최종 점수를 산출하고, 상기 최종 점수에 따라 눈 주변 영역 인식 정보를 생성하는 단계를 포함하는 눈 주변 영역 인식 방법.
  8. 제7 항에 있어서,
    상기 느슨한 점수 및 상기 바듯한 점수를 결합하여 최종 점수를 산출하고, 상기 최종 점수에 따라 눈 주변 영역 인식 정보를 생성하는 단계는,
    상기 느슨한 점수 및 상기 바듯한 점수에 가중치를 적용하여 상기 최종 점수를 산출하는 단계인 것을 특징으로 하는 눈 주변 영역 인식 방법.
  9. 제7 항에 있어서,
    상기 랜드마크에 따라 상기 입력 영상으로부터 느슨한 눈 주변 영역 및 바듯한 눈 주변 영역을 검출하는 단계는,
    상기 랜드마크 중 눈의 양 끝에 해당하는 지점의 중심점을 산출하는 단계;
    상기 중심점으로부터 눈의 양 끝점까지의 거리인 눈 반경에 미리 지정된 상수를 곱하여 눈 영역 반경을 산출하는 단계;
    상기 중심점으로부터 세로 및 가로 거리가 상기 눈 영역 반경 내에 해당하는 픽셀을 포함하는 반경 영역을 검출하는 단계;
    상기 반경 영역을 미리 지정된 제1 크기로 보정하여 상기 느슨한 눈 주변 영역을 검출하는 단계; 및
    상기 느슨한 눈 주변 영역 중 상기 중심점으로부터 상기 제1 크기보다 작은 제2 크기 내에 위치하는 픽셀을 포함하는 바듯한 눈 주변 영역을 검출하는 단계를 포함하는 것을 특징으로 하는 눈 주변 영역 인식 방법.
  10. 제7 항에 있어서,
    상기 콘볼루션 신경망은
    13개의 콘볼루션 레이어, 5개의 최대 풀링 레이어 및 3개의 완전 연결 레이어를 포함하고,
    상기 콘볼루션 레이어 중 제1 콘볼루션 레이어 및 제2 콘볼루션 레이어는 224×224×64의 특징 맵을 생성하고, 제3 콘볼루션 레이어 및 제4 콘볼루션 레이어는 112×112×128의 특징 맵을 생성하고, 제5 콘볼루션 레이어, 제6 콘볼루션 레이어 및 제7 콘볼루션 레이어는 56×56×256의 특징 맵을 생성하고, 제8 콘볼루션 레이어, 제9 콘볼루션 레이어 및 제10 콘볼루션 레이어는 28×28×256의 특징 맵을 생성하고, 제11 콘볼루션 레이어, 제12 콘볼루션 레이어 및 제13 콘볼루션 레이어는 14×14×512의 특징 맵을 생성하는 것을 특징으로 하는 눈 주변 영역 인식 방법.
  11. 제10 항에 있어서,
    상기 제1 콘볼루션 레이어 내지 상기 제13 콘볼루션 레이어의 커널 사이즈는 3×3이고, 스트라이드 수는 1×1이고, 패딩 수는 1×1인 것을 특징으로 하는 눈 주변 영역 인식 방법.
  12. 제7 항에 있어서,
    상기 느슨한 눈 주변 영역 및 바듯한 눈 주변 영역에 대한 초점 점수를 산출하고, 상기 초점 점수가 미리 지정된 임계값 미만인 경우, 상기 랜드마크 검출부가 새로운 입력 영상에 대한 랜드마크를 다시 검출하도록 제어하는 단계를 더 포함하는 눈 주변 영역 인식 방법.
  13. 제7 항 내지 제12 항 중 어느 하나의 눈 주변 영역 인식 방법을 실행하는 컴퓨터 프로그램이 기록된 컴퓨터가 판독 가능한 기록매체.
KR1020180086335A 2018-07-25 2018-07-25 콘볼루션 신경망 기반 감시 카메라 영상의 눈 주변 영역 인식 장치 및 방법 KR102213497B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180086335A KR102213497B1 (ko) 2018-07-25 2018-07-25 콘볼루션 신경망 기반 감시 카메라 영상의 눈 주변 영역 인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180086335A KR102213497B1 (ko) 2018-07-25 2018-07-25 콘볼루션 신경망 기반 감시 카메라 영상의 눈 주변 영역 인식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200018741A true KR20200018741A (ko) 2020-02-20
KR102213497B1 KR102213497B1 (ko) 2021-02-09

Family

ID=69647506

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180086335A KR102213497B1 (ko) 2018-07-25 2018-07-25 콘볼루션 신경망 기반 감시 카메라 영상의 눈 주변 영역 인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102213497B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132084B (zh) * 2020-09-29 2021-07-09 上海松鼠课堂人工智能科技有限公司 基于深度学习的眼部微表情分析方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005334403A (ja) * 2004-05-28 2005-12-08 Sanyo Electric Co Ltd 認証方法および認証装置
KR101862639B1 (ko) * 2017-05-30 2018-07-04 동국대학교 산학협력단 나선 신경망 기법을 이용한 홍채 인식 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005334403A (ja) * 2004-05-28 2005-12-08 Sanyo Electric Co Ltd 認証方法および認証装置
KR101862639B1 (ko) * 2017-05-30 2018-07-04 동국대학교 산학협력단 나선 신경망 기법을 이용한 홍채 인식 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132084B (zh) * 2020-09-29 2021-07-09 上海松鼠课堂人工智能科技有限公司 基于深度学习的眼部微表情分析方法和系统

Also Published As

Publication number Publication date
KR102213497B1 (ko) 2021-02-09

Similar Documents

Publication Publication Date Title
US10579865B2 (en) Facial verification method and apparatus
US12087087B2 (en) Face verifying method and apparatus
US10733422B2 (en) Face recognition method and apparatus
US20210271860A1 (en) Facial verification method and apparatus
US12014571B2 (en) Method and apparatus with liveness verification
KR102017766B1 (ko) 딥 러닝 기반의 차량 운전자 시선 추적 장치 및 방법
US20190163965A1 (en) Multi-modal emotion recognition device, method, and storage medium using artificial intelligence
KR101216123B1 (ko) 시청자 얼굴 추적정보 생성방법 및 생성장치, 그 기록매체 및 3차원 디스플레이 장치
KR101956071B1 (ko) 사용자 인증 방법 및 장치
US8837786B2 (en) Face recognition apparatus and method
EP3382601A1 (en) Face verifying method and apparatus
US20160379041A1 (en) Face recognition method and apparatus
US7065230B2 (en) Image processing system and driving support system
MX2012010602A (es) Aparato para el reconocimiento de la cara y metodo para el reconocimiento de la cara.
US20150092996A1 (en) Authentication apparatus, authentication system, and authentication method
EP2309454B1 (en) Apparatus and method for detecting motion
JP5787686B2 (ja) 顔認識装置、及び顔認識方法
KR102101221B1 (ko) 콘볼루션 신경망을 이용한 걸음걸이 기반 신원 인식 장치 및 방법
KR102212125B1 (ko) 조건부 적대적 생성 신경망을 이용하는 홍채 인식 장치 및 방법
US20070253598A1 (en) Image monitoring apparatus
KR101877683B1 (ko) 학습을 이용한 얼굴 인식 장치 및 방법
KR20200018741A (ko) 콘볼루션 신경망 기반 감시 카메라 영상의 눈 주변 영역 인식 장치 및 방법
JP2014529816A (ja) 虹彩認識による識別
KR102063745B1 (ko) 측면 프로파일링 기반 신원확인 장치 및 방법
US20230386256A1 (en) Techniques for detecting a three-dimensional face in facial recognition

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant