KR101443031B1 - 얼굴 인식 서비스 제공 방법 - Google Patents

얼굴 인식 서비스 제공 방법 Download PDF

Info

Publication number
KR101443031B1
KR101443031B1 KR1020130036676A KR20130036676A KR101443031B1 KR 101443031 B1 KR101443031 B1 KR 101443031B1 KR 1020130036676 A KR1020130036676 A KR 1020130036676A KR 20130036676 A KR20130036676 A KR 20130036676A KR 101443031 B1 KR101443031 B1 KR 101443031B1
Authority
KR
South Korea
Prior art keywords
face
face recognition
terminal
quality factor
quality
Prior art date
Application number
KR1020130036676A
Other languages
English (en)
Inventor
신호철
박보건
이기덕
이진욱
송봉섭
이재원
Original Assignee
주식회사 슈프리마
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 슈프리마 filed Critical 주식회사 슈프리마
Priority to KR1020130036676A priority Critical patent/KR101443031B1/ko
Priority to US14/140,410 priority patent/US9292754B2/en
Application granted granted Critical
Publication of KR101443031B1 publication Critical patent/KR101443031B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

얼굴 인식 서비스 제공 방법이 제공되며, 적어도 하나의 얼굴 등록 단말 또는 적어도 하나의 얼굴 인식 단말로부터 촬영된 사용자의 얼굴 영상 데이터를 수신하는 단계, 수신된 얼굴 영상 데이터로부터 얼굴 영역에 대응하는 데이터를 검출하는 단계, 검출된 얼굴 영역이 얼굴 인식을 위한 샘플 데이터로 적합한지의 여부를 확인하기 위하여, 적어도 하나의 품질 요소에 기초하여 검출된 얼굴 영역에 대응하는 적어도 하나의 품질 요소를 수치화하는 단계 및 수치화된 적어도 하나의 품질 요소가 기 설정된 품질 기준을 만족하는 경우, 검출된 얼굴 영역을 얼굴 인식을 위한 샘플 데이터로 설정하는 단계를 포함한다.

Description

얼굴 인식 서비스 제공 방법{METHOD FOR PROVIDING FACE RECOGNITION SERVICE}
본 발명은 얼굴 인식 서비스 제공 방법에 관한 것으로, 일정 수준 이상의 얼굴 영상만을 인식 또는 등록에 필요한 샘플 데이터로 선별하는 방법에 관한 것이다.
최근 보안의 중요도가 높아짐에 따라 지문 외에도 얼굴을 인식하여 회사나 기업의 보안을 유지하려는 사례가 증가하는 추세이고, 이에 따라 일정 단체나 기업에서는 지문 인식기 외에도 얼굴 인식을 위한 단말을 구비하고 있다.
이때, 얼굴을 인식하는 방법은 동영상 촬영으로 얻어진 영상을 분석하는 방법으로 이루어지고 있다. 얼굴 인식 서비스를 제공하는 방법과 관련하여, 선행기술인 한국공개특허 제2012-0095193호(2012.08.28 공개)에는 얼굴의 표정 변화에 따른 표정을 인식하기 위하여, 얼굴 패턴을 추출하고 얼굴 표정 변화에 따른 표정을 인식함으로써 얼굴 인식과 관련된 다양한 서비스에 적용하는 방법이 개시되어 있다.
다만, 얼굴을 인식하는 서비스를 제공함에 있어서, 동영상으로 촬영된 영상에 포함된 복수의 프레임을 모두 얼굴을 인식하거나 등록하는데 사용하게 되는 경우, 얼굴을 인식할 수 없는 일정 품질 이하의 프레임까지 모두 얼굴을 인식하거나 등록하는데 사용하게 되므로, 단말에 걸리는 부하가 증가하게 된다.
한국공개특허 제2012-0095193호(2012.08.28 공개)에는 "얼굴 인식 서비스 시스템, 그 시스템에서의 얼굴 인식 서비스 장치 및 방법"이 개시되어 있다.
본 발명의 일 실시예는, 적어도 하나의 품질 요소를 정의하고 이를 이용하여 기 설정된 품질을 만족하지 않는 프레임은 얼굴 등록 또는 얼굴 인식을 위한 샘플 데이터로 사용하지 않음으로써, 얼굴 등록 또는 얼굴 인식에 소요되는 시간과 처리 과정에 걸리는 부하를 줄일 수 있는 얼굴 인식 서비스 제공 방법을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 적어도 하나의 얼굴 등록 단말 또는 적어도 하나의 얼굴 인식 단말로부터 촬영된 사용자의 얼굴 영상 데이터를 수신하는 단계, 수신된 얼굴 영상 데이터로부터 얼굴 영역에 대응하는 데이터를 검출하는 단계, 검출된 얼굴 영역이 얼굴 인식을 위한 샘플 데이터로 적합한지의 여부를 확인하기 위하여, 적어도 하나의 품질 요소에 기초하여 검출된 얼굴 영역에 대응하는 적어도 하나의 품질 요소를 수치화하는 단계 및 수치화된 적어도 하나의 품질 요소가 기 설정된 품질 기준을 만족하는 경우, 검출된 얼굴 영역을 얼굴 인식을 위한 샘플 데이터로 설정하는 단계를 포함한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 적어도 하나의 품질 요소를 정의하고 이를 이용하여 기 설정된 품질을 만족하지 않는 프레임은 얼굴 등록 또는 얼굴 인식을 위한 샘플 데이터로 사용하지 않음으로써, 얼굴 등록 또는 얼굴 인식에 소요되는 시간과 처리 과정에 걸리는 부하를 줄일 수 있다.
도 1은 본 발명의 일 실시예에 따른 얼굴 인식 서비스 제공 시스템을 설명하기 위한 구성도이다.
도 2는 도 1에 도시된 얼굴 인식 서비스 제공 서버를 설명하기 위한 구성도이다.
도 3은 도 1에 도시된 얼굴 인식 서비스 제공 서버에서 얼굴 인식 단말 또는 얼굴 등록 단말과 연동되어 구동하는 일 실시예를 도시한 화면이다.
도 4는 본 발명의 일 실시예에 따른 도 1의 얼굴 인식 서비스 제공 시스템에 포함된 각 구성들 상호간에 데이터가 송수신되는 과정을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 얼굴 인식 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 얼굴 인식 서비스 제공 시스템을 설명하기 위한 구성도이다. 도 1을 참조하면, 얼굴 인식 서비스 제공 시스템(1)은 얼굴 등록 단말(100), 얼굴 인식 서비스 제공 서버(300) 및 얼굴 인식 단말(400)을 포함할 수 있다. 다만, 이러한 도 1의 얼굴 인식 서비스 제공 시스템(1)은 본 발명의 일 실시예에 불과하므로 도 1을 통해 본 발명이 한정 해석되는 것은 아니다.
이때, 도 1의 각 구성요소들은 일반적으로 네트워크(network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 네트워크(200)를 통하여 얼굴 등록 단말(100)과 얼굴 인식 서비스 제공 서버(300)가 연결될 수 있다. 또한, 얼굴 인식 서비스 제공 서버(300)는 네트워크(200)를 통하여 얼굴 인식 단말(400)과 연결될 수 있다. 얼굴 등록 단말(100)은 얼굴 인식 서비스 제공 서버(300)를 경유하여 얼굴 인식 단말(400)과 연결될 수 있다.
여기서, 네트워크(200)는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(200)의 일 예는, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 3G, 4G, LTE, Wi-Fi 등이 포함되나 이에 한정되지는 않는다. 또한, 도 1에 개시된 얼굴 등록 단말(100), 얼굴 인식 서비스 제공 서버(300), 얼굴 인식 단말(400)은 도 1에 도시된 것들로 한정 해석되는 것은 아니다.
얼굴 등록 단말(100)은 네트워크(200)를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 얼굴 등록 단말(100)은 네트워크(200)를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 카메라가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 또한, 얼굴 등록 단말(100)은 네트워크(200)를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 얼굴 등록 단말(100)은 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
얼굴 인식 서비스 제공 서버(300)는 얼굴 등록 단말(100)로부터 전송받은 적어도 하나의 사용자의 얼굴을 등록하고, 얼굴 인식 단말(400)로부터 전송받은 적어도 하나의 사용자의 얼굴을 인식할 수 있다. 이때, 얼굴 인식 서비스 제공 서버(300)는 데이터베이스의 역할만을 수행하고, 얼굴 인식 단말(400) 자체에서 얼굴 인식 알고리즘 등을 수행하도록 할 수도 있다. 또는 얼굴 인식 단말(400)에서는 촬영 등의 기능만을 수행하고, 얼굴 인식 서비스 제공 서버(300)에서 얼굴 인식 알고리즘을 수행할 수도 있다. 이때, 얼굴 인식 서비스 제공 서버(300)는 네트워크(200)를 통해 원격지의 서버나 단말에 접속할 수 있는 서버로 구현될 수 있다. 얼굴 인식 서비스 제공 서버(300)는 네트워크(200)를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 카메라가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 또한, 얼굴 등록 단말(100)은 네트워크(200)를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다.
얼굴 인식 단말(400)은 촬영을 통하여 사용자의 얼굴 데이터를 입력하고, 입력된 얼굴 데이터를 얼굴 인식 서비스 제공 서버(300)로 전송할 수 있다. 이때, 얼굴 인식 단말(400)은 얼굴 인식 알고리즘을 자체적으로 수행할 수도 있고, 또는 얼굴 인식 단말(400)은 사용자의 얼굴만을 촬영하여 사용자의 얼굴 데이터를 얼굴 인식 서비스 제공 서버(300)로 전송하도록 할 수도 있다.
후자의 경우 얼굴 인식 서비스 제공 서버(300)는, 얼굴 등록 단말(100)로부터 수신하여 데이터베이스화한 등록된 얼굴 데이터와, 얼굴 인식 단말(400)로부터 촬영된 얼굴 데이터를 비교하여 얼굴 인식 알고리즘을 수행하고, 그 결과를 얼굴 인식 단말(400)로 전송할 수 있다. 이때, 얼굴 인식 단말(400)은 네트워크(200)를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 얼굴 인식 단말(400)은 네트워크(200)를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 또한, 얼굴 인식 단말(400)은 네트워크(200)를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다.
본 발명의 일 실시예에 따른 얼굴 인식 서비스 제공 방법을 예로 들어 설명하면 아래와 같다.
최근 회사에서는 사원들의 근태 및 보안을 지문 인식기를 이용하여 관리하는 사례가 증가하고 있다. 더 나아가, 중요 자료에 접근하거나 중요 공간에 출입하는 사람을 관리하기 위하여, 얼굴 인식을 이용하는 회사들이 늘어나고 있다.
얼굴 인식의 경우는, 지문 인식기와 다르게 얼굴 인식을 방해하는 다양한 요소가 존재할 수 있고, 얼굴 인식 영상의 품질이 환경이나 상황에 따라 변하는 상황이 발생할 수 있다. 이러한 경우, 얼굴 인식이 제대로 수행되지 않음은 물론, 얼굴 인식 영상의 품질이 떨어지는 일련의 프레임을 모두 얼굴 인식 알고리즘을 적용시키는 경우, 얼굴 인식 알고리즘을 수행하는 단말에 부하가 증가할 수 있다.
따라서, 본 발명의 일 실시예에 따른 얼굴 인식 서비스 제공 방법은 얼굴 영상을 인식함에 있어서, 적어도 하나의 품질 요소를 정의하고, 각각의 품질 요소가 기 설정된 기준에 만족하지 않거나 또는 적어도 하나의 품질 요소를 합한 결과가 기 설정된 기준에 만족하지 않는 경우, 해당 프레임을 영상 등록 또는 영상 인식에서 제외시키는 방법을 제공한다. 또한, 기 설정된 품질 기준을 통과한 영상만을 영상 인식을 함으로써 서버에 가해지는 부하를 제거하고, 얼굴 인식에 방해가 되는 요소들을 사용자에게 피드백으로 출력하며, 얼굴 데이터가 기 설정된 품질 기준을 만족하도록 기기를 조정함으로써 얼굴 인식에 최적의 영상을 생성할 수 있다.
도 2는 도 1에 도시된 얼굴 인식 서비스 제공 서버를 설명하기 위한 구성도이고, 도 3은 도 1에 도시된 얼굴 인식 서비스 제공 서버에서 얼굴 인식 단말 또는 얼굴 등록 단말과 연동되어 구동하는 일 실시예를 도시한 화면이다.
도 2를 참조하여 설명하면, 본 발명의 일 실시예에 따른 얼굴 인식 서비스 제공 서버(300)는 수신부(310), 검출부(320), 수치화부(330), 설정부(340)를 포함한다. 이때, 얼굴 인식 서비스 제공 서버(300)는 장비 구동부(350), 인식부(360), 등록부(370), 업데이트부(380), 최적화부(390), 출력부(393) 및 조절부(395) 중 적어도 하나를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 얼굴 인식 서비스 제공 서버(300) 또는 얼굴 인식 서비스 제공 서버(300)와 연동되어 동작하는 다른 서버(미도시)가 얼굴 인식 서비스 애플리케이션, 프로그램, 웹 페이지 등을 얼굴 등록 단말(100) 또는 얼굴 인식 단말(400)로 전송하면, 얼굴 등록 단말(100) 또는 얼굴 인식 단말(400)은 해당 서비스에 대한 애플리케이션, 프로그램, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에 실행되는 스크립트를 이용하여 얼굴 인식 서비스 프로그램이 얼굴 등록 단말(100) 또는 얼굴 인식 단말(400)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: world wide web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(hyper text mark-up language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(app)을 포함한다. 앱(app)은 모바일 콘텐츠를 자유롭게 사고 파는 가상의 장터인 모바일 애플리케이션 마켓에서 다운로드 받아서 설치할 수 있다.
이때, 네트워크(200) 연결은 얼굴 등록 단말(100), 얼굴 인식 서비스 제공 서버(300), 얼굴 인식 단말(400)이 통신 가능하도록 서로 연결되는 것을 의미하며, 네트워크(200) 연결을 생성하는 것은 얼굴 인식 서비스 제공 서버(300)가 네트워크(200)로 연결되어 있는 단말과의 통신을 위해 통신 접점에 통신 객체를 생성하는 것을 의미한다. 얼굴 인식 서비스 제공 서버(300)는 통신 객체를 통해 서로 데이터를 교환할 수 있다.
수신부(310)는 적어도 하나의 얼굴 등록 단말(100) 또는 적어도 하나의 얼굴 인식 단말(400)로부터 촬영된 사용자의 얼굴 영상 데이터를 수신한다. 이때, 얼굴 등록 단말(100)은 사용자의 얼굴 영상을 동영상 데이터 또는 사진 데이터의 형식으로 촬영할 수 있다. 또한, 얼굴 인식 단말(400)은 사용자의 얼굴 영상을 동영상 데이터의 형식으로 촬영할 수 있다.
검출부(320)는 수신된 얼굴 영상 데이터로부터 얼굴 영역에 대응하는 데이터를 검출한다. 수치화부(330)는 검출된 얼굴 영역이 얼굴 인식을 위한 샘플 데이터로 적합한지의 여부를 확인하기 위하여, 적어도 하나의 품질 요소에 기초하여 검출된 얼굴 영역에 대응하는 적어도 하나의 품질 요소를 수치화할 수 있다. 여기서, 적어도 하나의 품질 요소는 검출된 얼굴 영역의 밝기, 대비, 크기, 자세, 표정, 가려짐, 잡음, 평균 얼굴과의 유사도 중 적어도 하나를 포함할 수 있다. 이때, 적어도 하나의 품질 요소는 얼굴을 등록하는 과정과 얼굴을 인식하는 과정에서 각각 다르게 적용될 수 있다. 예를 들어, 얼굴을 등록하는 과정의 품질 요소는, 사용자를 식별하기 위한 기준 데이터를 생성하는 과정이기 때문에, 얼굴을 인식하는 과정의 품질 요소보다 더 높은 수준의 품질을 요구할 수 있다.
밝기(Brightness)에 기초한 품질 요소는 검출된 얼굴 영역이 너무 밝아서 포화(Saturation)가 되거나, 너무 어두워서 잘 보이지 않는 것을 인식하기 위하여 구성될 수 있다. 밝기는 검출된 얼굴 영역을 복수의 부분 영역으로 나누고, 부분 영역의 평균 밝기를 계산하고, 부분 영역에 대하여 계산된 평균 밝기 중 최대값 또는 최소값에 기초하여 수치화될 수 있다.
대비(Contrast)에 기초한 품질 요소는 검출된 얼굴 영역 내에 밝기 분포에 대한 값이며, 얼굴 영상이 얼마나 다양한 밝기 변화를 내포하고 있으며, 해당 얼굴의 정보를 얼마나 잘 표현하고 있는지를 알려주기 위하여 구성될 수 있다. 대비는 검출된 얼굴 영역 또는 검출된 얼굴 영역 중 일부 영역의 최대 밝기와 최소 밝기의 차이에 기초하여 수치화될 수 있다.
크기(Amount)에 기초한 품질 요소는, 촬영된 얼굴이 카메라에서 너무 멀리 있어서 얼굴 영역의 크기가 너무 작게 촬영되고, 이에 따라 얼굴을 식별하기 위한 정보가 부족한 경우나, 얼굴 영역이 너무 커서 처리 영역을 벗어나는 경우를 구분하기 위하여 구성될 수 있다. 이때, 크기에 기초한 품질 요소는 얼굴 인식에 필요한 영역에 포함되는 크기의 얼굴 영상을 받아들임으로써, 인식 성능을 높이고 불필요한 프로세스를 최소화하기 위하여 구성될 수 있다. 또한, 크기를 수치화하기 위해서는, 얼굴 면적을 계산해야 하는데, 이는 얼굴 영역의 픽셀 수를 카운트하는 방법으로 수행될 수 있다.
자세(Position)에 기초한 품질 요소는, 얼굴 인식이 가능하도록 학습된 얼굴의 자세 또는 방향(정면, 좌우 측면, 상하 측면)에 맞는 자세의 얼굴이 입력될 경우, 인식 성능을 높일 수 있으므로, 자세 또는 방향을 수치화하여 구분할 수 있도록 구성될 수 있다. 자세를 수치화하는 방법은 영상 얼굴 처리 분야에서 다양한 방법들이 연구되어 알려져 있으므로, 상세한 설명은 생략하기로 한다.
표정(Face)에 기초한 품질 요소는, 표정이 변할 경우 얼굴 인식 성능을 떨어뜨릴 수 있으므로, 학습된 표정의 얼굴만을 선별하여 인식에 적용하도록 구성될 수 있다. 또한, 사용자가 학습된 표정을 짓지 않고 있는 경우, 사용자에게 이를 피드백하여 사용자가 보정을 수행할 수 있도록 할 수 있다. 얼굴 표정을 수치화하는 방법은 영상 얼굴 처리 분야에서 다양한 방법들이 연구되어 알려져 있으므로, 상세한 설명은 생략하기로 한다.
가려짐(Occlusion)에 기초한 품질 요소는, 얼굴 인식 성능 저하 요인 중 하나인 썬글라스, 목도리, 스카프, 마스크, 안대 등을 측정하기 위하여 구성될 수 있다. 이러한 부분적인 가려짐으로 인하여 인식이 잘 안되는 경우, 사용자에게 피드백으로 가려짐에 대한 상황을 출력하고 인식 성능을 개선할 수 있다.
잡음(Noise)에 기초한 품질 요소는, 모든 종류의 영상 기반 인식 시스템에서 이미징 센서에서 만들어지는 잡음을 측정하기 위하여 구성될 수 있다. 잡음은 영상 취득시의 주변 조도와 밀접한 관계가 있으며, 조도가 낮을수록 잡음은 증가될 수 있다. 따라서, 잡음 수준을 측정하여 조명의 밝기를 조절하거나 카메라의 노출 길이를 조정할 수 있으므로, 인식 성능을 개선할 수 있다.
평균 얼굴과의 유사도(Similarity)에 기초한 품질 요소는, 이미 등록된 평균 얼굴과의 유사도를 측정하기 위하여 구성될 수 있다. 이때, 평균 얼굴은 이미 등록된 얼굴들의 평균으로 계산될 수 있으며, 등록된 얼굴이 많지 않다면 얼굴 인식 알고리즘의 학습을 위하여, 사전에 사용된 얼굴 영상들의 평균이 사용될 수도 있다. 이때, 평균 얼굴은 기 등록된 적어도 하나의 얼굴 영상 데이터 또는 기 촬영된 적어도 하나의 얼굴 영상 데이터를 평균하는 방법에 의하여 생성될 수 있고, 평균 얼굴과의 유사도는 촬영된 사용자의 얼굴 영상 데이터와 평균 얼굴을 비교하는 것에 의해 수치화될 수 있다.
설정부(340)는 수치화된 적어도 하나의 품질 요소가 기 설정된 품질 기준을 만족하는 경우, 검출된 얼굴 영역을 얼굴 인식을 위한 샘플 데이터로 설정한다. 이때, 설정부(340)에서 샘플 데이터를 설정하는 방법은 두 가지가 있으며, 이는 도 3a 및 도 3b를 참조로 하여 설명한다.
도 3a는 기 설정된 품질 기준이 적어도 하나의 품질 요소별로 설정된 경우이고, 수치화된 적어도 하나의 품질 요소 중 어느 하나의 품질 요소가 기 설정된 품질 기준을 만족하지 않는 경우, 검출된 얼굴 영역은 얼굴 인식을 위한 샘플 데이터로 설정하지 않는 방법이다. 도 3a를 참조하면, 적어도 하나의 품질 요소를 수치화하고, 밝기, 대비, 잡음, 크기, 자세, 표정, 가려짐, 평균 얼굴 유사도 중 어느 하나라도 품질 요소별로 설정된 품질 기준을 만족하지 않는 경우, 해당 얼굴은 인식 또는 등록을 위한 샘플 데이터로 사용될 수 없음을 알 수 있다. 따라서, 도 3a의 일 실시에에 따른 얼굴 인식 서비스 제공 방법은 모든 품질 요소별 품질 기준을 만족한 경우에만, 인식 또는 등록을 위한 샘플 데이터로 사용할 수 있도록 구성됨을 알 수 있다.
도 3b는 적어도 하나의 품질 요소별로 가중치가 부여되고, 기 설정된 품질 기준은 적어도 하나의 품질 요소와 가중치가 연산된 결과와 비교되고, 연산된 결과가 기 설정된 품질 기준을 만족하지 않는 경우, 검출된 얼굴 영역은 얼굴 인식을 위한 샘플 데이터로 설정되지 않는다. 각각의 상황에 따라 적어도 하나의 품질 요소에 부여되는 가중치는 다를 수 있고, 각각의 가중치가 적용된 품질 요소를 합산하여 최종 품질값(Q)이 기 설정된 품질 기준을 초과하지 않는 경우, 해당 얼굴은 인식 또는 등록을 위한 샘플 데이터로 사용될 수 없음을 알 수 있다.
다시 도 2로 돌아와서, 장비 구동부(350)는 적어도 하나의 품질 요소가 기 설정된 품질 기준을 만족하지 않는 경우, 기 설정된 품질 기준을 만족하지 않는 적어도 하나의 품질 요소에 대응하는 장비를 구동하게 할 수 있다.
예를 들어, 적어도 하나의 품질 요소가 검출된 얼굴 영역의 밝기, 대비, 잡음 중 적어도 하나를 포함하는 경우, 수치화된 적어도 하나의 품질 요소에 기초하여 적어도 하나의 얼굴 등록 단말(100) 또는 얼굴 인식 단말(400)의 촬영 설정을 최적화할 수 있다. 예를 들어, 너무 밝거나 너무 어두운 경우에는 얼굴 인식 단말(100) 또는 얼굴 인식 단말(400)의 조명 수단을 조절하도록 할 수도 있고, 주변 조명과 연동하여 주변 조명을 밝게 하거나 어둡게 조절할 수도 있고, 카메라 센서의 노출 길이를 조정할 수도 있다.
또한, 적어도 하나의 품질 요소가 검출된 얼굴 영역의 자세, 표정, 가려짐 중 적어도 하나를 포함하는 경우, 수치화된 적어도 하나의 품질 요소에 기초하여 적어도 하나의 얼굴 등록 단말(100) 또는 적어도 하나의 얼굴 인식 단말(400)에서 사용자가 자세, 표정, 가려짐 중 적어도 하나를 보정할 수 있도록 피드백을 출력할 수도 있다. 예를 들어, 사용자가 회사에 입사하여 얼굴을 등록할 당시에는 웃는 얼굴로 촬영을 실시했는데, 출근 확인을 위한 얼굴 영상에는 찡그리고 있는 경우, 스피커 등을 통하여 사용자에게 "웃어보세요"라고 피드백을 줄 수도 있다. 또한, 예를 들어, 사용자가 회사에 입사하여 얼굴을 등록할 당시에는 머리를 묶고 촬영을 실시했는데, 출근 확인을 위한 얼굴 영상에는 모자를 쓰고 있는 경우, 스피커 등을 통하여 "모자를 벗어보아요"라고 피드백을 줄 수도 있다.
인식부(360)는 동영상 데이터에 포함된 적어도 하나의 프레임에 대하여, 얼굴 인식 서비스 제공 방법을 실행한 후, 샘플 데이터로 설정된 적어도 하나의 프레임을 얼굴 인식에 사용할 수 있다. 이때, 사용자의 얼굴 데이터는 적어도 하나의 얼굴 인식 단말(400)에서 촬영되는 동영상 데이터일 수 있고, 동영상 데이터는 복수의 프레임을 포함할 수 있다.
등록부(370)는 동영상 데이터 또는 사진 데이터에 포함된 적어도 하나의 프레임에 대하여 얼굴 인식 서비스 제공 방법을 실행하고, 샘플 데이터로 선정된 적어도 하나의 프레임 중 적어도 하나의 품질 요소에 기초한 품질이 가장 높은 프레임을 얼굴 등록에 사용할 수 있다. 이때, 사용자의 얼굴 데이터는 적어도 하나의 얼굴 등록 단말(100)에서 촬영된 동영상 데이터 또는 사진 데이터일 수 있다.
업데이트부(380)는 동영상 데이터에 포함된 적어도 하나의 프레임 중 샘플 데이터로 선정된 어느 하나의 프레임에 포함된 얼굴 영상과, 기 등록된 얼굴 영상의 유사도가 기 설정된 기준값 이하인 경우, 기 등록된 얼굴 영상을, 샘플 데이터로 선정된 어느 하나의 프레임에 포함된 얼굴 영상 중 적어도 일부에 대응하도록 업데이트할 수도 있다. 예를 들어, A라는 사원이 입사할 당시에는 24살이었고, 현재는 40살인 경우, 시간이 경과함에 따라 자연스럽게 주름이 생기거나 하는 등의 외형의 변화가 발생할 수 있다. 따라서, 등록된 영상과 현재 영상의 유사도가 기 설정된 값 이하로 떨어지는 경우, 등록된 영상과 현재 영상이 다른 부분의 영역만을 업데이트하는 방식으로 얼굴 변화를 추적할 수 있다.
최적화부(390)는 수치화된 적어도 하나의 품질 요소에 기초하여 적어도 하나의 얼굴 등록 단말(100) 또는 적어도 하나의 얼굴 인식 단말(400)의 촬영 설정을 최적화할 수 있다. 예를 들어, 적어도 하나의 품질 요소가 검출된 얼굴 영역의 밝기, 대비, 잡음 중 적어도 하나를 포함하는 경우, 얼굴 등록 단말(100) 또는 얼굴 인식 단말(400)에 구비된 조명을 조절하거나, 카메라의 노출 길이를 조절하는 방식으로 최적화가 이루어질 수도 있다.
출력부(393)는 수치화된 적어도 하나의 품질 요소에 기초하여, 적어도 하나의 얼굴 등록 단말(100) 또는 적어도 하나의 얼굴 인식 단말(400)에서, 사용자가 자세, 표정, 가려짐 중 적어도 하나를 보정할 수 있도록 피드백을 출력할 수 있다. 이때, 피드백은, 디스플레이를 통하여 이미지, 부호, 기호 등의 형태로 출력될 수 있고, 스피커 등을 통하여 음성, 부저음 등의 형태로 출력될 수 있다.
조절부(395)는 수치화된 잡음에 기초하여, 적어도 하나의 얼굴 등록 단말(100) 또는 적어도 하나의 얼굴 인식 단말(400)의 촬영 노출 시간을 증가시키거나 조명의 세기를 조절할 수 있다. 이때, 적어도 하나의 품질 요소는 조도를 포함할 수 있고, 조도는 적어도 하나의 얼굴 등록 단말(100) 또는 적어도 하나의 얼굴 인식 단말(400)에서 잡음(Noise)에 기초하여 수치화될 수 있다.
덧붙여서, 얼굴 인식 단말(400)에서 얼굴을 인식하는 과정에서 샘플 데이터를 선정하기 위해서는, 동영상으로 촬영되어 연속적으로 입력되는 일련의 프레임의 얼굴 영상 중 품질이 기준을 통과한 영상만을 선별하여 인식에 사용할 수 있다. 모든 프레임에 대하여 인식을 수행하지 않기 때문에 프로세서에 걸리는 `부하가 줄어들 수 있고, 이에 따라 저사양의 프로세서로도 얼굴을 인식할 수 있고 인식 속도를 개선시킬 수 있다. 또한, 얼굴 등록 단말(100)에서 등록할 얼굴을 취득할 때, 품질이 최상인 영상을 선별하여 등록을 시키는 경우, 얼굴 인식 단말(400)에서 인식 성능을 높일 수 있다.
본 발명의 일 실시예에 따른 얼굴 인식 서비스 제공 방법은 얼굴 영상을 인식함에 있어서, 적어도 하나의 품질 요소를 정의하고, 각각의 품질 요소가 기 설정된 기준에 만족하지 않거나 또는 적어도 하나의 품질 요소를 합한 결과가 기 설정된 기준에 만족하지 않는 경우 해당 프레임을 영상 인식에서 제외시키는 방법을 제공할 수 있다. 또한, 기 설정된 품질 기준을 통과한 영상만을 영상 인식을 함으로써 서버에 가해지는 부하를 제거하고, 얼굴 인식에 방해가 되는 요소들을 사용자에게 피드백으로 출력하고, 품질 기준을 만족하도록 기기를 조정함으로써 얼굴 인식에 최적의 영상을 생성할 수 있다.
이와 같은 도 2 및 3의 얼굴 인식 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 얼굴 인식 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 4는 본 발명의 일 실시예에 따른 도 1의 얼굴 인식 서비스 제공 시스템에 포함된 각 구성들 상호간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 4를 통해 본원의 일 실시예에 따라 신호가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 4에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.
도 4를 참조하면, 얼굴 등록 단말(100)과 얼굴 인식 단말(400)에서 사용자의 얼굴을 촬영하고(S4100), 촬영된 얼굴을 영상 데이터를 얼굴 인식 서비스 제공 서버(300)로 전송한다(S4200).
이때, 얼굴 인식 서비스 제공 서버(300)는 수신된 얼굴 영상 데이터로부터 얼굴 영역에 대응하는 데이터를 검출할 수 있고(S4300), 적어도 하나의 품질 요소에 기초하여 검출된 얼굴 영역에 대응하는 적어도 하나의 품질 요소를 수치화할 수 있다(S4400).
얼굴 인식 서비스 제공 서버(300)는 적어도 하나의 품질 요소가 기 설정된 품질 기준을 만족하지 않는 경우(S4500), 기 설정된 품질 기준을 만족하지 않는 적어도 하나의 품질 요소를 추출하고(S4600), 추출된 적어도 하나의 품질 요소에 대응하는 장비의 구동 신호를 생성한다(S4700). 그리고 나서, 얼굴 인식 서비스 제공 서버(300)는 얼굴 등록 단말(100) 또는 얼굴 인식 단말(400)로 구동 신호를 전송하고(S4800), 얼굴 등록 단말(100) 또는 얼굴 인식 단말(400)은 장비를 구동시킨다(S4900).
얼굴 인식 서비스 제공 서버(300)는 적어도 하나의 품질 요소가 기 설정된 품질 기준을 만족하는 경우(S4500), 검출된 얼굴 영역을 얼굴 등록 또는 얼굴 인식을 위한 샘플 데이터로 설정한다(S4910). 그리고 나서, 얼굴 인식 서비스 제공 서버(300)는 얼굴 등록 또는 얼굴 인식을 수행하고(S4930), 얼굴 등록 단말(100) 또는 얼굴 인식 단말(400)로 결과 데이터를 전송한다(S4950).
마지막으로, 얼굴 등록 단말(100) 또는 얼굴 인식 단말(400)은 전송된 결과를 출력할 수 있다. 이때, 결과 데이터는 사용자가 기 등록된 사용자인지의 여부일 수 있고, 기 등록된 사용자가 인증을 실시했을 경우 경고나 알람을 출력할 수도 있다.
이와 같은 도 4의 구성 프로파일 얼굴 인식 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 3을 통해 얼굴 인식 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
상술한 단계들(S4100~S4970)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S4100~S4970)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.
도 5는 본 발명의 일 실시예에 따른 얼굴 인식 서비스 제공 방법을 설명하기 위한 동작 흐름도이다. 도 5를 참조하면, 적어도 하나의 얼굴 등록 단말 또는 적어도 하나의 얼굴 인식 단말로부터 촬영된 사용자의 얼굴 영상 데이터를 수신한다(S5100).
그리고 나서, 수신된 얼굴 영상 데이터로부터 얼굴 영역에 대응하는 데이터를 검출한다(S5200).
또한, 검출된 얼굴 영역이 얼굴 인식을 위한 샘플 데이터로 적합한지의 여부를 확인하기 위하여, 적어도 하나의 품질 요소에 기초하여 검출된 얼굴 영역에 대응하는 적어도 하나의 품질 요소를 수치화한다(S5300).
마지막으로, 수치화된 적어도 하나의 품질 요소가 기 설정된 품질 기준을 만족하는 경우, 검출된 얼굴 영역을 얼굴 인식을 위한 샘플 데이터로 설정한다(S5400).
이와 같은 도 5의 얼굴 인식 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 4를 통해 얼굴 인식 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 5를 통해 설명된 일 실시예에 따른 얼굴 인식 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 일 실시예에 따른 얼굴 인식 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 메신저 목록 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (14)

  1. 얼굴 인식 서비스 제공 장치가 실행하는 얼굴 인식 서비스 제공 방법에 있어서,
    적어도 하나의 얼굴 등록 단말 또는 적어도 하나의 얼굴 인식 단말로부터 촬영된 사용자의 동영상 데이터에 포함된 복수의 프레임에 대응하는 얼굴 영상 데이터를 수신하는 단계;
    상기 수신된 얼굴 영상 데이터로부터 얼굴 영역에 대응하는 데이터를 검출하는 단계;
    상기 검출된 얼굴 영역이 상기 얼굴 인식을 위한 샘플 데이터로 적합한지의 여부를 확인하기 위하여, 적어도 하나의 품질 요소에 기초하여 상기 검출된 얼굴 영역에 대응하는 상기 적어도 하나의 품질 요소를 수치화하는 단계;
    상기 수치화된 상기 적어도 하나의 품질 요소가 기 설정된 품질 기준을 만족하는 경우, 상기 검출된 얼굴 영역을 상기 얼굴 인식을 위한 샘플 데이터로 설정하는 단계
    를 포함하고,
    상기 동영상 데이터에 포함된 일련의 연속한 적어도 하나의 프레임에 대하여 상기 얼굴 인식 서비스 제공 방법을 실행하고, 상기 샘플 데이터로 선정된 적어도 하나의 프레임 중 상기 적어도 하나의 품질 요소에 기초한 품질이 가장 높은 프레임을 얼굴 등록 또는 얼굴 인식에 사용하는 것인, 얼굴 인식 서비스 제공 방법.
  2. 제 1 항에 있어서,
    기 설정된 품질 기준은 상기 적어도 하나의 품질 요소별로 설정되고,
    상기 수치화된 적어도 하나의 품질 요소 중 어느 하나의 품질 요소가 상기 기 설정된 품질 기준을 만족하지 않는 경우, 상기 검출된 얼굴 영역은 상기 얼굴 인식을 위한 샘플 데이터로 설정하지 않는 것인, 얼굴 인식 서비스 제공 방법.
  3. 제 1 항에 있어서,
    상기 적어도 하나의 품질 요소별로 가중치가 부여되고,
    기 설정된 품질 기준은, 상기 적어도 하나의 품질 요소와 상기 가중치가 연산된 결과와 비교되고, 상기 연산된 결과가 상기 기 설정된 품질 기준을 만족하지 않는 경우, 상기 검출된 얼굴 영역은 상기 얼굴 인식을 위한 샘플 데이터로 설정하지 않는 것인, 얼굴 인식 서비스 제공 방법.
  4. 제 1 항에 있어서,
    상기 적어도 하나의 품질 요소는 상기 검출된 얼굴 영역의 밝기, 대비, 크기, 자세, 표정, 가려짐, 잡음, 평균 얼굴과의 유사도 중 적어도 하나를 포함하는 것인, 얼굴 인식 서비스 제공 방법.
  5. 제 1 항에 있어서,
    상기 적어도 하나의 품질 요소가 기 설정된 품질 기준을 만족하지 않는 경우, 상기 기 설정된 품질 기준을 만족하지 않는 상기 적어도 하나의 품질 요소에 대응하는 장비를 구동하는 단계
    를 더 포함하는 것인, 얼굴 인식 서비스 제공 방법.
  6. 삭제
  7. 삭제
  8. 제 1 항에 있어서,
    상기 사용자의 얼굴 데이터는 상기 적어도 하나의 얼굴 인식 단말에서 촬영되는 동영상 데이터이고,
    상기 동영상 데이터에 포함된 적어도 하나의 프레임 중 샘플 데이터로 선정된 어느 하나의 프레임에 포함된 얼굴 영상과, 기 등록된 얼굴 영상의 유사도가 기 설정된 기준값 이하인 경우, 상기 기 등록된 얼굴 영상을 상기 샘플 데이터로 선정된 어느 하나의 프레임에 포함된 얼굴 영상 중 적어도 일부에 대응되도록 업데이트하는 단계
    를 더 포함하는 것인, 얼굴 인식 서비스 제공 방법.
  9. 제 1 항에 있어서,
    상기 적어도 하나의 품질 요소는 상기 검출된 얼굴 영역의 밝기, 대비, 잡음 중 적어도 하나를 포함하고,
    상기 수치화된 적어도 하나의 품질 요소에 기초하여 상기 적어도 하나의 얼굴 등록 단말 또는 적어도 하나의 얼굴 인식 단말의 촬영 설정을 최적화하는 단계
    를 더 포함하는 것인, 얼굴 인식 서비스 제공 방법.
  10. 제 1 항에 있어서,
    상기 적어도 하나의 품질 요소는 상기 검출된 얼굴 영역의 자세, 표정, 가려짐 중 적어도 하나를 포함하고,
    상기 수치화된 적어도 하나의 품질 요소에 기초하여, 상기 적어도 하나의 얼굴 등록 단말 또는 적어도 하나의 얼굴 인식 단말에서, 상기 사용자가 상기 자세, 표정, 가려짐 중 적어도 하나를 보정할 수 있도록 피드백을 출력하는 단계
    를 더 포함하는 것인, 얼굴 인식 서비스 제공 방법.
  11. 제 1 항에 있어서,
    상기 적어도 하나의 품질 요소는 밝기와 대비를 포함하고,
    상기 밝기는 상기 검출된 얼굴 영역을 복수의 부분 영역으로 나누고, 상기 부분 영역의 평균 밝기를 계산하고, 상기 부분 영역에 대하여 계산된 평균 밝기 중 최대값 또는 최소값에 기초하여 수치화되고,
    상기 대비는 상기 검출된 얼굴 영역 또는 상기 검출된 얼굴 영역 중 일부 영역의 최대 밝기와 최소 밝기의 차이에 기초하여 수치화되는 것인, 얼굴 인식 서비스 제공 방법.
  12. 제 1 항에 있어서,
    상기 적어도 하나의 품질 요소는 조도를 포함하고,
    상기 조도는 상기 적어도 얼굴 등록 단말 또는 적어도 하나의 얼굴 인식 단말에서 감지한 잡음(Noise)에 기초하여 수치화되고,
    상기 수치화된 잡음에 기초하여 상기 적어도 하나의 얼굴 등록 단말 또는 적어도 하나의 얼굴 인식 단말의 촬영 노출 시간을 증가시키거나 또는 조명의 세기를 조절하는 단계
    를 더 포함하는 것인, 얼굴 인식 서비스 제공 방법.
  13. 제 1 항에 있어서,
    상기 적어도 하나의 품질 요소는 평균 얼굴과의 유사도를 포함하고,
    상기 평균 얼굴은 기 등록된 적어도 하나의 얼굴 영상 데이터 또는 기 촬영된 적어도 하나의 얼굴 영상 데이터를 평균하는 방법에 기초하여 생성되고,
    상기 평균 얼굴과의 유사도는 상기 촬영된 사용자의 얼굴 영상 데이터와 상기 평균 얼굴을 비교하는 것에 기초하여 수치화되는 것인, 얼굴 인식 서비스 제공 방법.
  14. 얼굴 인식 서비스 제공 방법을 실행하는 얼굴 인식 서비스 제공 장치와 연동하여 동작하는 애플리케이션을 제공하는 방법에 있어서,
    상기 얼굴 인식 서비스 제공 장치는 청구항 1 내지 5 및 8 내지 13 중 어느 하나에 기재된 방법을 실시하는 것을 특징으로 하는 애플리케이션 제공 방법.
KR1020130036676A 2013-04-04 2013-04-04 얼굴 인식 서비스 제공 방법 KR101443031B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130036676A KR101443031B1 (ko) 2013-04-04 2013-04-04 얼굴 인식 서비스 제공 방법
US14/140,410 US9292754B2 (en) 2013-04-04 2013-12-24 Method for face recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130036676A KR101443031B1 (ko) 2013-04-04 2013-04-04 얼굴 인식 서비스 제공 방법

Publications (1)

Publication Number Publication Date
KR101443031B1 true KR101443031B1 (ko) 2014-09-23

Family

ID=51654498

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130036676A KR101443031B1 (ko) 2013-04-04 2013-04-04 얼굴 인식 서비스 제공 방법

Country Status (2)

Country Link
US (1) US9292754B2 (ko)
KR (1) KR101443031B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101815144B1 (ko) 2016-07-05 2018-01-05 이응수 얼굴인식 기반의 사진 공유 방법 및 이를 이용한 사진 공유 시스템
KR102194511B1 (ko) * 2020-03-30 2020-12-24 에스큐아이소프트 주식회사 대표 영상프레임 결정시스템 및 이를 이용한 방법
US11048785B2 (en) 2018-02-14 2021-06-29 Samsung Electronics Co., Ltd Method and apparatus of performing authentication
WO2022191495A1 (ko) * 2021-03-09 2022-09-15 삼성전자 주식회사 전자 장치 및 그의 얼굴 인식 방법
KR102543172B1 (ko) * 2022-07-22 2023-06-14 주식회사 메타스킨큐어 사용자 단말을 통한 인공지능에 기반한 피부진단용 데이터 수집 방법 및 시스템

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017004464A1 (en) * 2015-06-30 2017-01-05 Nec Corporation Of America Facial recognition system
US10846538B2 (en) * 2016-12-06 2020-11-24 Konica Minolta, Inc. Image recognition system and image recognition method to estimate occurrence of an event
US10977509B2 (en) 2017-03-27 2021-04-13 Samsung Electronics Co., Ltd. Image processing method and apparatus for object detection
US11538257B2 (en) 2017-12-08 2022-12-27 Gatekeeper Inc. Detection, counting and identification of occupants in vehicles
US11087119B2 (en) * 2018-05-16 2021-08-10 Gatekeeper Security, Inc. Facial detection and recognition for pedestrian traffic
US10963675B2 (en) 2019-01-30 2021-03-30 Realnetworks, Inc. Method for selecting images in video of faces in the wild
US10867193B1 (en) 2019-07-10 2020-12-15 Gatekeeper Security, Inc. Imaging systems for facial detection, license plate reading, vehicle overview and vehicle make, model, and color detection
US11196965B2 (en) 2019-10-25 2021-12-07 Gatekeeper Security, Inc. Image artifact mitigation in scanners for entry control systems
CN111192241B (zh) * 2019-12-23 2024-02-13 深圳市优必选科技股份有限公司 一种人脸图像的质量评估方法、装置及计算机存储介质
CN111859025A (zh) * 2020-07-03 2020-10-30 广州华多网络科技有限公司 表情指令生成方法、装置、设备及存储介质
CN112948618B (zh) * 2021-02-25 2023-03-24 成都旺小宝科技有限公司 一种用于售楼处的有效客户识别方法
CN113569676B (zh) * 2021-07-16 2024-06-11 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141541A (ja) * 2001-10-31 2003-05-16 Toshiba Corp 人物認識装置および通行制御装置
JP2006344236A (ja) * 2006-08-04 2006-12-21 Nec Corp 顔メタデータ生成方法および装置、並びに顔認識方法およびシステム
JP2008217335A (ja) * 2007-03-02 2008-09-18 Fujifilm Corp 画像ソート装置および方法並びにプログラム
JP2009032117A (ja) * 2007-07-27 2009-02-12 Toshiba Corp 申込書受付装置および個人認証用媒体発行システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3575679B2 (ja) * 2000-03-31 2004-10-13 日本電気株式会社 顔照合方法と該照合方法を格納した記録媒体と顔照合装置
US7327891B2 (en) * 2001-07-17 2008-02-05 Yesvideo, Inc. Automatic selection of a visual image or images from a collection of visual images, based on an evaluation of the quality of the visual images
KR100608596B1 (ko) * 2004-12-28 2006-08-03 삼성전자주식회사 얼굴 검출을 기반으로 하는 휴대용 영상 촬영 기기 및영상 촬영 방법
JP4790523B2 (ja) * 2005-09-14 2011-10-12 株式会社リコー 画像処理装置およびプログラム
US7889892B2 (en) * 2005-10-13 2011-02-15 Fujifilm Corporation Face detecting method, and system and program for the methods
JP4254873B2 (ja) * 2007-02-16 2009-04-15 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
JP2010026630A (ja) 2008-07-16 2010-02-04 Seiko Epson Corp 画像検索装置および画像検索方法
JP5397481B2 (ja) * 2009-12-18 2014-01-22 富士通株式会社 画像選別装置及び画像選別方法
KR101748372B1 (ko) 2011-02-18 2017-06-19 에스케이플래닛 주식회사 얼굴 인식 서비스 시스템, 그 시스템에서의 얼굴 인식 서비스 장치 및 방법
US9613258B2 (en) * 2011-02-18 2017-04-04 Iomniscient Pty Ltd Image quality assessment
JP5136669B2 (ja) * 2011-03-18 2013-02-06 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141541A (ja) * 2001-10-31 2003-05-16 Toshiba Corp 人物認識装置および通行制御装置
JP2006344236A (ja) * 2006-08-04 2006-12-21 Nec Corp 顔メタデータ生成方法および装置、並びに顔認識方法およびシステム
JP2008217335A (ja) * 2007-03-02 2008-09-18 Fujifilm Corp 画像ソート装置および方法並びにプログラム
JP2009032117A (ja) * 2007-07-27 2009-02-12 Toshiba Corp 申込書受付装置および個人認証用媒体発行システム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101815144B1 (ko) 2016-07-05 2018-01-05 이응수 얼굴인식 기반의 사진 공유 방법 및 이를 이용한 사진 공유 시스템
US11048785B2 (en) 2018-02-14 2021-06-29 Samsung Electronics Co., Ltd Method and apparatus of performing authentication
US11720658B2 (en) 2018-02-14 2023-08-08 Samsung Electronics Co., Ltd. Method and apparatus of performing authentication
KR102194511B1 (ko) * 2020-03-30 2020-12-24 에스큐아이소프트 주식회사 대표 영상프레임 결정시스템 및 이를 이용한 방법
WO2022191495A1 (ko) * 2021-03-09 2022-09-15 삼성전자 주식회사 전자 장치 및 그의 얼굴 인식 방법
KR102543172B1 (ko) * 2022-07-22 2023-06-14 주식회사 메타스킨큐어 사용자 단말을 통한 인공지능에 기반한 피부진단용 데이터 수집 방법 및 시스템

Also Published As

Publication number Publication date
US20140301599A1 (en) 2014-10-09
US9292754B2 (en) 2016-03-22

Similar Documents

Publication Publication Date Title
KR101443031B1 (ko) 얼굴 인식 서비스 제공 방법
US10943126B2 (en) Method and apparatus for processing video stream
CN108898579B (zh) 一种图像清晰度识别方法、装置和存储介质
US11087447B2 (en) Systems and methods for quality assurance of image recognition model
US20230260321A1 (en) System And Method For Scalable Cloud-Robotics Based Face Recognition And Face Analysis
US9104914B1 (en) Object detection with false positive filtering
US11776257B2 (en) Systems and methods for enhancing real-time image recognition
JP2000306095A (ja) 画像照合・検索システム
US10242447B2 (en) Video processing system and method for deformation and occlusion resistant object tracking in video content
GB2506477A (en) A method of transmitting a data reduced image to a recognition/authentication system
US11989975B2 (en) Iris authentication device, iris authentication method, and recording medium
CN111401349A (zh) 一种人脸测温方法、装置、电子设备及存储介质
JP2019079357A (ja) 所定画像領域をマスクした撮影映像を学習映像として選択する学習映像選択装置、プログラム及び方法
JP2005149370A (ja) 画像撮影装置、個人認証装置及び画像撮影方法
US11605220B2 (en) Systems and methods for video surveillance
KR100847142B1 (ko) 얼굴 인식을 위한 전처리 방법, 이를 이용한 얼굴 인식방법 및 장치
US20240028698A1 (en) System and method for perfecting and accelerating biometric identification via evolutionary biometrics via continual registration
CN111091056A (zh) 图像中的墨镜识别方法及装置、电子设备、存储介质
CN111062272A (zh) 基于色彩恢复的图像处理、行人识别方法、装置与可读存储介质
US20220122377A1 (en) Information processing apparatus, information processing method, and program
CN115115552A (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
JP2014116033A (ja) 個人認証装置及び個人認証方法、カメラ、プログラム並びに記憶媒体
CN109741243B (zh) 彩色素描图像生成方法及相关产品
KR101431651B1 (ko) 시각 장애인용 모바일 사진 촬영 장치 및 방법
CN112752031A (zh) 图像采集检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180808

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190903

Year of fee payment: 6