KR101316805B1 - 자동 얼굴 위치 추적 및 얼굴 인식 방법 및 시스템 - Google Patents

자동 얼굴 위치 추적 및 얼굴 인식 방법 및 시스템 Download PDF

Info

Publication number
KR101316805B1
KR101316805B1 KR1020130057641A KR20130057641A KR101316805B1 KR 101316805 B1 KR101316805 B1 KR 101316805B1 KR 1020130057641 A KR1020130057641 A KR 1020130057641A KR 20130057641 A KR20130057641 A KR 20130057641A KR 101316805 B1 KR101316805 B1 KR 101316805B1
Authority
KR
South Korea
Prior art keywords
face
unit
image
authentication
displacement
Prior art date
Application number
KR1020130057641A
Other languages
English (en)
Inventor
정규택
Original Assignee
주식회사 파이브지티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=49638121&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR101316805(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 주식회사 파이브지티 filed Critical 주식회사 파이브지티
Priority to KR1020130057641A priority Critical patent/KR101316805B1/ko
Application granted granted Critical
Publication of KR101316805B1 publication Critical patent/KR101316805B1/ko
Priority to CN201480028271.6A priority patent/CN105229671B/zh
Priority to US14/892,804 priority patent/US10248840B2/en
Priority to PCT/KR2014/003930 priority patent/WO2014189216A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 발명은 자동 얼굴 위치 추적 및 얼굴 인식 방법 및 시스템을 제공한다. 본 발명은 사용자를 촬영한 후, 임의의 위치에 있는 사용자의 얼굴 영상을 검출한 후, 얼굴 영상이 최적의 얼굴 인식이 가능한 얼굴 인증 영역내로 이동할 수 있도록 촬영부를 이동시켜 촬영 방향을 변경함으로써, 사용자의 이동을 요구하지 않고도 사용자의 얼굴 인식을 수행할 수 있으므로, 얼굴 인식의 편의성을 극대화할 수 있다. 또한, 본 발명은 얼굴 인식을 위해서 사전에 등록된 얼굴 영상과 연계하여 해당 얼굴 영상이 인증용 얼굴 영상과 매칭되어 얼굴 인증에 직접 이용된 매칭 횟수를 저장하고, 얼굴 인식 과정에서 매칭 횟수가 많은 얼굴 영상을 먼저 인증용 영상과 비교함으로써, 얼굴 인식 속도를 크게 향상시킬 수 있다. 또한, 본 발명은 매칭 횟수가 적은 영상은 일정한 시간 주기로 신규 얼굴 영상으로 교체함으로써, 사용자의 성장이나 노화로 인하여 변화하는 얼굴을 적응적으로 자연스럽게 얼굴 인식에 반영할 수 있다.

Description

자동 얼굴 위치 추적 및 얼굴 인식 방법 및 시스템{Automatic Face tracing and recognition method and system}
본 발명은 얼굴 인식 방법 및 시스템에 관한 것으로서, 보다 구체적으로는 자동으로 얼굴 위치를 추적하여 얼굴을 인식할 수 있는 얼굴 위치 추적 및 얼굴 인식 방법 및 시스템에 관한 것이다.
종래에 다양한 얼굴 인식 시스템들이 개발되어 상용화되고 있다. 그런데, 이러한 종래의 얼굴 인식 시스템의 경우에, 사용자가 카메라 앞의 중앙 위치에서 얼굴 영상을 촬영하되, 얼굴 영상이 "얼굴 인증 구역"에 포함되도록 촬영될 때 최적의 얼굴 인식 성능을 나타내도록 설계되었다.
그러나, 종래의 얼굴인식 시스템은 카메라가 고정되어 있고, 또한 일정한 높이에 고정 설치되어야 하기 때문에, 사용자의 키에 따라서 얼굴의 위치가 "얼굴인증 구역"에서 벗어나는 경우 얼굴인증이 실패하는 경우가 자주 발생하는 문제점이 있다.
이러한 문제점을 해결하기 위해서, 종래의 얼굴 인식 시스템은 사용자의 얼굴 영상을 디스플레이에 표시하고, 얼굴 인증 구역을 함께 디스플레이에 표시하여, 사용자로 하여금 스스로 위치를 이동하여 자신의 얼굴 영상이 얼굴 인증 구역 내부에 위치시키도록 유도하고 있는데, 이는 사용자로 하여금 상당한 불편을 초래하여 얼굴 인식 시스템의 대중화에 많은 문제점이 낳고 있다.
본 발명이 해결하고자 하는 과제는 사용자가 이동하지 않아도 자동으로 사용자의 얼굴 위치를 추적하는 얼굴 인식 방법 및 시스템을 제공하는 것이다.
상술한 과제를 해결하기 위한 본 발명의 바람직한 실시예에 따른 자동 얼굴 위치 추적 및 얼굴 인식 시스템은, 얼굴 영상을 촬영하는 촬영부; 상기 얼굴 영상에서 얼굴 영역을 검출하여 검출된 얼굴 영역의 위치 정보(얼굴 영역 위치 정보)를 출력하는 얼굴 영역 검출부; 상기 얼굴 영역 위치 정보에 따라서, 상기 촬영부에서 촬영되는 얼굴 영역을 얼굴 인증 영역으로 이동시키기 위해서, 상기 촬영부가 이동해야할 변위를 측정하는 변위 계산부; 및 상기 변위에 따라서 상기 촬영부를 이동시키는 구동부를 포함한다.
또한, 본 발명의 바람직한 실시예에 따른 자동 얼굴 위치 추적 및 얼굴 인식 시스템의 상기 변위 계산부는 상기 촬영부가 이동해야할 상하 및 좌우의 회전각 이동변위를 측정하고, 상기 구동부는 상기 회전각 이동변위에 따라서 촬영부가 향하는 방향을 변경할 수 있다.
또한, 본 발명의 바람직한 실시예에 따른 자동 얼굴 위치 추적 및 얼굴 인식 시스템의 상기 변위 계산부는 상기 촬영부가 이동해야할 상하 직선 이동 변위와 좌우의 회전각 이동변위를 측정하고, 상기 구동부는 상기 직선 이동 변위와 상기 회전각 이동변위에 따라서 촬영부가 향하는 방향을 변경할 수 있다.
또한, 본 발명의 바람직한 실시예에 따른 자동 얼굴 위치 추적 및 얼굴 인식 시스템의 상기 얼굴 영역 검출부는 상기 촬영부로부터 입력되는 영상을 사전에 정의된 크기의 블록단위로 순차적으로 조사하여 얼굴 영역을 검출할 수 있다.
또한, 본 발명의 바람직한 실시예에 따른 자동 얼굴 위치 추적 및 얼굴 인식 시스템은, 사용자의 얼굴 영상을 사용자에게 출력하는 디스플레이부를 더 포함하고, 상기 촬영부는 적외선 카메라 및 컬러 카메라를 포함하며, 상기 적외선 카메라에서 촬영된 얼굴 영상은 상기 얼굴 영역 검출부로 출력되고, 상기 컬러 카메라에서 촬영된 얼굴 영상은 상기 디스플레이부로 출력될 수 있다.
또한, 본 발명의 바람직한 실시예에 따른 자동 얼굴 위치 추적 및 얼굴 인식 시스템은, 상기 촬영부 주변에 사용자의 얼굴로 조명을 조사하는 조명부를 더 포함할 수 있다.
또한, 본 발명의 바람직한 실시예에 따른 자동 얼굴 위치 추적 및 얼굴 인식 시스템은, 상기 얼굴 영역 검출부로부터 입력된 인증용 영상과 데이터 베이스에 사전에 저장된 복수의 등록 얼굴 영상을 비교하여 얼굴 인식을 수행하는 얼굴 인식부를 더 포함하되, 상기 얼굴 인식부는 상기 데이터 베이스에 사전에 저장된 복수의 등록 얼굴 영상들에 대해서 인증용 영상과 매칭된 횟수(매칭 횟수)를 저장하고, 상기 얼굴 영역 검출부로부터 인증용 영상이 입력되면 매칭 횟수가 많은 등록 얼굴 영상들부터 순차적으로 인증용 영상과 비교하여 얼굴 인식을 수행할 수 있다.
또한, 본 발명의 바람직한 실시예에 따른 자동 얼굴 위치 추적 및 얼굴 인식 시스템의 상기 데이터 베이스에 저장된 각 사용자들의 얼굴 영상은 매칭 횟수가 많은 순서에 따라서 복수의 그룹으로 분류되어 있고, 상기 얼굴 인식부는, 상기 인증용 영상을 매칭 횟수가 가장 많은 분류에 속하는 복수 사용자들의 얼굴 영상들부터 매칭 횟수가 작은 분류에 속하는 복수 사용자들의 얼굴 영상들 순서로 비교할 수 있다.
또한, 본 발명의 바람직한 실시예에 따른 자동 얼굴 위치 추적 및 얼굴 인식 시스템의 상기 얼굴 인식부는, 일정한 시간 주기로 상기 복수의 등록 얼굴 영상들 중 매칭 횟수가 가장 적은 얼굴 영상을 인증용 영상으로 대체할 수 있다.
또한, 본 발명의 바람직한 실시예에 따른 자동 얼굴 위치 추적 및 얼굴 인식 시스템은 상기 얼굴 영역 검출부로부터 입력된 인증용 영상과 데이터 베이스에 사전에 저장된 복수의 등록 얼굴 영상을 비교하여 얼굴 인식을 수행하는 얼굴 인식부; 및 상기 얼굴 인식부의 얼굴 인식 결과에 따라서 도어록이 개폐될 수 있도록 상기 얼굴 인식부로부터 입력된 인식 결과를 무선 또는 유선으로 상기 도어록으로 전송하는 통신부를 더 포함할 수 있다.
한편, 상술한 과제를 해결하기 위한 본 발명의 바람직한 실시예에 따른 자동 얼굴 위치 추적 및 얼굴 인식 방법은, (a) 촬영부가 사용자의 얼굴 영상을 촬영하는 단계; (b) 상기 얼굴 영상에서 얼굴 영역을 검출하여 검출된 얼굴 영역의 위치 정보(얼굴 영역 위치 정보)를 생성하는 단계; (c) 상기 얼굴 영역 위치 정보에 따라서, 상기 얼굴 영역을 얼굴 인증 영역으로 이동시키기 위해서, 상기 촬영부가 이동해야할 변위를 계산하는 단계; 및 (d) 상기 변위에 따라서 상기 촬영부를 이동시키는 단계를 포함할 수 있다.
또한, 본 발명의 바람직한 실시예에 따른 자동 얼굴 위치 추적 및 얼굴 인식 방법의 상기 (c) 단계는, 상기 촬영부가 이동해야할 상하 및 좌우의 회전각 이동변위를 측정하고, 상기 (d) 단계는, 상기 회전각 이동변위에 따라서 촬영부가 향하는 방향을 변경할 수 있다.
또한, 본 발명의 바람직한 실시예에 따른 자동 얼굴 위치 추적 및 얼굴 인식 방법의 상기 (c) 단계는 상기 촬영부가 이동해야할 상하 직선 이동 변위와 좌우의 회전각 이동변위를 측정하고, 상기 (d) 단계는 상기 직선 이동 변위와 상기 회전각 이동변위에 따라서 촬영부가 향하는 방향을 변경할 수 있다.
또한, 본 발명의 바람직한 실시예에 따른 자동 얼굴 위치 추적 및 얼굴 인식 방법의 상기 (b) 단계는 상기 촬영부로부터 입력되는 영상을 사전에 정의된 크기의 블록단위로 순차적으로 조사하여 얼굴 영역을 검출할 수 있다.
또한, 본 발명의 바람직한 실시예에 따른 자동 얼굴 위치 추적 및 얼굴 인식 방법에서, 상기 촬영부는 적외선 카메라 및 컬러 카메라를 포함하며, 상기 (a) 단계는, 상기 컬러 카메라에서 촬영된 얼굴 영상을 디스플레이를 통해서 사용자에게 출력하고, 상기 (b) 단계는, 상기 적외선 카메라에서 촬영된 얼굴 영상에 대해서 얼굴 영역을 검출할 수 있다.
또한, 본 발명의 바람직한 실시예에 따른 자동 얼굴 위치 추적 및 얼굴 인식 방법의 상기 (a) 단계는, 상기 촬영부 주변에 설치된 조명부에서 사용자의 얼굴로 조명을 조사하여 사용자의 얼굴 영상을 촬영할 수 있다.
또한, 본 발명의 바람직한 실시예에 따른 자동 얼굴 위치 추적 및 얼굴 인식 방법은, (e) 상기 카메라가 이동하여 얼굴 영상이 상기 얼굴 인증 영역에 위치하면, 상기 얼굴 인증 영역에 위치한 인증용 영상과 데이터 베이스에 사전에 저장된 복수의 등록 얼굴 영상을 비교하여 얼굴 인식을 수행하는 단계를 더 포함하고, 상기 데이터 베이스에는 사전에 저장된 복수의 등록 얼굴 영상들에 대해서 인증용 영상과 매칭된 횟수(매칭 횟수)가 서로 연계되어 저장되어 있고, 상기 (e) 단계는, 매칭 횟수가 많은 등록 얼굴 영상들부터 순차적으로 인증용 영상과 비교하여 얼굴 인식을 수행할 수 있다.
또한, 본 발명의 바람직한 실시예에 따른 자동 얼굴 위치 추적 및 얼굴 인식 방법에서, 상기 데이터 베이스에 저장된 각 사용자들의 등록 얼굴 영상은 매칭 횟수가 많은 순서에 따라서 복수의 그룹으로 분류되어 있고, 상기 (e) 단계는, 상기 인증용 영상을 매칭 횟수가 가장 많은 분류에 속하는 복수 사용자들의 얼굴 영상들부터 매칭 횟수가 작은 분류에 속하는 복수 사용자들의 얼굴 영상들 순서로 비교할 수 있다.
또한, 본 발명의 바람직한 실시예에 따른 자동 얼굴 위치 추적 및 얼굴 인식 방법의 상기 (e) 단계는, 일정한 시간 주기로 상기 복수의 등록 얼굴 영상들 중 매칭 횟수가 가장 적은 얼굴 영상을 인증용 영상으로 대체할 수 있다.
또한, 본 발명의 바람직한 실시예에 따른 자동 얼굴 위치 추적 및 얼굴 인식 방법은, (e) 상기 카메라가 이동하여 얼굴 영상이 상기 얼굴 인증 영역에 위치하면, 상기 얼굴 인증 영역에 위치한 인증용 영상과 데이터 베이스에 사전에 저장된 복수의 등록 얼굴 영상을 비교하여 얼굴 인식을 수행하는 단계; 및 (f) 상기 (e) 단계의 얼굴 인식 결과에 따라서 도어록이 개폐될 수 있도록 인식 결과를 무선 또는 유선으로 상기 도어록으로 전송하는 단계를 더 포함할 수 있다.
본 발명은 사용자를 촬영한 후, 임의의 위치에 있는 사용자의 얼굴 영상을 검출한 후, 얼굴 영상이 최적의 얼굴 인식이 가능한 얼굴 인증 영역내로 이동할 수 있도록 촬영부를 이동시켜 촬영 방향을 변경함으로써, 사용자의 이동을 요구하지 않고도 사용자의 얼굴 인식을 수행할 수 있으므로, 얼굴 인식의 편의성을 극대화할 수 있다.
또한, 본 발명은 얼굴 인식을 위해서 사전에 등록된 얼굴 영상과 연계하여 해당 얼굴 영상이 인증용 얼굴 영상과 매칭되어 얼굴 인증에 직접 이용된 매칭 횟수를 저장하고, 얼굴 인식 과정에서 매칭 횟수가 많은 얼굴 영상을 먼저 인증용 영상과 비교함으로써, 얼굴 인식 속도를 크게 향상시킬 수 있다.
또한, 본 발명은 매칭 횟수가 적은 영상은 일정한 시간 주기로 신규 얼굴 영상으로 교체함으로써, 사용자의 성장이나 노화로 인하여 변화하는 얼굴을 적응적으로 자연스럽게 얼굴 인식에 반영할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 자동 얼굴 위치 추적 및 얼굴 인식 시스템의 구성을 설명하는 블록도이다.
도 2a 및 도 2b는 본 발명의 바람직한 실시예에 따른 자동 얼굴 위치 추적 및 얼굴 인식 시스템의 구현예들을 각각 도시하는 도면이다.
도 3은 본 발명의 바람직한 실시예에 따른 자동 얼굴 위치 추적 및 얼굴 인식 방법을 설명하는 흐름도이다.
도 4는 본 발명의 바람직한 실시예에 따라서 얼굴 영역을 검출하는 방법을 설명하는 도면이다.
도 5는 본 발명의 바람직한 실시예에 따라서 검출된 얼굴 영상의 변위를 측정하여 촬영부를 조절하는 방법을 설명하는 도면이다.
도 6은 도 1에 도시된 본 발명의 바람직한 실시예에 따른 얼굴 인식부의 구성을 도시하는 상세 블록도이다.
도 7은 본 발명의 바람직한 실시예에 따른 얼굴 인식 방법을 설명하는 도면이다.
도 8은 종래기술에 따른 얼굴 인증 방식을 설명하는 도면이다.
도 9a 내지 도 9c는 본 발명의 바람직한 실시에에 따른 얼굴 인증 방식 및 얼굴 영상 갱신 과정을 설명하는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 설명한다.
도 1은 본 발명의 바람직한 실시예에 따른 자동 얼굴 위치 추적 및 얼굴 인식 시스템의 구성을 설명하는 블록도이고, 도 2a 및 도 2b는 본 발명의 바람직한 실시예에 따른 자동 얼굴 위치 추적 및 얼굴 인식 시스템의 구현예들을 각각 도시하는 도면이며, 도 3은 본 발명의 바람직한 실시예에 따른 자동 얼굴 위치 추적 및 얼굴 인식 방법을 설명하는 흐름도이다.
도 1 내지 도 3을 참조하면, 본 발명의 바람직한 실시예에 따른 자동 얼굴 위치 추적 및 얼굴 인식 시스템은 촬영부(20), 구동부(50), 변위 계산부(40), 얼굴 영역 검출부(30), 디스플레이부(60), 조명부(70), 얼굴 인식부(10), 및 통신부(80)를 포함한다.
먼저, 본 발명의 바람직한 실시예에 따른 자동 얼굴 위치 추적 및 얼굴 인식 시스템은 사용자들의 얼굴 영상을 도 6을 참조하여 후술하는 데이터 베이스(16)에 등록하여 데이터 베이스(16)를 구축한다(S310). 이 때, 얼굴 영상과 함께 얼굴 영상에서 추출된 특징 정보들이 함께 등록될 수 있다.
그 후, 본 발명의 바람직한 실시예에 따른 자동 얼굴 위치 추적 및 얼굴 인식 시스템이 구동되면, 먼저, 촬영부(20)는 사용자의 얼굴 영상을 촬영하여 얼굴 영역 검출부(30)(이하, "검출부"로 약칭함)로 출력한다(S320).
촬영부(20)는 적외선 카메라(21)를 기본적으로 구비하고, 컬러 카메라(22)를 더 포함하는 것이 바람직하다. 적외선 카메라(21)에서 촬영된 영상은 검출부(30)로 출력되어 후술하는 바와 같이 얼굴 영역 검출 및 얼굴 인식에 이용되고, 컬러 카메라(22)에서 촬영된 얼굴 영상은 디스플레이부(60)로 출력되어 사용자에게 현재 촬영된 자신의 모습을 표시한다.
도 2a 에 도시된 예에서, 촬영부(20)는 벽면 등에 설치된 베이스부(210)의 고정된 위치에 결합되는데, 촬영부(20)는 상하 및 좌우로 그 방향이 회전 이동될 수 있도록 베이스부(210)에 결합된다. 한편, 도 2b에 도시된 예에서, 촬영부(20)는 베이스부(210)에 결합되지만, 베이스부(210)에 설치된 이동 레일(220)에 따라서 상하로 직선 이동을 하고, 좌우 방향으로는 회전 이동될 수 있도록 결합된다.
검출부(30)는 적외선 카메라(21)로부터 입력된 얼굴 영상에서 얼굴 영역을 검출하여 검출된 얼굴 영역의 위치 정보(얼굴 영역 위치 정보)를 변위 계산부(40)로 출력한다(S330).
검출부(30)는 얼굴 영역을 검출하기 위해서, 적외선 카메라(21)에서 촬영된 얼굴 영상에 대해서 사이즈 조절, 픽셀 변환 등의 전처리를 수행하고, 전처리된 얼굴 영상에서 얼굴 영역을 추출할 수 있다.
도 4는 본 발명의 바람직한 실시예에 따라서 얼굴 영역을 검출하는 방법을 설명하는 도면이다. 도 4를 참조하여 검출부(30)에서 얼굴 영역을 검출하는 방법을 설명하면, 검출부(30)는 적외선 카메라(21)로부터 입력되는 얼굴 영상을 사전에 정의된 수의 블록들(400)로 분할하고, 분할된 영역을 순차적으로 조사하여 얼굴 영역을 검출한다.
도 4에 도시된 예에서, 검출부(30)는 화살표로 도시된 방향과 같이, 먼저 (1,1) 블록부터 (6,1) 블록까지 순차적으로 조사한 후, (1,2)블록부터 (6,2)블록까지 조사한다. 검출부(30)는 동일한 방식으로 (1,3)블록부터 (6,6)블록까지 조사하여 얼굴 영역을 검출한다. 도 4에 도시된 예에서는 촬영된 얼굴 영상을 36개의 블록들로 분할하였으나, 이는 설명의 편의를 위한 것이고, 이보다 많은 블록들로 분할될 수 있음은 물론이다. 또한, 도 4에 도시된 예에서는 수평방향으로 블록들(400)을 순차적으로 조사하였으나, 수직 방향으로 블록들을 조사하여 얼굴 영역을 검출할 수도 있다. 아울러, 얼굴 영역을 검출하는 방식 자체는 공지의 알고리즘이 적용될 수 있다.
변위 계산부(40)는 검출부(30)로부터 입력 받은 얼굴 영역 위치 정보에 따라서, 촬영부(20)에서 촬영되는 얼굴 영역을 얼굴 인증 영역(510)으로 이동시키기 위해서, 촬영부(20)가 이동해야할 변위값(회전각 이동 변위, 직선 이동 변위 등)을 계산하여 구동부(50)로 출력하고(S340), 구동부(50)는 변위 계산부(40)로부터 입력된 변위값에 따라서 촬영부(20)를 이동시켜 얼굴 영상을 얼굴 인증 영역에 위치시킨다(S350).
도 5는 본 발명의 바람직한 실시예에 따라서 검출된 얼굴 영상의 변위를 측정하여 촬영부(20)를 조절하는 방법을 설명하는 도면이다. 도 5를 더 참조하여 설명하면, 검출부(30)에서 촬영된 전체 얼굴 영상 중 좌측 하단에서 얼굴 영역(520)을 검출하여, 해당 얼굴 영역(520)의 얼굴 영역 위치 정보를 변위 계산부(40)로 출력하면, 변위 계산부(40)는 얼굴 영역의 중심과 얼굴 인증 영역(510)의 중심간의 변위값(△x,△y)을 계산하여 구동부(50)로 출력하고, 구동부(50)는 촬영부(20)를 이동시켜 얼굴 영역이 변위값(△x,△y)만큼 이동하여 얼굴 인증 영역(510)의 중심에 위치하도록 한다.
자동 얼굴 위치 추적 및 얼굴 인식 시스템이 도 2a 에 도시된 바와 같이 구현된 경우에, 구동부(50)는 변위 계산부(40)로부터 입력된 회전각 이동 변위에 따라서 촬영부(20)의 촬영 방향이 △y 만큼 이동되도록, 촬영부(20)를 하방향으로 회전 이동시킨 후, 촬영 방향이 △x 만큼 이동되도록 촬영부(20)를 우방향으로 회전 이동시킨다. 이 경우, 촬영부(20)를 우방향으로 회전이동시킨 후, 하방향으로 회전이동시킬 수도 있으며, 이러한 회전 이동이 동시에 이루어 질 수도 있음은 물론이다.
자동 얼굴 위치 추적 및 얼굴 인식 시스템이 도 2a 에 도시된 바와 같이 구현된 경우에, 구동부(50)는 변위 계산부(40)로부터 입력된 직선 이동 변위 및 회전각 이동 변위에 따라서 촬영부(20)의 촬영 방향이 △y 만큼 이동되도록 촬영부(20)를 이동 레일(220)을 따라서 하방향으로 직선 이동시킨 후, 촬영 방향이 △x 만큼 이동되도록 촬영부(20)를 우방향으로 회전 이동시킨다. 이 경우, 촬영부(20)를 우방향으로 회전이동시킨 후, 하방향으로 직선 이동시킬 수도 있으며, 이러한 직선 이동과 회전 이동이 동시에 이루어 질 수도 있음은 물론이다.
이 과정에서, 디스플레이부(60)는 컬러 카메라(22)로부터 수신된 얼굴 영상을 사용자에게 표시하고, 조명부(70)는 카메라 주변에 설치되어 사용자의 얼굴로 조명을 조사한다. 조명부(70)는 주변 조도가 사전에 설정된 조도보다 어두운 경우에는 동작하도록 조도 센서를 내부에 포함할 수 있고, 사용자를 감지하는 인체 감지 센서를 내부에 더 포함할 수 있다.
한편, 상술한 과정을 통해서 얼굴 영상이 얼굴 인증 영역의 중심에 위치하면, 검출부(30)는 인증을 위한 얼굴 영상(인증용 영상)을 얼굴 인식부(10)로 출력하고, 얼굴 인식부(10)는 인증용 영상과 데이터 베이스(16, 도 6 참조)에 사전에 저장된 복수의 등록 얼굴 영상을 비교하여 얼굴 인식을 수행한다(S360). 얼굴 인식 과정에 대해서는 후술하는 도 6 내지 도 9c를 참조하여 상술한다.
또한, 얼굴 인식부(10)는 얼굴 인식 결과를 이용하여 도어록(90)을 개폐할 수 있도록 얼굴 인식 결과를 통신부(80)로 출력하고, 통신부(80)는 유선 또는 무선 통신 방식으로 인식 결과를 도어록(90)으로 전송하며, 도어록(90)은 수신된 인식 결과에 따라서 도어록(90)의 잠금을 해제하거나 유지한다(S370).
이하에서는, 도 6 내지 도 9c를 참조하여, 본 발명의 바람직한 실시예에 따른 얼굴 인식부의 세부 구성 및 얼굴 인식 방법을 설명한다.
도 6은 본 발명의 바람직한 실시예에 따른 얼굴 인식부의 구성을 설명하는 도면이다.
먼저, 도 6을 참조하면, 본 발명의 바람직한 실시예에 따른 얼굴 인식부(10)는, 인증부(13), 매칭 횟수 관리부(14), 데이터 베이스 관리부(15), 및 데이터 베이스(16)를 포함하여 구성된다.
데이터 베이스(16)는 데이터 베이스 관리부(15)의 제어하에서 사용자들이 등록한 얼굴 영상을 저장한다. 이 때, 데이터 베이스(16)는 얼굴 영상 자체를 저장할 수도 있고, 얼굴 인식에 이용되는 특징적인 정보들만을 별도로 추출하여 저장할 수도 있으며, 얼굴 영상 자체와 이로부터 추출된 특징 정보를 모두 저장할 수 있다. 또한, 본 발명의 데이터 베이스(16)는 각 등록 영상의 매칭 횟수를 함께 저장한다. 이하에서 이용되는 "얼굴 영상"이란 이 모두를 포함하는 개념임을 주의해야 한다.
한편, 데이터 베이스 관리부(15)는 데이터 베이스(16)에 저장되는 사용자들의 얼굴 영상을 관리하는데, 사용자 영상 등록 모드에서는, 다각도에서 촬영된 얼굴 영상 또는 일정한 시간 간격으로 촬영된 얼굴 영상을 입력 받아 데이터 베이스(16)에 사용자 별로 저장한다. 또한, 데이터 베이스 관리부(15)는 일정한 시간 주기로 사용자들의 등록 얼굴 영상들 중에서 매칭 횟수가 가장 적은 얼굴 영상을 신규 얼굴 영상으로 대체하여 데이터 베이스(16)에 저장한다.
또한, 데이터 베이스 관리부(15)는 각 사용자별로 사용자의 얼굴 영상이 인증에 이용된 횟수를 나타내는 매칭 횟수에 따라서 데이터 베이스(16)에 저장되는 영상을 복수의 그룹으로 분류할 수 있다.
본 발명의 바람직한 실시예에 따른 얼굴 인증 방식 및 얼굴 영상 갱신 과정을 설명하는 도 9a 내지 도 9c를 참조하면, 각 사용자 별로 저장된 복수의 얼굴 영상들 중에서, 사용자 인증에 각 얼굴 영상이 이용된 횟수를 나타내는 매칭 횟수를 연계하여 저장하고, 매칭 횟수가 가장 많은 얼굴 영상을 제 1 그룹으로 분류하고, 그 다음으로 매칭 횟수가 많은 얼굴 영상을 제 2 그룹으로 분류한다. 이런 방식으로 모든 얼굴 영상을 분류하면 각 사용자별 등록 얼굴 영상의 수 만큼의 그룹이 생성되고, 맨 마지막 그룹에 속하는 얼굴 영상은 일정한 주기마다 최신 영상으로 교체된다.
일반적으로 사용자의 얼굴은 시간이 지남에 따라서 변화되는데, 매칭 횟수가 가장 적은 영상은 실질적으로 사용자의 인증에 기여하는 바가 적고, 특히, 오래된 얼굴 영상으로서 사용자의 최신 모습을 반영하지 못할 가능성이 높다. 따라서, 본 발명은 매칭 횟수가 가장 적은 얼굴 영상을 일정한 시간 주기(예컨대, 1개월, 6개월, 1년 등)로 신규 영상으로 교체함으로써, 사용자의 최신 얼굴을 반영한 영상을 자연스럽게 업데이트 할 수 있다. 이 때, 교체되는 신규 얼굴 영상은 인증용 영상이 이용되는 것이 바람직하지만, 얼굴 영상 등록 모드에서 신규로 등록된 얼굴 영상이 이용될 수도 있다.
인증부(13)는 검출부(30)로부터 얼굴 인식을 위한 영상(인증용 영상)이 입력되면, 인증용 영상을 데이터 베이스(16)에 저장된 복수의 얼굴 영상과 비교하여 인증을 수행하고, 매칭 횟수 관리부(14)는 인증부(13)에서 사용자 인증에 이용한 사전 등록 얼굴 영상의 매칭 횟수를 +1만큼 업데이트하여 데이터 베이스(16)에 저장한다.
본 발명의 바람직한 실시예는 인증 수행에 많이 이용되는 얼굴 영상을 먼저 비교함으로써 인식 속도를 향상시킨다. 도 8에 도시된 종래기술에 따른 얼굴 인증 방식을 참조하여 설명하면, 종래의 얼굴 인증 방식은 입력된 인증용 영상을 데이터 베이스(16)에 저장된 사용자별로 모든 등록 얼굴 영상과 일일이 비교하여 사용자를 인증한다.
도 8에 도시된 예에서, 10명(n=10)의 사용자가 데이터 베이스(16)에 등록되어 있고, 각 사용자별로 6장의 사진이 등록되었다고 가정하면, 종래의 방식은 인증을 위해서 촬영된 인증용 얼굴 영상을 사용자 1의 첫 번째 얼굴영상부터 사용자의 여섯 번째 얼굴 영상까지 비교한 후, 다시 사용자 2의 첫 번째 얼굴 영상부터 6번째 얼굴 영상까지 비교한다. 그러나, 만약, 인증을 기다리는 사용자가 사용자 10이고 사용자 10의 등록 얼굴 영상들 중 6번째 얼굴 영상에서 인증용 영상과 등록 얼굴 영상이 매칭되어 승인이 된다면, 인증 과정에서 60장의 얼굴 영상이 비교되어야 하므로, 얼굴 인증에 과도한 시간이 소요된다.
따라서, 본 발명의 바람직한 실시예는 도 9a 내지 도 9c에 도시된 바와 같이, 등록 얼굴 영상과 해당 얼굴 영상이 인증용 얼굴 영상과 매칭되어 인증이 수행된 횟수(매칭 횟수)(즉, 얼굴 인증에 직접 이용된 횟수)를 서로 연계시켜 저장하고, 매칭횟수가 많은 얼굴 영상부터 인증용 영상과 비교한다.
본 발명의 바람직한 실시예에 따라서 얼굴 영상을 등록하면, 도 9a에 도시된 바와 같이, 모든 얼굴 영상이 등록 순서에 따라서 차례로 저장되고, 각 얼굴 영상의 매칭횟수는 0 으로 초기 설정된다.
그 후, 인증부(13)에서 인증 과정이 수행될 때마다, 매칭횟수 관리부(14)는 인증에 직접 이용된 등록 얼굴 영상의 매칭 횟수를 +1만큼 갱신하여 데이터 베이스(16)에 등록하는 한편, 매칭 횟수가 많은 얼굴 영상이 상위 그룹에 속하고, 매칭 횟수가 적은 얼굴 영상이 하위 그룹에 속하도록 얼굴 영상의 그룹을 조정한다. 이런 과정을 반복하면, 도 9b에 도시된 예에서, 각 사용자별로, 매칭 횟수가 가장 많은 얼굴 영상이 상위 그룹인 제 1 그룹에 속하게 되고, 매칭 횟수가 가장 적은 얼굴 영상이 최하위 그룹인 제 6 그룹에 속하게 된다. 결국, 상위 그룹에 속하는 얼굴 영상일수록 인증이 잘 이루어지고, 제 1 그룹에는 n명의 사용자의 가장 인증이 잘 되는 얼굴 영상이 n개 포함된다.
또한, 인증부(13)는 인증용 영상이 입력되어 얼굴 인식을 수행할 때, 상위 그룹부터 하위 그룹의 순서로 인증용 영상과 등록 얼굴 영상을 비교하여 인증을 수행한다. 즉, 도 9b에 도시된 바와 같이, 인증용 영상이 입력되면, 인증부(13)는 제 1 그룹에 포함된 n명의 사용자의 가장 인증이 잘되는 얼굴 영상을 먼저 비교하고, 제 1 그룹에서 인증이 이루어지지 않으면, 제 2 그룹에 포함된 등록 얼굴 영상들과 비교를 수행하여 얼굴 인증을 수행한다.
이렇게, 인증이 잘되는 얼굴 영상들을 인증용 영상과 먼저 비교함으로써, 본 발명의 얼굴 인식 방법은 종래 기술에 비해서 얼굴 인식 속도를 획기적으로 향상시킬 수 있다.
아울러, 이렇게 얼굴 인식이 지속적으로 수행되면, 각 등록 얼굴 영상의 매칭횟수가 변경되어, 등록 얼굴 영상의 그룹간 이동이 발생하여, 매칭횟수가 높아지면 상위 그룹으로 매칭횟수가 낮아지면 하위 그룹으로 이동한다.
한편, 데이터 베이스 관리부(15)는 일정한 시간 주기로 신규 얼굴 영상을 업데이트 한다. 상술한 바와 같이, 사용자의 얼굴이 성장이나 노화로 인해서 변화되는 경우에, 사용자의 현재 얼굴을 제대로 반영하지 못하는 등록 얼굴 영상은 자연스럽게 하위 그룹으로 분류될 것이므로, 데이터 베이스 관리부(15)는 일정한 시간 주기로, 최 하위 그룹(제 6 그룹)의 얼굴 영상을 신규 얼굴 영상으로 교체한다. 상술한 바와 같이, 본 발명의 바람직한 실시에에서는 자연스러운 교체를 위해서 인증용 영상으로 등록 얼굴 영상을 교체한다. 하지만, 별도의 얼굴 등록 모드에서 촬영된 영상으로 최하위 그룹의 등록 얼굴 영상을 교체할 수도 있다.
지금까지 본 발명의 바람직한 실시예에 따른 얼굴 인식 시스템을 설명하였다.
이하에서는, 도 7을 참조하여, 본 발명의 바람직한 실시예에 따른 얼굴 인식 방법을 설명한다.
도 7은 본 발명의 바람직한 실시예에 따른 얼굴 인식 방법을 설명하는 도면이다. 다만, 도 7에 도시된 얼굴 인식 방법에서 수행되는 기능은 모두 도 6을 참조하여 설명한 얼굴 인식부(10)에서 수행되므로, 명시적인 설명이 없어도, 도 6을 참조하여 설명한 모든 기능은 본 발명의 바람직한 실시예에 따른 얼굴 인식 방법에서 수행되고, 도 7을 참조하여 설명하는 모든 기능은 본 발명의 바람직한 실시예에 따른 얼굴 인식부(10)에서 그대로 수행됨을 주의해야 한다.
도 7을 참조하면, 얼굴 인식부(10)가 검출부(30) 인증용 얼굴 영상을 입력받으면 이에 대해서 얼굴 영상 인증 과정을 수행한다(S361). 얼굴 영상 인증 과정은 매칭 횟수가 많은 그룹의 등록 얼굴 영상부터 인증용 영상과 비교하여 수행되며, 구체적인 내용은 도 9a 내지 도 9c를 참조하여 설명하였으므로 생략한다.
제 S361 단계에서 인증이 수행되면, 인증에 이용된 등록 얼굴 영상의 매칭 횟수가 갱신되고, 갱신된 매칭 횟수에 따라서 필요한 경우 등록 영상의 그룹이 변동된다(S363).
한편, 매칭 횟수가 갱신된 후, 영상 교체 주기가 도래하였는지 조사하여, 영상 갱신 주기가 도래하지 않은 경우 제 S370 단계로 진행한다(S365).
제 S365 단계에서, 영상 갱신 주기가 도래한 경우, 인증용 영상으로 매칭 횟수가 가장 적은 영상을 교체하고 저장함으로써, 사용자의 현재 모습을 데이터 베이스(16)에 반영한다(S367).
한편, 도 6 내지 도 9c를 참조하여 지금까지 설명한 본 발명의 바람직한 실시예에 따른 얼굴 인식 방법에서는 각 사용자들의 등록 얼굴 영상들을 매칭 횟수에 따라서 복수의 그룹으로 분류하고, 상위 그룹에 속하는 얼굴 영상부터 인증용 영상과 비교하는 것으로 구현하였다.
본 발명의 변형 실시예에서는, 등록된 모든 영상중에서 매칭횟수가 많은 영상부터 인증용 영상과 비교하여 인증을 수행할 수 있다. 예컨대, 도 9b에 도시된 예에서, 사용자1의 얼굴영상3, 사용자 1의 얼굴영상 5, 사용자2의 얼굴영상1, 사용자1의 얼굴영상1, 사용자2의 얼굴영상 2의 순서로 인증용 영상과 비교를 수행할 수 있다. 이 경우, 매칭횟수가 많다는 것은 그만큼 본 발명의 얼굴 인식을 많이 수행하였고, 다시 얼굴 인식을 이용할 가능성이 높다는 점에서 종래기술에 비해서 인식 성능이 향상된다.
또한, 본 발명의 다른 변형 실시예에서는, 한 사용자의 등록 얼굴 영상들을 매칭 횟수가 많은 순서에 따라서 인증용 영상을 모두 비교한 후, 다른 사용자의 등록 얼굴 영상들을 매칭 횟수가 많은 순서에 따라서 모두 비교하는 방식으로 인증을 수행할 수도 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10 얼굴 인식부 13 인증부
14 매칭횟수 관리부 15 데이터 베이스 관리부
16 데이터 베이스 20 촬영부
21 적외선 카메라 22 컬러 카메라
30 검출부 40 변위 계산부
50 구동부 60 디스플레이부
70 조명부 80 통신부
90 도어록

Claims (20)

  1. 삭제
  2. 얼굴 영상을 촬영하는 촬영부;
    상기 얼굴 영상에서 얼굴 영역을 검출하여 검출된 얼굴 영역의 위치 정보(얼굴 영역 위치 정보)를 출력하는 얼굴 영역 검출부;
    상기 얼굴 영역 위치 정보에 따라서, 상기 촬영부에서 촬영되는 얼굴 영역을 얼굴 인증 영역으로 이동시키기 위해서, 상기 촬영부가 이동해야할 변위를 측정하는 변위 계산부; 및
    상기 변위에 따라서 상기 촬영부를 이동시키는 구동부를 포함하고,
    상기 변위 계산부는 상기 촬영부가 이동해야할 상하 및 좌우의 회전각 이동변위를 측정하고,
    상기 구동부는 상기 회전각 이동변위에 따라서 촬영부가 향하는 방향을 변경하는 것을 특징으로 하는 자동 얼굴 위치 추적 및 얼굴 인식 시스템.
  3. 얼굴 영상을 촬영하는 촬영부;
    상기 얼굴 영상에서 얼굴 영역을 검출하여 검출된 얼굴 영역의 위치 정보(얼굴 영역 위치 정보)를 출력하는 얼굴 영역 검출부;
    상기 얼굴 영역 위치 정보에 따라서, 상기 촬영부에서 촬영되는 얼굴 영역을 얼굴 인증 영역으로 이동시키기 위해서, 상기 촬영부가 이동해야할 변위를 측정하는 변위 계산부; 및
    상기 변위에 따라서 상기 촬영부를 이동시키는 구동부를 포함하고,
    상기 변위 계산부는 상기 촬영부가 이동해야할 상하 직선 이동 변위와 좌우의 회전각 이동변위를 측정하고,
    상기 구동부는 상기 직선 이동 변위와 상기 회전각 이동변위에 따라서 촬영부가 향하는 방향을 변경하는 것을 특징으로 하는 자동 얼굴 위치 추적 및 얼굴 인식 시스템.
  4. 제 2 항 또는 제 3 항에 있어서,
    상기 얼굴 영역 검출부는 상기 촬영부로부터 입력되는 영상을 사전에 정의된 크기의 블록단위로 순차적으로 조사하여 얼굴 영역을 검출하는 것을 특징으로 하는 자동 얼굴 위치 추적 및 얼굴 인식 시스템.
  5. 제 2 항 또는 제 3 항에 있어서,
    사용자의 얼굴 영상을 사용자에게 출력하는 디스플레이부를 더 포함하고,
    상기 촬영부는 적외선 카메라 및 컬러 카메라를 포함하며,
    상기 적외선 카메라에서 촬영된 얼굴 영상은 상기 얼굴 영역 검출부로 출력되고, 상기 컬러 카메라에서 촬영된 얼굴 영상은 상기 디스플레이부로 출력되는 것을 특징으로 하는 자동 얼굴 위치 추적 및 얼굴 인식 시스템.
  6. 제 2 항 또는 제 3 항에 있어서,
    상기 촬영부 주변에 사용자의 얼굴로 조명을 조사하는 조명부를 더 포함하는 것을 특징으로 하는 자동 얼굴 위치 추적 및 얼굴 인식 시스템.
  7. 제 2 항 또는 제 3 항에 있어서,
    상기 얼굴 영역 검출부로부터 입력된 인증용 영상과 데이터 베이스에 사전에 저장된 복수의 등록 얼굴 영상을 비교하여 얼굴 인식을 수행하는 얼굴 인식부를 더 포함하되,
    상기 얼굴 인식부는 상기 데이터 베이스에 사전에 저장된 복수의 등록 얼굴 영상들에 대해서 인증용 영상과 매칭된 횟수(매칭 횟수)를 저장하고, 상기 얼굴 영역 검출부로부터 인증용 영상이 입력되면 매칭 횟수가 많은 등록 얼굴 영상들부터 순차적으로 인증용 영상과 비교하여 얼굴 인식을 수행하는 것을 특징으로 하는 자동 얼굴 위치 추적 및 얼굴 인식 시스템.
  8. 제 7 항에 있어서,
    상기 데이터 베이스에 저장된 각 사용자들의 얼굴 영상은 매칭 횟수가 많은 순서에 따라서 복수의 그룹으로 분류되어 있고,
    상기 얼굴 인식부는, 상기 인증용 영상을 매칭 횟수가 가장 많은 분류에 속하는 복수 사용자들의 얼굴 영상들부터 매칭 횟수가 작은 분류에 속하는 복수 사용자들의 얼굴 영상들 순서로 비교하는 것을 특징으로 하는 자동 얼굴 위치 추적 및 얼굴 인식 시스템.
  9. 제 7 항에 있어서,
    상기 얼굴 인식부는, 일정한 시간 주기로 상기 복수의 등록 얼굴 영상들 중 매칭 횟수가 가장 적은 얼굴 영상을 인증용 영상으로 대체하는 것을 특징으로 하는 자동 얼굴 위치 추적 및 얼굴 인식 시스템.
  10. 제 2 항 또는 제 3 항에 있어서,
    상기 얼굴 영역 검출부로부터 입력된 인증용 영상과 데이터 베이스에 사전에 저장된 복수의 등록 얼굴 영상을 비교하여 얼굴 인식을 수행하는 얼굴 인식부; 및
    상기 얼굴 인식부의 얼굴 인식 결과에 따라서 도어록이 개폐될 수 있도록 상기 얼굴 인식부로부터 입력된 인식 결과를 무선 또는 유선으로 상기 도어록으로 전송하는 통신부를 더 포함하는 것을 특징으로 하는 자동 얼굴 위치 추적 및 얼굴 인식 시스템.
  11. 삭제
  12. (a) 촬영부가 사용자의 얼굴 영상을 촬영하는 단계;
    (b) 상기 얼굴 영상에서 얼굴 영역을 검출하여 검출된 얼굴 영역의 위치 정보(얼굴 영역 위치 정보)를 생성하는 단계;
    (c) 상기 얼굴 영역 위치 정보에 따라서, 상기 얼굴 영역을 얼굴 인증 영역으로 이동시키기 위해서, 상기 촬영부가 이동해야할 변위를 계산하는 단계; 및
    (d) 상기 변위에 따라서 상기 촬영부를 이동시키는 단계를 포함하고,
    상기 (c) 단계는, 상기 촬영부가 이동해야할 상하 및 좌우의 회전각 이동변위를 측정하고,
    상기 (d) 단계는, 상기 회전각 이동변위에 따라서 촬영부가 향하는 방향을 변경하는 것을 특징으로 하는 자동 얼굴 위치 추적 및 얼굴 인식 방법.
  13. (a) 촬영부가 사용자의 얼굴 영상을 촬영하는 단계;
    (b) 상기 얼굴 영상에서 얼굴 영역을 검출하여 검출된 얼굴 영역의 위치 정보(얼굴 영역 위치 정보)를 생성하는 단계;
    (c) 상기 얼굴 영역 위치 정보에 따라서, 상기 얼굴 영역을 얼굴 인증 영역으로 이동시키기 위해서, 상기 촬영부가 이동해야할 변위를 계산하는 단계; 및
    (d) 상기 변위에 따라서 상기 촬영부를 이동시키는 단계를 포함하고,
    상기 (c) 단계는 상기 촬영부가 이동해야할 상하 직선 이동 변위와 좌우의 회전각 이동변위를 측정하고,
    상기 (d) 단계는 상기 직선 이동 변위와 상기 회전각 이동변위에 따라서 촬영부가 향하는 방향을 변경하는 것을 특징으로 하는 자동 얼굴 위치 추적 및 얼굴 인식 방법.
  14. 제 12 항 또는 제 13 항에 있어서,
    상기 (b) 단계는 상기 촬영부로부터 입력되는 영상을 사전에 정의된 크기의 블록단위로 순차적으로 조사하여 얼굴 영역을 검출하는 것을 특징으로 하는 자동 얼굴 위치 추적 및 얼굴 인식 방법.
  15. 제 12 항 또는 제 13 항에 있어서,
    상기 촬영부는 적외선 카메라 및 컬러 카메라를 포함하며,
    상기 (a) 단계는, 상기 컬러 카메라에서 촬영된 얼굴 영상을 디스플레이를 통해서 사용자에게 출력하고,
    상기 (b) 단계는, 상기 적외선 카메라에서 촬영된 얼굴 영상에 대해서 얼굴 영역을 검출하는 것을 특징으로 하는 자동 얼굴 위치 추적 및 얼굴 인식 방법.
  16. 제 12 항 또는 제 13 항에 있어서,
    상기 (a) 단계는, 상기 촬영부 주변에 설치된 조명부에서 사용자의 얼굴로 조명을 조사하여 사용자의 얼굴 영상을 촬영하는 것을 특징으로 하는 자동 얼굴 위치 추적 및 얼굴 인식 방법.
  17. 제 12 항 또는 제 13 항에 있어서,
    (e) 상기 촬영부가 이동하여 얼굴 영상이 상기 얼굴 인증 영역에 위치하면, 상기 얼굴 인증 영역에 위치한 인증용 영상과 데이터 베이스에 사전에 저장된 복수의 등록 얼굴 영상을 비교하여 얼굴 인식을 수행하는 단계를 더 포함하고,
    상기 데이터 베이스에는 사전에 저장된 복수의 등록 얼굴 영상들에 대해서 인증용 영상과 매칭된 횟수(매칭 횟수)가 서로 연계되어 저장되어 있고,
    상기 (e) 단계는, 매칭 횟수가 많은 등록 얼굴 영상들부터 순차적으로 인증용 영상과 비교하여 얼굴 인식을 수행하는 것을 특징으로 하는 자동 얼굴 위치 추적 및 얼굴 인식 방법.
  18. 제 17 항에 있어서,
    상기 데이터 베이스에 저장된 각 사용자들의 등록 얼굴 영상은 매칭 횟수가 많은 순서에 따라서 복수의 그룹으로 분류되어 있고,
    상기 (e) 단계는, 상기 인증용 영상을 매칭 횟수가 가장 많은 분류에 속하는 복수 사용자들의 얼굴 영상들부터 매칭 횟수가 작은 분류에 속하는 복수 사용자들의 얼굴 영상들 순서로 비교하는 것을 특징으로 하는 자동 얼굴 위치 추적 및 얼굴 인식 방법.
  19. 제 17 항에 있어서,
    상기 (e) 단계는, 일정한 시간 주기로 상기 복수의 등록 얼굴 영상들 중 매칭 횟수가 가장 적은 얼굴 영상을 인증용 영상으로 대체하는 것을 특징으로 하는 자동 얼굴 위치 추적 및 얼굴 인식 방법.
  20. 제 12 항 또는 제 13 항에 있어서,
    (e) 상기 촬영부가 이동하여 얼굴 영상이 상기 얼굴 인증 영역에 위치하면, 상기 얼굴 인증 영역에 위치한 인증용 영상과 데이터 베이스에 사전에 저장된 복수의 등록 얼굴 영상을 비교하여 얼굴 인식을 수행하는 단계; 및
    (f) 상기 (e) 단계의 얼굴 인식 결과에 따라서 도어록이 개폐될 수 있도록 인식 결과를 무선 또는 유선으로 상기 도어록으로 전송하는 단계를 더 포함하는 것을 특징으로 하는 자동 얼굴 위치 추적 및 얼굴 인식 방법.
KR1020130057641A 2013-05-22 2013-05-22 자동 얼굴 위치 추적 및 얼굴 인식 방법 및 시스템 KR101316805B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020130057641A KR101316805B1 (ko) 2013-05-22 2013-05-22 자동 얼굴 위치 추적 및 얼굴 인식 방법 및 시스템
CN201480028271.6A CN105229671B (zh) 2013-05-22 2014-05-02 面部位置自动追踪以及面部自动识别方法和系统
US14/892,804 US10248840B2 (en) 2013-05-22 2014-05-02 Method and system for automatically tracking face position and recognizing face
PCT/KR2014/003930 WO2014189216A1 (ko) 2013-05-22 2014-05-02 자동 얼굴 위치 추적 및 얼굴 인식 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130057641A KR101316805B1 (ko) 2013-05-22 2013-05-22 자동 얼굴 위치 추적 및 얼굴 인식 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR101316805B1 true KR101316805B1 (ko) 2013-10-11

Family

ID=49638121

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130057641A KR101316805B1 (ko) 2013-05-22 2013-05-22 자동 얼굴 위치 추적 및 얼굴 인식 방법 및 시스템

Country Status (4)

Country Link
US (1) US10248840B2 (ko)
KR (1) KR101316805B1 (ko)
CN (1) CN105229671B (ko)
WO (1) WO2014189216A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101529673B1 (ko) * 2014-12-11 2015-06-17 손관우 3차원 신원 확인 보안 시스템
KR101922376B1 (ko) * 2018-06-14 2018-11-26 정규택 얼굴인식 기능을 이용한 차량 운행정보의 공유 및 시동제어 시스템
US10198614B2 (en) 2016-02-01 2019-02-05 Beijing Xiaomi Mobile Software Co., Ltd. Method and device for fingerprint recognition
WO2022045562A1 (en) * 2020-08-28 2022-03-03 Lg Electronics Inc. Electronic device for controlling opening and closing of a door, a door opening/closing device disposed to the door, and a method therefor

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9525811B2 (en) 2013-07-01 2016-12-20 Qualcomm Incorporated Display device configured as an illumination source
KR102469694B1 (ko) * 2015-08-24 2022-11-23 삼성전자주식회사 카메라를 구비하는 장치에서 사진 촬영 지원 기법
US10109126B2 (en) * 2016-01-12 2018-10-23 Chi-Wei Chiu Biological recognition lock system
CN105654593B (zh) * 2016-01-20 2018-10-19 京东方科技集团股份有限公司 一种电子锁及电子锁识别方法
CN107992728B (zh) * 2016-10-27 2022-05-20 腾讯科技（深圳）有限公司 人脸验证方法及装置
CN107491965B (zh) * 2017-07-31 2020-07-10 阿里巴巴集团控股有限公司 一种生物特征库的建立方法和装置
CN109658572B (zh) * 2018-12-21 2020-09-15 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
JP7122693B2 (ja) * 2019-02-01 2022-08-22 パナソニックＩｐマネジメント株式会社 顔認証システムおよび顔認証方法
US11908143B2 (en) 2020-06-03 2024-02-20 Apple Inc. Activity zones for camera video
US11514717B2 (en) * 2020-06-03 2022-11-29 Apple Inc. Identifying objects within images from different sources

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110001840A1 (en) 2008-02-06 2011-01-06 Yasunori Ishii Electronic camera and image processing method
KR20110136268A (ko) * 2010-06-14 2011-12-21 한국과학기술원 얼굴방향 인식기반의 단일 입력 인터페이스 방법 및 이를 이용한 시스템
KR20110139869A (ko) * 2010-06-24 2011-12-30 김병국 얼굴 인식을 이용한 스크린 골프 시스템 및 그 제어 방법
KR101222928B1 (ko) * 2012-05-04 2013-01-17 (주)비즈텍 구도 설정 촬영장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2343945B (en) * 1998-11-18 2001-02-28 Sintec Company Ltd Method and apparatus for photographing/recognizing a face
CN1254904A (zh) 1998-11-18 2000-05-31 株式会社新太吉 用于拍摄/识别脸孔的方法和装置
KR20050109338A (ko) * 2004-05-15 2005-11-21 김이남 인체인식을 이용한 출입문 도어락 보안 시스템 및 그 방법
JP4389956B2 (ja) * 2007-04-04 2009-12-24 ソニー株式会社 顔認識装置及び顔認識方法、並びにコンピュータ・プログラム
KR101180471B1 (ko) 2011-09-27 2012-09-07 (주)올라웍스 한정된 메모리 환경 하에서 얼굴 인식 성능 향상을 위한 참조 얼굴 데이터베이스 관리 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
EP2763397A1 (de) * 2013-02-05 2014-08-06 Burg-Wächter Kg Fotosensor
JP2016081249A (ja) * 2014-10-15 2016-05-16 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110001840A1 (en) 2008-02-06 2011-01-06 Yasunori Ishii Electronic camera and image processing method
KR20110136268A (ko) * 2010-06-14 2011-12-21 한국과학기술원 얼굴방향 인식기반의 단일 입력 인터페이스 방법 및 이를 이용한 시스템
KR20110139869A (ko) * 2010-06-24 2011-12-30 김병국 얼굴 인식을 이용한 스크린 골프 시스템 및 그 제어 방법
KR101222928B1 (ko) * 2012-05-04 2013-01-17 (주)비즈텍 구도 설정 촬영장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101529673B1 (ko) * 2014-12-11 2015-06-17 손관우 3차원 신원 확인 보안 시스템
US10198614B2 (en) 2016-02-01 2019-02-05 Beijing Xiaomi Mobile Software Co., Ltd. Method and device for fingerprint recognition
KR101922376B1 (ko) * 2018-06-14 2018-11-26 정규택 얼굴인식 기능을 이용한 차량 운행정보의 공유 및 시동제어 시스템
WO2022045562A1 (en) * 2020-08-28 2022-03-03 Lg Electronics Inc. Electronic device for controlling opening and closing of a door, a door opening/closing device disposed to the door, and a method therefor

Also Published As

Publication number Publication date
WO2014189216A1 (ko) 2014-11-27
CN105229671B (zh) 2019-05-31
CN105229671A (zh) 2016-01-06
US20160092724A1 (en) 2016-03-31
US10248840B2 (en) 2019-04-02

Similar Documents

Publication Publication Date Title
KR101316805B1 (ko) 자동 얼굴 위치 추적 및 얼굴 인식 방법 및 시스템
WO2015172514A1 (zh) 图像采集装置和方法
CN102799936B (zh) 电影票房核验系统
US11682231B2 (en) Living body detection method and device
US20060262187A1 (en) Face identification apparatus and entrance and exit management apparatus
US20140253711A1 (en) Agile non-contact biometric sensor
KR20120057033A (ko) Ｉｐｔｖ 제어를 위한 원거리 시선 추적 장치 및 방법
CN109928290A (zh) 利用者检测系统
JP2007265125A (ja) コンテンツ表示装置
KR20170001223A (ko) 정보 추출 시스템, 정보 추출 장치, 그의 정보 추출 방법 및 비일시적 컴퓨터 판독가능 기록매체
KR101610525B1 (ko) 조도를 고려한 동공 검출 장치 및 그 방법
EP3360075A1 (en) Iris recognition
CN104123779A (zh) 硬币隐形图案检测方法及其检测装置
CN108604040A (zh) 通过曝光管理的有效使用来捕获在面部识别中使用的图像
CN107862713A (zh) 针对轮询会场的摄像机偏转实时检测预警方法及模块
KR102615986B1 (ko) 이상 개체 판단 장치 및 방법
KR102194409B1 (ko) 멀티포커싱 ai신경망을 이용한 안면검출 및 안면식별 시스템
US9361705B2 (en) Methods and systems for measuring group behavior
CN102867214B (zh) 区域范围内人数统计管理方法
KR102274270B1 (ko) 홍채인식범위 확장을 위한 홍채 영상 획득시스템
KR20150080781A (ko) 얼굴 인식에 의한 출입관리장치 및 방법
US20160162744A1 (en) Decision device provided to decide whether an eye is real or false
KR101039423B1 (ko) 얼굴밝기 측정에 의한 카메라의 노출과 셔터스피드 제어방법 및 그 제어방법에 의한 카메라 장치
Bashir et al. Video surveillance for biometrics: long-range multi-biometric system
KR102101237B1 (ko) 링거수액 이물질 비전검사 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161004

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181001

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191002

Year of fee payment: 7