KR20170123950A - 얼굴 인식을 이용한 출입 관리 방법 및 시스템 - Google Patents

얼굴 인식을 이용한 출입 관리 방법 및 시스템 Download PDF

Info

Publication number
KR20170123950A
KR20170123950A KR1020160053324A KR20160053324A KR20170123950A KR 20170123950 A KR20170123950 A KR 20170123950A KR 1020160053324 A KR1020160053324 A KR 1020160053324A KR 20160053324 A KR20160053324 A KR 20160053324A KR 20170123950 A KR20170123950 A KR 20170123950A
Authority
KR
South Korea
Prior art keywords
user
facial feature
feature point
point data
database
Prior art date
Application number
KR1020160053324A
Other languages
English (en)
Inventor
장형길
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020160053324A priority Critical patent/KR20170123950A/ko
Publication of KR20170123950A publication Critical patent/KR20170123950A/ko

Links

Images

Classifications

    • G07C9/00071—
    • G06K9/00228—
    • G06K9/00268—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G07C9/00103—
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00571—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated by interacting with a central unit

Abstract

본 발명은 얼굴 인식을 이용한 출입 관리 방법 및 시스템에 관한 것으로, 본 발명의 일 실시예에 따른 방법은 사용자의 얼굴을 촬영하는 단계, 촬영된 사용자의 얼굴 영상에서 특징점을 추출하는 단계, 추출된 사용자의 얼굴 특징점과 데이터베이스에 저장된 사용자 얼굴 특징점 데이터를 비교하여 얼굴 기반 사용자 인증을 수행하는 단계 및 사용자 인증에 성공한 경우, 추출된 사용자의 얼굴 특징점을 사용자 얼굴 특징점 데이터와의 유사도에 따라 데이터베이스에 업데이트 하는 단계를 포함한다. 본 발명에 의하면, 카메라에서 촬영된 사용자의 얼굴 특징점과 데이터베이스에 저장된 사용자 얼굴 특징점 데이터를 비교하여 사용자 인증에 성공한 경우, 사용자의 얼굴 특징점을 사용자 얼굴 특징점 데이터와의 유사도에 따라 데이터베이스에 업데이트 하여 시간에 따라 가변하는 사용자의 얼굴을 반영할 수 있다.

Description

얼굴 인식을 이용한 출입 관리 방법 및 시스템{Access Control Method and System using Face Recognition}
본 발명은 얼굴 인식을 이용한 출입 관리 방법 및 시스템에 관한 것으로, 보다 자세하게는 사용자의 얼굴을 인식하여 출입을 통제하고 관리할 수 있는 얼굴 인식을 이용한 출입 관리 방법 및 시스템에 관한 것이다.
최근 들어, 얼굴 인식 기술은 출입문 통제 장치를 비롯한 다양한 분야에서 활용되고 있는데, 지문이나 홍채 인식 등과 같은 다른 생체 인식 기술에 비해 능동적인 장점이 있어 더욱 증가하는 추세에 있다. 지문이나 홍채 인식의 경우 사용자가 인증을 받기 위해서는 지문 인식 센서에 손가락을 접촉시키거나 홍채 인식 센서에 눈을 근접시키는 행동을 취해야 하는 번거로움이 있었다.
하지만, 얼굴 인식 기술은 사용자의 얼굴이 카메라 영상에 잡히면, 얼굴 인식을 진행할 수 있기 때문에 인증을 위해 사용자가 부자연스러운 동작을 취할 필요가 없을 뿐 아니라 사용자가 인지하지 못하는 동안에도 사용자의 얼굴을 인식하여 인증할 수 있는 장점이 있다.
이러한 얼굴 인식 기술은 사용자의 얼굴 특징점 데이터를 미리 저장한 후, 인증 시 카메라에서 촬영된 실시간 얼굴 특징점과 비교하여 해당 사용자의 얼굴이 인증 대상자인지를 확인하는 방식을 사용하고 있다.
하지만, 종래의 얼굴 인식 기술은 사용자의 얼굴을 촬영하는 시점, 조명의 상태, 사용자의 얼굴이 향하고 있는 방향 또는 표정 등에 따라서 영상의 명암이 다르기 때문에 얼굴의 특징점이 달라질 수 있었다.
이와 같이, 영상의 명암에 따라 얼굴의 특징점이 달라지면 인식률이 저하되기 때문에 이를 보완 설계하여 좀더 빠르게 인증하고 오인증을 저감할 수 있는 방안이 요구되었다.
한국공개특허 제2001-0044393호 (공개일 2001. 06. 05.)
따라서 본 발명이 해결하고자 하는 기술적 과제는 카메라에서 촬영된 사용자의 얼굴 특징점과 데이터베이스에 저장된 사용자 얼굴 특징점 데이터를 비교하여 사용자 인증에 성공한 경우, 사용자의 얼굴 특징점을 사용자 얼굴 특징점 데이터와의 유사도에 따라 데이터베이스에 업데이트 하여 시간에 따라 가변하는 사용자의 얼굴을 반영할 수 있는 얼굴 인식을 이용한 출입 관리 방법 및 시스템을 제공하는 것이다.
그리고 본 발명이 해결하고자 하는 다른 기술적 과제는 얼굴 기반 사용자 인증 시 데이터베이스에 저장된 복수의 사용자 얼굴 특징점 데이터 중에서 사용자의 얼굴을 촬영한 시간대에 속하는 사용자 얼굴 특징점 데이터 중에서 유사도가 높은 순서대로 사용자의 얼굴 특징점과 비교하여 인증 시간을 단축시키고 오인식률을 줄일 수 있는 얼굴 인식을 이용한 출입 관리 방법 및 시스템을 제공하는 것이다.
또한, 본 발명은 명시적으로 언급된 목적 이외에도, 후술하는 본 발명의 구성으로부터 달성될 수 있는 다른 목적도 포함한다.
상기한 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 얼굴 인식을 이용한 출입 관리 방법은 사용자의 얼굴을 촬영하는 단계, 상기 촬영된 사용자의 얼굴 영상에서 특징점을 추출하는 단계, 상기 추출된 사용자의 얼굴 특징점과 데이터베이스에 저장된 사용자 얼굴 특징점 데이터를 비교하여 얼굴 기반 사용자 인증을 수행하는 단계, 그리고 상기 사용자 인증에 성공한 경우, 상기 추출된 사용자의 얼굴 특징점을 상기 사용자 얼굴 특징점 데이터와의 유사도에 따라 상기 데이터베이스에 업데이트 하는 단계를 포함한다.
상기 추출된 사용자의 얼굴 특징점과 데이터베이스에 저장된 사용자 얼굴 특징점 데이터를 비교하여 얼굴 기반 사용자 인증을 수행하는 단계는 상기 데이터베이스에 저장된 복수의 사용자 얼굴 특징점 데이터 중에서 상기 사용자의 얼굴을 촬영한 시간대에 속하는 사용자 얼굴 특징점 데이터를 검색하는 단계, 상기 검색된 사용자 얼굴 특징점 데이터 중에서 이전에 계산되어 상기 데이터베이스에 저장된 유사도가 높은 사용자 얼굴 특징점 데이터 순서대로 상기 추출된 사용자의 얼굴 특징점과 비교하여 유사도를 계산하는 단계, 그리고 상기 계산된 유사도가 미리 정해진 기준치 이상이면 상기 사용자 인증에 성공한 것으로 판단하는 단계를 포함한다.
상기 사용자 인증에 성공한 경우, 상기 계산된 유사도 및 인증 시간대가 상기 데이터베이스에 함께 저장될 수 있다.
상기 데이터베이스에 저장된 복수의 사용자 얼굴 특징점 데이터 중에서 상기 계산된 유사도 또는 미리 정해진 최소치보다 작은 유사도를 가지는 사용자 얼굴 특징점 데이터는 상기 데이터베이스에서 삭제하는 단계를 더 포함할 수 있다.
상기 사용자 인증에 성공한 경우, 사용자가 출입 가능하도록 출입문을 개방하는 단계를 더 포함할 수 있다.
한편, 본 발명의 실시예에 따른 얼굴 인식을 이용한 출입 관리 시스템은 사용자의 얼굴을 촬영하는 촬영부, 상기 촬영된 사용자의 얼굴 영상에서 특징점을 추출하는 특징점 추출부, 상기 추출된 사용자의 얼굴 특징점과 데이터베이스에 저장된 사용자 얼굴 특징점 데이터를 비교하여 얼굴 기반 사용자 인증을 수행하는 사용자 인증부, 그리고 상기 사용자 인증에 성공한 경우, 상기 추출된 사용자의 얼굴 특징점을 상기 사용자 얼굴 특징점 데이터와의 유사도에 따라 상기 데이터베이스에 업데이트 하는 데이터 관리부를 포함한다.
상기 사용자 인증부는 상기 데이터베이스에 저장된 복수의 상기 사용자 얼굴 특징점 데이터 중에서 상기 사용자의 얼굴을 촬영한 시간대에 속하는 사용자 얼굴 특징점 데이터를 검색하고, 상기 검색된 사용자 얼굴 특징점 데이터 중에서 이전에 계산되어 상기 데이터베이스에 저장된 유사도가 높은 사용자 얼굴 특징점 데이터 순서대로 상기 추출된 사용자의 얼굴 특징점과 비교하여 유사도를 계산하고, 상기 계산된 유사도가 미리 정해진 기준치 이상이면 상기 사용자 인증에 성공한 것으로 판단할 수 있다.
상기 데이터 관리부는 상기 사용자 인증에 성공한 경우, 상기 계산된 유사도 및 인증 시간대를 상기 데이터베이스에 함께 저장할 수 있다.
상기 데이터 관리부는 상기 데이터베이스에 저장된 복수의 사용자 얼굴 특징점 데이터 중에서 상기 계산된 유사도 또는 미리 정해진 최소치보다 작은 유사도를 가지는 사용자 얼굴 특징점 데이터는 상기 데이터베이스에서 삭제할 수 있다.
상기 사용자 인증에 성공한 경우, 사용자가 출입 가능하도록 출입문을 개방하는 출입문 제어부를 더 포함할 수 있다.
이와 같이 본 발명의 실시예에 따른 얼굴 인식을 이용한 출입 관리 방법 및 시스템에 따르면, 카메라에서 촬영된 사용자의 얼굴 특징점과 데이터베이스에 저장된 사용자 얼굴 특징점 데이터를 비교하여 사용자 인증에 성공한 경우, 사용자의 얼굴 특징점을 사용자 얼굴 특징점 데이터와의 유사도에 따라 데이터베이스에 업데이트 하여 시간에 따라 가변하는 사용자의 얼굴을 반영할 수 있도록 하고, 데이터베이스에 저장된 유사도가 허용 범위 이외인 사용자 얼굴 특징점 데이터의 경우에는 삭제하여 인증률을 더욱 높이면서도 비교 분석 시간을 줄일 수 있는 장점이 있다.
그리고, 얼굴 기반 사용자 인증 시 데이터베이스에 저장된 복수의 사용자 얼굴 특징점 데이터 중에서 사용자의 얼굴을 촬영한 시간대에 속하는 사용자 얼굴 특징점 데이터 중에서 유사도가 높은 순서대로 사용자의 얼굴 특징점과 비교하여 인증 시간을 단축시키고 오인식률을 줄일 수 있는 장점이 있다.
이와 같이, 출입 기기에 매우 의존적으로 운영되고 있는 출입 관리 시스템을 보완하기 위하여 보안이 중요시되는 공간에는 복합 인증이라는 카드와 생채 인증이 결합된 출입 관리 서비스를 제공할 수 있다.
한편, 본 발명의 효과는 상술된 것에 국한되지 않고 후술하는 본 발명의 구성으로부터 도출될 수 있는 다른 효과도 본 발명의 효과에 포함된다.
도 1은 본 발명의 실시예에 따른 얼굴 인식을 이용한 출입 관리 시스템의 구성도이다.
도 2는 본 발명의 실시예에 따른 데이터베이스에 저장된 사용자 얼굴 특징점 데이터의 예이다.
도 3은 본 발명의 실시예에 따른 얼굴 인식을 이용한 출입 관리 과정을 보여주는 동작 흐름도이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 얼굴 인식을 이용한 출입 관리 시스템의 구성도를 나타낸다.
도 1에 도시한 바와 같이, 얼굴 인식을 이용한 출입 관리 시스템(1)은 촬영부(100), 특징점 추출부(200), 사용자 인증부(300), 저장부(400), 데이터 관리부(500) 및 출입문 제어부(600)를 포함하여 구성된다. 얼굴 인식을 이용한 출입 관리 시스템(1)은 사용자의 얼굴로 인증을 행하기 위해 사용되는 시스템으로, 특정한 건물이나 건물 내의 특정한 장소에 들어갈 때에 본인 확인을 수행하여 출입을 통제하고 관리하기 위해서 사용될 수 있다.
촬영부(100)는 사용자의 얼굴을 촬영하는 수단으로, 줌(zoom) 렌즈, 오토 포커싱(auto focusing) 렌즈 또는 촬상소자 등을 구비한 카메라 등으로 이루어질 수 있다. 예컨대, 사용자가 카드 리더에 출입 카드를 접촉하여 얼굴 인식에 의한 출입 허용을 요청할 경우 촬영부(100)는 사용자의 얼굴을 촬영하여 사용자 인증 과정을 진행할 수 있다.
특징점 추출부(200)는 촬영부(100)에서 촬영된 사용자의 얼굴 영상에서 특징점을 추출할 수 있다. 특징점(feature)은 3차원 얼굴 정보 중에서 특징이 되는 부분을 의미하는데, 이를 테면 눈, 입, 코 또는 턱 등과 같이 얼굴의 윤곽을 특징적으로 나타내는 부분을 의미하거나 표정을 지을 때 사용하는 얼굴의 근육을 특징적으로 나타내는 부분을 의미할 수 있다. 특징점 추출부(200)는 눈이나 입 등의 경우에는 선 추출(edge detection)과 같은 영상 처리 알고리즘을 이용하여 그 위치를 파악하고, 코나 턱 등의 부위에는 3차원의 형상 정보를 기초로 그 위치를 파악하여 특징점을 추출할 수 있다.
사용자 인증부(300)는 특징점 추출부(200)에서 추출된 사용자의 얼굴 특징점과 데이터베이스(400)에 저장된 사용자 얼굴 특징점 데이터를 비교하여 얼굴 기반 사용자 인증을 수행할 수 있다.
도 2는 본 발명의 실시예에 따른 데이터베이스에 저장된 사용자 얼굴 특징점 데이터의 예로서, 도 2와 같이, 데이터베이스(400)에는 사용자별로 복수의 사용자 얼굴 특징점 데이터가 저장될 수 있다. 사용자 얼굴 특징점 데이터는 사용자 인증 여부를 판단하기 위하여 사용자의 고유 얼굴 특성을 나타내는 기준 데이터로서, 사용자 이름, 사용자 번호 또는 사용자 ID에 따라 구분되어 저장될 수 있다. 그리고 데이터베이스(400)에는 각 사용자 얼굴 특징점 데이터에 해당되는 유사도 및 인증 시간대가 함께 저장될 수 있다. 유사도는 각 사용자 얼굴 특징점 데이터가 데이터베이스(400)에 저장되기 전에 사용자의 원본 얼굴 영상이나 데이터베이스(400)에 저장되어 있던 사용자 얼굴 특징점 데이터와의 비교를 통해 인증 대상자인 사용자와 동일인으로 판명될 확률을 점수로 나타낸 것으로, 예컨대, 0점부터 10점까지 나타낼 수 있다. 이때 유사도가 높을수록 사용자 얼굴 특징점 데이터의 사용자가 인증 대상자인 사용자와 동일인에 가까운 것으로 판단할 수 있다.
인증 시간대는 각 사용자 얼굴 특징점 데이터가 촬영되어 인증된 시점을 나타내는 시간대로서, 예컨대, 06:00~07:00, 07:00~08:00, 08:00~09:00, 13:00~14:00 등과 같이 1시간 단위마다 구분되어 분류될 수 있으며, 인증 시간대마다 복수의 사용자 얼굴 특징점 데이터가 저장될 수 있다.
도 2를 바탕으로 사용자 인증부(300)의 동작에 대하여 보다 구체적으로 설명하면, 사용자 인증부(300)는 데이터베이스(400)에 저장된 복수의 사용자 얼굴 특징점 데이터 중에서 사용자의 얼굴을 촬영한 시간대에 속하는 사용자 얼굴 특징점 데이터를 검색할 수 있다.
보다 자세하게는, 촬영부(100)에서 사용자의 얼굴을 촬영하면, 사용자의 얼굴을 촬영한 시간 정보가 사용자의 얼굴 특징점과 함께 사용자 인증부(300)에 전달될 수 있는데, 사용자 인증부(300)는 데이터베이스(400)에 저장된 복수의 사용자 얼굴 특징점 데이터 중에서 사용자의 얼굴 영상을 촬영한 시간에 속하는 인증 시간대를 가지는 사용자 얼굴 특징점 데이터를 검색할 수 있다. 예를 들어, 촬영부(100)에서 사용자의 얼굴을 촬영한 시간이 오전 9시 28분일 경우 사용자 인증부(300)는 데이터베이스(400)에 저장된 복수의 사용자 얼굴 특징점 데이터 중에서 인증 시간대가 09:00~10:00에 해당되는 사용자 얼굴 특징점 데이터를 검색할 수 있다.
그리고 사용자 인증부(300)는 검색된 사용자 얼굴 특징점 데이터 중에서 유사도가 높은 사용자 얼굴 특징점 데이터 순서대로 추출된 사용자의 얼굴 특징점과 비교하여 유사도를 계산할 수 있다.
보다 자세하게는, 사용자 인증부(300)는 검색된 사용자 얼굴 특징점 데이터 중에서 데이터베이스(400)에 저장된 유사도가 높은 사용자 얼굴 특징점 데이터 순서대로 사용자의 얼굴 특징점과 비교를 시작할 수 있다. 예를 들어, 인증 시간대가 09:00~10:00에 해당되는 사용자 얼굴 특징점 데이터가 제1 사용자 얼굴 특징점 데이터(ABCDEF0000000), 제2 사용자 얼굴 특징점 데이터(CDRFHGDF00000), 제3 사용자 얼굴 특징점 데이터(32FDSF43200000)이고, 이들의 유사도가 각각 3, 9, 6인 경우 사용자 인증부(300)는 유사도가 9인 제2 사용자 얼굴 특징점 데이터(CDRFHGDF00000)와 사용자의 얼굴 특징점에 대한 비교를 시작할 수 있다. 이때 유사도가 동일한 사용자 얼굴 특징점 데이터가 복수 개 있을 경우 사용자 인증부(300)는 최근에 인증된 사용자 얼굴 특징점 데이터와 우선적으로 비교할 수 있으며, 매 인증시 최근에 인증된 유사도가 높은 사용자 얼굴 특징점 데이터 순서대로 비교를 시작할 수 있다.
그리고 사용자 인증부(300)는 사용자 얼굴 특징점 데이터와 사용자의 얼굴 특징점을 비교 분석하는 과정을 통해 유사도를 계산할 수 있다. 예컨대, 사용자 인증부(300)는 제2 사용자 얼굴 특징점 데이터와 사용자의 얼굴 특징점 각각에 해당되는 특징점과 특징점 간의 거리를 산출하여 분석함으로써 유사도 7을 계산할 수 있거나 특징점 간의 정합 과정을 통해 유사도 7을 계산할 수 있다. 이외에 사용자 인증부(300)는 다양한 비교 방법을 통해 유사도를 계산할 수 있다.
사용자 인증부(300)는 계산된 유사도가 미리 정해진 기준치 이상이면 사용자 인증에 성공한 것으로 판단할 수 있다.
만약 사용자 인증부(300)는 계산된 유사도가 미리 정해진 기준치 미만이면 사용자 인증에 실패한 것으로 판단하거나 유사도가 다음으로 높은 사용자 얼굴 특징점 데이터와 사용자의 얼굴 특징점을 비교 분석하는 과정을 통해 사용자 인증의 성공 여부를 판단할 수 있다. 한편 사용자 인증부(300)는 사용자 얼굴 특징점 데이터가 저장되어 있지 않은 인증 시간대에는 미리 저장되어 있는 사용자의 원본 얼굴 영상과 사용자의 얼굴 특징점을 비교하여 사용자 인증의 성공 여부를 판단할 수 있다.
데이터 관리부(500)는 사용자 인증에 성공한 경우, 추출된 사용자의 얼굴 특징점을 사용자 얼굴 특징점 데이터와의 유사도에 따라 데이터베이스(400)에 업데이트 할 수 있다. 이때, 데이터 관리부(500)는 계산된 유사도 및 인증 시간대를 데이터베이스(400)에 함께 저장할 수 있다. 즉 추출된 사용자의 얼굴 특징점은 데이터베이스(400)에 신규한 사용자 얼굴 특징점 데이터로서 저장될 수 있다. 예컨대, 데이터 관리부(500)는 사용자의 얼굴을 촬영한 시간이 오전 9시 28분이고, 사용자 인증부(300)에서 계산된 유사도가 7일 경우, 데이터베이스(400)에 사용자의 얼굴 특징점, 이에 대한 유사도 7, 인증 시간대를 09:00~10:00로 신규 저장할 수 있다. 이와 같이 사용자의 얼굴 특징점 및 이에 해당되는 유사도를 신규로 저장하여 데이터베이스(400)를 업데이트 함으로써 추후 인증에 활용하도록 하며, 업데이트 시 인증 시간대를 함께 저장하여 같은 유사도라도 인증 시간대를 확인하여 비교 대상을 적절하게 선택할 수 있도록 한다.
한편 데이터 관리부(500)는 데이터베이스(400)에 저장된 복수의 사용자 얼굴 특징점 데이터 중에서 사용자의 얼굴 특징점의 유사도 또는 미리 정해진 최소치보다 작은 유사도를 가지는 사용자 얼굴 특징점 데이터는 데이터베이스(400)에서 삭제할 수 있다. 예컨대, 사용자 인증부(300)에서 계산된 유사도가 7이고, 데이터베이스(400)에 비교 대상으로 저장된 제1 사용자 얼굴 특징점 데이터 및 제3 사용자 얼굴 특징점 데이터의 유사도가 각각 3, 6일 경우, 제1 및 제3 사용자 얼굴 특징점 데이터는 데이터베이스(400)에서 삭제될 수 있다.
출입문 제어부(600)는 사용자 인증부(300)에서 사용자 인증에 성공한 경우, 사용자가 출입 가능하도록 출입문을 개방할 수 있다. 출입문 제어부(600)는 사용자 인증부(300)에서 사용자 인증에 성공한 경우 출입문으로 개방 신호를 전송하여 사용자가 출입 가능하도록 제어할 수 있다.
이하에서는 본 발명의 실시예에 따른 얼굴 인식을 이용한 출입 관리 방법에 대하여 설명하도록 한다.
도 3은 본 발명의 실시예에 따른 얼굴 인식을 이용한 출입 관리 과정을 보여주는 동작 흐름도를 나타낸다.
도 3에 도시한 바와 같이, 사용자가 카드 리더에 출입 카드를 접촉(S300)하여 출입 권한 여부를 판단할 수 있다(S310). 사용자가 카드 리더에 출입 카드를 접촉하면, 카드 리더는 출입 카드의 정보를 인식하여 출입 권한이 있는지 아닌지를 판단할 수 있다.
310단계에서 출입 권한이 있을 경우, 사용자의 얼굴을 촬영할 수 있다(S320). 사용자의 얼굴을 촬영하는 촬영부는 줌(zoom) 렌즈, 오토 포커싱(auto focusing) 렌즈 또는 촬상소자 등을 구비한 카메라 등으로 이루어질 수 있다. 예컨대, 사용자가 카드 리더에 출입 카드를 접촉하여 얼굴 인식에 의한 출입 허용을 요청할 경우 촬영부는 사용자의 얼굴을 촬영하여 사용자 인증 과정을 진행할 수 있다.
그리고, 촬영된 사용자의 얼굴 영상에서 특징점을 추출할 수 있다(S330). 특징점(feature)은 3차원 얼굴 정보 중에서 특징이 되는 부분을 의미하는데, 이를 테면 눈, 입, 코 또는 턱 등과 같이 얼굴의 윤곽을 특징적으로 나타내는 부분을 의미하거나 표정을 지을 때 사용하는 얼굴의 근육을 특징적으로 나타내는 부분을 의미할 수 있다. 눈이나 입 등의 경우에는 선 추출(edge detection)과 같은 영상 처리 알고리즘을 이용하여 그 위치를 파악하고, 코나 턱 등의 부위에는 3차원의 형상 정보를 기초로 그 위치를 파악하여 특징점을 추출할 수 있다.
다음으로, 추출된 사용자의 얼굴 특징점과 데이터베이스에 저장된 사용자 얼굴 특징점 데이터를 비교(S340)하여 얼굴 기반 사용자 인증 성공 여부를 판단할 수 있다(S350).
보다 자세하게는, 사용자 인증부는 데이터베이스에 저장된 복수의 사용자 얼굴 특징점 데이터 중에서 사용자의 얼굴을 촬영한 시간대에 속하는 사용자 얼굴 특징점 데이터를 검색할 수 있다.
즉, 촬영부(100)에서 사용자의 얼굴을 촬영하면, 사용자의 얼굴을 촬영한 시간 정보가 사용자의 얼굴 특징점과 함께 사용자 인증부에 전달될 수 있는데, 사용자 인증부는 데이터베이스에 저장된 복수의 사용자 얼굴 특징점 데이터 중에서 사용자의 얼굴 영상을 촬영한 시간에 속하는 인증 시간대를 가지는 사용자 얼굴 특징점 데이터를 검색할 수 있다. 예를 들어, 촬영부에서 사용자의 얼굴을 촬영한 시간이 오전 9시 28분일 경우 사용자 인증부는 데이터베이스에 저장된 복수의 사용자 얼굴 특징점 데이터 중에서 인증 시간대가 09:00~10:00에 해당되는 사용자 얼굴 특징점 데이터를 검색할 수 있다.
그리고 사용자 인증부는 검색된 사용자 얼굴 특징점 데이터 중에서 유사도가 높은 사용자 얼굴 특징점 데이터 순서대로 추출된 사용자의 얼굴 특징점과 비교하여 유사도를 계산할 수 있다.
보다 자세하게는, 사용자 인증부는 검색된 사용자 얼굴 특징점 데이터 중에서 데이터베이스에 저장된 유사도가 높은 사용자 얼굴 특징점 데이터 순서대로 사용자의 얼굴 특징점과 비교를 시작할 수 있다. 예를 들어, 인증 시간대가 09:00~10:00에 해당되는 사용자 얼굴 특징점 데이터가 제1 사용자 얼굴 특징점 데이터(ABCDEF0000000), 제2 사용자 얼굴 특징점 데이터(CDRFHGDF00000), 제3 사용자 얼굴 특징점 데이터(32FDSF43200000)이고, 이들의 유사도가 각각 3, 9, 6인 경우 사용자 인증부는 유사도가 9인 제2 사용자 얼굴 특징점 데이터(CDRFHGDF00000)와 사용자의 얼굴 특징점에 대한 비교를 시작할 수 있다. 이때 유사도가 동일한 사용자 얼굴 특징점 데이터가 복수 개 있을 경우 사용자 인증부는 최근에 인증된 사용자 얼굴 특징점 데이터와 우선적으로 비교할 수 있으며, 매 인증시 최근에 인증된 유사도가 높은 사용자 얼굴 특징점 데이터 순서대로 비교를 시작할 수 있다.
그리고 사용자 인증부는 사용자 얼굴 특징점 데이터와 사용자의 얼굴 특징점을 비교 분석하는 과정을 통해 유사도를 계산할 수 있다. 예컨대, 사용자 인증부는 제2 사용자 얼굴 특징점 데이터와 사용자의 얼굴 특징점 각각에 해당되는 특징점과 특징점 간의 거리를 산출하여 분석함으로써 유사도 7을 계산할 수 있거나 특징점 간의 정합 과정을 통해 유사도 7을 계산할 수 있다. 이외에 사용자 인증부는 다양한 비교 방법을 통해 유사도를 계산할 수 있다.
사용자 인증부는 계산된 유사도가 미리 정해진 기준치 이상이면 사용자 인증에 성공한 것으로 판단할 수 있다.
만약 사용자 인증부는 계산된 유사도가 미리 정해진 기준치 미만이면 사용자 인증에 실패한 것으로 판단하거나 유사도가 다음으로 높은 사용자 얼굴 특징점 데이터와 사용자의 얼굴 특징점을 비교 분석하는 과정을 통해 사용자 인증의 성공 여부를 판단할 수 있다. 한편 사용자 인증부는 사용자 얼굴 특징점 데이터가 저장되어 있지 않는 인증 시간대에는 미리 저장되어 있는 사용자의 원본 얼굴 영상과 사용자의 얼굴 특징점을 비교하여 사용자 인증의 성공 여부를 판단할 수 있다.
이와 같이, 350단계에서 사용자 인증에 성공할 경우(S350-Y), 출입을 허용할 수 있다(S360).
그리고, 추출된 사용자의 얼굴 특징점을 사용자 얼굴 특징점 데이터와의 유사도에 따라 데이터베이스에 업데이트 할 수 있다(S370).
보다 자세하게는, 데이터 관리부는 사용자 인증에 성공한 경우, 추출된 사용자의 얼굴 특징점을 사용자 얼굴 특징점 데이터와의 유사도에 따라 데이터베이스에 업데이트 할 수 있다. 이때, 데이터 관리부는 계산된 유사도 및 인증 시간대를 데이터베이스에 함께 저장할 수 있다. 즉 추출된 사용자의 얼굴 특징점은 데이터베이스에 신규한 사용자 얼굴 특징점 데이터로서 저장될 수 있다. 예컨대, 데이터 관리부는 사용자의 얼굴을 촬영한 시간이 오전 9시 28분이고, 사용자 인증부에서 계산된 유사도가 7일 경우, 데이터베이스에 사용자의 얼굴 특징점, 이에 대한 유사도 7, 인증 시간대를 09:00~10:00로 신규 저장할 수 있다. 이와 같이 사용자의 얼굴 특징점 및 이에 해당되는 유사도를 신규로 저장하여 데이터베이스를 업데이트 함으로써 추후 인증에 활용하도록 하며, 업데이트 시 인증 시간대를 함께 저장하여 같은 유사도라도 인증 시간대를 확인하여 비교 대상을 적절하게 선택할 수 있도록 한다.
한편 데이터 관리부는 데이터베이스에 저장된 복수의 사용자 얼굴 특징점 데이터 중에서 사용자의 얼굴 특징점의 유사도 또는 미리 정해진 최소치보다 작은 유사도를 가지는 사용자 얼굴 특징점 데이터는 데이터베이스에서 삭제할 수 있다. 예컨대, 사용자 인증부에서 계산된 유사도가 7이고, 데이터베이스에 비교 대상으로 저장된 제1 사용자 얼굴 특징점 데이터 및 제3 사용자 얼굴 특징점 데이터의 유사도가 각각 3, 6일 경우, 제1 및 제3 사용자 얼굴 특징점 데이터는 데이터베이스에서 삭제될 수 있다.
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 앞서 설명한 얼굴 인식을 이용한 출입 관리 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 또는 이러한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
1: 얼굴 인식을 이용한 출입 관리 시스템
100: 촬영부(100) 200: 특징점 추출부
300: 사용자 인증부 400: 저장부
500: 데이터 관리부 600: 출입문 제어부

Claims (10)

  1. 사용자의 얼굴을 촬영하는 단계,
    상기 촬영된 사용자의 얼굴 영상에서 특징점을 추출하는 단계,
    상기 추출된 사용자의 얼굴 특징점과 데이터베이스에 저장된 사용자 얼굴 특징점 데이터를 비교하여 얼굴 기반 사용자 인증을 수행하는 단계, 그리고
    상기 사용자 인증에 성공한 경우, 상기 추출된 사용자의 얼굴 특징점을 상기 사용자 얼굴 특징점 데이터와의 유사도에 따라 상기 데이터베이스에 업데이트 하는 단계
    를 포함하는 얼굴 인식을 이용한 출입 관리 방법.
  2. 제 1 항에서,
    상기 추출된 사용자의 얼굴 특징점과 데이터베이스에 저장된 사용자 얼굴 특징점 데이터를 비교하여 얼굴 기반 사용자 인증을 수행하는 단계는,
    상기 데이터베이스에 저장된 복수의 사용자 얼굴 특징점 데이터 중에서 상기 사용자의 얼굴을 촬영한 시간대에 속하는 사용자 얼굴 특징점 데이터를 검색하는 단계,
    상기 검색된 사용자 얼굴 특징점 데이터 중에서 이전에 계산되어 상기 데이터베이스에 저장된 유사도가 높은 사용자 얼굴 특징점 데이터 순서대로 상기 추출된 사용자의 얼굴 특징점과 비교하여 유사도를 계산하는 단계, 그리고
    상기 계산된 유사도가 미리 정해진 기준치 이상이면 상기 사용자 인증에 성공한 것으로 판단하는 단계를 포함하는 얼굴 인식을 이용한 출입 관리 방법.
  3. 제 2 항에서,
    상기 사용자 인증에 성공한 경우, 상기 계산된 유사도 및 인증 시간대가 상기 데이터베이스에 함께 저장되는 얼굴 인식을 이용한 출입 관리 방법.
  4. 제 3 항에서,
    상기 데이터베이스에 저장된 복수의 사용자 얼굴 특징점 데이터 중에서 상기 계산된 유사도 또는 미리 정해진 최소치보다 작은 유사도를 가지는 사용자 얼굴 특징점 데이터는 상기 데이터베이스에서 삭제하는 단계를 더 포함하는 얼굴 인식을 이용한 출입 관리 방법.
  5. 제 1 항에서,
    상기 사용자 인증에 성공한 경우, 사용자가 출입 가능하도록 출입문을 개방하는 단계를 더 포함하는 얼굴 인식을 이용한 출입 관리 방법.
  6. 사용자의 얼굴을 촬영하는 촬영부,
    상기 촬영된 사용자의 얼굴 영상에서 특징점을 추출하는 특징점 추출부,
    상기 추출된 사용자의 얼굴 특징점과 데이터베이스에 저장된 사용자 얼굴 특징점 데이터를 비교하여 얼굴 기반 사용자 인증을 수행하는 사용자 인증부, 그리고
    상기 사용자 인증에 성공한 경우, 상기 추출된 사용자의 얼굴 특징점을 상기 사용자 얼굴 특징점 데이터와의 유사도에 따라 상기 데이터베이스에 업데이트 하는 데이터 관리부
    를 포함하는 얼굴 인식을 이용한 출입 관리 시스템.
  7. 제 6 항에서,
    상기 사용자 인증부는,
    상기 데이터베이스에 저장된 복수의 상기 사용자 얼굴 특징점 데이터 중에서 상기 사용자의 얼굴을 촬영한 시간대에 속하는 사용자 얼굴 특징점 데이터를 검색하고,
    상기 검색된 사용자 얼굴 특징점 데이터 중에서 이전에 계산되어 상기 데이터베이스에 저장된 유사도가 높은 사용자 얼굴 특징점 데이터 순서대로 상기 추출된 사용자의 얼굴 특징점과 비교하여 유사도를 계산하고,
    상기 계산된 유사도가 미리 정해진 기준치 이상이면 상기 사용자 인증에 성공한 것으로 판단하는 얼굴 인식을 이용한 출입 관리 시스템.
  8. 제 7 항에서,
    상기 데이터 관리부는,
    상기 사용자 인증에 성공한 경우, 상기 계산된 유사도 및 인증 시간대를 상기 데이터베이스에 함께 저장하는 얼굴 인식을 이용한 출입 관리 시스템.
  9. 제 8 항에서,
    상기 데이터 관리부는,
    상기 데이터베이스에 저장된 복수의 사용자 얼굴 특징점 데이터 중에서 상기 계산된 유사도 또는 미리 정해진 최소치보다 작은 유사도를 가지는 사용자 얼굴 특징점 데이터는 상기 데이터베이스에서 삭제하는 얼굴 인식을 이용한 출입 관리 시스템.
  10. 제 6 항에서,
    상기 사용자 인증에 성공한 경우, 사용자가 출입 가능하도록 출입문을 개방하는 출입문 제어부를 더 포함하는 얼굴 인식을 이용한 출입 관리 시스템.
KR1020160053324A 2016-04-29 2016-04-29 얼굴 인식을 이용한 출입 관리 방법 및 시스템 KR20170123950A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160053324A KR20170123950A (ko) 2016-04-29 2016-04-29 얼굴 인식을 이용한 출입 관리 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160053324A KR20170123950A (ko) 2016-04-29 2016-04-29 얼굴 인식을 이용한 출입 관리 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20170123950A true KR20170123950A (ko) 2017-11-09

Family

ID=60385808

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160053324A KR20170123950A (ko) 2016-04-29 2016-04-29 얼굴 인식을 이용한 출입 관리 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR20170123950A (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544746A (zh) * 2018-11-20 2019-03-29 北京千丁互联科技有限公司 一种社区门禁系统控制方法及其装置
CN109741499A (zh) * 2018-12-29 2019-05-10 深圳市多度科技有限公司 门禁机的用户信息更新方法及装置
KR101984519B1 (ko) 2018-05-30 2019-05-31 안필호 등록고객인식확률향상부가 구비된 고객 인식 방문확인 시스템
WO2021060670A1 (ko) * 2019-09-26 2021-04-01 주식회사 앤오픈 보안 카드를 이용한 사용자 인증 장치 및 사용자 인증 방법
KR20210058265A (ko) * 2019-11-14 2021-05-24 김재영 전사적 자원 관리 시스템용 근로자 출입 관리장치
WO2021157794A1 (ko) * 2020-02-05 2021-08-12 한화테크윈 주식회사 도어락을 제어하는 장치 및 방법
KR20230070590A (ko) * 2021-11-15 2023-05-23 한국전자기술연구원 합성 표정을 이용한 얼굴인식 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101984519B1 (ko) 2018-05-30 2019-05-31 안필호 등록고객인식확률향상부가 구비된 고객 인식 방문확인 시스템
CN109544746A (zh) * 2018-11-20 2019-03-29 北京千丁互联科技有限公司 一种社区门禁系统控制方法及其装置
CN109741499A (zh) * 2018-12-29 2019-05-10 深圳市多度科技有限公司 门禁机的用户信息更新方法及装置
WO2021060670A1 (ko) * 2019-09-26 2021-04-01 주식회사 앤오픈 보안 카드를 이용한 사용자 인증 장치 및 사용자 인증 방법
KR20210058265A (ko) * 2019-11-14 2021-05-24 김재영 전사적 자원 관리 시스템용 근로자 출입 관리장치
WO2021157794A1 (ko) * 2020-02-05 2021-08-12 한화테크윈 주식회사 도어락을 제어하는 장치 및 방법
KR20230070590A (ko) * 2021-11-15 2023-05-23 한국전자기술연구원 합성 표정을 이용한 얼굴인식 방법

Similar Documents

Publication Publication Date Title
US11727720B2 (en) Face verification method and apparatus
KR20170123950A (ko) 얼굴 인식을 이용한 출입 관리 방법 및 시스템
JP4760049B2 (ja) 顔認証装置、その顔認証方法、その顔認証装置を組み込んだ電子機器およびその顔認証プログラムを記録した記録媒体
KR101241625B1 (ko) 얼굴 인식 환경 통지 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
KR101130817B1 (ko) 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
US20060158307A1 (en) System and method for face recognition
JP2022513978A (ja) 表情グループに基づく操作決定方法、装置及び電子機器
US20230252120A1 (en) Method and apparatus with selective combined authentication
WO2020034645A1 (zh) 人脸识别方法、人脸识别系统、及电子设备
US20210216617A1 (en) Biometric authentication device, biometric authentication method, and computer-readable recording medium recording biometric authentication program
KR102103557B1 (ko) 얼굴 인식 방법, 얼굴 인식 장치, 이를 위한 컴퓨터 프로그램
Fegade et al. Residential security system based on facial recognition
JP6947202B2 (ja) 照合システム
KR102586559B1 (ko) 금융자동화기기 및 이의 제어방법, 금융자동화시스템
KR101066097B1 (ko) 안경 착용자에 대한 오인식을 최소화한 얼굴 인식 장치 및 이를 이용한 안경 착용자에 대한 얼굴 오인식 최소화 방법
WO2022000334A1 (zh) 生物特征识别方法、装置、设备及存储介质
KR101240901B1 (ko) 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
JP2004310287A (ja) 人物認識装置および通行制御装置
RU2791846C2 (ru) Способ и устройство для принятия решения о выполнении операции на основе групп выражений лица и электронное устройство
KR102601100B1 (ko) 사용자 인증 장치 및 사용자 인증 방법
EP4152182A1 (en) Authentication method, authentication program, and information processing device
KR20230075770A (ko) 얼굴 인식 시스템 및 얼굴 인식 시스템을 위한 제어 방법
KR20030070183A (ko) 홍채 인식 시스템의 위조 판별을 위한 등록 및 인식방법
JP2022008339A (ja) 照合システム
WO2022053736A1 (en) Access control

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application