KR101596363B1 - 얼굴 인식에 의한 출입관리장치 및 방법 - Google Patents

얼굴 인식에 의한 출입관리장치 및 방법 Download PDF

Info

Publication number
KR101596363B1
KR101596363B1 KR1020140000255A KR20140000255A KR101596363B1 KR 101596363 B1 KR101596363 B1 KR 101596363B1 KR 1020140000255 A KR1020140000255 A KR 1020140000255A KR 20140000255 A KR20140000255 A KR 20140000255A KR 101596363 B1 KR101596363 B1 KR 101596363B1
Authority
KR
South Korea
Prior art keywords
face
unit
image
built
passenger
Prior art date
Application number
KR1020140000255A
Other languages
English (en)
Other versions
KR20150080781A (ko
Inventor
백영현
Original Assignee
주식회사 유니온커뮤니티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유니온커뮤니티 filed Critical 주식회사 유니온커뮤니티
Priority to KR1020140000255A priority Critical patent/KR101596363B1/ko
Publication of KR20150080781A publication Critical patent/KR20150080781A/ko
Application granted granted Critical
Publication of KR101596363B1 publication Critical patent/KR101596363B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition

Abstract

얼굴 인식에 의한 출입관리장치 및 방법이 개시된다. 본 발명의 출입관리장치는 원거리의 출입자를 촬영한 영상에서 얼굴 이미지를 검출한 다음에 내장 카메라의 자세를 변경하면서 접근하는 출입자를 계속 촬영함으로써 출입자의 접근 중에 얼굴 인식에 적합한 이미지를 자동으로 얻어 스스로 얼굴 인식을 수행할 수 있다. 따라서 종래처럼 센서를 이용하여 일정한 거리 이내의 출입자의 존재를 인식하고, 출입자에게 카메라를 주시하도록 주문하지 않더라도, 출입자가 본 발명의 출입통제기로 접근하는 중에 얼굴 인식이 완료될 수 있다.

Description

얼굴 인식에 의한 출입관리장치 및 방법{Access Control Apparatus and Method by Facial Recognition}
본 발명은 출입통제기에 관한 것으로서, 더 구체적으로는 원거리의 출입자를 촬영한 영상에서 얼굴 이미지를 검출한 다음에 내장 카메라의 자세를 변경하면서 접근하는 출입자를 계속 촬영함으로써 출입자의 접근 중에 얼굴 인식에 적합한 이미지를 자동으로 얻어 스스로 얼굴 인식을 수행하는 출입관리장치 및 방법에 관한 것이다.
출입자 또는 방문자를 인식하고 선별적으로 출입을 허용하는 출입관리장치는 출입자를 인식하기 위하여 다양한 인식방법을 사용한다. 기본적으로 널리 사용되는 방식은 출입자의 인증번호가 기록된 마그네틱 카드나 비접촉 근접센서(RFID) 등을 이용하는 방법이지만, 최근에 사용자의 생체 정보인 지문이나 얼굴을 직접 인식하는 방법도 개발되고 있다.
얼굴 인식의 경우, 출입관리장치는 얼굴 인식을 위하여 필요한 크기나 해상도의 얼굴 이미지가 필요하기 때문에, 종래에 알려진 얼굴 인식에 의한 출입관리장치는 출입자로 하여금 근거리에 접근하도록 주문하고, 출입자가 카메라를 응시하도록 하여 얼굴이 촬영된 이미지의 중심에 오도록 주문하는 방법을 사용한다. 그렇지 않으면 사용자의 얼굴 이미지로부터 얼굴 인식에 충분한 특징점 데이터를 추출할 수 없기 때문이다.
종래의 얼굴 인식이나 그를 이용한 출입관리장치는 이 부분에 대하여 고민하지 않고, 당연히 얼굴을 카메라 가까이 근접시켜야 하는 것으로 처리하였다. 예를 들어, 대한민국 공개특허 제10-2007-0119463호는 '얼굴 인증 장치, 얼굴 인증 방법, 및 출입 관리 장치'에 관한 발명을 개시하고 있다. 여기서 제시하는 얼굴인식 방법은, 이동하는 사람의 적어도 얼굴을 포함하는 화상을 획득하는 단계와, 상기 획득된 화상으로부터 상기 사람의 얼굴 영역 후보를 검출하고 상기 검출된 얼굴 영역 후보로부터 얼굴 영역을 검출하는 단계와, 상기 검출된 얼굴 영역의 화상 및 미리 저장된 등록 얼굴 정보를 인식하는 단계를 포함한다. 다시 말해, 얼굴을 이미지의 중심에 자동으로 포착하는 방법을 제시하지는 않는다.
그 밖에 다른 얼굴 인식 관련 발명도 마찬가지다. 적외선 센서 등을 이용하여 출입자가 일정 거리 내로 접근한 사실을 확인한 경우에만 동작하여 '카메라 응시'를 출입자에게 요청하는 방법으로 이루어진다.
그러나 원거리에서 접근 중인 출입자의 위치나 키 등에 관계없이 자동으로 출입자의 얼굴이 중심에 위치하는 이미지를 포착할 수 있는 장치가 필요하다.
본 발명의 목적은, 원거리의 출입자를 촬영한 영상에서 얼굴 이미지를 검출한 다음에 내장 카메라의 자세를 변경하면서 접근하는 출입자를 계속 촬영함으로써 출입자의 접근 중에 얼굴 인식에 적합한 이미지를 자동으로 얻어 스스로 얼굴 인식을 수행하는 출입관리장치 및 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명에 따른 출입통제기는, 내장 카메라부, 모터 구동부, 얼굴검출부, 얼굴중심추적부 및 특징점 추출부를 포함하고, 상기 내장 카메라부, 모터 구동부, 얼굴검출부, 얼굴중심추적부, 특징점 추출부 및 얼굴인증부는 하나의 케이스 내에 동시에 수용된다.
내장 카메라부는 출입통제기로 접근 중인 출입자를 연속적으로 촬영하여 이미지를 생성한다. 모터 구동부 상기 내장 카메라부의 틸팅(Tilting) 동작을 수행한다. 얼굴검출부는 상기 카메라부가 연속적으로 촬영한 각 이미지로부터 상기 출입자가 접근함에 따라 크기가 변하는 상기 출입자의 얼굴 영역을 인식한다.
얼굴중심추적부는 상기 모터 구동부를 연속적으로 제어하여 상기 내장 카메라부로 하여금 상기 출입자 얼굴의 중심을 추적하도록 하여, 상기 인식된 출입자의 얼굴 영역이 상기 이미지 내에 항상 위치하고 출입자의 얼굴 전면이 향하는 각도가 상기 카메라부의 광축으로부터 일정한 범위 내에 있도록 한다. 특징점 추출부는 상기 이미지에서 상기 출입자 얼굴의 특징점을 추출하고, 얼굴인증부는 상기 추출된 특정점을 기초로 얼굴 인증을 수행한다.
상기 출입자 얼굴의 중심 추적은, 실시 예에 따라, 상기 얼굴검출부가 상기 이미지 내에서의 상기 인식된 얼굴 영역의 세로 방향 대표 좌표를 계산하고, 상기 얼굴중심추적부가 상기 계산된 대표 좌표가 상기 이미지의 중심점을 지나는 수평선상에 위치하도록 상기 모터 구동부를 연속적으로 제어함으로써 수행된다.
이 경우, 상기 특징점 추출부는 상기 이미지에서 상기 얼굴 영역의 크기가 기 설정된 제1 픽셀 사이즈(Px × Py) 이상이 되는 때에 상기 특징점을 추출할 수 있다. 이 경우, 상기 수평선으로부터 세로좌표가 ±
Figure 112014000262548-pat00001
에 해당하는 인증영역을 설정하고, 상기 출입자의 얼굴 세로방향의 크기가 상기 인증영역 이상을 차지하게 되면 특징점 추출을 개시하도록 할 수 있다.
본 발명의 다른 실시 예에 따른 출입통제방법은, 접근 중인 출입자를 출입통제기 내에 내장된 내장 카메라부로 촬영하여 이미지를 계속 생성하는 중에 다음의 단계를 수행함으로써 이루어진다.
각 단계는 상기 이미지로부터 상기 출입자의 얼굴을 인식하는 단계; 상기 인식된 출입자의 얼굴 영역이 상기 이미지 내에 항상 위치하고 출입자의 얼굴 전면이 향하는 각도가 상기 카메라부의 광축으로부터 일정한 범위 내에 있도록, 상기 내장 카메라부의 자세를 제어하여 상기 출입자 얼굴의 중심을 추적하는 단계; 상기 이미지에서 상기 출입자 얼굴의 특징점을 추출하여 얼굴인식을 수행하는 단계; 및 상기 얼굴인식이 완료된 경우 도어를 개폐하는 단계를 포함한다.
본 발명의 출입관리장치는 원거리의 출입자를 촬영한 영상에서 얼굴 이미지를 검출한 다음에 내장 카메라의 자세를 변경하면서 접근하는 출입자를 계속 촬영함으로써 출입자의 접근 중에 얼굴 인식에 적합한 이미지를 자동으로 얻어 스스로 얼굴 인식을 수행할 수 있다.
따라서 종래처럼 센서를 이용하여 일정한 거리 이내의 출입자의 존재를 인식하고, 출입자에게 카메라를 주시하는 행위를 의식적으로 하지않더라도, 출입자가 본 발명의 출입통제기로 접근하는 중에 얼굴 인식이 완료될 수 있다.
도 1은 본 발명의 얼굴 인식에 의한 출입통제기의 블록도,
도 2는 본 발명의 얼굴 인식에 의한 출입통제 방법의 설명에 제공되는 흐름도, 그리고
도 3은 본 발명의 중심영역 및 인증영역의 설명에 제공되는 도면이다.
이하 도면을 참조하여 본 발명을 더욱 상세히 설명한다.
도 1을 참조하면, 본 발명의 얼굴 인식에 의한 출입통제기(100)는 내장 카메라부(101), 모터구동부(103) 및 제어부(110)를 포함하며, 내장 카메라부(101), 모터구동부(103) 및 제어부(110)는 하나의 케이스(130) 내에 내장된 형태로 구현한다. 또한, 출입통제기(100)는 별도로 설치되어 문을 개폐하는 도어구동부(10)와 연결된다.
출입통제기(100)는 통상의 출입통제기와 마찬가지로 출입문의 일측에 설치되는 것이 바람직하다. 또한, 아래에서 다시 설명하는 것처럼, 출입자들의 일반적인 키를 고려하여, 지면으로부터 1.3 내지 1.5 미터 정도에 설치되는 것이 바람직하다.
내장 카메라부(101)는 이미지 센서를 기본적으로 포함하고, 더하여 렌즈나 조리개 등을 포함할 수 있다. 내장 카메라부(101)는 출입자를 연속적으로 촬영하여 이미지를 생성하고, 생성한 이미지들을 순차적으로 제어부(110)에게 제공한다. 내장 카메라부(101)는 근적외선 등을 이용하여 일정한 거리에 출입자가 있는지 확인하지 않고, 얼굴 인증이 가능한 범위 밖에 위치하는 출입자도 촬영하여 그 이미지를 제어부(110)에게 제공한다.
내장 카메라부(101)는 출입통제기(100)에 내장된 상태에서 모터구동부(103)에 의해 그 자세가 조정되는 구조를 가지며, 자세가 변경되면 그 광축의 공간상의 방향이 달라진다. 한편, 내장 카메라부(101)는 초점 조정을 위한 구조를 갖출 수도 있으나, 통상의 CMOS 이미지 센서가 가지는 소위 무한대 초점 구조로도 충분하므로 별도의 초점 제어는 필요하지 않을 수 있다.
모터구동부(103)는 모터(Motor, 미도시)와 자세제어기(미도시)를 구비하여 내장 카메라부(101)의 자세를 조정한다. 이때, 내장 카메라부(101)의 자세는 상하로 움직이는 틸팅(Tilting)과 좌우로 움직이는 패닝(Panning) 동작 중에서 선택된 적어도 하나에 의해 제어된다. 모터구동부(103)는 모터(Motor)의 회전력을 동작하며, 자세제어기(미도시)는 모터의 회전력을 기초로 틸팅 또는 패닝 동작을 수행하는 종래에 알려진 구조를 사용할 수 있다.
(1) 출입통제기(100)의 크기가 일반적으로 크지 않은 점, (2) 출입통제기(100)의 일반적인 설치 높이가 출입자의 얼굴보다는 낮은 점, (3) 내장 카메라부(101)의 화각이 좌우를 충분히 촬영할 수 있는 점 및 (4) 모터구동부(103)의 복잡한 구조 등을 고려하면, 내장 카메라부(101)의 자세는 틸팅 동작으로도 충분할 수 있다. 이하에서는 모터구동부(103)가 틸팅 동작만을 수행하는 것으로 가정하고 설명한다.
제어부(110)는 본 발명의 출입통제기(100)의 전반적인 동작을 제어한다. 특별히, 제어부(110)는 본 발명의 얼굴 중심 추적 및 얼굴 인증을 수행하기 위하여 얼굴검출부(111), 얼굴중심추적부(113), 특징점추출부(115) 및 얼굴인증부(117)를 포함한다.
이하에서는 도 2 내지 도 4를 기초로 얼굴검출부(111), 얼굴중심추적부(113), 특징점추출부(115) 및 얼굴인증부(117)에 의한 얼굴인증 방법을 설명한다.
대기 모드 ( S201 , S203 )
출입통제기(100)는 전방에 출입자가 포착될 때까지 [대기 모드]를 유지한다.
<출입자를 촬영한 이미지 수신: S201>
우선, 내장 카메라부(101)가 연속적으로 전방을 촬영하여 이미지를 생성하고, 얼굴검출부(111)는 내장 카메라부(101)로부터 그 이미지들을 수신한다.
앞서 설명한 것처럼 내장 카메라부(101)는 모터구동부(103)에 의해 자세가 제어된다. 모터구동부(103)가 틸팅 제어만 수행할 경우, 내장 카메라부(101)로 입사되는 광축의 각도가 제어되는 것이다. 다만, 내장 카메라부(101)는 기본 자세에서 동작을 개시하며, 대기 모드에서는 기본 자세를 유지한다. 기본 자세는 전방을 수평으로 바라보는 각도(0°)이거나, 출입통제기(100)의 설치 위치에 따라 대략 상방 15°를 주시할 수 있다. 내장 카메라부(101)는 출입자와의 거리에 제한을 두지 않고 촬영하므로 출입자와의 거리를 판단하기 위한 별도의 센서를 구비하지도 않으며, 출입자가 전방에 등장하면 출입자가 촬영된 이미지를 생성한다.
<이미지에서 얼굴 검출여부 판단: S203>
S201 단계에서 이미지가 수신되면, 출입자가 있는지 판단하여 출입자가 있으면, 출입자의 얼굴을 추적하는 [얼굴추적모드]로 진입하게 된다. 이를 위해, 얼굴검출부(111)는 각 프레임의 이미지마다 출입자 얼굴을 검출한다. S203 단계는 대기모드 뿐만 아니라, 아래의 얼굴추적 모드에서도 수행된다.
얼굴검출부(111)의 얼굴 인식은 특징점을 추출하여 얼굴 인증을 할 정도가 아니며, 단지 사람의 얼굴의 눈, 코, 입 등을 인식하여 얼굴임을 인식하는 정도로 충분하다. 이러한 얼굴 인식 기술은 기존에 알려진 다양한 얼굴 인식 기술을 사용할 수 있다.
대기모드에서 출입자 얼굴 검출은, 출입자가 이미 출입통제기(100)에 가까운 상태인 경우도 있으나 다소 원거리에 있는 경우에도 가능하다. 본 발명은 그 원거리에서 접근 중인 출입자에 대한 자동 처리에 관한 것이다.
얼굴추적 모드 : ( S201 내지 S209 , S215 , S217 )
얼굴 추적모드 중에도 내장 카메라부(101)에서는 계속 출입자를 촬영한 영상을 제공한다. 얼굴 추적모드에 진입하면, 얼굴중심추적부(113)는 원거리에서부터 접근 중인 출입자를 촬영한 이미지 내의 출입자의 얼굴 영역이 얼굴인증에 적합한 상태에 있거나 그 상태가 되도록 계속 카메라부(101)의 자세를 제어한다. 여기서, 얼굴 인증에 적합한 상태라 함은, (1) 출입자의 얼굴 영역 전체가 이미지 내에 존재해야 하고, (2) 출입자의 얼굴 전면이 향하는 각도가 카메라부(101)의 광축으로부터 일정한 범위 내에 있어야 하고 (3) 출입자의 얼굴 영역의 크기가 어느 정도의 해상도, 즉 일정한 크기 이상이어야 한다. 출입자가 원거리에서 접근 중이므로, 조건 (3)은 출입자가 출입통제기(100)에 일정한 거리까지 접근해야 만족할 수 있다. 조건 (1) 내지 (3)을 모두 만족하게 되면, 얼굴 인증에 충분한 상태가 되고 비로소 [얼굴추적 모드]를 탈출하게 된다.
얼굴 추적모드는, 얼굴중심추적부(113)가 모터구동부(103)를 제어하여 내장 카메라부(101)의 자세를 계속 제어함으로써 수행된다. 조건 (1) 내지 (3)을 만족시키기 위한 방법은 여러 가지가 있을 수 있으나, 본 발명은 아래에서 설명하는 것처럼, 얼굴 영역의 중심을 이미지의 중심 근처에 오도록 제어함으로서 조건 (1) 내지 (3)이 충족되도록 한다. S201 단계에서 내장 카메라부(101)가 연속적인 프레임의 이미지를 얼굴검출부(111)에게 제공하므로, 출입자의 얼굴을 추적하는 단계는 S201 내지 S209 단계를 반복함으로써 이루어진다.
<출입자의 얼굴의 대표 좌표 계산: S205>
얼굴검출부(111)는 내장 카메라부(101)가 제공한 이미지에서 출입자 얼굴이 검출되면, 그 얼굴의 대표 좌표를 계산하여 얼굴중심추적부(113)에게 제공한다.
여기서, 대표 좌표는 예컨대, 얼굴 영역의 중심점이 될 수도 있고, 얼굴의 특정 부위의 위치가 될 수도 있다. 모터구동부(103)가 틸팅 동작만을 수행하는 경우라면 대표 좌표는 세로 방향의 좌표 값만이 유효해진다.
얼굴의 대표 좌표 계산은 통상의 알려진 영상처리 기법에 의해 수행될 수 있다. 예컨대 인식된 얼굴 영역의 최상위 픽셀좌표와 최하위 픽셀좌표를 구함으로써 얼굴 영역의 세로방향 중심 좌표를 대표좌표로 계산할 수 있다.
<대표 좌표가 이미지의 중심영역에 오도록 카메라부 자세 제어: S207>
얼굴중심추적부(113)는 모터구동부(103)를 연속적으로 제어함으로써 얼굴검출부(111)가 계산한 대표 좌표가 기 설정된 중심 영역 내에 있도록 내장 카메라부(101)의 자세를 조정한다. 여기서, 중심 영역은 이미지의 중심 영역이 된다.
한편, 모터구동부(103)가 틸팅 제어만 하는 경우라면 대표 좌표는 세로 방향의 좌표 값만이 유효하므로, 기 설정된 중심영역(C1)은 이미지(P)의 중심점을 지나는 수평선이 될 수 있다. 또한 도 2에서처럼, 수평선에 얼마간의 여유(예컨대 ±20 pixel)를 포함하는 영역을 중심영역(C1)으로 설정할 수도 있다.
얼굴중심추적부(113)는 얼굴 추적 중에 아래에서 S215, S217 단계에서 설명하는 에러 상황이 발생하면, 모터구동부(103)를 제어하여 내장 카메라부(101)가 기본 자세로 돌아가도록 제어할 수 있다.
<얼굴영역의 크기가 특징점 추출에 적합한지 판단: S209>
특징점추출부(115)는 내장 카메라부(101)가 촬영한 이미지로부터 얼굴 영역의 특징점을 추출하여 얼굴인증부(117)에게 제공한다. 이를 위해, 특징점추출부(115)는 내장 카메라부(101)가 생성한 모든 이미지에 대하여 특징점을 추출할 수도 있지만, 실시 예에 따라서는, 얼굴 인증에 필요한 크기를 제1 픽셀 사이즈(Px × Py)로 설정하고, 얼굴 영역의 크기가 기 설정된 제1 픽셀 사이즈(Px × Py)에 도달한 경우에 특징점을 추출하여도 충분하다. 여기서, 제1 픽셀 사이즈(Px × Py)는 실험적으로 정할 수 있다.
모터구동부(103)가 틸팅 동작만을 수행하는 경우라면, 제1 픽셀 사이즈(Px × Py)는 세로 방향의 크기 Py만으로 정할 수도 있다. 나아가, 얼굴중심추적부(113)가 접근 중인 출입자의 대표 좌표가 중심 영역 내에 존재하도록 제어하는 경우, 특징점추출부(115)는, 제1 픽셀 사이즈를 대신하여, 도 3의 예에서처럼 중심점을 지나는 수평선으로부터 ±
Figure 112014000262548-pat00002
에 해당하는 인증영역(C2)를 설정하고, 출입자(a)의 얼굴 세로방향의 크기가 인증영역(C2) 이상을 차지하게 되면 특징점 추출을 개시할 수 있다.
도 2의 실시 예는, 특징점추출부(115)가 제1 픽셀 사이즈 또는 인증영역(C2)를 미리 설정하고, S209 단계에서 얼굴 영역의 크기가 제1 픽셀 사이즈(Px × Py)에 도달하였는지 또는 인증영역(C2) 이상을 차지하는지 여부를 판단한다.
만약, 현재 출입자와 출입통제기(100) 사이의 거리 등으로 인하여, 현재 처리 중인 이미지에서의 얼굴 영역의 크기가 제1 픽셀 사이즈(Px × Py)에 도달하지 못했거나 인증영역(C2)에 미치지 못하였다면, 출입자가 필요한 정도까지 접근하지 못한 것으로 판단하고, 다시 S201 단계로 돌아가 다음 프레임의 이미지에 대하여 S201 내지 S209 단계를 반복한다.
그러다가 현재 출입자가 출입통제기(100)에 충분히 접근하여, 현재 처리 중인 이미지에서의 얼굴 영역의 크기가 제1 픽셀 사이즈(Px × Py)에 도달하였거나 인증영역(C2) 이상을 차지하게 되었다면, 특징점 추출에 적합한 상태로 판단하고 아래에서 설명하는 [얼굴인증 모드]로 진입한다.
<얼굴추적 모드 동작의 예>
모터구동부(103), 얼굴중심추적부(113), 특징점추출부(115)의 동작에 의해 출입통제기(100)는 출입자가 원거리에서부터 접근하는 중에 출입자에 대한 얼굴 인증을 자동으로 수행할 수 있으며, 출입자에게 특별히 얼굴을 출입통제기 등에 밀착시키거나 카메라 등을 응시하도록 요구할 필요가 없어진다.
출입자가 일반적으로 얼굴 인증이 불가능한 원거리에서 접근해 오는 경우를 가정해 보자. 여기서 원거리는 내장 카메라부(101)의 각종 조건에 따라 달라질 수 있다. 예컨대 1280×960 사이즈의 이미지 센서를 사용하는 경우 대략 3m 정도에 출입자가 있는 경우, 얼굴 검출은 가능하지만 얼굴인증을 위한 특징점 추출은 불가능하다.
3m쯤 지점에서, 얼굴검출부(111)는 출입자의 얼굴을 검출하여 그 대표 좌표를 계산할 수 있다. 이때, 그 출입자의 대표 좌표가 기 설정된 중심 영역(C1) 내에 있지 않은 경우 얼굴중심추적부(113)는 모터구동부(103)를 제어하여 내장 카메라부(101)의 자세를 조정한다. 따라서 출입자가 출입을 위하여 출입통제기(100)쪽으로 계속 접근 중이라 가정하면, 최초 얼굴이 검출된 시점(t1)에서의 이미지(m1)()에서의 얼굴의 대표 좌표가 기 설정된 중심 영역(C1) 밖에 있더라도, 얼굴중심추적부(113)의 제어에 의하여 계속 접근 중인 출입자의 대표 좌표가 바로 중심 영역(C1) 내에 존재하게 된다. 출입자가 계속 접근 중이라면, 출입자의 얼굴 영역의 세로방향 크기가 계속 커지면서 인증영역(C2)에 맞추어지게 될 것이며, 이때 특징점추출부(115)는 아래에서 설명되는 얼굴인증 모드로 진입하여 해당 얼굴의 특징점을 추출하게 된다.
얼굴 인증모드 ( S211 )
얼굴 인증모드에 진입하면, 특징점추출부(115)가 얼굴 인증모드 진입시의 이미지에서 인식한 얼굴영역에서 특징점을 추출하여 얼굴인증부(117)에게 제공한다.
얼굴인증부(117)는 특징점추출부(115)가 추출한 특징점을 기초로 출입자의 인증을 수행한다. 얼굴인증부(117)는 메모리(미도시)나 외부 인증(미도시)에 등록된 자들 중에서 특징점이 출입자의 특징점과 유효한 범위 내에서 일치하는 자가 있는지 확인함으로써 해당 출입자를 인증한다.
실시 예에 따라, 출입통제기(100)는 외부에 별도로 마련되어 출입문을 개폐하는 도어구동부(10)를 제어하는 출입문제어부(119)를 포함할 수 있다. 출입문제어부(119)는 제어부(110) 내에 포함될 수도 있고, 제어부(110)와 별도로 출입통제기(100) 내에 마련될 수도 있다. 출입문제어부(119)는 얼굴인증부(117)가 출입자를 등록된 자로 인증한 경우에 도어구동부(10)로 하여금 출입문이 개방되도록 제어할 수 있다.
대기모드로 복귀( S213 )
얼굴인증부(117)가 S211의 얼굴 인증 단계를 수행하면, 출입통제기(100)는 다시 대기 모드로 진입하여 새로운 출입자를 대기한다. 대기 모드로 진입하면, 모터구동부(103)는 내장 카메라부(101)로 하여금 다시 기본 자세로 복귀하도록 제어한다.
얼굴추적 모드 중 오류 ( S215 , S217 )
대기모드 중인 S203 단계에서, 이미지 상에 출입자의 얼굴이 검출되지 않으면, 출입자가 없는 상태로 판단하여 S201 단계로 돌아가 계속 대기모드에 머무르면 되고 달리 오류 메시지를 표시할 필요가 없다.
그러나, 얼굴 추적모드 중인 S203 단계에서, 출입자의 얼굴이 이미지에 사라지는 등의 오류가 발생하면, 출입자에게 현재의 오류 상태를 표시할 필요가 있다.
얼굴검출부(111)는 현재 모드가 얼굴추적 모드인 경우(S
얼굴중심추적부(113)는 '얼굴인식 불가' 등과 같은 오류 메시지를 스피커(미도시) 또는 표시부(미도시) 등을 통해 출입자에게 표시할 수 있다.
그 밖에도, S203 단계에서 2 명 이상의 출입자 얼굴이 포착될 수도 있는데, 이 경우에도 '복수 출입자 인증 불가' 등의 오류 메시지를 표시할 수 있다.
얼굴중심추적부(113)가 오류 메시지 보고를 수행한 후, 출입통제기(100)는 얼굴추적 모드를 탈출하여 S213 단계를 통해 [대기모드]로 다시 진입하게 된다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (8)

  1. 출입문에 부착된 출입통제기에 있어서,
    접근 중인 출입자를 연속적으로 촬영하여 이미지를 생성하는 내장 카메라부;
    상기 내장 카메라부의 틸팅(Tilting) 동작을 수행하는 모터 구동부;
    상기 카메라부가 연속적으로 촬영한 각 이미지로부터 상기 출입자가 접근함에 따라 크기가 변하는 상기 출입자의 얼굴 영역을 인식하고, 상기 얼굴 영역의 세로 방향 대표 좌표를 계산하는 얼굴검출부;
    상기 얼굴검출부가 계산한 대표 좌표가 상기 이미지의 중심영역(C1) 상에 위치하도록 상기 모터 구동부를 연속적으로 제어하여 상기 내장 카메라부로 하여금 상기 출입자의 얼굴을 추적하되, 상기 중심영역(C1)은 상기 이미지의 중심점을 지나는 수평선을 기준으로 상하로 기 설정된 여유분이 포함된 영역인 얼굴중심추적부;
    상기 이미지에서 상기 출입자 얼굴의 특징점을 추출하는 특징점 추출부;
    상기 추출된 특징점을 기초로 얼굴 인증을 수행하는 얼굴인증부;
    상기 얼굴 인증이 완료된 경우에, 외부에 별도로 마련되어 출입문을 개폐하는 도어구동부를 제어하는 출입문제어부; 및
    상기 내장 카메라부, 모터 구동부, 얼굴검출부, 얼굴중심추적부, 특징점 추출부, 얼굴인증부 및 출입문제어부를 동시에 수용하는 케이스를 포함하고,
    상기 특징점 추출부는 상기 이미지에서 상기 얼굴 영역의 크기가 기 설정된 제1 픽셀 사이즈(Px × Py) 이상이 되는 때에 상기 특징점을 추출하되,
    상기 수평선으로부터 세로좌표가 ±
    Figure 112015028836490-pat00003
    에 해당하는 인증영역을 설정하고, 상기 출입자의 얼굴 세로방향의 크기가 상기 인증영역 이상을 차지하게 되면 특징점 추출을 개시하는 출입통제기.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 접근 중인 출입자를 출입통제기 내에 내장된 내장 카메라부로 촬영하여 이미지를 계속 생성하는 중에,
    상기 이미지로부터 상기 출입자의 얼굴 영역을 인식하고, 상기 얼굴 영역의 세로 방향 대표 좌표를 계산하는 단계;
    상기 계산된 대표 좌표가 상기 이미지의 중심영역(C1) 상에 위치하도록 상기 내장 카메라부의 자세를 연속적으로 제어하여 상기 출입자의 얼굴을 추적하되, 상기 중심영역(C1)은 상기 이미지의 중심점을 지나는 수평선을 기준으로 상하로 기 설정된 여유분이 포함된 영역인 단계;
    상기 얼굴을 추적하는 중에, 상기 이미지에서 상기 얼굴 영역의 크기가 기 설정된 제1 픽셀 사이즈(Px × Py) 이상이 되는 때에 상기 이미지에서 상기 출입자 얼굴의 특징점을 추출하되, 상기 수평선으로부터 세로좌표가 ±
    Figure 112015093075813-pat00008
    에 해당하는 인증영역을 설정하고, 상기 출입자의 얼굴 세로방향의 크기가 상기 인증영역 이상을 차지하게 되면 상기 특징점 추출을 개시하는 단계;
    상기 추출한 특징점을 이용하여 얼굴인식을 수행하는 단계; 및
    상기 얼굴인식이 완료된 경우 도어를 개폐하는 단계를 포함하는 출입통제방법.
  6. 삭제
  7. 삭제
  8. 삭제
KR1020140000255A 2014-01-02 2014-01-02 얼굴 인식에 의한 출입관리장치 및 방법 KR101596363B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140000255A KR101596363B1 (ko) 2014-01-02 2014-01-02 얼굴 인식에 의한 출입관리장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140000255A KR101596363B1 (ko) 2014-01-02 2014-01-02 얼굴 인식에 의한 출입관리장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150080781A KR20150080781A (ko) 2015-07-10
KR101596363B1 true KR101596363B1 (ko) 2016-02-26

Family

ID=53792600

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140000255A KR101596363B1 (ko) 2014-01-02 2014-01-02 얼굴 인식에 의한 출입관리장치 및 방법

Country Status (1)

Country Link
KR (1) KR101596363B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101939696B1 (ko) 2018-04-19 2019-01-17 주식회사 에버정보기술 사용자 무의식형 멀티모달 출입통제시스템
KR20220080313A (ko) 2020-12-07 2022-06-14 (주)씨유박스 얼굴 이미지를 이용한 공동주택 내 주문 방법 및 시스템

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679514A (zh) * 2017-10-20 2018-02-09 维沃移动通信有限公司 一种人脸识别方法及电子设备
KR102592217B1 (ko) * 2021-07-22 2023-10-19 한국로봇융합연구원 대상체 위치 추적 로봇
KR20240022161A (ko) 2022-08-11 2024-02-20 주식회사 유니온커뮤니티 얼굴인식 기능이 탑재된 출입인증설비의 얼굴 정보 업데이트 방법 및 그 방법을 위한 얼굴 인식 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100326203B1 (ko) * 1999-06-11 2002-02-27 김운용 피부색 및 움직임 자동 추적에 의한 얼굴 촬영/인식방법과 그장치
KR101051365B1 (ko) * 2009-07-16 2011-07-22 주식회사 유니온커뮤니티 카메라를 구비한 출입관리장치 및 그 출입관리방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101939696B1 (ko) 2018-04-19 2019-01-17 주식회사 에버정보기술 사용자 무의식형 멀티모달 출입통제시스템
KR20220080313A (ko) 2020-12-07 2022-06-14 (주)씨유박스 얼굴 이미지를 이용한 공동주택 내 주문 방법 및 시스템

Also Published As

Publication number Publication date
KR20150080781A (ko) 2015-07-10

Similar Documents

Publication Publication Date Title
KR100831122B1 (ko) 얼굴 인증 장치, 얼굴 인증 방법, 및 출입 관리 장치
US7574021B2 (en) Iris recognition for a secure facility
US10127439B2 (en) Object recognition method and apparatus
US9922238B2 (en) Apparatuses, systems, and methods for confirming identity
JP4548218B2 (ja) 顔認証装置
JP6151582B2 (ja) 顔認証システム
KR101596363B1 (ko) 얼굴 인식에 의한 출입관리장치 및 방법
US8422746B2 (en) Face authentication system and authentication method thereof
EP1840795A1 (en) Face image read apparatus and method, and entrance/exit management system
US11006864B2 (en) Face detection device, face detection system, and face detection method
JP2001331799A (ja) 画像処理装置および画像処理方法
JP2008071172A (ja) 顔認証装置、顔認証方法および入退場管理装置
WO2017189267A1 (en) Multi-modality biometric identification
JP4521086B2 (ja) 顔画像認識装置及び顔画像認識方法
JP2006236260A (ja) 顔認証装置、顔認証方法および入退場管理装置
CN115830670A (zh) 具备人脸辨识的电子装置
JP2013069155A (ja) 顔認証データベース構築方法、顔認証装置及び顔認証プログラム
JP6951796B1 (ja) 画像認識装置、認証システム、画像認識方法及びプログラム
JP2007011456A (ja) 顔認証装置および顔認証方法
JP5766096B2 (ja) 顔画像認証装置
JP2007328571A (ja) マルチモーダル生体認証装置
JP2007249298A (ja) 顔認証装置および顔認証方法
JP2007206898A (ja) 顔認証装置および入退場管理装置
JP6947202B2 (ja) 照合システム
KR20110092848A (ko) 얼굴 인증 및 등록방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190201

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200217

Year of fee payment: 5