KR101050537B1

KR101050537B1 - Front face image detection method for access certification storage of access control system

Info

Publication number: KR101050537B1
Application number: KR1020090064629A
Authority: KR
Inventors: 강필경
Original assignee: 주식회사 아이디테크
Priority date: 2009-07-15
Filing date: 2009-07-15
Publication date: 2011-07-20
Also published as: KR20110006970A

Abstract

본 발명은 출입통제시스템의 출입인증 보관용 정면얼굴 이미지 검출 방법에 관한 것으로, 보다 상세하게는 출입이 통제되는 장소에 설치되는 출입통제시스템에서 출입을 위한 출입인증시 해당 출입인증 요청자의 얼굴 이미지를 보관용으로 저장하되 추후 보안문제 발생시 출입인증 기록을 얼굴 이미지를 참조하여 검증할 수 있도록 출입인증 요청자에 대한 정확한 정면 얼굴 이미지가 보관용으로 보관되게 하는 출입통제시스템의 출입인증 보관용 정면얼굴 이미지 검출 방법에 관한 것이다. The present invention relates to a method for detecting a front face image for access authentication storage of an access control system. More particularly, the present invention relates to a face image of a corresponding access authentication requestor for access authentication in an access control system installed at a place where access is controlled. Detects the front face image for access authentication storage of the access control system so that the correct front face image for the access requester is stored for storage so that it can be stored for storage, so that in the future, when security problems occur, the access authentication record can be verified with reference to the face image. It is about a method.

출입인증, 도어락 Access certification, door lock

Description

Front face image detection method for access certification storage of access control system {METHOD FOR EXTRACTING FRONT FACE IN ENTRANCE CONTROL SYSTEM}

종래에는 사무실, 호텔 객실, 아파트 등의 도어 개폐 장치로는 금속 열쇠를 사용하여 도어를 개폐하는 기계식 도어락이 주로 사용되었다. 하지만, 종래의 기계식 도어락은 인증 수단으로 사용되는 금속 열쇠가 분실 및 복제에 취약하여 보안성이 약한 편이었다. 요즈음에는 종래의 기계식 도어락이 지닌 취약성을 해결하고자 인증 수단으로 비밀번호 입력, 카드키, 지문, 홍채, 음성, 얼굴 등의 다양한 수단들을 사용하고, 마이크로프로세서(MPU: Microprocessor Unit)를 도어락에 탑재하여 도어락의 전반적인 열림 및 잠김 동작을 제어하는 첨단의 디지털 도어락들이 개발되어 상용화되고 있다.Conventionally, mechanical door locks for opening and closing doors using metal keys have been mainly used as door opening and closing devices for offices, hotel rooms and apartments. However, the conventional mechanical door lock has a weak security because the metal key used as an authentication means is vulnerable to loss and duplication. Nowadays, various means such as password input, card key, fingerprint, iris, voice, and face are used as authentication means to solve the vulnerability of the conventional mechanical door lock, and the microprocessor unit (MPU: Microprocessor Unit) is mounted on the door lock. Advanced digital door locks have been developed and commercialized to control the overall opening and closing of the car.

이와 같은 디지털 도어락은 사전에 인증된 비밀 번호 또는 전자 키 등의 다양한 인증 수단이 입력되면 잠금 모드를 해제하여 출입문을 열도록 설정되어 있으며, 부적절한 인증 수단에 의해 잠금 모드 해제가 요청되거나, 부적절한 방법에 의한 강제적인 잠금 모드 해제 시도가 있는 경우에는, 경고음을 울리며 일정 시간 동안 동작하지 않는 등의 보안 기능도 함께 탑재되어 있다. Such a digital door lock is set to release the lock mode to open the door when various authentication means such as a pre-authenticated password or an electronic key are input. If there is a forced lock mode release attempt, a warning sound sounds and does not operate for a certain period of time.

최근에는 이러한 디지털 도어락에 출입통제 시스템을 접목시켜 사용자의 출입시 해당 사용자의 출입 기록과 인증 기록을 함께 관리함으로써 차후 보안상의 문제 발생시 원인 추적을 위한 근거 자료로 활용하고 있다. Recently, the access control system is integrated into the digital door lock to manage the access record and the authentication record of the user at the time of the user's entry and use as a basis for tracking the cause in case of future security problems.

이와 같이 출입통제 시스템이 출입에 대한 출입 기록을 남기는데 있어서 출입인증이 등록된 사용자가 아닌 자의 부정적인 수단에 의해 이루어질 수도 있기 때문에, 출입인증시 인증요청자에 대한 얼굴 이미지를 기록하는 시스템도 많이 도입되고 있다. 이 경우 인증요청자의 얼굴에 대한 기록이 남기 때문에 차후 보안상의 문제 발생시 책임 소재가 비교적 명확하다는 장점이 있다. As such, the access control system may record the face image of the authentication requestor at the time of access authentication because access authentication may be performed by a negative means of a person other than the registered user in leaving an access record for access. have. In this case, since the record of the face of the authentication requester is left, the responsibility of the security problem is relatively clear in the future.

하지만, 인증요청자의 얼굴 이미지 기록을 남기는데 있어서 시스템이 얼굴 이미지를 단순히 촬영하여 저장해 두는 정도의 알고리즘만이 도입되어 있기 때문에 부정적인 의도는 없다 하더라도 무의식적으로 촬영에 임하는 경우 제대로 된 얼굴 이미지 기록을 남길 수 없어서 그 효력이 미비하다는 문제점이 있었고, 고의적으로 카메라 앵글에서 얼굴을 감추거나 얼굴을 기울여 본인 확인을 어렵게 하는 시도가 있고, 이물(선그라스, 마스크 등)을 이용하여 얼굴의 일정 부분을 감춤으로써 책임 소재를 불명확하게 하려는 시도가 있어왔다. However, since the system only introduces an algorithm that records and stores the face image in the record of the face image of the requestor, even if there is no negative intention, it is possible to leave a proper face image record in case of involuntary shooting. There was a problem that the effect was insufficient, and deliberately tried to hide the face from the camera angle or tilt the face to make it difficult to identify yourself, and to cover certain parts of the face by using foreign objects (sunglasses, masks, etc.) Attempts have been made to obscure.

본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 도어를 개폐시키는 도어락 장치(100)와 해당 도어락 장치(100)의 개폐를 결정하는 사용자의 출입인증이 진행되는 인증 장치(200)와 출입인증 사용자의 출입인증기록을 저장하기 위한 인증 이미지기록 장치(300)로 구성된 출입통제시스템에서 진행되는 출입인증 보관용 정면얼굴 이미지 검출 방법으로서, (a) 상기 인증 이미지기록 장치(300)가 출 입인증을 수행하고 있는 사용자를 촬영하고, 촬영된 사용자에 대한 이미지를 흑백 이미지로 변환시키는 단계; (b) 상기 인증 이미지기록 장치(300)가 상기 흑백 이미지를 정사각형 이미지로 규격화시키는 단계; (c) 상기 인증 이미지기록 장치(300)가 규격화된 얼굴 후보 이미지를 원이미지에서 가로 및 세로 크기가 정비례하도록 이미지 크기를 사전 축소시키는 단계; (d) 상기 인증 이미지기록 장치(300)가 사전 축소된 얼굴 후보 이미지를 출입인증 절차를 수행하고 있는 사용자의 정면 얼굴을 검출하기 위한 얼굴 후보 이미지로 지정하고 해당 얼굴 후보 이미지에서 비얼굴 영역을 제외시켜 얼굴 후보 영역을 설정하는 단계; (e) 상기 인증 이미지기록 장치(300)가 상기 얼굴 후보 영역에서 얼굴 디텍터를 2 픽셀씩 이동시켜가며 해당 영역이 얼굴을 포함하고 있는지 체크하는 단계; (f) 얼굴 영역이 검출되면, 상기 인증 이미지기록 장치(300)가 검출된 얼굴 영역에서 좌·우 눈 검색 영역을 설정하고, 좌·우 눈 검색 영역에서 눈 디텍터를 2 픽셀씩 이동시켜가며 해당 영역이 좌·우 눈을 포함하고 있는지 체크하는 단계; (g) 좌·우 눈이 검출되면, 상기 인증 이미지기록 장치(300)가 검출된 얼굴 영역에서 입 검색 영역을 설정하고, 입 검색 영역에서 입 디텍터를 2 픽셀씩 이동시켜가며 해당 영역이 입을 포함하고 있는지 체크하는 단계; 및 (h) 얼굴, 눈 및 입의 검출을 성공하게 되면, 상기 인증 이미지기록 장치(300)가 출입인증을 수행하고 있는 사용자에 대한 정면 얼굴이 검출된 것으로 판단하고 해당 촬영된 이미지를 출입인증 기록을 위한 인증본으로서 저장하는 단계; 를 특징으로 한다. The present invention has been made in order to solve the above problems, the door lock device 100 for opening and closing the door and the authentication device 200 and the access authentication proceeds the access authentication of the user to determine the opening and closing of the door lock device 100 A front face image detection method for access authentication storage proceeding in an access control system including an authentication image recording apparatus 300 for storing a user's access authentication record, the method comprising: (a) the authentication image recording apparatus 300 access authentication; Photographing the user performing the step, and converting the image of the photographed user into a black and white image; (b) the authentication image recording apparatus 300 standardizing the black and white image into a square image; (c) the authentication image recording apparatus 300 pre-shrink the normalized face candidate image so that the horizontal and vertical sizes are directly proportional to the original image; (d) The authentication image recording apparatus 300 designates the face candidate image which has been previously reduced as a face candidate image for detecting the front face of the user who is performing the access authentication procedure, and excludes the non-face area from the face candidate image. Setting a face candidate area to make a face candidate; (e) the authentication image recording apparatus 300 moving the face detector by 2 pixels in the face candidate area and checking whether the area includes a face; (f) When the face area is detected, the authentication image recording apparatus 300 sets the left and right eye search areas in the detected face area, and moves the eye detectors by 2 pixels in the left and right eye search areas. Checking whether the area contains left and right eyes; (g) When the left and right eyes are detected, the authentication image recording apparatus 300 sets the mouth search area in the detected face area, moves the mouth detector by 2 pixels in the mouth search area, and includes the mouth. Checking whether it is being performed; And (h) when the detection of the face, eyes, and mouth is successful, the authentication image recording apparatus 300 determines that the front face of the user performing the access authentication has been detected, and records the image of the access authentication. Storing as a certified copy for the; It is characterized by.

바람직하게는, 상기 (b) 단계에서, 규격화되는 이미지는 480×480 픽셀 영역 으로 규격화되고, 상기 (c) 단계에서 사전 축소되는 이미지는 80×80 픽셀의 크기로 축소되는 것을 특징으로 한다. Preferably, in the step (b), the normalized image is normalized to an area of 480 × 480 pixels, and the image previously reduced in the step (c) is reduced to a size of 80 × 80 pixels.

더욱 바람직하게는, 상기 (d) 단계에서, 상기 인증 이미지기록 장치(300)는 얼굴에 대한 피부색을 기준으로 얼굴 데이터에 대하여 설정된 픽셀값의 소정 평균 임계값과 소정 표준편차 임계값을 통해 비얼굴 영역을 추출하여 제외시키는 것을 특징으로 한다. More preferably, in the step (d), the authentication image recording apparatus 300 uses the non-face through the predetermined average threshold value and the predetermined standard deviation threshold value of the pixel value set for the face data based on the skin color of the face. It is characterized in that the area is extracted and excluded.

더욱 바람직하게는, 상기 (e) 단계에서, 상기 얼굴 디텍터는 24×24의 픽셀 크기를 가지는 것을 특징으로 한다. More preferably, in the step (e), the face detector is characterized in that the pixel size of 24 × 24.

더욱 바람직하게는, 상기 (f) 단계에서의 좌·우 눈 검색 영역의 설정은, 상기 검출된 얼굴 영역의 크기가 2d×2d 의 크기를 가질 때, 눈 검색 영역은 가로 중심축을 기준으로 하부 얼굴 영역을 제외시키고 상부 얼굴 영역 내에서 상부의 1/10d 행의 픽셀을 제외시키며 좌우측의 1/10d 열의 픽셀을 각각 제외시킴으로써 설정되고, 왼쪽 눈 검색 영역은 상기 눈 검색 영역에서 세로 중심축을 기준해서 왼쪽 영역으로 설정되고, 오른쪽 눈 검색 영역은 상기 눈 검색 영역에서 세로 중심축을 기준해서 오른쪽 영역으로 설정되는 것을 특징으로 한다. More preferably, in the step (f), the left and right eye search areas are set so that when the size of the detected face area has a size of 2d × 2d, the eye search area has a lower face based on the horizontal center axis. It is set by excluding an area, excluding pixels in the upper 1 / 10d row within the upper face area, and excluding pixels in the left and right 1 / 10d columns, respectively, and the left eye search area is left along the vertical center axis in the eye search area. And the right eye search region is set to the right region with respect to the vertical center axis in the eye search region.

더욱 바람직하게는, 상기 (g) 단계에서의 입 검색 영역의 설정은, 가로 중심축을 기준으로 상부 얼굴 영역을 제외시키고 하부 얼굴 영역 내에서 상부의 1/10d 행의 픽셀을 제외시키며 좌우측의 1/10d 열의 픽셀을 각각 제외시킴으로써 설정되는 것을 특징으로 한다. More preferably, the setting of the mouth search region in the step (g) excludes the upper face region with respect to the horizontal center axis and excludes the top 1 / 10d rows of pixels within the lower face region, It is set by excluding pixels of the 10d column, respectively.

더욱 바람직하게는, 상기 인증 이미지기록 장치(300)는 상기 얼굴 디텍터, 눈 디텍터 또는 입 디텍터에 의한 얼굴 후보 영역, 좌·우 눈 검색 영역 또는 입 검색 영역에 대한 타겟 검출 체크시, 해당 영역을 일정 비율로 단계적으로 축소시켜가면서 고정된 크기의 디텍터를 통해 해당 축소된 영역을 반복적으로 체크하는 것을 특징으로 한다. More preferably, the authentication image recording apparatus 300 selects a corresponding area at a target detection check for a face candidate area, a left and right eye search area, or a mouth search area by the face detector, the eye detector, or the mouth detector. It is characterized by repeatedly checking the reduced area through a fixed size detector while gradually reducing the rate.

더욱 바람직하게는, 상기 인증 이미지기록 장치(300)는 1.2 비율로 얼굴 후보 이미지를 6 단계로 축소하면서 축소된 각각의 이미지에서 고정된 24×24 픽셀 크기의 디텍터를 통해 서브 이미지들로 분할하는 것을 특징으로 한다. More preferably, the authentication image recording apparatus 300 divides the face candidate image into six levels by dividing the face candidate image into six levels by dividing it into sub-images through a fixed 24 × 24 pixel size detector in each of the reduced images. It features.

더욱 바람직하게는, 상기 인증 이미지기록 장치(300)는 검색 대상 영역에서 디텍터를 2 픽셀씩 이동시켜가면서 해당 이미지를 다수의 서브 이미지로 분할하고, 분할된 각각의 서브 이미지에 대하여 평균값과 분산값을 미리 설정된 임계값과 비교함으로써 해당 후보 영역에 얼굴, 눈 또는 입이 포함되어 있는지 여부를 체크하는 것을 특징으로 한다. More preferably, the authentication image recording apparatus 300 divides the corresponding image into a plurality of sub-images while moving the detector by 2 pixels in the search target area, and calculates an average value and a dispersion value for each sub-image. The method may determine whether a face, an eye, or a mouth is included in the corresponding candidate area by comparing with a preset threshold.

본 발명은 출입통제시스템의 출입인증 보관용 정면얼굴 이미지 검출 방법에 관한 것으로, 출입이 통제되는 장소에 설치되는 출입통제시스템에서 출입을 위한 출입인증시 해당 출입인증 요청자의 얼굴 이미지를 보관용으로 저장하되 추후 보안문제 발생시 출입인증 기록을 얼굴 이미지를 참조하여 검증할 수 있도록 출입인증 요청자에 대한 정확한 정면 얼굴 이미지가 보관용으로 보관되게 함으로써 출입에 대한 확실한 기록 보존을 가능하게 하는 효과가 있다. The present invention relates to a method for detecting a front face image for access authentication storage of an access control system, and storing the face image of the access authentication requestor for storage in an access authentication system installed in a place where access is controlled. However, in the event of a future security problem, it is possible to verify the access authentication record by referring to the face image, so that the accurate front face image of the access requester is kept for storage, thereby making it possible to secure a record of access.

이하 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다. Hereinafter, exemplary embodiments of the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명에 따른 출입통제시스템의 출입인증 보관용 정면얼굴 이미지 검출 방법이 수행되는 출입통제시스템에 대한 블럭도이다. 1 is a block diagram of an access control system in which the front face image detection method for access authentication storage of the access control system according to the present invention is performed.

해당 출입통제시스템은 일반 가정, 상점, 건물 등에서 외부인의 출입을 제한하거나 내부인의 출입을 일정부분 통제하기 위한 것으로 기계적 장치와 전자적 장치가 결합된 디지털 도어락 시스템이다. The access control system is a digital door lock system that combines mechanical and electronic devices to restrict the access of outsiders or to control some of the insiders in homes, stores, and buildings.

이러한 출입통제시스템은 도 1에 도시된 바와 같이 도어의 개폐를 기계적 또는 전자적으로 제어하는 도어락 장치(100)와, 상기 도어락 장치(100)의 개폐 여부를 결정하기 위해 사용자에게 소정 출입인증 절차를 요구하여 인증을 진행해 상기 도어락 장치(100)를 개폐시키는 인증 장치(200)와, 상기 인증 장치(200)를 통해 출입인증을 수행하고 있는 사용자에 대하여 얼굴 이미지를 인증보관용으로 저장하는 인증 이미지기록 장치(300)로 구성된다. The access control system, as shown in Figure 1, the door lock device 100 for controlling the opening and closing of the door mechanically or electronically, and the user requires a predetermined access authentication procedure to determine whether the door lock device 100 is open or closed. Authentication device 200 for opening and closing the door lock device 100 by performing authentication, and an authentication image recording device for storing a face image for authentication storage for a user performing access authentication through the authentication device 200. It consists of 300.

상기 인증 장치(200)는 상기 도어락 장치(100)를 해정 및 괘정하는 하드웨어적인 수단 또는 소프트웨어적인 수단을 의미하는데, 금속 열쇠, 마그네틱 카드 방식, IC 칩이 내장된 스마트 카드 방식, IC 칩이 내장된 안전 키 방식을 포함하는 전자 키와 버튼 키를 조작하여 비밀번호를 입력하는 비밀번호 인증 방식 및 지문과 같은 생체 정보를 인증하는 바이오 인증 방식 등으로 구성될 수 있다. The authentication device 200 refers to a hardware means or software means for unlocking and locking the door lock device 100. The authentication device 200 includes a metal key, a magnetic card method, a smart card method with an IC chip, and an IC chip therein. It may be configured as a password authentication method for inputting a password by operating an electronic key and a button key including a safety key method, and a bio-authentication method for authenticating biometric information such as a fingerprint.

여기에서, 사용자의 출입인증이라 함은 출입을 요구하는 사용자가 정당한지 여부를 체크하는 절차를 의미한다. Here, the access authentication of the user means a procedure for checking whether the user requesting access is justified.

이러한 사용자에 대한 출입인증시, 상술한 바와 같이 다양한 방식에 의해 출 입인증이 이루어질 때 몇몇 인증 방식의 경우(예컨데, 카드 인증, 번호 인증 등)에는 정당한 출입인증자인 본인이 아니라 하더라도 출입인증이 허용되지 않은 타인이 인증 수단을 일시적으로 양도받는 등의 방법을 통해 비정상적인 출입이 이루어지곤 한다. In the case of access authentication for such a user, when access authentication is performed by various methods as described above, in some authentication methods (for example, card authentication, number authentication, etc.), access authentication is allowed even if the user is not a legitimate access authenticator. Unauthorized persons are often given abnormal access through the temporary transfer of authentication.

따라서, 해당 인증 장치(200)에 대한 인증시 출입인증 절차를 수행하고 있는 사용자에 대한 사진 기록을 남김으로써 추후 보안문제 발생시 해당 출입인증 기록에 포함된 출입자의 얼굴 이미지를 참조하여 검증하게 된다. Therefore, by leaving a photo record of the user performing the access authentication procedure when authenticating the authentication apparatus 200, when a security problem occurs later, the verification is made by referring to the face image of the person included in the access authentication record.

이러한 출입인증 사용자에 대한 얼굴 이미지 기록은 상술한 인증 이미지기록 장치(300)를 통해 이루어진다. The face image recording for the access authentication user is performed through the authentication image recording apparatus 300 described above.

상기 인증 이미지기록 장치(300)는 도 2에 도시된 바와 같이 카메라(310), 이미지 변환부(320), 이미지 사전 축소부(330), 이미지 전처리부(340), 세부영역 설정부(350), 타겟 검출부(360), 디텍터 저장부(370), 이미지 단계 축소부(380) 및 인증본 저장부(390)를 포함하여 구성된다. As shown in FIG. 2, the authentication image recording apparatus 300 includes a camera 310, an image converter 320, an image pre-reduction unit 330, an image preprocessor 340, and a detail region setting unit 350. The target detection unit 360 includes a detector storage unit 370, an image step reduction unit 380, and a certified copy storage unit 390.

상기 카메라(310)는 상기 인증 장치(200)에서 출입인증 절차를 수행하고 있는 사용자에 대한 사진을 촬영한다. 해당 카메라(310)의 촬영각은 상기 인증 장치(200)에서 출입인증을 수행하는 사용자를 향하여 맞추어져서 해당 인증 장치(200)를 통해 출입인증을 수행하는 사용자의 정면을 촬영할 수 있게 된다. 이러한 카메라(310)의 촬영 시점은 상기 인증 장치(200)에서 출입인증 절차의 진행에 따라 통보되거나, 별도의 인체 감지 수단에 의해 인체 접근을 감지한 시점이 될 수 있다. 상기 카메라(310)는 촬영된 이미지를 컬러 이미지 또는 흑백 이미지로 출력 처리할 수 있다. The camera 310 takes a picture of a user performing an access authentication procedure in the authentication apparatus 200. The photographing angle of the camera 310 is set toward the user performing the access authentication in the authentication apparatus 200, so that the front of the user performing the access authentication through the authentication apparatus 200 can be photographed. The photographing time point of the camera 310 may be notified by the authentication apparatus 200 as the access authentication procedure proceeds, or may be a time point at which the human body approach is detected by a separate human body detecting means. The camera 310 may output the captured image as a color image or a black and white image.

상기 이미지 변환부(320)는 상기 카메라(310)로부터 촬영된 사용자에 대한 이미지를 전달받아 흑백 이미지로 변환시키고, 해당 흑백 이미지를 정사각형 이미지가 되도록 규격화시킨다. 물론, 카메라(310)에서 출력되는 사진 이미지가 흑백 이미지인 경우 이러한 흑백 이미지 변환 과정은 생략될 수 있다. The image converting unit 320 receives an image of the user photographed from the camera 310, converts the image into a black and white image, and normalizes the black and white image to be a square image. Of course, when the photographic image output from the camera 310 is a black and white image, this black and white image conversion process may be omitted.

예컨데, 상기 이미지 변환부(320)는 상기 카메라(310)로부터 입력되는 이미지의 크기가 720×480 픽셀인 경우 도 3에 도시된 바와 같이 이미지에서 좌우 각각 120 픽셀씩 잘라내고, 남아있는 480×480 픽셀 영역으로 규격화시키게 된다. For example, when the size of the image input from the camera 310 is 720 × 480 pixels, the image converter 320 cuts 120 pixels left and right from the image as shown in FIG. Normalized to the pixel area.

상기 이미지 사전 축소부(330)는 상기 규격화된 흑백 이미지를 규격화된 원이미지에서 가로 및 세로 크기가 정비례하도록 이미지 크기를 축소시킨다. The image pre-reduction unit 330 reduces the size of the normalized black and white image so that the horizontal and vertical sizes are directly proportional to the normalized original image.

예컨데, 상기 이미지 사전 축소부(330)는 상기 이미지 변환부(320)를 통해 규격화된 480×480 픽셀의 이미지를 1/6 크기인 80×80 픽셀의 크기로 축소하게 된다. 이러한 이미지 사전 축소는 후술되는 얼굴, 눈, 입에 대한 타겟 검출 과정에서 전체적인 픽셀 연산의 부하를 줄여주기 때문에 보다 빠른 결과 도출을 가능하게 한다. For example, the image pre-reduction unit 330 reduces the size of the standardized 480 × 480 pixels through the image conversion unit 320 to 80 × 80 pixels, which is 1/6 size. This image pre-shrinkage reduces the load of the overall pixel operation in the target detection process for the face, eyes, and mouth, which will be described later, thereby enabling faster results.

상기 이미지 전처리부(340)는 상기 이미지 사전 축소부(330)를 통해 축소된 축소 이미지를 출입인증 절차를 수행하고 있는 사용자의 정면 얼굴을 검출하기 위한 얼굴 후보 영역으로 지정하고 해당 얼굴 후보 영역에서 비얼굴 영역을 제외시킨다. The image preprocessor 340 designates the reduced image reduced by the image pre-reduction unit 330 as a face candidate area for detecting the front face of the user who is performing the access authentication procedure, and sets the non-reduced image in the corresponding face candidate area. Exclude the face area.

일반적으로 얼굴 영역은 피부색이 대부분이다. 물론 인종에 따라서 검출된 얼굴의 픽셀값의 분포가 다르게 나타나지만 해당 인종을 감안하고 본다면 픽셀값의 분포의 평균과 표준편차가 어느 정도의 범위 내에서 수렴한다는 사실을 알 수 있다. 즉, 흑백 이미지에서 얼굴 영역의 평균 픽셀값은 너무 크거나 작지 않으며 표준편차가 낮기 때문에, 얼굴 데이터에 대한 미리 설정된 픽셀값의 소정 평균 임계값과 소정 표준편차 임계값을 통해 얼굴 영역일 가능성이 적은 비얼굴 영역을 추출하여 제외시키게 된다. 이러한 비얼굴 영역에 대한 추출 및 제외 과정을 통해 전체적인 픽셀 연산의 부하를 줄일 수 있어서 검출 정확도와 검출 속도를 향상시킬 수 있게 된다. In general, the facial area is mostly skin color. Of course, the distribution of the pixel value of the detected face appears differently according to race, but considering the race, it can be seen that the mean and standard deviation of the distribution of pixel values converge within a certain range. That is, since the average pixel value of the face area in the black and white image is not too large or small and the standard deviation is low, it is unlikely that the face area is a predetermined average threshold value and predetermined standard deviation threshold value of the preset pixel value for the face data. The non-face area is extracted and excluded. Extraction and exclusion of the non-face region can reduce the overall load of pixel operations, thereby improving detection accuracy and detection speed.

상기 타겟 검출부(360)는 상기 이미지 전처리부(340)를 통해 검출된 얼굴 후보 영역에 대해서 얼굴 영역을 검출하기 위하여 상기 디텍터 저장부(370)로부터 훈련된 얼굴 디텍터를 추출하고 해당 얼굴 디텍터를 상기 얼굴 후보 영역에서 이동시켜가면서 해당 디텍터 내의 얼굴 후보 영역이 얼굴을 포함하고 있는지 체크하게 된다. The target detector 360 extracts a trained face detector from the detector storage unit 370 to detect a face region with respect to the face candidate region detected by the image preprocessor 340 and converts the face detector into the face detector. While moving in the candidate area, it is checked whether the face candidate area in the corresponding detector includes a face.

실제로 상술한 이미지 사전 축소부(330)에서 480×480 픽셀의 이미지를 1/6 크기인 80×80 픽셀의 크기로 축소하는 이유는 해당 인증 장치(200)를 통해 출입인증을 수행하게 되는 사용자가 출입인증을 위해 일정 거리 이내로 접근하기 때문에 사용자의 얼굴 크기는 일정 범위 내에 들어오게 되므로 그 이상 혹은 그 이하의 얼굴 크기는 고려할 필요가 없다. The reason for actually reducing the image of 480 × 480 pixels to the size of 80 × 80 pixels, which is 1/6 size, in the image pre-reduction unit 330 described above is performed by a user who performs access authentication through the corresponding authentication device 200. Since the user's face size falls within a certain range because the user approaches within a certain distance for access authentication, a face size of more or less is not considered.

즉, 사용자의 출입인증시 촬영은, 상기 이미지 사전 축소부(330)에서 축소 처리하기 전의 480×480 픽셀 크기의 이미지에서 사용자의 얼굴이 180×180 픽셀 크기 내지 300×300 픽셀 크기를 갖도록 카메라(310)가 제어되게 된다. 따라서 480×480 픽셀 크기를 갖는 이미지가 1/6 크기인 80×80 픽셀의 크기로 축소됨에 따라 상기 디텍터의 크기는 도 4에 도시된 바와 같이 24×24의 픽셀 크기를 갖도록 하여 얼굴을 검출하도록 하는 것이 바람직하다. In other words, when photographing the user's access authentication, the camera (so that the user's face has a size of 180 × 180 pixels to 300 × 300 pixels in the image of 480 × 480 pixels before the reduction processing by the image pre-reduction unit 330). 310 is to be controlled. Therefore, as the image having a size of 480 × 480 pixels is reduced to a size of 80 × 80 pixels, which is 1/6 size, the detector has a size of 24 × 24 pixels as shown in FIG. 4 to detect a face. It is desirable to.

여기에서 상기 디텍터 저장부(370)는 훈련된 디텍터들이 저장되게 되는데, 이러한 디텍터들은 얼굴 디텍터, 눈 디텍터, 입 디텍터로 구분 저장되어 관리된다. Here, the detector storage unit 370 stores trained detectors, and these detectors are classified and managed as face detectors, eye detectors, and mouth detectors.

상기 얼굴 디텍터, 눈 디텍터, 입 디텍터는 각각 얼굴 영역에서 얼굴과, 좌우 눈과 입을 검출하기 위한 윈도우로서 해당 촬영된 이미지에 얼굴은 물론 눈과 입이 검출되었는지 체크함으로써 해당 촬영된 얼굴이 정면 얼굴인지 여부를 판가름하는 기준을 제공하게 된다. The face detector, the eye detector, and the mouth detector are windows for detecting the face, the left and right eyes, and the mouth in the face area, respectively. It will provide a standard for determining whether or not to judge.

상기 세부영역 설정부(350)은 상기 타겟 검출부(360)에서 검출된 얼굴 영역에서 왼쪽 눈 검색 영역, 오른쪽 눈 검색 영역 그리고 입 검색 영역을 설정하게 된다. The detail area setting unit 350 sets a left eye search area, a right eye search area, and a mouth search area in the face area detected by the target detector 360.

이러한 왼쪽 눈 검색 영역, 오른쪽 눈 검색 영역 그리고 입 검색 영역에 대한 설정 기준은 도 5에 도시된 바와 같다. The setting criteria for the left eye search area, the right eye search area, and the mouth search area are shown in FIG. 5.

즉, 상기 검출된 얼굴 영역의 크기가 2d×2d 의 크기를 가질 때, 눈 검색 영역은 가로 중심축을 기준으로 하부 얼굴 영역을 제외시키고 상부 얼굴 영역 내에서 상부의 1/10d 행의 픽셀을 제외시키고 좌우측의 1/10d 열의 픽셀을 각각 제외시킴으로써 설정된다. That is, when the size of the detected face region has a size of 2d × 2d, the eye search region excludes the lower face region based on the horizontal center axis and excludes the pixels of the upper 1 / 10d row within the upper face region. It is set by excluding the pixels of the 1 / 10d column on the left and right sides, respectively.

이때, 왼쪽 눈 검색 영역은 상기 눈 검색 영역에서 세로 중심축을 기준해서 왼쪽 영역으로 설정된다. 그리고 오른쪽 눈 검색 영역은 상기 눈 검색 영역에서 세로 중심축을 기준해서 오른쪽 영역으로 설정된다. In this case, the left eye search area is set as the left area with respect to the vertical center axis in the eye search area. The right eye search region is set as the right region with respect to the vertical center axis in the eye search region.

또한, 입 검색 영역은 가로 중심축을 기준으로 상부 얼굴 영역을 제외시키고 하부 얼굴 영역 내에서 상부의 1/10d 행의 픽셀을 제외시키고 좌우측의 1/10d 열의 픽셀을 각각 제외시킴으로써 설정된다. In addition, the mouth search region is set by excluding the upper face region based on the horizontal center axis, excluding pixels in the upper 1 / 10d row in the lower face region, and excluding pixels in the left and right 1 / 10d columns, respectively.

그리고, 상기 타겟 검출부(360)는 상기 세부영역 설정부(350)를 통해 설정된 얼굴 영역에서의 왼쪽 눈 검색 영역, 오른쪽 눈 검색 영역 그리고 입 검색 영역에 대해서 각각 왼쪽 눈, 오른쪽 눈 그리고 입을 검출하기 위하여 상기 디텍터 저장부(370)로부터 훈련된 눈 디텍터와 입 디텍터를 추출하고 해당 눈 디텍터와 입 디텍터를 각각의 검색 영역에서 이동시켜가면서 해당 디텍터 내의 검색 영역이 눈 또는 입을 포함하고 있는지 체크하게 된다. The target detector 360 detects the left eye, the right eye, and the mouth for the left eye search area, the right eye search area, and the mouth search area in the face area set by the subregion setting unit 350, respectively. The trained eye detector and the mouth detector are extracted from the detector storage unit 370, and the eye detector and the mouth detector are moved in the respective search areas, and the search area in the detector includes the eyes or the mouth.

상기 이미지 단계 축소부(380)는 입력되어 사전 축소된 영상을 일정 비율로 축소시킨다. 즉, 일반적인 영상축소 알고리즘을 이용하여 입력된 이미지의 크기를 설정된 비율에 따라 단계적으로 축소해 가면서 24×24 픽셀 크기의 얼굴 디텍터를 이용해 얼굴 후보 영역을 체크하게 된다. The image step reduction unit 380 reduces the input and pre-reduced image by a predetermined ratio. That is, the face candidate area is checked using a face detector having a size of 24 × 24 pixels while gradually reducing the size of the input image by a predetermined ratio using a general image reduction algorithm.

여기에서, 종래 기술과 같이 24×24 디텍터의 크기를 변경해 가면서 입력 영상에서 얼굴 후보 영역을 검색해 나갈 경우 24×24 디텍터 뿐만 아니라 디텍터 내에 포함된 피쳐의 좌표를 재계산해야 하는 문제점이 발생하게 된다. 따라서 디텍터의 크기를 변경하지 않고 입력된 이미지의 크기를 변경하는 것은 연산속도의 효율화에 크게 유리하다. Here, when searching for the face candidate region in the input image while changing the size of the 24 × 24 detector as in the prior art, a problem arises in that the coordinates of the features included in the detector as well as the 24 × 24 detector are recalculated. Therefore, changing the size of the input image without changing the size of the detector is very advantageous for the efficiency of the calculation speed.

상기 인증본 저장부(390)는 상기 타겟 검출부(360)에서 촬영된 이미지에 대하여 얼굴, 눈 및 입의 검출을 모두 성공하게 되면 이를 정면 얼굴이 검출된 것으로 보고 해당 촬영된 이미지를 인증본으로서 별도의 부가적인 정보(예컨데, 인증시간, 인증방법 등)와 함께 저장하게 된다. When the authentication copy storage unit 390 succeeds in detecting all faces, eyes, and mouths with respect to the image captured by the target detection unit 360, the certified face storage unit 390 sees that the front face is detected and separates the photographed image as an authentication copy. It is stored with additional information of (e.g., authentication time, authentication method, etc.).

상술한 인증 이미지기록 장치(300)는 출입인증을 시도하는 사용자에게 음향을 출력하기 위한 음향 출력부(300a)와 영상을 출력하기 위한 영상 출력부(300b)를 구비한다. The authentication image recording apparatus 300 described above includes a sound output unit 300a for outputting sound to a user who attempts access authentication, and an image output unit 300b for outputting an image.

상기 음향 출력부(300a)는 출입 인증용으로 정면 얼굴을 촬영하고 정면얼굴인지 여부를 판별하고 재촬영을 유도하는 등의 과정에서 해당 출입인증 사용자에게 음성으로 절차 안내를 실시하게 된다. The sound output unit 300a performs voice guidance to the corresponding access authentication user in the process of photographing the front face, determining whether it is the front face, inducing re-photography, etc. for access authentication.

상기 영상 출력부(300b)는 출입 인증용으로 정면 얼굴을 촬영하고 정면얼굴인지 여부를 판별하고 재촬영을 유도하는 등의 과정에서 해당 출입인증 사용자에게 영상으로 절차 안내를 실시하게 된다. The image output unit 300b performs the procedure guidance as an image to the corresponding access authentication user in the process of photographing the front face for the access authentication, determining whether the front face is faced, and inducing re-photography.

이제 도 6을 참조하여 본 발명에 따른 출입통제시스템의 출입인증 보관용 정면얼굴 이미지 검출 방법을 상세히 설명한다. Now, with reference to Figure 6 will be described in detail the front face image detection method for access authentication storage of the access control system according to the present invention.

우선, 인증 이미지기록 장치(300)는 인증 장치(200)를 통해 출입인증을 수행하고 있는 사용자에 대하여 얼굴 이미지를 인증보관용으로 저장하기 위한 절차를 상기 음향 출력부(300a) 또는 영상 출력부(300b)를 통해 안내하게 된다(S10). First, the authentication image recording apparatus 300 performs a procedure for storing the face image for the authentication storage for the user performing access authentication through the authentication apparatus 200 for the sound output unit 300a or the image output unit ( It is guided through 300b) (S10).

이때, 상기 음향 출력부(300a) 또는 영상 출력부(300b)를 통해 해당 사용자에게 카메라를 바라봐 줄 것을 요구하거나 유효 촬영거리를 안내할 수 있다. In this case, the sound output unit 300a or the image output unit 300b may request the user to look at the camera or guide the effective shooting distance.

이후, 상기 인증 이미지기록 장치(300)는 카메라(310)를 통해 출입인증을 수행하고 있는 사용자를 촬영한다(S12). 상기 카메라(310)는 흑백 또는 칼라 이미지의 촬영이 가능한 카메라이며, 칼라 이미지 촬영 카메라인 경우 후술하는 S14 단계는 생략될 수 있다. 또한, 이러한 카메라(310)의 촬영 시점은 상기 인증 장치(200)에서 출입인증 절차의 진행에 따라 통보되거나, 별도의 인체 감지 수단에 의해 인체 접근을 감지한 시점이 될 수 있다.Thereafter, the authentication image recording apparatus 300 photographs a user performing access authentication through the camera 310 (S12). The camera 310 is a camera capable of capturing black and white or color images, and in the case of a color image capturing camera, step S14 described later may be omitted. In addition, the photographing time point of the camera 310 may be notified in accordance with the progress of the access authentication procedure in the authentication device 200, or may be a time point at which the human body access is detected by a separate human body detecting means.

그리고, 상기 인증 이미지기록 장치(300)는 이미지 변환부(320)를 통해 상기 카메라(310)로부터 촬영된 사용자에 대한 이미지를 전달받아 흑백 이미지로 변환시키고(S14), 해당 흑백 이미지를 정사각형 이미지가 되도록 규격화시킨다(S16). In addition, the authentication image recording apparatus 300 receives an image of the user photographed from the camera 310 through the image conversion unit 320 and converts the image into a black and white image (S14), and the corresponding black and white image is a square image. Normalize to (S16).

도 3을 참조하면, 바람직하게는, 상기 카메라(310)로부터 입력되는 이미지의 크기가 720×480 픽셀일 수 있으며, 상기 규격화 과정을 통해 해당 이미지에서 좌우 각각 120 픽셀씩을 잘라내고, 남아있는 정사각형의 480×480 픽셀 영역으로 규격화시키게 된다. 이러한 480×480 픽셀 영역은 얼굴 후보 이미지가 된다. Referring to FIG. 3, preferably, the size of an image input from the camera 310 may be 720 × 480 pixels, and 120 pixels of the left and right sides of the image are cut out through the standardization process, and the remaining square Normalized to a 480x480 pixel area. This 480x480 pixel area becomes a face candidate image.

그리고, 상기 인증 이미지기록 장치(300)는 상기 제 S16 단계의 규격화 과정을 통해 규격화된 얼굴 후보 이미지를 이미지 사전 축소부(330)를 통해 원이미지에서 가로 및 세로 크기가 정비례하도록 이미지 크기를 축소시킨다(S18). In addition, the authentication image recording apparatus 300 reduces the image size such that the normalized face candidate image is directly proportional to the horizontal and vertical size in the original image through the image pre-reduction unit 330 through the standardizing process of step S16. (S18).

바람직하게는, 상기 이미지 사전 축소부(330)는 상기 이미지 변환부(320)를 통해 규격화된 480×480 픽셀의 이미지를 1/6 크기인 80×80 픽셀의 크기로 축소하게 된다. 이러한 이미지 사전 축소는 후술되는 얼굴, 눈, 입에 대한 타겟 검출 과정에서 전체적인 픽셀 연산의 부하를 줄여주기 때문에 보다 빠른 결과 도출을 가능 하게 한다. Preferably, the image pre-reduction unit 330 reduces the size of the standardized 480 × 480 pixels through the image conversion unit 320 to a size of 80 × 80 pixels 1/6 size. Such image pre-reduction reduces the load of the overall pixel operation in the target detection process for the face, eyes, and mouth, which will be described later, thereby enabling faster results.

그리고, 상기 인증 이미지기록 장치(300)는 상기 이미지 전처리부(340)를 통해 축소된 얼굴 후보 이미지의 축소 이미지를 출입인증 절차를 수행하고 있는 사용자의 정면 얼굴을 검출하기 위한 얼굴 후보 이미지로 지정하고 해당 얼굴 후보 이미지에서 비얼굴 영역을 제외키며 얼굴 후보 영역을 설정하게 된다(S20). The authentication image recording apparatus 300 designates a reduced image of the face candidate image reduced by the image preprocessor 340 as a face candidate image for detecting a front face of a user who is performing an access authentication procedure. The non-face area is excluded from the face candidate image and the face candidate area is set (S20).

피부색을 이용한 비얼굴 영역의 제외 과정은 피부색이 얼굴의 회전, 포즈, 크기 등과 상관없이 독립적이므로 이러한 비얼굴 영역의 제거에는 상술한 바와 같이 피부색에 대한 패턴 인식이 사용될 수 있으며, 얼굴 데이터에 대한 미리 설정된 픽셀값의 소정 평균 임계값과 소정 표준편차 임계값을 통해 얼굴 영역일 가능성이 작은 비얼굴 영역을 추출하여 제외시키게 된다.Since the skin color is independent regardless of the rotation, pose, size, etc. of the face, the pattern recognition of the skin color may be used to remove the non-face area as described above. The non-face area, which is less likely to be a face area, is extracted and excluded through the predetermined average threshold value and the predetermined standard deviation threshold value of the set pixel value.

이후, 상기 인증 이미지기록 장치(300)는 상기 얼굴 후보 영역에서 얼굴 영역을 검출하도록 도 4에 도시된 바와 같이 상기 타겟 검출부(360)를 통해 얼굴 디텍터를 상기 얼굴 후보 이미지에서 2 픽셀씩 이동시켜가며 해당 영역이 얼굴을 포함하고 있는지 체크해 나감으로써 얼굴을 검출한다(S22). 여기에서 얼굴 검출의 성공 여부를 판단하여(S24), 얼굴 검출을 실패하게 되면 상기 인증 이미지기록 장치(300)는 상기 음향 출력부(300a) 또는 영상 출력부(300b)를 통해 얼굴 검출을 실패하였음을 인증수행 사용자에게 알리고 재촬영 안내를 함으로써 상술한 과정을 다시 수행하게 된다(S26). Thereafter, the authentication image recording apparatus 300 moves the face detector by 2 pixels in the face candidate image through the target detector 360 as shown in FIG. 4 to detect the face region in the face candidate region. The face is detected by checking whether the area includes the face (S22). Herein, it is determined whether the face detection is successful (S24), and when the face detection fails, the authentication image recording apparatus 300 fails to detect the face through the sound output unit 300a or the image output unit 300b. By performing the above process again by informing the authentication performing user and the re-shooting guidance (S26).

그리고 상기 S24 과정을 통해 얼굴 영역이 검출되면, 상기 인증 이미지기록 장치(300)는 상기 세부 영역 설정부(350)를 통해 도 5에 도시된 바와 같이 검출된 얼굴 영역에서 좌·우 눈 검색 영역을 설정하고(S28), 타겟 검출부(360)를 통해 좌·우 눈 검색 영역에서 상기 눈 디텍터를 2 픽셀씩 이동시켜가며 해당 영역이 좌·우 눈을 포함하고 있는지 체크해 나감으로써 눈을 검출한다(S30). 여기에서 눈 검출의 성공 여부를 판단하여(S32), 눈 검출을 실패하게 되면 상기 인증 이미지기록 장치(300)는 상기 음향 출력부(300a) 또는 영상 출력부(300b)를 통해 눈 검출이 실패하였음을 인증수행 사용자에게 알리고, 현재 사용자의 눈을 가리고 있는 이물(선그라스 등)을 제거할 것을 안내하며, 재촬영 안내를 함으로써 상술한 과정을 다시 수행하게 된다(S34). When the face region is detected through the S24 process, the authentication image recording apparatus 300 detects the left and right eye search regions from the detected face region through the detail region setting unit 350 as shown in FIG. 5. In step S28, the eye detector is moved by 2 pixels in the left and right eye search areas through the target detection unit 360, and the eyes are detected by checking whether the area includes the left and right eyes (S30). ). In this case, it is determined whether the eye detection is successful (S32), and when the eye detection fails, the authentication image recording apparatus 300 fails to detect the eye through the sound output unit 300a or the image output unit 300b. Inform the authentication performing user, guide the removal of foreign objects (sunglasses, etc.) currently covering the user's eyes, and performs the above-described process again by performing the re-photographing (S34).

그리고 상기 S30 과정을 통해 좌·우 눈이 검출되면, 상기 인증 이미지기록 장치(300)는 상기 세부 영역 설정부(350)를 통해 도 5에 도시된 바와 같이 검출된 얼굴 영역에서 입 검색 영역을 설정하고(S36), 타겟 검출부(360)를 통해 입 검색 영역에서 상기 입 디텍터를 2 픽셀씩 이동시켜가며 해당 영역이 입을 포함하고 있는지 체크해 나감으로써 입을 검출한다(S38). 여기에서 입 검출의 성공 여부를 판단하여(S40), 입 검출을 실패하게 되면 상기 인증 이미지기록 장치(300)는 상기 음향 출력부(300a) 또는 영상 출력부(300b)를 통해 입 검출이 실패하였음을 인증수행 사용자에게 알리고, 현재 사용자의 입을 가리고 있는 이물(마스크 등)을 제거할 것을 안내하며, 재촬영 안내를 함으로써 상술한 과정을 다시 수행하게 된다(S42). When the left and right eyes are detected through the S30 process, the authentication image recording apparatus 300 sets the mouth search region in the detected face region as shown in FIG. 5 through the detail region setting unit 350. In operation S36, the mouth detector is moved by 2 pixels in the mouth search area through the target detector 360, and the mouth is detected by checking whether the area contains the mouth (S38). In this case, it is determined whether the mouth detection is successful (S40), and when the mouth detection fails, the authentication image recording apparatus 300 fails to detect the mouth through the sound output unit 300a or the image output unit 300b. Notify the user to perform the authentication, guide the removal of foreign objects (masks, etc.) currently covering the user's mouth, and performs the re-photographing guide to perform the above process again (S42).

최종적으로 촬영된 원 이미지에서 얼굴, 눈 및 입의 검출을 모두 성공하게 되면 이를 출입인증을 수행하고 있는 사용자에 대한 정면 얼굴이 검출된 것으로 판단하고 해당 촬영된 이미지를 인증본으로서 인증본 저장부(390)에 별도의 부가적인 정보(예컨데, 인증시간, 인증방법 등)와 함께 저장하게 된다(S44). If all of the faces, eyes, and mouths are successfully detected from the original image, it is determined that the front face of the user who is performing the access authentication has been detected, and the photographed image is used as an authentication copy. 390) is stored with additional additional information (for example, authentication time, authentication method, etc.) (S44).

여기에서, 상술한 얼굴 후보 영역에서의 얼굴 영역 검출에 대한 제 S22 단계, 얼굴 영역에서의 좌·우 눈 검출에 대한 제 30 단계 및 얼굴 영역에서의 입 검출에 대한 제 38 단계는 다음과 같은 과정을 통해 이루어진다.Here, step S22 for detecting the face area in the face candidate area described above, step 30 for detecting the left and right eyes in the face area, and step 38 for the mouth detection in the face area are as follows. Is done through.

이를 얼굴 후보 영역에서의 얼굴 영역 검출에 대한 제 S22 단계를 통해 설명하면, 우선, 사용자의 출입인증시 촬영은, 상기 이미지 사전 축소부(330)에서 축소 처리하기 전의 480×480 픽셀 크기의 이미지에서 사용자의 얼굴이 180×180 픽셀 크기 내지 300×300 픽셀 크기를 갖도록 카메라(310)가 제어되게 된다. 따라서 480×480 픽셀 크기를 갖는 이미지가 1/6 크기인 80×80 픽셀의 크기로 축소됨에 따라 상기 얼굴 디텍터의 크기는 도 4에 도시된 바와 같이 24×24의 픽셀 크기를 갖도록 하여 얼굴을 검출하게 된다. If this is described through the step S22 for detecting the face area in the face candidate area, first, the photographing during the access authentication of the user is performed on the image having the size of 480 × 480 pixels before the reduction processing by the image pre-reduction unit 330. The camera 310 is controlled such that the user's face has a size of 180 × 180 pixels to 300 × 300 pixels. Accordingly, as the image having a size of 480 × 480 pixels is reduced to the size of 80 × 80 pixels, which is 1/6 size, the face detector has a size of 24 × 24 pixels as shown in FIG. 4 to detect a face. Done.

여기에서 상기 디텍터 저장부(370)에 저장되는 훈련된 얼굴 디텍터, 눈 디텍터, 입 디텍터는 각각 얼굴 영역에서 얼굴과, 좌우 눈과 입을 검출하기 위한 윈도우로서 해당 촬영된 이미지에 얼굴은 물론 눈과 입이 검출되었는지 체크함으로써 해당 촬영된 얼굴이 정면 얼굴인지 여부를 판가름하는 기준을 제공하게 된다. Here, the trained face detector, the eye detector, and the mouth detector stored in the detector storage unit 370 are windows for detecting the face, the left and right eyes, and the mouth in the face region, respectively, as well as the face and the eyes and the mouth, respectively. Checking whether this is detected provides a criterion for determining whether the photographed face is a front face.

따라서, 상기 타켓 검출부(360)는 상기 후보 영역에서 훈련된 24×24 디텍터를 2 픽셀씩 이동시켜가면서 해당 이미지를 다수의 서브 이미지로 분할하게 된다. 여기에서 24×24로 분할된 각각의 서브 이미지에 대하여는 그 평균값과 분산값을 미리 설정된 임계값과 비교함으로써 해당 후보 영역에 얼굴, 눈 또는 입이 포함되어 있는지 여부를 체크하게 된다. Accordingly, the target detector 360 divides the image into a plurality of sub-images while moving the 24 × 24 detector trained in the candidate area by 2 pixels. For each sub-image divided into 24 × 24, the average value and the variance value are compared with a preset threshold value to check whether the face, eyes, or mouth are included in the candidate area.

이를 도 7을 참조하여 보다 상세히 설명하면 다음과 같다. 도 7은 적분 이미지를 설명하기 위한 예시적인 도면으로서 4 개의 영역들(A, B, C, D)과 4 개의 점들(a, b, c, d)로 이루어진다. This will be described in more detail with reference to FIG. 7 as follows. FIG. 7 is an exemplary diagram for describing an integrated image, which is composed of four regions A, B, C, and D and four points a, b, c, and d.

도 7을 참조하면, 점(a)의 적분 이미지는 점(a)의 왼쪽 윗 부분에 존재하는 픽셀값들의 합을 의미한다. 즉, 점(a)의 적분 이미지는 영역(A)에 포함되는 픽셀들의 픽셀값들의 합을 의미한다. 여기에서 픽셀값이란, 픽셀의 휘도 레벨이 될 수 있다. Referring to FIG. 7, the integrated image of the point a refers to the sum of pixel values existing in the upper left portion of the point a. That is, the integrated image of the point a refers to the sum of pixel values of the pixels included in the area A. FIG. Here, the pixel value may be a luminance level of the pixel.

또한, 점(a)의 적분 제곱 이미지 점(a)의 왼쪽 윗부분에 존재하는 픽셀값들의 제곱들의 합을 의미한다. 즉, 점(a)의 적분 제곱 이미지는 영역(A)에 포함되는 픽셀들의 제곱들의 합을 의미한다. 이와 같이 적분 영상이라는 개념을 도입할 경우 영상의 임의의 영역에 대한 픽셀값들의 합을 구하기 편리하다. In addition, the integral square of the point (a) means the sum of the squares of the pixel values present in the upper left portion of the image point (a). In other words, the integral square image of the point (a) means the sum of the squares of the pixels included in the area (A). As such, when the concept of integrated image is introduced, it is convenient to obtain a sum of pixel values of an arbitrary region of the image.

이때, 도 7에 도시된 D 영역을 24×24 서브 이미지라고 할 때 해당 D 영역의 평균과 분산은 미리 계산된 적분 이미지(Integral Image)와 적분 제곱 이미지(Square Integral Image)에서 다음의 수학식 1 및 수학식 2를 통해 계산될 수 있다. In this case, when the area D shown in FIG. 7 is referred to as a 24 × 24 sub-image, the mean and the variance of the area D are calculated by the following equation 1 from a pre-calculated integral image and an integrated square image. And (2).

여기에서, I(d)는 점(d)의 적분 이미지 값을 의미한다. 또한, SI(d)는 점(d)의 적분 제곱 이미지 값을 의미한다. Here, I (d) means the integrated image value of the point d. In addition, SI (d) means the integral squared image value of the point d.

이러한 적분 이미지값과 적분 제곱 이미지값을 통해 24×24 디텍터에 의해 분할된 각각의 서브 이미지들에 대한 평균과 분산은 도출될 수 있으며, 각각의 평균값과 분산값을 기설정된 임계값과 비교하여 해당 서브 이미지가 타겟으로 하는 얼굴, 눈 또는 입을 포함하고 있는지 여부를 판단하게 되는 것이다. Through this integrated image and the squared squared image value, the average and the variance of each sub-image divided by the 24 × 24 detector can be derived, and the average and variance of each sub-image are compared with a preset threshold. It is determined whether the sub image includes a target face, eyes or mouth.

이때, 상술한 과정을 통해 모든 서브 윈도우들을 검색한 후, 상기 인증 이미지기록 장치(300)는 상기 이미지 단계 축소부(380)를 통해 상기 제 S18 단계를 통해 축소된 얼굴 후보 이미지를 단계별로 축소해 나가면서 상술한 과정을 반복 수행하게 된다. In this case, after retrieving all the sub-windows through the above-described process, the authentication image recording apparatus 300 reduces the face candidate image reduced in step S18 by the image step reduction unit 380 step by step. As you go out, the above process is repeated.

실제로 검출하고자 하는 얼굴의 크기가 다양하고 카메라와의 거리가 사용자에 따라 달라질 수 있기 때문에 항상 동일한 패턴으로 얼굴을 검출하는 것은 불가능하다. 따라서 24×24 픽셀 크기의 디텍터는 고정시키고 얼굴 후보 이미지를 단계별로 축소시키면서 촬영시 마다 유동적인 크기가 될 수 있는 얼굴을 검출하는 과정이 필요하다. 이와 달리 24×24 픽셀 크기의 디텍터를 변경해 가면서 입력 영상에서 얼굴 영역을 검색하는 경우에는 해당 24×24 픽셀 크기의 디텍터 뿐만 아니라 해당 디텍터 내에 포함된 피쳐의 좌표를 재계산해야 하기 때문에 속도의 저하가 필 연적이다. Since the size of the face to be actually detected varies and the distance from the camera may vary depending on the user, it is not always possible to detect the face in the same pattern. Therefore, it is necessary to detect a face that can be a flexible size every time the picture is fixed while the detector having a size of 24 × 24 pixels is fixed and the face candidate image is reduced step by step. On the other hand, when searching for a face region in the input image while changing the detector of 24 × 24 pixel size, the slowdown is not only necessary because the coordinates of the detector included in the detector as well as the detector of 24 × 24 pixel size need to be recalculated. It is inevitable.

즉, 사용자 안내 또는 카메라 위치 및 각도의 사전 셋팅을 통해 검출하고자 하는 얼굴의 크기를 촬영시 어느 정도 제한하면 입력된 영상의 크기를 몇 단계로 분할해야 하는지 역으로 계산이 가능하게 된다. 본 발명에서는 1.2 비율로 얼굴 후보 이미지를 6 단계로 축소하면서 축소된 각각의 이미지에서 고정된 24×24 픽셀 크기의 디텍터를 통해 서브 이미지들로 분할하고 각 서브 이미지에 대한 평균값과 분산값을 기설정된 임계값과 비교하여 해당 서브 이미지가 타겟으로 하는 얼굴, 눈 또는 입을 포함하고 있는지 여부를 판단하게 되는 것이다. In other words, if the size of the face to be detected is limited by the user's guidance or the preset setting of the camera position and angle, it is possible to inversely calculate how many steps to divide the size of the input image. In the present invention, the face candidate image is reduced to six levels at a ratio of 1.2, and the image is divided into sub images through a fixed 24 × 24 pixel size detector in each of the reduced images, and the average and variance values for each sub image are preset. The sub image is determined whether the sub image includes a target face, eyes or mouth by comparing with a threshold value.

다시 말해, 최초 720×480 픽셀 크기의 입력 이미지에 대하여 좌우 120 픽셀씩을 제외한 480×480 픽셀 크기의 이미지를 상기 이미지 사전 축소부(330)를 통해 80×80 픽셀 크기의 이미지로 축소하여 고정된 24×24 픽셀 크기의 디텍터로 얼굴 검출을 수행하고, 다시 상기 이미지 단계 축소부(380)을 통해 6 단계로 각각 1, 1/1.2, 1/1.44, 1/1.72, 1/2.07, 1/2.48로 해당 이미지를 축소해 나가면서 고정된 24×24 픽셀 크기의 디텍터를 이용하여 해당 영역이 얼굴을 포함하고 있는지 여부를 체크하게 된다. In other words, an image of 480 × 480 pixels, except for left and right 120 pixels, is reduced to an image of 80 × 80 pixels through the image pre-reduction unit 330 for the first 720 × 480 pixel input image. Face detection is performed using a detector having a size of 24 pixels, and then, in six steps through the image step reduction unit 380, 1, 1 / 1.2, 1 / 1.44, 1 / 1.72, 1 / 2.07, and 1 / 2.48, respectively. As the image is scaled down, a fixed 24 × 24 pixel detector is used to check whether the area contains a face.

한편, 상술한 바와 같이 인증 장치(200)를 통해 출입인증을 수행하는 사용자에 대한 인증기록을 위해 사용자의 정면얼굴을 촬영하여 인증기록으로서 보관하는 출입통제시스템의 출입인증 보관용 정면얼굴 이미지 검출 방법과 달리, 인증 장치(200)의 주변에 대한 영상을 촬영하여 출입인증을 수행하는 사용자를 체크하고 해당 사용자에 대한 정면얼굴을 검출함으로써 정상적인 출입인증이 이루어지더라도 부가적으로 정면 얼굴이 검출된 사용자에 한하여 출입인증이 이루어지도록 하는 출입통제시스템의 출입인증 사용자에 대한 출입허가용 정면얼굴 영상 검출 방법도 가능하다. 이하에서는 이러한 출입통제시스템의 출입인증 사용자에 대한 출입허가용 정면얼굴 영상 검출 방법에 대하여 도면을 참조하여 상세하게 설명한다. On the other hand, as described above, the front face image detection method for the access authentication storage of the access control system to record the front face of the user and store as an authentication record for the authentication record for the user performing the access authentication through the authentication device 200 as described above. Unlike this, a user who additionally detects a front face even if normal access authentication is performed by checking a user performing access authentication by detecting an image of the periphery of the authentication apparatus 200 and detecting a front face of the user. It is also possible to detect the front face image for the access permission for the access authentication user of the access control system to allow access authentication only. Hereinafter, a front face image detection method for access permission for an access authentication user of such an access control system will be described in detail with reference to the accompanying drawings.

도 8은 본 발명에 따른 출입통제시스템의 출입인증 사용자에 대한 출입허가용 정면얼굴 영상 검출 방법이 수행되는 출입통제시스템에 대한 블럭도이다. FIG. 8 is a block diagram of an access control system in which a method for detecting a front face image for an access permission for an access authentication user of the access control system according to the present invention is performed.

이러한 출입통제시스템은 출입인증이 허용된 사용자 외의 외부인의 출입을 제한하거나 내부인의 출입을 일정부분 통제하기 위한 것으로 기계적 장치와 전자적 장치가 결합된 디지털 도어락 시스템이다. The access control system is a digital door lock system in which a mechanical device and an electronic device are combined to restrict access of an outsider other than a user who is authorized to access or to control a part of the insider.

상기 출입통제시스템은 도 8에 도시된 바와 같이 도어의 개폐를 기계적 또는 전자적으로 제어하는 도어락 장치(100)와, 상기 도어락 장치(100)의 개폐 여부를 결정하기 위해 사용자에게 소정 출입인증 절차를 요구하여 인증을 진행해 상기 도어락 장치(100)를 개폐시키는 인증 장치(200)와, 상기 인증 장치(200)를 통해 출입인증을 수행하는 사용자를 영상을 통해 자동적으로 체크하고 해당 사용자에 대한 정면 얼굴을 검출하여 정상적인 출입인증이 이루어지더라도 부가적으로 정면 얼굴이 검출된 사용자에 한하여 출입인증이 이루어지도록 상기 인증 장치(200) 또는 상기 도어락 장치(100)를 제어하는 출입인증 제어장치(400)를 포함하여 구성된다. As illustrated in FIG. 8, the access control system requires a door lock device 100 for controlling the opening and closing of the door mechanically or electronically, and a predetermined access authentication procedure for the user to determine whether the door lock device 100 is opened or closed. The authentication device 200 to open and close the door lock device 100 by performing authentication, and a user performing access authentication through the authentication device 200 is automatically checked through an image, and a front face of the user is detected. Including the access authentication control device 400 for controlling the authentication device 200 or the door lock device 100 so that access authentication is made only for the user whose front face is detected even if normal access authentication is made. It is composed.

여기에서, 상기 출입인증 제어장치(400)는 출입인증을 수행하고 있는 사용자에 대하여 해당 사용자를 촬영한 영상에서 사용자의 정면 얼굴이 검출되는 경우 해 당 사용자에 대한 출입을 허용하는 별도의 출입허가 제어신호를 상기 인증 장치(200) 또는 도어락 장치(100)로 전달하며, 이와 달리 출입인증을 수행하고 있는 사용자에 대하여 해당 사용자를 촬영한 영상에서 사용자의 정면 얼굴이 검출되지 않는 경우 해당 사용자에 대한 출입을 제한하는 별도의 출입제한 제어신호를 상기 인증 장치(200) 또는 도어락 장치(100)로 전달함으로써 해당 사용자가 인증 장치(200)를 통하여 정당한 출입인증 절차를 수행하였다고 하더라도 출입이 제한되도록 제어하게 된다. Here, the access authentication controller 400 is a separate access permission control to allow access to the user when the front face of the user is detected in the image of the user for the user performing the access authentication. When the signal is transmitted to the authentication device 200 or the door lock device 100, and the front face of the user is not detected from the image of the user, the user who is performing the access authentication is detected. By passing a separate access control signal for limiting the control to the authentication device 200 or the door lock device 100, even if the user performs a legitimate access authentication procedure through the authentication device 200, the access is controlled to be restricted. .

즉, 상기 출입인증 제어장치(400)는 사용자가 인증 장치(200)를 통해 거치게 되는 출입인증 절차의 정당성 여부와 별도로 해당 사용자의 출입을 통제하게 되는 것이다. That is, the access authentication control device 400 is to control the access of the user separately from whether or not the access authentication procedure that the user passes through the authentication device 200.

이때, 사용자의 출입인증이라 함은 출입을 요구하는 사용자가 정당한지 여부를 체크하는 절차를 의미하며, 이러한 출입인증 절차는 상기 인증 장치(200)를 통하여 이루어지게 된다. In this case, the access authentication of the user refers to a procedure for checking whether a user requesting access is legitimate. This access authentication procedure is performed through the authentication apparatus 200.

상기 인증 장치(200)의 출입인증 절차와 별도로 진행되어 사용자가 의식하지 않고 있는 동안에 영상을 통해 사용자의 인증기록 이미지를 남기며 동시에 부가적인 출입 통제를 수행할 수 있는 상기 출입인증 제어장치(400)는 도 9에 도시된 바와 같이 카메라(410), 이미지 변환부(420), 이미지 사전 축소부(430), 이미지 전처리부(440), 세부영역 설정부(450), 타겟 검출부(460), 트래킹 얼굴 저장부(460a), 얼굴 추적부(461), 장치 제어부(462), 디텍터 저장부(470), 이미지 단계 축소부(480), 인증본 저장부(490a) 및 출입제한기록 저장부(490b)를 포함하여 구성된 다. The access authentication control device 400 which is performed separately from the access authentication procedure of the authentication apparatus 200 and leaves the authentication record image of the user through an image while the user is not aware, and can perform additional access control at the same time, As shown in FIG. 9, the camera 410, the image converter 420, the image pre-reduction unit 430, the image preprocessor 440, the detail region setting unit 450, the target detector 460, and the tracking face Storage unit 460a, face tracking unit 461, device control unit 462, detector storage unit 470, image step reduction unit 480, authentication copy storage unit 490a and access control record storage unit 490b It is configured to include.

상기 카메라(410)는 상기 인증 장치(200)에서 출입인증 절차를 수행하고 있는 사용자에 대한 영상을 컬러 또는 흑백으로 촬영한다. The camera 410 captures an image of a user who is performing an access authentication procedure in the authentication apparatus 200 in color or black and white.

상기 카메라(410)에는 자동제어가 가능한 틸트 모터 등이 내장되어 외부 제어에 따라 촬영각을 소정 각도 변경시킬 수 있으며, 줌인/줌아웃을 위한 줌 서보모터가 내장되어 구성된다. 해당 카메라(410)의 촬영각은 상기 인증 장치(200)에서 출입인증을 수행하는 사용자를 향하여 맞추어져서 해당 인증 장치(200)를 통해 출입인증을 수행하는 사용자의 정면을 촬영할 수 있게 되며, 외부 제어에 따라 조금씩 촬영각을 변경할 수 있다. 이러한 카메라(410)의 촬영각 조절을 통해 사용자에 대한 정면 촬영이 보다 용이하게 이루어지도록 할 수 있다. The camera 410 has a built-in tilt motor capable of automatic control and can change the shooting angle according to external control, and a built-in zoom servo motor for zoom in / zoom out. The photographing angle of the camera 410 is set toward the user performing the access authentication in the authentication device 200, so that the front of the user performing the access authentication through the authentication device 200 can be photographed. You can change the shooting angle little by little. By adjusting the photographing angle of the camera 410 can be made to facilitate front-facing shooting for the user.

이러한 카메라(410)는 항상 촬영 모드에 있어서 상기 인증 장치(200)가 설치된 장소(특히, 인증 장치(200)의 전면)를 영상 촬영하는 것이 바람직하며, 별도의 인체 감지 수단에 의해 해당 인증 장치(200)에 대한 사용자의 접근을 감지한 후 촬영이 개시되도록 할 수도 있다. The camera 410 always takes an image of a location (particularly, the front of the authentication device 200) in which the authentication device 200 is installed in the shooting mode, and the corresponding authentication device (by a separate human body sensing means) After sensing the user's approach to the 200, the shooting may be started.

상기 이미지 변환부(420)는 상기 카메라(410)로부터 촬영된 사용자에 대한 영상 프레임을 전달받아 흑백 이미지로 변환시키고, 해당 흑백 이미지를 정사각형 이미지가 되도록 규격화시킨다. 물론, 카메라(410)에서 출력되는 영상이 흑백인 경우 이러한 흑백 이미지 변환 과정은 생략될 수 있다. The image converting unit 420 receives an image frame of a user photographed from the camera 410, converts the image frame into a black and white image, and normalizes the black and white image to be a square image. Of course, when the image output from the camera 410 is black and white, this black and white image conversion process may be omitted.

예컨데, 상기 이미지 변환부(420)는 상기 카메라(410)로부터 입력되는 프레임의 크기가 720×480 픽셀인 경우 도 3에 도시된 바와 같이 해당 프레임 이미지에 서 좌우 각각 120 픽셀씩 잘라내고, 남아있는 480×480 픽셀 영역으로 규격화시키게 된다. For example, when the size of a frame input from the camera 410 is 720x480 pixels, the image converter 420 cuts 120 pixels left and right from the corresponding frame image as shown in FIG. Normalized to a 480x480 pixel area.

상기 이미지 사전 축소부(430)는 상기 규격화된 흑백 이미지를 규격화된 원이미지에서 가로 및 세로 크기가 정비례하도록 이미지 크기를 축소시킨다. The image pre-reduction unit 430 reduces the size of the normalized black and white image such that the horizontal and vertical sizes are directly proportional to the normalized original image.

예컨데, 상기 이미지 사전 축소부(430)는 상기 이미지 변환부(420)를 통해 규격화된 480×480 픽셀의 이미지를 1/6 크기인 80×80 픽셀의 크기로 축소하게 된다. 이러한 이미지 사전 축소는 후술되는 얼굴, 눈, 입에 대한 타겟 검출 과정에서 전체적인 픽셀 연산의 부하를 줄여주기 때문에 보다 빠른 결과 도출을 가능하게 한다. For example, the image pre-reduction unit 430 reduces the size of the standardized 480 × 480 pixels through the image conversion unit 420 to a size of 80 × 80 pixels, which is 1/6 size. This image pre-shrinkage reduces the load of the overall pixel operation in the target detection process for the face, eyes, and mouth, which will be described later, thereby enabling faster results.

상기 이미지 전처리부(440)는 상기 이미지 사전 축소부(430)를 통해 축소된 축소 이미지를 출입인증 절차를 수행하고 있는 사용자의 정면 얼굴을 검출하기 위한 얼굴 후보 영역으로 지정하고 해당 얼굴 후보 영역에서 비얼굴 영역을 제외시킨다. The image preprocessor 440 designates the reduced image reduced by the image pre-reduction unit 430 as a face candidate area for detecting the front face of the user who is performing the access authentication procedure, and sets the non-reduced image in the corresponding face candidate area. Exclude the face area.

흑백 이미지에서 얼굴 영역의 평균 픽셀값은 너무 크거나 작지 않으며 표준편차가 낮기 때문에, 얼굴 데이터에 대한 미리 설정된 픽셀값의 소정 평균 임계값과 소정 표준편차 임계값을 통해 얼굴 영역일 가능성이 적은 비얼굴 영역을 추출하여 제외시키게 된다. 이러한 비얼굴 영역에 대한 추출 및 제외 과정을 통해 전체적인 픽셀 연산의 부하를 줄일 수 있어서 검출 정확도와 검출 속도를 향상시킬 수 있게 된다. Since the average pixel value of the face area in black and white images is not too large or small and the standard deviation is low, the non-face less likely to be the face area through the predetermined average threshold and the predetermined standard deviation threshold of the preset pixel value for the face data. The area is extracted and excluded. Extraction and exclusion of the non-face region can reduce the overall load of pixel operations, thereby improving detection accuracy and detection speed.

상기 타겟 검출부(460)는 상기 이미지 전처리부(440)를 통해 검출된 얼굴 후 보 영역에 대해서 얼굴 영역을 검출하기 위하여 상기 디텍터 저장부(470)로부터 훈련된 얼굴 디텍터를 추출하고 해당 얼굴 디텍터를 상기 얼굴 후보 영역에서 이동시켜가면서 해당 디텍터 내의 얼굴 후보 영역이 얼굴을 포함하고 있는지 체크하게 된다. The target detector 460 extracts a trained face detector from the detector storage unit 470 to detect a face region with respect to a face candidate region detected by the image preprocessor 440, and detects the face detector. While moving in the face candidate area, it is checked whether the face candidate area in the detector includes a face.

즉, 상술한 타겟 검출부(460)는 상기 카메라(410)에서 촬영되는 영상에서 추출된 프레임 이미지를 통해 사용자의 얼굴을 검출하게 되며, 이러한 얼굴 검출에 따라 해당 타겟 검출부(460)는 계속적으로 입력되는 프레임 이미지들에 대하여 상술한 영상 검출을 통해 얼굴을 검출해 나가는 과정을 반복 수행함으로써 해당 영상에서 얼굴을 트래킹(Tracking)하게 된다. 이러한 얼굴 트래킹 과정은 해당 사용자가 상기 인증 장치(200)를 통하여 출입인증 절차를 수행하는지 여부에 따라 계속될 수 있다. 이러한 얼굴 트래킹 과정을 통해 검출되는 얼굴은 상기 트래킹 얼굴 저장부(460a)에 저장되게 된다. That is, the above-described target detector 460 detects the user's face through the frame image extracted from the image captured by the camera 410, and the target detector 460 is continuously input according to the face detection. By repeating the process of detecting a face through the above-described image detection with respect to the frame images, the face is tracked in the corresponding image. This face tracking process may continue depending on whether the corresponding user performs the access authentication procedure through the authentication apparatus 200. The face detected through the face tracking process is stored in the tracking face storage unit 460a.

다시 말해, 얼굴 트래킹이 이루어지고 있는 타겟인 사용자가 상기 인증 장치(200)를 통해 출입인증 절차를 수행하게 되면 해당 인증 장치(200)로부터 출입인증 절차의 개시를 상기 장치 제어부(462)가 통보받게 됨으로써 상기 타겟 검출부(460)는 세부적인 얼굴 구성 요소(좌우 눈, 입)의 검출을 통해 정면 얼굴 여부를 판단하는 후절차를 수행하게 되고, 이와 달리 얼굴 트래킹이 이루어지고 있는 타겟인 사용자가 상기 인증 장치(200)를 통해 출입인증 절차를 수행하지 않게 되면(예컨데, 설정된 인증개시예상 시간 초과) 이를 해당 구역을 지나가는 비타겟으로 판별하여 해당 얼굴 트래킹 작업을 종료하게 된다. In other words, when a user who is a face tracking target performs an access authentication procedure through the authentication apparatus 200, the device controller 462 notifies the start of the access authentication procedure from the corresponding authentication apparatus 200. As a result, the target detection unit 460 performs a post procedure for determining whether a front face is detected by detecting detailed face components (left and right eyes and mouths). When the access authentication process is not performed through the device 200 (for example, the set authentication start time exceeded), the face tracking operation is terminated by determining it as a non-target passing through the corresponding area.

여기에서, 상기 타겟 검출부(460)는 정면 얼굴인지 여부를 확인하기 위한 얼굴 구성 요소의 검출시 현재 입력되는 영상 프레임의 얼굴을 대상으로 해당 얼굴 구성 요소를 검출할 수도 있지만, 상기 트래킹 작업에서 트래킹 얼굴 저장부(460a)에 기저장된 얼굴을 대상으로 해당 얼굴 구성 요소를 검출할 수도 있다. Here, the target detector 460 may detect the face component of the face of the image frame currently input when detecting the face component for checking whether the face is a front face, but the tracking face in the tracking operation. The face component may be detected based on a face previously stored in the storage unit 460a.

이때, 상기 얼굴 추적부(461)는 해당 얼굴 트래킹 중에 카메라(410)의 촬영각을 미세 제어함으로써 월활한 사용자 추적을 가능하게 할 수 있다. In this case, the face tracking unit 461 may enable the active user tracking by finely controlling the photographing angle of the camera 410 during the face tracking.

그리고 장치 제어부(462)는 상술한 바와 같이 상기 인증 장치(200)로부터 출입인증 절차의 개시를 통보받아 사용자의 출입인증 여부를 확인할 수 있으며, 또한 후술하는 영상 프레임에서의 정면 얼굴 검출 여부에 따라 해당 인증 장치(200)로 출입 허용 제어 신호 또는 출입 제한 제어 신호를 전달함으로써 사용자의 인증 장치(200)에 대한 출입인증 외에 별도의 정면 얼굴 검출 여부에 따라 출입을 제어할 수 있게 한다. As described above, the device controller 462 may receive notification of the start of the access authentication procedure from the authentication apparatus 200 to confirm whether the user authenticates access. By transmitting an access permission control signal or an access restriction control signal to the authentication device 200, the user may control access according to whether a separate front face is detected in addition to access authentication of the user authentication device 200.

상기 디텍터 저장부(470)는 훈련된 디텍터들이 저장되게 되는데, 이러한 디텍터들은 얼굴 디텍터, 눈 디텍터, 입 디텍터로 구분 저장되어 관리된다. The detector storage unit 470 stores trained detectors, and these detectors are classified and managed as face detectors, eye detectors, and mouth detectors.

상기 얼굴 디텍터, 눈 디텍터, 입 디텍터는 각각 얼굴 영역에서 얼굴과, 좌우 눈과 입을 검출하기 위한 윈도우로서 해당 촬영된 영상의 프레임 이미지에 얼굴은 물론 눈과 입이 검출되었는지 체크함으로써 해당 촬영된 얼굴이 정면 얼굴인지 여부를 판가름하는 기준을 제공하게 된다. The face detector, the eye detector, and the mouth detector are windows for detecting the face, the left and right eyes, and the mouth in the face area, respectively, by checking whether the face, eye, or mouth is detected in the frame image of the captured image. It provides a criterion for determining whether a face is a face.

상기 세부영역 설정부(450)은 상기 타겟 검출부(460)에서 검출된 얼굴 영역에서 왼쪽 눈 검색 영역, 오른쪽 눈 검색 영역 그리고 입 검색 영역을 설정하게 된 다. The detail region setting unit 450 sets the left eye search region, the right eye search region, and the mouth search region in the face region detected by the target detector 460.

이러한 왼쪽 눈 검색 영역, 오른쪽 눈 검색 영역 그리고 입 검색 영역에 대한 설정 기준은 이미 상술한 바와 같이 도 5에 도시된 바와 같다. The setting criteria for the left eye search area, the right eye search area, and the mouth search area are as shown in FIG. 5 as described above.

그리고, 상기 타겟 검출부(460)는 상기 세부영역 설정부(450)를 통해 설정된 얼굴 영역에서의 왼쪽 눈 검색 영역, 오른쪽 눈 검색 영역 그리고 입 검색 영역에 대해서 각각 왼쪽 눈, 오른쪽 눈 그리고 입을 검출하기 위하여 상기 디텍터 저장부(470)로부터 훈련된 눈 디텍터와 입 디텍터를 추출하고 해당 눈 디텍터와 입 디텍터를 각각의 검색 영역에서 이동시켜가면서 해당 디텍터 내의 검색 영역이 눈 또는 입을 포함하고 있는지 체크하게 된다. The target detection unit 460 detects the left eye, the right eye, and the mouth for the left eye search area, the right eye search area, and the mouth search area in the face area set by the subregion setting unit 450, respectively. The trained eye detector and the mouth detector are extracted from the detector storage unit 470 and the eye detector and the mouth detector are moved in each search area, and the search area in the detector includes an eye or a mouth.

상기 이미지 단계 축소부(480)는 입력되어 사전 축소된 영상을 일정 비율로 축소시킨다. 즉, 일반적인 영상축소 알고리즘을 이용하여 입력된 이미지의 크기를 설정된 비율에 따라 단계적으로 축소해 가면서 24×24 픽셀 크기의 얼굴 디텍터를 이용해 얼굴 후보 영역을 체크하게 된다. The image step reduction unit 480 reduces the input and pre-reduced image by a predetermined ratio. That is, the face candidate area is checked using a face detector having a size of 24 × 24 pixels while gradually reducing the size of the input image by a predetermined ratio using a general image reduction algorithm.

상기 인증본 저장부(490a)는 상기 타겟 검출부(460)에서 촬영된 프레임 이미지에 대하여 얼굴, 눈 및 입의 검출을 모두 성공하게 되면 이를 정면 얼굴이 검출 된 것으로 보고 해당 촬영된 영상을 인증본 영상으로서 별도의 부가적인 정보(예컨데, 인증시간, 인증방법 등)와 함께 저장하게 된다. When the authentication copy storage unit 490a successfully detects the face, eyes, and mouth of the frame image photographed by the target detection unit 460, the front face is detected. It is stored together with additional additional information (e.g., authentication time, authentication method, etc.).

또한, 상기 출입제한기록 저장부(490b)는 상기 타겟 검출부(460)에서 촬영된 프레임 이미지에 대하여 얼굴, 눈 및 입 중 어느 하나라도 검출을 실패하게 되면 이를 정면 얼굴이 검출되지 않은 것으로 보고 해당 촬영된 영상을 출입제한 근거 기록 영상으로서 별도의 부가적인 정보(예컨데, 인증시간, 인증방법 등)와 함께 저장하게 된다. In addition, when the access control record storage unit 490b fails to detect any one of a face, an eye, and a mouth with respect to the frame image photographed by the target detector 460, the front face is not detected and the corresponding face is not detected. The recorded image is stored as additional evidence (e.g., authentication time, authentication method, etc.) as evidenced access record image.

상술한 출입인증 제어장치(400)는 출입인증을 시도하는 사용자에게 음향을 출력하기 위한 음향 출력부(400a)와 영상을 출력하기 위한 영상 출력부(400b)를 구비한다. The above-described access authentication controller 400 includes a sound output unit 400a for outputting sound to a user attempting access authentication and an image output unit 400b for outputting an image.

상기 음향 출력부(400a)는 해당 사용자에 대한 영상을 통해 자동적으로 정면 얼굴을 검출하는 과정에서 정면 얼굴의 검출을 실패하게 될 경우 해당 사용자에게 별도의 출입 인증용 영상 촬영을 유도하기 위한 절차 안내를 음성 출력을 통해 실시하게 된다. If the sound output unit 400a fails to detect the front face in the process of automatically detecting the front face through the image of the corresponding user, the sound output unit 400a guides the user to a procedure for inducing a separate image for access authentication. This is done through voice output.

상기 영상 출력부(400b)는 해당 사용자에 대한 영상을 통해 자동적으로 정면 얼굴을 검출하는 과정에서 정면 얼굴의 검출을 실패하게 될 경우 해당 사용자에게 별도의 출입 인증용 영상 촬영을 유도하기 위한 절차 안내를 영상출력을 통해 실시하게 된다. If the image output unit 400b fails to detect the front face in the process of automatically detecting the front face through the image of the user, the image output unit 400b guides the user to take a separate image for access authentication. This is done through video output.

이제 도 10을 참조하여 본 발명에 따른 출입통제시스템의 출입인증 사용자에 대한 출입허가용 정면얼굴 영상 검출 방법을 상세히 설명한다. Now, with reference to Figure 10 will be described in detail the front face image detection method for the access permission for the access authentication user of the access control system according to the present invention.

상기 출입인증 제어장치(400)는 카메라(410)를 통해 인증 장치(200)가 설치된 장소를 영상 촬영하게 된다(S50). 이때, 이러한 카메라(410)의 영상 촬영 시점은 별도의 인체 감지 수단에 의해 상기 인증 장치(200)에 대한 인체 접근을 감지한 시점이 될 수 있다.The access authentication control device 400 captures an image of a place where the authentication device 200 is installed through the camera 410 (S50). In this case, an image capturing time point of the camera 410 may be a point of time when a human body approach to the authentication apparatus 200 is detected by a separate human body detecting means.

이후, 상기 출입인증 제어장치(400)는 촬영된 영상의 프레임 이미지를 흑백 이미지로 변환시키고 정사각형 이미지가 되도록 규격화시킨 후, 해당 이미지를 가로 및 세로 크기가 정비례하도록 이미지 크기를 축소시켜서 사용자의 정면 얼굴을 검출하기 위한 얼굴 후보 영역으로 지정하여 해당 얼굴 후보 영역에서 비얼굴 영역을 제외시키며, 타겟 검출부(460)를 통해 얼굴 디텍터를 상기 얼굴 후보 영역에서 2 픽셀씩 이동시켜가며 해당 영역이 얼굴을 포함하고 있는지 체크해 나감으로써 얼굴을 검출한다(S52). 이러한 얼굴 검출 과정은 이미 상세하게 설명되었으므로 중복되는 설명은 생략한다. Subsequently, the access authentication controller 400 converts the frame image of the photographed image into a black and white image and normalizes it to a square image, and then reduces the size of the image so that the horizontal and vertical sizes are directly proportional to the front face of the user. Designates a face candidate region for detecting a non-face region from the face candidate region, moves the face detector by 2 pixels from the face candidate region through the target detection unit 460, and includes the face. The face is detected by checking whether there is a face (S52). Since the face detection process has already been described in detail, redundant descriptions will be omitted.

이후, 상기 출입인증 제어장치(400)는 얼굴 검출의 성공 여부를 판단하여(S54), 얼굴 검출을 성공하게 되면 계속적으로 입력되는 프레임 이미지들에 대하여 상술한 영상 검출을 통해 얼굴을 검출해 나가는 과정을 반복 수행함으로써 해당 영상에서 얼굴을 트래킹하게 된다(S56). Thereafter, the access authentication controller 400 determines whether the face detection is successful (S54), and when the face detection succeeds, the process of detecting the face through the above-described image detection on the continuously input frame images. By repeating, the face is tracked in the corresponding image (S56).

이때, 이러한 얼굴 트래킹 과정을 통해 검출되는 얼굴은 상기 트래킹 얼굴 저장부(460a)에 저장되게 된다. At this time, the face detected through the face tracking process is stored in the tracking face storage unit 460a.

이후, 상기 출입인증 제어장치(400)는 내부 장치 제어부(462)가 상기 인증 장치(200)로부터 출입인증 절차의 개시를 통보받았는지 여부를 판단하여(S58), 출 입인증 절차의 개시를 통보받지 못한 경우, 상기 출입인증 제어장치(400)는 해당 얼굴 트래킹이 이루어지고 있는 타겟인 사용자가 상기 인증 장치(200)를 통해 출입인증 절차를 수행하지 않고 해당 구역을 지나가는 비타겟으로 판별하여 해당 얼굴 트래킹 작업을 종료하게 된다. Thereafter, the access authentication controller 400 determines whether the internal device controller 462 has been notified of the start of the access authentication procedure from the authentication apparatus 200 (S58), and notifies the start of the access authentication procedure. If not received, the access authentication controller 400 determines that the user who is the target of the face tracking is a non-target passing through the corresponding area without performing the access authentication procedure through the authentication apparatus 200 and the corresponding face. The tracking task ends.

이와 달리, 출입인증 절차의 개시를 통보받은 경우, 상기 출입인증 제어장치(400)는 해당 얼굴 트래킹이 이루어지고 있는 타겟인 사용자가 상기 인증 장치(200)를 통해 출입인증 절차를 수행함에 따라 타겟 검출부(460)를 통해 세부적인 얼굴 구성 요소(좌우 눈, 입)의 검출을 통해 정면 얼굴 여부를 판단하는 후절차를 수행하게 된다(S60). On the other hand, when the start of the access authentication procedure is notified, the access authentication control device 400 is a target detection unit as a user who is a target that the face tracking is performed as the access authentication process through the authentication device 200 In step S60, a post procedure for determining whether a front face is performed through detection of detailed facial components (left and right eyes and mouth) is performed through step 460.

이때, 상기 타겟 검출부(460)는 정면 얼굴인지 여부를 확인하기 위한 얼굴 구성 요소의 검출시 현재 입력되는 영상 프레임의 얼굴을 대상으로 해당 얼굴 구성 요소를 검출할 수도 있지만, 상기 얼굴 트래킹 과정에서 트래킹 얼굴 저장부(460a)에 기저장된 얼굴을 대상으로 해당 얼굴 구성 요소를 검출할 수도 있다. In this case, the target detection unit 460 may detect the face component from the face of the image frame currently input when detecting the face component for checking whether the face is a front face, but the tracking face in the face tracking process. The face component may be detected based on a face previously stored in the storage unit 460a.

최종적으로 출입인증 제어장치(400)는 촬영된 프레임에서 얼굴, 눈 및 입의 검출을 모두 성공하였는지 여부를 판단하여(S62), 얼굴, 눈 및 입의 검출이 모두 성공하면 이를 출입인증을 수행하고 있는 사용자에 대한 정면 얼굴이 검출된 것으로 판단하고 상기 장치 제어부(462)를 통해 인증 장치(200)로 출입 허용 제어 신호를 전달하고(S64), 해당 정면 얼굴이 검출된 촬영 영상을 인증본으로서 인증본 저장부(490a)에 별도의 부가적인 정보(예컨데, 인증시간, 인증방법 등)와 함께 저장하게 된다(S66). Finally, the access authentication controller 400 determines whether the detection of all the faces, eyes and mouths in the captured frame is successful (S62), and if the detection of all the faces, eyes and mouths is successful, the access authentication is performed. It is determined that the front face of the user is detected, and transmits an entrance permission control signal to the authentication apparatus 200 through the device control unit 462 (S64), and authenticates the photographed image from which the front face is detected as an authenticated copy. This storage unit 490a is stored together with additional additional information (for example, authentication time, authentication method, etc.) (S66).

한편, 상기 출입인증 제어장치(400)는 상기 제 S62 단계의 판단결과, 얼굴, 눈 및 입 중 어느 하나의 검출을 실패하면 이를 해당 사용자의 출입인증 성공 여부와 관계없이 출입불가 상황으로 판단하고, 상기 음향 출력부(400a) 또는 영상 출력부(400b)를 통해 얼굴 검출을 실패하였음을 인증수행 사용자에게 알리고 재촬영 안내를 한다(S68). 이때, 이러한 재촬영은 영상 촬영 또는 이미지 촬영일 수 있다. On the other hand, the access authentication control device 400, if the detection of any one of the face, eyes and mouth as a result of the determination of step S62, it determines that the access is not allowed regardless of whether the access authentication success of the user, Through the sound output unit 400a or the image output unit 400b, the user performing the face detection is notified and the re-photography is guided (S68). In this case, the reshooting may be image capturing or image capturing.

상술한 재촬영 안내 과정은 사용자에게 현재 사용자의 눈을 가리고 있는 이물(선그라스 등)이나 현재 사용자의 입을 가리고 있는 이물(마스크 등)을 제거할 것을 안내하는 과정을 포함한다. The above-described re-photographing guide process includes a step of instructing the user to remove a foreign object (sunglasses, etc.) covering the eyes of the current user or a foreign substance (mask, etc.) covering the mouth of the current user.

상기 출입인증 제어장치(400)는 안내에 따라 재촬영된 영상 프레임 또는 이미지를 통해 상술한 얼굴 검출 및 그에 따른 얼굴 구성 요소의 검출을 실시하고(70), 촬영된 영상 프레임 또는 이미지에서 얼굴, 눈 및 입의 검출을 모두 성공하였는지 여부를 판단하여(S72), 얼굴, 눈 및 입 중 어느 하나의 검출을 실패하면 상기 장치 제어부(462)를 통해 인증 장치(200)로 출입 제한 제어 신호를 전달하고(S74), 해당 정면 얼굴의 검출을 실패한 촬영 영상 또는 이미지를 출입제한에 대한 근거 기록으로서 출입제한기록 저장부(490b)에 별도의 부가적인 정보(예컨데, 인증시간, 인증방법 등)와 함께 저장하게 된다(S76). The access authentication controller 400 detects the above-described face and the corresponding face components through the re-photographed image frame or image according to the guidance (70), and the face and eyes in the captured image frame or image. And determining whether the detection of all of the mouths is successful (S72), and if the detection of any one of the face, the eyes, and the mouth fails, the access control signal is transmitted to the authentication device 200 through the device controller 462. (S74), the photographed image or image that fails to detect the front face is stored as additional records (e.g., authentication time, authentication method, etc.) in the access restriction record storage unit 490b as evidence of access restriction. (S76).

이때, 상기 출입 제한 제어 신호가 인증 장치(200)에 전달되면 해당 인증 장치(200)에서 이루어지는 사용자의 출입인증 성공 여부와 관계없이 해당 인증 장치(200)를 통한 도어락 장치(100)의 개방은 이루어지지 않아 사용자의 출입이 제한되게 된다. In this case, when the access restriction control signal is transmitted to the authentication device 200, the door lock device 100 is opened through the authentication device 200 regardless of whether the user's access authentication is successful. As a result, the user's access is restricted.

한편, 출입이 통제되는 장소에 설치되는 출입통제시스템에서 출입인증을 통해 출입을 시도하는 사용자가 복수인 경우 이를 체크하여 한 사람만이 출입할 수 있도록 하면서 해당 사용자에 대한 정면 얼굴을 검출하여 정면 얼굴이 검출된 사용자에 한하여 출입인증이 이루어지도록 하는 출입통제시스템의 복수 사용자 출입 제한 방법도 가능하다. 이하에서는 이러한 출입통제시스템의 복수 사용자 출입 제한 방법에 대하여 도면을 참조하여 상세하게 설명한다. On the other hand, if there are a plurality of users attempting access through access authentication in the access control system installed at the place where access is controlled, check this so that only one person can enter and detect the front face of the corresponding user. A multiple user access restriction method of the access control system is also possible in which access authentication is performed only for the detected user. Hereinafter, a multi-user access restriction method of such an access control system will be described in detail with reference to the accompanying drawings.

도 11은 본 발명에 따른 출입통제시스템의 복수 사용자 출입 제한 방법이 수행되는 출입통제시스템에 대한 블럭도이다. 11 is a block diagram of an access control system in which a multi-user access restriction method of the access control system according to the present invention is performed.

상기 출입통제시스템은 도 11에 도시된 바와 같이 도어의 개폐를 기계적 또는 전자적으로 제어하는 도어락 장치(100)와, 상기 도어락 장치(100)의 개폐 여부를 결정하기 위해 사용자에게 소정 출입인증 절차를 요구하여 인증을 진행해 상기 도어락 장치(100)를 개폐시키는 인증 장치(200)와, 상기 인증 장치(200)를 통해 출입인증을 수행하는 사용자의 숫자를 영상을 통해 체크하고 해당 사용자에 대한 정면 얼굴을 검출하여 정상적인 출입인증이 이루어지더라도 부가적으로 한 사람만이 출입 가능하고 또한 정면 얼굴이 검출된 사용자에 한하여 출입인증이 이루어지도록 상기 인증 장치(200) 또는 상기 도어락 장치(100)를 제어하는 단독출입 제어장 치(500)를 포함하여 구성된다. As illustrated in FIG. 11, the access control system requires a door lock device 100 that controls the opening and closing of the door mechanically or electronically, and a predetermined access authentication procedure for the user to determine whether the door lock device 100 is opened or closed. The authentication device 200 to open and close the door lock device 100 by performing authentication, and check the number of users performing access authentication through the authentication device 200 through an image and detect the front face of the user. Therefore, even if normal access authentication is made, additionally only one person is allowed to enter and the sole access to control the authentication device 200 or the door lock device 100 to allow access authentication to only the user whose front face is detected. Control device 500 is configured to include.

여기에서, 상기 단일출입 제어장치(500)는 출입인증을 수행하는 사용자를 촬영하여 해당 촬영 이미지 또는 영상에 대한 사용자 검출 분석을 통해 복수의 사용자가 출입하고자 하는 의도를 파악하여 한 사람의 사용자에 대한 정면 얼굴이 검출되는 경우 해당 사용자에 대한 출입을 허용하는 별도의 출입허가 제어신호를 상기 인증 장치(200) 또는 도어락 장치(100)로 전달하며, 이와 달리 복수의 사용자가 검출되거나 정면 얼굴이 검출되지 않는 경우 해당 사용자에 대한 출입을 제한하는 별도의 출입제한 제어신호를 상기 인증 장치(200) 또는 도어락 장치(100)로 전달함으로써 해당 사용자가 인증 장치(200)를 통하여 정당한 출입인증 절차를 수행하였다고 하더라도 출입이 제한되도록 제어하게 된다. Here, the single access control device 500 captures the user performing the access authentication to determine the intention of the plurality of users to enter and exit through the user detection analysis of the photographed image or image for a single user When the front face is detected, a separate access permission control signal for allowing access to the corresponding user is transmitted to the authentication apparatus 200 or the door lock apparatus 100. In contrast, a plurality of users are not detected or the front face is not detected. If not, even if the user performs a legitimate access authentication process through the authentication device 200 by transmitting a separate access control signal that restricts access to the user to the authentication device 200 or the door lock device 100. Control to restrict entry.

즉, 상기 단일출입 제어장치(500)는 사용자가 인증 장치(200)를 통해 거치게 되는 출입인증 절차의 정당성 여부와 별도로 복수 사용자인지 여부와 정면 얼굴이 검출되었는지 여부를 통해 해당 사용자의 출입을 통제하게 되는 것이다. That is, the single access control device 500 controls the access of the user through whether the user is a multiple user and whether the front face is detected separately from whether the user is justified in the access authentication procedure passed through the authentication device 200. Will be.

이러한 단일출입 제어장치(500)는 도 12에 도시된 바와 같이 카메라(510), 이미지 변환부(520), 이미지 사전 축소부(530), 이미지 전처리부(540), 세부영역 설정부(550), 타겟 검출부(560), 얼굴 비교부(561), 장치 제어부(562), 디텍터 저장부(570), 이미지 단계 축소부(580), 검출얼굴 저장부(560a), 인증본 저장 부(590a) 및 출입제한기록 저장부(590b)를 포함하여 구성된다. As shown in FIG. 12, the single access control device 500 includes a camera 510, an image converter 520, an image pre-reduction unit 530, an image preprocessor 540, and a detailed area setting unit 550. , The target detector 560, the face comparator 561, the device controller 562, the detector storage 570, the image step reduction unit 580, the detection face storage 560a, and the authentication copy storage unit 590a. And an access restriction record storage unit 590b.

상기 카메라(510)는 상기 인증 장치(200)에서 출입인증 절차를 수행하고 있는 사용자에 대한 이미지 또는 영상을 촬영한다. The camera 510 captures an image or an image of a user who is performing an access authentication procedure in the authentication apparatus 200.

이러한 카메라(510)는 상기 인증 장치(200)가 설치된 장소(특히, 인증 장치(200)의 전면)를 영상 또는 이미지로 촬영할 수 있으며, 별도의 인체 감지 수단에 의해 해당 인증 장치(200)에 대한 사용자의 접근을 감지한 후 촬영이 개시되도록 할 수도 있다. The camera 510 may take a picture or an image of a place (particularly, the front of the authentication device 200) in which the authentication device 200 is installed, and by using a separate human body detecting means for the corresponding authentication device 200. After sensing the user's approach, the shooting may be started.

상기 이미지 변환부(520)는 상기 카메라(510)로부터 촬영된 사용자에 대한 영상 프레임 또는 이미지를 전달받아 흑백 이미지로 변환시키고, 해당 흑백 이미지를 정사각형 이미지가 되도록 규격화시킨다. 물론, 카메라(510)에서 출력되는 영상이 흑백인 경우 이러한 흑백 이미지 변환 과정은 생략될 수 있다. The image converting unit 520 receives an image frame or an image of the user captured by the camera 510, converts the image frame or image into a black and white image, and normalizes the black and white image to be a square image. Of course, when the image output from the camera 510 is black and white, this black and white image conversion process may be omitted.

예컨데, 상기 이미지 변환부(520)는 상기 카메라(510)로부터 입력되는 프레임 또는 이미지의 크기가 720×480 픽셀인 경우 도 3에 도시된 바와 같이 해당 프레임 또는 이미지에서 좌우 각각 120 픽셀씩 잘라내고, 남아있는 480×480 픽셀 영역으로 규격화시키게 된다. For example, when the size of a frame or image input from the camera 510 is 720 × 480 pixels, the image converter 520 cuts 120 pixels from left and right of the frame or image as shown in FIG. Normalize to the remaining 480x480 pixel area.

상기 이미지 사전 축소부(530)는 상기 규격화된 흑백 이미지를 규격화된 원이미지에서 가로 및 세로 크기가 정비례하도록 이미지 크기를 축소시킨다. The image pre-reduction unit 530 reduces the size of the normalized black and white image so that the horizontal and vertical sizes are directly proportional to the normalized original image.

예컨데, 상기 이미지 사전 축소부(530)는 상기 이미지 변환부(520)를 통해 규격화된 480×480 픽셀의 이미지를 1/6 크기인 80×80 픽셀의 크기로 축소하게 된다. 이러한 이미지 사전 축소는 후술되는 얼굴, 눈, 입에 대한 타겟 검출 과정에서 전체적인 픽셀 연산의 부하를 줄여주기 때문에 보다 빠른 결과 도출을 가능하게 한다. For example, the image pre-reduction unit 530 reduces the standardized image of 480 × 480 pixels through the image conversion unit 520 to a size of 80 × 80 pixels, which is 1/6 size. This image pre-shrinkage reduces the load of the overall pixel operation in the target detection process for the face, eyes, and mouth, which will be described later, thereby enabling faster results.

상기 이미지 전처리부(540)는 상기 이미지 사전 축소부(530)를 통해 축소된 축소 이미지를 출입인증 절차를 수행하고 있는 사용자의 정면 얼굴을 검출하기 위한 얼굴 후보 영역으로 지정하고 해당 얼굴 후보 영역에서 비얼굴 영역을 제외시킨다. The image preprocessing unit 540 designates the reduced image reduced by the image pre-reduction unit 530 as a face candidate area for detecting a face of the user who is performing an access authentication procedure, and sets the non-reduced image in the corresponding face candidate area. Exclude the face area.

상기 타겟 검출부(560)는 상기 이미지 전처리부(540)를 통해 검출된 얼굴 후보 영역에 대해서 얼굴 영역을 검출하기 위하여 상기 디텍터 저장부(570)로부터 훈련된 얼굴 디텍터를 추출하고 해당 얼굴 디텍터를 상기 얼굴 후보 영역에서 이동시켜가면서 해당 디텍터 내의 얼굴 후보 영역이 얼굴을 포함하고 있는지 체크하게 된다. The target detector 560 extracts a trained face detector from the detector storage unit 570 to detect a face region with respect to a face candidate region detected by the image preprocessor 540 and converts the face detector into the face detector. While moving in the candidate area, it is checked whether the face candidate area in the corresponding detector includes a face.

즉, 상기 타겟 검출부(560)는 상기 카메라(510)에서 촬영되는 영상에서 추출된 사진 이미지 또는 프레임 이미지를 통해 사용자의 얼굴을 검출하게 되는데, 복수의 사용자가 출입문에 대기하고 있는 경우 해당 촬영된 사진 이미지 또는 프레임 이미지에는 복수의 얼굴이 검출되게 된다. That is, the target detection unit 560 detects a user's face through a photographic image or a frame image extracted from the image photographed by the camera 510. When a plurality of users are waiting for the door, the corresponding photograph is taken. A plurality of faces are detected in the image or frame image.

이에 따라 상기 타겟 검출부(560)는 복수의 얼굴이 포함되어 있는지 여부를 판별하기 위해, 얼굴 디텍터를 통해 얼굴 후보 영역에서 얼굴들을 검출하고 이를 통해 검출된 얼굴 영역들 중 가까운 거리에 있는 얼굴 영역들을 연결하여 하나의 그룹으로 그룹핑(Grouping)하게 된다. 또한 해당 타겟 검출부(560)는 큰 얼굴 영역에 포함되는 작은 얼굴 영역을 삭제하여 대상에서 제외시키게 된다. 이는 상술한 얼굴 디텍터를 통한 얼굴 검출 작업에서 발생할 수 있는 에러를 제거하기 위한 과정으로 얼굴 내에 내포되는 얼굴은 하나의 얼굴로 간주하게 된다. Accordingly, the target detector 560 detects faces in the face candidate region through the face detector and connects the face regions that are located at a close distance among the detected face regions to determine whether a plurality of faces are included. To group into one group. In addition, the target detection unit 560 deletes the small face area included in the large face area and excludes it from the object. This is a process for eliminating an error that may occur in the face detection operation through the face detector described above, and a face included in the face is regarded as one face.

따라서, 상기 타겟 검출부(560)를 통해 검출되어 그룹화된 얼굴 영역 그룹의 수는 실제로 영상 또는 이미지에서 존재하는 얼굴의 수를 의미하게 된다. Therefore, the number of face region groups detected and grouped by the target detector 560 means the number of faces actually present in an image or an image.

여기에서, 상기 타겟 검출부(560)는 얼굴 후보 영역에서 검출된 얼굴 영역들을 상기 얼굴 영역 저장부(560a)에 저장하여 관리하게 된다. Here, the target detection unit 560 stores and manages the face areas detected in the face candidate area in the face area storage unit 560a.

상기 얼굴 비교부(561)는 상기 타겟 검출부(560)를 통해 검출되어 그룹화된 얼굴 영역 그룹의 개수 즉 이미지에 포함된 얼굴의 개수에 따라 복수의 얼굴이 검출된 경우에 해당 얼굴의 크기를 비교하여 복수의 인원이 출입을 하고자 하는 시도인지 또는 한 사람의 출입 시도인데 주위 사람의 얼굴이 함께 검출된 것인지를 판별하게 된다. The face comparator 561 compares the size of the face when a plurality of faces are detected according to the number of face region groups detected by the target detector 560, that is, the number of faces included in the image. It is determined whether a plurality of personnel are attempting to enter or exit, or whether a face of a neighboring person is detected together.

즉, 상기 얼굴 비교부(561)는 둘 이상의 얼굴이 검출되었을 경우에 검출된 N 개의 얼굴 중 가장 크게 검출된 얼굴 영역과 두번째로 크게 검출된 얼굴 영역의 크기를 비교하게 된다. 이들 두 얼굴 영역을 비교하여 두 얼굴 영역의 크기 차이가 20% 이상이면 출입을 시도하지 않는 주위 사람의 얼굴이 함께 검출된 것으로 판별하여 한 사람의 출입시도 상황으로 결정하게 되고, 이와 달리 두 얼굴 영역을 비교하여 두 얼굴 영역의 크기 차이가 20% 미만이면 둘 이상의 사람이 한꺼번에 출입을 시도하는 것으로 판별하여 복수의 출입시도 상황으로 결정하게 된다. That is, when two or more faces are detected, the face comparison unit 561 compares the size of the face area detected largest among the N detected faces with the size of the face area detected second. Comparing these two face areas, if the size difference between the two face areas is 20% or more, it is determined that the faces of the neighboring people who do not attempt to enter are detected together and determined as the entrance attempt situation of one person. If the difference between the size of the two face area is less than 20% by comparing the two or more people at the same time trying to enter the determination of a plurality of entrance attempt situation.

다시 말해, 검출된 얼굴의 개수가 둘 이상이라 하더라도 가장 큰 크기의 얼굴에 비하여 나머지 얼굴의 크기가 80% 이하일 경우 가장 크게 검출된 얼굴만이 출입을 시도하는 상황으로 판별하게 되는 것이다. In other words, even if the number of detected faces is two or more, when the size of the remaining faces is 80% or less as compared to the face of the largest size, only the face detected to be the largest is determined as a situation in which an attempt is made.

그리고 장치 제어부(562)는 상술한 바와 같이 한 사람의 출입시도인지 여부와 그리고 후술하는 이미지에서의 정면 얼굴 검출 여부에 따라 해당 인증 장치(200)로 출입 허용 제어 신호 또는 출입 제한 제어 신호를 전달함으로써 사용자의 인증 장치(200)에 대한 출입인증 외에 별도의 복수 출입 여부와 정면 얼굴 검출 여부에 따라 출입을 제어할 수 있게 한다. As described above, the device controller 562 transmits an access permission control signal or an access restriction control signal to the corresponding authentication device 200 according to whether or not the person attempts to enter and detect the front face in the image to be described later. In addition to access authentication for the user's authentication device 200, it is possible to control access according to whether there are a plurality of separate accesses and whether the front face is detected.

상기 디텍터 저장부(570)는 훈련된 디텍터들이 저장되게 되는데, 이러한 디텍터들은 얼굴 디텍터, 눈 디텍터, 입 디텍터로 구분 저장되어 관리된다. The detector storage unit 570 stores trained detectors, which are classified and managed as face detectors, eye detectors, and mouth detectors.

상기 얼굴 디텍터, 눈 디텍터, 입 디텍터는 각각 얼굴 영역에서 얼굴과, 좌우 눈과 입을 검출하기 위한 윈도우로서 해당 촬영된 영상 또는 이미지에 얼굴은 물론 눈과 입이 검출되었는지 체크함으로써 해당 촬영된 얼굴이 정면 얼굴인지 여부를 판가름하는 기준을 제공하게 된다. The face detector, the eye detector, and the mouth detector are windows for detecting the face, the left and right eyes, and the mouth in the face region, respectively. It will provide a criterion for determining whether or not it is a face.

상기 세부영역 설정부(550)은 상기 타겟 검출부(560)에서 검출된 얼굴 영역에서 왼쪽 눈 검색 영역, 오른쪽 눈 검색 영역 그리고 입 검색 영역을 설정하게 된 다. The subregion setting unit 550 sets the left eye search area, the right eye search area, and the mouth search area in the face area detected by the target detector 560.

그리고, 상기 타겟 검출부(560)는 상기 세부영역 설정부(550)를 통해 설정된 얼굴 영역에서의 왼쪽 눈 검색 영역, 오른쪽 눈 검색 영역 그리고 입 검색 영역에 대해서 각각 왼쪽 눈, 오른쪽 눈 그리고 입을 검출하기 위하여 상기 디텍터 저장부(570)로부터 훈련된 눈 디텍터와 입 디텍터를 추출하고 해당 눈 디텍터와 입 디텍터를 각각의 검색 영역에서 이동시켜가면서 해당 디텍터 내의 검색 영역이 눈 또는 입을 포함하고 있는지 체크하게 된다. In addition, the target detector 560 detects the left eye, the right eye, and the mouth for the left eye search area, the right eye search area, and the mouth search area in the face area set by the subregion setting unit 550, respectively. The trained eye detector and the mouth detector are extracted from the detector storage unit 570, and the eye detector and the mouth detector are moved in each search area, and the search area in the detector includes an eye or a mouth.

상기 이미지 단계 축소부(580)는 입력되어 사전 축소된 영상을 일정 비율로 축소시킨다. 즉, 일반적인 영상축소 알고리즘을 이용하여 입력된 이미지의 크기를 설정된 비율에 따라 단계적으로 축소해 가면서 24×24 픽셀 크기의 얼굴 디텍터를 이용해 얼굴 후보 영역을 체크하게 된다. The image step reduction unit 580 reduces the input and pre-reduced image by a predetermined ratio. That is, the face candidate area is checked using a face detector having a size of 24 × 24 pixels while gradually reducing the size of the input image by a predetermined ratio using a general image reduction algorithm.

상기 얼굴영역 저장부(560a)는 상기 타겟 검출부(560)에서 촬영된 영상 또는 이미지에서 검출한 얼굴 영역들이 저장되게 된다. The face region storage unit 560a stores the face regions detected in the image or image photographed by the target detection unit 560.

상기 인증본 저장부(590a)는 상기 타겟 검출부(560)에서 촬영된 프레임 또는 이미지에 대하여 얼굴, 눈 및 입의 검출을 모두 성공하게 되면 이를 정면 얼굴이 검출된 것으로 보고 해당 촬영된 영상 또는 이미지를 인증본으로서 별도의 부가적인 정보(예컨데, 인증시간, 인증방법 등)와 함께 저장하게 된다. When the authentication copy storage unit 590a successfully detects a face, an eye, and a mouth with respect to a frame or an image photographed by the target detection unit 560, the certified face storage unit 590a considers the front face to be detected and displays the captured image or image. As a certified copy, it is stored along with additional additional information (e.g., authentication time, authentication method, etc.).

또한, 상기 출입제한기록 저장부(590b)는 상기 타겟 검출부(560)에서 촬영된 프레임 또는 이미지에 대하여 얼굴, 눈 및 입 중 어느 하나라도 검출을 실패하게 되면 이를 정면 얼굴이 검출되지 않은 것으로 보고 해당 촬영된 영상 또는 이미지를 출입제한 근거 기록으로서 별도의 부가적인 정보(예컨데, 인증시간, 인증방법 등)와 함께 저장하게 된다. In addition, when the access control record storage unit 590b fails to detect any one of a face, an eye, and a mouth with respect to a frame or an image photographed by the target detector 560, the front face is not detected. The captured image or image is stored along with additional additional information (for example, authentication time, authentication method, etc.) as evidence of access restriction.

상술한 단일출입 제어장치(500)는 출입인증을 시도하는 사용자에게 음향을 출력하기 위한 음향 출력부(500a)와 영상을 출력하기 위한 영상 출력부(500b)를 구비한다. The single access control device 500 includes a sound output unit 500a for outputting sound to a user attempting access authentication and an image output unit 500b for outputting an image.

상기 음향 출력부(500a)는 해당 사용자에 대한 영상 또는 이미지를 통해 복수의 인원이 출입을 시도하는 경우나 정면 얼굴을 검출하는 과정에서 정면 얼굴의 검출을 실패하게 될 경우 해당 사용자에게 별도의 출입 인증용 추가 촬영을 유도하기 위한 절차 안내를 음성 출력을 통해 실시하게 된다. The sound output unit 500a separately authenticates access to a corresponding user when a plurality of persons attempt to enter or exit through the image or image of the corresponding user or when the front face is failed to be detected in the process of detecting the front face. Voice guidance will guide you through the process of inducing additional shooting.

상기 영상 출력부(400b)는 해당 사용자에 대한 영상 또는 이미지를 통해 복수의 인원이 출입을 시도하는 경우나 정면 얼굴을 검출하는 과정에서 정면 얼굴의 검출을 실패하게 될 경우 해당 사용자에게 별도의 출입 인증용 추가 촬영을 유도하기 위한 절차 안내를 영상 출력을 통해 실시하게 된다. The image output unit 400b separately authenticates access to a corresponding user when a plurality of persons attempt to enter or exit through the image or image of the corresponding user or when the front face is failed to be detected in the process of detecting the front face. The video output will guide you through the process of inducing additional shooting.

이제 도 13을 참조하여 본 발명에 따른 출입통제시스템의 복수 사용자 출입 제한 방법을 상세히 설명한다. Now, with reference to Figure 13 will be described in detail the multi-user access restriction method of the access control system according to the present invention.

상기 단일출입 제어장치(500)는 카메라(510)를 통해 인증 장치(200)가 설치된 장소를 영상 또는 이미지로 촬영하게 된다(S80). 이때, 이러한 카메라(510)의 촬영 시점은 별도의 인체 감지 수단에 의해 상기 인증 장치(200)에 대한 인체 접근을 감지한 시점이 될 수 있다.The single access control device 500 captures a place where the authentication device 200 is installed through the camera 510 as an image or an image (S80). In this case, the photographing time point of the camera 510 may be a time point at which a human body approach to the authentication apparatus 200 is detected by a separate human body detecting means.

이후, 상기 단일출입 제어장치(500)는 촬영된 영상의 프레임 이미지 또는 촬영된 사진 이미지를 흑백 이미지로 변환시키고 정사각형 이미지가 되도록 규격화시킨 후, 해당 이미지를 가로 및 세로 크기가 정비례하도록 이미지 크기를 축소시켜서 사용자의 얼굴을 검출하기 위한 얼굴 후보 영역으로 지정하여 해당 얼굴 후보 영역에서 비얼굴 영역을 제외시키며, 타겟 검출부(560)를 통해 얼굴 디텍터를 상기 얼굴 후보 영역에서 2 픽셀씩 이동시켜가며 해당 영역이 얼굴을 포함하고 있는지 체크해 나감으로써 얼굴 영역들을 검출하고 이를 상기 얼굴영역 저장부(560a)에 저장한다(S82). 이러한 얼굴 영역 검출 과정은 이미 상세하게 설명되었으므로 중복되는 설명은 생략한다. Thereafter, the single access control device 500 converts the frame image or the photographed image of the photographed image into a black and white image and normalizes the image to a square image, and then reduces the image size so that the horizontal and vertical sizes are directly proportional to the image. By specifying a face candidate area for detecting a user's face to exclude the non-face area from the face candidate area, the target detector 560 moves the face detector by 2 pixels from the face candidate area, The face regions are detected by checking whether the face is included and stored in the face region storage unit 560a (S82). This face region detection process has already been described in detail, and thus redundant description will be omitted.

그리고 상기 단일출입 제어장치(500)는 상기 검출된 얼굴 영역들 중 가까운 거리에 있는 얼굴 영역들을 연결하여 하나의 그룹으로 그룹핑(Grouping)한다(S84). In addition, the single access control device 500 groups the face areas at close distances among the detected face areas into a group (S84).

여기에서 가까운 거리라 함은 이미지 내에서의 위치가 가까운 것을 의미하며 예컨데, 5픽셀 거리를 설정값으로 하여 그 거리가 유사범위 내에 있는지 여부를 판별할 수 있다. 이러한 그룹핑을 위해 설정되는 거리는 카메라의 설치환경이나 시스 템 민감도에 따라 다양하게 설정될 수 있다. Herein, the close distance means that the position in the image is close. For example, it is possible to determine whether or not the distance is within a similar range by using a 5 pixel distance as a set value. The distance set for such grouping may be set in various ways depending on the installation environment or system sensitivity of the camera.

또한, 상기 단일출입 제어장치(500)는 상기 검출된 얼굴 영역에서 큰 얼굴 영역에 내포되는 작은 얼굴 영역을 삭제하여 대상에서 제외시키고(S86), 상기 타겟 검출부(560)를 통해 검출되어 그룹화된 얼굴 영역 그룹의 수를 실제로 영상 또는 이미지에서 존재하는 얼굴의 수로 산정한다(S88). In addition, the single access control device 500 deletes the small face area included in the large face area from the detected face area and excludes the small face area from the object (S86). The face detected and grouped by the target detection unit 560 is grouped. The number of area groups is calculated as the number of faces actually present in the image or the image (S88).

이에 따라 상기 단일출입 제어장치(500)는 상기 산정된 얼굴의 수에 따라 복수의 얼굴 영역이 검출되었는지 여부를 판단하고(S90), 복수의 얼굴이 검출된 경우 얼굴 비교부(561)을 통해 해당 얼굴들의 크기를 비교하여(S92), 가장 크게 검출된 얼굴 영역과 두번째로 크게 검출된 얼굴 영역의 크기 차이가 설정치 이상인지 여부를 판단하게 된다(S94). Accordingly, the single access control device 500 determines whether a plurality of face areas are detected according to the calculated number of faces (S90), and if a plurality of faces are detected, the face comparison unit 561 determines that the plurality of face areas are detected. By comparing the sizes of the faces (S92), it is determined whether the size difference between the largest detected face region and the second largest detected facial region is greater than or equal to the set value (S94).

여기에서 상기 얼굴 비교부(561)는 둘 이상의 얼굴이 검출되었을 경우에 검출된 N 개의 얼굴 중 가장 크게 검출된 얼굴 영역과 두번째로 크게 검출된 얼굴 영역의 크기를 비교하게 된다. 이들 두 얼굴 영역을 비교하여 두 얼굴 영역의 크기 차이가 20% 이상이면 출입을 시도하지 않는 주위 사람의 얼굴이 함께 검출된 것으로 판별하여 한 사람의 출입시도 상황으로 결정하게 되고, 이와 달리 두 얼굴 영역을 비교하여 두 얼굴 영역의 크기 차이가 20% 미만이면 둘 이상의 사람이 한꺼번에 출입을 시도하는 것으로 판별하여 복수의 출입시도 상황으로 결정하게 된다. In this case, when two or more faces are detected, the face comparison unit 561 compares the size of the face region detected largest with the size of the second detected facial region among the N faces detected. Comparing these two face areas, if the size difference between the two face areas is 20% or more, it is determined that the faces of the neighboring people who do not attempt to enter are detected together and determined as the entrance attempt situation of one person. If the difference between the size of the two face area is less than 20% by comparing the two or more people at the same time trying to enter the determination of a plurality of entrance attempt situation.

즉, 상기 제 S94 단계의 판단결과, 두 얼굴 영역을 비교하여 두 얼굴 영역의 크기 차이가 설정치인 20% 미만이면 둘 이상의 사람이 한꺼번에 출입을 시도하는 것으로 판별하여 상기 장치 제어부(562)를 통해 인증 장치(200)로 출입 제한 제어 신호를 전달하고(S96), 해당 둘 이상의 얼굴이 검출된 촬영 영상 또는 이미지를 출입제한에 대한 근거 기록으로서 출입제한기록 저장부(590b)에 별도의 부가적인 정보(예컨데, 인증시간, 인증방법 등)와 함께 저장하며(S98), 상기 음향 출력부(500a) 또는 영상 출력부(500b)를 통해 한 사람만 카메라 앞에 위치하도록 인증수행 사용자에게 알리고 재촬영 안내를 함으로써 상술한 과정을 다시 수행하게 된다(S100). That is, as a result of the determination of step S94, if the size difference between the two face areas is less than 20%, which is a predetermined value, it is determined that two or more people attempt to enter at the same time and authenticate through the device controller 562. Transmitting the access restriction control signal to the device 200 (S96), and additional information to the restricted access record storage unit 590b as a record of the restricted access images or images detected by the two or more faces ( For example, the authentication time, authentication method, etc.) is stored together (S98), and informs the user performing authentication so that only one person is located in front of the camera through the sound output unit 500a or the image output unit 500b, and guides the re-shooting. The above process is performed again (S100).

한편, 이와 달리 상기 제 S94 단계의 판단결과, 두 얼굴 영역을 비교하여 두 얼굴 영역의 크기 차이가 설정치인 20% 이상이면 출입을 시도하지 않는 주위 사람의 얼굴이 함께 검출된 것으로 판별하여 한 사람의 출입시도 상황으로 결정하게 되고 사용자가 상기 인증 장치(200)를 통해 출입인증 절차를 수행함에 따라 타겟 검출부(560)를 통해 가장 큰 얼굴 영역에 대하여 세부적인 얼굴 구성 요소(좌우 눈, 입)의 검출을 통해 정면 얼굴 여부를 판단하는 후절차를 수행하게 된다(S102). On the other hand, in contrast, as a result of the determination of step S94, if the size difference between the two face areas is greater than or equal to a set value of 20% or more, it is determined that the faces of people around the person who do not attempt to enter are detected together. Determination of detailed facial components (left and right eyes, mouth) with respect to the largest face area through the target detection unit 560 as determined by the entrance attempt situation and the user performs the access authentication procedure through the authentication device 200. Through the step S102 to determine whether the front face through the (S102).

최종적으로 상기 단일출입 제어장치(500)는 촬영된 프레임 또는 이미지에서 얼굴, 눈 및 입의 검출을 모두 성공하였는지 여부를 판단하여(S104), 얼굴, 눈 및 입의 검출이 모두 성공하면 이를 출입인증을 수행하고 있는 사용자에 대한 정면 얼굴이 검출된 것으로 판단하고 상기 장치 제어부(562)를 통해 인증 장치(200)로 출 입 허용 제어 신호를 전달하고(S106), 해당 정면 얼굴이 검출된 촬영 영상 또는 이미지를 인증본으로서 인증본 저장부(590a)에 별도의 부가적인 정보(예컨데, 인증시간, 인증방법 등)와 함께 저장하게 된다(S108). Finally, the single access control device 500 determines whether the detection of all the faces, eyes, and mouths in the captured frame or image is successful (S104). It is determined that the front face of the user performing the detection is detected and transmits an entrance permission control signal to the authentication apparatus 200 through the device control unit 562 (S106), the photographed image from which the front face is detected or The image is stored as an authenticated copy along with additional additional information (for example, authentication time, authentication method, etc.) in the authentication copy storage unit 590a (S108).

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 한정되는 것이 아니다. The present invention described above is capable of various substitutions, modifications, and changes without departing from the spirit of the present invention for those skilled in the art to which the present invention pertains. It is not limited to the drawing.

도 1은 본 발명에 따른 출입통제시스템의 출입인증 보관용 정면얼굴 이미지 검출 방법이 수행되는 출입통제시스템에 대한 블럭도.1 is a block diagram of an access control system in which the front face image detection method for access authentication storage of the access control system according to the present invention is performed.

도 2는 출입통제시스템의 출입인증 보관용 정면얼굴 이미지 검출 방법이 수행되는 출입통제시스템의 인증 이미지 검출장치에 대한 블럭도. 2 is a block diagram of an authentication image detection apparatus of an access control system in which a front face image detection method for access authentication storage of an access control system is performed;

도 3은 본 발명이 적용되는 이미지 규격화 과정을 설명하기 위한 도면. 3 is a view for explaining an image standardization process to which the present invention is applied.

도 4는 본 발명이 적용되는 디텍터 이동 검출 과정을 설명하기 위한 도면. 4 is a view for explaining a detector movement detection process to which the present invention is applied.

도 5는 본 발명이 적용되는 검색 영역 설정 과정을 설명하기 위한 도면. 5 is a diagram illustrating a search area setting process to which the present invention is applied.

도 6은 본 발명에 따른 출입통제시스템의 출입인증 보관용 정면얼굴 이미지 검출 방법을 설명하기 위한 흐름도. Figure 6 is a flow chart for explaining a method for detecting access face storage front face image of the access control system according to the present invention.

도 7은 본 발명에 따른 평균과 분산 계산 과정을 설명하기 위한 도면. 7 is a view for explaining the average and variance calculation process according to the present invention.

도 8은 본 발명에 따른 출입통제시스템의 출입인증 사용자에 대한 출입허가용 정면얼굴 영상 검출 방법이 수행되는 출입통제시스템에 대한 블럭도.8 is a block diagram of an access control system in which a front face image detection method for access permission for an access authentication user of an access control system according to the present invention is performed.

도 9는 출입통제시스템의 출입인증 사용자에 대한 출입허가용 정면얼굴 영상 검출 방법이 수행되는 출입통제시스템의 출입인증 제어장치에 대한 블럭도. 9 is a block diagram of an access authentication control device of an access control system in which a method for detecting a front face image for an access permission for an access authentication user of an access control system is performed.

도 10은 본 발명에 따른 출입통제시스템의 출입인증 사용자에 대한 출입허가용 정면얼굴 영상 검출 방법을 설명하기 위한 흐름도. 10 is a flowchart illustrating a method for detecting a front face image for access permission for an access authentication user of the access control system according to the present invention.

도 11은 본 발명에 따른 출입통제시스템의 복수 사용자 출입 제한 방법이 수행되는 출입통제시스템에 대한 블럭도.11 is a block diagram of an access control system in which a multiple user access restriction method of the access control system according to the present invention is performed.

도 12는 출입통제시스템의 복수 사용자 출입 제한 방법이 수행되는 출입통제 시스템의 단일출입 제어장치에 대한 블럭도. 12 is a block diagram of a single access control device of an access control system in which a multiple user access restriction method of the access control system is performed.

도 13은 본 발명에 따른 출입통제시스템의 복수 사용자 출입 제한 방법을 설명하기 위한 흐름도. 13 is a flowchart illustrating a multiple user access restriction method of the access control system according to the present invention.

Claims

A door lock device 100 for opening and closing a door, an authentication device 200 for access authentication of a user who decides to open or close the door lock device 100, and an authentication image recording device for storing an access authentication record of an access authentication user ( As a front face image detection method for access authentication storage proceeding in the access control system consisting of 300),

(a) photographing a user performing access authentication by the authentication image recording apparatus 300 and converting the photographed user image into a black and white image;

(b) the authentication image recording apparatus 300 standardizing the black and white image into a square image;

(c) the authentication image recording apparatus 300 pre-shrink the normalized face candidate image so that the horizontal and vertical sizes are directly proportional to the original image;

(d) The authentication image recording apparatus 300 designates the face candidate image which has been previously reduced as a face candidate image for detecting the front face of the user who is performing the access authentication procedure, and excludes the non-face area from the face candidate image. Setting a face candidate area to make a face candidate;

(e) the authentication image recording apparatus 300 moving the face detector by 2 pixels in the face candidate area and checking whether the area includes a face;

(f) When the face area is detected, the authentication image recording apparatus 300 sets the left and right eye search areas in the detected face area, and moves the eye detectors by 2 pixels in the left and right eye search areas. Checking whether the area contains left and right eyes;

(g) When the left and right eyes are detected, the authentication image recording apparatus 300 sets the mouth search area in the detected face area, moves the mouth detector by 2 pixels in the mouth search area, and includes the mouth. Checking whether it is being performed; And

(h) Upon successful detection of the face, eyes and mouth, the authentication image recording apparatus 300 determines that the front face of the user performing the access authentication is detected and records the image of the access authentication. Storing as a certified copy for; including;

The authentication image recording apparatus 300 divides the corresponding image into a plurality of sub-images while moving the detector by 2 pixels in the search target area, and compares the average value and the dispersion value of each sub-image with the pre-calculated integral image. Computation using an integrated squared image, and comparing the average value and the variance value of the sub-image with a predetermined threshold value to check whether the candidate area includes a face, eyes or mouth. Front face image detection method for access authentication storage.

The method of claim 1,

In the step (b), the normalized image is normalized to an area of 480x480 pixels, and the image previously reduced in the step (c) is reduced to a size of 80 x 80 pixels. Front face image detection method for storage.

The method of claim 1,

In the step (d), the authentication image recording apparatus 300 extracts and excludes the non-face area through a predetermined average threshold value and a predetermined standard deviation threshold value of the pixel value set for the face data based on the skin color of the face. Front face image detection method for access authentication storage of the access control system, characterized in that.

The method of claim 1,

In the step (e), the face detector has a pixel size of 24 × 24, the front face image detection method for access authentication storage of the access control system.

The method of claim 1,

In the step (f), the left and right eye search areas are set.

When the detected face area has a size of 2d × 2d, the eye search area excludes the lower face area based on the horizontal center axis, excludes the pixels of the upper 1 / 10d row in the upper face area, Set by excluding pixels in columns 1 / 10d,

The left eye search area is set as the left area with respect to the vertical center axis in the eye search area, and the right eye search area is set as the right area with respect to the vertical center axis in the eye search area. Front face image detection method for certification storage.

The method of claim 5,

Setting of the mouth search area in the step (g),

Access authentication of the access control system, which is set by excluding the upper face region based on the horizontal center axis, excluding the pixels in the upper 1 / 10d row in the lower face region, and excluding the pixels in the left and right 1 / 10d columns, respectively. Method for detecting frontal face image for storage.

The method of claim 1,

The authentication image recording apparatus 300 gradually reduces the corresponding area at a predetermined ratio when checking target detection for the face candidate area, the left and right eye search areas, or the mouth search area by the face detector, the eye detector, or the mouth detector. Method for detecting the front face image for access authentication storage of the access control system, characterized in that by repeatedly checking the reduced area through a detector of a fixed size.

The method of claim 7, wherein

The authentication image recording apparatus 300 divides the face candidate image into six levels by dividing it into six levels while dividing it into sub-images through a fixed 24 × 24 pixel size detector in each of the reduced images. Front face image detection method for access authentication storage of system.

delete