KR102261054B1

KR102261054B1 - Fast Face Recognition Apparatus connected to a Camera

Info

Publication number: KR102261054B1
Application number: KR1020190152161A
Authority: KR
Inventors: 신승철; 유동삼; 심재용; 윤인용
Original assignee: (주)시큐이데아
Priority date: 2019-11-25
Filing date: 2019-11-25
Publication date: 2021-06-04
Also published as: KR20210063710A

Abstract

보안 영상에서 얼굴을 인식하는 기술이 개시된다. 제안된 얼굴 인식 장치는 카메라에 연결된다. 영상에서 추출된 얼굴 영상에서 추출한 특징 벡터를, 추출한 특징 벡터와 동일한 분류에 속한 기준 벡터들과 비교하여 가장 유사한 기준 벡터에 대응되는 인식 결과 정보를 출력한다. 검색 범위는 타겟 특징 벡터와 동일한 분류의 기준 벡터들로 제한된다. Disclosed is a technology for recognizing a face in a security image. The proposed face recognition device is connected to a camera. The feature vector extracted from the face image extracted from the image is compared with reference vectors belonging to the same classification as the extracted feature vector, and recognition result information corresponding to the most similar reference vector is output. The search range is limited to reference vectors of the same classification as the target feature vector.

Description

Fast Face Recognition Apparatus connected to a Camera

영상 보안 기술, 특히 영상에서 얼굴을 인식하는 기술이 개시된다.An image security technology, particularly a technology for recognizing a face in an image, is disclosed.

얼굴 인식 기술은 오랫동안 발전해온 기술로, 최근에 인공지능 기술이 급격히 실용화되면서 인식율 및 인식 속도 면에서 비약적으로 발전하고 있다. 얼굴에서 추출된 특징(feature)을 벡터화하여 특징 벡터로 인코딩한 후 데이터베이스에 저장된 기준 벡터와의 거리를 계산하여 가장 가까운 거리를 가진 기준 벡터를 인식 결과로 출력하는 기술이 알려져 있다. 그러나 수많은 기준 벡터와 거리를 계산하는 것은 여전히 많은 시간이 소요되어 실시간 처리에 어려움이 있다. Face recognition technology is a technology that has been developed for a long time, and as artificial intelligence technology is rapidly put into practical use in recent years, it is developing rapidly in terms of recognition rate and recognition speed. A technique of vectorizing a feature extracted from a face, encoding it into a feature vector, calculating the distance from a reference vector stored in a database, and outputting a reference vector having the closest distance as a recognition result is known. However, calculating a large number of reference vectors and distances still takes a lot of time, making real-time processing difficult.

또 관제 면에서도 특정한 얼굴을 녹화된 감시 영상에서 검색함에 있어서, 녹화된 감시 영상에서 얼굴을 검출하여 추출하고 특정한 얼굴과 거리를 계산하여 비교하는 과정을 반복한다는 것은 아주 시간이 많이 걸리는 신호 처리이다. Also, in terms of control, when searching for a specific face from the recorded surveillance video, repeating the process of detecting and extracting a face from the recorded surveillance video, calculating the distance to a specific face, and comparing it is a very time-consuming signal processing.

제안된 발명은 보안 영상에서 얼굴 인식을 고속화하는 것을 목적으로 한다. The proposed invention aims to speed up face recognition in a security image.

나아가 제안된 발명은 하나의 보안 영상에서 복수의 얼굴 인식을 처리할 수 있도록 하는 것을 또 다른 목적으로 한다.Furthermore, it is another object of the proposed invention to process a plurality of face recognition in one security image.

나아가 제안된 발명은 보안 영상 기록에서 특정한 얼굴의 검색을 고속화하는 것을 목적으로 한다.Further, the proposed invention aims to speed up the search for a specific face in the security image record.

제안된 발명의 일 양상에 따른 얼굴 인식 장치는 카메라에 연결되며, 하나의 카메라마다 1대씩 구비될 수도 있다. 제안된 발명의 일 양상에 따른 얼굴 인식 장치는 영상에서 추출된 얼굴 영상에서 추출한 특징 벡터를, 추출한 특징 벡터와 동일한 분류에 속한 기준 벡터들과 비교하여 가장 유사한 기준 벡터에 대응되는 인식 결과 정보를 출력한다. The face recognition apparatus according to an aspect of the proposed invention is connected to a camera, and one camera may be provided for each camera. A face recognition apparatus according to an aspect of the present invention compares a feature vector extracted from a face image extracted from an image with reference vectors belonging to the same classification as the extracted feature vector, and outputs recognition result information corresponding to the most similar reference vector. do.

또 다른 양상에 따른 얼굴 인식 장치는 얼굴 인식 관련 메타 데이터 및 인식 결과 정보를 얼굴 인식 보안 이벤트로 통신망을 통해 외부의 보안 서비스 서버로 전송할 수 있다. 전송된 얼굴 인식 보안 이벤트 정보는 데이터베이스로 저장되어 보안 영상에서의 검색에 제공될 수 있다. The face recognition apparatus according to another aspect may transmit face recognition-related metadata and recognition result information as a face recognition security event to an external security service server through a communication network. The transmitted face recognition security event information may be stored in a database and provided for searching in a security image.

또 다른 양상에 따른 얼굴 인식 장치는 얼굴 검출부에서 출력된 얼굴 영상에서 복수의 감정 상태 중 하나를 판단할 수 있다. The face recognition apparatus according to another aspect may determine one of a plurality of emotional states from the face image output from the face detector.

또 다른 양상에 따른 얼굴 인식 장치는 출력된 감정 상태가 지정된 값인 경우에만 특징 벡터를 추출하여 출력할 수도 있다. The face recognition apparatus according to another aspect may extract and output the feature vector only when the output emotional state is a specified value.

또 다른 양상에 따른 얼굴 인식 장치는 감정 인식 관련 메타 데이터 및 인식 결과 정보를 감정 인식 보안 이벤트로 통신망을 통해 외부의 보안 서비스 서버로 전송할 수 있다. 전송된 감정 인식 보안 이벤트 정보는 데이터베이스로 저장되어 보안 영상에서의 검색에 제공될 수 있다.The face recognition apparatus according to another aspect may transmit emotion recognition-related metadata and recognition result information as an emotion recognition security event to an external security service server through a communication network. The transmitted emotion recognition security event information may be stored in a database and provided for search in a security image.

또 다른 양상에 따른 얼굴 인식 장치는 검출된 얼굴의 특징 벡터를 새로운 기준 벡터로 추가 등록할 수 있다. The face recognition apparatus according to another aspect may additionally register the detected face feature vector as a new reference vector.

또 다른 양상에 따른 얼굴 인식 장치는 하나의 영상에서 검출된 복수의 얼굴들을 동시에 인식 처리할 수 있다. A face recognition apparatus according to another aspect may simultaneously recognize and process a plurality of faces detected in one image.

제안된 발명에 따라, 보안 영상에서 얼굴 인식은 거리 비교 대상이 되는 기준 벡터들을 줄임에 의해 인식 속도를 향상시킬 수 있다. 또한 계산량이 줄어듦에 따라 기존의 동일한 프로세스 혹은 계산 용량으로 동시에 복수의 얼굴을 인식하는 것이 가능할 수 있다. According to the proposed invention, in face recognition in a security image, the recognition speed can be improved by reducing reference vectors that are objects of distance comparison. Also, as the amount of calculation is reduced, it may be possible to recognize a plurality of faces at the same time using the same existing process or calculation capacity.

더 나아가 제안된 발명에 따라 카메라에 연결된 얼굴 인식 장치는 얼굴 인식 결과 정보와 관련 메타 데이터를 자체 메모리에 데이터베이스로 저장한다. 원격지 단말로부터의 요구에 의해 저장된 보안 영상 기록에서 특정한 얼굴이 기록된 시점을 포함하는 메타 데이터를 제공할 수 있다. 이에 의해 원격지 단말은 별다른 처리 부하 없이 특정한 얼굴을 검색할 수 있다. Furthermore, according to the proposed invention, the face recognition device connected to the camera stores face recognition result information and related metadata as a database in its own memory. Meta data including a time point at which a specific face was recorded in the stored secure image record may be provided by a request from a remote terminal. Accordingly, the remote terminal can search for a specific face without any processing load.

더 나아가 제안된 발명에 따라 별도의 등록 장치 없이 감시용 카메라를 이용하여 신입 사원이나 신규 회원을 등록 처리할 수 있다. Furthermore, according to the proposed invention, it is possible to register a new employee or a new member using a surveillance camera without a separate registration device.

더 나아가 제안된 발명은 보안 영상에서 감정을 인식하여, 감정과 얼굴을 연계한 보안 이벤트 처리가 가능하다. 예를 들어 화가 난 얼굴의 영상이라든가, 특정한 인물이 울고 있는 시점의 영상을 검색하는 것도 가능하다. Furthermore, the proposed invention can recognize emotions in a security image, and process security events linking emotions and faces. For example, it is possible to search for an image of an angry face or an image of a specific person crying.

도 1은 일 실시예에 따른 얼굴 인식 장치의 구성을 도시한 블록도이다.
도 2는 또 다른 실시예에 따른 얼굴 인식 장치의 구성을 도시한 블록도이다.
도 3은 사용자가 사용자 단말을 사용하여 보안 서비스 서버를 통해 특정한 얼굴이 촬영된 영상을 검색하는 방법을 설명한 흐름도이다. 1 is a block diagram illustrating a configuration of a face recognition apparatus according to an exemplary embodiment.
2 is a block diagram illustrating a configuration of a face recognition apparatus according to another exemplary embodiment.
3 is a flowchart illustrating a method in which a user searches for an image in which a specific face is captured through a security service server using a user terminal.

전술한, 그리고 추가적인 양상들은 첨부된 도면을 참조하여 설명하는 실시예들을 통해 구체화된다. 각 실시예들의 구성 요소들은 다른 언급이나 상호간에 모순이 없는 한 실시예 내에서 다양한 조합이 가능한 것으로 이해된다.The foregoing and additional aspects are embodied through the embodiments described with reference to the accompanying drawings. It is understood that various combinations of elements of each of the embodiments are possible within the embodiments as long as there is no contradiction between them or other references.

도 1은 일 실시예에 따른 얼굴 인식 장치의 구성을 도시한 블록도이다. 일 실시예에 따른 얼굴 인식 장치는 일측으로는 감시용 카메라(110)가 연결되고, 타측에는 통신부(190)를 통해 네트워크에 연결되어 있다. 예를 들어 일 실시예에 따른 얼굴 인식 장치는 감시용 카메라(110)의 이더넷 출력이 일측에 연결되고, 타측에는 이더넷이 연결되며, 외부에서 볼 때 감시용 카메라(110)와 동일한 이더넷 주소를 가진 장치로 보이도록 NAT(Network Address Translation) 기능을 가진 스위치 혹은 공유기 기능을 가질 수 있다. 감시용 카메라(110)에 고정되는 작은 박스 형태를 가지거나 그 하우징에 내장되도록 설계되거나 혹은 더 나아가 감시용 카메라(110)의 회로에 임베디드될 수도 있다. 1 is a block diagram illustrating a configuration of a face recognition apparatus according to an exemplary embodiment. A face recognition device according to an embodiment is connected to a monitoring camera 110 on one side and a network through a communication unit 190 on the other side. For example, in the face recognition device according to an embodiment, the Ethernet output of the monitoring camera 110 is connected to one side, and the Ethernet is connected to the other side, and has the same Ethernet address as the monitoring camera 110 when viewed from the outside. It can have a switch or router with Network Address Translation (NAT) function to make it look like a device. It may have a small box shape fixed to the monitoring camera 110 , or may be designed to be embedded in the housing, or further embedded in the circuit of the monitoring camera 110 .

그러나 제안된 발명은 이에 한정되지 않으며, 예를 들어 네트워크를 통해 감시용 카메라(110), 특히 IP 카메라와 같이 네트워크 기능을 가진 카메라에 연결되어, 이들로부터 영상 스트림을 수신하는 정보 처리 기기의 형태를 가질 수도 있다. 본 명세서에서 “카메라에 연결”된다는 표현은 이러한 네트워크를 통해 패킷 통신이 연결되는 경우를 포함한다. However, the proposed invention is not limited thereto. For example, the type of information processing device that is connected to a camera having a network function, such as the surveillance camera 110, in particular an IP camera, through a network, and receives a video stream from them. may have In this specification, the expression “connected to the camera” includes a case in which packet communication is connected through such a network.

도시된 바와 같이, 일 실시예에 따른 얼굴 인식 장치는 얼굴 검출부(120)와, 인코딩부(141)와, 특징 분류부(142)와, 타겟 벡터 결정부(170)를 포함한다. 얼굴 검출부(120)는 입력된 영상에서 적어도 하나의 얼굴 영상을 추출한다. 얼굴 검출 기술은 MTCNN(Multi-task Cascaded Convolutional Networks)과 같이 딥러닝에 기반한 공개된 기술들이 알려져 있다. 이러한 기술을 이용하여 얼굴이 검출되고 원 영상 프레임에서 검출된 얼굴 부분이 추출된다. 추가적으로, 검출된 얼굴을 정렬시키는 처리를 더 포함할 수 있다. As shown, the face recognition apparatus according to an embodiment includes a face detection unit 120 , an encoding unit 141 , a feature classifying unit 142 , and a target vector determining unit 170 . The face detector 120 extracts at least one face image from the input image. As for the face detection technology, open technologies based on deep learning such as MTCNN (Multi-task Cascaded Convolutional Networks) are known. Using this technique, a face is detected and a face part detected from the original image frame is extracted. Additionally, it may further include processing for aligning the detected faces.

인코딩부(141)는 얼굴 검출부(120)에서 출력된 얼굴 영상에서 특징 벡터를 추출한다. 특징 벡터의 추출과 거리 비교를 통한 유사한 얼굴의 탐색에 대해서는 FaceNet 시스템과 관련하여 알려져 있다. 이 FaceNet 시스템은 트리플릿 손실 함수(triplet loss function)를 통해 학습된 Deep-CNN(convolutional neural network) 모델을 이용한다. 이 트리플릿 손실 함수(triplet loss function)는 유사한 얼굴들의 벡터 간에 더 작은 값을 가지고 덜 유사한 얼굴들의 벡터 간에 더 큰 값을 가지도록 특징 벡터들을 정의할 수 있다. 얼굴 영상에서 얼굴 임베딩(face embedding)이라고 불리는 고 품질의 특징들(high-quality features)이 추출되어 특징 벡터가 생성된다. 도시된 실시예에서, 인코딩부(141)는 128차원의 임베딩 벡터를 계산하여 입력된 얼굴 영상의 특징 벡터로 출력한다. The encoding unit 141 extracts a feature vector from the face image output from the face detection unit 120 . The search for similar faces through feature vector extraction and distance comparison is known in relation to the FaceNet system. This FaceNet system uses a deep-CNN (convolutional neural network) model trained through a triplet loss function. This triplet loss function may define feature vectors to have smaller values between vectors of similar faces and larger values between vectors of less similar faces. High-quality features called face embeddings are extracted from a face image to generate a feature vector. In the illustrated embodiment, the encoding unit 141 calculates a 128-dimensional embedding vector and outputs it as a feature vector of the input face image.

특징 분류부(142)는 인코딩부(141)에서 출력된 특징 벡터를 분류한다. 제안된 발명에 따른 특징 분류부(142)는 SVM(Support Vector Machine) 기반의 알고리즘을 이용하여 특징 벡터를 분류한다. 특징 분류부(142)는 다양한 얼굴 영상을 인코딩한 결과값인 128 차원의 특징 벡터로 지도 학습(supervised learning)을 통해 학습되어 있다. 지도 학습을 위한 레이블은 예를 들면 인코딩부(141)의 출력인 임베딩 벡터의 구조화에 기초하여 이루어질 수 있다. 즉, 거리가 가까운 임베딩 벡터들이 동일한 분류에 속하도록 임베딩 벡터의 구조가 반영된다. 이러한 구조화에 있어서 각 분류별로 기준 벡터와 유사한 특징 벡터는 더 가까운 거리를 가지고 덜 유사한 특징 벡터는 더 먼 거리를 가지도록 구조화할 수 있다. 이를 통해 특정한 얼굴의 특징 벡터의 분류 결과가 어떤 값을 가지든 이진 트리 방식 탐색과 비슷한 탐색 시간을 보장할 수 있다. 예를 들면 특징 분류부가 n개의 분류 중 어느 하나로 특징 벡터를 분류할 경우 탐색 속도는 log₂(n)배 빨라질 수 있다. The feature classifier 142 classifies the feature vector output from the encoder 141 . The feature classifier 142 according to the proposed invention classifies the feature vector by using a support vector machine (SVM)-based algorithm. The feature classifier 142 is learned through supervised learning as a 128-dimensional feature vector that is a result of encoding various face images. The label for supervised learning may be formed, for example, based on the structure of an embedding vector that is an output of the encoding unit 141 . That is, the structure of the embedding vector is reflected so that embedding vectors with close distances belong to the same classification. In this structuring, for each classification, a feature vector similar to a reference vector may have a closer distance, and a feature vector less similar to the reference vector may have a longer distance. Through this, it is possible to guarantee a search time similar to the binary tree method search regardless of the value of the classification result of a specific facial feature vector. For example, when the feature classifier classifies the feature vector into one of n classifications, the search speed _{may be increased by log 2} (n) times.

타겟 벡터 결정부(170)는 특징 분류부(142)에서 결정된 특징 벡터의 분류에 속한 기준 벡터들과의 거리 비교에 기초하여 인식 결과 정보를 산출한다. 기준 벡터 데이터베이스(144)는 등록된 얼굴들의 기준 벡터와, 그 기준 벡터의 분류 정보와, 그 얼굴의 개인 정보, 예를 들면 성명, 소속, 연령, 성별, 사진 등의 정보를 저장한다. 기준 벡터 데이터베이스(144)는 등록된 얼굴들의 기준 벡터의 분류 정보는 해당 기준 벡터를 특징 분류부(142)의 분류 엔진과 동일한 분류 엔진으로 분류한 값이다. The target vector determiner 170 calculates recognition result information based on the distance comparison with reference vectors belonging to the classification of the feature vector determined by the feature classifier 142 . The reference vector database 144 stores reference vectors of registered faces, classification information of the reference vectors, and personal information of the faces, for example, information such as name, affiliation, age, gender, and photo. In the reference vector database 144 , classification information of reference vectors of registered faces is a value obtained by classifying the reference vector by the same classification engine as the classification engine of the feature classification unit 142 .

일 실시예에서, 타겟 벡터 결정부(170)는 특징 벡터의 분류에 속한 기준 벡터들 중 특징 벡터와의 거리가 최소인 기준 벡터를 타겟 벡터로 결정하고, 그 기준 벡터에 대응되는 인식 결과 정보를 출력한다. 인식 결과 정보는 예를 들면 기준 벡터에 대응되는 사람의 성명, 소속 정보일 수 있다. 또 다른 예로 인식 결과 정보는 기준 벡터에 대응되는 사람의 얼굴 영상, 성명, 성별, 소속 정보 등 개인정보일 수 있다. In an embodiment, the target vector determiner 170 determines, as a target vector, a reference vector having the smallest distance from the feature vector among reference vectors belonging to the classification of the feature vector, and obtains recognition result information corresponding to the reference vector. print out The recognition result information may be, for example, a person's name and affiliation information corresponding to the reference vector. As another example, the recognition result information may be personal information such as a face image, name, gender, and affiliation information of a person corresponding to the reference vector.

또 다른 실시예에서, 타겟 벡터 결정부(170)는 특징 벡터의 분류에 속한 기준 벡터들 중 특징 벡터와의 거리가 기준치 이하인 기준 벡터를 타겟 벡터로 결정하고, 그 기준 벡터에 대응되는 인식 결과 정보를 출력한다. 이 경우 타겟 벡터는 복수일 수 있다. 타겟 벡터 결정부(170)는 인식 결과 정보로, 기준 벡터에 대응되는 개인정보에 추가로, 그 기준 벡터와 특징 벡터와의 산출된 거리값을 출력함으로써 관리자가 최종 결정하도록 할 수도 있다. In another embodiment, the target vector determiner 170 determines, as a target vector, a reference vector having a distance to the feature vector equal to or less than a reference value among reference vectors belonging to the classification of the feature vector, and recognition result information corresponding to the reference vector. to output In this case, there may be a plurality of target vectors. As the recognition result information, the target vector determiner 170 may output the calculated distance value between the reference vector and the feature vector in addition to personal information corresponding to the reference vector, so that the administrator can make the final decision.

추가적인 양상에 따르면, 타겟 벡터 결정부(170)는 거리 산출부(171)와 거리 비교부(173)를 더 포함할 수 있다. 거리 산출부(171)는 메모리에 저장된 기준 벡터 데이터베이스(144)에서 특징 벡터와 동일한 분류에 속한 기준 벡터들 각각과의 거리를 계산한다. 거리 비교부(173)는 산출된 거리에 기초하여 결정된 기준 벡터에 대응되는 인식 결과 정보를 출력한다. 전술한 바와 유사하게, 일 실시예에서 거리 비교부(173)는 거리 산출부(171)에서 산출된 거리가 최소인 기준 벡터를 타겟 벡터로 결정하고, 그 기준 벡터에 대응되는 인식 결과 정보를 출력한다. 또 다른 실시예에서, 거리 비교부(173)는 거리 산출부(171)에서 산출된 거리가 기준치 이하인 기준 벡터를 타겟 벡터로 결정하고, 그 기준 벡터에 대응되는 인식 결과 정보를 출력한다. 이 경우 타겟 벡터는 복수일 수 있다. 타겟 벡터 결정부(170)는 인식 결과 정보로, 기준 벡터에 대응되는 개인정보에 추가로, 그 기준 벡터와 특징 벡터와의 산출된 거리값을 출력함으로써 관리자가 최종 결정하도록 할 수도 있다.According to an additional aspect, the target vector determiner 170 may further include a distance calculator 171 and a distance comparator 173 . The distance calculator 171 calculates a distance from each of the reference vectors belonging to the same classification as the feature vector in the reference vector database 144 stored in the memory. The distance comparison unit 173 outputs recognition result information corresponding to a reference vector determined based on the calculated distance. Similar to the above, in an embodiment, the distance comparator 173 determines a reference vector having the smallest distance calculated by the distance calculator 171 as a target vector, and outputs recognition result information corresponding to the reference vector. do. In another embodiment, the distance comparator 173 determines a reference vector in which the distance calculated by the distance calculator 171 is equal to or less than a reference value as a target vector, and outputs recognition result information corresponding to the reference vector. In this case, there may be a plurality of target vectors. As the recognition result information, the target vector determiner 170 may output the calculated distance value between the reference vector and the feature vector in addition to personal information corresponding to the reference vector, so that the administrator can make the final decision.

추가적인 양상에 따르면, 얼굴 인식 장치는 얼굴 인식 보안 이벤트 생성부(149)를 더 포함할 수 있다. 얼굴 인식 보안 이벤트 생성부(149)는 얼굴 인식 관련 메타 데이터 및 인식 결과 정보를 얼굴 인식 보안 이벤트로 통신망을 통해 외부의 보안 서비스 서버로 전송할 수 있다. 얼굴 인식 관련 메타 데이터는 예를 들면 해당 얼굴이 검출된 타임 스탬프(time stamp)와 같은 시각 정보, 영상 프레임에서 얼굴이 검출된 좌표 혹은 영역 정보와 같은 위치 정보, 그리고 검출된 얼굴의 특징 벡터 혹은 임베딩 벡터를 포함할 수 있다. 카메라에 연결된 얼굴 인식 장치에서 전송된 이러한 정보는 보안 서비스 서버의 데이터베이스에 저장되어 관제 응용에 제공될 수 있다. According to an additional aspect, the facial recognition apparatus may further include a facial recognition security event generator 149 . The face recognition security event generator 149 may transmit face recognition related metadata and recognition result information as a face recognition security event to an external security service server through a communication network. The face recognition-related metadata includes, for example, visual information such as a time stamp when the corresponding face is detected, location information such as coordinates or area information where the face is detected in an image frame, and feature vectors or embeddings of the detected face. It can contain vectors. This information transmitted from the face recognition device connected to the camera may be stored in the database of the security service server and provided to the control application.

추가적인 양상에 따르면, 얼굴 인식 장치는 감정 인식부(131)를 더 포함할 수 있다. 감정 인식부(131)는 얼굴 검출부(120)에서 출력된 얼굴 영상에서 복수의 감정 상태 중 하나를 판단한다. 일 실시예에서, 감정 인식부(131)는 6층의 깊이를 가진 (layered) CNN(Convolutional Neural Network)으로 구현된다. 이 CNN 엔진은 행복, 슬픔, 공포, 역겨움, 화남, 중립 그리고 놀람 중의 하나의 감정으로 주어진 영상을 분류하도록 학습되어 있다. According to an additional aspect, the face recognition apparatus may further include an emotion recognition unit 131 . The emotion recognition unit 131 determines one of a plurality of emotional states from the face image output from the face detection unit 120 . In one embodiment, the emotion recognition unit 131 is implemented as a convolutional neural network (CNN) having a depth of 6 layers. The CNN engine is trained to classify a given image as one of the following emotions: happiness, sadness, fear, disgust, anger, neutrality and surprise.

추가적인 양상에 따르면, 인코딩부(141)는 감정 인식부(131)의 출력값이 지정된 값인 경우에만 특징 벡터를 추출하여 출력할 수 있다. 예를 들어 인코딩부(141)는 감정 인식부(131)의 출력값이 “화남” 혹은 “공포” 혹은 “놀람” 중의 하나인 경우에만 작동할 수 있다. 즉, 영상 프레임에서 추출된 얼굴 영상이 “화남” 혹은 “공포” 혹은 “놀람” 중의 하나의 감정의 표정인 경우에만 그 얼굴의 인식을 처리하고 그렇지 아니한 경우에는 그 얼굴을 바이패스하고 다음 추출된 얼굴을 처리한다. According to an additional aspect, the encoding unit 141 may extract and output the feature vector only when the output value of the emotion recognition unit 131 is a specified value. For example, the encoding unit 141 may operate only when the output value of the emotion recognition unit 131 is one of “angry”, “fear”, or “surprise”. That is, the face recognition is processed only when the face image extracted from the image frame is an expression of one of the emotions of “angry”, “fear” or “surprise”. Otherwise, the face is bypassed and the next extracted process the face

추가적인 양상에 따르면, 얼굴 인식 장치는 감정 인식 보안 이벤트 생성부(133)를 더 포함할 수 있다. 감정 인식 보안 이벤트 생성부(133)는 감정 인식 관련 메타 데이터 및 인식 결과 정보를 감정 인식 보안 이벤트로 통신망을 통해 외부의 보안 서비스 서버로 전송할 수 있다. 감정 인식 관련 메타 데이터는 예를 들면 해당 감정을 가진 얼굴이 검출된 타임 스탬프(time stamp)와 같은 시각 정보, 영상 프레임에서 그 감정을 가진 얼굴이 검출된 좌표 혹은 영역 정보와 같은 위치 정보, 그리고 그 감정의 확률, 즉 CNN 엔진이 감정값과 함께 출력한 그 확률값 정보를 포함할 수 있다. 카메라에 연결된 얼굴 인식 장치에서 전송된 이러한 정보는 보안 서비스 서버의 데이터베이스에 저장되어 관제 응용에 제공될 수 있다.According to an additional aspect, the facial recognition apparatus may further include an emotion recognition security event generator 133 . The emotion recognition security event generator 133 may transmit emotion recognition related metadata and recognition result information as an emotion recognition security event to an external security service server through a communication network. The emotion recognition-related metadata includes, for example, visual information such as a time stamp when a face with the corresponding emotion is detected, location information such as coordinates or area information where the face with the emotion is detected in an image frame, and the The probability of emotion, that is, the probability value information output by the CNN engine along with the emotion value may be included. This information transmitted from the face recognition device connected to the camera may be stored in the database of the security service server and provided to the control application.

추가적인 양상에 따르면, 얼굴 인식 장치는 얼굴 모델 등록부(155)를 더 포함할 수 있다. 얼굴 모델 등록부(155)는 인코딩부(141)에서 출력되는 특징 벡터를 새로운 기준 벡터로 추가 등록할 수 있다. 일 실시예에서, 얼굴 모델 등록부(155)는 얼굴 인식 장치에 있는 도시되지 않은 버튼이 눌러지면 얼굴 모델 등록 모드를 개시한다. 또 다른 예에서, 얼굴 모델 등록부(155)는 보안 서비스 서버로부터의 명령에 따라 얼굴 모델 등록 모드를 개시할 수 있다. 또 다른 예로, 얼굴 모델 등록부(155)는 카메라의 영상에서 사용자 등록을 요구하는 특별한 제스쳐를 인식하여 얼굴 모델 등록 모드를 개시할 수 있다. 얼굴 모델 등록 모드가 개시되면, 카메라에서 촬영된 영상에서 얼굴 검출부(120)는 얼굴을 검출하여 얼굴 영상을 추출한다. 인코딩부(141)는 그 얼굴 영상에서 특징 벡터를 계산한다. 얼굴 모델 등록부(155)는 인코딩부(141)에서 출력되는 특징 벡터를 기준 벡터 데이터베이스(144)에 새로운 기준 벡터로 추가 등록할 수 있다. 새로운 사용자가 추가되어야 할 때 서버를 거치거나 별도의 장비를 사용하지 않고 카메라에 연결된 얼굴 인식 장치를 통해 새로운 사용자의 얼굴을 등록할 수 있다. According to a further aspect, the face recognition apparatus may further include a face model registration unit 155 . The face model registration unit 155 may additionally register the feature vector output from the encoding unit 141 as a new reference vector. In one embodiment, the face model registration unit 155 starts the face model registration mode when a button (not shown) on the face recognition device is pressed. In another example, the face model registration unit 155 may initiate the face model registration mode according to an instruction from the security service server. As another example, the face model registration unit 155 may initiate a face model registration mode by recognizing a special gesture requesting user registration from a camera image. When the face model registration mode is started, the face detector 120 detects a face from an image captured by the camera and extracts a face image. The encoding unit 141 calculates a feature vector from the face image. The face model registration unit 155 may additionally register the feature vector output from the encoding unit 141 as a new reference vector in the reference vector database 144 . When a new user needs to be added, the face of a new user can be registered through a face recognition device connected to the camera without going through a server or using separate equipment.

또 다른 양상에 따르면, 얼굴 인식 장치는 분류 엔진 갱신부(148)를 더 포함할 수 있다. 분류 엔진 갱신부(148)는 특징 분류부(142)의 파라메터를 네트워크를 통해 수신한 파라메터 정보로 갱신한다. 도시된 실시예에서, 특징 분류부(142)를 구성하는 SVM(Support Vector Machine) 인공 지능 엔진은 학습에 의해 각 파라메터의 값이 결정된다. 보안 서비스 서버가 기준 벡터 데이터베이스를 갱신한 경우, 분류 엔진 갱신부(148)는 보안 서비스 서버로부터 새로운 기준 벡터 데이터들에 적합하도록 학습된 새로운 파라메터들을 수신하여 SVM 인공 지능 엔진을 갱신할 수 있다.According to another aspect, the facial recognition apparatus may further include a classification engine updater 148 . The classification engine update unit 148 updates the parameters of the feature classification unit 142 with parameter information received through the network. In the illustrated embodiment, the SVM (Support Vector Machine) artificial intelligence engine constituting the feature classifier 142 determines the value of each parameter by learning. When the security service server updates the reference vector database, the classification engine updater 148 may update the SVM artificial intelligence engine by receiving new parameters learned to fit new reference vector data from the security service server.

또 다른 양상에 따르면, 얼굴 인식 장치는 기준 데이터베이스 갱신부(153)를 더 포함할 수 있다. 보안 서비스 서버가 기준 벡터 데이터베이스를 갱신한 경우, 기준 데이터베이스 갱신부(153)는 보안 서비스 서버로부터 새로운 기준 벡터 데이터를 수신하여 기준 벡터 데이터베이스(144)를 갱신할 수 있다. According to another aspect, the face recognition apparatus may further include a reference database updater 153 . When the security service server updates the reference vector database, the reference database update unit 153 may update the reference vector database 144 by receiving new reference vector data from the security service server.

또 다른 양상에 따른 얼굴 인식 장치는 하나의 영상에서 검출된 복수의 얼굴들을 동시에 인식 처리할 수 있다. 도 2는 또 다른 실시예에 따른 얼굴 인식 장치의 구성을 도시한 블록도이다. 얼굴 검출부(120)는 카메라로부터 입력된 영상에서 복수의 얼굴 영상을 추출한다. 도시된 실시예에서, 얼굴 인식 장치는 제1 인코딩부(141-1)와, 제1 특징 분류부(142-1)와, 제1 타겟 벡터 결정부(170-1)를 포함하는 제1 개인 식별부(10-1)를 포함한다. 제1 인코딩부(141-1)는 얼굴 검출부(131)에서 출력된 얼굴 영상에서 특징 벡터를 추출한다. 제1 특징 분류부(142-1)는 제1 인코딩부(141-1)에서 출력된 특징 벡터를 분류한다. 제1 타겟 벡터 결정부(170-1)는 제1 특징 분류부(142-1)에서 결정된 특징 벡터의 분류에 속한 기준 벡터들과의 거리 비교에 기초하여 인식 결과 정보를 산출하여 출력한다. A face recognition apparatus according to another aspect may simultaneously recognize and process a plurality of faces detected in one image. 2 is a block diagram illustrating a configuration of a face recognition apparatus according to another exemplary embodiment. The face detection unit 120 extracts a plurality of face images from the image input from the camera. In the illustrated embodiment, the face recognition apparatus includes a first individual including a first encoding unit 141-1, a first feature classifying unit 142-1, and a first target vector determining unit 170-1. It includes an identification unit (10-1). The first encoding unit 141-1 extracts a feature vector from the face image output from the face detection unit 131 . The first feature classifying unit 142-1 classifies the feature vector output from the first encoding unit 141-1. The first target vector determiner 170-1 calculates and outputs recognition result information based on the distance comparison with reference vectors belonging to the classification of the feature vector determined by the first feature classifier 142-1.

추가적으로 얼굴 인식 장치는 제2 인코딩부(141-2)와, 제2 특징 분류부(142-2)와, 제2 타겟 벡터 결정부(170-2)를 포함하는 제2 개인 식별부(10-2)를 포함할 수 있다. 제2 인코딩부(141-2)는 얼굴 검출부(131)에서 출력된 또 다른 얼굴 영상에서 특징 벡터를 추출한다. 제2 특징 분류부(142-2)는 제2 인코딩부(141-2)에서 출력된 특징 벡터를 분류한다. 제2 타겟 벡터 결정부(170-2)는 제2 특징 분류부(142-2)에서 결정된 특징 벡터의 분류에 속한 기준 벡터들과의 거리 비교에 기초하여 인식 결과 정보를 산출한다. Additionally, the face recognition apparatus includes a second personal identification unit 10 - including a second encoding unit 141 - 2 , a second feature classifying unit 142 - 2 , and a second target vector determining unit 170 - 2 . 2) may be included. The second encoding unit 141 - 2 extracts a feature vector from another face image output from the face detection unit 131 . The second feature classifying unit 142-2 classifies the feature vector output from the second encoding unit 141-2. The second target vector determiner 170 - 2 calculates recognition result information based on the distance comparison with reference vectors belonging to the classification of the feature vector determined by the second feature classifier 142 - 2 .

도시된 실시예는 2개의 개인 식별부들(10-1,10-2)를 포함하는 것으로 도시되고설명하였으나, 제안된 발명의 얼굴 인식 장치는 그 이상의 개인 식별부들을 더 포함할 수 있다. 인코딩부들(141-1,141-2)과, 타겟 벡터 결정부들(170-1,170-2)과, 특징 분류부들(142-1,142-2)을 구성하는 인공 지능 엔진들이 전용 하드웨어로 구성될 경우 이들은 하드웨어적으로 복수의 엔진을 포함하여 구성되며, 몇 개의 개인 식별부가 실행될 수 있는지는 하드웨어적인 계산 자원(computing resource)의 개수에 의해 제한된다. 인코딩부들(141-1,141-2)과, 타겟 벡터 결정부들(170-1,170-2)과, 특징 분류부들(142-1,142-2)을 구성하는 인공 지능 엔진들이 멀티코어를 포함하는 GPU 엔진으로 구현되는 경우, 몇 개의 개인 식별부가 실행될 수 있는지는 하드웨어적인 계산 자원(computing resource)의 개수와, 전체 하드웨어의 컴퓨팅 용량에 의해 제한될 수 있다. 이러한 구조에서 개인 식별부들은 멀티코어 프로세서의 멀티플렉서 경로 제어와 컴파일된 명령어들의 이식에 의해 새롭게 추가로 실행될 수 있다. Although the illustrated embodiment has been illustrated and described as including two individual identification units 10-1 and 10-2, the face recognition apparatus of the proposed invention may further include more individual identification units. When the artificial intelligence engines constituting the encoding units 141-1 and 141-2, the target vector determiners 170-1 and 170-2, and the feature classification units 142-1 and 142-2 are composed of dedicated hardware, they are hardware-based. is configured to include a plurality of engines, and how many individual identification units can be executed is limited by the number of hardware computing resources. The artificial intelligence engines constituting the encoding units 141-1 and 141-2, the target vector determiners 170-1 and 170-2, and the feature classification units 142-1 and 142-2 are implemented as a GPU engine including a multi-core. In this case, how many individual identification units can be executed may be limited by the number of hardware computing resources and the computing capacity of the total hardware. In this structure, the personal identification units may be newly additionally executed by controlling the multiplexer path of the multi-core processor and porting the compiled instructions.

도 1의 실시예와 비교하여 도 2의 실시예에서는 많은 선택적인 양상에 관련된 구성들의 도시가 생략되었다. 그러나 도 1의 실시예들에서 적용된 것으로 설명된 다수의 양상들이 도 2에 그대로 적용될 수 있다는 것은 당연하다. In the embodiment of Fig. 2 compared to the embodiment of Fig. 1, the illustration of components related to many optional aspects is omitted. However, it goes without saying that many aspects described as applied in the embodiments of FIG. 1 may be directly applied to FIG. 2 .

도 3은 사용자가 사용자 단말을 사용하여 보안 서비스 서버를 통해 특정한 얼굴이 촬영된 영상을 검색하는 방법을 설명한 흐름도이다. 먼저 사용자는 사용자 단말을 사용하여 특정한 사람이 촬영된 영상의 검색을 지시한다(단계 311). 이때 사용자는 사용자 인터페이스를 통해 특정한 지역을 선택할 수 있다. 예를 들어 사용자는 사용자 단말에 개인정보, 예를 들면 사번을 입력하여 그 사람이 촬영된 영상을 검색할 수 있다. 또 다른 예로, 사용자는 사용자 단말에 '화남' 표정을 한 사람들이 촬영된 영상의 검색을 지시할 수 있다. 이와 같이 영상 검색은 제안된 발명에 따른 얼굴 인식 장치에서 생성되는 메타 데이터 항목들 중의 어느 하나를 통해 지시될 수 있다. 3 is a flowchart illustrating a method in which a user searches for an image in which a specific face is captured through a security service server using a user terminal. First, the user instructs to search for an image captured by a specific person using the user terminal (step 311). In this case, the user may select a specific region through the user interface. For example, the user may search for an image captured by the person by inputting personal information, for example, an employee number in the user terminal. As another example, the user may instruct the user terminal to search for images of people who have an 'angry' expression. As described above, the image search may be indicated through any one of the metadata items generated by the face recognition apparatus according to the proposed invention.

보안 서비스 서버(40)는 검색 지시를 수신하면, 사용자가 지도 상에서 선택한 지역 정보로부터 그 지역에 설치된 카메라들의 접속 정보를 추출하여 사용자 단말로 제공한다(단계 313). 이후에 사용자 단말은 보안 서비스 서버로부터 수신한 접속 정보를 이용하여 네트워크를 통해 연결된 다수의 얼굴 인식 장치로 순차적으로 혹은 동시에 접속한다. 그리고 각 얼굴 인식 장치로 질의를 전달한다. 각각의 얼굴 인식 장치는 사용자 단말로부터 수신한 질의를 실행하여 누적 저장된 메타 데이터에서 일치하는 메타 데이터를 찾는다(단계 315). 해당하는 메타 데이터가 발견되면 대응하는 타임 스탬프가 추출되어 회신된다(단계 317). 사용자 단말은 보안 서비스 서버로 수신한 타임 스탬프에 대응하는 동영상 혹은 정지 영상을 요청하여 재생한다(단계 321). Upon receiving the search instruction, the security service server 40 extracts access information of cameras installed in the area from the area information selected by the user on the map and provides it to the user terminal (step 313). Thereafter, the user terminal sequentially or simultaneously accesses a plurality of face recognition devices connected through a network using the access information received from the security service server. Then, the query is passed to each face recognition device. Each face recognition apparatus searches for matching metadata from accumulated metadata by executing a query received from the user terminal (step 315). If the corresponding metadata is found, the corresponding timestamp is extracted and returned (step 317). The user terminal requests and plays a video or still image corresponding to the time stamp received from the security service server (step 321).

동영상에서 다시 얼굴을 추출하고 검색하지 않고, 얼굴 인식 장치에서 인식할 때 생성된 메타 데이터를 검색하므로 검색 시간이 단축된다. 예를 들어 사용자 단말이 특정한 개인식별정보의 검색을 요청할 때 그 개인식별정보에 대응하는 얼굴의 특징 벡터를 검색할 수 있다. 그 특징 벡터가 발견되면 해당 타임 스탬프에서 그 개인이 동영상에서 검출되었음을 알 수 있다. Instead of extracting and searching for faces from the video again, the search time is shortened by searching the metadata generated when the face recognition device recognizes the face. For example, when the user terminal requests a search for specific personal identification information, a feature vector of a face corresponding to the personal identification information may be searched. When the feature vector is found, it can be known that the individual has been detected in the video from the corresponding time stamp.

이상에서 본 발명을 첨부된 도면을 참조하는 실시예들을 통해 설명하였지만 이에 한정되는 것은 아니며, 이들로부터 당업자라면 자명하게 도출할 수 있는 다양한 변형예들을 포괄하도록 해석되어야 한다. 특허청구범위는 이러한 변형예들을 포괄하도록 의도되었다. Although the present invention has been described above with reference to the accompanying drawings, the present invention is not limited thereto, and it should be construed to encompass various modifications that can be apparent from those skilled in the art. The claims are intended to cover such modifications.

110 : 카메라 120 : 얼굴 검출부
131 : 감정인식부 133 : 감정 인식 보안 이벤트 생성부
141 : 인코딩부 142 : 특징 분류부
144 : 기준 벡터 DB 146 : 메타 데이터 DB
148 : 분류 엔진 갱신부 149 : 얼굴 인식 보안 이벤트 생성부
151 : 얼굴 검색 지원부 153 : 기준 DB 갱신부
155 : 얼굴 모델 등록부
170 : 타겟 벡터 결정부 171 : 거리 산출부
173 : 거리 비교부 190 : 통신부110: camera 120: face detection unit
131: emotion recognition unit 133: emotion recognition security event generation unit
141: encoding unit 142: feature classification unit
144: reference vector DB 146: metadata DB
148: classification engine update unit 149: face recognition security event generation unit
151: face search support unit 153: reference DB update unit
155: face model register
170: target vector determining unit 171: distance calculating unit
173: distance comparison unit 190: communication unit

Claims

In the face recognition device connected to the camera, processing the image from the camera to recognize a face included in the image,
a face detection unit for extracting at least one face image from the input image;
an encoding unit for extracting a feature vector from the face image output from the face detection unit;
a feature classifying unit for classifying the feature vectors so that similar feature vectors belong to the same class;
a target vector determiner for calculating recognition result information based on a distance comparison with reference vectors belonging to the classification of the feature vector determined by the feature classifier;
including,
The target vector determiner outputs a distance calculator that calculates a distance from each of the reference vectors belonging to the same classification as the feature vector in the reference vector database stored in the memory, and recognition result information corresponding to the reference vector determined based on the calculated distance A face recognition device including a distance comparison unit.

delete

The method of claim 1 , wherein the device comprises:
a face recognition security event generator that transmits face recognition-related metadata and recognition result information as a face recognition security event to an external security service server through a communication network;
A face recognition device further comprising a.

The method according to claim 1, wherein the face recognition device comprises:
an emotion recognition unit that determines one of a plurality of emotional states from the face image output from the face detection unit;
A face recognition device further comprising a.

The method according to claim 4, wherein the encoding unit:
A face recognition device that extracts and outputs a feature vector only when the output value of the emotion recognition unit is a specified value.

The method of claim 1 , wherein the device comprises:
an emotion recognition security event generator that transmits emotion recognition related metadata and recognition result information as an emotion recognition security event to an external security service server through a communication network;
A face recognition device further comprising a.

The method of claim 1 , wherein the device comprises:
a face model registration unit that additionally registers the feature vector output from the encoding unit as a new reference vector;
A face recognition device further comprising a.

The method of claim 1 , wherein the device comprises:
The face recognition apparatus further comprising a; a classification engine updater for updating the parameters of the feature classification unit with the parameter information received through the network.

The method of claim 1 , wherein the device comprises:
The face recognition apparatus further comprising a; a reference database update unit for updating the reference vector database in which reference vectors are stored with information received through a network.

The method of claim 1 , wherein the device comprises:
a second encoding unit for extracting a feature vector from another face image output from the face detection unit;
a second feature classifier for classifying feature vectors;
a second target vector determiner for calculating recognition result information based on a distance comparison with reference vectors belonging to the classification of the feature vector determined by the second feature classifier;
A face recognition device further comprising a.