KR102188775B1 - Method and system for remotely controlling client terminals using face recognition and face recognition terminal - Google Patents
Method and system for remotely controlling client terminals using face recognition and face recognition terminal Download PDFInfo
- Publication number
- KR102188775B1 KR102188775B1 KR1020200030282A KR20200030282A KR102188775B1 KR 102188775 B1 KR102188775 B1 KR 102188775B1 KR 1020200030282 A KR1020200030282 A KR 1020200030282A KR 20200030282 A KR20200030282 A KR 20200030282A KR 102188775 B1 KR102188775 B1 KR 102188775B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- security
- facial recognition
- client terminal
- recognition information
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
- H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G06K9/00288—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/12—Arrangements for remote connection or disconnection of substations or of equipment thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
- H04L63/105—Multiple levels of security
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
- H04L63/107—Network architectures or network communication protocols for network security for controlling access to devices or network resources wherein the security policies are location-dependent, e.g. entities privileges depend on current location or allowing specific operations only from locally connected terminals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
본 발명은 모바일 보안 기술에 관한 것으로서, 특히 네트워크에 접속한 클라이언트 단말의 사용자를 안면 인식을 통해서 식별하고, 식별된 사용자에 상응하는 보안 정책에 따라 사용자가 소지한 클라이언트 단말의 동작을 원격으로 제어할 수 있는 원격 제어 방법 및 시스템, 및 이러한 시스템에서 동작하는 안면 인식 단말에 관련된다.The present invention relates to a mobile security technology, in particular, identifying a user of a client terminal connected to a network through facial recognition, and remotely controlling the operation of a client terminal possessed by the user according to a security policy corresponding to the identified user. A possible remote control method and system, and a facial recognition terminal operating in such a system.
기술의 발달에 힘입어 개인용 전자 장치가 널리 보급되고 있으며, 특히 스마트폰이 보급되어 많은 개인용 전자 장치들이 모두 스마트폰으로 통합되어 가고 있다. 스마트폰의 보급에 따라 사용자는 내장 카메라를 사용하여 원하는 장면을 촬영할 수 있으며, 언제나 필요할 경우 내장 마이크를 통해 고음질로 녹음할 수 있다. 뿐만 아니라, 다양한 이동통신 네트워크에 접속하여 자신의 콘텐츠를 거의 실시간으로 전 세계와 공유할 수 있다. 스마트폰의 보급은 단지 개인의 생활만 바꾸는 것이 아니라, SNS의 급격한 보급은 물론, 정보의 집중화를 제거하는 등, 사회 전반에 큰 영향을 미치고 있다.With the development of technology, personal electronic devices are widely spreading, and in particular, as smart phones are popular, many personal electronic devices are all integrated into smart phones. With the spread of smartphones, users can shoot desired scenes using a built-in camera, and can record high-quality sound through the built-in microphone whenever necessary. In addition, you can access various mobile communication networks and share your own content with the world in near real time. The spread of smartphones is not only changing individual lives, but is having a great influence on society as a whole, such as rapid spread of SNS and removing centralization of information.
그런데, 스마트폰이 보급되면서 부득이하게 발생되는 문제점도 존재하는데, 그 중 하나가 개인정보 침해, 사생활 침해와 같은 보안 문제이다. 언제나 휴대하고 있는 카메라와 마이크 때문에 그만큼 원치 않게 자신의 모습이 촬영되거나 중요한 정보가 유출될 가능성도 증가하였다. 특히, 예전엔 컴퓨터에만 국한되었던 해킹 문제가 스마트폰에도 크게 문제가 되고 있으며, 더 나아가 보이스피싱이나 파밍 등의 금융 사기도 증가하고 있다.However, there are also problems that inevitably arise with the spread of smartphones, one of which is security problems such as personal information infringement and privacy invasion. Because of the cameras and microphones that I always carry, the likelihood of unwanted photographs of myself or leakage of important information increased. In particular, the hacking problem that was limited to computers in the past has become a big problem for smartphones, and financial fraud such as voice phishing and pharming is also increasing.
이 중에서 기업과 같은 단체에서 가장 크게 관심을 가지는 분야가 바로 정보 유출을 막는 보안 문제이다. 스마트폰에 대한 보안 위협을 대처하기 위한 기술 중에는 모바일 장치 관리 기술(Mobile Device Management; MDM)이 있다.Among them, the area that organizations such as companies are most interested in is the security issue that prevents information leakage. Among technologies for coping with security threats to smartphones, there is a mobile device management technology (MDM).
MDM은 휴대폰 무선 전송 기술인 OTA(Over The Air)을 이용하여 모바일기기의 전원이 켜진 상태에서는 언제 어디서나 원격으로 해당 모바일 기기를 관리할 수 있는 기술을 나타낸다. 즉, MDM은 휴대폰 등 모바일 기기의 어플리케이션 배포, 데이터 및 환경설정 변경, 모바일 분실 및 장치 관리들을 원격에서 통합적으로 관리해 주는 시스템으로서, 짧은 서비스 다운로드 타임과 최소의 비용으로 모바일 보안과 기능을 최적화시켜주는 시스템이며, 최근 보안 위협에 대한 강화 대책으로 관리의 필요성이 대두되면서 모바일 보안의 핵심요소가 되고 있다.MDM refers to a technology that can remotely manage a mobile device anytime, anywhere while the power of the mobile device is turned on using OTA (Over The Air), a mobile phone wireless transmission technology. In other words, MDM is a system that remotely manages application distribution of mobile devices such as mobile phones, data and environment settings change, mobile loss and device management, and optimizes mobile security and functions with a short service download time and minimal cost. It is a system, and it has become a core element of mobile security as the need for management has emerged as a reinforcement measure against recent security threats.
종래 기술에 의한 MDM은 모바일 VPN을 통해 보안된 통신을 제공하여, 기업의 메시징 시스템 혹은 인트라 시스템에 접근하여 실 업무 환경에서 데이터가 유출될 수 있는 메일, 웹, 그룹웨어, USB 저장매체 등 다양한 통신 채널에 대해 포괄적 보호기능을 제공함과 동시에 중앙 관리 콘솔을 통해 전사적 모니터링 및 사용자 환경에 대한 통제를 수행할 수 있다. 큰 의미의 MDM의 주요 기능에는, 좁은 의미의 모바일 디바이스 관리(Mobile Device Management), 모바일 콘텐츠 관리(Mobile Content Management; MCM), 및 모바일 애플리케이션 관리(Mobile Application Management)가 있다.MDM according to the prior art provides secure communication through a mobile VPN, accessing a company's messaging system or intra system, and various communication channels such as mail, web, groupware, and USB storage media that can leak data in the real work environment. It provides comprehensive protection function for the system, and at the same time, enterprise-wide monitoring and user environment control can be performed through the central management console. Major functions of MDM in a large sense include Mobile Device Management in a narrow sense, Mobile Content Management (MCM), and Mobile Application Management.
예를 들어, 대한민국 특허 출원 번호 제 10-2012-0080927 호인 "사업장에서의 모바일 디바이스 관리 시스템"을 보면, 모바일 클라이언트 디바이스, 모바일 디바이스 관리 서버, 통신망, 및 중계기를 포함하는 모바일 관리 시스템이 제공된다.For example, in Korean Patent Application No. 10-2012-0080927, "Mobile device management system at a workplace", a mobile management system including a mobile client device, a mobile device management server, a communication network, and a repeater is provided.
이러한 MDM을 통하여 스마트 폰과 같은 모바일 장치의 정보 수집/배포를 관리하고, 사용 추적 이력을 관리할 수 있다. 더 나아가, 모바일 장치에 대한 등록/승인/회수가 가능하며 분실/도난시 모바일 장치의 사용을 불가능하게 할 수도 있다.Through such MDM, information collection/distribution of mobile devices such as smart phones can be managed, and usage tracking history can be managed. Furthermore, it is possible to register/approve/recover the mobile device and disable the use of the mobile device in case of loss/theft.
그런데, 종래 기술에 의한 MDM에 따르면, 모바일 장치에 내장된 프로그램에 의해 해당 모바일 장치의 디스플레이에 QR 코드와 같은 마크가 표시되면, 해당 마크를 별개의 리더를 사용하여 촬영하고 판독하여 해당 모바일 장치를 식별한다. 이를 위해서 클라이언트에 표시된 마크를 인식할 수 있는 별개의 장치가 반드시 필요하다. 따라서, 초기 설치 비용이 증가하고, 이것은 MDM의 보급이 지연되는 요인이 된다.However, according to the conventional MDM, when a mark such as a QR code is displayed on the display of the mobile device by a program embedded in the mobile device, the mark is photographed and read using a separate reader to detect the mobile device. Identify. For this, a separate device that can recognize the mark displayed on the client is necessary. Therefore, the initial installation cost increases, and this becomes a factor that delays the spread of MDM.
또한, 원격 제어를 위해 사용하는 QR 코드를 사용할 경우, 해당 QR 코드를 도용하거나 무단으로 복제하여 보안 정책을 회피할 수 있고, 보안 정책에 카메라 사용 금지 기능이 포함되어 있을 경우, 보안 해제를 위해 QR 코드를 카메라로 스캔하여야 하는데, 카메라가 사용 금지 상태이기 때문에 자동으로 보안을 해제할 수 없는 문제가 있다.In addition, when using a QR code used for remote control, the QR code can be stolen or copied without permission to circumvent the security policy.If the security policy includes a camera ban function, the QR code is The code must be scanned with the camera, but there is a problem that the security cannot be automatically released because the camera is in a prohibited state.
그리고, 출입 시스템 인증 수단(카드, 지문 등)과의 연동이 어려워 보안 구역 진입을 위해서는 단말기의 보안 상태를 제어하는 것과 별개로 출입 시스템을 위한 사용자 인증을 따로 하는 불편함이 있다.In addition, since it is difficult to interlock with the access system authentication means (card, fingerprint, etc.), in order to enter the security area, there is an inconvenience of performing user authentication for the access system separately from controlling the security state of the terminal.
따라서, 별개의 리더가 없이 사용자를 식별하고, 식별된 사용자에 따른 보안 정책을 사용자가 소지한 클라이언트 단말에 쉽게 적용함으로써, 클라이언트 단말의 동작을 제어할 수 있는 기술이 절실히 요구된다.Accordingly, there is an urgent need for a technology capable of controlling the operation of the client terminal by identifying a user without a separate reader and easily applying a security policy according to the identified user to a client terminal possessed by the user.
본 발명의 목적은 딥러닝(Deep Learning)에 기반한 안면 인식 단말기를 통해 클라이언트 단말을 인증할 수 있고, 보안 구역에 진입할 때는 물론, 보안 구역을 벗어날 때에도 클라이언트 단말을 검사하여 보안 규약을 위반하였는지를 즉시 판단하고, 판단 결과에 따라 보안 위규 내역을 통지하고 저장할 수 있는 클라이언트 단말의 원격 제어 방법을 제공하는 것이다.An object of the present invention is to be able to authenticate a client terminal through a face recognition terminal based on deep learning, and immediately check whether a security protocol has been violated by inspecting the client terminal when entering a security area as well as when leaving the security area. It is to provide a remote control method of a client terminal capable of determining and notifying and storing security violation details according to the determination result.
본 발명의 다른 목적은 안면 인식 단말기를 통해 클라이언트 단말의 인증 및 사용자에 대한 인증을 동시에 하여 출입 시스템(스피드게이트 등)의 관리, 근태 관리 및 보안 위규 관리 등을 제공하는 클라이언트 단말의 원격 제어 시스템을 제공하는 것이다.Another object of the present invention is to provide a remote control system for a client terminal that provides management of an access system (speedgate, etc.), time and attendance management, and security violation management by simultaneously authenticating a client terminal and authenticating a user through a face recognition terminal. To provide.
또한, 본 발명의 또 다른 목적은 상기와 같은 원격 제어 시스템에서 동작하며, 안면 인식 단말기를 통하여 스스로를 인증할 수 있는 클라이언트 단말을 제공하는 것이다.In addition, another object of the present invention is to provide a client terminal that operates in the remote control system as described above and can authenticate itself through a face recognition terminal.
상기와 같은 목적들을 달성하기 위한 본 발명의 일면은, 네트워크를 통하여 보안 서버에 접속되는 적어도 하나의 클라이언트 단말의 동작을 안면 인식을 사용하여 원격으로 제어하는 방법에 관한 것이다. 본 발명에 의한 방법은, 복수의 사용자의 안면 인식 정보를 추출하여 상기 네트워크에 연결된 안면 인식 데이터베이스에 등록하는 단계; 상기 네트워크에 연결된 안면 인식 단말을 사용하여, 보안 구역에 진입하려는 사용자의 안면 이미지를 획득하고, 획득된 이미지로부터 인증이 필요한 사용자의 안면 인식 정보를 추출하는 단계; 상기 안면 인식 데이터베이스에 등록된 안면 인식 정보와 상기 사용자의 안면 인식 정보를 비교하여 상기 사용자를 식별하는 단계; 상기 보안 서버를 사용하여, 식별된 사용자가 소지한 클라이언트 단말에 적용될 보안 정책을 결정하여 상기 클라이언트 단말에 전송하는 단계; 및 결정된 보안 정책을 상기 클라이언트 단말에 적용하고, 상기 사용자가 상기 보안 구역에 진입하도록 허용할지 여부를 관리하는 단계를 포함한다. 특히, 상기 방법은, 상기 사용자가 상기 보안 구역을 벗어날 때, 상기 사용자의 안면 인식 정보를 사용하여 상기 사용자를 식별하고, 식별된 사용자가 소지한 상기 클라이언트 단말에 적용된 보안 정책을 해제하며, 상기 클라이언트 단말의 사용 이력을 검색하여 보안 규칙을 위반했는지 여부를 검사하고, 검사 결과에 따라 상기 사용자가 상기 보안 구역을 벗어나도록 승인할지 여부를 관리하는 단계를 더 포함한다. 더 나아가, 상기 안면 인식 데이터베이스에 등록하는 단계는, 소정 그룹의 구성원의 안면 인식 정보를 저장하는 인사 데이터베이스로부터 구성원의 안면 인식 정보를 추출하여 저장하는 것을 포함한다. 또는, 상기 안면 인식 데이터베이스에 등록하는 단계는, 상기 보안 구역에 진입하려는 내방객의 요청을 저장하는 내방객 데이터베이스로부터 내방 신청 여부를 확인하고, 내방 신청이 된 내방객의 안면 인식 정보를 저장하는 것을 포함한다. 특히, 상기 안면 인식 정보를 추출하는 단계는, 딥러닝 기법을 활용하여 인증이 필요한 사용자의 안면 인식 정보를 획득하는 것을 포함하고, 상기 사용자를 식별하는 단계는, 상기 네트워크에 연결된 안면 인식 서버 및 상기 안면 인식 단말 중 적어도 하나를 사용하여 수행되며, 상기 보안 정책을 결정하는 단계는, 상기 보안 서버가, 상기 식별된 사용자에 상응하는 보안 정책을 상기 네트워크에 연결된 보안 데이터베이스로부터 선택하는 것을 포함한다. 바람직하게는, 상기 클라이언트 단말의 동작을 제어하는 단계는, 상기 클라이언트 단말이 상기 보안 서버가 결정한 보안 정책을 수신하는 것, 및 상기 클라이언트 단말에 설치된 보안 애플리케이션을 사용하여, 수신된 보안 정책에 따라 상기 클라이언트 단말의 동작을 제어하는 것을 포함한다. 특히, 상기 보안 정책은: 상기 클라이언트 단말의 위치 및 상기 클라이언트 단말의 사용자의 신분 또는 직급에 따라 차등적으로 적용되고; 주기적으로 또는 요청에 의하여 갱신되며; 상기 클라이언트 단말의 동작을 제어하기 위한 보안 적용 정책 및 적용된 보안 적용 정책을 해제시키기 위한 보안 해제 정책을 포함하고; 상기 클라이언트 단말의 동작을 정성적 방식 및 정량적 방식 중 적어도 하나에 따라 차등적으로 관리하도록 구현된다. An aspect of the present invention for achieving the above objects relates to a method for remotely controlling the operation of at least one client terminal connected to a security server through a network using facial recognition. The method according to the present invention includes the steps of extracting facial recognition information of a plurality of users and registering it in a facial recognition database connected to the network; Obtaining a facial image of a user who intends to enter a security area by using a facial recognition terminal connected to the network, and extracting facial recognition information of a user requiring authentication from the obtained image; Identifying the user by comparing facial recognition information registered in the facial recognition database with facial recognition information of the user; Determining a security policy to be applied to a client terminal possessed by the identified user by using the security server and transmitting the determined security policy to the client terminal; And applying the determined security policy to the client terminal, and managing whether to allow the user to enter the security area. In particular, the method, when the user leaves the security area, identifies the user using the user's facial recognition information, releases the security policy applied to the client terminal possessed by the identified user, and the client It further includes the step of searching for a usage history of the terminal to check whether a security rule has been violated, and managing whether to approve the user to leave the security area according to a result of the check. Furthermore, registering in the facial recognition database includes extracting and storing facial recognition information of the members from a personnel database that stores facial recognition information of members of a predetermined group. Alternatively, the step of registering in the facial recognition database includes checking whether a visitor has requested a visit from a visitor database that stores a visitor's request to enter the security area, and storing facial recognition information of the visitor who has applied for the visit. In particular, the extracting of the facial recognition information includes obtaining facial recognition information of a user requiring authentication using a deep learning technique, and the step of identifying the user includes a facial recognition server connected to the network and the It is performed using at least one of the facial recognition terminals, and the step of determining the security policy includes, by the security server, selecting a security policy corresponding to the identified user from a security database connected to the network. Preferably, the controlling of the operation of the client terminal comprises receiving, by the client terminal, a security policy determined by the security server, and using a security application installed in the client terminal, according to the received security policy. It includes controlling the operation of the client terminal. In particular, the security policy is applied differentially according to the location of the client terminal and the user's status or position of the client terminal; Updated periodically or on request; A security application policy for controlling the operation of the client terminal and a security release policy for releasing the applied security application policy; It is implemented to differentially manage the operation of the client terminal according to at least one of a qualitative method and a quantitative method.
본 발명의 다른 면은 네트워크를 통하여 보안 서버에 접속되는 적어도 하나의 클라이언트 단말의 동작을 안면 인식을 사용하여 원격으로 제어하는 시스템에 관한 것이다. 상기 시스템은, 상기 네트워크에 연결되고, 복수의 사용자로부터 추출된 안면 인식 정보를 저장하는 안면 인식 데이터베이스; 상기 네트워크에 연결되고, 보안 구역에 진입하려는 사용자의 안면 이미지를 획득하며, 획득된 이미지로부터 인증이 필요한 사용자의 안면 인식 정보를 추출하는 안면 인식 단말; 상기 네트워크에 연결되고, 상기 안면 인식 데이터베이스에 등록된 안면 인식 정보와 상기 사용자의 안면 인식 정보를 비교하여 상기 사용자를 식별하는 안면 인식 서버; 및 상기 네트워크에 연결되고, 식별된 사용자가 소지한 클라이언트 단말에 적용될 보안 정책을 결정하여 상기 클라이언트 단말에 전송하며, 상기 사용자가 상기 보안 구역에 진입하도록 허용할지 여부를 관리하는 보안 서버를 포함하고, 상기 클라이언트 단말은, 상기 클라이언트 단말에 설치된 보안 애플리케이션을 사용하여, 전송된 보안 정책에 따라 상기 클라이언트 단말의 동작을 제어하는 동작 제어부를 포함한다. 특히, 상기 시스템은, 상기 네트워크에 연결되고, 상기 결정된 보안 정책에 따라 상기 사용자 또는 방문자의 출입을 관리하는 부가 서비스 제공 서버를 더 포함하고, 상기 부가 서비스 제공 서버는, 상기 사용자가 상기 보안 구역을 벗어날 때, 상기 사용자의 안면 인식 정보를 사용하여 상기 사용자를 식별하고, 식별된 사용자가 소지한 상기 클라이언트 단말에 적용된 보안 정책을 해제하며, 상기 클라이언트 단말의 사용 이력을 검색하여 보안 규칙을 위반했는지 여부를 검사하고, 검사 결과에 따라 상기 사용자가 상기 보안 구역을 벗어나도록 승인할지 여부를 관리하도록 더 구성된다. 더 나아가, 상기 안면 인식 데이터베이스는, 소정 그룹의 구성원의 안면 인식 정보를 저장하는 인사 데이터베이스로부터 구성원의 안면 인식 정보를 추출하여 저장하도록 더 구성되거나, 상기 보안 구역에 진입하려는 내방객의 요청을 저장하는 내방객 데이터베이스로부터 내방 신청 여부를 확인하고, 내방 신청이 된 내방객의 안면 인식 정보를 저장하도록 더 구성된다. 또한, 상기 안면 인식 단말은, 딥러닝 기법을 활용하여 인증이 필요한 사용자의 안면 인식 정보를 획득하도록 구성되고, 상기 보안 서버는, 상기 식별된 사용자에 상응하는 보안 정책을 상기 네트워크에 연결된 보안 데이터베이스로부터 선택하도록 구성된다. Another aspect of the present invention relates to a system for remotely controlling the operation of at least one client terminal connected to a security server through a network using facial recognition. The system includes: a facial recognition database connected to the network and storing facial recognition information extracted from a plurality of users; A facial recognition terminal connected to the network, acquiring a facial image of a user who intends to enter the security area, and extracting facial recognition information of a user requiring authentication from the acquired image; A facial recognition server connected to the network and configured to identify the user by comparing facial recognition information registered in the facial recognition database with facial recognition information of the user; And a security server connected to the network, determining a security policy to be applied to a client terminal possessed by the identified user, and transmitting it to the client terminal, and managing whether to allow the user to enter the security area, The client terminal includes an operation control unit for controlling an operation of the client terminal according to a transmitted security policy by using a security application installed in the client terminal. In particular, the system further includes an additional service providing server connected to the network and managing access of the user or visitor according to the determined security policy, wherein the additional service providing server allows the user to access the security area. When exiting, the user is identified using the user's facial recognition information, the security policy applied to the client terminal possessed by the identified user is released, and whether a security rule is violated by searching the usage history of the client terminal And, according to the inspection result, it is further configured to manage whether or not to authorize the user to leave the security area. Furthermore, the facial recognition database is further configured to extract and store the facial recognition information of the members from the personnel database that stores facial recognition information of the members of a predetermined group, or to store the request of the visitor who intends to enter the security area. It is further configured to check whether a visitor has requested a visit from the database and to store facial recognition information of the visitor who has made a visit request. In addition, the facial recognition terminal is configured to obtain facial recognition information of a user requiring authentication by using a deep learning technique, and the security server provides a security policy corresponding to the identified user from a security database connected to the network. Is configured to choose.
상기와 같은 목적들을 달성하기 위한 본 발명의 또 다른 면은, 네트워크를 통하여 보안 서버에 접속되는 적어도 하나의 클라이언트 단말의 동작을 안면 인식을 사용하여 원격으로 제어하는 안면 인식 단말에 관한 것이다. 본 발명에 의한 안면 인식 단말은, 인증이 필요한 사용자의 안면 이미지를 획득하는 카메라; 획득된 이미지로부터 인증이 필요한 사용자의 안면 인식 정보를 추출하고, 상기 네트워크에 연결되고 복수의 사용자로부터 추출된 안면 인식 정보를 저장하는 안면 인식 데이터베이스에 등록된 안면 인식 정보와 상기 인증이 필요한 사용자의 안면 인식 정보를 비교하여 상기 사용자를 식별하는 사용자 식별부; 식별된 사용자가 소지한 클라이언트 단말에 적용될 보안 정책을 결정하는 보안 정책 결정부; 및 결정된 보안 정책에 따라 상기 클라이언트 단말의 동작을 제어하는 동작 제어부를 포함한다.Another aspect of the present invention for achieving the above objects relates to a facial recognition terminal for remotely controlling the operation of at least one client terminal connected to a security server through a network using facial recognition. A facial recognition terminal according to the present invention includes: a camera for obtaining a facial image of a user requiring authentication; Facial recognition information registered in a facial recognition database that extracts the user's facial recognition information requiring authentication from the obtained image, and stores facial recognition information extracted from a plurality of users connected to the network, and the face of the user who needs the authentication A user identification unit for comparing recognition information to identify the user; A security policy determination unit that determines a security policy to be applied to a client terminal possessed by the identified user; And an operation control unit controlling an operation of the client terminal according to the determined security policy.
본 발명에 의하여, 안면 인식 단말기를 통해 사용자의 얼굴을 인식하고, 인식된 사용자에 상응하는 보안 정책을 보안 정책 데이터베이스로부터 선택하여 사용자가 소지한 클라이언트 단말에 적용할 수 있다. According to the present invention, it is possible to recognize a user's face through the face recognition terminal, select a security policy corresponding to the recognized user from the security policy database, and apply it to a client terminal possessed by the user.
또한, 본 발명에 의하여, 안면 인식 단말기를 통하여 클라이언트 단말을 인증하는 것과 동시에, 얼굴이 인식된 사용자를 식별한 결과에 따라 사용자나 방문자의 출입을 통제할 수 있고, 보안 구역에 진입할 때는 물론, 보안 구역을 벗어날 때에도 클라이언트 단말을 검사하여 보안 규약을 위반하였는지를 즉시 판단하고, 판단 결과에 따라 보안 위규 내역을 통지하고 저장할 수 있다.In addition, according to the present invention, at the same time as authenticating the client terminal through the face recognition terminal, the access of the user or the visitor can be controlled according to the result of identifying the user whose face is recognized, and when entering the security area, of course, Even when leaving the security area, the client terminal can be inspected to immediately determine whether a security protocol has been violated, and the details of the security violation can be notified and stored according to the determination result.
더 나아가, 본 발명에 의하여 안면 인식 단말을 통해 사용자를 인식하고, 인식된 사용자의 클라이언트 단말에 자동적으로 보안 정책을 적용할 수 있으므로, 저비용의 장비를 사용하여 클라이언트 단말의 동작을 효율적으로 제어할 수 있다.Furthermore, according to the present invention, since the user can be recognized through the facial recognition terminal and the security policy can be automatically applied to the recognized user's client terminal, the operation of the client terminal can be efficiently controlled using low-cost equipment. have.
도 1은 본 발명의 일면에 따른 안면 인식을 사용한 클라이언트 단말 원격 제어 방법을 개략적으로 나타내는 흐름도이다.
도 2는 도 1의 안면 인식을 사용한 클라이언트 단말 원격 제어 방법에서, 안면 인식 서버를 사용하여 사용자의 안면을 등록하고 인증하는 과정을 나타내는 타이밍도이다.
도 3은 도 1의 안면 인식을 사용한 클라이언트 단말 원격 제어 방법에서, 인식된 사용자에 상응하는 보안 정책을, 사용자가 소지한 클라이언트 단말에 적용하는 과정을 타이밍도이다.
도 4는 본 발명의 다른 면에 따른 안면 인식을 사용한 클라이언트 단말 원격 제어 시스템을 개략적으로 나타내는 도면이다.
도 5는 본 발명의 또 다른 면에 따른 안면 인식 단말을 개략적으로 나타내는 블록도이다.1 is a flowchart schematically illustrating a method for remote control of a client terminal using facial recognition according to an aspect of the present invention.
FIG. 2 is a timing diagram illustrating a process of registering and authenticating a user's face using a face recognition server in the method for remote control of a client terminal using facial recognition of FIG. 1.
3 is a timing diagram illustrating a process of applying a security policy corresponding to a recognized user to a client terminal possessed by a user in the method for remote control of a client terminal using facial recognition of FIG. 1.
4 is a diagram schematically illustrating a system for remote control of a client terminal using facial recognition according to another aspect of the present invention.
5 is a block diagram schematically illustrating a facial recognition terminal according to another aspect of the present invention.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. In order to fully understand the present invention, the operational advantages of the present invention, and the objects achieved by the implementation of the present invention, reference should be made to the accompanying drawings illustrating preferred embodiments of the present invention and the contents described in the accompanying drawings.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로서, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다. Hereinafter, the present invention will be described in detail by describing a preferred embodiment of the present invention with reference to the accompanying drawings. However, the present invention may be implemented in various different forms, and is not limited to the described embodiments. In addition, in order to clearly describe the present invention, parts irrelevant to the description are omitted, and the same reference numerals in the drawings indicate the same members.
도 1은 본 발명의 일면에 따른 안면 인식을 사용한 클라이언트 단말 원격 제어 방법을 개략적으로 나타내는 흐름도이다.1 is a flowchart schematically illustrating a method for remote control of a client terminal using facial recognition according to an aspect of the present invention.
도 1을 참조하면, 우선 복수의 사용자의 안면 인식 정보를 추출하여 상기 네트워크에 연결된 안면 인식 데이터베이스에 등록한다(S110). 등록된 사용자는 직급, 신분, 업무 종류 등에 따라 다르게 관리될 수 있고, 각각의 사용자에게는 서로 상이한 보안 정책이 적용될 수 있다.Referring to FIG. 1, first, facial recognition information of a plurality of users is extracted and registered in a facial recognition database connected to the network (S110). Registered users may be managed differently according to their position, status, and type of work, and different security policies may be applied to each user.
안면 인식 데이터베이스에 사용자가 등록되면, 네트워크에 연결된 안면 인식 단말을 사용하여, 인증이 필요한 사용자의 안면 이미지를 획득하고 획득된 이미지로부터 인증이 필요한 사용자의 안면 인식 정보를 추출한다(S120). 안면 이미지는 안면 인식 단말에 포함된 카메라를 이용하여 획득될 수 있고, 이 중 안면 인식에 필요한 특징을 검출함으로써 안면 인식 정보를 얻을 수 있다.When a user is registered in the facial recognition database, a facial image of a user requiring authentication is obtained using a facial recognition terminal connected to the network, and facial recognition information of a user requiring authentication is extracted from the obtained image (S120). The facial image may be obtained using a camera included in the facial recognition terminal, and among them, facial recognition information may be obtained by detecting features required for facial recognition.
본 명세서에서 안면 인식 정보를 획득하는 데에는 딥러닝(deep learning)기술이 적용될 수 있는데, 딥러닝이란 넓은 의미에서는 머신러닝에 포함되며, 머신 러닝에서 사용하던 객체의 특성을 파악하기 위해 인간이 처리하던 작업을 생략하고 뇌와 같은 인공 신경 을 이용하여 데이터를 스스로 분석하고 처리하는 기술을 가리킨다.In this specification, deep learning technology can be applied to acquire facial recognition information. Deep learning is included in machine learning in a broad sense, and is used by humans to grasp the characteristics of objects used in machine learning. It refers to a technology that omits work and analyzes and processes data by itself using artificial nerves such as the brain.
조금 더 상세히 설명하면, 얼굴 인식 과정은 사용자로부터 촬영한 이미지 전체 중에서 얼굴이 어디인지 구분해내는 얼굴 검출 과정, 찾아낸 얼굴의 특징을 부각시키고 잡음을 줄이는 특징 추출 과정, 및 누구의 얼굴인지 감별하는 얼굴 분류 과정으로, 크게 나뉠 수 있다.In more detail, the face recognition process includes a face detection process that identifies where a face is from the entire image captured by a user, a feature extraction process that highlights the features of the found face and reduces noise, and a face that identifies whose face it is. As a classification process, it can be broadly divided.
이 중 얼굴 검출 과정은 입력되는 영상에서 얼굴을 찾아 얼굴만을 검출하는 과정으로서 피부색 기법(skin color), 할-케스케이드(Haar-cascade), PCA(principal component analysis) 등의 방법이 활용될 수 있다. 피부색 기법은 얼굴 검출의 초창기 방법으로서 입력 영상에서 얼굴색을 이용하여 얼굴을 검출하는 기법이고, 할-케스케이드 기법은 얼굴에 있는 특징과 비슷한 필터를 가지고 학습하여 얼굴을 검출하는 방법으로 빠른 검출 속도를 보여준다. 또한, PCA는 주성분 분석으로 얼굴에 있는 성분을 분석하여 얼굴을 검출하는 방법이다.Among them, the face detection process is a process of finding a face in an input image and detecting only a face, and methods such as skin color, har-cascade, and principal component analysis (PCA) may be used. The skin color technique is an early method of face detection, and is a technique that detects faces using the face color in the input image, and the Hal-Cascade technique shows a fast detection speed by learning with a filter similar to that of the face. . In addition, PCA is a method of detecting faces by analyzing the components in the face with principal component analysis.
또한, 얼굴 특징 추출 과정은 검출된 얼굴의 특징을 부각시켜주는 과정으로서, LBP, ULBP, LCP 등의 기법이 활용될 수 있다. LBP는 일정 크기의 원 형태로 이진 패턴을 통해 얼굴의 특징을 부각시키는 전형적인 얼굴 표현 방법이며, ULBP는 LBP의 확장 방법으로 256가지의 패턴 중 중요 패턴만 선택하여 얼굴을 표현하는 방법으로 빠른 인식 속도를 가지고 있다. 또한, LCP는 이진 패턴을 확장하여 얼굴 특징 방향에 대하여 얼굴을 표현 방법으로 높은 인식률과 잡음에 강한 특징이 있다.In addition, the facial feature extraction process is a process of highlighting the detected facial features, and techniques such as LBP, ULBP, and LCP may be used. LBP is a typical facial expression method that highlights facial features through a binary pattern in the shape of a circle of a certain size, and ULBP is an extension method of LBP that selects only important patterns among 256 patterns to express the face, and has a fast recognition speed. Have. In addition, LCP is a method of expressing faces in the direction of facial features by extending a binary pattern, and has a high recognition rate and strong noise resistance.
그리고, 얼굴 분류 과정은 추출된 얼굴의 특징 벡터가 누구의 얼굴 특징인지를 비교하고 확인하는 과정으로서 KNN, SVM, CNN 등의 기법이 존재한다. 이 중 KNN은 얼굴 이미지로부터 추출된 특징 벡터를 비교 분석하는 방법으로 가장 쉽게 분석 또는 분류 할 수 있는 장점이 있고, SVM은 얼굴 이미지로부터 추출된 특징 벡터를 미리 학습하여 비교 분석하는 방법으로 빠른 인식 속도를 갖는 장점이 있다. 또한, CNN은 인간 뇌의 기본 구조 조직인 뉴런을 수학적으로 모델링하여 학습하는 방법으로 높은 인식률을 갖는 장점이 있다.In the face classification process, techniques such as KNN, SVM, and CNN exist as a process of comparing and confirming whose facial feature the extracted feature vector is. Among them, KNN is a method of comparing and analyzing feature vectors extracted from face images, and has the advantage of being able to analyze or classify them most easily.SVM is a method of comparing and analyzing feature vectors extracted from face images in advance. There are advantages to having. In addition, CNN has the advantage of having a high recognition rate as a method of learning by mathematically modeling neurons, which are the basic structural tissues of the human brain.
이러한 기법들이 예시되었지만, 이들은 오로지 이해의 편의를 위해 제공된 것으로 본 발명을 한정하는 것이 아니다. 오히려, 본 발명에는 안면 인식 정확도를 향상시킬 수 있는 공지된 모든 딥러닝 기법이 적용될 수 있다는 것이 당업자에게 이해되어야 한다.While these techniques have been illustrated, they are provided solely for ease of understanding and are not intended to limit the invention. Rather, it should be understood by those skilled in the art that all known deep learning techniques capable of improving facial recognition accuracy can be applied to the present invention.
인증을 요구하는 사용자의 안면 인식 정보가 추출되면, 추출된 안면 인식 정보를 안면 인식 데이터베이스에 등록된 안면 인식 정보와 비교하여 사용자를 식별한다(S130). 안면 인식 정보를 비교하는 과정에 전술된 것과 같은 딥러닝 기술이 적용될 수 있음에 주의해야 한다. 본 발명에서 딥러닝 기법은 본 발명을 한정하는 것이 아니며, 공지된 모든 기법이 본 발명에서 안면 인식 정확도를 높이기 위하여 사용될 수 있음은 물론이다.When the facial recognition information of the user requesting authentication is extracted, the extracted facial recognition information is compared with the facial recognition information registered in the facial recognition database to identify the user (S130). It should be noted that deep learning techniques such as those described above may be applied to the process of comparing facial recognition information. In the present invention, the deep learning technique does not limit the present invention, and all known techniques can be used to increase the accuracy of facial recognition in the present invention.
사용자가 식별되지 않으면(S140), 사용자를 다시 식별하려고 시도할 수 있다. 하지만 수차례 반복적으로 사용자가 식별되지 않는다면, 해당 사용자는 등록되지 않은 사용자로 판단될 수 있다.If the user is not identified (S140), an attempt may be made to identify the user again. However, if the user is not repeatedly identified several times, the corresponding user may be determined as an unregistered user.
사용자가 식별되면, 보안 서버를 사용하여, 식별된 사용자가 소지한 클라이언트 단말에 적용될 보안 정책을 결정한다(S150). 사용자가 소지한 클라이언트 단말은, 클라이언트 단말의 위치 정보를 통해서 식별된 사용자와 가장 가까이 위치된 클라이언트 단말을 찾음으로써 자동으로 결정될 수 있다. 또는, 사용자가 자신이 소지한 클라이언트 단말의 물리적 식별 정보(PID)를 안면 인식 단말에 입력하거나, 클라이언트 단말로부터 수신된 PID를 자동으로 식별함으로써 사용자가 소지한 클라이언트 단말이 식별될 수도 있다.When a user is identified, a security policy to be applied to a client terminal possessed by the identified user is determined using a security server (S150). The client terminal possessed by the user may be automatically determined by searching for a client terminal located closest to the user identified through the location information of the client terminal. Alternatively, the user may identify the client terminal possessed by the user by inputting physical identification information (PID) of the client terminal possessed by the user into the facial recognition terminal or automatically identifying the PID received from the client terminal.
이와 같이 보안 정책이 결정되면, 사용자가 보안 구역에 들어오려고 할 때, 결정된 보안 정책을 클라이언트 단말에 송신하고, 클라이언트 단말에 설치된 애플리케이션은 수신한 보안 정책에 따라서 클라이언트 단말의 동작을 제어한다(S160). 또한, 기존에 위규 내역이 있는 사용자라거나, 등록되지 않은 사용자일 경우 보안 구역에 출입하는 것 자체를 금지할 수도 있다. 즉, 보안 서버에 기저장된 보안 위규 내역이 있는지 확인한 후, 이상 발생 시 관리자에게 알리고 안면 인식 단말기에 경고 화면을 표출할 수도 있다When the security policy is determined in this way, when the user tries to enter the security area, the determined security policy is transmitted to the client terminal, and the application installed in the client terminal controls the operation of the client terminal according to the received security policy (S160). . In addition, it is possible to prohibit access to the security area itself if the user has an existing violation or is not registered. In other words, after checking whether there are any security violations previously stored in the security server, when an abnormality occurs, the administrator can be notified and a warning screen can be displayed on the face recognition terminal.
그리고, 본 발명에 의한 안면 인식을 사용한 클라이언트 단말 원격 제어 방법은 보안 구역에 진입할 때에만 보안 검사를 하는 것이 아니라, 보안 구역을 벗어나려고 할 때에도 위규 내역을 검사할 수 있다(S170). 즉, 사용자가 소지한 클라이언트 단말의 카메라 촬영 내역, 녹음기 사용 내역, GPS 이력 등을 조회하여, 해당 사용자에게 허용되지 않는 지역에 접근했거나 허용되지 않은 동작을 수행했는지를 검사할 수 있다. 검사 결과 이상이 있을 경우, 관리자에게 알림과 동시에 안면 인식 단말기에 경고 화면을 표출하고 출문 자체를 금지할 수도 있다. 그러면, 위법한 행위를 한 사용자가 보안 구역을 벗어나는 것을 원천적으로 차단할 수 있으므로, 보안 등급이 상향될 수 있다.In addition, the remote control method of a client terminal using facial recognition according to the present invention does not perform a security check only when entering the security area, but also checks the details of the violation when attempting to leave the security area (S170). That is, it is possible to check whether the user has accessed an area not permitted to the user or performed an operation that is not permitted by inquiring the camera recording history, recording device usage history, GPS history, etc. of the client terminal possessed by the user. If there is an abnormality in the test result, a warning screen may be displayed on the face recognition terminal as well as a notification to the administrator, and the questionnaire itself may be prohibited. Then, since it is possible to fundamentally block a user who has committed an illegal activity from leaving the security area, the security level may be raised.
이와 같이, 도 1의 안면 인식을 사용한 클라이언트 단말 원격 제어 방법에 다르면 딥러닝 기반 안면 인식 단말을 통하여 클라이언트 단말을 본인만 인증할 수 있으므로 보안성이 크게 향상된다.As described above, different from the method of remote control of the client terminal using facial recognition of FIG. 1, security is greatly improved since only the client terminal can be authenticated through the deep learning-based facial recognition terminal.
또한, 보안 정책을 위반한 이력이 있는 사용자를 안면 인식 단말을 통하여 식별할 수 있으므로 입문시 위규 및 보안 관리 기능을 향상시킬 수 있고, 출문시에도 보안 규약 위반 여부를 확인하여 보안을 향상시킬 수 있다.In addition, since users with a history of violating security policies can be identified through the facial recognition terminal, violations and security management functions can be improved at the time of initiation, and security can be improved by checking for violations of security rules at the time of entry. .
더 나아가, 안면 인식 단말을 통하여 클라이언트 단말에 설치된 애플리케이션이 클라이언트 단말의 동작을 정성적 및 정량적으로 제어하며, 출입 시스템 연동을 통해 보안 수준을 낮추지 않으면서도 사용자 편의성을 향상시킬 수 있다.Furthermore, the application installed in the client terminal through the facial recognition terminal qualitatively and quantitatively controls the operation of the client terminal, and user convenience can be improved without lowering the security level through interlocking with the access system.
도 2는 도 1의 안면 인식을 사용한 클라이언트 단말 원격 제어 방법에서, 안면 인식 서버를 사용하여 사용자의 안면을 등록하고 인증하는 과정을 나타내는 타이밍도이다.FIG. 2 is a timing diagram illustrating a process of registering and authenticating a user's face using a face recognition server in the method for remote control of a client terminal using facial recognition of FIG. 1.
도 2의 각 과정을 설명하면 다음과 같다.Each process of FIG. 2 will be described as follows.
1: 사용자의 안면 이미지가 카메라를 통해 촬영되고, 촬영된 이미지로부터 안면 인식 정보가 추출된다. 이러한 과정은 안면 인식 단말(210)에서 수행될 수 있지만, 반드시 그래야 하는 것은 아니다. 예를 들어, 사용자의 안면 인식 정보는 사용자의 클라이언트 단말에 저장된 애플리케이션을 통해서 추출될 수도 있다. 즉, 사용자는 자신의 클라이언트 단말에 내장된 카메라를 사용하여 자신의 안면 이미지를 촬영하고, 그러면 애플리케이션이 촬영된 이미지로부터 안면 인식 정보를 추출할 수도 있다.1: A user's facial image is photographed through a camera, and facial recognition information is extracted from the photographed image. This process may be performed in the
2: 안면 인식 단말(210)이 추출된 안면 인식 정보를 안면 인식 서버(220)로 전송한다. 안면 인식 단말(210)과 안면 인식 서버(220) 사이의 통신은 네트워크를 통하여 이루어질 수 있다. 안면 인식 정보가 사용자의 클라이언트 단말에 의해 추출되었으면, 안면 인식 정보는 사용자의 클라이언트 단말로부터 안면 인식 서버(220)로 전송될 수도 있다.2: The
3: 안면 인식 서버(220)는 안면 인식 단말(210)로부터 수신한 안면 인식 정보를 안면 인식 데이터베이스(230)에 저장한다. 안면 인식 데이터베이스(230)는 저장된 안면 인식 정보를 보안화하여 관리함으로써, 사용자의 개인 정보를 보호한다.3: The
4: 안면 인식 서버(220)는 안면 인식 데이터베이스(230)에 저장된 안면 인식 정보를 각 안면 인식 단말(210)에 전달한다.4: The
5: 어떤 사용자가 인증을 요청할 경우, 사용자는 안면 인식 단말(210)에 접근하여, 안면 인식 단말(210)의 카메라를 통해 자신의 얼굴을 스캔한다.5: When a user requests authentication, the user approaches the
6: 안면 인식 단말(210)은 안면 인식 데이터베이스(230)에 저장된 사용자들의 안면 인식 정보를 가지고 있을 수 있으므로, 인식된 사용자가 안면 인식 데이터베이스(230)에 저장된 사용자인지, 즉 유효한 사용자인지 검증할 수 있다.6: Since the
7: 사용자가 검증되지 않으면 해당 사용자에 대한 검증이 실패하였음을 표시할 수 있다. 만일 사용자가 검증되었으면, 안면 인식 단말(210)은 안면 인식 서버(220)로 그러한 취지를 나타내는 인증 결과값을 전송한다. 그러면, 안면 인식 서버(220)는 수신된 인증 결과값을 안면 인식 데이터베이스(230)에 저장한다.7: If the user is not verified, it can be indicated that the verification for the user has failed. If the user is verified, the
이러한 과정을 통하여, 사용자는 자신의 안면 인식 정보를 안면 인식 데이터베이스(230)에 저장할 수 있고, 안면 인식 단말(210)은 촬영된 안면 이미지를 바탕으로 즉석에서 사용자를 인증할 수 있다.Through this process, the user may store his/her facial recognition information in the
도 3은 도 1의 안면 인식을 사용한 클라이언트 단말 원격 제어 방법에서, 인식된 사용자에 상응하는 보안 정책을, 사용자가 소지한 클라이언트 단말에 적용하는 과정을 타이밍도이다.3 is a timing diagram illustrating a process of applying a security policy corresponding to a recognized user to a client terminal possessed by a user in the method for remote control of a client terminal using facial recognition of FIG. 1.
도 3에 도시된 과정은, 어떤 사용자가 인증을 요청할 경우에 도 2에 도시된 방법에 따라 안면 인식 정보가 보안 서버(350)에 전송되면서 개시된다.The process shown in FIG. 3 is initiated by transmitting facial recognition information to the
1: 보안 서버(350)는 수신한 안면 인식 정보가 안면 인식 데이터베이스(330)에 저장되어 있는지 여부를 조회한다.1: The
2: 그러면, 안면 인식 데이터베이스(330)는 요청된 안면 인식 정보에 해당하는 식별 정보를 추출하여 보안 서버(350)로 제공한다.2: Then, the
3: 안면 인식 데이터베이스(330) 내에 사용자의 안면 인식 정보가 존재하면, 이번에는 보안 서버(350)가 보안 데이터베이스(360)에서 인증된 사용자에 대한 보안 정책을 검색한다. 그러면, 보안 데이터베이스(360)는 인증된 사용자에 대한 보안 정책을 보안 서버(350)로 제공한다.3: If the user's facial recognition information exists in the
4: 보안 서버(350)는 보안 데이터베이스(360)로부터 제공된 보안 정책을 해당 사용자에 대한 보안 정책으로 결정하고, 결정된 보안 정책을 클라이언트 단말(390)로 전달한다(5: 과정).4: The
6: 그러면, 클라이언트 단말(390)에 설치된 애플리케이션이 수신한 보안 정책에 따라 클라이언트 단말(390)의 동작을 제어한다.6: Then, the application installed in the
본 발명에서 보안 정책은 클라이언트 단말의 동작을 제어하기 위한 보안 적용 정책 및 적용된 보안 적용 정책을 해제시키기 위한 보안 해제 정책을 포함할 수 있고, 클라이언트 단말의 동작을 정성적 방식 및 정량적 방식 중 적어도 하나에 따라 차등적으로 관리하도록 구현된다. 또한, 보안 정책은 클라이언트 단말의 위치 및 클라이언트 단말의 사용자의 신분 또는 직급에 따라 차등적으로 적용될 수 있고, 주기적으로 또는 요청에 의하여 갱신될 수도 있다.In the present invention, the security policy may include a security application policy for controlling the operation of the client terminal and a security release policy for releasing the applied security application policy, and the operation of the client terminal is adjusted to at least one of a qualitative method and a quantitative method. It is implemented to manage differently accordingly. In addition, the security policy may be applied differentially according to the location of the client terminal and the user's status or rank of the client terminal, and may be updated periodically or upon request.
도 3에서는 보안 서버(350)가 사용자의 인증을 수행하는 것으로 도시되어 있으나, 사용자의 인증은 반드시 독립된 장치에 의해 수행되어야 하는 것이 아니고, 도 2의 안면 인식 단말이 직접 사용자의 인증을 수행할 수도 있다. 또한, 안면 인식 데이터베이스(330)와 보안 데이터베이스(360)는 각각 별개의 데이터베이스로 예시되었으나, 이들은 하나의 데이터베이스로 통합될 수도 있다.In FIG. 3, the
더 나아가, 본 명세서에서 보안 정책이란 클라이언트 단말을 소지한 사용자들 각각의 신분 또는 직급에 따라 클라이언트 단말에서 실행되는 동작들을 차등적으로 허용하기 위한 계획을 의미한다. 예를 들어, 사용자가 연구소에 출입한다고 할 때, 해당 연구소에는 일반 사무원, 기술직 연구원, 경영진, 및 방문자 등의 네 가지 카테고리에 따라 상이한 보안 정책이 적용될 수 있다. 또한, 보안 정책은 근무하는 부서에 따라서 다양하게 변경되어 적용될 수도 있다. 예를 들어, 디자인 부서에 출입할 때에는 카메라의 동작을 정지시키지만, 음원 칩 생산 부서에서는 마이크의 동작을 정지시킬 수도 있다.Furthermore, in the present specification, the security policy refers to a plan for differentially permitting operations executed in the client terminal according to the status or rank of each of the users with the client terminal. For example, when a user enters a laboratory, different security policies may be applied to the laboratory according to four categories: general clerks, technical researchers, executives, and visitors. In addition, the security policy may be changed and applied in various ways depending on the department in which you work. For example, when entering the design department, the camera is stopped, but the sound source chip production department may stop the microphone.
특히, 본 발명에서는 클라이언트 단말의 동작을 정성적(qualitative) 방식 및 정량적(quantitative) 방식으로 차등적으로 제어하도록 보안 정책을 결정할 수 있다. 정성적 방식이란 클라이언트 단말의 특정 동작 자체를 켜거나 끄는 방식을 의미하고, 정량적 방식이란 클라이언트 단말의 동작의 허용량을 제어하는 방식을 의미한다. 전술된 바와 같이 카메라 또는 마이크의 동작을 직접 제어하는 방식은 정성적 방식이며, 다운로드되는 데이터의 양을 제어하는 방식은 정량적 방식이다. 연구원의 경우 일일 전송 허용량을 크게 하고 방문자의 경우 일일 전송 허용량을 작게 한다면, 방문자가 연구소의 주요 기밀들을 외부로 유출시킬 가능성이 그만큼 줄어듦과 동시에, 특정 동작을 수행하려는 사용자의 불편을 경감할 수 있다. 즉, 본 발명에 따르면 정량적 방식으로 보안 정책을 수립하고 클라이언트 단말에 적용하기 때문에, 클라이언트 단말의 동작을 더욱 정교하게 제어할 수 있고 그 결과 사용자 편의성이 향상된다.In particular, in the present invention, a security policy may be determined to differentially control the operation of a client terminal in a qualitative method and a quantitative method. The qualitative method refers to a method of turning on or off a specific operation of the client terminal, and the quantitative method refers to a method of controlling the allowable amount of operation of the client terminal. As described above, a method of directly controlling the operation of a camera or microphone is a qualitative method, and a method of controlling the amount of downloaded data is a quantitative method. If the daily transmission allowance is increased for researchers and the daily transmission allowance is decreased for visitors, the likelihood of a visitor leaking key secrets of the laboratory to the outside is reduced by that much, and at the same time, it is possible to alleviate the inconvenience of users trying to perform specific actions. . That is, according to the present invention, since the security policy is established in a quantitative manner and applied to the client terminal, the operation of the client terminal can be more precisely controlled, and as a result, user convenience is improved.
당업자가 이해할 수 있는 바와 같이, 보안 정책을 결정하는 프로세스는 클라이언트 단말에서 수행될 수도 있고, 보안 서버에서 수행될 수도 있다. 보안 정책이 클라이언트 단말에서 수행될 경우 서버의 처리 부하가 줄어드는 장점이 있다. 특히, 수만 명이 근무하는 사업장의 경우, 각각의 클라이언트 단말에 대한 보안 정책을 보안 서버에서 결정한다는 것은 간단한 작업이 아니다. 이런 경우 각 클라이언트 단말의 보안 정책을 해당 클라이언트 단말이 직접 결정한다면 보안 서버의 부하를 크게 절감할 수 있다.As those skilled in the art can understand, the process of determining the security policy may be performed in the client terminal or may be performed in the security server. When the security policy is executed in the client terminal, there is an advantage of reducing the processing load of the server. In particular, in the case of a workplace with tens of thousands of employees, it is not a simple task to determine the security policy for each client terminal in the security server. In this case, if the client terminal directly determines the security policy of each client terminal, the load on the security server can be greatly reduced.
도 4는 본 발명의 다른 면에 따른 안면 인식을 사용한 클라이언트 단말 원격 제어 시스템을 개략적으로 나타내는 도면이다.4 is a diagram schematically showing a system for remote control of a client terminal using facial recognition according to another aspect of the present invention.
도 4를 참조하면, 안면 인식을 사용한 클라이언트 단말 원격 제어 시스템은 네트워크를 통해 서로 연결되는 안면 인식 단말, 클라이언트 단말, 안면 인식 서버, 보안 서버, 및 부가 서비스 제공 서버를 포함한다. 또한, 안면 인식 서버, 보안 서버, 및 부가 서비스 제공 서버는 각각의 동작에 필요한 데이터베이스를 각각 포함할 수 있다.Referring to FIG. 4, a system for remote control of a client terminal using facial recognition includes a facial recognition terminal, a client terminal, a facial recognition server, a security server, and an additional service providing server that are connected to each other through a network. In addition, the facial recognition server, the security server, and the additional service providing server may each include a database required for each operation.
안면 인식 서버는 복수의 사용자로부터 안면 인식 정보를 추출하여 안면 인식 데이터베이스에 저장한다. 안면 인식 데이터베이스는 사용자의 안면 인식 정보를 보안화하여 저장하는 것이 바람직하고, 비상시에 대비하여 미러링 데이터베이스에 같은 정보를 나누어 저장하는 것이 바람직하다.The facial recognition server extracts facial recognition information from a plurality of users and stores it in a facial recognition database. In the facial recognition database, it is desirable to securely store the user's facial recognition information, and it is desirable to store the same information in a mirroring database in case of an emergency.
안면 인식 단말은 인증이 필요한 사용자의 안면 이미지를 획득하며, 획득된 이미지로부터 인증이 필요한 사용자의 안면 인식 정보를 추출한다. 안면 인식 단말이 딥러닝 기법을 활용하여 안면 인식 정확도를 향상시킬 수 있다는 것은 전술된 바와 같다.The facial recognition terminal acquires a facial image of a user requiring authentication, and extracts facial recognition information of a user requiring authentication from the obtained image. As described above, the facial recognition terminal can improve the accuracy of facial recognition by using the deep learning technique.
안면 인식 서버는 인증이 필요한 사용자의 안면 인식 정보를 안면 인식 단말로부터 수신하고, 수신된 안면 인식 정보를 안면 인식 데이터베이스에 등록된 안면 인식 정보와 비교하여 사용자를 식별한다. 전술된 바와 같이, 사용자 식별 동작은 반드시 안면 인식 서버에서만 이루어져야 하는 것은 아니고, 안면 인식 단말이 사용자 식별 기능을 함께 수행할 수도 있다. 안면 인식 단말이 사용자 식별 기능을 독립적으로 수행할 경우, 외부로부터의 악의적인 침입이나 공격에 의해서 안면 인식 서버가 동작할 수 없고, 네트워크를 통한 통신이 불가능하더라도, 안면 인식 단말 자체의 사용자 식별 기능을 활용하여 사용자를 여전히 식별할 수 있기 때문에, 갑작스러운 사고에 기인한 보안 공백을 최소화할 수 있다. 물론, 사용자 식별 기능이 안면 인식 서버에서 동작할 경우 안면 인식 단말에서만 수행되는 것보다 안면 인식 단말의 연산 부담이 줄어들게 될 수 있다.The facial recognition server receives facial recognition information of a user requiring authentication from the facial recognition terminal, and identifies the user by comparing the received facial recognition information with facial recognition information registered in the facial recognition database. As described above, the user identification operation does not necessarily have to be performed only in the facial recognition server, and the facial recognition terminal may also perform the user identification function. If the facial recognition terminal independently performs the user identification function, the facial recognition server cannot operate due to malicious intrusion or attack from the outside, and even if communication through the network is impossible, the user identification function of the facial recognition terminal itself is used. Because it can still be used to identify users, it is possible to minimize security gaps caused by sudden accidents. Of course, when the user identification function is operated in the facial recognition server, the computational burden of the facial recognition terminal may be reduced compared to that performed only in the facial recognition terminal.
안면 인식 데이터베이스는 반드시 사용자의 안면을 촬영하여 데이터베이스화해야 하는 것은 아니다. 오히려, 안면 인식 데이터베이스는 회사 등 보안 구역에서 근무하는 구성원에 대한 인사 데이터베이스와 연동하여, 임직원들의 안면 인식 정보를 직접 수신하여 저장할 수 있다. 그러면, 임직원의 경우 별도의 안면 등록 절차를 거칠 필요 없이 곧바로 안면 인식 단말기를 통해 인증될 수 있다.The facial recognition database is not necessarily a database by photographing the user's face. Rather, the facial recognition database can directly receive and store facial recognition information of employees by interlocking with the personnel database for members working in security areas such as companies. Then, the employee can be authenticated directly through the face recognition terminal without having to go through a separate facial registration procedure.
또한, 본 발명에 의한 시스템은, 내방객 출입 정보 관리 시스템과 연동될 수 있다. 그러면, 안면 인식 단말기(키오스크 형태 등)를 통해 내방객이 내방 신청을 하였는지 여부를 확인하고, 확인된 내방객의 경우에만 안면 정보를 등록한 후, 별도의 출입카드 발급 절차 없이 안면 인식 단말기를 통해 인증 및 클라이언트 단말 원격 제어를 수행할 수 있게 된다.In addition, the system according to the present invention may be linked with a visitor access information management system. Then, it checks whether the visitor has made a visit through a facial recognition terminal (kiosk type, etc.), registers facial information only in the case of the confirmed visitor, and authenticates through the facial recognition terminal without a separate access card issuance procedure. It is possible to perform remote control of the terminal.
인증 결과 또는 결정된 보안 정책 등은 푸시 서버(미도시)를 통하여 구성 요소들로 통보될 수 있다. 이러한 정보를 통보하기 위하여 APNS(Apple Push Notification service) 서버, GCM(Google Cloud Message) 서버, 3G 메시징 서버, 및 4G 메시징 서버 등이 사용될 수 있다. 특히, GCM 서버는 안드로이드 운영체제를 사용하는 단말로 메시지를 PUSH 하는 서비스를 무료로 제공한다. GCM 서비스를 사용하기 위해서는, code.google.com/apis/console 에 접속하여 새로운 서버 키를 생성하여야 하며, 안드로이드 SDK 매니저를 구동하여 프로젝트를 생성하고, 매니페스트에 권한, 리시버, 서비스 등을 등록해야 한다. 푸시 서버는 이러한 서비스들을 사용하여 전달할 메시지를 PUSH 데이터 형식으로 전송하고, 필요할 경우 이미지 정보도 JPEG 이미지로 압축해 전송할 수 있다.The authentication result or the determined security policy may be notified to the components through a push server (not shown). In order to notify this information, an Apple Push Notification service (APNS) server, a Google Cloud Message (GCM) server, a 3G messaging server, and a 4G messaging server may be used. In particular, the GCM server provides a service that pushes messages to terminals using the Android operating system for free. To use the GCM service, you need to connect to code.google.com/apis/console and create a new server key, run Android SDK Manager to create a project, and register permissions, receivers, and services in the manifest. . The push server uses these services to transmit messages to be delivered in PUSH data format, and if necessary, image information can be compressed and transmitted as a JPEG image.
보안 서버는 식별된 사용자가 소지한 클라이언트 단말에 적용될 보안 정책을 결정한다. 이를 위하여 보안 서버는 보안 데이터베이스에서 식별된 사용자에 상응하는 보안 정책을 검색할 수 있다.The security server determines a security policy to be applied to the client terminal possessed by the identified user. To this end, the security server may search for a security policy corresponding to the user identified in the security database.
보안 서버에서 식별된 사용자의 클라이언트 단말에 적용될 보안 정책을 결정하면, 보안 서버는 결정된 보안 정책을 클라이언트 단말로 전송한다. 그러면, 사용자가 소지한 클라이언트 단말은, 결정된 보안 정책에 따라 클라이언트 단말의 동작을 제어한다. 또한, 보안 서버는 인증된 사용자가 과거 규정을 위반한 이력이 있는지를 검토하여, 위규 이력이 있는 사용자일 경우 경고 메시지를 재생함으로써 보안을 강화할 수도 있다.When the security server determines a security policy to be applied to the identified user's client terminal, the security server transmits the determined security policy to the client terminal. Then, the client terminal possessed by the user controls the operation of the client terminal according to the determined security policy. In addition, the security server may reinforce security by reviewing whether the authenticated user has a history of violating past regulations, and playing a warning message in case of a user with a history of violations.
또한, 부가 서비스 제공 서버는 사용자나 방문자의 입출입 통제, 기록, 관리 등의 추가적인 부가 서비스를 제공할 수 있다. 도 4에 도시된 바와 같이 부가 서비스 제공 서버가 안면 인식을 사용한 클라이언트 단말 원격 제어 시스템에 통합됨으로써, 인증된 사용자의 클라이언트 단말에 대한 동작 제어와 더불어, 식별된 사용자의 출입 등을 일괄적으로 관리할 수 있게 된다.In addition, the additional service providing server may provide additional additional services such as control, record, and management of users or visitors. As shown in Fig. 4, since the additional service providing server is integrated into the client terminal remote control system using facial recognition, it can collectively manage the access of the identified user as well as the operation control of the client terminal of the authenticated user. You will be able to.
이와 같이, 본 발명에 의한 원격 제어 시스템을 채택하면 정성적 방식 및 정량적 방식을 도입하여 보안 정책을 세밀하게 조절할 수 있기 때문에 클라이언트 단말의 구체적인 동작 제어가 가능하다. 예를 들어, 여러 동료들과 함께 근무하는 근무 시간에는 상대적으로 보안 문제가 덜 발생한다. 그러므로, 근무 시간 중 수행가능한 동작과 근무 시간 이후에 수행가능한 동작을 차별화할 수도 있고, 동일한 동작이라도 수행가능한 작업의 양을 조절할 수도 있다. 예를 들어, 근무 시간에 전송가능한 데이터의 양을 근무 시간 이후에 전송 가능한 데이터의 양보다 늘이는 것이 가능하다.As described above, if the remote control system according to the present invention is adopted, a qualitative method and a quantitative method can be introduced to finely adjust the security policy, so that specific operation control of the client terminal is possible. For example, working hours with multiple co-workers are relatively less vulnerable to security issues. Therefore, it is possible to differentiate between an operation that can be performed during working hours and an operation that can be performed after working hours, and the amount of work that can be performed even with the same operation can be adjusted. For example, it is possible to increase the amount of data that can be transmitted during working hours than the amount of data that can be transmitted after working hours.
도 5는 본 발명의 또 다른 면에 따른 안면 인식 단말을 개략적으로 나타내는 블록도이다.5 is a block diagram schematically showing a facial recognition terminal according to another aspect of the present invention.
도 5를 참조하면, 안면 인식 단말(500)은, 카메라(510), 통신 인터페이스(520), 딥러닝 API(530), 중앙 제어부(550), 사용자 식별부(560), 보안 정책 결정부(570), 및 동작 제어부(590)를 포함한다.5, the
통신 인터페이스(520)는 안면 인식 단말(500)과 외부 네트워크간의 통신을 담당하고, 카메라(510)는 사용자의 얼굴을 촬영하여 안면 이미지를 생성한다. 생성된 안면 이미지는 딥러닝 API(530)로 전달되고, 딥러닝 API(530)는 딥러닝 기법을 사용하여 안면 이미지로부터 안면 인식 정보를 추출한다.The
딥러닝 API(530)에 의해 추출된 안면 인식 정보는 사용자 식별부(560)로 전달되고, 사용자 식별부(560)는 안면 인식 정보를 사용하여 사용자를 식별한다. 사용자를 식별하기 위하여, 외부의 안면 인식 데이터베이스에 저장된 안면 인식 정보와 추출된 안면 인식 정보가 비교될 수 있음은 전술된 바와 같다.The facial recognition information extracted by the
사용자가 식별되면, 보안 정책 결정부(570)는 식별된 사용자에 상응하는 보안 정책을 외부 보안 데이터베이스로부터 검색하여 결정한다. 결정된 보안 정책은 동작 제어부(590)로 전달되고, 동작 제어부(590)는 수신된 보안 정책을 사용자가 소지한 클라이언트 단말에 적용하여 클라이언트 단말의 동작을 제어한다. 중앙 제어부(550)는 각 구성요소들의 동작을 제어한다.When a user is identified, the security
도 5에 도시된 안면 인식 단말(500)은, 사용자 식별부(560), 보안 정책 결정부(570), 동작 제어부(590)를 포함하기 때문에, 사용자의 안면 인식 정보를 사용하여 사용자를 식별하고, 식별된 사용자에 상응하는 보안 정책을 결정하며, 결정된 보안 정책에 따라 클라이언트 단말의 동작을 결정하는 기능 모두를 수행할 수 있다. 따라서, 복잡한 시스템을 구성하지 않아도 안면 인식 단말(500)만 가지고 클라이언트 단말을 효과적으로 제어할 수 있다.Since the
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 예를 들면, 본 발명에서는 사용자를 식별하기 위해서 안면 인식 정보를 사용하였으나, 본 발명은 이에 한정되는 것이 아니다. 오히려, 사용자에 특유한 정보, 예를 들어 홍채 정보나 정맥 정보와 같은 다양한 생체 정보들이 사용자를 식별하기 위해서 사용될 수 있다.The present invention has been described with reference to the embodiments shown in the drawings, but these are merely exemplary, and those of ordinary skill in the art will appreciate that various modifications and other equivalent embodiments are possible therefrom. For example, in the present invention, facial recognition information is used to identify a user, but the present invention is not limited thereto. Rather, user-specific information, for example, various biometric information such as iris information or vein information may be used to identify the user.
또한, 본 발명에 따르는 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 분산 컴퓨터 시스템에 의하여 분산 방식으로 실행될 수 있는 컴퓨터가 읽을 수 있는 코드를 저장할 수 있다. Further, the method according to the present invention can be implemented as computer-readable codes on a computer-readable recording medium. The computer-readable recording medium may include any type of recording device storing data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tapes, floppy disks, optical data storage devices, etc., and also implemented in the form of carrier waves (for example, transmission over the Internet). Include. In addition, the computer-readable recording medium may store computer-readable codes that can be executed in a distributed manner by a distributed computer system connected through a network.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다. 그리고, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. In terms of the terms used in the present specification, expressions in the singular should be understood as including plural expressions unless clearly interpreted differently in context, and terms such as "includes" are specified features, numbers, steps, actions, and components. It is to be understood that the presence or addition of one or more other features or numbers, step-acting components, parts or combinations thereof is not meant to imply the presence of, parts, or combinations thereof. In addition, terms such as "... unit", "... group", "module", and "block" described in the specification mean a unit that processes at least one function or operation, which is hardware, software, or hardware. And software.
따라서, 본 실시예 및 본 명세서에 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 본 발명의 권리범위에 포함되는 것이 자명하다고 할 것이다.Accordingly, the present embodiment and the accompanying drawings are merely illustrative of some of the technical ideas included in the present invention, and those skilled in the art within the scope of the technical ideas included in the specification and drawings It will be apparent that all of the modified examples and specific embodiments that can be inferred are included in the scope of the present invention.
본 발명은 클라이언트 단말의 원격 제어 분야에 적용될 수 있다.The present invention can be applied to the field of remote control of a client terminal.
510 : 카메라 520 : 통신 인터페이스
530 : 딥러닝 API 550 : 중앙 제어부
560 : 사용자 식별부 570 : 보안 정책 결정부
590 : 동작 제어부510: camera 520: communication interface
530: deep learning API 550: central control unit
560: user identification unit 570: security policy decision unit
590: motion control unit
Claims (14)
복수의 사용자의 안면 인식 정보를 추출하여 상기 네트워크에 연결된 안면 인식 데이터베이스에 등록하는 단계;
상기 네트워크에 연결된 안면 인식 단말을 사용하여, 보안 구역에 진입하려는 사용자의 안면 이미지를 획득하고, 획득된 이미지로부터 인증이 필요한 사용자의 안면 인식 정보를 추출하는 단계;
상기 안면 인식 데이터베이스에 등록된 안면 인식 정보와 상기 사용자의 안면 인식 정보를 비교하여 상기 사용자를 식별하는 단계;
상기 보안 서버를 사용하여, 식별된 사용자가 소지한 클라이언트 단말에 적용될 보안 정책을 결정하여 상기 클라이언트 단말에 전송하는 단계; 및
결정된 보안 정책을 상기 클라이언트 단말에 적용하고, 상기 사용자가 상기 보안 구역에 진입하도록 허용할지 여부를 관리하는 단계를 포함하고, 상기 방법은,
상기 사용자가 상기 보안 구역을 벗어날 때, 상기 사용자의 안면 인식 정보를 사용하여 상기 사용자를 식별하고, 식별된 사용자가 소지한 상기 클라이언트 단말에 적용된 보안 정책을 해제하며, 상기 클라이언트 단말의 사용 이력을 검색하여 보안 규칙을 위반했는지 여부를 검사하고, 검사 결과에 따라 상기 사용자가 상기 보안 구역을 벗어나도록 승인할지 여부를 관리하는 단계를 더 포함하며, 상기 보안 정책은:
상기 클라이언트 단말의 위치 및 상기 클라이언트 단말의 사용자의 신분 또는 직급에 따라 차등적으로 적용되고;
주기적으로 또는 요청에 의하여 갱신되며;
상기 클라이언트 단말의 동작을 제어하기 위한 보안 적용 정책 및 적용된 보안 적용 정책을 해제시키기 위한 보안 해제 정책을 포함하고;
상기 클라이언트 단말의 동작을 정성적 방식 및 정량적 방식 중 적어도 하나에 따라 차등적으로 관리하도록 구현되는, 안면 인식을 사용한 클라이언트 단말 원격 제어 방법.A method of remotely controlling an operation of at least one client terminal connected to a security server through a network using facial recognition,
Extracting facial recognition information of a plurality of users and registering it in a facial recognition database connected to the network;
Obtaining a facial image of a user who intends to enter a security area by using a facial recognition terminal connected to the network, and extracting facial recognition information of a user requiring authentication from the obtained image;
Identifying the user by comparing facial recognition information registered in the facial recognition database with facial recognition information of the user;
Determining a security policy to be applied to a client terminal possessed by the identified user by using the security server and transmitting the determined security policy to the client terminal; And
Applying the determined security policy to the client terminal, and managing whether to allow the user to enter the security area, the method comprising:
When the user leaves the security area, the user is identified using the user's facial recognition information, the security policy applied to the client terminal possessed by the identified user is released, and the usage history of the client terminal is searched. To check whether or not the security rule has been violated, and managing whether to approve the user to leave the security area according to the inspection result, the security policy:
Differentially applied according to the location of the client terminal and the user's status or rank of the client terminal;
Updated periodically or on request;
A security application policy for controlling the operation of the client terminal and a security release policy for releasing the applied security application policy;
A method for remote control of a client terminal using facial recognition, which is implemented to differentially manage the operation of the client terminal according to at least one of a qualitative method and a quantitative method.
상기 안면 인식 데이터베이스에 등록하는 단계는,
소정 그룹의 구성원의 안면 인식 정보를 저장하는 인사 데이터베이스로부터 구성원의 안면 인식 정보를 추출하여 저장하는 것을 포함하는, 안면 인식을 사용한 클라이언트 단말 원격 제어 방법.The method of claim 1,
The step of registering in the facial recognition database,
A method for remote control of a client terminal using facial recognition, comprising extracting and storing facial recognition information of a member from a personnel database storing facial recognition information of a member of a predetermined group.
상기 안면 인식 데이터베이스에 등록하는 단계는,
상기 보안 구역에 진입하려는 내방객의 요청을 저장하는 내방객 데이터베이스로부터 내방 신청 여부를 확인하고, 내방 신청이 된 내방객의 안면 인식 정보를 저장하는 것을 포함하는, 안면 인식을 사용한 클라이언트 단말 원격 제어 방법.The method of claim 1,
The step of registering in the facial recognition database,
A method for remote control of a client terminal using facial recognition, comprising checking whether a visitor has requested a visit from a visitor database that stores a visitor's request to enter the security area, and storing facial recognition information of the visitor who has applied for the visit.
상기 안면 인식 정보를 추출하는 단계는, 딥러닝 기법을 활용하여 인증이 필요한 사용자의 안면 인식 정보를 획득하는 것을 포함하고,
상기 사용자를 식별하는 단계는, 상기 네트워크에 연결된 안면 인식 서버 및 상기 안면 인식 단말 중 적어도 하나를 사용하여 수행되며,
상기 보안 정책을 결정하는 단계는, 상기 보안 서버가, 상기 식별된 사용자에 상응하는 보안 정책을 상기 네트워크에 연결된 보안 데이터베이스로부터 선택하는 것을 포함하는, 클라이언트 단말 원격 제어 방법.The method according to any one of claims 1, 3, and 4,
The extracting of the facial recognition information includes obtaining facial recognition information of a user requiring authentication by using a deep learning technique,
The step of identifying the user is performed using at least one of a face recognition server and the face recognition terminal connected to the network,
The determining of the security policy includes, by the security server, selecting a security policy corresponding to the identified user from a security database connected to the network.
상기 클라이언트 단말의 동작을 제어하는 것은,
상기 클라이언트 단말이 상기 보안 서버가 결정한 보안 정책을 수신하는 것, 및
상기 클라이언트 단말에 설치된 보안 애플리케이션을 사용하여, 수신된 보안 정책에 따라 상기 클라이언트 단말의 동작을 제어하는 것을 포함하는, 클라이언트 단말 원격 제어 방법.The method according to any one of claims 1, 3, and 4,
Controlling the operation of the client terminal,
The client terminal receives the security policy determined by the security server, and
Using the security application installed in the client terminal, comprising controlling the operation of the client terminal according to the received security policy, client terminal remote control method.
상기 네트워크에 연결되고, 복수의 사용자로부터 추출된 안면 인식 정보를 저장하는 안면 인식 데이터베이스;
상기 네트워크에 연결되고, 보안 구역에 진입하려는 사용자의 안면 이미지를 획득하며, 획득된 이미지로부터 인증이 필요한 사용자의 안면 인식 정보를 추출하는 안면 인식 단말;
상기 네트워크에 연결되고, 상기 안면 인식 데이터베이스에 등록된 안면 인식 정보와 상기 사용자의 안면 인식 정보를 비교하여 상기 사용자를 식별하는 안면 인식 서버; 및
상기 네트워크에 연결되고, 식별된 사용자가 소지한 클라이언트 단말에 적용될 보안 정책을 결정하여 상기 클라이언트 단말에 전송하며, 상기 사용자가 상기 보안 구역에 진입하도록 허용할지 여부를 관리하는 보안 서버를 포함하고,
상기 클라이언트 단말은, 상기 클라이언트 단말에 설치된 보안 애플리케이션을 사용하여, 전송된 보안 정책에 따라 상기 클라이언트 단말의 동작을 제어하는 동작 제어부를 포함하며, 상기 시스템은,
상기 네트워크에 연결되고, 상기 결정된 보안 정책에 따라 상기 사용자 또는 방문자의 출입을 관리하는 부가 서비스 제공 서버를 더 포함하고, 상기 부가 서비스 제공 서버는,
상기 사용자가 상기 보안 구역을 벗어날 때, 상기 사용자의 안면 인식 정보를 사용하여 상기 사용자를 식별하고, 식별된 사용자가 소지한 상기 클라이언트 단말에 적용된 보안 정책을 해제하며, 상기 클라이언트 단말의 사용 이력을 검색하여 보안 규칙을 위반했는지 여부를 검사하고, 검사 결과에 따라 상기 사용자가 상기 보안 구역을 벗어나도록 승인할지 여부를 관리하도록 더 구성되며, 상기 보안 정책은:
상기 클라이언트 단말의 위치 및 상기 클라이언트 단말의 사용자의 신분 또는 직급에 따라 차등적으로 적용되고;
주기적으로 또는 요청에 의하여 갱신되며;
상기 클라이언트 단말의 동작을 제어하기 위한 보안 적용 정책 및 적용된 보안 적용 정책을 해제시키기 위한 보안 해제 정책을 포함하고;
상기 클라이언트 단말의 동작을 정성적 방식 및 정량적 방식 중 적어도 하나에 따라 차등적으로 관리하도록 구현되는, 안면 인식을 사용한 클라이언트 단말 원격 제어 시스템.A system for remotely controlling the operation of at least one client terminal connected to a network using facial recognition,
A facial recognition database connected to the network and storing facial recognition information extracted from a plurality of users;
A facial recognition terminal connected to the network, acquiring a facial image of a user who intends to enter the security area, and extracting facial recognition information of a user requiring authentication from the acquired image;
A facial recognition server connected to the network and configured to identify the user by comparing facial recognition information registered in the facial recognition database with facial recognition information of the user; And
A security server connected to the network, determining a security policy to be applied to a client terminal possessed by the identified user, and transmitting it to the client terminal, and managing whether to allow the user to enter the security area,
The client terminal includes an operation control unit for controlling an operation of the client terminal according to a transmitted security policy by using a security application installed in the client terminal, and the system,
Further comprising an additional service providing server connected to the network and managing access of the user or visitor according to the determined security policy, the additional service providing server,
When the user leaves the security area, the user is identified using the user's facial recognition information, the security policy applied to the client terminal possessed by the identified user is released, and the usage history of the client terminal is searched. It is further configured to check whether or not a security rule has been violated, and to manage whether or not to authorize the user to leave the security area according to the inspection result, the security policy:
Differentially applied according to the location of the client terminal and the user's status or rank of the client terminal;
Updated periodically or on request;
A security application policy for controlling the operation of the client terminal and a security release policy for releasing the applied security application policy;
A client terminal remote control system using facial recognition, implemented to differentially manage the operation of the client terminal according to at least one of a qualitative method and a quantitative method.
상기 안면 인식 데이터베이스는,
소정 그룹의 구성원의 안면 인식 정보를 저장하는 인사 데이터베이스로부터 구성원의 안면 인식 정보를 추출하여 저장하도록 더 구성되는, 안면 인식을 사용한 클라이언트 단말 원격 제어 시스템.The method of claim 8,
The facial recognition database,
A client terminal remote control system using facial recognition, further configured to extract and store facial recognition information of a member from a personnel database storing facial recognition information of a member of a predetermined group.
상기 안면 인식 데이터베이스는,
상기 보안 구역에 진입하려는 내방객의 요청을 저장하는 내방객 데이터베이스로부터 내방 신청 여부를 확인하고, 내방 신청이 된 내방객의 안면 인식 정보를 저장하도록 더 구성되는, 안면 인식을 사용한 클라이언트 단말 원격 제어 시스템.The method of claim 8,
The facial recognition database,
A client terminal remote control system using facial recognition, further configured to check whether a visitor has requested a visit from a visitor database that stores a visitor's request to enter the security area, and to store facial recognition information of the visitor who has made a visit request.
상기 안면 인식 단말은, 딥러닝 기법을 활용하여 인증이 필요한 사용자의 안면 인식 정보를 획득하도록 더 구성되고,
상기 보안 서버는, 상기 식별된 사용자에 상응하는 보안 정책을 상기 네트워크에 연결된 보안 데이터베이스로부터 선택하도록 더 구성되는, 클라이언트 단말 원격 제어 시스템.The method according to any one of claims 8, 10, and 11,
The facial recognition terminal is further configured to acquire facial recognition information of a user requiring authentication by using a deep learning technique,
The security server is further configured to select a security policy corresponding to the identified user from a security database connected to the network.
인증이 필요한 사용자의 안면 이미지를 획득하는 카메라;
획득된 이미지로부터 인증이 필요한 사용자의 안면 인식 정보를 추출하고, 상기 네트워크에 연결되고 복수의 사용자로부터 추출된 안면 인식 정보를 저장하는 안면 인식 데이터베이스에 등록된 안면 인식 정보와 상기 인증이 필요한 사용자의 안면 인식 정보를 비교하여 상기 사용자를 식별하는 사용자 식별부;
식별된 사용자가 소지한 클라이언트 단말에 적용될 보안 정책을 결정하는 보안 정책 결정부; 및
결정된 보안 정책에 따라 상기 클라이언트 단말의 동작을 제어하는 동작 제어부를 포함하고, 상기 보안 서버는,
상기 네트워크에 연결되고, 상기 결정된 보안 정책에 따라 상기 사용자 또는 방문자의 출입을 관리하는 부가 서비스 제공 서버를 더 포함하며, 상기 부가 서비스 제공 서버는,
상기 사용자가 보안 구역을 벗어날 때, 상기 사용자의 안면 인식 정보를 사용하여 상기 사용자를 식별하고, 식별된 사용자가 소지한 상기 클라이언트 단말에 적용된 보안 정책을 해제하며, 상기 클라이언트 단말의 사용 이력을 검색하여 보안 규칙을 위반했는지 여부를 검사하고, 검사 결과에 따라 상기 사용자가 상기 보안 구역을 벗어나도록 승인할지 여부를 관리하도록 더 구성되고, 상기 보안 정책은:
상기 클라이언트 단말의 위치 및 상기 클라이언트 단말의 사용자의 신분 또는 직급에 따라 차등적으로 적용되고;
주기적으로 또는 요청에 의하여 갱신되며;
상기 클라이언트 단말의 동작을 제어하기 위한 보안 적용 정책 및 적용된 보안 적용 정책을 해제시키기 위한 보안 해제 정책을 포함하고;
상기 클라이언트 단말의 동작을 정성적 방식 및 정량적 방식 중 적어도 하나에 따라 차등적으로 관리하도록 구현되는, 안면 인식 단말.As a facial recognition terminal that remotely controls the operation of at least one client terminal connected to a security server through a network using facial recognition,
A camera that acquires a facial image of a user requiring authentication;
Facial recognition information registered in a facial recognition database that extracts the user's facial recognition information requiring authentication from the obtained image, and stores facial recognition information extracted from a plurality of users connected to the network, and the face of the user who needs the authentication A user identification unit for comparing recognition information to identify the user;
A security policy determination unit that determines a security policy to be applied to a client terminal possessed by the identified user; And
And an operation control unit for controlling the operation of the client terminal according to the determined security policy, and the security server,
Further comprising an additional service providing server connected to the network and managing access of the user or visitor according to the determined security policy, wherein the additional service providing server,
When the user leaves the security area, the user is identified using the user's facial recognition information, the security policy applied to the client terminal held by the identified user is released, and the usage history of the client terminal is searched. It is further configured to check whether a security rule has been violated, and to manage whether or not to authorize the user to leave the security area according to a result of the check, the security policy:
Differentially applied according to the location of the client terminal and the user's status or rank of the client terminal;
Updated periodically or on request;
A security application policy for controlling the operation of the client terminal and a security release policy for releasing the applied security application policy;
The facial recognition terminal is implemented to differentially manage the operation of the client terminal according to at least one of a qualitative method and a quantitative method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200030282A KR102188775B1 (en) | 2020-03-11 | 2020-03-11 | Method and system for remotely controlling client terminals using face recognition and face recognition terminal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200030282A KR102188775B1 (en) | 2020-03-11 | 2020-03-11 | Method and system for remotely controlling client terminals using face recognition and face recognition terminal |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102188775B1 true KR102188775B1 (en) | 2020-12-08 |
Family
ID=73779064
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200030282A KR102188775B1 (en) | 2020-03-11 | 2020-03-11 | Method and system for remotely controlling client terminals using face recognition and face recognition terminal |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102188775B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102483979B1 (en) * | 2022-09-20 | 2023-01-03 | 주식회사 피앤피시큐어 | System and method for automatic connecting to server through facial recognition |
| KR102483980B1 (en) * | 2022-09-22 | 2023-01-03 | 주식회사 피앤피시큐어 | Security management system for recording and tracking face image information of security policy violator |
| KR102504284B1 (en) * | 2022-08-31 | 2023-02-28 | 주식회사 피앤피시큐어 | Security system and method for controlling instruction executing and connecting to server by facial recognition |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120080927A (en) | 2011-01-10 | 2012-07-18 | 서울대학교산학협력단 | Chitosan-spermine graft copolymer having improved transfection efficiency and gene therapy using the same as a gene carrier |
| KR101587924B1 (en) * | 2015-02-27 | 2016-01-25 | 권병수 | System and method for hospital management using face recognition |
| KR20170078316A (en) * | 2015-12-29 | 2017-07-07 | 주식회사 마크애니 | Security management system using user mobile terminal and method thereof |
| KR20190020273A (en) * | 2017-08-18 | 2019-02-28 | 주식회사 엘지씨엔에스 | Automatic card dispenser and visitor management systmem using the same |
-
2020
- 2020-03-11 KR KR1020200030282A patent/KR102188775B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120080927A (en) | 2011-01-10 | 2012-07-18 | 서울대학교산학협력단 | Chitosan-spermine graft copolymer having improved transfection efficiency and gene therapy using the same as a gene carrier |
| KR101587924B1 (en) * | 2015-02-27 | 2016-01-25 | 권병수 | System and method for hospital management using face recognition |
| KR20170078316A (en) * | 2015-12-29 | 2017-07-07 | 주식회사 마크애니 | Security management system using user mobile terminal and method thereof |
| KR20190020273A (en) * | 2017-08-18 | 2019-02-28 | 주식회사 엘지씨엔에스 | Automatic card dispenser and visitor management systmem using the same |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102504284B1 (en) * | 2022-08-31 | 2023-02-28 | 주식회사 피앤피시큐어 | Security system and method for controlling instruction executing and connecting to server by facial recognition |
| KR102483979B1 (en) * | 2022-09-20 | 2023-01-03 | 주식회사 피앤피시큐어 | System and method for automatic connecting to server through facial recognition |
| KR102483980B1 (en) * | 2022-09-22 | 2023-01-03 | 주식회사 피앤피시큐어 | Security management system for recording and tracking face image information of security policy violator |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11101993B1 (en) | Authentication and authorization through derived behavioral credentials using secured paired communication devices | |
| JP6911154B2 (en) | Access control methods and devices, systems, electronic devices, programs and media | |
| KR102188775B1 (en) | Method and system for remotely controlling client terminals using face recognition and face recognition terminal | |
| CN101933051B (en) | Systems and methods for accessing a tamperproof storage device in a wireless communication device using biometric data | |
| US11900746B2 (en) | System and method for providing credential activation layered security | |
| US9852275B2 (en) | Security device, methods, and systems for continuous authentication | |
| US20150358317A1 (en) | Behavioral Authentication System using a biometric fingerprint sensor and User Behavior for Authentication | |
| US20040083394A1 (en) | Dynamic user authentication | |
| US20110314558A1 (en) | Method and apparatus for context-aware authentication | |
| US11496471B2 (en) | Mobile enrollment using a known biometric | |
| WO2006041919A1 (en) | Security alarm notification using iris detection systems | |
| US11367323B1 (en) | System and method for secure pair and unpair processing using a dynamic level of assurance (LOA) score | |
| KR101174700B1 (en) | Entrance and Exit Management Method | |
| KR20210004319A (en) | Method, apparatus and system for performing authentication using face recognition | |
| CN110766850B (en) | Visitor information management method, access control system, server and storage medium | |
| KR20000063739A (en) | System and method for monitoring fraudulent use of id and media for storing program source thereof | |
| CN109885994B (en) | Offline identity authentication system, device and computer readable storage medium | |
| CN112669501B (en) | Access control method, device and computer readable storage medium | |
| KR102069567B1 (en) | Structured Cabling System Using Biometric Authentication | |
| Dragerengen | Access Control in Critical Infrastructure Control Rooms using Continuous Authentication and Face Recognition | |
| WO2022270114A1 (en) | Method for preventing unauthorized access to information device or communication device | |
| RU2784327C1 (en) | Authentication method and system for passing through a checkpoint | |
| Korolov | What is biometrics? And why collecting biometric data is risky | |
| KR101986244B1 (en) | Method of telebiometric authentication based on mobile devices | |
| JP2023004852A (en) | Unauthorized access prevention method for information apparatus or communication apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |