KR102080252B1 - Method and system for gate control using face recognition - Google Patents

Method and system for gate control using face recognition Download PDF

Info

Publication number
KR102080252B1
KR102080252B1 KR1020190067147A KR20190067147A KR102080252B1 KR 102080252 B1 KR102080252 B1 KR 102080252B1 KR 1020190067147 A KR1020190067147 A KR 1020190067147A KR 20190067147 A KR20190067147 A KR 20190067147A KR 102080252 B1 KR102080252 B1 KR 102080252B1
Authority
KR
South Korea
Prior art keywords
image
face
face image
user
gate
Prior art date
Application number
KR1020190067147A
Other languages
Korean (ko)
Inventor
남운성
이택기
천기철
김성수
Original Assignee
(주)씨유박스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)씨유박스 filed Critical (주)씨유박스
Priority to KR1020190067147A priority Critical patent/KR102080252B1/en
Priority to PCT/KR2019/007179 priority patent/WO2020246652A1/en
Application granted granted Critical
Publication of KR102080252B1 publication Critical patent/KR102080252B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/20—Individual registration on entry or exit involving the use of a pass
    • G07C9/22—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder
    • G07C9/25—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition
    • E—FIXED CONSTRUCTIONS
    • E06—DOORS, WINDOWS, SHUTTERS, OR ROLLER BLINDS IN GENERAL; LADDERS
    • E06B—FIXED OR MOVABLE CLOSURES FOR OPENINGS IN BUILDINGS, VEHICLES, FENCES OR LIKE ENCLOSURES IN GENERAL, e.g. DOORS, WINDOWS, BLINDS, GATES
    • E06B11/00—Means for allowing passage through fences, barriers or the like, e.g. stiles
    • E06B11/02—Gates; Doors
    • G06K9/00268—
    • G06K9/00288—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

Disclosed is a method and a system for controlling a gate by using face authentication. The method for controlling the gate by using face authentication comprises the following steps of: allowing a gate control device to acquire a first image for a user by using a connected auxiliary terminal and transmitting the acquired first face image to an immigration server; allowing the immigration server to select at least one candidate image similar to the first face image among a plurality of face images stored in a database; allowing the gate control device to acquire a second face image for the user by using a connected main terminal and selecting one matched to the second face image among the at least one candidate image; and allowing the gate control device to control a gate according to the matching result. Therefore, the present invention has an effect of simplifying an immigration process of a user by controlling an immigration gate of the user only with face authentication.

Description

얼굴인증을 이용한 게이트 제어 방법 및 시스템 {METHOD AND SYSTEM FOR GATE CONTROL USING FACE RECOGNITION} Gate control method and system using face authentication {METHOD AND SYSTEM FOR GATE CONTROL USING FACE RECOGNITION}

개시된 기술은 얼굴인식을 이용하여 게이트 개폐를 제어하는 방법 및 시스템에 관한 것이다.The disclosed technique relates to a method and system for controlling gate opening and closing using face recognition.

얼굴이미지를 이용하여 사람의 신분을 확인하거나 특정 절차를 위한 인증을 수행하는 기술이 이용되고 있다. 대표적으로 공항에서 사용자의 얼굴을 카메라로 촬영하여 얼굴이미지의 특징정보와 기 등록된 여권으로부터 추출된 특징정보를 비교함으로써 신분을 확인하는 기술이 이용되고 있다.Techniques for verifying a person's identity using a face image or performing authentication for a specific procedure have been used. Representatively, a technology of confirming identity by photographing a user's face with a camera at an airport and comparing feature information of a face image with feature information extracted from a registered passport is used.

해마다 공항을 통해 외국으로 나가거나 들어오는 사용자의 수가 늘어감에 따라 공항 출입국 심사도 점차 무인시스템이 자동으로 출입국 심사를 처리하여 소요되는 시간을 단축하기 위해 변화하고 있다. 이러한 흐름에 따르면 곧 최소한의 정보인식 행위를 기반으로 출입국 게이트를 제어하는 방향으로 출입국절차가 수행될 것으로 예상된다.As the number of users going out and coming in through the airport increases each year, the airport immigration examination is gradually changing to shorten the time required by the unmanned system automatically processing the immigration examination. According to this trend, immigration procedures are expected to be performed in the direction of controlling immigration gates based on minimal information recognition.

한편, 우리나라 인천공항의 자동 출입국 심사 시스템에 따르면 사용자가 자신의 여권을 스캔하여 게이트를 통과하고 지문스캔과 얼굴이미지 촬영을 수행하여 출입국 절차를 수행하고 있다. 그러나 이러한 출입국 시스템은 사용자가 한명씩 차례대로 입장하는 것을 전제 하에 동작하고 있는 것이어서 얼굴인증만으로는 정확한 출입국 처리가 어렵기 때문에 여관과 지문정보를 함께 이용하고 있다. 따라서, 한명의 사용자가 게이트를 통과하기 위해서 수행해야 하는 정보인식 행위가 다수여서 출입국 프로세스가 번거로운 문제점이 있으며, 사용자가 자신의 신체 일부를 접촉하여 인증을 수행해야 하므로 불쾌함이나 오염이 발생하는 문제점도 가지고 있었다. 또한, 한번에 다수의 사용자가 촬영되는 경우 어떤 사용자가 게이트에 먼저 진입하는지 확인할 수 없어서 출입국 처리에 오류가 발생하는 문제점도 가지고 있었다.Meanwhile, according to the automatic immigration screening system of Incheon International Airport, the user scans his passport, passes through the gate, performs fingerprint scan and face image, and performs immigration procedures. However, these immigration systems are operated under the premise that users enter one by one, so it is difficult to accurately process immigration only by face authentication. Therefore, there is a problem that the immigration process is cumbersome because there is a lot of information recognition actions that one user must perform to pass through the gate, and the user has to perform authentication by contacting a part of his / her body. I had. In addition, when a plurality of users are photographed at a time, there is a problem that an error occurs in the immigration process because it is not possible to check which user enters the gate first.

한편, 한국 공개특허 10-2016-0017000호(발명의 명칭 : 얼굴 검출 장치 및 방법)을 참조하면 스테레오 카메라를 이용하여 획득된 거리 차 영상을 토대로 얼굴의 위치를 검출하는 기술이 개시되어 있다. 그러나 이러한 기술은 대상의 위치를 파악하는 것은 가능하나 대상이 구체적으로 누구인지 판단하지는 못하는 문제점이 있었다.Meanwhile, referring to Korean Patent Laid-Open Publication No. 10-2016-0017000 (name of the invention: apparatus and method for detecting a face), a technique of detecting a position of a face based on a distance difference image acquired using a stereo camera is disclosed. However, this technique has a problem that it is possible to determine the location of the target, but not determine who the target is specifically.

개시된 기술은 복수의 카메라를 이용하여 촬영된 이미지 기반의 얼굴인식 결과에 따라 게이트 개폐를 제어하는 방법 및 시스템을 제공하는데 있다.The disclosed technology provides a method and system for controlling gate opening and closing according to an image-based face recognition result photographed using a plurality of cameras.

상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 1 측면은 게이트 제어 장치가 연결된 보조단말기를 이용하여 사용자에 대한 제 1 얼굴이미지를 획득하고 출입국서버에 전송하는 단계, 상기 출입국서버가 데이터베이스에 저장된 복수개의 얼굴이미지들 중에서 상기 제 1 얼굴이미지와 유사한 적어도 하나의 후보이미지를 선별하는 단계, 상기 게이트 제어 장치가 연결된 메인단말기를 이용하여 상기 사용자에 대한 제 2 얼굴이미지를 획득하고 상기 적어도 하나의 후보이미지 중 상기 제 2 얼굴이미지에 매칭되는 하나를 선택하는 단계 및 상기 게이트 제어 장치가 상기 매칭 결과에 따라 게이트를 제어하는 단계를 포함하는 얼굴인증을 이용한 게이트 제어 방법을 제공하는데 있다.A first aspect of the disclosed technology to achieve the above technical problem is a step of acquiring a first face image of a user using an auxiliary terminal connected to a gate control device and transmitting to the immigration server, the plurality of immigration server stored in a database Selecting at least one candidate image similar to the first face image among face images, acquiring a second face image of the user by using a main terminal to which the gate control apparatus is connected, and among the at least one candidate image; The present invention provides a gate control method using face authentication, comprising selecting one matching the second face image and controlling the gate according to the matching result by the gate control apparatus.

상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 2 측면은 복수개의 카메라를 이용하여 촬영 가능한 영역에 진입한 복수의 사용자들 중 게이트에 입장하는 특정 사용자를 검출하기 위한 첫 번째 얼굴이미지를 촬영하는 보조단말기, 상기 복수개의 카메라와 동일한 카메라를 이용하여 상기 복수의 사용자들에 대한 두 번째 얼굴이미지를 촬영하는 메인단말기, 상기 첫 번째 얼굴이미지를 수신하고 데이터베이스에 저장된 복수의 얼굴이미지들 중 상기 첫 번째 얼굴이미지와 유사한 적어도 하나의 후보이미지를 선별하는 출입국서버 및 상기 출입국서버에서 수신한 상기 적어도 하나의 후보이미지 및 상기 두 번째 얼굴이미지를 매칭하여 매칭 결과에 따라 게이트를 제어하는 게이트 제어 장치를 포함하는 얼굴인증을 이용한 게이트 제어 시스템을 제공하는데 있다.In order to accomplish the above technical problem, a second aspect of the disclosed technology is an auxiliary terminal for photographing a first face image for detecting a specific user entering a gate among a plurality of users who enter a photographable area using a plurality of cameras And a main terminal for photographing a second face image of the plurality of users using the same camera as the plurality of cameras, the first face image receiving the first face image and stored in a database. Face authentication including an immigration server that selects at least one candidate image similar to and a gate control device that matches the at least one candidate image and the second face image received from the immigration server and controls a gate according to a matching result Gate control system To provide.

상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 3 측면은 복수개의 카메라를 이용하여 촬영 가능한 영역에 진입한 복수의 사용자들 중 게이트에 입장하는 특정 사용자를 검출하기 위한 첫 번째 얼굴이미지를 촬영하는 보조단말기, 상기 복수개의 카메라와 동일한 카메라를 이용하여 상기 복수의 사용자들에 대한 두 번째 얼굴이미지를 촬영하는 메인단말기 및 상기 첫 번째 얼굴이미지를 수신하고 데이터베이스에 저장된 복수의 얼굴이미지들 중 상기 첫 번째 얼굴이미지와 유사한 적어도 하나의 후보이미지를 선별하고, 상기 적어도 하나의 후보이미지 및 상기 두 번째 얼굴이미지를 매칭하여 매칭 결과에 따라 게이트를 제어하는 게이트 제어 장치를 포함하는 얼굴인증을 이용한 게이트 제어 시스템을 제공하는데 있다.In order to accomplish the above technical problem, a third aspect of the disclosed technology is an auxiliary terminal for photographing a first face image for detecting a specific user entering a gate among a plurality of users who enter a photographable area using a plurality of cameras A main terminal for photographing a second face image of the plurality of users using the same camera as the plurality of cameras, the first face image receiving the first face image, and stored in a database; And a gate control device for selecting at least one candidate image similar to and matching the at least one candidate image and the second face image to control a gate according to a matching result. have.

개시된 기술의 실시 예들은 다음의 장점들을 포함하는 효과를 가질 수 있다. 다만, 개시된 기술의 실시 예들이 이를 전부 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다. Embodiments of the disclosed technology may have effects including the following advantages. However, since the embodiments of the disclosed technology are not meant to include all of them, the scope of the disclosed technology should not be understood as being limited thereto.

개시된 기술의 일 실시예에 따르면 얼굴인증을 이용한 게이트 제어 방법 및 시스템은 얼굴인증 만으로 출입국 게이트를 제어하여 사용자의 출입국 처리를 간편하게 처리하는 효과가 있다.According to an embodiment of the disclosed technology, the gate control method and system using the face authentication has an effect of simply controlling the entry / exit gate by using only the face authentication to easily process the entry / exit of the user.

또한, 3D 카메라와 2D 카메라가 구비된 두 대의 단말기를 이용하여 얼굴인식 정확도를 높이고 라이브니스를 체크하는 효과가 있다.In addition, by using two terminals provided with a 3D camera and a 2D camera, it is effective to increase face recognition accuracy and check liveness.

또한, 복수의 사용자들이 한 영상에 촬영되어도 각 사용자별 인증순서를 파악하는 효과가 있다.In addition, even if a plurality of users are photographed in one image, it is effective to grasp the authentication order for each user.

또한, 게이트 개폐를 위한 프로세스를 분산하여 서버의 부하를 방지하는 효과가 있다.In addition, there is an effect of preventing the load of the server by distributing the process for opening and closing the gate.

도 1은 개시된 기술의 일 실시예에 따른 얼굴인증을 이용한 게이트 제어 방법에 대한 순서도이다.
도 2는 개시된 기술의 일 실시예에 따른 얼굴인증을 이용한 게이트 제어 시스템에 대한 블록도이다.
도 3은 개시된 기술의 일 실시예에 따른 시스템의 동작흐름을 나타낸 도면이다.
도 4는 개시된 기술의 일 실시예에 따른 보조단말기와 메인단말기를 나타낸 도면이다.
도 5는 3D 깊이 카메라를 이용하여 촬영된 깊이영상을 나타낸 도면이다.
도 6은 2D 카메라를 이용하여 촬영된 2D 영상을 나타낸 도면이다.
도 7은 깊이영상과 2D 영상을 이용하여 얼굴이미지를 생성하는 것을 나타낸 도면이다.1 is a flowchart illustrating a gate control method using face authentication according to an embodiment of the disclosed technology.
2 is a block diagram of a gate control system using face authentication according to an embodiment of the disclosed technology.
3 is a diagram illustrating an operation flow of a system according to an embodiment of the disclosed technology.
4 is a diagram illustrating an auxiliary terminal and a main terminal according to an embodiment of the disclosed technology.
5 is a diagram illustrating a depth image photographed using a 3D depth camera.
6 is a diagram illustrating a 2D image photographed using a 2D camera.
7 is a diagram illustrating the generation of a face image using a depth image and a 2D image.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

제 1, 제 2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms first, second, A, B, etc. may be used to describe various components, but the components are not limited by the terms, but merely for distinguishing one component from other components. Only used as For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component. The term and / or includes a combination of a plurality of related items or any item of a plurality of related items.

본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 한다. 그리고 "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.As used herein, the singular forms "a", "an" and "the" are to be understood as including plural forms unless the context clearly dictates otherwise. And the term " comprises, " and the like, means that there is a feature, number, step, action, component, part, or combination thereof described, and one or more other features or numbers, step action component, part, etc. Or it does not exclude the presence or the possibility of adding them.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. Prior to the detailed description of the drawings, it is intended to clarify that the division of the components in the present specification is only divided by the main function of each component. That is, two or more components to be described below may be combined into one component, or one component may be provided divided into two or more for each of the more detailed functions.

그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이다.Each of the components to be described below may additionally perform some or all of the functions of other components in addition to the main functions of the components, and some of the main functions of each of the components are different. Of course, it may be carried out exclusively by. Therefore, the presence or absence of each component described throughout the specification will be to be interpreted functionally.

도 1은 개시된 기술의 일 실시예에 따른 얼굴인증을 이용한 게이트 제어 방법에 대한 순서도이다. 도 1을 참조하면 얼굴인증을 이용한 게이트 제어 방법은 이하의 단계들을 포함한다.1 is a flowchart illustrating a gate control method using face authentication according to an embodiment of the disclosed technology. Referring to FIG. 1, the gate control method using face authentication includes the following steps.

110 단계에서 게이트 제어 장치는 보조단말기를 이용하여 사용자에 대한 제 1 얼굴이미지를 획득한다. 게이트 제어 장치는 게이트의 개폐를 제어하기 위한 장치로 게이트 인근에 배치되어 사용자의 얼굴인증에 대한 결과를 토대로 게이트를 개폐할 수 있다. 게이트 제어 장치는 보조단말기와 연결되어 있으며 보조단말기에 제어신호를 전송하는 것으로 제 1 얼굴이미지를 획득할 수 있다.In operation 110, the gate control apparatus acquires a first face image of the user using the auxiliary terminal. The gate control device is a device for controlling the opening and closing of the gate, and is disposed near the gate to open and close the gate based on a result of face authentication of the user. The gate control apparatus is connected to the auxiliary terminal and may acquire the first face image by transmitting a control signal to the auxiliary terminal.

한편, 보조단말기는 제 1 얼굴이미지를 획득하기 위한 카메라를 구비한다. 보조단말기는 게이트의 정면 또는 일 측면에 배치되고 배치된 위치를 기준으로 촬영이 가능한 거리 이내로 진입한 사용자를 촬영할 수 있다. On the other hand, the auxiliary terminal is provided with a camera for obtaining a first face image. The auxiliary terminal may photograph a user who has entered a distance within which the photographing is possible based on the position disposed and disposed at the front or one side of the gate.

한편 110 단계에서 보조단말기는 제 1 얼굴이미지를 획득하기 위하여 보조단말기가 3D 카메라를 이용하여 게이트에 접근하는 복수의 사용자들에 대한 깊이영상을 촬영하는 단계, 보조단말기가 2D 카메라를 이용하여 복수의 사용자들에 대한 2D 영상을 촬영하는 단계 및 깊이영상에서 획득된 거리정보를 이용하여 복수의 사용자들 중 사용자의 위치를 검출하고 2D 영상에 포함된 얼굴영역들 중 검출된 사용자의 위치에 대응되는 얼굴영역을 검출하고 얼굴영역에서 상기 제 1 얼굴이미지를 획득하는 단계를 수행한다.Meanwhile, in step 110, the auxiliary terminal captures depth images of a plurality of users approaching the gate using the 3D camera in order to acquire the first face image, and the auxiliary terminal uses the 2D camera to capture the depth images. Taking a 2D image of the user and detecting the position of the user among the plurality of users by using the distance information acquired from the depth image and the face corresponding to the detected position of the user among the face areas included in the 2D image. Detecting a region and acquiring the first face image in the face region.

보조단말기는 3D 카메라와 2D 카메라를 구비한다. 그리고 제 1 얼굴이미지를 획득하기 위해서 두 카메라를 이용하여 사용자를 촬영한다. 여기에서 보조단말기는 게이트의 정면이나 일 측면에 설치되어 있으며, 설치된 위치를 기준으로 촬영이 가능한 거리 이내에 진입한 사용자를 두 카메라를 이용하여 촬영할 수 있다. 보조단말기는 거의 동일한 위치에 3D 카메라와 2D 카메라를 구비하며 두 카메라를 동시에 구동하여 사용자를 촬영할 수 있다. 예컨대, 보조단말기는 3D 카메라를 이용하여 사용자에 대한 깊이영상을 촬영하고 2D 카메라를 이용하여 동일한 사용자에 대한 2D 영상을 촬영할 수 있다.The auxiliary terminal has a 3D camera and a 2D camera. The user photographs the user by using two cameras to acquire the first face image. Here, the auxiliary terminal is installed at the front or one side of the gate, it can be taken by using the two cameras the user entered within the distance that can be photographed based on the installed position. The auxiliary terminal includes a 3D camera and a 2D camera at almost the same position and can drive the two cameras simultaneously to photograph the user. For example, the auxiliary terminal may capture a depth image of a user using a 3D camera and capture a 2D image of the same user using a 2D camera.

한편, 보조단말기는 깊이영상을 통해 사용자에 대한 거리정보를 획득하고 2D 영상을 통해 사용자의 얼굴영역을 검출할 수 있다. 이때, 한 영상에 복수의 사용자가 촬영되는 상황을 고려하여 보조단말기는 사용자의 위치에 따라 특정한 사용자의 거리정보와 얼굴영역을 검출하여 제 1 얼굴이미지를 획득할 수 있다. 일 실시예로, 보조단말기는 사전에 게이트에서 가장 가까운 위치의 사용자를 검출하고자 하는 사용자로 판단하도록 설정될 수 있다. 가령, 한 영상에 3명의 사용자가 촬영된 경우 각 사용자의 거리정보를 획득하고 가장 가까운 거리정보를 갖는 특정 사용자를 검출할 수 있다. 그리고 깊이영상에서 가장 가까운 거리정보를 갖는 사용자의 위치를 파악하고 2D 영상에서 파악된 사용자 위치에 대응되는 위치의 사용자에 대한 얼굴영역을 추출할 수 있다. 즉, 게이트에서 가장 가까운 위치의 사용자에 대한 얼굴영역을 추출하여 이를 토대로 제 1 얼굴이미지를 생성할 수 있다.On the other hand, the auxiliary terminal may obtain distance information of the user through the depth image and detect the face region of the user through the 2D image. In this case, in consideration of a situation in which a plurality of users are photographed in one image, the auxiliary terminal may acquire first face images by detecting distance information and a face region of a specific user according to the position of the user. In one embodiment, the auxiliary terminal may be set to determine that the user who wants to detect the user of the position closest to the gate in advance. For example, when three users are photographed in one image, distance information of each user may be obtained and a specific user having the closest distance information may be detected. In addition, the position of the user having the closest distance information in the depth image may be identified, and the face region of the user corresponding to the position of the user identified in the 2D image may be extracted. That is, the first face image may be generated based on the extracted face region of the user located closest to the gate.

한편, 게이트 제어 장치는 이와 같이 생성된 제 1 얼굴이미지를 출입국서버에 전송한다. 보조단말기를 통해 생성된 제 1 얼굴이미지는 게이트 제어 장치로 전달된다. 그리고 게이트 제어 장치는 제 1 얼굴이미지를 출입국서버로 전송할 수 있다. 물론 보조단말기가 직접 출입국서버로 전송할 수도 있겠으나 후술할 메인단말기에서 촬영된 제 2 얼굴이미지와의 비교과정에 따라 게이트 제어 장치가 제 1 얼굴이미지를 사전에 획득할 필요가 있다. 따라서 기본적으로는 게이트 제어 장치가 보조단말기로부터 제 1 얼굴이미지를 전달받아서 출입국서버로 전송하도록 동작한다.On the other hand, the gate control device transmits the first face image generated in this way to the immigration server. The first face image generated by the auxiliary terminal is transferred to the gate control device. The gate control apparatus may transmit the first face image to the immigration server. Of course, the auxiliary terminal may be directly transmitted to the immigration server, but the gate control apparatus needs to acquire the first face image in advance according to a comparison process with the second face image photographed by the main terminal, which will be described later. Therefore, basically the gate control device operates to receive the first face image from the auxiliary terminal and transmit it to the immigration server.

120 단계에서 출입국서버는 데이터베이스에 저장된 복수개의 얼굴이미지들 중에서 제 1 얼굴이미지와 유사한 적어도 하나의 후보이미지를 선별한다. 출입국서버는 복수개의 얼굴이미지를 저장하는 데이터베이스를 포함한다. 복수개의 얼굴이미지는 각 사용자의 여권, 신분증 및 탑승권 중 하나로부터 추출된 이미지일 수 있다. 출입국서버는 120 단계에 앞서 복수개의 얼굴이미지를 저장하는 단계에 따라 데이터베이스에 복수개의 얼굴정보를 저장할 수 있다. 출입국 서버는 예컨대, One ID 기반의 출입국 처리를 위해서 사전에 복수의 승객들이 출입국 절차를 사전에 처리하기 위해서 여권이나 신분증 및 탑승권 중 하나를 이용하여 자신의 얼굴정보를 등록하면, 이러한 과정에 따라 추출된 이미지를 데이터베이스에 미리 저장할 수 있다.In step 120, the immigration server selects at least one candidate image similar to the first face image from among the plurality of face images stored in the database. The immigration server includes a database for storing a plurality of face images. The plurality of face images may be images extracted from one of each user's passport, ID card and boarding pass. The immigration server may store the plurality of face information in the database according to the step of storing the plurality of face images prior to step 120. The immigration server, for example, when a plurality of passengers register their face information using one of a passport, ID card and boarding pass to pre-enter the immigration process for One ID based immigration processing, is extracted according to this process. Saved images can be stored in the database in advance.

출입국서버는 복수개의 얼굴이미지들 중에서 제 1 얼굴이미지와 유사한 얼굴이미지를 선별한다. 일 실시예로, 출입국서버는 제 1 얼굴이미지에서 사용자의 고유한 생체적 특징을 나타내는 특징정보를 추출하고 복수개의 얼굴이미지들의 특징정보와 비교함으로써 적어도 하나의 얼굴이미지를 선별할 수 있다. 이때, 유사도에 대한 임계값을 사전에 설정하여 이미지 간의 유사도가 임계값을 초과할 정도로 유사한지 비교할 수 있다. The immigration server selects a face image similar to the first face image from among the plurality of face images. In an embodiment, the immigration server may select at least one face image by extracting feature information representing a user's unique biometric feature from the first face image and comparing the feature information of the plurality of face images. In this case, a threshold value for the similarity may be set in advance to compare whether the similarity between the images is similar enough to exceed the threshold.

이러한 과정에 따라 출입국서버는 제 1 얼굴이미지와 매칭되는 적어도 하나의 얼굴이미지를 선별할 수 있는데 이러한 얼굴이미지를 후보이미지라고 한다. 후보이미지는 제 1 얼굴이미지의 사용자와 동일한 사용자일 수도 있고 아닐 수도 있다. 즉, 제 1 얼굴이미지의 사용자라고 추정되는 후보들에 대한 얼굴이미지를 선별하는 것일 수 있다. 이러한 과정에 따라 1차적으로 불필요한 정보는 필터링하고 전체 시스템의 부하를 줄일 수 있다.According to this process, the immigration server may select at least one face image matching the first face image, which is called a candidate image. The candidate image may or may not be the same user as the user of the first face image. That is, the face image may be selected for candidates estimated to be users of the first face image. This process can primarily filter out unnecessary information and reduce the overall system load.

130 단계에서 게이트 제어 장치는 메인단말기를 이용하여 사용자에 대한 제 2 얼굴이미지를 획득한다. 게이트 제어 장치는 보조단말기와 마찬가지로 메인단말기와 연결되어 있으며 메인단말기에서 촬영된 제 2 얼굴이미지를 획득할 수 있다.In operation 130, the gate control apparatus acquires a second face image of the user using the main terminal. The gate control device is connected to the main terminal like the auxiliary terminal and can acquire the second face image photographed by the main terminal.

한편, 메인단말기는 이하의 단계에 따라 제 2 얼굴이미지를 획득한다. 먼저 3D 카메라를 이용하여 사용자에 대한 깊이영상을 촬영한다. 그리고 2D 카메라를 이용하여 사용자에 대한 2D 영상을 촬영한다. 메인단말기는 보조단말기와 마찬가지로 3D 카메라와 2D 카메라를 구비하고 있으며 이를 이용하여 사용자에 대한 깊이영상과 2D 영상을 촬영할 수 있다.On the other hand, the main terminal acquires a second face image according to the following steps. First, a depth image of a user is photographed using a 3D camera. And a 2D camera is used to capture a 2D image of the user. The main terminal has a 3D camera and a 2D camera like the auxiliary terminal, and can use the depth image and the 2D image for the user.

한편, 메인단말기는 깊이영상에서 획득된 거리정보를 이용하여 사용자의 위치 및 라이브니스를 검출하고 2D 영상에서 사용자의 얼굴영역을 검출하여 제 2 얼굴이미지를 획득한다. 보조단말기와 메인단말기는 서로 다른 위치에서 사용자를 촬영한다. 가령, 보조단말기가 게이트의 일 측면에 설치된다면 메인단말기는 게이트의 정면에 설치될 수 있다. 두 단말기는 각자 설치된 위치에서 사용자를 촬영할 수 있다. 즉, 게이트 제어 장치는 서로 다른 위치에서 촬영된 동일 사용자에 대한 영상을 두 단말기로부터 획득할 수 있다. Meanwhile, the main terminal detects the location and liveness of the user by using the distance information acquired from the depth image and obtains the second face image by detecting the face region of the user in the 2D image. The secondary terminal and the main terminal photograph the user at different positions. For example, if the auxiliary terminal is installed on one side of the gate, the main terminal may be installed on the front of the gate. The two terminals can photograph the user at each installed position. That is, the gate control apparatus may acquire images of the same user photographed at different locations from two terminals.

한편 130 단계에서 게이트 제어 장치는 적어도 하나의 후보이미지 중 제 2 얼굴이미지에 매칭되는 하나를 선택한다. 앞서 획득된 제 1 얼굴이미지가 후보이미지를 선별하기 위해 이용된 것이라면 제 2 얼굴이미지는 후보이미지 중에서 특정 사용자를 선택하기 위해 이용된다. 일 실시예로, 메인단말기가 제 2 얼굴이미지에 포함된 특징정보를 추출하고 적어도 하나의 후보이미지들의 특징정보와 비교하여 제 2 얼굴이미지에 매칭되는 하나의 후보이미지를 선택할 수 있다. 여기에서도 앞서 후보이미지를 선별하는 것과 마찬가지로 미리 유사도에 대한 기준을 설정하여 후보이미지들 중 하나를 선택할 수 있다. In operation 130, the gate control apparatus selects one of the at least one candidate image that matches the second face image. If the previously acquired first face image is used to select a candidate image, the second face image is used to select a specific user among the candidate images. In an embodiment, the main terminal extracts feature information included in the second face image and compares the feature information of the at least one candidate image to select one candidate image matching the second face image. Here, similarly to selecting candidate images, one of the candidate images may be selected by setting criteria for similarity in advance.

한편 상술한 바와 같이 게이트 제어 장치는 제 1 얼굴이미지와 제 2 얼굴이미지를 획득한다. 게이트 제어 장치는 두 단말기에서 촬영한 사용자가 동일인인지 판단하기 위해서 두 얼굴이미지를 비교하여 이미지간의 유사도를 검출하는 단계를 수행한다. 만약 비교 결과 두 얼굴이미지의 사용자가 동일인이 아닌 것으로 판단되면 게이트 제어 장치는 보조단말기, 메인단말기 또는 두 단말기 모두에서 얼굴이미지를 다시 촬영하도록 제어신호를 전송할 수 있다. 반대로 두 얼굴이미지를 비교한 결과 동일인인 것으로 판단되면 얼굴인증을 위한 촬영이 오류없이 수행된 것으로 판단할 수 있다.Meanwhile, as described above, the gate control apparatus acquires the first face image and the second face image. In order to determine whether the user photographed by the two terminals is the same person, the gate control apparatus compares two face images and detects similarity between the images. If it is determined that the user of the two face images is not the same person, the gate control apparatus may transmit a control signal to retake the face image from the auxiliary terminal, the main terminal, or both terminals. On the contrary, if it is determined that the same person is the result of comparing two face images, it may be determined that the shooting for face authentication was performed without error.

140 단계에서 게이트 제어 장치는 매칭 결과에 따라 게이트를 제어한다. 일 실시예로, 제 2 얼굴이미지에 매칭되는 후보이미지가 존재하면 제어신호를 전송하여 게이트를 오픈할 수 있다. 만약 제 2 얼굴이미지에 매칭되는 후보이미지가 존재하지 않으면 게이트 제어 장치가 메인단말기에 제어신호를 전송하여 제 2 얼굴이미지를 다시 획득하도록 동작할 수 있다.In operation 140, the gate control apparatus controls the gate according to the matching result. In an embodiment, if a candidate image matching the second face image exists, the gate may be opened by transmitting a control signal. If there is no candidate image matching the second face image, the gate control apparatus may be operated to acquire the second face image again by transmitting a control signal to the main terminal.

도 2는 개시된 기술의 일 실시예에 따른 얼굴인증을 이용한 게이트 제어 시스템에 대한 블록도이다. 도 2를 참조하면 얼굴인증을 이용한 게이트 제어 시스템(200)은 보조단말기(210), 메인단말기(220), 출입국서버(230) 및 게이트 제어 장치(240)를 포함한다.2 is a block diagram of a gate control system using face authentication according to an embodiment of the disclosed technology. Referring to FIG. 2, the gate control system 200 using face authentication includes an auxiliary terminal 210, a main terminal 220, an immigration server 230, and a gate control device 240.

보조단말기(210)는 복수개의 카메라를 이용하여 촬영 가능한 영역에 진입한 복수의 사용자들 중 게이트에 입장하는 특정 사용자를 검출하기 위한 첫 번째 얼굴이미지를 촬영한다. 보조단말기(210)는 3D 카메라(210a), 2D 카메라(210b), 이미지 프로세서(210c) 및 통신모듈(210d)를 포함한다. 보조단말기(2100는 3D 카메라(210a)를 이용하여 복수의 사용자들에 대한 깊이영상을 촬영하고, 2D 카메라(210b)를 이용하여 복수의 사용자들에 대한 2D 영상을 촬영한다. 보조단말기(210)는 2개의 카메라(210a, 210b)를 같은 시점에 제어하여 사용자에 대한 깊이영상과 2D 영상을 동일 시점에 촬영할 수 있다.The auxiliary terminal 210 photographs a first face image for detecting a specific user entering a gate among a plurality of users who have entered the imageable area using a plurality of cameras. The auxiliary terminal 210 includes a 3D camera 210a, a 2D camera 210b, an image processor 210c, and a communication module 210d. The auxiliary terminal 2100 photographs depth images of the plurality of users using the 3D camera 210a and photographs 2D images of the plurality of users using the 2D camera 210b. May control the two cameras 210a and 210b at the same time to capture the depth image and the 2D image of the user at the same time.

한편, 보조단말기(210)는 깊이영상에서 복수의 사용자들 각각에 대한 거리정보를 획득하고, 2D 영상에서 얼굴영역을 검출하기 위하여 이미지 프로세서(210c)를 이용한다. 일 실시예로, 깊이영상에서 추출된 깊이정보를 토대로 가장 가까운 위치의 사용자를 특정 사용자로 판단할 수 있다. 그리고 2D 영상에 포함된 얼굴영역들 중 특정 사용자의 위치와 중복되는 영역의 얼굴을 추출할 수 있다. On the other hand, the auxiliary terminal 210 uses the image processor 210c to obtain the distance information for each of the plurality of users in the depth image, and to detect the face region in the 2D image. In an embodiment, the user of the nearest position may be determined as a specific user based on the depth information extracted from the depth image. In addition, a face of an area overlapping with a location of a specific user among face areas included in the 2D image may be extracted.

즉, 두 카메라(210a, 210b)를 이용하여 촬영된 깊이영상과 2D 영상을 오버레이하여 중복되는 영역의 사용자에 대한 얼굴을 추출하는 것이 가능하다. 보조단말기(210)는 이러한 동작에 따라 사용자의 얼굴에 대한 첫 번째 이미지를 생성할 수 있다. 생성된 첫 번째 얼굴이미지는 통신모듈(210d)를 이용하여 게이트 제어 장치(240)로 전송된다.That is, it is possible to extract the face for the user of the overlapping area by overlaying the depth image and the 2D image photographed using the two cameras 210a and 210b. The auxiliary terminal 210 may generate a first image of the face of the user according to the operation. The generated first face image is transmitted to the gate control device 240 using the communication module 210d.

메인단말기(220)는 보조단말기(210)와 동일한 복수개의 카메라를 이용하여 복수의 사용자들에 대한 두 번째 얼굴이미지를 촬영한다. 메인단말기(220)는 복수의 사용자들에 대한 깊이영상을 촬영하는 3D 카메라(220a), 복수의 사용자들에 대한 2D 영상을 촬영하는 2D 카메라(220b) 및 깊이영상에서 복수의 사용자들 각각에 대한 거리정보 및 라이브니스 정보를 획득하여 가장 가까운 위치의 사용자를 특정 사용자로 판단하고, 2D 영상에 포함된 얼굴영역들 중 특정 사용자의 위치와 중복되는 영역의 얼굴을 추출하여 두 번째 이미지를 생성하는 이미지 프로세서(220c)를 포함한다. The main terminal 220 photographs a second face image of the plurality of users by using the same camera as the auxiliary terminal 210. The main terminal 220 includes a 3D camera 220a for capturing depth images of a plurality of users, a 2D camera 220b for capturing 2D images of a plurality of users, and a plurality of users in depth images. Image that obtains distance information and liveness information to determine the user of the nearest location as a specific user, and extracts the face of the region overlapping the position of the specific user among the face areas included in the 2D image to generate a second image A processor 220c.

메인단말기(220)는 보조단말기가 첫 번째 이미지를 생성하는 것과 마찬가지로 2개의 카메라(220a, 220b)로부터 촬영된 깊이영상과 2D 영상을 토대로 특정 사용자의 얼굴에 대한 두 번째 이미지를 생성한다. 메인단말기(220)에서 생성된 두 번째 이미지는 통신모듈(220d)를 통해 게이트 제어 장치(240)로 전송될 수 있다. 게이트 제어 장치(240)도 타 단말기와 마찬가지로 통신모듈(240a)을 구비하고 있으며 서로의 통신모듈을 이용하여 이미지를 송수신할 수 있다.The main terminal 220 generates a second image of a specific user's face based on the depth image and the 2D image photographed from the two cameras 220a and 220b as the auxiliary terminal generates the first image. The second image generated by the main terminal 220 may be transmitted to the gate control device 240 through the communication module 220d. Like other terminals, the gate control device 240 includes a communication module 240a and can transmit and receive images using each other's communication modules.

출입국서버(230)는 보조단말기(210)가 생성한 첫 번째 이미지를 수신한다. 출입국서버(230)는 보조단말기(210)로부터 직접 첫 번째 이미지를 수신할 수도 있고 게이트 제어 장치(240)를 통해 첫 번째 이미지를 수신할 수 있다. 출입국서버(230)는 첫 번째 이미지와 비교하기 위한 복수개의 이미지를 데이터베이스에 저장하고 있으며 첫 번째 이미지와 유사한 적어도 하나의 후보이미지를 복수개의 이미지들로부터 선별할 수 있다. The immigration server 230 receives the first image generated by the auxiliary terminal 210. The immigration server 230 may receive the first image directly from the auxiliary terminal 210 or may receive the first image through the gate control device 240. The immigration server 230 stores a plurality of images for comparison with the first image in a database and may select at least one candidate image similar to the first image from the plurality of images.

일 실시예로, 출입국서버는 첫 번째 얼굴이미지에 포함된 특징정보를 추출하고 데이터베이스에 저장된 복수의 얼굴이미지들 각각의 특징정보와 비교하여 유사도가 임계값을 초과하는 적어도 하나의 얼굴이미지를 후보이미지로 선별할 수 있다. 유사도는 시스템(200)의 관리자가 임의의 값을 설정할 수 있다. 예컨대, 임계값을 70%로 설정하고 첫 번째 이미지의 특징정보와 70%를 초과하는 유사도를 갖는 일부의 얼굴이미지를 후보이미지로 선별할 수 있다.In one embodiment, the immigration server extracts feature information included in the first face image and compares the feature information of each of the plurality of face images stored in the database with at least one face image whose similarity exceeds a threshold. Can be selected. The similarity may be set by the administrator of the system 200 to any value. For example, the threshold value may be set to 70% and some face images having a similarity exceeding 70% with the feature information of the first image may be selected as candidate images.

게이트 제어 장치(240)는 출입국서버에서 수신한 적어도 하나의 후보이미지와 두 번째 얼굴이미지를 매칭하여 매칭 결과에 따라 게이트를 제어한다. 게이트 제어 장치(240)는 메인단말기(220)에서 전송된 두 번째 얼굴이미지와 출입국서버(230)에서 전송된 적어도 하나의 후보이미지를 비교한다. 만약 적어도 하나의 후보이미지 중 두 번째 얼굴이미지에 매칭되는 이미지가 존재하면 게이트 개폐를 위한 제어신호를 생성할 수 있다. The gate control apparatus 240 matches the at least one candidate image received from the immigration server and the second face image and controls the gate according to the matching result. The gate control device 240 compares the second face image transmitted from the main terminal 220 with at least one candidate image transmitted from the immigration server 230. If there is an image matching the second face image among the at least one candidate image, a control signal for opening and closing the gate may be generated.

반면 두 번째 얼굴이미지에 매칭되는 후보이미지가 존재하지 않으면 다시 사용자에 대한 얼굴이미지를 촬영하도록 제어신호를 생성할 수도 있다. 이 경우, 보조단말기(210)에 제어신호를 전송하거나 메인단말기(220)에 제어신호를 전송하거나 두 단말기(210, 220)에 각각 제어신호를 전송하여 사용자를 재촬영할 수 있다.On the other hand, if there is no candidate image matching the second face image, a control signal may be generated to photograph the face image of the user again. In this case, the user may be photographed again by transmitting a control signal to the auxiliary terminal 210, a control signal to the main terminal 220, or a control signal to the two terminals 210 and 220, respectively.

한편, 게이트 제어 장치(240)는 후보이미지와 두 번째 얼굴이미지를 비교하기 위해서 특징정보를 이용할 수 있다. 일 실시예로, 게이트 제어 장치(240)는 두 번째 얼굴이미지에 포함된 특징정보를 추출하고 적어도 하나의 후보이미지들의 특징정보와 비교하여 제 2 얼굴이미지에 매칭되는 하나의 후보이미지를 선택할 수 있다. 이러한 과정에 따라 두 번째 얼굴이미지에 매칭되는 후보이미지가 존재하면 게이트를 오픈할 수 있다. 만약 두 번째 얼굴이미지에 매칭되는 후보이미지가 존재하지 않으면 게이트 제어 장치(240)는 보조단말기 및 메인단말기 중 적어도 하나에 제어신호를 전송하여 얼굴이미지를 다시 획득할 수 있다.The gate control apparatus 240 may use the feature information to compare the candidate image with the second face image. In an embodiment, the gate control apparatus 240 may select one candidate image matching the second face image by extracting feature information included in the second face image and comparing the feature information of the at least one candidate image. . According to this process, if there is a candidate image matching the second face image, the gate can be opened. If there is no candidate image matching the second face image, the gate control apparatus 240 may acquire the face image again by transmitting a control signal to at least one of the auxiliary terminal and the main terminal.

한편, 게이트 제어 장치(240)는 보조단말기(210)로부터 수신한 첫 번째 얼굴이미지와 메인단말기(220)로부터 수신한 두 번째 얼굴이미지를 비교하여 두 이미지가 동일한 사용자에 대한 얼굴인지 판단한다. 일 실시예로, 게이트 제어 장치(240)는 첫 번째 얼굴이미지와 두 번째 얼굴이미지를 비교하여 이미지 간의 유사도가 임계값을 초과하면 두 번째 얼굴이미지를 적어도 하나의 후보이미지와 매칭하는데 이용할 수 있다. 만약 첫 번째 얼굴이미지와 두 번째 얼굴이미지를 비교하여 이미지 간의 유사도가 임계값 미만이면 보조단말기 및 메인단말기 중 적어도 하나에 재촬영을 위한 제어신호를 전송할 수 있다.Meanwhile, the gate control device 240 compares the first face image received from the auxiliary terminal 210 with the second face image received from the main terminal 220 and determines whether the two images are faces for the same user. In an embodiment, the gate control apparatus 240 may compare the first face image with the second face image and use the second face image to match the at least one candidate image if the similarity between the images exceeds a threshold. If the similarity between the images is less than the threshold value by comparing the first face image and the second face image, a control signal for re-taking may be transmitted to at least one of the auxiliary terminal and the main terminal.

한편, 게이트 제어 시스템(200)은 서버와 분리되어 보조단말기, 메인단말기 및 게이트 제어 장치로만 구성될 수도 있다. 즉, 게이트 제어 장치가 보조단말기에서 획득한 사용자의 첫 번째 얼굴이미지를 출입국서버로 전송하는 것이 아니라 자신이 적어도 하나의 후보이미지를 선별할 수 있다. On the other hand, the gate control system 200 may be separated from the server may be configured only of the auxiliary terminal, the main terminal and the gate control device. That is, the gate control apparatus may select at least one candidate image instead of transmitting the first face image of the user acquired from the secondary terminal to the immigration server.

이를 위해 게이트 제어 장치는 출입국서버의 데이터베이스와 동기화된 데이터베이스를 포함할 수 있다. 그리고 보조단말기에서 첫 번째 얼굴이미지가 수신되면 동기화된 데이터베이스에 저장된 복수개의 얼굴이미지들 중 일부를 후보이미지로 선별할 수 있다. 당연하게도, 첫 번째 얼굴이미지가 전송되기 이전에 동기화된 데이터베이스에 복수개의 얼굴이미지들이 저장된다.To this end, the gate control device may include a database synchronized with the database of the immigration server. When the first face image is received from the auxiliary terminal, some of the plurality of face images stored in the synchronized database may be selected as candidate images. Naturally, a plurality of face images are stored in a synchronized database before the first face image is transmitted.

이러한 경우 원격지에 위치한 출입국서버로 이미지를 전송하기 위한 코스트가 발생하지 않으며, 이미지 전송 과정에 있어서 발생할 수 있는 오류 또한 방지하는 것이 가능하다. 다만, 게이트가 설치된 현장에서 사용자의 얼굴과 유사한 후보들을 즉시 선별할 수 있도록 일정 수준 이상의 성능을 가진 프로세서 또는 이러한 프로세서가 탑재된 컴퓨터를 이용하는 것이 바람직하다.In this case, a cost for transmitting an image to an immigration server located at a remote location does not occur, and it is possible to prevent an error that may occur in an image transmission process. However, it is preferable to use a processor or a computer equipped with the processor having a certain level of performance or more so that candidates similar to the face of the user can be immediately selected at the gate installed site.

도 3은 개시된 기술의 일 실시예에 따른 시스템의 동작흐름을 나타낸 도면이다. 도 3을 참조하면 사용자(301)가 게이트(240c)에 접근하면 보조단말기(210)와 메인단말기(220)가 사용자의 얼굴을 각각 촬영할 수 있다. 3 is a diagram illustrating an operation flow of a system according to an embodiment of the disclosed technology. Referring to FIG. 3, when the user 301 approaches the gate 240c, the auxiliary terminal 210 and the main terminal 220 may photograph the face of the user, respectively.

게이트 제어 장치는 두 단말기(210, 220)로부터 각각 얼굴이미지를 수신하고 두 얼굴이미지 중에서 보조단말기(210)에서 수신된 얼굴이미지를 출입국 서버(230)로 전송할 수 있다. 그리고 출입국 서버(230)로부터 첫 번째 얼굴이미지에 대한 후보이미지를 수신하면 메인단말기(220)로부터 수신한 얼굴이미지와 비교하여 후보이미지들 중 사용자가 존재하는지 판단할 수 있다. The gate control apparatus may receive face images from the two terminals 210 and 220, respectively, and transmit the face images received from the auxiliary terminal 210 among the two face images to the immigration server 230. When the candidate image for the first face image is received from the immigration server 230, it may be compared with the face image received from the main terminal 220 to determine whether a user exists among the candidate images.

출입국 서버(230)는 게이트 제어 장치와 사전에 연결된 통신경로(302)를 따라 후보이미지를 전송할 수 있다. 만약 사용자(301)가 사전에 출입국 처리를 위해 자신의 얼굴이미지를 One ID 용도로 등록한 사용자라면, 후보이미지들 중 매칭되는 이미지가 존재할 것이다. 이러한 경우에는 게이트(240c)가 좌우로 회동하여 열리게 된다.The immigration server 230 may transmit the candidate image along the communication path 302 previously connected with the gate control device. If the user 301 has previously registered his / her face image for One ID for immigration, there will be a matching image among the candidate images. In this case, the gate 240c rotates to the left and right to open.

도 4는 개시된 기술의 일 실시예에 따른 보조단말기와 메인단말기를 나타낸 도면이다. 도 4를 참조하면 시스템(200)은 게이트(240c)에 구비된 2개의 단말기(210, 220)를 이용하여 인증을 수행할 수 있다. 일 실시예로, 게이트(240c)의 정면에 메인단말기(220)를 구비하고 게이트의 일 측면에 보조단말기(210)가 설치될 수 있다. 그리고 게이트 제어 장치(240)도 두 단말기(210, 220)와 함께 게이트(240c)가 있는 현장에 배치될 수 있으며 두 단말기(210, 220)와 연결된 상태를 유지할 수 있다. 게이트 제어 장치(240)는 두 단말기와 유선으로 연결될 수 있으며 필요 시 무선으로도 연결될 수 있다.4 is a diagram illustrating an auxiliary terminal and a main terminal according to an embodiment of the disclosed technology. Referring to FIG. 4, the system 200 may perform authentication using two terminals 210 and 220 provided at the gate 240c. In an embodiment, the main terminal 220 may be provided at the front of the gate 240c, and the auxiliary terminal 210 may be installed at one side of the gate. In addition, the gate control device 240 may be disposed at the site where the gate 240c is provided along with the two terminals 210 and 220, and may be connected to the two terminals 210 and 220. The gate control device 240 may be connected to two terminals by wire and may also be wirelessly connected when necessary.

한편, 얼굴인증에 따른 효율적인 동작과 속도개선을 위해서 두 단말기(210, 220)는 각각 메인단말기와 서브단말기로 구분할 수 있다. 그러나 기본적으로 두 단말기의 동작은 서로 동일하다. 예컨대, 3D 카메라를 이용하여 촬영된 깊이영상을 통해 사용자의 거리정보를 파악하고 2D 카메라를 이용하여 촬영된 2D 영상을 통해 사용자의 얼굴영역을 추출할 수 있다. 그리고 두 영상을 오버레이하여 중복되는 특정 영역(401)의 사용자 얼굴을 검출할 수 있다. Meanwhile, two terminals 210 and 220 may be divided into main terminals and sub terminals, respectively, for efficient operation and speed improvement according to face authentication. Basically, however, the operations of the two terminals are the same. For example, the distance information of the user may be grasped through the depth image photographed using the 3D camera, and the face region of the user may be extracted from the 2D image photographed using the 2D camera. In addition, the user's face in the specific region 401 overlapping the two images may be detected.

여기에서 특정 위치(401)는 게이트 전방에 미리 정해진 지점일 수도 있고 두 단말기에 포함된 3D 카메라와 2D 카메라가 사용자 촬영이 가능한 위치일 수 있다. 사용자는 출입국을 위해 게이트를 통과할 목적으로 얼굴인증을 수행하게 되는데, 사전에 사용자의 얼굴을 보다 정확하게 촬영할 수 있도록 특정 위치(401)를 지정해 놓음으로써 얼굴촬영을 보다 정확하게 수행할 수 있다.The specific location 401 may be a predetermined point in front of the gate, or may be a location where the 3D camera and the 2D camera included in the two terminals can be photographed by the user. The user performs face authentication for the purpose of passing through the gate for immigration, and the face shooting can be performed more accurately by designating a specific position 401 so that the face of the user can be accurately captured in advance.

도 5는 3D 깊이 카메라를 이용하여 촬영된 깊이영상을 나타낸 도면이다. 도 5를 참조하면 깊이영상에 촬영된 복수의 사용자는 서로 다른 색상으로 표시된다. 여기에서 색상의 차이는 곧 사용자의 거리정보를 의미한다. 가령 색상이 밝을수록 더 가까운 것으로 판단할 수 있다. 또는 색상이 더 진할수록 더 가까운 것으로 볼 수도 있다. 5 is a diagram illustrating a depth image photographed using a 3D depth camera. Referring to FIG. 5, a plurality of users captured in the depth image are displayed in different colors. Here, the color difference means distance information of the user. For example, the brighter the color, the closer it can be determined. Or the darker the color, the closer it can be seen.

일반적으로 얼굴이 크게 촬영된 사용자가 가까이 위치한 것으로 인식할 수 있으나 개시된 기술에 따르면 사용자 영역의 크기는 고려하지 않고 거리정보를 토대로 어느 사용자가 게이트에서 더 가까운지 판단한다. 또는 얼굴인증을 수행하기 위해서 사용자가 위치해야할 특정 위치(401)에 가장 인접한 사용자가 어느 사용자인지를 판단한다.In general, it may be recognized that a user with a large face photographed is located close, but according to the disclosed technology, it is determined which user is closer to the gate based on distance information without considering the size of the user area. Alternatively, it is determined which user is the user closest to the specific location 401 where the user should be located in order to perform face authentication.

도 6은 2D 카메라를 이용하여 촬영된 2D 영상을 나타낸 도면이다. 도 5를 참조하면 2D 카메라가 촬영하는 영상은 사용자의 얼굴을 포함한다. 즉 단말기가 정면 또는 측면에서 촬영한 영상을 토대로 각 사용자의 얼굴이미지를 추출할 수 있다. 시스템의 관리자는 2D 카메라의 화각을 고려하여 얼굴인증을 수행하는데 최적의 지점을 특정 위치로 결정하여 해당 위치에 사용자가 정확히 설 수 있도록 마크를 표시할 수 있다.6 is a diagram illustrating a 2D image photographed using a 2D camera. Referring to FIG. 5, an image captured by the 2D camera includes a face of a user. That is, the terminal may extract the face image of each user based on the image photographed from the front or the side. The administrator of the system can determine the optimal point as a specific position to perform face authentication in consideration of the angle of view of the 2D camera and display a mark so that the user can stand exactly at that position.

한편, 윤곽선 추출 기법을 이용하여 어느 사용자가 타 사용자보다 앞선 위치에 있는 판단할 수도 있다. 그러나 이러한 방법은 윤곽선 추출 시 노이즈가 발생하면 거리 판단의 결과에 대한 정확도가 현저히 떨어지기 때문에 거리정보를 포함하는 깊이영상과 각 사용자들의 얼굴영역을 촬영한 2D 영상을 중첩시켜서 특정 사용자의 거리정보를 판단하는 것이 바람직하다.On the other hand, it is possible to determine which user is ahead of other users by using the contour extraction technique. However, in this method, when noise occurs during contour extraction, the accuracy of the result of distance determination is significantly reduced. Therefore, a depth image including distance information and a 2D image of each user's face region are superimposed so that distance information of a specific user can be overlapped. It is desirable to judge.

도 7은 깊이영상과 2D 영상을 이용하여 얼굴이미지를 생성하는 것을 나타낸 도면이다. 도 7을 참조하면 2개의 영상을 오버레이하여 각 사용자의 얼굴이미지 별 진입순서를 파악하는 것이 가능하다. 가령, 거리정보를 갖는 깊이영상을 베이스로 하고, 영상에 촬영된 사용자의 이미지 중 얼굴에 대응되는 영역을 특정하고, 여기에 정면영상에서 추출된 얼굴이미지를 병합하는 것으로 오버레이를 수행할 수 있다.7 is a diagram illustrating the generation of a face image using a depth image and a 2D image. Referring to FIG. 7, it is possible to determine the entry order for each user's face image by overlaying two images. For example, an overlay may be performed by using a depth image having distance information as a base, specifying a region corresponding to a face among the images of the user photographed in the image, and merging the face image extracted from the front image.

한편, 이와 같이 오버레이된 영상을 이용하면 각 사용자별로 처리된 얼굴이미지들 중 가장 먼저 게이트에 진입하는 위치에 있는 특정 사용자의 얼굴이미지가 어떤 것인지 특정하는 것이 가능하다. 가령, 상술한 바와 같이 얼굴이미지를 병합한 이후에 가장 짧은 거리정보를 갖는 사용자가 누구인지 또는 특정 위치에 가장 가까이 위치한 사용자가 누구인지 판단하고 해당 사용자의 얼굴이미지를 서버로 전송할 수 있다.On the other hand, using the overlaid image, it is possible to specify what is the face image of a specific user located at the first position of entering the gate among the face images processed for each user. For example, after merging the face images as described above, it is possible to determine who is the user having the shortest distance information or who is closest to the specific location, and transmit the face image of the user to the server.

개시된 기술의 일 실시예에 따른 얼굴인증을 이용한 게이트 제어 방법 및 시스템은 이해를 돕기 위하여 도면에 도시된 실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 개시된 기술의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.The gate control method and system using the face authentication according to an embodiment of the disclosed technology has been described with reference to the embodiment shown in the drawings for clarity, but this is merely illustrative, and those skilled in the art It will be appreciated that various modifications and equivalent other embodiments are possible from this. Therefore, the true technical protection scope of the disclosed technology should be defined by the appended claims.

110 : 제 1 얼굴이미지 획득
120 : 후보이미지 선별
130 : 제 2 얼굴이미지 획득 및 매칭
140 : 매칭 결과에 따라 게이트 개폐 제어
200 : 얼굴인증 시스템
210 : 보조단말기
220 : 메인단말기
230 : 출입국서버
240 : 게이트 제어 장치110: first face image acquisition
120: Select candidate image
130: Acquiring and matching the second face image
140: gate opening and closing control according to the matching result
200: Facial authentication system
210: auxiliary terminal
220: main terminal
230: immigration server
240: gate control device

Claims (22)

게이트 제어 장치가 연결된 보조단말기를 이용하여 사용자에 대한 제 1 얼굴이미지를 획득하고 출입국서버에 전송하는 단계;
상기 출입국서버가 데이터베이스에 저장된 복수개의 얼굴이미지들 중에서 상기 제 1 얼굴이미지와 유사한 적어도 하나의 후보이미지를 선별하는 단계;
상기 게이트 제어 장치가 연결된 메인단말기를 이용하여 상기 사용자에 대한 제 2 얼굴이미지를 획득하고 상기 적어도 하나의 후보이미지 중 상기 제 2 얼굴이미지에 매칭되는 하나를 선택하는 단계; 및
상기 게이트 제어 장치가 상기 매칭 결과에 따라 게이트를 제어하는 단계;를 포함하되,
상기 출입국서버에 전송하는 단계는,
상기 보조단말기가 3D 카메라를 이용하여 상기 게이트에 접근하는 복수의 사용자들에 대한 깊이영상을 촬영하는 단계;
상기 보조단말기가 2D 카메라를 이용하여 상기 복수의 사용자들에 대한 2D 영상을 촬영하는 단계; 및
상기 깊이영상에서 획득된 거리정보를 이용하여 상기 복수의 사용자들 중 상기 사용자의 위치를 검출하고 상기 2D 영상에 포함된 얼굴영역들 중 상기 검출된 사용자의 위치에 대응되는 얼굴영역을 검출하고 상기 얼굴영역에서 상기 제 1 얼굴이미지를 추출하는 단계;를 포함하는 얼굴인증을 이용한 게이트 제어 방법.Obtaining a first face image of a user using an auxiliary terminal connected to the gate control apparatus and transmitting the first face image to the immigration server;
Selecting, by the immigration server, at least one candidate image similar to the first face image among a plurality of face images stored in a database;
Acquiring a second face image of the user using a main terminal to which the gate control device is connected and selecting one of the at least one candidate image that matches the second face image; And
And controlling the gate according to the matching result by the gate control device.
The step of transmitting to the immigration server,
Photographing, by the auxiliary terminal, a depth image of a plurality of users approaching the gate using a 3D camera;
Photographing, by the auxiliary terminal, a 2D image of the plurality of users using a 2D camera; And
The location information of the plurality of users is detected by using the distance information acquired from the depth image, and the face area corresponding to the detected location of the user is detected from the face areas included in the 2D image, and the face is detected. And extracting the first face image from the area. 삭제delete 제 1 항에 있어서,
상기 보조단말기는 상기 거리정보를 토대로 상기 복수의 사용자들 중 상기 게이트에서 가장 가까운 위치의 사용자를 상기 사용자로 검출하는 얼굴인증을 이용한 게이트 제어 방법.The method of claim 1,
The auxiliary terminal is a gate control method using a face authentication to detect the user of the closest position from the gate among the plurality of users as the user based on the distance information. 제 1 항에 있어서, 상기 후보이미지를 선별하는 단계는,
상기 출입국서버가 상기 제 1 얼굴이미지에 포함된 특징정보를 추출하고 상기 데이터베이스에 저장된 상기 복수개의 얼굴이미지들의 특징정보와 비교하여 유사도가 임계값을 초과하는 적어도 하나의 얼굴이미지를 상기 후보이미지로 선별하는 얼굴인증을 이용한 게이트 제어 방법.The method of claim 1, wherein the selecting of the candidate image comprises:
The immigration server extracts feature information included in the first face image and compares the feature information of the plurality of face images stored in the database to select at least one face image having a similarity exceeding a threshold as the candidate image. Gate control method using facial authentication. 제 1 항에 있어서, 상기 하나를 선택하는 단계는,
상기 메인단말기가 3D 카메라를 이용하여 상기 사용자에 대한 깊이영상을 촬영하는 단계;
상기 메인단말기가 2D 카메라를 이용하여 상기 사용자에 대한 2D 영상을 촬영하는 단계; 및
상기 깊이영상에서 획득된 거리정보를 이용하여 상기 사용자의 위치 및 라이브니스를 검출하고 상기 2D 영상에서 상기 사용자의 얼굴영역을 검출하여 상기 제 2 얼굴이미지를 추출하는 단계;를 포함하는 얼굴인증을 이용한 게이트 제어 방법.The method of claim 1, wherein the step of selecting one,
Photographing, by the main terminal, a depth image of the user using a 3D camera;
Photographing, by the main terminal, a 2D image of the user using a 2D camera; And
Detecting the location and liveness of the user by using the distance information acquired from the depth image, and extracting the second face image by detecting the face area of the user from the 2D image. Gate control method. 제 1 항에 있어서, 상기 하나를 선택하는 단계는,
상기 게이트 제어 장치가 상기 제 2 얼굴이미지에 포함된 특징정보를 추출하고 상기 적어도 하나의 후보이미지들의 특징정보와 비교하여 상기 제 2 얼굴이미지에 매칭되는 하나의 후보이미지를 선택하는 얼굴인증을 이용한 게이트 제어 방법.The method of claim 1, wherein the step of selecting one,
A gate using face authentication in which the gate control apparatus extracts feature information included in the second face image and selects one candidate image matching the second face image by comparing with feature information of the at least one candidate image; Control method. 제 1 항에 있어서, 상기 하나를 선택하는 단계는,
상기 게이트 제어 장치가 상기 제 1 얼굴이미지 및 상기 제 2 얼굴이미지를 비교하여 이미지 간의 유사도를 검출하는 단계를 포함하는 얼굴인증을 이용한 게이트 제어 방법.The method of claim 1, wherein the step of selecting one,
And comparing, by the gate control apparatus, the first face image and the second face image and detecting similarity between the images. 제 1 항에 있어서, 상기 게이트를 제어하는 단계는,
상기 제 2 얼굴이미지에 매칭되는 후보이미지가 존재하면 상기 게이트 제어 장치가 제어신호를 전송하여 상기 게이트를 오픈하는 얼굴인증을 이용한 게이트 제어 방법.The method of claim 1, wherein controlling the gate comprises:
And if the candidate image matching the second face image exists, the gate control apparatus transmits a control signal to open the gate. 제 1 항에 있어서, 상기 게이트를 제어하는 단계는,
상기 제 2 얼굴이미지에 매칭되는 후보이미지가 존재하지 않으면 상기 게이트 제어 장치가 상기 메인단말기에 제어신호를 전송하여 상기 제 2 얼굴이미지를 다시 획득하는 얼굴인증을 이용한 게이트 제어 방법.The method of claim 1, wherein controlling the gate comprises:
And if the candidate image matching the second face image does not exist, the gate control apparatus transmits a control signal to the main terminal to obtain the second face image again. 제 1 항에 있어서,
상기 출입국 서버는 상기 제 1 얼굴이미지를 획득하기 이전에 상기 복수개의 얼굴이미지들을 상기 데이터베이스에 저장하고, 상기 복수개의 얼굴이미지들은 복수의 사용자들의 여권, 신분증 및 탑승권 중 적어도 하나로부터 추출된 이미지인 것을 특징으로 하는 게이트 제어 방법.The method of claim 1,
The immigration server stores the plurality of face images in the database before acquiring the first face image, and the plurality of face images are images extracted from at least one of a plurality of users' passports, ID cards and boarding passes. Characterized in that the gate control method. 복수개의 카메라를 이용하여 촬영 가능한 영역에 진입한 복수의 사용자들 중 게이트에 입장하는 특정 사용자를 검출하기 위한 첫 번째 얼굴이미지를 촬영하는 보조단말기;
상기 복수개의 카메라와 동일한 카메라를 이용하여 상기 복수의 사용자들에 대한 두 번째 얼굴이미지를 촬영하는 메인단말기;
상기 첫 번째 얼굴이미지를 수신하고 데이터베이스에 저장된 복수의 얼굴이미지들 중 상기 첫 번째 얼굴이미지와 유사한 적어도 하나의 후보이미지를 선별하는 출입국서버; 및
상기 출입국서버에서 수신한 상기 적어도 하나의 후보이미지 및 상기 두 번째 얼굴이미지를 매칭하여 매칭 결과에 따라 게이트를 제어하는 게이트 제어 장치;를 포함하되,
상기 보조단말기는,
상기 복수의 사용자들에 대한 깊이영상을 촬영하는 3D 카메라;
상기 복수의 사용자들에 대한 2D 영상을 촬영하는 2D 카메라; 및
상기 깊이영상에서 상기 복수의 사용자들 각각에 대한 거리정보를 획득하여 가장 가까운 위치의 사용자를 상기 특정 사용자로 판단하고, 상기 2D 영상에 포함된 얼굴영역들 중 상기 특정 사용자의 위치와 중복되는 영역의 얼굴을 추출하여 상기 첫 번째 이미지를 생성하는 이미지 프로세서;를 포함하는 얼굴인증을 이용한 게이트 제어 시스템.An auxiliary terminal for capturing a first face image for detecting a specific user entering a gate among a plurality of users who have entered the imageable area using the plurality of cameras;
A main terminal photographing a second face image of the plurality of users using the same camera as the plurality of cameras;
An immigration server for receiving the first face image and selecting at least one candidate image similar to the first face image among a plurality of face images stored in a database; And
And a gate control device matching the at least one candidate image and the second face image received from the immigration server and controlling a gate according to a matching result.
The auxiliary terminal,
3D camera for taking a depth image of the plurality of users;
A 2D camera for capturing 2D images of the plurality of users; And
Obtaining distance information for each of the plurality of users from the depth image determines the user of the closest position as the specific user, and determines a region overlapping with the position of the specific user among the face areas included in the 2D image. And an image processor for extracting a face to generate the first image. 삭제delete 제 11 항에 있어서, 상기 메인단말기는,
상기 복수의 사용자들에 대한 깊이영상을 촬영하는 3D 카메라;
상기 복수의 사용자들에 대한 2D 영상을 촬영하는 2D 카메라; 및
상기 깊이영상에서 상기 복수의 사용자들 각각에 대한 거리정보 및 라이브니스 정보를 획득하여 가장 가까운 위치의 사용자를 상기 특정 사용자로 판단하고, 상기 2D 영상에 포함된 얼굴영역들 중 상기 특정 사용자의 위치와 중복되는 영역의 얼굴을 추출하여 상기 두 번째 이미지를 생성하는 이미지 프로세서;를 포함하는 얼굴인증을 이용한 게이트 제어 시스템.The method of claim 11, wherein the main terminal,
3D camera for taking a depth image of the plurality of users;
A 2D camera for capturing 2D images of the plurality of users; And
Obtaining distance information and liveness information for each of the plurality of users from the depth image determines the user of the closest position as the specific user, and determines the location of the specific user among the face areas included in the 2D image. And an image processor for extracting faces of overlapping regions to generate the second image. 제 11 항에 있어서,
상기 출입국서버는 상기 첫 번째 얼굴이미지에 포함된 특징정보를 추출하고 상기 데이터베이스에 저장된 상기 복수의 얼굴이미지들 각각의 특징정보와 비교하여 유사도가 임계값을 초과하는 적어도 하나의 얼굴이미지를 상기 후보이미지로 선별하는 얼굴인증을 이용한 게이트 제어 시스템.The method of claim 11,
The immigration server extracts feature information included in the first face image and compares the feature information of each of the plurality of face images stored in the database with at least one face image having a similarity exceeding a threshold. Gate control system using face authentication to sort by. 제 11 항에 있어서,
상기 게이트 제어 장치는 상기 두 번째 얼굴이미지에 포함된 특징정보를 추출하고 상기 적어도 하나의 후보이미지들의 특징정보와 비교하여 상기 두 번째 얼굴이미지에 매칭되는 하나의 후보이미지를 선택하는 얼굴인증을 이용한 게이트 제어 시스템.The method of claim 11,
The gate control apparatus may extract a feature information included in the second face image and compare the feature information of the at least one candidate image to select one candidate image matching the second face image. Control system. 제 11 항에 있어서,
상기 게이트 제어 장치는 상기 첫 번째 얼굴이미지 및 상기 두 번째 얼굴이미지를 비교하여 이미지 간의 유사도가 임계값을 초과하면 상기 두 번째 얼굴이미지를 상기 적어도 하나의 후보이미지와 매칭하는 얼굴인증을 이용한 게이트 제어 시스템.The method of claim 11,
The gate control apparatus compares the first face image and the second face image, and if the similarity between the images exceeds a threshold, the gate control system using face authentication matching the second face image with the at least one candidate image. . 제 11 항에 있어서,
상기 게이트 제어 장치는 상기 첫 번째 얼굴이미지 및 상기 두 번째 얼굴이미지를 비교하여 이미지 간의 유사도가 임계값 미만이면 상기 보조단말기 및 상기 메인단말기 중 적어도 하나에 재촬영을 위한 제어신호를 전송하는 얼굴인증을 이용한 게이트 제어 시스템.The method of claim 11,
The gate control apparatus compares the first face image and the second face image and performs face authentication to transmit a control signal for re-taking to at least one of the auxiliary terminal and the main terminal if the similarity between the images is less than a threshold value. Gate control system. 제 11 항에 있어서,
상기 게이트 제어 장치는 상기 두 번째 얼굴이미지에 매칭되는 후보이미지가 존재하면 상기 게이트를 오픈하는 얼굴인증을 이용한 게이트 제어 시스템.The method of claim 11,
And the gate control apparatus opens the gate when the candidate image matching the second face image exists. 제 11 항에 있어서,
상기 게이트 제어 장치는 상기 두 번째 얼굴이미지에 매칭되는 후보이미지가 존재하지 않으면 상기 보조단말기 및 상기 메인단말기 중 적어도 하나에 제어신호를 전송하여 얼굴이미지를 다시 획득하는 얼굴인증을 이용한 게이트 제어 시스템.The method of claim 11,
The gate control apparatus using the face authentication to obtain a face image again by transmitting a control signal to at least one of the auxiliary terminal and the main terminal if there is no candidate image matching the second face image. 제 11 항에 있어서,
상기 출입국 서버는 상기 첫 번째 얼굴이미지를 수신하기 이전에 상기 상기 데이터베이스에 복수개의 얼굴이미지들을 저장하고, 상기 복수개의 얼굴이미지들은 복수의 사용자들의 여권, 신분증 및 탑승권 중 적어도 하나로부터 추출된 이미지인 것을 특징으로 하는 게이트 제어 시스템.The method of claim 11,
The immigration server stores a plurality of face images in the database before receiving the first face image, wherein the plurality of face images are images extracted from at least one of a plurality of users' passports, ID cards and boarding passes. Gate control system. 삭제delete 삭제delete
KR1020190067147A 2019-06-07 2019-06-07 Method and system for gate control using face recognition KR102080252B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190067147A KR102080252B1 (en) 2019-06-07 2019-06-07 Method and system for gate control using face recognition
PCT/KR2019/007179 WO2020246652A1 (en) 2019-06-07 2019-06-14 Gate control method and system using face authentication

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190067147A KR102080252B1 (en) 2019-06-07 2019-06-07 Method and system for gate control using face recognition

Publications (1)

Publication Number Publication Date
KR102080252B1 true KR102080252B1 (en) 2020-02-21

Family

ID=69670975

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190067147A KR102080252B1 (en) 2019-06-07 2019-06-07 Method and system for gate control using face recognition

Country Status (2)

Country Link
KR (1) KR102080252B1 (en)
WO (1) WO2020246652A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220056280A (en) * 2020-10-27 2022-05-06 선문대학교 산학협력단 Ai based image processing system
KR20230033811A (en) * 2021-09-02 2023-03-09 (주)씨유박스 Method and system for detecting active liveness using face image

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030091395A (en) * 2002-05-27 2003-12-03 주식회사 케이디엔스마텍 System for controlling immigration using biorecognition technology
KR20170077366A (en) * 2015-12-28 2017-07-06 삼성에스디에스 주식회사 System and method for face recognition

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110006971A (en) * 2009-07-15 2011-01-21 주식회사 아이디테크 Method for extracting front face in entrance control system for entrance and exit admittance
KR101100700B1 (en) * 2011-06-03 2011-12-29 주식회사 테스나 Exit form and entry into a country control system using biometric passport
KR102158096B1 (en) * 2012-09-03 2020-10-23 삼성전자주식회사 Method for extracting three dimensional distance information from recognition object and apparatus therefor

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030091395A (en) * 2002-05-27 2003-12-03 주식회사 케이디엔스마텍 System for controlling immigration using biorecognition technology
KR20170077366A (en) * 2015-12-28 2017-07-06 삼성에스디에스 주식회사 System and method for face recognition

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220056280A (en) * 2020-10-27 2022-05-06 선문대학교 산학협력단 Ai based image processing system
KR102487033B1 (en) 2020-10-27 2023-01-12 주식회사 미르메이트 Ai based image processing system
KR20230033811A (en) * 2021-09-02 2023-03-09 (주)씨유박스 Method and system for detecting active liveness using face image
WO2023033287A1 (en) * 2021-09-02 2023-03-09 (주)씨유박스 Method and device for detecting active liveness by using facial image
KR102555103B1 (en) * 2021-09-02 2023-07-17 (주)씨유박스 Method and system for detecting active liveness using face image

Also Published As

Publication number Publication date
WO2020246652A1 (en) 2020-12-10

Similar Documents

Publication Publication Date Title
US11978295B2 (en) Collation system
US8422746B2 (en) Face authentication system and authentication method thereof
US8493178B2 (en) Forged face detecting method and apparatus thereof
KR102080252B1 (en) Method and system for gate control using face recognition
EP2291795A1 (en) Face recognition system and method
KR102145132B1 (en) Surrogate Interview Prevention Method Using Deep Learning
US20220075990A1 (en) Collation system
KR101596363B1 (en) Access Control Apparatus and Method by Facial Recognition
JP2007249298A (en) Face authentication apparatus and face authentication method
JP2007206898A (en) Face authentication device and access management device
KR102493219B1 (en) Authentication method and device for gate access
KR102059686B1 (en) Method, terminal and system for face authentication using multiple camera
JP2006099687A (en) User authentication device
JP2020064531A5 (en)
JP7040578B2 (en) Collation system
US20220335766A1 (en) Information processing apparatus, information processing method, and storage medium
JP6774036B2 (en) Collation system
JP2000293689A (en) Device and method for authenticating individual
JP2016110467A (en) Collation system, collation method, face-to-face collation system, and walk-through collation system
KR20150065529A (en) Method and apparatus for authenticating biometric by using face/hand recognizing
JP2019132019A (en) Information processing unit
JP7279774B2 (en) Information processing equipment
US20230342442A1 (en) Gate system, gate apparatus, and image processing method therefor
KR20100090115A (en) User identifying system and user identifying method
JP2007058525A (en) Individual authentication device and individual authentication display method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant