KR101148883B1 - Automated teller machine preventing illegal use and method for preventing illegal use in automated teller machine - Google Patents

Automated teller machine preventing illegal use and method for preventing illegal use in automated teller machine Download PDF

Info

Publication number
KR101148883B1
KR101148883B1 KR1020110099485A KR20110099485A KR101148883B1 KR 101148883 B1 KR101148883 B1 KR 101148883B1 KR 1020110099485 A KR1020110099485 A KR 1020110099485A KR 20110099485 A KR20110099485 A KR 20110099485A KR 101148883 B1 KR101148883 B1 KR 101148883B1
Authority
KR
South Korea
Prior art keywords
face
user
card
image
time
Prior art date
Application number
KR1020110099485A
Other languages
Korean (ko)
Inventor
김재희
서재규
음성민
윤두환
Original Assignee
아이포콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아이포콤 주식회사 filed Critical 아이포콤 주식회사
Application granted granted Critical
Publication of KR101148883B1 publication Critical patent/KR101148883B1/en

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F19/00Complete banking systems; Coded card-freed arrangements adapted for dispensing or receiving monies or the like and posting such transactions to existing accounts, e.g. automatic teller machines
    • G07F19/20Automatic teller machines [ATMs]
    • G07F19/207Surveillance aspects at ATMs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F19/00Complete banking systems; Coded card-freed arrangements adapted for dispensing or receiving monies or the like and posting such transactions to existing accounts, e.g. automatic teller machines
    • G07F19/20Automatic teller machines [ATMs]
    • G07F19/206Software aspects at ATMs
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07DHANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D2211/00Paper-money handling devices

Abstract

PURPOSE: An automatic teller machine and an illegal use detection method thereof are provided to prevent illegal use by detecting disguised user faces. CONSTITUTION: A camera(10) is arranged on the front side of an automatic teller machine in order to record images of user faces. A storage device(14) permanently stores the images recorded by the camera. A card reader device(20) comprises a card slot for using financial services. The card reader device reads various kinds of information stored in an inserted card when the card is inserted into the card slot. A disguised face detection device(60) determines a disguised user face by analyzing the image of the user face. The disguised face detection device acquires an image which is recorded right before predetermined time from an insertion time point of the card using a real-time buffer list.

Description

부정 사용 판정 기능을 구비한 금융 자동화 기기 및 금융 자동화 기기의 부정 사용 판정 방법{AUTOMATED TELLER MACHINE PREVENTING ILLEGAL USE AND METHOD FOR PREVENTING ILLEGAL USE IN AUTOMATED TELLER MACHINE}Financial automated device with fraud determination function and method for fraud determination of financial automation device {AUTOMATED TELLER MACHINE PREVENTING ILLEGAL USE AND METHOD FOR PREVENTING ILLEGAL USE IN AUTOMATED TELLER MACHINE}

본 발명은 금융 자동화 기기를 이용하는 사용자의 정면 얼굴을 촬영한 영상을 이용하여 사용자가 얼굴을 위장하고 있는지의 여부를 판정함으로써 얼굴을 가린 채 부정하게 사용하는 것을 방지할 수 있는 금융 자동화 기기 및 금융 자동화 기기의 부정 사용 판정 방법에 관한 것이다. The present invention is a financial automation device and financial automation that can prevent fraudulent use by covering the face by determining whether the user is disguising the face using an image of the front face of the user who uses the financial automation device. The present invention relates to a method for determining illegal use of a device.

최근, 고객에게 편리한 금융 서비스를 제공하기 위하여, 금융 자동화 기기(ATM: Automated Teller Machine)가 널리 설치되어 사용되고 있으며, 이러한 ATM에 의해 현금 입출금, 통합 계좌 관리, 전자 상거래 대금의 지불, 전자 인증, 공과금의 전자 고지 및 납부(EBPP), 개인간 송금 등의 다양한 금융 서비스가 제공되고 있다.Recently, in order to provide convenient financial services to customers, automated teller machines (ATMs) have been widely installed and used, and cash withdrawals, integrated account management, payment of e-commerce bills, electronic authentication, and utility bills are made by such ATMs. Financial services include electronic notices and payments (EBPP) and interpersonal remittances.

한편, ATM은 언제라도 자유롭게 이용할 수 있고, 사용을 감시하는 관리자가 없으므로, 부정한 사용자가 자신의 얼굴을 위장하고 다른 사람의 정보(예를 들면, 현금 카드, 신용 카드, 통장 등)를 이용하여 현금을 인출하는 등의 부정한 사용에 대하여 노출되어 있다는 문제점이 있다. On the other hand, ATMs are freely available at any time, and there are no administrators to monitor their use, so fraudulent users disguise their faces and use other people's information (e.g., cash cards, credit cards, bank accounts, etc.) There is a problem in that it is exposed to fraudulent use, such as withdrawal.

따라서, 부정한 사용자가 자신의 얼굴을 가리거나 카메라를 가리고 ATM를 사용하는 것을 막기 위하여, 촬영된 영상으로부터 얼굴의 식별 가능성을 판단하는 기술이 화두가 되고 있으며, 이러한 필요에 따라 다양한 방법들이 제안되어 왔다. Therefore, in order to prevent an unauthorized user from covering their face or covering the camera and using an ATM, a technique for determining a face's identification possibility from a captured image has been a hot topic, and various methods have been proposed according to such needs. .

하지만 종래의 방법들은 ATM에 설치된 카메라가 사용자의 정면 얼굴을 항상 획득할 수 있다는 가정하에서 제안된 것들로서, 어떻게 비강압적으로 사용자의 정면 얼굴 영상을 획득할 것인가에 대한 방안에 대해서는 설명하지 않고 있다. 또한, 시스템의 잘못된 판단에 의해서 범죄의도가 없는 사용자가 얼굴 가림으로 식별되어 ATM을 사용하지 못할 경우도 발생할 수 있는데, 이러한 경우에 어떻게 대비 및 처리할 것인가에 대한 명확한 해결책을 제시하고 있지 못하다.However, the conventional methods are proposed under the assumption that the camera installed in the ATM can always acquire the front face of the user, and does not explain how to non-forceively acquire the front face image of the user. In addition, there may be a case where a user without criminal intention is identified as a face mask and cannot use the ATM due to the wrong judgment of the system, and in this case, there is no clear solution on how to prepare and handle the ATM.

한편, 사용자의 얼굴 가림 등을 검출하기 위한 방안의 예시로서, 일본특허출원 평4-76690호는 센서를 통해 카메라와 사용자 사이의 거리를 측정하여 거리가 너무 멀면 사용자에게 다가오도록 요청하고, 사용자가 정상 거리에 있으면 영상을 촬영하여 사용자 얼굴의 정상 여부를 판단하는 방법을 개시하고 있다. 정상 여부는 미리 저장된 범죄자 리스트와 비교하거나, 마스크, 선글라스 등을 이용한 얼굴 가림을 판단하거나, 손으로 카메라를 가리는 것을 판단하여 결정한다. 정상 여부 식별 결과에 이상이 있을 경우에는 얼굴을 가린 물체를 벗어달라고 요구하거나 은행 창구에서 금융 요청을 다시 접수하도록 안내할 수 있으며, 경보 장치를 작동시키거나 금융 거래 시간을 지연시키는 등의 처리를 수행하고 있다. On the other hand, as an example of a method for detecting the occlusion of the user, Japanese Patent Application No. Hei 4-76690 measures the distance between the camera and the user through a sensor and asks the user to approach the user if the distance is too long. Disclosed is a method of determining whether a user's face is normal by taking an image when the distance is normal. The normality is determined by comparing with a pre-stored criminal list, by determining whether the face is masked using a mask or sunglasses, or by covering the camera with a hand. If there is an abnormality in the identification result of normality, it may be requested to remove the obscured object, or the bank tells the bank to accept the financial request again. Doing.

또다른 해결 방안으로서, 일본특허 평5-35992호가 있는데, 사용자의 얼굴 영상을 취득하고 눈, 입, 귀, 코 등의 특징을 추출하고 검출 정도에 따라 가중치를 주어 의심 인물과의 일치 정도를 판단한다. 의심 인물로 판단된 경우에는 관리자에게 통보하고 비디오 테이프 등에 녹화하는 방법을 개시하고 있다. Another solution is Japanese Patent No. Hei 5-35992, which acquires a user's face image, extracts eye, mouth, ear and nose features and weights them according to the detection level to determine the degree of agreement with the suspected person. do. If it is determined that the person is suspicious, the administrator is notified and the video recording method is disclosed.

한편, 한국특허출원 제1998-82154호에서는, ATM에 부착된 감시 카메라로부터 촬영된 사용자의 얼굴 영상에서 눈, 코, 입 등의 특징점을 추출하기 위하여 피부색 정보와 배경 영상 정보를 사용하는 방법을 설명하고 있다. Meanwhile, Korean Patent Application No. 1998-82154 describes a method of using skin color information and background image information to extract feature points such as eyes, nose, and mouth from a face image of a user photographed from a surveillance camera attached to an ATM. Doing.

또한, 국내등록특허 제10-293897호는 ATM에서 촬영된 얼굴 영상에서 얻어진 컬러 정보를 이진화하여 얼굴 존재 가림 여부를 판단하는 방법을 설명하고 있다. In addition, Korean Patent No. 10-293897 describes a method of determining whether a face is covered by binarizing color information obtained from a face image photographed at an ATM.

더욱, 국내등록특허 제10-473598에는 ATM에서 촬영된 영상에서 얼굴이 검출된 경우, 이를 상하의 두 영역으로 나누고, 나누어진 영역의 각각을 다수의 트레이닝 영상으로부터 주성분 분석 기법을 통해 추출된 아이겐 벡터에 투영시킴으로써 얼굴에 선글라스 혹은 마스크가 있는가를 검출하는 방법이 개시되어 있다. Furthermore, in Korean Patent No. 10-473598, when a face is detected in an image taken by an ATM, it is divided into two upper and lower regions, and each divided region is applied to an eigen vector extracted through a principal component analysis technique from a plurality of training images. A method of detecting whether there is sunglasses or a mask on the face by projecting is disclosed.

마지막으로, 국내등록실용 제20-393236는 ATM에 적외선 센서를 장착하여 사용자의 얼굴 온도를 측정함으로써 얼굴의 가림 여부를 판단하는 방법을 개시하고 있다. Lastly, Korean Registration No. 20-393236 discloses a method of determining whether a face is covered by mounting an infrared sensor in an ATM and measuring a user's face temperature.

이와 같이, 종래의 기술들은, 사용자의 정면 얼굴을 정확하게 촬영하였다고 가정하고, 촬영된 정면 얼굴을 이용하는 과정을 개시하고 있을 뿐이며, 실제로 정면 얼굴을 획득하기 위한 방법에 대해서는 전혀 고려하지 않고 있다. As described above, the related arts assume that the front face of the user is accurately photographed, and only disclose the process of using the photographed front face, and do not consider a method for actually obtaining the front face.

따라서, 카메라의 위치에 따라서 정면 얼굴을 촬영할 수 없을 수도 있으며, 사용자가 실수로 고개를 돌려서 정면 얼굴을 획득할 수 없는 경우도 있으므로, 이에 대한 대책이 필요하다. Therefore, the front face may not be photographed depending on the position of the camera, and the user may not acquire the front face by turning his head by mistake. Therefore, a countermeasure is required.

본 발명은 이러한 문제점을 해결하기 위한 것으로서, ATM을 통해 금융 서비스를 이용하고자 하는 사용자의 얼굴 위장 여부를 신속하고 정확하게 판별할 수 있도록 하여 금융 자동화 기기에 대한 부정 사용 여부를 정확하게 판정할 수 있도록 하고자 한다.The present invention is to solve this problem, it is to be able to quickly and accurately determine whether the face of the user who wants to use the financial services through ATM to accurately determine whether the illegal use of the financial automation device .

또한, 비강압적인 방법으로 사용자의 정면 얼굴 영상을 확보하고, 획득된 얼굴 정면의 영상으로 얼굴의 식별의 가능성을 판단하고, 획득된 얼굴 영상이 식별 가능한 정도이면 ATM의 사용을 허용하고, 하나 또는 복수의 획득된 얼굴 영상 중에서 식별 가능한 얼굴이 발견되지 않을 시에는 사용자에게 점진적으로 정면 얼굴 촬영에 대한 협조를 요구함으로써 사용자의 얼굴 식별 가능성을 향상시키도록 하고자 한다. In addition, the front face image of the user is secured by a non-coercive method, the possibility of face identification is determined by the acquired face front image, and if the acquired face image is identifiable, the use of ATM is allowed; When no identifiable face is found among a plurality of acquired face images, the user is required to gradually cooperate with frontal face photographing to improve the face identification possibility of the user.

상술한 목적을 달성하기 위한 본 발명에 따른 리얼타임 버퍼링 프로세스를 통한 부정 사용 판정 기능을 구비한 금융 자동화 기기는, 금융 서비스의 실행을 위한 카드가 투입되면 상기 카드에 저장된 카드 정보를 판독하는 카드 판독 수단; 사용자가 금융 서비스를 처리를 요청하는 업무 요청 조작 및 상기 카드 정보에 대한 비밀번호 입력을 위해 사용자에 의해 조작되는 조작 수단; 상기 카드 정보에 대하여 지정된 비밀번호와 상기 조작 수단을 통해 입력된 비밀번호가 동일한 경우에 상기 업무 요청 조작에 따른 금융 서비스를 처리하는 금융 서비스 처리 수단; 금융 자동화 기기를 이용하고자 하는 사용자의 얼굴을 촬영하기 위하여 전방을 향해 배치되어 전방을 촬영한 영상을 연속적으로 출력하는 카메라; 상기 카메라에서 연속적으로 출력하는 상기 영상을 저장하고 저장된 상기 영상을 저장된 순서에 따라 삭제함으로써 상기 영상을 일정 시간 동안 임시 저장하는 리얼타임 버퍼 리스트와, 상기 카드 판독 수단에 상기 카드가 투입되면 상기 리얼타임 버퍼 리스트로부터 상기 카드의 투입 시점으로부터 소정 시간 직전에 촬영된 영상을 획득하는 영상 획득부와, 획득한 상기 영상에서 사용자의 얼굴을 분석하고 사용자 얼굴의 정상 식별 가능 여부를 판정하는 얼굴 분석부와, 사용자의 얼굴이 정상 식별 가능한 경우에 상기 업무 요청 조작에 따른 금융 서비스를 정상 처리하도록 지시하고 사용자의 얼굴이 정상 식별 가능하지 않은 경우에는 상기 금융 서비스 처리 수단에 상기 업무 요청 조작에 따른 금융 서비스를 처리하지 못하도록 지시하는 제어 명령을 출력하는 제어 명령 출력부를 구비하는 위장 판정 수단을 포함한다.A financial automation device having a fraud determination function through a real-time buffering process according to the present invention for achieving the above object, the card reading to read the card information stored in the card when the card for the execution of the financial service is inserted Way; Operation means operated by the user for a business request operation for the user to request processing of the financial service and a password input for the card information; Financial service processing means for processing a financial service according to the business request operation when the password specified for the card information and the password input through the operation means are the same; A camera that is disposed toward the front to continuously photograph the face of the user who wants to use the financial automation device, and continuously outputs an image of the front; A real time buffer list for temporarily storing the video for a predetermined time by storing the video continuously output from the camera and deleting the stored video according to the stored order; and when the card is inserted into the card reading means, the real time An image acquisition unit for acquiring an image photographed immediately before a predetermined time from the insertion point of the card from a buffer list, a face analyzer for analyzing a user's face from the acquired image and determining whether the user's face can be normally identified; Instructs the financial service according to the business request operation to be normally processed when the face of the user is normally identified, and process the financial service according to the business request operation to the financial service processing means when the face of the user is not normally identified. Control command to instruct the user not to Control command output section for outputting comprises a means for determining the stomach comprising a.

또한, 상기 카메라는 사용자가 카드를 투입하는 투입구에 근접한 위치에 설치되는 것을 특징으로 한다.In addition, the camera is characterized in that installed in the position close to the inlet for the user to insert the card.

또한, 상기 리얼타임 버퍼 리스트는, 상기 카메라에서 출력하는 상기 영상의 연속적인 프레임 중 임의의 정수 배수 번째 프레임을 선택적으로 임시 저장하는 것을 특징으로 한다.The real-time buffer list may be configured to temporarily store an arbitrary multiple-th frame of consecutive frames of the video output from the camera.

또한, 상기 영상 획득부는, 상기 리얼타임 버퍼 리스트로부터 상기 카드의 투입 시점으로부터 소정 시간 전 및 후의 임의의 시간 구간 동안 촬영되어 임시 저장된 다수의 영상을 획득하고, 상기 얼굴 분석부는, 상기 다수의 영상의 각각에 대하여 얼굴 식별 가능 여부를 판단하고, 상기 제어 명령 출력부는, 사용자의 얼굴을 식별 가능한 영상이 하나라도 존재하는 경우에는 상기 금융 서비스 처리 수단에 상기 업무 요청 조작에 따른 금융 서비스를 정상 처리하도록 지시하는 제어 명령을 출력하는 것을 특징으로 한다.The image acquisition unit may acquire a plurality of images photographed and temporarily stored during a predetermined time period before and after a predetermined time from the time point of insertion of the card from the real-time buffer list, and the face analyzer may include the plurality of images. It is determined whether face identification is possible for each, and the control command output unit instructs the financial service processing unit to normally process the financial service according to the business request operation when there is at least one image capable of identifying the user's face. And outputting a control command.

또한, 상기 얼굴 분석부는, 사용자의 얼굴에서 입과 적어도 하나의 눈이 식별 가능한 경우에 정상 식별 가능한 얼굴로 판정하는 것을 특징으로 한다.The face analyzer may determine that the face and the at least one eye in the user's face are normally identifiable faces.

또한, 상기 얼굴 분석부는, 사용자의 얼굴에서 눈과 입을 식별하고, 상기 식별된 눈과 입의 위치 관계가 역삼각형 형태인 것으로 판정된 경우에 정상 식별 가능한 얼굴로 판정하는 것을 특징으로 한다.The face analyzer may identify eyes and a mouth from a face of a user, and determine that the face is normally identifiable when it is determined that a positional relationship between the identified eyes and the mouth is an inverted triangle.

또한, 금융 자동화 기기를 이용하고자 하는 사용자의 얼굴을 카드 투입구의 근방에 설치된 카메라를 이용하여 연속적으로 촬영하여 일정 시간 동안 임시 저장하는 리얼타임 버퍼 리스트를 이용하여 금융 자동화 기기의 부정 사용을 판정하는 방법은, (a) 전방을 촬영한 영상을 연속적으로 입력받아 상기 리얼타임 버퍼 리스트에 임시 저장하는 단계; (b) 금융 서비스의 실행을 위한 카드가 투입되면 상기 리얼타임 버퍼 리스트로부터 상기 카드의 투입 시점으로부터 소정 시간 직전에 촬영된 영상을 획득하는 단계; (c) 상기 획득한 영상에서 사용자의 얼굴을 분석하고 사용자 얼굴의 정상 식별 가능 여부를 판정하는 단계; (d) 사용자의 얼굴이 정상 식별 가능한 경우에는 사용자가 요청하는 금융 서비스를 처리하도록 제어하고, 사용자의 얼굴이 정상 식별 가능하지 않은 경우에는 금융 자동화 기기에 대한 부정 사용으로 판단하여 사용자가 요청하는 금융 서비스의 처리를 거부하도록 제어하는 단계를 포함한다.In addition, a method of determining fraudulent use of a financial automation device using a real-time buffer list in which a face of a user who wants to use the financial automation device is continuously photographed using a camera installed near a card slot and temporarily stored for a predetermined time. The method may include: (a) sequentially receiving an image of a front photographed and temporarily storing the image in the real-time buffer list; (b) when a card for executing a financial service is inserted, acquiring an image photographed from the real-time buffer list immediately before a predetermined time from when the card is inserted; (c) analyzing the face of the user from the obtained image and determining whether the user's face can be normally identified; (d) If the user's face is normally identifiable, control to process the financial service requested by the user, and if the user's face is not normally identifiable, the user determines that the user requested the financial Controlling to deny processing of the service.

또한, 상기 (b)단계에서는, 상기 리얼타임 버퍼 리스트로부터 상기 카드의 투입 시점으로부터 소정 시간 전 및 후의 임의의 시간 구간 동안 촬영되어 임시 저장된 다수의 영상을 획득하고, 상기 (c)단계에서는, 상기 다수의 영상의 각각에 대하여 얼굴 식별 가능 여부를 판단하고, 상기 다수의 영상 중 사용자의 얼굴을 식별 가능한 영상이 하나라도 존재하는 경우에 사용자 얼굴 식별이 가능한 것으로 판정하는 것을 특징으로 한다. Further, in the step (b), a plurality of images captured and temporarily stored for a predetermined time period before and after a predetermined time from the point of time of the card insertion are obtained from the real-time buffer list, and in the step (c), the The apparatus may determine whether face identification is possible with respect to each of the plurality of images, and determine that the user face identification is possible when at least one image capable of identifying the face of the user exists among the plurality of images.

상술한 바와 같은 구성으로 이루어지는 본 발명에 의하면, 부정한 사용자가 얼굴을 위장한 채로 금융 자동화 기기를 이용하는 경우를 정확하고 신속하게 판단할 수 있어 금융 서비스 관련 사고를 미연에 방지할 수 있다. According to the present invention having the above-described configuration, it is possible to accurately and quickly determine the case where the illegal user uses the financial automation device while disguising his / her face, thereby preventing financial service related accidents.

또한, 본 발명에 의하면, 사용자들의 행동 특성을 기반으로 금융 자동화 기기의 카메라 위치와 영상 취득 시점을 설정함으로써, 사용자의 정면 얼굴을 비강압적으로 획득할 수 있어서, 사용자에 대하여 얼굴 촬영에 대한 불편함을 줄일 수 있게 된다. In addition, according to the present invention, by setting the camera position and the image acquisition time of the financial automation device based on the behavior characteristics of the user, it is possible to acquire the front face of the user non-compulsively, it is inconvenient for the face shooting to the user Can be reduced.

또한, 얼굴 식별 가능성 판단 알고리즘을 실행함에 있어 비강압적인 1단계 검증, 보다 강압적인 2단계 검증, 매우 강압적인 3단계 검증을 순차적으로 실행함으로써, 얼굴 식별이 용이한 사용자들은 조기에 거래를 허가하고 식별이 어려운 사용자라도 2단계 혹은 3단계를 통해서 거래를 가능하게 한다. 이와 같은 방식에 의하여 얼굴의 가려짐 판단이 실패하였더라도 즉시 거래가 차단되지 않으므로, 사용자의 부주의 또는 시스템의 오류에 의한 금융 서비스의 잘못된 차단 현상을 줄일 수 있게 된다. In addition, in executing the face discriminant determination algorithm, the non-coercive one-step verification, the more coercive two-step verification, and the very coercive three-step verification are executed sequentially, so that users who can easily identify the face are allowed to accept transactions early. Even if it is difficult for the user to identify, the transaction can be performed through two or three steps. In this way, even if the face masking judgment fails, the transaction is not immediately blocked, and thus, the erroneous blocking of the financial service due to user's carelessness or a system error can be reduced.

도 1은 본 발명의 일 실시예에 따른 부정 사용 판정 기능을 구비한 금융 자동화 기기를 도식적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 금융 자동화 기기의 외형을 개략적으로 도시한 도면이다.
도 3은 카메라에 의해 사용자를 촬영한 영상을 시간순으로 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 부정 사용 판정 기능을 구비한 금융 자동화 기기 중 위장 판정 수단의 구성을 나타낸 블록도이다.
도 5는 본 발명의 일 실시예에 따른 부정 사용 판정 방법의 절차를 설명하기 위한 흐름도이다.
도 6은 사용자의 정면 얼굴을 적절한 크기로 촬영하기 위하여, 가장 강압적인 영상 획득 방식에 의한 얼굴 영상 획득 상황을 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 따른 부정 사용 판정 방법에 있어서 유효 얼굴 검출 및 식별 가능 여부 판단 단계를 상세하게 설명하는 흐름도이다.
1 is a diagram schematically illustrating a financial automation device having a fraud determination function according to an embodiment of the present invention.
2 is a diagram schematically illustrating an external appearance of a financial automation device according to an embodiment of the present invention.
3 is a view showing images taken by a camera in chronological order.
Fig. 4 is a block diagram showing the configuration of the camouflage determination means in the financial automation device equipped with the illegal use determination function according to the embodiment of the present invention.
5 is a flowchart illustrating a procedure of a method of determining illegal use according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating a face image acquisition situation using the most coercive image acquisition method in order to photograph the front face of the user at an appropriate size.
7 is a flowchart illustrating in detail a valid face detection and identification possibility determination step in the method for determining the use of fraud according to an embodiment of the present invention.

이하, 첨부한 도면을 참조하여 본 발명을 상세하게 설명한다.
Hereinafter, with reference to the accompanying drawings will be described in detail the present invention.

도 1은 본 발명의 일 실시예에 따른 리얼타임 버퍼링 프로세스를 통한 부정 사용 판정 기능을 구비한 금융 자동화 기기를 도식적으로 나타낸 도면이다. 도 1을 참조하면, 본 발명에 따른 부정 사용 판정 기능을 구비한 금융 자동화 기기는, 카메라(10)와, 저장 수단(14)과, 카드 판독 수단(20)과, 조작 수단(30)과, 금융 서비스 처리 수단(32)과, 위장 판정 수단(60)을 포함하여 이루어진다. 1 is a diagram schematically illustrating a financial automation device having a fraud determination function through a real-time buffering process according to an embodiment of the present invention. Referring to Fig. 1, a financial automation device having a fraud determination function according to the present invention includes a camera 10, a storage means 14, a card reading means 20, an operation means 30, The financial service processing means 32 and the disguise determination means 60.

카메라(10)는, 금융 자동화 기기를 이용하고자 하는 사용자의 얼굴을 촬영하기 위하여 전방을 향해 배치되어 있으며, 사용자가 금융 자동화 기기를 이용 여부에 관계없이 전방을 계속적으로 촬영하고, 촬영한 영상을 연속적으로 출력한다. 물론, 카메라(10)에는 인체 감지 수단(도시하지 않음)이 배치되어 금융 자동화 기기에 사용자가 접근한 경우에만 전방(즉, 사용자)을 촬영하도록 구성될 수도 있다. 한편, 카메라의 배치된 위치는 사용자가 금융 서비스를 이용하기 위해 카드를 삽입하는 카드 투입구 근방으로 설정될 수 있는데, 이에 대해서는 후술한다. The camera 10 is disposed forward to photograph a face of a user who wants to use the financial automation device. The camera 10 continuously photographs the front and continuously captures the captured image regardless of whether the user uses the financial automation device. Will output Of course, the camera 10 may be arranged to photograph the front (ie, the user) only when the user detects a human body (not shown) when the user approaches the financial automation device. On the other hand, the position of the camera can be set near the card slot for the user to insert the card to use the financial services, which will be described later.

저장 수단(14)은, 카메라(10)에서 촬영한 전방의 영상을 영구 저장하기 위한 것으로서, 하드디스크, 플래시 메모리, 임시 저장용 버퍼 등을 포함할 수 있다. 저장 수단(14)은 네트워크를 통해 중앙 관제 센터와 연결되어 촬영되어 저장된 영상을 전송하는 기능을 포함할 수도 있다. The storage means 14 is for permanently storing the front image captured by the camera 10 and may include a hard disk, a flash memory, a temporary storage buffer, and the like. The storage means 14 may include a function of transmitting a captured image stored in connection with a central control center through a network.

카드 판독 수단(20)은, 금융 서비스의 실행을 위한 카드가 투입될 수 있는 카드 투입구를 포함하며, 카드 투입구에 카드가 투입되면 투입된 카드에 저장된 각종 정보를 판독한다. 카드 판독 수단(20)은, 카드를 카드 투입구에 투입하는 방식뿐만 아니라, 카드의 표면을 카드 리더에 접촉시키거나 슬라이드시키는 방식 등을 포함할 수 있다. 또한, 카드 판독 수단(20)은 단지 카드에 대해서만 판독 가능한 것이 아니라, 통장에 부착된 마그네틱선 또는 IC 칩 등으로부터 정보를 판독할 수도 있으며, 더욱, 지문, 홍채, 휴대폰, IC 카드, 바코드 등을 통한 정보를 판독하기 위한 다양한 수단을 포함할 수 있다. The card reading means 20 includes a card inlet through which a card for the execution of a financial service can be inserted, and when the card is inserted into the card inlet, the card reading means 20 reads various kinds of information stored in the inserted card. The card reading means 20 may include not only a method of inserting the card into the card slot, but also a method of bringing the surface of the card into contact with the card reader or slide. In addition, the card reading means 20 may not only read the card, but also read information from the magnetic wire or IC chip attached to the bankbook, and furthermore, it is possible to read fingerprints, irises, mobile phones, IC cards, barcodes, and the like. Various means for reading the information may be included.

조작 수단(30)은, 사용자가 제공받기를 원하는 금융 서비스에 대한 요청(업무 요청 조작)을 입력하거나, 투입한 카드에 대한 비밀번호 등을 입력하기 위해 이용된다. 조작 수단은, 숫자 또는 기호가 표시된 키패드, 디스플레이 기능을 포함하는 터치 스크린(31)(도 2 참조) 등을 포함할 수 있다. The operation means 30 is used to input a request (business request operation) for a financial service that the user wants to be provided, or input a password or the like for the inserted card. The operation means may include a keypad on which numbers or symbols are displayed, a touch screen 31 including a display function (see FIG. 2), and the like.

금융 서비스 처리 수단(32)은, 카드 판독 수단(20)에서 판독한 카드 정보와 사용자가 조작 수단(30)을 통해 입력한 각종 정보를 네트워크를 통해 금융 서비스 제공 서버(도시하지 않음)로 전송함으로써 사용자 인증 결과를 통보받은 후, 사용자가 요청한 금융 서비스를 제공하거나 거부한다. The financial service processing means 32 transmits card information read by the card reading means 20 and various information input by the user through the operation means 30 to a financial service providing server (not shown) via a network. After being notified of the user authentication result, the user provides or rejects the financial service requested by the user.

한편, 금융 서비스 처리 수단(32)은, 외부로부터 제어 명령을 입력받을 수 있으며, 이 제어 명령에 의해 금융 자동화 기기를 이용하는 사용자에게 요청된 금융 서비스의 제공 여부가 제어될 수 있다. Meanwhile, the financial service processing means 32 may receive a control command from the outside, and the control command may control whether the financial service requested by the user using the financial automation device is provided.

위장 판정 수단(60)은, 금융 자동화 기기를 이용하기 위하여 접근한 사용자의 얼굴을 분석하여, 얼굴이 사용자가 누구인지 식별 불가능한 정도로 가려져 있는지를 판정한다. 이를 위하여, 위장 판정 수단(60)은, 카메라(10)에서 연속적으로 촬영하여 출력하는 영상을 임시 저장하고, 임시 저장된 영상 중 저장된 순서가 오래된 것부터 순차적으로 삭제하고, 삭제된 공간에 새로 출력되는 영상을 저장함으로써, 카메라(10)에서 촬영된 영상을 일정 시간 동안 임시 저장할 수 있는 리얼타임 버퍼 리스트(62)를 포함한다. The camouflage determination means 60 analyzes the face of the user who has approached to use the financial automation device to determine whether the face is obscured to an unidentifiable degree of who the user is. To this end, the camouflage determination means 60 temporarily stores an image continuously photographed and output by the camera 10, sequentially deletes the stored order from the oldest among the temporarily stored images, and newly outputs the image in the deleted space. By storing the, the real-time buffer list 62 that can temporarily store the image taken by the camera 10 for a predetermined time.

그리고 위장 판정 수단(60)은, 이러한 리얼타임 버퍼 리스트(62)를 이용하여, 카드 판독 수단(20)의 카드 투입구에 카드가 투입되면 리얼타임 버퍼 리스트(62)로부터 카드의 투입 시점으로부터 소정 시간 직전에 촬영된 영상을 획득한다. 획득한 영상에서는 사용자의 얼굴이 추출되고, 추출된 사용자 얼굴의 각 부위가 정상적으로 식별 가능한지의 여부를 판정하고, 사용자의 얼굴이 정상 식별 가능한 경우에는 사용자가 요청하는 금융 서비스를 처리하도록 제어하는 제어 명령을 생성하여 출력하고, 사용자의 얼굴이 너무 많이 가려져서 정상 식별 불가한 경우에는 금융 자동화 기기가 부정하게 사용되는 것으로 판단하여 사용자가 요청하는 금융 서비스의 처리를 거부하도록 제어하는 제어 명령을 생성하여 출력한다. 제어 명령은 금융 서비스 처리 수단(32)에 제공된다. The camouflage determination means 60 uses this real-time buffer list 62, and when a card is inserted into the card insertion port of the card reading means 20, the predetermined time from the point of time of the card insertion from the real-time buffer list 62. Acquire images taken immediately before. In the obtained image, the user's face is extracted, and it is determined whether each part of the extracted user's face is normally identifiable, and if the user's face is normally identifiable, a control command for controlling the financial service requested by the user. If the user's face is so hidden that it is not normally identified, the control unit determines that the financial automation device is used improperly and generates and outputs a control command for controlling the processing of the financial service requested by the user. . The control command is provided to the financial service processing means 32.

이와 같은 구성의 본 발명의 일 실시예에 따른 부정 사용 판정 기능을 구비한 금융 자동화 기기는, 카드가 투입된 시점에서 사용자를 촬영한 영상을 이용하여 얼굴 위장 여부를 판정할 수도 있으나, 카드를 투입하기 소정 시간 직전에 촬영된 영상을 이용하여 얼굴 위장 여부를 판정하는 것이 바람직하다. 이는, 사용자가 카드를 카드 투입구에 삽입하기 직전에만 카드 투입구를 응시하게 되며, 카드가 삽입되는 순간에는 조작 수단을 바라본다는 행동 특성 때문이다. The financial automation device having a fraud determination function according to an embodiment of the present invention having such a configuration may determine whether or not to disguise a face by using an image photographed by a user at a time when a card is inserted. It is preferable to determine whether a face is camouflaged using an image taken just before a predetermined time. This is because the user stares at the card slot only immediately before the card is inserted into the card slot, and at the moment the card is inserted, the user looks at the operation means.

한편, 본 발명에 따른 금융 자동화 기기에서의 카메라는, 사용자가 반드시 응시하게 되는 금융 자동화 기기의 카드 투입구 근처에 설치된다. 이때, 카메라의 위치는 카드를 투입하는 손에 의해서 촬영되는 얼굴이 가려지지 않도록 설정된다. 또한, 추후 설명하는 얼굴틀을 사용한 강압적인 얼굴 영상 획득 단계에서도 용이하게 이용될 수 있도록 하기 위하여 카메라의 위치를 카드 투입구뿐만 아니라 얼굴틀을 보여줄 모니터(예를 들면, 조작 수단(31))와도 최대한 근접하게 설치되는 것이 바람직하다. On the other hand, the camera in the financial automation device according to the present invention is installed near the card inlet of the financial automation device that the user must stare at. At this time, the position of the camera is set so that the face photographed by the hand inserting the card is not covered. In addition, in order to be easily used in the forced face image acquisition step using the face frame to be described later, the position of the camera as well as the card insertion slot as well as the monitor (for example, the operation means 31) to show the face frame as much as possible. It is preferred to be installed in close proximity.

여기에서, 카메라가 카드 투입구에 근접하게 설치된다는 것의 의미는, 사용자가 카드 투입구에 카드를 삽입할 때 사용자로부터 정면 얼굴이 획득될 수 있는 위치에 카메라가 배치된다는 것으로 이해될 수 있다.
Here, the meaning that the camera is installed in close proximity to the card slot may be understood that the camera is placed at a position where a front face can be obtained from the user when the user inserts the card into the card slot.

도 3은, 카드 투입구 근처에 배치된 카메라에 의해 사용자를 촬영한 영상을 시간순으로 보여주는 도면이다. 도 3의 윗줄은 카메라에 의해 실제 촬영되는 영상을 보여주고 있는데, 카메라는 넓은 범위를 촬영해야 하고, 더불어, 카메라로부터 사용자와의 거리가 비교적 멀기 때문에 사용자의 상체 모습이 모두 촬영되고 있다.3 is a view showing images taken by a user in a chronological order by a camera disposed near a card slot. The upper row of FIG. 3 shows an image actually photographed by the camera. The camera has to photograph a wide range, and since the distance from the camera is relatively far from the user, all of the upper body of the user is photographed.

도 3에서 아랫줄의 영상들은, 윗줄의 각 영상에서 사용자의 얼굴 부분만을 확대한 것으로서, 얼굴이 가려져 있는지 판정하여 부정 사용자를 식별하기 위해 이용되는 얼굴 영상들을 보여준다. 각각의 얼굴 영상을 살펴보면, 카드 투입 시점으로 표시된 지점의 직전에 획득된 영상에서, 사용자가 카메라를 정면으로 바라보는 정면 얼굴 영상이 획득되고 있는 것을 알 수 있다.
In FIG. 3, the images in the lower row are enlarged only in the face part of the user in each image in the upper row, and show face images used to determine whether a face is covered and identify an illegal user. Looking at each face image, it can be seen that a front face image in which the user looks directly at the camera is obtained from the image acquired immediately before the point indicated as the card insertion time point.

도 4는 본 발명의 일 실시예에 따른 부정 사용 판정 기능을 구비한 금융 자동화 기기 중 위장 판정 수단의 구성을 나타낸 블록도이다. 상술한 바와 같은 부정 사용 판정 기능을 구비한 금융 자동화 기기의 동작을 실현하기 위한 위장 판정 수단(60)은, 리얼타임 버퍼 리스트(62)와, 영상 획득부(64)와, 얼굴 분석부(66)와, 제어 명령 출력부(68)를 구비한다. Fig. 4 is a block diagram showing the configuration of a camouflage determination means among financial automation devices equipped with a fraud determination function according to an embodiment of the present invention. The disguise determination means 60 for realizing the operation | movement of the financial automation device provided with the illegal use determination function as mentioned above is the real-time buffer list 62, the image acquisition part 64, and the face analysis part 66. ) And a control command output unit 68.

리얼타임 버퍼 리스트(62)는, 카메라(10)에서 연속적으로 출력하는 영상을 저장하고 저장된 영상을 저장된 순서에 따라 순차적으로 삭제함으로써 일정 시간 동안 영상을 임시 저장하는 효과를 나타낸다. The real-time buffer list 62 has an effect of temporarily storing an image for a predetermined time by storing images continuously output from the camera 10 and sequentially deleting the stored images in the stored order.

즉, 리얼타임 버퍼 리스트(62)는, 카메라(10)를 통해 실시간 촬영되어 연속적으로 흘러들어오는 영상 스트림을 일정 시간 동안 유지하고, 그 시간이 지나면, 가장 먼저 저장된 버퍼 영상 객체를 순서대로 제거한다. 더욱, 리얼타임 버퍼 리스트(62)는, 버퍼 리스트에 저장되는 영상의 개수를 100→50→30 등으로 줄이거나 또는 늘려가면서 최적의 프로세스 성능과 최적의 영상들을 얻어올 수 있도록 하는 기능을 제공한다. That is, the real-time buffer list 62 maintains a video stream which is captured in real time through the camera 10 and continuously flows for a predetermined time, and after that time, first removes the first stored buffer video object in order. In addition, the real-time buffer list 62 provides a function of obtaining an optimal process performance and optimal images while reducing or increasing the number of images stored in the buffer list to 100 → 50 → 30 or the like. .

영상 획득부(64)는, 카드 판독 수단(20)에 사용자에 의해 카드가 투입되면 리얼타임 버퍼 리스트(62)로부터 카드의 투입 시점으로부터 소정 시간 직전에 촬영된 영상을 획득한다. When the card is inserted into the card reading means 20 by the user, the image acquiring unit 64 acquires the captured image from the real time buffer list 62 just before a predetermined time from the time of inserting the card.

즉, 영상 획득부(64)는, 카드를 투입하는 시점 이전의 1초 내지 5초 사이의 리얼타임 버퍼 리스트의 영상 객체를 획득한다. 5초 동안의 영상 객체를 획득하는 경우에는, 영상 획득시 초당 8~15 프레임의 정지 영상을 획득할 수 있으므로 총 40~75 프레임의 영상이 획득되고, 획득한 영상에서 짝수번째 영상 또는 홀수번째 영상만을 취할 수 있다. 경우에 따라서는, 다른 정수의 배수번째마다의 영상을 선택적으로 획득할 수도 있으며, 지정된 시간 구간에서 선두자리 영상 획득 방법 또는 끝자리 영상 획득 방법 등을 서로 조합하여 정면 얼굴을 얻을 가능성이 가장 큰 영상을 획득하도록 할 수도 있다. That is, the image acquisition unit 64 acquires an image object of a real time buffer list between 1 second and 5 seconds before the card is inserted. In the case of acquiring an image object for 5 seconds, since a still image of 8 to 15 frames per second can be obtained when the image is acquired, a total of 40 to 75 frames are obtained, and the even or odd image is obtained from the acquired image. Can only take In some cases, an image for every multiple of another integer may be selectively acquired, and the image most likely to obtain a front face is obtained by combining a leading image acquisition method or an ending image acquisition method in a specified time interval. It can also be obtained.

이때, 카드 판독 수단(20)에 카드가 투입되었는지의 여부는, 카드 판독 수단(20) 또는 금융 서비스 처리 수단(32)에서 생성하는 특정의 신호를 감지하여 판단하는 것이 바람직하다. 즉, 카드가 투입되면, 카드 판독 수단에서 카드에 저장된 정보를 판독하고 금융 자동화 기기에서 금융 업무를 시작하게 되는데, 이 시점을 카트 투입 시점으로 간주할 수 있다. 이러한 구성에 의해, 카드가 투입되었는지 판단하기 위한 별도의 감지 수단을 설치하지 않을 수 있게 된다. At this time, it is preferable to determine whether or not a card is inserted into the card reading means 20 by detecting a specific signal generated by the card reading means 20 or the financial service processing means 32. That is, when the card is inserted, the card reading means reads the information stored in the card and starts the financial work in the financial automation device, which can be regarded as the time of cart insertion. By such a configuration, it is possible not to install a separate sensing means for determining whether the card has been inserted.

얼굴 분석부(66)는, 영상 획득부(64)에서 획득한 영상(얼굴 영상)에서 사용자의 얼굴 영역을 추출하고, 추출된 얼굴 영역을 검사하여 사용자의 얼굴이 사용자를 고유하게 식별할 수 있을 정도로 촬영되었는지의 여부를 판단한다. The face analyzer 66 may extract the face region of the user from the image (face image) acquired by the image acquirer 64, and examine the extracted face region to uniquely identify the user. It is judged whether or not photographing is enough.

즉, 사용자의 얼굴에서 입과 적어도 하나의 눈이 식별 가능한 지, 또는, 사용자의 얼굴에서 식별되는 양쪽 눈과 입의 위치 관계가 역삼각형 형태인지의 여부를 판단한다. That is, it is determined whether the mouth and the at least one eye are distinguishable from the user's face, or whether the positional relationship between both eyes and the mouth identified from the user's face is an inverted triangle.

한편, 얼굴 분석부(66)는, 획득한 얼굴 영상을 다양한 영상 프로세싱 방식에 의해 조작함으로써, 이어지는 얼굴 영역 검사에서 바람직한 결과를 얻을 수 있도록 전처리할 수도 있다. Meanwhile, the face analyzer 66 may preprocess the acquired face image by using various image processing methods to obtain desirable results in subsequent face region inspection.

더욱 상세하게는, 얼굴 분석부(66)는, 정상적인 얼굴의 검출을 위해서, 얼굴의 일부가 부분적으로 가려진 상황에서도 얼굴 식별의 유효성을 검증하기 위하여 눈의 검출과 입의 검출을 동적으로 진행하는 "복합 모양 검출기"를 적용할 수 있다. More specifically, the face analyzer 66 dynamically performs eye detection and mouth detection in order to verify the validity of face identification even when a part of the face is partially hidden for the detection of a normal face. Composite shape detectors ".

복합 모양 검출기 방식은, 얼굴이 약간 가려짐에 따라 얼굴 식별이 완전하지 않고 이로 인해 얼굴 식별 불가능한 것으로 판정되는 오류를 줄일 수 있다. 예를 들면, 한쪽 눈과 입이 보이고 다른쪽 눈이 안대나 머리카락 등에 의해 가려진 경우에는, 보이는 눈만을 이용하여 가려진 부분까지도 얼굴 형태를 예측하도록 함으로써, 사용자 얼굴의 완전한 감지가 어렵더라도 유효한 얼굴을 검출하고 판단할 수 있도록 한다. The complex shape detector scheme can reduce errors in which face identification is not complete as the face is slightly obscured, thereby determining that the face cannot be identified. For example, if one eye and mouth are visible and the other eye is covered by an eye patch or hair, the face shape can be predicted by using only the visible eye to detect a valid face even though it is difficult to completely detect the user's face. And judge.

제어 명령 출력부(68)는, 얼굴 분석부(66)에서 분석한 사용자의 얼굴이, 정상 식별 가능한 경우에 사용자가 조작 수단(30)을 통해 입력한 업무 요청 조작에 따른 금융 서비스를 정상 처리하도록 하는 제어 명령을 생성하여 금융 서비스 처리 수단(32)으로 전송하고, 사용자의 얼굴이 정상 식별 가능하지 않은 것으로 판정된 경우에는 금융 서비스 처리 수단(32)에 사용자의 업무 요청 조작에 따른 금융 서비스가 처리하지 않도록 지시하는 제어 명령을 출력한다. The control command output unit 68 performs normal processing of the financial service according to the business request operation input by the user through the operation means 30 when the face of the user analyzed by the face analyzer 66 is normally identified. Generate a control command and transmit it to the financial service processing means 32, and if it is determined that the user's face is not normally identifiable, the financial service according to the operation request operation of the user is processed by the financial service processing means 32; Print a control command that tells you not to.

위장 판정 수단(60)으로부터 제공되는 제어 명령은, 별도의 입력 수단을 통해 금융 서비스 처리 수단(32)에 입력될 수도 있고, 네트워크를 통한 금융 서비스 제공 서버(도시하지 않음)에 전송될 수도 있다.
The control command provided from the disguise determination means 60 may be input to the financial service processing means 32 through a separate input means, or may be transmitted to a financial service providing server (not shown) via a network.

한편, 상술한 구성을 다음과 같이 변형하여 실시할 수도 있다. In addition, the above-described configuration may be modified as follows.

즉, 영상 획득부(64)에서, 리얼타임 버퍼 리스트(62)로부터 카드의 투입 시점으로부터 소정 시간 직전의 임의의 시간 구간 동안 촬영되어 임시 저장된 다수의 영상을 획득하고, 얼굴 분석부(66)는, 다수의 영상의 각각에 대하여 얼굴 식별 가능 여부를 판단하고, 제어 명령 출력부(68)에서, 다수의 영상 중 사용자의 얼굴을 식별 가능한 영상이 하나라도 존재하는 경우에는 금융 서비스를 정상 처리하도록 하는 제어 명령을 출력하고, 사용자 얼굴을 식별할 수 있는 영상이 전혀 없는 경우에는 사용자의 얼굴이 부정하게 가려진 것으로 판정하여 금융 서비스의 제공을 차단하도록 하는 제어 명령을 출력하도록 할 수 있다. That is, the image acquisition unit 64 acquires a plurality of images captured and temporarily stored for a predetermined time period immediately before a predetermined time from the card insertion time from the real-time buffer list 62, and the face analyzer 66 It is determined whether the face can be identified for each of the plurality of images, and if the control command output unit 68 includes any one image that can identify the user's face among the plurality of images, the financial service is normally processed. If the control command is output and there is no image capable of identifying the user's face, the control command may be determined to block the provision of the financial service by determining that the user's face is illegally hidden.

이와 같이 다수의 영상을 이용하여 얼굴 식별 가능 여부를 판정하게 됨으로써, 조명의 일시적인 깜빡거림, 얼굴을 가리고 있던 물체의 제거(예를 들면, 머리카락이나, 안대 등의 제거), 얼굴이 향하는 방향의 변경 등에 의하여, 일시적으로 얼굴 식별이 불가능하여 원치않게 금융 서비스가 거부되었던 문제점을 해소할 수 있게 된다. By determining whether a face can be identified using a plurality of images as described above, temporary flickering of illumination, removal of an object covering the face (for example, removal of hair or eye patch), and change of the direction in which the face is directed Etc., it is possible to temporarily solve the problem that the face identification is impossible and the financial service is undesired.

상술한 바와 같은 구성에 의하면, 정면 얼굴을 이용하여 얼굴을 분석함으로써 부정한 사용자가 얼굴을 위장한 채로 금융 자동화 기기를 이용하는 경우를 정확하게 판단할 수 있으며, 카드의 투입 시점에서 위장 여부를 판단하므로 금융 서비스 관련 사고를 신속하게 방지할 수 있게 된다. 또한, 얼굴이 사용자가 의식하지 못한 사이에 일부 가려짐에 따른 원치 않는 금융 서비스 거부에 대한 오류도 최소화할 수 있다.
According to the above-described configuration, by analyzing the face using the front face, it is possible to accurately determine the case where the illegal user uses the financial automation device while disguising the face. Accidents can be prevented quickly. It also minimizes the error of unwanted financial denial of service as the face is partially obscured by the user.

다음, 상술한 바와 같이 구성될 수 있는 본 발명의 일 실시예에 따른 금융 자동화 기기를 이용한, 사용자가 얼굴을 가린 채 금융 자동화 기기를 부정하게 사용하는 상황을 판정하는 방법에 대하여 설명한다. Next, a method of determining a situation in which a user illegally uses the financial automation device while covering a face using the financial automation device according to an embodiment of the present invention, which can be configured as described above, will be described.

도 5는 본 발명의 일 실시예에 따른 부정 사용 판정 방법을 설명하는 흐름도이다. 먼저, 상기한 바와 같은 금융 자동화 기기에서는, 촬영된 영상이 리얼타임 버퍼 리스트(62)에 지속적으로 임시 저장 및 제거된다(S10). 물론 촬영된 영상은 저장 수단(14)에 계속 저장될 수 있다. 이때, 사용자가 접근하여 금융 자동화 기기에 카드를 입력하면(S20), 리얼타임 버퍼 리스트(62)로부터 카드 입력 시간으로부터 일정 시간 직전 또는 카드 입력 시점 또는 카드 입력 시점으로부터 일정 시간 직후에 촬영된 영상을 하나 또는 복수 개 획득하고(S30), 획득한 영상의 각각에서 사용자의 얼굴 위치(영역)를 확인하고, 얼굴의 구성 요소 중 적어도 눈과 입을 형태 및 위치를 검출하여 얼굴 영상의 사용자 식별 가능 여부를 판단한다(S40)(1차 시도). 그리고 눈과 입의 형태 및 위치가 정상적인 얼굴의 형태 및 위치와 일치하는 경우에는, 촬영된 영상의 사용자 얼굴이 부정한 이용을 위해 인위적으로 가려지지 않은 정상적인 얼굴이고 사용자가 누구인지 고유하게 식별 가능한 것으로 판단하고(S41), 사용자에 의해 요청된 금융 서비스가 정상적으로 처리될 수 있도록 한다(S50). 만약, 단계(S41)에서 사용자의 얼굴에서 눈과 입이 식별될 수 없거나, 부정하게 가려진 비정상 얼굴로 판단되는 경우에는, 사용자의 얼굴 영상이 정확하게 촬영되지 않은 것으로 판정하여 요청된 금융 서비스의 실행을 보류하고, 이어지는 2차 시도를 실행한다. 5 is a flowchart for explaining a method of determining illegal use according to an embodiment of the present invention. First, in the financial automation device as described above, the captured image is continuously stored and removed in the real-time buffer list 62 (S10). Of course, the captured image may continue to be stored in the storage means 14. In this case, when the user approaches and inputs the card to the financial automation device (S20), the real-time buffer list 62 captures the image captured immediately before the predetermined time from the card input time or after the predetermined time from the card input time or the card input time. Acquire one or more (S30), check the position (region) of the user in each of the acquired images, and detects the shape and position of at least eyes and mouth of the components of the face to determine whether the user can identify the face image S40 (first attempt). If the shape and position of the eyes and mouth coincide with the shape and position of the normal face, it is determined that the user's face of the captured image is a normal face which is not artificially masked for illegal use and that the user can be uniquely identified. In operation S41, the financial service requested by the user may be normally processed in operation S50. If, in step S41, the eyes and mouth cannot be identified from the user's face or are determined to be an abnormally hidden face, it is determined that the image of the user's face is not accurately captured to execute the requested financial service. Reserve and execute the subsequent second attempt.

즉, 얼굴이 가려진 것으로 판단되면, 금융 자동화 기기에서는 사용자에게 얼굴에 부착된 부착물을 제거하거나 카메라를 정면으로 바라보도록 하는, 협조 요청 안내를 출력할 수 있다(S42). 이러한 요청과 함께 사용자의 얼굴을 2차로 획득하게 되고(S43), 획득한 영상으로부터 얼굴 식별 가능 여부를 재판단한다(S44). 재판단 결과, 촬영된 2차 획득 영상으로부터 분석한 얼굴 영상이 식별 가능한 것으로 판정되면(S45), 단계(S50)로 진행하여 금융 거래를 허용하고 그렇지 않으면 다음의 3차 시도를 실행한다. In other words, if it is determined that the face is hidden, the financial automation device may output a request for cooperation to remove the attachment attached to the face or to face the camera (S42). With this request, the user's face is secondarily obtained (S43), and whether the face can be identified from the acquired image is determined (S44). If it is determined that the face image analyzed from the photographed second acquired image is identifiable (S45), the process proceeds to step S50 to allow financial transactions and otherwise executes the next third attempt.

3차 시도는 더욱 강압적인 협조 요청 단계로서, 사용자가 얼굴을 더욱 카메라에 가까이 위치시켜 정확한 얼굴이 촬영될 수 있도록 안내한다(S46). 이때 금융 자동화 기기의 조작 수단(31)에는 소정 크기의 얼굴틀이 표시되며, 사용자로부터 촬영되는 얼굴 영상도 동시에 표시된다. 사용자는 이 얼굴틀에 자신의 얼굴이 비슷한 크기로 부합될 수 있도록 카메라에 가까이 접근하고 카메라를 정면으로 바라봐야만 한다. The third attempt is a more coercive cooperation request step, in which the user places the face closer to the camera and guides the correct face to be photographed (S46). At this time, the face frame of a predetermined size is displayed on the operation means 31 of the financial automation device, and the face image photographed by the user is also displayed at the same time. The user must approach the camera closely and look straight at the camera so that his face fits in a similar size to the face frame.

이렇게 얼굴틀에 맞춘 사용자 얼굴 영상이 획득되면(S47), 얼굴 영상의 식별 가능성을 재차 판단하고(S48), 얼굴이 식별 가능한 정도로 획득되었다면(S49), 거래를 허용하도록 하고 그렇지 않은 경우에는 부정한 사용자의 접근으로 간주하여 거래를 차단시킨다(S52).When the user's face image that fits the face frame is obtained (S47), the possibility of identifying the face image is determined again (S48), and if the face is acquired to an identifiable level (S49), the user is allowed to accept the transaction. The transaction is blocked by considering the access (S52).

이러한 절차를 포함하는 본 발명에 의하면, 사용자가 금융 자동화 기기를 사용하기 위하여 적어도 한 번은 응시할 수밖에 없는 카드 투입구 부근에 감시 카메라를 부착시킴으로써, 카드 투입 전 또는 후의 영상을 이용하여 사용자의 정면 얼굴을 사용자가 인식하지 못하는 순간에 획득할 수 있게 됨으로써(1차 시도), 사용자의 편의성을 저해하지 않는다.According to the present invention including such a procedure, by attaching a surveillance camera near the card slot that the user has to stare at least once in order to use the financial automation device, the front face of the user is displayed by using the image before or after card insertion. Can be acquired at the moment it does not recognize (first attempt), without sacrificing user convenience.

또한, 많은 수의 사람들이 매일 금융 자동화 기기를 사용하는 것을 고려하였을 때, 사용자의 얼굴의 일부가 머리카락 등에 의해 가려진 경우와 같은 작은 오류에도 금융 업무를 차단한다면 다수의 사용자가 불편을 겪을 수 있게 된다. 따라서 본 발명에서는 단번에 얼굴 식별 가능성을 평가하는 방식이 아니라, 카드 투입 전 또는 후에 획득된 복수의 영상들을 사용하여 1차 얼굴 식별 가능성 평가를 실시하고, 이 1차 평가에서 식별 가능한 얼굴의 존재가 확인되지 않았을 경우에는 "얼굴 존재하는 부착물을 제거하고 카메라를 응시해주세요" 등과 같이 사용자의 협조를 요청한 후 영상을 다시 취득하여 2차 얼굴 식별 가능성 평가를 실시한다. 이러한 2차 시도에서도 식별 가능한 얼굴을 얻을 수 없을 때에는 모니터에 얼굴 형태의 틀(얼굴틀)을 보여주고 사용자가 이 틀에 본인의 얼굴을 맞춰줄 것을 요청한 후 정확한 얼굴 영상을 취득하는 매우 강압적인 3차 평가를 점진적으로 실시하도록 한다.
In addition, when a large number of people consider using a daily financial automation device, a large number of users may be uncomfortable if the financial service is blocked even in the case of a small error such as when a part of the user's face is covered by hair or the like. . Therefore, in the present invention, not the method of evaluating the face identification possibility at once, the first face identification possibility evaluation is performed using a plurality of images acquired before or after the card is inserted, and the existence of the face that can be identified in the first evaluation is confirmed. If not, request the user's cooperation, such as "Please remove any attachments on the face and stare at the camera". If you can't get an identifiable face in this second attempt, show a face frame on the monitor, ask the user to match your face to this frame, and then get an accurate face image. Gradual evaluation should be carried out gradually.

도 6은 얼굴틀을 이용한 매우 강압적인 3차 얼굴 식별 가능성 평가의 과정을 설명하기 위한 도면이다. 왼쪽의 개략적인 얼굴 형태를 띠는 얼굴틀이 오른쪽의 그림과 같이 모니터(조작 수단(31) 등)에 표시되고, 사용자는 표시되는 얼굴틀에 자신의 얼굴을 맞추는 위치로 얼굴을 이동시키고, 이때 사용자의 얼굴이 촬영되어 얼굴 영상이 획득된다. 위장 판정 수단에서는 획득된 얼굴 영상에 의해 3차 얼굴 식별 가능성 평가를 실행하고, 금융 서비스의 제공 여부를 최종 판정한다.
6 is a view for explaining a process of very coercive third-order face identification possibility evaluation using the face frame. A face frame having a rough face shape on the left is displayed on the monitor (operation means 31, etc.) as shown in the figure on the right, and the user moves the face to a position where his face is aligned with the displayed face frame. The face of the user is photographed to obtain a face image. In the camouflage determination means, the third face identification possibility evaluation is performed on the acquired face image, and finally, whether or not to provide financial service is finally determined.

도 7은 본 발명의 일 실시예에 따른 부정 사용 판정 방법에 있어서 유효 얼굴 검출 및 식별 가능성 판단의 절차를 상세하게 설명하는 흐름도로서, 도 5의 단계(S40) 및 단계(S41)를 더욱 상세하게 설명하기 위한 것이다. FIG. 7 is a flowchart illustrating in detail a procedure of valid face detection and identification possibility determination in a method of determining illegal use according to an embodiment of the present invention, in which step S40 and step S41 of FIG. To illustrate.

먼저, 단계(S30)에서 리얼타임 버퍼 리스트(62)로부터 카드 투입 시점의 전후의 다수의 영상이 획득되면(S401), 입력된 다수의 영상 중에서 어느 하나의 영상을 선택한다(S402). First, when a plurality of images before and after the card insertion time is obtained from the real-time buffer list 62 in step S30 (S401), one of the plurality of input images is selected (S402).

영상이 선택되면, 선택된 영상에서 사용자의 얼굴을 정확하게 식별할 수 있도록, 다양한 방식으로 영상 처리를 실행한다(S403). 이후, 영상 처리가 실행된 영상에서, 사용자의 얼굴을 찾아내고(S404), 얼굴의 영역을 확정한다(S405). 한편, 이전에 실행한 얼굴 식별 동작으로부터 학습된 결과를 이용하여 영상 속에서 얼굴의 위치를 간단하게 특정하고, 특정된 위치에서 얼굴의 윤곽을 추출하여 얼굴 영역을 확정할 수도 있다. When the image is selected, image processing is performed in various ways so that the user's face can be accurately identified in the selected image (S403). Thereafter, the user's face is found from the image on which the image processing is performed (S404), and the area of the face is determined (S405). Meanwhile, the face position may be determined by simply specifying the face position in the image by using the result learned from the face identification operation performed previously, and extracting the contour of the face from the specified position.

얼굴 영역이 확정되면, 사용자의 눈의 형태를 검출한다(S406). 사용자의 눈에 이어서 입의 형태를 검출한다(S407). 또한, 눈으로서 검출된 부분의 에지 정보와 미리 저장된 학습 정보를 기준으로 눈과 입의 형태를 확정한다. If the face area is determined, the shape of the user's eyes is detected (S406). The shape of the mouth is detected following the eyes of the user (S407). Also, the shape of the eyes and the mouth is determined based on the edge information of the portion detected as the eyes and the previously stored learning information.

만약 눈이 검출되지 않았거나, 입이 검출되지 않은 경우에는 분석중인 현재의 영상을 얼굴 식별 불가로 판정하고, 단계(S402)로 복귀하여 입력된 영상들 중 또다른 영상을 선택하여 단계(S403) 내지 단계(S407)에 의한 얼굴 식별 동작을 계속한다.If the eye is not detected or the mouth is not detected, it is determined that the current image under analysis is impossible to identify the face, and the process returns to step S402 to select another image among the input images, in step S403. From step S407, the face identification operation is continued.

한편, 사용자의 눈과 입이 정상적으로 검출되었다면, 양쪽 눈과 입의 위치 관계를 기하학적으로 판단하고, 역삼각형 형태인 것으로 판정된 경우에 정상 얼굴인 것으로 최종 판단하게 된다(S408). On the other hand, if the eyes and mouth of the user is normally detected, the positional relationship between both eyes and the mouth is determined geometrically, and if it is determined that the shape of the inverted triangle is finally determined as a normal face (S408).

정상 얼굴로 판단된 경우에, 단계(S50)로 진행하여 사용자에 의한 금융 거래를 허용할 수 있게 된다. If it is determined that the face is normal, the process proceeds to step S50 to allow financial transactions by the user.

상기한 단계(S406) 및 단계(S407)에서 눈이 검출되지 않았거나 입이 검출되지 않아서 단계(S402)로 복귀한 경우, 영상 입력 단계(S401)에서 가져온 모든 영상에 대해서 얼굴 식별 동작이 행해지고, 어느 영상에서도 정상 얼굴을 발견하지 못하였다면, 2차 시도의 단계(S42)로 진행하여 사용자에게 얼굴의 가려짐을 제거하도록 안내하는 등의 강화된 얼굴 식별을 시도할 수 있으며, 또는, 즉시 단계(S52)로 진행하여 사용자 얼굴 식별의 최종 실패로 판정하도록 할 수도 있다. When the eyes are not detected or the mouth is not detected at step S406 and step S407, and the process returns to step S402, the face identification operation is performed on all the images taken at the image input step S401, If no normal face is found in any of the images, an enhanced face identification may be attempted such as proceeding to step S42 of the second attempt to guide the user to remove occlusion of the face, or immediately performing step S52. It may be determined that the final failure of the user's face identification.

Claims (8)

금융 서비스의 실행을 위한 카드가 투입되면 상기 카드에 저장된 카드 정보를 판독하는 카드 판독 수단;
사용자가 금융 서비스를 처리를 요청하는 업무 요청 조작 및 상기 카드 정보에 대한 비밀번호 입력을 위해 사용자에 의해 조작되는 조작 수단;
상기 카드 정보에 대하여 지정된 비밀번호와 상기 조작 수단을 통해 입력된 비밀번호가 동일한 경우에 상기 업무 요청 조작에 따른 금융 서비스를 처리하는 금융 서비스 처리 수단;
금융 자동화 기기를 이용하고자 하는 사용자의 얼굴을 촬영하기 위하여 전방을 향해 배치되어 전방을 촬영한 영상을 연속적으로 출력하는 카메라;
상기 카메라에서 연속적으로 출력하는 상기 영상을 저장하고 저장된 상기 영상을 저장된 순서에 따라 삭제함으로써 상기 영상을 일정 시간 동안 임시 저장하는 리얼타임 버퍼 리스트와, 상기 카드 판독 수단에 상기 카드가 투입되면 상기 리얼타임 버퍼 리스트로부터 상기 카드의 투입 시점으로부터 소정 시간 직전에 촬영된 영상을 획득하는 영상 획득부와, 획득한 상기 영상에서 사용자의 얼굴을 분석하고 사용자 얼굴의 정상 식별 가능 여부를 판정하는 얼굴 분석부와, 사용자의 얼굴이 정상 식별 가능한 경우에 상기 업무 요청 조작에 따른 금융 서비스를 정상 처리하도록 지시하고 사용자의 얼굴이 정상 식별 가능하지 않은 경우에는 상기 금융 서비스 처리 수단에 상기 업무 요청 조작에 따른 금융 서비스를 처리하지 못하도록 지시하는 제어 명령을 출력하는 제어 명령 출력부를 구비하는 위장 판정 수단을 포함하는 것을 특징으로 하는 리얼타임 버퍼링 프로세스를 통한 부정 사용 판정 기능을 구비한 금융 자동화 기기.
Card reading means for reading card information stored in the card when a card for executing a financial service is inserted;
Operation means operated by the user for a business request operation for the user to request processing of the financial service and a password input for the card information;
Financial service processing means for processing a financial service according to the business request operation when the password specified for the card information and the password input through the operation means are the same;
A camera that is disposed toward the front to continuously photograph the face of the user who wants to use the financial automation device, and continuously outputs an image of the front;
A real time buffer list for temporarily storing the video for a predetermined time by storing the video continuously output from the camera and deleting the stored video according to the stored order; and when the card is inserted into the card reading means, the real time An image acquisition unit for acquiring an image photographed immediately before a predetermined time from the insertion point of the card from a buffer list, a face analyzer for analyzing a user's face from the acquired image and determining whether the user's face can be normally identified; Instructs the financial service according to the business request operation to be normally processed when the face of the user is normally identified, and process the financial service according to the business request operation to the financial service processing means when the face of the user is not normally identified. Control command to instruct the user not to Output control command output by an automatic teller machine having a real-time buffer fraud detection function by a process comprising the stomach comprising a determining means for that.
제1항에 있어서,
상기 카메라는 사용자가 카드를 투입하는 투입구에 근접한 위치에 설치되는 것을 특징으로 하는 리얼타임 버퍼링 프로세스를 통한 부정 사용 판정 기능을 구비한 금융 자동화 기기.
The method of claim 1,
The camera is a financial automation device having a fraud determination function through a real-time buffering process, characterized in that the user is installed in the position close to the inlet for inserting the card.
제1항에 있어서,
상기 리얼타임 버퍼 리스트는,
상기 카메라에서 출력하는 상기 영상의 연속적인 프레임 중 임의의 정수 배수 번째 프레임을 선택적으로 임시 저장하는 것을 특징으로 하는 리얼타임 버퍼링 프로세스를 통한 부정 사용 판정 기능을 구비한 금융 자동화 기기.
The method of claim 1,
The real-time buffer list is
And an illegal use determination function through a real-time buffering process, characterized in that temporarily storing an integer multiple-th frame among successive frames of the image output from the camera.
제1항에 있어서,
상기 영상 획득부는,
상기 리얼타임 버퍼 리스트로부터 상기 카드의 투입 시점으로부터 소정 시간 전 및 후의 임의의 시간 구간 동안 촬영되어 임시 저장된 다수의 영상을 획득하고,
상기 얼굴 분석부는, 상기 다수의 영상의 각각에 대하여 얼굴 식별 가능 여부를 판단하고,
상기 제어 명령 출력부는, 사용자의 얼굴을 식별 가능한 영상이 하나라도 존재하는 경우에는 상기 금융 서비스 처리 수단에 상기 업무 요청 조작에 따른 금융 서비스를 정상 처리하도록 지시하는 제어 명령을 출력하는 것을 특징으로 하는 리얼타임 버퍼링 프로세스를 통한 부정 사용 판정 기능을 구비한 금융 자동화 기기.
The method of claim 1,
The image acquisition unit,
From the real-time buffer list, a plurality of images captured and temporarily stored during an arbitrary time interval before and after a predetermined time from the time of insertion of the card are obtained.
The face analyzer determines whether a face can be identified for each of the plurality of images,
The control command output unit outputs a control command for instructing the financial service processing unit to normally process the financial service according to the business request operation when there is at least one image capable of identifying the face of the user. Financial automation equipment with fraud determination through time buffering process.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 얼굴 분석부는,
사용자의 얼굴에서 입과 적어도 하나의 눈이 식별 가능한 경우에 정상 식별 가능한 얼굴로 판정하는 것을 특징으로 하는 리얼타임 버퍼링 프로세스를 통한 부정 사용 판정 기능을 구비한 금융 자동화 기기.
5. The method according to any one of claims 1 to 4,
The face analyzer,
A financial automation device having a fraud determination function through a real-time buffering process, wherein if a mouth and at least one eye in the face of the user are discernible, the face is determined as a normal identifiable face.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 얼굴 분석부는,
사용자의 얼굴에서 눈과 입을 식별하고, 상기 식별된 눈과 입의 위치 관계가 역삼각형 형태인 것으로 판정된 경우에 정상 식별 가능한 얼굴로 판정하는 것을 특징으로 하는 리얼타임 버퍼링 프로세스를 통한 부정 사용 판정 기능을 구비한 금융 자동화 기기.
5. The method according to any one of claims 1 to 4,
The face analyzer,
Identifying eyes and mouth in the user's face, and determining that the face is normally identified when the positional relationship between the identified eyes and mouth is in the form of an inverted triangle, the fraud determination function using the real-time buffering process Financial automation device equipped with.
금융 자동화 기기를 이용하고자 하는 사용자의 얼굴을 카드 투입구의 근방에 설치된 카메라를 이용하여 연속적으로 촬영하여 일정 시간 동안 임시 저장하는 리얼타임 버퍼 리스트를 이용하는 금융 자동화 기기에 있어서 얼굴을 가린 부정 사용을 판정하는 방법으로서:
(a) 전방을 촬영한 영상을 연속적으로 입력받아 상기 리얼타임 버퍼 리스트에 임시 저장하는 단계;
(b) 금융 서비스의 실행을 위한 카드가 투입되면 상기 리얼타임 버퍼 리스트로부터 상기 카드의 투입 시점으로부터 소정 시간 직전에 촬영된 영상을 획득하는 단계;
(c) 상기 획득한 영상에서 사용자의 얼굴을 분석하고 사용자 얼굴의 정상 식별 가능 여부를 판정하는 단계;
(d) 사용자의 얼굴이 정상 식별 가능한 경우에는 사용자가 요청하는 금융 서비스를 처리하도록 제어하고, 사용자의 얼굴이 정상 식별 가능하지 않은 경우에는 금융 자동화 기기에 대한 부정 사용으로 판단하여 사용자가 요청하는 금융 서비스의 처리를 거부하도록 제어하는 단계를 포함하는 금융 자동화 기기 부정 사용 판정 방법.
Determining fraudulent use of a face in a financial automation device using a real-time buffer list that continuously captures a face of a user who wants to use the financial automation device using a camera installed near a card slot and temporarily stores it for a predetermined time. As a method:
(a) receiving a continuous image of the front and storing the temporary image in the real-time buffer list;
(b) when a card for executing a financial service is inserted, acquiring an image photographed from the real-time buffer list immediately before a predetermined time from when the card is inserted;
(c) analyzing the face of the user from the obtained image and determining whether the user's face can be normally identified;
(d) If the user's face is normally identifiable, control to process the financial service requested by the user, and if the user's face is not normally identifiable, the user determines that the user requested the financial And controlling to reject the processing of the service.
제7항에 있어서,
상기 (b)단계에서는,
상기 리얼타임 버퍼 리스트로부터 상기 카드의 투입 시점으로부터 소정 시간 전 및 후의 임의의 시간 구간 동안 촬영되어 임시 저장된 다수의 영상을 획득하고,
상기 (c)단계에서는,
상기 다수의 영상의 각각에 대하여 얼굴 식별 가능 여부를 판단하고, 상기 다수의 영상 중 사용자의 얼굴을 식별 가능한 영상이 하나라도 존재하는 경우에 사용자 얼굴 식별이 가능한 것으로 판정하는 것을 특징으로 하는 금융 자동화 기기 부정 사용 판정 방법.
The method of claim 7, wherein
In the step (b),
From the real-time buffer list, a plurality of images captured and temporarily stored during an arbitrary time interval before and after a predetermined time from the time of insertion of the card are obtained.
In the step (c),
It is determined whether face identification is possible for each of the plurality of images, and if there is at least one image identifying the user's face among the plurality of images, it is determined that the user's face identification is possible. How to determine fraudulent use.
KR1020110099485A 2011-03-21 2011-09-30 Automated teller machine preventing illegal use and method for preventing illegal use in automated teller machine KR101148883B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110024972 2011-03-21
KR20110024972 2011-03-21

Publications (1)

Publication Number Publication Date
KR101148883B1 true KR101148883B1 (en) 2012-05-29

Family

ID=46272535

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110099485A KR101148883B1 (en) 2011-03-21 2011-09-30 Automated teller machine preventing illegal use and method for preventing illegal use in automated teller machine

Country Status (1)

Country Link
KR (1) KR101148883B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272671A (en) * 2018-12-03 2019-01-25 陕西科技大学 A method of based on the local locker in real time of the multiselect of recognition of face and fingerprint recognition and its carrying out access article
CN111932800A (en) * 2020-08-19 2020-11-13 中国工商银行股份有限公司 Security verification method and device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040074424A (en) * 2003-02-18 2004-08-25 삼성전자주식회사 Method of discriminating illegal transactor in automatic cash transaction machine
KR20080016253A (en) * 2006-08-18 2008-02-21 학교법인 포항공과대학교 Facial disguise discrimination apparatus and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040074424A (en) * 2003-02-18 2004-08-25 삼성전자주식회사 Method of discriminating illegal transactor in automatic cash transaction machine
KR20080016253A (en) * 2006-08-18 2008-02-21 학교법인 포항공과대학교 Facial disguise discrimination apparatus and method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272671A (en) * 2018-12-03 2019-01-25 陕西科技大学 A method of based on the local locker in real time of the multiselect of recognition of face and fingerprint recognition and its carrying out access article
CN111932800A (en) * 2020-08-19 2020-11-13 中国工商银行股份有限公司 Security verification method and device

Similar Documents

Publication Publication Date Title
US7742626B2 (en) Biometrics system and biometrics method
KR100721299B1 (en) Biometrics authentication method and biometrics authentication device
EP1635307A1 (en) Information processing apparatus
US20210224370A1 (en) Systems and methods for executing electronic transactions using biometric data
US20060159312A1 (en) Biometrics verification system and a method thereof
EP3594916A1 (en) Atm with biometric security
JPH09212644A (en) Iris recognition device and iris recognition method
US20090254464A1 (en) Time and attendance system and method
KR101077379B1 (en) Automatic teller machine for preventing illegal finance transaction and method of controlling the same
CA2798626A1 (en) Biometric banking machine apparatus, system, and method
JP2008021074A (en) Transaction processing system
KR20180057167A (en) An Unmanned Financial Transactions System and A Financial Transactions Method Using The Same
TWM566865U (en) Transaction system based on face recognitioin for verification
KR20080067609A (en) Automated teller machine
JP2007087316A (en) Automatic transaction device and automatic transaction system
TWI687872B (en) Transaction system based on face recognitioin for verification and method thereof
KR101148883B1 (en) Automated teller machine preventing illegal use and method for preventing illegal use in automated teller machine
CA2851898A1 (en) Biometric-based transaction fraud detection
KR101806028B1 (en) User authentication method using user physical characteristics and user authentication system
JP5288786B2 (en) Security device, automatic teller machine, program, and suspicious person judgment method
KR101372365B1 (en) Illegal access detecting device for atm
US20230252803A1 (en) Hand action tracking for card slot tampering
WO2018179723A1 (en) Facial authentication processing apparatus, facial authentication processing method, and facial authentication processing system
KR20060117865A (en) Image security apparatus in automatic tellex machine and method thereof
KR20040074424A (en) Method of discriminating illegal transactor in automatic cash transaction machine

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150516

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160516

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171016

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180516

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee