KR20220086277A - Anti-fraud monitoring system and method for self checkout, and monitoring apparatus applied to the same - Google Patents

Anti-fraud monitoring system and method for self checkout, and monitoring apparatus applied to the same Download PDF

Info

Publication number
KR20220086277A
KR20220086277A KR1020200176584A KR20200176584A KR20220086277A KR 20220086277 A KR20220086277 A KR 20220086277A KR 1020200176584 A KR1020200176584 A KR 1020200176584A KR 20200176584 A KR20200176584 A KR 20200176584A KR 20220086277 A KR20220086277 A KR 20220086277A
Authority
KR
South Korea
Prior art keywords
product
event
self
information
image
Prior art date
Application number
KR1020200176584A
Other languages
Korean (ko)
Inventor
뤄 리준
허바이시 후삼
두프레 롭
홀스워쓰 조엘
Original Assignee
(주)유디피
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)유디피 filed Critical (주)유디피
Priority to KR1020200176584A priority Critical patent/KR20220086277A/en
Publication of KR20220086277A publication Critical patent/KR20220086277A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Multimedia (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

본 발명은 셀프 계산대를 위한 부정 방지 모니터링 시스템 및 방법, 그리고 이에 적용되는 모니터링 장치에 관한 것으로서, 더욱 상세히는 셀프 계산대를 이용하여 상품을 구매하는 사용자의 손을 카메라를 통해 촬영된 영상을 통해 추적하여 구매 대상 상품을 식별하고, 상기 식별된 상품에 대한 정보와 상기 셀프 계산대를 구성하는 POS 장치가 인식한 상품에 대한 정보를 비교하여 상호 일치하지 않는 경우에 해당하는 부정 구매를 방지하는 셀프 계산대를 위한 부정 방지 모니터링 시스템 및 방법, 그리고 이에 적용되는 모니터링 장치에 관한 것이다. 본 발명은 셀프 계산대에서 고객이 구매 대상 상품의 식별 코드를 인식시키는 이벤트 발생시 셀프 계산대를 구성하는 POS 장치에서 생성된 거래 데이터에 포함되는 상품 정보와 셀프 계산대를 촬영한 영상으로부터 획득한 상품 정보를 상호 비교하여 불일치하는 경우 고객이 구매 대상 상품에 구매 대상 상품과 관련이 없는 다른 상품의 식별 코드를 셀프 계산대에 인식시켜 구매를 시도한 부정 구매로 자동 판단하여 알람을 제공할 수 있어, 기존과 같이 부정 구매 판단을 위해 영상을 일일이 육안으로 확인할 필요 없이 자동으로 부정 구매 판단이 부정 구매 발생 당시에 이루어지도록 함으로써 부정 구매를 효율적이면서도 정확하게 검출하여 부정 구매 방지에 대한 효율성 및 편의성을 크게 높일 수 있는 효과가 있다.The present invention relates to an anti-corruption monitoring system and method for a self-checkout counter, and a monitoring device applied thereto, and more particularly, by tracking the hand of a user who purchases a product using the self-checkout counter through an image captured by a camera. For a self-checkout counter that identifies a product to be purchased, compares the information on the identified product with the information on the product recognized by the POS device constituting the self-checkout counter, and prevents illegal purchase in the case of inconsistency It relates to an anti-corruption monitoring system and method, and a monitoring device applied thereto. The present invention relates to product information included in the transaction data generated by the POS device constituting the self-checkout counter when an event in which the customer recognizes the identification code of the product to be purchased at the self-checkout counter and product information obtained from the image taken at the self-checkout counter. In case of discrepancy by comparison, the customer recognizes the identification code of another product not related to the purchase target product at the self-checkout counter to automatically determine that the purchase is an attempted fraudulent purchase and provides an alarm. There is an effect that it is possible to greatly increase the efficiency and convenience of preventing fraudulent purchases by efficiently and accurately detecting fraudulent purchases by enabling the determination of fraudulent purchases to be made automatically at the time of fraudulent purchases, without the need to visually check each video for judgment.

Description

셀프 계산대를 위한 부정 방지 모니터링 시스템 및 방법, 그리고 이에 적용되는 모니터링 장치{Anti-fraud monitoring system and method for self checkout, and monitoring apparatus applied to the same}Anti-fraud monitoring system and method for self checkout, and monitoring apparatus applied to the same

본 발명은 셀프 계산대를 위한 부정 방지 모니터링 시스템 및 방법, 그리고 이에 적용되는 모니터링 장치에 관한 것으로서, 더욱 상세히는 셀프 계산대를 이용하여 상품을 구매하는 사용자의 손을 카메라를 통해 촬영된 영상을 통해 추적하여 구매 대상 상품을 식별하고, 상기 식별된 상품에 대한 정보와 상기 셀프 계산대를 구성하는 POS 장치가 인식한 상품에 대한 정보를 비교하여 상호 일치하지 않는 경우에 해당하는 부정 구매를 방지하는 셀프 계산대를 위한 부정 방지 모니터링 시스템 및 방법, 그리고 이에 적용되는 모니터링 장치에 관한 것이다.The present invention relates to an anti-corruption monitoring system and method for a self-checkout counter, and a monitoring device applied thereto, and more particularly, by tracking the hand of a user who purchases a product using the self-checkout counter through an image captured by a camera. For a self-checkout counter that identifies a product to be purchased, compares the information on the identified product with the information on the product recognized by the POS device constituting the self-checkout counter, and prevents illegal purchase in the case of inconsistency It relates to an anti-corruption monitoring system and method, and a monitoring device applied thereto.

최근 각종 자동화 기기가 급속도로 발전하면서 상품을 판매하는 판매점에도 이러한 자동화 기기 중 하나인 셀프 계산대가 보급되고 있으며, 판매점을 이용하는 고객은 셀프 계산대에 구성된 리더기를 통해 구매 대상 상품에 부착된 바코드를 인식시켜 매장 직원의 도움 없이도 편리하게 상품을 구매할 수 있다.In recent years, with the rapid development of various automated devices, self-checkout counters, one of these automated devices, are also being distributed to stores that sell products. You can conveniently purchase products without the help of store staff.

이를 통해, 셀프 계산대는 고객의 상품 구매에 대한 편의성을 높이면서 판매점에서 필요한 직원을 대체할 수 있다. 이에 따라, 셀프 계산대를 통해 인건비에 대한 부담을 경감시킬 수 있으므로, 셀프 계산대의 도입이 점차 증가하고 있다.Through this, the self-checkout counter can replace the necessary staff at the store while enhancing the convenience of customers to purchase products. Accordingly, the self-checkout counter can be used to reduce the burden of labor costs, so the introduction of the self-checkout counter is gradually increasing.

그러나, 이러한 셀프 계산대 운영시 고객의 셀프 계산대를 이용한 구매 과정을 감시하는 별도의 직원이 없어 고객이 구매 상품에 부착된 바코드 대신 다른 상품의 바코드를 구매 상품에 부착한 후 해당 다른 상품의 바코드를 셀프 계산대에 인식시켜 부정 구매하는 문제가 발생하고 있다.However, when operating such a self-checkout counter, there is no separate staff to monitor the customer's purchase process using the self-checkout counter, so the customer attaches the barcode of another product to the purchased product instead of the barcode attached to the purchased product, and then applies the barcode of the other product to the purchased product. There is a problem of fraudulent purchases by recognizing them at the checkout counter.

이를 방지하기 위해, 감시 카메라를 통해 고객의 구매 과정에 대한 영상을 기록하여 저장하고 있으나, 부정 구매를 검출하기 위해 관리자가 직접 모든 영상을 육안으로 확인해야 하므로, 이러한 영상 확인에 소요되는 시간과 노력이 상당하여 비효율적일 뿐만 아니라 육안 확인만으로 정확하게 부정 구매를 검출하는데 어려움이 있는 문제가 있다.In order to prevent this, the video of the customer's purchase process is recorded and stored through the surveillance camera, but in order to detect fraudulent purchases, the manager has to visually check all the videos, so the time and effort required to check these videos This is considerable and inefficient, and there is a problem in that it is difficult to accurately detect fraudulent purchases only by visual inspection.

한국등록특허 제10-1850315호Korean Patent Registration No. 10-1850315

본 발명은 셀프 계산대를 촬영하는 카메라의 영상에 대한 영상 분석을 통해 상품을 구매하는 사용자의 손을 식별한 후 손에 인접한 상품을 식별하여 사용자가 셀프 계산대를 구성하는 리더기에 인식 중인 상품을 식별하고, 상기 리더기와 연동하는 POS 장치로부터 상기 리더기에 인식된 상품에 대한 거래 데이터와 상기 카메라를 통해 식별된 상품에 대한 정보를 상호 비교하여 일치하지 않는 경우 부정 구매가 발생한 것으로 검출하여 부정 구매를 효율적인면서도 정확하게 검출하는데 그 목적이 있다.The present invention identifies the hand of the user purchasing the product through image analysis of the image of the camera that shoots the self-checkout counter, and then identifies the product adjacent to the hand to identify the product being recognized by the reader constituting the self-checkout counter, , by comparing the transaction data on the product recognized by the reader from the POS device interlocking with the reader and the information on the product identified through the camera, and detecting that a fraudulent purchase has occurred if they do not match The purpose is to accurately detect it.

본 발명의 실시예에 따른 셀프 계산대에 포함된 POS 장치 및 상기 셀프 계산대를 촬영하는 카메라와 통신하는 모니터링 장치의 셀프 계산대를 위한 부정 방지 모니터링 방법은, 상기 카메라로부터 수신되는 영상에서 사람의 손을 식별한 후 추적하여 미리 설정된 규칙에 따라 상기 손이 이동한 경우 이벤트를 발생시키고, 상기 이벤트 발생시 상기 영상에서 상기 손에 해당하는 관심 객체와 가장 인접하면서 상기 관심 객체와 상이한 특정 객체를 상기 영상에서 식별하는 이벤트 처리 단계와, 상기 특정 객체로부터 미리 설정된 영상 분석 알고리즘을 통해 메타 데이터를 추출하고, 상기 특정 객체의 메타 데이터 및 상기 이벤트의 이벤트 발생 시점을 포함하는 이벤트 정보를 생성하는 이벤트 생성 단계와, 학습을 통해 메타 데이터와 상품 정보 사이의 상관관계가 설정된 학습 모델에 상기 이벤트 정보에 따른 메타 데이터를 적용하여 상기 특정 객체에 대응되는 제 1 상품 정보를 산출하는 상품 식별 단계와, 상기 POS 장치로 상기 이벤트 발생 시점에 대응되는 거래 데이터를 요청하는 요청 단계 및 상기 제 1 상품 정보와 상기 POS 장치로부터 수신된 상기 거래 데이터를 상호 비교하여 부정 구매를 검출하는 검출 단계를 포함할 수 있다.An anti-corruption monitoring method for a self-checkout of a POS device included in the self-checkout counter and a monitoring device that communicates with a camera photographing the self-checkout counter according to an embodiment of the present invention identifies a person's hand in an image received from the camera After tracking, an event is generated when the hand moves according to a preset rule, and when the event occurs, a specific object that is closest to the object of interest corresponding to the hand in the image and different from the object of interest is identified in the image an event processing step, extracting metadata from the specific object through a preset image analysis algorithm, and generating event information including metadata of the specific object and an event occurrence time of the event; learning A product identification step of calculating first product information corresponding to the specific object by applying metadata according to the event information to a learning model in which the correlation between metadata and product information is set through the product identification step; and generating the event with the POS device It may include a requesting step of requesting transaction data corresponding to a time point and a detecting step of detecting illegal purchase by comparing the first product information with the transaction data received from the POS device.

본 발명과 관련된 일 예로서, 상기 학습 모델은 복수의 서로 다른 학습용 이미지 각각에서 복수의 서로 다른 지정 상품 중 적어도 하나에 대응되는 객체로부터 추출한 메타 데이터별로 상기 메타 데이터에 대응되는 지정 상품의 상품 정보와 매칭하여 생성된 데이터 셋을 학습하며, 메타 데이터 및 상품 정보가 포함된 복수의 서로 다른 상기 데이터 셋의 학습을 통해 상기 상관 관계가 설정되는 것을 특징으로 할 수 있다.As an example related to the present invention, the learning model includes product information of a specified product corresponding to the metadata for each metadata extracted from an object corresponding to at least one of a plurality of different specified products in each of a plurality of different training images; A data set generated by matching is learned, and the correlation is established through learning of a plurality of different data sets including metadata and product information.

본 발명과 관련된 일 예로서, 상기 검출 단계는, 상기 제 1 상품 정보와 상기 거래 데이터에 포함된 제 2 상품 정보가 상호 일치하지 않거나 상기 이벤트 발생 시점에 대응되는 거래 데이터가 상기 POS 장치로부터 수신되지 않으면, 부정 구매로 판단하고 알람을 발생시키는 단계를 더 포함하는 것을 특징으로 할 수 있다.As an example related to the present invention, in the detecting step, the first product information and the second product information included in the transaction data do not match each other or the transaction data corresponding to the event occurrence time is not received from the POS device Otherwise, it may be determined that the purchase is fraudulent and further comprising the step of generating an alarm.

본 발명과 관련된 일 예로서, 상기 검출 단계는, 상기 부정 구매로 판단시 상기 알람에 대한 알람 정보를 생성하여 통신망을 통해 미리 설정된 관리자 단말로 상기 알람 정보를 전송하는 것을 특징으로 할 수 있다.As an example related to the present invention, in the detecting step, when it is determined that the purchase is illegal, alarm information for the alarm is generated and the alarm information is transmitted to a preset manager terminal through a communication network.

본 발명과 관련된 일 예로서, 상기 셀프 계산대는 상기 POS 장치 및 상기 POS 장치와 연동하며 상기 특정 상품의 바코드를 인식하는 리더기를 포함하며, 상기 거래 데이터는 상기 리더기로부터 상기 바코드 인식에 따라 생성된 코드 정보를 수신한 상기 POS 장치에 미리 저장된 하나 이상의 상품 정보 중 상기 코드 정보와 매칭되어 미리 저장된 상기 제 2 상품 정보를 포함하는 것을 특징으로 할 수 있다.As an example related to the present invention, the self-checkout counter includes the POS device and a reader that interworks with the POS device and recognizes a barcode of the specific product, and the transaction data is a code generated from the reader according to the barcode recognition Among one or more pieces of product information stored in advance in the POS device receiving the information, the second product information matched with the code information may be included.

본 발명과 관련된 일 예로서, 상기 이벤트 처리 단계는, 상기 카메라를 통해 상기 셀프 계산대에 대해 촬영된 상기 영상에 상기 규칙에 따른 하나 이상의 영역을 설정하고, 상기 영상에서 사람의 손에 해당되는 객체인 관심 객체를 식별하고, 상기 관심 객체를 추적하여 상기 관심 객체가 상기 하나 이상의 영역을 상기 규칙에 따른 미리 설정된 순서로 이동하거나 상기 하나 이상의 영역 중 특정 영역에 위치할 때 상기 이벤트를 발생시키는 것을 특징으로 할 수 있다.As an example related to the present invention, in the event processing step, one or more areas according to the rules are set in the image captured for the self-checkout through the camera, and the object corresponding to a person's hand in the image Identifying an object of interest, tracking the object of interest, and generating the event when the object of interest moves the one or more regions in a preset order according to the rule or is located in a specific region among the one or more regions, characterized in that can do.

본 발명과 관련된 일 예로서, 상기 이벤트 처리 단계는, 상기 영상에서 상기 하나 이상의 영역 중 미리 설정된 특정 영역에서 하나 이상의 상품과 각각 대응되는 객체인 하나 이상의 상품 객체를 식별하는 단계를 더 포함하고, 상기 이벤트 생성 단계는, 상기 하나 이상의 상품 객체별로 메타 데이터를 추출하는 단계를 더 포함하며, 상기 상품 식별 단계는, 하나 이상의 상품 객체별로 상기 추출된 메타 데이터를 상기 학습 모델에 적용하여 상기 하나 이상의 상품 객체와 각각 대응되는 하나 이상의 상품 정보를 포함하는 구매 내역 정보를 생성하는 단계를 더 포함하고, 상기 요청 단계는, 상기 POS 장치로 결제 내역 정보를 요청하는 단계를 더 포함하며, 상기 검출 단계는, 상기 POS 장치로부터 수신된 결제 내역 정보와 상기 구매 내역 정보를 상호 비교하여 상기 구매 내역 정보에 포함된 상품 정보 중 상기 결제 내역 정보에 누락된 상품 정보 발생시 알람을 발생시키는 단계를 더 포함하는 것을 특징으로 할 수 있다.As an example related to the present invention, the event processing step further comprises the step of identifying one or more product objects that are objects corresponding to one or more products in a predetermined specific area among the one or more areas in the image, and the The event generation step further includes extracting metadata for each of the one or more product objects, wherein the product identification step applies the extracted metadata for each one or more product objects to the learning model to the one or more product objects and generating purchase history information including one or more product information corresponding to each of Comparing the payment history information received from the POS device with the purchase history information, generating an alarm when product information missing from the payment history information among the product information included in the purchase history information occurs can

본 발명과 관련된 일 예로서, 상기 메타 데이터는 상기 특정 객체를 상기 영상으로부터 추출하여 생성된 클립 이미지와, 상기 특정 객체를 구성하는 모든 픽셀의 색상별 비율, 상기 특정 객체의 길이 및 상기 특정 객체의 너비 중 적어도 하나를 포함하는 것을 특징으로 할 수 있다.As an example related to the present invention, the metadata includes a clip image generated by extracting the specific object from the image, a ratio by color of all pixels constituting the specific object, a length of the specific object, and a value of the specific object. It may be characterized in that it includes at least one of the widths.

본 발명과 관련된 일 예로서, 상기 이벤트 처리 단계는, 상기 학습 모델인 제 1 학습 모델과 상이하며 손에 해당하는 객체가 설정된 복수의 서로 다른 이미지를 학습하여 손에 해당하는 관심 객체를 식별하도록 학습되어 미리 설정된 제 2 학습 모델에 상기 영상을 적용하여 상기 영상에서 손에 해당되는 관심 객체를 식별 및 추적하는 단계를 더 포함하는 것을 특징으로 할 수 있다.As an example related to the present invention, the event processing step is different from the first learning model, which is the learning model, and learns to identify the object of interest corresponding to the hand by learning a plurality of different images in which the object corresponding to the hand is set. and applying the image to a preset second learning model to identify and track an object of interest corresponding to a hand in the image.

본 발명의 실시예에 따른 셀프 계산대를 위한 부정 방지 모니터링 시스템은, 셀프 계산대를 촬영하는 카메라와, 상기 셀프 계산대에 구성되어 상품의 바코드를 인식하는 리더기로부터 상기 바코드 인식에 따른 거래 데이터를 수신하여 제공하는 POS 장치 및 상기 카메라 및 POS 장치와 통신하며, 상기 카메라로부터 수신되는 영상에서 사람의 손을 식별한 후 추적하여 미리 설정된 규칙에 따라 상기 손이 이동한 경우 이벤트를 발생시키고, 상기 이벤트 발생시 상기 영상에서 상기 손에 해당하는 관심 객체와 가장 인접하면서 상기 관심 객체와 상이한 특정 객체를 상기 영상에서 식별하고, 상기 특정 객체로부터 미리 설정된 영상 분석 알고리즘을 통해 메타 데이터를 추출하고, 상기 특정 객체의 메타 데이터 및 상기 이벤트의 이벤트 발생 시점을 포함하는 이벤트 정보를 생성하며, 학습을 통해 상기 메타 데이터와 상품 정보 사이의 상관관계가 설정된 학습 모델이 미리 설정되어 상기 학습 모델에 상기 이벤트 정보에 따른 메타 데이터를 적용하여 상기 특정 객체에 대응되는 제 1 상품 정보를 산출하고, 상기 이벤트 정보에 따른 상기 이벤트 발생 시점을 근거로 상기 제 1 상품 정보와 상기 POS 장치로부터 수신된 거래 데이터를 상호 비교하여 부정 구매를 검출하는 모니터링 장치를 포함할 수 있다.An anti-corruption monitoring system for a self-checkout counter according to an embodiment of the present invention receives and provides transaction data according to the barcode recognition from a camera for photographing the self-checkout counter, and a reader configured in the self-checkout counter to recognize a barcode of a product communicates with the POS device and the camera and the POS device, identifies and tracks a person's hand in the image received from the camera, and generates an event when the hand moves according to a preset rule, and when the event occurs, the image identifies a specific object that is closest to the object of interest corresponding to the hand and is different from the object of interest in the image, extracts metadata from the specific object through a preset image analysis algorithm, metadata of the specific object, and Event information including the event occurrence time of the event is generated, and a learning model in which a correlation between the metadata and product information is set through learning is set in advance, and metadata according to the event information is applied to the learning model. Monitoring for calculating first product information corresponding to the specific object, and detecting fraudulent purchase by comparing the first product information with the transaction data received from the POS device based on the event occurrence time according to the event information device may be included.

본 발명의 실시예에 따른 셀프 계산대를 위한 모니터링 장치는, 셀프 계산대에 포함된 POS 장치 및 상기 셀프 계산대를 촬영하는 카메라와 통신하는 통신부 및 상기 통신부를 통해 상기 카메라로부터 수신되는 영상에서 사람의 손을 식별한 후 추적하여 미리 설정된 규칙에 따라 상기 손이 이동한 경우 이벤트를 발생시키고, 상기 이벤트 발생시 상기 영상에서 상기 손에 해당하는 관심 객체와 가장 인접하면서 상기 관심 객체와 상이한 특정 객체를 상기 영상에서 식별하고, 상기 특정 객체로부터 미리 설정된 영상 분석 알고리즘을 통해 메타 데이터를 추출하고, 상기 특정 객체의 메타 데이터 및 상기 이벤트의 이벤트 발생 시점을 포함하는 이벤트 정보를 생성하며, 학습을 통해 메타 데이터와 상품 정보 사이의 상관관계가 설정된 학습 모델에 상기 이벤트 정보에 따른 메타 데이터를 적용하여 상기 특정 객체에 대응되는 제 1 상품 정보를 산출하고, 상기 통신부를 통해 상기 POS 장치로 상기 이벤트 발생 시점에 대응되는 거래 데이터를 요청하여 수신된 상기 거래 데이터와 상기 제 1 상품 정보를 상호 비교하여 부정 구매를 검출하는 제어부를 포함할 수 있다.A monitoring device for a self-checkout counter according to an embodiment of the present invention includes a POS device included in the self-checkout counter, a communication unit that communicates with a camera photographing the self-checkout counter, and a human hand in an image received from the camera through the communication unit. After identification, an event is generated when the hand moves according to a preset rule by tracking, and when the event occurs, a specific object that is closest to the object of interest corresponding to the hand in the image and different from the object of interest is identified in the image and extracting metadata from the specific object through a preset image analysis algorithm, generating event information including metadata of the specific object and the event occurrence time of the event, and learning between metadata and product information The first product information corresponding to the specific object is calculated by applying the metadata according to the event information to the learning model in which the correlation of and a controller configured to compare the transaction data received by request with the first product information to detect an illegal purchase.

본 발명은 셀프 계산대에서 고객이 구매 대상 상품의 식별 코드를 인식시키는 이벤트 발생시 셀프 계산대를 구성하는 POS 장치에서 생성된 거래 데이터에 포함되는 상품 정보와 셀프 계산대를 촬영한 영상으로부터 획득한 상품 정보를 상호 비교하여 불일치하는 경우 고객이 구매 대상 상품에 구매 대상 상품과 관련이 없는 다른 상품의 식별 코드를 셀프 계산대에 인식시켜 구매를 시도한 부정 구매로 자동 판단하여 알람을 제공할 수 있어, 기존과 같이 부정 구매 판단을 위해 영상을 일일이 육안으로 확인할 필요 없이 자동으로 부정 구매 판단이 부정 구매 발생 당시에 이루어지도록 함으로써 부정 구매를 효율적이면서도 정확하게 검출하여 부정 구매 방지에 대한 효율성 및 편의성을 크게 높일 수 있는 효과가 있다.The present invention relates to product information included in the transaction data generated by the POS device constituting the self-checkout counter when an event in which the customer recognizes the identification code of the product to be purchased at the self-checkout counter and product information obtained from the image taken at the self-checkout counter. In case of discrepancy by comparison, the customer recognizes the identification code of another product not related to the purchase target product at the self-checkout counter to automatically determine that the purchase is an attempted fraudulent purchase and provides an alarm. There is an effect that it is possible to greatly increase the efficiency and convenience of preventing fraudulent purchases by efficiently and accurately detecting fraudulent purchases by enabling the determination of fraudulent purchases to be made automatically at the time of fraudulent purchases, without the need to visually check each video for judgment.

또한, 본 발명은 이벤트 발생시 이벤트와 관련된 거래 데이터가 수신되지 않으면 이벤트와 관련된 구매 대상 상품이 도난 당한 것으로 판단하여 알람을 제공함으로써 부정 구매 뿐만 아니라 도난에 대해서도 용이하게 대처할 수 있는 효과가 있다.In addition, when transaction data related to an event is not received when an event occurs, the present invention determines that a purchase target product related to the event has been stolen and provides an alarm, thereby easily coping with not only illegal purchase but also theft.

도 1은 본 발명의 실시예에 따른 셀프 계산대를 위한 부정 방지 모니터링 시스템의 구성도.
도 2는 본 발명의 실시예에 따른 모니터링 장치의 셀프 계산대를 위한 부정 방지 모니터링 방법에 대한 순서도.
도 3 내지 도 5는 본 발명의 실시예에 따른 셀프 계산대를 위한 부정 방지 모니터링 시스템의 동작 예시도.1 is a block diagram of an anti-corruption monitoring system for a self-checkout counter according to an embodiment of the present invention.
2 is a flowchart of a fraud prevention monitoring method for a self-checkout of a monitoring device according to an embodiment of the present invention.
3 to 5 are diagrams illustrating the operation of an anti-corruption monitoring system for a self-checkout counter according to an embodiment of the present invention.

이하, 도면을 참고하여 본 발명의 상세 실시예를 설명한다.Hereinafter, detailed embodiments of the present invention will be described with reference to the drawings.

도 1은 본 발명의 실시예에 따른 셀프 계산대를 위한 부정 방지 모니터링 시스템에 대한 구성도이며, 도 2는 본 발명의 실시예에 따른 셀프 계산대를 위한 부정 방지 모니터링 시스템을 구성하는 모니터링 장치의 동작 순서도이다.1 is a block diagram of a fraud prevention monitoring system for a self-checkout counter according to an embodiment of the present invention, and FIG. 2 is an operation flowchart of a monitoring device constituting the fraud prevention monitoring system for a self-checkout counter according to an embodiment of the present invention to be.

도시된 바와 같이, 본 발명에 따른 부정 방지 모니터링 시스템은 POS(Point Of Sale) 장치(20)와, 셀프 계산대(1)를 촬영하는 카메라(10)(camera) 및 통신망을 통해 상기 POS 장치(20) 및 카메라(10)와 통신하는 모니터링 장치(100)를 포함하여 구성될 수 있다.As shown, the anti-corruption monitoring system according to the present invention includes a POS (Point Of Sale) device 20, a camera 10 for photographing the self-checkout counter 1, and the POS device 20 through a communication network. ) and may be configured to include a monitoring device 100 that communicates with the camera 10 .

이때, 본 발명에서 설명하는 통신망은 유/무선 통신망을 포함할 수 있으며, 이러한 무선 통신망의 일례로 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS), 5G 이동통신 서비스, 블루투스(Bluetooth), LoRa(Long Range), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신망으로는 유선 LAN(Local Area Network), 유선 WAN(Wide Area Network), 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.In this case, the communication network described in the present invention may include a wired/wireless communication network, and as an example of such a wireless communication network, a wireless LAN (WLAN), a DLNA (Digital Living Network Alliance), a WiBro (Wireless Broadband: Wibro), WiMAX (World Interoperability for Microwave Access: Wimax), GSM (Global System for Mobile communication), CDMA (Code Division Multi Access), CDMA2000 (Code Division Multi Access 2000), EV-DO (Enhanced Voice-Data Optimized or Enhanced Voice- Data Only), Wideband CDMA (WCDMA), High Speed Downlink Packet Access (HSDPA), High Speed Uplink Packet Access (HSUPA), IEEE 802.16, Long Term Evolution (LTE), Long Term Evolution-A (LTE-A) Advanced), Wireless Mobile Broadband Service (WMBS), 5G mobile communication service, Bluetooth (Bluetooth), LoRa (Long Range), RFID (Radio Frequency Identification), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, Near Field Communication (NFC), Ultra Sound Communication (USC), Visible Light Communication (VLC), Wi-Fi, Wi-Fi Direct may be included. In addition, wired communication networks include wired LAN (Local Area Network), wired WAN (Wide Area Network), Power Line Communication (PLC), USB communication, Ethernet, serial communication, optical/coaxial A cable may be included.

또한, 상기 셀프 계산대(1)는 셀프 계산대(1)를 구성하는 본체부를 포함하여 구성될 수 있으며, 상기 POS 장치(20)는 상기 본체부에 포함되어 구성될 수 있다.In addition, the self-checkout counter 1 may be configured to include a main body constituting the self-checkout counter 1 , and the POS device 20 may be configured to be included in the body part.

즉, 상기 POS 장치(20)는 상기 셀프 계산대(1)의 일부로 구성될 수 있다.That is, the POS device 20 may be configured as a part of the self-checkout counter 1 .

또한, 상기 부정 방지 모니터링 시스템은 상품의 바코드(barcode)와 같은 상품 식별 코드를 인식하는 리더기(reader)(30)를 더 포함하여 구성될 수 있으며, 상기 리더기(30)는 상기 POS 장치(20)의 일부로 구성되거나 상기 POS 장치(20)와 별도로 구성되는 경우 상기 POS 장치(20)와 통신 가능하도록 연결될 수 있다.In addition, the anti-corruption monitoring system may be configured to further include a reader 30 for recognizing a product identification code such as a barcode of the product, and the reader 30 is the POS device 20 . When configured as a part of the POS device or separately from the POS device 20 , it may be communicatively connected to the POS device 20 .

이때, 상기 리더기(30)는 바코드 이외의 QR(Quick Response) 코드 등과 같은 다양한 형태의 상품 식별 코드를 인식하도록 구성될 수 있으며, 이하에서는 상품 식별 코드를 바코드를 기준으로 설명한다.In this case, the reader 30 may be configured to recognize various types of product identification codes such as QR (Quick Response) codes other than barcodes. Hereinafter, product identification codes will be described based on barcodes.

또한, 상기 리더기(30)는 구매 대상인 상품에 부착되거나 구성된 바코드를 스캔을 통해 인식하여 코드 정보를 생성한 후 상기 코드 정보를 상기 POS 장치(20)로 전송할 수 있으며, 상기 POS 장치(20)는 상기 코드 정보를 기초로 상기 코드 정보에 대응되는 상품 정보를 식별하고, 상기 식별된 상품 정보를 기초로 거래 데이터를 생성할 수 있다.In addition, the reader 30 may generate code information by recognizing a barcode attached or configured to a product to be purchased through scanning, and then transmit the code information to the POS device 20, and the POS device 20 Product information corresponding to the code information may be identified based on the code information, and transaction data may be generated based on the identified product information.

이때, 상기 POS 장치(20)에는 복수의 서로 다른 상품과 각각 대응되는 복수의 서로 다른 상품 정보 및 상기 복수의 서로 다른 상품 정보와 각각 매칭되는 복수의 서로 다른 코드 정보가 저장될 수 있다.In this case, the POS device 20 may store a plurality of different product information respectively corresponding to a plurality of different products and a plurality of different code information respectively matching the plurality of different product information.

상술한 구성에서, 상기 리더기(30)는 상기 셀프 계산대(1)를 구성하는 본체부의 일부로 구성될 수 있다.In the above-described configuration, the reader 30 may be configured as a part of the main body constituting the self-checkout counter 1 .

일례로, 본체부는 상품을 상기 리더기(30)에 인식시키기 이전에 보관하는 영역인 대기 영역부(Staging area)(A)와, 상기 상품을 리더기(30)에 인식시키는 영역인 스캔 영역부(Scanning area)(B) 및 상기 리더기(30)에 인식시킨 상품을 보관하는 영역인 포장 영역부(bagging area)(C)를 포함할 수 있으며, 상기 리더기(30)는 상기 스캔 영역부(B)에 포함되어 구성될 수 있다.For example, the main body part has a staging area (A), which is an area for storing products before the reader 30 recognizes them, and a scanning area part (Scanning) which is an area for recognizing the product by the reader (30). It may include an area (B) and a packaging area (C), which is an area for storing products recognized by the reader 30, and the reader 30 is located in the scan area (B). may be included.

상기 카메라(10)는 IP(Internet Protocol) 카메라로 구성될 수 있으며, 상기 셀프 계산대(1)의 상기 대기 영역부(A)와 스캔 영역부(B) 및 포장 영역부(C)에 위치하는 상품이 촬영되도록 하기 위해 상기 셀프 계산대(1)의 상측에 위치하여 상기 대기 영역부(A)와 스캔 영역부(B) 및 포장 영역부(C) 각각의 상부면과 마주보도록 구성될(배치될) 수 있다.The camera 10 may be configured as an IP (Internet Protocol) camera, and the product located in the waiting area (A), the scan area (B), and the packaging area (C) of the self-checkout counter 1 . To be photographed, located above the self-checkout counter 1 and configured to face the upper surfaces of the waiting area A, the scan area B, and the packaging area C, respectively (to be arranged) can

한편, 상기 모니터링 장치(100)는 상기 카메라(10) 및 POS 장치(20)와 통신망을 통해 통신할 수 있으며, 상기 카메라(10)로부터 수신된 영상에 대한 분석을 통해 얻어진 데이터와 상기 POS 장치(20)로부터 수신된 데이터를 비교하여 상기 셀프 계산대(1)를 이용한 상품 구매시 고객인 사용자의 부정 구매를 검출하도록 동작할 수 있는데, 이를 도 2의 순서도를 참고하여 이하 도면을 통해 상세히 설명한다.On the other hand, the monitoring device 100 can communicate with the camera 10 and the POS device 20 through a communication network, and the data obtained through the analysis of the image received from the camera 10 and the POS device ( 20) can be compared to the data received from the self-checkout counter 1 to detect a fraudulent purchase by a customer when purchasing a product using the self-checkout counter 1, which will be described in detail below with reference to the flowchart of FIG.

우선, 상기 모니터링 장치(100)는 상기 카메라(10) 및 POS 장치(20)와 통신하기 위한 통신부(110), 각종 데이터를 저장하는 저장부(120) 및 상기 모니터링 장치(100)의 전반적인 제어 기능을 수행하는 제어부(130)를 포함하여 구성될 수 있으며, 상기 통신부(110) 및 저장부(120)는 상기 제어부(130)에 포함되어 구성될 수도 있다.First, the monitoring device 100 includes a communication unit 110 for communicating with the camera 10 and the POS device 20 , a storage unit 120 for storing various data, and an overall control function of the monitoring device 100 . may be configured to include a control unit 130 that performs

또한, 이하에서 설명하는 모니터링 장치(100)의 동작은 상기 제어부(130)를 통해 수행될 수 있으며, 상기 제어부(130)는 상기 통신부(110)를 제어하여 상기 카메라(10) 및 POS 장치(20)와 통신하며 상기 저장부(120)에 저장된 각종 데이터를 이용하여 본 발명에서 설명하는 기능을 수행할 수 있다.In addition, the operation of the monitoring device 100 described below may be performed through the control unit 130 , and the control unit 130 controls the communication unit 110 to control the camera 10 and the POS device 20 . ) and can perform the functions described in the present invention using various data stored in the storage unit 120 .

상기 제어부(130)는 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다.The controller 130 may include RAM, ROM, CPU, GPU, and a bus, and the RAM, ROM, CPU, GPU, etc. may be connected to each other through a bus.

우선, 상기 카메라(10)는 상기 셀프 계산대를 촬영하여 생성된 영상을 상기 모니터링 장치(100)에 전송한다(S1).First, the camera 10 transmits an image generated by photographing the self-checkout counter to the monitoring device 100 (S1).

또한, 상기 모니터링 장치(100)는 상기 카메라(10)로부터 수신된 영상에서 사람의 손을 식별한 후 추적할 수 있다(S2).In addition, the monitoring device 100 may identify and then track the hand of the person in the image received from the camera 10 (S2).

이때, 상기 모니터링 장치(100)는 영상 분석과 관련된 널리 알려진 다양한 알고리즘을 하나 이상 이용하여 상기 영상을 분석하고, 영상 분석을 통해 상기 영상에서 사람의 손에 해당하는 객체인 관심 객체를 식별한 후 추적할 수 있으며, 이를 통해 손의 이동 경로(궤적)를 추적할 수 있다. 이를 위해, 상기 사람의 손을 식별하고 손의 이동 경로를 추적하기 위한 하나 이상의 알고리즘이 상기 모니터링 장치(100)의 제어부(130)에 미리 설정될 수 있다.In this case, the monitoring device 100 analyzes the image using one or more of various well-known algorithms related to image analysis, identifies an object of interest that is an object corresponding to a human hand in the image through image analysis, and then tracks it It is possible to track the movement path (trajectory) of the hand through this. To this end, one or more algorithms for identifying the person's hand and tracking the movement path of the hand may be preset in the control unit 130 of the monitoring device 100 .

또한, 상기 모니터링 장치(100)는 영상을 구성하는 각 프레임에서 사람의 손에 해당하는 관심 객체를 식별한 후 상기 영상에서 상기 관심 객체의 이동 경로를 추적하여 미리 설정된 규칙에 따라 상기 손에 해당하는 관심 객체가 이동한 경우 이벤트를 발생시킬 수 있다(S3).In addition, the monitoring device 100 identifies the object of interest corresponding to the hand of a person in each frame constituting the image, and then tracks the movement path of the object of interest in the image, corresponding to the hand according to a preset rule. When the object of interest moves, an event may be generated (S3).

예를 들어, 상기 모니터링 장치(100)는 상기 카메라(10)를 통해 상기 셀프 계산대에 대해 촬영되어 생성된 상기 영상에 상기 규칙에 따른 하나 이상의 영역을 설정하고, 상기 영상에서 사람의 손에 해당되는 객체인 관심 객체를 식별하고, 상기 관심 객체를 추적하여 상기 관심 객체가 상기 하나 이상의 영역을 상기 규칙에 따른 미리 설정된 순서로 이동하거나 상기 하나 이상의 영역 중 특정 영역에 위치할 때 상기 이벤트를 발생시킬 수 있다.For example, the monitoring device 100 sets one or more areas according to the rule in the image generated by being photographed for the self-checkout counter through the camera 10, and corresponds to a person's hand in the image. Identifies an object of interest, which is an object, and tracks the object of interest to generate the event when the object of interest moves the one or more regions in a preset order according to the rule or is located in a specific region among the one or more regions have.

이를 도 3 및 도 4를 통해 더욱 상세히 설명하면, 상기 모니터링 장치(100)는 미리 설정된 규칙 정보에 따라 상기 영상에서 상기 셀프 계산대의 대기 영역부(A), 스캔 영역부(B) 및 포장 영역부(C)와 각각 대응되는 미리 설정된 복수의 영역을 설정하고, 상기 영상에서 식별된 사람의 손에 해당되는 관심 객체를 추적하여 식별된 이동 경로(이동 궤적)가 상기 규칙 정보에 미리 설정된 규칙에 따른 상기 대기 영역부(A)에서 스캔 영역부(B)를 거쳐 상기 포장 영역부(C)로 이동하는 경로(궤적)인 경우 이벤트를 발생시킬 수 있다.3 and 4, the monitoring device 100 shows the waiting area part (A), the scan area part (B) and the packaging area part of the self-checkout counter in the image according to preset rule information. A plurality of preset areas corresponding to (C) are set, respectively, and the movement path (movement trajectory) identified by tracking the object of interest corresponding to the hand of the person identified in the image is determined according to the rule preset in the rule information. An event may be generated in the case of a path (trajectory) moving from the waiting area (A) through the scan area (B) to the packaging area (C).

이때, 상기 모니터링 장치(100)는 상기 관심 객체의 이동 경로가 상기 대기 영역부(A)를 거치지 않고 스캔 영역부(B)에서 상기 포장 영역부(C)로 바로 이동한 경우에도 상기 규칙에 따라 이벤트를 발생시킬 수 있으며, 이러한 규칙은 상술한 예시 이외에도 다양한 조건으로 설정될 수 있음은 물론이다.At this time, the monitoring apparatus 100 follows the rule even when the movement path of the object of interest moves directly from the scan area B to the packaging area C without passing through the waiting area A. It goes without saying that an event may be generated, and these rules may be set to various conditions other than the above-described examples.

또한, 상기 모니터링 장치(100)는 상기 규칙에 따라 상기 스캔 영역부(B)에 대응되는 영역에 사람의 손에 해당되는 관심 객체가 위치할 때 상기 이벤트를 발생시킬 수도 있다.In addition, the monitoring apparatus 100 may generate the event when an object of interest corresponding to a person's hand is located in a region corresponding to the scan region B according to the rule.

또한, 도 5에 도시된 바와 같이, 상기 모니터링 장치(100)는 이벤트 발생시 상기 영상에서 상기 손에 해당하는 관심 객체와 가장 인접하면서 상기 관심 객체와 상이한 특정 객체를 상기 영상에서 식별할 수 있다(S4).In addition, as shown in FIG. 5 , when an event occurs, the monitoring device 100 may identify a specific object that is closest to the object of interest corresponding to the hand in the image and is different from the object of interest in the image (S4). ).

이때, 상기 모니터링 장치(100)는 사용자의 손들 중에서 이벤트를 발생시킨 손에 해당하는 관심 객체를 식별하고, 이벤트와 관련된 손에 해당하는 관심 객체와 가장 인접한 특정 객체를 상기 영상에서 식별할 수 있다.In this case, the monitoring apparatus 100 may identify the object of interest corresponding to the hand that generated the event from among the user's hands, and identify a specific object closest to the object of interest corresponding to the event-related hand from the image.

즉, 상기 모니터링 장치(100)는 사용자의 손이 잡고 있는 상품에 대응되는 객체인 상기 특정 객체를 이벤트 발생시 식별할 수 있다.That is, the monitoring device 100 may identify the specific object, which is an object corresponding to a product held by the user's hand, when an event occurs.

이때, 상기 모니터링 장치(100)는 미리 설정된 영상 분석 알고리즘을 통해 상기 관심 객체를 식별 및 추적하거나 상기 특정 객체를 식별할 수 있다.In this case, the monitoring apparatus 100 may identify and track the object of interest or identify the specific object through a preset image analysis algorithm.

또한, 상기 모니터링 장치(100)는 이벤트 발생시 상기 영상에 포함된 상기 특정 객체로부터 상기 영상 분석 알고리즘을 통해 미리 설정된 속성별 데이터를 포함하는 메타 데이터(metadata)를 추출할 수 있다.Also, when an event occurs, the monitoring apparatus 100 may extract metadata including data for each attribute preset through the image analysis algorithm from the specific object included in the image.

이때, 상기 메타 데이터는 상기 특정 객체를 상기 영상으로부터 추출하여 생성된 클립(clip) 이미지(cropped image)와, 상기 특정 객체를 구성하는 모든 픽셀(pixel)의 색상별 비율, 상기 특정 객체의 길이 및 상기 특정 객체의 너비 중 적어도 하나를 포함할 수 있다.In this case, the metadata includes a clip image generated by extracting the specific object from the image, a ratio by color of all pixels constituting the specific object, a length of the specific object, and It may include at least one of the widths of the specific object.

또한, 상기 메타 데이터는 상기 특정 객체에 해당하는 영역의 특징점 정보이거나 해당 특징점 정보를 포함한 데이터일 수도 있다.Also, the metadata may be feature point information of an area corresponding to the specific object or data including the feature point information.

또한, 상기 모니터링 장치(100)는 상기 이벤트 발생시 추출된 메타 데이터와 상기 이벤트의 이벤트 발생 시점을 포함하는 이벤트 정보를 이벤트 발생시 생성할 수 있다(S5).In addition, the monitoring apparatus 100 may generate event information including metadata extracted when the event occurs and the event occurrence time of the event when the event occurs ( S5 ).

한편, 상기 모니터링 장치(100)의 제어부(130)에는 학습 모델이 미리 설정될 수 있으며, 상기 학습 모델은 딥러닝(deep learning) 알고리즘으로 구성될 수 있다.Meanwhile, a learning model may be preset in the control unit 130 of the monitoring device 100 , and the learning model may be configured as a deep learning algorithm.

이때, 상기 딥러닝 알고리즘은 하나 이상의 신경망 모델로 구성될 수 있다.In this case, the deep learning algorithm may be composed of one or more neural network models.

또한, 본 발명에서 설명하는 신경망 모델(또는 신경망)은 입력층(Input Layer), 하나 이상의 은닉층(Hidden Layers) 및 출력층(Output Layer)으로 구성될 수 있으며, 상기 신경망 모델에는 DNN(Deep Neural Network), RNN(Recurrent Neural Network), CNN(Convolutional Neural Network), SVM(Support Vector Machine) 등과 같은 다양한 종류의 신경망이 적용될 수 있다.In addition, the neural network model (or neural network) described in the present invention may be composed of an input layer, one or more hidden layers, and an output layer, and the neural network model includes a Deep Neural Network (DNN). , Recurrent Neural Network (RNN), Convolutional Neural Network (CNN), Support Vector Machine (SVM), and the like, may be applied to various types of neural networks.

상기 학습 모델은 복수의 서로 다른 지정 상품 각각에 대해 지정 상품에 대한 이미지에서 상기 지정 상품에 대응되는 객체에 대해 추출한 메타데이터와 상기 지정 상품에 대한 상품 정보가 상호 매칭되어 포함된 데이터 셋(data set)을 하나 이상 학습할 수 있다.The learning model is a data set including metadata extracted for an object corresponding to the designated product from the image of the designated product for each of a plurality of different designated products and product information for the designated product is matched with each other ) can be learned more than one.

즉, 상기 학습 모델은 복수의 서로 다른 학습용 이미지 각각에서 복수의 서로 다른 지정 상품 중 적어도 하나에 대응되는 객체로부터 추출한 메타 데이터별로 상기 메타 데이터에 대응되는 지정 상품의 상품 정보와 매칭하여 생성된 데이터 셋을 학습할 수 있다.That is, the learning model is a data set generated by matching product information of a specified product corresponding to the metadata for each metadata extracted from an object corresponding to at least one of a plurality of different specified products in each of a plurality of different training images. can learn

일례로, 상기 모니터링 장치(100)는 미리 저장된 복수의 서로 다른 학습용 이미지 각각에서 상기 영상 분석 알고리즘을 통해 특정 지정 상품에 대응되는 객체를 식별한 후 상기 특정 지정 상품에 대응되는 객체로부터 상기 특정 객체에 대한 메타 데이터와 동일한 속성 종류를 가진 메타 데이터를 추출하고, 상기 복수의 서로 다른 학습용 이미지로부터 추출된 복수의 서로 다른 메타 데이터별로 상기 특정 지정 상품의 상품 정보와 매칭하여 메타 데이터 및 상품 정보가 포함된 학습 데이터인 데이터 셋을 생성한 후 상기 복수의 서로 다른 메타 데이터와 각각 대응되며 상기 특정 지정 상품에 대응되는 복수의 서로 다른 데이터 셋을 상기 학습 모델에 학습시킬 수 있다.As an example, the monitoring device 100 identifies an object corresponding to a specific designated product through the image analysis algorithm in each of a plurality of different learning images stored in advance, and then from the object corresponding to the specific designated product to the specific object. Meta-data having the same attribute type as the metadata for metadata is extracted, and metadata and product information are included by matching the product information of the specific designated product for each of a plurality of different metadata extracted from the plurality of different learning images. After the data set that is the learning data is generated, a plurality of different data sets corresponding to the plurality of different metadata and corresponding to the specific designated product may be trained on the learning model.

상기 특정 지정 상품에 대한 복수의 서로 다른 데이터 셋을 생성하는 방식과 동일한 방식으로, 상기 모니터링 장치(100)는 복수의 서로 다른 지정 상품별로 복수의 서로 다른 데이터 셋을 생성한 후 상기 학습 모델에 학습시킬 수 있다.In the same manner as in the method of generating a plurality of different data sets for the specific designated product, the monitoring device 100 generates a plurality of different data sets for each of a plurality of different designated products and then learns the learning model can do it

이에 따라, 학습 모델은 상기 지정 상품별 복수의 데이터 셋을 이용한 학습을 통해 메타 데이터와 상품 정보 사이의 상관 관계에 대한 알고리즘을 생성하고, 이러한 상관 관계에 대한 알고리즘이 상기 학습 모델에 설정될 수 있다.Accordingly, the learning model may generate an algorithm for correlation between metadata and product information through learning using a plurality of data sets for each designated product, and the algorithm for this correlation may be set in the learning model.

한편, 상기 모니터링 장치(100)는 상기 데이터 셋의 학습을 통한 학습이 완료되어 메타 데이터와 상품 정보 사이의 상관관계가 설정된 학습 모델에 상기 이벤트 정보에 따른 메타 데이터를 적용하여 상기 학습 모델을 통해 상기 특정 객체에 대응되는 제 1 상품 정보를 산출할 수 있다(S6).On the other hand, the monitoring device 100 applies the metadata according to the event information to the learning model in which the learning through the learning of the data set is completed and the correlation between the metadata and the product information is set, and through the learning model It is possible to calculate the first product information corresponding to the specific object (S6).

즉, 상기 학습 모델은 상기 이벤트 정보에 따른 메타 데이터가 입력으로 수신되면, 상기 입력에 대응되어 상기 이벤트 정보에 따른 메타 데이터와 가장 유사도가 높은 메타 데이터에 매칭된 상품 정보인 제 1 상품 정보를 출력할 수 있다.That is, when the metadata according to the event information is received as an input, the learning model outputs first product information that is product information that corresponds to the input and matches the metadata with the highest similarity to the metadata according to the event information. can do.

또한, 상기 모니터링 장치(100)는 상기 이벤트 발생시 상기 이벤트 정보에 따른 이벤트 발생 시점에 대응되는 거래 데이터를 요청하기 위한 요청 정보를 생성하여 상기 POS 장치(20)에 전송할 수 있다(S7).Also, when the event occurs, the monitoring device 100 may generate request information for requesting transaction data corresponding to an event occurrence time according to the event information and transmit it to the POS device 20 (S7).

이때, 상기 POS 장치(20)는 상기 요청 정보 수신시 상기 요청 정보에 대응되는 거래 데이터를 상기 모니터링 장치(100)에 전송할 수 있으며, 상기 거래 데이터는 상기 리더기(30)로부터 상기 리더기(30)의 상기 바코드 인식에 따라 생성된 코드 정보를 수신한 상기 POS 장치(20)에 미리 저장된 하나 이상의 상품 정보 중 상기 코드 정보와 매칭되어 미리 저장된 상기 제 2 상품 정보를 포함할 수 있다.In this case, the POS device 20 may transmit transaction data corresponding to the request information to the monitoring device 100 upon receiving the request information, and the transaction data is transmitted from the reader 30 to the reader 30 Among one or more pieces of product information previously stored in the POS device 20 that has received the code information generated according to the barcode recognition, the second product information matched with the code information and stored in advance may be included.

일례로, 상기 POS 장치(20)는 상기 리더기(30)로부터 상품의 바코드 인식에 따른 코드 정보 수신시마다 코드 정보와 매칭되어 미리 저장된 상품 정보를 식별한 후 상기 식별된 상품 정보를 포함하는 거래 데이터를 생성하여 저장할 수 있으며, 상기 요청 정보 수신시 상기 요청 정보에 따른 이벤트 발생 시점과 일치하거나 상기 이벤트 발생 시점과 가장 인접한(가까운 또는 근접한) 시점에 생성된 거래 데이터를 상기 모니터링 장치(100)에 전송할 수 있다.For example, the POS device 20 identifies product information stored in advance by matching code information with code information whenever receiving code information according to barcode recognition of a product from the reader 30, and then transmits transaction data including the identified product information. can be created and stored, and when the request information is received, the transaction data generated at the point in time that coincides with the event occurrence time according to the request information or is closest (closest or closest) to the event occurrence time can be transmitted to the monitoring device 100 have.

이때, 상기 거래 데이터는 상기 거래 데이터의 생성 시점을 포함할 수 있다.In this case, the transaction data may include a generation time of the transaction data.

즉, 상기 POS 장치(20)는 상기 이벤트 발생 시점과 가장 차이가 작은(또는 적은) 시점에 생성된 거래 데이터를 상기 모니터링 장치(100)로 전송할 수 있다.That is, the POS device 20 may transmit the transaction data generated at the smallest (or smallest) difference from the event occurrence time to the monitoring device 100 .

이때, 상기 POS 장치(20)는 상기 이벤트 발생 시점을 기준으로 미리 설정된 시간 범위 내에 생성된 거래 데이터를 상기 모니터링 장치(100)에 전송할 수 있으며, 상기 이벤트 발생 시점을 기준으로 미리 설정된 시간 범위 내에 생성된 거래 데이터가 존재하지 않으면 오류 정보를 생성하여 상기 모니터링 장치(100)에 전송할 수 있다.In this case, the POS device 20 may transmit transaction data generated within a preset time range based on the event occurrence time to the monitoring device 100 , and generated within a preset time range based on the event occurrence time. If the transaction data does not exist, error information may be generated and transmitted to the monitoring device 100 .

상술한 구성에서, 상기 모니터링 장치(100)는 별도의 요청 정보를 전송하지 않을 수도 있으며, 상기 POS 장치(20)는 거래 데이터 생성시마다 상기 모니터링 장치(100)에 전송할 수 있다.In the above configuration, the monitoring device 100 may not transmit separate request information, and the POS device 20 may transmit the transaction data to the monitoring device 100 whenever transaction data is generated.

또한, 상기 모니터링 장치(100)는 상기 POS 장치(20)로부터 상기 요청 정보에 대응되어 거래 데이터 수신시, 상기 수신된 거래 데이터에 포함된 상품 정보인 제 2 상품 정보를 상기 이벤트 정보에 대응되어 학습 모델을 통해 산출된 제 1 상품 정보와 비교할 수 있다(S8).In addition, when the monitoring device 100 receives transaction data corresponding to the request information from the POS device 20 , the monitoring device 100 learns second product information that is product information included in the received transaction data in response to the event information. It can be compared with the first product information calculated through the model (S8).

이때, 상기 모니터링 장치(100)는 상기 요청 정보를 전송하지 않는 경우 상기 POS 장치(20)로부터 수신된 거래 데이터의 생성 시점을 확인하고, 상기 거래 데이터의 생성 시점을 근거로 상기 이벤트 정보에 따른 이벤트 발생 시점을 기준으로 가장 인접한 시점의 거래 데이터 또는 상기 이벤트 발생 시점을 기준으로 미리 설정된 시간 범위 내에 생성된 거래 데이터를 상기 이벤트 정보에 대응되는 거래 데이터로 확인할 수 있다.In this case, when the monitoring device 100 does not transmit the request information, the monitoring device 100 checks the generation time of the transaction data received from the POS device 20, and an event according to the event information based on the generation time of the transaction data Transaction data of the closest point based on the occurrence time or transaction data generated within a preset time range based on the event occurrence time may be identified as transaction data corresponding to the event information.

또한, 상기 모니터링 장치(100)는 상기 제 1 상품 정보와 제 2 상품 정보의 비교 결과(S9) 상기 제 1 상품 정보와 제 2 상품 정보가 일치하지 않으면 부정 구매로 판단하고 알람(alarm)을 발생시킬 수 있다(S10).In addition, when the first product information and the second product information do not match as a result of the comparison of the first product information and the second product information (S9), the monitoring device 100 determines that the purchase is illegal and generates an alarm It can be done (S10).

이를 위해, 상기 모니터링 장치(100)는 알람 출력부를 더 포함하여 구성될 수 있으며, 상기 제어부(130)는 상기 부정 구매로 판단시 알람 정보 또는 알람 신호를 생성한 후 상기 알람 출력부를 통해 알람 정보 또는 알람 신호를 출력할 수 있다.To this end, the monitoring device 100 may be configured to further include an alarm output unit, and the control unit 130 generates alarm information or an alarm signal upon determining that the purchase is illegal, and then generates alarm information or an alarm signal through the alarm output unit. An alarm signal can be output.

또한, 상기 모니터링 장치(100)는 상기 요청 정보에 대응되어 상기 POS 장치(20)로부터 상기 오류 정보 수신시 상기 제 1 상품 정보에 따른 특정 상품이 리더기(30)를 통한 스캔 없이 포장 영역으로 이동한 것으로 판단하여 상기 특정 상품이 도난당한 것으로 판단할 수 있으며, 이러한 도난에 대해서도 부정 구매로 판단하여 상기 알람 정보 또는 알람 신호를 생성하여 알람을 발생시킬 수 있다.In addition, the monitoring device 100 corresponds to the request information and when receiving the error information from the POS device 20 , the specific product according to the first product information moves to the packaging area without scanning through the reader 30 . It can be determined that the specific product has been stolen, and it can be determined that the theft is also an illegal purchase, and the alarm information or the alarm signal can be generated to generate an alarm.

또한, 상기 모니터링 장치(100)는 상기 요청 정보에 대응되어 미리 설정된 시간 동안 상기 거래 데이터가 수신되지 않는 경우에도 부정 구매로 판단하여 알람을 발생시킬 수 있다.In addition, the monitoring device 100 may generate an alarm by determining that the purchase is fraudulent even when the transaction data is not received for a preset time in response to the request information.

이때, 상기 모니터링 장치(100)는 부정 구매 판단시 부정 구매로 판단된 이벤트 정보 및 해당 이벤트 정보에 대응되는 거래 데이터를 포함하는 알람 정보를 생성하여 상기 모니터링 장치(100)의 저장부(120)에 저장할 수도 있다.At this time, the monitoring device 100 generates alarm information including transaction data corresponding to the event information determined to be fraudulent purchase and the corresponding event information upon determining the fraudulent purchase, and stores it in the storage unit 120 of the monitoring device 100 . You can also save it.

또한, 상기 모니터링 장치(100)는 상기 카메라(10)로부터 수신된 영상을 상기 저장부(120)에 저장할 수 있다.Also, the monitoring device 100 may store the image received from the camera 10 in the storage unit 120 .

또한, 상기 모니터링 장치(100)는 부정 구매로 판단하거나 알람 발생시 상기 알람에 대한 상기 알람 정보를 생성하여 통신망을 통해 미리 설정된 관리자 단말로 전송할 수 있으며, 이를 통해 관리자 단말의 관리자에게 부정 구매가 발생한 것을 알릴 수 있다.In addition, the monitoring device 100 may generate the alarm information for the alarm when it is determined as an illegal purchase or an alarm occurs and transmit it to a preset manager terminal through a communication network, thereby notifying the manager of the manager terminal that an illegal purchase has occurred. can inform

상술한 구성에서, 상기 모니터링 장치(100)는, 상기 학습 모델인 제 1 학습 모델과 상이하며 손에 해당하는 객체가 설정된 복수의 서로 다른 이미지를 학습하여 손에 해당하는 관심 객체를 식별하도록 학습되어 미리 설정된 제 2 학습 모델에 상기 영상을 적용하여 상기 영상에서 손에 해당되는 관심 객체를 식별 및 추적할 수도 있다.In the above configuration, the monitoring device 100 is different from the first learning model, which is the learning model, and is trained to identify the object of interest corresponding to the hand by learning a plurality of different images in which the object corresponding to the hand is set. An object of interest corresponding to a hand may be identified and tracked in the image by applying the image to a preset second learning model.

이때, 상기 제 2 학습 모델 역시 딥러닝 알고리즘으로 구성될 수 있으며, 상기 제 2 학습 모델은 상기 제 1 학습 모델과 분리되어 상기 제어부(130)에 설정될 수 있다.In this case, the second learning model may also be configured as a deep learning algorithm, and the second learning model may be set in the controller 130 separately from the first learning model.

상술한 바와 같이, 본 발명은 셀프 계산대를 카메라(10)로 촬영하여 얻어진 영상에서 고객의 손에 대한 객체를 식별한 후 추적하여 셀프 계산대에서 고객이 자신의 손을 이용하여 구매 대상 상품의 식별 코드를 인식시켜 구매 대상 상품에 대한 상품 정보를 POS 장치(20)에 입력하는 행위에 대한 이벤트 발생 여부를 판단하고, 이벤트 발생시 영상에서 손에 가장 인접한 특정 객체를 구매 대상 상품으로 인식한 후 특정 객체로부터 영상 분석을 통해 얻은 메타 데이터를 딥러닝 기반으로 분석하여 구매 대상 상품의 상품 정보를 식별할 수 있으며, 이벤트 발생시 POS 장치(20)에서 생성된 거래 데이터에 포함되는 상품 정보와 영상으로부터 획득한 상품 정보를 상호 비교하여 불일치하는 경우 고객이 구매 대상 상품에 구매 대상 상품과 관련이 없는 다른 상품의 식별 코드를 구매 대상 상품에 부착시켜 구매를 시도한 부정 구매로 자동 판단하여 알람을 제공함으로써, 기존과 같이 부정 구매 판단을 위해 영상을 일일이 육안으로 확인할 필요 없이 자동으로 부정 구매 판단이 부정 구매 발생 당시에 이루어지도록 함으로써 부정 구매를 효율적이면서도 정확하게 검출하여 부정 구매 방지에 대한 효율성 및 편의성을 크게 높일 수 있다.As described above, the present invention identifies the object for the customer's hand in the image obtained by photographing the self-checkout counter with the camera 10 and then tracks the identification code of the product to be purchased using the customer's hand at the self-checkout counter. to determine whether an event has occurred for the act of inputting product information on the product to be purchased into the POS device 20 by recognizing the By analyzing the metadata obtained through image analysis based on deep learning, product information of the product to be purchased can be identified, and product information included in the transaction data generated by the POS device 20 when an event occurs and product information obtained from the image In the case of inconsistency by comparing the items to each other, the customer attaches the identification code of another product not related to the purchase target product to the purchase target product to automatically determine that it is an illegal purchase and provides an alarm. It is possible to efficiently and accurately detect fraudulent purchases by automatically making the determination of fraudulent purchases at the time of occurrence of fraudulent purchases, without the need to visually check each video for purchase determination, greatly improving the efficiency and convenience of preventing fraudulent purchases.

또한, 본 발명은 이벤트 발생시 이벤트와 관련된 거래 데이터가 수신되지 않으면 이벤트와 관련된 구매 대상 상품이 도난 당한 것으로 판단하여 알람을 제공함으로써 부정 구매 뿐만 아니라 도난에 대해서도 용이하게 대처할 수 있다.In addition, in the present invention, when transaction data related to an event is not received when an event occurs, it is determined that a purchase target product related to the event has been stolen, and an alarm is provided, thereby making it possible to easily cope with not only illegal purchase but also theft.

한편, 본 발명의 실시예에 따른 셀프 계산대를 위한 부정 방지 모니터링 시스템은, 셀프 계산대를 통해 상품을 구매하는 사용자의 구매 대상 상품에 대한 결제 이후에 POS 장치(20)에 의해 생성된 결제 내역 정보와 카메라(10)의 영상을 통해 식별된 구매 대상 상품 각각의 상품 정보를 취합한 구매 내역 정보를 상호 비교하여 누락된 상품 존재시 도난으로 판단하여 알람을 제공할 수 있는데, 이를 상세히 설명한다.On the other hand, the anti-corruption monitoring system for a self-checkout counter according to an embodiment of the present invention includes payment history information generated by the POS device 20 after a user who purchases a product through the self-checkout counter pays for a purchase target product and By comparing purchase history information that collects product information of each of the purchase target products identified through the image of the camera 10, it is determined that the missing product is theft and an alarm can be provided, which will be described in detail.

우선, 상기 모니터링 장치(100)는 상기 카메라(10)로부터 지속적으로 수신되는 영상에서 상기 규칙에 따라 설정한 상기 하나 이상의 영역 중 미리 설정된 특정 영역에서 하나 이상의 상품과 각각 대응되는 객체인 하나 이상의 상품 객체를 식별할 수 있다.First, in the image continuously received from the camera 10, the monitoring device 100 sets one or more product objects that are objects corresponding to one or more products in a preset specific area among the one or more areas set according to the rule. can be identified.

일례로, 상기 모니터링 장치(100)는 구매 대상인 상품의 바코드를 인식시키기 이전에 상품이 위치하는 대기 영역부(A) 또는 상품의 바코드를 인식시키기 위한 스캔 영역부(B)에 위치하는 상품별 상품 객체를 식별할 수 있다.For example, the monitoring device 100 is a product object for each product located in the waiting area (A) where the product is located before recognizing the barcode of the product to be purchased or the scan area (B) for recognizing the barcode of the product can be identified.

이때, 상기 모니터링 장치(100)는 상기 영상에 설정된 대기 영역부(A)에 위치하는 하나 이상의 상품과 각각 대응되는 하나 이상의 상품 객체를 식별할 수 있다.In this case, the monitoring device 100 may identify one or more products located in the waiting area unit A set in the image and one or more product objects respectively corresponding to each other.

또는, 상술한 구성과 마찬가지로 상기 모니터링 장치(100)는, 상기 영상의 스캔 영역부(B)에서 손에 해당하는 관심 객체와 가장 인접한 객체를 상품 객체로서 식별할 수 있다.Alternatively, similarly to the configuration described above, the monitoring apparatus 100 may identify an object closest to the object of interest corresponding to the hand in the scan region B of the image as the product object.

이때, 상기 모니터링 장치(100)는 상기 영상의 스캔 영역에서 손에 해당하는 관심 객체가 식별될 때마다 상기 상품 객체를 식별하여, 하나 이상의 상품 객체를 식별할 수 있다.In this case, the monitoring apparatus 100 may identify one or more product objects by identifying the product object whenever an object of interest corresponding to a hand is identified in the scan region of the image.

또한, 상기 모니터링 장치(100)는, 상기 식별된 하나 이상의 상품 객체별로 상기 영상에서 상기 상품 객체별 메타 데이터를 추출할 수 있다.Also, the monitoring device 100 may extract metadata for each product object from the image for each of the identified one or more product objects.

또한, 상기 모니터링 장치(100)는, 상기 하나 이상의 상품 객체별로 상기 추출된 메타 데이터를 상기 학습 모델에 적용하여 상기 상품 객체별로 상품 정보를 산출하고, 상기 하나 이상의 상품 객체와 각각 대응되는 하나 이상의 상품 정보를 포함하는 구매 내역 정보를 생성할 수 있다.In addition, the monitoring device 100 applies the extracted metadata for each of the one or more product objects to the learning model to calculate product information for each product object, and one or more products corresponding to the one or more product objects, respectively. Purchase history information including information may be generated.

또한, 상기 모니터링 장치(100)는, 상기 POS 장치(20)로 결제 내역 정보를 요청할 수 있다.Also, the monitoring device 100 may request payment history information from the POS device 20 .

이때, 상기 POS 장치(20)는 기존의 다른 결제 내역 정보가 처리된 시점부터 결제 요청에 대한 입력이 수신되기 이전까지 생성된 거래 데이터를 취합하여 현재 결제 대상인 하나 이상의 상품에 대한 결제 내역 정보를 생성할 수 있으며, 상기 결제 내역 정보에 대응되어 결제 수단 정보가 입력되면 상기 결제 수단 정보 및 결제 내역 정보를 기초로 미리 설정된 결제 서버와 통신망을 통해 통신하여 결제 처리할 수 있다.At this time, the POS device 20 collects transaction data generated from the time when other existing payment history information is processed until an input for a payment request is received, and generates payment history information for one or more products currently being paid. When payment method information is input corresponding to the payment history information, payment can be processed by communicating with a payment server and a communication network set in advance based on the payment method information and payment history information.

또한, 상기 POS 장치(20)는 상기 모니터링 장치(100)로부터 상기 결제 내역 정보의 요청에 대한 결제 요청 정보가 수신되면, 상기 결제 내역 정보를 상기 모니터링 장치(100)에 전송할 수 있다.Also, when payment request information for a request for payment history information is received from the monitoring device 100 , the POS device 20 may transmit the payment history information to the monitoring device 100 .

또한, 상기 모니터링 장치(100)는 상기 POS 장치(20)로부터 수신된 결제 내역 정보와 상기 구매 내역 정보를 상호 비교하여 상기 구매 내역 정보에 포함된 상품 정보 중 상기 결제 내역 정보에 누락된 상품 정보 발생시 상기 누락된 상품 정보에 대응되는 상품이 도난당한 것으로 판단하고, 알람을 발생시킬 수 있다.In addition, the monitoring device 100 compares the payment history information received from the POS device 20 with the purchase history information, and when product information missing from the payment history information among the product information included in the purchase history information occurs It may be determined that the product corresponding to the missing product information is stolen, and an alarm may be generated.

본 발명의 실시예들에서 설명된 구성요소는, 예를 들어, 메모리 등의 저장부(120), 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서 등의 하드웨어, 명령어 세트를 포함하는 소프트웨어 내지 이들의 조합 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.The components described in the embodiments of the present invention include, for example, a storage unit 120 such as a memory, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, and an FPA. one or more general purpose devices, such as hardware such as a field programmable array, a programmable logic unit (PLU), a microprocessor, software including an instruction set, or any combination thereof, or any other device capable of executing and responding to instructions. It may be implemented using a computer or a special purpose computer.

전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Those of ordinary skill in the art to which the present invention pertains may modify and modify the above-described contents without departing from the essential characteristics of the present invention. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

10: 카메라 20: POS 장치
30: 리더기 100: 모니터링 장치
110: 통신부 120: 저장부
130: 제어부10: Camera 20: POS device
30: reader 100: monitoring device
110: communication unit 120: storage unit
130: control unit

Claims (11)

셀프 계산대에 포함된 POS 장치 및 상기 셀프 계산대를 촬영하는 카메라와 통신하는 모니터링 장치의 셀프 계산대를 위한 부정 방지 모니터링 방법에 있어서,
상기 카메라로부터 수신되는 영상에서 사람의 손을 식별한 후 추적하여 미리 설정된 규칙에 따라 상기 손이 이동한 경우 이벤트를 발생시키고, 상기 이벤트 발생시 상기 영상에서 상기 손에 해당하는 관심 객체와 가장 인접하면서 상기 관심 객체와 상이한 특정 객체를 상기 영상에서 식별하는 이벤트 처리 단계;
상기 특정 객체로부터 미리 설정된 영상 분석 알고리즘을 통해 메타 데이터를 추출하고, 상기 특정 객체의 메타 데이터 및 상기 이벤트의 이벤트 발생 시점을 포함하는 이벤트 정보를 생성하는 이벤트 생성 단계;
학습을 통해 메타 데이터와 상품 정보 사이의 상관관계가 설정된 학습 모델에 상기 이벤트 정보에 따른 메타 데이터를 적용하여 상기 특정 객체에 대응되는 제 1 상품 정보를 산출하는 상품 식별 단계;
상기 POS 장치로 상기 이벤트 발생 시점에 대응되는 거래 데이터를 요청하는 요청 단계; 및
상기 제 1 상품 정보와 상기 POS 장치로부터 수신된 상기 거래 데이터를 상호 비교하여 부정 구매를 검출하는 검출 단계
를 포함하는 셀프 계산대를 위한 부정 방지 모니터링 방법.
A method for anti-corruption monitoring for a self-checkout counter of a POS device included in the self-checkout counter and a monitoring device communicating with a camera photographing the self-checkout counter, comprising:
After identifying a person's hand in the image received from the camera, tracking it and generating an event when the hand moves according to a preset rule. When the event occurs, the hand is closest to the object of interest corresponding to the hand in the image an event processing step of identifying a specific object different from the object of interest in the image;
an event generating step of extracting metadata from the specific object through a preset image analysis algorithm and generating event information including metadata of the specific object and an event occurrence time of the event;
a product identification step of calculating first product information corresponding to the specific object by applying metadata according to the event information to a learning model in which a correlation between metadata and product information is set through learning;
a request step of requesting transaction data corresponding to the event occurrence time to the POS device; and
A detection step of detecting fraudulent purchase by comparing the first product information with the transaction data received from the POS device
An anti-fraud monitoring method for self-checkout, comprising:
 청구항 1에 있어서,
상기 학습 모델은 복수의 서로 다른 학습용 이미지 각각에서 복수의 서로 다른 지정 상품 중 적어도 하나에 대응되는 객체로부터 추출한 메타 데이터별로 상기 메타 데이터에 대응되는 지정 상품의 상품 정보와 매칭하여 생성된 데이터 셋을 학습하며, 메타 데이터 및 상품 정보가 포함된 복수의 서로 다른 상기 데이터 셋의 학습을 통해 상기 상관 관계가 설정되는 것을 특징으로 하는 셀프 계산대를 위한 부정 방지 모니터링 방법.
The method according to claim 1,
The learning model learns a data set generated by matching product information of a specified product corresponding to the metadata for each metadata extracted from an object corresponding to at least one of a plurality of different specified products in each of a plurality of different training images and the correlation is established through learning of a plurality of different data sets including metadata and product information.
 청구항 1에 있어서,
상기 검출 단계는, 상기 제 1 상품 정보와 상기 거래 데이터에 포함된 제 2 상품 정보가 상호 일치하지 않거나 상기 이벤트 발생 시점에 대응되는 거래 데이터가 상기 POS 장치로부터 수신되지 않으면, 부정 구매로 판단하고 알람을 발생시키는 단계를 더 포함하는 것을 특징으로 하는 셀프 계산대를 위한 부정 방지 모니터링 방법.
The method according to claim 1,
In the detecting step, if the first product information and the second product information included in the transaction data do not match each other or the transaction data corresponding to the event occurrence time is not received from the POS device, it is determined as an illegal purchase and an alarm Anti-corruption monitoring method for self-checkout, characterized in that it further comprises the step of generating.
 청구항 3에 있어서,
상기 검출 단계는, 상기 부정 구매로 판단시 상기 알람에 대한 알람 정보를 생성하여 통신망을 통해 미리 설정된 관리자 단말로 상기 알람 정보를 전송하는 것을 특징으로 하는 셀프 계산대를 위한 부정 방지 모니터링 방법.
4. The method according to claim 3,
In the detecting step, when it is determined that the fraudulent purchase is made, the alarm information for the alarm is generated and the alarm information is transmitted to a preset manager terminal through a communication network.
 청구항 3에 있어서,
상기 셀프 계산대는 상기 POS 장치 및 상기 POS 장치와 연동하며 상기 특정 상품의 바코드를 인식하는 리더기를 포함하며,
상기 거래 데이터는 상기 리더기로부터 상기 바코드 인식에 따라 생성된 코드 정보를 수신한 상기 POS 장치에 미리 저장된 하나 이상의 상품 정보 중 상기 코드 정보와 매칭되어 미리 저장된 상기 제 2 상품 정보를 포함하는 것을 특징으로 하는 셀프 계산대를 위한 부정 방지 모니터링 방법.
4. The method according to claim 3,
The self-checkout counter includes the POS device and a reader that interworks with the POS device and recognizes the barcode of the specific product,
The transaction data includes the second product information stored in advance by matching the code information among one or more product information stored in advance in the POS device that has received the code information generated according to the barcode recognition from the reader Anti-Cheat Monitoring Method for Self-Checkout.
 청구항 1에 있어서,
상기 이벤트 처리 단계는,
상기 카메라를 통해 상기 셀프 계산대에 대해 촬영된 상기 영상에 상기 규칙에 따른 하나 이상의 영역을 설정하고, 상기 영상에서 사람의 손에 해당되는 객체인 관심 객체를 식별하고, 상기 관심 객체를 추적하여 상기 관심 객체가 상기 하나 이상의 영역을 상기 규칙에 따른 미리 설정된 순서로 이동하거나 상기 하나 이상의 영역 중 특정 영역에 위치할 때 상기 이벤트를 발생시키는 것을 특징으로 하는 셀프 계산대를 위한 부정 방지 모니터링 방법.
The method according to claim 1,
The event processing step is
One or more regions according to the rule are set in the image captured for the self-checkout through the camera, an object of interest that is an object corresponding to a person's hand in the image is identified, and the object of interest is tracked and the interest The anti-corruption monitoring method for self checkout, characterized in that the event is generated when the object moves the one or more areas in a preset order according to the rule or is located in a specific area among the one or more areas.
 청구항 6에 있어서,
상기 이벤트 처리 단계는, 상기 영상에서 상기 하나 이상의 영역 중 미리 설정된 특정 영역에서 하나 이상의 상품과 각각 대응되는 객체인 하나 이상의 상품 객체를 식별하는 단계를 더 포함하고,
상기 이벤트 생성 단계는, 상기 하나 이상의 상품 객체별로 메타 데이터를 추출하는 단계를 더 포함하며,
상기 상품 식별 단계는, 하나 이상의 상품 객체별로 상기 추출된 메타 데이터를 상기 학습 모델에 적용하여 상기 하나 이상의 상품 객체와 각각 대응되는 하나 이상의 상품 정보를 포함하는 구매 내역 정보를 생성하는 단계를 더 포함하고,
상기 요청 단계는, 상기 POS 장치로 결제 내역 정보를 요청하는 단계를 더 포함하며,
상기 검출 단계는, 상기 POS 장치로부터 수신된 결제 내역 정보와 상기 구매 내역 정보를 상호 비교하여 상기 구매 내역 정보에 포함된 상품 정보 중 상기 결제 내역 정보에 누락된 상품 정보 발생시 알람을 발생시키는 단계를 더 포함하는 것을 특징으로 하는 셀프 계산대를 위한 부정 방지 모니터링 방법.
7. The method of claim 6,
The event processing step further comprises the step of identifying one or more product objects that are objects corresponding to one or more products in a predetermined specific area among the one or more areas in the image,
The event generation step further comprises the step of extracting metadata for each of the one or more product objects,
The product identification step further includes generating purchase history information including one or more product information corresponding to the one or more product objects by applying the extracted metadata for each one or more product objects to the learning model, ,
The requesting step further includes the step of requesting payment history information to the POS device,
The detecting step may include comparing the payment history information received from the POS device with the purchase history information to generate an alarm when product information missing from the payment history information among the product information included in the purchase history information occurs. Anti-corruption monitoring method for self-checkout, comprising.
 청구항 1에 있어서,
상기 메타 데이터는 상기 특정 객체를 상기 영상으로부터 추출하여 생성된 클립 이미지와, 상기 특정 객체를 구성하는 모든 픽셀의 색상별 비율, 상기 특정 객체의 길이 및 상기 특정 객체의 너비 중 적어도 하나를 포함하는 것을 특징으로 하는 셀프 계산대를 위한 부정 방지 모니터링 방법.
The method according to claim 1,
The metadata includes at least one of a clip image generated by extracting the specific object from the image, a ratio by color of all pixels constituting the specific object, a length of the specific object, and a width of the specific object An anti-fraud monitoring method for self-checkout, characterized.
 청구항 1에 있어서,
상기 이벤트 처리 단계는,
상기 학습 모델인 제 1 학습 모델과 상이하며 손에 해당하는 객체가 설정된 복수의 서로 다른 이미지를 학습하여 손에 해당하는 관심 객체를 식별하도록 학습되어 미리 설정된 제 2 학습 모델에 상기 영상을 적용하여 상기 영상에서 손에 해당되는 관심 객체를 식별 및 추적하는 단계를 더 포함하는 것을 특징으로 하는 셀프 계산대를 위한 부정 방지 모니터링 방법.
The method according to claim 1,
The event processing step is
Different from the first learning model, which is the learning model, by learning a plurality of different images in which an object corresponding to a hand is set to identify an object of interest corresponding to a hand, and applying the image to a preset second learning model Anti-corruption monitoring method for self checkout, characterized in that it further comprises the step of identifying and tracking the object of interest corresponding to the hand in the image.
 셀프 계산대를 촬영하는 카메라;
상기 셀프 계산대에 구성되어 상품의 바코드를 인식하는 리더기로부터 상기 바코드 인식에 따른 거래 데이터를 수신하여 제공하는 POS 장치; 및
상기 카메라 및 POS 장치와 통신하며, 상기 카메라로부터 수신되는 영상에서 사람의 손을 식별한 후 추적하여 미리 설정된 규칙에 따라 상기 손이 이동한 경우 이벤트를 발생시키고, 상기 이벤트 발생시 상기 영상에서 상기 손에 해당하는 관심 객체와 가장 인접하면서 상기 관심 객체와 상이한 특정 객체를 상기 영상에서 식별하고, 상기 특정 객체로부터 미리 설정된 영상 분석 알고리즘을 통해 메타 데이터를 추출하고, 상기 특정 객체의 메타 데이터 및 상기 이벤트의 이벤트 발생 시점을 포함하는 이벤트 정보를 생성하며, 학습을 통해 상기 메타 데이터와 상품 정보 사이의 상관관계가 설정된 학습 모델이 미리 설정되어 상기 학습 모델에 상기 이벤트 정보에 따른 메타 데이터를 적용하여 상기 특정 객체에 대응되는 제 1 상품 정보를 산출하고, 상기 이벤트 정보에 따른 상기 이벤트 발생 시점을 근거로 상기 제 1 상품 정보와 상기 POS 장치로부터 수신된 거래 데이터를 상호 비교하여 부정 구매를 검출하는 모니터링 장치
를 포함하는 셀프 계산대를 위한 부정 방지 모니터링 시스템.
a camera for taking pictures of the self-checkout counter;
a POS device configured in the self-checkout counter to receive and provide transaction data according to the barcode recognition from a reader that recognizes a barcode of a product; and
It communicates with the camera and the POS device, identifies and tracks a person's hand in the image received from the camera, and generates an event when the hand moves according to a preset rule, and when the event occurs, the hand is placed on the hand in the image A specific object that is closest to the corresponding object of interest and is different from the object of interest is identified from the image, metadata is extracted from the specific object through a preset image analysis algorithm, and metadata of the specific object and the event of the event Event information including the time of occurrence is generated, and a learning model in which a correlation between the metadata and product information is set through learning is set in advance, and meta data according to the event information is applied to the learning model to the specific object. A monitoring device that calculates corresponding first product information and detects fraudulent purchase by comparing the first product information with the transaction data received from the POS device based on the event occurrence time according to the event information
An anti-fraud monitoring system for self-checkouts that includes
 셀프 계산대에 포함된 POS 장치 및 상기 셀프 계산대를 촬영하는 카메라와 통신하는 통신부; 및
상기 통신부를 통해 상기 카메라로부터 수신되는 영상에서 사람의 손을 식별한 후 추적하여 미리 설정된 규칙에 따라 상기 손이 이동한 경우 이벤트를 발생시키고, 상기 이벤트 발생시 상기 영상에서 상기 손에 해당하는 관심 객체와 가장 인접하면서 상기 관심 객체와 상이한 특정 객체를 상기 영상에서 식별하고, 상기 특정 객체로부터 미리 설정된 영상 분석 알고리즘을 통해 메타 데이터를 추출하고, 상기 특정 객체의 메타 데이터 및 상기 이벤트의 이벤트 발생 시점을 포함하는 이벤트 정보를 생성하며, 학습을 통해 메타 데이터와 상품 정보 사이의 상관관계가 설정된 학습 모델에 상기 이벤트 정보에 따른 메타 데이터를 적용하여 상기 특정 객체에 대응되는 제 1 상품 정보를 산출하고, 상기 통신부를 통해 상기 POS 장치로 상기 이벤트 발생 시점에 대응되는 거래 데이터를 요청하여 수신된 상기 거래 데이터와 상기 제 1 상품 정보를 상호 비교하여 부정 구매를 검출하는 제어부
를 포함하는 셀프 계산대를 위한 모니터링 장치.a communication unit communicating with a POS device included in the self-checkout counter and a camera for photographing the self-checkout counter; and
After identifying a person's hand in the image received from the camera through the communication unit, tracking the hand and generating an event when the hand moves according to a preset rule, and the object of interest corresponding to the hand in the image when the event occurs Identifying a specific object that is the closest and different from the object of interest from the image, extracting metadata from the specific object through a preset image analysis algorithm, and including metadata of the specific object and the event occurrence time of the event The event information is generated, and the first product information corresponding to the specific object is calculated by applying the metadata according to the event information to a learning model in which the correlation between the metadata and the product information is set through learning, and the communication unit A control unit for detecting fraudulent purchase by requesting transaction data corresponding to the time of occurrence of the event from the POS device through the POS device and comparing the received transaction data with the first product information
A monitoring device for self-checkout, comprising:
KR1020200176584A 2020-12-16 2020-12-16 Anti-fraud monitoring system and method for self checkout, and monitoring apparatus applied to the same KR20220086277A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200176584A KR20220086277A (en) 2020-12-16 2020-12-16 Anti-fraud monitoring system and method for self checkout, and monitoring apparatus applied to the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200176584A KR20220086277A (en) 2020-12-16 2020-12-16 Anti-fraud monitoring system and method for self checkout, and monitoring apparatus applied to the same

Publications (1)

Publication Number Publication Date
KR20220086277A true KR20220086277A (en) 2022-06-23

Family

ID=82222132

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200176584A KR20220086277A (en) 2020-12-16 2020-12-16 Anti-fraud monitoring system and method for self checkout, and monitoring apparatus applied to the same

Country Status (1)

Country Link
KR (1) KR20220086277A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101850315B1 (en) 2018-01-22 2018-05-31 주식회사 엑사스코프 Apparatus for self-checkout applied to hybrid product recognition

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101850315B1 (en) 2018-01-22 2018-05-31 주식회사 엑사스코프 Apparatus for self-checkout applied to hybrid product recognition

Similar Documents

Publication Publication Date Title
US20230013957A1 (en) Non-Scan Loss Verification at Self-Checkout Terminal
JP6730079B2 (en) Monitoring device and program
US8761451B2 (en) Sequential event detection from video
US11538262B2 (en) Multiple field of view (FOV) vision system
US20200143172A1 (en) Constructing shopper carts using video surveillance
US10769399B2 (en) Method for improper product barcode detection
CA2940398C (en) Systems and methods for customer deactivation of security elements
US20170186022A1 (en) Information processing apparatus
JP6318557B2 (en) POS terminal device, POS system, image processing method and program
CN110622173A (en) Detection of mislabeled products
CN113366543B (en) System and method for detecting scanning anomalies in self-checkout terminals
KR102410634B1 (en) Method, device and system for providing unattended sales service based on artificial intelligence
EP3629276A1 (en) Context-aided machine vision item differentiation
US20230120798A1 (en) Systems and methods for detecting a mis-scan of an item for purchase
CN207624043U (en) Commodity clearance equipment and purchase system
US11809999B2 (en) Object recognition scanning systems and methods for implementing artificial based item determination
JP6289308B2 (en) Information processing apparatus and program
US20220414632A1 (en) Operation of a self-check out surface area of a retail store
KR20220086277A (en) Anti-fraud monitoring system and method for self checkout, and monitoring apparatus applied to the same
SE542415C2 (en) Training of an automatic in-store registration system
EP3989105A1 (en) Embedded device based detection system
US11657400B2 (en) Loss prevention using video analytics
WO2021176840A1 (en) Registration checking device, control method, and program
JP2022020661A (en) Monitoring device and program
JP6569762B2 (en) POS terminal device, POS system, image processing method and program

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application