KR20170112315A - System for mornitoring cash drawer of store using pos terminal and camera in store - Google Patents

System for mornitoring cash drawer of store using pos terminal and camera in store Download PDF

Info

Publication number
KR20170112315A
KR20170112315A KR1020160039208A KR20160039208A KR20170112315A KR 20170112315 A KR20170112315 A KR 20170112315A KR 1020160039208 A KR1020160039208 A KR 1020160039208A KR 20160039208 A KR20160039208 A KR 20160039208A KR 20170112315 A KR20170112315 A KR 20170112315A
Authority
KR
South Korea
Prior art keywords
pos
information
image
tradition
terminal
Prior art date
Application number
KR1020160039208A
Other languages
Korean (ko)
Other versions
KR102107533B1 (en
Inventor
마송훈
김인호
한재웅
Original Assignee
제이씨스퀘어주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 제이씨스퀘어주식회사 filed Critical 제이씨스퀘어주식회사
Priority to KR1020160039208A priority Critical patent/KR102107533B1/en
Priority to PCT/KR2016/015528 priority patent/WO2017142191A1/en
Publication of KR20170112315A publication Critical patent/KR20170112315A/en
Application granted granted Critical
Publication of KR102107533B1 publication Critical patent/KR102107533B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N5/232—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Resources & Organizations (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Finance (AREA)
  • Alarm Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

본 발명은 각 매장에 설치된 POS 단말과 POS 단말의 주위를 촬영하는 카메라를 연동하여 POS 단말과 연결된 POS 금전통의 상태를 모니터링하고, 모니터링 결과 POS 금전통이 열린 것으로 확인되면 즉시 관리자에게 알리거나, POS 단말에서 발생된 거래내역정보를 조회하여 POS 금전통의 열림이 정상 거래에 의한 것인지 여부를 판단한 후 정상 거래에 의한 것이 아닌 경우에 해당 관리자에게 알림으로써 매장 직원들의 부정 행위 또는 비상 상황 발생을 원격에서 감시하는 POS 단말과 카메라를 이용한 매장의 금전통 모니터링 시스템을 제공한다. The present invention monitors the status of the POS cash tradition linked to the POS terminal by interlocking the POS terminal installed in each store with the camera that photographs the POS terminal around the POS terminal and notifies the manager immediately when it is confirmed that the POS POS tradition is opened, If the POS transaction is not based on a normal transaction after determining whether the opening of the POS tradition is due to a normal transaction by inquiring transaction history information generated by the POS terminal, the controller informs the manager of the fraud or emergency situation of the store employees, Provides a traditional gold monitoring system for shops using POS terminals and cameras.

Description

POS 단말과 카메라를 이용한 매장의 금전통 모니터링 시스템{SYSTEM FOR MORNITORING CASH DRAWER OF STORE USING POS TERMINAL AND CAMERA IN STORE}TECHNICAL FIELD [0001] The present invention relates to a system for monitoring a gold tradition in a shop using a POS terminal and a camera,

본 발명은 각 매장에 설치된 POS 단말과 카메라를 연동하여 매장의 금전통의 상태를 모니터링하는 POS 단말과 카메라를 이용한 매장의 금전통 모니터링 시스템 에 관한 것이다.The present invention relates to a gold tradition monitoring system for a store using a POS terminal and a camera for monitoring a gold tradition of a store by interlocking a POS terminal installed in each store and a camera.

일반적으로, 쇼핑 센터나 대형 매장에서는 상품이 너무 많이 보관되어 관리상의 어려움으로 발생하는 재고손실, 상품의 재고가 없어서 팔지 못하여 발생하는 기회손실, 고객의 부정이나 매장 직원의 부정에 의해 매장에서 생기는 상품분실손실, 계산대 직원의 계산 실수나 부정에 의해 발생하는 결제손실 등에 의해 매출 손실이 발생하고 있다. Generally, in a shopping center or a large store, an inventory loss caused by a management difficulty due to excessive storage of goods, an opportunity loss due to a lack of inventory, Loss on loss, loss on account due to the calculation mistake of the counter staff or settlement loss caused by fraud.

이중 재고손실이나 기회손실은 각 매장에 포스(POS) 단말을 이용하여 상품 관리 및 고객 관리를 전산화하는 시스템 도입으로 해소하였고, 상품분실손실은 매장 내 상품진열대 인근에 감시카메라를 설치함으로써 해소하고자 하고 있다.  Dual inventory loss and opportunity loss are solved by introducing a system to computerize product management and customer management using POS terminals at each store. The loss of lost goods is solved by installing a surveillance camera near the store shelf have.

그런데, 계산대 직원이 POS 단말에 고객이 구입한 상품코드(제조업체코드, 품목코드 등)을 입력하지 않고 대금을 가로채거나, 카드 결제를 취소하는 과정에서 해당 취소 금액의 현금을 계산대 직원이 인출하여 가로채거나, 또는 상품을 친한 고객에게 공짜로 주는 등 계산대에서 발생되는 결제손실에 대해서는 차단할 방법이 아직 없다는 문제점이 있다.However, when the counter member interrupts the payment without canceling the product code (manufacturer code, item code, etc.) purchased by the customer at the POS terminal, or withdraws the card payment, There is still a problem that there is not yet a way to block the payment loss that occurs at the counter, such as intercepting or giving free goods to a close customer.

따라서, 본 출원인은 상기와 같은 문제점을 해결하기 위하여 본 발명을 제안하게 되었으며, 이와 관련된 선행기술문헌으로는 대한민국 공개특허 제10-2002-0015681호(발명의 명칭: POS 데이터를 이용한 디지털영상감시 시스템 및 방법, 공개일: 2003.09.26.)가 있다.Accordingly, the applicant of the present invention has proposed the present invention in order to solve the above-mentioned problems, and as a prior art document related thereto, Korean Patent Publication No. 10-2002-0015681 (entitled: Digital Video Surveillance System Using POS Data And method, publication date: September 26, 2003).

본 발명은 각 매장에 설치된 POS 단말과 POS 단말의 주위를 촬영하는 카메라를 연동하여 POS 단말과 연결된 POS 금전통의 상태를 모니터링함으로써 POS 금전통이 열린 것으로 확인되면 즉시 관리자에게 알리는, POS 단말과 카메라를 이용한 매장의 금전통 모니터링 시스템을 제공하는 데 그 목적이 있다. The present invention monitors a state of POS tradition linked to a POS terminal by interlocking a POS terminal installed in each store with a camera that photographs the periphery of the POS terminal, The purpose of this study is to provide a traditional gold monitoring system for stores using the Internet.

특히, 본 발명은 촬영 영상 분석을 통해 POS 금전통이 열린 것으로 확인되면 POS 단말에서 발생된 거래내역정보 또는 음성 정보에 기초하여 부정 거래 여부를 판단함으로써 매장 직원들의 부정 행위나 도난 여부를 원격에서 감시하고 신속한 조치가 가능하도록 하는 데 궁극적인 목적이 있다. Particularly, according to the present invention, if it is confirmed that the POS tradition has been opened by analyzing the shot image, it is determined whether or not fraudulent transactions are performed based on transaction history information or voice information generated in the POS terminal, The ultimate goal is to enable rapid action.

상기한 과제를 달성하기 위한 본 발명의 POS 단말과 카메라를 이용한 매장의 금전통 모니터링 시스템은, 매장에 설치된 POS 단말의 주위를 촬영하는 카메라로부터 촬영 영상을 수집하고 상기 촬영 영상을 시간 정보와 매칭하여 저장하는 영상 처리 서버; 및 상기 POS 단말에서 발생하는 상품 판매에 대한 결제를 처리하는 POS 서버로부터 상기 상품 판매에 수반되는 거래내역정보를 전달받는 서비스 제공 서버;를 포함하고, 상기 영상 처리 서버는, 상기 촬영 영상을 미리 설정된 기준영상과 비교 분석하여 상기 POS 단말과 연결된 POS 금전통의 상태를 모니터링하는 것을 특징으로 한다. According to an aspect of the present invention, there is provided a gold traditional monitoring system for a store using a POS terminal and a camera, the system comprising: a camera for capturing an image of a periphery of a POS terminal installed in a store; A video processing server to store; And a service providing server for receiving transaction history information related to the sale of goods from a POS server that processes payment for goods sales generated in the POS terminal, wherein the image processing server comprises: And monitors the state of POS cash tradition connected with the POS terminal by comparing and analyzing the POS image with the reference image.

상기 영상 처리 서버는, 상기 촬영 영상에서 상기 POS 금전통을 포함한 일정 영역을 추출한 후 상기 일정 영역에 대해 상기 기준 영상과 비교 분석하여 상기 POS 금전통의 상태를 모니터링한다. The image processing server extracts a predetermined region including the POS gold tradition from the photographed image, and compares the predetermined region with the reference image to monitor the status of the POS tradition.

상기 영상 처리 서버는, 상기 모니터링 결과 상기 POS 금전통이 열림 것으로 확인되면 해당 촬영 영상에 대응되는 인덱스 정보를 상기 서비스 제공 서버로 전송할 수 있다. The image processing server may transmit index information corresponding to the photographed image to the service providing server if it is confirmed that the POS cash tradition is opened as a result of the monitoring.

상기 서비스 제공 서버는, 상기 인덱스 정보를 수신하면 상기 POS 서버로부터 전달받은 거래내역정보에 기초하여 상기 POS 금전통의 열림이 정상 거래에 의한 것인지 여부를 판단하고, 상기 정상 거래에 의한 것이 아닌 비정상 거래에 의한 것인 경우 해당 관리자 단말에 알릴 수 있다. Wherein the service providing server, when receiving the index information, determines whether the opening of the POS tradition is due to a normal transaction based on the transaction history information received from the POS server, It is possible to notify the corresponding manager terminal.

이때, 상기 서비스 제공 서버는, 상기 POS 서버로부터 전달받은 거래내역정보로부터 상기 인덱스 정보에 포함된 POS 금전통의 열림발생시간에 대응되는 거래내역정보가 없거나 상기 거래내역정보가 있더라도 카드 거래인 경우 상기 POS 금전통의 열림이 상기 비정상 거래에 의한 것이라고 판단할 수 있다. At this time, if the transaction history information corresponding to the opening occurrence time of the POS tradition included in the index information does not exist or the transaction details information is present from the transaction history information received from the POS server, It can be judged that the opening of the POS tradition is due to the abnormal transaction.

또한, 본 발명의 POS 단말과 카메라를 이용한 매장의 금전통 모니터링 시스템은, 상기 관리자 단말에 설치되고 상기 서비스 제공 서버로부터 상기 POS 금전통의 열림이 비정상 거래에 의한 것이라는 알림을 수신하여 상기 관리자 단말의 화면에 표시하며, 상기 알림으로부터 받은 상기 POS 금전통의 열림발생시간에 기초하여 상기 영상 처리 서버 또는 상기 서비스 제공 서버에 해당 영상 정보를 요청하고 요청한 영상 정보를 전달받은 서비스 어플리케이션;을 더 포함할 수 있다. In addition, the gold tradition monitoring system of the store using the POS terminal and the camera of the present invention is installed in the manager terminal and receives notification from the service providing server that the opening of the POS tradition is due to an abnormal transaction, And a service application displaying the image information on the screen and requesting the image processing server or the service providing server for the image information based on the opening occurrence time of the POS cash tradition received from the notification, have.

이때, 상기 영상 처리 서버는, 상기 서비스 어플리케이션으로부터 상기 영상 정보의 요청이 있으면, 상기 저장된 촬영 영상에 대하여 상기 시간 정보를 근거로 상기 POS 금전통의 열림발생시간에 대응되는 영상 정보를 캡쳐하고, 캡쳐한 영상 정보를 상기 서비스 어플리케이션을 통해 상기 관리자 단말로 전송한다. In this case, if there is a request for the image information from the service application, the image processing server captures image information corresponding to an opening occurrence time of the POS POSITION based on the time information on the stored image, And transmits one image information to the administrator terminal through the service application.

또한, 상기 영상 처리 서버는, 상기 저장된 촬영 영상에 대하여 상기 POS 금전통의 열림발생시간을 기준으로 상기 열림발생시간보다 일정시간 앞선 시간으로부터 미리 설정된 주기 동안의 영상 정보를 캡쳐한다. In addition, the image processing server captures image information for a predetermined period from a time preceding the occurrence time of the opening of the POS image with respect to the stored captured image.

또한, 상기 영상 처리 서버는, 상기 POS 단말 인근에 설치되어 음성 신호를 입력받는 마이크로부터 음성 정보를 수집하고 상기 음성 정보를 시간 정보와 매칭하여 저장하며, 음성 알고리즘을 통해 상기 음성 정보에 기 설정된 단어 또는 문장이 포함되어 있는지 여부를 분석할 수 있다. In addition, the image processing server collects voice information from a microphone installed near the POS terminal and receives a voice signal, matches the voice information with time information and stores the voice information, Or whether a sentence is included.

상기 분석 결과 상기 음성 정보에 기 설정된 단어 또는 문장이 포함되어 있으면, 상기 영상 처리 서버는, 해당 음성정보 또는 상기 음성정보와 대응되는 인덱스 정보를 상기 서비스 제공 서버 또는 해당 관리자 단말에 전송하여 알릴 수 있다. If the voice information includes a predetermined word or sentence, the image processing server may transmit the voice information or the index information corresponding to the voice information to the service providing server or the corresponding administrator terminal .

본 발명에 따르면, 각 매장 내 설치된 POS 금전통의 주변을 촬영하고 촬영된 영상 분석을 통해 POS 금전통이 열린 것으로 확인되면 즉시 관리자에게 알림으로써 원격에서 실시간 모니터링이 가능한 효과가 있다. According to the present invention, when the POS gold tradition installed in each store is photographed and POS gold tradition is confirmed through the image analysis, it is possible to notify the manager immediately and real-time monitoring can be performed remotely.

특히, 본 발명은 영상 분석을 통해 POS 금전통이 열린 것으로 확인되면 POS 단말에서 발생된 거래내역정보를 조회하여 POS 금전통의 열림이 정상 거래에 의한 것인지 판단하고, 정상 거래에 의한 것이 아닌 경우 즉시 관리자에게 알림으로써 원격에서 매장 직원들의 부정 행위 또는 도난 여부를 실시간 확인할 수 있고 신속한 조치가 가능한 효과가 있다. Particularly, according to the present invention, when it is confirmed that the POS tradition is opened through image analysis, the transaction history information generated at the POS terminal is inquired to determine whether the opening of the POS tradition is due to a normal transaction, By informing the manager, it is possible to check the store employee's cheating or theft in real time, and it is possible to take prompt action.

또한, 본 발명은 매장 내 POS 금전통의 인근에 설치된 마이크로부터 음성 정보를 수집하여 비상 상황을 음성 신호로 실시간 감시함으로써 신속한 대처가 가능하도록 하는 효과가 있다. In addition, the present invention has an effect of promptly coping by collecting voice information from microphones installed in the vicinity of the in-store POS system and real-time monitoring of an emergency situation with voice signals.

도 1은 본 발명의 실시예에 따른 매장의 금전통 모니터링 시스템을 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 모니터링 시스템에 적용되는 영상 처리 서버의 구성을 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 매장의 금전통 모니터링 방법을 설명하기 위한 전체 흐름도이다.
도 4는 본 발명의 실시예에 따른 매장의 금전통 모니터링 방법에서 부정 거래를 판단하는 방법을 설명하기 위한 흐름도이다. BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram illustrating a gold tradition monitoring system of a store according to an embodiment of the present invention; FIG.
FIG. 2 is a diagram illustrating a configuration of an image processing server applied to a monitoring system according to an embodiment of the present invention.
FIG. 3 is an overall flowchart for explaining a gold tradition monitoring method of a store according to an embodiment of the present invention.
4 is a flowchart illustrating a method for determining an illegal transaction in a gold tradition monitoring method of a store according to an embodiment of the present invention.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. It is noted that the technical terms used herein are used only to describe specific embodiments and are not intended to limit the invention. Also, the technical terms used herein should be interpreted in a sense that is generally understood by those skilled in the art to which the present invention belongs, unless otherwise defined in this specification, and it should be understood that an overly comprehensive It should not be construed as a meaning or an overly reduced meaning.

또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.Also, the singular forms "as used herein include plural referents unless the context clearly dictates otherwise. In the present application, the term "comprising" or "comprising" or the like should not be construed as necessarily including the various elements or steps described in the specification, Or may be further comprised of additional components or steps.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

먼저 도 1을 참조하면, 도 1은 본 발명의 실시예에 따른 매장의 금전통 모니터링 시스템(이하, 모니터링 시스템이라 칭함)을 나타낸 구성도이다.Referring first to FIG. 1, FIG. 1 is a block diagram illustrating a gold tradition monitoring system (hereinafter referred to as a monitoring system) of a store according to an embodiment of the present invention.

본 발명의 실시예에 따른 모니터링 시스템은 각 매장의 계산대에 구비되는 POS 단말(10)과 POS 금전통(20), 카메라(30), 마이크(40), 영상 처리 서버(NVR; 100), 서비스 제공 서버(200), POS 서버(300), 서비스 애플리케이션(400)을 포함한다.A monitoring system according to an embodiment of the present invention includes a POS terminal 10, a POS terminal 20, a camera 30, a microphone 40, an image processing server (NVR) 100, A providing server 200, a POS server 300, and a service application 400.

POS 단말(10)은 상품 판매 시점에서 상품 정보나 고객 정보를 수집, 기억, 전송하는 장치로서, 최근 결제 수단과 결합하여 판매 시점의 상품명이나 가격 등의 거래내역정보를 POS 서버(100)로 전달하여 수집 및 기록한다. The POS terminal 10 is a device for collecting, storing, and transmitting goods information and customer information at the point of time of merchandise sale, and transmits the transaction history information such as the name and price of the selling point at the point of sale to the POS server 100 And collects and records them.

POS 단말(10)은 각 매장에 설치되거나 휴대 가능한 소형 단말기 형태로 계산대에 마련될 수 있다.The POS terminal 10 may be provided in the form of a small terminal installed in each store or portable.

일반적으로 POS 단말(10)은 상품에 찍힌 바코드를 인식하는 리더기와, 바코드 또는 상품의 가격 등 필요한 숫자 등을 입력하기 위한 입력키, 리더기와 입력키에서 입력받은 정보들을 직원이 확인할 수 있도록 출력하는 포스모니터, 영수증 등을 인쇄하는 프린트 등으로 구성된다. In general, the POS terminal 10 displays a reader for recognizing a bar code on a product, an input key for inputting necessary numbers such as a bar code or a price of a commodity, A force monitor, a print to print a receipt, and the like.

POS 금전통(20)은 금전을 보관하며, POS 단말(10)과 연결되어 상품 판매에 대한 결제 시 차액에 대한 금전을 지급하기 위해 POS 단말(10)의 조작에 의해 개폐될 수 있다. 예를 들어, POS 단말(10)에 POS 금전통(20)의 개폐와 관련된 버튼이 구비되고 버튼이 선택되면 POS 금전통(20)이 자동 열릴 수 있다. 통상 POS 금전통(20)은 금전통 자체에 잠금장치가 구비되어 있어 이의 조작에 따라 개폐된다. The POS trader 20 stores money and can be opened and closed by the operation of the POS terminal 10 to be connected to the POS terminal 10 to pay money for the difference in settlement of merchandise sales. For example, if the POS terminal 10 is provided with a button related to opening and closing the POS tradition 20 and the POS tradition 20 is automatically opened when a button is selected. Traditionally, the POS gold tradition 20 has a lock on the gold tradition itself and is opened and closed according to its operation.

카메라(20)는 POS 단말(10)과 연결된 POS 금전통(20) 및 이를 조작하는 직원을 감시하기 위한 것으로, POS 단말(10)의 주위를 촬영하고 촬영된 영상(이하 촬영 영상)을 영상 처리 서버(100)로 전달한다. The camera 20 is for monitoring the POS tradition 20 connected to the POS terminal 10 and an employee operating the POS terminal 10. The camera 20 photographs the periphery of the POS terminal 10 and imaged the photographed image To the server (100).

본 실시예에 따른 카메라(20)는 POS 단말(10)과 1:1 로 설치될 수 있으며, 촬영 영상을 영상 처리 서버(100)로 전달할 때 카메라(20)의 관리번호도 함께 전달할 수 있다. 카메라(20)의 관리번호는 IP(Internet Protocol) 주소가 될 수 있다. The camera 20 according to the present embodiment may be installed in a 1: 1 relationship with the POS terminal 10 and may also transmit the management number of the camera 20 when delivering the photographed image to the image processing server 100. The management number of the camera 20 may be an IP (Internet Protocol) address.

POS 서버(300)는 각 매장의 POS 단말(10)에서 발생하는 상품 판매에 대한 결제를 처리한다.The POS server 300 processes settlement of merchandise sales generated at the POS terminal 10 of each store.

특히, POS 서버(300)는 POS 단말(10)로부터 상품 판매에 수반하는 거래내역정보를 수신하여 저장하고, 저장된 거래내역정보를 서비스 제공 서버(200)로 전송한다. 전송 시 거래내역정보가 발생된 POS 단말(10)의 관리번호를 거래내역정보와 매칭하여 전송할 수 있다.Particularly, the POS server 300 receives and stores the transaction history information related to the sale of goods from the POS terminal 10, and transmits the stored transaction history information to the service providing server 200. The management number of the POS terminal 10 in which the transaction history information is generated at the time of transmission can be matched with the transaction details information and transmitted.

서비스 제공 서버(200)는 POS 서버(300)로부터 POS 단말(10)에서 발생된 거래내역정보를 전달받아 저장하고, 매장의 관리자로부터 회원 가입을 통해 관리자 단말(410)을 등록해 둔다. The service providing server 200 receives and stores the transaction history information generated from the POS terminal 10 from the POS server 300 and registers the administrator terminal 410 through subscription from the manager of the store.

영상 처리 서버(100)는 카메라(30)의 촬영 영상을 전달받아 녹화, 검색 및 재생을 지원해주는 장치이다.The image processing server 100 is a device for receiving a photographed image of the camera 30 and supporting recording, searching, and reproducing.

일 예로, 영상 처리 서버(100)는 NVR(Network Video Recoder) 시스템을 이용할 수 있다. NVR 시스템은 IP 네트워크에서 직접 디지털 이미지 신호를 받아 처리하기 때문에 네트워크가 존재하는 곳이라면 어디든 설치가 가능하고, 카메라가 설치된 장소에서 크게 벗어날 수 없는 DVR 시스템과는 큰 장점이 있다. 또한, NVR 시스템은 네트워크 대역폭 범주 내에 무한 개의 카메라 설치가 가능하고, 네트워크 연결만 되어 있으면 카메라의 정보 등록만으로 자동 연결이 가능하여 시스템의 설치 및 유지 비용을 절감할 수 있다. For example, the image processing server 100 may use an NVR (Network Video Recorder) system. Since the NVR system receives and processes digital image signals directly from the IP network, it can be installed wherever there is a network, and has a great advantage over a DVR system that can not escape from the place where the camera is installed. In addition, the NVR system can install an infinite number of cameras within the network bandwidth category, and if the network connection is established, the installation and maintenance cost of the system can be reduced by automatically connecting only with the information registration of the camera.

본 실시예에서, 영상 처리 서버(100)는 카메라(30)를 통해 촬영된 촬영 영상을 시간정보와 매칭하여 수집 및 저장하고, 촬영 영상을 영상 분석하여 POS 금전통(20)의 상태를 모니터링한다. 모니터링 결과 POS 금전통(20)이 열린 것으로 확인되면 서비스 제공 서버(200)로 해당 촬영 영상 또는 촬영 영상에 대응되는 인덱스(index) 정보를 전송한다. 여기서, 인덱스 정보는 촬영 영상을 식별할 수 있는 정보로서 POS 금전통(20)의 열림발생시간이 포함된다. In the present embodiment, the image processing server 100 collects and stores the photographed image photographed through the camera 30 with time information, and analyzes the image of the photographed image to monitor the status of the POS tradition 20 . When it is confirmed that the POS POSITIVE tradition 20 has been opened as a result of monitoring, the POS server 200 transmits index information corresponding to the photographed image or photographed image to the service providing server 200. Here, the index information includes information on the photographed image, which is the opening time of the POS tradition 20.

본 실시예에서, 영상 분석은 촬영 영상에서 POS 금전통(20)을 포함한 일정 영역을 추출하고, 추출된 일정 영역을 미리 설정된 기준 영상과 비교 분석하는 것으로 수행된다. In this embodiment, the image analysis is performed by extracting a certain region including the POS tradition 20 from the photographed image, and comparing the extracted region with a predetermined reference image.

그러면, 서비스 제공 서버(200)는 영상 처리 서버(100)로부터 전송받은 촬영 영상 또는 촬영 영상에 대응되는 인덱스 정보를 기 등록된 관리자 단말(410)의 서비스 어플리케이션(400)으로 전송한다. Then, the service providing server 200 transmits the index information corresponding to the shot image or the shot image received from the image processing server 100 to the service application 400 of the registered administrator terminal 410.

관리자 단말(410)은 매장의 관리자가 소지한 단말로, 실시간 확인이 가능한 스마트 폰이 될 수 있다. 그러나, 이에 한정하는 것은 아니며 서버간 네트워크를 통해 데이터 송수신이 가능하고 영상 정보를 재생할 수 있는 단말이라면 그 종류에 관계없이 적용할 수 있을 것이다. 매장의 관리자는 매장의 사장, 점주 등이 될 수 있다.The administrator terminal 410 can be a smart phone capable of real-time confirmation by a terminal held by a manager of a store. However, the present invention is not limited thereto, and any terminal capable of transmitting and receiving data through a server-to-server network and capable of reproducing image information can be applied regardless of the type. The manager of the store may be the president of the store, the store owner, and so on.

서비스 어플리케이션(400)은 관리자 단말(410)에 설치되고, 관리자 단말(410)에 의해 실행될 때 서비스 제공 서버(200)로부터 촬영 영상 또는 촬영 영상에 대응되는 인덱스 정보를 수신하며 수신한 정보를 관리자 단말(410)의 화면에 표시한다. The service application 400 is installed in the administrator terminal 410 and receives the index information corresponding to the photographed image or the photographed image from the service providing server 200 when executed by the administrator terminal 410, (410).

또한, 서비스 어플리케이션(400)은 수신한 정보가 인덱스 정보의 경우 인덱스 정보에 포함된 POS 금전통(20)의 열림발생시간에 기초하여 영상 처리 서버(100) 또는 서비스 제공 서버(200)에 상세 영상 정보를 요청할 수 있는 화면을 제공하고, 상기 요청에 의해 영상 처리 서버(100) 또는 서비스 제공 서버(200)로부터 해당 상세 영상 정보를 전달받는다. 이때, 영상 처리 서버(100) 또는 서비스 제공 서버(200)로부터 전달받은 상세 영상 정보는 POS 금전통(20)의 열림발생시간에 대응되는 촬영 영상을 일부 캡쳐한 영상 정보이다.In addition, the service application 400 may send a detailed image to the image processing server 100 or the service providing server 200 on the basis of the occurrence time of the POS tradition 20 included in the index information when the received information is index information And receives the detailed image information from the image processing server 100 or the service providing server 200 according to the request. At this time, the detailed image information received from the image processing server 100 or the service providing server 200 is image information obtained by partially capturing the photographed image corresponding to the opening occurrence time of the POS tradition 20.

이를 위해, 영상 처리 서버(100)에서는 서비스 어플리케이션(400)으로부터 상세 영상 정보의 요청이 있으면 데이터베이스에 저장된 촬영 영상에 대하여 시간 정보를 근거로 POS 금전통(20)의 열림발생시간정보에 대응되는 촬영 영상을 캡쳐하고 캡쳐한 영상을 서비스 제공 서버(200) 또는 서비스 어플리케이션(400)으로 전송한다. To this end, in the image processing server 100, when there is a request for the detailed image information from the service application 400, the image processing server 100 performs a photographing operation corresponding to the opening occurrence time information of the POS tradition 20, And transmits the captured image to the service providing server 200 or the service application 400.

또한, 영상 처리 서버(100)는 캡쳐 시, 저장된 촬영 영상에 대하여 POS 금전통(20)의 열림발생시간을 기준으로 상기 열림발생시간 보다 일정시간 앞선 시간으로부터 미리 설정된 주기 동안에 촬영된 촬영 영상을 캡쳐할 수 있다. In addition, the image processing server 100 captures an image photographed in a preset period from a time preceding the opening occurrence time based on the opening occurrence time of the POS tradition 20 with respect to the stored captured image at the time of capturing, can do.

이러한 구성에 의해 본 발명의 모니터링 시스템은, 기본적으로 영상 처리 서버(100)가 카메라를 통해 수집한 촬영 영상을 분석하여 POS 금전통(20)이 열린 것으로 확인되면 이를 서비스 제공 서버(200)를 통해 해당 관리자 단말에게 알린다. According to this configuration, the monitoring system of the present invention basically analyzes the photographed image collected by the image processing server 100 through the camera, and when it is determined that the POS gold tradition 20 is opened, And notifies the corresponding manager terminal.

여기에 추가적으로, 모니터링 시스템은 영상 처리 서버(100)가 카메라를 통해 수집한 촬영 영상을 분석하여 POS 금전통(20)이 열린 것으로 확인되면 POS 금전통(20)의 열림이 정상 거래에 의한 것인지 여부를 판단하여, 정상 거래에 의한 것이 아닌 경우에 대해서만 해당 관리자 단말에게 알리도록 할 수 있다. In addition, if the monitoring system analyzes that the image processing server 100 analyzes the photographed image collected through the camera, if the POS tradition 20 is found to be opened, the POS tradition 20 is opened by the normal trader And informs the corresponding manager terminal only when it is not due to the normal transaction.

이를 위해 서비스 제공 서버(200)는 영상 처리 서버(100)로부터 전송받은 촬영 영상 또는 촬영 영상에 대응되는 인덱스 정보에 기초하여 POS 서버(300)로부터 전달받은 거래내역정보를 조회한다. 촬영 영상 또는 촬영 영상에 대응되는 인덱스 정보에는 POS 금전통(20)의 열림발생시간이 포함되어 있다. To this end, the service providing server 200 inquires transaction history information received from the POS server 300 based on the index information corresponding to the photographed image or the photographed image transmitted from the image processing server 100. The index information corresponding to the photographed image or the photographed image includes the opening occurrence time of the POS tradition 20.

따라서, 서비스 제공 서버(200)는 POS 서버(300)로부터 전달받은 거래내역정보로부터 촬영 영상 또는 인덱스 정보에 포함되어 있는 POS 금전통(20)의 열림발생시간과 대응되는 거래내역정보가 있는지, 거래내역정보가 있으면 거래종류가 카드거래인지 여부를 확인하여 정상 거래 또는 비정상 거래에 의한 열림인지를 판단한다. Accordingly, the service providing server 200 determines whether there is transaction history information corresponding to the opening occurrence time of the POS gold tradition 20 included in the shot image or index information from the transaction history information received from the POS server 300, If there is the history information, it is determined whether the transaction type is a card transaction or not and whether the transaction is opened by a normal transaction or an abnormal transaction.

예컨대, 서비스 제공 서버(200)는 POS 서버(300)로부터 전달받은 거래내역정보로부터 POS 금전통(20)의 열림발생시간과 대응되는 거래내역정보가 없거나, 상기 거래내역정보가 있더라도 카드 거래인 경우 POS 금전통(20)의 열림이 비정상 거래에 의한 것이라고 판단할 수 있다. For example, if there is no transaction history information corresponding to the occurrence time of the POS gold tradition 20 from the transaction history information received from the POS server 300, or if there is the transaction history information, It can be judged that the opening of the POS gold tradition 20 is due to an abnormal transaction.

이와 같은 맥락으로, 본 실시예에 따른 서비스 어플리케이션(400)은 기본적으로 매장에 설치된 POS 금전통(20)에 대하여 거래내역정보와는 관계없이 POS 금전통(20)이 열린 것으로 확인되면 이의 알림을 수신하도록 설정되어 있지만, 선택적으로 비정상 거래에 의해 열린 경우에 대해서만 이의 알림을 수신하도록 설정할 수 있다. 또한, 서비스 애플리케이션(400)은 이의 선택적 설정을 각 POS 단말(10)마다 개별적으로 설정이 가능하도록 제공할 수 있다. In this context, the service application 400 according to the present embodiment basically notifies the POS tradition 20 installed in the store that the POS tradition 20 is opened irrespective of the transaction history information, But it can be set to receive the notification of the transaction only when it is selectively opened by an abnormal transaction. In addition, the service application 400 can provide selective setting thereof for each POS terminal 10 separately.

이를 위해 서비스 애플리케이션(400)은 수신 설정 화면을 제공하며, 제공된 수신 설정 화면에서 POS 단말(10)별 개별 설정이 요청되면 POS 단말(10)의 등록을 위한 POS 단말 사전 등록 화면을 제공할 수 있다.To this end, the service application 400 provides a reception setting screen and can provide a POS terminal pre-registration screen for registration of the POS terminal 10 when individual setting for each POS terminal 10 is requested in the provided reception setting screen .

한편, 영상 처리 서버(100)는 POS 단말(10) 인근에 설치되어 POS 단말(10) 주변에서 발생되는 음성 정보를 입력받는 마이크(40)와 연계되어 POS 금전통을 모니터링할 수 있다. Meanwhile, the image processing server 100 can monitor the POS gold tradition in connection with the microphone 40 installed near the POS terminal 10 and receiving the voice information generated in the vicinity of the POS terminal 10.

구체적으로 설명하면, 영상 처리 서버(100)는 마이크(40)로부터 입력받은 음성정보를 수집하고 음성 정보를 시간 정보와 매칭하여 저장한다. 그리고, 음성 알고리즘을 통해 음성 정보에 기 설정된 단어 또는 문장이 포함되어 있는지 여부를 분석하여 도난 등의 비상 상황을 모니터링한다. More specifically, the image processing server 100 collects the voice information received from the microphone 40, and matches the voice information with the time information. Then, an emergency situation such as theft or the like is monitored by analyzing whether the voice information includes predetermined word or sentence through the voice algorithm.

분석 결과 음성 정보에 기 설정된 단어 또는 문장이 포함되어 있으면, 영상 처리 서버(100)는 해당 음성 정보 또는 음성정보와 대응되는 인덱스 정보를 서비스 제공 서버(200)로 전송하여 비상 상황을 알릴 수 있다. 또, 서비스 제공 서버(200)를 거치지 않고 해당 관리자 단말에게 전송하여 비상 상황을 알릴 수 있다. 이 경우, 영상 처리 서버(100)에 관리자 단말에 관한 정보가 저장되어 있다.If the voice information includes a preset word or sentence, the image processing server 100 may transmit the index information corresponding to the voice information or the voice information to the service providing server 200 to inform the emergency situation. It is also possible to send an emergency situation to the administrator terminal without going through the service providing server 200. In this case, the image processing server 100 stores information on the administrator terminal.

이러한 구성에 따르면, 본 발명의 실시예에 따른 서비스 어플리케이션(400)은 영상 처리 서버(100) 또는 서비스 제공 서버(200)로부터 비상 상황이 발생한 알림을 수신하여 상기 관리자 단말의 화면에 표시하고, 상기 알림으로부터 받은 음성정보 발생시간을 기초하여 영상 처리 서버(100) 또는 서비스 제공 서버(200)로 해당 음성 정보 또는 영상 정보를 요청하고 요청한 음성 정보 또는 영상 정보를 전달받을 수 있다. According to this configuration, the service application 400 according to the embodiment of the present invention receives the notification of the emergency situation from the image processing server 100 or the service providing server 200, displays it on the screen of the administrator terminal, The image processing server 100 or the service providing server 200 may request the corresponding audio information or image information and receive the requested audio information or image information based on the audio information occurrence time received from the notification.

본 실시예에서, 영상 처리 서버(100)는 매장에 설치되어 매장에 설치된 카메라와 실시간 데이터 송수신이 가능하도록 마련되며, 서비스 제공 서버(200)는 매장이 아닌 영상 처리 서버(100)와 독립적으로 마련되어 영상 처리 서버(100)로부터 촬영 영상에 관한 알림만 수신하는 것으로 정의할 수 있다. 그러나, 이에 한정하는 것은 아니며, 영상 처리 서버(100)가 매장이 아닌 원격에 마련될 수 있으며 또는 서비스 제공 서버(200)에 포함되어 구현되는 것도 가능하다. In this embodiment, the image processing server 100 is installed in a store so as to be capable of real-time data transmission / reception with a camera installed in a store, and the service providing server 200 is provided independently of the image processing server 100 It can be defined that only the notification about the photographed image is received from the image processing server 100. However, the present invention is not limited thereto, and the image processing server 100 may be provided in a remote place rather than in a store, or may be incorporated in the service providing server 200.

도 2는 영상 처리 서버의 구성을 나타낸 도면이다.2 is a diagram showing a configuration of an image processing server.

영상 처리 서버(100)는 도 2에 도시된 영상 저장부(110), 영상 분석부(120), 영상 캡쳐부(130), 음성 분석부(140), 데이터베이스(DB; 150)를 포함하여 구성된다. The image processing server 100 includes an image storing unit 110, an image analyzing unit 120, an image capturing unit 130, a voice analyzing unit 140, and a database (DB) 150 shown in FIG. do.

영상 저장부(110)는 카메라로부터 촬영 영상을 수집하고 수집한 촬영 영상을 시간정보와 매칭하여 데이터베이스(150)에 저장한다. 시간 정보는 촬영 영상에 포함되어 있으며 추후 원하는 시점의 촬영 영상을 검색할 수 있도록 시간 정보를 추출하여 매칭하는 작업을 수행할 수 있다. 촬영 영상에는 비디오 정보뿐만 아니라 음성 정보를 포함할 수 있다. The image storage unit 110 collects the photographed images from the camera, matches the photographed images with the time information, and stores the photographed images in the database 150. The time information is included in the photographed image and can be extracted and matched to retrieve the photographed image at a desired point in time. The photographed image may include audio information as well as video information.

영상 분석부(120)는 카메라로부터 수집한 촬영 영상을 데이터베이스(150)에 기 저장된 기준 영상과 비교 분석하여 기준 영상과 일치하는 지 여부를 판단한다. 상기 판단을 통해 POS 금전통이 열린 상태인지를 모니터링한다. The image analysis unit 120 compares the photographed image collected from the camera with the reference image stored in the database 150 to determine whether the reference image matches the reference image. Through this determination, it is monitored whether the POS gold tradition is open.

특히, 본 실시예에 따른 영상 분석부(120)는 촬영 영상에서 POS 금전통을 포함한 일부 영역을 추출하고, 추출된 일부 영역에 대해 기준 영상과 비교 분석할 수 있다. 기준 영상과 일치하는 영상이 존재하면 POS 금전통이 열린 것으로 판단한다. In particular, the image analyzing unit 120 according to the present embodiment extracts a part of the area including the POS gold tradition from the photographed image, and compares and analyzes the extracted part of the area with the reference image. If there is an image matching the reference image, it is judged that the POS gold tradition is opened.

음성 분석부(140)는 POS 단말 인근에 설치된 마이크로부터 입력되는 음성 정보를 수집하고 수집한 음성 정보를 시간정보와 매칭하여 데이터베이스(150)에 저장한다. 그리고, 저장된 음성 정보를 음성알고리즘을 통해 분석하여 음성 정보에 기준 음성 즉, 기 설정된 단어 또는 문장이 포함되어 있는지를 판단한다. 판단 결과, 음성 정보에 기 설정된 단어 또는 문장이 포함되어 있으면 POS 금전통이 도난되었거나 또는 위험 상황인 것으로 판단할 수 있다. The voice analysis unit 140 collects voice information input from the microphones installed near the POS terminal and stores the collected voice information in the database 150 by matching with the time information. Then, the stored speech information is analyzed through a speech algorithm to determine whether the reference speech, that is, a preset word or a sentence, is included in the speech information. As a result of the determination, if the voice information includes a predetermined word or sentence, it can be determined that the POS gold tradition has been stolen or is in a dangerous state.

음성 분석부(140)에서 음성 정보를 수집하는 구성은 영상 저장부(110)에서 수행할 수 있다. The configuration for collecting voice information in the voice analysis unit 140 may be performed in the image storage unit 110. [

영상 캡쳐부(130)는 영상 분석부(120) 또는 음성 분석부(140)에서 판단한 결과 POS 금전통이 열린 것으로 판단하거다 또는 비상 상황으로 판단하는 경우 해당 촬영 영상 또는 해당 음성 정보나, 이들에 대응되는 각 인덱스 정보를 생성하여 서비스 제공 서버 또는 관리자 단말에게 전송한다. The image capturing unit 130 determines that the POS cash tradition is opened as a result of the determination by the image analysis unit 120 or the voice analysis unit 140. If the image capturing unit 130 determines that it is an emergency situation, And transmits corresponding index information to the service providing server or the administrator terminal.

해당 촬영 영상 또는 해당 음성 정보를 전송하는 경우, 영상 캡쳐부(130)는 데이터베이스(150)에 저장된 촬영 영상 또는 음성 정보에서 POS 금전통의 열림발생시간 또는 음성 정보 발생시간과 대응되는 영상 정보 또는 음성 정보를 캡쳐하고 캡쳐된 영상 정보 또는 음성 정보를 전송할 수 있다. 캡쳐는 시간정보를 기준으로 즉, POS 금전통의 열림발생시간 또는 음성정보 발생시간 보다 일정시간 앞선 시점으로부터 미리 설정된 주기 동안의 정보를 캡쳐한다. The image capturing unit 130 may extract the image information or the voice information corresponding to the opening time or the voice information occurrence time of the POS gold tradition from the photographed image or voice information stored in the database 150, Captures the information and transmits the captured image information or voice information. Capture captures information for a predetermined period from a point of time based on time information, that is, a point of time that is earlier than the opening occurrence time of POS gold tradition or the voice information occurrence time.

이하, 본 발명의 실시예에 따른 모니터링 시스템에 기초하여 매장의 금전통을 모니터링하는 방법에 대하여 구체적으로 설명한다. Hereinafter, a method of monitoring the gold tradition of a store based on the monitoring system according to the embodiment of the present invention will be described in detail.

도 3은 본 발명의 실시예에 따른 POS 금전통의 모니터링 방법을 설명하기 위한 전체 흐름도이다.3 is an overall flowchart illustrating a POS gold tradition monitoring method according to an embodiment of the present invention.

S100 단계에서, 영상 처리 서버(100)는 POS 단말의 주위를 촬영하는 카메라로부터 촬영 영상을 수집하고 수집한 촬영 영상을 시간 정보와 매칭하여 저장함으로써 영상의 검색 및 재생이 가능하도록 지원한다.In step S100, the image processing server 100 collects photographed images from a camera that photographs the periphery of the POS terminal, and stores the collected photographed images by matching with the time information to support searching and reproducing of images.

S110 단계에서, 서비스 제공 서버(200)는 POS 단말과 연결된 POS 서버로부터 각 매장의 POS 단말에서 발생된 거래내역정보를 수신하고 이를 저장한다. In step S110, the service providing server 200 receives the transaction history information generated from the POS terminal of each store from the POS server connected to the POS terminal, and stores the transaction history information.

위 S100 단계 및 S110 단계는 시간의 흐름상 어느 것이 먼저 수행되고 연동되는 것이 아니라, 각 POS 단말 및 카메라에서 발생되는 여부에 따라 개별적으로 정보를 수집하고 저장하는 과정으로 볼 수 있다. The above steps S100 and S110 may be regarded as a process of individually collecting and storing information according to whether or not they are generated in the respective POS terminals and cameras, rather than being performed first and interlocked in the flow of time.

다음 S120 단계에서, 영상 처리 서버(100)가 수집된 촬영 영상을 기준 영상과 비교 분석한다. 이때, 수집된 촬영 영상에 POS 금전통을 포함한 일부 영역만을 추출하고 추출된 일부 영역에 대하여 기준 영상을 비교 분석할 수 있다. In step S120, the image processing server 100 compares the captured image with the reference image. At this time, it is possible to extract only a partial region including the POS tradition in the collected image and to compare and analyze the reference image with respect to the extracted region.

모니터링 결과, S130 단계에서와 같이, 영상 처리 서버(100)가 촬영 영상과 기준 영상간 일치 여부에 따라 POS 금전통이 열린 상태인지를 모니터링한다.As a result of monitoring, in step S130, the image processing server 100 monitors whether the POS gold tradition is open according to whether the photographed image matches the reference image.

촬영 영상과 기준 영상이 일치하면, 영상 처리 서버(100)는 S140 단계와 같이, POS 금전통이 열린 것으로 판단하고 이를 알리기 위한 인덱스 정보를 서비스 제공 서버(200)로 전송한다. 인덱스 정보에는 POS 금전통이 열린 발생시간 즉, POS 금전통의 열림발생시간을 포함한다. If the photographed image matches the reference image, the image processing server 100 determines that the POS cash tradition is opened and transmits index information for notifying the POS cash tradition to the service providing server 200 as in step S140. The index information includes the occurrence time of the POS gold tradition, that is, the opening occurrence time of the POS tradition.

다음 S150 단계에서, 서비스 제공 서버(200)가 인덱스 정보를 기 등록된 관리자 단말의 서비스 어플리케이션(400)으로 전송한다. 이를 통해 서비스 어플리케이션(400)은 관리자 단말의 화면을 통해 인덱스 정보를 표시하고, 인덱스 정보에 대하여 상세 영상 정보를 요청할 수 있는 선택 화면을 제공할 수 있다. In step S150, the service providing server 200 transmits the index information to the service application 400 of the registered administrator terminal. Accordingly, the service application 400 may display the index information on the screen of the administrator terminal and provide a selection screen for requesting the detailed image information for the index information.

다음 S170 단계에서, 사용자로부터 상세 영상 정보를 요청이 있으면 서비스 어플리케이션(400)이 인덱스 정보에 포함된 POS 금전통의 열림발생시간에 기초하여 상세 영상 정보를 요청한다. In step S170, if there is a request for detailed image information from the user, the service application 400 requests detailed image information based on the occurrence time of the POS tradition included in the index information.

다음 S180 및 S190 단계에서, 영상 처리 서버(100)가 인덱스 정보에 대응되는 발생시간정보를 근거로 해당 촬영 영상을 캡쳐하고, 캡쳐한 촬영 영상을 서비스 어플리케이션(400)을 통해 관리자 단말에게 전송한다. In steps S180 and S190, the image processing server 100 captures the captured image based on the occurrence time information corresponding to the index information, and transmits the captured image to the administrator terminal through the service application 400. [

상기의 과정에서 서비스 어플리케이션(400)은 상세 영상 정보를 영상 처리 서버(100)에 요청하고 영상 처리 서버(100)를 통해 전달받지만, 이에 한정하지 않고 서비스 제공 서버(200)를 경유하여 요청하고 전달받을 수 있다. 이러한 경우, 서비스 어플리케이션(400)이 서비스 제공 서버(200)에 상세 영상 정보를 요청하면 서비스 제공 서버(200)가 영상 처리 서버(100)로부터 해당 영상 정보를 전달받고 이를 서비스 어플리케이션(400)으로 제공하게 된다. In the above process, the service application 400 requests detailed image information to the image processing server 100 and receives the image information through the image processing server 100, but the present invention is not limited thereto. Can receive. In this case, when the service application 400 requests the service providing server 200 for detailed image information, the service providing server 200 receives the corresponding image information from the image processing server 100 and provides the image information to the service application 400 .

한편, 상기의 S140 단계에서, 영상 처리 서버(100)가 인덱스 정보 대신 해당 촬영 영상 정보를 서비스 제공 서버(200)로 전송할 수 있다. 이 경우 관리자가 바로 해당 촬영 영상을 확인할 수 있다.In step S140, the image processing server 100 may transmit the captured image information to the service providing server 200 instead of the index information. In this case, the manager can directly check the photographed image.

도 4는 도 3의 단계들을 통한 모니터링 방법에서 POS 금전통의 열림이 정상 거래에 의한 것인지 판단하여 정상 거래가 아닌 경우에 대해서만 선별적으로 알리는 과정을 설명하고 있다. FIG. 4 illustrates a process of selectively notifying a POS trader if the opening of the POS tradition is based on a normal trade in the monitoring method through the steps of FIG.

S200 단계에서, 서비스 제공 서버가 영상 처리 서버로부터 인덱스 정보를 수신하면, 인덱스 정보에 포함되는 시간정보를 근거로 POS 서버로부터 전달받은 거래내역정보를 조회한다. In step S200, when the service providing server receives the index information from the image processing server, it inquires the transaction history information received from the POS server based on the time information included in the index information.

다음 S210 단계에서, 서비스 제공 서버가 거래내역정보에서 POS 금전통의 열림발생시간에 대응되는 거래내역정보가 있는지, 거래내역정보가 있으면 거래종류가 카드거래인지 여부를 확인하여 정상 거래에 의한 열림인지를 판단한다. If it is determined in step S210 that the transaction history information corresponding to the opening occurrence time of POS gold trades exists in the transaction history information and if the transaction history information exists, it is checked whether the transaction type is a card transaction, .

다음 S220 단계에서 정상 거래에 의한 열림이면 관리자 단말에게 알리지 않고 종료한다.In the next step S220, if it is opened by the normal transaction, the manager terminal is terminated without notifying.

정상 거래에 의한 열림이 아니면 즉, 비정상 거래에 의한 열림이면 S230 단계와 같이, 서비스 제공 서버가 해당 관리자 단말의 서비스 어플리케이션으로 인덱스 정보를 전송할 수 있다. If it is not opened by the normal transaction, that is, if it is opened due to an abnormal transaction, the service providing server may transmit the index information to the service application of the corresponding administrator terminal as in step S230.

상기의 단계에서 부가적으로, 서비스 제공 서버가 POS 서버로부터 전달받은 거래내역정보에 대하여 거래종류가 정상 거래인지, 거래취소, 환불, 결제변경에 따른 비정상 거래인지 여부를 구분할 수 있다. In addition, in the above step, the service providing server can distinguish whether the transaction type is a normal transaction, a transaction cancellation, a refund, or an abnormal transaction due to payment change with respect to the transaction history information received from the POS server.

거래내역정보가 비정상 거래에 해당되면, 서비스 제공 서버가 해당 거래내역정보를 서비스 어플리케이션을 통해 관리자 단말로 알리고, 관리자 단말의 요청에 의해 비정상 거래가 발생한 시점의 영상 정보를 제공함으로써 계산대 직원의 실수나 부정행위를 원격에서 확인할 수 있도록 한다. If the transaction history information corresponds to an abnormal transaction, the service providing server informs the manager terminal of the transaction history information through the service application and provides the image information at the time of occurrence of the abnormal transaction at the request of the administrator terminal, Allows remote viewing of actions.

이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서 본 발명의 명세서에 개시된 실시예들은 아래의 특허청구범위에 의해 해석 되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다. The foregoing description is merely illustrative of the present invention, and various modifications may be made by those skilled in the art without departing from the spirit of the present invention. Therefore, the embodiments disclosed in the specification of the present invention should be interpreted by the following claims, and all the techniques within the scope of equivalents should be construed as being included in the scope of the present invention.

10: POS 단말 20: POS 금전통
30: 카메라 100: 영상 처리 서버
200: 서비스 제공 서버 300: POS 서버
400: 서비스 애플리케이션 410: 관리자 단말
110: 영상 저장부 120: 영상 분석부
130: 영상 캡쳐부 140: 음성 분석부
150: 데이터베이스(DB)10: POS terminal 20: POS gold tradition
30: camera 100: image processing server
200: service providing server 300: POS server
400: service application 410: administrator terminal
110: Image storage unit 120: Image analysis unit
130: image capturing unit 140:
150: Database (DB)

Claims (12)

매장에 설치된 POS 단말의 주위를 촬영하는 카메라로부터 촬영 영상을 수집하고 상기 촬영 영상을 시간 정보와 매칭하여 저장하는 영상 처리 서버; 및
상기 POS 단말에서 발생하는 상품 판매에 대한 결제를 처리하는 POS 서버로부터 상기 상품 판매에 수반되는 거래내역정보를 전달받는 서비스 제공 서버;를 포함하고,
상기 영상 처리 서버는,
상기 촬영 영상을 미리 설정된 기준영상과 비교 분석하여 상기 POS 단말과 연결된 POS 금전통의 상태를 모니터링하는 것을 특징으로 하는 POS 단말과 카메라를 이용한 매장의 금전통 모니터링 시스템.
An image processing server for collecting photographed images from a camera that photographs the periphery of a POS terminal installed in a store, and for matching and storing the photographed images with time information; And
And a service providing server for receiving the transaction history information associated with the sale of the goods from the POS server for processing payment for the sale of goods generated in the POS terminal,
Wherein the image processing server comprises:
And monitoring the state of POS gold tradition connected with the POS terminal by comparing and analyzing the photographed image with a reference image set in advance, and monitoring the gold tradition monitoring system using a POS terminal and a camera.
제1항에 있어서,
상기 영상 처리 서버는,
상기 촬영 영상에서 상기 POS 금전통을 포함한 일정 영역을 추출한 후 상기 일정 영역에 대해 상기 기준 영상과 비교 분석하여 상기 POS 금전통의 상태를 모니터링하는 것을 특징으로 하는 하는 POS 단말과 카메라를 이용한 매장의 금전통 모니터링 시스템.
The method according to claim 1,
Wherein the image processing server comprises:
Wherein the POS terminal monitors the state of the POS terminal by extracting a certain area including the POS tradition from the photographed image and then comparing the POS image with the reference image to monitor the status of the POS terminal. Traditional monitoring system.
제1항에 있어서,
상기 영상 처리 서버는,
상기 모니터링 결과 상기 POS 금전통이 열림 것으로 확인되면 해당 촬영 영상에 대응되는 인덱스 정보를 상기 서비스 제공 서버로 전송하는 것을 특징으로 하는 POS 단말과 카메라를 이용한 매장의 금전통 모니터링 시스템.
The method according to claim 1,
Wherein the image processing server comprises:
Wherein the POS terminal transmits the index information corresponding to the photographed image to the service providing server when it is determined that the POS POSITIVE tradition is opened as a result of the monitoring.
제3항에 있어서,
상기 서비스 제공 서버는,
상기 인덱스 정보를 수신하면 상기 POS 서버로부터 전달받은 거래내역정보에 기초하여 상기 POS 금전통의 열림이 정상 거래에 의한 것인지 여부를 판단하고, 상기 정상 거래에 의한 것이 아닌 비정상 거래에 의한 것인 경우 해당 관리자 단말에 알리는 것을 특징으로 하는 POS 단말과 카메라를 이용한 매장의 금전통 모니터링 시스템.
The method of claim 3,
The service providing server includes:
When the index information is received, it is determined whether or not the opening of the POS gold tradition is due to a normal transaction based on the transaction history information received from the POS server, and if it is determined that the transaction is due to an abnormal transaction And the terminal is notified to the administrator terminal.
제4항에 있어서,
상기 서비스 제공 서버는,
상기 POS 서버로부터 전달받은 거래내역정보로부터 상기 인덱스 정보에 포함된 POS 금전통의 열림발생시간에 대응되는 거래내역정보가 없거나 상기 거래내역정보가 있더라도 카드 거래인 경우 상기 POS 금전통의 열림이 상기 비정상 거래에 의한 것이라고 판단하는 것을 특징으로 하는 POS 단말과 카메라를 이용한 매장의 금전통 모니터링 시스템.
5. The method of claim 4,
The service providing server includes:
If there is no transaction history information corresponding to the opening occurrence time of the POS tradition included in the index information from the transaction history information received from the POS server or if there is the transaction history information even if there is a card transaction, Wherein said terminal is judged to be based on a transaction.
제3항에 있어서,
상기 관리자 단말에 설치되고 상기 서비스 제공 서버로부터 상기 POS 금전통의 열림이 비정상 거래에 의한 것이라는 알림을 수신하여 상기 관리자 단말의 화면에 표시하며, 상기 알림으로부터 받은 상기 POS 금전통의 열림발생시간에 기초하여 상기 영상 처리 서버 또는 상기 서비스 제공 서버에 해당 영상 정보를 요청하고 요청한 영상 정보를 전달받은 서비스 어플리케이션;을 더 포함하는 것을 특징으로 하는 POS 단말과 카메라를 이용한 매장의 금전통 모니터링 시스템.
The method of claim 3,
And a management server installed in the administrator terminal and receiving a notification from the service providing server that the opening of the POS tradition is due to an abnormal transaction and displaying the notification on the screen of the administrator terminal, and based on the opening occurrence time of the POS tradition received from the notification, And a service application that requests the image processing server or the service providing server for the corresponding image information and transmits the requested image information to the image processing server or the service providing server.
제6항에 있어서,
상기 영상 처리 서버는,
상기 서비스 어플리케이션으로부터 상기 영상 정보의 요청이 있으면, 상기 저장된 촬영 영상에 대하여 상기 시간 정보를 근거로 상기 POS 금전통의 열림발생시간에 대응되는 영상 정보를 캡쳐하고, 캡쳐한 영상 정보를 상기 서비스 어플리케이션을 통해 상기 관리자 단말로 전송하는 것을 특징으로 하는 POS 단말과 카메라를 이용한 매장의 금전통 모니터링 시스템.
The method according to claim 6,
Wherein the image processing server comprises:
If the service application requests the image information, captures image information corresponding to an opening occurrence time of the POS tradition based on the time information on the stored captured image, and transmits the captured image information to the service application To the administrator terminal through the POS terminal and the camera.
제7항에 있어서,
상기 영상 처리 서버는,
상기 저장된 촬영 영상에 대하여 상기 POS 금전통의 열림발생시간을 기준으로 상기 열림발생시간보다 일정시간 앞선 시간으로부터 미리 설정된 주기 동안의 영상 정보를 캡쳐하는 것을 특징으로 하는 POS 단말과 카메라를 이용한 매장의 금전통 모니터링 시스템.
8. The method of claim 7,
Wherein the image processing server comprises:
Capturing image information for a preset period from a time preceding the opening occurrence time based on an opening occurrence time of the POS gold tradition with respect to the stored shot image, Traditional monitoring system.
제1항에 있어서,
상기 영상 처리 서버는,
상기 POS 단말 인근에 설치되어 음성 신호를 입력받는 마이크로부터 음성 정보를 수집하고 상기 음성 정보를 시간 정보와 매칭하여 저장하며, 음성 알고리즘을 통해 상기 음성 정보에 기 설정된 단어 또는 문장이 포함되어 있는지 여부를 분석하는 것을 특징으로 하는 POS 단말과 카메라를 이용한 매장의 금전통 모니터링 시스템.
The method according to claim 1,
Wherein the image processing server comprises:
The voice information is collected from a microphone installed in the vicinity of the POS terminal to receive a voice signal, and the voice information is matched with time information and stored. The voice information is used to determine whether the voice information includes a preset word or a sentence A traditional gold monitoring system for shops using POS terminals and cameras.
제9항에 있어서,
상기 영상 처리 서버는,
상기 분석 결과 상기 음성 정보에 기 설정된 단어 또는 문장이 포함되어 있으면 해당 음성정보 또는 상기 음성정보와 대응되는 인덱스 정보를 상기 서비스 제공 서버 또는 해당 관리자 단말에 전송하여 알리는 것을 특징으로 하는 POS 단말과 카메라를 이용한 매장의 금전통 모니터링 시스템.
10. The method of claim 9,
Wherein the image processing server comprises:
If the voice information includes a predetermined word or sentence, transmits index information corresponding to the voice information or the voice information to the service providing server or the corresponding administrator terminal to inform the POS terminal and the camera Traditional monitoring system of gold used in stores.
제10항에 있어서,
상기 관리자 단말에 설치되고, 상기 영상 처리 서버 또는 상기 서비스 제공 서버로부터 상기 해당 음성정보에 관한 알림을 수신하여 상기 관리자 단말의 화면에 표시하고, 상기 알림으로부터 받은 음성정보 발생시간에 기초하여 상기 영상 처리 서버 또는 상기 서비스 제공 서버에 해당 음성 정보 또는 영상 정보를 요청하고 요청한 음성 정보 또는 영상 정보를 전달받은 서비스 어플리케이션;을 더 포함하는 것을 특징으로 하는 POS 단말과 카메라를 이용한 매장의 금전통 모니터링 시스템.
11. The method of claim 10,
Wherein the management terminal is installed in the administrator terminal and receives a notification related to the audio information from the image processing server or the service providing server and displays the notification on the screen of the administrator terminal, And a service application for requesting the server or the service providing server for the corresponding voice information or image information and receiving the requested voice information or image information.
제1항에 있어서,
상기 서비스 제공 서버는,
상기 POS 서버로부터 전달받은 거래내역정보에 대하여 거래종류가 정상 거래인지, 거래취소, 환불, 결제변경에 의한 비정상 거래인지 여부를 구분하고, 상기 비정상 거래의 거래내역정보를 해당 관리자 단말로 전송하는 것을 특징으로 하는 POS 단말과 카메라를 이용한 매장의 금전통 모니터링 시스템.The method according to claim 1,
The service providing server includes:
Whether or not the transaction type is a normal transaction, a transaction cancellation, a refund, or an abnormal transaction due to a payment change, and transmits the transaction details of the abnormal transaction to the corresponding manager terminal A traditional gold monitoring system for shops using POS terminals and cameras.
KR1020160039208A 2016-02-16 2016-03-31 System for mornitoring cash drawer of store using pos terminal and camera in store KR102107533B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160039208A KR102107533B1 (en) 2016-03-31 2016-03-31 System for mornitoring cash drawer of store using pos terminal and camera in store
PCT/KR2016/015528 WO2017142191A1 (en) 2016-02-16 2016-12-29 System and method for remotely monitoring product trading in store by using pos terminal and camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160039208A KR102107533B1 (en) 2016-03-31 2016-03-31 System for mornitoring cash drawer of store using pos terminal and camera in store

Publications (2)

Publication Number Publication Date
KR20170112315A true KR20170112315A (en) 2017-10-12
KR102107533B1 KR102107533B1 (en) 2020-05-07

Family

ID=60141617

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160039208A KR102107533B1 (en) 2016-02-16 2016-03-31 System for mornitoring cash drawer of store using pos terminal and camera in store

Country Status (1)

Country Link
KR (1) KR102107533B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110365943A (en) * 2019-07-19 2019-10-22 福建恒锋电子科技有限公司 A kind of video monitoring method and system based on character matrix large-size screen monitors
KR20220103024A (en) * 2021-01-14 2022-07-21 도시바 테크 가부시키가이샤 Fraud recognition device and control program therefor, fraud recognition method
US12056679B2 (en) 2021-07-21 2024-08-06 Toshiba Tec Kabushiki Kaisha Detection apparatus for detecting abnormal operations at a point of sales apparatus

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110008649A (en) * 2009-07-20 2011-01-27 (주)블루비스 Pos management system and method thereof
KR101281846B1 (en) * 2012-11-29 2013-07-03 이상온 Smart front system
KR20140121764A (en) * 2012-01-05 2014-10-16 비자 인터네셔널 서비스 어소시에이션 Transaction visual capturing apparatuses, methods and systems
KR101511496B1 (en) * 2014-09-30 2015-04-13 주식회사 포인트시스템 A monitoring system using pos terminal and method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110008649A (en) * 2009-07-20 2011-01-27 (주)블루비스 Pos management system and method thereof
KR20140121764A (en) * 2012-01-05 2014-10-16 비자 인터네셔널 서비스 어소시에이션 Transaction visual capturing apparatuses, methods and systems
KR101281846B1 (en) * 2012-11-29 2013-07-03 이상온 Smart front system
KR101511496B1 (en) * 2014-09-30 2015-04-13 주식회사 포인트시스템 A monitoring system using pos terminal and method thereof

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
https://ettrends.etri.re.kr/ettrends/117/0905001463/24-3_128_138.pdf (2009.06.) *
https://www.boannews.com/media/view.asp?idx=8152 *
https://www.edaily.co.kr/news/read?newsId=01941766609405656&mediaCodeNo=257 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110365943A (en) * 2019-07-19 2019-10-22 福建恒锋电子科技有限公司 A kind of video monitoring method and system based on character matrix large-size screen monitors
KR20220103024A (en) * 2021-01-14 2022-07-21 도시바 테크 가부시키가이샤 Fraud recognition device and control program therefor, fraud recognition method
US12033128B2 (en) 2021-01-14 2024-07-09 Toshiba Tec Kabushiki Kaisha Fraud behavior recognition device, control program thereof, and fraud behavior recognition method
US12056679B2 (en) 2021-07-21 2024-08-06 Toshiba Tec Kabushiki Kaisha Detection apparatus for detecting abnormal operations at a point of sales apparatus

Also Published As

Publication number Publication date
KR102107533B1 (en) 2020-05-07

Similar Documents

Publication Publication Date Title
US11257135B2 (en) Notification system and methods for use in retail environments
US10255793B2 (en) System and method for crime investigation
US7286158B1 (en) Method and system for providing integrated remote monitoring services
AU2019204149A1 (en) Video Analytics System
CN107067510A (en) A kind of unattended Supermarket shopping system
JP2016513296A (en) Verification of fraud in self-checkout terminals
US20090039165A1 (en) Methods and Apparatus for a Bar Code Scanner Providing Video Surveillance
JP5865550B1 (en) Card verification system, card unauthorized use detection method, and card unauthorized use detection program
JP2013196043A (en) Specific person monitoring system
KR102107533B1 (en) System for mornitoring cash drawer of store using pos terminal and camera in store
US20240119809A1 (en) Hand action tracking for card slot tampering
EP4047538A1 (en) Self-checkout system and method
WO2017142191A1 (en) System and method for remotely monitoring product trading in store by using pos terminal and camera
JP5192842B2 (en) Gaze product data acquisition method and product sales management system
JP2010072989A (en) Integrated management system of electronic journal and video
JP2010530560A (en) Kiosk for retail transactions and digital media without assistance through point-of-sale management with radio frequency identification
EP1704514B1 (en) Fraud identification and recovery system
JP7424764B2 (en) theft deterrent device
KR101850376B1 (en) POS terminal monitoring system and Method for controlling the same
TWI760521B (en) Smart store shopping system and purchasing method using thereof
KR20180109807A (en) System and method for mornitoring transactions using pos terminal and camera in store
KR101281846B1 (en) Smart front system
KR20170096463A (en) System and method for mornitoring transactions using pos terminal and camera in store
CN112818856A (en) Method, device and system for supervising mobile stall and medium
KR20120009540A (en) Method and system for managing business loss, server and pos termination therefor

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2018101000292; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20180122

Effective date: 20190801

S901 Examination by remand of revocation
E902 Notification of reason for refusal
GRNO Decision to grant (after opposition)
GRNT Written decision to grant