KR20230046978A - 컴퓨터 판독 가능한 기억 매체에 저장된 통지 프로그램, 통지 방법 및 정보 처리 장치 - Google Patents

컴퓨터 판독 가능한 기억 매체에 저장된 통지 프로그램, 통지 방법 및 정보 처리 장치 Download PDF

Info

Publication number
KR20230046978A
KR20230046978A KR1020220119192A KR20220119192A KR20230046978A KR 20230046978 A KR20230046978 A KR 20230046978A KR 1020220119192 A KR1020220119192 A KR 1020220119192A KR 20220119192 A KR20220119192 A KR 20220119192A KR 20230046978 A KR20230046978 A KR 20230046978A
Authority
KR
South Korea
Prior art keywords
product
information
area
unit
counting
Prior art date
Application number
KR1020220119192A
Other languages
English (en)
Inventor
사또루 우시지마
료 이시다
야스히로 아오끼
Original Assignee
후지쯔 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지쯔 가부시끼가이샤 filed Critical 후지쯔 가부시끼가이샤
Publication of KR20230046978A publication Critical patent/KR20230046978A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G3/00—Alarm indicators, e.g. bells
    • G07G3/003—Anti-theft control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/203—Inventory monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0009—Details of the software in the checkout register, electronic cash register [ECR] or point of sale terminal [POS]
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0081—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader the reader being a portable scanner or data reader
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Image Analysis (AREA)

Abstract

[과제] 상품의 회계 누락을 검출하는 것.
[해결 수단] 정보 처리 장치(100)는 회계기가 상품의 코드를 읽어들임으로써 생성된 상품 정보를 취득한다. 정보 처리 장치(100)는 취득한 상품 정보에 기초하여, 상품의 구입수를 나타내는 제1 횟수를 계수한다. 정보 처리 장치(100)는 회계기에 인접하는 소정의 에어리어에 배치된 바구니를 촬영한 화상을 취득한다. 정보 처리 장치(100)는 바구니에 수용된 상품을 취출하는 행동의 횟수를 나타내는 제2 횟수를 계수한다. 정보 처리 장치(100)는 제1 횟수와, 제2 횟수를 기초로 하여, 얼러트를 통지한다.

Description

컴퓨터 판독 가능한 기억 매체에 저장된 통지 프로그램, 통지 방법 및 정보 처리 장치{NOTIFICATION PROGRAM STORED ON COMPUTER-READABLE RECORDING MEDIUM, NOTIFICATION METHOD, AND INFORMATION PROCESSING DEVICE}
본 발명은 컴퓨터 판독 가능한 기억 매체에 저장된 통지 프로그램 등에 관한 것이다.
슈퍼마켓이나 편의점 등의 점포에 있어서, 셀프 계산대가 보급되어 있다. 셀프 계산대는, 상품을 구입하는 유저 자신이, 상품의 바코드 판독부터 정산까지 행하는 POS(Point Of Sale) 계산대 시스템이다. 예를 들어, 셀프 계산대를 도입함으로써, 인건비의 억제, 점원에 의한 정산 미스를 방지할 수 있다.
한편, 셀프 계산대에서는, 바코드의 판독을 행하지 않거나 하는 등의 유저의 부정을 검출할 것이 요구된다. 이 과제에 대하여 예를 들어, 카메라의 화상 데이터를 해석하고, 점포 내의 인물을 추적하고, 추적 중인 인물이 상품을 손에 들거나, 이동시키거나 하는 타이밍을 특정하는 종래 기술이 있다. 이러한 종래 기술을 사용함으로써 유저가, 바코드의 판독 동작을 행했는지 여부를 자동적으로 판정하는 것이 가능하게 된다.
도 17은, 종래 기술을 설명하기 위한 도면이다. 도 17에 도시하는 예에서는, 화상 데이터(10)가 입력되면, 셀프 계산대의 영역(10a)을 검출하고, 셀프 계산대의 스캔 영역(10b)을 검출한다. 종래 기술에서는, 유저가 파지한 상품의 영역(10c)을 검출하고, 검출한 상품의 영역(10c)이 스캔 영역(10b)에 들어갔을 경우에, 유저가 바코드의 판독 동작을 행했다고 판정한다.
일본 특허 공개 제2020-53019호 공보
그러나, 상술한 종래 기술에서는, 상품의 회계 누락을 검출할 수 없다는 문제가 있다.
도 17에 있어서, 구입 대상의 상품을, 셀프 계산대의 스캔 영역(10b)으로 이동시켰지만, 바코드의 판독 실패를 알아차리지 못한 유저나, 스캔 영역(10b)에 있어서, 바코드를 읽히는 체 하는 유저가 존재한다. 예를 들어, 유저가, 바코드를 스캔 영역(10b)으로 이동시킨 후, 바코드를 읽히는 체 한 경우, 종래 기술에서는, 바코드의 판독 동작을 행했다고 판정해버린다.
하나의 측면에서는, 본 발명은 상품의 회계 누락을 검출할 수 있는 컴퓨터 판독 가능한 기억 매체에 저장된 통지 프로그램, 통지 방법 및 정보 처리 장치를 제공하는 것을 목적으로 한다.
제1 안에서는, 컴퓨터에 다음 처리를 실행시킨다. 컴퓨터는, 회계기가 상품의 코드를 읽어들임으로써 생성된 상품 정보를 취득한다. 컴퓨터는, 취득한 상품 정보에 기초하여, 상품의 구입수를 나타내는 제1 횟수를 계수한다. 컴퓨터는, 회계기에 인접하는 소정의 에어리어에 배치된 바구니를 촬영한 화상을 취득한다. 컴퓨터는, 바구니에 수용된 상품을 취출하는 행동의 횟수를 나타내는 제2 횟수를 계수한다. 컴퓨터는, 제1 횟수와, 제2 횟수를 기초로 하여, 얼러트(alert)를 통지한다.
상품의 회계 누락을 검출할 수 있다.
도 1은, 본 실시예에 관계되는 시스템의 일례를 도시하는 도면이다.
도 2는, 본 실시예에 관계되는 정보 처리 장치의 구성을 도시하는 기능 블록도이다.
도 3은, 상품 정보의 데이터 구조의 일례를 도시하는 도면이다.
도 4는, 모델 정보를 설명하기 위한 도면이다.
도 5는, 데이터 테이블의 데이터 구조의 일례를 도시하는 도면이다.
도 6은, 판정 테이블의 데이터 구조의 일례를 도시하는 도면이다.
도 7은, 추적부의 처리를 설명하기 위한 도면이다.
도 8은, 계수부의 처리를 설명하기 위한 도면이다.
도 9는, 추적 처리의 처리 수순을 도시하는 흐름도 (1)이다.
도 10은, 추적 처리의 처리 수순을 도시하는 흐름도 (2)이다.
도 11은, 본 실시예에 관계되는 정보 처리 장치의 처리 수순을 도시하는 흐름도이다.
도 12는, 취출 동작 횟수 계수 처리의 처리 수순을 도시하는 흐름도이다.
도 13은, 기타의 처리 (1)을 설명하기 위한 도면이다.
도 14는, 기타의 처리 (2)를 설명하기 위한 도면이다.
도 15는, 실시예의 정보 처리 장치와 마찬가지의 기능을 실현하는 컴퓨터의 하드웨어 구성의 일례를 도시하는 도면이다.
도 16은, 셀프 계산대의 하드웨어 구성예를 설명하는 도면이다.
도 17은, 종래 기술을 설명하기 위한 도면이다.
이하에, 본원에 개시되는 컴퓨터 판독 가능한 기억 매체에 저장된 통지 프로그램, 통지 방법 및 정보 처리 장치의 실시예를 도면에 기초하여 상세하게 설명한다. 또한, 이 실시예에 의해 본 발명이 한정되는 것은 아니다.
[실시예]
도 1은, 본 실시예에 관계되는 시스템의 일례를 도시하는 도면이다. 도 1에 도시하는 바와 같이, 이 시스템(5)은 카메라(30)와, 셀프 계산대(50)와, 관리자 단말기(60)와, 정보 처리 장치(100)를 갖는다.
정보 처리 장치(100)는 카메라(30) 및 셀프 계산대(50)에 접속된다. 정보 처리 장치(100)는 네트워크(3)를 통하여 관리자 단말기(60)에 접속된다. 카메라(30) 및 셀프 계산대(50)는 네트워크(3)를 통하여, 정보 처리 장치(100)에 접속되어도 된다.
카메라(30)는 셀프 계산대(50) 및 바구니(2a)를 포함하는 영역의 영상을 촬영하는 카메라이다. 카메라(30)는 영상의 데이터를 정보 처리 장치(100)로 송신한다. 이하의 설명에서는, 영상의 데이터를 「영상 데이터」라고 표기한다.
영상 데이터에는, 시계열의 복수의 화상 프레임이 포함된다. 각 화상 프레임에는, 시계열의 오름차순으로 프레임 번호가 부여된다. 하나의 화상 프레임은, 카메라(30)가 어떤 타이밍에서 촬영한 정지 화상이다.
셀프 계산대(50)는 상품을 구입하는 유저(2)가 상품의 바코드의 판독부터 정산까지 행하는 POS 계산대 시스템이다. 예를 들어, 유저(2)가 구입 대상의 상품을 바구니(2a)로부터 취출하여, 셀프 계산대(50)의 스캔 영역으로 이동시키면, 셀프 계산대(50)는 상품의 바코드를 스캔한다.
유저(2)는 상기 동작을 반복하여 실행하고, 상품의 스캔이 완료되면, 셀프 계산대(50)의 터치 패널 등을 조작하여, 정산 요구를 행한다. 셀프 계산대(50)는 정산 요구를 접수하면, 구입 대상의 상품의 수, 구입 금액 등을 제시하고, 정산 처리를 실행한다. 셀프 계산대(50)는 유저(2)가 스캔을 개시하고 나서, 정산 요구를 행할 때까지의 동안에 스캔한 상품의 정보를 기억부에 저장해 두고, 상품 정보로서, 정보 처리 장치(100)로 송신한다.
관리자 단말기(60)는 점포의 관리자가 이용하는 단말 장치이다. 관리자 단말기(60)는 정보 처리 장치(100)로부터, 얼러트의 통지 등을 접수한다.
정보 처리 장치(100)는 카메라(30)로부터 취득한 영상 데이터로부터 특정되는 유저(2)가 바구니(2a)에 수용된 상품을 취출하는 행동의 횟수와, 상품 정보로부터 특정되는 상품의 구입수를 기초로 하여, 얼러트를 관리자 단말기(60)에 통지하는 장치이다. 이하의 설명에서는, 유저(2)가 바구니(2a)에 수용된 상품을 취출하는 행동의 횟수를 「취출 동작 횟수」라고 표기한다.
예를 들어, 유저(2)는 바구니(2a)로부터 상품을 취출하는 동작을 행한 후, 상품의 바코드를 스캔하기 위해서, 취출 동작 횟수와, 구입수가 다른 경우에는, 상품의 회계 누락이 발생해 있다고 할 수 있다. 이 때문에, 정보 처리 장치(100)가 취출 동작 횟수와, 구입수를 기초로 하여, 얼러트를 통지함으로써, 상품의 회계 누락을 검출할 수 있다.
이어서, 도 1에 도시한 정보 처리 장치(100)의 구성의 일례에 대하여 설명한다. 도 2는, 본 실시예에 관계되는 정보 처리 장치의 구성을 도시하는 기능 블록도이다. 도 2에 도시하는 바와 같이, 정보 처리 장치(100)는 통신부(110), 입력부(120), 표시부(130), 기억부(140), 제어부(150)를 갖는다.
통신부(110)는 카메라(30), 셀프 계산대(50), 관리자 단말기(60) 등 간에, 데이터 통신을 실행한다. 예를 들어, 통신부(110)는 카메라(30)로부터 영상 데이터를 수신한다. 통신부(110)는 셀프 계산대(50)로부터 상품 정보를 수신한다.
입력부(120)는 각종 정보를, 정보 처리 장치(100)에 입력하는 입력 장치이다. 입력부(120)는 키보드나 마우스, 터치 패널 등에 대응한다.
표시부(130)는 제어부(150)로부터 출력되는 정보를 표시하는 표시 장치이다. 표시부(130)는 액정 디스플레이, 유기 EL(Electro Luminescence) 디스플레이, 터치 패널 등에 대응한다.
기억부(140)는 영상 버퍼(141), 상품 정보(142), 모델 정보(143), 데이터 테이블(144), 판정 테이블(145), 취출 동작 횟수 정보(146)를 갖는다. 기억부(140)는 예를 들어, RAM(Random Access Memory), 플래시 메모리(Flash Memory) 등의 반도체 메모리 소자, 또는, 하드 디스크, 광 디스크 등의 기억 장치에 의해 실현된다.
영상 버퍼(141)는 카메라(30)에 촬영된 영상 데이터를 저장한다. 영상 데이터에는, 시계열의 복수의 화상 프레임이 포함된다.
상품 정보(142)는 셀프 계산대(50)로부터 취득하는 정보이며, 유저(2)가 스캔을 개시하고 나서, 정산 요구를 행할 때까지의 동안에 스캔한 상품의 정보를 갖는다. 도 3은, 상품 정보의 데이터 구조의 일례를 도시하는 도면이다. 도 3에 도시한 바와 같이, 상품 정보(142)는 일시 정보와, 상품 식별 정보를 대응짓는다.
일시 정보는, 셀프 계산대(50)가 상품의 바코드를 판독한 일시를 나타낸다. 상품 식별 정보는, 상품을 일의적으로 식별하는 정보이다. 예를 들어, 도 3의 1행째에서는, 일시 「2021년 9월 10일 10시 13분 30초」에 있어서, 상품 식별 정보 「item101」의 상품의 바코드를 스캔한 취지가 나타내진다.
모델 정보(143)는 화상 프레임이 입력된 경우에, 유저(인간)와 상품(물건)의 상호 작용에 관한 정보를 출력하는 NN(Neural Network)이다. 예를 들어, 모델 정보(143)는 HOID(Human Object Interaction Detection)에 대응한다.
도 4는, 모델 정보를 설명하기 위한 도면이다. 도 4에 도시하는 바와 같이, 화상 프레임(31)을 모델 정보(143)에 입력함으로써, 검출 정보(32)가 출력된다. 검출 정보(32)에는, 유저 영역 정보(32a), 상품 영역 정보(32b), 상호 작용 정보(32c)가 포함된다.
유저 영역 정보(32a)는 화상 프레임(31)에 포함되는 유저의 영역을 좌표(좌측 상단의 x, y 좌표, 우측 하단의 x, y 좌표)에 의해 나타낸다. 상품 영역 정보(32b)는 화상 프레임(31)에 포함되는 상품의 영역을 좌표(좌측 상단의 x, y 좌표, 우측 하단의 x, y 좌표)에 의해 나타낸다. 또한, 상품 영역 정보(32b)에는, 상품 고유의 클래스명이 포함된다.
상호 작용 정보(32c)는 화상 프레임(31)으로부터 검출된 유저와 상품의 상호 작용의 확률값과, 상호 작용의 클래스명이 포함된다. 상호 작용의 클래스명은 「파지(유저가 상품을 파지)」 등의 클래스명이 설정된다.
본 실시예에 관계되는 모델 정보(143)는 유저와 상품 간에 상호 작용이 존재하는 경우에만, 검출 정보(32)를 출력한다. 예를 들어, 유저가 상품을 파지하고 있는 상태의 화상 프레임을 모델 정보(143)에 입력하면, 검출 정보(32)가 출력된다. 한편, 유저가 상품을 파지하고 있지 않은 상태의 화상 프레임을 모델 정보(143)에 입력하면, 검출 정보(32)가 출력되지 않는다.
데이터 테이블(144)은 각 화상 프레임으로부터 검출되는 상품을 추적하는 경우에 이용하는 데이터 테이블이다. 도 5는, 데이터 테이블의 데이터 구조의 일례를 도시하는 도면이다. 도 5에 도시한 바와 같이, 데이터 테이블(144)은 검출 결과 테이블(144a), 추적중 물체 테이블(144b), 추적 휴지 물체 테이블(144c)을 갖는다.
검출 결과 테이블(144a)은 모델 정보(143)로부터 출력되는 상품 영역의 좌표를 유지하는 테이블이다. 이하의 설명에서는, 상품 영역의 좌표를 「상품 영역 좌표」라고 표기한다. 상품 영역 좌표를 [제1 요소, 제2 요소, 제3 요소, 제4 요소]에 의해 나타낸다. 제1 요소는, 상품 영역의 좌측 상단 x 좌표를 나타낸다. 제2 요소는, 상품 영역의 좌측 상단 y 좌표를 나타낸다. 제3 요소는, 상품 영역의 우측 하단 x 좌표를 나타낸다. 제4 요소는, 상품 영역의 우측 하단 y 좌표를 나타낸다.
추적중 물체 테이블(144b)은 추적중의 상품에 관한 정보를 유지하는 테이블이다. 추적중 물체 테이블(144b)은 ID(identification)와, 상품 영역 좌표와, 로스트 카운트와, 스테이 카운트를 갖는다. ID는, 상품 영역 좌표에 부여되는 식별 정보이다. 상품 영역 좌표는, 상품 영역의 좌표를 나타낸다.
로스트 카운트는, 상품 영역 좌표에 대응하는 상품이 검출되지 않는 상태로 된 경우에 카운트되는 화상 프레임의 수를 나타낸다. 스테이 카운트는, 상품 영역 좌표에 대응하는 상품이 움직이지 않고 있는 상태로 된 경우에 카운트되는 화상 프레임의 수를 나타낸다.
추적 휴지 물체 테이블(144c)은 추적을 휴지하고 있는 상품에 관한 정보를 유지하는 테이블이다. 추적 휴지 물체 테이블(144c)은 ID와, 상품 영역 좌표와, 플래그를 갖는다. ID는, 상품 영역 좌표에 부여되는 식별 정보이다. 상품 영역 좌표는, 상품 영역의 좌표를 나타낸다.
플래그는, 추적 휴지 물체 테이블(144c)의 ID 및 상품 영역 좌표를, 추적중 물체 테이블(144b)로 되돌릴 것인지 여부를 나타내는 정보이다. 플래그가 「true」로 설정되어 있는 경우에는, 해당 레코드의 ID 및 상품 영역 좌표를, 추적중 물체 테이블(144b)로 되돌리는 것을 나타낸다. 플래그가 「false」로 설정되어 있는 경우에는, 해당 레코드의 ID 및 상품 영역 좌표를, 추적중 물체 테이블(144b)로 되돌리지 않는 것을 나타낸다.
도 5의 설명으로 되돌아간다. 판정 테이블(145)은 취출 동작 횟수를 카운트하는 경우에 사용하는 테이블이다. 이하의 설명에서는, 셀프 계산대(50)의 옆으로설치되는 바구니(2a)를 두는 임시 거치대의 영역을 「바구니 영역」이라고 표기한다. 본 실시예에서는, 화상 프레임으로부터 특정되는 상품 영역 좌표가, 바구니 영역의 내부로부터, 바구니 영역의 외부로 이동한 경우에, 취출 동작 횟수에 1을 가산한다. 정보 처리 장치(100)는 판정 테이블(145)을 사용함으로써 동일한 상품이 바구니 영역에 대하여 복수회 출입하더라도, 취출 동작 횟수에 가산되는 횟수가 1회로 되도록 하는 것이 가능하게 된다.
도 6은, 판정 테이블의 데이터 구조의 일례를 도시하는 도면이다. 도 6에 도시하는 바와 같이, 이 판정 테이블(145)은 ID와, 전 프레임 위치와, 카운트 완료 플래그를 대응짓는다. ID는, 상품 영역 좌표에 부여되는 식별 정보이다. 전 프레임 위치는, 전회의 화상 프레임으로부터 검출된 상품 영역 좌표가, 바구니 영역의 외부인지 내부인지를 식별하는 정보이다.
여기서, 해당하는 ID의 상품 영역 좌표이며, 전회의 화상 프레임으로부터 검출된 상품 영역 좌표가, 바구니 영역의 외부로 되는 경우에는, 전 프레임 위치에 「OUT」가 설정된다. 전회의 화상 프레임으로부터 검출된 상품 영역 좌표가, 바구니 영역의 내부로 되는 경우에는, 전 프레임 위치에 「IN」이 설정된다. 카운트 완료 플래그는, 해당하는 ID에 대해서, 취출 동작 횟수에 1을 가산하는 처리를 행했는지 여부를 식별하는 플래그이다.
본 실시예에서는, 카운트 완료 플래그의 초깃값에 「false」가 설정된다. 해당하는 ID의 상품 영역 좌표의 전 화상 프레임 위치가 「IN」으로 설정되어 있는 상태에서, 현 화상 프레임 위치로부터 검출된 해당하는 ID의 상품 영역 좌표가 「OUT」으로 된 경우에, 취출 동작 횟수에 1이 가산된다. 이 경우에, 카운트 완료 플래그가 「false」로부터 「true」로 갱신된다.
취출 동작 횟수 정보(146)는 취출 동작 횟수의 정보를 갖는다.
도 2의 설명으로 되돌아간다. 제어부(150)는 취득부(151), 추적부(152), 계수부(153), 판정부(154)를 갖는다. 제어부(150)는 예를 들어, CPU(Central Processing Unit)나 MPU(Micro Processing Unit)에 의해 실현된다. 또한, 제어부(150)는 예를 들어 ASIC(Application Specific Integrated Circuit)이나 FPGA(Field Programmable Gate Array) 등의 집적 회로에 의해 실행되어도 된다.
취득부(151)는 카메라(30)로부터 영상 데이터를 취득하고, 취득한 영상 데이터를 영상 버퍼(141)에 저장한다. 취득부(151)는 셀프 계산대(50)로부터 상품 정보(142)를 취득하고, 취득한 상품 정보(142)를 기억부(140)에 저장한다.
추적부(152)는 영상 버퍼(141)에 저장된 영상 데이터(시계열의 화상 프레임)를 기초로 하여, 상품 영역 좌표를 추적한다. 예를 들어, 추적부(152)는 화상 프레임을 순서대로 모델 정보(143)에 입력하여 상품 영역 좌표를 특정하고, 데이터 테이블(144)을 갱신하는 처리를 반복하여 실행한다. 이하에 있어서, 추적부(152)의 처리의 일례에 대하여 설명한다.
추적부(152)는 영상 버퍼(141)에 저장된 화상 프레임을, 모델 정보(143)에 입력하고, 검출 정보에 포함되는 상품 영역 좌표를 취득한다. 추적부(152)는 상품 영역 좌표를, 검출 결과 테이블(144a)에 등록한다. 이하의 설명에서는, 검출 결과 테이블(144a)의 상품 영역 좌표를 「제1 상품 영역 좌표」라고 표기한다. 추적중 물체 테이블(144b)의 상품 영역 좌표를 「제2 상품 영역 좌표」라고 표기한다. 추적 휴지 물체 테이블(144c)의 상품 영역 좌표를 「제3 상품 영역 좌표」라고 표기한다.
또한, 추적부(152)는 비교 대상으로 되는 각 상품 영역 좌표의 중심 간의 거리를 기초로 하여, 「유사도」를 산출한다. 유사도는, 비교 대상으로 되는 각 상품 영역 좌표의 중심 간의 거리가 짧을수록, 큰 값이 된다. 중심 간의 거리와, 유사도의 관계는 미리 정의되어 있는 것으로 한다.
추적부(152)는 제1 상품 영역 좌표와, 추적 휴지 물체 테이블(144c)의 각 제3 상품 영역 좌표를 비교하여, 유사도가 역치 Th1 이상으로 되는 제1 상품 영역 좌표와, 제3 상품 영역 좌표의 조가 존재하는지 여부를 판정한다. 역치 Th1의 값은 미리 설정된다.
추적부(152)는 유사도가 역치 Th1 이상으로 되는 제1 상품 영역 좌표와, 제3 상품 영역 좌표의 조가 존재하는 경우에는, 추적 휴지 물체 테이블(144c)에 있어서 다음 처리를 실행한다. 추적부(152)는 제1 상품 영역 좌표와의 유사도가 역치 Th1 이상으로 되는 제3 상품 영역 좌표를 갖는 엔트리의 플래그를 「true」로 설정한다. 또한, 추적부(152)는 제3 상품 영역 좌표와의 유사도가 역치 Th1 이상으로 되는 제1 상품 영역 좌표를 갖는 엔트리를, 검출 결과 테이블(144a)로부터 삭제한다.
추적부(152)는 제1 상품 영역 좌표와, 추적중 물체 테이블(144b)의 각 제2 상품 영역 좌표를 비교하여, 제1 상품 영역 좌표와 제2 상품 영역 좌표의 유사도의 최댓값을 특정한다. 추적부(152)는 유사도의 최댓값이 역치 Th3 이상인 경우에는, 「해당하는 상품이 움직이고 있지 않다」라고 판정한다. 추적부(152)는 유사도의 최댓값이 역치 Th3 미만, 역치 Th2 이상인 경우에는, 「해당하는 상품을 추적 가능」이라고 판정한다. 추적부(152)는 역치 Th2 미만인 경우에는, 「해당하는 상품을 추적 불가」라고 판정한다. 역치 Th2, Th3의 값은 미리 설정된다. 단, 역치 Th3의 값은, 역치 Th2의 값보다도 큰 것으로 한다.
도 7은, 추적부의 처리를 설명하기 위한 도면이다. 도 7의 케이스(1A)에 있어서, 제1 상품 영역 좌표에 특정되는 상품의 영역을, 상품 영역(20a)으로 하고, 제2 상품 영역 좌표에 특정되는 상품의 영역을, 상품 영역(21a)으로 한다. 추적부(152)는 상품 영역(20a)과, 상품 영역(21a)의 거리가 거리 lA 미만인 경우(거리에 기초하는 유사도가, 역치 Th3 이상인 경우), 「해당하는 상품이 움직이고 있지 않다」라고 판정한다.
추적부(152)는 「해당하는 상품이 움직이고 있지 않다」라고 판정한 경우, 추적중 물체 테이블(144b)의 상품 영역(21a)(제2 상품 영역 좌표)에 대응하는 엔트리에 있어서, 스테이 카운트에 1을 가산한다.
도 7의 케이스(1B)에 있어서, 제1 상품 영역 좌표에 특정되는 상품의 영역을, 상품 영역(20b)으로 하고, 제2 상품 영역 좌표에 특정되는 상품의 영역을, 상품 영역(21b)으로 한다. 추적부(152)는 상품 영역(20b)과, 상품 영역(21b)의 거리가 거리 1lA 이상, lB 미만인 경우(거리에 기초하는 유사도가, 역치 Th3 미만, 역치 Th2 이상인 경우) 「해당하는 상품을 추적 가능」이라고 판정한다.
추적부(152)는 「해당하는 상품을 추적 가능」이라고 판정한 경우, 추적중 물체 테이블(144b)의 상품 영역(21b)(제2 상품 영역 좌표)에 대응하는 엔트리에 있어서, 제2 상품 영역 좌표를, 제1 상품 영역 좌표로 갱신한다. 추적부(152)는 추적중 물체 테이블(144b)의 상품 영역(21b)(제2 상품 영역 좌표)에 대응하는 엔트리에 있어서, 스테이 카운트를 0으로 설정한다.
도 7의 케이스(1C)에 있어서, 제1 상품 영역 좌표에 특정되는 상품의 영역을, 상품 영역(20c)으로 하고, 제2 상품 영역 좌표에 특정되는 상품의 영역을, 상품 영역(21c)으로 한다. 추적부(152)는 상품 영역(20c)과, 상품 영역(21c)의 거리가 거리 lB 이상인 경우(거리에 기초하는 유사도가, 역치 Th2 미만인 경우) 「해당하는 상품을 추적 불가」라고 판정한다.
추적부(152)는 「해당하는 상품을 추적 불가」라고 판정한 경우, 추적중 물체 테이블(144b)에, 상품 영역(20c)에 대응하는 제1 상품 영역 좌표의 신규 엔트리를 등록한다. 추적부(152)는 신규 엔트리를 등록하는 경우, 신규 ID를 할당하고, 스테이 카운트를 0, 로스트 카운트를 0으로 설정한다.
여기서, 추적부(152)는 추적중 물체 테이블(144b)의 각 엔트리 중, 제1 상품 영역 좌표와의 유사도가 역치 Th2 이상이 되지 않는 제2 상품 영역 좌표를 갖는 엔트리에 대해서는, 로스트 카운트에 1을 가산한다.
추적부(152)는 추적중 물체 테이블(144b)의 각 엔트리 중, 로스트 카운터가 역치 Th4를 초과한 엔트리를 추출한다. 추적부(152)는 추출한 엔트리 중, 스테이 카운터의 값이 역치 Th5 이상으로 되는 엔트리에 대해서는, 해당하는 엔트리(ID, 제2 상품 영역 좌표)를 추적 휴지 물체 테이블(144c)로 이동하고, 플래그를 「false」로 설정한다.
추적부(152)는 추출한 엔트리 중, 스테이 카운터의 값이 역치 Th5 미만으로 되는 엔트리에 대해서는, 해당하는 엔트리를 삭제한다.
추적부(152)는 추적 휴지 물체 테이블(144c)의 각 엔트리 중, 플래그가 「true」로 되는 엔트리를, 추적중 물체 테이블(144b)로 이동시키고, 스테이 카운터를 0으로 설정한다.
추적부(152)는 검출 결과 테이블(144a)에 새로운 엔트리가 등록될 때마다, 상기 처리를 반복하여 실행하고, 추적중 물체 테이블(144b), 추적 휴지 물체 테이블(144c)을 갱신한다.
도 2의 설명으로 되돌아간다. 계수부(153)는 데이터 테이블(144)의 추적중 물체 테이블(144b)을 기초로 하여, 유저가 바구니(2a)에 수용된 상품을 취출하는 행동을 행한 취출 동작 횟수를 계수한다. 계수부(153)는 취출 동작 횟수를, 취출 동작 횟수 정보(146)로서 기억부(140)에 등록한다. 이하에 있어서, 계수부(153)의 처리의 일례에 대하여 설명한다.
도 8은, 계수부의 처리를 설명하기 위한 도면이다. 도 8의 스텝 S1에 대하여 설명한다. 계수부(153)는 미리, 바구니 영역(10e)의 좌표를 유지하고 있는 것으로 한다. 계수부(153)는 추적중 물체 테이블(144b)을 참조하여, 신규 ID의 엔트리가 추가되면, 신규 ID와 동일한 ID를 설정한 엔트리를, 판정 테이블(145)에 추가한다. 계수부(153)는 판정 테이블(145)에 엔트리를 추가하는 경우에, 카운트 완료 플래그를 「false」로 설정한다. 이하의 설명에서는, 설명의 편의상, 판정 테이블(145)에 추가한 ID를, ID 「1」로 하여 설명을 행한다. 상품의 영역(10c)에 대응하는 제2 상품 영역 좌표에 부여된 ID를 ID 「1」로 한다.
계수부(153)는 추적중 물체 테이블(144b)의 ID 「1」의 엔트리의 제2 상품 영역 좌표와, 바구니 영역(10e)을 비교한다. 계수부(153)는 제2 상품 영역 좌표가, 바구니 영역(10e)에 포함되지 않은 경우에는, 판정 테이블(145)에 추가하는 ID 「1」의 엔트리의 전 프레임 위치를 「OUT」으로 설정한다. 계수부(153)는 제2 상품 영역 좌표가, 바구니 영역(10e)에 포함되는 경우에는, 판정 테이블(145)에 추가하는 ID 「1」의 엔트리의 전 프레임 위치를 「IN」으로 설정한다. 도 8의 스텝 S1에 나타내는 예에서는, 제2 상품 영역 좌표에 대응하는 상품의 영역(10c)이 바구니 영역(10e)에 포함되기 때문에, 판정 테이블(145)에 추가하는 ID 「1」의 엔트리의 전 프레임 위치를 「IN」으로 설정한다.
도 8의 스텝 S2의 설명으로 이행한다. 계수부(153)는 추적중 물체 테이블(144b)을 감시하고, 추적중 물체 테이블(144b)이 갱신될 때마다, ID 「1」에 대응하는 제2 상품 영역 좌표와, 바구니 영역(10e)을 비교한다. 계수부(153)는 ID 「1」에 대응하는 제2 상품 영역 좌표(상품의 영역(10c))가 바구니 영역(10e)에 포함되지 않는 영역으로 이동했을 때에, 판정 테이블(145)의 ID 「1」의 엔트리를 참조하고, 전 프레임 위치와, 카운트 완료 플래그를 참조한다.
계수부(153)는 판정 테이블(145)의 ID 「1」의 엔트리에 대해서, 전 프레임 위치가 「IN」, 카운트 완료 플래그가 「false」인 경우에는, 취출 동작 횟수에 1을 가산한다. 또한, 계수부(153)는 취출 동작 횟수에 1을 가산한 후에, 전 프레임 위치를 「OUT」으로 갱신하고, 카운트 완료 플래그를 「true」로 갱신한다.
한편, 계수부(153)는 전 프레임 위치가 「OUT」으로 되는 경우, 또는, 카운트 완료 플래그가 「true」로 되는 경우에는, 취출 동작 횟수에 1을 가산하는 처리를 스킵한다.
계수부(153)는 추적중 물체 테이블(144b)에 신규 ID의 엔트리가 추가될 때마다, 상기 처리를 반복하여 실행한다. 계수부(153)는 추적중 물체 테이블(144b)에 추가된 엔트리의 ID와 동일한 ID가, 판정 테이블(145)에 등록된 엔트리의 ID와 동일한 경우, 신규 ID에 대응하는 엔트리를 판정 테이블(145)에 등록하는 처리를 스킵한다.
판정부(154)는 상품 정보(142)와, 취출 동작 횟수 정보(146)를 기초로 하여, 얼러트를 관리자 단말기(60)에 통지한다. 이하에 있어서, 판정부(154)의 처리의 일례에 대하여 설명한다.
판정부(154)는 상품 정보(142)를 취득하고, 구입수를 특정한다. 예를 들어, 판정부(154)는 상품 정보(142)의 일시 정보가 다른 레코드의 수를, 구입수로서 특정한다.
판정부(154)는 구입수와, 취출 동작 횟수 정보(146)의 취출 동작 횟수가 다른 경우에는, 얼러트를 관리자 단말기(60)로 송신한다. 예를 들어, 판정부(154)는 구입수가, 취출 동작 횟수보다도 적은 경우에는, 회계 누락의 우려가 있기 때문에, 구입수가, 취출 동작 횟수보다도 적은 경우에는, 회계 누락을 검출한 취지의 얼러트를, 관리자 단말기(60)에 통지한다.
한편, 판정부(154)는 구입수와, 취출 동작 횟수 정보(146)의 취출 동작 횟수가 일치하는 경우에는, 얼러트를 통지하는 처리를 스킵한다.
이어서, 본 실시예에 관계되는 정보 처리 장치(100)의 추적부(152)가 실행하는 추적 처리의 일례에 대하여 설명한다. 도 9 및 도 10은, 추적 처리의 처리 수순을 도시하는 흐름도이다. 도 9에 도시하는 바와 같이, 정보 처리 장치(100)의 추적부(152)는 추적중 물체 테이블(144b), 추적 휴지 물체 테이블(144c)을 초기화한다(스텝 S101).
추적부(152)는 영상 버퍼(141)로부터 화상 프레임을 취득하고, 모델 정보(143)에 입력함으로써, 검출 정보를 취득한다(스텝 S102). 추적부(152)는 검출 정보에 포함되는 제1 상품 영역 좌표를, 검출 결과 테이블(144a)에 등록한다(스텝 S103).
추적부(152)는 제1 상품 영역 좌표와, 추적 휴지 물체 테이블(144c)의 제3 상품 영역 좌표의 유사도가 역치 Th1로 되는 엔트리가 존재하는지 여부를 판정한다(스텝 S104). 추적부(152)는 엔트리가 존재하는 경우에는(스텝 S105, "예"), 스텝 S106으로 이행한다. 한편, 추적부(152)는 엔트리가 존재하지 않는 경우에는(스텝 S105, "아니오"), 스텝 S108로 이행한다.
추적부(152)는 추적 휴지 물체 테이블(144c)의 해당 엔트리의 플래그를 「true」로 설정한다(스텝 S106). 추적부(152)는 검출 결과 테이블(144a)로부터 해당 엔트리를 삭제한다(스텝 S107).
추적부(152)는 제1 상품 영역 좌표와, 추적중 물체 테이블(144b)의 제2 상품 영역 좌표의 유사도가, 역치 Th2 이상으로 되는 엔트리가 존재하는지 여부를 판정한다(스텝 S108). 추적부(152)는 엔트리가 존재하는 경우에는(스텝 S109, "예"), 스텝 S110으로 이행한다. 한편, 추적부(152)는 엔트리가 존재하지 않는 경우에는(스텝 S109, "아니오"), 도 10의 스텝 S115로 이행한다.
추적부(152)는 추적중 물체 테이블(144b)의 해당 엔트리의 제2 상품 영역 좌표를, 제1 상품 영역 좌표로 갱신한다(스텝 S110). 추적부(152)는 제1 상품 영역 좌표와, 추적중 물체 테이블(144b)의 제2 상품 영역 좌표의 유사도가, 역치 Th3 이상으로 되는 엔트리가 존재하는지 여부를 판정한다(스텝 S111).
추적부(152)는 엔트리가 존재하는 경우에는(스텝 S112, "예"), 추적중 물체 테이블(144b)의 해당 엔트리의 스테이 카운트에 1을 가산하고(스텝 S113), 도 10의 스텝 S115로 이행한다.
한편, 추적부(152)는 엔트리가 존재하지 않는 경우에는(스텝 S112, "아니오"), 추적중 물체 테이블(144b)의 해당 엔트리의 스테이 카운트를 0으로 갱신하고(스텝 S114), 도 10의 스텝 S115로 이행한다.
도 10의 설명으로 이행한다. 추적부(152)는 제2 상품 영역 좌표와의 유사도가, 역치 Th2 미만으로 되는 제1 상품 영역 정보에 신규 ID를 할당한 엔트리를, 추적중 물체 테이블(144b)에 추가한다(스텝 S115). 추적부(152)는 추적중 물체 테이블(144b)에 추가한 엔트리의 스테이 카운트를 0으로 설정한다(스텝 S116).
추적부(152)는 추적중 물체 테이블(144b)의 엔트리 중, 제1 상품 영역 좌표와의 유사도가 역치 Th2 미만으로 되는 제2 상품 영역 좌표를 갖는 엔트리의 로스트 카운트에 1을 가산한다(스텝 S117).
추적부(152)는 추적중 물체 테이블(144b)의 엔트리 중, 스테이 카운터의 값이 역치 Th5 이상으로 되는 엔트리가 존재하는지 여부를 판정한다(스텝 S118). 추적부(152)는 엔트리가 존재하는 경우에는(스텝 S119, "예"), 스텝 S120로 이행한다. 한편, 추적부(152)는 엔트리가 존재하지 않는 경우에는(스텝 S119, "아니오"), 스텝 S121로 이행한다.
추적부(152)는 스테이 카운터의 값이 역치 Th5 이상으로 되는 엔트리를, 추적 휴지 물체 테이블(144c)로 이동시키고, 플래그를 「false」로 설정한다(스텝 S120). 추적부(152)는 추적 휴지 물체 테이블(144c)의 플래그가 「true」로 되는 엔트리를, 추적중 물체 테이블(144b)로 이동시키고, 스테이 카운트를 0으로 설정한다(스텝 S122). 또한, 추적부(152)는 스테이 카운터의 값이 역치 Th5 이상으로 되는 엔트리를 삭제하고(스텝 S121), 스텝 S122로 이행한다.
추적부(152)는 처리를 계속하는 경우에는(스텝 S123, "예"), 도 9의 스텝 S102로 이행한다. 한편, 추적부(152)는 처리를 계속하지 않는 경우에는(스텝 S123, "아니오"), 처리를 종료한다.
이어서, 본 실시예에 관계되는 정보 처리 장치의 처리 수순에 대하여 설명한다. 도 11은, 본 실시예에 관계되는 정보 처리 장치의 처리 수순을 도시하는 흐름도이다. 도 11에 도시한 바와 같이, 정보 처리 장치(100)의 취득부(151)는 셀프 계산대(50)로부터 상품 정보(142)를 취득하고, 기억부(140)에 저장한다(스텝 S201).
정보 처리 장치(100)의 계수부(153)는 상품 정보를 기초로 하여, 구입수를 계수한다(스텝 S202). 계수부(153)는 취출 동작 횟수 계수 처리를 실행한다(스텝 S203).
정보 처리 장치(100)의 판정부(154)는 구입수와 취출 동작 횟수가 일치하는지 여부를 판정한다(스텝 S204). 판정부(154)는 구입수와 취출 동작 횟수가 일치하는 경우에는(스텝 S205, "예"), 처리를 종료한다.
한편, 판정부(154)는 구입수와 취출 동작 횟수가 일치하지 않는 경우에는(스텝 S205, "아니오"), 얼러트를 관리자 단말기(60)에 통지한다(스텝 S206).
이어서, 도 11의 스텝 S203에서 설명한 취출 동작 횟수 계수 처리의 처리 수순의 일례에 대하여 설명한다. 도 12는, 취출 동작 횟수 계수 처리의 처리 수순을 도시하는 흐름도이다. 도 12에 도시하는 바와 같이, 정보 처리 장치(100)의 계수부(153)는 추적중 물체 테이블(144b)의 감시를 개시한다(스텝 S301).
계수부(153)는 추적중 물체 테이블(144b)에 신규 ID의 엔트리가 추가된 경우에는(스텝 S302, "예"), 스텝 S303으로 이행한다. 계수부(153)는 추적중 물체 테이블(144b)에 신규 ID의 엔트리가 추가되어 있지 않은 경우에는(스텝 S302, "아니오"), 스텝 S305로 이행한다.
계수부(153)는 신규 ID의 엔트리의 제2 상품 영역 좌표와 바구니 영역를 기초로 하여, 전 프레임 위치를 특정한다(스텝 S303). 계수부(153)는 신규 ID, 전 프레임 위치, 카운트 완료 플래그 「false」를 설정한 엔트리를 판정 테이블(145)에 추가한다(스텝 S304).
계수부(153)는 판정 테이블(145)의 각 엔트리의 ID에 대응하는 제2 상품 영역 좌표와, 바구니 영역를 기초로 하여, 현 프레임 위치를 특정한다(스텝 S305). 계수부(153)는 판정 테이블(145)의 미선택의 엔트리를 선택한다(스텝 S306).
계수부(153)는 선택한 엔트리의 전 프레임 위치가 「IN」, 또한, 카운트 완료 플래그가 「false」로 되고, ID에 대응하는 선택한 엔트리의 ID에 대응하는 현 프레임 위치가 「OUT」으로 되는 조건을 충족하는지 여부를 판정한다(스텝 S307).
계수부(153)는 조건을 충족하는 경우에는(스텝 S308, "예"), 스텝 S309으로 이행한다. 계수부(153)는 조건을 충족하지 않는 경우에는(스텝 S308, "아니오"), 스텝 S311로 이행한다.
계수부(153)는 취출 동작 횟수에 1을 가산한다(스텝 S309). 계수부(153)는 선택한 엔트리의 전 프레임 위치를 「OUT」, 카운트 완료 플래그를 「true」로 갱신한다(스텝 S310).
계수부(153)는 판정 테이블(145)의 엔트리를 모두 선택하고 있지 않은 경우에는(스텝 S311, "아니오"), 스텝 S306으로 이행한다. 계수부(153)는 판정 테이블(145)의 엔트리를 모두 선택한 경우에는(스텝 S311, "예"), 스텝 S312로 이행한다.
계수부(153)는 처리를 계속하는 경우에는(스텝 S312, "예"), 스텝 S302로 이행한다. 계수부(153)는 처리를 계속하지 않는 경우에는(스텝 S312, "아니오"), 취출 동작 횟수 계수 처리를 종료한다.
이어서, 본 실시예에 관계되는 정보 처리 장치(100)의 효과에 대하여 설명한다. 정보 처리 장치(100)는 셀프 계산대(50)로부터 취득하는 상품 정보(142)로부터 특정되는 구입수와, 상품의 영역과 바구니 영역을 비교하여 계수되는 취출 동작 횟수를 기초로 하여, 얼러트를 통지한다. 예를 들어, 취출 동작 횟수와, 구입수가 다른 경우에는, 상품의 회계 누락이 발생하였다고 할 수 있으며, 정보 처리 장치(100)가, 취출 동작 횟수와, 구입수를 기초로 하여, 얼러트를 통지함으로써, 상품의 회계 누락을 검출할 수 있다.
그런데, 상술한 실시예의 처리 내용은 일례이며, 정보 처리 장치(100)는 다른 처리를 또한 실행해도 된다. 이하의 설명에서는, 정보 처리 장치(100)가 실행하는 기타의 처리에 대하여 설명한다.
정보 처리 장치(100)가 실행하는 기타의 처리 (1)에 대하여 설명한다. 정보 처리 장치(100)의 계수부(153)는 미리 설정된 바구니 영역을 사용하여, 처리를 실행하고 있었지만 이것에 한정되는 것은 아니다. 계수부(153)는 영상 버퍼(141)에 등록된 화상 프레임을 해석하고, 바구니 영역에 대응하는 제1 에어리어와, 스캔 영역에 대응하는 제2 에어리어를 특정하고, 특정한 제1 에어리어를 사용하여, 취출 동작 횟수를 계수해도 된다.
도 13은, 기타의 처리 (1)을 설명하기 위한 도면이다. 도 13에 도시하는 예에서는, 화상 프레임(40)으로부터, 제1 에어리어(40a)와, 제2 에어리어(40b)가 특정되어 있다. 계수부(153)는 패턴 매치 등의 종래 기술을 사용하여, 제1 에어리어(40a), 제2 에어리어(40b)를 특정해도 되고, 기계 학습 완료된 기계 학습 모델을 사용하여, 제1 에어리어(40a), 제2 에어리어(40b)를 특정해도 된다. 예를 들어, 이러한 기계 학습 모델은, 화상 프레임을 입력으로 하고, 제1 에어리어, 제2 에어리어의 좌표를 정답 데이터로 하는 교사 데이터를 사용하여 기계 학습을 실행한 모델이다.
계수부(153)가 처리를 한참 실행하고 있는 중에 셀프 계산대(50)가 이동한 경우나, 카메라(30)의 위치가 변경된 경우에는, 미리 설정된 바구니 영역을 사용하여, 처리를 실행하면, 취출 동작 횟수를 고정밀도로 계수할 수 없다. 이에 반해, 영상 버퍼(141)에 등록된 화상 프레임을 해석하고, 바구니 영역에 대응하는 제2 에어리어를 특정함으로써, 바구니 영역을 정확하게 특정할 수 있어, 취출 동작 횟수를 고정밀도로 계수할 수 있다.
정보 처리 장치(100)가 실행하는 기타의 처리 (2)에 대하여 설명한다. 상기 정보 처리 장치(100)에서는, 셀프 계산대(50)로부터 취득하는 상품 정보(142)를 기초로 하여, 구입수를 계수하고 있었지만, 이것에 한정되는 것은 아니다. 셀프 계산대(50)에서는, 정산 처리를 실행하는 경우에, 표시 화면에 상품의 구입수를 표시한다. 이 때문에, 정보 처리 장치(100)는 카메라(30)(혹은, 다른 카메라)가 촬영한 표시 화면의 화상 프레임에 대하여 화상 해석을 실행함으로써, 구입수를 특정해도 된다.
도 14는, 기타의 처리 (2)를 설명하기 위한 도면이다. 도 14의 화상 프레임(41)은 셀프 계산대(50)의 표시 화면에 대응한다. 화상 프레임(41)의 영역(41a)에는, 상품의 구입수를 나타내는 영역(41a)이 포함된다. 계수부(153)는 영역(41a)을 화상 해석함으로써, 구입수를 특정한다.
상기한 바와 같이 계수부(153)가 셀프 계산대(50)의 표시 화면의 화상 프레임을 해석하여 상품의 구입수를 특정함으로써, 정보 처리 장치(100)는 셀프 계산대(50)에 접속하고 있지 않더라도, 취출 동작 횟수와, 구입수를 비교하여 얼러트를 통지할 수 있다. 또한, 본 실시예에서는, 바코드를 사용하여 설명을 행했지만, QR(Quick Response) 코드 등이어도 된다.
이어서, 상기 실시예에 나타낸 정보 처리 장치(100)와 마찬가지의 기능을 실현하는 컴퓨터의 하드웨어 구성의 일례에 대하여 설명한다. 도 15는, 실시예의 정보 처리 장치와 마찬가지의 기능을 실현하는 컴퓨터의 하드웨어 구성의 일례를 도시하는 도면이다.
도 15에 도시하는 바와 같이, 컴퓨터(200)는 각종 연산 처리를 실행하는 CPU(201)와, 유저로부터의 데이터의 입력을 접수하는 입력 장치(202)와, 디스플레이(203)를 갖는다. 또한, 컴퓨터(200)는 유선 또는 무선 네트워크를 통하여, 카메라(30), 외부 장치 등과의 사이에서 데이터의 수수를 행하는 통신 장치(204)와, 인터페이스 장치(205)를 갖는다. 또한, 컴퓨터(200)는 각종 정보를 일시 기억하는 RAM(206)과 하드 디스크 장치(207)를 갖는다. 그리고, 각 장치(201 내지 207)는 버스(208)에 접속된다.
하드 디스크 장치(207)는 취득 프로그램(207a), 추적 프로그램(207b), 계수 프로그램(207c), 판정 프로그램(207d)을 갖는다. 또한, CPU(201)는, 각 프로그램(207a 내지 207d)을 읽어내서 RAM(206)에 전개한다.
취득 프로그램(207a)은 취득 프로세스(206a)로서 기능한다. 추적 프로그램(207b)은 추적 프로세스(206b)로서 기능한다. 계수 프로그램(207c)은 계수 프로세스(206c)로서 기능한다. 판정 프로그램(207d)은 판정 프로세스(206d)로서 기능한다.
취득 프로세스(206a)의 처리는, 취득부(151)의 처리에 대응한다. 추적 프로세스(206b)의 처리는, 추적부(152)의 처리에 대응한다. 계수 프로세스(206c)의 처리는, 계수부(153)의 처리에 대응한다. 판정 프로세스(206d)의 처리는, 판정부(154)의 처리에 대응한다.
또한, 각 프로그램(207a 내지 207d)에 대해서는, 반드시 처음부터 하드 디스크 장치(207)에 기억시켜 두지는 않아도 된다. 예를 들어, 컴퓨터(200)에 삽입되는 플렉시블 디스크(FD), CD-ROM, DVD, 광자기 디스크, IC 카드 등의 「가반용의 물리 매체」에 각 프로그램을 기억시켜 둔다. 그리고, 컴퓨터(200)가 각 프로그램(207a 내지 207d)을 읽어내서 실행하도록 해도 된다.
도 16은, 셀프 계산대(50)의 하드웨어 구성예를 설명하는 도면이다. 도 16에 도시하는 바와 같이, 셀프 계산대(50)는 통신 인터페이스(400a), HDD(400b), 메모리(400c), 프로세서(400d), 입력부(400e), 출력부(400f)를 갖는다. 또한, 도 16에 나타낸 각 부는, 버스 등으로 서로 접속된다.
통신 인터페이스(400a)는 Network Interface Card 등이며, 다른 정보 처리 장치와의 통신을 행한다. HDD(400b)는, 셀프 계산대(50)의 각 기능을 동작시키는 프로그램이나 데이터를 기억한다.
프로세서(400d)는 셀프 계산대(50)의 각 기능의 처리를 실행하는 프로그램을 HDD(400b) 등으로부터 읽어내서 메모리(400c)에 전개함으로써 셀프 계산대(50)의 각 기능을 실행하는 프로세스를 동작시키는 하드웨어 회로이다. 즉, 이 프로세스는, 셀프 계산대(50)가 갖는 각 처리부와 마찬가지의 기능을 실행한다.
이와 같이, 셀프 계산대(50)는 셀프 계산대(50)의 각 기능의 처리를 실행하는 프로그램을 읽어내서 실행함으로써 동작 제어 처리를 실행하는 정보 처리 장치로서 동작한다. 또한, 셀프 계산대(50)는 매체 판독 장치에 의해 기록 매체로부터 프로그램을 읽어내고, 읽어내진 프로그램을 실행함으로써 셀프 계산대(50)의 각 기능을 실현할 수도 있다. 또한, 기타의 실시예에서 말하는 프로그램은, 셀프 계산대(50)에 의해 실행되는 것에 한정되는 것은 아니다. 예를 들어, 다른 컴퓨터 또는 서버가 프로그램을 실행하는 경우나, 이들이 협동하여 프로그램을 실행하는 경우에도, 본 실시 형태가 마찬가지로 적용되어도 된다.
또한, 셀프 계산대(50)의 각 기능의 처리를 실행하는 프로그램은, 인터넷 등의 네트워크를 통하여 배포할 수 있다. 또한, 이 프로그램은, 하드 디스크, FD, CD-ROM, MO, DVD 등의 컴퓨터에서 판독 가능한 기록 매체에 기록되고, 컴퓨터에 의해 기록 매체로부터 읽어내어짐으로써 실행할 수 있다.
입력 장치(400e)는 프로세서(400d)에 의해 실행되는 프로그램에 대한 입력 조작 등, 유저에 의한 각종 입력 조작을 검지한다. 당해 입력 조작에는, 예를 들어, 터치 조작 등이 포함된다. 터치 조작의 경우, 셀프 계산대(50)는 또한 표시부를 구비하고, 입력 장치(400e)에 의해 검지되는 입력 조작은, 당해 표시부에 대한 터치 조작이면 된다. 입력 장치(400e)는 예를 들어, 버튼, 터치 패널, 근접 센서 등이면 된다. 또한, 입력 장치(400e)는 바코드의 판독을 한다. 입력 장치(400e)는 예를 들어, 바코드 리더이다. 바코드 리더는, 광원과 광 센서를 갖고, 바코드를 스캔한다.
출력 장치(400f)는 프로세서(400d)에 의해 실행되는 프로그램으로부터 출력되는 데이터를 셀프 계산대(50)에 접속된 외부 장치, 예를 들어, 외부 디스플레이 장치 등을 통하여 출력한다. 또한, 셀프 계산대(50)가 표시부를 구비하는 경우, 셀프 계산대(50)는 출력 장치(400f)를 구비하지 않아도 된다.
이상의 각 실시예를 포함하는 실시 형태에 관한 것으로서, 또한 이하의 부기를 개시한다.
(부기 1) 회계기가 상품의 코드를 읽어들임으로써 생성된 상품 정보를 취득하고,
취득한 상기 상품 정보에 기초하여, 상품의 구입수를 나타내는 제1 횟수를 계수하고,
상기 회계기에 인접하는 소정의 에어리어에 배치된 바구니를 촬영한 화상을 취득하고,
상기 바구니에 수용된 상품을 취출하는 행동의 횟수를 나타내는 제2 횟수를 계수하고,
상기 제1 횟수와, 상기 제2 횟수를 기초로 하여, 얼러트를 통지하는
처리를 컴퓨터에 실행시키는 것을 특징으로 하는 통지 프로그램 컴퓨터 판독 가능한 기억 매체.
(부기 2) 유저가 상기 상품의 회계를 하는 에어리어가 촬영된 화상 중으로부터, 상기 회계기에 인접하는 바구니가 배치되는 제1 에어리어와, 유저가 파지한 상기 상품의 코드를 상기 회계기가 읽어들이는 제2 에어리어를 특정하고,
상기 제2 횟수를 계수하는 처리는, 상기 제1 에어리어에 있어서, 상기 바구니에 수용된 상품을 취출하는 행동을 식별하는 것을 특징으로 하는 부기 1에 기재된 통지 프로그램 컴퓨터 판독 가능한 기억 매체.
(부기 3) 상기 통지하는 처리는, 상기 제1 횟수와, 상기 제2 횟수의 차분에 기초하여, 유저가 상품 미불인 것을 얼러트로 통지하는 것을 특징으로 하는 부기 1 또는 2에 기재된 통지 프로그램 컴퓨터 판독 가능한 기억 매체.
(부기 4) 상기 상품 정보를 취득하는 처리는, 상기 회계기가 상기 상품의 코드를 읽어들임으로써 상기 회계기의 기억부에 보존되는 상기 상품 정보를 취득하는 것을 특징으로 하는 부기 1에 기재된 통지 프로그램 컴퓨터 판독 가능한 기억 매체.
(부기 5) 상기 상품 정보를 취득하는 처리는, 상기 회계기가 상기 상품의 코드를 읽어들임으로써 상기 회계기의 표시 화면에 표시되는 화상 정보를 기초로 하여, 상기 상품 정보를 취득하는 것을 특징으로 하는 부기 1에 기재된 통지 프로그램 컴퓨터 판독 가능한 기억 매체.
(부기 6) 회계기가 상품의 코드를 읽어들임으로써 생성된 상품 정보를 취득하고,
취득한 상기 상품 정보에 기초하여, 상품의 구입수를 나타내는 제1 횟수를 계수하고,
상기 회계기에 인접하는 소정의 에어리어에 배치된 바구니를 촬영한 화상을 취득하고,
상기 바구니에 수용된 상품을 취출하는 행동의 횟수를 나타내는 제2 횟수를 계수하고,
상기 제1 횟수와, 상기 제2 횟수를 기초로 하여, 얼러트를 통지하는
처리를 컴퓨터가 실행하는 것을 특징으로 하는 통지 방법.
(부기 7) 유저가 상기 상품의 회계를 하는 에어리어가 촬영된 화상 중에서, 상기 회계기에 인접하는 바구니가 배치되는 제1 에어리어와, 유저가 파지한 상기 상품의 코드를 상기 회계기가 읽어들이는 제2 에어리어를 특정하고,
상기 제2 횟수를 계수하는 처리는, 상기 제1 에어리어에 있어서, 상기 바구니에 수용된 상품을 취출하는 행동을 식별하는 것을 특징으로 하는 부기 6에 기재된 통지 방법.
(부기 8) 상기 통지하는 처리는, 상기 제1 횟수와, 상기 제2 횟수의 차분에 기초하여, 유저가 상품 미불인 것을 얼러트로 통지하는 것을 특징으로 하는 부기 6 또는 7에 기재된 통지 방법.
(부기 9) 상기 상품 정보를 취득하는 처리는, 상기 회계기가 상기 상품의 코드를 읽어들임으로써 상기 회계기의 기억부에 보존되는 상기 상품 정보를 취득하는 것을 특징으로 하는 부기 6에 기재된 통지 방법.
(부기 10) 상기 상품 정보를 취득하는 처리는, 상기 회계기가 상기 상품의 코드를 읽어들임으로써 상기 회계기의 표시 화면에 표시되는 화상 정보를 기초로 하여, 상기 상품 정보를 취득하는 것을 특징으로 하는 부기 6에 기재된 통지 방법.
(부기 11) 회계기가 상품의 코드를 읽어들임으로써 생성된 상품 정보를 취득하는 취득부와,
취득한 상기 상품 정보에 기초하여, 상품의 구입수를 나타내는 제1 횟수를 계수하고, 상기 회계기에 인접하는 소정의 에어리어에 배치된 바구니를 촬영한 화상을 취득하고, 상기 바구니에 수용된 상품을 취출하는 행동의 횟수를 나타내는 제2 횟수를 계수하는 계수부와,
상기 제1 횟수와, 상기 제2 횟수를 기초로 하여, 얼러트를 통지하는 판정부
를 갖는 것을 특징으로 하는 정보 처리 장치.
(부기 12) 상기 계수부는, 유저가 상기 상품의 회계를 하는 에어리어가 촬영된 화상 중에서, 상기 회계기에 인접하는 바구니가 배치되는 제1 에어리어와, 유저가 파지한 상기 상품의 코드를 상기 회계기가 읽어들이는 제2 에어리어를 특정하고, 상기 제2 횟수를 계수하는 처리는, 상기 제1 에어리어에 있어서, 상기 바구니에 수용된 상품을 취출하는 행동을 식별하는 것을 특징으로 하는 부기 11에 기재된 정보 처리 장치.
(부기 13) 상기 판정부는, 상기 제1 횟수와, 상기 제2 횟수의 차분에 기초하여, 유저가 상품 미불인 것을 얼러트로 통지하는 것을 특징으로 하는 부기 11 또는 12에 기재된 정보 처리 장치.
(부기 14) 상기 취득부는, 상기 회계기가 상기 상품의 코드를 읽어들임으로써 상기 회계기의 기억부에 보존되는 상기 상품 정보를 취득하는 것을 특징으로 하는 부기 11에 기재된 정보 처리 장치.
(부기 15) 상기 취득부는, 상기 회계기가 상기 상품의 코드를 읽어들임으로써 상기 회계기의 표시 화면에 표시되는 화상 정보를 기초로 하여, 상기 상품 정보를 취득하는 것을 특징으로 하는 부기 11에 기재된 정보 처리 장치.
30: 카메라
50: 셀프 계산대
60: 관리자 단말기
100: 정보 처리 장치
110: 통신부
120: 입력부
130: 표시부
140: 기억부
141: 영상 버퍼
142: 상품 정보
143: 모델 정보
144: 데이터 테이블
145: 판정 테이블
146: 취출 동작 횟수 정보
150: 제어부
151: 취득부
152: 추적부
153: 계수부
154: 판정부

Claims (7)

  1. 회계기가 상품의 코드를 읽어들임으로써 생성된 상품 정보를 취득하고,
    취득한 상기 상품 정보에 기초하여, 상품의 구입수를 나타내는 제1 횟수를 계수하고,
    상기 회계기에 인접하는 소정의 에어리어에 배치된 바구니를 촬영한 화상을 취득하고,
    상기 바구니에 수용된 상품을 취출하는 행동의 횟수를 나타내는 제2 횟수를 계수하고,
    상기 제1 횟수와, 상기 제2 횟수를 기초로 하여, 얼러트를 통지하는
    처리를 컴퓨터에 실행시키는 것을 특징으로 하는 컴퓨터 판독 가능한 기억 매체에 저장된 통지 프로그램.
  2. 제1항에 있어서, 유저가 상기 상품의 회계를 하는 에어리어가 촬영된 화상 중에서, 상기 회계기에 인접하는 바구니가 배치되는 제1 에어리어와, 유저가 파지한 상기 상품의 코드를 상기 회계기가 읽어들이는 제2 에어리어를 특정하고,
    상기 제2 횟수를 계수하는 처리는, 상기 제1 에어리어에 있어서, 상기 바구니에 수용된 상품을 취출하는 행동을 식별하는 것을 특징으로 하는 컴퓨터 판독 가능한 기억 매체에 저장된 통지 프로그램.
  3. 제1항 또는 제2항에 있어서, 상기 통지하는 처리는, 상기 제1 횟수와, 상기 제2 횟수의 차분에 기초하여, 유저가 상품 미불인 것을 얼러트로 통지하는 것을 특징으로 하는 컴퓨터 판독 가능한 기억 매체에 저장된 통지 프로그램.
  4. 제1항에 있어서, 상기 상품 정보를 취득하는 처리는, 상기 회계기가 상기 상품의 코드를 읽어들임으로써 상기 회계기의 기억부에 보존되는 상기 상품 정보를 취득하는 것을 특징으로 하는 컴퓨터 판독 가능한 기억 매체에 저장된 통지 프로그램.
  5. 제1항에 있어서, 상기 상품 정보를 취득하는 처리는, 상기 회계기가 상기 상품의 코드를 읽어들임으로써 상기 회계기의 표시 화면에 표시되는 화상 정보를 기초로 하여, 상기 상품 정보를 취득하는 것을 특징으로 하는 컴퓨터 판독 가능한 기억 매체에 저장된 통지 프로그램.
  6. 회계기가 상품의 코드를 읽어들임으로써 생성된 상품 정보를 취득하고,
    취득한 상기 상품 정보에 기초하여, 상품의 구입수를 나타내는 제1 횟수를 계수하고,
    상기 회계기에 인접하는 소정의 에어리어에 배치된 바구니를 촬영한 화상을 취득하고,
    상기 바구니에 수용된 상품을 취출하는 행동의 횟수를 나타내는 제2 횟수를 계수하고,
    상기 제1 횟수와, 상기 제2 횟수를 기초로 하여, 얼러트를 통지하는
    처리를 컴퓨터가 실행하는 것을 특징으로 하는 통지 방법.
  7. 회계기가 상품의 코드를 읽어들임으로써 생성된 상품 정보를 취득하는 취득부와,
    취득한 상기 상품 정보에 기초하여, 상품의 구입수를 나타내는 제1 횟수를 계수하고, 상기 회계기에 인접하는 소정의 에어리어에 배치된 바구니를 촬영한 화상을 취득하고, 상기 바구니에 수용된 상품을 취출하는 행동의 횟수를 나타내는 제2 횟수를 계수하는 계수부와,
    상기 제1 횟수와, 상기 제2 횟수를 기초로 하여, 얼러트를 통지하는 판정부
    를 갖는 것을 특징으로 하는 정보 처리 장치.
KR1020220119192A 2021-09-30 2022-09-21 컴퓨터 판독 가능한 기억 매체에 저장된 통지 프로그램, 통지 방법 및 정보 처리 장치 KR20230046978A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021160827A JP2023050632A (ja) 2021-09-30 2021-09-30 通知プログラム、通知方法および情報処理装置
JPJP-P-2021-160827 2021-09-30

Publications (1)

Publication Number Publication Date
KR20230046978A true KR20230046978A (ko) 2023-04-06

Family

ID=83151625

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220119192A KR20230046978A (ko) 2021-09-30 2022-09-21 컴퓨터 판독 가능한 기억 매체에 저장된 통지 프로그램, 통지 방법 및 정보 처리 장치

Country Status (4)

Country Link
US (1) US20230097352A1 (ko)
EP (1) EP4160560A1 (ko)
JP (1) JP2023050632A (ko)
KR (1) KR20230046978A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020053019A (ja) 2018-07-16 2020-04-02 アクセル ロボティクス コーポレーションＡｃｃｅｌ Ｒｏｂｏｔｉｃｓ Ｃｏｒｐ． 自律店舗追跡システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7631808B2 (en) * 2004-06-21 2009-12-15 Stoplift, Inc. Method and apparatus for detecting suspicious activity using video analysis
US11482082B2 (en) * 2016-09-18 2022-10-25 Ncr Corporation Non-scan loss verification at self-checkout terminal
US11244548B2 (en) * 2020-03-03 2022-02-08 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for anti-shoplifting in self-checkout

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020053019A (ja) 2018-07-16 2020-04-02 アクセル ロボティクス コーポレーションＡｃｃｅｌ Ｒｏｂｏｔｉｃｓ Ｃｏｒｐ． 自律店舗追跡システム

Also Published As

Publication number Publication date
US20230097352A1 (en) 2023-03-30
EP4160560A1 (en) 2023-04-05
JP2023050632A (ja) 2023-04-11

Similar Documents

Publication Publication Date Title
JP6172380B2 (ja) Ｐｏｓ端末装置、ｐｏｓシステム、商品認識方法及びプログラム
US8320624B2 (en) Customer behavior collection method and customer behavior collection apparatus
CN115244560A (zh) 自助结账中的防入店行窃系统和方法
TW201913501A (zh) 店鋪裝置、店鋪管理方法及程式
JP2015141572A (ja) 商品情報提供方法、商品情報提供装置および商品情報提供プログラム
JP2004171240A (ja) 不正監視システムおよびプログラム
US10372998B2 (en) Object recognition for bottom of basket detection
KR20230060452A (ko) 행동 판정 프로그램, 행동 판정 방법 및 행동 판정 장치
WO2020170854A1 (ja) セルフｐｏｓシステム、セルフｐｏｓ端末装置、制御方法及び制御プログラムを格納した非一時的なコンピュータ可読媒体
CN114529850A (zh) 自助收银的风险识别方法、装置及系统
US20240193995A1 (en) Non-transitory computer-readable recording medium, information processing method, and information processing apparatus
JP7318753B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
KR20230046978A (ko) 컴퓨터 판독 가능한 기억 매체에 저장된 통지 프로그램, 통지 방법 및 정보 처리 장치
KR20230046944A (ko) 기록 매체, 통지 방법 및 정보 처리 장치
JP2022171693A (ja) 情報処理システム、情報処理方法、および情報処理プログラム
US20230102033A1 (en) Payment processing system, payment processing method, and recording medium
JP2022036983A (ja) セルフレジシステム、購入商品管理方法および購入商品管理プログラム
EP4113458A1 (en) Information processing program, information processing method, and information processing apparatus
EP4160550A1 (en) Information processing program, information processing method, and information processing device
EP4383171A1 (en) Information processing program, information processing method, and information processing apparatus
EP4390872A1 (en) Information processing program, information processing method, and information processing device
US20230093938A1 (en) Non-transitory computer-readable recording medium, information processing method, and information processing apparatus
KR20240085840A (ko) 정보 처리 프로그램, 정보 처리 방법 및 정보 처리 장치
JP2023131310A (ja) 店舗支援システム、店舗支援方法、及び店舗支援プログラム
JP2018136865A (ja) 読取り装置、方法、及びｐｏｓシステム