KR20210115033A - 셀프 계산 소매점 환경에서 이상 검출을 위한 장치 및 방법 - Google Patents

셀프 계산 소매점 환경에서 이상 검출을 위한 장치 및 방법 Download PDF

Info

Publication number
KR20210115033A
KR20210115033A KR1020217026537A KR20217026537A KR20210115033A KR 20210115033 A KR20210115033 A KR 20210115033A KR 1020217026537 A KR1020217026537 A KR 1020217026537A KR 20217026537 A KR20217026537 A KR 20217026537A KR 20210115033 A KR20210115033 A KR 20210115033A
Authority
KR
South Korea
Prior art keywords
self
model
activity
anomaly detection
features
Prior art date
Application number
KR1020217026537A
Other languages
English (en)
Inventor
페트루 데이비드 시프리안
페스카루 단 알렉산드루
바실 귀
코스민 세르나자누-글라반
안드레이 프리코치
오비드 파르부
보그단 시우보타루
개빈 도일
Original Assignee
에버씬 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에버씬 리미티드 filed Critical 에버씬 리미티드
Publication of KR20210115033A publication Critical patent/KR20210115033A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06K9/00771—
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F9/00—Shop, bar, bank or like counters
    • A47F9/02—Paying counters
    • A47F9/04—Check-out counters, e.g. for self-service stores
    • A47F9/046—Arrangement of recording means in or on check-out counters
    • A47F9/047—Arrangement of recording means in or on check-out counters for recording self-service articles without cashier or assistant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G06K9/628—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4012—Verifying personal identification numbers [PIN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4016—Transaction verification involving fraud or risk level assessment in transaction processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • G07F17/3241—Security aspects of a gaming system, e.g. detecting cheating, device integrity, surveillance
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F19/00—Complete banking systems; Coded card-freed arrangements adapted for dispensing or receiving monies or the like and posting such transactions to existing accounts, e.g. automatic teller machines
    • G07F19/20—Automatic teller machines [ATMs]
    • G07F19/207—Surveillance aspects at ATMs
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0009—Details of the software in the checkout register, electronic cash register [ECR] or point of sale terminal [POS]
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G3/00—Alarm indicators, e.g. bells
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19604—Image analysis to detect motion of the intruder, e.g. by frame subtraction involving reference image or background adaptation with time to compensate for changing conditions, e.g. reference image update on detection of light level change
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

셀프 계산 환경의 이상 검출을 위한 시스템으로서, 셀프 계산 단말기로부터 거래 데이터를 수신하기 위한 프로세싱 유닛: 수신된 거래 데이터로부터 추출된 특징 세트에 기초하여 활동을 특성화하며, 각각의 특성화된 활동에 대해 복수의 활성 간격을 정의하고, 복수의 활성 간격 중 정의된 각각의 활성 간격에 대해 메타-특징 벡터를 결정하고, 각각의 메타-특징 벡터를 미리 정의된 벡터 세트와 비교하며, 비교에 기초하여 이상을 결정하는 것을 특징으로 하는 프로세싱 유닛을 포함한다.

Description

셀프 계산 소매점 환경에서 이상 검출을 위한 장치 및 방법
본 발명은 셀프 계산 소매점 환경에서 이상(anomaly) 검출을 위한 장치 및 방법에 관한 것이다.
소매점 환경에서 점점 더 셀프 계산 및 자동화 프로세스가 주류가 되고 있다. 그러나, 이는 셀프 계산(self-checkouts, SCOs)을 기반으로 하는 소매 환경이 전형적으로 다양한 이유로 고객의 흐름을 감소시키기 때문에 불리하다. 소비자나 고객은 전형적으로 셀프 계산 메커니즘에 대해 교육을 받지 않으며, 많은 경우 이러한 기술에 익숙하지 않다. 소비자의 지식 부족과 경험 부족으로 인하여 상품 결제 및 결제 프로세스가 느려질 수 있다. 예를 들어, 고객은 스캐닝 프로세스를 잘못 실행하거나, 소매점 직원이 기계를 재설정하거나 거래에 대한 승인을 제공할 때까지 대기하여야 하거나, 실제로 단순하게는 고객이 관련 바코드를 스캔하는데 어려움을 겪을 수도 있다. 눈에 띄게, 거래를 피하려는 의도적인 시도도 발생한다. 거래 무효화를 기다리는 시간의 손실, 교정이 필요한 저울 스케일(weighing scales), 및 추가적인 비이상적인 시나리오로 인해 중단이 발생한다. 이러한 비이상적인 시나리오에는 스캔 없음, 과다한 요금 부가, 무효 거래 등을 포함한다.
상술한 것과 같은 고객 흐름 중단은, 예를 들어, 최대 활동 기간을 고려하면 수익성과 회전율에 영향을 미칠 수 있다. 흐름 중단은 고객 처리량을 지연시킬 수 있고, 백로그(backlog)를 유발할 수 있으며, 및/또는 충동 구매를 했을 수도 있는 고객에게 방해가 될 수도 있다. 차례로, 이는 회전율에 영향을 미치고 셀프 계산 시스템의 효율성을 감소시킨다. 소매점은 이전에 안내원/운영자를 통해 SCO를 사람이 모니터링하여 문제를 제어하려는 시도를 했다. 안내원은 일반적으로 모니터링 요소와 결정/조치 요소의 두 부분의 작업을 가진다. 모니터링 요소는 안내원이 SCO의 모든 변칙(irregularity)과 막힘을 관찰하는 것을 요구하는 경우이고, 조치 요소는 안내원이 문제를 수정하려고 시도하는 변칙을 관찰하는 경우이다. 이는 또한 흐름의 변칙을 유발할 수 있다. 안내원은 전형적으로 기기를 재설정하고 제품이 스캔되지 않았다는 사실을 무시하는 경향이 있다. 이는 소매점 소유자에게 손실이며, 남용될 수 있다. 변칙은 구매 프로세스의 예상된 패턴을 따르지 않는 모든 활동으로 정의된다. 구매 프로세스는 특정 영역에서 물건을 줍기, 특정 영역에서 물건을 떨어뜨리기, 스캐너를 통해 물건을 통과시키기, 버튼이나 일부 터치 스크린 영역을 누르기, 제품을 자루에 담기, 빈 카트를 밀기 등의 일련의 행동에 의해 형성된다.
따라서, 고객 흐름을 최적화하기 위해 자동화된 장치 및 방법을 구현하는 것이 요구된다.
전술한 개념의 모든 조합 및 이하에서 더 상세히 논의되는 추가 개념의 모든 조합이 (이러한 개념이 상호 모순되지 않는 한) 본 명세서에 개시된 발명의 주제의 일부인 것으로 고려된다는 것을 이해해야 한다. 특히, 본 개시의 말미에 나타나는 청구 대상의 모든 조합은 본 명세서에 개시된 독창적인 주제의 일부인 것으로 고려된다. 또한, 참조에 의해 통합된 임의의 개시에도 나타날 수 있는 본 명세서에서 명시적으로 사용된 용어는 본 명세서에 개시된 특정 개념과 일치하는 의미가 부여되어야 함을 이해해야 한다.
일 양태에서, 본 발명은 셀프 계산 환경의 이상 검출을 위한 시스템으로서, 셀프 계산 단말기로부터 수신된 거래 데이터로부터의 특징의 세트를 추출하기 위한 프로세싱 유닛을 포함하고, 이는 특징의 세트에 기초하여 활동을 특성화하며, 특성화된 활동 각각에 대해 복수의 활성 간격을 정의하고, 복수의 활성 간격 중 정의된 각각의 활성 간격에 대해 메타 특징 벡터를 결정하고, 각각의 메타 특징 벡터를 미리 정의된 벡터 세트와 비교하며, 비교에 기초하여 이상을 검출하는 것을 특징으로 하는 셀프 계산 환경의 이상 검출을 위한 시스템을 제공한다.
활동을 특성화하는 것은, 수신된 데이터로부터 특징의 세트를 추출하고, 특징의 세트를 대응하는 특징 활성화 값의 세트로 변환하고, 시간 간격에 대한 활성화 값의 세트의 전개를 결정하는 것을 포함할 수 있고, 상기 활동 Activity μ 은,
Figure pct00001
에 따라 정의되고, 여기서,
Figure pct00002
는 활동을 검출하는데 고려되는 프레임의 개수이고,
Figure pct00003
는 추출된 특징 세트 값이고, featureSet μ 는 Activity μ 을 설명하는 특징의 세트이며, [
Figure pct00004
,
Figure pct00005
]는 초기 프레임 N 1 의 시간과 마지막 프레임 N 2 의 시간 사이의 시간 간격에서 추출된 연속 프레임의 세트를 나타낸다.
프로세서는 활동을 정의하는 프레임의 개수
Figure pct00006
를 추정하도록 더 구성될 수 있다. 추정은 활성화 함수
Figure pct00007
를 정의하고, 시간 도메인을 상기 함수에 기초하여 활성 간격들로 분할하는 것을 포함할 수 있으며, 여기서
Figure pct00008
는
Figure pct00009
로 특성화되며, Ri는 각 특징 fi에 대해 사용자가 정의한 규칙의 세트를 나타내며, 주어진 프레임 n에 대해 Ri 가 참일 때 fi(n)는 활성화된다.
모든 K개의 활동에 대한 각 활성 간격은,
Figure pct00010
로 정의될 수 있다.
프로세서는 인접한 활성 간격들 사이의 비활성 간격을 결정하도록 더 구성될 수 있다.
프로세서는 상기 비활성 간격을 임계값과 비교하고, 상기 인접한 활성 간격과 비활성 간격을 병합된 활성 간격으로 결합하는 것을 포함하도록 더 구성될 수 있다.
메타 특징 벡터를 결정하는 것은, 활성 간격의 각 특징
Figure pct00011
에 대한 복수의 통계적 측정치를 계산하고, 각 활성 간격에 대한 메타 특징 벡터를 형성하기 위해 상기 특징들을 결합하는 것을 포함할 수 있다.
통계적 측정치는 통계적 모멘트 및/또는 정렬된 통계를 포함할 수 있다.
프로세서는 결정된 메타 특징 벡터와 제1 분류 시스템 모델 사이의 제1 비교를 수행하고, 상기 비교에 기초하여 경고를 생성하도록 더 구성될 수 있다.
프로세서는 결정된 메타 특징 벡터와 제2 시스템 모델 사이의 제2 분류 비교를 수행하도록 구성될 수 있다.
프로세서는 제1 및 제2 비교에 기초하여 제1 시스템 모델과 제2 시스템 모델의 성능을 비교하고, 제2 시스템 모델의 성능이 제1 시스템 모델의 성능을 능가하면, 제1 시스템 모델을 제2 시스템 모델로 교체하도록 구성될 수 있다.
시스템은 제1 시스템 모델을 백업 모델로 저장하기 위한 메모리를 더 포함할 수 있다.
프로세서는 경고에 관한 피드백을 수신하고, 피드백에 기초하여 제2 시스템 모델을 업데이트하도록 구성될 수 있다.
프로세서는 제1 시스템 모델의 성능을 상기 백업 모델의 성능과 비교하고, 백업 모델이 제1 시스템 모델을 능가하면 제1 시스템 모델을 백업 모델로 교체하도록 구성될 수 있다.
시스템은 경고를 보고하기 위한 복수의 보고 디바이스를 더 포함할 수 있다. 보고 디바이스는 모바일 컴퓨팅 디바이스, 스마트 워치, 스마트 안경, 개인 컴퓨터, 네트워크된 서버, 시각 디스플레이 유닛, 및 오디오 출력 디바이스를 포함하는 목록으로부터 선택될 수 있다. 시스템은 POS 디바이스를 더 포함할 수도 있다.
시스템은 셀프 계산 단말기로부터 거래 데이터를 감지하기 위한 복수의 센서를 더 포함할 수 있다.
본 발명의 다른 실시예는 셀프 계산 환경에서 이상 검출을 위한 방법으로서, 셀프 계산 단말기로부터 수신된 거래 데이터로부터 특징의 세트를 추출하는 단계, 특징의 세트에 기초하여 활동을 특성화하는 단계, 각각의 특성화된 활동에 대해 복수의 활성 간격을 정의하는 단계, 복수의 활성 간격 중 정의된 각각의 활성 간격에 대해 메타 특징 벡터를 결정하는 단계, 각각의 메타 특징 벡터를 미리 정의된 벡터 세트와 비교하는 단계, 및 비교에 기초하여 이상을 검출하는 단계를 포함하는, 셀프 계산 환경에서 이상 검출을 위한 방법을 포함한다.
본 방법은, 수신된 데이터로부터 특징의 세트를 추출하는 단계, 특징의 세트를 대응하는 특징 활성화 값의 세트로 변환하는 단계, 및 시간 간격에 대한 활성화 값의 세트의 전개를 결정하는 단계, 및 상기 활동 Activity μ 을
Figure pct00012
에 따라 정의하는 단계를 더 포함할 수 있으며, 여기서, K는 시스템 지식 기반에 기록된 총 활동의 개수를 나타내며, featureSet μ 는 Activity μ 을 설명하는 특징의 세트이며,
Figure pct00013
는 활동을 검출하는데 고려되는 프레임의 개수이고,
Figure pct00014
는 추출된 특징 세트 값이고, [
Figure pct00015
,
Figure pct00016
]는 초기 프레임 N 1 의 시간과 마지막 프레임 N 2 의 시간 사이의 시간 간격에서 추출된 연속 프레임의 세트를 나타낸다.
본 방법은, 활동을 정의하는 프레임의 개수
Figure pct00017
를 추정하는 단계를 더 포함하며, 상기 추정은 활성화 함수
Figure pct00018
를 정의하고, 시간 도메인을 상기 함수에 기초하여 활성 간격들로 분할하는 것을 포함하며,
Figure pct00019
는
Figure pct00020
로 특성화되며, 여기서, Ri는 각 특징 fi에 대해 사용자가 정의한 규칙의 세트를 나타내며, Ri 가 참일 때 fi(n)는 활성화된다.
모든 K개의 활동에 대한 각 활성 간격은,
Figure pct00021
로 정의된다.
본 방법은 인접한 활성 간격들 사이의 비활성 간격을 결정하는 단계를 더 포함할 수 있다.
본 방법은 상기 비활성 간격을 임계값과 비교하는 단계, 및 상기 인접한 활성 간격과 비활성 간격을 병합된 활성 간격으로 결합하는 단계를 더 포함할 수 있다.
본 방법의 메타 특징 벡터를 결정하는 단계는, 활성 간격의 각 특징
Figure pct00022
에 대한 복수의 통계적 측정치를 계산하는 단계, 및 각 활성 간격에 대한 메타 특징 벡터를 형성하기 위해 상기 특징들을 결합하는 단계를 더 포함할 수 있다.
통계적 측정치는 통계적 모멘트 및/또는 정렬된 통계를 포함할 수 있다.
본 방법은 결정된 메타 특징 벡터와 제1 분류 시스템 모델 사이의 제1 비교를 수행하는 단계, 비교에 기초하여 경고를 생성하는 단계를 더 포함할 수 있다.
본 방법은 결정된 메타 특징 벡터와 제2 시스템 모델 사이의 제2 분류 비교를 수행하는 단계를 포함할 수 있다.
본 방법은 제1 및 제2 비교에 기초하여 제1 시스템 모델과 제2 시스템 모델의 성능을 비교하여, 제2 시스템 모델의 성능이 제1 시스템 모델의 성능을 능가하면, 제1 시스템 모델을 제2 시스템 모델로 교체하는 단계를 포함할 수 있다.
본 방법은 제1 시스템 모델을 백업 모델로 저장하는 단계를 더 포함할 수 있다.
본 방법은 경고에 관한 피드백을 수신하는 단계, 및 피드백에 기초하여 제2 시스템 모델을 업데이트하는 단계를 더 포함할 수 있다.
본 방법은 제1 시스템 모델의 성능을 상기 백업 모델의 성능과 비교하는 단계, 및 백업 모델이 제1 시스템 모델을 능가하면 제1 시스템 모델을 상기 백업 모델로 교체하는 단계를 더 포함할 수 있다.
컴퓨터 프로그램이, 기록 매체, 캐리어 신호, 또는 읽기 전용 메모리 상에서 구현될 수 있는 상기 방법을 수행하도록 하는 프로그램 명령이 포함된 컴퓨터 프로그램이 또한 제공된다.
본 발명의 실시예는 이하의 첨부 도면을 참조하여 단지 예시로서 설명될 것이다.
도 1은 본 발명의 일 실시예에 따른 셀프 계산 환경을 도시한다.
도 2는 본 발명의 일 실시예에 따른 프로세싱 유닛의 예시를 도시하는 흐름도이다.
도 3은 경보에 응답하여 안내원 결정 프로세스의 예시를 도시하는 흐름도이다.
도 4a 및 도 4b는 본 발명에 따른 활성 간격(Active Intervals)의 도면을 제공한다.
도 5는 본 발명에 따른 메타-특징 벡터이다.
도 6은 본 발명의 일 실시예에 따른 분류 및 보고 모델을 도시한다.
본 발명의 일 실시예에 따르면, 셀프 계산 환경(100), 프로세싱 유닛(102), 및 보고 메커니즘(103)이 제공된다. 보고 메커니즘은 복수의 보고 디바이스를 포함한다.
셀프 계산 환경은 POS 디바이스(point of sale device) 또는 셀프 계산 기계 및 센서 네트워크(101)를 포함한다. 센서 네트워크는 복수의 센서를 포함한다. 센서는 카메라(들), 오디오 센서(들), 3D 센서(들) 등을 포함할 수 있다. 이러한 센서는 바코드, QR 코드, 거래와 관련된 오디오, 비디오 또는 정지 이미지 등과 같은 소매 거래와 관련된 정보를 추출할 수 있는 모든 센서를 포함할 수 있다. 거래 동안, 거래 데이터는 센서 네트워크(101)에서 추출되고 프로세싱 유닛(102)에 제공된다. 거래 데이터는 바코드, QR 코드, 거래 중 녹음된 오디오, 거래 동영상, 및 정지 이미지와 같은 거래 데이터를 포함한다. 거래 데이터는 거래와 관련된 데이터이다.
프로세싱 유닛(102)은 소매 환경에 위치될 수 있거나, 또는 예를 들어 중앙 허브에서 소매점 환경으로부터 원격일 수 있다. 중앙 허브는 복수의 소매 환경에 네트워크로 연결될 수 있다. 예를 들어, 중앙 허브는 복수의 소매 사이트, 체인 소매점 등으로부터의 데이터 처리를 담당할 수 있다. 프로세싱 유닛은 센서 네트워크로부터의 데이터를 처리한다. 처리 경고 또는 정보 메시지에 응답하여 복수의 보고 디바이스(103)에 보고될 수 있다. 이러한 보고 디바이스는, 기계, 원격 유닛, 개인용 컴퓨팅 디바이스, 무선 통신 디바이스, 스마트 워치, 스마트 안경, 무선 호출기(pager)와 같은 컴퓨팅 단말과 같은 온라인 보고 디바이스를 포함할 수 있다. 보고 디바이스는 데이터베이스 서버, 클라우드 서버 등을 비롯한 여러 오프라인 보고 디바이스를 포함할 수 있다. 온라인 및 오프라인 보고 디바이스는 모두 보안 네트워크를 통해 연결된다. 이러한 정보 메시지는 이러한 디바이스 중 하나 이상, 예를 들어, 운영자(104) 및/또는 감독자 또는 경영진에게 제공될 수 있다. 또한, 예를 들어 검출된 이상에 대해 고객에게 경고하기 위해 고객에게 보고될 수 있다. 이상을 수정하기 위해 고객에게 지시가 제공될 수 있음이 이해될 것이다. 보고 메시지는 오디오 출력을 사용하여 미리 녹음된 표준 문구 및/또는 예를 들어 SCO 디스플레이에 작성된 메시지일 수 있다. 이러한 유형의 고객 보고는 운영자의 필요성을 최소화하고 유동을 유지한다. 그러나, 사기성 상황에서는 유용성이 제한된다. 대안적으로, 사고가 감지되고 운영자 개입이 필요할 때 운영자 경고를 사용하여 상술한 요약된 정보가 포함된 메시지를 발행할 수 있다.
도 2의 프로세싱 유닛은 분석 유닛(201) 및 결정 유닛(204)을 포함한다. 별개의 유닛으로 도시되어 있지만, 이들 유닛은 단일 유닛으로 결합될 수 있다는 것이 이해될 것이다. 센서 네트워크는 소매 거래를 특성화하는데 사용될 수 있는 데이터를 추출한다. 이렇게 추출된 데이터는 거래 데이터이며, POS 환경(101)에 설치된 센서에 의해 수집된다. 이러한 거래 데이터는 바코드, QR 코드, 거래 중 녹음된 오디오, 거래 동영상, 및 정지 이미지와 같은 데이터를 포함한다. 데이터를 분석함으로써 소매 프로세스의 단계가 인식될 수 있다. 단계에는, 예를 들어 제품 선택, 제품 스캔, 또는 제품 포장을 포함한다. 이러한 데이터는 데이터를 처리하는 분석 유닛(201)으로 전달된다. 데이터의 처리는 데이터에서 메타 특징을 추출하는 데 사용된다. 그런 다음, 이러한 정보는 결정 유닛으로 전달된다. 결정 유닛은 데이터에 변칙이 있는지 여부를 결정한다. 변칙에 대한 결정이 내려지면, 관련 보고 디바이스에 경고 또는 정보 메시지가 전송된다. 관련 보고 디바이스는 미리 선택될 수 있으며, 각 소매 환경에 대해 개별적으로 구성될 수 있다. 정보 메시지는 단순히 변칙에 대한 경고일 수 있다. 또한, 검출을 용이하게 하기 위해 변칙 유형에 대한 정보가 제공될 수도 있다.
상술한 바와 같이, 정보 메시지는 온라인 및 오프라인 디바이스의 네트워크를 통해 제공된다. 온라인 및 오프라인 디바이스와의 통신은 선택적으로 하나 또는 모든 디바이스와 양방향일 수 있음이 이해될 것이다. 양방향 디바이스는 수신된 정보 메시지에 관한 피드백을 제공하기 위해 운영자에 의해 사용될 수 있다. 피드백은 경고의 확인/거부를 포함할 수 있다. 피드백은 보고 디바이스에 의해 결정 유닛(204)으로 전송된다. 피드백은 알고리즘을 조정하는데 사용된다. 이러한 적응형 알고리즘은 정확도, 가긍정적 판단(false positives)에 대한 강인성(robustness) 및 검출 속도를 향상시킨다. 예를 들어, 피드백은 경고가 발생했지만 안내원의 평가에서 가긍정적 판단이라고 표시된 경우 발생한다. 모델의 적응형 구성 요소가 업데이트될 수 있도록 관련 시스템 데이터가 입력된다.
안내원 또는 운영자는 시키지도 않은 피드백을 제공할 수 있음이 이해될 것이다. 예를 들어, 경고나 메시지가 제공되지 않았지만, 운영자가 변칙을 검출한 경우 피드백이 제공될 수 있다. 이러한 정보는 문제의 새로운 경고 또는 인스턴스를 생성하는데 사용될 수 있다. 소요 시간, 취한 조치, 및 흐름에 대한 영향을 포함하여 소매 흐름에 대한 안내원의 개입에 대한 피드백도 또한 제공될 수 있다.
예를 들어, 도 3의 단계 301에서 셀프 계산을 모니터링하는 안내원은 경고를 기다릴 것이다. 안내원은 검출된 변칙에 대한 경고 및 선택적으로 관련 데이터를 수신할 것이다(302). 경고 및 정보에 기초하여, 안내원은 경고를 평가하고, 사건이 발생하였는지 여부에 대하여 결정을 한다(306). 사건이 검출되면, 안내원은 고객과 관련하여 적절한 조치를 취하고 관련 피드백을 제공한다(308). 사건이 없다면, 안내원은 그들의 결정의 기초가 된 추론에 대한 객관적인 평가를 포함하는 피드백을 제공한다(310).
이번에는 고객을 대상으로 하는 보고에 관한 또 다른 예시로, 오디오 출력 및/또는 SCO 디스플레이 상에 작성된 메시지를 사용하여 일부 사전 녹음된 표준 문구를 제공하는 것을 포함한다. 이러한 메시지는 고객에게 소매 프로세스를 안내한다(예를 들어, "제품을 다시 스캔하시오"). 이러한 유형의 보고는 운영자의 필요성을 최소화하고 흐름을 유지한다.
도 3과 관련하여 설명된 방법은 운영자 및 보조의 결정 및 동작 구성 요소를 대체하고 보조하는 것을 목표로 한다.
메타-특징의 추출은 셀프 계산의 흐름에 의심스러운 이벤트 또는 변칙이 있는지 여부를 결정하기 위한 기초를 제공한다. 상술한 피드백은 새로운 인스턴스와 변칙의 경우를 포함하도록 결정 모델을 구성하고 조정하는데 사용되며, 정확도를 높이는 데 사용될 수 있다.
변칙 또는 이상 검출 메커니즘에 관한 추가 세부사항은 이하에서 설명한다.
도 1과 관련하여 개략적으로 설명된 바와 같이, 정보 또는 거래 데이터는 복수의 센서로부터 획득된다. 이러한 정보는, 예를 들어 소매 및 셀프 계산 프로세스와 연관된 이미지 스트림을 제공하는 비디오 데이터를 포함할 수 있다. 이하에 설명된 방법은 비디오 데이터를 기술하나, 임의의 데이터가 사용될 수 있다. 각 비디오 프레임(n)에 대해 센서 네트워크의 하나 이상의 센서의 출력이 샘플링되어 이산 시간 n의 거래 데이터로부터 특징
Figure pct00023
의 세트를 추출한다. 센서 네트워크는 복수의 활동을 동시에 모니터링한다는 것이 이해될 것이다. 예를 들어, 특징에는 비디오 프레임의 전경 픽셀 백분율, 비디오 프레임의 특정 영역에 있는 모션 벡터의 개수, 방향 또는 비디오 프레임의 관심 영역에 존재하는 키 포인트의 개수를 포함할 수 있다. 메타-특징은 통계 기능, 예를 들어, 통계적 모멘트(평균, 분산, 왜도(skew), 등), 또는 정렬된 통계치(최소, 최대, 중앙값, 사분위수(quartile), 절사 평균(trimmed mean), 절대 편차의 중앙값 등)를 특징에 적용하여, 시간 간격에 따른 특징 변화에 기초하여 획득된다. Y 특징을 가지면, N * Y 개의 통계 측정값이 계산될 것이며, 메타-특징 벡터로 인코딩된다. 각 Activity μ 는 featureSet μ 의 사전 정의된 서브 세트와 이러한 서브 세트에 대응하는 메타 특징 값의 집합으로 특징지어진다. 따라서, 특정 활동이 발생하거나 진행 중일 때, 특징의 대응하는 서브 세트는 활성화 특징의 0이 아닌 값에 기초하여 센서 네트워크에 의해 활성화된 것으로 검출될 것이다. 다른 활동은 상이한 특징의 서브세트에 대응할 것이다. 선택된 실제 특징 서브세트는 검출된 활동에 의존한다. 따라서, 활동은 일련의 특징에 기초하여 특성화된다. 이러한 특징은 어플리케이션과 관련된 특정 작업을 해결하기 위한 것과 관련된 정보로 표시된다. 그들은 수동 또는 자동으로 선택될 수 있다. 자동 선택은 신경망 또는 기타 기계 네트워크 기술을 사용하여 구현될 수 있다. 따라서, 특징은 하나의 변수 또는 변수 그룹의 값으로 표시된다. 본원에서, 특징(예를 들어, 피부 검출, 모션 검출, 모션 검출 패턴, 전경/배경 검출, 신체 일부 검출 등)은 비디오로부터 추출될 수 있으며, 다른 특징(예를 들어, 센서 관련 사운드 검출, 정지 정보 등)은 센서에 의해 생성될 수 있다. 이러한 특징은 계산 노력의 관점에서 다양한 복잡성 수준을 가질 수 있다. 낮은 레벨의 특징은 센서에서 직접 추출한 특징이거나 간단한 컴퓨터 비전 알고리즘으로 획득한 특징으로 표시된다(일반적으로 이러한 간단한 특징은 픽셀 수준으로 획득됨). 낮은 레벨의 특징의 예시 : 검출된 에지, 검출된 선, 검출된 피부 픽셀, 주요 색상, 특정 사운드의 존재, 스캔의 타임 스탬프, 스캔 기계로부터 추출한 신호 등. 특정 알고리즘을 적용하여 낮은 레벨의 특징들을 결합함으로써 높은 레벨의 특징이 획득될 수 있다. 특정 관심 영역(Region of Interest, ROI)에서 추출된 특징의 예시:
- 손의 존재/부존재
- 전경 픽셀의 비율
- 지정된 임계값을 초과하는 지정된 방향에 대한 투영을 가지는 모션 벡터의 백분율
- 지정된 각도 범위 내에서 지배적인 모션 벡터 방향
[
Figure pct00024
,
Figure pct00025
] 로 표시된 2개의 후속 프레임
Figure pct00026
과
Figure pct00027
사이의 시간 간격에서 발생하는 활동은 아래와 같이 특징 세트
Figure pct00028
의 전개로 특징지어질 수 있다:
Figure pct00029
여기서, K는 시스템 지식 기반에 기록된 총 활동의 개수, featureSet μ 는 Activity μ 을 설명하는 특징의 세트,
Figure pct00030
는 활동을 검출하는데 고려되는 프레임의 개수,
Figure pct00031
는 추출된 특징 세트 값, [
Figure pct00032
,
Figure pct00033
]는 초기 프레임 N 1 의 시간과 마지막 프레임 N 2 의 시간 사이의 시간 간격에서 추출된 연속 프레임의 세트를 나타낸다. 프레임 번호 N 1 및 N 2 는 각 활동에 대해 고유하다. 따라서, 메타 특징 벡터 계산을 수행하기 전에 모델에 저장된 각 활동에 대해 활성 구간(active interval) [N 1 , N 2 ]은 반복적으로 결정되어야 한다. 활성 구간 검출 방식에 기초하여 결정될 수 있다. 실제로, 이러한 간격은 활동에 의해 결정된 특징의 특정 서브 세트에 의존한다.
각각의 특징을 정의하는 것으로 추정되는 프레임의 개수는 다양하다는 것이 이해될 것이며, 즉,
Figure pct00034
는 가변적이며, 일정한 상수가 아니다.
Figure pct00035
는 사람마다 다를 것이며, 실제로 하나의 활동을 반복하는 한 사람에 대해서 다를 수 있다. 한 사람이 하는 각 제품의 스캔은 여러 제품을 확인하는 과정에서 다양할 수 있다. 상수
Figure pct00036
를 사용하는 슬라이딩 윈도우(sliding window) 접근 방식은 윈도우 크기가 거래에 최적화되어 있지 않기 때문에 많은 에러를 생성한다. 차선(suboptimal)의 윈도우 크기는 활동 검출에서 에러를 일으킨다.
윈도우 크기를 최적화하여 검출 메커니즘의 효율성을 개선하기 위해 아래가 제안된다:
(i) 최적의 윈도우 크기 추정
(ii) 윈도우 크기와 관련하여 정규화된 시간 도메인 특징 정의
Figure pct00037
추정
활동을 특성화하기 위해 추출된 특징 세트
Figure pct00038
를 다시 고려한다:
모든 특징 세트
Figure pct00039
에 대해 활성화 함수가 정의된다.
(i)
Figure pct00040
여기서, Ri 는 각 특징 fi에 대해 사용자가 정의한 규칙의 세트를 나타내며, Ri 가 참일 때 fi(n)는 활성화된다.
예를 들어, 사용자가 정의한 규칙은 아래와 같을 수 있다:
(i)
Figure pct00041
(ii)
Figure pct00042
(iii)
Figure pct00043
수식 (i) 내지 (iii)을 고려하여 "
Figure pct00044
,
Figure pct00045
,
Figure pct00046
"는 특성에 대한 한계를 정의한다. 특징
Figure pct00047
이 0과 1 사이의 값을 취하도록 정규화되었다고 가정하면, value = 0.5는
Figure pct00048
이 최대 범위의 절반보다 낮은 값을 취할 때만 특징
Figure pct00049
을 활성화하는 규칙을 생성한다. 수식 (ii)는
Figure pct00050
및
Figure pct00051
사이의 값을 가질 때만 특징을 활성화한다.
Figure pct00052
및
Figure pct00053
와 같은 제한은 표준 기계 학습 방법을 사용하거나 시행 착오를 통해 설계 프로세스에서 설정된다.
각 특징
Figure pct00054
에 대해, 활성화 함수
Figure pct00055
는 시간 도메인을 활성 간격들로 분할하는데 사용된다(A 함수는 간격 동안 1의 값을 가짐). 모든 K 활동에 대한 각 활성 간격은 다음과 같이 정의될 수 있다.
(i)
Figure pct00056
도 4a에 예시로 나타낸 바와 같이, 특징 1, 특징 2, 특징 3, 및 특징 4의 4가지 특징들이 고려된다. 도 4a는 함수
Figure pct00057
의 전개를 나타내는 각 트랙을 가지는 4개의 특징 트랙을 도시한다. 4개의 활성 간격(401, 402, 403, 404)이 도시되어 있다. 갭, 즉 인접한 활성 간격(405, 406, 407) 사이의 비활성 간격도 또한 도시된다. 이러한 간격은 시스템의 노이즈로 인해 발생한다.
제1 활성 간격(401)의 특징 1에 대해, 특징 1이 1회 검출된다. 제2 활성 간격(402)에서, 특징 2는 더 짧은 기간 동안 검출된다. 특징 1은 제3 활성 간격(403) 또는 제4 활성 간격(404)에서 검출되지 않는다.
특징 2는 제1 활성 간격(401)에서 한번 검출되고, 제3 활성 간격(403)에서 다시 검출된다. 특징 2는 제2 활성 간격(402) 또는 제4 활성 간격(404)에서 검출되지 않는다.
특징 3은 제1 활성 간격(402), 제2 활성 간격(402), 및 제4 활성 간격(404)에서 검출되고, 제3 간격(403)에서는 검출되지 않는다.
특징 4에 대한 특징 트랙을 고려하면, 2개의 활성 간격이 있다. 제1 활성 간격(401)에서 특징 4는 두 번 검출된다. 특징 4는 404에 대해 검출된다.
각 활동에 대한 활성 간격의 다양한 길이는 도 4a에서 볼 수 있다. 간격은 일상적인 계산 활동과 일반적으로 연관된 간격으로의 결정에 기초하여 활동 검출을 위한 미리 정의된 임계값을 가지면서 미리 정의될 수 있다. 갭은 크기가 다를 수 있다. 예를 들어, 갭(407)은 갭(405)보다 작다.
작은 갭 또는 비활성 간격을 제거하기 위해 간격의 “완화된 결합(relaxed union)”이 수행되어 도 4b에 도시된 바와 같이 2개의 활성 간격을 하나의 단일 간격으로 병합하고, 특히 도 4b에 병합된 갭 간격(407)과 관련하여 활성 간격(403, 404)이 단일 활성 간격(408)으로 병합되도록 한다.
병합 간격을 결정하기 위해, 활성 간격 ξ 사이의 갭은 임계값 τ와 비교된다. τ에 대한 최적값(갭에 대한 임계값)은 추출된 활동 간격의 데이터베이스를 사용하여 결정된다. τ값은 후속 분류기 정확도를 최대화하는 값으로 획득된다. 이는 실험을 통해 수행된다. 완화된 결합에 대한 유효 갭은 임계값(예를 들어, 300ms) 보다 작은 것으로 간주된다. 더 큰 갭은 활성 간격에 포함될 수 없다. 임계값은 (임의의 기존 방법으로) 학습되거나, 실험을 통해 찾을 수 있다.
각 활성 간격(ACTIVE INTERVAL)에 대한 메타-특징 벡터는 도 5에 도시된 바와 같이 정의된다. 메타-특징 벡터는 활성 간격 동안의 활동에 대한 관련 정보를 고정된 크기의 벡터로 캡슐화한다. 그 후, 이러한 벡터는 활동을 검출하거나 분류하기 위해 사용된다.
모든 특징
Figure pct00058
에 대해, N개의 측정값 세트가 계산된다. 특징
Figure pct00059
의 항목 값에 함수를 적용함으로써 통계적 측정값이 계산된다. 통계적 측정의 예시는 (이에 한정되지는 않지만): 통계적 모멘트(평균, 분산, 왜도, 첨도(kurtosis) 등) 및 정렬된 통계(최소, 최대, 중앙값, 사분위수, 절사 평균, 절대 편차의 중앙값 등)이 있다.
Y 특징을 가지면, 여러 N * Y 통계적 측정값이 계산될 것이며, 모든 활성 간격에 대해 메타-특징 벡터로 인코딩된다. 이러한 메타-특징은 활동 검출기의 입력을 나타낸다. 도 5에 도시된 바와 같이, 4개의 특징을 갖는 특징 세트에 대한 통계적 측정 세트의 예시가 도시되어 있다. 메타-벡터는 도 4에 도시된 각 활성 간격으로부터 형성된다. 도 5에 도시된 바와 같이, 벡터는 구간 내 각 특징의 평균, 구간 내 각 특징의 분산, 및 각 특징의 왜도로부터 형성된다. 첨도(kurtosis)와 같은 추가 특징이 포함될 수 있다.
메타-특징 벡터에 기초하여, 결정 유닛은 경보가 발행되어야 하는지 여부를 결정한다. 결정 유닛은 결정된 메타-특징 벡터를 미리 정의된 벡터의 세트 또는 분류 모델과 비교하고, 비교에 기초하여 이상을 검출한다. 처음에, 분류기는 지도 학습 프로세스를 통해 획득한 수학적 모델에 기초하여 입력 데이터를 정의된 출력 카테고리로 분류한다. 학습 프로세스의 일부로 수학적 모델에는 해당 출력 데이터를 획득하기 위한 입력 쌍이 제공된다. 따라서, 모델은 메타-특징의 세트, 사용 사례의 세트, 및 메타-특징과 사용 사례의 세트 간의 대응으로 구성된 집합을 나타낼 것이다. 상술한 피드백을 기반으로 모델의 오류 함수를 최소화하여 분류 정확도를 최대화하도록 모델이 조정된다.
도 1의 프로세싱 유닛의 추가 세부 사항은 도 6에 도시되어 있다.
프로세싱 유닛 내에서 2가지 유형의 모델이 분류를 위해 사용된다: 실행 모델 또는 제1 모델(601) 및 그림자 또는 제2 모델(602). 상술한 바와 같은 메타-특징 벡터는 실행 모델(602), 그림자 모델(603), 및 하나 이상의 백업 모델(605a-m)에 입력된다. 실행 모델(602)은 활성화 결정을 위해 사용 중인 모델 또는 미리 정의된 메타-데이터 벡터를 나타낸다. 상술한 대로, 분류하는 동안 이러한 모델은 고정되어 변경될 수 없다.
시스템의 견고성을 유지하기 위해, 그림자 모델(602)은 병렬로 개발되고, 실행 모델 결정 및 운영자 또는 시스템 피드백에 기초한다.
후술하는 바와 같이 모델의 교환을 또한 담당하는 검증 및 분석 모듈(603)에 피드백이 제공된다. 그림자 모델이 결정에 영향을 미치지 않는다는 점은 주목할 만하다. 그러나, 그림자 모델은 실행 모델을 사용하여 내린 결정을 검증하는데 사용된다.
결정을 검증하기 위해, 그림자 모델의 결과와 실행 모델의 결과 간의 비교가 이루어진다.
그림자 모델이 실행 모델을 능가하는 경우, 검증, 분석 및 모델 교환 모듈(603)은 그림자 모델을 실행 모델과 교환한다. 그림자 모델이 실행 모델이 된다. 교체되는 실행 모델은 백업 모델(605a-m)로 저장된다. 백업 모델은 백업 모델 버퍼에 저장된 이전 실행 모듈이다. 백업 모델은 아래와 같이 실행 모델로 복원될 수 있다. 검증, 분석, 및 모델 교환 모듈은 하나 이상의 프로세서에 의해 구현될 수 있다.
그림자 모델의 성능은 피드백 주기의 개수
Figure pct00060
에 걸쳐 평가된다. 운영자(604)로부터 검증, 분석, 모델 교환 모듈로 피드백이 수신될 때마다, 그림자 모델은 업데이트되고 그림자 모델 및 실행 모델의 성능이 평가된다. 평가는
Figure pct00061
주기에 대한 결정의 무효화 백분율에 기초한다.
Figure pct00062
는 시스템의 원하는 정확도에 따라 변한다.
Figure pct00063
의 개수가 적을수록 적응성이 빨라질 것이다. 더 많은 개수의
Figure pct00064
는 속도를 희생하면서 더 높은 신뢰성을 초래할 것이다.
Figure pct00065
에 대한 샘플 수치는 다음을 포함한다: (a) 더 빠른 적응성을 위해 1일에서 최대 1주에 걸쳐 수집된 피드백과 동일한 것으로 간주될 수 있으며, (b) 더 높은 신뢰성을 위해 1개월 동안 수집된 피드백보다 큰 값이 선택될 수도 있다.
성능 평가로 인한 3가지 별개의 사례를 고려한다:
첫번째 경우에, 실행 모델은 활성 상태로 유지된다. 그림자 모델은 수신된 피드백(그림자 모델의 트레이닝 세트에 추가된 활성 구간의 메타-특징들)을 기반으로 업데이트된다. 그림자 모델은 업데이트된 트레이닝 세트로 트레이닝된다.
두번째 경우에, 그림자 모델의 성능이 실행 모델의 성능을 능가할 때 실행 모델이 그림자 모델로 교환된다. 실행 모델은 백업 모델 버퍼에 저장되고, 그림자 모델은 실행 모델이 된다.
세번째 경우에는, 실행 모델이 백업 모델로 변경된다. 이는 백업 모델이 실행 모델보다 성능이 좋을 때 발생한다.
백업 모델은 마지막으로 사용된 메커니즘을 사용하여 버퍼에 보관된다. 백업 모델을 유지하는 것은 조명, 낮 시간 등의 변화와 같은 소매점 환경의 변화에 유연하게 대처할 수 있다는 것이 이해될 것이다. 따라서, 시스템이 최적화된다. 분류는 최적점에서 시작하여 가장 성능이 좋은 모델이 사용된다. 새로운 모델을 트레이닝하는 것보다 백업 모델과 실행 모델을 전환하는 것이 더 쉽고 효율적이다.
실행 모델이 전술한 바와 같이 이상을 분유하기 위해 사용되면, 경고(들)은 개략적으로 상술한 바와 같이 전송된다.
상술한 특징들의 조합은 상술한 바와 같이 일관되고 복제 가능한 검출, 트레이닝, 최적화 프로세스를 통해 셀프 계산 소매점 환경에서 이상 검출을 개선하는 일관되게 업데이트 가능한 모델을 제공한다. 본 발명과 관련하여 “포함하는/포함”이라는 단어 및 “가지는/갖는”이라는 단어는 언급된 특징, 정수, 단계, 또는 구성요소의 존재를 지정하는데 사용되지만, 하나 또는 더 많은 특징, 정수, 단계, 구성요소 또는 그들의 그룹을 포함하는 것을 배제하는 것은 아니다.
명료함을 위해 별도의 실시예와 관련하여 설명된 본 발명의 특정 특징은 단일 실시예에서 조합하여 제공될 수 있다는 것이 이해될 것이다. 반대로, 간결함을 위해 단일 실시예의 맥락에서 기술된 본 발명의 다양한 특징들은 개별적으로 또는 임의의 적절한 하위-조합으로 제공될 수도 있다.

Claims (15)

  1. 셀프 계산 환경의 이상 검출을 위한 시스템으로서,
    프로세싱 유닛을 포함하고, 상기 프로세싱 유닛은
    셀프 계산 단말기로부터 수신된 거래 데이터로부터의 특징의 세트를 추출하고,
    특징의 세트에 기초하여 활동을 특성화하며,
    특성화된 활동 각각에 대해 복수의 활성 간격을 정의하고,
    상기 복수의 활성 간격 중 정의된 각각의 활성 간격에 대해 메타 특징 벡터를 결정하고,
    각각의 메타 특징 벡터를 미리 정의된 벡터 세트와 비교하며,
    상기 비교에 기초하여 이상을 검출하도록 구성된, 셀프 계산 환경의 이상 검출을 위한 시스템.
  2. 제1항에 있어서,
    상기 활동을 특성화하는 것은,
    수신된 데이터로부터 특징의 세트를 추출하고,
    상기 특징의 세트를 대응하는 특징 활성화 값의 세트로 변환하고,
    시간 간격에 대한 활성화 값의 세트의 전개를 결정하는 것을 포함하고,
    상기 활동 Activity μ 은,
    Figure pct00066

    에 따라 정의되고,
    여기서,
    Figure pct00067
    는 활동을 검출하는데 고려되는 프레임의 개수이고,
    Figure pct00068
    는 추출된 특징 세트 값이고, featureSet μ 는 Activity μ 을 설명하는 특징의 세트이며, [
    Figure pct00069
    ,
    Figure pct00070
    ]는 초기 프레임 N 1 의 시간과 마지막 프레임 N 2 의 시간 사이의 시간 간격에서 추출된 연속 프레임의 세트를 나타내는,
    셀프 계산 환경의 이상 검출을 위한 시스템.
  3. 제2항에 있어서,
    상기 프로세서는 활동을 정의하는 프레임의 개수
    Figure pct00071
    를 추정하도록 더 구성되며,
    상기 추정은 활성화 함수
    Figure pct00072
    를 정의하고, 시간 도메인을 상기 함수에 기초하여 활성 간격들로 분할하는 것을 포함하며,
    Figure pct00073
    는
    Figure pct00074
    로 특성화되며,
    여기서, Ri는 각 특징 fi에 대해 사용자가 정의한 규칙의 세트를 나타내며, Ri 가 참일 때 fi(n)는 활성화되는,
    셀프 계산 환경의 이상 검출을 위한 시스템.
  4. 제3항에 있어서,
    모든 활동에 대한 각 활성 간격은,
    Figure pct00075
    로 정의되는,
    셀프 계산 환경의 이상 검출을 위한 시스템.
  5. 제4항에 있어서,
    상기 프로세서는 인접한 활성 간격들 사이의 비활성 간격을 결정하도록 더 구성되는,
    셀프 계산 환경의 이상 검출을 위한 시스템.
  6. 제5항에 있어서,
    상기 비활성 간격을 임계값과 비교하고, 상기 인접한 활성 간격과 비활성 간격을 병합된 활성 간격으로 결합하는 것을 더 포함하는,
    셀프 계산 환경의 이상 검출을 위한 시스템.
  7. 제6항에 있어서,
    상기 메타 특징 벡터를 결정하는 것은,
    활성 간격의 각 특징
    Figure pct00076
    에 대한 복수의 통계적 측정치를 계산하고, 각 활성 간격에 대한 메타 특징 벡터를 형성하기 위해 상기 특징들을 결합하는 것을 포함하는,
    셀프 계산 환경의 이상 검출을 위한 시스템.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 프로세서는 결정된 메타 특징 벡터와 제1 분류 시스템 모델 사이의 제1 비교를 수행하고, 상기 비교에 기초하여 경고를 생성하도록 구성되는,
    셀프 계산 환경의 이상 검출을 위한 시스템.
  9. 제8항에 있어서,
    상기 프로세서는 결정된 메타 특징 벡터와 제2 시스템 모델 사이의 제2 분류 비교를 수행하도록 구성되는,
    셀프 계산 환경의 이상 검출을 위한 시스템.
  10. 제9항에 있어서,
    상기 프로세서는 상기 제1 및 제2 비교에 기초하여 상기 제1 시스템 모델과 상기 제2 시스템 모델의 성능을 비교하고, 상기 제2 시스템 모델의 성능이 제1 시스템 모델의 성능을 능가하면, 상기 제1 시스템 모델을 상기 제2 시스템 모델로 교체하도록 구성되는,
    셀프 계산 환경의 이상 검출을 위한 시스템.
  11. 제10항에 있어서,
    상기 제1 시스템 모델을 백업 모델로 저장하기 위한 메모리를 더 포함하는,
    셀프 계산 환경의 이상 검출을 위한 시스템.
  12. 제11항에 있어서,
    상기 프로세서는 경고에 관한 피드백을 수신하고, 상기 피드백에 기초하여 상기 제2 시스템 모델을 업데이트하도록 구성되는,
    셀프 계산 환경의 이상 검출을 위한 시스템.
  13. 제11항에 있어서,
    상기 프로세서는 상기 제1 시스템 모델의 성능을 상기 백업 모델의 성능과 비교하고, 상기 백업 모델이 상기 제1 시스템 모델을 능가하면 상기 제1 시스템 모델을 상기 백업 모델로 교체하도록 구성되는,
    셀프 계산 환경의 이상 검출을 위한 시스템.
  14. 셀프 계산 환경에서 이상 검출을 위한 방법으로서,
    셀프 계산 단말기로부터 수신된 거래 데이터로부터 특징의 세트를 추출하는 단계,
    특징의 세트에 기초하여 활동을 특성화하는 단계,
    각각의 특성화된 활동에 대해 복수의 활성 간격을 정의하는 단계,
    상기 복수의 활성 간격 중 정의된 각각의 활성 간격에 대해 메타 특징 벡터를 결정하는 단계,
    각각의 메타 특징 벡터를 미리 정의된 벡터 세트와 비교하는 단계, 및
    상기 비교에 기초하여 이상을 검출하는 단계를 포함하는,
    셀프 계산 환경에서 이상 검출을 위한 방법.
  15. 프로세싱 모델에 의해 실행될 때 제14항에 따른 방법을 구현하는 컴퓨터 프로그램이 포함된 컴퓨터 판독 가능한 프로그램 가능한 매체.
KR1020217026537A 2019-01-22 2020-01-21 셀프 계산 소매점 환경에서 이상 검출을 위한 장치 및 방법 KR20210115033A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19153108.6 2019-01-22
EP19153108.6A EP3686770A1 (en) 2019-01-22 2019-01-22 Method and apparatus for anomaly detection in self-checkout retail environments
PCT/EP2020/051433 WO2020152181A1 (en) 2019-01-22 2020-01-21 Method and apparatus for anomaly detection in self-checkout retail environments

Publications (1)

Publication Number Publication Date
KR20210115033A true KR20210115033A (ko) 2021-09-24

Family

ID=65200659

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217026537A KR20210115033A (ko) 2019-01-22 2020-01-21 셀프 계산 소매점 환경에서 이상 검출을 위한 장치 및 방법

Country Status (12)

Country Link
US (1) US11989712B2 (ko)
EP (2) EP3686770A1 (ko)
JP (1) JP2022518905A (ko)
KR (1) KR20210115033A (ko)
CN (1) CN113396421A (ko)
AU (1) AU2020210822A1 (ko)
BR (1) BR112021014357A2 (ko)
CA (1) CA3126193A1 (ko)
CL (1) CL2021001890A1 (ko)
CO (1) CO2021010880A2 (ko)
MX (1) MX2021008698A (ko)
WO (1) WO2020152181A1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7957565B1 (en) * 2007-04-05 2011-06-07 Videomining Corporation Method and system for recognizing employees in a physical space based on automatic behavior analysis
US9299229B2 (en) * 2008-10-31 2016-03-29 Toshiba Global Commerce Solutions Holdings Corporation Detecting primitive events at checkout
US8165349B2 (en) * 2008-11-29 2012-04-24 International Business Machines Corporation Analyzing repetitive sequential events
US9589433B1 (en) * 2013-07-31 2017-03-07 Jeff Thramann Self-checkout anti-theft device

Also Published As

Publication number Publication date
EP3686770A1 (en) 2020-07-29
CA3126193A1 (en) 2020-07-30
MX2021008698A (es) 2021-08-19
EP3915041A1 (en) 2021-12-01
US20220122429A1 (en) 2022-04-21
JP2022518905A (ja) 2022-03-17
US11989712B2 (en) 2024-05-21
AU2020210822A1 (en) 2021-08-05
WO2020152181A1 (en) 2020-07-30
CL2021001890A1 (es) 2022-02-11
CO2021010880A2 (es) 2021-08-30
CN113396421A (zh) 2021-09-14
BR112021014357A2 (pt) 2021-09-28

Similar Documents

Publication Publication Date Title
US11257135B2 (en) Notification system and methods for use in retail environments
US9471832B2 (en) Human activity determination from video
US8761451B2 (en) Sequential event detection from video
WO2019062018A1 (zh) 商品自动结算方法、装置、自助收银台
US20120075450A1 (en) Activity determination as function of transaction log
US8612286B2 (en) Creating a training tool
US9911112B2 (en) Continuous shrink reduction system sensitivity adjustment
US20230368625A1 (en) Self-checkout verification systems and methods
JP2024008245A (ja) 情報処理プログラム、情報処理方法、および情報処理装置
EP3629276A1 (en) Context-aided machine vision item differentiation
KR20210115033A (ko) 셀프 계산 소매점 환경에서 이상 검출을 위한 장치 및 방법
US20210097544A1 (en) Loss prevention using video analytics
CN113168606B (zh) 用于流程整形的系统和方法
US20230034455A1 (en) Computer-readable recording medium, information processing method, and information processing apparatus
US20230035227A1 (en) Computer-readable recording medium, information processing method, and information processing apparatus
RU2785327C1 (ru) Система компьютерного зрения в ритейле
JP2022027440A (ja) コンピュータービジョンおよび機械学習アプリケーションにおけるコンピュータービジョンを分析するためのキーフレーム選択方法及びキーフレーム選択システム

Legal Events

Date Code Title Description
A201 Request for examination