KR20040027951A - 소매 환경에서 부정 사건들을 검출하기 위한 비젼-기반방법 및 장치 - Google Patents

소매 환경에서 부정 사건들을 검출하기 위한 비젼-기반방법 및 장치 Download PDF

Info

Publication number
KR20040027951A
KR20040027951A KR10-2004-7002514A KR20047002514A KR20040027951A KR 20040027951 A KR20040027951 A KR 20040027951A KR 20047002514 A KR20047002514 A KR 20047002514A KR 20040027951 A KR20040027951 A KR 20040027951A
Authority
KR
South Korea
Prior art keywords
image
retail location
computer readable
fraud
met
Prior art date
Application number
KR10-2004-7002514A
Other languages
English (en)
Inventor
구타스리니바스브이.알.
콜메나레즈안토니오
트라즈코빅미로슬라브
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20040027951A publication Critical patent/KR20040027951A/ko

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G08B13/19615—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion wherein said pattern is defined by the user
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Emergency Management (AREA)
  • Computing Systems (AREA)
  • Library & Information Science (AREA)
  • Business, Economics & Management (AREA)
  • Burglar Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

사전규정된 부정 사건들을 인식하기 위해 비젼-기반 기술들을 사용하여 소매 위치를 감시하기 위한 방법 및 장치가 기술되어 있다. 하나 또는 그 이상의 사전규정된 부정 사건들을 식별하고 추가 검토를 위해 고용인에게 통지를 보내거나 증거 목적들을 위해 사건을 기록하는 것 같은 적절한 응답을 개시하도록 포착된 이미지들이 처리된다. 다수의 규정들은 다양한 부정 사건들을 규정한다. 예로서, 고객이 탈의실 외측에서 도난된 의복을 입을 때 또는 고객이 영수증 없는 상품 반품을 부정하게 시도할 때를 검출하기 위해 규정들이 안출될 수 있다. 각 규정은 충족되어야만 하는 하나 또는 그 이상의 상태들과 규정이 충족되었을 때 수행되어야하는 대응 동작-항목을 포함한다. 각 규정을 위한 적어도 하나의 상태들은 비젼-기반 기술들을 사용하여 이미지내에서 검출되어야만하는 특징을 식별한다. 또한, 사건 규정들에 의해 규정된 하나 또는 그 이상의 부정 사건들을 검출하기 위해 포착된 이미지들을 분석하는 사건 감시 프로세스도 기술되어 있다.

Description

소매 환경에서 부정 사건들을 검출하기 위한 비젼-기반 방법 및 장치{VISION-BASED METHOD AND APPARATUS FOR DETECTING FRAUDULENT EVENTS IN A RETAIL ENVIRONMENT}
노동 비용이 증가하고 유자격 고용인 후보들이 적어짐에 따라, 다수의 소매 사업들 및 기타 시설들은 불충분한 수의 고용인들로 운영하여야만 하는 경우가 많다. 따라서, 모든 원하는 기능을 수행하기에 충분한 고용인들이 없을 때, 관리는 가장 중요한 기능들이 충족되거나 이 기능을 수행하는 대안적인 방식을 발견하는 것을 보증하기 위한 책임들을 우선화하여야만 한다. 예로서, 다수의 소매 시설들은 보안 요원을 대체 또는 보완하기 위해 자동화된 절도 검출 시스템들을 사용한다.
또한, 다수의 사업들은 예로서, 보안 목적을 위해 전체 매장 또는 기타 위치를 적절히 감시하기에 충분한 고용인들을 갖지 못한다. 따라서, 다수의 사업들 및기타 시설들은 고객 및 고용인들의 활동들을 감시하기 위해 다양한 위치들에 카메라들을 배치한다. 카메라들에 의해 생성된 이미지들이 일반적으로 다양한 위치들이 중앙 위치에 배치된 한 사람에 의해 감시될 수 있게 하지만, 이런 시스템은 그럼에도 불구하고, 관련 사건들을 검출하기 위해 감시하는 사람을 필요로 한다.
소매 매장들은 도난된 상품 또는 부정 반품들 같은 부정 행위로 인해 연간 수익의 현저한 부분을 잃는다. 예로서, 개인이 매장에 들어와 물품을 들고 그들이 물품을 이전에 구매한 척하며, 그후 영수증 없이 이 물품을 반품받기를 시도하는 것은 흔한 일이다. 소매상이 주어진 매장에 들어온 모든 고객의 거동을 감시하다는 것은, 불가능하지는 않지만, 비실용적이다.
또한, 소매 환경의 경쟁 특성으로 인해, 대부분의 소매상들은 특정 조건들하에서 영수증 없이도 상품을 반품해줄 수 있게 하는 비교적 자유로운 반품 방침들을 유지할 것을 강요받게된다. 따라서, 소매상들은 이런 부정 상품 반품들을 효과적으로 방지 또는 심지어 단념시키게하는 것이 불가능하였다. 따라서, 소매 환경에서 자동으로 부정 사건들을 인식하기 위해 비젼-기반 기술들(vision-based technologies)을 사용하는 감시 시스템에 대한 필요성이 존재한다. 각 부정 사건에 대한 규정-기반을 채용하는 사건 감시 시스템에 대한 다른 필요성이 존재한다.
본 발명은 컴퓨터-비젼 기술에 관한 것으로, 특히, 소매 환경에서 부정 사건들을 검출하기 위한 방법 및 장치에 관한 것이다.
하기의 상세한 설명 및 도면을 참조로 본 발명 및 본 발명의 다른 특징들 및 장점들의 보다 완전한 이해를 얻을 수 있다.
도 1은 본 발명에 따른 사건 감시 시스템을 예시하는 도면.
도 2는 도 1의 사건 데이터 베이스로부터의 샘플 표를 예시하는 도면.
도 3은 본 발명의 예시적 사건 감시 프로세스 구현 원리들을 기술하는 흐름도.
도 4는 본 발명의 특징들을 통합하는 예시적인 부정 상품 반품 검출 프로세스를 기술하는 흐름도.
일반적으로, 소매 환경에서 사전규정된 부정 사건들을 인식하기 위해 비젼-기반 기술들을 사용하여 위치를 감시하기 위한 방법 및 장치가 기술된다. 기술된사건 감시 시스템은 주어진 소매 위치에 초점 맞춰진 하나 또는 그 이상의 이미지 포착 디바이스들을 포함한다. 포착된 이미지들은 하나 또는 그 이상의 부정 사건들을 식별하고, 고용인에게 통지를 보내는 것 같은 적절한 응답을 개시하기 위해 사건 감시 시스템에 의해 처리된다.
본 발명의 일 양태에 따라서, 다수의 규정들이 활용되어 다양한 부정 사건들을 규정한다. 예로서, 고객이 탈의실 밖에서 도난된 옷을 입을 때, 또는 고객이 영수증 없는 상품 반품을 부정 시도할 때를 검출하기 위해 본 발명에 따라 규정들이 안출될 수 있다. 각 규정은 규정이 촉발되기 위해 충족되어야만 하는 하나 또는 그 이상의 조건들과, 규정이 충족될 때 수행되어야만 하는 고용인에게 통지를 보내는 것 같은 대응 동작-항목을 포함한다. 각 규정을 위한 적어도 하나의 조건은 비젼-기반 기술들을 사용하여 이미지에 검출되어야만하는 특징을 식별한다. 사전규정된 사건의 검출시, 존재시, 대응 동작이 사건 감시 시스템에 의해 수행된다.
도 1은 본 발명에 따른 사건 감시 시스템(100)을 예시한다. 일반적으로 본 발명에 의해 검출되는 사건들은 상품 절도 또는 구매하지 않은 상품의 교환을 시도하는 것 같은 소매 환경의 부정 사건들이며, 이하 총체적으로 "부정 사건들(flaudulent events)"이라 지칭된다. 도 1에 도시된 바와 같이, 사건 감시 시스템(100)은 하나 또는 그 이상의 이미지 포착 디바이스들(150-1 내지 150-N)(이하, 총체적으로 이미지 포착 디바이스들(image capture devices:150)이라 지칭함)을 포함하며, 이들은 하나 또는 그 이상의 감시 영역들(160)상에 초점 맞춰진다. 감시 영역(160)은 하나 또는 그 이상의 입구들, 출구들, 통로들, 반품 카운터들, 탈의실들을 위한 접근 영역들 또는 매장내의 전시 영역들 같은 부정 사건이 발생하기 쉬운 소정의 위치일 수 있다.
본 발명은 부정 사건들이 종종 범죄적 시도에 후속 수반된다는 것을 인지한다. 따라서, 본 발명의 다른 양태에 따라서, 이미지 포착 디바이스들(150)에 의해 포착된 이미지들은 예로서, 이미지 보관 데이터베이스(175)내에 증거 목적들을 위해 기록 및 저장될 수 있다. 추가로 후술된 바와 같이, 각 검출된 부정 사건과 연계된 이미지들은 증거 목적들을 위해 이미지 보관 데이터베이스(175)내에 선택적으로 기록될 수 있다. 일 실시예에서, 각 검출된 부정 사건 이전 및 이후의 사전결정된 수의 이미지 프레임들이 예로서, 증거 목적을 위해 사건의 시간-인장(time-stamp)과 함께 이미지 보관 데이터베이스(image archive database:175) 내에 기록될 수 있다.
각 이미지 포착 디바이스(150)는 예로서, 이미지 또는 비디오 정보의 포착을 위한 고착 또는 팬-틸트-줌(pan-tilt-zoom:PTZ) 카메라로서 구현될 수 있다. 이미지 포착 디바이스들(150)에 의해 생성된 이미지들은 하나 또는 그 이상의 사전규정된 부정 사건들을 식별하기 위해 도 3과 연관하여 후술된 방식으로 사건 감시 시스템(100)에 의해 처리된다. 일 구현예에서, 본 발명은 다양한 부정 사건들을 규정하는 다수의 규정들을 기록하는 도 2에 관련하여 추가로 후술된 사건 데이터베이스(200)를 채용한다.
각 규정에 의해 규정된 부정 사건들은 본 발명에 따른 사건 감시 시스템(100)에 의해 검출될 수 있다. 추가로 후술된 바와 같이, 각 규정은 규정이 촉발되기 위해 충족되어야만 하는 하나 또는 그 이상의 기준들과, 선택적으로, 규정을 개시하기 위한 사전규정된 기준들이 충족되었을 때 수행되어야 하는 대응 동작-항목을 포함한다. 각 규정을 위한 적어도 하나의 기준들은 본 발명에 따른 비젼-기반 기술들을 사용하여 이미지내에서 검출된 상태이다. 이런 사전규정된 부정 사건의 검출시, 존재시, 고용인에게 통지를 보내거나, 증거 목적들을 위해 사건을 기록하는 것(또는 양자 모두) 같은 대응 동작이 사건 감시 시스템(100)에 의해 수행된다.
도 1에 도시되고, 도 3 및 도 4에 관련하여 추가로 후술된 바와 같이, 사건감시 시스템(100)은 또한 사건 검출 프로세스(300) 및 부정 반품 검출 프로세스(400)를 포함한다. 일반적으로, 사건 검출 프로세스(300)는 이미지 포착 디바이스들(150)에 의해 얻어진 이미지들을 분석하고, 또한 예시적으로 사건 데이터베이스(200)내에 규정된 다수의 특정 부정 사건들을 검출한다. 부정 반품 검출 프로세스(400)는 이미지 포착 디바이스들(150)에 의해 얻어진 이미지들을 분석하고, 사람이 부정 상품 반품을 하기를 시도할 때를 검출한다.
사건 감시 시스템(100)은 중앙 처리 유니트(CPU) 같은 프로세서(120) 및 RAM 및/또는 ROM 같은 메모리(110)를 포함하는 퍼스널 컴퓨터 또는 워크스테이션 같은 소정의 연산 디바이스로서 구현될 수 있다. 대안적인 구현예에서, 이미지 처리 시스템(100)은 주문형 집적 회로(ASIC)를 사용하여 구현될 수 있다.
도 2는 다양한 부정 사건들을 규정하는 규정들 각각을 기록하는 사건 데이터베이스(200)의 예시적 표를 예시한다. 사건 데이터베이스(200)내의 각 규정은 규정이 개시되어야만 하는 상태들을 지정하는 사전규정된 기준들과, 선택적으로, 그 규정과 연계된 기준들이 충족되었을 때 촉발되어야 하는 대응 동작 항목을 포함한다. 일반적으로, 동작 항목은 적절한 고용인에게 통지를 보내거나, 증거 목적들을 위해 사건을 기록하는 것(또는 양자 모두) 같은 규정이 촉발되었을 때 수행되어야하는 하나 또는 그 이상의 적절한 단계(들)를 포함한다.
도 2에 도시된 바와 같이, 예시적 사건 데이터베이스(200)는 각각 다른 규정과 연계된 기록들(205-210) 같은 복수의 기록들을 유지한다. 각 규정에 대하여, 사건 데이터베이스(200)는 필드(250)내의 규정 기준 및 존재시, 필드(260)내의 대응동작 항목을 식별한다.
예로서, 기록(205)에 기록된 규정은 탈의실 외부에서 구매되지 않은 옷을 입음으로써 상품을 절도하기를 시도하는 고객에 대응하는 사건이다. 필드(250)에 표시된 바와 같이, 기록(205)내의 규정은 고객이 의복교체 영역내로 입고 들어갔던 것과 다른 옷을 입고 의복교체 영역을 벗어날 때 촉발된다. 필드(260)에 표시된 바와 같이, 대응 동작은 고용인에게 통지를 보내는 것 또는 증거 목적들을 위해 의복교체 영역을 감시하고 사건을 기록하는 것으로 구성된다.
기록(205)에 규정된 부정 사건은 예로서, 매장 또는 의복교체 영역으로 들어가는 각 고객의 이미지를 포착하고, 고객이 입고 매장에 들어온 옷을 식별하는 기술자들을 추출함으로써 검출될 수 있다. 그후, 매장 또는 의복교체 영역으로의 진입시 추출된 기술자들이 고객이 의복교체 영역을 벗어날 때 추출된 기술자들에 비교될 수 있다. 이 기술자들이 현저히 다른 경우에, 추가 검토를 위해 고용인에게 경보를 송출한다. 안정한 특징 추출 기술의 상세한 설명에 대해서는 예로서, 본원에 참조로 통합되어 있고, 본 발명의 양수인에게 양도된, 발명의 명칭이 " Person Tagging in an Image Processing System Utilizing a Statistical Model Based on Both Appearance and Geometric Features"인 2000년 11월 11일자 미국 특허 출원 번호 제 09/703,423호를 참조하라.
마찬가지로, 기록들(206, 207 및 210)에 기록된 규정들은 영수증 없이 상품을 반품하기를 시도하는 고객에 대응하는 사건들을 규정한다. 필드(250)에 표시된 바와 같이, 기록(206, 207 및 210)내의 규정들은 고객이 영수증 없이 상품을 반품하기를 시도하고 하나 또는 그 이상의 부가 상태들(각 규정에 지정됨)이 충족될 때 촉발된다. 필드(260)에 표시된 바와 같이, 대응 동작은 고용인에게 통지를 보내거나, 증거 목적들을 위해 사건을 감시 및 기록하는 것으로 구성된다.
기록(206)에 규정된 부정 사건은 예로서, 매장에 진입하는 각 고객의 이미지를 포착하고, 상술한 특징 추출 기술들을 사용하여 고객이 매장에 들어올 때 이제 반품될 상품을 들고 있는지 여부를 결정함으로써 검출될 수 있다. 기록(207)에 규정된 부정 사건은 예로서, 매장에 들어오는 각 고객의 이미지를 포착하고, 얼굴 인식 기술들을 사용하여 이미지가 이전에 매장에 들어온 고객에 대응하는지 여부를 결정함으로써 검출될 수 있다. 이 규정은 사람이 이전에 매장에 들어오지 않았을 때, 그 물건이 이전 방문시 구매되었을 가능성이 없다는 것을 가정한다. 기록(210)에 규정된 부정 사건은 예로서, 매장의 핵심 영역들을 감시하고, 얼굴 인식 기술들을 사용하여 반품된 상품이 보관되어 있는 매장의 영역에 그 고객이 최근 존재하였었는지 여부를 결정함으로써 검출될 수 있다.
적절한 얼굴 인식 기술들의 상세한 설명에 대해서는 예로서, 본원에 각각 참조로 통합되어 있는, A. Colmenarez 및 T. S. Huang의 "Maximum Likelihood Face Detection(Int'l Conf'on Automatic Face and Gesture Recognition(IEEE, 1996))" 및 S. Gutta 등의 "Face and Hand Gesture Recognition Using HybridClassifiers(Int'l Conf'on Automatic Face and Gesture Recognition(IEEE, 1996))"을 참조하라.
도 3은 예시적 사건 검출 프로세스(300)를 기술하는 흐름도이다. 사건 검출프로세스(300)는 이미지 포착 디바이스들(150)로부터 얻어진 이미지를 분석하고, 사건 데이터베이스(200)내에 규정된 역시 예시적인 다수의 지정 부정 사건들을 검출한다. 도 3에 도시된 바와 같이, 사건 검출 프로세스(300)는 최초에 단계 310 동안 이미지 포착 디바이스들(150)로부터 감시 영역(160)의 하나 또는 그 이상의 이미지들을 획득한다.
그 후, 이미지들이 단계 320 동안 비디오 콘텐트 분석(VCA) 기술들을 사용하여 분석된다. 적절한 VCA 기술들의 상세한 설명에 대해서는 예로서, 본원에 참조로 통합되어 있는, Nathanael Rota 및 Monique Thonnat의 "Video Sequence Interpretation for Visual Surveillance(Proc. of the 3d IEEE Int'l Workshop on Visual Surveillance, 59-67, Dublin, Ireland(July 1, 2000))" 및 Jonathan Owens 및 Andrew Hunter의 "Application of the Self-Organizing Map to Trajectory Classification(Proc. of the 3d IEEE Int'l Workshop on Visual Surveillance, 77-83, Dublin, Ireland(July 1, 2000))을 참조하라. 일반적으로, VCA 기술들은 이미지 포착 디바이스들(150)에 의해 얻어진 이미지들내의 다양한 특징들을 인지하기 위해 사용된다.
단계 330 동안 테스트가 수행되어 비디오 콘텐트 분석이 사건 데이터베이스(200)에 규정된 바와 같은 사전규정된 사건을 검출하는지 여부를 결정한다. 단계 330 동안 비디오 콘텐트 분석이 사전규정된 사건을 검출하지 않는 것으로 판정된 경우에, 그후, 프로그램 제어는 단계 310으로 복귀하여 상술한 방식으로 위치(들)(160)의 감시를 계속한다.
그러나, 단계 330 동안 비디오 콘텐트 분석이 사전규정된 사건을 검출하는 것으로 판정된 경우에, 그후, 사건은 단계 340 동안 사건 데이터베이스(200)의 필드(260)에 표시된 바와 같이 처리된다. 이미 언급된 바와 같이, 본 발명의 일 양태에 따라서, 검출된 부정 사건과 연계된 이미지들은 단계 350 동안 증거 목적들을 위해 시간-인장과 함께 이미지 보관 데이터베이스(175) 내에 선택적으로 기록될 수 있다. 그후, 프로그램 제어는 종결한다(또는, 단계 310으로 복귀하여 상술한 방식으로 위치(들)(160)의 감시를 지속한다.
이미 언급된 바와 같이, 부정 반품 검출 프로세스(400)는 이미지 포착 디바이스들(150)에 의해 얻어진 이미지들을 분석하고, 사람이 부정 상품 반품을 하기를 시도할 때를 검출한다. 도 4에 도시된 예시적인 실시예는 사건 데이터베이스(200)의 기록들(206 또는 207)에 규정된 부정 사건들에 대하여 감시한다. 도 4에 도시된 바와 같이, 부정 반품 검출 프로세스(400)는 최초에 단계 410 동안 주어진 매장에 들어온 각 고객의 하나 또는 그 이상의 이미지들을 획득한다.
단계 420 동안 고객이 영수증 없이 상품 반품을 시도하는지 여부를 결정하기 위해 테스트가 수행된다. 단계 420 동안 사람이 영수증 없이 상품을 반품하기를 시도하는 것이 판정되고 나면, 프로그램 제어는 단계 430으로 진행한다.
단계 430 동안, 이미 매장에 들어온 고객들의 역사적 이미지 데이터베이스에 대하여, 얼굴 인식 분석이 수행된다. 단계 435 동안 반품을 시도한 고객이 이전에 매장에 들어온 적이 있는지 여부를 결정하기 위해 테스트가 수행된다. 일반적으로, 고객이 매장내에서 이전에 검출된 적이 없는 경우에, 이때, 그 고객이 이전 방문시반품 아이템을 합법적으로 구매하지 않았을 가능성이 높다. 단계 435 동안 반품하기를 시도하는 고객이 이전에 매장에 들어왔었다는 것을 판정한 경우에, 기록(207)에 의해 규정된 부정 사건은 촉발되지 않으며, 프로그램 제어는 단계 440으로 진행한다.
그러나, 단계 435 동안 반품하기를 시도하는 고객이 이전에 매장에 들어온 적이 전혀 없다는 것이 판정되는 경우에, 이때, 이 고객은 절대 상품을 구매하지 않았을 가능성이 있으며, 단계 450 동안 추가 검토를 위해 고용인에게 통지가 송출된다. 부가적으로, 이미 언급한 바와 같이, 본 발명의 일 양태에 따라, 단계 460 동안 검출된 부정 사건과 연계된 이미지들이 증거 목적들을 위해 시간-인장과 함께 선택적으로 이미지 보관 데이터베이스(175)에 기록될 수 있다. 그후, 프로그램 제어는 종결한다(또는 단계 420으로 복귀하여 상술한 방식으로 잠재적 부정 사건들에 대한 감시를 지속한다).
단계 440 동안 고객에 의해 매장내로 반입되었을 수 있는 물품들을 식별하기 위해 특징 추출 분석이 수행된다. 단계 445 동안 고객이 매장에 들어올 때 반품 상품을 소지하였을 가능성이 있는지 여부를 판정하기 위해 테스트가 수행된다. 단계 445 동안 고객이 매장에 들어왔을 때 반품 상품을 소지하지 않았다는 것이 판정되는 경우에, 이때, 프로그램 제어는 추가 검토를 위해 단계 450으로 진행하며, 상술한 방식으로 이어진다.
그러나, 단계 445 동안 고객이 매장에 들어올 때 반품 상품을 소지하였을 가능성이 있는 것으로 판정된 경우에, 그후 기록(206)에 의해 규정된 부정 사건은 촉발되지 않으며, 제어는 단계 420으로 복귀하여 추가 부정 사건들에 대한 감시를 지속한다.
소매 환경에서 사전규정된 부정 사건들을 인식하기 위해 비젼-기반 기술들을 사용하여 위치를 감시하기 위한 방법 및 장치가 개시된다.
여기에 도시 및 설명된 실시예들 및 변형들은 단지 본 발명의 목적들의 예시일 뿐이며, 본 기술 분야의 숙련자들에 의해 본 발명의 범주 및 개념으로부터 벗어나지 않고 다양한 변형들이 이루어질 수 있다는 것을 이해하여야 한다.

Claims (14)

  1. 소매 위치(160)에서 부정 사건을 검출하기 위한 방법에 있어서,
    상기 부정 사건을 규정하는, 적어도 하나의 상태(250)를 포함하는 규정(205-210)을 확립하는 단계,
    상기 상태(250)를 식별하기 위해 상기 소매 위치(160)의 적어도 하나의 이미지를 처리하는 단계, 및
    상기 규정(205-210)이 충족되는 경우, 규정된 동작(260)을 수행하는 단계를 포함하는, 부정 사건 검출 방법.
  2. 제 1 항에 있어서,
    상기 규정(205-210)이 충족되는 경우, 상기 적어도 하나의 이미지를 기록하는 단계를 더 포함하는, 부정 사건 검출 방법.
  3. 제 1 항에 있어서,
    상기 부정 사건은 물품을 절도하는 사람인, 부정 사건 검출 방법.
  4. 제 1 항에 있어서,
    상기 부정 사건은 영수증 없는 물품을 반품하려 시도하는 사람인, 부정 사건 검출 방법.
  5. 제 4 항에 있어서,
    상기 영수증 없는 물품을 반품하려 시도하는 사람은 상기 소매 위치(160)에서 이전에 검출된 적이 없는, 부정 사건 검출 방법.
  6. 제 4 항에 있어서,
    상기 영수증 없는 물품을 반품하려 시도하는 사람은 상기 물품이 보관된 상기 소매 위치(160)의 영역에서 검출되었던, 부정 사건 검출 방법.
  7. 제 4 항에 있어서,
    상기 영수증 없는 물품을 반품하려 시도하는 사람은 상기 사람이 상기 소매 위치(160)에 진입할 때 상기 물품을 소지하지 않았던, 부정 사건 검출 방법.
  8. 제 1 항에 있어서,
    상기 처리 단계는 상기 이미지 상에 얼굴 인식 분석을 수행하는 단계를 더 포함하는, 부정 사건 검출 방법.
  9. 제 1 항에 있어서,
    상기 처리 단계는 상기 이미지 상에 특징 추출(260) 수행 단계를 더 포함하는, 부정 사건 검출 방법.
  10. 소매 위치(160)에서 부정 사건을 검출하는 방법에 있어서,
    상기 소매 위치(160)의 적어도 하나의 이미지를 획득하는 단계,
    상기 부정 사건과 연계된 상기 이미지내의 적어도 하나의 소정의 특징을 식별하기 위해 비디오 콘텐트 분석 기술들을 사용하여 상기 이미지를 분석하는 단계, 및
    상기 규정(205-210)이 충족된 경우, 규정된 동작(260)을 수행하는 단계를 포함하는, 부정 사건 검출 방법.
  11. 소매 위치(160)에서 부정 사건을 검출하기 위한 시스템(100)에 있어서,
    컴퓨터 판독가능한 코드를 저장하는 메모리(110), 및
    상기 메모리(110)에 작용적으로 연결되고, 상기 컴퓨터 판독가능한 코드를 실행하도록 구성된 프로세서(120)를 포함하고,
    상기 컴퓨터 판독가능한 코드는
    상기 부정 사건을 규정하는, 적어도 하나의 상태(250)를 포함하는 규정(205-210)을 확립하고,
    상기 상태(250)를 식별하기 위해 상기 소매 위치(160)의 적어도 하나의 이미지를 처리하고,
    상기 규정(205-210)이 충족되는 경우, 규정된 동작(260)을 수행하도록 구성되는, 부정 사건 검출 시스템.
  12. 소매 위치(160)에서 부정 사건을 검출하기 위한 시스템(100)에 있어서,
    컴퓨터 판독가능한 코드를 저장하는 메모리(110), 및
    상기 메모리(110)에 작용적으로 연결되고, 상기 컴퓨터 판독가능한 코드를 실행하도록 구성된 프로세서(120)를 포함하고,
    상기 컴퓨터 판독가능한 코드는,
    상기 소매 영역(160)의 적어도 하나의 이미지를 획득하고,
    상기 부정 사건과 연계된 이미지내의 적어도 하나의 소정의 특징을 식별하기 위해 비디오 콘텐트 분석 기술들을 사용하여 상기 이미지를 분석하고,
    상기 규정(205)이 충족되는 경우, 규정된 동작(260)을 수행하도록 구성되는, 부정 사건 검출 시스템.
  13. 소매 위치(160)에서 부정 사건을 검출하기 위한 제품에 있어서,
    컴퓨터 판독가능한 코드 수단이 내부에 구현되어 있는 컴퓨터 판독가능한 매체를 포함하고, 상기 컴퓨터 판독가능한 프로그램 코드 수단은,
    적어도 하나의 상태(250)를 포함하는, 상기 부정 사건을 규정하기 위한 규정(205-210)을 확립하는 단계,
    상기 상태(250)를 식별하기 위해, 상기 소매 위치(160)의 적어도 하나의 이미지를 처리하는 단계, 및
    상기 규정(205-210)이 충족되는 경우, 규정된 동작(260)을 수행하는 단계를포함하는, 부정 사건 검출용 제품.
  14. 소매 위치(160)에서 부정 사건을 검출하기 위한 제품에 있어서,
    컴퓨터 판독가능한 코드 수단이 내부에 구현되어 있는 컴퓨터 판독가능한 매체를 포함하고, 상기 컴퓨터 판독가능한 프로그램 코드 수단은,
    상기 소매 위치(160)의 적어도 하나의 이미지를 획득하는 단계,
    상기 부정 사건과 연계된 상기 이미지내의 적어도 하나의 소정의 특징을 식별하기 위해, 비디오 콘텐트 분석 기술들을 사용하여 상기 이미지를 분석하는 단계, 및
    상기 규정(205-210)이 충족되는 경우, 규정된 동작(260)을 수행하는 단계를 포함하는, 부정 사건 검출용 제품.
KR10-2004-7002514A 2001-08-22 2002-08-02 소매 환경에서 부정 사건들을 검출하기 위한 비젼-기반방법 및 장치 KR20040027951A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/938,148 US20030040925A1 (en) 2001-08-22 2001-08-22 Vision-based method and apparatus for detecting fraudulent events in a retail environment
US09/938,148 2001-08-22
PCT/IB2002/003213 WO2003019490A1 (en) 2001-08-22 2002-08-02 Vision-based method and apparatus for detecting fraudulent events in a retail environment

Publications (1)

Publication Number Publication Date
KR20040027951A true KR20040027951A (ko) 2004-04-01

Family

ID=25470971

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2004-7002514A KR20040027951A (ko) 2001-08-22 2002-08-02 소매 환경에서 부정 사건들을 검출하기 위한 비젼-기반방법 및 장치

Country Status (6)

Country Link
US (1) US20030040925A1 (ko)
EP (1) EP1428189A1 (ko)
JP (1) JP2005501351A (ko)
KR (1) KR20040027951A (ko)
CN (1) CN1543631A (ko)
WO (1) WO2003019490A1 (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050128304A1 (en) * 2002-02-06 2005-06-16 Manasseh Frederick M. System and method for traveler interactions management
US20050075836A1 (en) * 2003-10-03 2005-04-07 Jason Arthur Taylor Forensic person tracking method and apparatus
JP4535486B2 (ja) * 2003-10-16 2010-09-01 邦夫 麻生 購入商品収納カート及びレジスタシステム
US20050110634A1 (en) 2003-11-20 2005-05-26 Salcedo David M. Portable security platform
US7944468B2 (en) * 2005-07-05 2011-05-17 Northrop Grumman Systems Corporation Automated asymmetric threat detection using backward tracking and behavioral analysis
US7561247B2 (en) * 2005-08-22 2009-07-14 Asml Netherlands B.V. Method for the removal of deposition on an optical element, method for the protection of an optical element, device manufacturing method, apparatus including an optical element, and lithographic apparatus
US8417099B2 (en) * 2005-08-26 2013-04-09 Panasonic Corporation Multiplexing method and recording medium
US8078484B2 (en) 2005-10-28 2011-12-13 The Kroger Co. Loss preporting system and method with viewable performance based reports
JP4321541B2 (ja) * 2006-04-03 2009-08-26 ソニー株式会社 監視装置と監視方法
JP4201025B2 (ja) 2006-06-30 2008-12-24 ソニー株式会社 監視装置、監視システム及びフィルタ設定方法、並びに監視プログラム
JP4148285B2 (ja) * 2006-07-27 2008-09-10 ソニー株式会社 監視装置、フィルタ較正方法及びフィルタ較正プログラム
EP2193435A4 (en) * 2007-04-13 2012-07-11 Avisere Inc ARTIFICIAL VISION SYSTEM FOR ENTERPRISE MANAGEMENT
US20090091798A1 (en) * 2007-10-05 2009-04-09 Lawther Joel S Apparel as event marker
US8601494B2 (en) * 2008-01-14 2013-12-03 International Business Machines Corporation Multi-event type monitoring and searching
JP2011065326A (ja) * 2009-09-16 2011-03-31 Seiko Epson Corp 警告装置、警告装置の制御方法およびプログラム
US20110063108A1 (en) * 2009-09-16 2011-03-17 Seiko Epson Corporation Store Surveillance System, Alarm Device, Control Method for a Store Surveillance System, and a Program
US8351662B2 (en) 2010-09-16 2013-01-08 Seiko Epson Corporation System and method for face verification using video sequence
US20120320214A1 (en) * 2011-06-06 2012-12-20 Malay Kundu Notification system and methods for use in retail environments
US8942990B2 (en) 2011-06-06 2015-01-27 Next Level Security Systems, Inc. Return fraud protection system
US8849686B2 (en) * 2011-06-16 2014-09-30 At&T Intellectual Property I, L.P. Methods, devices, and computer program products for associating a tag with a recorded event
EP2936461A1 (en) * 2012-12-21 2015-10-28 Joshua Migdal Verification of fraudulent activities at a selfcheckout terminal
US20150095228A1 (en) * 2013-10-01 2015-04-02 Libo Su Capturing images for financial transactions
JP6003969B2 (ja) * 2013-11-28 2016-10-05 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、制御方法、プログラム
DE112015005293T5 (de) * 2014-11-26 2017-08-17 Google Inc. Präsentation von Informationskarten für Ereignisse, die mit Entitäten verbunden sind
USD989412S1 (en) 2020-05-11 2023-06-13 Shenzhen Liyi99.Com, Ltd. Double-tier pet water fountain
US11188726B1 (en) * 2020-05-29 2021-11-30 Zebra Technologies Corporation Method of detecting a scan avoidance event when an item is passed through the field of view of the scanner
CN111861699B (zh) * 2020-07-02 2021-06-22 北京睿知图远科技有限公司 一种基于运营商数据的反欺诈指数生成方法
USD994237S1 (en) 2021-01-15 2023-08-01 Shenzhen Liyi99.Com, Ltd. Pet water fountain
USD1003727S1 (en) 2021-01-15 2023-11-07 Aborder Products, Inc. Container
USD1013974S1 (en) 2021-06-02 2024-02-06 Aborder Products, Inc. Pet water fountain
US11302161B1 (en) 2021-08-13 2022-04-12 Sai Group Limited Monitoring and tracking checkout activity in a retail environment
US11308775B1 (en) 2021-08-13 2022-04-19 Sai Group Limited Monitoring and tracking interactions with inventory in a retail environment

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5005125A (en) * 1986-02-28 1991-04-02 Sensormatic Electronics Corporation Surveillance, pricing and inventory system
US4751500A (en) * 1987-02-10 1988-06-14 Knogo Corporation Detection of unauthorized removal of theft detection target devices
US5091780A (en) * 1990-05-09 1992-02-25 Carnegie-Mellon University A trainable security system emthod for the same
US5245317A (en) * 1991-12-18 1993-09-14 Duncan Chidley Article theft detection apparatus
US5666157A (en) * 1995-01-03 1997-09-09 Arc Incorporated Abnormality detection and surveillance system
US5667317A (en) * 1995-08-29 1997-09-16 Ncr Corporation Fluorescent security system for printed transaction records
US5831669A (en) * 1996-07-09 1998-11-03 Ericsson Inc Facility monitoring system with image memory and correlation
US5895453A (en) * 1996-08-27 1999-04-20 Sts Systems, Ltd. Method and system for the detection, management and prevention of losses in retail and other environments
US7797164B2 (en) * 1996-10-02 2010-09-14 Nintendo Of America, Inc. Method and apparatus for enabling purchasers of products to obtain return information and to initiate product returns via an on-line network connection
US6085172A (en) * 1996-10-02 2000-07-04 Nintendo Of America Inc. Method and apparatus for efficient handling of product return transactions
US6757663B1 (en) * 1996-10-02 2004-06-29 Nintendo Of America Electronic registration system for product transactions
US5937092A (en) * 1996-12-23 1999-08-10 Esco Electronics Rejection of light intrusion false alarms in a video security system
GB9700966D0 (en) * 1997-01-17 1997-03-05 Secr Defence Millimetre wave imaging apparatus
US6388654B1 (en) * 1997-10-03 2002-05-14 Tegrity, Inc. Method and apparatus for processing, displaying and communicating images
US6016480A (en) * 1997-11-07 2000-01-18 Image Data, Llc Merchandise return fraud prevention system and method
EP0967584B1 (en) * 1998-04-30 2004-10-20 Texas Instruments Incorporated Automatic video monitoring system
JP2000200357A (ja) * 1998-10-27 2000-07-18 Toshiba Tec Corp 人物動線情報の収集方法及び収集装置
WO2000063862A1 (de) * 1999-04-20 2000-10-26 Siemens Aktiengesellschaft Einbruchserkennung mit einem bildtelefon
EP1061487A1 (en) * 1999-06-17 2000-12-20 Istituto Trentino Di Cultura A method and device for automatically controlling a region in space
US6424370B1 (en) * 1999-10-08 2002-07-23 Texas Instruments Incorporated Motion based event detection system and method
US6744462B2 (en) * 2000-12-12 2004-06-01 Koninklijke Philips Electronics N.V. Apparatus and methods for resolution of entry/exit conflicts for security monitoring systems
AU2002227416A1 (en) * 2000-12-15 2002-06-24 Eastern Ribbon And Roll Corp. Paper roll anti-theft protection
US6563423B2 (en) * 2001-03-01 2003-05-13 International Business Machines Corporation Location tracking of individuals in physical spaces
US6525663B2 (en) * 2001-03-15 2003-02-25 Koninklijke Philips Electronics N.V. Automatic system for monitoring persons entering and leaving changing room

Also Published As

Publication number Publication date
JP2005501351A (ja) 2005-01-13
EP1428189A1 (en) 2004-06-16
US20030040925A1 (en) 2003-02-27
CN1543631A (zh) 2004-11-03
WO2003019490A1 (en) 2003-03-06

Similar Documents

Publication Publication Date Title
KR20040027951A (ko) 소매 환경에서 부정 사건들을 검출하기 위한 비젼-기반방법 및 장치
US10477156B2 (en) Video analytics system
US9158975B2 (en) Video analytics for retail business process monitoring
US10817710B2 (en) Predictive theft notification
EP1459272B1 (en) A surveillance system with suspicious behaviour detection
US20080074496A1 (en) Video analytics for banking business process monitoring
US9646228B2 (en) Role-based tracking and surveillance
RU2753959C2 (ru) Модуль видеоанализа и способ формирования материалов расследования поведения пользователя
US20060239506A1 (en) Line textured target detection and tracking with applications to "Basket-run" detection
Zin et al. A Markov random walk model for loitering people detection
CN111161486A (zh) 基于结算箱的商品防盗方法及系统
Qin et al. Detecting and preventing criminal activities in shopping malls using massive video surveillance based on deep learning models
KR102142315B1 (ko) 영상 분석 기반의 금융자동화기기 보안 시스템 및 그 방법
JP2003169320A (ja) 監視方法及び監視システム
US20030004913A1 (en) Vision-based method and apparatus for detecting an event requiring assistance or documentation
CN111507282A (zh) 一种目标检测预警分析系统、方法、设备及介质
CN115546703B (zh) 自助收银的风险识别方法、装置、设备及存储介质
JP7054075B2 (ja) 情報処理システム、情報処理方法、及びプログラム
JP6531804B2 (ja) 情報処理装置、制御方法、及びプログラム
CN115497038A (zh) 物品监测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid