JPWO2015033576A1 - セキュリティシステム、セキュリティ方法及びセキュリティプログラム - Google Patents

セキュリティシステム、セキュリティ方法及びセキュリティプログラム Download PDF

Info

Publication number
JPWO2015033576A1
JPWO2015033576A1 JP2015535321A JP2015535321A JPWO2015033576A1 JP WO2015033576 A1 JPWO2015033576 A1 JP WO2015033576A1 JP 2015535321 A JP2015535321 A JP 2015535321A JP 2015535321 A JP2015535321 A JP 2015535321A JP WO2015033576 A1 JPWO2015033576 A1 JP WO2015033576A1
Authority
JP
Japan
Prior art keywords
suspicious
person
action
security system
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015535321A
Other languages
English (en)
Other versions
JP6249021B2 (ja
Inventor
内田　薫
薫 内田
山下　信行
信行 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2015033576A1 publication Critical patent/JPWO2015033576A1/ja
Application granted granted Critical
Publication of JP6249021B2 publication Critical patent/JP6249021B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Alarm Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

セキュリティシステム（１０）は、店舗内の人物を撮像した入力画像情報を取得する画像情報取得部（１１）と、入力画像情報に基づいて、人物の手の動作をトラッキングするトラッキング部（１２）と、トラッキングした手の動作に基づいて、人物の不審動作を検出する不審動作検出部（１３）と、を備えるものである。これにより、精度良く不審動作を検出することが可能なセキュリティシステム、セキュリティ方法及びセキュリティプログラムを提供する。

Description

本発明は、セキュリティシステム、セキュリティ方法及びセキュリティプログラムが格納された非一時的なコンピュータ可読媒体に関し、特に、人物の画像を用いたセキュリティシステム、セキュリティ方法及びセキュリティプログラムが格納された非一時的なコンピュータ可読媒体に関する。
店舗では、顧客による万引きやアルバイトによる横領などの被害が後を絶たない。このような不正行為を防ぐために、店員や店舗マネージャが目視にて監視を行ったり、通常の２Ｄカメラで監視した画像を録画し目視にて事後確認を行ったりしている。
目視で不正行為を確認することは、効率が悪いことから、例えば、関連する技術である特許文献１〜５のようなシステムの開発が進められている。
特開２０１１−０６５３２８号公報 特開２０１０−０９４３３２号公報 特開２００９−０４８４３０号公報 特開２００９−００９２３１号公報 特開２００８−２５７４８７号公報
例えば、特許文献１などの関連する技術では、店員の顔の振れた回数が所定回数以上で、かつ、レジの取消金額が基準金額以上の場合、不正行為の疑い（不審動作）があることを検出している。
しかしながら、関連する技術では、顔の振れ等により検出を行っているため、店員等の不審動作を検出することができない場合がある。例えば、不審動作は手元で行われることが多いが、関連する技術では、手元の動作に基づいた行為を検出することはできない。
したがって、関連する技術では、店員や顧客等の不審動作を精度よく検出することが困難であるという問題があった。
本発明は、このような問題に鑑み、精度良く不審動作を検出することが可能なセキュリティシステム、セキュリティ方法及びセキュリティプログラムが格納された非一時的なコンピュータ可読媒体を提供することを目的とする。
本発明に係るセキュリティシステムは、店舗内の人物を撮像した入力画像情報を取得する画像情報取得部と、前記入力画像情報に基づいて、前記人物の手の動作をトラッキングするトラッキング部と、前記トラッキングした手の動作に基づいて、前記人物の不審動作を検出する不審動作検出部と、を備えるものである。
本発明に係るセキュリティ方法は、店舗内の人物を撮像した入力画像情報を取得し、前記入力画像情報に基づいて、前記人物の手の動作をトラッキングし、前記トラッキングした手の動作に基づいて、前記人物の不審動作を検出するものである。
本発明に係るセキュリティプログラムが格納された非一時的なコンピュータ可読媒体は、店舗内の人物を撮像した入力画像情報を取得し、前記入力画像情報に基づいて、前記人物の手の動作をトラッキングし、前記トラッキングした手の動作に基づいて、前記人物の不審動作を検出する、セキュリティ処理をコンピュータに実行させるためのものである。
本発明によれば、精度良く不審動作を検出することが可能なセキュリティシステム、セキュリティ方法及びセキュリティプログラムが格納された非一時的なコンピュータ可読媒体を提供することができる。
実施の形態に係るセキュリティシステムの主要な構成を示す構成図である。 実施の形態１に係るセキュリティシステムの構成を示す構成図である。 実施の形態１に係る３Ｄカメラの構成例を示す図である。 実施の形態１に係る３Ｄカメラの構成例を示す図である。 実施の形態１に係る距離画像解析部の構成を示す構成図である。 実施の形態１に係るセキュリティシステムの動作を示すフローチャートである。 実施の形態１に係る距離画像解析処理の動作を示すフローチャートである。 実施の形態１に係る警告情報生成処理の動作を示すフローチャートである。 実施の形態１に係る警告情報生成処理の動作を説明するための説明図である。 実施の形態２に係るセキュリティシステムの構成を示す構成図である。 実施の形態２に係る距離画像解析部の構成を示す構成図である。
（実施の形態の概要）
実施の形態の説明に先立って、実施の形態の特徴についてその概要を説明する。図１は、実施の形態に係るセキュリティシステムの主要な構成を示している。
図１に示すように、実施の形態に係るセキュリティシステム１０は、画像情報取得部１１、トラッキング部１２、不審動作検出部１３を備えている。画像情報取得部１１は、店舗内の人物を撮像した入力画像情報を取得する。トラッキング部１２は、入力画像情報に基づいて、人物の手の動作をトラッキング（追跡）する。不審動作検出部１３は、トラッキングした手の動作に基づいて、人物の不審動作を検出する。
このように、実施の形態では、店舗内の人物の手の動作をトラッキングし、トラッキング結果に基づいて不審動作を検出する。例えば、店舗の商品棚の前における顧客や店員の手元の動作をトラッキングすることで、万引きや横領などにつながる不審動作を、精度よく検出することができる。
（実施の形態１）
以下、図面を参照して実施の形態１について説明する。図２は、本実施の形態に係るセキュリティシステムの構成を示している。このセキュリティシステムは、店舗等において、顧客や店員の不審動作を検出し、警告（警報）の出力（表示）等を行うシステムである。なお、顧客には、店舗に来店（入店）した全ての人物を含み、店員には、店舗の業務に関わる全ての人物を含む。
図２に示すように、本実施の形態に係るセキュリティシステム１は、セキュリティ装置１００、３Ｄカメラ２１０、顔認識カメラ２２０、店内カメラ２３０、警告装置２４０を備えている。例えば、セキュリティシステム１の各構成は同一の店舗に設けられているが、セキュリティ装置１００や警告装置２４０を店舗の外部に設けてもよい。なお、ここでは、セキュリティシステム１の各構成を別々の装置として説明するが、各構成を１または任意の数の装置としてもよい。
３Ｄカメラ（３次元カメラ）２１０は、対象を撮像及び計測し、距離画像（距離画像情報）を生成する撮像装置（距離画像センサ）である。距離画像は、対象を撮像した画像情報と、対象までの距離を計測した距離情報を含んでいる。例えば、３Ｄカメラ２１０は、Ｍｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ（登録商標）や、ステレオカメラなどで構成される。３Ｄカメラを用いることで、距離情報を含めて対象（顧客の動作など）を認識（トラッキング）できるため、高精度な認識処理を行うことができる。
図３Ａ及び図３Ｂのように、本実施の形態では、３Ｄカメラ２１０は、顧客や店員の手元による不審動作を検出するために、店内の特定の位置で顧客や店員を撮像する。図３Ａの例では、３Ｄカメラ２１０は、商品３０１が配置（陳列）された商品棚（商品陳列棚）３００を撮像し、特に、商品棚３００の前で商品３０１に接触しようとしている顧客４００を撮像する。３Ｄカメラ２１０は、商品棚３００の商品配置領域と商品棚３００の前で顧客が商品を手に取る／見る領域、すなわち、商品棚３００が商品を顧客に提示する提示領域を撮像する。３Ｄカメラ２１０は、商品棚３００と、商品棚３００の前（近傍）の顧客４００が撮像可能な位置、例えば、商品棚３００の上方（天井など）や前方（壁など）、もしくは商品棚３００に設置されている。
図３Ｂの例では、３Ｄカメラ２１０は、レジ３１１が設置されたレジカウンター３１０を撮像し、特に、レジカウンター３１０の前に立ち、顧客４００へ商品３０１を販売しようとしている店員４１０、もしくは、金銭３０２に接触しようとしている店員４１０を撮像する。３Ｄカメラ２１０は、レジカウンター３１０と、レジカウンター３１０の前（近傍）の店員４１０が撮像可能な位置、例えば、レジカウンター３１０（天井など）の上方や前方（壁など）、もしくはレジカウンター３１０（レジ３１１）などに設置されている。
なお、商品棚３００やレジカウンター３１０を撮像する装置として、３Ｄカメラ２１０の例について説明するが、３Ｄカメラに限らず、撮像した画像のみを出力する一般的なカメラ（２Ｄカメラ）で構成してもよい。この場合、画像情報のみを用いてトラッキングが行われる。
顔認識カメラ２２０及び店内カメラ２３０は、対象を撮像した画像を生成する撮像装置（２Ｄカメラ）である。顔認識カメラ２２０は、顧客の顔を認識するために、店舗の入口などに設置され、来店した顧客の顔を撮像し顔画像を生成する。店内カメラ２３０は、店内の顧客による混雑状況を検出するために、店内の複数の位置に配置され、店内の各売り場を撮像し店内画像を生成する。なお、顔認識カメラ２２０及び店内カメラ２３０は、３Ｄカメラで構成してもよい。３Ｄカメラとすることで、顧客の顔や店内の混雑状況を精度よく認識できる。
警告装置２４０は、店舗マネージャ、経営者、警備員などの監視者へ警告情報（アラーム）を通知（出力）し、また記録を行う装置である。監視者へ通知（出力）する方法は任意の方法でよく、例えば、表示装置による文字や画像等の表示や、スピーカ等による音声出力でもよい。警告装置２４０は、監視者が視認可能（聞き取り可能）な位置に設置される。警告装置２４０は、例えば、棚・レジ・警備員室・店内の従業員端末などでもよいし、店舗の外部にネットワークで接続された監視装置でもよい。例えば、警告装置２４０は、パーソナルコンピュータやサーバコンピュータなど表示装置や記憶装置を含むコンピュータで構成される。
図２に示すように、セキュリティ装置１００は、距離画像解析部１１０、人物認識部１２０、店内状況解析部１３０、警告情報生成部１４０、不審動作情報ＤＢ（データベース）１５０、３Ｄ動画情報記録部１６０、不審者情報ＤＢ１７０を備えている。なお、ここでは、これらの各ブロックをセキュリティ装置１００の機能として説明するが、後述する本実施の形態に係る動作が実現できれば、その他の構成であってもよい。
セキュリティ装置１００における各構成は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。セキュリティ装置１００の各機能（各処理）を、ＣＰＵやメモリ等を有するコンピュータにより実現してもよい。例えば、記憶装置に実施の形態におけるセキュリティ方法（セキュリティ処理）を行うためのセキュリティプログラムを格納し、各機能を、記憶装置に格納されたセキュリティプログラムをＣＰＵで実行することにより実現してもよい。
このセキュリティプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
距離画像解析部１１０は、３Ｄカメラ２１０が生成した距離画像を取得し、取得した距離画像に基づいて検出対象をトラッキングし、その動作を認識する。本実施の形態では、距離画像解析部１１０は、主に、顧客や店員の手元の動作をトラッキングし認識する。距離画像解析部１１０は、距離画像に含まれる顧客や店員の不審動作を認識するため不審動作情報ＤＢ１５０を参照する。距離画像解析部１１０は、不審動作の認識や不審レベルの判定などに必要な検出も行う。例えば、不審動作を行っている時間や、対象商品の数量、金額、対象行為の規模（傷の大きさなど）なども検出する。また、距離画像解析部１１０は、３Ｄカメラ２１０から取得した距離画像を３Ｄ動画として、３Ｄ動画情報記録部１６０に記録する。
人物認識部１２０は、顔認識カメラ２２０が生成した顧客の顔画像を取得し、取得した顔画像に含まれる人物を認識する。人物認識部１２０は、不審者情報ＤＢ１７０を参照し、顔画像と比較することで不審者か否か判定する。店内状況解析部１３０は、店内カメラ２３０が生成した店内画像を取得し、取得した店内画像に基づいて店内における顧客の人数を解析し、店内の混雑状況を検出する。
警告情報生成部１４０は、距離画像解析部１１０、人物認識部１２０、店内状況解析部１３０の検出結果に基づいて、監視者へ通報する警告情報を生成し、生成した警告情報を警告装置２４０へ出力する。警告情報生成部１４０は、距離画像解析部１１０により検出された顧客や店員の手元の動作に基づいた警告情報、人物認識部１２０が認識した不審者に基づいた警告情報、店内状況解析部１３０が解析した店内の混雑状況に基づいた警告情報を生成し出力する。また、警告情報生成部１４０は、生成した警告情報を３Ｄ動画情報記録部１６０の３Ｄ動画に記録してもよい。
不審動作情報ＤＢ１５０は、顧客や店員による不審動作を検出するための不審動作パターン（不審動作パターン情報）を記憶する。なお、不審動作とは、顧客や店員などの人物による不正行為が疑われる動作（予備的行為）であり、不正行為を含んでいてもよい。不審動作情報ＤＢ１５０は、不審動作パターンとして、例えば、商品不正取得パターン１５１、商品不正改変パターン１５２、金銭不正取得パターン１５３などを記憶する。
商品不正取得パターン１５１は、商品を不正に取得する動作のパターン情報であり、例えば、顧客が商品をカゴやカート以外の不正な場所に入れる動作などを含む。商品不正改変パターン１５２は、商品を不正に改変する動作のパターン情報であり、例えば、顧客が商品を破壊したり傷つける動作などを含む。金銭不正取得パターン１５３は、金銭を不正に取得する動作のパターン情報であり、例えば、店員が金銭をレジからポケットなどの不正な場所に入れる動作などを含む。
不審者情報ＤＢ１７０は、来店した顧客が不審者であることを検出するための不審者識別情報を記憶する。不審者には、前歴者、常習者、要注意者が含まれ、不審者識別情報には、氏名、性別、年齢、顔のイメージ情報（画像）などを含む。例えば、不審者情報ＤＢ１７０は、クラウド（クラウドネットワーク）２５０などから前歴者などの不審者情報を取得して記憶し、また、店舗の履歴などに基づいて常習者（要注意者）などの不審者情報を記憶する。
図４は、セキュリティ装置１００の距離画像解析部１１０の構成を示している。図４に示すように、距離画像解析部１１０は、距離画像取得部１１１、領域検出部１１２、手元トラッキング部１１３、手元動作認識部１１４を備えている。なお、主に、人物の手元の動作を認識するための構成について説明するが、その他、人物の顔や視線、商品や金銭なども同様の構成により検出可能である。
距離画像取得部１１１は、３Ｄカメラ２１０が撮像し生成した顧客や店員を含む距離画像を取得する。領域検出部１１２は、距離画像取得部１１１が取得した距離画像に含まれる顧客や店員の各部の領域を検出する。
手元トラッキング部１１３は、領域検出部１１２が検出した顧客や店員の手元（手）の動作をトラッキングする。手元動作認識部１１４は、手元トラッキング部１１３がトラッキングした手元（手）の動作に基づいて、顧客や店員の不審動作を認識する。手元動作認識部１１４は、不審動作情報ＤＢ１５０に基づいて、例えば、商品を服のポケットに入れる等のような商品不正取得パターン、商品を壊す等のような商品不正改変パターン、金銭を服のポケットに入れる等のような金銭不正取得パターンに該当するか否か判定する。
次に、図５を用いて、本実施の形態に係るセキュリティシステム（セキュリティ装置）で実行されるセキュリティ方法（セキュリティ処理）について説明する。
図５に示すように、まず、顧客が店舗に入り、店舗内の棚に近づく（Ｓ１０１）。そうすると、店舗内の顔認識カメラ２２０が、顧客の顔撮像を生成し、セキュリティ装置１００が、顔画像を前歴者／要注意リストなどの不審者情報と照合する（Ｓ１０２）。すなわち、セキュリティ装置１００の人物認識部１２０は、不審者情報ＤＢ１７０に記憶された不審者（前歴者／要注意リスト）の顔のイメージ情報と、顔認識カメラ２２０が撮像した顔画像とを比較し、マッチング（一致）する人物を検索することで、顧客が不審者か否か判定する。
続いて、顧客がカート／カゴ以外へ商品を入れるなど不審動作を行う（Ｓ１０３）。そうすると、棚近傍の３Ｄカメラ２１０が顧客の手元を撮像し、セキュリティ装置１００が、３Ｄカメラ２１０の距離画像により顧客の手元の動きを認識する（Ｓ１０４）。すなわち、セキュリティ装置１００の距離画像解析部１１０は、顧客の手元を撮像した距離画像をトラッキングし、顧客が商品を手に取り不正な場所へ入れたことを認識する。
続いて、セキュリティ装置１００は、Ｓ１０４で認識した顧客の手元の動作に基づいて不審行為を判定し、店員端末・警備端末などの警告装置２４０へ警告を表示、記録を行う（Ｓ１０５）。すなわち、セキュリティ装置１００の警告情報生成部１４０は、判定した不審動作を示す警告情報を生成し出力する。また、警告情報生成部１４０は、Ｓ１０２で認識した不審者に基づいた警告情報を生成して出力する。
また、顧客の他に、店員がレジカウンターに近づき（Ｓ１０６）、レジ以外へ金銭を入れるなど不審行動を行う（Ｓ１０７）。そうすると、上記顧客の動作の場合と同様に、セキュリティ装置１００が、３Ｄカメラ２１０の距離画像により店員の手元の動きを認識し（Ｓ１０４）、警告装置２４０へ警告を表示、記録を行う（Ｓ１０５）。
図６は、図５のＳ１０４における距離画像解析部１１０で実行される認識処理（トラッキング処理）の詳細を示している。なお、図６の処理は一例であり、その他の画像解析処理により、手元の動作を認識してもよく、同様に、人物の顔や視線、商品や金銭などを検出してもよい。
図６に示すように、まず、距離画像取得部１１１は、３Ｄカメラ２１０から顧客または店員を含む距離画像を取得する（Ｓ２０１）。続いて、領域検出部１１２は、Ｓ２０１で取得した距離画像に含まれる顧客または店員の人物を検出し（Ｓ２０２）、さらに人物の各領域の領域を検出する（Ｓ２０３）。例えば、領域検出部１１２は、ＳＶＭ（Support Vector Machine）などの識別器を用いて、距離画像に含まれる画像及び距離に基づき、人物（顧客または店員）を検出し、検出した人物の関節を推定することで、人物の骨格を検出する。領域検出部１１２は、検出した骨格に基づいて、人物の手（手元）などの各部の領域を検出する。
続いて、手元トラッキング部１１３は、Ｓ２０３で検出した顧客または店員の手元の動作をトラッキングする（Ｓ２０４）。手元トラッキング部１１３は、距離画像に含まれる画像及び距離に基づいて、顧客の手の周辺の骨格をトラッキングし、手の指や手のひらの動作を検出する。
続いて、手元動作認識部１１４は、Ｓ２０４でトラッキングした手元の動作に基づいて、手元の動作の特徴を抽出し（Ｓ２０５）、抽出した特徴に基づいて、顧客や店員の不審動作を認識する（Ｓ２０６）。手元動作認識部１１４は、指、手のひら（手首）の向き、角度、移動量の変化を特徴量として抽出する。
例えば、手元動作認識部１１４は、指の角度から顧客が商品を握っていることを検出し、また、手を服のポケットに近づけた状態で指を商品から離した場合、顧客が商品を服のポケットに入れたことを検出する。そして、手元動作認識部１１４は、検出した動作のパターンと、不審動作情報ＤＢ１５０の商品不正取得パターン１５１、商品不正改変パターン１５２、金銭不正取得パターン１５３とを比較し、これらの動作パターンに該当する場合、不審動作であると判定する。また、商品不正取得パターン１５１、商品不正改変パターン１５２、金銭不正取得パターン１５３の画像の特徴を予め学習しておき、学習した特徴量と検出した特徴量を比較することで、手元の状態を識別してもよい。
図７は、図５のＳ１０４及びＳ１０５において実行される警告出力処理の詳細を示している。
図７に示すように、まず、距離画像解析部１１０において、顧客または店員が不審動作を行ったか否か判断する（Ｓ３０１）。例えば、顧客が、商品をポケット・手持ち袋など、商品カゴ・カート以外に入れる動作や、商品を壊す、傷を付ける、異物を混入する、配置を不正に変える等の動作を判断する。また、店員が、売上を着服する、商品を横領(ポケットなどへ金銭を入れる)する、正規の代金を受け取らずに共謀する顧客に商品を渡す等の動作を判断する。その他、不審動作として、頻繁に周りを見回す、パチンコ台に細工・不正操作する、ＡＴＭ（Automated Teller Machine）にスキミング機器を取り付ける、レジや電子マネー装置の不正操作、公金収納／チケット発行などでの正規プロセスを逸脱する動作などを検出してもよい。顧客または店員が該当する動作を行った場合、動作に応じた警告情報を出力するため、以下の処理を行う。
すなわち、警告情報生成部１４０は、不審者情報を取得し（Ｓ３０２）、店内の混雑状況を取得する（Ｓ３０３）。警告情報生成部１４０は、顔認識カメラ２２０の顔画像による人物認識結果に基づいた警告情報を提供するため、人物認識部１２０から顧客が不審者か否かを示す不審者情報を取得する。また、警告情報生成部１４０は、店内カメラ２３０の店内画像による混雑状況解析結果に基づいた警告情報を提供するため、店内状況解析部１３０から店内の混雑状況を取得する。なお、顧客を認識する前や、混雑状況を解析する前、各情報が不要な場合においては、不審者情報の取得や混雑状況の取得は省略してもよい。
続いて、警告情報生成部１４０は、検出した顧客または店員の不審動作に対して不審レベルを判定する（Ｓ３０４）。例えば、不審動作情報ＤＢ１５０の不審動作パターンごとに不審レベルが割り当てられており、不審動作情報ＤＢ１５０を参照して不審レベルを決定する。
図８は、不審動作に対する不審レベルの例を示している。例えば、図８に示すように、不審レベル１〜５の間でレベルを設定する。例えば、不審レベルが大きいほど、不正行為である疑いが強い。
一例として、顧客の動作が、商品不正取得パターンの「商品を不正場所に入れた」に該当する場合、不審動作情報ＤＢ１５０を参照して不審レベル３とする。そして、他のパラメータを考慮して不審レベルを調整する。
例えば、不審動作の時間が短い場合や、商品が大量の場合、商品が高額の場合、万引きの可能性が高い。このため、動作時間、商品数、商品の値段について閾値を設定する。この閾値よりも時間が短い場合や、商品数が多い場合、商品の値段が高い場合には、閾値を超える量に応じて不審レベルを大きくし、閾値よりも時間が長い場合や、商品数が少ない場合、商品の値段が安い場合には、閾値を下回る量に応じて不審レベルを小さくする。
同様に、顧客の動作が、商品不正改変パターンの「商品を傷つけた」、「商品箱を開けた」、「商品箱を変形させた」に該当する場合、不審動作情報ＤＢ１５０を参照して不審レベル３とする。そして、他のパラメータを考慮して不審レベルを調整する。
例えば、傷が大きい場合や商品箱が変形している場合、不審動作の時間が短い場合、商品が大量の場合、商品が高額の場合、悪質である可能性が高い。このため、傷の大きさ（割合）、動作時間、商品数、商品の値段について閾値を設定する。この閾値よりも傷が大きい場合や、時間が短い場合、商品数が多い場合、商品の値段が高い場合には、閾値を超える量に応じて不審レベルを大きくし、閾値よりも傷が小さい場合や、時間が長い場合、商品数が少ない場合、商品の値段が安い場合には、閾値を下回る量に応じて不審レベルを小さくする。
同様に、店員の動作が、金銭不正取得パターンの「金銭を不正場所に移動した」に該当する場合、不審動作情報ＤＢ１５０を参照して不審レベル３とする。そして、他のパラメータを考慮して不審レベルを調整する。
例えば、不審動作の時間が短い場合や、高額の場合、横領である可能性が高い。このため、動作時間、金額について閾値を設定する。この閾値よりも時間が短い場合や、金額が高い場合には、閾値を超える量に応じて不審レベルを大きくし、閾値よりも時間が長い場合や、金額が安い場合には、閾値を下回る量に応じて不審レベルを小さくする。
さらに、顧客が不審者の場合や、店内の状況が混雑／閑散の場合には、不審動作を行う可能性が高いため、不審レベルを大きくする。その他、顧客や店員が周りを見回すような行為の場合に、不審レベルを大きくしてもよい。
なお、ここでは、不審動作を検出した場合に、不審者や店内の状況に基づいて不審レベルを判定するが、不審動作の検出前に考慮してもよい。例えば、顧客が不審者の場合や、店内の状況が混雑／閑散の場合、開いた袋を持っていた場合などに、不審動作を未検出でも警告情報（注意情報）を出力してもよい。また、この場合に、不審動作検出の閾値（例えば不審動作を検出するまでの時間など）を下げて、不審動作を検出しやすいようにしてもよい。
続いて、警告情報生成部１４０は、判定結果に基づいて警告情報を出力する（Ｓ３０５）。警告情報生成部１４０は、検出した不審動作と、判定した不審レベルを警告装置２４０へ出力する。例えば、不審レベルに基づいて警告情報の出力を制御してもよい。不審レベルが所定値よりも小さい場合、警告が不要であるため、警告装置２４０へ出力しなくてもよく、また、この場合、警告装置２４０で表示せずに記録のみを行ってもよい。
また、不審動作及び不審レベルを３Ｄ動画情報に記録してもよい。不審レベルを記録しておくことで、不審レベルの高い部分の前後のみを抽出して確認することができ、３Ｄ動画の内容を効率よく確認することができる。
以上のように、本実施の形態では、商品棚やレジの前の顧客（ショッパー）や店員が見える位置に配置した３Ｄカメラにより顧客や店員の手元の動きを観察し、顧客や店員の不審な動作を認識する。そして、不審動作を認識すると棚・レジ・警備員室・店内の従業員端末などに警告情報（アラーム）を通知し、また動作を記録する。
これにより、３Ｄカメラにより手の動きが精密に把握でき、商品を不正に取得したり、商品を不正に改変したり、金銭を不正に取得したりするなどの動作を把握できるため、精度良く不審動作を検出し、不審動作に応じた警告情報を出力することができる。したがって、不審動作／不正行為の監視を自動化し、効率的にセキュリティ強化が図れ、利益率を向上することができる。
（実施の形態２）
以下、図面を参照して実施の形態２について説明する。本実施の形態は、実施の形態１における不審動作認識の補完として、正常動作情報パターンからの外れ動作を検知することで、不審動作を検知する例である。すなわち、実施の形態１の例に限らず、店員が、売上を着服する、商品を横領(ポケットなどへ金銭を入れる)する、正規の代金を受け取らずに共謀する顧客に商品を渡す等の動作を検知するのでは無く、店員の通常のレジ作業等の動作からの逸脱を検知することで、不審動作と判定してもよい。
図９は、本実施の形態に係るセキュリティシステムの構成を示している。図９に示すように、本実施の形態では、実施の形態１の図２の構成に対して、セキュリティ装置１００がさらに正常動作情報ＤＢ１８０を備えている。
正常動作情報ＤＢ１８０は、顧客や店員による正常な動作を示す正常動作パターン（正常動作パターン情報）を記憶する。正常動作情報ＤＢ１８０は、正常動作パターンとして、例えば、商品正常取得パターン１８１、商品正常変更パターン１８２、金銭正常取得パターン１８３などを記憶する。
商品正常取得パターン１８１は、商品を正常に取得する動作のパターン情報であり、例えば、顧客が商品をカゴやカートに入れる動作などを含む。商品正常変更パターン１８２は、商品を正常に変更する動作のパターン情報であり、例えば、店員が商品の陳列を変更する動作などを含む。金銭正常取得パターン１８３は、金銭を正常に取得する動作のパターン情報であり、例えば、店員の通常のレジ作業動作、店員が金銭をレジから顧客へ渡す動作などを含む。
図１０は、本実施の形態に係るセキュリティ装置１００の距離画像解析部１１０の構成を示している。図１０に示すように、本実施の形態では、実施の形態１の図４の構成に対して、さらに外れ行動検知部１１５を備えている。
外れ行動検知部１１５は、手元トラッキング部１１３がトラッキングした手元（手）の動作に基づいて、顧客や店員の動作が正常動作から外れている（不審動作）か否かを検出する。外れ行動検知部１１５は、正常動作情報ＤＢ１８０を参照し、検出した顧客や店員の動作と商品正常取得パターン１８１、商品正常変更パターン１８２、金銭正常取得パターン１８３とを比較し、顧客や店員の動作がこれらの動作パターンに該当しない場合、不審動作であると判定する。例えば、正常動作パターンから外れている度合（不一致の度合）に応じて不審レベルを設定してもよい。
また、不正動作パターンを用いた手元動作認識部１１４による検出結果と正常動作パターンを用いた外れ行動検知部１１５による検出結果の両方を考慮して不審動作を判定してもよい。例えば、手元動作認識部１１４と外れ行動検知部１１５のいずれかが不審と判定した場合に、不審動作であると決定してもよいし、手元動作認識部１１４と外れ行動検知部１１５の両方が不審と判定した場合に、不審動作であると決定してもよい。
以上のように、実施の形態１における不正動作パターンを用いた不審動作検出に限らず、顧客や店員の動作が正常動作パターンから外れているか否かに基づいて不審動作を検出することにより、さらに精度よく不審動作を検出することができる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１３年９月６日に出願された日本出願特願２０１３−１８５１３０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１、１０ セキュリティシステム
１１ 画像情報取得部
１２ トラッキング部
１３ 不審動作検出部
１００ セキュリティ装置
１１０ 距離画像解析部
１１１ 距離画像取得部
１１２ 領域検出部
１１３ 手元トラッキング部
１１４ 手元動作認識部
１１５ 外れ行動検知部
１２０ 人物認識部
１３０ 店内状況解析部
１４０ 警告情報生成部
１５０ 不審動作情報ＤＢ
１５１ 商品不正取得パターン
１５２ 商品不正改変パターン
１５３ 金銭不正取得パターン
１６０ 動画情報記録部
１７０ 不審者情報ＤＢ
１８０ 正常動作情報ＤＢ
１８１ 商品正常取得パターン
１８２ 商品正常変更パターン
１８３ 金銭正常取得パターン
２１０ ３Ｄカメラ
２２０ 顔認識カメラ
２３０ 店内カメラ
２４０ 警告装置
３００ 商品棚
３０１ 商品
３０２ 金銭
３１０ レジカウンター
３１１ レジ
４００ 顧客
４１０ 店員

Claims (15)

  1. 店舗内の人物を撮像した入力画像情報を取得する画像情報取得手段と、
    前記入力画像情報に基づいて、前記人物の手の動作をトラッキングするトラッキング手段と、
    前記トラッキングした手の動作に基づいて、前記人物の不審動作を検出する不審動作検出手段と、
    を備えるセキュリティシステム。
  2. 前記入力画像情報は、対象を撮像した画像情報と前記対象までの距離を計測した距離情報を含む距離画像情報である、
    請求項１に記載のセキュリティシステム。
  3. 前記不審動作検出手段は、前記手の動作に基づいて、前記人物が商品を不正に取得する動作を検出する、
    請求項１または２に記載のセキュリティシステム。
  4. 前記不審動作検出手段は、前記手の動作に基づいて、前記人物が商品を不正に改変する動作を検出する、
    請求項１乃至３のいずれか一項に記載のセキュリティシステム。
  5. 前記不審動作検出手段は、前記手の動作に基づいて、前記人物が金銭を不正に取得する動作を検出する、
    請求項１乃至４のいずれか一項に記載のセキュリティシステム。
  6. 前記不審動作検出手段は、前記検出した不審動作に応じた不審レベルを判定する、
    請求項１乃至５のいずれか一項に記載のセキュリティシステム。
  7. 前記不審動作検出手段は、前記不審動作の動作時間の長さに応じて前記不審レベルを判定する、
    請求項６に記載のセキュリティシステム。
  8. 前記不審動作検出手段は、前記不審動作に関する商品の数に応じて前記不審レベルを判定する、
    請求項６または７に記載のセキュリティシステム。
  9. 前記不審動作検出手段は、前記不審動作に関する金額に応じて前記不審レベルを判定する、
    請求項６乃至８のいずれか一項に記載のセキュリティシステム。
  10. 前記不審動作検出手段は、前記人物が不審者であるか否かに応じて前記不審レベルを判定する、
    請求項６乃至９のいずれか一項に記載のセキュリティシステム。
  11. 前記不審動作検出手段は、前記店舗の混雑状況に応じて前記不審レベルを判定する、
    請求項６乃至１０のいずれか一項に記載のセキュリティシステム。
  12. 前記検出された不審動作に応じて警告を出力する警告出力手段を備える、
    請求項１乃至１１のいずれか一項に記載のセキュリティシステム。
  13. 前記判定された不審レベルに応じて、前記不審動作の警告を出力する警告出力手段を備える、
    請求項６乃至１１のいずれか一項に記載のセキュリティシステム。
  14. 店舗内の人物を撮像した入力画像情報を取得し、
    前記入力画像情報に基づいて、前記人物の手の動作をトラッキングし、
    前記トラッキングした手の動作に基づいて、前記人物の不審動作を検出する、
    セキュリティ方法。
  15. 店舗内の人物を撮像した入力画像情報を取得し、
    前記入力画像情報に基づいて、前記人物の手の動作をトラッキングし、
    前記トラッキングした手の動作に基づいて、前記人物の不審動作を検出する、
    セキュリティ処理をコンピュータに実行させるためのセキュリティプログラムが格納された非一時的なコンピュータ可読媒体。
JP2015535321A 2013-09-06 2014-09-05 セキュリティシステム、セキュリティ方法及びセキュリティプログラム Active JP6249021B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013185130 2013-09-06
JP2013185130 2013-09-06
PCT/JP2014/004583 WO2015033576A1 (ja) 2013-09-06 2014-09-05 セキュリティシステム、セキュリティ方法及び非一時的なコンピュータ可読媒体

Publications (2)

Publication Number Publication Date
JPWO2015033576A1 true JPWO2015033576A1 (ja) 2017-03-02
JP6249021B2 JP6249021B2 (ja) 2017-12-20

Family

ID=52628072

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015535321A Active JP6249021B2 (ja) 2013-09-06 2014-09-05 セキュリティシステム、セキュリティ方法及びセキュリティプログラム

Country Status (4)

Country Link
US (6) US20160210829A1 (ja)
JP (1) JP6249021B2 (ja)
CN (2) CN111723668A (ja)
WO (1) WO2015033576A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023020356A (ja) * 2021-07-30 2023-02-09 富士通株式会社 情報処理プログラム、情報処理方法、および情報処理装置
JP2023020357A (ja) * 2021-07-30 2023-02-09 富士通株式会社 情報処理プログラム、情報処理方法、および情報処理装置

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2929216B1 (en) 2012-08-21 2020-07-08 Nexen Group, Inc. Strain wave gear system
JP6249021B2 (ja) * 2013-09-06 2017-12-20 日本電気株式会社 セキュリティシステム、セキュリティ方法及びセキュリティプログラム
US9542626B2 (en) * 2013-09-06 2017-01-10 Toyota Jidosha Kabushiki Kaisha Augmenting layer-based object detection with deep convolutional neural networks
US20150206188A1 (en) * 2014-01-17 2015-07-23 Panasonic Intellectual Property Corporation Of America Item presentation method, and information display method
JP6197952B2 (ja) * 2014-05-12 2017-09-20 富士通株式会社 商品情報出力方法、商品情報出力プログラムおよび制御装置
US20180002109A1 (en) * 2015-01-22 2018-01-04 Nec Corporation Shelf space allocation management device and shelf space allocation management method
JP6563234B2 (ja) * 2015-03-31 2019-08-21 綜合警備保障株式会社 警備システム及び警備方法
JP6558178B2 (ja) * 2015-09-24 2019-08-14 日本電気株式会社 迷惑行為者推定システム、迷惑行為者推定システムの制御方法及び制御プログラム
JP2017097599A (ja) * 2015-11-24 2017-06-01 宮田　清蔵 例外行動顧客の判定方法及び例外行動顧客の判定装置
US10360572B2 (en) * 2016-03-07 2019-07-23 Ricoh Company, Ltd. Image processing system, method and computer program product for evaluating level of interest based on direction of human action
JP6662141B2 (ja) * 2016-03-25 2020-03-11 富士ゼロックス株式会社 情報処理装置及びプログラム
JP6440327B2 (ja) * 2016-07-25 2018-12-19 ユニボット株式会社 防犯システム、防犯方法、及びロボット
JP7057959B2 (ja) * 2016-08-09 2022-04-21 住友ゴム工業株式会社 動作解析装置
EP3291191B1 (en) * 2016-08-29 2019-10-09 Panasonic Intellectual Property Management Co., Ltd. Suspicious person report system and suspicious person report method
GB2557920B (en) * 2016-12-16 2020-03-04 Canon Kk Learning analytics
SG10201610686SA (en) * 2016-12-20 2018-07-30 Mastercard International Inc Systems and methods for processing a payment transaction authorization request
JP6981463B2 (ja) * 2017-03-06 2021-12-15 日本電気株式会社 商品監視装置、商品監視システム、出力先装置、商品監視方法、表示方法及びプログラム
JP6402219B1 (ja) * 2017-04-19 2018-10-10 ユニティガードシステム株式会社 防犯システム、防犯方法、及びロボット
WO2018204837A1 (en) * 2017-05-05 2018-11-08 Walmart Apollo, Llc System and method for automatically restocking items on shelves using a conveyor system
CN107886667A (zh) * 2017-10-11 2018-04-06 深圳云天励飞技术有限公司 报警方法及装置
JP2019133437A (ja) * 2018-01-31 2019-08-08 キヤノン株式会社 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム
RU2679218C1 (ru) * 2018-02-06 2019-02-06 Акционерное общество Научно-производственный центр "Электронные вычислительно-информационные системы" (АО НПЦ "ЭЛВИС") Система и способ контроля перемещения людей
JP7327458B2 (ja) * 2018-03-09 2023-08-16 日本電気株式会社 セルフレジシステム、購入商品管理方法および購入商品管理プログラム
JP6992874B2 (ja) * 2018-03-09 2022-01-13 日本電気株式会社 セルフレジシステム、購入商品管理方法および購入商品管理プログラム
JP7134708B2 (ja) * 2018-05-23 2022-09-12 株式会社日立製作所 監視装置、監視システムおよび監視方法
CN108805495A (zh) * 2018-05-31 2018-11-13 京东方科技集团股份有限公司 物品存放管理方法和系统及计算机可读介质
CN108921098B (zh) 2018-07-03 2020-08-18 百度在线网络技术（北京）有限公司 人体运动分析方法、装置、设备及存储介质
US10878657B2 (en) 2018-07-25 2020-12-29 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
CN109271847B (zh) * 2018-08-01 2023-04-07 创新先进技术有限公司 无人结算场景中异常检测方法、装置及设备
CN109308780A (zh) * 2018-10-19 2019-02-05 杭州虹晟信息科技有限公司 基于物联网的智能家居安防监控系统
JP7138547B2 (ja) * 2018-11-09 2022-09-16 セコム株式会社 店舗装置
JP7161920B2 (ja) * 2018-11-09 2022-10-27 セコム株式会社 店舗装置
JP6534499B1 (ja) * 2019-03-20 2019-06-26 アースアイズ株式会社 監視装置、監視システム、及び、監視方法
JP6562437B1 (ja) * 2019-04-26 2019-08-21 アースアイズ株式会社 監視装置、及び、監視方法
JP7337354B2 (ja) * 2019-05-08 2023-09-04 株式会社オレンジテクラボ 情報処理装置及び情報処理プログラム
JP7408300B2 (ja) * 2019-06-04 2024-01-05 東芝テック株式会社 店舗管理装置、電子レシートシステム及び制御プログラム
JP7388440B2 (ja) 2019-08-20 2023-11-29 コニカミノルタ株式会社 画像処理システム、画像処理プログラム、および画像処理方法
EP3839855B1 (de) * 2019-12-17 2024-04-03 Diebold Nixdorf Systems GmbH Selbstbedienungs-registrierterminal und verfahren
JP2020074567A (ja) * 2020-01-15 2020-05-14 日本電気株式会社 画像処理システム、画像処理方法及びプログラム
JP6854959B1 (ja) * 2020-10-30 2021-04-07 株式会社Ｖａａｋ 行動推定装置、行動推定方法、プログラム及び行動推定システム
JP2022109011A (ja) * 2021-01-14 2022-07-27 東芝テック株式会社 不正行為認識装置及びその制御プログラム、不正行為認識方法
JP7054075B2 (ja) * 2021-01-26 2022-04-13 日本電気株式会社 情報処理システム、情報処理方法、及びプログラム
WO2023275968A1 (ja) * 2021-06-29 2023-01-05 日本電信電話株式会社 異常判定装置、異常判定方法、及び異常判定プログラム
JP7318753B2 (ja) * 2021-06-30 2023-08-01 富士通株式会社 情報処理プログラム、情報処理方法、および情報処理装置
WO2023152825A1 (ja) * 2022-02-09 2023-08-17 日本電気株式会社 動作評価システム、動作評価方法、及び非一時的なコンピュータ可読媒体
JP7085257B1 (ja) 2022-03-17 2022-06-16 株式会社Iso 動画解析サービス提供システム、動画解析サービス提供プログラム、及び動画解析サービス提供方法
CN114708696B (zh) * 2022-04-02 2023-06-16 河南大学 基于上肢微动作识别的电梯轿厢扒窃行为监控方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61260391A (ja) * 1985-05-14 1986-11-18 三菱電機株式会社 監視制御装置
JPS62115388A (ja) * 1985-11-14 1987-05-27 Matsushita Electric Works Ltd 測距型異常監視センサ
JP2010238186A (ja) * 2009-03-31 2010-10-21 Sogo Keibi Hosho Co Ltd 監視装置及び監視方法
JP2011108169A (ja) * 2009-11-20 2011-06-02 Ishida Co Ltd 店舗管理システム
JP2012032910A (ja) * 2010-07-29 2012-02-16 Secom Co Ltd 通報装置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6421462B1 (en) * 1998-02-06 2002-07-16 Compaq Computer Corporation Technique for differencing an image
US7036094B1 (en) * 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
EP1406671A1 (en) 2001-03-12 2004-04-14 Sub Q, Inc. Methods for sterilizing cross-linked gelatin compositions
US7200266B2 (en) * 2002-08-27 2007-04-03 Princeton University Method and apparatus for automated video activity analysis
US20050108063A1 (en) * 2003-11-05 2005-05-19 Madill Robert P.Jr. Systems and methods for assessing the potential for fraud in business transactions
US7631808B2 (en) * 2004-06-21 2009-12-15 Stoplift, Inc. Method and apparatus for detecting suspicious activity using video analysis
WO2006105376A2 (en) * 2005-03-29 2006-10-05 Stoplift, Inc. Method and apparatus for detecting suspicious activity using video analysis
US9036028B2 (en) * 2005-09-02 2015-05-19 Sensormatic Electronics, LLC Object tracking and alerts
TW200822751A (en) * 2006-07-14 2008-05-16 Objectvideo Inc Video analytics for retail business process monitoring
JP2008257487A (ja) * 2007-04-05 2008-10-23 Multi Solution:Kk 顔認証応用万引き検知システム
US7844105B2 (en) * 2007-04-23 2010-11-30 Mitsubishi Electric Research Laboratories, Inc. Method and system for determining objects poses from range images
JP2009009231A (ja) 2007-06-26 2009-01-15 Toshiba Corp セキュリティ管理システムおよびセキュリティ管理方法
JP4972491B2 (ja) 2007-08-20 2012-07-11 株式会社構造計画研究所 顧客動作判定システム
US20090055205A1 (en) * 2007-08-23 2009-02-26 Igt Multimedia player tracking infrastructure
WO2009054119A1 (ja) * 2007-10-26 2009-04-30 Panasonic Corporation 状況判定装置、状況判定方法、状況判定プログラム、異常判定装置、異常判定方法、異常判定プログラムおよび混雑推定装置
JP2010094332A (ja) 2008-10-17 2010-04-30 Okamura Corp 商品陳列装置
CN101794481A (zh) * 2009-02-04 2010-08-04 深圳市先进智能技术研究所 Atm自助银行监控系统和方法
JP5540622B2 (ja) 2009-09-16 2014-07-02 セイコーエプソン株式会社 レシートプリンター、レシートプリンターの制御方法およびプログラム
US20110063108A1 (en) * 2009-09-16 2011-03-17 Seiko Epson Corporation Store Surveillance System, Alarm Device, Control Method for a Store Surveillance System, and a Program
JP2011108769A (ja) 2009-11-16 2011-06-02 Yokogawa Electric Corp 半導体装置
CN103262130B (zh) * 2011-03-07 2015-10-21 富士通株式会社 商品结算检查装置
US20140347479A1 (en) * 2011-11-13 2014-11-27 Dor Givon Methods, Systems, Apparatuses, Circuits and Associated Computer Executable Code for Video Based Subject Characterization, Categorization, Identification, Tracking, Monitoring and/or Presence Response
US9412180B2 (en) * 2012-01-17 2016-08-09 Sony Corporation Information processing apparatus, information processing method, and program
US9338409B2 (en) * 2012-01-17 2016-05-10 Avigilon Fortress Corporation System and method for home health care monitoring
CN102881100B (zh) * 2012-08-24 2017-07-07 济南纳维信息技术有限公司 基于视频分析的实体店面防盗监控方法
US9165190B2 (en) * 2012-09-12 2015-10-20 Avigilon Fortress Corporation 3D human pose and shape modeling
CN202995945U (zh) * 2012-12-08 2013-06-12 南通纺织职业技术学院 一种智能防盗系统
US9443148B2 (en) * 2013-03-15 2016-09-13 International Business Machines Corporation Visual monitoring of queues using auxiliary devices
US9589433B1 (en) * 2013-07-31 2017-03-07 Jeff Thramann Self-checkout anti-theft device
JP6249021B2 (ja) * 2013-09-06 2017-12-20 日本電気株式会社 セキュリティシステム、セキュリティ方法及びセキュリティプログラム
WO2015103693A1 (en) * 2014-01-07 2015-07-16 Arb Labs Inc. Systems and methods of monitoring activities at a gaming venue

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61260391A (ja) * 1985-05-14 1986-11-18 三菱電機株式会社 監視制御装置
JPS62115388A (ja) * 1985-11-14 1987-05-27 Matsushita Electric Works Ltd 測距型異常監視センサ
JP2010238186A (ja) * 2009-03-31 2010-10-21 Sogo Keibi Hosho Co Ltd 監視装置及び監視方法
JP2011108169A (ja) * 2009-11-20 2011-06-02 Ishida Co Ltd 店舗管理システム
JP2012032910A (ja) * 2010-07-29 2012-02-16 Secom Co Ltd 通報装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023020356A (ja) * 2021-07-30 2023-02-09 富士通株式会社 情報処理プログラム、情報処理方法、および情報処理装置
JP2023020357A (ja) * 2021-07-30 2023-02-09 富士通株式会社 情報処理プログラム、情報処理方法、および情報処理装置

Also Published As

Publication number Publication date
CN111723668A (zh) 2020-09-29
US20190005786A1 (en) 2019-01-03
WO2015033576A1 (ja) 2015-03-12
US20190005785A1 (en) 2019-01-03
US11354991B2 (en) 2022-06-07
US20230282084A1 (en) 2023-09-07
US10573141B2 (en) 2020-02-25
US20220270455A1 (en) 2022-08-25
JP6249021B2 (ja) 2017-12-20
US20190005787A1 (en) 2019-01-03
CN105518755A (zh) 2016-04-20
US11688256B2 (en) 2023-06-27
US20160210829A1 (en) 2016-07-21

Similar Documents

Publication Publication Date Title
JP6249021B2 (ja) セキュリティシステム、セキュリティ方法及びセキュリティプログラム
JP7318697B2 (ja) 商品監視システム、出力先装置、商品監視方法、表示方法及びプログラム
WO2015033577A1 (ja) 顧客行動分析システム、顧客行動分析方法、非一時的なコンピュータ可読媒体及び棚システム
US20170068945A1 (en) Pos terminal apparatus, pos system, commodity recognition method, and non-transitory computer readable medium storing program
JP5673888B1 (ja) 情報通知プログラム及び情報処理装置
JP2020060889A (ja) 無人店舗システムおよびサーバ
WO2020170854A1 (ja) セルフｐｏｓシステム、セルフｐｏｓ端末装置、制御方法及び制御プログラムを格納した非一時的なコンピュータ可読媒体
WO2018104999A1 (ja) 情報処理装置、制御方法、及びプログラム
JP2005128701A (ja) 電子物品監視システム及びその方法
JP2023031766A (ja) セルフレジ監視システム及びセルフレジ監視方法
JP7010030B2 (ja) 店内監視装置、店内監視方法、および店内監視プログラム
US20230136054A1 (en) Information processing method, information processing device, and recording medium
JP2016024601A (ja) 情報処理装置、情報処理システム、情報処理方法、商品推薦方法、およびプログラム
EP4125019A1 (en) Information processing program, information processing method, and information processing apparatus
US20230101001A1 (en) Computer-readable recording medium for information processing program, information processing method, and information processing device
WO2023181328A1 (ja) 情報処理装置、情報処理装置の制御方法、及び、情報処理装置の制御プログラムが格納された記録媒体
JP2022190576A (ja) 防犯システムおよびプログラム
JP2023020759A (ja) 情報処理プログラム、情報処理方法、および情報処理装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171106

R150 Certificate of patent or registration of utility model

Ref document number: 6249021

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150