JP6702434B2 - 情報処理装置、制御方法、及びプログラム - Google Patents

情報処理装置、制御方法、及びプログラム Download PDF

Info

Publication number
JP6702434B2
JP6702434B2 JP2018555333A JP2018555333A JP6702434B2 JP 6702434 B2 JP6702434 B2 JP 6702434B2 JP 2018555333 A JP2018555333 A JP 2018555333A JP 2018555333 A JP2018555333 A JP 2018555333A JP 6702434 B2 JP6702434 B2 JP 6702434B2
Authority
JP
Japan
Prior art keywords
captured image
monitoring area
product
captured
reference value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018555333A
Other languages
English (en)
Other versions
JPWO2018104998A1 (ja
Inventor
哲夫 井下
哲夫 井下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2018104998A1 publication Critical patent/JPWO2018104998A1/ja
Application granted granted Critical
Publication of JP6702434B2 publication Critical patent/JP6702434B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/14Central alarm receiver or annunciator arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/68Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Alarm Systems (AREA)
  • Burglar Alarm Systems (AREA)

Description

本発明は情報処理装置、制御方法、及びプログラムに関する。
店舗において、陳列されている商品が盗まれることがある。そこで、商品の盗難を防ぐため、警備員が店舗内を歩き回って警備を行ったり、監視カメラの映像を監視したりしている。
しかし、人手で行う監視には多くの労力を要する。また、商品が陳列されている場所全てを常に人手で監視することは難しく、監視漏れが発生する可能性がある。
ここで、情報処理技術を活用して商品の陳列状況を管理するシステムが開発されている。例えば特許文献1は、商品棚に設けられたマーカを利用して、商品が無くなったことを検出するシステムを開示している。具体的には、商品棚に対し、商品が無くなった時に見えるようになる位置に、予めマーカを設けておく。そして、このシステムは、商品棚が撮像された画像を解析し、画像からマーカが検出された場合に、商品が無くなったことを検出する。
また、特許文献2は、商品の陳列棚が撮像された画像において、陳列棚の下地部分の面積が開店時よりも所定量以上大きくなった場合に、商品の補充命令を出力するシステムを開示している。
特開2012−174154号公報 特開平5−81552号公報
特許文献1や特許文献2のシステムは、商品の補充などを行うために、商品の残量が少なくなったことを検出する。これに対し、陳列されている商品の一部が盗難される場合、商品棚に多くの商品が残る可能性がある。そのため、特許文献1や特許文献2のシステムを使って商品の盗難を検出しようとすると、盗難の発生を精度良く検出できない蓋然性が高い。
本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、商品の盗難を精度良く検出する技術を提供することである。
本発明の情報処理装置は、
商品が陳列されている陳列場所が撮像された第1の撮像画像、及び前記第1の撮像画像よりも後の時点において前記陳列場所が撮像された第2の撮像画像の双方に含まれる監視領域について、その監視領域内の商品の減少量を算出する算出手段と、
前記算出された減少量が基準値以上である場合に警告を出力する警告手段と、
前記基準値を指定する入力を受け付ける入力受付手段と、
前記陳列場所が撮像された第3の撮像画像を取得し、前記取得した第3の撮像画像に前記監視領域を表す第1の図形を重畳して、ディスプレイ装置に表示させる表示制御手段と、
を有し、
前記入力受付手段は、前記ディスプレイ装置に表示された前記第1の図形の中に第2の図形を描画する入力を受け付け、前記第2の図形の大きさに基づいて、前記第1の図形によって表される前記監視領域に対応する前記基準値を決定する
本発明の制御方法は、コンピュータによって実行され
商品が陳列されている陳列場所が撮像された第1の撮像画像、及び前記第1の撮像画像よりも後の時点において前記陳列場所が撮像された第2の撮像画像の双方に含まれる監視領域について、その監視領域内の商品の減少量を算出する算出ステップと、
前記算出された減少量が基準値以上である場合に警告を出力する警告ステップと、
前記基準値を指定する入力を受け付ける入力受付ステップと、
前記陳列場所が撮像された第3の撮像画像を取得し、前記取得した第3の撮像画像に前記監視領域を表す第1の図形を重畳して、ディスプレイ装置に表示させる表示制御ステップと、
を有し、
前記入力受付ステップにおいて、前記ディスプレイ装置に表示された前記第1の図形の中に第2の図形を描画する入力を受け付け、前記第2の図形の大きさに基づいて、前記第1の図形によって表される前記監視領域に対応する前記基準値を決定する。
本発明のプログラムは、本発明の制御方法が有する各ステップをコンピュータに実行させる。
本発明によれば、商品の盗難を精度良く検出する技術が提供される。
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
実施形態1に係る情報処理装置の動作を概念的に例示する図である。 実施形態1に係る情報処理装置を例示する図である。 情報処理装置を実現するための計算機を例示する図である。 実施形態1の情報処理装置によって実行される処理の流れを例示するフローチャートである。 所定時点で生成された撮像画像が基準画像として扱われるケースを例示する図である。 比較画像が生成された時点よりも所定時間前に生成された撮像画像が基準画像として扱われるケースを例示する図である。 棚部分の差分領域を例示する図である。 監視領域の奥行きを利用して商品の減少量を算出する方法を説明するための図である。 監視領域の奥行きを利用して商品の減少量を算出する方法を説明するための図である。 監視領域の単位面積当たりの商品の量を種々の尺度で示す図である。 監視領域の単位面積当たりの商品の量を設定する方法を例示する図である。 ディスプレイ装置に表示される警告画面を例示する図である。 実施形態2の情報処理装置を例示するブロック図である。 基準値の入力方法を例示する図である。 キー入力以外の方法で基準値を入力する方法を例示する第1の図である。 実施形態3の情報処理装置を例示するブロック図である。
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
[実施形態1]
<情報処理装置2000の動作の概要>
図1は、実施形態1に係る情報処理装置2000の動作を概念的に例示する図である。なお図1は、情報処理装置2000の動作の理解を容易にすることを目的とする例示のための図であり、情報処理装置2000の動作は図1によって何ら限定されない。
カメラ10は、商品が陳列されている陳列場所(例えば商品棚)を繰り返し撮像して、複数の撮像画像12を生成する。例えば、生成される複数の撮像画像12は、動画データを構成するフレーム群である。
情報処理装置2000は、複数の撮像画像12の中から、基準画像13(第1の撮像画像)及び比較画像14(第2の撮像画像)を取得する。比較画像14は、基準画像13よりも後に時点で生成された撮像画像である。
基準画像13及び比較画像14には、監視領域15が含まれている。監視領域15は、撮像画像12内の領域であって、監視対象の場所(以下、監視場所)が含まれる領域である。監視対象の領域には、監視対象の商品が含まれる。基準画像13の監視領域15と比較画像14の監視領域15は、同一の監視場所を表している。
情報処理装置2000は、基準画像13の監視領域15と比較画像14の監視領域15を解析することで、監視領域15における商品の減少量を算出する。基準画像13の監視領域15に含まれている商品は、比較画像14の監視領域15に含まれている商品よりも6個少なくなっている。そのため、例えば図1のケースにおける商品の減少量は6個である。なお、後述するように、商品の減少量の尺度は個数に限定されない。
情報処理装置2000は、商品の減少量が基準値以上である場合に警告を出力する。例えば図1のケースにおいて、基準値が5個であるとする。この場合、商品の減少量は基準値以上である。よって、情報処理装置2000は警告を出力する。
<情報処理装置2000の構成の概要>
図2は、実施形態1に係る情報処理装置2000を例示する図である。情報処理装置2000は、算出部2040及び警告部2060を有する。算出部2040は、商品の陳列場所が撮像された基準画像13を取得する。また、算出部2040は、基準画像13よりも後の時点においてその商品棚が撮像された比較画像14を取得する。さらに、算出部2040は、基準画像13及び比較画像14の双方に含まれる監視領域15内における商品の減少量を算出する。警告部2060は、上記算出した減少量が基準値以上である場合に警告を出力する。
<作用・効果>
本実施形態の情報処理装置2000によれば、基準画像13と比較画像14とを比較し、商品の減少量が基準値以上である場合に警告が出力される。こうすることで、商品が盗難にあった場合に警告が出力されるようにすることができる。よって、商品の盗難を精度良く検出することができる。
以下、本実施形態についてさらに詳細に説明する。
<情報処理装置2000のハードウエア構成例>
情報処理装置2000の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、情報処理装置2000の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
図3は、情報処理装置2000を実現するための計算機1000を例示する図である。計算機1000は任意の計算機である。例えば計算機1000は、Personal Computer(PC)、サーバマシン、タブレット端末、又はスマートフォンなどである。その他にも例えば、計算機1000は、撮像画像12を生成するカメラ10であってもよい。計算機1000は、情報処理装置2000を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。
計算機1000は、バス1020、プロセッサ1040、メモリ1060、ストレージデバイス1080、入出力インタフェース1100、及びネットワークインタフェース1120を有する。バス1020は、プロセッサ1040、メモリ1060、ストレージデバイス1080、入出力インタフェース1100、及びネットワークインタフェース1120が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1040などを互いに接続する方法は、バス接続に限定されない。プロセッサ1040は、CPU(Central Processing Unit)や GPU(Graphics Processing Unit)などの演算装置である。メモリ1060は、RAM(Random Access Memory)などを用いて実現される主記憶装置である。ストレージデバイス1080は、ハードディスク、SSD(Solid State Drive)、メモリカード、又は ROM(Read Only Memory)などを用いて実現される補助記憶装置である。ただし、ストレージデバイス1080は、RAM など、主記憶装置を構成するハードウエアと同様のハードウエアで構成されてもよい。
入出力インタフェース1100は、計算機1000と入出力デバイスとを接続するためのインタフェースである。ネットワークインタフェース1120は、計算機1000を通信網に接続するためのインタフェースである。この通信網は、例えば LAN(Local Area Network)や WAN(Wide Area Network)である。ネットワークインタフェース1120が通信網に接続する方法は、無線接続であってもよいし、有線接続であってもよい。
例えば計算機1000は、ネットワークを介して、カメラ10と通信可能に接続されている。ただし、計算機1000をカメラ10と通信可能に接続する方法は、ネットワークを介した接続に限定されない。また、計算機1000は、カメラ10と通信可能に接続されていなくてもよい。
ストレージデバイス1080は、情報処理装置2000の各機能構成部(算出部2040及び警告部2060)を実現するプログラムモジュールを記憶している。プロセッサ1040は、これら各プログラムモジュールをメモリ1060に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。
<カメラ10について>
カメラ10は、繰り返し撮像を行って複数の撮像画像12を生成することができる任意のカメラである。カメラ10は、動画データを生成するビデオカメラであってもよいし、静止画像データを生成するスチルカメラであってもよい。なお、前者の場合、撮像画像12は、動画データを構成するフレームである。
前述したように、情報処理装置2000を実現する計算機1000は、カメラ10であってもよい。この場合、カメラ10は、自身で生成した撮像画像12を解析し、商品の減少量が基準値以上になった場合に、警告を出力する。このような機能を持たせるカメラ10は、例えば、インテリジェントカメラ、ネットワークカメラ、又は IP(Internet Protocol)カメラなどと呼ばれるカメラである。
<処理の流れ>
図4は、実施形態1の情報処理装置2000によって実行される処理の流れを例示するフローチャートである。算出部2040は、基準画像13及び比較画像14を取得する(S102)。算出部2040は、基準画像13及び比較画像14に含まれる監視領域15における商品の減少量を算出する(S104)。警告部2060は、商品の減少量が基準値以上であるか否かを判定する(S106)。商品の減少量が基準値以上である場合(S106:YES)、警告部2060は警告を出力する(S108)。商品の減少量が基準値未満である場合(S106:NO)、図4の処理は終了する。
ここで、1つの撮像画像12には、監視領域15が複数含まれてもよい。例えば撮像画像12に複数の棚段を持つ商品棚が含まれる場合に、各棚段について個別に監視領域15を設定しておく。この場合、S104〜S108の処理は、複数の監視領域15それぞれについて実行される。
また、複数の監視領域15それぞれについて利用する撮像画像12が異なってもよい。この場合、S102〜S108の処理が、複数の監視領域15それぞれについて実行される。
<撮像画像12の取得方法:S102>
算出部2040は基準画像13及び比較画像14を取得する(S102)。ここで、算出部2040が撮像画像12を取得する方法は任意である。例えば算出部2040は、カメラ10から送信される撮像画像12を受信する。また例えば、算出部2040は、カメラ10にアクセスし、カメラ10に記憶されている撮像画像12を取得する。
なお、カメラ10は、カメラ10の外部に設けられている記憶装置に撮像画像12を記憶してもよい。この場合、算出部2040は、この記憶装置にアクセスして撮像画像12を取得する。
情報処理装置2000がカメラ10で実現される場合、情報処理装置2000は、情報処理装置2000自身によって生成された撮像画像12を取得する。この場合、撮像画像12は、例えば情報処理装置2000の内部にあるメモリ1060やストレージデバイス1080(図3参照)に記憶されている。そこで算出部2040は、メモリ1060やストレージデバイス1080から撮像画像12を取得する。
<基準画像13について>
基準画像13は、比較画像14の監視領域15に含まれる商品がどの程度減少したかを算出するための基準として扱われる画像である。算出部2040は、カメラ10によって生成される撮像画像12の中から、この基準として扱う基準画像13を取得する。
どの撮像画像12を基準画像13として扱うかを定めるには、様々な方法がある。以下、その方法をいくつか例示する。なお、どの撮像画像12を比較画像14として扱うかを定める方法については後述する。
<<例1>>
情報処理装置2000は、所定時点で生成された撮像画像12を、基準画像13として扱う。図5は、所定時点で生成された撮像画像12が基準画像13として扱われるケースを例示する図である。図5において、所定時点は Tr1、Tr2、及び Tr3 である。
Tr1≦t<Tr2 を満たす各時点 t において生成された比較画像14(例えば比較画像14−1や比較画像14−2)について商品の減少量を算出する場合、所定時点 Tr1 で生成された撮像画像12を基準画像とする(基準画像13−1)。一方、Tr2≦t<Tr3 を満たす各時点 t において生成された比較画像14(例えば比較画像14−3や比較画像14−4)について商品の減少量を算出する場合、所定時点 Tr2 で生成された撮像画像12を基準画像とする(基準画像13−2)。
上述した所定時点の定め方は任意である。例えば情報処理装置2000が、監視対象の商品が置かれている店舗の営業時間に利用されるとする。この場合、例えば或る日の店舗の開店時点をその日の最初の所定時点 Tr1 とする。さらに、Tr1 から所定時間間隔で、それ以降の所定時点を定める。例えば、所定時点 Tr1 から10分後を所定時点 Tr2 として定め、所定時点 Tr2 からさらに10分後を所定時点 Tr3 として定める。
<<例2>>
情報処理装置2000は、比較画像14が生成された時点よりも所定時間前(例えば10分前)に生成された撮像画像12を基準画像13として扱う。図6は、比較画像14が生成された時点よりも所定時間前に生成された撮像画像12が基準画像13として扱われるケースを例示する図である。
図6では、時点 t1、t2、t3 それぞれで生成された撮像画像12が、比較画像14として扱われる。また、上述した所定時間は p である。そこで、時点 t1-p、t2-p、t3-p それぞれでの時点で生成された撮像画像12が、基準画像13として扱われる。
<比較画像14について>
比較画像14は、カメラ10によって生成される撮像画像12であって、基準画像13よりも後の時点に生成されるものである。カメラ10によって生成される複数の撮像画像12のうち、どれを比較画像14として扱うかを定める方法は様々である。
例えば算出部2040は、カメラ10によって生成される全ての撮像画像12それぞれを、比較画像14として扱う。その他にも例えば、算出部2040は、カメラ10によって生成される複数の撮像画像12の中から、所定の時間間隔で、比較画像14として扱う撮像画像12を抽出する。より具体的には、i 番目の比較画像14は、時点 Ts+(i-1)*q に生成された撮像画像12である。ここで、Ts は、1番目の比較画像14の生成時点であり、q は所定の時間間隔である。
その他にも例えば、基準画像13が所定時点に生成される場合(上述の例1のケース)、算出部2040は、基準画像13の生成時点から所定時間後に生成される撮像画像12を比較画像14として扱ってもよい。例えば、所定時点 Tr1、Tr2、及び Tr3 に基準画像13が生成される場合、時点 Tr1-p、Tr2-p、Tr3-p に生成される撮像画像12をそれぞれ比較画像14として扱う(p は上述の所定時間)。
<監視領域について>
撮像画像12における監視領域15の位置を定める方法は様々である。例えば、撮像画像12における監視領域15の位置は、予め撮像画像12上の座標を用いて定めておく。例えば監視領域15の形状が矩形である場合、監視領域15の左上の頂点の座標、及び監視領域15の右下の頂点の座標を定めておく。監視領域15の形状がその他の多角形である場合、例えば、監視領域15の各頂点の座標を定めておく。
その他にも例えば監視領域15は、監視対象の実世界上の位置で定められていてもよい。この場合、情報処理装置2000は、監視対象の実世界上の位置を撮像画像12上の位置に変換する。実世界上の位置を撮像画像上の位置に変換する処理は、その撮像画像を生成したカメラのカメラパラメタ(設置位置、撮像方向、及び画角など)を使って実現できる。なお、カメラパラメタを使って実世界上の位置を撮像画像の位置に変換する処理には、既存の技術を利用することができる。
<商品の減少量の算出:S104>
算出部2040は、基準画像13及び比較画像14に含まれる監視領域15における商品の減少量を算出する(S104)。例えば算出部2040は、比較画像14における監視領域15と基準画像13における監視領域15との差分領域を抽出し、その差分領域の大きさに基づいて、商品の減少量を算出する。
ここで、算出部2040は、監視領域15の差分領域として、商品が置かれる場所の上面(例えば商品棚の上面)の差分を算出することが好適である。図7は、棚部分の差分領域を例示する図である。算出部2040は、監視領域15に含まれる棚段60について、基準画像13と比較画像14との差分を算出する。その結果、基準画像13と比較画像14との間の差分領域として、差分領域17を算出する。なお、このように商品が置かれる場所の上面の差分を差分領域とする場合、カメラ10は、商品の陳列場所を上方から見下ろすように設置されることが好ましい。
基準画像13が複数ある場合、例えば算出部2040は、或る比較画像14と比較する基準画像13を、その比較画像14よりも前に生成された基準画像13であり、なおかつ生成時点がその比較画像14の生成時点に最も近い基準画像13とする。
商品の減少量を表す尺度としては、様々なものを利用できる。例えば商品の減少量を表す尺度は、差分領域の面積である。この場合、算出部2040は、差分領域の大きさそのものを、商品の減少量として扱う。具体的には、差分領域の大きさが n 画素(n は正の整数)である場合、算出部2040は、この n 画素を商品の減少量とする。
その他にも例えば、例えば商品の量を表す尺度は、監視領域15に対する差分領域の割合である。例えば、監視領域15の大きさが m 画素(m は正の整数)であり、差分領域の大きさが n 画素であるとする。この場合、算出部2040は、商品の減少量を「n/m」とする。
その他にも例えば、商品の量を表す尺度は、商品の数量(数、容積、又は重さなど)である。例えば減少した商品の個数が n 個である場合、商品の減少量は「n 個」となる。算出部2040は、差分領域の大きさに相当する商品の数量を算出し、その数量を商品の減少量として扱う。
その他にも例えば、商品の量を表す尺度は、商品の評価値である。商品の評価値は、例えば商品の価格である。例えば減少した商品の合計金額が n 円である場合、商品の減少量は「n 円」となる。その他にも例えば、商品の評価値は、商品の価値や重要度などを表すスコアである。例えば、商品の単位数量(例えば1個)当たりのスコアが s(s は正の実数)で、なおかつ商品が n 個減少しているケースでは、商品の減少量を表すスコアが s*n となる。算出部2040は、差分領域の大きさに相当する商品の評価値を算出し、その評価値を商品の減少量として扱う。
算出部2040がどの尺度で商品の減少量を算出するかは、算出部2040に予め定められていてもよいし、算出部2040からアクセス可能な記憶装置に記憶されていてもよい。その他に例えば、算出部2040は、監視領域15の基準値がどの尺度で定められているかを示す情報を取得し、基準値と同じ尺度で商品の減少量を算出してもよい。
<<3次元カメラを利用して商品の減少量を算出する方法>>
カメラ10として3次元カメラを利用するとする。3次元カメラを使うと、画像に加え、画像領域ごと(例えば画素ごと)の奥行きを得ることができる。
そこで算出部2040は、基準画像13における監視領域15の奥行きと、比較画像14における監視領域15の奥行きとを用いて、商品の減少量を算出してもよい。以下、その方法の具体例を説明する。
図8及び図9は、監視領域15の奥行きを利用して商品の減少量を算出する方法を説明するための図である。図8(a)は、基準画像13が生成された時点において、監視領域15に含まれる棚段60を上方から見た平面図である。
図8(b)は、図8(a)の棚段60上の奥行きを示すグラフを示す図である。商品が置かれている場所は、奥行きが小さくなっている。そして、商品が置かれている部分の棚段60の面積は、領域80の面積となる。
図9(a)は、比較画像14が生成された時点において、監視領域15に含まれる棚段60を上方から見た平面図である。図9(a)では、図8(a)と比較して、商品が減少している。
図9(b)は、図9(a)の棚段60上の奥行きを示すグラフを示す。商品が置かれている部分の棚段60の面積は、領域82の面積となる。
ここで、図9(b)の領域82と図8(b)の領域80を比較すると、商品が減った分、領域82の面積の方が領域80の面積よりも小さくなっている。
よって、算出部2040は、領域82の面積と領域80の面積との差分に基づいて、商品の減少量を算出する。
このように監視領域15の奥行きを考慮して商品の減少量を算出する方法には、監視領域15の奥行きを考慮しない場合と比較し、商品の減少量を精度良く算出することができるという利点がある。特に、商品の陳列場所を正面に近い方向から撮像する場合、棚段の上面が撮像画像12にほとんど写らないおそれがある。しかし、このように商品の陳列場所を正面に近い方向から撮像する場合でも、3次元カメラによって監視領域15の奥行きを得ることは可能である。よって、商品の陳列場所を正面に近い方向から撮像する場合には、監視領域15の奥行きを考慮することが特に好適である。
<<差分領域の大きさと商品の量との対応付け>>
前述したように、商品の数量や評価値を尺度とする場合、算出部2040は、差分領域の大きさに相当する商品の数量や評価値を算出する。そのために、差分領域の大きさと各尺度における商品の量との対応付けを予め定義しておく。例えば、各尺度について、監視領域15の単位面積(例えば1画素)辺りの商品の量を予め定めておく。
図10は、監視領域15の単位面積当たりの商品の量を種々の尺度で示す図である。図10のテーブルをテーブル500と呼ぶ。この例において、画像領域の単位面積は1画素である。テーブル500は、監視領域ID502、尺度504、及び値506を有する。監視領域ID(Identifier)502は、監視領域の識別子を示す。尺度504は、尺度の名称(個数、容積、重さ、又は価格など)を示す。値506は、画像領域の単位面積当たりの商品の量を示す。
例えばテーブル500の1行目のレコードは、識別子が 001 である監視領域15について、単位面積当たりの商品の量が、「価格」という尺度で「0.01 円」であることを示している。また、2行目のレコードは、識別子が 001 である監視領域15について、監視領域15の単位面積当たりの商品の量が、「個数」という尺度で「0.05 個」であることを示している。
テーブル500は、情報処理装置2000の内部に記憶されていてもよいし、情報処理装置2000の外部に記憶されていてもよい。
なお、撮像画像12に監視領域15が1つしか含まれない場合や、監視領域15の単位面積当たりの商品の量が全ての監視領域15で共通である場合、テーブル500は、監視領域ID502を有さなくてもよい。
また、3次元カメラを利用し、監視領域15の奥行きに基づいて商品の減少量を算出するケースでは、例えば、監視領域15の単位面積当たりの商品の量の代わりに、監視領域15に含まれる棚段の単位面積当たりの商品の量を定義しておく。
監視領域15の単位面積当たりの商品の量を設定する方法(テーブル500のレコードを生成する方法)は様々である。例えば情報処理装置2000は、情報処理装置2000のユーザ(監視対象の店舗の店員や監視員など)から、監視領域15の単位面積当たりの商品の量を指定する入力を受け付ける。ユーザは、各陳列場所にどの商品がどの程度陳列されるかを示す情報を予め得ることが可能である。そこでユーザは、この情報に基づいて、監視領域15の単位面積当たりの商品の量を手動で入力する。
この際ユーザは、監視領域15の単位面積当たりの商品の量の代わりに、監視領域15に含まれる商品の合計量を入力してもよい。例えば監視領域15が商品棚の1つの棚段である場合、ユーザは、その棚段に陳列する商品の合計数や合計金額を入力する。この場合、情報処理装置2000は、入力された商品の量を、監視領域15の面積で割ることで、監視領域15の単位面積当たりの商品の量を算出する。
その他にも例えば、以下の方法で、監視領域15の単位面積当たりの商品の量を設定してもよい。図11は、監視領域15の単位面積当たりの商品の量を設定する方法を例示する図である。設定画面40は、監視領域15の単位面積当たりの商品の量を設定するための画面である。
ユーザは、2つの撮像画像12−1及び12−2を指定する入力を行う。例えばユーザは、記憶装置に記憶されている撮像画像12の中から、撮像画像12−1及び撮像画像12−2を指定する。ここでユーザは、撮像画像12−1と撮像画像12−2として、監視領域15における商品の量が互いに異なるものを指定する。
情報処理装置2000は、撮像画像12−1と撮像画像12−2の差分領域を算出する。そして情報処理装置2000は、撮像画像12−1と撮像画像12−2との間の差分を表す差分領域42が撮像画像12−2に重畳された画像である撮像画像12−3を設定画面40に表示する。
ユーザは、差分領域42に相当する商品の量を、入力エリア44に入力する。具体的には、まずユーザは、商品の量を表す尺度を選択する。そしてユーザは、選択した尺度で、差分領域42に相当する商品の量を入力する。例えば図7の例では、尺度として「数量」が選択されている。そこでユーザは、「1個」という個数を入力している。
情報処理装置2000は、入力エリア44に入力された商品の量を、差分領域42の面積で割ることで、監視領域15の単位面積当たりの商品の量を算出する。
なお、撮像画像12−1と撮像画像12−2は、陳列場所を監視するためにカメラ10を動作させることで生成された監視用の撮像画像であってもよいし、設定画面40で利用するために別途カメラ10を動作させることで生成された設定用の撮像画像であってもよい。
<基準値との比較:S106>
警告部2060は、商品の減少量が基準値以上であるか否かを判定する(S106)。基準値は、商品の減少量を表す尺度と同じ尺度で定められているとする。例えば、商品の減少量が差分領域の大きさで表される場合、基準値は、所定の画素数を示す。その他にも例えば、商品の減少量が商品の数量や評価値を表す場合、基準値は、所定の数量や評価値を示す。
なお、基準値として商品の評価値を利用する場合、基準値で表される価値よりも大きな価値の商品が無くなった場合に警告が出力されるようになる。よって、警告部2060が警告を出すべき盗難の被害の大きさを、盗まれた商品の価値という、人にとって直感的でわかりやすい尺度で表すことができるという利点がある。
基準値を定める方法は任意である。例えば警告部2060は、予め警告部2060に固定で設定されている基準値を利用する。その他にも例えば、基準値が記述されている設定ファイルなどを記憶装置から読み出し、その設定ファイルに記述されている基準値を利用してもよい。基準値を定める方法のその他の例については、後述の実施形態で説明する。なお基準値は、例えば、基準画像13に含まれる商品の量の50%以下に相当する値であることが好適である。
<警告の出力:S108>
商品の減少量が基準値以上である場合、警告部2060は警告を出力する(S108)。ここで、警告部2060が警告を出力する方法は様々である。例えば警告部2060は、情報処理装置2000に接続されている出力装置から、警告を出力する。出力装置は、例えばディスプレイ装置やスピーカなどである。
図12は、ディスプレイ装置に表示される警告画面30を例示する図である。警告画面30には、商品の減少量が基準値以上であると判定された比較画像14が表示されている。領域36は、商品の減少量が基準値以上であると判定された監視領域15を表す。情報32は、商品の減少量、及びその商品の減少量が基準値を超えていることを通知するメッセージを示す。情報34は、商品の減少量が基準値以上であると判定された比較画像14に関する情報を示す。具体的には、情報34には、比較画像14の生成時点、比較画像14を生成したカメラ10の識別子、及びそのカメラ10によって監視されている場所が示されている。
警告画面30を見ることで、店員や監視員等は、(1)盗難が起こった可能性があること、及び(2)いつ、どこで、どの程度の量の商品が減少したかを容易に把握することができる。
警告部2060から出力される警告は、1つ以上の携帯端末に出力されてもよい。例えばこの携帯端末は、店舗の店員や警備員などが所持する携帯端末である。警告部2060から出力された警告を取得した携帯端末は、その携帯端末のディスプレイ装置やスピーカから警告を出力する。例えば携帯端末のディスプレイ装置には、図12と同様の警告画面が出力される。
[実施形態2]
図13は、実施形態2の情報処理装置2000を例示するブロック図である。下記で説明する事項を除き、実施形態2の情報処理装置2000は、実施形態1の情報処理装置2000と同様の機能を有する。
実施形態2の情報処理装置2000は入力受付部2080を有する。入力受付部2080は、基準値の入力を受け付ける。なお、撮像画像12に監視領域15が複数含まれる場合、入力受付部2080は、全ての監視領域に共通する1つの基準値の入力を受け付けてもよいし、監視領域ごとに個別の基準値の入力を受け付けてもよい。
以下、基準値の入力方法について具体的に説明する。
図14は、基準値の入力方法を例示する図である。設定画面20は、ユーザから基準値の入力を受け付けるための画面である。ウインドウ22は、基準値を設定する監視領域を指定するためのウインドウである。ウインドウ24は、指定された監視領域について基準値を入力するウインドウである。
まずユーザは、ウインドウ22に表示されている撮像画像12上の監視領域15の中から、基準値の入力の対象とする監視領域15を指定する。例えばユーザは、指定したい監視領域15に対してタップやクリックなどを行うことで、監視領域15の指定を行う。ただし、全ての監視領域15について共通の基準値を設定する場合、監視領域15を選択できるようにする必要はない。
またウインドウ22において、新たな監視領域15を追加できるようにしてもよい。例えば、ユーザがドラッグなどの操作を行うことで、撮像画像12上に領域を描けるようにする。そして、描かれた領域を、新たな監視領域15として追加する。
ユーザは、指定した監視領域15について基準値を入力する。入力エリア26は、基準値の種類(商品の量を表す尺度)を指定するためのエリアである。図14では「商品の価格」が指定されている。
入力エリア28は、指定した尺度で基準値を入力するためのエリアである。図14では、尺度として商品の価格が指定されているため、「2000円」という価格で基準値が入力されている。
例えばユーザは、この入力エリア28にフォーカスが合った状態でキー入力を行うことで、基準値を表す数値を入力する。ただし、基準値の入力方法はキー入力に限定されない。以下、キー入力以外で基準値を入力する方法をいくつか例示する。
例えば入力受付部2080は、監視領域15の中に領域を描く入力を受け付ける。そして、入力受付部2080は、描かれた領域の大きさを用いて基準値を算出する。図15は、キー入力以外の方法で基準値を入力する方法を例示する第1の図である。図15において、ユーザは、指定した監視領域15−1の中に領域16を描く入力を行う。入力受付部2080は、領域16の大きさを用いて基準値を算出する。
このように、監視領域15の中に領域16を描く方法で基準値を入力する方法には、基準値を直接数値で入力する方法と比較し、基準値を容易かつ直感的に入力できるという利点がある。
基準値の種類が「面積」である場合、入力受付部2080は、領域16の大きさをそのまま基準値とする。例えば、領域16の大きさが1万画素であれば、入力受付部2080は、「1万画素」を基準値とする。
基準値の種類が「比率」である場合、入力受付部2080は、監視領域15の大きさに対する領域16の大きさの比率を基準値とする。例えば、監視領域15の大きさが3万画素であり、領域16の大きさが1万画素であるとする。この場合、入力受付部2080は、「1/3」を基準値とする。
基準値の種類が「数量」である場合、入力受付部2080は、監視領域15に含まれる商品の合計数量、監視領域15の大きさ、及び領域16の大きさに基づいて、基準値を算出する。例えば、監視領域15に含まれる商品の合計数量が 30 個であり、監視領域15の大きさが3万画素であり、領域16の大きさが1万画素であるとする。この場合、入力受付部2080は、30 個の 1/3 である「10 個」を基準値とする。
なお、監視領域15に含まれる商品の合計数量は、ユーザによって入力されてもよいし、監視領域15に対して予め定められていてもよい。また、入力受付部2080が、ウインドウ22に表示されている撮像画像12の監視領域15についてオブジェクト認識を行うことで、監視領域15の中に含まれる商品の合計数量を算出してもよい。
基準値の種類が「価格」である場合、入力受付部2080は、監視領域15に含まれる商品の価格の合計、監視領域15の大きさ、及び領域16の大きさに基づいて、基準値を算出する。例えば、監視領域15に含まれる商品の価格の合計が 3,000 円であり、監視領域15の大きさが3万画素であり、領域16の大きさが1万画素であるとする。この場合、入力受付部2080は、3,000 円の 1/3 である「1,000 円」を基準値とする。
なお、監視領域15に含まれる商品の価格の合計は、ユーザが入力するようにしてもよいし、監視領域15に対して予め定められていてもよい。また、入力受付部2080が、ウインドウ22に表示されている撮像画像12の監視領域15についてオブジェクト認識を行うことで、監視領域15の中に含まれる商品の価格の合計を算出してもよい。具体的には、入力受付部2080は、監視領域15についてオブジェクト認識を行うことで、監視領域15に含まれている商品の識別、及び商品の個数の算出を行う。次に入力受付部2080は、商品の価格の情報が記憶されている商品データベースを検索することで、監視領域15に含まれる商品の単価を取得する。そして算出部2040は、取得した単価に商品の個数をかけることで、監視領域15に含まれる商品の価格の合計を算出する。
<ハードウエア構成の例>
実施形態2の情報処理装置2000を実現する計算機のハードウエア構成は、実施形態1と同様に、例えば図3によって表される。ただし、本実施形態の情報処理装置2000を実現する計算機1000のストレージデバイス1080には、本実施形態の情報処理装置2000の機能を実現するプログラムモジュールがさらに記憶される。
<作用・効果>
本実施形態の情報処理装置2000は、ユーザから基準値の入力を受け付ける。こうすることで、ユーザが自由に基準値を設定することができる。よって、情報処理装置2000の利便性が向上する。
[実施形態3]
図16は、実施形態3の情報処理装置2000を例示するブロック図である。下記で説明する事項を除き、実施形態3の情報処理装置2000は、実施形態1の情報処理装置2000又は実施形態2の情報処理装置2000と同様の機能を有する。
商品が盗まれる場合、犯行が行われている間、その商品の陳列場所が撮像された撮像画像12に犯人が含まれている可能性が高い。そこで、本実施形態の情報処理装置2000は、撮像画像12に人が含まれている期間の前後それぞれに生成された撮像画像12を比較することで、商品の減少量を算出する。
実施形態3の情報処理装置2000は、検出部2100を有する。検出部2100は、カメラ10によって生成された複数の撮像画像12を用いて、そのカメラ10の撮像範囲に人が入ったことを検出し、そのカメラ10の撮像範囲に人が入った時点(以下、第1時点)を算出する。同様に、検出部2100は、そのカメラ10によって生成された複数の撮像画像12を用いて、そのカメラ10の撮像範囲から人が出たことを検出し、そのカメラ10の撮像範囲から人が出た時点(以下、第2時点)を算出する。
そして実施形態3の算出部2040は、第1時点又はそれより前に生成された撮像画像12を、基準画像13として扱う。また、算出部2040は、第2時点又はそれより後に生成された撮像画像12を、比較画像14として扱う。
商品の減少量の算出対象とする撮像画像12をこのように決定することで、商品が盗まれた可能性が高い状況についてのみ、警告の出力を行うか否かの判定が行われることとなる。よって、商品が盗まれたことを精度良く検出しつつ、情報処理装置2000の処理量を削減することができるという効果がある。
なお、カメラによって生成された撮像画像を用いて、或るオブジェクトがそのカメラの撮像範囲に入ったこと、及びそのオブジェクトがそのカメラの撮像範囲から出たことを検出すること自体は、既存のオブジェクト認識技術を利用して実現することができる。
<ハードウエア構成の例>
実施形態3の情報処理装置2000を実現する計算機のハードウエア構成は、実施形態1と同様に、例えば図3によって表される。ただし、本実施形態の情報処理装置2000を実現する計算機1000のストレージデバイス1080には、本実施形態の情報処理装置2000の機能を実現するプログラムモジュールがさらに記憶される。
[実施形態3の変形例]
検出部2100は、カメラ10の撮像範囲に人が入ったことを検出する代わりに、監視領域15に人が入ったことを検出し、監視領域15に人が入った時点を第1時点として算出してもよい。この場合、検出部2100は、カメラ10の撮像範囲から人が出たことを検出する代わりに、監視領域15から人が出たことを検出し、監視領域15から人が出た時点を第2時点として算出する。
例えば、人がカメラ10の撮像範囲の端に入った後にすぐ撮像範囲から出た場合など、その人が監視領域15に入らなかった場合には、商品が盗まれた蓋然性が低いといえる。そこで、変形例の情報処理装置2000は、監視領域15に人が入っている期間の前後で商品の減少量を算出する。こうすることで、商品の盗難などを精度良く検出しつつ、情報処理装置2000の計算量を削減することができる。
ここで、撮像画像12に複数の監視領域15が含まれる場合、或る監視領域15に人が入っている期間の前後で商品の減少量を算出するのは、その監視領域15についてのみであってもよいし、全ての監視領域15についてであってもよい。前者の場合、算出部2040は、或る監視領域15−1に人が入った第1時点に生成された基準画像13と、その監視領域15−1から人が出た第2時点に生成された比較画像14とを用いて、監視領域15−1についてのみ、商品の減少量を算出する。こうすることで、商品の減少量を算出する対象を少なくすることができるため、情報処理装置2000の計算量をさらに削減することができる。
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
1. 商品が陳列されている陳列場所が撮像された第1の撮像画像、及び前記第1の撮像画像よりも後の時点において前記陳列場所が撮像された第2の撮像画像の双方に含まれる監視領域について、その監視領域内の商品の減少量を算出する算出手段と、
前記算出された減少量が基準値以上である場合に警告を出力する警告手段と、を有する情報処理装置。
2. 各前記撮像画像には前記監視領域が複数設けられており、
前記基準値が前記監視領域ごとに定められている、1.に記載の情報処理装置。
3. 前記基準値を指定する入力を受け付ける入力受付手段を有する、1.又は2.に記載の情報処理装置。
4. 前記陳列場所が撮像された第3の撮像画像を取得し、前記取得した第3の撮像画像に前記監視領域を表す第1の図形を重畳して、ディスプレイ装置に表示させる表示制御手段を有し、
前記入力受付手段は、前記ディスプレイ装置に表示された前記第1の図形の中に第2の図形を描画する入力を受け付け、前記第2の図形の大きさに基づいて、前記第1の図形によって表される前記監視領域に対応する前記基準値を決定する、3.に記載の情報処理装置。
5. 前記算出手段は、前記監視領域において減少した商品の金額を、その監視領域における商品の減少量として算出し、
前記警告手段は、前記監視領域における商品の減少量が基準の金額よりも大きい場合に警告を出力する、1.乃至4.いずれか一つに記載の情報処理装置。
6. 前記陳列場所を撮像するカメラによって生成される複数の撮像画像を用いて、前記カメラの撮像範囲に人が入った第1時点、及び前記カメラの撮像範囲から人が出た第2時点を算出する検出手段を有し、
前記算出手段は、前記第1時点又はそれより前に前記カメラによって生成された前記撮像画像を第1の前記撮像画像とし、前記第2時点又はそれより後に前記カメラによって生成された前記撮像画像を第2の前記撮像画像とする、1.乃至5.いずれか一つに記載の情報処理装置。
7. 前記陳列場所を撮像するカメラによって生成される複数の撮像画像を用いて、前記監視領域に人が入った第1時点、及び前記監視領域から人が出た第2時点を算出する検出手段を有し、
前記算出手段は、前記第1時点又はそれより前に前記カメラによって生成された前記撮像画像を第1の前記撮像画像とし、前記第2時点又はそれより後に前記カメラによって生成された前記撮像画像を第2の前記撮像画像とする、1.乃至5.いずれか一つに記載の情報処理装置。
8. 前記基準値は、前記第1の撮像画像に含まれる前記商品の量の50%以下である、1.乃至7.いずれか一つに記載の情報処理装置。
9. コンピュータによって実行される制御方法であって、
商品が陳列されている陳列場所が撮像された第1の撮像画像、及び前記第1の撮像画像よりも後の時点において前記陳列場所が撮像された第2の撮像画像の双方に含まれる監視領域について、その監視領域内の商品の減少量を算出する算出ステップと、
前記算出された減少量が基準値以上である場合に警告を出力する警告ステップと、を有する制御方法。
10. 各前記撮像画像には前記監視領域が複数設けられており、
前記基準値が前記監視領域ごとに定められている、9.に記載の制御方法。
11. 前記基準値を指定する入力を受け付ける入力受付ステップを有する、9.又は10.に記載の制御方法。
12. 前記陳列場所が撮像された第3の撮像画像を取得し、前記取得した第3の撮像画像に前記監視領域を表す第1の図形を重畳して、ディスプレイ装置に表示させる表示制御ステップを有し、
前記入力受付ステップにおいて、前記ディスプレイ装置に表示された前記第1の図形の中に第2の図形を描画する入力を受け付け、前記第2の図形の大きさに基づいて、前記第1の図形によって表される前記監視領域に対応する前記基準値を決定する、11.に記載の制御方法。
13. 前記算出ステップにおいて、前記監視領域において減少した商品の金額を、その監視領域における商品の減少量として算出し、
前記警告ステップにおいて、前記監視領域における商品の減少量が基準の金額よりも大きい場合に警告を出力する、9.乃至12.いずれか一つに記載の制御方法。
14. 前記陳列場所を撮像するカメラによって生成される複数の撮像画像を用いて、前記カメラの撮像範囲に人が入った第1時点、及び前記カメラの撮像範囲から人が出た第2時点を算出する検出ステップを有し、
前記算出ステップにおいて、前記第1時点又はそれより前に前記カメラによって生成された前記撮像画像を第1の前記撮像画像とし、前記第2時点又はそれより後に前記カメラによって生成された前記撮像画像を第2の前記撮像画像とする、9.乃至13.いずれか一つに記載の制御方法。
15. 前記陳列場所を撮像するカメラによって生成される複数の撮像画像を用いて、前記監視領域に人が入った第1時点、及び前記監視領域から人が出た第2時点を算出する検出ステップを有し、
前記算出ステップにおいて、前記第1時点又はそれより前に前記カメラによって生成された前記撮像画像を第1の前記撮像画像とし、前記第2時点又はそれより後に前記カメラによって生成された前記撮像画像を第2の前記撮像画像とする、9.乃至13.いずれか一つに記載の制御方法。
16. 前記基準値は、前記第1の撮像画像に含まれる前記商品の量の50%以下である、9.乃至15.いずれか一つに記載の制御方法。
17. 9.乃至15.いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。

Claims (9)

  1. 商品が陳列されている陳列場所が撮像された第1の撮像画像、及び前記第1の撮像画像よりも後の時点において前記陳列場所が撮像された第2の撮像画像の双方に含まれる監視領域について、その監視領域内の商品の減少量を算出する算出手段と、
    前記算出された減少量が基準値以上である場合に警告を出力する警告手段と、
    前記基準値を指定する入力を受け付ける入力受付手段と、
    前記陳列場所が撮像された第3の撮像画像を取得し、前記取得した第3の撮像画像に前記監視領域を表す第1の図形を重畳して、ディスプレイ装置に表示させる表示制御手段と、
    を有し、
    前記入力受付手段は、前記ディスプレイ装置に表示された前記第1の図形の中に第2の図形を描画する入力を受け付け、前記第2の図形の大きさに基づいて、前記第1の図形によって表される前記監視領域に対応する前記基準値を決定する、情報処理装置。
  2. 商品が陳列されている陳列場所が撮像された第1の撮像画像、及び前記第1の撮像画像よりも後の時点において前記陳列場所が撮像された第2の撮像画像の双方に含まれる監視領域について、その監視領域内の商品の減少量を算出する算出手段と、
    前記算出された減少量が基準値以上である場合に警告を出力する警告手段と、を有し、
    前記算出手段は、前記監視領域において減少した商品の金額を、その監視領域における商品の減少量として算出し、
    前記警告手段は、前記監視領域における商品の減少量が基準の金額よりも大きい場合に警告を出力する、情報処理装置。
  3. 各前記撮像画像には前記監視領域が複数設けられており、
    前記基準値が前記監視領域ごとに定められている、請求項1又は2に記載の情報処理装置。
  4. 前記陳列場所を撮像するカメラによって生成される複数の撮像画像を用いて、前記カメラの撮像範囲に人が入った第1時点、及び前記カメラの撮像範囲から人が出た第2時点を算出する検出手段を有し、
    前記算出手段は、前記第1時点又はそれより前に前記カメラによって生成された前記撮像画像を第1の前記撮像画像とし、前記第2時点又はそれより後に前記カメラによって生成された前記撮像画像を第2の前記撮像画像とする、請求項1乃至3いずれか一項に記載の情報処理装置。
  5. 前記陳列場所を撮像するカメラによって生成される複数の撮像画像を用いて、前記監視領域に人が入った第1時点、及び前記監視領域から人が出た第2時点を算出する検出手段を有し、
    前記算出手段は、前記第1時点又はそれより前に前記カメラによって生成された前記撮像画像を第1の前記撮像画像とし、前記第2時点又はそれより後に前記カメラによって生成された前記撮像画像を第2の前記撮像画像とする、請求項1乃至3いずれか一項に記載の情報処理装置。
  6. 前記基準値は、前記第1の撮像画像に含まれる前記商品の量の50%以下である、請求項1乃至5いずれか一項に記載の情報処理装置。
  7. コンピュータによって実行される制御方法であって、
    商品が陳列されている陳列場所が撮像された第1の撮像画像、及び前記第1の撮像画像よりも後の時点において前記陳列場所が撮像された第2の撮像画像の双方に含まれる監視領域について、その監視領域内の商品の減少量を算出する算出ステップと、
    前記算出された減少量が基準値以上である場合に警告を出力する警告ステップと、
    前記基準値を指定する入力を受け付ける入力受付ステップと、
    前記陳列場所が撮像された第3の撮像画像を取得し、前記取得した第3の撮像画像に前記監視領域を表す第1の図形を重畳して、ディスプレイ装置に表示させる表示制御ステップと、
    を有し、
    前記入力受付ステップにおいて、前記ディスプレイ装置に表示された前記第1の図形の中に第2の図形を描画する入力を受け付け、前記第2の図形の大きさに基づいて、前記第1の図形によって表される前記監視領域に対応する前記基準値を決定する、制御方法。
  8. コンピュータによって実行される制御方法であって、
    商品が陳列されている陳列場所が撮像された第1の撮像画像、及び前記第1の撮像画像よりも後の時点において前記陳列場所が撮像された第2の撮像画像の双方に含まれる監視領域について、その監視領域内の商品の減少量を算出する算出ステップと、
    前記算出された減少量が基準値以上である場合に警告を出力する警告ステップと、を有し、
    前記算出ステップでは、前記監視領域において減少した商品の金額を、その監視領域における商品の減少量として算出し、
    前記警告ステップでは、前記監視領域における商品の減少量が基準の金額よりも大きい場合に警告を出力する、制御方法。
  9. 請求項7又は8に記載の制御方法の各ステップをコンピュータに実行させるプログラム。
JP2018555333A 2016-12-05 2016-12-05 情報処理装置、制御方法、及びプログラム Active JP6702434B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/086039 WO2018104998A1 (ja) 2016-12-05 2016-12-05 情報処理装置、制御方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2018104998A1 JPWO2018104998A1 (ja) 2019-10-24
JP6702434B2 true JP6702434B2 (ja) 2020-06-03

Family

ID=62491498

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018555333A Active JP6702434B2 (ja) 2016-12-05 2016-12-05 情報処理装置、制御方法、及びプログラム

Country Status (3)

Country Link
US (1) US11140363B2 (ja)
JP (1) JP6702434B2 (ja)
WO (1) WO2018104998A1 (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0581552A (ja) 1991-07-12 1993-04-02 Omron Corp 商品監視システム
JPH07110889A (ja) 1993-10-14 1995-04-25 Tec Corp 商品販売登録データ処理装置
US20060282323A1 (en) * 2003-12-08 2006-12-14 Walker Jay S Systems and methods for vending machine jackpots
NZ580426A (en) * 2007-04-24 2012-08-31 Freedom Shopping Inc A self-checkout kiosk system having a first antenna and RFID tag in a main housing and a second antenna and RFID tag in a remote housing
US8325036B1 (en) * 2008-11-06 2012-12-04 Target Brands, Inc. In stock analytic monitoring
US8457354B1 (en) * 2010-07-09 2013-06-04 Target Brands, Inc. Movement timestamping and analytics
JP2012174154A (ja) 2011-02-24 2012-09-10 Fujitsu Frontech Ltd 在庫状況管理方法および在庫状況管理装置
US10268983B2 (en) * 2013-06-26 2019-04-23 Amazon Technologies, Inc. Detecting item interaction and movement

Also Published As

Publication number Publication date
JPWO2018104998A1 (ja) 2019-10-24
WO2018104998A1 (ja) 2018-06-14
US11140363B2 (en) 2021-10-05
US20200084417A1 (en) 2020-03-12

Similar Documents

Publication Publication Date Title
JP7416292B2 (ja) 情報処理装置、情報処理システム、制御方法、及びプログラム
EP2662831B1 (en) Comparing virtual and real images of a shopping planogram
US9124778B1 (en) Apparatuses and methods for disparity-based tracking and analysis of objects in a region of interest
EP3043291B1 (en) Method and system for queue length analysis
JP6172551B1 (ja) 画像検索装置、画像検索システム及び画像検索方法
JPWO2014050518A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP2011248836A (ja) 滞留検出システム及びプログラム
JP7485447B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN109961472B (zh) 3d热力图生成的方法、系统、存储介质及电子设备
JP2021132267A (ja) 映像監視システムおよび映像監視方法
WO2014182898A1 (en) User interface for effective video surveillance
JP2015079433A5 (ja)
CN112950254A (zh) 一种信息处理方法、装置、电子设备及存储介质
JP6206627B1 (ja) 情報処理装置、制御方法、及びプログラム
JPWO2018074027A1 (ja) 異常検出装置、制御方法、及びプログラム
CN107533783A (zh) 产品登记装置、程序和控制方法
JP2021196741A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6702434B2 (ja) 情報処理装置、制御方法、及びプログラム
CN107301373A (zh) 数据处理方法、装置及存储介质
US20140147011A1 (en) Object removal detection using 3-d depth information
JP2017028688A (ja) 画像管理装置、画像管理方法及びプログラム
JP7229698B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2022048475A (ja) 映像解析システムおよび映像解析方法
US11380187B2 (en) Information processing apparatus, control method, and program
CN116471383B (zh) 无人值守商店监控界面的显示方法及装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190603

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200420

R150 Certificate of patent or registration of utility model

Ref document number: 6702434

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150