JP6536643B2 - INFORMATION PROCESSING APPARATUS, CONTROL METHOD, AND PROGRAM - Google Patents
INFORMATION PROCESSING APPARATUS, CONTROL METHOD, AND PROGRAM Download PDFInfo
- Publication number
- JP6536643B2 JP6536643B2 JP2017171526A JP2017171526A JP6536643B2 JP 6536643 B2 JP6536643 B2 JP 6536643B2 JP 2017171526 A JP2017171526 A JP 2017171526A JP 2017171526 A JP2017171526 A JP 2017171526A JP 6536643 B2 JP6536643 B2 JP 6536643B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- captured image
- image
- camera
- determination unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Alarm Systems (AREA)
Description
本発明は情報処理装置、制御方法、及びプログラムに関する。 The present invention relates to an information processing apparatus, a control method, and a program.
店舗において、陳列されている商品が盗まれることがある。そこで、商品の盗難を防ぐため、警備員が店舗内を歩き回って警備を行ったり、監視カメラの映像を監視したりしている。 In a store, goods displayed may be stolen. Therefore, in order to prevent the theft of the product, security guards walk around the store to perform security guards and monitor the video of the surveillance camera.
しかし、人手で行う監視には多くの労力を要する。また、商品が陳列されている場所全てを常に人手で監視することは難しく、監視漏れが発生する可能性がある。 However, manual monitoring requires much effort. In addition, it is difficult to always manually monitor all the places where goods are displayed, and there is a possibility that a monitoring omission may occur.
そこで、情報処理技術を活用した盗難防止のためのシステムが開発されている。例えば特許文献１は、タグが取り付けられた商品を持ってゲートを通る人物の顔を、ゲート付近に設けられたカメラで撮像し、撮像された顔を監視カメラの映像から検索するシステムを開示している。 Therefore, a system for preventing theft utilizing information processing technology has been developed. For example, Patent Document 1 discloses a system for capturing a face of a person passing a gate by holding a product attached with a tag with a camera provided near the gate, and searching the captured face from an image of a monitoring camera. ing.
特許文献２は、万引き等の不正行為の調査対象とする商品について、不正行為が行われたか否かを判定するシステムを開示している。具体的には、特許文献２のシステムは、（１）調査対象の商品の売り場において或る人物が所定時間以上滞在し、（２）その人物がその商品を手に取った後、その商品を商品棚へ戻さず、なおかつ（３）その人物が店舗を出た場合に、その人物の購入履歴を検索する。そして、その人物がその商品を購入したことを示す購入履歴が無い場合、特許文献２のシステムは、不正行為が行われたと判定する。
特許文献１のシステムは、商品に付けられているタグを検出することにより、盗難の発生を検出する。そのため、このシステムを導入するためには、各商品にタグを付ける作業が必要となり、システムの導入に要する労力が大きい。 The system of Patent Document 1 detects the occurrence of theft by detecting a tag attached to a product. Therefore, in order to introduce this system, it is necessary to tag each product, and the effort required to introduce the system is large.
特許文献２のシステムを導入するためには、「どの商品が購入されたか」だけでなく、「どの顧客がどの商品を購入したか」を購入履歴として記録できる購入管理システムを導入する必要がある。よって、このような購入管理システムを導入していない店舗では、購入管理システムの入れ替え等が必要となる。
In order to introduce the system of
本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、不正行為を監視できる技術であって、導入が容易な技術を提供することである。 The present invention has been made in view of the above problems. One of the objects of the present invention is to provide a technology that can monitor fraud and is easy to introduce.
本発明の情報処理装置は、（１）出口に向かっている人物を撮像した画像である第１撮像画像から検出された人物が、店舗の商品の陳列場所を撮像可能に設置された第２カメラによって生成される第２撮像画像に含まれるか否かを判定する判定手段と、（２）前記第２撮像画像に含まれなおかつ画像解析することにより動作が特定された前記人物が、前記店舗の会計エリアを撮像可能に設置された第３カメラによって生成される第３撮像画像に含まれない場合、警告処理を行う警告手段と、有する。 An information processing apparatus according to the present invention includes: (1) a second camera in which a person detected from a first captured image, which is an image obtained by capturing a person heading toward the exit, is capable of capturing a display place of goods in a store And (2) the person included in the second captured image and whose motion is specified by image analysis is the one of the store. When the accounting area is not included in the third captured image generated by the third camera installed so as to be capable of capturing an image, a warning unit that performs a warning process is included.
本発明の制御方法は、コンピュータによって実行される。当該制御方法は、（１）出口に向かっている人物を撮像した画像である第１撮像画像から検出された人物が、店舗の商品の陳列場所を撮像可能に設置された第２カメラによって生成される第２撮像画像に含まれるか否かを判定する判定ステップと、（２）前記第２撮像画像に含まれなおかつ画像解析することにより動作が特定された前記人物が、前記店舗の会計エリアを撮像可能に設置された第３カメラによって生成される第３撮像画像に含まれない場合、警告処理を行う警告ステップと、を有する。 The control method of the present invention is executed by a computer. In the control method, (1) a person detected from a first captured image, which is an image obtained by capturing a person heading toward the exit, is generated by a second camera installed so as to be able to capture a display place of goods in the store. Determination step of determining whether or not the person is included in the second captured image, and (2) the person whose action is specified by the image analysis that is included in the second And a warning step of performing a warning process if it is not included in the third captured image generated by the third camera installed so as to be capable of capturing an image.
本発明のプログラムは、本発明の制御方法が有する各ステップをコンピュータに実行させる。 The program of the present invention causes a computer to execute each step of the control method of the present invention.
本発明によれば、不正行為を監視できる技術であって、導入が容易な技術が提供される。 According to the present invention, there is provided a technology capable of monitoring fraudulent activity, which is easy to introduce.
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。 The objects described above, and other objects, features and advantages will become more apparent from the preferred embodiments described below and the following drawings associated therewith.
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In all the drawings, the same components are denoted by the same reference numerals, and the description thereof will be appropriately omitted. Further, in each block diagram, each block represents a configuration of a function unit, not a configuration of a hardware unit, unless otherwise described.
［実施形態１］
＜情報処理装置２０００の概要＞
図１は、実施形態１の情報処理装置２０００が利用する複数の種類のカメラの設置場所を例示する図である。情報処理装置２０００が利用される店舗には、第１カメラ１０、第２カメラ２０、及び第３カメラ３０が設置されている。第１カメラ１０は、店舗の出口（出口５０）を撮像可能に設置されている。第２カメラ２０は、店舗における商品の陳列場所（陳列場所６０）を撮像可能に設置されている。例えば商品は、陳列場所６０に設置されている商品棚に陳列される。第３カメラ３０は、商品の会計が行われる場所（会計エリア７０）を撮像可能に設置されている。
Embodiment 1
<Overview of
FIG. 1 is a view exemplifying installation places of a plurality of types of cameras used by the
図２は、実施形態１の情報処理装置２０００の動作を概念的に例示する図である。なお図２は、情報処理装置２０００の動作の理解を容易にすることを目的とする例示のための図であり、情報処理装置２０００の動作は図２によって何ら限定されない。
FIG. 2 is a diagram conceptually illustrating the operation of the
第１カメラ１０、第２カメラ２０、及び第３カメラ３０はそれぞれ、第１撮像画像１１、第２撮像画像２１、及び第３撮像画像３１を生成する。第１撮像画像１１には、出口５０が撮像されている。第２撮像画像２１には、陳列場所６０が撮像されている。第３撮像画像３１には、会計エリア７０が撮像されている。
The
情報処理装置２０００は、第１撮像画像１１から人物を検出する。ここで検出される人物は、出口５０において第１カメラ１０が撮像した人物とも言える。
The
次に情報処理装置２０００は、第１撮像画像１１から検出された人物が第２撮像画像２１に含まれるか否かを判定する。言い換えれば、出口５０で撮像された人物が、陳列場所６０でも撮像されたか否かが判定される。
Next, the
さらに情報処理装置２０００は、第１撮像画像１１から検出された人物が第２撮像画像２１に含まれていると判定され、なおかつその人物の不審度が高い場合に、その人物が第３撮像画像３１にも含まれているか否かを判定する。言い換えれば、出口５０及び陳列場所６０の双方において撮像され、なおかつ不審度の高い人物が、会計エリア７０においても撮像されたか否かが判定される。
Furthermore, when it is determined that the person detected from the first captured image 11 is included in the second captured
そして情報処理装置２０００は、第３撮像画像３１からその人物が検出されなかった場合に、警告処理を行う。よって、出口５０及び陳列場所６０の双方では撮像され、なおかつ不審度の高い人物が、会計エリア７０では撮像されなかった場合に、警告処理が行われることとなる。
Then, when the person is not detected from the third captured
図２では、時点ｔ１に撮像された第１撮像画像１１−１から人物４０が検出されている。そのため情報処理装置２０００は、第２撮像画像２１からも人物４０の検出を試みる。その結果、時点ｔ２における第２撮像画像２１−１から人物４０が検出されている。さらに図２の例では、人物４０の不審度が高い。そこで情報処理装置２０００は、第３撮像画像３１からも人物４０の検出を試みる。その結果、第３撮像画像３１からは人物４０が検出されない。よって情報処理装置２０００は警告処理を行う。
In FIG. 2, a
ここで、人物４０の不審度の高さは、第２撮像画像２１を利用して算出されてもよいし、第２撮像画像２１以外を利用して算出されてもよい。人物４０の不審度の高さを算出する詳細な方法については後述する。
Here, the height of the degree of suspiciousness of the
＜作用・効果＞
出口５０で撮像された人物が陳列場所６０でも撮像されている場合、その人物は、店舗の商品を取得した後、店舗から出ようとしている可能性がある。さらにその人物の不審度が高い場合、その人物は、盗難等の不正な目的で商品を取得した可能性がある。ただし、その人物が会計エリア７０において商品の会計をしていれば、その人物は取得した商品を購入したと考えられる。
<Operation and effect>
When the person imaged at the
そこで本実施形態の情報処理装置２０００は、商品を取得した後に店舗から出ようとしている可能性がある人物（第１撮像画像１１及び第２撮像画像２１に含まれる人物）であり、なおかつ不正を行おうとしている蓋然性が高い人物（不審度が高い人物）が、会計エリア７０において撮像されたか否かを判定する。そして、情報処理装置２０００は、この人物が会計エリア７０において撮像されていない場合に警告処理を行う。こうすることで、商品の盗難などが行われた蓋然性が高い場合に警告処理が行われるようになるため、店員等は、商品の盗難などの事態を早期に把握し、迅速な対処を行うことが可能となる。
Therefore, the
また、本実施形態の情報処理装置２０００を導入するにあたり、監視対象の商品にタグを付けたり、どの顧客がどの商品を購入したか」を購入履歴として記録する管理システムを導入したりする必要はない。よって、本実施形態の情報処理装置２０００は容易に導入することができる。
In addition, in introducing the
以下、本実施形態についてさらに詳細に説明する。 Hereinafter, the present embodiment will be described in more detail.
＜情報処理装置２０００の機能構成の例＞
図３は、実施形態１の情報処理装置２０００の構成を例示する図である。情報処理装置２０００は、検出部２０２０、第１判定部２０４０、第２判定部２０６０、及び警告部２０８０を有する。検出部２０２０は、第１撮像画像１１から人物を検出する。第１判定部２０４０は、第１撮像画像１１から検出された人物が第２撮像画像２１に含まれるか否かを判定する。第２判定部２０６０は、第１撮像画像１１から検出された人物が第２撮像画像２１に含まれ、なおかつその人物の不審度が高い場合に、第３撮像画像３１にその人物が含まれるか否かを判定する。警告部２０８０は、その人物が第３撮像画像３１に含まれない場合に警告処理を行う。
<Example of Functional Configuration of
FIG. 3 is a diagram illustrating the configuration of the
＜情報処理装置２０００のハードウエア構成＞
情報処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
<Hardware Configuration of
Each functional component of the
図４は、情報処理装置２０００を実現するための計算機１０００を例示する図である。計算機１０００は任意の計算機である。例えば計算機１０００は、Personal Computer（PC）、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機１０００は、情報処理装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。
FIG. 4 is a diagram illustrating a
計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU（Central Processing Unit）や GPU（Graphics Processing Unit）などの演算装置である。メモリ１０６０は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。ただし、ストレージデバイス１０８０は、RAM など、主記憶装置を構成するハードウエアと同様のハードウエアで構成されてもよい。
The
入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。ネットワークインタフェース１１２０は、計算機１０００を通信網に接続するためのインタフェースである。この通信網は、例えば LAN（Local Area Network）や WAN（Wide Area Network）である。ネットワークインタフェース１１２０が通信網に接続する方法は、無線接続であってもよいし、有線接続であってもよい。
The input /
例えば計算機１０００は、ネットワークを介して、第１カメラ１０、第２カメラ２０、及び第３カメラ３０と通信可能に接続されている。ただし、計算機１０００を各カメラと通信可能に接続する方法は、ネットワークを介した接続に限定されない。また、計算機１０００は、各カメラと通信可能に接続されていなくてもよい。
For example, the
ストレージデバイス１０８０は、情報処理装置２０００の各機能構成部（検出部２０２０、第１判定部２０４０、第２判定部２０６０、及び警告部２０８０）を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。
The
なお、計算機１０００は、複数の計算機を利用して実現されてもよい。例えば検出部２０２０、第１判定部２０４０、第２判定部２０６０、及び警告部２０８０をそれぞれ異なる計算機で実現することができる。この場合、各計算機のストレージデバイスに記憶されるプログラムモジュールは、その計算機で実現される機能構成部に対応するプログラムモジュールだけでもよい。
The
＜カメラについて＞
第１カメラ１０、第２カメラ２０、及び第３カメラ３０はそれぞれ、繰り返し撮像を行って複数の撮像画像を生成することができる任意のカメラである。各カメラは、動画データを生成するビデオカメラであってもよいし、静止画像データを生成するスチルカメラであってもよい。前者の場合、第１撮像画像１１、第２撮像画像２１、及び第３撮像画像３１は、動画データを構成する画像フレームである。上記各カメラは、例えば監視カメラである。
<About the camera>
Each of the
前述したように計算機１０００を複数の計算機で実現する場合、その実現に各カメラを利用してもよい。例えば検出部２０２０は、第１カメラ１０を用いて実現することができる。この場合、第１カメラ１０は、自身で生成した第１撮像画像１１から人物の検出を行う。
As described above, when the
その他にも例えば、第１判定部２０４０は、第２カメラ２０を用いて実現することができる。この場合、第２カメラ２０は、自身が生成した第２撮像画像２１に第１撮像画像１１から検出された人物が含まれるか否かを判定する。
Besides, for example, the
その他にも例えば、第２判定部２０６０は、第３カメラ３０を用いて実現することができる。第３カメラ３０は、第１撮像画像１１と第２撮像画像２１の双方に含まれ、なおかつ不審度が高い人物が、自身で生成した第３撮像画像３１に含まれるか否かを判定する。またさらに、警告部２０８０が第３カメラ３０を用いて実現されてもよい。この場合、第３カメラ３０は、上記人物が第３撮像画像３１に含まれない場合に警告処理を行う。
Besides, for example, the
このように計算機１０００を実現するために用いられる各カメラには、例えば、インテリジェントカメラ、ネットワークカメラ、又は IP（Internet Protocol）カメラなどと呼ばれるカメラを利用できる。
As each camera used to realize the
＜処理の流れ＞
図５は、実施形態１の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。検出部２０２０は、第１撮像画像１１を取得する（Ｓ１０２）。検出部２０２０は、第１撮像画像１１から人物を検出する（Ｓ１０４）。第１撮像画像１１から人物が検出されなかった場合（Ｓ１０６：ＮＯ）、図５の処理は終了する。
<Flow of processing>
FIG. 5 is a flowchart illustrating the flow of processing executed by the
第１撮像画像１１から人物が検出された場合（Ｓ１０６：ＹＥＳ）、第１判定部２０４０は、第２撮像画像２１を取得する（Ｓ１０８）。第１判定部２０４０は、第１撮像画像１１から検出された人物が第２撮像画像２１に含まれるか否かを判定する（Ｓ１１０）。第１撮像画像１１から検出された人物が第２撮像画像２１に含まれない場合（Ｓ１１０：ＮＯ）、図５の処理は終了する。
When a person is detected from the first captured image 11 (S106: YES), the
第１撮像画像１１から検出された人物が第２撮像画像２１に含まれる場合（Ｓ１１０：ＹＥＳ）、第２判定部２０６０は、その人物の不審度が高いか否かを判定する（Ｓ１１２）。その人物の不審度が高くない場合（Ｓ１１２：ＮＯ）、図５の処理は終了する。
When a person detected from the first captured image 11 is included in the second captured image 21 (S110: YES), the
その人物の不審度が高い場合（Ｓ１１２：ＹＥＳ）、第２判定部２０６０は第３撮像画像３１を取得する（Ｓ１１４）。第２判定部２０６０は、その人物が第３撮像画像３１に含まれるか否かを判定する（Ｓ１１６）。その人物が第３撮像画像３１に含まれる場合（Ｓ１１６：ＹＥＳ）、図５の処理は終了する。
If the degree of suspiciousness of the person is high (S112: YES), the
その人物が第３撮像画像３１に含まれない場合（Ｓ１１６：ＮＯ）、警告部２０８０は警告処理を実行する（Ｓ１１８）。
If the person is not included in the third captured image 31 (S116: NO), the
なお、図５が示す処理の流れはあくまで一例であり、情報処理装置２０００によって実行される処理の流れは図５が示す流れに限定されない。例えば各撮像画像を取得するタイミングは、その撮像画像を利用する前の任意のタイミングとすることができる。例えば第１判定部２０４０は、第１撮像画像１１から人物が検出されるか否かの判定（Ｓ１０６）が行われる前に第２撮像画像２１を取得してもよい。同様に、第２判定部２０６０は、第１撮像画像１１から検出された人物が第２撮像画像２１に含まれるか否かの判定（Ｓ１１０）やその人物の不審度が高いか否かの判定（Ｓ１１２）が行われる前に第３撮像画像３１を取得してもよい。
The flow of the process illustrated in FIG. 5 is merely an example, and the flow of the process performed by the
＜第１映像１２の取得方法：Ｓ１０２＞
検出部２０２０は第１撮像画像１１を取得する（Ｓ１０２）。ここで、検出部２０２０が第１撮像画像１１を取得する方法は任意である。例えば検出部２０２０は、第１カメラ１０から送信される第１撮像画像１１を受信する。また例えば、検出部２０２０は、第１カメラ１０にアクセスし、第１カメラ１０に記憶されている第１撮像画像１１を取得する。
<Method of acquiring first video 12: S102>
The
なお、第１カメラ１０は、第１カメラ１０の外部に設けられている記憶装置に第１撮像画像１１を記憶してもよい。この場合、検出部２０２０は、この記憶装置にアクセスして第１撮像画像１１を取得する。
The
検出部２０２０を第１カメラ１０で実現される場合、検出部２０２０は、検出部２０２０を実現する第１カメラ１０自身によって生成された第１撮像画像１１を取得する。この場合、第１撮像画像１１は、例えば第１カメラ１０の内部にある記憶装置に記憶されている。そこで検出部２０２０は、これらの記憶装置から第１撮像画像１１を取得する。
When the
検出部２０２０が第１撮像画像１１を取得するタイミングは様々である。例えば検出部２０２０は、第１カメラ１０によって新たな第１撮像画像１１が生成される度に、その第１撮像画像１１を取得する。その他にも例えば、検出部２０２０は、定期的に未取得の第１撮像画像１１を取得してもよい。例えば検出部２０２０が１秒間に１回第１撮像画像１１を取得する場合、検出部２０２０は、１秒間に生成される複数の第１撮像画像１１（例えば 30fps(frames/second) のカメラであれば３０枚の第１撮像画像１１）をまとめて取得する。
There are various timings at which the
＜第１撮像画像１１からの人物の検出：Ｓ１０４＞
検出部２０２０は、第１撮像画像１１から人物を検出する（Ｓ１０４）。具体的には、検出部２０２０は、第１撮像画像１１から人物を表す領域を検出することにより、第１撮像画像１１から人物を検出する。以下、人物を表す領域を人物領域と呼ぶ。
<Detection of Person from First Captured Image 11: S104>
The
第１撮像画像１１から人物領域を検出する方法は様々である。例えば検出部２０２０は、特徴量マッチングやテンプレートマッチングを利用して人物領域の検出を行う。前者の場合、検出部２０２０は、第１撮像画像１１に含まれる領域のうち、人間の外見的な特徴を表す特徴量（以下、人物特徴量）を持つ領域を、人物領域として検出する。後者の場合、検出部２０２０は、第１撮像画像１１に含まれる領域のうち、人物を表すテンプレート画像との類似度が高い領域を、人物領域として検出する。なお、人物特徴量やテンプレート画像は予め定義しておく。
There are various methods for detecting a person area from the first captured image 11. For example, the
なお、プライバシー保護などの観点から、カメラで人の顔の前面を撮像することが好ましくないこともある。そこで、各カメラ（第１カメラ１０、第２カメラ２０及び第３カメラ３０）はいずれも、人の顔の前面が撮像される蓋然性が低い方向から人を撮像するように設置されることが好適である。例えば各カメラは、店舗における人の動線方向と同じ方向を向くように設置される。
From the viewpoint of privacy protection and the like, it may not be preferable to image the front of a human face with a camera. Therefore, it is preferable that all the cameras (the
このように人の顔の前面が撮像される蓋然性が低いように第１カメラ１０が設置されると、第１撮像画像１１には、人物の顔の前面にある特徴的な要素（目、鼻、及び口など）が含まれない蓋然性が高い。そこでこの場合、検出部２０２０は、人物の後ろ姿が撮像されている第１撮像画像１１から人物を検出できるようにする。例えば特徴量マッチングを利用する場合、人物特徴量として、少なくとも、人物の後ろ姿の外見的な特徴量を定めておく。また、テンプレートマッチングを利用する場合、少なくとも、人物の後ろ姿を表すテンプレート画像を定めておく。
As described above, when the
＜検出された人物に関する情報＞
第１判定部２０４０は、第１撮像画像１１から検出された人物が第２撮像画像２１に含まれるか否かを判定する。この判定を行うためには、第１撮像画像１１から検出された人物を特定する情報が必要となる。
<Information on Detected Person>
The
そこで検出部２０２０は、第１撮像画像１１から検出された人物を特定する情報を生成する。以下、この情報を人物情報と呼ぶ。例えば検出部２０２０は、第１判定部２０４０からアクセス可能な記憶装置に人物情報を記憶させる。その他にも例えば、検出部２０２０は、第１判定部２０４０に対して人物情報を出力してもよい。
Therefore, the
図６は人物情報をテーブル形式で例示する図である。図６のテーブルを人物情報テーブル５００と呼ぶ。人物情報テーブル５００は、人物ＩＤ５０２、タイムスタンプ５０４、及び人物領域５０６を有する。人物ＩＤ５０２は、第１撮像画像１１から検出された人物に検出部２０２０が割り当てる識別子である。タイムスタンプ５０４は、この人物が検出された第１撮像画像１１の生成時点を表す。人物領域５０６は、第１映像１２から検出された人物領域を特定する情報である。なお、第１撮像画像１１から検出された人物に対して識別子を割り当てる方法は任意である。
FIG. 6 is a diagram illustrating personal information in the form of a table. The table of FIG. 6 is called a person information table 500. The person information table 500 includes a
人物領域５０６は、検出された人物領域そのもの（人物領域に含まれる各画素の値の集合）を示してもよいし、検出された人物の特徴を示してもよい。抽出された人物の特徴は、例えば、その人物の体型（輪郭線など）を示す。その他にも例えば、抽出された人物の特徴は、その人物の服装、髪の色、及び肌の色などを示す。その他にも例えば、抽出された人物の特徴は、その人物の所持品の形状や色などを示す。
The
＜第２撮像画像２１の取得：Ｓ１０８＞
第１判定部２０４０は第２撮像画像２１を取得する（Ｓ１０８）。第１判定部２０４０が第２撮像画像２１を取得する方法には、検出部２０２０が第１撮像画像１１を取得する方法と同様の方法を採用できる。
<Acquisition of Second Captured Image 21: S108>
The
第１判定部２０４０が第２撮像画像２１を取得するタイミングは様々である。例えば第１判定部２０４０は、検出部２０２０が第１撮像画像１１を取得するタイミングと同様のタイミングで第２撮像画像２１を取得する。その他にも例えば、第１判定部２０４０は、検出部２０２０によって第１撮像画像１１から人物が検出されたことに応じて、第２撮像画像２１を取得してもよい。この場合、例えば第１判定部２０４０は、検出部２０２０によって生成された前述の人物情報を取得したタイミングで、第２撮像画像２１を取得する。
There are various timings at which the
なお第１判定部２０４０は、第２カメラ２０によって生成された第２撮像画像２１の全てを取得してもよいし、一部のみを取得してもよい。ここで、第１撮像画像１１に含まれる人物は出口５０で撮像されており、第２撮像画像２１に含まれる人物は陳列場所６０で撮像されている。そのため、同じ人物が第１撮像画像１１と第２撮像画像２１に含まれる場合、第２撮像画像２１の生成時点は、第１撮像画像１１の生成時点よりも前であると言える。そこで、第２カメラ２０によって生成された第２撮像画像２１の一部のみを取得する場合、例えば第１判定部２０４０は、人物が検出された第１撮像画像１１の生成時点（取得した人物情報が示すタイムスタンプ）よりも前に生成された第２撮像画像２１のみを取得する。こうすることで、第２撮像画像２１の取得に要する情報処理装置２０００の処理負荷や、第２撮像画像２１の取得に利用されるネットワークの使用帯域などを削減することができる。
The
＜第２撮像画像２１からの人物の検出：Ｓ１１０＞
第１判定部２０４０は、第１撮像画像１１から検出された人物が第２撮像画像２１に含まれるか否かを判定する（Ｓ１１０）。前述したように、第１撮像画像１１から検出された人物は、検出部２０２０によって生成される人物情報で特定される。そこで第１判定部２０４０は、検出部２０２０によって生成された人物情報を利用して、上記判定を行う。判定に利用される第２撮像画像２１は、対象の人物が検出された第１撮像画像１１の生成時点よりも前の時点において生成された第２撮像画像２１である。
<Detection of Person from Second Captured Image 21: S110>
The
第１判定部２０４０が上記判定を行う具体的な方法は様々である。以下、その方法をいくつか例示する。
There are various specific methods in which the
＜＜判定方法の例１＞＞
第１判定部２０４０は、各第２撮像画像２１を対象に、人物情報によって特定される人物の検出を試みる。そして、その人物がいずれかの第２撮像画像２１から検出された場合、第１判定部２０４０は、第１撮像画像１１から検出された人物が第２撮像画像２１に含まれると判定する（Ｓ１１０：ＹＥＳ）。一方、その人物がどの第２撮像画像２１からも検出されない場合、第１判定部２０４０は、第１撮像画像１１から検出された人物が第２撮像画像２１に含まれないと判定する。（Ｓ１１０：ＮＯ）
<< Example 1 of the judgment method >>
The
例えば人物情報が、第１撮像画像１１から抽出された人物領域そのものを表しているとする。この場合、第１判定部２０４０は、第２撮像画像２１から、その人物領域との類似度が高い領域を検出することで、人物情報によって特定される人物の検出を行う。
For example, it is assumed that the person information represents the person area itself extracted from the first captured image 11. In this case, the
その他にも例えば、人物情報が、第１撮像画像１１から抽出された人物の特徴を表しているとする。この場合、第１判定部２０４０は、第２撮像画像２１から、その人物情報が示す特徴を持つ人物を検出することで、人物情報によって特定される人物の検出を行う。
In addition, for example, it is assumed that the person information represents the feature of the person extracted from the first captured image 11. In this case, the
＜＜判定方法の例２＞＞
第１判定部２０４０は、検出部２０２０が第１撮像画像１１から人物を検出する方法と同様の方法で、第２撮像画像２１からも人物を検出する。さらに第１判定部２０４０は、第２撮像画像２１から検出された人物の中に、第１撮像画像１１から検出された人物と同じ人物が含まれるか否かを判定する。
<< Example 2 of the judgment method >>
The
例えば第１判定部２０４０は、取得した１つ以上の第２撮像画像２１から人物を検出し、検出された各人物について人物情報を生成する。さらに第１判定部２０４０は、検出部２０２０によって生成された人物情報と、第１判定部２０４０によって生成された人物情報とのマッチングを行う。第１判定部２０４０によって生成された人物情報の中に、検出部２０２０によって生成された人物情報によって特定される人物と同じ人物を特定する人物情報がある場合、第１判定部２０４０は、第１撮像画像１１によって検出された人物が第２撮像画像２１に含まれると判定する（Ｓ１１０：ＹＥＳ）。一方、第１判定部２０４０によって生成された人物情報の中に、検出部２０２０によって生成された人物情報によって特定される人物と同じ人物を特定する人物情報がない場合、第１判定部２０４０は、検出部２０２０によって検出された人物が第２撮像画像２１に含まれないと判定する（Ｓ１１０：ＮＯ）。
For example, the
＜第３撮像画像３１の取得：Ｓ１１４＞
第２判定部２０６０は第３撮像画像３１を取得する（Ｓ１１４）。第２判定部２０６０が第３撮像画像３１を取得する方法には、検出部２０２０が第１撮像画像１１を取得する方法と同様の方法を採用できる。
Acquisition of Third Captured Image 31: S114
The
第２判定部２０６０が第３撮像画像３１を取得するタイミングは様々である。例えば第２判定部２０６０は、検出部２０２０が第１撮像画像１１を取得するタイミングと同様のタイミングで第３撮像画像３１を取得する。その他にも例えば、第２判定部２０６０は、第１撮像画像１１から検出された人物が第２撮像画像２１に含まれると判定され（Ｓ１１０：ＹＥＳ）、なおかつその人物の不審度が高い（Ｓ１１２：ＹＥＳ）と判定されたことに応じて、第３撮像画像３１を取得してもよい（図５参照）。
There are various timings at which the
なお第２判定部２０６０は、第３カメラ３０によって生成された第３撮像画像３１の全てを取得してもよいし、一部のみを取得してもよい。後者の場合、例えば第２判定部２０６０は、第３撮像画像３１に含まれるか否かの判定対象である人物が含まれる第２撮像画像２１の生成時点と、その人物が含まれる第１撮像画像１１の生成時点との間の期間に生成された第３撮像画像３１のみを取得する。これは、或る人物が会計エリア７０（第３カメラ３０の撮像範囲）で撮像されるのは、その人物が陳列場所６０で撮像される時点（商品を陳列場所６０から取得する時点）と、その人物が出口５０で撮像される時点（出口５０から出ようとする時点）との間であると言えるためである。このように一部の第３撮像画像３１のみを取得するようにすることで、第３撮像画像３１の取得に要する情報処理装置２０００の処理負荷や、第３撮像画像３１の取得に利用されるネットワークの使用帯域などを削減することができる。
The
＜第２判定部２０６０による判定：Ｓ１１６＞
第２判定部２０６０は、（１）第１撮像画像１１及び第２撮像画像２１の双方に含まれている、及び（２）不審度が高いという２つの条件を満たす人物が、第３撮像画像に含まれているか否かを判定する（Ｓ１１６）。第１撮像画像１１及び第２撮像画像２１の双方に含まれている人物は、検出部２０２０から検出された人物で、なおかつ第１判定部２０４０によって第２撮像画像２１に含まれていると判定された人物である。
<Determination by Second Determination Unit 2060: S116>
The
第２判定部２０６０は、検出部２０２０から検出された人物で、なおかつ第１判定部２０４０によって第２撮像画像２１に含まれていると判定された人物について、その人物の不審度が高いか否かを判定する（Ｓ１１２）。この判定方法の詳細については後述する。
The
不審度が高いと判定された場合（Ｓ１１２：ＹＥＳ）、第２判定部２０６０は、この人物が第３撮像画像３１に含まれているか否かを判定する（Ｓ１１６）。一方、不審度が高くないと判定された場合（Ｓ１１２：ＮＯ）、第２判定部２０６０は、この人物が第３撮像画像３１に含まれているか否かを判定しなくてよい。
If it is determined that the degree of suspiciousness is high (S112: YES), the
判定に利用される第３撮像画像３１は、対象の人物が検出された第１撮像画像１１の生成時点よりも前の時点であり、なおかつ対象の人物が検出された第２撮像画像２１の生成時点よりも後の時点において生成されたものである。
The third captured
なお、この人物が第３撮像画像３１に含まれるか否かを判定する方法は、検出部２０２０によって検出された人物が第２撮像画像２１に含まれるか否かを判定する方法と同様である（例えば前述の方法１や方法２）。判定に利用される人物情報は、第１判定部２０４０から取得されてもよいし、第２判定部２０６０によってアクセス可能な記憶装置から取得されてもよい。後者の場合、第１判定部２０４０は、第２撮像画像２１に含まれると判定された人物の人物情報を、第２判定部２０６０によってアクセスされる記憶装置に記憶しておく。
The method of determining whether the person is included in the third captured
＜不審度の高さの判定：Ｓ１１２＞
前述したように、第２判定部２０６０は、検出部２０２０から検出された人物で、なおかつ第１判定部２０４０によって第２撮像画像２１に含まれていると判定された人物について、その人物の不審度が高いか否かを判定する（Ｓ１１２）。例えば第２判定部２０６０は、人物の不審度を数値で算出する。そして第２判定部２０６０は、算出した不審度が所定値以上である場合に、その人物の不審度が高いと判定する。この所定値は、第２判定部２０６０に予め設定されていてもよいし、第２判定部２０６０からアクセス可能な記憶装置に記憶されていてもよい。
<Determination of height of suspiciousness: S112>
As described above, the
以下、人物の不審度の算出方法について例示する。 Hereinafter, a method of calculating the degree of suspiciousness of a person will be exemplified.
＜＜算出方法の例１＞＞
例えば第２判定部２０６０は、対象の人物（第１撮像画像１１から検出された人物）が第２撮像画像２１に含まれる期間の前後における商品の減少量を、その人物の不審度として算出する。つまり、その人物が陳列場所６０の前に現れる前後で商品が多く減少しているほど、その人物の不審度が高くなる。
<< Example 1 of calculation method >>
For example, the
例えば第２判定部２０６０は、対象の人物が第２カメラ２０の撮像範囲に含まれる前に生成された第２撮像画像２１に含まれる商品の量と、その人物が第２カメラ２０の撮像範囲に含まれなくなった後に生成された第２撮像画像２１に含まれる商品の量との差分を算出し、算出した差分をその人物の不審度とする。２つの画像に含まれる物の量の差異を算出する技術には、既存の技術を利用することができる。
For example, the
図７は、商品の減少量を算出する方法を例示する図である。対象の人物は、時点ｔ１において生成された第２撮像画像２１−１と、時点ｔ２において生成された第２撮像画像２１−２までの各第２撮像画像２１に含まれている。そこで第２判定部２０６０は、時点ｔ１以前に生成された第２撮像画像２１（例えば第２撮像画像２１−１の１つ前に生成された第２撮像画像２１）と、時点ｔ２以降に生成された第２撮像画像２１（例えば第２撮像画像２１−２の１つ後に生成された第２撮像画像２１）とを比較することで、商品の減少量を算出する。
FIG. 7 is a diagram illustrating a method of calculating the reduction amount of the product. The target person is included in each second captured
＜＜算出方法の例２＞＞
例えば第２判定部２０６０は、陳列場所６０における対象の人物の滞留時間を、その人物の不審度として算出する。この場合、陳列場所６０における人物の滞留時間が長いほど、その人物の不審度が高くなる。
<< Example 2 of calculation method >>
For example, the
陳列場所６０における人物の滞留時間は、例えば、第２撮像画像２１を利用して算出することができる。具体的には、或る人物の陳列場所６０における滞留時間を算出するために、第２判定部２０６０は、その陳列場所６０を撮像する第２カメラ２０によって生成された第２撮像画像２１の中から、その人物が含まれる第２撮像画像２１を特定する。そして、第２判定部２０６０は、特定された第２撮像画像２１のうち、生成時点が最も遅い第２撮像画像２１の生成時点と、生成時点が最も早い第２撮像画像２１の生成時点との差異を算出し、算出した値をその人物の陳列場所６０における滞留時間とする。例えば図７において、対象の人物の滞留時間はｔ２−ｔ１となる。
The residence time of the person in the
＜＜算出方法の例３＞＞
例えば第２判定部２０６０は、陳列場所６０において対象の人物が行った動作に基づいて、その人物の不審度を算出する。具体的には、人が行いうる様々な不審な動作に対し、その動作の不審度合いを表すスコアを予め定義しておく。そして第２判定部２０６０は、或る人物が行った各動作に対応するスコアを積算し、算出された積算値をその人物の不審度とする。
<< Example 3 of calculation method >>
For example, the
図８は、人物の動作に対して割り当てられたスコアをテーブル形式で例示する図である。図８のテーブルを動作スコアテーブル６００と呼ぶ。動作６０２は、動作の内容を示す。スコア６０４は、動作６０２で示される動作のスコアを示す。
FIG. 8 is a diagram illustrating, in a table form, the score assigned to the motion of a person. The table of FIG. 8 is called an action score table 600. An
陳列場所６０において人物が行った各動作は、その陳列場所６０を撮像する第２カメラ２０によって生成された第２撮像画像２１を画像解析することで特定できる。画像解析によって人の動作を特定する技術には、既存の技術を利用することができる。
Each operation performed by a person in the
＜＜算出方法の例４＞＞
例えば第２判定部２０６０は、店舗における対象の人物の移動の軌跡（動線）に基づいて、その人物の不審度を算出する。具体的には、動線の様々な特徴に対し、その特徴の不審度合いを表すスコアを予め定義しておく。そして第２判定部２０６０は、或る人物の店舗における動線の各特徴に対応するスコアを積算し、算出された積算値をその人物の不審度とする。
<< Example 4 of calculation method >>
For example, the
不審と考えられる動線の特徴には、様々なものがある。例えば不審と考えられる動線の特徴には、（１）同じ陳列場所６０を何度も（所定回数以上）通る、（２）同じ陳列場所付近に長い時間（所定時間以上）滞留する、（３）特定のエリアを何度も（所定回数以上）通る、（４）事前に想定されている動線との一致度合いが低い、などがある。上記特定のエリアは、商品の盗難などが起こりやすいと考えられる場所である。商品の盗難などが起こりやすい場所は、例えば監視カメラの死角となる場所である。監視カメラの死角となる場所では、「未会計の商品を鞄に入れる」といった行動をとりやすいため、商品の盗難などが起こりやすいと言える。なお、上述の所定回数、所定時間、特定のエリア、及び事前に想定されている動線などの情報は、予め第２判定部２０６０に設定されていてもよいし、第２判定部２０６０からアクセス可能な記憶装置に記憶されていてもよい。
There are various characteristics of the flow line considered to be suspicious. For example, the characteristics of the flow line considered to be suspicious include (1) passing the
図９は、動線の特徴に対して割り当てられたスコアをテーブル形式で例示する図である。図９のテーブルを動線スコアテーブル７００と呼ぶ。特徴７０２は、動線の特徴を示す。スコア７０４は、特徴７０２で示される動線の特徴のスコアを示す。
FIG. 9 is a diagram illustrating, in the form of a table, scores assigned to flow line features. The table of FIG. 9 is called a flow line score table 700. Feature 702 shows the feature of the flow line. The
店舗における人物の動線を把握する技術には、既存の技術を利用することができる。例えば人物の動線は、店舗の様々な位置に設置されたカメラによって生成される撮像画像を解析してその人物の位置をトラッキングすることにより、把握することができる。 The existing technology can be used for the technology of grasping the flow line of the person in the store. For example, the flow line of a person can be grasped by analyzing captured images generated by cameras installed at various positions in a store and tracking the position of the person.
＜警告処理の実行：Ｓ１１８＞
条件（１）及び（２）を満たす人物がいずれの第３撮像画像３１にも含まれない場合（Ｓ１１６：ＮＯ）、警告部２０８０は警告処理を実行する（Ｓ１１８）。ここで、警告部２０８０が行う警告処理としては、様々なものを採用できる。例えば警告部２０８０は、情報処理装置２０００に接続されている出力装置から、警告メッセージを出力する。出力装置は、例えばディスプレイ装置やスピーカなどである。
<Execution of warning processing: S118>
If a person who satisfies the conditions (1) and (2) is not included in any of the third captured images 31 (S116: NO), the
図１０は、ディスプレイ装置に表示される警告メッセージを例示する図である。警告画面８０は、警告メッセージ８２及び撮像画像８４を含む。警告メッセージ８２は、盗難の可能性があることを表すメッセージである。撮像画像８４は、第２判定部２０６０によって第３撮像画像３１に含まれないと判定された人物（盗難などの不正を行った可能性がある人物）が検出された第１撮像画像１１である。
FIG. 10 is a diagram illustrating a warning message displayed on the display device. The
警告画面８０を見ることで、店員や監視員等は、盗難などの不正が行われた可能性があること、及びその不正を行った人物の情報（外見など）を容易に把握することができる。
By looking at the
上記警告メッセージは、警備員室やレジ端末に設置されている据え置き型の出力装置に出力されてもよいし、携帯端末などの可搬媒体に出力されてもよい。例えばこの携帯端末は、店舗の店員や警備員などが所持する携帯端末である。警告部２０８０から出力された警告メッセージを取得した携帯端末は、その携帯端末のディスプレイ装置やスピーカから警告メッセージを出力する。例えば携帯端末のディスプレイ装置には、図１０と同様の警告画面が出力される。
The warning message may be output to a stationary output device installed in a security guard room or a cash register terminal, or may be output to a portable medium such as a portable terminal. For example, the portable terminal is a portable terminal owned by a store clerk or a security guard of a store. The portable terminal having acquired the warning message output from the
その他にも例えば、警告部２０８０は、店舗の出口５０が有するゲート（自動ドアなど）を通行不可にするという警告処理を実行してもよい。例えば警告部２０８０は、ゲートを閉じ、閉じたゲートをロックする。こうすることで、第２判定部２０６０によって第３撮像画像３１に含まれないと判定された人物（盗難などの不正を行った可能性がある人物）が店舗から出られないようにする。
In addition, for example, the
なお、ゲートを通行不可にするという警告処理を採用する場合、第３カメラ３０は、出口５０のゲートを通過している人物ではなく、出口５０のゲートに向かっている人物を撮像するように設置されることが好適である。こうすることで、より確実に、上記人物が店舗から出る前に出口５０のゲートを通行不可にできるようになる。
In the case of adopting a warning process to make the gate impassable, the
［実施形態２］
図１１は、実施形態２の情報処理装置２０００を例示するブロック図である。下記で説明する事項を除き、実施形態２の情報処理装置２０００は、実施形態１の情報処理装置２０００と同様の機能を有する。
Second Embodiment
FIG. 11 is a block diagram illustrating the
実施形態１の図５で例示したように、検出部２０２０から人物が検出されると（Ｓ１０６：ＹＥＳ）、その人物に関する警告処理を実行するか否かが判定され（Ｓ１０８からＳ１１６）、警告処理が実行される（Ｓ１１８）。検出部２０２０から検出された人物は出口５０から店舗の外へ出るため、その人物に関する一連の処理が完了した後は、その人物しか含まれない撮像画像を処理する必要はなくなると言える。
As exemplified in FIG. 5 of the first embodiment, when a person is detected from the detection unit 2020 (S106: YES), it is determined whether or not to execute a warning process regarding the person (S108 to S116), and the warning process Is executed (S118). Since the person detected by the
そこで実施形態２の情報処理装置２０００は除外部２１００を有する。除外部２１００は、第１撮像画像１１から検出された人物に関する一連の処理が完了した後、その人物のみが含まれる第１撮像画像１１、第２撮像画像２１、及び第３撮像画像３１を、情報処理装置２０００による処理の対象から除外する。「第１撮像画像１１から検出された人物に関する一連の処理が完了した後」とは、（１）第１判定部２０４０により、その人物が第２撮像画像２１に含まれないと判定された後（Ｓ１１０：ＮＯ）、（２）第２判定部２０６０により、その人物の不審度は高くないと判定された後（Ｓ１１２：ＮＯ）、又は（３）第２判定部２０６０によってその人物が第３撮像画像３１に含まれるか否かの判定が行われた後（Ｓ１１６）である。
Therefore, the
このように情報処理装置２０００による処理が完了した撮像画像を情報処理装置２０００の処理対象から除外することで、情報処理装置２０００の処理負荷を削減することができる。
The processing load on the
ここで、各撮像画像を情報処理装置２０００の処理対象から除外する方法は様々である。例えば除外部２１００は、処理対象から除外する各撮像画像を記憶装置から削除する。その他にも例えば、情報処理装置２０００の処理対象に含まれるか否かを表すフラグを撮像画像のメタデータに設けておき、このフラグを利用してもよい。このフラグの初期値は、「情報処理装置２０００の処理対象に含まれる」に設定しておく。そして除外部２１００は、撮像画像のフラグの値を「情報処理装置２０００の処理対象に含めない」に変更することにより、その撮像画像を情報処理装置２０００の処理対象から除外する。この場合、実施形態２の検出部２０２０、第１判定部２０４０、及び第２判定部２０６０は、フラグの値が「情報処理装置２０００の処理対象に含める」となっている撮像画像のみを対象として各処理を行う。
Here, there are various methods for excluding each captured image from the processing target of the
＜ハードウエア構成の例＞
実施形態２の情報処理装置２０００を実現する計算機のハードウエア構成は、実施形態１と同様に、例えば図４によって表される。ただし、本実施形態の情報処理装置２０００を実現する計算機１０００のストレージデバイス１０８０には、本実施形態の情報処理装置２０００の機能を実現するプログラムモジュールがさらに記憶される。
<Example of hardware configuration>
The hardware configuration of a computer that implements the
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。 As mentioned above, although the embodiment of the present invention was described with reference to drawings, these are the illustrations of the present invention and the combination of each above-mentioned embodiment or various composition except the above can also be adopted.
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１． 店舗の出口を撮像可能に設置された第１カメラによって生成される第１撮像画像から人物を検出する検出手段と、
前記第１撮像画像から検出された人物が、前記店舗の商品の陳列場所を撮像可能に設置された第２カメラによって生成される第２撮像画像に含まれるか否かを判定する第１判定手段と、
前記第２撮像画像に含まれなおかつ不審度が高い前記人物が、前記店舗の会計エリアを撮像可能に設置された第３カメラによって生成される第３撮像画像に含まれるか否かを判定する第２判定手段と、
前記第２判定手段によって前記人物が前記第３撮像画像に含まれないと判定された場合、警告処理を行う警告手段と、
を有する情報処理装置。
２． 前記第２判定手段は、前記第２撮像画像に前記人物が含まれる期間の前後における前記陳列場所の商品の量の変化、前記陳列場所における前記人物の滞留時間、前記人物の動作の不審さ、又は前記人物の移動の軌跡の不審さを表す値を算出し、前記算出した値が所定値以上である場合に、前記人物の不審度が高いと判定する、１．に記載の情報処理装置。
３． 前記第２判定手段が利用する第２撮像画像は、前記第２カメラによって前記人物が撮像された時点と、前記第１カメラによって前記人物が撮像された時点との間の期間の映像である、１．又は２．に記載の情報処理装置。
４． 前記検出手段、前記第１判定手段、及び前記第２判定手段はそれぞれ、人物が背後から撮像されている撮像画像を利用する、１．乃至３．いずれか一つに記載の情報処理装置。
５． 前記第１判定手段は、前記第１撮像画像から検出された人物の服装、体型、髪の色、肌の色、及び所持品のいずれか１つ以上に基づいて、その人物が前記第２撮像画像に含まれるか否かを判定し、
前記第２判定手段は、前記第１撮像画像から検出された人物の服装、体型、髪の色、肌の色、及び所持品のいずれか１つ以上に基づいて、その人物が前記第３撮像画像に含まれるか否かを判定する、４．に記載の情報処理装置。
６． 前記第１判定手段は、前記第１撮像画像から検出された人物が前記第２撮像画像に含まれるか否かの判定に、その人物の目、鼻、及び口を用いず、
前記第２判定手段は、前記第１撮像画像から検出された人物が前記第３撮像画像に含まれるか否かの判定に、その人物の目、鼻、及び口を用いない、４．又は５．に記載の情報処理装置。
７． 前記検出手段が利用する前記第１撮像画像、前記第１判定手段が利用する前記第２撮像画像、及び前記第２判定手段が利用する前記第３撮像画像には、人物の目、鼻、及び口のいずれもが含まれない、６．に記載の情報処理装置。
８． 第１判定手段により前記人物が第２撮像画像に含まれないと判定された後か、前記第２判定手段により前記人物の不審度は高くないと判定された後か、又は前記第２判定手段により前記人物が前記第３撮像画像に含まれるか否かが判定された後に、前記検出手段、前記第１判定手段、及び前記第２判定手段それぞれが処理する撮像画像から、前記人物以外の人物が含まれない撮像画像を除外する除外手段を有する、１．乃至７．いずれか一つに記載の情報処理装置。
９． 前記出口にゲートが設けられており、
前記警告手段が行う警告処理は、前記ゲートを通行不可の状態に設定する処理である、１．乃至８．いずれか一つに記載の情報処理装置。
Some or all of the above embodiments may be described as in the following appendices, but is not limited to the following.
1. A detection unit that detects a person from a first captured image generated by a first camera installed so as to be able to capture an exit of a store;
A first determination unit that determines whether a person detected from the first captured image is included in a second captured image generated by a second camera installed so as to be able to capture an image of a display place of a product of the store When,
It is determined whether or not the person included in the second captured image and having a high degree of suspiciousness is included in a third captured image generated by a third camera installed so as to be able to capture the accounting area of the
Warning means for performing a warning process when it is determined by the second determination means that the person is not included in the third captured image;
An information processing apparatus having
2. The second determination means changes a quantity of goods in the display place before and after a period in which the second captured image includes the person, residence time of the person in the display place, suspiciousness of the operation of the person, Alternatively, a value representing the suspiciousness of the movement trajectory of the person is calculated, and when the calculated value is equal to or more than a predetermined value, it is determined that the suspiciousness degree of the person is high, The information processing apparatus according to claim 1.
3. The second captured image used by the second determination unit is an image of a period between the time when the person is imaged by the second camera and the time when the person is imaged by the first camera. 1. Or 2. The information processing apparatus according to claim 1.
4. Each of the detection means, the first determination means, and the second determination means utilizes a captured image in which a person is captured from behind; To 3. The information processing apparatus according to any one.
5. The first determination means is configured to perform the second imaging of the person based on at least one of clothes, body shape, hair color, skin color and personal belongings detected from the first captured image. Determine if it is included in the image,
The second determination unit is configured to perform the third imaging of the person based on at least one of clothes, body shape, hair color, skin color, and personal belongings detected from the first captured image. Determine whether or not included in the image; The information processing apparatus according to claim 1.
6. The first determination means does not use the eyes, nose, and mouth of the person to determine whether the person detected from the first captured image is included in the second captured image.
4. The second determination means does not use the eyes, nose and mouth of the person to determine whether or not the person detected from the first captured image is included in the third captured image. Or 5. The information processing apparatus according to claim 1.
7. The first captured image used by the detection unit, the second captured image used by the first determination unit, and the third captured image used by the second determination unit include a person's eyes, a nose, and the like. 5. none of the mouth included The information processing apparatus according to claim 1.
8. Whether the first determination means determines that the person is not included in the second captured image, or the second determination means determines that the suspiciousness degree of the person is not high, or the second determination means After it is determined whether or not the person is included in the third captured image, a person other than the person is taken from the captured image processed by each of the detection means, the first determination means, and the second determination means Having exclusion means for excluding captured images not including To 7. The information processing apparatus according to any one.
9. A gate is provided at the outlet,
The warning process performed by the warning means is a process of setting the gate in an impassable state. To 8. The information processing apparatus according to any one.
１０． コンピュータによって実行される制御方法であって、
店舗の出口を撮像可能に設置された第１カメラによって生成される第１撮像画像から人物を検出する検出ステップと、
前記第１撮像画像から検出された人物が、前記店舗の商品の陳列場所を撮像可能に設置された第２カメラによって生成される第２撮像画像に含まれるか否かを判定する第１判定ステップと、
前記第２撮像画像に含まれなおかつ不審度が高い前記人物が、前記店舗の会計エリアを撮像可能に設置された第３カメラによって生成される第３撮像画像に含まれるか否かを判定する第２判定ステップと、
前記第２判定ステップによって前記人物が前記第３撮像画像に含まれないと判定された場合、警告処理を行う警告ステップと、
を有する制御方法。
１１． 前記第２判定ステップにおいて、前記第２撮像画像に前記人物が含まれる期間の前後における前記陳列場所の商品の量の変化、前記陳列場所における前記人物の滞留時間、前記人物の動作の不審さ、又は前記人物の移動の軌跡の不審さを表す値を算出し、前記算出した値が所定値以上である場合に、前記人物の不審度が高いと判定する、１０．に記載の制御方法。
１２． 前記第２判定ステップにおいて利用する第２撮像画像は、前記第２カメラによって前記人物が撮像された時点と、前記第１カメラによって前記人物が撮像された時点との間の期間の映像である、１０．乃至１１．いずれか一つに記載の制御方法。
１３． 前記検出ステップ、前記第１判定ステップ、及び前記第２判定ステップそれぞれにおいて、人物が背後から撮像されている撮像画像を利用する、１０．乃至１２．いずれか一つに記載の制御方法。
１４． 前記第１判定ステップにおいて、前記第１撮像画像から検出された人物の服装、体型、髪の色、肌の色、及び所持品のいずれか１つ以上に基づいて、その人物が前記第２撮像画像に含まれるか否かを判定し、
前記第２判定ステップにおいて、前記第１撮像画像から検出された人物の服装、体型、髪の色、肌の色、及び所持品のいずれか１つ以上に基づいて、その人物が前記第３撮像画像に含まれるか否かを判定する、１３．に記載の制御方法。
１５． 前記第１判定ステップにおいて、前記第１撮像画像から検出された人物が前記第２撮像画像に含まれるか否かの判定に、その人物の目、鼻、及び口を用いず、
前記第２判定ステップにおいて、前記第１撮像画像から検出された人物が前記第３撮像画像に含まれるか否かの判定に、その人物の目、鼻、及び口を用いない、１３．又は１４．に記載の制御方法。
１６． 前記検出ステップにおいて利用する前記第１撮像画像、前記第１判定ステップにおいて利用する前記第２撮像画像、及び前記第２判定ステップにおいて利用する前記第３撮像画像には、人物の目、鼻、及び口のいずれもが含まれない、１５．に記載の制御方法。
１７． 第１判定ステップにおいて前記人物が第２撮像画像に含まれないと判定された後か、前記第２判定ステップにおいて前記人物の不審度は高くないと判定された後か、又は前記第２判定ステップにおいて前記人物が前記第３撮像画像に含まれるか否かが判定された後に、前記検出ステップ、前記第１判定ステップ、及び前記第２判定ステップそれぞれにおいて処理する撮像画像から、前記人物以外の人物が含まれない撮像画像を除外する除外ステップを有する、１０．乃至１６．いずれか一つに記載の制御方法。
１８． 前記出口にゲートが設けられており、
前記警告ステップにおいて行う警告処理は、前記ゲートを通行不可の状態に設定する処理である、１０．乃至１７．いずれか一つに記載の制御方法。
10. A control method implemented by a computer,
A detection step of detecting a person from a first captured image generated by a first camera installed so as to be able to capture an exit of the store;
A first determination step of determining whether a person detected from the first captured image is included in a second captured image generated by a second camera installed so as to be able to capture an image of a display place of a product of the store When,
It is determined whether or not the person included in the second captured image and having a high degree of suspiciousness is included in a third captured image generated by a third camera installed so as to be able to capture the accounting area of the
A warning step of performing a warning process if it is determined in the second determination step that the person is not included in the third captured image;
Controlling method.
11. In the second determination step, change in the amount of goods in the display place before and after a period in which the second captured image includes the person, residence time of the person in the display place, suspiciousness of operation of the person, Or 10. calculating a value representing the suspiciousness of the movement trajectory of the person, and determining that the suspiciousness degree of the person is high if the calculated value is equal to or greater than a predetermined value, Control method described in.
12. The second captured image used in the second determination step is an image of a period between the time when the person is imaged by the second camera and the time when the person is imaged by the first camera. 10. To 11. The control method according to any one.
13. In each of the detection step, the first determination step, and the second determination step, using a captured image in which a person is captured from behind, To 12. The control method according to any one.
14. In the first determination step, the person performs the second imaging based on any one or more of the clothes, the body shape, the hair color, the skin color, and the belongings detected from the first captured image in the first determination step Determine if it is included in the image,
In the second determination step, the person performs the third imaging based on at least one of clothes, body shape, hair color, skin color, and personal belongings detected from the first captured image in the second determination step. Determine whether or not included in the image 13. Control method described in.
15. In the first determination step, the determination as to whether or not the person detected from the first captured image is included in the second captured image does not use the eyes, nose and mouth of the person,
13. In the determination of whether or not the person detected from the first captured image is included in the third captured image in the second determination step, the eyes, nose and mouth of the person are not used. Or 14. Control method described in.
16. The first captured image used in the detection step, the second captured image used in the first determination step, and the third captured image used in the second determination step include human eyes, a nose, and the like. 15. none of the mouth included Control method described in.
17. After it is determined in the first determination step that the person is not included in the second captured image, or after it is determined in the second determination step that the suspiciousness degree of the person is not high, or the second determination step After it is determined whether or not the person is included in the third captured image, the captured image to be processed in each of the detection step, the first determination step, and the second determination step is a person other than the person. Having an exclusion step of excluding captured images not including To 16. The control method according to any one.
18. A gate is provided at the outlet,
The warning process performed in the warning step is a process of setting the gate to the impassable state, 10. To 17. The control method according to any one.
１９． １０．乃至１８．いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。 19. 10. To 18. A program that causes a computer to execute each step of the control method described in any one.
Claims (3)
前記第２撮像画像に含まれなおかつ画像解析することにより動作が特定された前記人物が、前記店舗の会計エリアを撮像可能に設置された第３カメラによって生成される第３撮像画像に含まれない場合、警告処理を行う警告手段と、
を有する情報処理装置。 A person detected from a first captured image, which is an image obtained by capturing a person heading toward the exit, is included in a second captured image generated by a second camera installed so as to be able to capture an image of a display place of a store item. Determining means for determining whether or not
The person included in the second captured image and whose operation is specified by image analysis is not included in a third captured image generated by a third camera installed so as to be able to capture an image of the accounting area of the store In the case of warning means to perform warning processing,
An information processing apparatus having
出口に向かっている人物を撮像した画像である第１撮像画像から検出された人物が、店舗の商品の陳列場所を撮像可能に設置された第２カメラによって生成される第２撮像画像に含まれるか否かを判定する判定ステップと、
前記第２撮像画像に含まれなおかつ画像解析することにより動作が特定された前記人物が、前記店舗の会計エリアを撮像可能に設置された第３カメラによって生成される第３撮像画像に含まれない場合、警告処理を行う警告ステップと、
を有する制御方法。 A control method to be executed by a computer,
A person detected from a first captured image, which is an image obtained by capturing a person heading toward the exit, is included in a second captured image generated by a second camera installed so as to be able to capture an image of a display place of a store item. A determination step of determining whether or not
The person included in the second captured image and whose operation is specified by image analysis is not included in a third captured image generated by a third camera installed so as to be able to capture an image of the accounting area of the store In the case of a warning step,
Controlling method.
出口に向かっている人物を撮像した画像である第１撮像画像から検出された人物が、店舗の商品の陳列場所を撮像可能に設置された第２カメラによって生成される第２撮像画像に含まれるか否かを判定する判定ステップと、
前記第２撮像画像に含まれなおかつ画像解析することにより動作が特定された前記人物が、前記店舗の会計エリアを撮像可能に設置された第３カメラによって生成される第３撮像画像に含まれない場合、警告処理を行う警告ステップと、
を実行させるプログラム。 On the computer
A person detected from a first captured image, which is an image obtained by capturing a person heading toward the exit, is included in a second captured image generated by a second camera installed so as to be able to capture an image of a display place of a store item. A determination step of determining whether or not
The person included in the second captured image and whose operation is specified by image analysis is not included in a third captured image generated by a third camera installed so as to be able to capture an image of the accounting area of the store In the case of a warning step,
A program that runs
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017171526A JP6536643B2 (en) | 2017-09-06 | 2017-09-06 | INFORMATION PROCESSING APPARATUS, CONTROL METHOD, AND PROGRAM |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017171526A JP6536643B2 (en) | 2017-09-06 | 2017-09-06 | INFORMATION PROCESSING APPARATUS, CONTROL METHOD, AND PROGRAM |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017534848A Division JP6206627B1 (en) | 2016-12-05 | 2016-12-05 | Information processing apparatus, control method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018092599A JP2018092599A (en) | 2018-06-14 |
| JP6536643B2 true JP6536643B2 (en) | 2019-07-03 |
Family
ID=62563728
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017171526A Active JP6536643B2 (en) | 2017-09-06 | 2017-09-06 | INFORMATION PROCESSING APPARATUS, CONTROL METHOD, AND PROGRAM |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6536643B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6778736B2 (en) * | 2018-12-28 | 2020-11-04 | 富士通クライアントコンピューティング株式会社 | Judgment device and program |
| JP7355632B2 (en) * | 2019-12-12 | 2023-10-03 | 清水建設株式会社 | Information correction device, information correction method and program |
| CN111582179B (en) * | 2020-05-09 | 2023-04-07 | 广州市炬盾科技发展有限公司 | Monitoring video analysis method and device, computer equipment and storage medium |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9036028B2 (en) * | 2005-09-02 | 2015-05-19 | Sensormatic Electronics, LLC | Object tracking and alerts |
| JP2016057908A (en) * | 2014-09-10 | 2016-04-21 | 宮田 清蔵 | Robbery prevention system and software |
-
2017
- 2017-09-06 JP JP2017171526A patent/JP6536643B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018092599A (en) | 2018-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11157778B2 (en) | Image analysis system, image analysis method, and storage medium | |
| US10846537B2 (en) | Information processing device, determination device, notification system, information transmission method, and program | |
| RU2753959C2 (en) | Video analysis module and method for generating materials for investigating user's behavior | |
| US20180115749A1 (en) | Surveillance system and surveillance method | |
| JP2011248836A (en) | Residence detection system and program | |
| US11881090B2 (en) | Investigation generation in an observation and surveillance system | |
| JP6206627B1 (en) | Information processing apparatus, control method, and program | |
| US20190327451A1 (en) | Video image analysis apparatus and video image analysis method | |
| JP6536643B2 (en) | INFORMATION PROCESSING APPARATUS, CONTROL METHOD, AND PROGRAM | |
| JP2016131288A (en) | Information processing apparatus and program | |
| US20230136054A1 (en) | Information processing method, information processing device, and recording medium | |
| US10783365B2 (en) | Image processing device and image processing system | |
| JP2021196741A (en) | Image processing device, image processing method and program | |
| US11600158B2 (en) | Information processing apparatus, control method, and program | |
| JP5758165B2 (en) | Article detection device and stationary person detection device | |
| KR101648786B1 (en) | Method of object recognition | |
| CN112419637B (en) | Security image data processing method and device | |
| JP6531804B2 (en) | INFORMATION PROCESSING APPARATUS, CONTROL METHOD, AND PROGRAM | |
| CA3068692A1 (en) | Investigation generation in an observation and surveillance system | |
| JP2021012657A (en) | Information processing apparatus, information processing method, and camera | |
| JP7039084B1 (en) | Self-registration monitoring system and self-registration monitoring method | |
| US10891491B2 (en) | In-store monitoring device, in-store monitoring method, and recording medium | |
| JP5618366B2 (en) | Monitoring system, monitoring device, monitoring method, and program | |
| KR20230032976A (en) | System and method for monitoring video using augmented reality | |
| JP2021174136A (en) | Image processing device, image processing system, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180925 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181002 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190507 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190520 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6536643 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |