JP6773389B1 - デジタル・オートファイル・セキュリティシステム、方法及びプログラム - Google Patents

Abstract

撮影画像から正確に不審者を判定することができるデジタル・オートファイル・セキュリティシステム、方法及びプログラムを提供する。デジタル・オートファイル・セキュリティシステム（１０００）は、セキュリティ区域を撮影するカメラによって撮影された画像から人を抽出する人抽出部（１１１）と、人抽出部（１１１）によって抽出された人が持つ買い物かごの中の商品を検出する商品検出部（１１２）と、人抽出部（１１１）によって抽出された人が買い物かごの中の商品を陳列棚に戻す行為を認識する戻し行為認識部（１１３）と、戻し行為認識部（１１３）が買い物かごの中の商品を陳列棚に戻す行為を認識せずに、商品検出部（１１２）が買い物かごの中の商品を検出した後に該商品を検出しなくなったこと受けて、窃盗行為が行われたことを判定する窃盗行為判定部（１１５）とを備える。

Description

本発明は、防犯等のために監視カメラによりセキュリティ区域内を撮影して人による窃盗行為を検出するデジタル・オートファイル・セキュリティシステム、方法及びプログラムに関する。

特許文献１には、「画像データに基づいて、窃盗行為が行われたか否かを判定する」（請求項１）、「万引き行為を行ったと判別される状況は、商品を鞄や衣服のポケットに入れる行為」（００２１）と記載されている。特許文献１の技術は、万引き行為の発生を検出するシステムに関するものである。

特許第６５７３１８５号公報

従来、窃盗行為を検出する場合は、特許文献１に記載されているように、画像データ中に撮像された人が窃盗行為を行ったか否かを示す情報を出力するように学習された学習済モデルを用いて、複数の撮像装置が取得した画像データに基づいて、窃盗行為が行われたか否かを判定していた。このために、精度の良い学習済モデルを用意しない場合には、不審者の判定に誤りが多く、実用的ではなかった。
特に、商品を買い物かごに入れて、その後、陰に隠れて買い物かごからマイバッグなどに移してしまうと、万引きと認識できない。
本発明の目的は、撮影画像から正確に不審者を判定することができるデジタル・オートファイル・セキュリティシステム、方法及びプログラムを提供することにある。

本発明に係るデジタル・オートファイル・セキュリティシステムは、セキュリティ区域を撮影するカメラによって撮影された画像から人を抽出する人抽出手段と、前記人抽出手段によって抽出された人が持つ買い物かごの中の商品を検出する商品検出手段と、前記人抽出手段によって抽出された人が前記買い物かごの中の商品を陳列棚に戻す行為を認識する戻し行為認識手段と、前記戻し行為認識手段が前記買い物かごの中の商品を陳列棚に戻す行為を認識せずに、前記商品検出手段が前記買い物かごの中の商品を検出した後に該商品を検出しなくなったこと受けて、窃盗行為が行われたことを判定する窃盗行為判定手段とを備えることを特徴とする。

この構成により、買い物かごに入れた商品を陳列棚に戻す行為を認識せずに、商品が買い物かごから消えたか否かだけで万引きを判定するので、商品を買い物かごに入れて、その後、陰に隠れて買い物かごからマイバッグなどに移してしまうことを認識することができる。

本発明に係るデジタル・オートファイル・セキュリティシステムは、商品の盗まれやすさのパラメータである窃盗重みを商品と対応づけて記憶する窃盗重み記憶手段を更に備え、前記窃盗行為判定手段は、前記窃盗重み記憶手段に記憶されている商品の窃盗重みに基づいて、窃盗行為が行われたことを判定することを特徴とする。

この構成により、画像データに加えて、窃盗重みに基づいて窃盗行為が行われたか否かを判定しており、単なる手の動作だけではなく、手の動作に意味（商品を窃盗しようという目的動作）を付加することができ、正確に窃盗行為を判定することができる。

前記窃盗行為判定手段は、前記商品検出手段が前記買い物かごの中の商品を検出した後に該商品を検出しなくなった商品の、前記パラメータに基づいて、窃盗の疑いの程度を判定することで、窃盗の疑いの程度に応じた対応をとることができる。

前記窃盗行為判定手段は、予め学習又は登録しておいた買い物かご情報をもとに、前記窃盗行為が行われたことを判定することで、予め学習・登録された情報を用いるので、買い物かごの中に商品があるか否かの判定精度は非常に高く、信頼性の高い判定をすることができる。

前記窃盗行為判定手段が、窃盗行為が行われたと判定したことを受けて、その判定結果を所定の端末に通報する通報手段を更に備えることで、例えば店舗関係者は、万引き候補に対し、迅速な対応をとることができる。

前記通報手段は、窃盗の疑いの程度を通報することで、店舗関係者は、万引き候補の可能性のある買い物客に対し、注意度に応じた対応（万引き対応の人を担当させるなど）をとることができる。

また、本発明のデジタル・オートファイル・セキュリティ方法は、セキュリティ区域を撮影するカメラによって撮影された画像から人を抽出する人抽出ステップと、前記人抽出ステップによって抽出された人が持つ買い物かごの中の商品を検出する商品検出ステップと、前記人抽出ステップによって抽出された人が前記買い物かごの中の商品を陳列棚に戻す行為を認識する戻し行為認識ステップと、前記戻し行為認識ステップが前記買い物かごの中の商品を陳列棚に戻す行為を認識せずに、前記商品検出手段が前記買い物かごの中の商品を検出した後に該商品を検出しなくなったこと受けて、窃盗行為が行われたことを判定する窃盗行為判定ステップとを備える。

また、本発明は、コンピュータを、セキュリティ区域を撮影するカメラによって撮影された画像から人を抽出する人抽出手段と、前記人抽出手段によって抽出された人が持つ買い物かごの中の商品を検出する商品検出手段と、前記人抽出手段によって抽出された人が前記買い物かごの中の商品を陳列棚に戻す行為を認識する戻し行為認識手段と、前記戻し行為認識手段が前記買い物かごの中の商品を陳列棚に戻す行為を認識せずに、前記商品検出手段が前記買い物かごの中の商品を検出した後に該商品を検出しなくなったこと受けて、窃盗行為が行われたことを判定する窃盗行為判定手段とを備えることを特徴とするデジタル・オートファイル・セキュリティシステムとして機能させるためのプログラムである。

本発明によれば、商品を買い物かごに入れて、その後、陰に隠れて買い物かごからマイバッグなどに移してしまうことを認識して不審者を判定することができる。

本発明の実施の形態に係るデジタル・オートファイル・セキュリティシステムの構成を示すブロック図である。 本発明の実施の形態に係るデジタル・オートファイル・セキュリティシステムの監視装置の記憶部の窃盗重みパラメータを説明する図である。 本発明の実施の形態に係るデジタル・オートファイル・セキュリティシステムの監視装置の制御部のブロック図である。 本発明の実施の形態に係るデジタル・オートファイル・セキュリティシステムの携帯端末装置を利用したシステムを示す構成図である。 本発明の実施の形態に係るデジタル・オートファイル・セキュリティシステムのスマートフォンのセキュリティアプリ動作を示す図である。 本発明の実施の形態に係るデジタル・オートファイル・セキュリティシステムの監視装置の制御部が窃盗行為を判定する処理を示すフローチャートである。 本発明の実施の形態に係るデジタル・オートファイル・セキュリティシステムのスーパーマーケット等の店舗内の営業時間中の警備を説明する図である。 本発明の実施の形態に係るデジタル・オートファイル・セキュリティシステムの監視装置の制御部が窃盗行為を判定する処理を示すフローチャートである。 本発明の実施の形態に係るデジタル・オートファイル・セキュリティシステムの手の動作検出を説明する図である。 本発明の実施の形態に係るデジタル・オートファイル・セキュリティシステムの監視装置の商品の買い物かご入れ判定を説明する図である。 本発明の実施の形態に係るデジタル・オートファイル・セキュリティシステムの監視装置の制御部が窃盗行為を判定する処理を示すフローチャートである。 本発明の実施の形態に係るデジタル・オートファイル・セキュリティシステムの監視装置の制御部が窃盗行為を判定する処理を示すフローチャートである。

以下、添付図面を参照しながら本発明を実施するための形態について詳細に説明する。
（実施の形態）
図１は、本発明の実施の形態に係るデジタル・オートファイル・セキュリティシステムの構成を示すブロック図である。
本デジタル・オートファイル・セキュリティシステムは、店舗、商業施設及び展示場等の事業所等に適用して好適である。
本実施の形態は、本デジタル・オートファイル・セキュリティシステムを、店舗に適用した例である。店舗は、例えばスーパーマーケット、コンビニ、ドラッグストア、１００円ショップ、八百屋などである。店舗において、窃盗行為は万引きである。また、商品を入れる買い物かご（カート等を含む）を用いる店舗が対象となる。

図１に示すように、デジタル・オートファイル・セキュリティシステム１０００は、セキュリティ区域に設置された複数の監視カメラ１１と、人感センサ２０と、セキュリティ区域内に設置されたＷｉ-Ｆｉ（Wireless Fidelity）ターミナル（以下「Ｗｉ-Ｆｉ親機」という）３０と、ビーコン親機４０と、関係者（販売員）が携帯する携帯端末装置５０（ＩＤ（Identification）端末）と、システム全体を制御する監視装置１００と、ＡＩ（Artificial Intelligence：人工知能）アクセラレータ（Accelerator）２００と、を備える。セキュリティ区域は、警戒エリア（警備対象エリア）であり、例えば、店舗の売場である。

なお、監視装置１００は、セキュリティ区域内に設置されているが、図示しないネットワークを介して外部に設置してもよい。監視装置１００を、ネットワーク上のサーバに設置すると、複数のセキュリティ区域を監視対象とすることができる。

＜監視カメラ１１＞
監視カメラ１１は、セキュリティ区域内の画像を撮影する。
監視カメラ１１の一部又は全部は、ＰＴＺ（パン・チルト・ズーム）機能を有するＰＴＺカメラであり、監視装置１００により遠隔操作される。監視カメラ１１は、セキュリティ該当建物の警備対象の店舗及び該当敷地エリアの各所に設置される。監視カメラ１１が撮影した画像は、監視装置１００に出力され、録画部１６０に記録される。

＜人感センサ２０＞
人感センサ２０は、サーモカメラ又は赤外線カメラ等であり、セキュリティ区域内の感知対象物の温度を検出して、セキュリティ区域内の不審者を検出する。

＜Ｗｉ-Ｆｉ親機３０＞
Ｗｉ-Ｆｉ親機３０は、Ｗｉ-Ｆｉを用いて携帯端末装置５０のＷｉ-Ｆｉ子機５１との間で情報をやり取りする。また、Ｗｉ-Ｆｉ親機３０は、Ｗｉ-Ｆｉ測位による位置情報取得、すなわちＷｉ-Ｆｉアクセスポイントと所定の位置情報サービスを利用した位置情報を取得できる。

＜ビーコン親機４０＞
ビーコンは、Bluetooth Low Energyを利用した無線技術である。ビーコンは、発信側のビーコン機器であるビーコン親機４０と、ビーコン親機４０からの電波受信に対応した携帯端末装置５０のアプリ（後記ビーコン子機５２に対応する）の組み合わせによって構成される。ビーコンは、識別に必要な固有のＩＤ情報を発信し、携帯端末装置５０の当該ＩＤ情報に紐付けられたアプリにしか反応しない。携帯端末装置５０のアプリは、ビーコン親機４０と同じ識別子を登録しておく。携帯端末装置５０のアプリ（ビーコン子機５２）は、ビーコン機能を搭載したアプリケーション実行によりバックグラウンドで待機し、ビーコン親機４０のビーコンに近接したときに所定アクションを励起する。

［携帯端末装置５０］
携帯端末装置５０は、店舗の販売員などがそれぞれ携帯する。携帯端末装置５０は、例えばスマートフォン５０ａ、タブレット５０ｂ、又はノートパソコン５０ｃなどである。携帯端末装置５０は、このほか、携帯電話、ＰＨＳ（Personal Handy-Phone System）、ＰＤＡ（Personal Digital Assistants）、又は専用端末などである。本実施の形態では、携帯端末装置５０は、店舗の販売員などが様々な場所（すなわち現在位置）で使用可能であり、図示しない電話回線を介して監視装置１００からのメール又は動画を含む映像等を受信可能である。

本実施の形態では、携帯端末装置５０は、スマートフォン５０ａ（ＩＤ端末）の利用を想定しており、各個人が様々な場所（すなわち現在位置）で使用可能である。携帯端末装置５０のうちの一つは、図示しない警備会社に配置される。

スマートフォン５０ａは、デジタル・オートファイル・セキュリティアプリ（以下、「セキュリティアプリ」という）を有する。セキュリティアプリを、例えば各アプリのバックグランド処理で起動させておくと、通信キャリア網（移動体通信網）、ウェブサービスクラウド３００（後記図４参照）、又はインターネット３０３（後記図４参照）を経由して、ウェブサービスクラウド３００上のクラウドサーバ３０１（後記図４参照）に接続でき、クラウドサーバ３０１から不審者に関するテキストを受け取ることができる。スマートフォン５０ａは、待受け画面等に不審者を検出したテキストを通知できる。

スマートフォン５０ａは、Ｗｉ-Ｆｉ個別識別機（以下「Ｗｉ-Ｆｉ子機」という）５１と、関係者の位置を捕捉するＧＰＳ５３と、を備える。
なお、スマートフォン５０ａは、ビーコン子機５２を備えているものでもよい。又は、スマートフォン５０ａは、Ｗｉ-Ｆｉ子機５１と、ビーコン子機５２と、ＧＰＳ５３とのいずれか一つを備えるものでもよい。

＜Ｗｉ-Ｆｉ子機５１＞
Ｗｉ-Ｆｉ子機５１は、業務施設に設置されたＷｉ-Ｆｉ親機３０の電波を受信及び個別識別する。監視装置１００は、施設内に設置されたＷｉ-Ｆｉ親機３０の配置情報をセフティ関連情報として記憶している。Ｗｉ-Ｆｉ子機５１がＷｉ-Ｆｉ親機３０に近接すると、携帯端末装置５０を携帯する関係者のＩＤと位置を判定することができる。

＜ビーコン子機５２＞
ビーコン子機５２は、ビーコン親機４０からの電波受信に対応した携帯端末装置５０のアプリである。ビーコン親機４０は、ビーコン（識別に必要な固有のＩＤ情報）を発信し、携帯端末装置５０のアプリ（ビーコン子機５２）は、ビーコン親機４０のビーコンに近接したときに所定アクションを励起する。

＜ＧＰＳ５３＞
ＧＰＳ５３は、位置情報の電波をＧＰＳ衛星等から受信する。ＧＰＳ５３は、ＧＰＳアンテナを介して受信した情報より、現在位置情報を、緯度、経度及び高度の３つのパラメータとして算出して位置情報を取得する。取得した位置情報は、適時、監視装置１００に送信される。

なお、本実施形態では、位置情報を取得する手段として、ＧＰＳ衛星を利用した例を示したが、ＧＰＳ以外の、基地局との位置関係を利用した方式でもよい。例えば、モバイル端末である携帯端末装置５０として、Ａｎｄｒｏｉｄ（登録商標）スマートフォンやカメラ付き高機能携帯電話機を使用する場合、ＧＰＳ５３に代えて又は併用して、基地局及び携帯電話通信網（図示省略）を介して携帯電話会社サーバと情報の送受信を行い、接近確認から自端末の現在位置情報を取得することも可能である。

また、Ｗｉ-Ｆｉ測位による位置情報取得、すなわちＷｉ-Ｆｉアクセスポイントと所定の位置情報サービスを利用した位置情報取得を用いてもよい。

［監視装置１００］
監視装置１００は、セキュリティ区域内に設置され、セキュリティ区域内を集中管理する。監視装置１００は、一般的なサーバ計算機、又はパーソナルコンピュータ等であってよい。

監視装置１００は、制御部１１０と、入力部１２０と、記憶部１３０（窃盗重み記憶手段）と、表示部１４０と、出力部１５０と、録画部１６０と、画像処理部１７０と、インタフェース（Ｉ／Ｆ）部１８０と、通信部１９０と、を備え、各部はバス１９５により接続される。

以降、「○○部は」と主体を記した場合は、制御部１１０が必要に応じＲＯＭから各プログラムを読み出した上でＲＡＭにロードし、各機能（後記）を実行するものとする。各プログラムは、予め記憶部１３０に記憶されていてもよいし、他の記憶媒体又は通信媒体を介して、必要なときに監視装置１００に取り込まれてもよい。

制御部１１０は、ＣＰＵ（Central Processing Unit）等により構成され、監視装置１００全体を制御するとともに、制御プログラムを実行して、デジタル・オートファイル・セキュリティシステムとして機能させる。制御部１１０の詳細な構成については、後記する。

入力部１２０は、操作盤１２０ａを有し、キーボード、マウス、表示部１４０の画面上に設けられたタッチパネル又はマイクなど、監視装置１００のユーザが指示などを入力するための入力機器である。

記憶部１３０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）などの不揮発性メモリからなり、制御部１１０が用いる各種データ及びプログラムなどを記憶する。記憶部１３０は、監視カメラ１１から受信した静止画又は動画、制御部１１０が用いる各種データ及びプログラムなどを記憶する。

記憶部１３０は、商品の盗まれやすさのパラメータである窃盗重みパラメータ１３５を商品と対応づけて記憶する。

図２は、窃盗重みパラメータ１３５を説明する図である。
図２に示すように、窃盗重みパラメータ１３５は、商品ごとに、過去の実績に依存する窃盗実績重み１３５ａ、商品の価格に依存する窃盗価格重み１３５ｂ、及び商品が陳列されている陳列棚の窃盗位置重み１３５ｃからなる群より選択される少なくとも一つを用いる。本実施形態では、窃盗実績重み１３５ａ（窃盗実績重み付け値「Ａ」）、窃盗価格重み１３５ｂ（窃盗価格重み付け値「Ｂ」）、及び窃盗位置重み１３５ｃ（窃盗位置重み付け値「Ｃ」）を用いる。
窃盗重みは、例えば「１」〜「１０」(「１」が最小、「１０」が最大)の範囲で設定される。

表示部１４０は、監視装置１００の動作状況をはじめ、監視カメラ１１から受信した画像、又は監視装置１００を操作するためのＧＵＩ（Graphical User Interface）などを表示する。

出力部１５０は、例えばオーディオインタフェースであり、セキュリティ区域内の音響システム１５８に対して監視装置１００からの音声信号を出力する。監視装置１００から音響システム１５８へ出力する音声信号としては、例えば、入力部１２０に設けられたマイクなどの音声入力装置から入力された音声信号、又は記憶部１３０に記憶された音楽データを制御部１１０が再生した音声信号であってよい。音響システム１５８は、アンプ及び店舗内に配置された複数のスピーカを備え、監視装置１００から入力された信号を店舗内に発声する。

また、窃盗行為の検出時に店舗内に発声する音声は、店舗関係者が知っている、不審者の来訪を知らせる音楽などである。このように、窃盗行為の検出時に、窃盗行為の発生を知らせる音声（音楽）を店舗内に報知することで、店舗の各従業員に、不審者の来訪を知らせることができる。従業員間での連携が可能になり、より迅速に対応することができる。

録画部１６０は、ＨＤＤ（Hard Disk Drive）などの外部記憶装置により構成され、監視カメラ１１が撮影したセキュリティ区域内の画像を記録する。録画部１６０は、撮影後所定の短時間は高画質で録画し、その所定の短時間経過後は低画質に変換して所定の長時間まで録画すると共に高画質の撮影画像は消去し、制御部１１０が不審者を検出した時は、その時までの所定の短時間の高画質の撮影画像を保存する。

画像処理部１７０は、ＤＳＰ（Digital Signal Processor）等により構成され、受信した画像に対して予め定められた処理を行う。予め定められた処理には、輪郭抽出、画像のリサイズ、又は解像度変換処理などがある。

監視カメラ１１で１秒間に撮影する画像が例えば５コマの画像である場合、１／５秒画像、２／５秒画像、３／５秒画像、４／５秒画像及び５／５秒画像の動きで、対象物の外形形状線を入力すれば、動く対象物の大きさが分かる。
画像処理部１７０は、監視カメラ１１で撮影された画像データを処理し、セキュリティ区域内の画像から人の存在の有無を判定するために制御部１１０に送る。

Ｉ／Ｆ部１８０は、セキュリティ区域内に配置された各監視カメラ１１と監視装置１００とを接続する。また、Ｉ／Ｆ部１８０は、図示しない本部、本社又は警備会社などにネットワーク又は専用回線により接続する。
通信部１９０は、基地局を介して携帯端末装置５０とデータを送受信する。通信部１９０は、無線通信機能を有し、例えばＵＳＢ（Universal Serial Bus）を用いて制御基板に接続される。

［制御部１１０］
図３は、本発明の第１の実施の形態に係るデジタル・オートファイル・セキュリティシステムの監視装置１００の制御部１１０のブロック図である。
図３に示すように、制御部１１０は、ＣＰＵ（Central Processing Unit）等により構成され、監視装置１００全体を制御するとともに、制御プログラムを実行して、デジタル・オートファイル・セキュリティシステムとして機能させる。
制御部１１０は、人抽出部１１１（人抽出手段）と、商品検出部１１２（商品検出手段）、戻し行為認識部１１３（戻し行為認識手段）、手動作検出部１１４と、窃盗行為判定部１１５（窃盗行為判定手段）と、通報部１１６（通報手段）と、を備える。

制御部１１０は、人抽出部１１１が、セキュリティ区域を撮影するカメラによって撮影された画像から人を抽出する。
制御部１１０は、人抽出部１１１が、人の候補のブロック（図９上図の符号ａに示す矩形参照）が人らしいと判定したことを受けて、人が存在すると判定する。

制御部１１０は、商品検出部１１２が、人抽出部１１１によって抽出された人が持つ買い物かごの中の商品を検出する。買い物かごは、買い物かごやカートなど、商品を中に入れるものはすべて含まれる（以下、買い物かごという）。また、制御部１１０は、買い物かごの側面、正面、上面、及び多方向斜視からみた形状の各パターンを、買い物かご情報（事前学習済み買い物かご情報）として記憶部１３０に登録しておく。ここで、買い物かごは、買い物かごの中が視認できる形状であるため、撮影した買い物かごの画像と上記パターン結果を照合することで、買い物かごの中に商品があることを精度よく短時間で認定することができる。また、認識の際、学習（ＡＩ等の機械学習も含む）を用いてもよく、さらに認定精度を向上できる。なお、買い物かご情報として、買い物かごの色を登録しておいてもよい。このようにすれば、予め登録した買い物かごの色と、商品との色の差異から、より認識精度を高めることができる。買い物かごの中の商品が小さい場合に特に有効である。

制御部１１０は、戻し行為認識部１１３が、人抽出部１１１によって抽出された人が買い物かごの中の商品を陳列棚に戻す行為を認識する。

制御部１１０は、手動作検出部１１４が、人抽出部１１１によって抽出された画像における手の動作を検出する。

制御部１１０は、窃盗行為判定部１１５が、戻し行為認識部１１３が買い物かごの中の商品を陳列棚に戻す行為を認識せずに、商品検出部１１２が買い物かごの中の商品を検出した後に該商品を検出しなくなったこと受けて、窃盗行為が行われたことを判定する。

制御部１１０は、窃盗行為判定部１１５が、窃盗重み記憶部１３０に記憶されている商品の窃盗重みに基づいて、窃盗行為が行われたことを判定する。例えば、窃盗実績重み１３５ａと窃盗価格重み１３５ｂと窃盗位置重み１３５ｃの重み付け値の総和が、所定閾値Ｄより小さい）商品であれば、万引きされやすい商品でないと判定する。
窃盗重みパラメータの値Ｘ＝Σ(Ａ＋Ｂ＋Ｃ)＜Ｄ

制御部１１０は、通報部１１６が、窃盗行為判定部１１５によって窃盗行為が行われたと判定したことを受けて、その判定結果を所定の端末に通報する。通報部１１６は、例えば、窃盗の疑いの程度（例えば８０％など）を通報する。通報を受けて、店舗関係者は、万引き候補を注意して観察する。

制御部１１０は、撮影後所定の短時間は高画質で録画部１６０に録画し、その所定の短時間経過後は低画質に変換して所定の長時間まで録画すると共に高画質の撮影画像は消去し、撮影方向の変化を検出した時は、その時までの所定の短時間の高画質の撮影画像は保存する。

制御部１１０は、ＡＩアクセラレータ２００（後記）を用いて撮影画像を分析してセキュリティ区域内の人を検出する。制御部１１０は、ＡＩアクセラレータ２００に対して人検出要求を発行し、ＡＩアクセラレータ２００は、ＣＰＵ以外でＡＩの計算を実行して、人検出結果を人抽出部１１１に送信する。人検出には高速性が求められるので、人検出にＡＩアクセラレータ２００を用いている。

本実施形態では、制御部１１０は、ＡＩアクセラレータ２００を用いて人を検出しているが、サーモカメラ（又は人感センサ２０）で人を検出するようにしてもよい。すなわち、人感センサ２０は、セキュリティ区域内の温度を検出する。そして、制御部１１０は、人感センサ２０が人の体温を検出し、かつ、監視カメラ１１がその撮影画像の変化を検出したことによって人（不審者候補）の存在を検出する。

なお、制御部１１０は、ＡＩアクセラレータ２００を用いた人検出と、サーモカメラ（又は人感センサ）を用いた人検出とを組み合わせてもよい。例えば、セキュリティ区域内のうち、人検出の高速性が要求される、店舗売場についてはＡＩアクセラレータ２００を用い、人検出の高速性が要求されない店舗売場外はサーモカメラ（又は人感センサ）を使用する。

人抽出部１１１は、ＡＩアクセラレータ２００を用いて、セキュリティ区域を撮影するカメラによって撮影された画像をモノクロ２値画像に変換し、そのモノクロ２値画像から人の候補を抽出する。

なお、本実施形態では、人検出の各処理にＡＩアクセラレータ２００を使っているが、ＣＰＵ処理（制御部１１０の制御プログラム実行）で行ってもよい。

［ＡＩアクセラレータ２００］
ＡＩアクセラレータ２００は、人を検出する専用プロセッサであり、ＣＰＵ以外の計算リソースを用いる。ＡＩアクセラレータ２００は、例えば、ＧＰＵ（Graphics Processing Unit）を強化したプロセッサよる画像処理、ＦＰＧＡ（Field-Programmable Gate Array）を用いた信号処理のアクセラレートである。また、ＡＩアクセラレータ２００は、専用ハード（例えば、ＧＰＵ）上でＡＩ（Artificial Intelligence：人工知能）の計算を実行する。

通常のＰＣによるコンピュータの処理では、デジタル画像一枚あたり人（人体）の検出の処理を行うのに約１．５秒かかる。このため、本実施形態では、人の検出プロセッサであるＡＩアクセラレータ２００を利用することで、ＰＣによるコンピュータの処理の約１０倍のパフォーマンスを得、侵入検出を迅速に実行する。また、本実施形態では、計算負荷が高いＡＩの計算を専用ハードであるＡＩアクセラレータ２００に任せている。これにより、市販のカメラと安価な機器を用いた構成であっても、リアルタイムにほとんど誤りなく人を検出可能であることが実証できた。

［デジタル・オートファイル・セキュリティシステム］
図４は、本発明の実施形態に係る携帯端末装置５０を利用したデジタル・オートファイル・セキュリティシステムを示す構成図である。
図４に示すように、デジタル・オートファイル・セキュリティシステム１０００は、ウェブサービスクラウド３００上に、デジタル・オートファイル・セキュリティサービスを提供するクラウドサーバ（商用サーバ）３０１、クラウドサーバ３０１に連携して能動的に情報を取得してユーザのスマートフォン５０ａ（携帯端末装置；ＩＤ端末）に通知するＰｕｓｈ通知サーバ３０２を有する。ウェブサービスクラウド３００は、インターネット３０３に接続される。ウェブサービスクラウド３００上のクラウドサーバ３０１は、インターネット３０３を経由してスマートフォン５０ａにテキスト及び画像を送信することができる。また、スマートフォン５０ａは、インターネット３０３を経由してＰｕｓｈ通知サーバ３０２からＰｕｓｈ通知を受信する。さらに、クラウドサーバ３０１及びＰｕｓｈ通知サーバ３０２は、ＬＴＥ／３Ｇ網などの通信キャリア網（移動体通信網）（図示省略）を経由して、セキュリティアプリが搭載されたスマートフォン５０ａに接続する。

図４に示すように、デジタル・オートファイル・セキュリティシステム１０００は、万引き（商品窃盗）候補を検出し、店舗の販売員等が所持するスマートフォン５０ａにプッシュ通知する。
スマートフォン５０ａに来た通知をユーザがタップすると、セキュリティアプリが起動して不審者のズーム画面を表示し、「万引き候補が検出されました」というテロップが流れる。同時にその内容が音声で読み上げられる。このように、スマートフォン５０ａの画面のテロップと音声とで不審者の通知が行われる。さらに、スマートフォン５０ａユーザの操作により、例えば緊急時には関係機関（警察・消防）に通知する。この場合、警備会社や関係企業本社にも自動的に通知される。また、緊急性がない場合や確認したい場合には、警備会社のみに通知する。

［セキュリティアプリ動作］
図５は、スマートフォン５０ａのセキュリティアプリ動作を示す図である。
図５左に示すように、スマートフォン５０ａの待受け画面等に不審者を検出したテロップが通知される。ユーザのタップにより、図５中に示すように、スマートフォン５０ａの表示はセキュリティアプリ動作表示に切り替わり、不審者のズーム画面を表示し、不審者の位置と状況「○○売場△△ブロックに不審者」を表示する。また、このテロップを自動音声で読み上げる。さらに、ユーザのタップにより、図５右に示すように、スマートフォン５０ａの表示を時系列の４画面に表示する。

以下、上述のように構成されたデジタル・オートファイル・セキュリティシステムの動作について説明する。
［窃盗行為判定処理］
図６は、デジタル・オートファイル・セキュリティシステムの監視装置１００の制御部１１０が窃盗行為を判定する処理を示すフローチャートである。本フローは、監視装置１００の制御部１１０（図３参照）により実行される。
ステップＳ１で、制御部１１０は、セキュリティ区域を撮影するデジタルカメラ（監視カメラ１１）からコンピュータの処理能力に合わせて、例えば０．２秒毎等に画像を得る。
ステップＳ２で、制御部１１０の人抽出部１１１（図３参照）は、ＡＩアクセラレータ２００で人抽出を行う。

ステップＳ３で、制御部１１０の商品検出部１１２は、人抽出部１１１によって抽出された人が持つ買い物かごの中の商品を検出する。

ステップＳ４で、制御部１１０の戻し行為認識部１１３は、人抽出部１１１によって抽出された人が買い物かごの中の商品を陳列棚に戻す行為を認識する。

ステップＳ５で、戻し行為認識部１１３は、買い物かごの中の商品を陳列棚に戻す行為を認識したか否かを判定する。

戻し行為認識部１１３が買い物かごの中の商品を陳列棚に戻す行為を認識した場合（ステップＳ５：Ｙｅｓ）、本フローの処理を終了する。

戻し行為認識部１１３が買い物かごの中の商品を陳列棚に戻す行為を認識しなかった場合（ステップＳ５：Ｎｏ）、ステップＳ６で窃盗行為判定部１１５は、商品検出部１１２が買い物かごの中の商品を検出した後に該商品を検出しなくなったか（買い物かごの中の商品が消えたか）否かを判定する。

上記ステップＳ５で戻し行為認識部１１３が買い物かごの中の商品を陳列棚に戻す行為を認識した場合（ステップＳ５：Ｙｅｓ）、又は上記ステップＳ６で買い物かごの中の商品が消えていない場合（ステップＳ６：Ｎｏ）、窃盗行為が行われなかったと判断して、本フローの処理を終了する。

買い物かごの中の商品が消えた場合（ステップＳ６：Ｙｅｓ）、ステップＳ７で、制御部１１０の窃盗行為判定部１１５（図３参照）は、商品の窃盗重みを取得する。例えば、窃盗行為判定部１１５は、手に取った商品に対して、過去の実績に依存する窃盗実績重み１３５ａ（窃盗実績重み「Ａ」という）、商品の価格に依存する窃盗価格重み１３５ｂ（窃盗価格重み「Ｂ」という）、商品が陳列されている陳列棚の窃盗位置重み１３５ｃ（窃盗位置重み「Ｃ」という）を取得する。

ステップＳ８で、窃盗行為判定部１１５は、当該商品の窃盗重みパラメータ１３５に基づいて窃盗行為が行われたと判定する。例えば、商品の窃盗重みが小さい（窃盗実績重み１３５ａの重み付け値Ａと、窃盗価格重み１３５ｂの重み付け値Ｂと、窃盗位置重み１３５ｃの重み付け値Ｃの総和が所定閾値Ｄより小さい）商品であれば、万引きされやすい商品でないと判定する（次式参照）。
窃盗重みパラメータの値Ｘ＝Σ(Ａ＋Ｂ＋Ｃ)＜Ｄ

例えば、図２の商品コード「１００２」の商品では、窃盗実績重み１３５ａと窃盗価格重み１３５ｂとが最高ランク「１０」であるため、窃盗位置重み１３５ｃが最低ランク「０」であっても、重み付け値の総和が所定閾値Ｄ（＝１５）以上であり、万引きされやすい商品と判定する。

ただし、商品ロスが多発している商品では、その商品の窃盗実績重み１３５ａの重み付けを大きくしておくことができ、この場合は、万引きであると判定されやすくなる。逆に、商品の窃盗重みが大きい（窃盗実績重み１３５ａと窃盗価格重み１３５ｂと窃盗位置重み１３５ｃの重み付け値の総和が所定閾値より大きい）商品であれば、万引きされやすい商品であると判定する。
上記は一例である。例えば、手動作検出部１１４によって検出された手の動作で取られた商品に、窃盗実績重み「Ａ」、窃盗価格重み「Ｂ」、窃盗位置重み「Ｃ」のいずれか１つでも付加されている場合には、窃盗行為が行われたと判定してもよい。

窃盗行為が行われたと判定しない場合（ステップＳ８：Ｎｏ）、本フローの処理を終了する。
窃盗行為が行われたと判定した場合（ステップＳ８：Ｙｅｓ）、ステップＳ９で窃盗行為判定部１１５は、窃盗行為の疑いの程度を判定する。すなわち、窃盗行為判定部１１５は、買い物かご１７の中の商品を検出した後に該商品を検出しなくなったこと受けて、窃盗行為が行われたことを判定する（ステップＳ７）。このとき、買い物かご１７の中から消えた商品の窃盗重みパラメータ１３５が大きい、例えば窃盗価格重みが大きい（高価な）商品の場合には、窃盗の疑いの程度（例えば８０％など）が大きいと判定する。

ステップＳ１０で通報部１１６は、窃盗行為判定部１１５によって窃盗行為が行われたと判定したことを受けて、窃盗行為の疑いの程度を所定の端末に通報して本フローの処理を終了する。通報部１１６は、例えば、買い物かご１７の中の商品が消えたことと、窃盗重みパラメータ１３５（図２参照）から窃盗行為の程度（例えば８０％など）を通報する。通報を受けて、店舗関係者は、万引き候補を注意して観察する。店舗関係者は、万引き候補が該当商品をポケットやマイバックに入れること、該当商品をレジで精算しないことを迅速に判断することができる。

なお、本実施の形態では、買い物かご１７の中の商品が消えたことと、窃盗重みパラメータ１３５から窃盗行為の程度を判定するようにしているが、買い物かご１７の中の商品が消えた場合にすぐに（ステップＳ７及びステップＳ８をスキップして）、ステップＳ１０で窃盗行為判定部１１５は窃盗行為が行われたと判定する態様でもよい。

また、店舗関係者等に通報を行った場合、一時保存していた不審者の画像データ（顔画像や挙動などの動画データ）を証拠として録画部１６０に録画しておく。

これによって、撮影画像から正確に窃盗行為を判定することができる。
すなわち、買い物かごに入れた商品を陳列棚に戻す行為を認識せずに、商品が買い物かごから消えたか否かだけで万引きを判定するので、商品を買い物かごに入れて、その後、陰に隠れて買い物かごからマイバッグなどに移してしまうことを認識することができる。

また、買い物かご１７の中の商品が消えたことと、窃盗重みパラメータ１３５から窃盗行為の程度を判定し、窃盗の疑いの程度（例えば８０％など）を通報することで、店舗関係者は、万引き候補の可能性のある買い物客に対し、注意度に応じた対応（万引き対応の人を担当させるなど）をとることができる。

また、画像データに加えて、窃盗重みに基づいて窃盗行為が行われたか否かを判定することで、単なる手の動作だけではなく、手の動作に意味（万引きしようという目的動作）を付加することができ、正確に窃盗行為を判定することができる。

［店舗での不審者自動登録］
図７は、デジタル・オートファイル・セキュリティシステムの監視装置１００のスーパーマーケット等の店舗内の営業時間中の警備を説明する図である。図８は、その処理を示すフローチャートである。本フローは、監視装置１００の制御部１１０（図３参照）により実行される。

図７に示す店舗（セキュリティ区域）には、デジタルカメラ１１（監視カメラ）、デプスカメラ等の３Ｄカメラ１２（監視カメラ）が設置され、ＬＡＮ（Local Area Network）１３を介してセキュリティ区域内に配置された監視装置１００に接続される。なお、ＬＡＮ１３は、無線ＬＡＮであってもよい。
デジタルカメラ１１及び３Ｄカメラ１２は、店舗売場の陳列棚（ゴンドラ）１５及びショーケース１６（陳列棚）、買い物客を撮影して画像データを取得する。

陳列棚１５及びショーケース１６に陳列された商品（図示省略）には、図２に示す記憶部１３０の窃盗重みパラメータ１３５に、商品コードごとに、過去の実績に依存する窃盗実績重み１３５ａ、商品の価格に依存する窃盗価格重み１３５ｂ、及び商品が陳列されている陳列棚の窃盗位置重み１３５ｃが保存されている。例えば、図７に示す陳列棚１５ａに陳列されている商品は、窃盗実績重み１３５ａの重み付けが大きい商品であり、ショーケース１６ｂに陳列されている商品は、窃盗価格重み１３５ｂの重み付けが大きい商品である。

買い物客は、買い物かご１７に商品を入れて移動するか、商品を手に持って店舗売場を移動し、レジ１８で精算する。

図８に示すように、監視装置１００は、開店時間、例えば朝などに、本セキュリティシステムが警備を開始する。
ステップＳ１０１で制御部１１０は、陳列棚１５やショーケース１６前に設置されたデジタルカメラ１１、３Ｄカメラ１２から画像を得る。
ステップＳ１０２で、人体を検出する。
ステップＳ１０３で、人物を顔認証などによって認証する。
ステップＳ１０４で、該当者の手を検出する（後記図９参照）。
ステップＳ１０５で、物体（買い物かご１７）を検出する。

ステップＳ１０６で、該当者は買い物かご１７を所持するか否かを判定する。
買い物かご１７を所持する場合、ステップＳ１０７で買い物かご１７有りと判定してステップＳ１０９に進む。
買い物かご１７を所持しない場合、ステップＳ１０８で買い物かご１７無しと判定してステップＳ１０９に進む。

ステップＳ１０９で、商品を手に取ったか、戻したかを判定する（後記図９参照）。
商品を陳列棚１５等に戻した場合、ステップＳ１１０で「グリーン」と判定してステップＳ１２３に進む。
ここで、「グリーン」と、後記する「オレンジ」及び「レッド」は、万引き要注意者（万引き候補）の注意度を示す指標である。「グリーン」は（正常）、「オレンジ」は（注意）、「レッド」は（異常）として、買い物客の行動パターンの判定条件に加える。

上記ステップＳ１０９で、いずれでもない（商品に手を触れていない）場合、「グリーン」等の判定は行わずそのままステップＳ１２３に進む。
上記ステップＳ１０９で、商品を手に取った場合、ステップＳ１１１で、商品を買い物かご１７に入れたか否かを判定する（後記図１０参照）。商品を買い物かご１７に入れた場合、ステップＳ１１２で「グリーン」と判定してステップＳ１２３に進む。

商品を買い物かご１７に入れていない場合、ステップＳ１１３で、商品をポケットやカバン等に入れたか否かを判定する。商品をポケットやカバン等に入れた場合、万引きの可能性があると判断してステップＳ１１４で「オレンジ」と判定してステップＳ１１５に進む。「オレンジ」と判定した場合、上記ステップＳ１０３で人物認証（特に顔認証）した結果と「オレンジ」判定結果とを紐づけて記憶部１３０（図１参照）に記憶する。

ステップＳ１１５で、制御部１１０は、記憶部１３０に記憶された過去の「オレンジ」判定結果をもとに、該当人物が過去にもオレンジ判定されたか否かを判定し、該当人物が過去にもオレンジ判定されている場合、ステップＳ１１６で該当人物を「レッド」と判定してステップＳ１２３に進む。過去にオレンジ判定されていない場合、「オレンジ」等の判定は行わずそのままステップＳ１２３に進む。なお、「レッド」と判定した人物は、万引き（窃盗行為）者として、画像データ（顔画像や挙動などの動画データ）を証拠として録画部１６０に録画しておく。

一方、上記ステップＳ１１３で商品をポケットやカバン等に入れていなければ、ステップＳ１１７で制御部１１０は、レジ１８（図７参照）前に設置されたデジタルカメラ１１ａから画像を得る。
ステップＳ１１８で、買い物客がレジ１８で精算したか否かを判定する。
レジ１８で精算した場合、ステップＳ１１９で「グリーン」と判定してステップＳ１２３に進む。

レジ１８で精算していない場合、ステップＳ１２０で「オレンジ」と判定してステップＳ１２１に進む。過去にもオレンジ判定されている場合、ステップＳ１１６で「レッド」と判定と判定してステップＳ１２３に進む。過去にオレンジ判定されていない場合、「レッド」判定は行わずステップＳ１２３に進む。

ステップＳ１２３で、制御部１１０の窃盗行為判定部１１５（図３参照）は、記憶部１３０に記憶している窃盗重みパラメータ１３５（図２参照）を参照して、手に取った商品の窃盗重みを取得する。

ステップＳ１２４で、窃盗行為判定部１１５は、手動作検出部１１４によって検出された画像データ（手の動作）及び記憶部１３０に記憶されている商品の窃盗重みパラメータ１３５に基づいて窃盗行為が行われたか否かを判定する。

窃盗行為が行われた場合（ステップＳ１２４：Ｙｅｓ）、ステップＳ１２５で通報部１１６は、窃盗行為判定部１１５によって窃盗行為が行われたと判定したことを受けて、その判定結果を所定の端末に通報して本フローの処理を終了する。通報部１１６は、「グリーン」、「オレンジ」及び「レッド」の注意度をもとに、「オレンジ」又は「レッド」のいずれかを通報する。ここで、「オレンジ」及び「レッド」に代えて、窃盗の疑いの程度（例えば８０％など）を通報してもよい。

このように、窃盗の疑いの程度（「オレンジ」又は「レッド」の注意度）を通知するので、店舗関係者は、万引き候補の可能性のある買い物客に対し、注意度に応じた対応をとることができる。例えば、「レッド」が付加された窃盗行為に対しては、万引き対応の人を担当させるなど、より迅速に対応することができる。

［手の動作検出］
図９は、デジタル・オートファイル・セキュリティシステムの監視装置１００の手の動作検出を説明する図である。図９上図は、人間検出された画像を示す図、図９左下図は、来店者がＥ２から商品を手に取った動作を示す図、図９右下図は、来店者が商品をＥ２に戻した動作を示す図である。
図９上図に示すように、陳列棚１５の横方向の位置をＡ，Ｂ，Ｃ，Ｄ，Ｅ，…、縦方向の位置を１，２，３，４，…とする。来店者は、図９上図の符号ａに示す矩形で囲んだ枠で画像認識される。この来店者の利き手は、右手であるとし、陳列棚１５のＥ２に置かれた商品を、右手（符号ｂ参照）で取る動作を例に採る。

商品の陳列ケースのフェース割りに応じて縦１から４、横Ａ〜Ｅの名称をつける。例えばＥ２に万引きが多発する商品が置かれていることが事前に分かっているとすると、人間の手がＥ２から商品を取ったり、逆にＥ２に戻したりする動作を検出する。
図９左下図及び図９右下図の矢印は、時間経過に伴う手の動きを示している。

Ｅ２を囲む矩形と右手を囲む矩形（符号ｂ参照）との交差領域がＥ２全体に対して占める割合を求める。図９上図に示すように、右手の評価値は、「８５」であることが求められた。
上記、手の動作検出結果は、図６のステップＳ３で用いられる。

［商品の買い物かご入れ判定（その１）］
図１０は、デジタル・オートファイル・セキュリティシステムの監視装置１００の商品の買い物かご入れ判定を説明する図である。図１１は、その処理を示すフローチャートである。本フローは、監視装置１００の制御部１１０（図３参照）により実行される。

図１０上図は、人間検出された画像を示す図、図１０左下図は、来店者が買い物かごに商品を入れる動作を示す図、図１０右下図は、買い物かごから商品が消えた様子を示す図である。
図１０上図に示すように、陳列棚１５の横方向の位置をＡ，Ｂ，Ｃ，Ｄ，Ｅ，…、縦方向の位置を１，２，３，４，…とする。来店者は、図１０上図の符号ａに示す矩形で囲んだ枠で画像認識される。この来店者の利き手は、右手であるとし、陳列棚１５に置かれた商品を買い物かごに入れる動作、又は買い物かごから商品が消えた状態を例に採る。
店舗の買い物かご１７やカートの形状を事前に学習させておく。

図１０左下図に示すように、買い物かご１７を囲む枠（符号ｃ参照）と手を囲む枠（符号ｂ参照）との交差領域がある。この場合、商品を買い物かご１７に入れるので、「グリーン」（正常）と判定される。

図１０右下図に示すように、買い物かご１７を囲む枠（符号ｃ参照）の中に商品が検出されない。この場合、万引きの可能性がある「オレンジ」（注意）と判定される。
また、来店者が陳列ケースより商品を手に取り、片方の手でスマホにスキャンする手の動きがある場合に「グリーン」（正常）と判定し、スキャンをする手の動きがない場合に万引きの可能性がある「オレンジ」（注意）と判定するようにしてもよい。

図１１は、デジタル・オートファイル・セキュリティシステムの監視装置１００の商品の買い物かご入れ判定処理を示すフローチャートである。本フローは、監視装置１００の制御部１１０（図３参照）により実行される。

ステップＳ２０１で制御部１１０は、陳列棚１５やショーケース１６前に設置されたデジタルカメラ１１、３Ｄカメラ１２から画像を得る。
ステップＳ２０２で、人体の姿勢判断を行う。
ステップＳ２０３で、該当者の手を検出する（図９参照）。
ステップＳ２０４で、物体検出を行い買い物かご１７を検出する（図１０参照）。

ステップＳ２０５で、該当者は商品を手に所持しているか否かを判定する（図１０参照）。商品を手に所持していない場合、ステップＳ２２０に進む。
商品を手に所持している場合、ステップ２０６で右手（利き手）位置を判定する。

右手位置が陳列棚１５やショーケース１６（以下、ケースという）の中の場合、ステップＳ２０７で、陳列棚１５やケースへの返却か否かを判定する。
陳列棚１５やケースへの返却でない場合、ステップＳ２０８で、商品が置かれている棚割り、例えば２Ｅに置かれた商品名を特定する（図１０参照）。
ステップＳ２０９で、商品の品名を特定する。商品の品名を特定することで、窃盗重みパラメータ１３５（図２参照）から、商品コードごとの、過去の実績に依存する窃盗実績重み１３５ａ、商品の価格に依存する窃盗価格重み１３５ｂ、及び商品が陳列されている陳列棚の窃盗位置重み１３５ｃを取得することができる。
ステップＳ２１０で、取った商品を登録し、日時、カメラ、棚割り、商品の品名、個数、画像等の情報を取得する。

また、上記ステップＳ２０７で陳列棚１５やケースへの返却の場合、ステップＳ２１１で、商品の品名を特定する。
ステップＳ２１２で、戻した商品を登録し、ステップＳ２１３で商品を陳列棚１５やケースに戻したと判断してステップＳ２２０に進む。

一方、上記ステップＳ２０６で右手位置が陳列棚１５やケースの外の場合、ステップＳ２１４で、商品を買い物かご１７に格納しようとしているかを判定する（図１０参照）。
ステップＳ２１５で、手に所持する商品の格納先を特定する。
ステップＳ２１６で、商品の格納先を判定する。

商品の格納先が買い物かご１７の場合、ステップＳ２１７で、買い物かご１７に商品を入れた（図１０左下図参照）と判断してステップＳ２２０に進む。
商品の格納先がポケットの場合、ステップＳ２１８で、ポケットに商品を入れた（図１０右下図参照）と判断してステップＳ２２０に進む。
商品の格納先がその他の場合、ステップＳ２１９で、カバン等に商品を入れた（図１０右下図参照）と判断してステップＳ２２０に進む。

ステップＳ２２０で、制御部１１０の窃盗行為判定部１１５（図３参照）は、記憶部１３０に記憶している窃盗重みパラメータ１３５（図２参照）を参照して、手に取った商品の窃盗重みを取得する。

ステップＳ２２１で、窃盗行為判定部１１５は、手動作検出部１１４によって検出された画像データ（手の動作）及び記憶部１３０に記憶されている商品の窃盗重みパラメータ１３５に基づいて窃盗行為が行われたか否かを判定する。

窃盗行為が行われた場合（ステップＳ２２１：Ｙｅｓ）、ステップＳ２２２で通報部１１６は、窃盗行為判定部１１５によって窃盗行為が行われたと判定したことを受けて、その判定結果を所定の端末に通報して本フローの処理を終了する。通報部１１６は、商品を買い物かご１７に入れたか否かをもとに、「オレンジ」又は「レッド」の注意度と共に、窃盗の疑いの程度を（例えば８０％など）を通報する。

このように、商品を買い物かご１７に入れたかに応じて、窃盗の疑いの程度（「オレンジ」又は「レッド」の注意度）を通知するので、店舗関係者は、万引き候補の可能性のある買い物客に対し、注意度に応じた対応をとることができる。例えば、「レッド」が付加された窃盗行為に対しては、万引き対応の人を担当させるなど、より迅速に対応することができる。

［商品の買い物かご入れ判定（その２）］
図１２は、デジタル・オートファイル・セキュリティシステムの監視装置１００の商品の買い物かご入れ判定処理を示すフローチャートである。本フローは、監視装置１００の制御部１１０（図３参照）により実行される。

開店時間にデジタル・オートファイル・セキュリティシステムが警備を開始する。
ステップＳ３０１で制御部１１０は、陳列棚１５やショーケース１６前に設置されたデジタルカメラ１１から画像を得る。
ステップＳ３０２で、人の抽出を行う。
ステップＳ３０３で、人物認証を行う。
ステップＳ３０４で、該当者の手を検出する（図９参照）。
ステップＳ３０５で、物体検出を行い買い物かご１７を検出する（図１０参照）。

ステップＳ３０６で、該当者は買い物かご１７を所持するか否かを判定する。
買い物かご１７有りの場合、ステップＳ３０７に進み、買い物かご１７無しの場合、本フローを終了する。

ここで、買い物かご１７は、事前学習済みの買い物かごである。本実施形態は、買い物かごに入れた商品が消えたことを判定する。買い物かごの形状を予め学習しておくことで、買い物かごの認識精度を高め、買い物かごの中の商品を検出した後に該商品を検出しなくなったことをより精確に判定する。

ステップＳ３０７で、商品を手に取ったか又は戻したか否かを判定する。
商品を手に取った場合、ステップＳ３０８で該当者の手の動きが商品を買い物かご１７に入れる動きをしたか否かを判定する。
該当者の手の動きが商品を買い物かご１７に入れる動きをした場合、ステップＳ３０９で来店者移動先に設置されたデジタルカメラ１１等から画像を得る。
ステップＳ３１０で、該当者の手が商品を陳列棚１５に戻す動きをしたか否かを判定する。
該当者の手が商品を陳列棚１５に戻す動きをしなかった場合、ステップＳ３１１で、買い物かごから商品が消えたか否かを判定する。

上記ステップＳ３１０で該当者の手が商品を陳列棚１５に戻す動きをした場合、又は上記ステップＳ３１１で、買い物かごから商品が消えなかった場合、窃盗行為が行われなかったと判断してステップＳ３１３に進む。

上記ステップＳ３１１で、買い物かごから商品が消えた場合、窃盗行為が行われたと判断してステップＳ３１５に進む。

上記ステップＳ３０８で該当者の手の動きが商品を買い物かご１７に入れる動きをしなかった場合、ステップＳ３１２で該当者の手の動きが商品をポケット等に入れる動きをしたか否かを判定する。該当者の手の動きが商品をポケット等に入れる動きをした場合、ステップＳ３１５に進む。
該当者の手の動きが商品をポケット等に入れる動きをしなかった場合、ステップＳ３１３でレジ前に設置されたデジタルカメラ１１等から画像を得る。

ステップＳ３１４で、該当者は商品をレジで精算したか否かを判定する。
上記ステップＳ３１４で該当者は商品をレジで精算しなかった場合、上記ステップＳ３１１で買い物かご１７から商品が消えた場合、又は上記ステップＳ３１２で該当者の手の動きが商品をポケット等に入れる動きをした場合、ステップＳ３１５で過去にオレンジ判定されたか否かを判定する。
過去にオレンジ判定されなかった場合、ステップＳ３１６でオレンジと判定してステップＳ３１９に進む。
過去にオレンジ判定された場合、ステップＳ３１７でレッドと判定してステップＳ３１９に進む。

上記ステップＳ３１４で該当者は商品をレジで精算した場合、及び上記ステップＳ３０７で手に取った商品を陳列棚１５に戻した場合、グリーンと判定して本フローの処理を終了する。また、上記ステップＳ３０７で商品を手に取った又は戻したのいずれでもない場合、すなわち、商品手に取っていない場合、本フローの処理を終了する。
ステップＳ３１９では、要注意人物として該当者の顔、身体的特徴等を入力記憶して本フローの処理を終了する。
なお、通報部１１６が、窃盗行為判定部１１５によって窃盗行為が行われたと判定したことを受けて、その判定結果を所定の端末に通報してもよい。通報部１１６は、商品を買い物かご１７に入れたか否かをもとに、「オレンジ」又は「レッド」の注意度と共に、窃盗の疑いの程度を（例えば８０％など）を通報する。

以上詳細に説明したように、本実施の形態によれば、デジタル・オートファイル・セキュリティシステム１０００（図１参照）は、セキュリティ区域を撮影するカメラによって撮影された画像から人を抽出する人抽出部１１１と、人抽出部１１１によって抽出された人が持つ買い物かごの中の商品を検出する商品検出部１１２と、人抽出部１１１によって抽出された人が買い物かごの中の商品を陳列棚に戻す行為を認識する戻し行為認識部１１３と、戻し行為認識部１１３が買い物かごの中の商品を陳列棚に戻す行為を認識せずに、商品検出部１１２が買い物かごの中の商品を検出した後に該商品を検出しなくなったこと受けて、窃盗行為が行われたことを判定する窃盗行為判定部１１５とを備える。

この構成により、買い物かごに入れた商品を陳列棚に戻す行為を認識せずに、商品が買い物かごから消えたか否かだけで万引きを判定するので、商品を買い物かごに入れて、その後、陰に隠れて買い物かごからマイバッグなどに移してしまうことを認識することができる。

すなわち、窃盗行為を行う人は、監視カメラからみて陳列棚や人等の死角に隠れ、巧みに、商品をマイバックやポケットにしのばせ窃盗に及ぶことがある。このような場合、該当者の手が商品をマイバッグに入れる動きをしたことまでを捉えて窃盗行為であると判定すると、窃盗行為判定処理が煩瑣となりまた不正確となる。このことは認識精度の低下につながり、認識精度の低下は、結局は、窃盗行為判定の信頼性の低下につながる。信頼性の低下した情報をもとに、窃盗行為と断定することは困難である。

これに対して、本実施形態は、商品が買い物かごから消えたことを認識したことを受けて万引きと判定するので、迅速に窃盗行為を判定することができる。ここで、買い物かごは、予め登録・学習された情報を用いるので、買い物かごの中に商品があるか否かの判定精度は非常に高く、信頼性の高い判定をすることができる。

本実施形態では、デジタル・オートファイル・セキュリティシステム１０００は、買い物かごの中の商品を検出した後に該商品を検出しなくなった商品の、商品の盗まれやすさのパラメータに基づいて、窃盗の疑いの程度を判定する。これにより、窃盗の疑いの程度に応じた対応をとることができる。

本実施形態では、デジタル・オートファイル・セキュリティシステム１０００は、予め学習又は登録しておいた買い物かご情報をもとに、窃盗行為が行われたことを判定する。買い物かご情報は、上述したように、買い物かごの側面、正面、上面、及び多方向斜視からみた形状の各パターン情報である。撮影した買い物かごの映像と上記パターン結果を照合することで、買い物かごの中に商品があることを精度よく短時間で認識することができる。これにより、予め学習・登録された情報を用いるので、買い物かごの中に商品があるか否かの判定精度は非常に高く、信頼性の高い判定をすることができる。

本実施形態では、デジタル・オートファイル・セキュリティシステム１０００は、商品の盗まれやすさのパラメータである窃盗重みを商品と対応づけて記憶する窃盗重み記憶部１３０を更に備え、窃盗行為判定部１１５は、窃盗重み記憶部１３０に記憶されている商品の窃盗重みに基づいて、窃盗行為が行われたことを判定する。

この構成により、窃盗行為判定部１１５が、画像データに加えて、窃盗重みに基づいて窃盗行為が行われたか否かを判定しており、単なる手の動作だけではなく、手の動作に意味（万引きしようという目的動作）を付加することができ、正確に窃盗行為を判定することができる。

本実施形態では、デジタル・オートファイル・セキュリティシステム１０００は、記憶部１３０に記憶される窃盗重みが、過去の実績に依存する。これにより、万引き行為が多い商品について、大きい重み付けを付加することができ、窃盗行為の判定の精度をより高めることができる。その結果、万引きの発生をより抑制することができる。

本実施形態では、デジタル・オートファイル・セキュリティシステム１０００は、記憶部１３０に記憶される窃盗重みが、商品の価格に依存する。これにより、万引きされた場合に、損失が大きい高価な商品について、大きい重み付けを付加することができ、窃盗行為の判定の精度をより高めることができる。その結果、万引きによる損失をより抑制することができる。

本実施形態では、デジタル・オートファイル・セキュリティシステム１０００は、記憶部１３０に記憶される窃盗重みが、商品が陳列されている陳列棚によって判断される。これにより、万引き行為が多い商品について、大きい重み付けを付加することができ、窃盗行為の判定の精度をより高めることができる。その結果、万引きの発生をより抑制することができる。

本実施形態では、デジタル・オートファイル・セキュリティシステム１０００は、窃盗行為判定部１１５が、窃盗行為が行われたと判定したことを受けて、その判定結果を所定の端末に通報する通報部１１６を備える。これにより、店舗関係者は、万引き候補に対し、迅速な対応をとることができる。また、窃盗の疑いの程度（例えば８０％など）を通報することで、店舗関係者は、万引き候補の可能性のある買い物客に対し、注意度に応じた対応（万引き対応の人を担当させるなど）をとることができる。

本実施形態では、デジタル・オートファイル・セキュリティシステム１０００は、ＣＰＵ以外の計算リソースであるＡＩアクセラレータ２００を備え、制御部１１０の人抽出部１１１は、ＡＩアクセラレータ２００を用いて、セキュリティ区域内の人を検出する。ＡＩアクセラレータ２００は、ＣＰＵ処理とは別に人の検出処理を専用ハードで実行することで、広範なセキュリティ区域内に存在する人を実時間で検出することができる。また、安価なカメラ機器用いた構成であっても、リアルタイムで人を検出することができる。
また、ＡＩアクセラレータ２００であることで、従来の監視カメラによる人体検出に比べて極めて高い精度での侵入者の検出を行うことができる。

以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。

例えば、本デジタル・オートファイル・セキュリティシステム１０００を、スーパーマーケット、コンビニ、ドラッグストア、１００円ショップ、八百屋など適用することができる。これら各店舗は、人手不足等から窃盗行為の発見が手薄となる場合があり、商品が買い物かごから消えたことを認識したことを受けて万引きと判定する本システムは、迅速に窃盗行為を判定することができる点で有効な防犯システムが期待できる。

また、上記実施の形態及び他の適用例ではデジタル・オートファイル・セキュリティシステム及び方法という名称を用いたが、これは説明の便宜上であり、監視システム、セキュリティシステム、サーチ・セキュリティ方法等であってもよい。

また、本発明のデジタル・オートファイル・セキュリティシステム及び方法は、コンピュータを本デジタル・オートファイル・セキュリティシステム又は方法として機能させるためのプログラムでも実現される。このプログラムは、コンピュータで読み取り可能な記録媒体に格納されていてもよい。

このプログラムを記録した記録媒体は、本デジタル・オートファイル・セキュリティシステムのＲＯＭそのものであってもよいし、また、外部記憶装置としてＣＤ−ＲＯＭドライブ等のプログラム読取装置が設けられ、そこに記録媒体を挿入することで読み取り可能なＣＤ−ＲＯＭ等であってもよい。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行するためのソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、又は、ＩＣ（Integrated Circuit）カード、ＳＤ（Secure Digital）カード、光ディスク等の記録媒体に保持することができる。

明細書、特許請求の範囲及び図面を含む２０２０年 ３月１８日に出願の国際特許出願ＰＣＴ／ＪＰ２０２０／０１１９５８の開示は、そのまま参考として、ここにとり入れるものとする。
本明細書で引用したすべての刊行物、特許及び特許出願は、そのまま参考として、ここにとり入れるものとする。

本発明に係るデジタル・オートファイル・セキュリティシステム、方法及びプログラムは、商品を入れる買い物かご（カート等を含む）を用いるすべての店舗等に適用して好適である。

１１ 監視カメラ（デジタルカメラ、３Ｄカメラ）
１５ 陳列棚
１６ ショーケース（陳列棚）
２０ 人感センサ
３０ Ｗｉ-Ｆｉ親機
４０ ビーコン親機
５０ 携帯端末装置（ＩＤ端末）
５０ａ スマートフォン（携帯端末装置；ＩＤ端末）
５１ Ｗｉ-Ｆｉ子機
５２ ビーコン子機
５３ ＧＰＳ
１００ 監視装置
１１０ 制御部
１１１ 人抽出部（人抽出手段）
１１２ 商品検出部（商品検出手段）
１１３ 戻し行為認識部（戻し行為認識手段）
１１４ 手動作検出部
１１５ 窃盗行為判定部（窃盗行為判定手段）
１１６ 通報部（通報手段）
１２０ 入力部
１２０ａ 操作盤
１３０ 記憶部（窃盗重み記憶手段）
１３５ 窃盗重みパラメータ（窃盗重み記憶手段）
１３５ａ 過去の実績に依存する窃盗実績重み
１３５ｂ 商品の価格に依存する窃盗価格重み
１３５ｃ 商品が陳列されている陳列棚の窃盗位置重み
１４０ 表示部
１５０ 出力部
１６０ 録画部
１７０ 画像処理部
１８０ インタフェース（Ｉ／Ｆ）部
１９０ 通信部
２００ ＡＩアクセラレータ
１０００ デジタル・オートファイル・セキュリティシステム

Claims (8)

1. セキュリティ区域を撮影するカメラによって撮影された画像から人を抽出する人抽出手段と、
   前記人抽出手段によって抽出された人が持つ買い物かごの中の商品を検出する商品検出手段と、
   前記人抽出手段によって抽出された人が前記買い物かごの中の商品を陳列棚に戻す行為を認識する戻し行為認識手段と、
   前記戻し行為認識手段が前記買い物かごの中の商品を陳列棚に戻す行為を認識せずに、前記商品検出手段が前記買い物かごの中の商品を検出した後に該商品を検出しなくなったこと受けて、窃盗行為が行われたことを判定する窃盗行為判定手段と
   を備えることを特徴とするデジタル・オートファイル・セキュリティシステム。
2. 商品の盗まれやすさのパラメータである窃盗重みを商品と対応づけて記憶する窃盗重み記憶手段を更に備え、
   前記窃盗行為判定手段は、前記窃盗重み記憶手段に記憶されている商品の窃盗重みに基づいて、窃盗行為が行われたことを判定することを特徴とする請求項１記載のデジタル・オートファイル・セキュリティシステム。
3. 前記窃盗行為判定手段は、前記商品検出手段が前記買い物かごの中の商品を検出した後に該商品を検出しなくなった商品の、前記パラメータに基づいて、窃盗の疑いの程度を判定することを特徴とする請求項２記載のデジタル・オートファイル・セキュリティシステム。
4. 前記窃盗行為判定手段は、予め学習又は登録しておいた買い物かご情報をもとに、前記窃盗行為が行われたことを判定することを特徴とする請求項１記載のデジタル・オートファイル・セキュリティシステム。
5. 前記窃盗行為判定手段が、窃盗行為が行われたと判定したことを受けて、その判定結果を所定の端末に通報する通報手段
   を更に備えることを特徴とする請求項１記載のデジタル・オートファイル・セキュリティシステム。
6. 前記通報手段は、窃盗の疑いの程度を通報することを特徴とする請求項５記載のデジタル・オートファイル・セキュリティシステム。
7. セキュリティ区域を撮影するカメラによって撮影された画像から人を抽出する人抽出ステップと、
   前記人抽出ステップによって抽出された人が持つ買い物かごの中の商品を検出する商品検出ステップと、
   前記人抽出ステップによって抽出された人が前記買い物かごの中の商品を陳列棚に戻す行為を認識する戻し行為認識ステップと、
   前記戻し行為認識ステップが前記買い物かごの中の商品を陳列棚に戻す行為を認識せずに、前記商品検出手段が前記買い物かごの中の商品を検出した後に該商品を検出しなくなったこと受けて、窃盗行為が行われたことを判定する窃盗行為判定ステップと
   を備えることを特徴とするデジタル・オートファイル・セキュリティ方法。
8. コンピュータを、
   セキュリティ区域を撮影するカメラによって撮影された画像から人を抽出する人抽出手段と、前記人抽出手段によって抽出された人が持つ買い物かごの中の商品を検出する商品検出手段と、前記人抽出手段によって抽出された人が前記買い物かごの中の商品を陳列棚に戻す行為を認識する戻し行為認識手段と、前記戻し行為認識手段が前記買い物かごの中の商品を陳列棚に戻す行為を認識せずに、前記商品検出手段が前記買い物かごの中の商品を検出した後に該商品を検出しなくなったこと受けて、窃盗行為が行われたことを判定する窃盗行為判定手段とを備えることを特徴とするデジタル・オートファイル・セキュリティシステム
   として機能させるためのプログラム。
   

Images