JP6795667B1

JP6795667B1 - ネットワークシステム、不審者検知装置、および不審者検知方法

Info

Publication number: JP6795667B1
Application number: JP2019193245A
Authority: JP
Inventors: 剛大濱; 義幸上野
Original assignee: Japan Cash Machine Co Ltd
Current assignee: Japan Cash Machine Co Ltd
Priority date: 2019-10-24
Filing date: 2019-10-24
Publication date: 2020-12-02
Anticipated expiration: 2039-10-24
Also published as: WO2021079549A1; JP2021068201A

Abstract

【課題】効率的に不審者を検知するための、ネットワークシステム、不審者検知装置、および不審者検知方法を提供する。【解決手段】不審者検知のためのネットワークシステム１は、商品が載置されている場所の近傍を撮影するためのカメラ３００と、カメラ３００の画像に基づいて、所定の動作をしている人物を検知し、当該人物を特定することによって当該人物毎に検知した回数をカウントしていき、所定回数に達すると警告を出力するための制御部を有するサーバ１００と、警告を通知するための店舗端末２００や管理者端末４００と、を備える。【選択図】図１

Description

本発明は、商品の陳列場所などにおける不審者を検知するための技術に関する。

従来から、商品の販売所などにおける不審者を検知するための技術が知られている。たとえば、特開号公報（特許文献１）には、制御装置、制御方法および制御プログラムが開示されている。特許文献１によると、制御装置は、対話エージェントシステムとユーザとの会話における音の特徴に基づいて、応答メッセージとして出力する広告に関する情報である広告情報を検索する検索部と、検索部によって検索された広告情報に関する広告を応答メッセージとして出力するよう制御する出力制御部と、を備えたことを特徴とする。このため、制御装置は、ユーザに適したメッセージを出力することができる。

特開２０１９−１１０４７４号公報

本発明の一態様の目的は、効率的に不審者を検知するための技術を提供することにある。

本発明の一態様に従うと、商品が載置されている場所の近傍を撮影するためのカメラと、カメラの画像に基づいて、所定の動作をしている人物を検知し、当該人物を特定することによって当該人物毎に検知した回数をカウントしていき、所定回数に達すると警告を出力するための制御部と、を備える不審者検知システムが提供される。

以上のように、本発明の一態様によれば、効率的に不審者を検知するための技術が提供される。

第１の実施の形態にかかるネットワークシステム１の全体構成を示す図である。第１の実施の形態にかかるネットワークシステム１を構成するサーバ１００の構成を示すブロック図である。第１の実施の形態にかかる不審者データ１２２Ａを示すイメージ図である。第１の実施の形態にかかる店舗端末２００の構成を示すブロック図である。第１の実施の形態にかかるカメラ３００の構成を示すブロック図である。第１の実施の形態にかかる精算機５００の構成を示すブロック図である。第１の実施の形態にかかる管理者端末４００の構成を示すブロック図である。第１の実施の形態にかかるネットワークシステム１の情報処理を示すシーケンス図である。第２の実施の形態にかかるネットワークシステム１の情報処理を示すシーケンス図である。第３の実施の形態にかかるネットワークシステム１の情報処理を示すシーケンス図である。第４の実施の形態にかかるネットワークシステム１の情報処理を示すシーケンス図である。第５の実施の形態にかかるネットワークシステム１の情報処理を示すシーケンス図である。第６の実施の形態にかかる不審者データ１２２Ａを示すイメージ図である。第６の実施の形態にかかるネットワークシステム１の情報処理を示すシーケンス図である。第７の実施の形態にかかるネットワークシステム１の全体構成を示す図である。第７の実施の形態にかかる自動販売機の構成を示すブロック図である。第８の実施の形態にかかるネットワークシステム１の全体構成を示す図である。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
＜第１の実施の形態＞
＜ネットワークシステム１の全体構成＞

まず、図１を参照して、本実施の形態にかかるネットワークシステム１の全体構成について説明する。ネットワークシステム１は、主に、不審者検知サービスを実現するためのサーバ１００と、商品の陳列棚７００の周囲を撮影するためのカメラ３００と、カメラ３００を制御したり商品の購買データを取り扱ったりするための店舗端末２００と、商品の購入の清算処理を行うための精算機５００などを含む。
＜ネットワークシステム１の動作概要＞

次に、本実施の形態にかかるネットワークシステム１の動作概要について説明する。図１を参照して、カメラ３００が店舗内の商品の陳列棚７００の周囲を撮影して、有線通信または無線通信によって、撮影画像を店舗端末２００に送信する。店舗端末２００は、インターネットやキャリア網などを介して、撮影画像をサーバ１００に送信する。サーバ１００は、撮影画像に基づいて、不審な行動をしている人物を検知したり、当該人物を繰り返し検知した場合に店舗端末２００や管理者端末４００などに警告を通知したりする。

なお、不審な行動をしていると判断された人物であっても、商品が購買された場合には、警告を通知しないように構成することが好ましい。

このように本実施の形態にかかるネットワークシステム１は、不審な行動を繰り返した人物を検知したことを自動的に認識し、管理者などにその旨の情報を報告するものである。以下、このような機能を実現するためのネットワークシステム１の具体的な構成について詳述する。
＜サーバ１００の構成＞

図２を参照して、ネットワークシステム１を構成するサーバ１００の構成について説明する。まず、サーバ１００の構成について説明する。サーバ１００は、主たる構成要素として、ＣＰＵ（Central Processing Unit）１１０と、メモリ１２０と、操作部１４０と、通信インターフェイス１６０とを含む。

ＣＰＵ１１０は、メモリ１２０あるいは外部の記憶媒体に記憶されているプログラムを実行することによって、カメラ３００の各部を制御する。

メモリ１２０は、各種のＲＡＭ（Random Access Memory）、各種のＲＯＭ（Read Only Memory）などによって実現される。換言すれば、メモリ１２０は、揮発性メモリ１２１と、不揮発性メモリ１２２とを含む。メモリ１２０は、サーバ１００に内包されているものであってもよいし、サーバ１００の各種インターフェイスに着脱可能なものであってもよいし、サーバ１００からアクセス可能な他の装置の記録媒体であってもよい。メモリ１２０は、ＣＰＵ１１０によって実行されるプログラムや、ＣＰＵ１１０によるプログラムの実行により生成されたデータ、入力されたデータ、その他の本実施の形態にかかる処理やサービスに利用されるデータベースなどを記憶する。

たとえば不揮発性メモリ１２２は、図３に示すような、不審者データ１２２Ａを格納する。不審者データ１２２Ａは、不審な行動をしていると判断されたことがある来訪者毎に、人物ＩＤと、人物を特定するための顔などの特徴データと、顔画像データ自体と、不審な行動をしていると判断されて当該人物として特定された回数との対応関係を格納する。

図２に戻って、操作部１４０は、サービスの管理者などからの命令を受け付けてＣＰＵ１１０に入力する。

通信インターフェイス１６０は、無線ＬＡＮまたは有線ＬＡＮなどの通信モジュールによって実現される。通信インターフェイス１６０は、有線通信あるいは無線通信によって、カメラ３００や他のサーバなどとの間でデータをやり取りする。
＜店舗端末２００の構成＞

次に、本実施の形態にかかるネットワークシステム１を構成する店舗端末２００の構成について説明する。図４を参照して、本実施の形態にかかる店舗端末２００は、主たる構成要素として、ＣＰＵ２１０と、メモリ２２０と、ディスプレイ２３０と、操作部２４０と、通信インターフェイス２６０と、スピーカ２７０と、マイク２８０とを含む。

ＣＰＵ２１０は、メモリ２２０に記憶されているプログラムを実行することによって、店舗端末２００の各部を制御する。

メモリ２２０は、各種のＲＡＭや、各種のＲＯＭなどによって実現される。メモリ２２０は、各種サービスのためのアプリケーションプログラムや、ＣＰＵ２１０によるプログラムの実行により生成されたデータ、サーバ１００やカメラ３００から受信したデータ、操作部２４０を介して入力されたデータなどを記憶する。

ディスプレイ２３０は、ＣＰＵ２１０からのデータに基づいて、画像やテキストを表示する。操作部２４０は、ポインティングデバイスやスイッチなどから構成され、ユーザからの各種の命令をＣＰＵ２１０に入力する。なお、店舗端末２００は、ディスプレイ２３０と操作部２４０とを含むタッチパネル２５０を有してもよい。

通信インターフェイス２６０は、ＷｉＦｉ（登録商標）に準拠した無線通信や、キャリア網の局と無線通信を行うためのアンテナや、有線通信を行うためのコネクタなどによって実現される。ＣＰＵ２１０は、通信インターフェイス２６０を介して、カメラ３００から撮影動画像データを受信したり、当該撮影動画像データをルータやインターネットを介してサーバ１００にアップロードしたり、サーバ１００から不審者に関する警告の通知を受信したり、精算機５００からの決済情報や購買情報を受信したり、当該決済情報や購買情報をサーバ１００に送信したりする。

スピーカ２７０は、ＣＰＵ２１０からの信号に基づいて、音声を出力する。マイク２８０は、音声を取得して音声信号をＣＰＵ２１０に入力する。
＜カメラ３００の構成＞

図５を参照して、カメラ３００の構成について説明する。カメラ３００は、主たる構成要素として、ＣＰＵ３１０と、メモリ３２０と、画像センサ３３０と、通信インターフェイス３６０などを含む。

ＣＰＵ３１０は、メモリ３２０あるいは外部の記憶媒体に記憶されているプログラムを実行することによって、カメラ３００の各部を制御する。

メモリ３２０は、各種のＲＡＭや各種のＲＯＭなどによって実現される。メモリ３２０は、ＣＰＵ３１０によって実行されるプログラムや、ＣＰＵ３１０によるプログラムの実行により生成されたデータや画像センサ３３０で取得された画像データなどを記憶する。

画像センサ３３０は、ＣＰＵ３１０からの信号に基づいて、動画像や静止画像を撮影してＣＰＵ３１０に受け渡す。

通信インターフェイス３６０は、無線ＬＡＮまたは有線ＬＡＮなどの通信モジュールによって実現される。通信インターフェイス３６０は、有線通信あるいは無線通信によって、サーバなどの他の装置などとの間でデータをやり取りする。本実施の形態においては、ＣＰＵ３１０は、画像センサ３３０を用いて撮影することによって得られた画像データを、通信インターフェイス３６０を介して、サーバ１００にアップロードする。
＜精算機５００の構成＞

図６を参照して、精算機５００の構成について説明する。精算機５００は、主たる構成要素として、ＣＰＵ５１０と、メモリ５２０と、精算部５３０と、通信インターフェイス５６０などを含む。

ＣＰＵ５１０は、メモリ５２０あるいは外部の記憶媒体に記憶されているプログラムを実行することによって、精算機５００の各部を制御する。

メモリ５２０は、各種のＲＡＭや各種のＲＯＭなどによって実現される。メモリ５２０は、ＣＰＵ５１０によって実行されるプログラムや、ＣＰＵ５１０によるプログラムの実行により生成されたデータなどを記憶する。

精算部５３０は、光学センサや接触センサや近距離通信アンテナなどを有し、ＣＰＵ５１０からの信号に基づいて、投入された硬貨や紙幣を検知したり、商品のバーコードを読み取ったり、ＱＲコード（登録商標）を読み取ったり、ＩＣカードを読み取ったり、ＲＦＩＤタグと通信したりして、取得した情報をＣＰＵ５１０に入力する。

通信インターフェイス５６０は、無線ＬＡＮまたは有線ＬＡＮなどの通信モジュールによって実現される。通信インターフェイス５６０は、有線通信あるいは無線通信によって、店舗端末２００や決済サーバなどの他の装置などとの間でデータをやり取りする。本実施の形態においては、ＣＰＵ５１０は、精算部５３０を介して取得した情報に基づいて、通信インターフェイス５６０を介して、決済サーバや店舗端末２００に決済情報を送信したり、商品管理サーバや店舗端末２００に購買情報を送信したりする。
＜管理者端末４００の構成＞

次に、本実施の形態にかかるネットワークシステム１を構成する管理者端末４００は、店舗を統括する本社や警備会社などのパーソナルコンピュータおよびサーバや、本社の管理者や店舗の管理者や警備員などが保持するスマートフォンやタブレットなどであって、不審者を検知した旨の情報を必要とする者が利用する装置である。本実施の形態にかかる管理者端末４００は、図７に示すように、店舗端末２００の構成と同様であってもよく、ここでは説明を繰り返さない。
＜ネットワークシステム１における情報処理＞

次に、図８を参照して、本実施の形態にかかるネットワークシステム１における各装置の情報処理について説明する。

まず、カメラ３００のＣＰＵ３１０が、画像センサ３３０を利用して、商品の陳列棚７００の近傍を撮影する（ステップＳ１０２）。ＣＰＵ３１０は、通信インターフェイス２６０を介して、撮影した動画像データを店舗端末２００に送信する（ステップＳ１０４）。

店舗端末２００のＣＰＵ２１０は、通信インターフェイス２６０を介して、動画像データを受信する（ステップＳ１１２）。ＣＰＵ２１０は、通信インターフェイス２６０を介して、動画像データをサーバ１００に送信する（ステップＳ１１４）。

サーバ１００のＣＰＵ１１０は、通信インターフェイス１６０を介して、店舗端末２００から動画像データを受信する（ステップＳ１２２）。このとき、ＣＰＵ１１０は、動画像データを揮発性メモリ１２１に一時的に格納する。ＣＰＵ１１０は、動画像データに基づいて、商品の陳列棚７００の周囲に不審な行動をする人物がいるか否かを判断する（ステップＳ１２４）。

不審な行動をしている人物がいるか否かの判断手法は特に限定するものではない。たとえば、ＣＰＵ１１０は、手の動きや、顔の動きや、移動経路など、不審な行動を特定するための複数の判断ステップがプログラムされ、所定の条件が満たされた場合に、不審な行動をしたと判断してもよい。あるいは、ＣＰＵ１１０は、不振な行動に対応する多数の動画像データを教師データとして準備しておき、ＡＩ（Artificial Intelligence）を利用して、不審な行動を検知してもよい。

不審な行動を検知しなかった場合（ステップＳ１２４にてＮＯである場合）、ＣＰＵ１１０は、今回の店舗端末２００からの動画像に関しての処理を終了する。

不審な行動を検知した場合（ステップＳ１２４にてＹＥＳである場合）、ＣＰＵ１１０は、動画像データから人物の顔部分を切り出して、人物を特定するための特徴データを作成する（ステップＳ１２６）。このとき、ＣＰＵ１１０は、顔画像データや特徴データを揮発性メモリ１２１に一時的に格納する。

なお、特徴データを作成するためには、複数の画像を利用することが好ましい。すなわち、ＣＰＵ１１０は、動画像データから複数、たとえば５つなど、のタイミングの顔画像を切り出すことによって、特徴データを作成することが好ましい。

ＣＰＵ１１０は、不審者データ１２２Ａを参照して、特徴データにマッチする不審者が既に登録されているか検索する（ステップＳ１２８）。

ＣＰＵ１１０は、特徴データにマッチする不審者が既に登録されていれば当該不審者の検知回数を増加させる（ステップＳ１３０）。なお、特徴データにマッチする不審者が未だ登録されていない場合は、今回の特徴データに基づいて新しい不審者のデータを作成する。

ＣＰＵ１１０は、対象となっている人物が商品を購入したか否かを判断する（ステップＳ１３２）。たとえば、対象となっている人物が精算機５００の前にいるときに、精算機５００から購買情報を取得すると、当該対象となっている人物が商品を購入したと判断する。

対象となっている人物が商品を購入した場合（ステップＳ１３２にてＹＥＳである場合）、ＣＰＵ１１０は、検知回数を０にリセットする（ステップＳ１４２）。ＣＰＵ１１０は、今回の店舗端末２００からの動画像に関しての処理を終了する。

対象となっている人物が商品を購入せずに去っていった場合（ステップＳ１３２にてＮＯである場合）、検知回数が所定の回数、たとえば５回など、以上であるか否かを判断する（ステップＳ１３４）。

検知回数が所定の回数未満である場合（ステップＳ１３４にてＮＯである場合）、ＣＰＵ１１０は、今回の店舗端末２００からの動画像に関しての処理を終了する。

検知回数が所定の回数以上である場合（ステップＳ１３４にてＹＥＳである場合）、ＣＰＵ１１０は、不審者情報として、顔画像データをメモリ１２０の特定領域に格納する（ステップＳ１３６）。たとえば、ＣＰＵ１１０は、ステップＳ１２２で受信した動画像データや、ステップＳ１２６で切り出した顔画像データは、揮発性メモリ１２１に一時的に記憶しておき、ステップＳ１３６において、顔部分の画像データや、動画像データ自体などを不揮発性メモリ１２２に保存させることが好ましい。

ＣＰＵ１１０は、通信インターフェイス１６０を介して、店舗端末２００や管理者端末４００に、不審者が検知された旨の警告を通知する（ステップＳ１３８）。このとき、ＣＰＵ１１０は、不審者の顔画像や動画像などを不審者情報として、店舗端末２００や管理者端末４００に送信してもよい。これによって、店舗端末２００や管理者端末４００では、ＣＰＵ２１０，４１０が、ディスプレイ２３０，４３０に不審者が検知された旨の警告メッセージを表示させたり、スピーカ２７０，４７０に不審者が検知された旨の警告を音声出力させたりする（ステップＳ１５１）。

このように、本実施の形態にかかるネットワークシステム１に関しては、顔画像の特徴点データで不審者を検索することにより、すべての来店者の顔画像データ自体を保存する場合と比較してプライバシーを保護することができる。そして、所定回数以上の不審行動を検知した場合に、顔画像データを不審者情報として警告することができるので、セキュリティを確保することができる。
＜第２の実施の形態＞

第１の実施の形態においては、サーバ１００が取得した画像データを一時的に記憶しておき、不審者として所定の条件を満たした場合に、画像データを不揮発に記憶したり、不審者として登録したりするものであった。しかしながら、図９に示すように、ＣＰＵ１１０は、ステップＳ１２２で受信した動画像データや、ステップＳ１２６で切り出した顔画像データも、不揮発性メモリ１２２に記憶する構成であってもよい。

この場合は、不審な行動を検知しなかった場合（ステップＳ１２４にてＮＯである場合）、ＣＰＵ１１０は、対象となる動画像データや顔画像データを不揮発性メモリ１２２から消去することが好ましい（ステップＳ２４４）。

また、検知回数が所定の回数未満である場合（ステップＳ１３４にてＮＯである場合）、ＣＰＵ１１０は、対象となる動画像データや顔画像データを不揮発性メモリ１２２から消去することが好ましい（ステップＳ２４４）。
＜第３の実施の形態＞

あるいは、図１０に示すように、店舗端末２００からサーバ１００に送信するデータを制限してもよい。以下では、第１の実施の形態と異なる部分のみについて説明するものとし、同様の部分については説明を繰り返さない。

店舗端末２００のＣＰＵ２１０は、通信インターフェイス２６０を介して、動画像データを受信する（ステップＳ１１２）。ＣＰＵ２１０は、顔の部分にマスク処理を施してから、通信インターフェイス２６０を介して、動画像データをサーバ１００に送信する（ステップＳ３１４）。

サーバ１００のＣＰＵ１１０は、通信インターフェイス１６０を介して、店舗端末２００から動画像データを受信する（ステップＳ１２２）。ＣＰＵ１１０は、動画像データに基づいて、商品の陳列棚７００の周囲に不審な行動をする人物がいるか否かを判断する（ステップＳ１２４）。

不審な行動を検知した場合（ステップＳ１２４にてＹＥＳである場合）、ＣＰＵ１１０は、通信インターフェイス１６０を介して、店舗端末２００に人物の特徴データを要求する（ステップＳ３２６）。

店舗端末２００のＣＰＵ２１０は、サーバ１００からの要求を受信する（ステップＳ３１６）。ＣＰＵ２１０は、動画像データから人物の顔部分を切り出して、人物を特定するための特徴データを作成する（ステップＳ３１８）。ＣＰＵ２１０は、通信インターフェイス２６０を介して、特徴データをサーバ１００に送信する（ステップＳ３２０）。

ＣＰＵ１１０は、特徴データを受信して（ステップＳ３２７）、不審者データ１２２Ａを参照して、特徴データにマッチする不審者が既に登録されているか検索する（ステップＳ１２８）。

検知回数が所定の回数以上である場合（ステップＳ１３４にてＹＥＳである場合）、ＣＰＵ１１０は、通信インターフェイス１６０を介して、店舗端末２００に顔画像データを要求する（ステップＳ３３５）。

店舗端末２００のＣＰＵ２１０は、サーバ１００からの要求を受信する（ステップＳ３３６）。ＣＰＵ２１０は、動画像データから顔部分を切り出して、通信インターフェイス２６０を介して、顔画像データをサーバ１００に送信する（ステップＳ３３７）。

ＣＰＵ１１０は、受信した顔画像データを不審者情報としてメモリ１２０の特定領域に格納する（ステップＳ１３６）。
＜第４の実施の形態＞

上記の実施の形態のネットワークシステム１を構成する各装置の役割の一部や全部を、他の装置が担ってもよい。あるいは、１つの装置の役割の一部や全部を、複数の装置で分担して担ったり、複数の装置の役割の一部や全部を、１つの装置で担ったりしてもよい。たとえば、サーバ１００の役割を、クラウド上の複数のサーバで担ってもよい。

以下では、一例として、サーバ１００の役割の一部を店舗端末２００が担う場合について説明する。本実施の形態においては、店舗端末２００とサーバ１００とが不審者データ１２２Ａを保持することが好ましい。図１１を参照して、本実施の形態にかかるネットワークシステム１における各装置の情報処理について説明する。

まず、カメラ３００のＣＰＵ３１０が、画像センサ３３０を利用して、商品の陳列棚７００の周囲を撮影する（ステップＳ１０２）。ＣＰＵ３１０は、通信インターフェイス２６０を介して、撮影した動画像データを店舗端末２００に送信する（ステップＳ１０４）。

店舗端末２００のＣＰＵ２１０は、通信インターフェイス２６０を介して、動画像データを受信する（ステップＳ１１２）。ＣＰＵ２１０は、動画像データに基づいて、商品の陳列棚７００の周囲に不審な行動をする人物がいるか否かを判断する（ステップＳ４２４）。

不審な行動を検知しなかった場合（ステップＳ４２４にてＮＯである場合）、ＣＰＵ２１０は、今回の動画像に関しての処理を終了する。

不審な行動を検知した場合（ステップＳ４２４にてＹＥＳである場合）、ＣＰＵ２１０は、動画像データから人物の顔部分を切り出して、人物を特定するための特徴データを作成する（ステップＳ４２６）。

ＣＰＵ２１０は、不審者データ１２２Ａを参照して、特徴データにマッチする不審者が既に登録されているか検索する（ステップＳ４２８）。

ＣＰＵ２１０は、特徴データにマッチする不審者が既に登録されていれば当該不審者の検知回数を増加させる（ステップＳ４３０）。なお、特徴データにマッチする不審者が未だ登録されていない場合は、今回の特徴データに基づいて新しい不審者のデータを作成する。

ＣＰＵ２１０は、対象となっている人物が商品を購入したか否かを判断する（ステップＳ４３２）。たとえば、対象となっている人物が精算機５００の前にいるときに、精算機５００から購買情報を取得すると、当該対象となっている人物が商品を購入したと判断する。

対象となっている人物が商品を購入した場合（ステップＳ４３２にてＹＥＳである場合）、ＣＰＵ２１０は、検知回数を０にリセットする（ステップＳ４４２）。ＣＰＵ２１０は、今回の動画像に関しての処理を終了する。

対象となっている人物が商品を購入せずに去っていった場合（ステップＳ４３２にてＮＯである場合）、検知回数が所定の回数、たとえば５回など、以上であるか否かを判断する（ステップＳ４３４）。

検知回数が所定の回数未満である場合（ステップＳ４３４にてＮＯである場合）、ＣＰＵ２１０は、今回の動画像に関しての処理を終了する。

検知回数が所定の回数以上である場合（ステップＳ４３４にてＹＥＳである場合）、ＣＰＵ２１０は、動画像データから顔部分を切り出して、通信インターフェイス１６０を介して顔画像データを不審者情報としてサーバ１００に送信する（ステップＳ４３６）。

そして、店舗端末２００では、ＣＰＵ２１０が、ディスプレイ２３０に不審者が検知された旨の警告メッセージを表示させたり、スピーカ２７０に不審者が検知された旨の警告を音声出力させたりする（ステップＳ１５１）。

サーバ１００のＣＰＵ１１０は、通信インターフェイス１６０を介して、顔画像データを店舗端末２００から受信する（ステップＳ４３５）。ＣＰＵ１１０は、顔画像データを不審者情報として、メモリ１２０の特定領域に格納する（ステップＳ１３６）。

ＣＰＵ１１０は、通信インターフェイス１６０を介して管理者端末４００に、不審者が検知された旨の警告を通知する（ステップＳ１３８）。これによって、管理者端末４００においては、ＣＰＵ４１０が、ディスプレイ４３０に不審者が検知された旨の警告メッセージを表示させたり、スピーカ４７０に不審者が検知された旨の警告を音声出力させたりする。
＜第５の実施の形態＞

上記の実施の形態においては、不審な行動を検知した場合のみ、画像を不揮発性メモリ１２２に記憶したり、回数をカウントしたりするものであった。しかしながら、図１２に示すように、人物を検知するたびに回数をカウントして、当該カウントが所定回数に達すると警告を出力してもよい。そして商品の購入を受け付けた際に検知回数をリセットするものであってもよい。以下では、第１の実施の形態と異なる部分のみについて説明するものとし、同様の部分については説明を繰り返さない。

まず、カメラ３００のＣＰＵ３１０が、画像センサ３３０を利用して、商品の陳列棚７００の周囲を撮影する（ステップＳ１０２）。ＣＰＵ３１０は、通信インターフェイス２６０を介して、撮影した動画像データまたは静止画像データを店舗端末２００に送信する（ステップＳ１０４）。

店舗端末２００のＣＰＵ２１０は、通信インターフェイス２６０を介して、動画像データまたは静止画像データを受信する（ステップＳ１１２）。ＣＰＵ２１０は、通信インターフェイス２６０を介して、動画像データまたは静止画像データをサーバ１００に送信する（ステップＳ１１４）。

サーバ１００のＣＰＵ１１０は、通信インターフェイス１６０を介して、店舗端末２００から動画像データまたは静止画像データを受信する（ステップＳ１２２）。このとき、ＣＰＵ１１０は、動画像データまたは静止画像データを揮発性メモリ１２１に一時的に格納する。

ＣＰＵ１１０は、動画像データまたは静止画像データから人物の顔部分を切り出して、人物を特定するための特徴データを作成する（ステップＳ１２６）。このとき、ＣＰＵ１１０は、顔画像データを揮発性メモリ１２１に一時的に格納する。

検知回数が所定の回数未満である場合（ステップＳ１３４にてＮＯである場合）、ＣＰＵ１１０は、今回の店舗端末２００からの画像に関しての処理を終了する。

検知回数が所定の回数以上である場合（ステップＳ１３４にてＹＥＳである場合）、ＣＰＵ１１０は、動画像データまたは静止画像データから顔部分を切り出して、不審者情報として、メモリ１２０の特定領域に格納する（ステップＳ１３６）。たとえば、ＣＰＵ１１０は、ステップＳ１２２で受信した動画像データまたは静止画像データや、ステップＳ１２６で切り出した顔画像データは、揮発性メモリ１２１に一時的に記憶しておき、ステップＳ１３６において、顔部分の画像データや、動画像データ自体などを不揮発性メモリ１２２に長期間保存させる。

ＣＰＵ１１０は、店舗端末２００や管理者端末４００に、不審者が検知された旨の警告を通知する（ステップＳ１３８）。これによって、店舗端末２００や管理者端末４００では、ＣＰＵ２１０，４１０が、ディスプレイ２３０，４３０に不審者が検知された旨の警告メッセージを表示させたり、スピーカ２７０，４７０に不審者が検知された旨の警告を音声出力させたりする（ステップＳ１５１）。
＜第６の実施の形態＞

上記の不審挙動の検知回数に加えて、ＣＰＵ１１０，２１０は、不審挙動と判断した場合に、不審挙動があった日付や時刻をメモリ１２０，２２０に蓄積していくことが好ましい。たとえば、図１３に示すように、ＣＰＵ１１０，２１０は、不審者情報として、不審者毎に検知日時の履歴を蓄積してもよいし、不審者に紐づけずに、店舗毎や陳列エリア毎に不審挙動があった日付や時刻を蓄積していってもよい。

そして、ＣＰＵ１１０は、ステップＳ１３８において、店舗端末２００や管理者端末４００に、不審者が検知された旨や、不審挙動があった日付や時刻などの警告を通知する。これによって、店舗端末２００や管理者端末４００では、ＣＰＵ２１０，４１０が、ディスプレイ２３０，４３０に不審者が検知された旨や、不審挙動があった日付や時刻などの警告メッセージを表示させたり、スピーカ２７０，４７０に不審者が検知された旨や、不審挙動があった日付や時刻などの警告を音声出力させたりする（ステップＳ１５１）。

あるいは、図１４に示すように、不審な行動を検知した場合（ステップＳ１２４にてＹＥＳである場合）、ＣＰＵ１１０は、店舗端末２００や管理者端末４００に、不審挙動があった日付や時刻などの警告を通知する（ステップＳ１２５）。これによって、店舗端末２００や管理者端末４００では、ＣＰＵ２１０，４１０が、ディスプレイ２３０，４３０に不審挙動があった日付や時刻などの警告メッセージを表示させたり、スピーカ２７０，４７０に不審挙動があった日付や時刻などの警告を音声出力させたりする（ステップＳ１２７）。
＜第７の実施の形態＞

上記の実施の形態においては、商品の陳列棚７００の近くに店員がいない店舗に関して説明したが、無人の自動販売機に関しても同様の構成および制御処理を実行すればよい。なお、無人の自動販売機に関しては、図１５に示すように、商品の陳列棚７００や、カメラ３００や、精算機５００や、店舗端末２００などが１つの装置や筐体に含まれているものであってもよい。つまり、たとえば、図１６に示すように、自動販売機としての店舗端末２００Ａが、画像センサ３３０や、精算部５３０などを搭載するものである。
＜第８の実施の形態＞

また、上記のネットワークシステム１の不審者検知機能は、図１７に示すような、店員がいる店舗などにおいても利用することが可能である。
＜まとめ＞

以上の通り、上記の実施の形態においては、商品が載置されている場所の近傍を撮影するためのカメラと、カメラの画像に基づいて、所定の動作をしている人物を検知し、当該人物を特定することによって当該人物毎に検知した回数をカウントしていき、所定回数に達すると警告を出力するための制御部と、を備える不審者検知システムが提供される。

好ましくは、制御部は、カメラとローカルで接続される通信端末によって実現される。通信端末は、所定回数に達した人物の画像データをサーバに提供する。

好ましくは、制御部は、カメラとローカルで接続される通信装置と、当該通信装置と通信ネットワークを介して接続されるサーバと、によって実現される。サーバは、所定回数に達した人物の画像データを不揮発メモリに格納する。

好ましくは、制御部は、カメラとローカルで接続される通信装置と、当該通信装置と通信ネットワークを介して接続されるサーバと、によって実現される。サーバは、未だ所定回数に達していない人物の画像データをメモリから削除する。

好ましくは、制御部は、特定された人物が商品を購入すると、それまでカウントした回数をリセットする。

好ましくは、制御部は、カメラの画像に基づいて、所定の動作をしている人物を検知し、特徴データを作成することによって、当該人物を特定することによって当該人物毎に検知した回数をカウントしていく。

好ましくは、制御部は、所定の動作がされたタイミングも出力する。

上記の実施の形態においては、通信インターフェイスと、通信装置インターフェイスを介してカメラから画像を取得して、当該画像から所定の動作をしている人物を検知し、当該人物を特定することによって検知した回数をカウントしていき、所定回数に達すると警告を出力するために制御部と、を備える不審者検知装置が提供される。

上記の実施の形態においては、不審者検知方法が提供される。不審者検知方法は、カメラが商品が載置されている場所を撮影するステップと、制御部が、カメラの撮影画像に基づいて、所定の動作をしている人物を検知するステップと、制御部が、当該人物を特定することによって当該人物毎に検知した回数をカウントするステップと、制御部が、所定回数に達すると警告を出力するステップと、を備える。

上記の実施の形態においては、不審者検知方法が提供される。不審者検知方法は、制御部が、通信インターフェイスを介して、カメラの撮影画像を取得するステップと、制御部が、カメラの撮影画像に基づいて、所定の動作をしている人物を検知するステップと、制御部が、当該人物を特定することによって当該人物毎に検知した回数をカウントするステップと、制御部が、所定回数に達すると警告を出力するステップと、を備える。

上記の実施の形態においては、商品が載置されている場所の近傍を撮影するためのカメラと、カメラの画像に基づいて、撮影された人物を特定することによって当該人物毎に検知した回数をカウントしていき、所定回数に達すると警告を出力し、特定された人物が商品を購入すると、それまで貯まった回数をリセットするための制御部と、を備える不審者検知システムが提供される。

好ましくは、制御部は、所定の動作をしている人物に関してだけ、検知した回数をカウントする。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１：ネットワークシステム
１００：サーバ
１１０：ＣＰＵ
１２０：メモリ
１２１：揮発性メモリ
１２２：不揮発性メモリ
１２２Ａ：不審者データ
１４０：操作部
１６０：通信インターフェイス
２００：店舗端末
２００Ａ：自動販売機
２１０：ＣＰＵ
２２０：メモリ
２３０：ディスプレイ
２４０：操作部
２５０：タッチパネル
２６０：通信インターフェイス
２７０：スピーカ
２８０：マイク
３００：カメラ
３１０：ＣＰＵ
３２０：メモリ
３３０：画像センサ
３６０：通信インターフェイス
４００：管理者端末
４２０：ＣＰＵ
４３０：ディスプレイ
４７０：スピーカ
５００：精算機
５１０：ＣＰＵ
５２０：メモリ
５３０：精算部
５６０：通信インターフェイス
７００：陳列棚

Claims

商品が載置されている場所の近傍を撮影するためのカメラと、
前記カメラとローカルで接続され、前記カメラの画像から人物の特徴データを作成する通信端末と、
前記カメラの画像に基づいて、所定の動作をしていることを検知すると、前記通信端末から前記所定の動作をした人物の顔の特徴データを取得して当該所定の動作をした人物を特定することによって当該人物毎に検知した回数をカウントしていき、所定回数に達すると前記所定の動作をした人物の画像データを取得して登録するためのサーバと、を備える不審者検知システム。
前記サーバは、特定された人物が商品を購入すると、それまでカウントした回数をリセットする、請求項１に記載のネットワークシステム。
前記サーバは、前記所定の動作がされたタイミングを出力する、請求項１または２に記載のネットワークシステム。
不審者検知方法であって、
カメラが商品が載置されている場所を撮影するステップと、
通信端末またはサーバが、前記カメラの撮影画像に基づいて、所定の動作をしていることを検知するステップと、
前記通信端末が、前記所定の動作をした人物の顔の特徴データを前記サーバに送信するステップと、
前記サーバが、前記特徴データに基づいて当該所定の動作をした人物を特定することによって当該人物毎に検知した回数をカウントするステップと、
前記サーバが、所定回数に達すると前記所定の動作をした人物の画像データを取得して登録するステップと、を備える不審者検知方法。