WO2020116482A1

WO2020116482A1 - 情報処理システム、情報処理方法及びプログラム

Info

Publication number: WO2020116482A1
Application number: PCT/JP2019/047305
Authority: WO
Inventors: 鈴木　康介
Original assignee: 株式会社鈴康
Priority date: 2018-12-07
Filing date: 2019-12-04
Publication date: 2020-06-11
Also published as: JP6573185B1; JP2020091812A

Abstract

複数の撮像装置及び複数の警告装置が店舗内に分散配置されている。サーバは、画像データが入力された場合に画像データ中に撮像された人が窃盗行為を行ったか否かを示す情報を出力するように学習された学習済モデルを用いて、複数の撮像装置がそれぞれ取得した画像データに基づいて、窃盗行為が行われたか否かを判定する。サーバは、窃盗行為が行われたと判定した場合、窃盗行為を行った人の近傍に配置された警告装置を用いて警告を行う。

Description

情報処理システム、情報処理方法及びプログラム

　本開示は、情報処理システム、情報処理方法及びプログラムに関する。

　万引き行為の発生を検出するシステムが提案されている。例えば特許文献１には、店舗に設けられた監視カメラで撮影された画像データに基づいて、撮影された人物が万引き疑い行為を行ったか否かを検出するシステムが提案されている。特許文献１に開示されたシステムは、万引き疑い行為の発生を検出した場合に、店舗内の店員の携帯端末に通知し、通知を受けた店員が万引きの疑いのある人物に声掛け等を行うことにより、万引き行為を未然に防止することができる。

特開２０１７－７６１７１号公報

　特許文献１に開示されたシステムでは、万引き行為を未然に防止するために、通知を受けた店員が万引きの疑いのある人物に声掛け等を行う必要があるので、店員の負担が増大する虞がある。

　本開示は、このような事情に鑑みてなされたものであり、その目的とするところは、店員等の負担を増大させることなく、万引き行為の発生を抑制することが可能な情報処理システム等を提供することにある。

　本開示の一態様に係る情報処理システムは、店舗内に分散配置された複数の撮像装置及び複数の警告装置と、画像データが入力された場合に、前記画像データ中に撮像された人が窃盗行為を行ったか否かを示す情報を出力するように学習された学習済モデルを用いて、前記複数の撮像装置が取得した画像データに基づいて、窃盗行為が行われたか否かを判定する窃盗判定部と、窃盗行為が行われたと判定した場合、窃盗行為を行った人の近傍に配置された前記警告装置にて警告を行う警告処理部とを備える。

　本開示にあっては、店員等の負担を増大させることなく、万引き行為の発生を防止することができる。

情報処理システムの構成例を示す模式図である。店舗内に設置されたカメラ、警告装置及び表示装置の配置例を示す模式図である。サーバの構成例を示すブロック図である。万引き判別モデルの構成例を示す模式図である。サーバに記憶されるＤＢの構成例を示す模式図である。サーバに記憶されるＤＢの構成例を示す模式図である。サーバの制御部によって実現される機能を示すブロック図である。サーバが行う処理を説明するための模式図である。サーバが行う処理を説明するための模式図である。サーバが行う処理を説明するための模式図である。サーバが行う処理を説明するための模式図である。警告画面例を示す模式図である。警告画面例を示す模式図である。警告画面例を示す模式図である。警告画面例を示す模式図である。情報処理システムによる万引き行為の監視処理の手順を示すフローチャートである。実施形態２のサーバの制御部によって実現される機能を示すブロック図である。実施形態２のサーバが行う処理を説明するための模式図である。実施形態２の万引き判別モデルの構成例を示す模式図である。実施形態２の万引き判別モデルの構成例を示す模式図である。実施形態２の万引き判別モデルの構成例を示す模式図である。実施形態２の情報処理システムによる万引き行為の監視処理の手順を示すフローチャートである。実施形態３の情報処理システムによる万引き行為の監視処理の手順を示すフローチャートである。実施形態４の情報処理システムの各装置の配置例を示す模式図である。実施形態４の情報処理システムによる万引き行為の監視処理の手順を示すフローチャートである。実施形態５の情報処理システムによる万引き行為の監視処理の手順を示すフローチャートである。暴力行為判別モデルの学習用の撮影画像の例を示す模式図である。実施形態７の情報処理システムによる万引き行為の監視処理の手順を示すフローチャートである。内引き行為を行った従業員のリストの例を示す模式図である。実施形態８のサーバの制御部によって実現される機能を示すブロック図である。実施形態８の情報処理システムによる万引き行為の監視処理の手順を示すフローチャートである。

　以下に、本開示の情報処理システム、情報処理方法及びプログラムについて、その実施形態を示す図面に基づいて詳述する。

（実施形態１）
　商店や店舗等において万引き行為（窃盗行為）の発生を抑制する情報処理システムに適用した実施形態について説明する。図１は情報処理システムの構成例を示す模式図である。本実施形態の情報処理システム１００は、例えば店舗内に設けられており、サーバ１０、複数のカメラ２０、複数の警告装置３０及び２つの表示装置（第１表示装置４１及び第２表示装置４２）を含む。これらの各装置は、例えば店舗内に設けられたＬＡＮ（Local Area Network）に接続されており、ＬＡＮを介して情報の送受信を行う。なお、これらの各装置は、インターネット等のネットワークに接続され、ネットワークを介して情報の送受信を行う構成でもよい。

　図２は、店舗内に設置されたカメラ２０、警告装置３０及び表示装置４１，４２の配置例を示す模式図である。カメラ２０は、レンズ及び撮像素子等を有する撮像装置であり、レンズを介して入射した光を撮像素子にて光電変換して画像データを取得する。カメラ２０は、撮影によって取得した画像データ（撮影画像）を順次サーバ１０へ送信する。カメラ２０は、商品を陳列する陳列棚の前に居る人が商品を手に取る様子を撮影できるように、例えば陳列棚の上部や天井等に設置されている。図２に示す例では、それぞれの陳列棚の両端に１つずつカメラ２０が設けられているが、店舗内の全領域を撮影できるように各カメラ２０が分散配置されていればよく、図２に示す例に限定されない。

　警告装置３０のそれぞれは、例えば表示装置、発光装置及び音声出力装置のいずれか又は複数を含み、表示装置、発光装置又は音声出力装置にて警告（注意喚起）を行う。表示装置は、例えば液晶ディスプレイ、有機ＥＬディスプレイ等であり、サーバ１０から表示用データを受信した場合に、受信した表示用データを表示することにより警告を行う。発光装置は、例えばランプ、回転灯等であり、サーバ１０から点灯又は点滅の実行指示を受信した場合に点灯又は点滅することにより警告を行う。音声出力装置は、例えばスピーカ、ブザー等であり、サーバ１０から出力用の音声データを受信した場合に、受信した音声データを音声出力することにより警告を行う。なお、音声出力装置は、サーバ１０から音声出力の実行指示を受信した場合に、所定の音又は音声を出力することにより警告を行う構成でもよい。よって、警告装置３０は、表示装置が警告用のデータを表示し、発光装置が点灯又は点滅し、音声出力装置が警告用の音声を出力することにより、警告を行う。なお、警告装置３０が表示装置、発光装置及び音声出力装置のうちの複数の装置で構成される場合、複数の装置が一体として構成された警告装置３０を用いてもよいし、別体で構成された複数の装置をまとめて警告装置３０として用いてもよい。

　警告装置３０は、陳列棚の前に居る人に警告を発することができるように適宜の位置に設置されている。例えば警告装置３０が表示装置又は発光装置である場合、表示装置の表示画面や発光装置の点灯又は点滅状態を把握できるように、陳列棚の前に立つ人の目線の位置に設置される。また警告装置３０が音声出力装置である場合、音声出力装置からの音声が陳列棚の前に居る人に届くように、例えば陳列棚の上部や天井等に設置される。図２に示す例では、それぞれの陳列棚の中央部に１つずつ警告装置３０が設けられているが、店舗内に居る人に警告できるように各警告装置３０が分散配置されていればよく、図２に示す例に限定されない。また、各警告装置３０は、店舗内の設置位置に応じて表示装置、発光装置及び音声出力装置のいずれか又は複数を選択して設置してもよい。即ち、設置位置に応じて異なる装置で警告を行うように構成することができる。

　第１表示装置４１及び第２表示装置４２は、例えば液晶ディスプレイ、有機ＥＬディスプレイ等であり、サーバ１０から送信された表示用データを受信し、受信した表示用データを表示する。よって、第１表示装置４１及び第２表示装置４２は、サーバ１０から警告用のデータを受信して表示する場合、警告装置としても機能する。第１表示装置４１は、例えば店舗内のレジカウンタ又はレジカウンタの近傍に設置されており、レジカウンタに並ぶ人又はレジカウンタの先頭に並ぶ人が視認できるように設けられている。第２表示装置４２は、例えば出入口（出口）の近傍に設置されており、出入口から店舗の外に出ようとする人が視認できるように設けられている。

　サーバ１０は、図２では図示していないが、店舗内のいずれの箇所に設けられていてもよいし、サーバ１０が他の機器２０，３０，４１，４２とネットワークを介して接続される場合、店舗内に設けられていなくてもよい。サーバ１０は、サーバコンピュータ又はパーソナルコンピュータ等の情報処理装置であり、複数台設けられてもよいし、１台のサーバ内に設けられた複数の仮想マシンによって実現されてもよいし、クラウドサーバを用いて実現されてもよい。サーバ１０は、各カメラ２０から順次送信されてくる画像データを蓄積する処理、画像データに基づいて万引き行為の発生を検知する処理、万引き行為の発生を検知した場合に警告装置３０に警告情報を出力する処理等、種々の情報処理を行う。

　図３は、サーバ１０の構成例を示すブロック図である。サーバ１０は、制御部１１、記憶部１２、通信部１３、表示部１４、入力部１５、読み取り部１６等を含み、これらの各部はバスを介して相互に接続されている。制御部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）又はＧＰＵ（Graphics Processing Unit）等の１又は複数のプロセッサを含む。制御部１１は、記憶部１２に記憶してある制御プログラム１２Ｐを適宜実行することにより、サーバ１０が行うべき種々の情報処理、制御処理等を行う。

　記憶部１２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）等を含む。記憶部１２は、制御部１１が実行する制御プログラム１２Ｐ及び制御プログラム１２Ｐの実行に必要な各種のデータ等を予め記憶している。また記憶部１２は、制御部１１が制御プログラム１２Ｐを実行する際に発生するデータ等を一時的に記憶する。更に記憶部１２は、例えば機械学習処理によって構築されたニューラルネットワークである万引き判別モデル１２１を記憶している。万引き判別モデル１２１は、人を撮影して得られた画像データ（撮像画像）と、撮影画像中の人が万引き行為を行ったか否かを示す情報とを含む教師データを用いて、画像データが入力された場合に、画像データ中に撮影された人が万引き行為（窃盗行為）を行ったか否かを示す情報を出力するように学習された学習済モデルである。なお、学習済モデルは、入力値に対して所定の演算を行い、演算結果を出力するものであり、記憶部１２にはこの演算を規定する関数の係数や閾値等のデータが、万引き判別モデル１２１として記憶される。更に記憶部１２は、カメラＤＢ（データベース）１２ａ及び警告装置ＤＢ１２ｂを記憶する。カメラＤＢ１２ａ及び警告装置ＤＢ１２ｂは、サーバ１０に接続された外部の記憶装置に記憶されていてもよく、ネットワークを介してサーバ１０と通信可能な記憶装置に記憶されていてもよい。

　通信部１３は、有線通信又は無線通信によってネットワークに接続するためのインタフェースであり、ネットワークを介して外部装置との間で情報の送受信を行う。表示部１４は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部１１からの指示に従って各種の情報を表示する。入力部１５は、マウス及びキーボード等を含み、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部１１へ送出する。なお、表示部１４及び入力部１５は、一体として構成されたタッチパネルであってもよい。

　読み取り部１６は、ＣＤ（Compact Disc）－ＲＯＭ又はＤＶＤ（Digital Versatile Disc）－ＲＯＭを含む可搬型記憶媒体１ａに記憶された情報を読み取る。記憶部１２に予め記憶される制御プログラム及びデータは、制御部１１が読み取り部１６を介して可搬型記憶媒体１ａから読み取って記憶部１２に記憶してもよい。また、記憶部１２に予め記憶される制御プログラム及びデータは、制御部１１が通信部１３を介してネットワーク経由で外部装置からダウンロードして記憶部１２に記憶してもよい。更に、半導体メモリ１ｂから、制御部１１が制御プログラム及びデータを読み出してもよい。

　図４は、万引き判別モデル１２１の構成例を示す模式図である。万引き判別モデル１２１は、深層学習アルゴリズムを用いて学習した深層学習モデルであり、例えば図４に示すように畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）モデルで構成されている。万引き判別モデル１２１は、ＣＮＮモデルのほかに、リカレントニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）モデルで構成されていてもよい。また、万引き判別モデル１２１は、図４に示すように多層のニューラルネットワーク（深層学習）に限定されるものではなく、他の機械学習のアルゴリズムを用いて構成されていてもよい。

　図４に示す万引き判別モデル１２１は、入力層、中間層及び出力層から構成されている。中間層は畳み込み層、プーリング層及び全結合層を含む。本実施形態の万引き判別モデル１２１では、入力層を介して画像データが入力される。入力層の各ノードを介して入力された画像データは中間層に入力され、中間層において、畳み込み層でフィルタ処理等によって画像特徴量が抽出されて特徴マップが生成され、プーリング層で圧縮されて情報量を削減される。畳み込み層及びプーリング層は複数層繰り返し設けられており、複数の畳み込み層及びプーリング層によって生成された特徴マップは、全結合層に入力される。全結合層は複数層（図４では２層）設けられており、入力された特徴マップに基づいて、各種の関数や閾値等を用いて各層のノードの出力値を算出し、算出した出力値を順次後の層のノードに入力する。全結合層は、各層のノードの出力値を順次後の層のノードに入力することにより、最終的に出力層の各ノードにそれぞれの出力値を与える。畳み込み層、プーリング層及び全結合層のそれぞれの層数は図４に示す例に限定されない。本実施形態の万引き判別モデル１２１では、出力層は２つのノードを有しており、例えばノード０は、入力された画像データ中に撮影されている人が万引き行為を行ったと判別すべき確率を出力し、ノード１は、万引き行為を行っていない（通常行為を行っている）と判別すべき確率を出力する。出力層の各ノードの出力値は例えば０～１．０の値であり、２つのノードから出力された確率の合計が１．０（１００％）となる。なお、本実施形態の万引き判別モデル１２１では、万引き行為を行っていないと判別される状況は、例えば撮影画像中の人が手に取った商品を買い物カゴに入れる行為を含む。また、万引き行為を行ったと判別される状況は、商品を鞄や衣服のポケットに入れる行為のほかに、商品を開封したり飲料ボトルを開けたりする行為も含む。

　万引き判別モデル１２１は、例えば商品棚から手に取った商品を自身の鞄や衣服のポケット等に入れる動作を行った人を撮影して得られた画像データ（撮影画像）と、撮影画像中の人が万引き行為を行ったことを示す情報（正解ラベル）とを１セットとした教師データを用いて学習する。また万引き判別モデル１２１は、例えば商品棚から手に取った商品を開封する動作を行った人や、商品の飲料ボトルを開封して飲む動作を行った人等を撮影して得られた撮影画像と、撮影画像中の人が万引き行為を行ったことを示す情報（正解ラベル）とを１セットとした教師データを用いて学習する。万引き判別モデル１２１は、教師データに含まれる撮影画像が入力された場合に、万引き行為を行ったと判別すべき確率が出力されるノード０からの出力値が１．０に近づき、他方のノード１からの出力値が０に近づくように学習する。これにより、商品棚から手に取った商品を自身の鞄や衣服のポケット等に入れる動作を行った人、手に取った商品を開封する動作を行った人、商品の飲料ボトルを開封して飲む動作を行った人等の撮影画像が入力された場合に、ノード０からの出力値（万引き行為を行ったと判別すべき確率）が１．０に近い値となる万引き判別モデル１２１を生成できる。

　また万引き判別モデル１２１は、例えば商品棚から手に取った商品を、店舗に用意された買い物カゴに入れる動作を行った人を撮影して得られた画像データ（撮影画像）と、撮影画像中の人が万引き行為を行っていないことを示す情報（正解ラベル）とを１セットとした教師データを用いて学習してもよい。この場合、万引き判別モデル１２１は、教師データに含まれる撮影画像が入力された場合に、万引き行為を行っていないと判別すべき確率が出力されるノード１からの出力値が１．０に近づき、他方のノード０からの出力値が０に近づくように学習する。これにより、商品棚から手に取った商品を買い物カゴに入れる動作を行った人の撮影画像が入力された場合に、ノード１からの出力値（万引き行為を行っていないと判別すべき確率）が１．０に近い値となる万引き判別モデル１２１を生成できる。なお、学習処理において万引き判別モデル１２１は、入力値に対して行う所定の演算を規定する各種の関数の係数や閾値等のデータを最適化する。これにより、画像データに基づいて、画像データ中に撮影された人が万引き行為を行ったか否かを示す情報を出力するように学習された学習済みの万引き判別モデル１２１が得られる。万引き判別モデル１２１は、サーバ１０で学習が行われてもよいし、異なる学習装置で学習された後にサーバ１０の記憶部１２に記憶されてもよい。

　図５Ａ及び図５Ｂは、サーバ１０に記憶されるＤＢ１２ａ～１２ｂの構成例を示す模式図である。図５ＡはカメラＤＢ１２ａを、図５Ｂは警告装置ＤＢ１２ｂをそれぞれ示す。カメラＤＢ１２ａは、店舗内に分散配置された各カメラ２０の情報を記憶している。図５Ａに示すカメラＤＢ１２ａは、カメラＩＤ列、設置場所列、撮影画像列等を含む。カメラＩＤ列は、各カメラ２０に予め割り当てられた識別情報を記憶する。設置場所列は、各カメラ２０の設置場所を示す情報を記憶する。設置場所の情報は、例えばカメラ２０の設置場所から最も近い陳列棚の識別情報や、店舗内の任意の位置を基準として規定される座標系で表される座標値等、設置場所を特定できる情報を用いる。撮影画像列は、各カメラ２０で撮影されて取得された画像データ（撮影画像）を記憶する。なお、撮影画像は、カメラＤＢ１２ａに記憶されるほかに、記憶部１２の所定領域又はサーバ１０に接続された外部の記憶装置に記憶されてもよい。この場合、撮影画像列は、記憶部１２の所定領域又は外部の記憶装置から撮影画像を読み出すための情報（例えば画像データの記憶場所を示すファイル名）を記憶する。カメラＤＢ１２ａに記憶されるカメラＩＤ及び設置場所は、店舗内に新たなカメラ２０が設置された場合に店舗の従業員等によって入力部１５を介して入力され、制御部１１によって記憶される。カメラＤＢ１２ａに記憶される撮影画像は、通信部１３が各カメラ２０から取得する都度、制御部１１によって記憶される。カメラＤＢ１２ａの記憶内容は図５Ａに示す例に限定されず、カメラ２０に関する各種の情報を記憶してもよい。例えばカメラ２０が設置された日、点検された日、修理された日等が記憶されていてもよい。

　警告装置ＤＢ１２ｂは、店舗内に分散配置された各警告装置３０の情報を記憶している。図５Ｂに示す警告装置ＤＢ１２ｂは、警告装置ＩＤ列、設置場所列、設置機器列等を含む。警告装置ＩＤ列は、各警告装置３０に予め割り当てられた識別情報を記憶する。設置場所列は、各警告装置３０の設置場所を示す情報を記憶する。なお、警告装置ＤＢ１２ｂに記憶される設置場所の情報は、設置場所を特定できる情報であればどのような情報を用いてもよいが、カメラＤＢ１２ａに記憶される設置場所の情報と同じものを用いることが好ましい。設置機器列は、各警告装置３０として設置されている機器を示す情報を記憶する。例えば設置されている機器が表示装置であるのか、発光装置であるのか、音声出力装置であるのかを示す情報が記憶される。なお、警告装置３０が表示装置、発光装置及び音声出力装置のうちの複数の装置を一体として構成された装置である場合、警告装置３０に含まれる各装置を示す情報が、設置機器列に記憶されてもよい。また、別体で構成された各装置が同一の設置場所に設置される場合、各装置を示す情報がまとめて設置機器列に記憶されてもよい。警告装置ＤＢ１２ｂに記憶される各情報は、店舗内に新たな警告装置３０が設置された場合に店舗の従業員等によって入力部１５を介して入力され、制御部１１によって記憶される。警告装置ＤＢ１２ｂの記憶内容は図５Ｂに示す例に限定されず、警告装置３０に関する各種の情報を記憶してもよい。例えば警告装置３０による警告処理の実行履歴、警告装置３０が設置された日、点検された日、修理された日等が記憶されていてもよい。

　次に、サーバ１０の制御部１１が制御プログラム１２Ｐを実行することによって実現される機能について説明する。図６は、サーバ１０の制御部１１によって実現される機能を示すブロック図、図７及び図８Ａ～図８Ｃは、サーバ１０が行う処理を説明するための模式図、図９Ａ～図９Ｄは、警告画面例を示す模式図である。サーバ１０の制御部１１は、記憶部１２に記憶してある制御プログラム１２Ｐを実行した場合、画像取得部１０１、万引き検知部１０２、追跡処理部１０３、警告処理部１０７の各機能を実現する。また追跡処理部１０３は、追跡部１０４、行動検知部１０５及び位置検知部１０６を含む。本実施形態では、これらの各機能を制御部１１が制御プログラム１２Ｐを実行することにより実現するが、これらの一部を専用のハードウェア回路で実現してもよい。

　画像取得部１０１は、各カメラ２０が撮影して得た画像データを、各カメラ２０から順次取得する。画像取得部１０１は、各カメラ２０から取得した画像データ（撮影画像）を逐次カメラＤＢ１２ａに記憶すると共に万引き検知部１０２へ送出する。万引き検知部（窃盗判定部）１０２は、万引き判別モデル１２１を用いて、各カメラ２０で取得された撮影画像（画像データ）に基づいて、撮影画像中に撮影されている人が万引き行為を行ったか否かを検知する。具体的には、万引き検知部１０２は、万引き判別モデル１２１に対して、画像取得部１０１が取得した各カメラ２０の撮影画像を入力し、万引き判別モデル１２１からの出力値を取得する。万引き判別モデル１２１の出力値は、出力層のノード０から、入力された撮影画像中の人が万引き行為を行ったと判別すべき確率が出力され、出力層のノード１から、万引き行為を行っていない（通常行為を行っている）と判別すべき確率が出力される。

　万引き検知部１０２は、万引き判別モデル１２１からの出力値に基づいて、万引き行為が発生したか否かを判定する。例えば万引き検知部１０２は、万引き判別モデル１２１の出力層のノード０からの出力値（万引き行為を行ったと判別すべき確率）が、所定値（例えば０．８）以上であった場合に、万引き行為が発生したと判定する。なお、万引き検知部１０２は、万引き判別モデル１２１の出力層のノード０からの出力値が、出力層のノード１からの出力値（万引き行為を行っていないと判別すべき確率）を上回った場合、又は所定値以上上回った場合に、万引き行為が発生したと判定してもよい。万引き検知部１０２は、店舗内のカメラ２０の数だけ設けられ、それぞれの万引き検知部１０２が、対応するカメラ２０の撮影画像に基づく万引き検知処理を行う構成としてもよい。また、１つの万引き検知部１０２が、複数のカメラ２０の撮影画像に基づく万引き検知処理を順次切り替えて行う構成としてもよい。

　また、万引き判別モデル１２１を、出力層のノード０の代わりに、入力された撮影画像中の人が商品を鞄に入れる行為を行ったと判別すべき確率を出力するノードと、撮影画像中の人が商品を衣服のポケットに入れる行為を行ったと判別すべき確率を出力するノードとを有する構成としてもよい。このような構成とした場合、万引き検知部１０２は、入力された撮影画像中の人が商品を鞄に入れる行為を行ったのか、衣服のポケットに入れる行為を行ったのかを判別できる。なお、万引き検知部１０２は、このような２つのノードのいずれかからの出力値が所定値（例えば０．８）以上であった場合に、万引き行為が発生したと判定してもよい。また、万引き判別モデル１２１を、出力層のノード１の代わりに、入力された撮影画像中の人が商品を手に取っていないと判別すべき確率を出力するノードと、撮影画像中の人が商品を店舗の買い物カゴに入れる行為を行ったと判別すべき確率を出力するノードとを有する構成としてもよい。このような構成とした場合、万引き検知部１０２は、入力された撮影画像中の人が商品を手に取っていない状況であるのか、商品を買い物カゴに入れる行為を行ったのかを判別できる。なお、万引き検知部１０２は、このような２つのノードのいずれかからの出力値が所定値（例えば０．５）以上であった場合に、万引き行為が発生していないと判定してもよい。

　追跡処理部１０３は、万引き検知部１０２が万引き行為の発生を検知した場合に、万引き行為を行った人の移動を追跡する処理を行う。なお、追跡処理の対象となった人を追跡対象者と呼ぶ。追跡部１０４は、各カメラ２０の撮影画像に基づいて追跡対象者の移動を追跡する。図７は追跡対象者を撮影した撮影画像の例を示す。追跡部１０４は、撮影画像において、例えば追跡対象者を含む矩形の領域を追跡領域Ｒに設定し、追跡領域Ｒにおいて、例えば追跡対象者の着衣や持ち物等の色等の特徴量を特定する。そして追跡部１０４は、特定した追跡領域Ｒにおける特徴量に基づいて、各カメラ２０が時系列的に順次取得する撮影画像に追跡領域Ｒが含まれるか否かを判断し、追跡領域Ｒが含まれる撮影画像に基づいて追跡領域Ｒの移動を追跡する。なお、追跡対象者が複数のカメラ２０の撮影範囲内に居る場合、複数のカメラ２０の撮影画像に基づく追跡処理を行う。これにより、追跡対象者の追跡を失敗して追跡対象者を見失うことを抑制できる。

　行動検知部（追跡判定部）１０５は、各カメラ２０が追跡対象者を撮影した撮影画像に基づいて、追跡対象者が万引き行為によって例えば自身の鞄や衣服のポケットに入れた商品を陳列棚に戻す行動（動作）を行ったか否かを検知する。例えば行動検知部１０５は、追跡部１０４が順次追跡する追跡領域Ｒに基づいて、商品が商品棚に戻されたか否かを検知する。例えば追跡対象者が、図８Ａ、図８Ｂ、図８Ｃに示すような動作を行って商品を陳列棚に戻した場合、行動検知部１０５は、追跡領域Ｒに基づく追跡対象者の動作を検知し、商品が陳列棚に戻されたことを検知する。

　また、例えば、万引き判別モデル１２１を、入力された撮影画像中の人が万引き行為を行ったか否かの判別確率のほかに、入力された撮影画像中の人が例えば自身の鞄や衣服のポケットから商品を取りだして陳列棚に戻す行動を行ったか否かの判別確率も出力するように構成することができる。このような万引き判別モデル１２１を用いることにより、行動検知部１０５は、追跡対象者の撮影画像に基づいて、追跡対象者が商品を陳列棚に戻す行動を行ったか否かを検知できる。また行動検知部１０５は、万引き判別モデル１２１とは別に、撮影画像が入力された場合に、撮影画像中の人が自身の鞄や衣服のポケットから商品を取り出して陳列棚に戻す行動を行ったか否かを示す情報を出力するように学習された学習済モデルを用いて、追跡対象者の撮影画像に基づいて、追跡対象者が商品を陳列棚に戻す行動を行ったか否かを検知してもよい。なお、万引き判別モデル１２１又は別の学習済モデルを用いて検知する場合、行動検知部１０５は、万引き判別モデル１２１又は別の学習済モデルに対して、各カメラ２０が追跡対象者を撮影した撮影画像を入力し、万引き判別モデル１２１又は別の学習済モデルからの出力値を取得する。行動検知部１０５は、万引き判別モデル１２１又は別の学習済モデルからの出力値に基づいて、追跡対象者が商品を陳列棚に戻す行動を行ったか否かを検知する。

　位置検知部１０６は、追跡対象者の位置を検知し、位置を示す位置情報を取得する。位置情報は、例えば追跡対象者から最も近い陳列棚、カメラ２０、警告装置３０の識別情報や、店舗内の任意の位置を基準として規定される座標系で表される座標値等、店舗内の位置を特定できる情報を用いる。なお、位置情報にカメラ２０の識別情報を用いる場合、位置検知部１０６は、例えば追跡対象者を撮影したカメラ２０のうちで、撮影画像中の追跡対象者の領域が最大であるカメラ２０を特定し、このカメラ２０のカメラＩＤを追跡対象者の位置情報として取得する。また位置検知部（検出部）１０６は、例えば追跡対象者がレジカウンタから所定範囲内に居るか否か、出入口から所定範囲内に居るか否か等を検知し、レジカウンタ又は出入口から所定範囲内に居る場合に、追跡対象者の位置として、レジカウンタ又は出入口の識別情報を取得してもよい。

　追跡処理部１０３は、上述した各部の処理により、万引き検知部１０２が検知した万引き行為を行った追跡対象者の店舗内の移動を追跡でき、追跡対象者の位置をリアルタイムで把握できる。また追跡処理部１０３は、追跡対象者が万引き行為によって自身の鞄や衣服のポケット等に入れた商品を陳列棚に戻したか否かを把握できる。なお、追跡対象者が商品を陳列棚に戻したことが検知された場合、追跡処理部１０３は、この追跡対象者に対する追跡処理を終了する。なお、追跡処理部１０３は、追跡対象者に対する追跡処理を終了する際に、この追跡対象者に最も近い警告装置３０によって、万引き行為を思い止まったことに対するメッセージを出力してもよい。例えば、追跡処理部１０３は、表示装置の警告装置３０に対して、「商品を戻して頂きありがとうございます」のようなメッセージの表示指示を送信して警告装置３０に表示させてもよい。また追跡処理部１０３は、音声出力装置の警告装置３０に対して、「商品を戻して頂きありがとうございます」のような音声メッセージの出力指示を送信して警告装置３０に音声出力させてもよい。

　警告処理部１０７は、万引き検知部１０２によって万引き行為を行ったと検知され、追跡処理部１０３によって追跡処理が行われている追跡対象者に対して警告を行う。なお、警告処理部１０７は、警告装置ＤＢ１２ｂに登録されている各警告装置３０の設置場所と、位置検知部１０６が検知した追跡対象者の位置とに基づいて、追跡対象者に最も近い設置場所の警告装置３０を特定する。ここでの警告装置３０には第１表示装置４１及び第２表示装置４２も含まれる。警告処理部１０７は、特定した警告装置３０に警告処理を行わせるために警告処理の実行指示（警告指示、警告情報）を送信する。具体的には、警告処理部１０７は、警告装置３０が表示装置であれば、表示用の警告データとこの警告データの表示指示（警告指示、警告情報）を警告装置３０へ送信する。表示装置である警告装置３０は、サーバ１０から表示指示を受信した場合、受信した警告データに基づいて警告画面を表示する。

　図９Ａは警告画面例を示しており、警告画面は、「万引きは犯罪です」のような警告メッセージや、「商品を戻して下さい」のように万引き行為の実行を思い止まらせるためのメッセージ等を表示する。また警告画面は、図９Ａに示すように、万引き検知部１０２が万引き行為の発生を検知した際の撮影画像を表示してもよい。なお、警告画面は、個人を特定できないように、例えば図９Ｂに示すように、撮影画像中の追跡対象者の顔の領域にモザイク処理を施した領域Ｐを重畳表示させて撮影画像を表示してもよく、図９Ｃに示すように、撮影画像中の追跡対象者の全部の領域にモザイク処理を施した領域Ｐを重畳表示させてもよい。また、図９Ｄに示すように、撮影画像中の追跡対象者の顔の領域にキャラクタ画像の領域Ｐを重畳表示させてもよい。なお、警告画面は、万引き行為によって取られた商品、例えば追跡対象者が自身の鞄や衣服のポケットに入れた商品の画像を表示してもよい。この場合、サーバ１０は、各商品のパッケージの画像を予め記憶部１２に記憶しておき、万引き行為によって取られた商品を撮影画像に基づいて特定し、特定した商品の画像を記憶部１２から読み出して警告装置３０に表示させる。

　また警告処理部１０７は、警告装置３０が発光装置であれば、点灯又は点滅の実行指示（警告指示、警告情報）を警告装置３０へ送信する。この場合、発光装置である警告装置３０は、サーバ１０から点灯又は点滅の実行指示を受信し、受信した実行指示に基づいて点灯又は点滅する。更に警告処理部１０７は、警告装置３０が音声出力装置であれば、音声出力用の警告データとこの警告データの音声出力指示（警告指示、警告情報）を警告装置３０へ送信する。この場合、音声出力装置である警告装置３０は、サーバ１０から音声出力指示を受信し、受信した警告データに基づいて音声を出力する。なお、警告装置３０がブザーや所定の音声を出力する音声出力装置であれば、警告処理部１０７は、音声の出力指示（警告指示、警告情報）を警告装置３０へ送信し、この場合、警告装置３０は、サーバ１０から受信した出力指示に基づいて所定の音声を出力する。なお、音声出力装置である警告装置３０は、例えば「商品を鞄に入れていませんか」、「レジでお支払いお願いします」、「ご来店ありがとうございます。購入品はレジにてご精算ください。ただいま万引きＡＩ作動中です。」等の音声メッセージを出力する。

　次に、情報処理システム１００の各装置による万引き行為の監視処理について説明する。図１０は、情報処理システム１００による万引き行為の監視処理の手順を示すフローチャートである。図１０では左側にカメラ２０が行う処理を、中央にサーバ１０が行う処理を、右側に警告装置３０が行う処理をそれぞれ示す。店舗内における万引き行為の監視処理を行う情報処理システム１００において、カメラ２０は、所定のタイミングで画像データを取得し（Ｓ１１）、取得した画像データを逐次サーバ１０へ送信する（Ｓ１２）。なお、カメラ２０は例えば１秒間に２０～３０フレームの画像データを取得するが、このフレーム数に限定されない。

　サーバ１０は、カメラ２０から送信されてくる画像データを順次受信する（Ｓ１３）。サーバ１０は、受信した画像データをカメラＤＢ１２ａに記憶すると共に、受信した画像データに基づいて、万引き行為の発生を検知する検知処理を行う（Ｓ１４）。検知処理においてサーバ１０は、万引き判別モデル１２１に対して、受信した画像データ（撮影画像）を入力し、万引き判別モデル１２１からの出力値を取得する。そしてサーバ１０は、万引き判別モデル１２１からの出力値に基づいて、万引き行為が発生したか否かを判定し、万引き行為の発生を検知したか否かを判断する（Ｓ１５）。例えば万引き判別モデル１２１の出力層のノード０からの出力値（万引き行為が発生したと判別すべき確率）が、所定値（例えば０．８）以上であった場合、又は出力層のノード１からの出力値（万引き行為が発生していないと判別すべき確率）を所定値以上上回った場合に、サーバ１０は、万引き行為が発生したことを検知する。

　万引き行為の発生を検知していないと判断する場合（Ｓ１５：ＮＯ）、サーバ１０は、ステップＳ１３の処理に戻り、ステップＳ１３～Ｓ１５の処理を繰り返す。万引き行為の発生を検知したと判断した場合（Ｓ１５：ＹＥＳ）、サーバ１０は、検知した万引き行為を行った人（追跡対象者）の追跡処理を開始する（Ｓ１６）。具体的には、サーバ１０は、各カメラ２０の撮影画像において、追跡対象者の撮影領域（追跡領域Ｒ）が含まれるか否かを判断し、追跡領域Ｒを含む撮影画像（この撮影画像を撮影したカメラ２０の位置）に基づいて追跡領域Ｒの移動を追跡する。

　サーバ１０は、各カメラ２０が追跡対象者を撮影した撮影画像に基づいて、追跡対象者が万引き行為によって例えば自身の鞄に入れた商品を陳列棚に戻す行動（動作）を行ったか否かを判断する（Ｓ１７）。例えばサーバ１０は、順次追跡する追跡領域Ｒに基づいて、追跡領域Ｒ中に撮影された追跡対象者の動作を検知し、追跡対象者が万引き行為によって取得した商品を商品棚に戻したか否かを検知する。なお、サーバ１０は、万引き判別モデル１２１又は別の学習済モデル（撮影画像が入力された場合に、撮影画像中の人が自身の鞄や衣服のポケットから商品を取り出して陳列棚に戻す行動を行ったか否かを示す情報を出力するように学習された学習済モデル）を用いて、追跡対象者が商品を陳列棚に戻したか否かを判断してもよい。追跡対象者が商品を陳列棚に戻したと判断した場合（Ｓ１７：ＹＥＳ）、サーバ１０は、ステップＳ１６で開始した追跡処理を終了し（Ｓ１８）、ステップＳ１３の処理に戻る。これにより、例えば追跡対象者が万引き行為によって自身の鞄等に入れた商品を陳列棚に戻した場合、追跡対象者の追跡処理が終了され、警告装置３０による警告処理が終了される。

　追跡対象者が商品を陳列棚に戻していないと判断した場合（Ｓ１７：ＮＯ）、サーバ１０は、追跡対象者の現在位置を検知する処理を行う（Ｓ１９）。ここでは、サーバ１０は、例えば追跡対象者を撮影したカメラ２０のうちで、撮影画像中の追跡対象者の撮影領域（追跡領域Ｒ）が最大であるカメラ２０を特定し、このカメラ２０のカメラＩＤを追跡対象者の現在位置を示す情報として取得する。なお、サーバ１０は、追跡対象者がレジカウンタ又は出入口から所定範囲内に居ることを検知した場合、レジカウンタ又は出入口の識別情報を追跡対象者の現在位置を示す情報として取得してもよい。

　サーバ１０は、検知した追跡対象者の現在位置と、警告装置ＤＢ１２ｂに登録されている各警告装置３０の設置場所とに基づいて、警告処理を行うべき警告装置を特定する（Ｓ２０）。例えばサーバ１０は、追跡対象者の現在位置に最も近い位置に設置されている警告装置３０を特定する。なお、警告装置３０は第１表示装置４１及び第２表示装置４２を含む。そしてサーバ１０は、特定した警告装置３０に対して、警告処理の実行指示を出力する（Ｓ２１）。例えばサーバ１０は、警告装置３０が表示装置であれば、表示用の警告データの表示指示を警告装置３０へ送信し、警告装置３０が発光装置であれば、点灯又は点滅の実行指示を警告装置３０へ送信する。またサーバ１０は、警告装置３０が音声出力装置であれば、音声出力用の警告データの音声出力指示又は所定音声の出力指示を警告装置３０へ送信する。なお、サーバ１０は、特定した警告装置３０の位置に応じて、それぞれの警告装置３０に異なる警告処理を行わせてもよい。例えば２つの警告装置３０が共に表示装置であっても、サーバ１０は、警告装置３０の設置位置に応じて異なる表示用の警告データを各警告装置３０へ送信してもよい。これにより、警告装置３０の設置位置に応じた警告を行うことができる。

　警告装置３０は、サーバ１０から取得した実行指示に従って警告処理を行う（Ｓ２２）。なお、警告装置３０が表示装置であれば、サーバ１０から受信した表示用の警告データに基づいて警告画面を表示し、警告装置３０が発光装置であれば、サーバ１０から受信した実行指示に基づいて点灯又は点滅する。また、警告装置３０が音声出力装置であれば、サーバ１０から音声出力用の警告データを受信した場合、受信した警告データに基づいて音声出力を行い、サーバ１０から所定音声の出力指示を受信した場合、受信した出力指示に基づいて所定音声の出力を行う。

　サーバ１０は、ステップＳ２１の処理後、ステップＳ１７の処理に戻り、追跡対象者が商品を陳列棚に戻すまでステップＳ１９～Ｓ２１の処理を繰り返す。上述した処理により、万引き行為の発生を検知した場合に、万引き行為を行った可能性の高い人（追跡対象者）の近傍の警告装置３０にて警告処理を行うことができる。よって、万引き行為が行われた直後や万引き行為が行われてから定期的に追跡対象者に警告及び注意喚起することができる。例えば、追跡対象者に、万引き行為が発覚していることを警告できると共に、万引き行為の実行を思い止まらせるようなメッセージを通知することができる。これにより、万引き行為を行ってしまった追跡対象者に、商品を陳列棚に戻して万引き行為をやめるように促すことが期待できる。また、追跡対象者が万引き行為によって自身の鞄等に入れた商品を陳列棚に戻した場合、この追跡対象者に対する追跡処理が終了され、警告装置３０による警告処理も終了される。よって、店舗の従業員等の負担を増大させることなく、万引き行為の発生を抑制できる。なお、サーバ１０は、追跡対象者に対する追跡処理を終了する際に、この追跡対象者に最も近い警告装置３０によって、「商品を戻して頂きありがとうございます」等のメッセージを出力（表示、音声出力）させてもよい。

　本実施形態の情報処理システム１００は、警告装置３０及び表示装置４１，４２によって追跡対象者に対して警告を発するだけでなく、追跡対象者を検知した場合にサーバ１０が警察署や警備会社等に通報するように構成してもよい。例えばサーバ１０の制御部１１は、同一の追跡対象者に対する追跡処理部１０３による追跡処理を所定時間（例えば５分間、１０分間等）継続して行ったか否かを判断し、所定時間継続して行った場合に、所定の警備会社の端末に通報情報を出力する構成を有してもよい。またサーバ１０の制御部１１は、追跡処理部１０３による追跡処理によって追跡対象者が店舗外に出たか否かを判断し、店舗外に出た場合に、警察署の端末に通報情報を出力する構成を有してもよい。警備会社の端末及び警察署の端末は、サーバ１０から通報情報を取得した場合、例えばランプを点灯又は点滅させたり、所定の音声メッセージを出力することによって、警備会社の警備員や警察署の警察官に万引き行為の通報があったことを通知する。このような構成を備えることにより、例えば万引き行為を行った追跡対象者が所定時間商品を持ったまま店舗内に滞在している場合に警備会社に通報することができ、また追跡対象者が店舗外に出た場合に警察署に通報することができる。警備会社又は警察署では、サーバ１０からの通報を受けた場合に、万引き行為に対する対応を行うことができる。なお、警備会社に通報するタイミングや警察署に通報するタイミングは上述したタイミングに限定されない。

　また、サーバ１０は、警察署や警備会社のほかに、店舗の本社や店舗を管轄する本部等に追跡対象者を検知したことを通報するようにしてもよい。例えばサーバ１０の制御部１１は、同一の追跡対象者に対する追跡処理を所定時間継続して行った場合や、追跡対象者が店舗外に出た場合に、店舗の本社や本部の端末に通報情報を出力してもよい。この場合でも、店舗の本社や本部の端末は、例えばランプを点灯又は点滅させたり、所定の音声メッセージを出力することによって、本社や本部の担当者に万引き行為の通報があったことを通知する。このような構成を備えることにより、万引き行為の発生を店舗の本社や本部においても把握できる。警備会社、警察署、店舗の本社や本部に通報するタイミングは適宜設定変更可能である。例えば、同一の追跡対象者に対する追跡処理の継続時間だけでなく、追跡中の追跡対象者に対する警告処理の実行回数に応じたタイミングで通報するようにしてもよい。即ち、追跡処理を所定時間継続して行った場合や追跡対象者に対する警告処理を所定回数行った場合、この追跡対象者は商品を陳列棚に戻さずに退店する可能性が高いとして、警察署等に通報する構成としてもよい。

　本実施形態では、店舗内に設けられたカメラ２０の撮影画像に基づいて万引き行為が発生したか否かを検知する処理をＡＩ（Artificial Intelligence：人工知能）を用いて行うことができる。よって、店舗の従業員等がカメラ２０の撮影画像を監視する必要がない。また人が全ての撮影画像を目視で確認することは非常に困難であるが、サーバ１０は全ての撮影画像に基づいて万引き行為の検知を行うので、撮影画像を有効に利用できる。

　本実施形態において、カメラ２０で撮影した画像データに基づいて万引き行為が行われたか否かを検知する機能を、カメラ２０に設けてもよい。例えば、カメラ２０は撮影処理を行い、取得した画像データに基づいて万引き行為の検知処理を行い、万引き行為が行われたことを検知した場合に、サーバ１０に通知するように構成される。この場合、サーバ１０は、カメラ２０から万引き行為が行われたことを通知された後に、追跡対象者の追跡処理を行うように構成される。このような構成とした場合であっても、上述した実施形態１と同様の効果が得られる。

（実施形態２）
　店舗内の人（顧客）が商品を手に取ったか否かを検知する処理を行い、商品を手に取ったことを検知した場合に、万引き行為が行われたか否かを検知する処理を行う情報処理システム１００について説明する。本実施形態の情報処理システム１００は、実施形態１の情報処理システム１００の各装置と同じ装置によって構成される。図１１は、実施形態２のサーバ１０の制御部１１によって実現される機能を示すブロック図、図１２は、実施形態２のサーバ１０が行う処理を説明するための模式図、図１３及び図１４Ａ及び図１４Ｂは、実施形態２の万引き判別モデル１２１の構成例を示す模式図である。

　本実施形態の情報処理システム１００において、サーバ１０の制御部１１は、記憶部１２に記憶してある制御プログラム１２Ｐを実行した場合、図６に示す各機能に加えて把持検知部１０８の機能を実現する。把持検知部１０８は、画像取得部１０１が各カメラ２０から取得した画像データ（撮影画像）に基づいて、撮影画像中に撮影されている人が商品を手に取ったか否か（把持したか否か）を検知する。例えば店舗内で販売されている商品のパッケージの画像を予め記憶部１２に記憶しておき、把持検知部１０８は、各カメラ２０が撮影した画像データと、記憶部１２に記憶してある各商品のパッケージの画像とに基づいて、撮影画像中の人がいずれかの商品を手にしたか否かを検知する。例えば把持検知部１０８は、順次取得される撮影画像において商品の撮影領域を検出し、商品の撮影領域が移動する場合、この商品は顧客の手に取られているものと判断する。また把持検知部１０８は、順次取得される撮影画像において商品の撮影領域と人の手の撮影領域とを検出し、商品の撮影領域が人の手の撮影領域と重なった場合に、この商品は顧客の手に取られたと判断してもよい。なお、把持検知部１０８によって撮影画像中の人が商品を手に取ったか否かを検知する処理は、これらに限らない。

　本実施形態の万引き検知部１０２は、把持検知部１０８によって、撮影画像中の人が商品を手に取ったことを検知された場合に、万引き判別モデル１２１を用いて、撮影画像中の人が万引き行為を行ったか否かを検知する。本実施形態の万引き判別モデル１２１は、実施形態１の万引き判別モデル１２１と同様の構成である。なお、実施形態１の万引き判別モデル１２１ではカメラ２０による撮影画像（画像データ）が入力データであったが、本実施形態の万引き判別モデル１２１では、撮影画像から抽出された顧客領域Ｒ１が入力データとなる。

　万引き検知部１０２は、把持検知部１０８によって撮影画像中の人が商品を手に取ったことを検知された場合、図１２に示すように、撮影画像から、検知された人を含む顧客領域Ｒ１を抽出する。そして、万引き検知部１０２は、図１３に示すように、顧客領域Ｒ１を、入力層を介して万引き判別モデル１２１に入力する。なお、本実施形態の万引き判別モデル１２１は、例えば図１４Ａ及び図１４Ｂに示すように、把持検知部１０８によって顧客が手に取っていると検知された商品を含む商品領域Ｒ２を、入力層を介して万引き判別モデル１２１に入力する構成としてもよい。このような構成とした場合であっても、万引き検知部１０２は、商品を手に取った人が万引き行為を行ったか否かを検知できる。

　図１５は、実施形態２の情報処理システム１００による万引き行為の監視処理の手順を示すフローチャートである。図１５には左側にカメラ２０が行う処理を、右側にサーバ１０が行う処理をそれぞれ示す。図１５に示す処理は、図１０に示す処理において、ステップＳ１３，Ｓ１４の間にステップＳ３１～Ｓ３２の処理を追加したものである。よって、図１０と同様のステップについては説明を省略する。また図１５では、図１０中のステップＳ１５～Ｓ２２の図示を省略する。

　本実施形態の情報処理システム１００において、サーバ１０は、カメラ２０から送信されてくる画像データを受信した場合（Ｓ１３）、受信した画像データをカメラＤＢ１２ａに記憶すると共に、受信した画像データに基づいて、画像データ（撮影画像）中に撮影された人（店舗内の顧客）が商品を手に取ったか否かを検知する把持検知処理を行う（Ｓ３１）。サーバ１０は、把持検知処理によって、撮影画像中の人が商品を手に取ったか否かを判断し（Ｓ３２）、撮影画像中の人が商品を手に取っていないと判断した場合（Ｓ３２：ＮＯ）、ステップＳ１３の処理に戻る。サーバ１０は、撮影画像中の人が商品を手に取ったと判断した場合（Ｓ３２：ＹＥＳ）、ステップＳ１４に処理を進め、受信した画像データに基づいて、万引き行為の発生を検知する検知処理を行う（Ｓ１４）。なお、このときサーバ１０は、撮影画像から、商品を手に取ったと検知された人の撮影領域（顧客領域Ｒ１）を抽出し、抽出した顧客領域Ｒ１に基づいて、万引き行為の検知処理を行う。

　本実施形態では、実施形態１と同様の効果が得られる。また、本実施形態では、カメラ２０で取得された撮影画像から、商品を手に取った人の撮影領域（顧客領域Ｒ）を抽出し、顧客領域Ｒに基づいて万引き判別モデル１２１による判別処理を行う。よって、少ないデータ量の顧客領域Ｒ１を用いるので、効率良く且つ精度の高い判別処理を行うことができる。

（実施形態３）
　警告装置３０が設置位置に応じて異なる警告処理を行う情報処理システム１００について説明する。本実施形態の情報処理システム１００は、実施形態１の情報処理システム１００の各装置と同じ装置によって構成される。なお、第１表示装置４１及び第２表示装置４２は警告装置３０の１つと見なすので、第１表示装置４１及び第２表示装置４２の情報も警告装置ＤＢ１２ｂに記憶されている。本実施形態の情報処理システム１００において、サーバ１０の制御部１１は、記憶部１２に記憶してある制御プログラム１２Ｐを実行した場合、図６に示す各機能と同様の機能を実現する。なお、本実施形態では、警告処理部１０７が行う処理が、実施形態１と若干異なるので、異なる処理についてのみ説明する。

　本実施形態の警告処理部１０７は、実施形態１と同様に、追跡処理部１０３によって追跡処理が行われている追跡対象者に対して、追跡対象者に近い位置に設置されている警告装置３０によって警告を行う。ここで、本実施形態の警告処理部１０７は、追跡対象者に近い警告装置３０が第１表示装置４１又は第２表示装置４２である場合、他の警告装置３０（表示装置である警告装置３０）とは異なる警告画面を表示して警告を行う。具体的には、警告処理部１０７は、追跡対象者に最も近い設置場所の警告装置３０を特定した場合、特定した警告装置３０が第１表示装置４１又は第２表示装置４２であるか否かを判断する。そして警告処理部１０７は、特定した警告装置３０が第１表示装置４１及び第２表示装置４２でないと判断した場合、即ち、追跡対象者がレジカウンタ又は出入口の近傍に居ない場合、店舗内の追跡対象者の近傍の警告装置３０にて警告を行う。ここでの警告装置３０が表示装置である場合、例えば「レジでお支払いお願いします」のような警告メッセージを表示させる。また警告処理部１０７は、特定した警告装置３０が第１表示装置４１であると判断した場合、即ち、追跡対象者がレジカウンタの近傍に居る場合、第１表示装置４１に例えば「万引きになるので、レジでお支払いお願いします」のような警告メッセージを表示させる（第１警告処理を行う）。更に警告処理部１０７は、特定した警告装置３０が第２表示装置４２であると判断した場合、即ち、追跡対象者が出入口の近傍に居る場合、第２表示装置４２に例えば図９Ａ又は図９Ｂに示すような警告画面を表示させる（第２警告処理を行う）。このように第１表示装置４１と第２表示装置４２とにおいて異なる警告画面を表示することにより、警告レベルが異なる警告処理を行うことができる。なお、表示装置である警告装置３０及び表示装置４１，４２に表示される警告メッセージは、上述のメッセージに限定されず、例えば「万引き防止ＡＩが作動中です」「万引きは犯罪です」等の警告メッセージや、キャラクタが話す吹き出しに警告メッセージが表示された警告画面であってもよい。またこのような警告メッセージや警告画面を記載した貼り紙やステッカー等をレジカウンタや出入口の近傍、店舗内の壁等に貼付しておいてもよい。

　追跡対象者は、店舗内の陳列棚の前等で万引き行為を行った後、出入口から店舗外に出ていく場合と、店舗内で万引き行為を行いつつ一部の商品についてレジカウンタで支払いを行った後、出入口から店舗外に出ていく場合とが考えられる。本実施形態では、このような追跡対象者に対してまず陳列棚の近傍で警告を行い、警告に応じず商品を陳列棚に戻さない場合はレジカウンタの近傍で警告を行い、それでも商品を陳列棚に戻さない場合は出入口の近傍で警告を行うことができる。このように追跡対象者の移動に伴い警告装置３０を切り替えつつ注意喚起することができる。また、本実施形態では、追跡対象者が陳列棚の近傍に居る場合と、レジカウンタの近傍に居る場合と、出入口の近傍に居る場合とにおいて、警告画面に表示される内容を変更することにより、追跡対象者が居る場所に応じた警告を行うことができる。例えば、追跡対象者が陳列棚の近傍に居る場合と、追跡対象者がレジカウンタに来た場合と、追跡対象者が出入口に来た場合とにおいて、順に警告レベルを上げた警告メッセージを表示させることができる。

　図１６は、実施形態３の情報処理システム１００による万引き行為の監視処理の手順を示すフローチャートである。図１６には左側から順にサーバ１０、第１表示装置４１、第２表示装置４２及び警告装置３０が行う処理を示す。図１６に示す処理は、図１０に示す処理において、ステップＳ２０，Ｓ２１の間にステップＳ４１～Ｓ４６の処理を追加したものである。よって、図１０と同様のステップについては説明を省略する。また図１６では、図１０中のステップＳ１１～Ｓ１６及びＳ１８の図示を省略する。

　本実施形態の情報処理システム１００において、サーバ１０は、ステップＳ２０で警告装置３０を特定した後、特定した警告装置３０が第１表示装置４１であるか否かを判断する（Ｓ４１）。特定した警告装置３０が第１表示装置４１であると判断した場合（Ｓ４１：ＹＥＳ）、サーバ１０は、第１表示装置４１に対して、表示用の第１警告データを送信する（Ｓ４２）。第１表示装置４１は、サーバ１０から送信された第１警告データを受信し、受信した第１警告データに基づく警告画面を表示する（Ｓ４３）。

　特定した警告装置３０が第１表示装置４１でないと判断した場合（Ｓ４１：ＮＯ）、サーバ１０は、特定した警告装置３０が第２表示装置４２であるか否かを判断する（Ｓ４４）。特定した警告装置３０が第２表示装置４２であると判断した場合（Ｓ４４：ＹＥＳ）、サーバ１０は、第２表示装置４２に対して、表示用の第２警告データを送信する（Ｓ４５）。第２表示装置４２は、サーバ１０から送信された第２警告データを受信し、受信した第２警告データに基づく警告画面を表示する（Ｓ４６）。特定した警告装置３０が第２表示装置４２でないと判断した場合（Ｓ４４：ＮＯ）、サーバ１０は、ステップＳ２１に処理を移行する。

　サーバ１０は、ステップＳ４２，Ｓ４５又はＳ２１の処理後、ステップＳ１７の処理に戻り、追跡対象者が商品を陳列棚に戻すまでステップＳ１９～Ｓ２１，Ｓ４１～Ｓ４２，Ｓ４４～Ｓ４５の処理を繰り返す。上述した処理により、万引き行為の発生を検知した場合に、万引き行為を行った可能性の高い人（追跡対象者）の近傍の警告装置３０にて警告を行うことができると共に、追跡対象者がレジカウンタ又は出入口の近傍に来た場合に所定の警告メッセージにて警告を行うことができる。

　本実施形態では、例えば万引き行為を行った直後に、万引き行為を行った人（追跡対象者）に警告及び注意喚起することができる。また、追跡対象者がレジカウンタに来た場合や出入口に来た場合にそれぞれ第１表示装置４１及び第２表示装置４２に所定の警告画面を表示させることにより、追跡対象者の場所及び状況に応じた警告を行うことができる。また、店舗内に分散配置された各警告装置３０において、例えば万引き行為を行ってからの経過時間が長くなるほど、警告レベルが高い警告処理を行うようにしてもよい。例えば、万引き行為を行った直後は、発光装置である警告装置３０によって光を点灯又は点滅させることによる警告を行い、その後商品を陳列棚に戻さない場合には、表示装置である警告装置３０に警告画面を表示させて警告を行い、それでも商品を陳列棚に戻さない場合には、音声出力装置である警告装置３０に警告メッセージを音声出力させて警告を行うようにしてもよい。

　本実施形態において、レジカウンタに設けられた第１表示装置４１の近傍に発光装置の警告装置３０を設け、追跡対象者がレジカウンタに来た場合に、この警告装置３０にて光の点灯又は点滅を行うことにより、レジカウンタに居る従業員に追跡対象者の存在を通知するようにしてもよい。また、出入口に設けられた第２表示装置４２の近傍に発光装置や音声出力装置の警告装置３０を設け、追跡対象者が店舗外に出ようとした場合に、この警告装置３０による警告処理を行い、店舗の従業員に追跡対象者が店舗外に出ようとしていることを通知するようにしてもよい。これにより、店舗の従業員等は追跡対象者の存在を把握することができ、追跡対象者が店舗外に出た時点で追跡対象者の身柄を確保することができる。

　本実施形態において、追跡対象者がレジカウンタ又は出入口の近傍に来たか否かは、例えば、レジカウンタに並んだ人又は出入口から店舗外に出ようとする人を撮影するカメラによる撮影画像に基づいて検知するようにしてもよい。例えば、サーバ１０の追跡処理部１０３によって追跡対象者の撮影画像（撮影領域Ｒ）を取得しておく。そして、レジカウンタに並んでいる人又は出入口から店舗外に出ようとしている人の撮影画像から、追跡対象者の撮影領域Ｒを含む撮影画像を検索する。追跡対象者の撮影領域Ｒを含む撮影画像が検索できた場合に、追跡対象者がレジカウンタに並んでいる又は出入口から店舗外に出ようとしていると検知してもよい。

　また、本実施形態の情報処理システム１００において、サーバ１０は、警告装置３０及び表示装置４１，４２による警告処理を行うと共に、予め登録されているスマートフォンや携帯端末に追跡対象者の存在を通知してもよい。例えば万引き行為の発生を検知した時点や、追跡対象者がレジカウンタ又は出入口の近傍に来た場合に、店舗の店長が管理するスマートフォンや携帯端末に追跡対象者の存在を通知してもよい。これにより、店舗の店長や従業員は追跡対象者の行動を監視できる。また、サーバ１０は、万引き行為の発生を検知した撮影画像を、例えば店舗内の従業員控室に設けられている表示装置に表示して、従業員控室に居る従業員等に通知してもよい。

（実施形態４）
　万引き行為だけでなく、店舗の従業員（店員）による内引き行為（窃盗行為）も監視する情報処理システム１００について説明する。図１７は、実施形態４の情報処理システム１００の各装置の配置例を示す模式図である。本実施形態の情報処理システム１００は、図２に示す実施形態１の情報処理システム１００の各装置に加え、店舗内のバックヤードに設けられたカメラ５０及び警告装置３０と、店長や従業員の控室に設けられた控室用表示装置４３とを含む。バックヤードに設けられたカメラ５０及び警告装置３０も、控室に設けられた控室用表示装置４３も、例えば店舗内に設けられたＬＡＮ又はインターネット等のネットワークに接続されている。バックヤードは例えば店頭に陳列されていない商品を保管する倉庫、部屋、冷蔵庫等であり、控室は例えば従業員が休憩する部屋等である。

　バックヤードに設けられるカメラ５０は、バックヤード内に居る人が商品を手に取る様子を撮影できるように、例えば天井に設置されている。図１７に示す例では、バックヤード内に２つのカメラ５０が設けられているが、バックヤード内の全領域を撮影できればカメラ５０の個数は２つに限定されない。また図１７に示す例では、バックヤード内に１つの警告装置３０が設けられているが、２つ以上の警告装置３０が設けられていてもよい。また、バックヤードに隣接して設けられる陳列棚が、顧客が商品を取り出すためのドアを前方に有し、店舗の従業員が商品を補充するための商品投入口を後方に有するウォークイン冷蔵庫である場合、後方の商品投入口にカメラ５０を設けてもよい。この場合、カメラ５０は、商品投入口の近傍に居る従業員を撮影できるように設置される。

　本実施形態の情報処理システム１００において、サーバ１０の制御部１１は、記憶部１２に記憶してある制御プログラム１２Ｐを実行した場合、図６に示す各機能と同様の機能を実現する。なお、本実施形態では、警告処理部１０７が行う処理が、実施形態１と若干異なるので、異なる処理についてのみ説明する。

　本実施形態の警告処理部１０７は、実施形態１と同様に、追跡処理部１０３によって追跡処理が行われている追跡対象者に対して、追跡対象者に近い位置に設置されている警告装置３０によって警告を行う。ここで、本実施形態の警告処理部１０７は、追跡対象者が店舗の従業員であるか否かを判断する。例えば各従業員の顔の撮影画像を予めサーバ１０の記憶部１２に登録しておき、警告処理部（特定部）１０７は、追跡処理部１０３が追跡する追跡対象者の撮影領域Ｒと、各従業員の顔の撮影画像とに基づいて、追跡対象者が従業員のうちの誰であるかを特定する。本実施形態の警告処理部１０７は、追跡対象者が店舗の従業員でないと判断した場合、即ち、万引き行為が行われた場合、実施形態１と同様の処理を行う。一方、本実施形態の警告処理部１０７は、追跡対象者が店舗の従業員であると判断した場合、即ち、内引き行為が行われた場合、実施形態１と同様に追跡対象者（店舗の従業員）に対して警告処理を行いつつ、控室用表示装置４３に通知画面を表示する。これにより、内引き行為を行った従業員に警告を行うと共に、控室に居る店長等に内引き行為の発生を通知できる。なお、バックヤードに設けられたカメラ２０で撮影された撮影画像に基づいて万引き行為の発生が検知された場合に、内引き行為が発生したと判断して、追跡対象者が従業員のうちの誰であるかを特定してもよい。追跡対象者が店舗の従業員であるか否かの判断は、万引き検知部１０２が万引き行為の発生を検知した場合に、万引き検知部１０２によって行われてもよい。

　図１８は、実施形態４の情報処理システム１００による万引き行為の監視処理の手順を示すフローチャートである。図１８には左側にサーバ１０が行う処理を、中央に控室用表示装置４３が行う処理を、右側に警告装置３０が行う処理をそれぞれ示す。図１８に示す処理は、図１０に示す処理において、ステップＳ２１の処理の後にステップＳ５１～Ｓ５４の処理を追加したものである。よって、図１０と同様のステップについては説明を省略する。また図１８では、図１０中のステップＳ１１～Ｓ１６及びＳ１８の図示を省略する。

　本実施形態の情報処理システム１００において、サーバ１０は、ステップＳ２１で追跡対象者の現在位置に最も近い位置の警告装置３０に対して警告処理の実行指示を出力した後、この追跡対象者が店舗の従業員であるか否かを判断する。即ち、サーバ１０は、ステップＳ１４で検知された万引き行為が従業員による内引き行為であるか否かを判断する（Ｓ５１）。例えばサーバ１０は、予め記憶部１２に登録してある各従業員の顔の撮影画像と、追跡対象者をカメラ２０，５０で撮影した撮影画像（撮影領域Ｒ）とに基づいて、追跡対象者が従業員の中にいるか否かを判断する。サーバ１０は、追跡対象者が店舗の従業員であると判断した場合、即ち、内引き行為が行われたと判断した場合（Ｓ５１：ＹＥＳ）、内引き行為を行った追跡対象者を従業員の中から特定する（Ｓ５２）。

　サーバ１０は、追跡対象者に特定した従業員を通知するための通知データを生成して控室用表示装置４３に対して送信する（Ｓ５３）。控室用表示装置４３は、サーバ１０から送信された通知データを受信し、受信した通知データに基づく通知画面を表示する（Ｓ５４）。これにより、内引き行為が行われた場合に、控室に居る店長等に通知することができる。サーバ１０は、追跡対象者が店舗の従業員の中にいないと判断した場合、即ち、内引き行為ではないと判断した場合（Ｓ５１：ＮＯ）、又はステップＳ５３の処理後、ステップＳ１７の処理に戻り、追跡対象者が商品を陳列棚又はバックヤード内の所定位置に戻すまでステップＳ１９～Ｓ２１，Ｓ５１～Ｓ５３の処理を繰り返す。上述した処理により、万引き行為又は内引き行為を行った追跡対象者に対して警告を行うことができると共に、控室に居る店長等に内引き行為の発生を通知できる。控室用表示装置４３の代わりに、例えば店舗の店長のみが使用するスマートフォンや携帯端末に内引き行為の発生を通知してもよい。

　本実施形態では、店舗の売り場内で発生する万引き行為だけでなく、例えば店舗のバックヤード内で発生する内引き行為についても監視及び警告できる。よって、内引き行為を行った可能性の高い追跡対象者（店舗の従業員）に対して警告及び注意喚起することにより、追跡対象者に、追跡対象者が行っている行為は内引き行為であることを警告でき、内引き行為の実行をやめるように促すことができる。また、内引き行為を行った追跡対象者についても、内引き行為によって取得した商品を例えば元の位置に戻すことにより、この追跡対象者に対する追跡処理が終了され、警告装置３０による警告処理が終了される。

　本実施形態において、内引き行為の発生が検知された場合に、内引き行為が行われたと判定された撮影画像を、内引き行為を行ったと特定された従業員の従業員ＩＤに対応付けて記憶部１２に記憶してもよい。この場合、内引き行為の発生履歴を撮影画像に基づいて確認することができる。また、各従業員が退店（帰宅）する際に、例えば各従業員のＩＤカードを読み取り機にて読み取らせる等、退店作業を行う場合がある。このように読み取り機にて従業員ＩＤが読み取られた際に、読み取られた従業員ＩＤが、内引き行為を行った従業員の従業員ＩＤに一致する場合に警告処理を行うようにしてもよい。例えば、読み取り機の近傍に表示装置を設けておき、この表示装置に、図９Ａ又は図９Ｂに示すような警告画面を表示させて従業員に警告してもよい。これにより、従業員は、自身の行為が内引き行為であり、内引き行為を行ったことが発覚していることを把握できるので、内引き行為を行ったことに対する対応を行うことができる。

　本実施形態の構成は、実施形態２，３の情報処理システム１００にも適用でき、実施形態２，３の情報処理システム１００に適用した場合であっても、同様の効果が得られる。

（実施形態５）
　万引き行為の発生を検知していない場合に、表示装置である警告装置３０に所定の画面を表示させる情報処理システム１００について説明する。本実施形態の情報処理システム１００は、実施形態１の情報処理システム１００の各装置と同じ装置によって構成される。本実施形態の情報処理システム１００において、サーバ１０の制御部１１は、記憶部１２に記憶してある制御プログラム１２Ｐを実行した場合、図６に示す各機能を実現する。なお、本実施形態の情報処理システム１００では、サーバ１０は、カメラ２０によって取得する画像データに基づいて万引き行為の発生を検知していない場合、広告用の画像（動画）や万引き行為を抑制するためのアナウンス画像等を表示装置の警告装置３０に表示する処理を行う。広告用の画像を表示するための画像データ（広告用データ）及びアナウンス画像を表示するための画像データ（アナウンス用データ）は、予めサーバ１０の記憶部１２に記憶してあってもよいし、サーバ１０がネットワーク経由で外部装置から受信して記憶部１２に記憶してもよい。

　図１９は、実施形態５の情報処理システム１００による万引き行為の監視処理の手順を示すフローチャートである。図１９に示す処理は、図１０に示す処理において、サーバ１０が行うステップＳ１３の前にステップＳ６１～Ｓ６５の処理を追加したものである。よって、図１０と同様のステップについては説明を省略する。また図１９では、図１０中のステップＳ１９～Ｓ２２の図示を省略する。

　本実施形態の情報処理システム１００において、サーバ１０は、例えば記憶部１２に記憶してある広告用の画像を表示するための画像データ（広告用データ）を読み出し、表示装置である警告装置３０へ送信する（Ｓ６１）。表示装置である警告装置３０は、サーバ１０から順次送信されてくる広告用データを受信し、受信した広告用データに基づいて広告画面を表示する（Ｓ６２）。サーバ１０は、表示装置である警告装置３０に広告画面を表示させつつ、アナウンス画像を表示する所定のタイミングが到来したか否かを判断する（Ｓ６３）。アナウンス画像を表示するタイミングは例えば３０分毎、１時間毎等とすることができる。サーバ１０は、表示装置である警告装置３０に広告画面を表示させてから所定時間が経過したか否か、又は前回アナウンス画像を表示させてから所定時間が経過したか否かを判断し、経過していた場合、アナウンス画像を表示するタイミングが到来したと判断する。

　アナウンス画像を表示するタイミングが到来したと判断した場合（Ｓ６３：ＹＥＳ）、サーバ１０は、例えば記憶部１２に記憶してあるアナウンス画像を表示するための画像データ（アナウンス用データ）を読み出し、表示装置である警告装置３０へ送信する（Ｓ６４）。表示装置である警告装置３０は、サーバ１０から送信されたアナウンス用データを受信し、受信したアナウンス用データに基づいてアナウンス画面を表示する（Ｓ６５）。アナウンス画面は例えば「万引きは犯罪です」、「見つけしだい通報します」等の警告メッセージを表示する。サーバ１０は、表示装置である警告装置３０に広告画面又はアナウンス画面を表示させつつ、カメラ２０から送信されてくる画像データを受信した場合（Ｓ１３）、受信した画像データに基づいて、万引き行為の発生を検知する検知処理を行う（Ｓ１４）。なお、本実施形態のサーバ１０は、万引き行為の発生検知していない場合（Ｓ１５：ＮＯ）、及び追跡処理を終了した場合（Ｓ１８）、ステップＳ６１の処理に戻る。

　上述した処理により、サーバ１０が万引き行為の発生を検知していない場合や、追跡対象者が商品を陳列棚に戻した後は、広告画面や万引き行為を抑制するためのアナウンス画面を警告装置３０（表示装置）に表示できる。よって、万引き行為が発生していない場合には、広告画面を表示させることにより、店舗の顧客の購買意欲を向上させることができ、アナウンス画面を表示させることにより、万引き行為を行わないように注意喚起を行うことができる。またサーバ１０が万引き行為の発生を検知した場合、警告画面を警告装置３０（表示装置）に表示して追跡対象者に警告を発することができる。なお、警告画面は、万引き行為を行った追跡対象者の近くの警告装置３０（表示装置）に表示されるので、その他の警告装置３０（表示装置）には引き続き広告画面やアナウンス画面を表示させてもよい。広告画面や万引き行為を抑制するためのアナウンス画面を表示する時間（即ち、動画の再生時間）は適宜変更可能である。これにより、万引き行為が行われていない通常状態では、広告画面やアナウンス画面が表示される情報処理システム１００において、万引き行為が行われた場合に、万引き行為を行った人の近くの警告装置３０に警告画面を表示して警告を発することができる。

　本実施形態の構成は、実施形態２～４の情報処理システム１００にも適用でき、実施形態２～４の情報処理システム１００に適用した場合であっても、同様の効果が得られる。

（実施形態６）
　上述した各実施形態の情報処理システム１００において、万引き判別モデル１２１の代わりに、又は万引き判別モデル１２１と共に、画像データが入力された場合に、画像データ中に撮影された人が暴力行為を行ったか否かを示す情報を出力するように学習された暴力行為判別モデルを用いてもよい。暴力行為判別モデルは、人の撮影画像と、撮影画像中の人が暴力行為を行ったか否かを示す情報とを含む教師データを用いて学習された学習済モデルである。図２０は、暴力行為判別モデルの学習用の撮影画像の例を示す模式図である。暴力行為判別モデルは、図２０に示すように暴力行為を行いそうな人や暴力行為を行っている人を撮影して得られた画像データ（撮影画像）と、撮影画像中の人が暴力行為を行ったことを示す情報（正解ラベル）とを１セットとした教師データを用いて学習する。これにより、上述した各実施形態の情報処理システム１００において、各カメラ２０で取得した撮影画像を暴力行為判別モデルに入力した場合に、撮影画像中の人が暴力行為を行っているか否かを示す情報（判別確率）が出力される。

　このように学習させた暴力行為判別モデルをサーバ１０の記憶部１２に記憶しておき、制御部（暴力判定部）１１が、暴力行為判別モデルを用いて、各カメラ２０で取得された撮影画像（画像データ）に基づいて、撮影画像中に撮影されている人が暴力行為を行ったか否かを検知する。また、制御部（報知部）１１は、撮影画像中に撮影されている人が暴力行為を行っていることを検知した場合、例えば店舗内に設けられた警告装置３０を用いて暴力行為の発生を報知してもよい。このような構成とした場合、万引き行為又は内引き行為が行われたことを検知できるだけでなく、店舗内に暴力行為が行われたことも検知でき警告できる。なお、万引き判別モデル１２１を、万引き行為が行われたか否かを判別するだけでなく、暴力行為が行われたか否かも判別するように構成してもよい。このように暴力行為の発生を検知できる学習済モデルを用いる場合、店舗に限らず、例えば役所や警察署等の窓口で暴力行為の発生を検知して警告するシステムにも適用できる。

　また、本実施形態の情報処理システム１００において、サーバ１０は、暴力行為の発生を検知した時点で警察署や警備会社、店舗の本社や本部等に通報する構成を有してもよい。例えばサーバ１０の制御部１１は、暴力行為判別モデルを用いて各カメラ２０で取得された撮影画像中の人が暴力行為を行ったことを検知した場合に、警察署、所定の警備会社、店舗の本社や本部等における端末に通報情報を出力する構成を有する。警備会社の端末、警察署の端末、店舗の本社や本部の端末は、サーバ１０から通報情報を取得した場合、例えばランプを点灯又は点滅させたり、所定の音声メッセージを出力することによって、警備会社の警備員、警察署の警察官、本社や本部の担当者等に暴力行為の通報があったことを通知する。このような構成を備えることにより、例えば暴力行為が行われた場合に早期に警備会社、警察署、店舗の本社や本部に通報することができ、それぞれの担当者は暴力行為の発生を把握できる。警備会社、警察署、店舗の本社や本部では、サーバ１０からの通報を受けた場合に、暴力行為に対する対応を行うことができる。

（実施形態７）
　万引き行為だけでなく、店舗の従業員による内引き行為も監視する情報処理システム１００において、内引き行為が発生した場合は警告処理を行わずに、例えば店長が使用する端末装置に内引き行為が発生したことを通知する構成について説明する。本実施形態の情報処理システム１００は、実施形態１，４の情報処理システム１００の各装置と同じ装置によって構成される。なお、本実施形態の情報処理システム１００は、図１７に示す実施形態４の情報処理システム１００において、バックヤード内に警告装置３０が設けられている必要はない。

　本実施形態の情報処理システム１００において、サーバ１０の制御部１１は、記憶部１２に記憶してある制御プログラム１２Ｐを実行した場合、図６に示す各機能と同様の機能を実現する。なお、本実施形態では、万引き検知部１０２が行う処理が、実施形態１，４と若干異なるので、異なる処理についてのみ説明する。

　本実施形態の万引き検知部１０２は、実施形態１，４と同様に、万引き判別モデル１２１を用いて、各カメラ２０で取得された撮影画像（画像データ）に基づいて、撮影画像中に撮影されている人が万引き行為を行ったか否かを検知する。そして、本実施形態の万引き検知部１０２は、万引き行為の発生を検知した場合に、万引き行為を行った人が店舗の従業員であるか（即ち、内引き行為であるか）、従業員以外の顧客であるか（即ち、万引き行為であるか）を判断する。なお、万引き行為を行った人が店舗の従業員であるか否かの判断は、実施形態４の警告処理部１０７が、追跡対象者が店舗の従業員であるか否かを判断する処理と同様の処理である。具体的には、各従業員の顔の撮影画像を予めサーバ１０の記憶部１２に登録しておき、万引き検知部１０２（特定部）は、万引き行為を行った人の撮影領域と、各従業員の顔の撮影画像とに基づいて、万引き行為を行った人が従業員のうちの誰であるかを特定する。また、バックヤードに設けられたカメラ２０で撮影された撮影画像に基づいて万引き行為の発生が検知された場合に、内引き行為が発生したと判断してもよく、内引き行為が発生したと判断した後に、内引き行為を行った従業員が誰であるかを特定してもよい。

　本実施形態の追跡処理部１０３は、万引き検知部１０２によって万引き行為を行った人が店舗の従業員でないと判断された場合、即ち、万引き行為が行われた場合、実施形態１，４と同様に万引き行為を行った人（顧客）を追跡する処理を行う。一方、万引き検知部１０２によって万引き行為を行った人が店舗の従業員であると判断された場合、即ち、内引き行為が行われた場合、本実施形態のサーバ１０（制御部１１）は、追跡処理部１０３による追跡処理及び警告処理部１０７による警告処理を行わずに、内引き行為を行った従業員をリストに追加する。これにより、内引き行為が行われた場合は、内引き行為を行った従業員に警告せず、内引き行為を行った従業員リストにリストアップしておく。このように内引き行為を行った従業員のリストを作成しておくことにより、後に店長等に内引き行為の発生を報告できる。

　図２１は、実施形態７の情報処理システム１００による万引き行為の監視処理の手順を示すフローチャートである。図２１には左側にカメラ２０が行う処理を、右側にサーバ１０が行う処理をそれぞれ示す。図２１に示す処理は、図１０に示す処理において、ステップＳ１５のＹＥＳとステップＳ１６との間にステップＳ７１～Ｓ７３の処理を追加したものである。よって、図１０と同様のステップについては説明を省略する。また図２１では、図１０中のステップＳ１７～Ｓ２２の図示を省略する。

　本実施形態の情報処理システム１００において、サーバ１０は、ステップＳ１５で万引き行為の発生を検知したと判断した場合（Ｓ１５：ＹＥＳ）、検知した万引き行為が従業員による内引き行為であるか否かを判断する（Ｓ７１）。例えばサーバ１０は、万引き行為の発生を検知した画像データが、バックヤードに設けられたカメラ２０で撮影された撮影画像であるか否かを判断し、バックヤードのカメラ２０で撮影された撮影画像であると判断した場合、内引き行為であると判断する。また、サーバ１０は、万引き行為の発生を検知した画像データ（撮影画像）を、予め記憶部１２に登録してある各従業員の顔の撮影画像と照合し、万引き行為を行った人が従業員の中にいるか否かを判断し、従業員の中にいると判断した場合、内引き行為が発生したと判断してもよい。サーバ１０は、検知した万引き行為が内引き行為ではないと判断した場合（Ｓ７１：ＮＯ）、即ち、顧客による万引き行為が行われた場合、ステップＳ１６の処理に移行し、実施形態１と同様にステップＳ１６以降の処理を行う。

　一方、検知した万引き行為が内引き行為であると判断した場合（Ｓ７１：ＹＥＳ）、即ち、従業員による内引き行為が行われた場合、サーバ１０は、内引き行為を行った従業員を特定する（Ｓ７２）。そしてサーバ１０は、特定した従業員（内引き行為を行った従業員）を、内引き行為を行った従業員リスト（通知情報）に追加する（Ｓ７３）。具体的には制御部１１は、例えば内引き行為が発生した日時、特定した従業員の情報（例えば氏名）、内引き行為の発生を検知した画像データ（撮影画像）を対応付けて記憶部１２に記憶しておく。これにより、記憶部１２に記憶した情報に基づいて、内引き行為を行った従業員のリストを作成することができる。図２２は、内引き行為を行った従業員のリストの例を示す模式図である。図２２に示すように、制御部１１は、内引き行為が発生した日時、従業員の情報、撮影画像を対応付けて表示したリストを作成することができる。サーバ１０の制御部１１（送信部）は、作成したリストを、例えば店長が使用する端末装置、控室に設けられた控室用表示装置４３等の所定の端末に送信する。これにより、内引き行為を行った従業員のリストを所定の端末で表示させることができ、店長等は内引き行為の発生を把握することができる。サーバ１０の制御部１１は、ステップＳ７３の処理後、ステップＳ１３の処理に戻り、カメラ２０から逐次送信されてくる画像データを受信し（Ｓ１３）、受信した画像データに基づいて、ステップＳ１４以降の処理を行う。

　上述した処理により、本実施形態では、店舗の従業員が内引き行為を行った場合に、警告処理は行わずに、内引き行為を行った従業員リストにリストアップすることができる。なお、サーバ１０が記憶部１２に記憶した情報に基づいて、内引き行為を行った従業員のリストを作成することができ、作成したリストによって、従業員による内引き行為の発生履歴を店長等に通知（報告）できる。

　本実施形態の構成は、上述した各実施形態の情報処理システム１００に適用でき、各実施形態の情報処理システム１００に適用した場合であっても、同様の効果が得られる。また、上述した実施形態４の情報処理システム１００においても、内引き行為が発生した場合に、内引き行為を行った従業員の情報を蓄積しておくことにより、内引き行為を行った従業員のリストを作成するように構成できる。このような構成とした場合、内引き行為が発生した場合に、内引き行為を行った従業員を店長等に通知できると共に、内引き行為を行った従業員をリストアップしておくことができ、後日確認することができる。

（実施形態８）
　店舗内の人の挙動を検知する処理を行い、挙動が正常でない人を検知した場合に、万引き行為が行われたか否かを検知する処理を行う情報処理システム１００について説明する。本実施形態の情報処理システム１００は、実施形態１の情報処理システム１００の各装置と同じ装置によって構成される。図２３は、実施形態８のサーバ１０の制御部１１によって実現される機能を示すブロック図である。

　本実施形態の情報処理システム１００において、サーバ１０の制御部１１は、記憶部１２に記憶してある制御プログラム１２Ｐを実行した場合、図６に示す各機能に加えて挙動検知部１０９の機能を実現する。挙動検知部１０９は、画像取得部１０１が各カメラ２０から取得した画像データ（撮影画像）に基づいて、撮影画像中に撮影されている人の挙動が正常であるか否かを検知する。挙動検知部１０９は、例えば挙動判別モデル１２２を用いて、撮影画像中の人の挙動が正常であるか否かを検知する。挙動判別モデル１２２は、万引き判別モデル１２１と同様の構成を有し、人を撮影して得られた画像データ（撮影画像）と、撮影画像中の人の挙動が正常であるか正常でないかを示す情報（正解ラベル）とを１セットとした教師データを用いて学習された学習済モデルである。挙動が正常でない状態とは、例えばキョロキョロ周囲を見回す行動、店舗内をウロウロ歩く行動等を行っている状態である。このような挙動判別モデル１２２に、各カメラ２０で取得した撮影画像を入力することにより、撮影画像中の人の挙動が正常であるか正常でないかを示す情報（判別確率）が出力される。なお、挙動判別モデル１２２は、サーバ１０で学習が行われてもよいし、異なる学習装置で学習された後にサーバ１０の記憶部１２に記憶されてもよい。

　挙動検知部１０９は、挙動判別モデル１２２に対して、画像取得部１０１が取得した各カメラ２０の撮影画像を入力し、挙動判別モデル１２２からの出力値に基づいて、撮影画像中の人の挙動が正常であるか否かを判定する。例えば挙動検知部１０９は、挙動判別モデル１２２から、挙動が正常であると判別すべき確率として出力された出力値が所定値（例えば０．８）以上であった場合に、撮影画像中の人の挙動が正常であると判定する。本実施形態の万引き検知部１０２は、挙動検知部１０９によって撮影画像中の人の挙動が正常でないことが検知された場合に、万引き判別モデル１２１を用いて、撮影画像中の人が万引き行為を行ったか否かを検知する。

　図２４は、実施形態８の情報処理システム１００による万引き行為の監視処理の手順を示すフローチャートである。図２４には左側にカメラ２０が行う処理を、右側にサーバ１０が行う処理をそれぞれ示す。図２４に示す処理は、図１０に示す処理において、ステップＳ１３，Ｓ１４の間にステップＳ８１～Ｓ８２の処理を追加したものである。よって、図１０と同様のステップについては説明を省略する。また図２４では、図１０中のステップＳ１５～Ｓ２２の図示を省略する。

　本実施形態の情報処理システム１００において、サーバ１０は、カメラ２０から送信されてくる画像データを受信した場合（Ｓ１３）、受信した画像データをカメラＤＢ１２ａに記憶すると共に、受信した画像データに基づいて、画像データ（撮影画像）中に撮影された人（店舗内の顧客）の挙動が正常であるか否かを検知する挙動検知処理を行う（Ｓ８１）。サーバ１０は、挙動検知処理によって、撮影画像中の人の挙動が正常であるか否かを判断し（Ｓ８２）、撮影画像中の人の挙動が正常であると判断した場合（Ｓ８２：ＹＥＳ）、ステップＳ１３の処理に戻る。サーバ１０は、撮影画像中の人の挙動が正常でないと判断した場合（Ｓ８２：ＮＯ）、ステップＳ１４に処理を進め、受信した画像データに基づいて、万引き行為の発生を検知する検知処理を行う（Ｓ１４）。ステップＳ１４以降の処理は実施形態１で説明した処理と同様である。

　本実施形態では、上述した各実施形態と同様の効果が得られる。また、本実施形態では、カメラ２０で取得された撮影画像に基づいて店舗内での挙動が正常でない人の有無を検知し、店舗内での挙動が正常でない人を検知した場合に、この人が万引き行為を行うか否かを判別する。よって、挙動が正常でない人に対して万引き行為を行ったか否かの判別処理を行うことにより、万引き行為を行う可能性の高い人に注目して万引き検知処理を行うので、効率よく処理を行うことができる。本実施形態の構成は、上述した各実施形態の情報処理システム１００に適用でき、各実施形態の情報処理システム１００に適用した場合であっても、同様の効果が得られる。

　上述した各実施形態において、撮影画像中の人が万引き行為を行っているか否かを判別するための判別モデルと、撮影画像中の人（従業員）が内引き行為を行っているか否かを判別するための判別モデルと、撮影画像中の人が暴力行為を行っているか否かを判別するための判別モデルと、撮影画像中の人の挙動が正常であるか否かを判別するための判別モデルとを各別に設けてもよい。また、それぞれの判別処理をまとめて１つの判別モデルで出力できるように判別モデル（万引き判別モデル１２１）を構成してもよい。また、万引き行為及び内引き行為において、商品を開封する行為を行っているか否かを判別するための判別モデル、飲料ボトルを開けて飲む行為を行っているか否かを判別するための判別モデル等を各別に設けてもよいし、それぞれの判別処理をまとめて１つの判別モデルで出力できるように判別モデルを構成してもよい。

　今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本開示の範囲は、上記した意味では無く、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

　１０　　サーバ
　１１　　制御部
　１２　　記憶部
　２０　　カメラ
　３０　　警告装置
　４１　　第１表示装置
　４２　　第２表示装置
　１００　情報処理システム
　１０１　画像取得部
　１０２　万引き検知部
　１０３　追跡処理部
　１０４　追跡部
　１０５　行動検知部
　１０６　位置検知部
　１０７　警告処理部

Claims

　店舗内に分散配置された複数の撮像装置及び複数の警告装置と、
　画像データが入力された場合に、前記画像データ中に撮像された人が窃盗行為を行ったか否かを示す情報を出力するように学習された学習済モデルを用いて、前記複数の撮像装置が取得した画像データに基づいて、窃盗行為が行われたか否かを判定する窃盗判定部と、
　窃盗行為が行われたと判定した場合、窃盗行為を行った人の近傍に配置された前記警告装置にて警告を行う警告処理部と
　を備える情報処理システム。
　前記警告装置は表示装置を含み、
　前記警告処理部は、前記窃盗行為によって取られた商品の画像を前記表示装置に表示して警告を行う
　請求項１に記載の情報処理システム。
　前記警告装置は発光装置又は音声出力装置を含み、
　前記警告処理部は、前記発光装置に光を点灯又は点滅させ、或いは、前記音声出力装置に所定の音声を出力させて警告を行う
　請求項１又は２に記載の情報処理システム。
　前記警告装置は表示装置を含み、
　前記警告処理部は、前記窃盗行為が行われたと判定された画像データを前記表示装置に表示して警告を行う
　請求項１から３までのいずれかひとつに記載の情報処理システム。
　前記警告装置は、前記店舗内のレジカウンタ及び出口の近傍を含む複数箇所に配置してあり、
　前記窃盗行為を行った人が前記レジカウンタ又は出口の近傍に居るか否かを検出する検出部を更に備え、
　前記警告処理部は、前記窃盗行為を行った人が前記レジカウンタの近傍に居ることを検出した場合、前記レジカウンタの近傍に配置された前記警告装置にて第１警告処理を行い、前記窃盗行為を行った人が前記出口の近傍に居ることを検出した場合、前記出口の近傍に配置された前記警告装置にて、前記第１警告処理とは異なる第２警告処理を行う
　請求項１から４までのいずれかひとつに記載の情報処理システム。
　前記窃盗判定部にて窃盗行為が行われたと判定した場合、前記撮像装置が取得する画像データに基づいて、前記窃盗行為を行った人を追跡する追跡部と、
　前記追跡部が追跡する人を前記撮像装置が撮像して取得した画像データに基づいて、前記窃盗行為によって取られた商品が陳列棚に戻されたか否かを判定する追跡判定部とを更に備え、
　前記追跡部は、前記窃盗行為によって取られた商品が陳列棚に戻されたと判定した場合、追跡処理を終了する
　請求項１から５までのいずれかひとつに記載の情報処理システム。
　前記撮像装置は、前記店舗内のバックヤード内の箇所を含む複数箇所に配置してあり、
　前記バックヤード内に配置された前記撮像装置が取得した画像データに基づいて窃盗行為が行われたと前記窃盗判定部が判定した場合、前記窃盗行為を行った人を、複数の従業員の中から特定する特定部を更に備える
　請求項１から６までのいずれかひとつに記載の情報処理システム。
　画像データが入力された場合に、前記画像データ中に撮像された人が暴力行為を行ったか否かを示す情報を出力するように学習された学習済モデルを用いて、前記複数の撮像装置が取得した画像データに基づいて、暴力行為が行われたか否かを判定する暴力判定部と、
　暴力行為が行われたと判定した場合、報知する報知部と
　を更に備える請求項１から７までのいずれかひとつに記載の情報処理システム。
　窃盗行為が行われたと前記窃盗判定部が判定した場合、前記窃盗行為が行われたと判定された画像データを、前記店舗内の従業員控室内に配置された表示装置に表示する表示部を更に備える請求項１から８までのいずれかひとつに記載の情報処理システム。
　店舗のバックヤード内に配置された撮像装置と、
　画像データが入力された場合に、前記画像データ中に撮像された人が窃盗行為を行ったか否かを示す情報を出力するように学習された学習済モデルを用いて、前記撮像装置が取得した画像データに基づいて、窃盗行為が行われたか否かを判定する窃盗判定部と、
　窃盗行為が行われたと判定した場合、窃盗行為を行った人を複数の従業員の中から特定する特定部と、
　特定した従業員を通知する通知情報を所定の装置へ送信する送信部と
　を備える情報処理システム。
　情報処理装置が、
　画像データが入力された場合に、前記画像データ中に撮像された人が窃盗行為を行ったか否かを示す情報を出力するように学習された学習済モデルを用いて、店舗内に分散配置された複数の撮像装置が取得した画像データに基づいて、窃盗行為が行われたか否かを判定し、
　窃盗行為が行われたと判定した場合、前記店舗内に分散配置された複数の警告装置のうちの前記窃盗行為を行った人の近傍に配置された前記警告装置にて警告を行う
　処理を実行する情報処理方法。
　コンピュータに、
　画像データが入力された場合に、前記画像データ中に撮像された人が窃盗行為を行ったか否かを示す情報を出力するように学習された学習済モデルを用いて、店舗内に分散配置された複数の撮像装置が取得した画像データに基づいて、窃盗行為が行われたか否かを判定し、
　窃盗行為が行われたと判定した場合、前記店舗内に分散配置された複数の警告装置のうちの前記窃盗行為を行った人の近傍に配置された前記警告装置へ警告情報を出力する
　処理を実行させるプログラム。