以下に、本開示の情報処理システム、情報処理方法及びプログラムについて、その実施形態を示す図面に基づいて詳述する。
(実施形態1)
商店や店舗等において万引き行為(窃盗行為)の発生を抑制する情報処理システムに適用した実施形態について説明する。図1は情報処理システムの構成例を示す模式図である。本実施形態の情報処理システム100は、例えば店舗内に設けられており、サーバ10、複数のカメラ20、複数の警告装置30及び2つの表示装置(第1表示装置41及び第2表示装置42)を含む。これらの各装置は、例えば店舗内に設けられたLAN(Local Area Network)に接続されており、LANを介して情報の送受信を行う。なお、これらの各装置は、インターネット等のネットワークに接続され、ネットワークを介して情報の送受信を行う構成でもよい。
図2は、店舗内に設置されたカメラ20、警告装置30及び表示装置41,42の配置例を示す模式図である。カメラ20は、レンズ及び撮像素子等を有する撮像装置であり、レンズを介して入射した光を撮像素子にて光電変換して画像データを取得する。カメラ20は、撮影によって取得した画像データ(撮影画像)を順次サーバ10へ送信する。カメラ20は、商品を陳列する陳列棚の前に居る人が商品を手に取る様子を撮影できるように、例えば陳列棚の上部や天井等に設置されている。図2に示す例では、それぞれの陳列棚の両端に1つずつカメラ20が設けられているが、店舗内の全領域を撮影できるように各カメラ20が分散配置されていればよく、図2に示す例に限定されない。
警告装置30のそれぞれは、例えば表示装置、発光装置及び音声出力装置のいずれか又は複数を含み、表示装置、発光装置又は音声出力装置にて警告(注意喚起)を行う。表示装置は、例えば液晶ディスプレイ、有機ELディスプレイ等であり、サーバ10から表示用データを受信した場合に、受信した表示用データを表示することにより警告を行う。発光装置は、例えばランプ、回転灯等であり、サーバ10から点灯又は点滅の実行指示を受信した場合に点灯又は点滅することにより警告を行う。音声出力装置は、例えばスピーカ、ブザー等であり、サーバ10から出力用の音声データを受信した場合に、受信した音声データを音声出力することにより警告を行う。なお、音声出力装置は、サーバ10から音声出力の実行指示を受信した場合に、所定の音又は音声を出力することにより警告を行う構成でもよい。よって、警告装置30は、表示装置が警告用のデータを表示し、発光装置が点灯又は点滅し、音声出力装置が警告用の音声を出力することにより、警告を行う。なお、警告装置30が表示装置、発光装置及び音声出力装置のうちの複数の装置で構成される場合、複数の装置が一体として構成された警告装置30を用いてもよいし、別体で構成された複数の装置をまとめて警告装置30として用いてもよい。
警告装置30は、陳列棚の前に居る人に警告を発することができるように適宜の位置に設置されている。例えば警告装置30が表示装置又は発光装置である場合、表示装置の表示画面や発光装置の点灯又は点滅状態を把握できるように、陳列棚の前に立つ人の目線の位置に設置される。また警告装置30が音声出力装置である場合、音声出力装置からの音声が陳列棚の前に居る人に届くように、例えば陳列棚の上部や天井等に設置される。図2に示す例では、それぞれの陳列棚の中央部に1つずつ警告装置30が設けられているが、店舗内に居る人に警告できるように各警告装置30が分散配置されていればよく、図2に示す例に限定されない。また、各警告装置30は、店舗内の設置位置に応じて表示装置、発光装置及び音声出力装置のいずれか又は複数を選択して設置してもよい。即ち、設置位置に応じて異なる装置で警告を行うように構成することができる。
第1表示装置41及び第2表示装置42は、例えば液晶ディスプレイ、有機ELディスプレイ等であり、サーバ10から送信された表示用データを受信し、受信した表示用データを表示する。よって、第1表示装置41及び第2表示装置42は、サーバ10から警告用のデータを受信して表示する場合、警告装置としても機能する。第1表示装置41は、例えば店舗内のレジカウンタ又はレジカウンタの近傍に設置されており、レジカウンタに並ぶ人又はレジカウンタの先頭に並ぶ人が視認できるように設けられている。第2表示装置42は、例えば出入口(出口)の近傍に設置されており、出入口から店舗の外に出ようとする人が視認できるように設けられている。
サーバ10は、図2では図示していないが、店舗内のいずれの箇所に設けられていてもよいし、サーバ10が他の機器20,30,41,42とネットワークを介して接続される場合、店舗内に設けられていなくてもよい。サーバ10は、サーバコンピュータ又はパーソナルコンピュータ等の情報処理装置であり、複数台設けられてもよいし、1台のサーバ内に設けられた複数の仮想マシンによって実現されてもよいし、クラウドサーバを用いて実現されてもよい。サーバ10は、各カメラ20から順次送信されてくる画像データを蓄積する処理、画像データに基づいて万引き行為の発生を検知する処理、万引き行為の発生を検知した場合に警告装置30に警告情報を出力する処理等、種々の情報処理を行う。
図3は、サーバ10の構成例を示すブロック図である。サーバ10は、制御部11、記憶部12、通信部13、表示部14、入力部15、読み取り部16等を含み、これらの各部はバスを介して相互に接続されている。制御部11は、CPU(Central Processing Unit)、MPU(Micro-Processing Unit)又はGPU(Graphics Processing Unit)等の1又は複数のプロセッサを含む。制御部11は、記憶部12に記憶してある制御プログラム12Pを適宜実行することにより、サーバ10が行うべき種々の情報処理、制御処理等を行う。
記憶部12は、RAM(Random Access Memory)、フラッシュメモリ、ハードディスク、SSD(Solid State Drive)等を含む。記憶部12は、制御部11が実行する制御プログラム12P及び制御プログラム12Pの実行に必要な各種のデータ等を予め記憶している。また記憶部12は、制御部11が制御プログラム12Pを実行する際に発生するデータ等を一時的に記憶する。更に記憶部12は、例えば機械学習処理によって構築されたニューラルネットワークである万引き判別モデル121を記憶している。万引き判別モデル121は、人を撮影して得られた画像データ(撮像画像)と、撮影画像中の人が万引き行為を行ったか否かを示す情報とを含む教師データを用いて、画像データが入力された場合に、画像データ中に撮影された人が万引き行為(窃盗行為)を行ったか否かを示す情報を出力するように学習された学習済モデルである。なお、学習済モデルは、入力値に対して所定の演算を行い、演算結果を出力するものであり、記憶部12にはこの演算を規定する関数の係数や閾値等のデータが、万引き判別モデル121として記憶される。更に記憶部12は、カメラDB(データベース)12a及び警告装置DB12bを記憶する。カメラDB12a及び警告装置DB12bは、サーバ10に接続された外部の記憶装置に記憶されていてもよく、ネットワークを介してサーバ10と通信可能な記憶装置に記憶されていてもよい。
通信部13は、有線通信又は無線通信によってネットワークに接続するためのインタフェースであり、ネットワークを介して外部装置との間で情報の送受信を行う。表示部14は、液晶ディスプレイ又は有機ELディスプレイ等であり、制御部11からの指示に従って各種の情報を表示する。入力部15は、マウス及びキーボード等を含み、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部11へ送出する。なお、表示部14及び入力部15は、一体として構成されたタッチパネルであってもよい。
読み取り部16は、CD(Compact Disc)−ROM又はDVD(Digital Versatile Disc)−ROMを含む可搬型記憶媒体1aに記憶された情報を読み取る。記憶部12に予め記憶される制御プログラム及びデータは、制御部11が読み取り部16を介して可搬型記憶媒体1aから読み取って記憶部12に記憶してもよい。また、記憶部12に予め記憶される制御プログラム及びデータは、制御部11が通信部13を介してネットワーク経由で外部装置からダウンロードして記憶部12に記憶してもよい。更に、半導体メモリ1bから、制御部11が制御プログラム及びデータを読み出してもよい。
図4は、万引き判別モデル121の構成例を示す模式図である。万引き判別モデル121は、深層学習アルゴリズムを用いて学習した深層学習モデルであり、例えば図4に示すように畳み込みニューラルネットワーク(CNN:Convolution Neural Network)モデルで構成されている。万引き判別モデル121は、CNNモデルのほかに、リカレントニューラルネットワーク(RNN:Recurrent Neural Network)モデルで構成されていてもよい。また、万引き判別モデル121は、図4に示すように多層のニューラルネットワーク(深層学習)に限定されるものではなく、他の機械学習のアルゴリズムを用いて構成されていてもよい。
図4に示す万引き判別モデル121は、入力層、中間層及び出力層から構成されている。中間層は畳み込み層、プーリング層及び全結合層を含む。本実施形態の万引き判別モデル121では、入力層を介して画像データが入力される。入力層の各ノードを介して入力された画像データは中間層に入力され、中間層において、畳み込み層でフィルタ処理等によって画像特徴量が抽出されて特徴マップが生成され、プーリング層で圧縮されて情報量を削減される。畳み込み層及びプーリング層は複数層繰り返し設けられており、複数の畳み込み層及びプーリング層によって生成された特徴マップは、全結合層に入力される。全結合層は複数層(図4では2層)設けられており、入力された特徴マップに基づいて、各種の関数や閾値等を用いて各層のノードの出力値を算出し、算出した出力値を順次後の層のノードに入力する。全結合層は、各層のノードの出力値を順次後の層のノードに入力することにより、最終的に出力層の各ノードにそれぞれの出力値を与える。畳み込み層、プーリング層及び全結合層のそれぞれの層数は図4に示す例に限定されない。本実施形態の万引き判別モデル121では、出力層は2つのノードを有しており、例えばノード0は、入力された画像データ中に撮影されている人が万引き行為を行ったと判別すべき確率を出力し、ノード1は、万引き行為を行っていない(通常行為を行っている)と判別すべき確率を出力する。出力層の各ノードの出力値は例えば0〜1.0の値であり、2つのノードから出力された確率の合計が1.0(100%)となる。なお、本実施形態の万引き判別モデル121では、万引き行為を行っていないと判別される状況は、例えば撮影画像中の人が手に取った商品を買い物カゴに入れる行為を含む。また、万引き行為を行ったと判別される状況は、商品を鞄や衣服のポケットに入れる行為のほかに、商品を開封したり飲料ボトルを開けたりする行為も含む。
万引き判別モデル121は、例えば商品棚から手に取った商品を自身の鞄や衣服のポケット等に入れる動作を行った人を撮影して得られた画像データ(撮影画像)と、撮影画像中の人が万引き行為を行ったことを示す情報(正解ラベル)とを1セットとした教師データを用いて学習する。また万引き判別モデル121は、例えば商品棚から手に取った商品を開封する動作を行った人や、商品の飲料ボトルを開封して飲む動作を行った人等を撮影して得られた撮影画像と、撮影画像中の人が万引き行為を行ったことを示す情報(正解ラベル)とを1セットとした教師データを用いて学習する。万引き判別モデル121は、教師データに含まれる撮影画像が入力された場合に、万引き行為を行ったと判別すべき確率が出力されるノード0からの出力値が1.0に近づき、他方のノード1からの出力値が0に近づくように学習する。これにより、商品棚から手に取った商品を自身の鞄や衣服のポケット等に入れる動作を行った人、手に取った商品を開封する動作を行った人、商品の飲料ボトルを開封して飲む動作を行った人等の撮影画像が入力された場合に、ノード0からの出力値(万引き行為を行ったと判別すべき確率)が1.0に近い値となる万引き判別モデル121を生成できる。
また万引き判別モデル121は、例えば商品棚から手に取った商品を、店舗に用意された買い物カゴに入れる動作を行った人を撮影して得られた画像データ(撮影画像)と、撮影画像中の人が万引き行為を行っていないことを示す情報(正解ラベル)とを1セットとした教師データを用いて学習してもよい。この場合、万引き判別モデル121は、教師データに含まれる撮影画像が入力された場合に、万引き行為を行っていないと判別すべき確率が出力されるノード1からの出力値が1.0に近づき、他方のノード0からの出力値が0に近づくように学習する。これにより、商品棚から手に取った商品を買い物カゴに入れる動作を行った人の撮影画像が入力された場合に、ノード1からの出力値(万引き行為を行っていないと判別すべき確率)が1.0に近い値となる万引き判別モデル121を生成できる。なお、学習処理において万引き判別モデル121は、入力値に対して行う所定の演算を規定する各種の関数の係数や閾値等のデータを最適化する。これにより、画像データに基づいて、画像データ中に撮影された人が万引き行為を行ったか否かを示す情報を出力するように学習された学習済みの万引き判別モデル121が得られる。万引き判別モデル121は、サーバ10で学習が行われてもよいし、異なる学習装置で学習された後にサーバ10の記憶部12に記憶されてもよい。
図5は、サーバ10に記憶されるDB12a〜12bの構成例を示す模式図である。図5AはカメラDB12aを、図5Bは警告装置DB12bをそれぞれ示す。カメラDB12aは、店舗内に分散配置された各カメラ20の情報を記憶している。図5Aに示すカメラDB12aは、カメラID列、設置場所列、撮影画像列等を含む。カメラID列は、各カメラ20に予め割り当てられた識別情報を記憶する。設置場所列は、各カメラ20の設置場所を示す情報を記憶する。設置場所の情報は、例えばカメラ20の設置場所から最も近い陳列棚の識別情報や、店舗内の任意の位置を基準として規定される座標系で表される座標値等、設置場所を特定できる情報を用いる。撮影画像列は、各カメラ20で撮影されて取得された画像データ(撮影画像)を記憶する。なお、撮影画像は、カメラDB12aに記憶されるほかに、記憶部12の所定領域又はサーバ10に接続された外部の記憶装置に記憶されてもよい。この場合、撮影画像列は、記憶部12の所定領域又は外部の記憶装置から撮影画像を読み出すための情報(例えば画像データの記憶場所を示すファイル名)を記憶する。カメラDB12aに記憶されるカメラID及び設置場所は、店舗内に新たなカメラ20が設置された場合に店舗の従業員等によって入力部15を介して入力され、制御部11によって記憶される。カメラDB12aに記憶される撮影画像は、通信部13が各カメラ20から取得する都度、制御部11によって記憶される。カメラDB12aの記憶内容は図5Aに示す例に限定されず、カメラ20に関する各種の情報を記憶してもよい。例えばカメラ20が設置された日、点検された日、修理された日等が記憶されていてもよい。
警告装置DB12bは、店舗内に分散配置された各警告装置30の情報を記憶している。図5Bに示す警告装置DB12bは、警告装置ID列、設置場所列、設置機器列等を含む。警告装置ID列は、各警告装置30に予め割り当てられた識別情報を記憶する。設置場所列は、各警告装置30の設置場所を示す情報を記憶する。なお、警告装置DB12bに記憶される設置場所の情報は、設置場所を特定できる情報であればどのような情報を用いてもよいが、カメラDB12aに記憶される設置場所の情報と同じものを用いることが好ましい。設置機器列は、各警告装置30として設置されている機器を示す情報を記憶する。例えば設置されている機器が表示装置であるのか、発光装置であるのか、音声出力装置であるのかを示す情報が記憶される。なお、警告装置30が表示装置、発光装置及び音声出力装置のうちの複数の装置を一体として構成された装置である場合、警告装置30に含まれる各装置を示す情報が、設置機器列に記憶されてもよい。また、別体で構成された各装置が同一の設置場所に設置される場合、各装置を示す情報がまとめて設置機器列に記憶されてもよい。警告装置DB12bに記憶される各情報は、店舗内に新たな警告装置30が設置された場合に店舗の従業員等によって入力部15を介して入力され、制御部11によって記憶される。警告装置DB12bの記憶内容は図5Bに示す例に限定されず、警告装置30に関する各種の情報を記憶してもよい。例えば警告装置30による警告処理の実行履歴、警告装置30が設置された日、点検された日、修理された日等が記憶されていてもよい。
次に、サーバ10の制御部11が制御プログラム12Pを実行することによって実現される機能について説明する。図6は、サーバ10の制御部11によって実現される機能を示すブロック図、図7〜図8は、サーバ10が行う処理を説明するための模式図、図9は、警告画面例を示す模式図である。サーバ10の制御部11は、記憶部12に記憶してある制御プログラム12Pを実行した場合、画像取得部101、万引き検知部102、追跡処理部103、警告処理部107の各機能を実現する。また追跡処理部103は、追跡部104、行動検知部105及び位置検知部106を含む。本実施形態では、これらの各機能を制御部11が制御プログラム12Pを実行することにより実現するが、これらの一部を専用のハードウェア回路で実現してもよい。
画像取得部101は、各カメラ20が撮影して得た画像データを、各カメラ20から順次取得する。画像取得部101は、各カメラ20から取得した画像データ(撮影画像)を逐次カメラDB12aに記憶すると共に万引き検知部102へ送出する。万引き検知部(窃盗判定部)102は、万引き判別モデル121を用いて、各カメラ20で取得された撮影画像(画像データ)に基づいて、撮影画像中に撮影されている人が万引き行為を行ったか否かを検知する。具体的には、万引き検知部102は、万引き判別モデル121に対して、画像取得部101が取得した各カメラ20の撮影画像を入力し、万引き判別モデル121からの出力値を取得する。万引き判別モデル121の出力値は、出力層のノード0から、入力された撮影画像中の人が万引き行為を行ったと判別すべき確率が出力され、出力層のノード1から、万引き行為を行っていない(通常行為を行っている)と判別すべき確率が出力される。
万引き検知部102は、万引き判別モデル121からの出力値に基づいて、万引き行為が発生したか否かを判定する。例えば万引き検知部102は、万引き判別モデル121の出力層のノード0からの出力値(万引き行為を行ったと判別すべき確率)が、所定値(例えば0.8)以上であった場合に、万引き行為が発生したと判定する。なお、万引き検知部102は、万引き判別モデル121の出力層のノード0からの出力値が、出力層のノード1からの出力値(万引き行為を行っていないと判別すべき確率)を上回った場合、又は所定値以上上回った場合に、万引き行為が発生したと判定してもよい。万引き検知部102は、店舗内のカメラ20の数だけ設けられ、それぞれの万引き検知部102が、対応するカメラ20の撮影画像に基づく万引き検知処理を行う構成としてもよい。また、1つの万引き検知部102が、複数のカメラ20の撮影画像に基づく万引き検知処理を順次切り替えて行う構成としてもよい。
また、万引き判別モデル121を、出力層のノード0の代わりに、入力された撮影画像中の人が商品を鞄に入れる行為を行ったと判別すべき確率を出力するノードと、撮影画像中の人が商品を衣服のポケットに入れる行為を行ったと判別すべき確率を出力するノードとを有する構成としてもよい。このような構成とした場合、万引き検知部102は、入力された撮影画像中の人が商品を鞄に入れる行為を行ったのか、衣服のポケットに入れる行為を行ったのかを判別できる。なお、万引き検知部102は、このような2つのノードのいずれかからの出力値が所定値(例えば0.8)以上であった場合に、万引き行為が発生したと判定してもよい。また、万引き判別モデル121を、出力層のノード1の代わりに、入力された撮影画像中の人が商品を手に取っていないと判別すべき確率を出力するノードと、撮影画像中の人が商品を店舗の買い物カゴに入れる行為を行ったと判別すべき確率を出力するノードとを有する構成としてもよい。このような構成とした場合、万引き検知部102は、入力された撮影画像中の人が商品を手に取っていない状況であるのか、商品を買い物カゴに入れる行為を行ったのかを判別できる。なお、万引き検知部102は、このような2つのノードのいずれかからの出力値が所定値(例えば0.5)以上であった場合に、万引き行為が発生していないと判定してもよい。
追跡処理部103は、万引き検知部102が万引き行為の発生を検知した場合に、万引き行為を行った人の移動を追跡する処理を行う。なお、追跡処理の対象となった人を追跡対象者と呼ぶ。追跡部104は、各カメラ20の撮影画像に基づいて追跡対象者の移動を追跡する。図7は追跡対象者を撮影した撮影画像の例を示す。追跡部104は、撮影画像において、例えば追跡対象者を含む矩形の領域を追跡領域Rに設定し、追跡領域Rにおいて、例えば追跡対象者の着衣や持ち物等の色等の特徴量を特定する。そして追跡部104は、特定した追跡領域Rにおける特徴量に基づいて、各カメラ20が時系列的に順次取得する撮影画像に追跡領域Rが含まれるか否かを判断し、追跡領域Rが含まれる撮影画像に基づいて追跡領域Rの移動を追跡する。なお、追跡対象者が複数のカメラ20の撮影範囲内に居る場合、複数のカメラ20の撮影画像に基づく追跡処理を行う。これにより、追跡対象者の追跡を失敗して追跡対象者を見失うことを抑制できる。
行動検知部(追跡判定部)105は、各カメラ20が追跡対象者を撮影した撮影画像に基づいて、追跡対象者が万引き行為によって例えば自身の鞄や衣服のポケットに入れた商品を陳列棚に戻す行動(動作)を行ったか否かを検知する。例えば行動検知部105は、追跡部104が順次追跡する追跡領域Rに基づいて、商品が商品棚に戻されたか否かを検知する。例えば追跡対象者が、図8A、図8B、図8Cに示すような動作を行って商品を陳列棚に戻した場合、行動検知部105は、追跡領域Rに基づく追跡対象者の動作を検知し、商品が陳列棚に戻されたことを検知する。
また、例えば、万引き判別モデル121を、入力された撮影画像中の人が万引き行為を行ったか否かの判別確率のほかに、入力された撮影画像中の人が例えば自身の鞄や衣服のポケットから商品を取りだして陳列棚に戻す行動を行ったか否かの判別確率も出力するように構成することができる。このような万引き判別モデル121を用いることにより、行動検知部105は、追跡対象者の撮影画像に基づいて、追跡対象者が商品を陳列棚に戻す行動を行ったか否かを検知できる。また行動検知部105は、万引き判別モデル121とは別に、撮影画像が入力された場合に、撮影画像中の人が自身の鞄や衣服のポケットから商品を取り出して陳列棚に戻す行動を行ったか否かを示す情報を出力するように学習された学習済モデルを用いて、追跡対象者の撮影画像に基づいて、追跡対象者が商品を陳列棚に戻す行動を行ったか否かを検知してもよい。なお、万引き判別モデル121又は別の学習済モデルを用いて検知する場合、行動検知部105は、万引き判別モデル121又は別の学習済モデルに対して、各カメラ20が追跡対象者を撮影した撮影画像を入力し、万引き判別モデル121又は別の学習済モデルからの出力値を取得する。行動検知部105は、万引き判別モデル121又は別の学習済モデルからの出力値に基づいて、追跡対象者が商品を陳列棚に戻す行動を行ったか否かを検知する。
位置検知部106は、追跡対象者の位置を検知し、位置を示す位置情報を取得する。位置情報は、例えば追跡対象者から最も近い陳列棚、カメラ20、警告装置30の識別情報や、店舗内の任意の位置を基準として規定される座標系で表される座標値等、店舗内の位置を特定できる情報を用いる。なお、位置情報にカメラ20の識別情報を用いる場合、位置検知部106は、例えば追跡対象者を撮影したカメラ20のうちで、撮影画像中の追跡対象者の領域が最大であるカメラ20を特定し、このカメラ20のカメラIDを追跡対象者の位置情報として取得する。また位置検知部(検出部)106は、例えば追跡対象者がレジカウンタから所定範囲内に居るか否か、出入口から所定範囲内に居るか否か等を検知し、レジカウンタ又は出入口から所定範囲内に居る場合に、追跡対象者の位置として、レジカウンタ又は出入口の識別情報を取得してもよい。
追跡処理部103は、上述した各部の処理により、万引き検知部102が検知した万引き行為を行った追跡対象者の店舗内の移動を追跡でき、追跡対象者の位置をリアルタイムで把握できる。また追跡処理部103は、追跡対象者が万引き行為によって自身の鞄や衣服のポケット等に入れた商品を陳列棚に戻したか否かを把握できる。なお、追跡対象者が商品を陳列棚に戻したことが検知された場合、追跡処理部103は、この追跡対象者に対する追跡処理を終了する。なお、追跡処理部103は、追跡対象者に対する追跡処理を終了する際に、この追跡対象者に最も近い警告装置30によって、万引き行為を思い止まったことに対するメッセージを出力してもよい。例えば、追跡処理部103は、表示装置の警告装置30に対して、「商品を戻して頂きありがとうございます」のようなメッセージの表示指示を送信して警告装置30に表示させてもよい。また追跡処理部103は、音声出力装置の警告装置30に対して、「商品を戻して頂きありがとうございます」のような音声メッセージの出力指示を送信して警告装置30に音声出力させてもよい。
警告処理部107は、万引き検知部102によって万引き行為を行ったと検知され、追跡処理部103によって追跡処理が行われている追跡対象者に対して警告を行う。なお、警告処理部107は、警告装置DB12bに登録されている各警告装置30の設置場所と、位置検知部106が検知した追跡対象者の位置とに基づいて、追跡対象者に最も近い設置場所の警告装置30を特定する。ここでの警告装置30には第1表示装置41及び第2表示装置42も含まれる。警告処理部107は、特定した警告装置30に警告処理を行わせるために警告処理の実行指示(警告指示、警告情報)を送信する。具体的には、警告処理部107は、警告装置30が表示装置であれば、表示用の警告データとこの警告データの表示指示(警告指示、警告情報)を警告装置30へ送信する。表示装置である警告装置30は、サーバ10から表示指示を受信した場合、受信した警告データに基づいて警告画面を表示する。
図9Aは警告画面例を示しており、警告画面は、「万引きは犯罪です」のような警告メッセージや、「商品を戻して下さい」のように万引き行為の実行を思い止まらせるためのメッセージ等を表示する。また警告画面は、図9Aに示すように、万引き検知部102が万引き行為の発生を検知した際の撮影画像を表示してもよい。なお、警告画面は、個人を特定できないように、例えば図9Bに示すように、撮影画像中の追跡対象者の顔の領域にモザイク処理を施した領域Pを重畳表示させて撮影画像を表示してもよく、図9Cに示すように、撮影画像中の追跡対象者の全部の領域にモザイク処理を施した領域Pを重畳表示させてもよい。また、図9Dに示すように、撮影画像中の追跡対象者の顔の領域にキャラクタ画像の領域Pを重畳表示させてもよい。なお、警告画面は、万引き行為によって取られた商品、例えば追跡対象者が自身の鞄や衣服のポケットに入れた商品の画像を表示してもよい。この場合、サーバ10は、各商品のパッケージの画像を予め記憶部12に記憶しておき、万引き行為によって取られた商品を撮影画像に基づいて特定し、特定した商品の画像を記憶部12から読み出して警告装置30に表示させる。
また警告処理部107は、警告装置30が発光装置であれば、点灯又は点滅の実行指示(警告指示、警告情報)を警告装置30へ送信する。この場合、発光装置である警告装置30は、サーバ10から点灯又は点滅の実行指示を受信し、受信した実行指示に基づいて点灯又は点滅する。更に警告処理部107は、警告装置30が音声出力装置であれば、音声出力用の警告データとこの警告データの音声出力指示(警告指示、警告情報)を警告装置30へ送信する。この場合、音声出力装置である警告装置30は、サーバ10から音声出力指示を受信し、受信した警告データに基づいて音声を出力する。なお、警告装置30がブザーや所定の音声を出力する音声出力装置であれば、警告処理部107は、音声の出力指示(警告指示、警告情報)を警告装置30へ送信し、この場合、警告装置30は、サーバ10から受信した出力指示に基づいて所定の音声を出力する。なお、音声出力装置である警告装置30は、例えば「商品を鞄に入れていませんか」、「レジでお支払いお願いします」、「ご来店ありがとうございます。購入品はレジにてご精算ください。ただいま万引きAI作動中です。」等の音声メッセージを出力する。
次に、情報処理システム100の各装置による万引き行為の監視処理について説明する。図10は、情報処理システム100による万引き行為の監視処理の手順を示すフローチャートである。図10では左側にカメラ20が行う処理を、中央にサーバ10が行う処理を、右側に警告装置30が行う処理をそれぞれ示す。店舗内における万引き行為の監視処理を行う情報処理システム100において、カメラ20は、所定のタイミングで画像データを取得し(S11)、取得した画像データを逐次サーバ10へ送信する(S12)。なお、カメラ20は例えば1秒間に20〜30フレームの画像データを取得するが、このフレーム数に限定されない。
サーバ10は、カメラ20から送信されてくる画像データを順次受信する(S13)。サーバ10は、受信した画像データをカメラDB12aに記憶すると共に、受信した画像データに基づいて、万引き行為の発生を検知する検知処理を行う(S14)。検知処理においてサーバ10は、万引き判別モデル121に対して、受信した画像データ(撮影画像)を入力し、万引き判別モデル121からの出力値を取得する。そしてサーバ10は、万引き判別モデル121からの出力値に基づいて、万引き行為が発生したか否かを判定し、万引き行為の発生を検知したか否かを判断する(S15)。例えば万引き判別モデル121の出力層のノード0からの出力値(万引き行為が発生したと判別すべき確率)が、所定値(例えば0.8)以上であった場合、又は出力層のノード1からの出力値(万引き行為が発生していないと判別すべき確率)を所定値以上上回った場合に、サーバ10は、万引き行為が発生したことを検知する。
万引き行為の発生を検知していないと判断する場合(S15:NO)、サーバ10は、ステップS13の処理に戻り、ステップS13〜S15の処理を繰り返す。万引き行為の発生を検知したと判断した場合(S15:YES)、サーバ10は、検知した万引き行為を行った人(追跡対象者)の追跡処理を開始する(S16)。具体的には、サーバ10は、各カメラ20の撮影画像において、追跡対象者の撮影領域(追跡領域R)が含まれるか否かを判断し、追跡領域Rを含む撮影画像(この撮影画像を撮影したカメラ20の位置)に基づいて追跡領域Rの移動を追跡する。
サーバ10は、各カメラ20が追跡対象者を撮影した撮影画像に基づいて、追跡対象者が万引き行為によって例えば自身の鞄に入れた商品を陳列棚に戻す行動(動作)を行ったか否かを判断する(S17)。例えばサーバ10は、順次追跡する追跡領域Rに基づいて、追跡領域R中に撮影された追跡対象者の動作を検知し、追跡対象者が万引き行為によって取得した商品を商品棚に戻したか否かを検知する。なお、サーバ10は、万引き判別モデル121又は別の学習済モデル(撮影画像が入力された場合に、撮影画像中の人が自身の鞄や衣服のポケットから商品を取り出して陳列棚に戻す行動を行ったか否かを示す情報を出力するように学習された学習済モデル)を用いて、追跡対象者が商品を陳列棚に戻したか否かを判断してもよい。追跡対象者が商品を陳列棚に戻したと判断した場合(S17:YES)、サーバ10は、ステップS16で開始した追跡処理を終了し(S18)、ステップS13の処理に戻る。これにより、例えば追跡対象者が万引き行為によって自身の鞄等に入れた商品を陳列棚に戻した場合、追跡対象者の追跡処理が終了され、警告装置30による警告処理が終了される。
追跡対象者が商品を陳列棚に戻していないと判断した場合(S17:NO)、サーバ10は、追跡対象者の現在位置を検知する処理を行う(S19)。ここでは、サーバ10は、例えば追跡対象者を撮影したカメラ20のうちで、撮影画像中の追跡対象者の撮影領域(追跡領域R)が最大であるカメラ20を特定し、このカメラ20のカメラIDを追跡対象者の現在位置を示す情報として取得する。なお、サーバ10は、追跡対象者がレジカウンタ又は出入口から所定範囲内に居ることを検知した場合、レジカウンタ又は出入口の識別情報を追跡対象者の現在位置を示す情報として取得してもよい。
サーバ10は、検知した追跡対象者の現在位置と、警告装置DB12bに登録されている各警告装置30の設置場所とに基づいて、警告処理を行うべき警告装置を特定する(S20)。例えばサーバ10は、追跡対象者の現在位置に最も近い位置に設置されている警告装置30を特定する。なお、警告装置30は第1表示装置41及び第2表示装置42を含む。そしてサーバ10は、特定した警告装置30に対して、警告処理の実行指示を出力する(S21)。例えばサーバ10は、警告装置30が表示装置であれば、表示用の警告データの表示指示を警告装置30へ送信し、警告装置30が発光装置であれば、点灯又は点滅の実行指示を警告装置30へ送信する。またサーバ10は、警告装置30が音声出力装置であれば、音声出力用の警告データの音声出力指示又は所定音声の出力指示を警告装置30へ送信する。なお、サーバ10は、特定した警告装置30の位置に応じて、それぞれの警告装置30に異なる警告処理を行わせてもよい。例えば2つの警告装置30が共に表示装置であっても、サーバ10は、警告装置30の設置位置に応じて異なる表示用の警告データを各警告装置30へ送信してもよい。これにより、警告装置30の設置位置に応じた警告を行うことができる。
警告装置30は、サーバ10から取得した実行指示に従って警告処理を行う(S22)。なお、警告装置30が表示装置であれば、サーバ10から受信した表示用の警告データに基づいて警告画面を表示し、警告装置30が発光装置であれば、サーバ10から受信した実行指示に基づいて点灯又は点滅する。また、警告装置30が音声出力装置であれば、サーバ10から音声出力用の警告データを受信した場合、受信した警告データに基づいて音声出力を行い、サーバ10から所定音声の出力指示を受信した場合、受信した出力指示に基づいて所定音声の出力を行う。
サーバ10は、ステップS21の処理後、ステップS17の処理に戻り、追跡対象者が商品を陳列棚に戻すまでステップS19〜S21の処理を繰り返す。上述した処理により、万引き行為の発生を検知した場合に、万引き行為を行った可能性の高い人(追跡対象者)の近傍の警告装置30にて警告処理を行うことができる。よって、万引き行為が行われた直後や万引き行為が行われてから定期的に追跡対象者に警告及び注意喚起することができる。例えば、追跡対象者に、万引き行為が発覚していることを警告できると共に、万引き行為の実行を思い止まらせるようなメッセージを通知することができる。これにより、万引き行為を行ってしまった追跡対象者に、商品を陳列棚に戻して万引き行為をやめるように促すことが期待できる。また、追跡対象者が万引き行為によって自身の鞄等に入れた商品を陳列棚に戻した場合、この追跡対象者に対する追跡処理が終了され、警告装置30による警告処理も終了される。よって、店舗の従業員等の負担を増大させることなく、万引き行為の発生を抑制できる。なお、サーバ10は、追跡対象者に対する追跡処理を終了する際に、この追跡対象者に最も近い警告装置30によって、「商品を戻して頂きありがとうございます」等のメッセージを出力(表示、音声出力)させてもよい。
本実施形態の情報処理システム100は、警告装置30及び表示装置41,42によって追跡対象者に対して警告を発するだけでなく、追跡対象者を検知した場合にサーバ10が警察署や警備会社等に通報するように構成してもよい。例えばサーバ10の制御部11は、同一の追跡対象者に対する追跡処理部103による追跡処理を所定時間(例えば5分間、10分間等)継続して行ったか否かを判断し、所定時間継続して行った場合に、所定の警備会社の端末に通報情報を出力する構成を有してもよい。またサーバ10の制御部11は、追跡処理部103による追跡処理によって追跡対象者が店舗外に出たか否かを判断し、店舗外に出た場合に、警察署の端末に通報情報を出力する構成を有してもよい。警備会社の端末及び警察署の端末は、サーバ10から通報情報を取得した場合、例えばランプを点灯又は点滅させたり、所定の音声メッセージを出力することによって、警備会社の警備員や警察署の警察官に万引き行為の通報があったことを通知する。このような構成を備えることにより、例えば万引き行為を行った追跡対象者が所定時間商品を持ったまま店舗内に滞在している場合に警備会社に通報することができ、また追跡対象者が店舗外に出た場合に警察署に通報することができる。警備会社又は警察署では、サーバ10からの通報を受けた場合に、万引き行為に対する対応を行うことができる。なお、警備会社に通報するタイミングや警察署に通報するタイミングは上述したタイミングに限定されない。
また、サーバ10は、警察署や警備会社のほかに、店舗の本社や店舗を管轄する本部等に追跡対象者を検知したことを通報するようにしてもよい。例えばサーバ10の制御部11は、同一の追跡対象者に対する追跡処理を所定時間継続して行った場合や、追跡対象者が店舗外に出た場合に、店舗の本社や本部の端末に通報情報を出力してもよい。この場合でも、店舗の本社や本部の端末は、例えばランプを点灯又は点滅させたり、所定の音声メッセージを出力することによって、本社や本部の担当者に万引き行為の通報があったことを通知する。このような構成を備えることにより、万引き行為の発生を店舗の本社や本部においても把握できる。警備会社、警察署、店舗の本社や本部に通報するタイミングは適宜設定変更可能である。例えば、同一の追跡対象者に対する追跡処理の継続時間だけでなく、追跡中の追跡対象者に対する警告処理の実行回数に応じたタイミングで通報するようにしてもよい。即ち、追跡処理を所定時間継続して行った場合や追跡対象者に対する警告処理を所定回数行った場合、この追跡対象者は商品を陳列棚に戻さずに退店する可能性が高いとして、警察署等に通報する構成としてもよい。
本実施形態では、店舗内に設けられたカメラ20の撮影画像に基づいて万引き行為が発生したか否かを検知する処理をAI(Artificial Intelligence:人工知能)を用いて行うことができる。よって、店舗の従業員等がカメラ20の撮影画像を監視する必要がない。また人が全ての撮影画像を目視で確認することは非常に困難であるが、サーバ10は全ての撮影画像に基づいて万引き行為の検知を行うので、撮影画像を有効に利用できる。
本実施形態において、カメラ20で撮影した画像データに基づいて万引き行為が行われたか否かを検知する機能を、カメラ20に設けてもよい。例えば、カメラ20は撮影処理を行い、取得した画像データに基づいて万引き行為の検知処理を行い、万引き行為が行われたことを検知した場合に、サーバ10に通知するように構成される。この場合、サーバ10は、カメラ20から万引き行為が行われたことを通知された後に、追跡対象者の追跡処理を行うように構成される。このような構成とした場合であっても、上述した実施形態1と同様の効果が得られる。
(実施形態2)
店舗内の人(顧客)が商品を手に取ったか否かを検知する処理を行い、商品を手に取ったことを検知した場合に、万引き行為が行われたか否かを検知する処理を行う情報処理システム100について説明する。本実施形態の情報処理システム100は、実施形態1の情報処理システム100の各装置と同じ装置によって構成される。図11は、実施形態2のサーバ10の制御部11によって実現される機能を示すブロック図、図12は、実施形態2のサーバ10が行う処理を説明するための模式図、図13及び図14は、実施形態2の万引き判別モデル121の構成例を示す模式図である。
本実施形態の情報処理システム100において、サーバ10の制御部11は、記憶部12に記憶してある制御プログラム12Pを実行した場合、図6に示す各機能に加えて把持検知部108の機能を実現する。把持検知部108は、画像取得部101が各カメラ20から取得した画像データ(撮影画像)に基づいて、撮影画像中に撮影されている人が商品を手に取ったか否か(把持したか否か)を検知する。例えば店舗内で販売されている商品のパッケージの画像を予め記憶部12に記憶しておき、把持検知部108は、各カメラ20が撮影した画像データと、記憶部12に記憶してある各商品のパッケージの画像とに基づいて、撮影画像中の人がいずれかの商品を手にしたか否かを検知する。例えば把持検知部108は、順次取得される撮影画像において商品の撮影領域を検出し、商品の撮影領域が移動する場合、この商品は顧客の手に取られているものと判断する。また把持検知部108は、順次取得される撮影画像において商品の撮影領域と人の手の撮影領域とを検出し、商品の撮影領域が人の手の撮影領域と重なった場合に、この商品は顧客の手に取られたと判断してもよい。なお、把持検知部108によって撮影画像中の人が商品を手に取ったか否かを検知する処理は、これらに限らない。
本実施形態の万引き検知部102は、把持検知部108によって、撮影画像中の人が商品を手に取ったことを検知された場合に、万引き判別モデル121を用いて、撮影画像中の人が万引き行為を行ったか否かを検知する。本実施形態の万引き判別モデル121は、実施形態1の万引き判別モデル121と同様の構成である。なお、実施形態1の万引き判別モデル121ではカメラ20による撮影画像(画像データ)が入力データであったが、本実施形態の万引き判別モデル121では、撮影画像から抽出された顧客領域R1が入力データとなる。
万引き検知部102は、把持検知部108によって撮影画像中の人が商品を手に取ったことを検知された場合、図12に示すように、撮影画像から、検知された人を含む顧客領域R1を抽出する。そして、万引き検知部102は、図13に示すように、顧客領域R1を、入力層を介して万引き判別モデル121に入力する。なお、本実施形態の万引き判別モデル121は、例えば図14A及び図14Bに示すように、把持検知部108によって顧客が手に取っていると検知された商品を含む商品領域R2を、入力層を介して万引き判別モデル121に入力する構成としてもよい。このような構成とした場合であっても、万引き検知部102は、商品を手に取った人が万引き行為を行ったか否かを検知できる。
図15は、実施形態2の情報処理システム100による万引き行為の監視処理の手順を示すフローチャートである。図15には左側にカメラ20が行う処理を、右側にサーバ10が行う処理をそれぞれ示す。図15に示す処理は、図10に示す処理において、ステップS13,S14の間にステップS31〜S32の処理を追加したものである。よって、図10と同様のステップについては説明を省略する。また図15では、図10中のステップS15〜S22の図示を省略する。
本実施形態の情報処理システム100において、サーバ10は、カメラ20から送信されてくる画像データを受信した場合(S13)、受信した画像データをカメラDB12aに記憶すると共に、受信した画像データに基づいて、画像データ(撮影画像)中に撮影された人(店舗内の顧客)が商品を手に取ったか否かを検知する把持検知処理を行う(S31)。サーバ10は、把持検知処理によって、撮影画像中の人が商品を手に取ったか否かを判断し(S32)、撮影画像中の人が商品を手に取っていないと判断した場合(S32:NO)、ステップS13の処理に戻る。サーバ10は、撮影画像中の人が商品を手に取ったと判断した場合(S32:YES)、ステップS14に処理を進め、受信した画像データに基づいて、万引き行為の発生を検知する検知処理を行う(S14)。なお、このときサーバ10は、撮影画像から、商品を手に取ったと検知された人の撮影領域(顧客領域R1)を抽出し、抽出した顧客領域R1に基づいて、万引き行為の検知処理を行う。
本実施形態では、実施形態1と同様の効果が得られる。また、本実施形態では、カメラ20で取得された撮影画像から、商品を手に取った人の撮影領域(顧客領域R)を抽出し、顧客領域Rに基づいて万引き判別モデル121による判別処理を行う。よって、少ないデータ量の顧客領域R1を用いるので、効率良く且つ精度の高い判別処理を行うことができる。
(実施形態3)
警告装置30が設置位置に応じて異なる警告処理を行う情報処理システム100について説明する。本実施形態の情報処理システム100は、実施形態1の情報処理システム100の各装置と同じ装置によって構成される。なお、第1表示装置41及び第2表示装置42は警告装置30の1つと見なすので、第1表示装置41及び第2表示装置42の情報も警告装置DB12bに記憶されている。本実施形態の情報処理システム100において、サーバ10の制御部11は、記憶部12に記憶してある制御プログラム12Pを実行した場合、図6に示す各機能と同様の機能を実現する。なお、本実施形態では、警告処理部107が行う処理が、実施形態1と若干異なるので、異なる処理についてのみ説明する。
本実施形態の警告処理部107は、実施形態1と同様に、追跡処理部103によって追跡処理が行われている追跡対象者に対して、追跡対象者に近い位置に設置されている警告装置30によって警告を行う。ここで、本実施形態の警告処理部107は、追跡対象者に近い警告装置30が第1表示装置41又は第2表示装置42である場合、他の警告装置30(表示装置である警告装置30)とは異なる警告画面を表示して警告を行う。具体的には、警告処理部107は、追跡対象者に最も近い設置場所の警告装置30を特定した場合、特定した警告装置30が第1表示装置41又は第2表示装置42であるか否かを判断する。そして警告処理部107は、特定した警告装置30が第1表示装置41及び第2表示装置42でないと判断した場合、即ち、追跡対象者がレジカウンタ又は出入口の近傍に居ない場合、店舗内の追跡対象者の近傍の警告装置30にて警告を行う。ここでの警告装置30が表示装置である場合、例えば「レジでお支払いお願いします」のような警告メッセージを表示させる。また警告処理部107は、特定した警告装置30が第1表示装置41であると判断した場合、即ち、追跡対象者がレジカウンタの近傍に居る場合、第1表示装置41に例えば「万引きになるので、レジでお支払いお願いします」のような警告メッセージを表示させる(第1警告処理を行う)。更に警告処理部107は、特定した警告装置30が第2表示装置42であると判断した場合、即ち、追跡対象者が出入口の近傍に居る場合、第2表示装置42に例えば図9A又は図9Bに示すような警告画面を表示させる(第2警告処理を行う)。このように第1表示装置41と第2表示装置42とにおいて異なる警告画面を表示することにより、警告レベルが異なる警告処理を行うことができる。なお、表示装置である警告装置30及び表示装置41,42に表示される警告メッセージは、上述のメッセージに限定されず、例えば「万引き防止AIが作動中です」「万引きは犯罪です」等の警告メッセージや、キャラクタが話す吹き出しに警告メッセージが表示された警告画面であってもよい。またこのような警告メッセージや警告画面を記載した貼り紙やステッカー等をレジカウンタや出入口の近傍、店舗内の壁等に貼付しておいてもよい。
追跡対象者は、店舗内の陳列棚の前等で万引き行為を行った後、出入口から店舗外に出ていく場合と、店舗内で万引き行為を行いつつ一部の商品についてレジカウンタで支払いを行った後、出入口から店舗外に出ていく場合とが考えられる。本実施形態では、このような追跡対象者に対してまず陳列棚の近傍で警告を行い、警告に応じず商品を陳列棚に戻さない場合はレジカウンタの近傍で警告を行い、それでも商品を陳列棚に戻さない場合は出入口の近傍で警告を行うことができる。このように追跡対象者の移動に伴い警告装置30を切り替えつつ注意喚起することができる。また、本実施形態では、追跡対象者が陳列棚の近傍に居る場合と、レジカウンタの近傍に居る場合と、出入口の近傍に居る場合とにおいて、警告画面に表示される内容を変更することにより、追跡対象者が居る場所に応じた警告を行うことができる。例えば、追跡対象者が陳列棚の近傍に居る場合と、追跡対象者がレジカウンタに来た場合と、追跡対象者が出入口に来た場合とにおいて、順に警告レベルを上げた警告メッセージを表示させることができる。
図16は、実施形態3の情報処理システム100による万引き行為の監視処理の手順を示すフローチャートである。図16には左側から順にサーバ10、第1表示装置41、第2表示装置42及び警告装置30が行う処理を示す。図16に示す処理は、図10に示す処理において、ステップS20,S21の間にステップS41〜S46の処理を追加したものである。よって、図10と同様のステップについては説明を省略する。また図16では、図10中のステップS11〜S16及びS18の図示を省略する。
本実施形態の情報処理システム100において、サーバ10は、ステップS20で警告装置30を特定した後、特定した警告装置30が第1表示装置41であるか否かを判断する(S41)。特定した警告装置30が第1表示装置41であると判断した場合(S41:YES)、サーバ10は、第1表示装置41に対して、表示用の第1警告データを送信する(S42)。第1表示装置41は、サーバ10から送信された第1警告データを受信し、受信した第1警告データに基づく警告画面を表示する(S43)。
特定した警告装置30が第1表示装置41でないと判断した場合(S41:NO)、サーバ10は、特定した警告装置30が第2表示装置42であるか否かを判断する(S44)。特定した警告装置30が第2表示装置42であると判断した場合(S44:YES)、サーバ10は、第2表示装置42に対して、表示用の第2警告データを送信する(S45)。第2表示装置42は、サーバ10から送信された第2警告データを受信し、受信した第2警告データに基づく警告画面を表示する(S46)。特定した警告装置30が第2表示装置42でないと判断した場合(S44:NO)、サーバ10は、ステップS21に処理を移行する。
サーバ10は、ステップS42,S45又はS21の処理後、ステップS17の処理に戻り、追跡対象者が商品を陳列棚に戻すまでステップS19〜S21,S41〜S42,S44〜S45の処理を繰り返す。上述した処理により、万引き行為の発生を検知した場合に、万引き行為を行った可能性の高い人(追跡対象者)の近傍の警告装置30にて警告を行うことができると共に、追跡対象者がレジカウンタ又は出入口の近傍に来た場合に所定の警告メッセージにて警告を行うことができる。
本実施形態では、例えば万引き行為を行った直後に、万引き行為を行った人(追跡対象者)に警告及び注意喚起することができる。また、追跡対象者がレジカウンタに来た場合や出入口に来た場合にそれぞれ第1表示装置41及び第2表示装置42に所定の警告画面を表示させることにより、追跡対象者の場所及び状況に応じた警告を行うことができる。また、店舗内に分散配置された各警告装置30において、例えば万引き行為を行ってからの経過時間が長くなるほど、警告レベルが高い警告処理を行うようにしてもよい。例えば、万引き行為を行った直後は、発光装置である警告装置30によって光を点灯又は点滅させることによる警告を行い、その後商品を陳列棚に戻さない場合には、表示装置である警告装置30に警告画面を表示させて警告を行い、それでも商品を陳列棚に戻さない場合には、音声出力装置である警告装置30に警告メッセージを音声出力させて警告を行うようにしてもよい。
本実施形態において、レジカウンタに設けられた第1表示装置41の近傍に発光装置の警告装置30を設け、追跡対象者がレジカウンタに来た場合に、この警告装置30にて光の点灯又は点滅を行うことにより、レジカウンタに居る従業員に追跡対象者の存在を通知するようにしてもよい。また、出入口に設けられた第2表示装置42の近傍に発光装置や音声出力装置の警告装置30を設け、追跡対象者が店舗外に出ようとした場合に、この警告装置30による警告処理を行い、店舗の従業員に追跡対象者が店舗外に出ようとしていることを通知するようにしてもよい。これにより、店舗の従業員等は追跡対象者の存在を把握することができ、追跡対象者が店舗外に出た時点で追跡対象者の身柄を確保することができる。
本実施形態において、追跡対象者がレジカウンタ又は出入口の近傍に来たか否かは、例えば、レジカウンタに並んだ人又は出入口から店舗外に出ようとする人を撮影するカメラによる撮影画像に基づいて検知するようにしてもよい。例えば、サーバ10の追跡処理部103によって追跡対象者の撮影画像(撮影領域R)を取得しておく。そして、レジカウンタに並んでいる人又は出入口から店舗外に出ようとしている人の撮影画像から、追跡対象者の撮影領域Rを含む撮影画像を検索する。追跡対象者の撮影領域Rを含む撮影画像が検索できた場合に、追跡対象者がレジカウンタに並んでいる又は出入口から店舗外に出ようとしていると検知してもよい。
また、本実施形態の情報処理システム100において、サーバ10は、警告装置30及び表示装置41,42による警告処理を行うと共に、予め登録されているスマートフォンや携帯端末に追跡対象者の存在を通知してもよい。例えば万引き行為の発生を検知した時点や、追跡対象者がレジカウンタ又は出入口の近傍に来た場合に、店舗の店長が管理するスマートフォンや携帯端末に追跡対象者の存在を通知してもよい。これにより、店舗の店長や従業員は追跡対象者の行動を監視できる。また、サーバ10は、万引き行為の発生を検知した撮影画像を、例えば店舗内の従業員控室に設けられている表示装置に表示して、従業員控室に居る従業員等に通知してもよい。
(実施形態4)
万引き行為だけでなく、店舗の従業員(店員)による内引き行為(窃盗行為)も監視する情報処理システム100について説明する。図17は、実施形態4の情報処理システム100の各装置の配置例を示す模式図である。本実施形態の情報処理システム100は、図2に示す実施形態1の情報処理システム100の各装置に加え、店舗内のバックヤードに設けられたカメラ50及び警告装置30と、店長や従業員の控室に設けられた控室用表示装置43とを含む。バックヤードに設けられたカメラ50及び警告装置30も、控室に設けられた控室用表示装置43も、例えば店舗内に設けられたLAN又はインターネット等のネットワークに接続されている。バックヤードは例えば店頭に陳列されていない商品を保管する倉庫、部屋、冷蔵庫等であり、控室は例えば従業員が休憩する部屋等である。
バックヤードに設けられるカメラ50は、バックヤード内に居る人が商品を手に取る様子を撮影できるように、例えば天井に設置されている。図17に示す例では、バックヤード内に2つのカメラ50が設けられているが、バックヤード内の全領域を撮影できればカメラ50の個数は2つに限定されない。また図17に示す例では、バックヤード内に1つの警告装置30が設けられているが、2つ以上の警告装置30が設けられていてもよい。また、バックヤードに隣接して設けられる陳列棚が、顧客が商品を取り出すためのドアを前方に有し、店舗の従業員が商品を補充するための商品投入口を後方に有するウォークイン冷蔵庫である場合、後方の商品投入口にカメラ50を設けてもよい。この場合、カメラ50は、商品投入口の近傍に居る従業員を撮影できるように設置される。
本実施形態の情報処理システム100において、サーバ10の制御部11は、記憶部12に記憶してある制御プログラム12Pを実行した場合、図6に示す各機能と同様の機能を実現する。なお、本実施形態では、警告処理部107が行う処理が、実施形態1と若干異なるので、異なる処理についてのみ説明する。
本実施形態の警告処理部107は、実施形態1と同様に、追跡処理部103によって追跡処理が行われている追跡対象者に対して、追跡対象者に近い位置に設置されている警告装置30によって警告を行う。ここで、本実施形態の警告処理部107は、追跡対象者が店舗の従業員であるか否かを判断する。例えば各従業員の顔の撮影画像を予めサーバ10の記憶部12に登録しておき、警告処理部(特定部)107は、追跡処理部103が追跡する追跡対象者の撮影領域Rと、各従業員の顔の撮影画像とに基づいて、追跡対象者が従業員のうちの誰であるかを特定する。本実施形態の警告処理部107は、追跡対象者が店舗の従業員でないと判断した場合、即ち、万引き行為が行われた場合、実施形態1と同様の処理を行う。一方、本実施形態の警告処理部107は、追跡対象者が店舗の従業員であると判断した場合、即ち、内引き行為が行われた場合、実施形態1と同様に追跡対象者(店舗の従業員)に対して警告処理を行いつつ、控室用表示装置43に通知画面を表示する。これにより、内引き行為を行った従業員に警告を行うと共に、控室に居る店長等に内引き行為の発生を通知できる。なお、バックヤードに設けられたカメラ20で撮影された撮影画像に基づいて万引き行為の発生が検知された場合に、内引き行為が発生したと判断して、追跡対象者が従業員のうちの誰であるかを特定してもよい。追跡対象者が店舗の従業員であるか否かの判断は、万引き検知部102が万引き行為の発生を検知した場合に、万引き検知部102によって行われてもよい。
図18は、実施形態4の情報処理システム100による万引き行為の監視処理の手順を示すフローチャートである。図18には左側にサーバ10が行う処理を、中央に控室用表示装置43が行う処理を、右側に警告装置30が行う処理をそれぞれ示す。図18に示す処理は、図10に示す処理において、ステップS21の処理の後にステップS51〜S54の処理を追加したものである。よって、図10と同様のステップについては説明を省略する。また図18では、図10中のステップS11〜S16及びS18の図示を省略する。
本実施形態の情報処理システム100において、サーバ10は、ステップS21で追跡対象者の現在位置に最も近い位置の警告装置30に対して警告処理の実行指示を出力した後、この追跡対象者が店舗の従業員であるか否かを判断する。即ち、サーバ10は、ステップS14で検知された万引き行為が従業員による内引き行為であるか否かを判断する(S51)。例えばサーバ10は、予め記憶部12に登録してある各従業員の顔の撮影画像と、追跡対象者をカメラ20,50で撮影した撮影画像(撮影領域R)とに基づいて、追跡対象者が従業員の中にいるか否かを判断する。サーバ10は、追跡対象者が店舗の従業員であると判断した場合、即ち、内引き行為が行われたと判断した場合(S51:YES)、内引き行為を行った追跡対象者を従業員の中から特定する(S52)。
サーバ10は、追跡対象者に特定した従業員を通知するための通知データを生成して控室用表示装置43に対して送信する(S53)。控室用表示装置43は、サーバ10から送信された通知データを受信し、受信した通知データに基づく通知画面を表示する(S54)。これにより、内引き行為が行われた場合に、控室に居る店長等に通知することができる。サーバ10は、追跡対象者が店舗の従業員の中にいないと判断した場合、即ち、内引き行為ではないと判断した場合(S51:NO)、又はステップS53の処理後、ステップS17の処理に戻り、追跡対象者が商品を陳列棚又はバックヤード内の所定位置に戻すまでステップS19〜S21,S51〜S53の処理を繰り返す。上述した処理により、万引き行為又は内引き行為を行った追跡対象者に対して警告を行うことができると共に、控室に居る店長等に内引き行為の発生を通知できる。控室用表示装置43の代わりに、例えば店舗の店長のみが使用するスマートフォンや携帯端末に内引き行為の発生を通知してもよい。
本実施形態では、店舗の売り場内で発生する万引き行為だけでなく、例えば店舗のバックヤード内で発生する内引き行為についても監視及び警告できる。よって、内引き行為を行った可能性の高い追跡対象者(店舗の従業員)に対して警告及び注意喚起することにより、追跡対象者に、追跡対象者が行っている行為は内引き行為であることを警告でき、内引き行為の実行をやめるように促すことができる。また、内引き行為を行った追跡対象者についても、内引き行為によって取得した商品を例えば元の位置に戻すことにより、この追跡対象者に対する追跡処理が終了され、警告装置30による警告処理が終了される。
本実施形態において、内引き行為の発生が検知された場合に、内引き行為が行われたと判定された撮影画像を、内引き行為を行ったと特定された従業員の従業員IDに対応付けて記憶部12に記憶してもよい。この場合、内引き行為の発生履歴を撮影画像に基づいて確認することができる。また、各従業員が退店(帰宅)する際に、例えば各従業員のIDカードを読み取り機にて読み取らせる等、退店作業を行う場合がある。このように読み取り機にて従業員IDが読み取られた際に、読み取られた従業員IDが、内引き行為を行った従業員の従業員IDに一致する場合に警告処理を行うようにしてもよい。例えば、読み取り機の近傍に表示装置を設けておき、この表示装置に、図9A又は図9Bに示すような警告画面を表示させて従業員に警告してもよい。これにより、従業員は、自身の行為が内引き行為であり、内引き行為を行ったことが発覚していることを把握できるので、内引き行為を行ったことに対する対応を行うことができる。
本実施形態の構成は、実施形態2,3の情報処理システム100にも適用でき、実施形態2,3の情報処理システム100に適用した場合であっても、同様の効果が得られる。
(実施形態5)
万引き行為の発生を検知していない場合に、表示装置である警告装置30に所定の画面を表示させる情報処理システム100について説明する。本実施形態の情報処理システム100は、実施形態1の情報処理システム100の各装置と同じ装置によって構成される。本実施形態の情報処理システム100において、サーバ10の制御部11は、記憶部12に記憶してある制御プログラム12Pを実行した場合、図6に示す各機能を実現する。なお、本実施形態の情報処理システム100では、サーバ10は、カメラ20によって取得する画像データに基づいて万引き行為の発生を検知していない場合、広告用の画像(動画)や万引き行為を抑制するためのアナウンス画像等を表示装置の警告装置30に表示する処理を行う。広告用の画像を表示するための画像データ(広告用データ)及びアナウンス画像を表示するための画像データ(アナウンス用データ)は、予めサーバ10の記憶部12に記憶してあってもよいし、サーバ10がネットワーク経由で外部装置から受信して記憶部12に記憶してもよい。
図19は、実施形態5の情報処理システム100による万引き行為の監視処理の手順を示すフローチャートである。図19に示す処理は、図10に示す処理において、サーバ10が行うステップS13の前にステップS61〜S65の処理を追加したものである。よって、図10と同様のステップについては説明を省略する。また図19では、図10中のステップS19〜S22の図示を省略する。
本実施形態の情報処理システム100において、サーバ10は、例えば記憶部12に記憶してある広告用の画像を表示するための画像データ(広告用データ)を読み出し、表示装置である警告装置30へ送信する(S61)。表示装置である警告装置30は、サーバ10から順次送信されてくる広告用データを受信し、受信した広告用データに基づいて広告画面を表示する(S62)。サーバ10は、表示装置である警告装置30に広告画面を表示させつつ、アナウンス画像を表示する所定のタイミングが到来したか否かを判断する(S63)。アナウンス画像を表示するタイミングは例えば30分毎、1時間毎等とすることができる。サーバ10は、表示装置である警告装置30に広告画面を表示させてから所定時間が経過したか否か、又は前回アナウンス画像を表示させてから所定時間が経過したか否かを判断し、経過していた場合、アナウンス画像を表示するタイミングが到来したと判断する。
アナウンス画像を表示するタイミングが到来したと判断した場合(S63:YES)、サーバ10は、例えば記憶部12に記憶してあるアナウンス画像を表示するための画像データ(アナウンス用データ)を読み出し、表示装置である警告装置30へ送信する(S64)。表示装置である警告装置30は、サーバ10から送信されたアナウンス用データを受信し、受信したアナウンス用データに基づいてアナウンス画面を表示する(S65)。アナウンス画面は例えば「万引きは犯罪です」、「見つけしだい通報します」等の警告メッセージを表示する。サーバ10は、表示装置である警告装置30に広告画面又はアナウンス画面を表示させつつ、カメラ20から送信されてくる画像データを受信した場合(S13)、受信した画像データに基づいて、万引き行為の発生を検知する検知処理を行う(S14)。なお、本実施形態のサーバ10は、万引き行為の発生検知していない場合(S15:NO)、及び追跡処理を終了した場合(S18)、ステップS61の処理に戻る。
上述した処理により、サーバ10が万引き行為の発生を検知していない場合や、追跡対象者が商品を陳列棚に戻した後は、広告画面や万引き行為を抑制するためのアナウンス画面を警告装置30(表示装置)に表示できる。よって、万引き行為が発生していない場合には、広告画面を表示させることにより、店舗の顧客の購買意欲を向上させることができ、アナウンス画面を表示させることにより、万引き行為を行わないように注意喚起を行うことができる。またサーバ10が万引き行為の発生を検知した場合、警告画面を警告装置30(表示装置)に表示して追跡対象者に警告を発することができる。なお、警告画面は、万引き行為を行った追跡対象者の近くの警告装置30(表示装置)に表示されるので、その他の警告装置30(表示装置)には引き続き広告画面やアナウンス画面を表示させてもよい。広告画面や万引き行為を抑制するためのアナウンス画面を表示する時間(即ち、動画の再生時間)は適宜変更可能である。これにより、万引き行為が行われていない通常状態では、広告画面やアナウンス画面が表示される情報処理システム100において、万引き行為が行われた場合に、万引き行為を行った人の近くの警告装置30に警告画面を表示して警告を発することができる。
本実施形態の構成は、実施形態2〜4の情報処理システム100にも適用でき、実施形態2〜4の情報処理システム100に適用した場合であっても、同様の効果が得られる。
(実施形態6)
上述した各実施形態の情報処理システム100において、万引き判別モデル121の代わりに、又は万引き判別モデル121と共に、画像データが入力された場合に、画像データ中に撮影された人が暴力行為を行ったか否かを示す情報を出力するように学習された暴力行為判別モデルを用いてもよい。暴力行為判別モデルは、人の撮影画像と、撮影画像中の人が暴力行為を行ったか否かを示す情報とを含む教師データを用いて学習された学習済モデルである。図20は、暴力行為判別モデルの学習用の撮影画像の例を示す模式図である。暴力行為判別モデルは、図20に示すように暴力行為を行いそうな人や暴力行為を行っている人を撮影して得られた画像データ(撮影画像)と、撮影画像中の人が暴力行為を行ったことを示す情報(正解ラベル)とを1セットとした教師データを用いて学習する。これにより、上述した各実施形態の情報処理システム100において、各カメラ20で取得した撮影画像を暴力行為判別モデルに入力した場合に、撮影画像中の人が暴力行為を行っているか否かを示す情報(判別確率)が出力される。
このように学習させた暴力行為判別モデルをサーバ10の記憶部12に記憶しておき、制御部(暴力判定部)11が、暴力行為判別モデルを用いて、各カメラ20で取得された撮影画像(画像データ)に基づいて、撮影画像中に撮影されている人が暴力行為を行ったか否かを検知する。また、制御部(報知部)11は、撮影画像中に撮影されている人が暴力行為を行っていることを検知した場合、例えば店舗内に設けられた警告装置30を用いて暴力行為の発生を報知してもよい。このような構成とした場合、万引き行為又は内引き行為が行われたことを検知できるだけでなく、店舗内に暴力行為が行われたことも検知でき警告できる。なお、万引き判別モデル121を、万引き行為が行われたか否かを判別するだけでなく、暴力行為が行われたか否かも判別するように構成してもよい。このように暴力行為の発生を検知できる学習済モデルを用いる場合、店舗に限らず、例えば役所や警察署等の窓口で暴力行為の発生を検知して警告するシステムにも適用できる。
また、本実施形態の情報処理システム100において、サーバ10は、暴力行為の発生を検知した時点で警察署や警備会社、店舗の本社や本部等に通報する構成を有してもよい。例えばサーバ10の制御部11は、暴力行為判別モデルを用いて各カメラ20で取得された撮影画像中の人が暴力行為を行ったことを検知した場合に、警察署、所定の警備会社、店舗の本社や本部等における端末に通報情報を出力する構成を有する。警備会社の端末、警察署の端末、店舗の本社や本部の端末は、サーバ10から通報情報を取得した場合、例えばランプを点灯又は点滅させたり、所定の音声メッセージを出力することによって、警備会社の警備員、警察署の警察官、本社や本部の担当者等に暴力行為の通報があったことを通知する。このような構成を備えることにより、例えば暴力行為が行われた場合に早期に警備会社、警察署、店舗の本社や本部に通報することができ、それぞれの担当者は暴力行為の発生を把握できる。警備会社、警察署、店舗の本社や本部では、サーバ10からの通報を受けた場合に、暴力行為に対する対応を行うことができる。
上述した各実施形態において、撮影画像中の人が万引き行為を行っているか否かを判別するための判別モデルと、撮影画像中の人(従業員)が内引き行為を行っているか否かを判別するための判別モデルと、撮影画像中の人が暴力行為を行っているか否かを判別するための判別モデルとを各別に設けてもよい。また、それぞれの判別処理をまとめて1つの判別モデルで出力できるように判別モデル(万引き判別モデル121)を構成してもよい。また、万引き行為及び内引き行為において、商品を開封する行為を行っているか否かを判別するための判別モデル、飲料ボトルを開けて飲む行為を行っているか否かを判別するための判別モデル等を各別に設けてもよいし、それぞれの判別処理をまとめて1つの判別モデルで出力できるように判別モデルを構成してもよい。
今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本開示の範囲は、上記した意味では無く、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。