JP2024082167A - 情報処理プログラム、情報処理方法および情報処理装置 - Google Patents

Abstract

【課題】会計機における、ユーザの誤りまたは不正を検出することを課題とする。【解決手段】情報処理装置は、商品のコードを会計機にスキャンする人物の映像データを取得し、取得した映像データを分析することで、取得した映像データの中から、人物の手の領域と人物が手で把持をしている商品の領域とを特定する。情報処理装置は、商品を把持している人物の手の動き、または、把持された商品の動きのいずれかを追跡し、追跡された手の動きの変化または商品の動きの変化に基づいて、会計機に商品を登録する行動の異常に関連するアラートを生成する。【選択図】図２

Description

本発明は、情報処理プログラム、情報処理方法および情報処理装置に関する。

スーパーマーケットやコンビニエンスストア等の店舗において、セルフレジが普及している。セルフレジは、商品を購入するユーザ自身が、商品のバーコードの読み取りから精算までを行うＰＯＳ（Point Of Sale）レジシステムである。たとえば、セルフレジを導入することで、人口減少による人手不足の改善、人件費を抑制することができる。

特開２０２０－５３０１９号公報

しかしながら、上記技術では、不正を検出することが難しい。例えば、セルフレジなどの会計機では、ユーザによる不可抗力の誤りや故意の不正などがあり、未払い金などが発生する。

不可抗力の誤りとしては、商品のスキャンを忘れてカゴからレジ袋に商品を移動させてしまうスキャン漏れ、などがある。また、故意の不正としては、ユーザがバーコードだけを指で隠しながら商品をスキャンするフリをするバーコード隠しや、例えば６缶で１セットのビール箱にはビール箱と各缶にバーコードがついており誤って缶のバーコードを読み取らせる読み取り誤りなどがある。

なお、各セルフレジに重量センサなどを導入することで、自動で商品数を計数して不正を検出することも考えられるが、コストが過大であり、特に大型店舗や全国展開する店舗にとっては現実的ではない。

また、セルフレジでは、商品コードのスキャンや精算がユーザ自身に委ねられるので、不正行為を検出することが困難である側面がある。たとえば、上記の不正行為を検出する側面から画像認識ＡＩ（Artificial Intelligence）を適用しようにも、画像認識ＡＩの訓練には大量の訓練データが必要となる。ところが、スーパーマーケットやコンビニエンスストア等の店舗では、多数の種類の商品が存在する上、個々の商品のライフサイクルも短いので、商品の入れ替えが頻繁に起こる。このような商品のライフサイクルに合わせて画像認識ＡＩをチューニングしたり、あるいは新たな画像認識ＡＩを訓練したりすることは困難である。

一つの側面では、会計機における、ユーザの誤りまたは不正を検出することができる情報処理プログラム、情報処理方法および情報処理装置を提供することを目的とする。

第１の案では、情報処理プログラムは、コンピュータに、商品のコードを会計機にスキャンする人物の映像データを取得し、取得した前記映像データを分析することで、取得した前記映像データの中から、人物の手の領域と人物が手で把持をしている商品の領域とを特定し、前記商品を把持している人物の手の動き、または、把持された前記商品の動きのいずれかを追跡し、追跡された前記手の動きの変化または前記商品の動きの変化に基づいて、前記会計機に商品を登録する行動の異常に関連するアラートを生成する、処理を実行させることを特徴とする。

一実施形態によれば、会計機における、ユーザの誤りまたは不正を検出することができる。

図１は、実施例１にかかるセルフレジシステムの全体構成例を示す図である。 図２は、実施例１にかかる異常行動の検出例を説明する図である。 図３は、実施例１にかかる情報処理装置の機能構成を示す機能ブロック図である。 図４は、訓練データを説明する図である。 図５は、不正ルールＤＢに記憶される情報の例を示す図である。 図６は、機械学習モデルの機械学習を説明する図（１）である。 図７は、機械学習モデルの機械学習を説明する図（２）である。 図８は、骨格情報の例を示す図である。 図９は、ＨＯＩＤによる行動識別を説明する図である。 図１０は、２つの商品を把持した場合の不正検知の例を示す図である。 図１１は、予め定義した不正行動に基づく不正検知の例を示す図である。 図１２は、位置関係による不正検知の例を説明する図である。 図１３は、アラートの報知例を説明する図である。 図１４は、追跡、不正検出、アラート報知までの一連の流れを説明する図である。 図１５は、処理の流れを示すフローチャートである。 図１６は、ハードウェア構成例を説明する図である。 図１７は、セルフレジのハードウェア構成例を説明する図である。

以下に、本願の開示する情報処理プログラム、情報処理方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

＜セルフレジシステムの説明＞
図１は、実施例１にかかるセルフレジシステム５の全体構成例を示す図である。図１に示すように、セルフレジシステム５は、カメラ３０と、セルフレジ５０と、管理者端末６０と、情報処理装置１００とを有する。

情報処理装置１００は、カメラ３０およびセルフレジ５０に接続されるコンピュータの一例である。情報処理装置１００は、有線や無線を問わず様々な通信網を採用できるネットワーク３を介して、管理者端末６０に接続される。カメラ３０およびセルフレジ５０は、ネットワーク３を介して、情報処理装置１００に接続されてもよい。

カメラ３０は、セルフレジ５０を含む領域の映像を撮影するカメラの一例である。カメラ３０は、映像のデータを、情報処理装置１００に送信する。以下の説明では、映像のデータを「映像データ」または単に「映像」と表記する場合がある。

映像データには、時系列の複数の画像フレームが含まれる。各画像フレームには、時系列の昇順に、フレーム番号が付与される。１つの画像フレームは、カメラ３０があるタイミングで撮影した静止画像の画像データである。以下の説明では、画像データを単に「画像」と表記する場合がある。

セルフレジ５０は、商品を購入するユーザ２が、商品のバーコードの読み取りから精算までを行うＰＯＳレジシステムや会計機の一例である。例えば、ユーザ２が、購入対象の商品を、セルフレジ５０のスキャン領域に移動させると、セルフレジ５０は、商品のバーコードをスキャンして、購入対象の商品として登録する。

なお、セルフレジ５０は、上述したように、お客様自身が購入商品の登録（レジ作業）および支払いを行うセルフレジの一例であり、例えばSelf checkout、automated checkout、self－checkout machineやself－check－out registerなどと呼ばれる。バーコードとは、縞模様状の線の太さによって数値や文字を表す識別子の一種であり、セルフレジ５０がスキャンする（読み込む）ことで、商品の金額や種別（例えば食品）などを特定することができる。バーコードは、コードの一例であり、バーコード以外にも、同じ機能を有するＱＲ（Quick Response）コードなどの２次元コードを用いることもできる。

ユーザ２は、上記商品登録の動作を繰り返し実行し、商品のスキャンが完了すると、セルフレジ５０のタッチパネル等を操作し、精算要求を行う。セルフレジ５０は、精算要求を受け付けると、購入対象の商品の数、購入金額等を提示し、精算処理を実行する。セルフレジ５０は、ユーザ２がスキャンを開始してから、精算要求を行うまでの間にスキャンした商品の情報を、記憶部に格納しておき、セルフレジデータ（商品情報）として、情報処理装置１００に送信する。

管理者端末６０は、店舗の管理者が利用する端末装置の一例である。管理者端末６０は、情報処理装置１００から、商品の購入に関して不正が行われたことを示すアラートの通知等を受け付ける。

このような構成において、情報処理装置１００は、商品のバーコードをセルフレジ５０にスキャンする人物の映像データを取得し、映像データを機械学習モデルに入力することで、映像データの中から、人物の手の領域と人物が手で把持をしている商品の領域とを特定する。なお、機械学習モデルではなく、画像分析等を用いて、映像データから各領域を特定することもできる。そして、情報処理装置１００は、人物が手で把持をしている商品の個数が複数であるときに、複数の商品を把持している人物の手の動き、または、複数の商品の動きのいずれかを追跡する。その後、情報処理装置１００は、追跡された手の動きの変化または複数の商品の動きの変化に基づいて、セルフレジ５０に商品を登録する行動の異常に関連するアラートを生成する。

図２は、実施例１にかかる異常行動の検出例を説明する図である。図２に示すように、情報処理装置１００は、セルフレジ５０周辺を撮像するカメラ３０が撮像した映像データに人物が検出されると、レジ開始と検出する。その後、情報処理装置１００は、随時撮像される映像データから人物の手の領域と商品の領域とを特定する。そして、情報処理装置１００は、映像から複数の商品が検出された場合に、追跡を開始して商品が１つになるまで追跡する。ここで、情報処理装置１００は、追跡中の人物の手の動きや商品の動きにより、読み取り誤りやバーコード隠しなどの異常な行動を検出する。

つまり、ユーザは、店内で選択した購入対象の商品を入れてセルフレジまで運ぶ買い物カゴや商品カートなどの運搬道具から、商品を１つずつ取り出して、セルフレジ５０にスキャンするのが通常である。このため、情報処理装置１００は、スキャン領域で複数の商品を持つ動作を検出した場合に、異常な行動につながる可能性があるとして、それ以降の動作に注目する。もっとも、商品を複数持つユーザもいることから、複数の商品を持つ動作が異常な行動に直接的に繋がるわけではない。そこで、情報処理装置１００は、追跡中の人の手や商品の動きの変化が予め指定した不正なパターンに一致するか否かにより、異常な行動の即時検出を実現する。

＜機能構成＞
図３は、実施例１にかかる情報処理装置１００の機能構成を示す機能ブロック図である。図３に示すように、情報処理装置１００は、通信部１０１、記憶部１０２、制御部１１０を有する。

通信部１０１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどにより実現される。例えば、通信部１０１は、カメラ３０から映像データを受信し、制御部１１０による処理結果を管理者端末６０に送信する。

記憶部１０２は、各種データや制御部１１０が実行するプログラムなどを記憶する処理部であり、メモリやハードディスクなどにより実現される。記憶部１０２は、訓練データＤＢ１０３、機械学習モデル１０４、映像データＤＢ１０５、不正ルールＤＢ１０６を記憶する。

訓練データＤＢ１０３は、機械学習モデル１０４の訓練に使用されるデータを記憶するデータベースである。例えば、図４を用いて、機械学習モデル１０４にＨＯＩＤ（Human Object Interaction Detection）用のモデルが採用されている例で説明する。図４は、訓練データを説明する図である。図４に示すように、各訓練データは、入力データとなる画像データと、当該画像データに対して設定された正解情報（ラベル）とを有する。

正解情報には、検出対象であるヒトとモノのクラスと、ヒトとモノの相互作用を示すクラスと、各クラスの領域を示すＢｂｏｘ（Bounding Box：物体の領域情報）とが設定される。例えば、正解情報として、商品等の物体であってレジ袋以外の物体を示すSomethingクラスの領域情報、商品を購入するユーザを示すヒトのクラスの領域情報、Somethingクラスとヒトのクラスとの相互作用を示す関係性（把持クラス）とが設定される。すなわち、正解情報として、人が把持している物体に関する情報が設定される。なお、ヒトのクラスは、第１クラスの一例であり、Somethingクラスは、第２クラスの一例であり、ヒトのクラスの領域情報は、第１の領域の一例であり、Somethingのクラスの領域情報は、第２の領域の一例であり、ヒトとモノの相互作用は、相互作用の一例である。

また、正解情報として、レジ袋を示すレジ袋のクラスの領域情報と、レジ袋を使用するユーザを示すヒトのクラスの領域情報と、レジ袋のクラスとヒトのクラスとの相互作用を示す関係性（把持クラス）とが設定される。すなわち、正解情報として、人が把持しているレジ袋に関する情報が設定される。

一般的に、通常の物体識別（物体認識）でSomethingクラスを作ると、すべての背景、服装品、小物などタスクと関係ないものをすべて検出することになる。かつ、それらはすべてSomethingなので、画像データ内に大量のＢｂｏｘが識別されるだけで何も分からない。ＨＯＩＤの場合は、ヒトが持っているモノという特殊な関係性（座っている、操作している、など他の関係の場合もある）であることが分かるので、意味のある情報としてタスク（例えばセルフレジの不正検出タスク）に利用することができる。物体をSomethingで検出した上で、レジ袋などをBag（レジ袋）という固有のクラスとして識別する。このレジ袋は、セルフレジの不正検出タスクでは価値のある情報だが、他のタスクでは重要な情報ではないので、商品はカゴ（買い物かご）から取り出され袋に収納されるというセルフレジの不正検出タスクの固有の知見に基づいて利用することに価値があり、有用な効果が得られる。

図３に戻り、機械学習モデル１０４は、訓練データに写っている人物と物（例えば、人物や収納（レジ袋など））を識別するように訓練された機械学習モデルの一例である。具体的には、機械学習モデル１０４は、入力された画像データから、ヒト、商品、ヒトと商品の関係性を識別して識別結果を出力する機械学習モデルである。例えば、機械学習モデル１０４は、ＨＯＩＤ用のモデルを採用することができ、各種ニューラルネットワークなどを用いた機械学習モデルを採用することもできる。ＨＯＩＤの場合は、「ヒトのクラスと領域情報、商品（モノ）のクラスと領域情報、ヒトと商品の相互作用」が出力される。

なお、機械学習モデル１０４は、画像データの入力に応じて、手の領域、商品の領域、手の骨格情報を出力するモデルを用いることもできる。

映像データＤＢ１０５は、セルフレジ５０に設置されるカメラ３０により撮像された映像データを記憶するデータベースである。例えば、映像データＤＢ１０５は、セルフレジ５０ごと、または、カメラ３０ごとに、映像データを記憶する。

不正ルールＤＢ１０６は、不正な行動を判定される手の動作または商品の動作を規定するデータベースである。具体的には、不正ルールＤＢ１０６は、過去の履歴等により特定される不正な行動パターンを記憶する。

図５は、不正ルールＤＢ１０６に記憶される情報の例を示す図である。図５に示すように、不正ルールＤＢ１０６は、「不正種別、対象、不正パターン」を対応付けて記憶する。ここで記憶される「不正種別」は、不正（異常な行動）の内容を示す情報である。「対象」は、不正の判定対象が手の動作か商品の動作かを特定する情報である。「不正パターン」は、不正と判定される対象の手の動きの変化または複数の商品の動きの変化である。

図５の例では、不正１は、商品の動きを対象とした不正パターンであり、商品２個を把持した状態から、商品を重ねる動作を行った後、把持する２個の商品を袋（持ち帰り用の袋）に入れる動作が検出された場合に、不正と判定される異常行動である。つまり、不正１は、ラベルスイッチなどと呼ばれる読み取り誤りの不正に該当する。

不正２は、商品の動きを対象とした不正パターンであり、小さい商品を複数スキャンした後に、買い物カゴから別の商品を取り出して袋に入れる動作が検出された場合に、不正と判定される異常行動である。不正３は、手の動きを対象とした不正パターンであり、小さい商品を両手に持つ動作が検出された場合に、不正と判定される異常行動である。つまり、不正３は、ラベルスイッチなどと呼ばれる読み取り誤りの不正に該当する。

不正４は、手の動きを対象とした不正パターンであり、右手と左手にそれぞれ商品を把持した後、一方のみをスキャンして、両方を袋に入れる動作が検出された場合に、不正と判定される異常行動である。不正５は、手の動きおよび商品の動きを対象とした不正パターンであり、複数の商品を把持し、レジ画面で１つの商品を登録した後、複数の商品を袋に入れる動作が検出された場合に、不正と判定される異常行動である。つまり、不正５は、バナナトリックなどと呼ばれる不正やバーコード隠しなどの不正に該当する。

図３に戻り、制御部１１０は、情報処理装置１００全体を司る処理部であり、例えばプロセッサなどにより実現される。この制御部１１０は、機械学習部１１１、映像取得部１１２、領域特定部１１３、追跡部１１４、不正検知部１１５、警告制御部１１６を有する。なお、機械学習部１１１、映像取得部１１２、領域特定部１１３、追跡部１１４、不正検知部１１５、警告制御部１１６は、プロセッサが有する電子回路やプロセッサが実行するプロセスなどにより実現される。

（機械学習）
機械学習部１１１は、訓練データＤＢ１０３に記憶される各訓練データを用いて、機械学習モデル１０４の機械学習を実行する処理部である。図６は、機械学習モデル１０４の機械学習を説明する図である。図６では、機械学習モデル１０４にＨＯＩＤを用いた例を図示している。図６に示すように、機械学習部１１１は、訓練データの入力データをＨＯＩＤに入力し、ＨＯＩＤの出力結果を取得する。この出力結果には、ＨＯＩＤが検出したヒトのクラスと、モノのクラスと、ヒトとモノの相互作用などが含まれる。そして、機械学習部１１１は、訓練データの正解情報と、ＨＯＩＤの出力結果との誤差情報を算出し、誤差が小さくなるように、誤差逆伝播によりＨＯＩＤのパラメータ更新を行う機械学習を実行する。

また、機械学習部１１１は、画像データの入力に応じて、手の領域、商品の領域、手の骨格情報を出力するモデルを生成することもできる。図７は、機械学習モデル１０４の機械学習を説明する図である。図７に示すように、機械学習部１１１は、「画像データ」を説明変数、「手の領域、商品の領域、手の骨格情報」を目的変数（正解情報）とする訓練データを機械学習モデル１０４に入力し、機械学習モデル１０４の出力結果「手の領域、商品の領域、手の骨格情報」と目的変数「手の領域、商品の領域、手の骨格情報」との誤差情報を算出する。そして、機械学習部１１１は、誤差が小さくなるように、誤差逆伝播により機械学習モデル１０４のパラメータ更新を行う機械学習を実行する。

ここで、骨格情報とは、例えば図８に示す情報である。図８は、骨格情報の例を示す図である。骨格情報は、公知の骨格モデルで特定される各関節をナンバリングした、１８個（０番から１７番）の定義情報を用いることができる。例えば、右肩関節（SHOULDER＿RIGHT）には７番が付与され、左肘関節（ELBOW＿LEFT）には５番が付与され、左膝関節（KNEE＿LEFT）には１１番が付与され、右股関節（HIP＿RIGHT）には１４番が付与される。したがって、図８に示した１８個の骨格の座標情報が、画像データから取得可能であり、例えば、７番の右肩関節の位置として「Ｘ座標＝Ｘ７、Ｙ座標＝Ｙ７」が取得される。なお、Ｘ軸が画像の水平方向、Ｙ軸が画像の垂直方向と定義することができる。

なお、機械学習モデル１０４としては、図６に示した機械学習モデルまたは図７に示した機械学習モデルを用いることもでき、両方を用いることもできる。

（映像取得）
映像取得部１１２は、カメラ３０から映像データを取得する処理部である。例えば、映像取得部１１２は、セルフレジ５０に設置されるカメラ３０から映像データを随時取得し、映像データＤＢ１０５に格納する。

（領域特定）
領域特定部１１３は、映像データを機械学習モデル１０４に入力することで、映像データの中から、人物の手の領域と人物が手で把持をしている商品の領域とを特定する処理部である。例えば、領域特定部１１３は、ＨＯＩＤを用いることで、人物の手を含む第一の領域と、商品を含む第二の領域と、第一領域と第二の領域の関係性を特定し、人物の商品に対する行動を特定する。

図９は、ＨＯＩＤによる行動識別を説明する図である。図９に示すように、領域特定部１１３は、映像データに含まれる各画像データをＨＯＩＤに入力し、ＨＯＩＤの出力結果を取得する。上述したように、ＨＯＩＤの出力結果には、ヒトのＢｂｏｘ、モノのＢｂｏｘ、ヒトとモノの相互作用の確率値およびクラス名などが含まれる。そして領域特定部１１３は、ＨＯＩＤの出力結果に基づき、次の（ａ）、（ｂ）、（ｃ）のいずれかの行動を識別する。

例えば、図９の（ａ）に示すように、領域特定部１１３は、ＨＯＩＤの出力結果から、ヒトと商品とヒトが商品を把持していることを識別（特定）する。なお、買い物かごの位置は、管理者等が指定してもよく、別の機械学習モデルなどを用いて自動で指定することもできる。また、図９の（ｂ）に示すように、領域特定部１１３は、ＨＯＩＤの出力結果から、ヒトと商品とヒトが商品を把持していることを識別することで、セルフレジ５０におけるバーコードや二次元コードなどの各コードのスキャン位置を通過させる商品も特定する。また、図９の（ｃ）に示すように、領域特定部１１３は、ＨＯＩＤの出力結果から、ヒトと商品とヒトが商品を把持していることと、ヒトとレジ袋とヒトがレジ袋を把持していることを識別することで、ユーザがレジ袋に入れた商品も特定する。

また、領域特定部１１３は、映像データを機械学習モデル１０４に入力することで、映像データの中から、人物の手の領域と人物が手で把持をしている商品の領域と人物の骨格情報とを特定することもできる。また、領域特定部１１３は、各行動と行動するときの骨格情報の遷移とを対応付けておくことで、映像データから特定される各領域と骨格情報とから、映像データ内の人物が商品に行う行動や人物がセルフレジ５０に行う行動を特定することもできる。

（追跡）
追跡部１１４は、人物が手で把持をしている商品の個数が複数であるときに、複数の商品を把持している人物の手の動き、または、複数の商品の動きのいずれかを追跡する処理部である。具体的には、追跡部１１４は、映像データ内のあるフレームに対する領域特定部１１３による特定結果において、複数の商品を把持している人物を検出した場合に、追跡を実行する。すなわち、追跡部１１４は、映像データ内で複数の商品が識別されたあるフレーム以降の連続するフレームで、同じ商品に関する動作を追跡する。そして、追跡部１１４は、追跡結果を記憶部１０２に格納し、不正検知部１１５に出力する。

また、追跡部１１４は、ＨＯＩＤの出力結果から、商品のバウンディングボックスの個数が複数である場合に、複数のバウンディングボックスの位置の重なりがあるか否かを判定し、重なりがある場合に、追跡を実行することもできる。

（不正検知）
不正検知部１１５は、追跡部１１４により追跡された手の動きの変化または複数の商品の動きの変化に基づいて、セルフレジ５０に商品を登録する行動の異常を検知する処理部である。具体的には、不正検知部１１５は、追跡された手の動きのパターンや商品の動きのパターンが、不正ルールＤＢ１０６に記憶されるパターンに該当する場合に、不正行動を検知する。

例えば、不正検知部１１５は、「商品２個を把持した状態から、商品を重ねる動作を行った後、把持する２個の商品を袋（持ち帰り用の袋）に入れる動作」が検出された場合に、不正１の不正行動を検知する。

図１０は、２つの商品を把持した場合の不正検知の例を示す図である。図１０に示すように、不正検知部１１５は、領域特定部１１３の領域特定結果により、商品を重ねる動作を検出した場合に、不正を検知する。例えば、不正検知部１１５は、高額の商品Ａに少額の商品Ｂを重ねる動作を検知した場合に、高額商品のバーコードの代わりに低額商品のバーコードをスキャンさせる不正（例えばラベルスイッチ）を検知する。

また、不正検知部１１５は、不正ルールＤＢ１０６に記憶されるパターン以外であっても、予め不正行動として定義した動作「手の動きが複数の商品を重ねる動作」を検知した場合に、不正行動を検知することもできる。同様に、不正検知部１１５は、予め不正行動として定義した動作「商品を重ねる動作」や「バーコードを重ねる動作」に検知した場合に、不正行動を検知することもできる。

図１１は、予め定義した不正行動に基づく不正検知の例を示す図である。図１１に示すように、不正検知部１１５は、領域特定部１１３の領域特定結果により、商品を把持する動作を検出した後、スキャン動作を検知することなく、セルフレジ５０から商品が登録されたことを検知した場合に、不正を検知する。例えば、不正検知部１１５は、高額であるとともに商品自体にバーコードが付与されていない商品（例えばメロン）が把持された後、セルフレジ５０の登録画面で同種の商品であるが低額な商品（例えばバナナ）の登録が行われた場合に、不正（例えばバナナトリック）を検知する。

例えば、不正検知部１１５は、手の動きのパターンとして「左手にワイン、右手にワインを把持した後、右手のワインだけをスキャンした動作」を検知した場合、図５の不正ルールの不正４に該当すると判定し、不正４の不正行動を検知する。

例えば、不正検知部１１５は、ＨＯＩＤの出力結果から、商品をセルフレジ５０にスキャンをするために設定されたエリアとの位置関係を特定する。そして、不正検知部１１５は、ＨＯＩＤの出力結果から、２つの商品のそれぞれの商品のバーコードがセルフレジ５０にスキャンされていないと判定されるときに、不正行動を検知する。すなわち、不正検知部１１５は、カメラごとに設定されるスキャン領域を、２つの商品のいずれもが通過しない場合に、不正行動を検知する。

図１２は、位置関係による不正検知の例を説明する図である。図１２に示すように、不正検知部１１５は、領域特定部１１３の領域特定結果により、商品を両手に持つ動作、および、商品について想定されるバーコード位置とは異なる位置でスキャンが行われる動作を検出した場合に、不正を検知する。例えば、不正検知部１１５は、それぞれの缶にバーコードが付加された６缶パッケージ商品のバーコードではなく、６缶パッケージ内の１つの缶のバーコードをスキャンさせる不正を検知する。

また、不正検知部１１５は、機械学習モデル１０４により特定される骨格情報を用いることでより複雑な動作を検知することができるので、上記不正行動の判定の精度を向上させることもできる。例えば、不正検知部１１５は、骨格情報からユーザの姿勢、指の動き、関節の動き等を特定し、これらのパターンと予め用意したパターンとの比較により、不正行動を検知する。

（アラート報知）
警告制御部１１６は、不正検知部１１５により不正な行動（不正な動作）が検知された場合に、アラートを生成して、アラートの報知制御を実行する処理部である。例えば、警告制御部１１６は、人物がセルフレジ５０に登録していない商品があること、または、人物がセルフレジ５０に登録した商品が異常であることを示すアラートを生成して、セルフレジ５０や管理者端末６０に出力する。

また、警告制御部１１６は、セルフレジ５０に商品を登録する行動の異常に関するアラートを生成した場合に、セルフレジ５０に位置する人物に商品の登録漏れを促す音声または画面を、セルフレジ５０から出力する。

図１３は、アラートの報知例を説明する図である。図１３に示すように、警告制御部１１６は、セルフレジ５０のタッチパネルなどの表示画面に、「スキャン忘れの商品がありませんか？再度、商品のスキャンをお願いします。」などのメッセージを表示させる。

また、警告制御部１１６は、セルフレジ５０に設置されている警告灯を点灯させたり、管理者端末６０に該当セルフレジ５０の識別子と不正発生の可能性があるメッセージとを表示させたり、店内にいる店員の端末に該当セルフレジ５０の識別子と不正発生と確認の必要性を示すメッセージとを送信させたりする。

また、警告制御部１１６は、セルフレジ５０に商品を登録する行動の異常に関するアラートを生成した場合に、セルフレジ５０が有するカメラ３０にて人物を撮影させ、撮影された人物の画像データと、アラートを対応づけて記憶部に記憶する。このようにすることで、不正な行動を行う不正な人物の情報を収集することができるので、店舗の入り口で不正な行動を行ったことがある来店者を検知するなど、不正行動を未然に防ぐための各種施策に役立てることができる。また、警告制御部１１６は、不正な人物の画像データを用いた教師あり学習により、機械学習モデルを生成することで、セルフレジ５０を使用する人物の画像データから不正な人物の検出や店舗の入り口での不正な人物の検出などを行うことができる。また、警告制御部１１６は、不正な行動を行った人物のクレジットカードの情報をセルフレジ５０から取得して保持することもできる。

＜具体例＞
次に、上述した情報処理装置１００が実行する処理の具体例を説明する。図１４は、追跡、不正検出、アラーム報知までの一連の流れを説明する図である。図１４に示すように、映像データには、識別子が付与された各画像データが含まれている。図１４では、ＨＯＩＤを用いて領域や関係性を特定する例を示している。

まず、画像データ１に対して、情報処理装置１００は、領域特定部１１３により「買い物かご、人、人と買い物かごの相互関係（把持）」を特定すると、複数の商品が検出されていないので、追跡することなく、不正行動とは判定しない。

続いて、画像データ２に対して、情報処理装置１００は、領域特定部１１３により「商品１つ、人、人と商品の相互関係（把持）」を特定すると、複数の商品が検出されていないので、追跡することなく、不正行動とは判定しない。

続いて、画像データ３に対して、情報処理装置１００は、領域特定部１１３により「スキャン位置に商品、人、人と商品の相互関係（把持、スキャン）」を特定すると、複数の商品が検出されていないので、追跡することなく、不正行動とは判定しない。

続いて、画像データ４に対して、情報処理装置１００は、領域特定部１１３により「レジ袋に商品、人、人と商品の相互関係（把持）」を特定すると、複数の商品が検出されていないので、追跡することなく、不正行動とは判定しない。

続いて、画像データ５に対して、情報処理装置１００は、領域特定部１１３により「商品２つ、人と商品の相互関係（把持）」を特定すると、複数の商品が検出されたことから、追跡部１１４による追跡を開始する。さらに、情報処理装置１０は、不正検知部１１５により、追跡開始後の手の動きの変化または複数の商品の動きの変化に基づいて不正検知を実行する。

続いて、画像データ６に対して追跡を実行する。すなわち、情報処理装置１００は、領域特定部１１３により２つの商品が検出されている間、不正検知部１１５により、追跡開始後の手の動きの変化または複数の商品の動きの変化に基づいて不正検知を実行する。

同様に、画像データ７に対して追跡を実行する。ここで、情報処理装置１００は、不正検知部１１５により、追跡開始後の手の動きの変化または複数の商品の動きの変化に基づいて、不正ルールに該当する動作を検知した場合に、不正行動を検知する。すると、情報処理装置１０は、アラートを生成して報知する。このとき、情報処理装置１００は、追跡を終了してもよく、アラートに対する店員等の対応が終わるまで追跡を終了してもよく、追跡を継続してもよい。

＜処理の流れ＞
図１５は、処理の流れを示すフローチャートである。図１５に示すように、情報処理装置１００は、映像データを随時取得する（Ｓ１０１）。

続いて、情報処理装置１００は、不正検知の処理開始が指示されると（Ｓ１０２：Ｙｅｓ）、映像データ内のフレームを取得する（Ｓ１０３）。ここで、情報処理装置１００は、映像データが存在しない場合は、処理を終了する。一方、情報処理装置１００は、映像データが存在する場合は、機械学習モデル１０４を用いて、手の領域と商品の領域を特定する（Ｓ１０４）。

そして、情報処理装置１００は、複数の商品が検出されない場合（Ｓ１０５：Ｎｏ）、Ｓ１０３以降を繰り返す。一方、情報処理装置１００は、複数の商品が検出された場合（Ｓ１０５：Ｙｅｓ）、追跡中か否かを判定する（Ｓ１０６）。

ここで、情報処理装置１００は、追跡中ではない場合（Ｓ１０６：Ｎｏ）、追跡を開始し（Ｓ１０７）、Ｓ１０８を実行する。一方、情報処理装置１００は、追跡中である場合（Ｓ１０６：Ｙｅｓ）、Ｓ１０８を実行する。

すなわち、情報処理装置１００は、不正ルールに該当する動作が検出されない場合は（Ｓ１０８：Ｎｏ）、Ｓ１０３以降を繰り返し、不正ルールに該当する動作が検出された場合は（Ｓ１０８：Ｙｅｓ）、アラート報知を実行し（Ｓ１０９）、処理を終了する。

＜効果＞
上述したように、情報処理装置１００は、物が手で把持をしている商品の個数が複数であるときに、複数の商品を把持している人物の手の動き、または、複数の商品の動きのいずれかを追跡する。そして、情報処理装置１００は、追跡された手の動きの変化または複数の商品の動きの変化に基づいて、セルフレジ５０に商品を登録する行動の異常に関連するアラートを生成する。したがって、情報処理装置１００は、重量センサなどを用いることなく、セルフレジ５０における不正を検出することができる。

また、情報処理装置１００は、商品の動きが追跡された場合に、商品の領域に含まれる複数の商品の動きの変化が重なるなどの予め指定したパターンに該当する場合に、セルフレジ５０に商品を登録する行動の異常に関連するアラートを生成する。したがって、情報処理装置１００は、スキャン漏れなど不可抗力の誤りや故意の不正を検知することができる。

また、情報処理装置１００は、手の動きが追跡された場合に、手の動きが複数の商品を重ねる動作に該当する場合に、セルフレジ５０に商品を登録する行動の異常に関連するアラートを生成する。したがって、情報処理装置１００は、高額商品の代わりに低額商品のバーコードをスキャンさせる不正を検知することができる。

また、情報処理装置１００は、機械学習モデル１０４を用いて、手の領域を示すバウンディングボックスと、商品の領域を示す商品のバウンディングボックスと、人物の手の骨格情報とを取得する。この結果、情報処理装置１００は、画像解析に比べて短時間で人物の動作や商品の動きを特定することができるので、リアルタイムな不正検知を実現することができる。

また、情報処理装置１００は、機械学習モデル１０４を用いて、人物の手を含む第一の領域と、商品を含む第二の領域と、第一の領域と第二の領域の関係性を特定する。そして、情報処理装置１００は、人物が右手で第一の商品を把持する第一の動作および人物が左手で第二の商品を把持する第二の動作に基づいて、第一の商品または第二の商品のいずれかの商品のコードがセルフレジ５０にスキャンされていないことを検出する。したがって、情報処理装置１００は、１つの商品しかスキャンしないスキャン漏れや故意の不正を検知することができる。

また、情報処理装置１００は、人物がセルフレジ５０に登録していない商品があること、または、人物がセルフレジ５０に登録した商品が異常であることを示すアラートを生成する。したがって、店員等は、情報処理装置１００を用いることで、不正な行動を起こした人物が店外に出るまでに事情を聞くなどの対応を行うことができる。

また、情報処理装置１００は、セルフレジ５０に商品を登録する行動の異常に関するアラートが生成された場合に、セルフレジ５０に位置する人物に商品の登録漏れを促す音声または画面を、セルフレジ５０から出力する。したがって、情報処理装置１００は、不可抗力のミスであっても故意の不正であっても、スキャン中の人物に直接注意を促すことができるので、ミスや故意の不正を削減することができる。

また、情報処理装置１００は、セルフレジ５０に商品を登録する行動の異常に関するアラートが生成されたときに、セルフレジ５０の有するカメラにて、人物を撮影させ、撮影された人物の画像データと、アラートを対応づけて記憶部に記憶する。したがって、情報処理装置１００は、不正な行動を行う不正な人物の情報を収集して保持することができるので、来店者を撮像するカメラの撮像データから不正な人物の来店を検出することで、不正行動を未然に防ぐための各種施策に役立てることができる。また、情報処理装置１００は、不正な行動を行った人物のクレジットカードの情報をセルフレジ５０から取得して保持することもできるので、不正な行動が確定した場合、クレジットカード会社を介して料金を請求することができる。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。

（数値等）
上記実施例で用いたセルフレジやカメラの台数、数値例、訓練データ例、訓練データ数、機械学習モデル、各クラス名、クラス数、データ形式等は、あくまで一例であり、任意に変更することができる。また、各フローチャートで説明した処理の流れも矛盾のない範囲内で適宜変更することができる。また、各モデルは、ニューラルネットワークなどの様々なアルゴリズムにより生成されたモデルを採用することができる。

また、情報処理装置１００は、スキャン位置や買い物かごの位置については、位置を検出する別の機械学習モデル、物体検知技術、位置検出技術など公知の技術を用いることもできる。例えば、情報処理装置１００は、フレーム（画像データ）間差分、フレームの時系列の変化に基づき、買い物かごの位置を検出することができるので、それを用いて検出してもよく、それを用いて別のモデルを生成してもよい。また、情報処理装置１００は、予め買い物かごの大きさを指定しておくことで、画像データからその大きさの物体が検出された場合に、買い物かごの位置として識別することもできる。なお、スキャン位置は、ある程度固定された位置なので、情報処理装置１００は、管理者等が指定した位置をスキャン位置として識別することもできる。

（指の動作）
上記情報処理装置１００は、骨格情報を取得することができるので、手の動作ではなく指の動作を取得することもできる。例えば、情報処理装置１００は、複数の商品を把持している人物の指の動きを追跡し、追跡された人物の指の動きのパターンが、予め設定したルールと一致するときに、予め設定した指の動きパターンをした位置を特定する。そして、情報処理装置１００は、特定された指の位置が、商品をセルフレジ５０にスキャンをするために設定されたエリアの範囲内であるときは、セルフレジ５０に商品を登録する行動の異常に関するアラートが生成する。

例えば、情報処理装置１００は、スキャン位置の前で、指を使って小さな商品を複数重ねる動作を検知することで、不正な行動を検知することができる。このような動作は、複数の商品のうち１つの商品だけをスキャンさせた後、複数の商品を袋の入れるような不正な行動に繋がるが、情報処理装置１００は、不正な行動として検知することができる。

（システム）
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更されてもよい。

また、各装置の構成要素の分散や統合の具体的形態は図示のものに限られない。例えば、追跡部１１４と不正検知部１１５とが統合されてもよい。つまり、その構成要素の全部または一部は、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合されてもよい。さらに、各装置の各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

（ハードウェア）
図１６は、ハードウェア構成例を説明する図である。ここでは、一例として、情報処理装置１００について説明する。図１６に示すように、情報処理装置１００は、通信装置１００ａ、ＨＤＤ（Hard Disk Drive）１００ｂ、メモリ１００ｃ、プロセッサ１００ｄを有する。また、図１６に示した各部は、バス等で相互に接続される。

通信装置１００ａは、ネットワークインタフェースカードなどであり、他の装置との通信を行う。ＨＤＤ１００ｂは、図３に示した機能を動作させるプログラムやＤＢを記憶する。

プロセッサ１００ｄは、図３に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１００ｂ等から読み出してメモリ１００ｃに展開することで、図３等で説明した各機能を実行するプロセスを動作させる。例えば、このプロセスは、情報処理装置１００が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１００ｄは、機械学習部１１１、映像取得部１１２、領域特定部１１３、追跡部１１４、不正検知部１１５、警告制御部１１６等と同様の機能を有するプログラムをＨＤＤ１００ｂ等から読み出す。そして、プロセッサ１００ｄは、機械学習部１１１、映像取得部１１２、領域特定部１１３、追跡部１１４、不正検知部１１５、警告制御部１１６等と同様の処理を実行するプロセスを実行する。

このように、情報処理装置１００は、プログラムを読み出して実行することで情報処理方法を実行する情報処理装置として動作する。また、情報処理装置１００は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置１００によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、上記実施例が同様に適用されてもよい。

このプログラムは、インターネットなどのネットワークを介して配布されてもよい。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行されてもよい。

図１７は、セルフレジ５０のハードウェア構成例を説明する図である。図１７に示すように、セルフレジ５０は、通信インタフェース４００ａ、ＨＤＤ４００ｂ、メモリ４００ｃ、プロセッサ４００ｄ、入力装置４００ｅ、出力装置４００ｆを有する。また、図１７に示した各部は、バスなどで相互に接続される。

通信インタフェース４００ａは、ネットワークインタフェースカードなどであり、他の情報処理装置との通信を行う。ＨＤＤ４００ｂは、セルフレジ５０の各機能を動作させるプログラムやデータを記憶する。

プロセッサ４００ｄは、セルフレジ５０の各機能の処理を実行するプログラムをＨＤＤ４００ｂなどから読み出してメモリ４００ｃに展開することで、セルフレジ５０の各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、セルフレジ５０が有する各処理部と同様の機能を実行する。

このように、セルフレジ５０は、セルフレジ５０の各機能の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、セルフレジ５０は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することでセルフレジ５０の各機能を実現することもできる。なお、この他の実施例でいうプログラムは、セルフレジ５０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。

また、セルフレジ５０の各機能の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、ＦＤ、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。

入力装置４００ｅは、プロセッサ４００ｄによって実行されるプログラムに対する入力操作など、ユーザによる各種入力操作を検知する。当該入力操作には、例えば、タッチ操作などが含まれる。タッチ操作の場合、セルフレジ５０はさらに表示部を備え、入力装置４００ｅによって検知される入力操作は、当該表示部に対するタッチ操作であってよい。入力装置４００ｅは、例えば、ボタン、タッチパネル、近接センサなどであってよい。また、入力装置４００ｅは、バーコードの読み取りをする。入力装置４００ｅは、例えば、バーコードリーダである。バーコードリーダは、光源と光センサを持ち、バーコードをスキャンする。

出力装置４００ｆは、プロセッサ４００ｄによって実行されるプログラムから出力されるデータをセルフレジ５０に接続された外部装置、例えば、外部ディスプレイ装置などを介して出力する。なお、セルフレジ５０が表示部を備える場合、セルフレジ５０は出力装置４００ｆを備えなくてもよい。

３０ カメラ
５０ セルフレジ
６０ 管理者端末
１００ 情報処理装置
１０１ 通信部
１０２ 記憶部
１０３ 訓練データＤＢ
１０４ 機械学習モデル
１０５ 映像データＤＢ
１０６ 不正ルールＤＢ
１１０ 制御部
１１１ 機械学習部
１１２ 映像取得部
１１３ 領域特定部
１１４ 追跡部
１１５ 不正検知部
１１６ 警告制御部

Claims (14)

1. コンピュータに、
   商品のコードを会計機にスキャンする人物の映像データを取得し、
   取得した前記映像データを分析することで、取得した前記映像データの中から、人物の手の領域と人物が手で把持をしている商品の領域とを特定し、
   前記商品を把持している人物の手の動き、または、把持された前記商品の動きのいずれかを追跡し、
   追跡された前記手の動きの変化または前記商品の動きの変化に基づいて、前記会計機に商品を登録する行動の異常に関連するアラートを生成する、
   処理を実行させることを特徴とする情報処理プログラム。
2. 前記特定する処理は、
   取得した前記映像データを機械学習モデルに入力することで、取得した前記映像データの中から、人物の手の領域と人物が手で把持をしている商品の領域とを特定し、
   前記追跡する処理は、
   前記人物が手で把持をしている商品の個数が複数であるときに、複数の商品を把持している人物の手の動き、または、前記複数の商品の動きのいずれかを追跡し、
   前記アラートを生成する処理は、
   追跡された前記手の動きの変化または前記複数の商品の動きの変化に基づいて、前記会計機に商品を登録する行動の異常に関連するアラートを生成する、
   ことを特徴とする請求項１に記載の情報処理プログラム。
3. 前記アラートを生成する処理は、
   前記商品の動きが追跡された場合に、前記商品の領域に含まれる前記複数の商品の動きの変化が予め指定したパターンに該当するか否かを判定し、
   前記複数の商品の動きの変化が前記パターンに該当する場合に、前記会計機に商品を登録する行動の異常に関連するアラートを生成する、ことを特徴とする請求項２に記載の情報処理プログラム。
4. 前記アラートを生成する処理は、
   前記手の動きが追跡された場合に、前記手の動きが前記複数の商品を重ねる動作に該当する場合に、前記会計機に商品を登録する行動の異常に関連するアラートを生成する、ことを特徴とする請求項２に記載の情報処理プログラム。
5. 前記機械学習モデルは、映像データの入力に応じて、前記手の領域を示すバウンディングボックスと、前記商品の領域を示す商品のバウンディングボックスと、前記人物の手の骨格情報とを出力し、
   前記特定する処理は、
   取得した前記映像データを前記機械学習モデルに入力することで、前記手の領域を示すバウンディングボックスと、前記商品の領域を示す商品のバウンディングボックスと、前記手の骨格情報とを生成し、
   前記追跡する処理は、
   生成された前記商品のバウンディングボックスの個数が複数である場合に、複数の前記バウンディングボックスの位置の重なりがあるか否かを判定し、
   前記アラートを生成する処理は、
   前記重なりがあると判定されたときは、前記人物の手の骨格情報に基づいて、前記人物の手の動きのパターンを識別し、
   識別された前記手の動きのパターンと、予め設定されたルールとを比較することで、前記会計機に商品を登録する行動の異常に関するアラートを生成する、
   ことを特徴とする請求項２に記載の情報処理プログラム。
6. 前記機械学習モデルは、映像データの入力に応じて、人物の手を含む第一の領域と、商品を含む第二の領域と、第一領域と第二の領域の関係性を特定し、
   前記特定する処理は、
   取得した前記映像データを前記機械学習モデルに入力することで特定された前記第一の領域と、前記第二の領域と、前記関係性とに基づいて、人物の右手で第一の商品を把持する第一の動作および左手で第二の商品を把持する第二の動作を特定し、
   前記追跡する処理は、
   前記第一の動作および前記第二の動作を追跡し、
   前記アラートを生成する処理は、
   追跡される前記第一の動作および前記第二の動作に基づいて、前記第一の商品または前記第二の商品のいずれかの商品のコードが前記会計機にスキャンされていないことを検出する、
   ことを特徴とする請求項２に記載の情報処理プログラム。
7. 前記アラートを生成する処理は、
   追跡した前記第一の動作および前記第二の動作と、商品を前記会計機にスキャンをするために設定されたエリアとの位置関係に基づいて、前記第一の商品および前記第二の商品のそれぞれの商品のコードが前記会計機にスキャンされていないと判定されるときに、前記会計機に商品を登録する行動の異常を示すアラートを生成する、
   ことを特徴とする請求項６に記載の情報処理プログラム。
8. 前記アラートを生成する処理は、
   前記会計機に商品を登録する行動の異常に関連するアラートとして、前記人物が前記会計機に登録していない商品があること、または、前記人物が前記会計機に登録した商品が異常であることを示すアラートを生成する、
   ことを特徴とする請求項１に記載の情報処理プログラム。
9. 前記会計機に商品を登録する行動の異常に関するアラートが生成されたときに、店員の有する端末に対して、前記会計機の識別情報と生成された前記アラートとを対応づけて通知する、処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。
10. 前記アラートを生成する処理は、
    前記会計機に商品を登録する行動の異常に関するアラートが生成された場合に、前記会計機に位置する前記人物に前記商品の登録漏れを促す音声または画面を、前記会計機から出力する、
    ことを特徴とする請求項１に記載の情報処理プログラム。
11. 前記会計機に商品を登録する行動の異常に関するアラートが生成されたときに、前記会計機の有するカメラにて、人物を撮影させ、
    撮影された前記人物の画像データと、前記アラートを対応づけて記憶部に記憶する、処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。
12. 前記会計機は、セルフレジ端末であり、
    前記特定する処理は、
    取得した前記映像データに基づいて、取得した前記映像データの中から、人物の手の領域を特定し、
    前記追跡する処理は、
    前記人物が手で把持をしている商品の個数が複数であるときに、複数の商品を把持している人物の手の動きを追跡し、
    前記アラートを生成する処理は、
    追跡された前記手の動きの変化に基づいて、前記セルフレジ端末に商品を登録する行動の異常に関連するアラートを生成する、ことを特徴とする請求項１に記載の情報処理プログラム。
13. コンピュータが、
    商品のコードを会計機にスキャンする人物の映像データを取得し、
    取得した前記映像データを分析することで、取得した前記映像データの中から、人物の手の領域と人物が手で把持をしている商品の領域とを特定し、
    前記商品を把持している人物の手の動き、または、把持された前記商品の動きのいずれかを追跡し、
    追跡された前記手の動きの変化または前記商品の動きの変化に基づいて、前記会計機に商品を登録する行動の異常に関連するアラートを生成する、
    処理を実行することを特徴とする情報処理方法。
14. 商品のコードを会計機にスキャンする人物の映像データを取得し、
    取得した前記映像データを分析することで、取得した前記映像データの中から、人物の手の領域と人物が手で把持をしている商品の領域とを特定し、
    前記商品を把持している人物の手の動き、または、把持された前記商品の動きのいずれかを追跡し、
    追跡された前記手の動きの変化または前記商品の動きの変化に基づいて、前記会計機に商品を登録する行動の異常に関連するアラートを生成する、
    制御部を有することを特徴とする情報処理装置。

Images