JP2024008708A - 判定プログラム、判定方法、および判定装置 - Google Patents

Abstract

【課題】監視カメラの映像から買い物カゴ内の商品数を推定する精度は必ずしも高くないため、商品のスキャン漏れを見逃してしまう、または商品のスキャン漏れの誤検知によるアラートの誤通知が発生してしまう場合がある。【解決手段】判定プログラムは、カメラ装置で撮影された画像を分析することで、商品を載置するための第１の棚と、第１の棚よりも下方に設けられた第２の棚とを備えるショッピングカートのうち、第１の棚および第２の棚のそれぞれに物品が載置されていることを検知し、第１の棚および第２の棚のそれぞれに載置された物品の状態の組み合わせと、会計機に登録された登録情報とに基づいて、アラートを通知するか否かを判定する処理をコンピュータに実行させる。【選択図】図１６

Description

本発明は、判定プログラム、判定方法、および判定装置に関する。

小売店においては、レジの混雑を解消するために、顧客自らが商品をスキャンして登録し、会計を行うシステムの導入が進んでいる。さらに近年では、顧客が、小売店の店舗内で貸し出される端末や顧客の所持する端末にインストールしたアプリケーションを用いて、商品スキャンを行い、購入商品の登録を行うシステムの導入が始まっている。このような顧客自らが購入商品の登録を行うシステムでは、万引きなどの不正行動やミスを検知するため商品のスキャン漏れを検知することが必要になる。

一方、小売店において顧客の不正行動を検知するシステムとして、例えば、店舗内の監視カメラを使って、顧客の不審行動や、万引きなどの不正行動を検知するシステムが開発されている。また、監視カメラの映像から買い物カゴ内の商品数を推定し、推定された商品数と、顧客が商品スキャンによって登録した商品数とを比較することで商品のスキャン漏れを検知し、アラートを通知する技術がある。

特開２０２２－００８５６７号公報

しかしながら、監視カメラの映像から買い物カゴ内の商品数を推定する精度は必ずしも高くないため、商品のスキャン漏れを見逃してしまう、または商品のスキャン漏れの誤検知によるアラートの誤通知が発生してしまう場合がある。

１つの側面では、顧客自らが商品スキャンを行うシステムにおいて、商品のスキャン漏れに対するアラートの通知精度をより向上させることができる判定プログラム、判定方法、および判定装置を提供することを目的とする。

１つの態様において、判定プログラムは、カメラ装置で撮影された画像を分析することで、商品を載置するための第１の棚と、第１の棚よりも下方に設けられた第２の棚とを備えるショッピングカートのうち、第１の棚および第２の棚のそれぞれに物品が載置されていることを検知し、第１の棚および第２の棚のそれぞれに載置された物品の状態の組み合わせと、会計機に登録された登録情報とに基づいて、アラートを通知するか否かを判定する処理をコンピュータに実行させる。

１つの側面では、顧客自らが商品スキャンを行うシステムにおいて、商品のスキャン漏れに対するアラートの通知精度をより向上させることができる。

図１は、セルフスキャンによる商品購入の一例を示す図である。 図２は、買い物カゴの撮影の一例を示す図である。 図３は、カゴの中身を隠すケースの一例を示す図である。 図４は、実施例１にかかる情報処理システムの構成例を示す図である。 図５は、実施例１にかかる判定装置１０の構成例を示す図である。 図６は、実施例１にかかる商品情報３２に記憶されるデータの一例を示す図である。 図７は、実施例１にかかる閾値情報３３に記憶される閾値データ１の一例を示す図である。 図８は、実施例１にかかる閾値情報３３に記憶される閾値データ１の別例を示す図である。 図９は、実施例１にかかる閾値情報３３に記憶される閾値データ２の一例を示す図である。 図１０は、実施例１にかかる閾値情報３３に記憶される閾値データ３の一例を示す図である。 図１１は、実施例１にかかる商品数推定の前処理の一例を示す図である。 図１２は、実施例１にかかる推定可否判定の一例を示す図である。 図１３は、実施例１にかかる遮蔽率算出の問題点の一例を示す図である。 図１４は、実施例１にかかる判定処理の流れの一例を示すフローチャートである。 図１５は、実施例１にかかる判定処理の流れの別例を示すフローチャートである。 図１６は、実施例１にかかる判定処理の流れのさらに別例を示すフローチャートである。 図１７は、判定装置１０のハードウェア構成例を説明する図である。 図１８は、情報処理端末１０００のハードウェア構成例を説明する図である。 図１９は、セルフレジ端末４００のハードウェア構成例を説明する図である。

以下に、本実施形態に係る判定プログラム、判定方法、および判定装置の実施例を図面に基づいて詳細に説明する。なお、この実施例により本実施形態が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

まず、図１を用いて、顧客自らが商品をスキャンして登録し（以下、「セルフスキャン」という場合がある）、商品の購入を行う方法について説明する。図１は、セルフスキャンによる商品購入の一例を示す図である。

図１に示すように、まず、顧客は、利用者端末１００に表示される、商品をスキャンして登録などするためのアプリケーションを介して、訪れた店舗を選択する。当該アプリケーションは、利用者端末１００に予めインストールされる。また、利用者端末１００は、顧客の携帯するスマートフォンなどのモバイル端末であってもよいし、店舗内で顧客に貸し出される専用端末などであってよい。なお、店舗内で貸し出される専用端末の場合は、顧客が店舗を選択しなくても予め選択されていてよい。

次に、顧客は、購入する商品を取り、例えば、商品や商品棚などに貼付された商品ごとのバーコードや二次元コードなどを、利用者端末１００を用いて読み取る（以下、「商品スキャン」という場合がある）。これにより、購入する商品が、アプリケーションに登録される。

次に、顧客は、セルフレジ端末４００などのディスプレイ部に表示される支払いコードを、利用者端末１００を用いてスキャンする。そして、セルフレジ端末４００の精算画面に表示された金額を支払うことで商品の購入が完了する。

以上、図１を用いて、セルフスキャンによる商品購入について説明した。しかしながら、セルフスキャンでは、例えば、顧客が商品スキャンを行わずに商品をカゴに入れ、セルフレジ端末４００による支払いを行わずに商品の支払いを免れることができてしまう。または、顧客が購入商品の一部のみをスキャンし、スキャンした商品のみをセルフレジ端末４００で会計することで、一部の商品の支払いを免れることができてしまう。特に、商品の点数が少数の場合の不正行動は店員などによって発見し易いが、例えば、商品の点数が多数で一部の商品のスキャンを行わない場合などは店員などによる発見は困難である。

そこで、情報処理装置は、例えば、既存の物体検出アルゴリズムを用いて、監視カメラの映像から買い物カゴ（以下、単に「カゴ」という場合がある）や商品を検出し、カゴ内の商品数を推定する。既存の物体検出アルゴリズムとは、例えば、Ｆａｓｔｅｒ Ｒ－ＣＮＮ（Convolutional Neural Network）など深層学習を用いた物体検出アルゴリズムである。また、ＹＯＬＯ（You Only Look Once）やＳＳＤ（Single Shot Multibox Detector）、ＤＥＴＲ（DEtection TRansformer）などの物体検出アルゴリズムであってもよい。なお、既存技術によって機械学習モデルを用いて物体を検出する場合、カゴや商品など、物体ごとに複数の機械学習モデルを用いてもよいし、１つの機械学習モデルを用いてもよい。そして、情報処理装置は、例えば、推定された商品数と、顧客が商品スキャンによって登録した商品数とを比較することで商品のスキャン漏れを検知し、アラートを通知する。

図２は、買い物カゴの撮影の一例を示す図である。図２に示すように、上下段の棚を備えるショッピングカートの場合、主に、上段のカゴは上段用カメラによって上方向から撮影される。これは通常の手持ちのカゴの場合も同様である。一方、図２に示すように、下段のカゴは上段の棚やカゴに隠れてしまい上方向からの撮影は困難であるため、下段用カメラによって斜め上方向から撮影される。なお、上段のカゴは、カメラからの距離や角度によっては、図２で下段用カメラとして示したような斜め上方向からの撮影も可能である場合がある。また、上段のカゴは、下段に比べ目立ち易く店員による目視確認もし易い。そのため、不正を実施する場合の心理・行動として、上段は目立ち易いため、上段を目立たないようにしたり、見えないように隠したりすることが考えられる。

図３は、カゴの中身を隠すケースの一例を示す図である。例えば、図３に示すように、カゴの中の商品がレジ袋やマイバッグなどにより隠れてしまうと、監視カメラの映像を分析して商品数を推定することが困難になってしまう。

このように、例えば、ショッピングカートの場合に目立ちやすい上段に載置されたカゴの中身を目立たないようにしたり、カゴの中の商品を見えないように隠したりするケースが存在し、より精度の高いスキャン漏れの検知、およびアラートの通知が必要とされる。そこで、本実施形態では、顧客自らが商品スキャンを行うシステムにおいて、商品のスキャン漏れに対するアラートの通知精度をより向上させることを目的の一つとする。

また、ショッピングカートの場合、上段の方がアクセスしやすいため、一般的には、上段の商品数の方が下段の商品数より多くなる傾向にある。また、不正を実施する場合の心理・行動として、上段に大量の商品を載置しているが、購入対象の商品として会計機に登録された数が少ない場合は店員などに気付かれ易いため、商品を下段に置く可能性が高い。したがって、下段の商品数の方が上段の商品数より多くなる場合は、発生頻度が低い上に不正である可能性が高い。

そこで、本実施形態では、下段の商品数の方が上段の商品数より多くなる場合の商品のスキャン漏れ検知およびアラート通知の判定条件をより厳格にする。これにより、誤通知の増加を抑えつつ、スキャン漏れの見逃し率を改善し、延いてはアラートの通知精度をより向上させる。

まず、本実施形態を実施するための情報処理システムについて説明する。図４は、実施例１にかかる情報処理システムの構成例を示す図である。図４に示すように、情報処理システム１は、判定装置１０と、利用者端末１００－１～１００－Ｎ（Ｎは任意の整数。以下、まとめて「利用者端末１００」という）とが、ネットワーク５０を介して相互に通信可能に接続されるシステムである。

また、判定装置１０は、カメラ装置２００－１や２００－２（以下、まとめて「カメラ装置２００」という）や店員端末３００ともネットワーク５０を介して相互に通信可能に接続される。さらに、判定装置１０は、セルフレジ端末４００－１～４００－Ｌ（Ｍは任意の整数。以下、まとめて「セルフレジ端末４００」という）ともネットワーク５０を介して相互に通信可能に接続される。

ネットワーク５０には、有線や無線を問わず、例えば、小売店の店舗内で利用されるイントラネットなどの各種通信網を採用できる。また、ネットワーク５０は、単一のネットワークではなく、例えば、イントラネットとインターネットとがゲートウェイなどネットワーク装置やその他の装置（図示せず）を介して構成されてよい。なお、小売店の店舗内は、屋内に限定されず、敷地内の屋外を含んでよい。

判定装置１０は、例えば、小売店の店舗内に設置され、店舗スタッフや管理者などによって使用されるデスクトップＰＣ（Personal Computer）やノートＰＣ、またはサーバコンピュータなどの情報処理装置である。

判定装置１０は、例えば、カメラ装置２００によって撮像された複数の撮像画像を、カメラ装置２００から受信する。なお、複数の撮像画像とは、厳密には、カメラ装置２００によって撮影される映像、すなわち、動画の一連のフレームである。

また、判定装置１０は、例えば、既存の物体検出技術を用いて、撮像画像から、店舗に滞在する顧客（以下、単に「人物」という場合がある）、当該人物が持つ買い物カゴ、商品などを検出する。撮像画像からの商品などの物体検出は、例えば、商品などの物体を囲む矩形領域であるバウンディングボックスなど、撮像画像上の所定の領域が物体ごとに検出されてよい。そして、判定装置１０は、例えば、撮像画像から検出されたカゴや商品などに基づいて、カゴに収容された商品の数を算出する。

また、判定装置１０は、例えば、人物の位置情報と複数のセルフレジ端末４００－１～４００－Ｌのそれぞれの位置情報とに基づいて、人物が会計を行うセルフレジ端末４００を特定する。そして、判定装置１０は、カゴに収容された商品の数と、セルフレジ端末４００に対して登録された購入対象の商品の数との差に基づいて、セルフレジ端末４００に対して購入対象の商品として登録されていない未登録の商品があるか否かを判定する。未登録の商品がある場合、判定装置１０は、店員端末３００にアラートを通知する。なお、この際、判定装置１０は、例えば、ショッピングカートの上段と下段に載置されたカゴ内の商品の状態などによって、アラートを通知するか否かを判定する。

なお、図４では、判定装置１０を１台のコンピュータとして示しているが、複数台のコンピュータで構成される分散型コンピューティングシステムであってもよい。また、判定装置１０は、クラウドコンピューティングサービスを提供するサービス提供者によって管理されるクラウドコンピュータ装置であってもよい。

利用者端末１００は、例えば、商品を購入するために、顧客自らが商品のバーコードなどをスキャンして購入商品の登録を行うための情報処理端末である。利用者端末１００は、顧客が所有するスマートフォンやタブレットＰＣなどのモバイル端末であってもよいし、店舗内で貸し出される専用端末であってもよい。利用者端末１００には、商品をスキャンして登録などするためのアプリケーションが予めインストールされる。

顧客は利用者端末１００を用いて、例えば、商品や商品棚などに貼付された商品ごとのバーコードをスキャンして利用者端末１００に購入対象の商品を登録する。そして、商品の会計を行う際、顧客は、例えば、セルフレジ端末４００や、セルフレジ端末４００が設置されるセルフレジエリアの入り口などに設置されるコードリーダ（図示せず）に利用者端末１００に表示される二次元コードなどを読み取らせる。これにより、購入対象の商品情報が、セルフレジ端末４００や判定装置１０に登録される。

カメラ装置２００は、例えば、小売店の店舗内や敷地内に設置される監視カメラである。カメラ装置２００は、例えば、カゴを、上部から撮影するためのカメラ装置２００－１、側面から撮影するためのカメラ装置２００－２を含んでよい。特に、図４に示すように、上下２段に買い物カゴを載せられるショッピングカートが利用された場合、下段に載せられたカゴは、上部から撮影するカメラ装置２００－１では撮影が難しいため、側面から撮影するカメラ装置２００－２によって撮影が行われる。なお、カメラ装置２００－２が撮影する方向を示す側面とは、厳密にはカゴの斜め上方向であってよい。また、カメラ装置２００は、セルフレジ端末４００が設置されるセルフレジエリアの入り口や、セルフレジ端末４００ごとのカゴ置き場などに設置されてよい。カメラ装置２００によって撮影された映像は、判定装置１０に送信される。

店員端末３００は、小売店の店員が所持するスマートフォンやタブレットＰＣなどのモバイル端末であってもよいし、店舗内の所定位置に設置されるデスクトップＰＣやノートＰＣなどの情報処理装置であってもよい。店員端末３００は、顧客の不正行動やミスによる商品のスキャン漏れなどが判定装置１０によって検知された場合に、判定装置１０からアラートを受信する。なお、店員端末３００は、例えば、店舗の店員ごとに複数存在してよいが、当該アラートが通知される端末は、例えば、セルフレジエリア付近の警備を担当する店員が所持する端末などに限定されてもよい。

セルフレジ端末４００は、顧客自らが商品の会計を行うための会計機である。セルフレジ端末４００は、利用者端末１００を介してセルフスキャンによって登録された購入商品の登録情報を受信する。そして、セルフレジ端末４００は、顧客から現金やクレジットカード、電子マネーなどによって、購入商品の代金の支払いを受け付ける。

［判定装置１０の機能構成］
次に、判定装置１０の機能構成について説明する。図５は、実施例１にかかる判定装置１０の構成例を示す図である。図５に示すように、判定装置１０は、通信部２０、記憶部３０、および制御部４０を有する。

通信部２０は、利用者端末１００やカメラ装置２００など、他の情報処理装置との間の通信を制御する処理部であり、例えば、ネットワークインタフェースカードなどの通信インタフェースや、ＵＳＢ（Universal Serial Bus）インタフェースである。

記憶部３０は、各種データや、制御部４０が実行するプログラムを記憶する機能を有し、例えば、メモリやハードディスクなどの記憶装置により実現される。記憶部３０は、画像ＤＢ３１、商品情報３２、および閾値情報３３などを記憶する。

画像ＤＢ３１は、カメラ装置２００によって撮像された一連のフレームである複数の撮像画像を記憶する。画像ＤＢ３１に記憶される撮像画像は、カメラ装置２００によって撮像され、判定装置１０に送信された画像であり、画像ＤＢ３１には、撮像したカメラ装置２００を一意に識別するための識別子や、撮像日時などが記憶されてよい。また、画像ＤＢ３１は、当該撮像画像に対して特定された人物やカゴ、商品などの物体の画像中の位置情報を記憶できる。

商品情報３２は、セルフスキャンによって登録された購入対象の商品に関する登録情報を記憶する。当該登録情報は、例えば、利用者端末１００からセルフレジ端末４００を介して判定装置１０に送信され、商品情報３２に記憶される。図６は、実施例１にかかる商品情報３２に記憶されるデータの一例を示す図である。図６に示すように、商品情報３２は、セルフスキャンによって登録された商品の名称を示す「商品名」、当該商品ごとの数を示す「点数」、当該商品の価格を示す「金額」などを対応付けて記憶する。なお、「商品名」の他、または「商品名」に代えて、セルフスキャンによって登録された商品を一意に示す識別子や、当該商品の種別を示す「商品の種別」が記憶されてもよい。また、商品情報３２に、登録された商品が撮像された画像の識別子などを記憶し、画像ＤＢ３１に記憶される撮像画像と紐付けることができる。

閾値情報３３は、商品のスキャン漏れを検知し、アラートを通知するか否かを判定するための基準となる閾値に関する情報を記憶する。図７～１０を用いて閾値情報３３に記憶される閾値データについて説明するが、閾値情報３３は、図７～１０示される閾値データの全てを記憶する必要はなく、アラートを通知するか否かの判定内容によって必要な閾値データのみを記憶すればよい。

図７は、実施例１にかかる閾値情報３３に記憶される閾値データ１の一例を示す図である。図７に示すように、閾値情報３３は、例えば、閾値データ１として、ショッピングカートの上下段に載置された商品数の合算値を示す「上下段の商品数合算値」、および当該合算値の場合に用いられる閾値を示す「閾値」を記憶する。

アラートを通知するか否かの判定処理については後述するが、図７に示す閾値データ１は、例えば、判定内容「（撮像画像から推定された商品数－商品スキャンによって登録された商品数）≧閾値」に用いられる。より具体的には、例えば、ショッピングカートの上下段に載置された商品数の合算値が１～５の場合、図７に示すように閾値は１となり、これが判定の閾値に用いられる。

また、閾値データ１は、図７の例に限定されず、図８のようなデータであってよい。図８は、実施例１にかかる閾値情報３３に記憶される閾値データ１の別例を示す図である。図８に示すように、閾値情報３３は、例えば、閾値データ１として、ショッピングカートの上下段のそれぞれに載置された商品数を示す「上段商品数」および「下段商品数」、ならびに当該上段商品数および当該下段商品数の組み合わせに対する閾値を記憶する。図８に示す閾値データ１は、上下段の推定精度が異なる場合に有効であり、例えば、合算値が同じ１５個でも、上５個＋下１０個と、上１０個＋下５個とでは、上下で推定精度が異なるので閾値を別にする考えである。

図８に示す閾値データ１も、例えば、判定内容「（撮像画像から推定された商品数－商品スキャンによって登録された商品数）≧閾値」に用いられる。より具体的には、例えば、ショッピングカートの上下段のそれぞれに載置された商品数の組み合わせが１～１０と１１～２０であった場合、図８に示すように閾値は８となり、これが判定の閾値に用いられる。

また、閾値データ１とは別の判定に用いられる閾値データ２について説明する。図９は、実施例１にかかる閾値情報３３に記憶される閾値データ２の一例を示す図である。閾値情報３３は、例えば、閾値データ２として、ショッピングカートの上下段に載置された商品数の差分および合算値をそれぞれ示す「上下段の差分」および「上下段の商品数合算値」、ならびに当該差分および当該合算値の組み合わせに対する閾値を記憶する。

図９に示す閾値データ２は、例えば、判定内容「（撮像画像から推定された商品数－商品スキャンによって登録された商品数）≧閾値」に用いられる。より具体的には、例えば、ショッピングカートの上下段に載置された商品数の差分と合算値の組み合わせが１～５と１１～２０であった場合、図９に示すように閾値は６となり、これが判定の閾値に用いられる。図９に示す閾値データ２は、上下段の差分が大きければ大きい程、稀なケースで怪しいと判断、つまり、閾値を小さくして通知され易くする考えによる。

また、閾値データ１や２とは別の判定に用いられる閾値データ３について説明する。図１０は、実施例１にかかる閾値情報３３に記憶される閾値データ３の一例を示す図である。図１０に示すように、閾値情報３３は、例えば、閾値データ３として、ショッピングカートの下段に載置された商品数を示す「下段商品数」、および当該下段商品数の場合に用いられる閾値を示す「閾値」を記憶する。

図１０に示す閾値データ３は、例えば、判定内容「商品スキャンによって登録された商品数≦閾値」に用いられる。より具体的には、例えば、ショッピングカートの下段に載置された商品数が１１～２０の場合、図１０に示すように閾値は２０となり、これが判定の閾値に用いられる。図１０に示す閾値データ３は、上段の商品が隠れているなどで商品数の推定が困難な場合に、下段の商品数によって判定を行う考えである。

なお、記憶部３０に記憶される上記情報はあくまでも一例であり、記憶部３０は、上記情報以外にも様々な情報を記憶できる。

図５の説明に戻り、制御部４０は、判定装置１０全体を司る処理部であり、例えば、プロセッサなどである。制御部４０は、検知部４１、判定部４２、算出部４３、および通知部４４を備える。なお、各処理部は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例である。

検知部４１は、カメラ装置２００で撮影された画像を分析することで、商品を載置するための第１の棚と、第１の棚よりも下方に設けられた第２の棚とを備えるショッピングカートのうち第１の棚および第２の棚のそれぞれに物品が載置されていることを検知する。

なお、画像を分析する際、前処理として、画像からショッピングカートやカゴ、商品などの領域を抽出する。当該領域の抽出処理は、例えば、Ｆａｓｔｅｒ Ｒ－ＣＮＮやＹＯＬＯなど、既存の物体検出を用いて行われてよい。図１１は、実施例１にかかる商品数推定の前処理の一例を示す図である。図１１は、画像からカゴを検出する例を示したものである。図１１に示すように、検知部４１は、例えば、既存技術を用いて、バウンディングボックスによってカゴを含む所定領域を抽出し、当該領域をカゴとして検出する。ショッピングカートや商品などその他の物体検出についても同様である。なお、各領域は、バウンディングボックスに限られず、例えば、インスタンスセグメンテーションなどその他の手法を用いて抽出されてもよい。また、検知部４１は、例えば、カゴの領域を抽出する際、カゴを撮影した画像の回転補正を実行し、カゴの側面が画像上で水平になるように補正してもよい。

判定部４２は、例えば、検知部４１によって検知された、ショッピングカートの第１の棚および第２の棚のそれぞれに載置された物品の状態の組み合わせと、会計機に登録された登録情報とに基づいて、アラートを通知するか否かを判定する。より具体的には、例えば、判定部４２は、既存技術を用いて、第１の棚を上方向からカメラ装置２００で撮影された第１の画像を分析することで、第１の棚に載置された第１の商品の数を計数する。

また、判定部４２は、例えば、既存技術を用いて、第２の棚を横方向からカメラ装置２００で撮影された画像を分析することで、第２の棚に載置された第２の商品の数を計数する。そして、判定部４２は、例えば、第２の商品の数が第１の商品の数より大きい場合、第１の商品の数と第２の商品の数との差分と、予め設定された条件とに基づいて、アラートを通知するか否かを判定する。これは、ショッピングカートの場合、一般的には、上段の商品数の方が下段の商品数より多くなる傾向にあるため、下段の商品数の方が上段の商品数より多くなる場合は、発生頻度が低い上に不正である可能性が高く、通知判定をより厳格にするためである。

また、判定部４２は、例えば、既存技術を用いて、第１の棚を上方向からカメラ装置２００で撮影された画像を分析することで、第１の棚に載置された商品が、他の物体で覆われているか否かの第１の判定結果を取得する。また、判定部４２は、例えば、第２の棚を横方向からカメラ装置２００で撮影された画像を分析することで、第２の棚に商品が載置されているか否かの第２の判定結果を取得する。そして、判定部４２は、例えば、第１の判定結果および第２の判定結果に基づいて、アラートを通知するか否かを判定する。これは、ショッピングカートの上段の商品がレジ袋などにより覆われて隠れており商品数の推定ができない場合、下段の商品の有無を判定し、有る場合は下段の商品数によりアラートを通知するか否かを判定するためである。なお、商品がレジ袋などにより覆われているか否かの判定は、図１２に示すように、遮蔽率を用いて行われてよい。また、対象物品は、レジ袋の他、マイバッグ、カバン、上着などであってもよく、予め、対象物品が撮像された画像を用いて機械学習モデルを訓練しておく。

図１２は、実施例１にかかる推定可否判定の一例を示す図である。図１２に示すように、カゴの中の商品が商品以外のレジ袋などの対象物品により覆われている場合、判定部４２は、カゴの領域６０と対象物品の領域７０との重なり面積８０をカゴの領域６０の面積で割った値である遮蔽率を用いて、商品が覆われているか判定する。判定部４２は、例えば、遮蔽率が０．６、すなわち６０％以上の場合、商品が覆われているかと判定できる。

しかしながら、遮蔽率の算出にも問題点がある。図１３は、実施例１にかかる遮蔽率算出の問題点の一例を示す図である。図１３に示すように、対象物品の領域７０をバウンディングボックスとして抽出した場合、バウンディングボックスの各辺の向きは、画像の水平・垂直方向となるため、対象物品が細長く、斜めになっていると、遮蔽率が実際より大きく算出されてしまう可能性がある。この問題点は、バウンディングボックスの代わりにインスタンスセグメンテーションを用いて領域を抽出することで、対象物品が斜めになっていても正しい面積が算出できるため、解消できる。この場合、遮蔽率の算出方法は、例えば、「遮蔽率＝対象物品面積／（カゴ（商品含む）面積＋対象物品面積）」となる。なお、カゴの領域の抽出にはバウンディングボックスを用い、対象物品の領域の抽出にはインスタンスセグメンテーションを用いてもよい。

［処理の流れ］
次に、図１４～１６を用いて、判定装置１０によって実行されるアラート通知に対する判定処理の流れを説明する。図１４は、実施例１にかかる判定処理の流れの一例を示すフローチャートである。図１４に示す判定処理は、ショッピングカートの下段の商品数の方が上段の商品数より多くなる場合のアラート通知の判定条件をより厳格にし、アラートの通知精度をより向上させる処理である。図１４に示す判定処理は、例えば、一定時間ごと、またはカメラ装置２００から撮像画像が受信される度に実行されてよい。

まず、図１４に示すように、判定装置１０は、例えば、上部から撮影するカメラ装置２００－１によってショッピングカートの上段の棚に載置されたカゴが撮像された上段画像を画像ＤＢ３１から取得する（ステップＳ１０１）。なお、図１４に示す判定処理では、カメラ装置２００によって撮像された撮像画像、厳密には監視映像をリアルタイムに処理するため、撮像画像はカメラ装置２００から随時送信され、画像ＤＢ３１に記憶される。

次に、判定装置１０は、例えば、既存技術を用いて、ステップＳ１０１で取得した上段画像から上段の棚に載置されたカゴを検出する（ステップＳ１０２）。なお、カゴの検出は、バウンディングボックスなどによってカゴを含む所定領域が抽出されてよい。

次に、判定装置１０は、例えば、既存技術を用いて、ステップＳ１０１で取得した上段画像から、ステップＳ１０２で検出された上段のカゴに収容された商品を検出し、当該商品の数（以下、「上段商品数」という場合がある）を推定する（ステップＳ１０３）。なお、商品の検出も、バウンディングボックスなどによって商品を含む所定領域が抽出されてよい。

次に、判定装置１０は、例えば、側面、厳密には斜め上から撮影するカメラ装置２００－２によってショッピングカートの下段の棚に載置されたカゴが撮像された下段画像を画像ＤＢ３１から取得する（ステップＳ１０４）。

次に、判定装置１０は、例えば、既存技術を用いて、ステップＳ１０４で取得した下段画像から下段の棚に載置されたカゴを検出する（ステップＳ１０５）。

次に、判定装置１０は、例えば、既存技術を用いて、ステップＳ１０４で取得した下段画像から、ステップＳ１０５で検出された下段のカゴに収容された商品を検出し、当該商品の数（以下、「下段商品数」という場合がある）を推定する（ステップＳ１０６）。なお、ステップＳ１０１～Ｓ１０３の上段のカゴに収容された商品に関する処理、およびステップＳ１０４～Ｓ１０６の下段のカゴに収容された商品に関する処理の実行順序は逆であってもよいし、並列に処理されてもよい。

次に、判定装置１０は、例えば、ステップＳ１０３で推定された上段商品数と、ステップＳ１０６で推定された下段商品数とを比較する（ステップＳ１０７）。

ステップＳ１０３で推定された上段商品数が、ステップＳ１０６で推定された下段商品数未満の場合（ステップＳ１０７：Ｙｅｓ）、判定装置１０は、例えば、上段商品数と下段商品数との差分を算出する（ステップＳ１０８）。

次に、判定装置１０は、例えば、ステップＳ１０８で算出された上段商品数と下段商品数との差分と、上段商品数と下段商品数との合算数とに基づいて、図９を用いて説明したような閾値データ２から閾値を取得する（ステップＳ１０９）。ステップＳ１０９の後、ステップＳ１１１へ進む。

一方、上段商品数が下段商品数以上の場合（ステップＳ１０７：Ｎｏ）、判定装置１０は、例えば、上段商品数と下段商品数とに基づいて、図７や図８を用いて説明したような閾値データ１から閾値を取得する（ステップＳ１１０）。ステップＳ１１０の後、ステップＳ１１１へ進む。

次に、判定装置１０は、例えば、ショッピングカートを利用する対象顧客がセルフスキャンによって登録した購入対象の商品の数（以下、「登録数」という場合がある）を商品情報３２から取得する（ステップＳ１１１）。

次に、判定装置１０は、例えば、ステップＳ１０３で推定された上段商品数とステップＳ１０６で推定された下段商品数との合算値である推定商品数と、ステップＳ１１１で取得された登録数との差分を算出する（ステップＳ１１２）。

次に、判定装置１０は、例えば、ステップＳ１１２で算出された差分と、閾値とを比較する（ステップＳ１１３）。当該閾値は、ステップＳ１０７の条件分岐によって、ステップＳ１０９またはＳ１１０で取得された閾値である。

ステップＳ１１２で算出された差分が閾値未満の場合（ステップＳ１１３：Ｎｏ）、アラートの通知は不要と判断し、図１４に示す判定処理は終了する。

一方、ステップＳ１１２で算出された差分が閾値以上の場合（ステップＳ１１３：Ｙｅｓ）、アラートの通知が必要と判断し、判定装置１０は、例えば、店員端末３００にアラートを通知する（ステップＳ１１４）。ステップＳ１１４の実行後、図１４に示す判定処理は終了する。

次に、図１４に示す判定処理とは別の判定処理について、図１５を用いて処理の流れに沿って説明する。図１５は、実施例１にかかる判定処理の流れの別例を示すフローチャートである。図１５に示す判定処理は、ショッピングカートの上段の商品が隠れているなどで商品数の推定が困難な場合に、下段の商品数によって判定を行うことにより、アラートの通知精度をより向上させる処理である。図１５に示す判定処理も、例えば、一定時間ごと、またはカメラ装置２００から撮像画像が受信される度に実行されてよい。図１５に示す判定処理におけるステップＳ２０１～Ｓ２０５は、それぞれ、図１４に示す判定処理におけるステップＳ１０４～Ｓ１０６、Ｓ１０１、Ｓ１０２と同様である。

次に、判定装置１０は、例えば、ステップＳ２０４で取得した上段画像から、ステップＳ２０５で検出された上段のカゴに収容された商品を検出し、上段商品数を推定できるか否かを判定する（ステップＳ２０６）。上段商品数を推定できるか否かの判定は、例えば、図１２を用いて説明したような遮蔽率を用いて行われてよい。

上段商品数の推定はできると判定された場合（ステップＳ２０７：Ｎｏ）、ステップＳ２１３へ進む。ステップＳ２１３～Ｓ２１８は、それぞれ、図１４に示す判定処理におけるステップＳ１０３、Ｓ１１０～Ｓ１１４と同様である。

一方、上段商品数の推定はできず困難であると判定された場合（ステップＳ２０７：Ｙｅｓ）、判定装置１０は、例えば、下段商品の有無、すなわち、ステップＳ２０３で推定された下段商品数が１以上であるか否かを判定する（ステップＳ２０８）。

下段商品数が０で下段に商品が無い場合（ステップＳ２０８：Ｎｏ）、アラートの通知は不要と判断し、図１５に示す判定処理は終了する。

一方、下段商品数が１以上で下段に商品が有る場合（ステップＳ２０８：Ｙｅｓ）、判定装置１０は、例えば、ステップＳ２０３で推定された下段商品数に基づいて、図１１を用いて説明したような閾値データ３から閾値を取得する（ステップＳ２０９）。

次に、判定装置１０は、例えば、ショッピングカートを利用する対象顧客がセルフスキャンによって登録した購入対象の商品の数である登録数を商品情報３２から取得する（ステップＳ２１０）。

次に、判定装置１０は、例えば、ステップＳ２１０で取得された登録数と、ステップＳ２０９で取得された閾値とを比較する（ステップＳ２１１）。

ステップＳ２１０で取得された登録数が、ステップＳ２０９で取得された閾値より大きい場合（ステップＳ２１１：Ｎｏ）、アラートの通知は不要と判断し、図１５に示す判定処理は終了する。

一方、ステップＳ２１０で取得された登録数が、ステップＳ２０９で取得された閾値以下の場合（ステップＳ２１１：Ｙｅｓ）、アラートの通知が必要と判断し、判定装置１０は、例えば、店員端末３００にアラートを通知する（ステップＳ２１２）。ステップＳ２１２の実行後、図１５に示す判定処理は終了する。

次に、図１４や図１５に示す判定処理とはさらに別の判定処理について、図１６を用いて処理の流れに沿って説明する。図１６は、実施例１にかかる判定処理の流れのさらに別例を示すフローチャートである。図１６に示す判定処理は、図１４および図１５に示す判定処理を組み合わせた処理である。図１６に示す判定処理も、例えば、一定時間ごと、またはカメラ装置２００から撮像画像が受信される度に実行されてよい。図１６に示す判定処理におけるステップＳ３０１～Ｓ３１３は、図１５に示す判定処理におけるステップＳ２０１～Ｓ２１３と同様である。また、図１６に示す判定処理におけるステップＳ３１４～Ｓ３２１は、図１４に示す判定処理におけるステップＳ１０７～Ｓ１１４と同様である。ステップＳ３１２またはＳ３２１の実行後、図１６に示す判定処理は終了する。

［効果］
上述したように、判定装置１０は、カメラ装置２００で撮影された画像を分析することで、商品を載置するための第１の棚と、前記第１の棚よりも下方に設けられた第２の棚とを備えるショッピングカートのうち、前記第１の棚および前記第２の棚のそれぞれに物品が載置されていることを検知し、前記第１の棚および前記第２の棚のそれぞれに載置された前記物品の状態の組み合わせと、会計機に登録された登録情報とに基づいて、アラートを通知するか否かを判定する。

このようにして、判定装置１０は、顧客自らが商品スキャンを行うシステムにおいて、撮像画像から抽出される上下段のカゴに載置された商品の状態と会計情報とに基づいてアラートの通知判定を行う。これにより、判定装置１０は、商品のスキャン漏れに対するアラートの通知精度をより向上させることができる。

また、判定装置１０によって実行される、アラートを通知するか否かを判定する処理は、第１の棚を上方向から撮影された第１の画像を分析することで、第１の棚に載置された第１の商品の数を計数し、第２の棚を横方向から撮影された画像を分析することで、第２の棚に載置された第２の商品の数を計数し、第２の商品の数が第１の商品の数より大きい場合、第１の商品の数と第２の商品の数との差分と、予め設定された条件とに基づいて、アラートを通知するか否かを判定する処理を含む。

これにより、判定装置１０は、顧客自らが商品スキャンを行うシステムにおいて、商品のスキャン漏れに対するアラートの通知精度をより向上させることができる。

また、判定装置１０によって実行される、アラートを通知するか否かを判定する処理は、第１の棚を上方向から撮影された画像を分析することで、第１の棚に載置された商品が、他の物体で覆われているか否かの第１の判定結果を取得し、第２の棚を横方向から撮影された画像を分析することで、第２の棚に商品が載置されているか否かの第２の判定結果を取得し、第１の判定結果および第２の判定結果に基づいて、アラートを通知するか否かを判定する処理を含む。

これにより、判定装置１０は、顧客自らが商品スキャンを行うシステムにおいて、ショッピングカートの上段の商品が隠れており商品数の推定が困難な場合であっても、商品のスキャン漏れに対するアラートの通知精度をより向上させることができる。

［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報は、特記する場合を除いて任意に変更されてもよい。また、実施例で説明した具体例、分布、数値などは、あくまで一例であり、任意に変更されてもよい。

また、各装置の構成要素の分散や統合の具体的形態は図示のものに限られない。つまり、その構成要素の全部または一部は、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合されてもよい。さらに、各装置の各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

［ハードウェア］
図１７は、判定装置１０のハードウェア構成例を説明する図である。図１７に示すように、判定装置１０は、通信インタフェース１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１７に示した各部は、バスなどで相互に接続される。

通信インタフェース１０ａは、ネットワークインタフェースカードなどであり、他のサーバとの通信を行う。ＨＤＤ１０ｂは、図５に示した機能を動作させるプログラムやＤＢを記憶する。

プロセッサ１０ｄは、図５に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂなどから読み出してメモリ１０ｃに展開することで、図５などで説明した各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、判定装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、検知部４１、判定部４２、算出部４３、および通知部４４などと同様の機能を有するプログラムをＨＤＤ１０ｂなどから読み出す。そして、プロセッサ１０ｄは、判定部４２などと同様の処理を実行するプロセスを実行する。

このように判定装置１０は、図５に示した各処理部と同様の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、判定装置１０は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することで上述した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、判定装置１０によって実行されることに限定されるものではない。例えば、他の情報処理装置がプログラムを実行する場合や、判定装置１０と他の情報処理装置とが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。

また、図５に示した各処理部と同様の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto-Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。

図１８は、情報処理端末１０００のハードウェア構成例を説明する図である。利用者端末１００および店員端末３００は同様の構成を有してよいため、図１８では利用者端末１００および店員端末３００をまとめて情報処理端末１０００として利用者端末１００および店員端末３００のハードウェア構成例として示す。図１８に示すように、情報処理端末１０００は、通信インタフェース１０００ａ、ＨＤＤ１０００ｂ、メモリ１０００ｃ、プロセッサ１０００ｄ、入力装置１０００ｅ、表示装置１０００ｆを有する。また、図１８に示した各部は、バスなどで相互に接続される。

通信インタフェース１０００ａは、ネットワークインタフェースカードなどであり、他の情報処理装置との通信を行う。ＨＤＤ１０００ｂは、情報処理端末１０００の各機能を動作させるプログラムやデータを記憶する。

プロセッサ１００ｄは、情報処理端末１０００の各機能の処理を実行するプログラムをＨＤＤ１０００ｂなどから読み出してメモリ１０００ｃに展開することで、情報処理端末１０００の各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、情報処理端末１０００が有する各処理部と同様の機能を実行する。

このように、情報処理端末１０００は、情報処理端末１０００の各機能の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、情報処理端末１０００は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することで情報処理端末１０００の各機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理端末１０００によって実行されることに限定されるものではない。例えば、他の情報処理装置がプログラムを実行する場合や、情報処理端末１０００と他の情報処理装置とが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。

また、情報処理端末１０００の各機能の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、ＦＤ、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。

入力装置１０００ｅは、プロセッサ１００ｄによって実行されるプログラムに対する入力操作など、ユーザによる各種入力操作を検知する。当該入力操作には、例えば、タッチ操作や情報処理端末１０００に対するイヤホン端子の挿入などが含まれる。ここでタッチ操作とは、表示装置１０００ｆに対する種々の接触動作、例えば、タップ、ダブルタップ、スワイプ、ピンチなどをいう。また、タッチ操作には、表示装置１０００ｆに対し、例えば、指などの物体を近づける動作を含む。入力装置１０００ｅは、例えば、ボタン、タッチパネル、近接センサなどであってよい。

表示装置１０００ｆは、プロセッサ１０００ｄによる制御に基づいて各種視覚情報を表示する。表示装置１０００ｆは、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や、ＯＬＥＤ（Organic Light Emitting Diode）、いわゆる有機ＥＬ（Electro Luminescence）ディスプレイなどであってよい。

図１９は、セルフレジ端末４００のハードウェア構成例を説明する図である。図１９に示すように、セルフレジ端末４００は、通信インタフェース４００ａ、ＨＤＤ４００ｂ、メモリ４００ｃ、プロセッサ４００ｄ、入力装置４００ｅ、出力装置４００ｆを有する。また、図１９に示した各部は、バスなどで相互に接続される。

通信インタフェース４００ａは、ネットワークインタフェースカードなどであり、他の情報処理装置との通信を行う。ＨＤＤ４００ｂは、セルフレジ端末４００の各機能を動作させるプログラムやデータを記憶する。

プロセッサ４００ｄは、セルフレジ端末４００の各機能の処理を実行するプログラムをＨＤＤ４００ｂなどから読み出してメモリ４００ｃに展開することで、セルフレジ端末４００の各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、セルフレジ端末４００が有する各処理部と同様の機能を実行する。

このように、セルフレジ端末４００は、セルフレジ端末４００の各機能の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、セルフレジ端末４００は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することでセルフレジ端末４００の各機能を実現することもできる。なお、この他の実施例でいうプログラムは、セルフレジ端末４００によって実行されることに限定されるものではない。例えば、他の情報処理装置がプログラムを実行する場合や、セルフレジ端末４００と他の情報処理装置とが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。

また、セルフレジ端末４００の各機能の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、ＦＤ、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。

入力装置４００ｅは、プロセッサ４００ｄによって実行されるプログラムに対する入力操作など、ユーザによる各種入力操作を検知する。当該入力操作には、例えば、タッチ操作などが含まれる。タッチ操作の場合、セルフレジ端末４００はさらに表示装置を備え、入力装置４００ｅによって検知される入力操作は、当該表示装置に対するタッチ操作であってよい。入力装置４００ｅは、例えば、ボタン、タッチパネル、近接センサなどであってよい。

出力装置４００ｆは、プロセッサ４００ｄによって実行されるプログラムから出力されるデータをセルフレジ端末４００に接続された外部装置、例えば、外部ディスプレイ装置などを介して出力する。なお、セルフレジ端末４００が表示装置を備える場合、セルフレジ端末４００は出力装置４００ｆを備えなくてもよい。

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）カメラ装置で撮影された画像を分析することで、商品を載置するための第１の棚と、前記第１の棚よりも下方に設けられた第２の棚とを備えるショッピングカートのうち、前記第１の棚および前記第２の棚のそれぞれに物品が載置されていることを検知し、
前記第１の棚および前記第２の棚のそれぞれに載置された前記物品の状態の組み合わせと、会計機に登録された登録情報とに基づいて、アラートを通知するか否かを判定する
処理をコンピュータに実行させることを特徴とする判定プログラム。

（付記２）前記アラートを通知するか否かを判定する処理は、
前記第１の棚を上方向から撮影された第１の画像を分析することで、前記第１の棚に載置された第１の商品の数を計数し、
前記第２の棚を横方向から撮影された画像を分析することで、前記第２の棚に載置された第２の商品の数を計数し、
前記第２の商品の数が前記第１の商品の数より大きい場合、前記第１の商品の数と前記第２の商品の数との差分と、予め設定された条件とに基づいて、前記アラートを通知するか否かを判定する
処理を含むことを特徴とする付記１に記載の判定プログラム。

（付記３）前記アラートを通知するか否かを判定する処理は、
前記第１の棚を上方向から撮影された画像を分析することで、前記第１の棚に載置された商品が、他の物体で覆われているか否かの第１の判定結果を取得し、
前記第２の棚を横方向から撮影された画像を分析することで、前記第２の棚に商品が載置されているか否かの第２の判定結果を取得し、
前記第１の判定結果および前記第２の判定結果に基づいて、前記アラートを通知するか否かを判定する
処理を含むことを特徴とする付記１に記載の判定プログラム。

（付記４）カメラ装置で撮影された画像を分析することで、商品を載置するための第１の棚と、前記第１の棚よりも下方に設けられた第２の棚とを備えるショッピングカートのうち、前記第１の棚および前記第２の棚のそれぞれに物品が載置されていることを検知し、
前記第１の棚および前記第２の棚のそれぞれに載置された前記物品の状態の組み合わせと、会計機に登録された登録情報とに基づいて、アラートを通知するか否かを判定する
処理をコンピュータが実行することを特徴とする判定方法。

（付記５）前記アラートを通知するか否かを判定する処理は、
前記第１の棚を上方向から撮影された第１の画像を分析することで、前記第１の棚に載置された第１の商品の数を計数し、
前記第２の棚を横方向から撮影された画像を分析することで、前記第２の棚に載置された第２の商品の数を計数し、
前記第２の商品の数が前記第１の商品の数より大きい場合、前記第１の商品の数と前記第２の商品の数との差分と、予め設定された条件とに基づいて、前記アラートを通知するか否かを判定する
処理を含むことを特徴とする付記４に記載の判定方法。

（付記６）前記アラートを通知するか否かを判定する処理は、
前記第１の棚を上方向から撮影された画像を分析することで、前記第１の棚に載置された商品が、他の物体で覆われているか否かの第１の判定結果を取得し、
前記第２の棚を横方向から撮影された画像を分析することで、前記第２の棚に商品が載置されているか否かの第２の判定結果を取得し、
前記第１の判定結果および前記第２の判定結果に基づいて、前記アラートを通知するか否かを判定する
処理を含むことを特徴とする付記４に記載の判定方法。

（付記７）カメラ装置で撮影された画像を分析することで、商品を載置するための第１の棚と、前記第１の棚よりも下方に設けられた第２の棚とを備えるショッピングカートのうち、前記第１の棚および前記第２の棚のそれぞれに物品が載置されていることを検知し、
前記第１の棚および前記第２の棚のそれぞれに載置された前記物品の状態の組み合わせと、会計機に登録された登録情報とに基づいて、アラートを通知するか否かを判定する
処理を実行する制御部を有することを特徴とする判定装置。

（付記８）前記アラートを通知するか否かを判定する処理は、
前記第１の棚を上方向から撮影された第１の画像を分析することで、前記第１の棚に載置された第１の商品の数を計数し、
前記第２の棚を横方向から撮影された画像を分析することで、前記第２の棚に載置された第２の商品の数を計数し、
前記第２の商品の数が前記第１の商品の数より大きい場合、前記第１の商品の数と前記第２の商品の数との差分と、予め設定された条件とに基づいて、前記アラートを通知するか否かを判定する
処理を含むことを特徴とする付記７に記載の判定装置。

（付記９）前記アラートを通知するか否かを判定する処理は、
前記第１の棚を上方向から撮影された画像を分析することで、前記第１の棚に載置された商品が、他の物体で覆われているか否かの第１の判定結果を取得し、
前記第２の棚を横方向から撮影された画像を分析することで、前記第２の棚に商品が載置されているか否かの第２の判定結果を取得し、
前記第１の判定結果および前記第２の判定結果に基づいて、前記アラートを通知するか否かを判定する
処理を含むことを特徴とする付記７に記載の判定装置。

（付記１０）プロセッサと、
プロセッサに動作可能に接続されたメモリと
を備えた判定装置であって、プロセッサは、
カメラ装置で撮影された画像を分析することで、商品を載置するための第１の棚と、前記第１の棚よりも下方に設けられた第２の棚とを備えるショッピングカートのうち、前記第１の棚および前記第２の棚のそれぞれに物品が載置されていることを検知し、
前記第１の棚および前記第２の棚のそれぞれに載置された前記物品の状態の組み合わせと、会計機に登録された登録情報とに基づいて、アラートを通知するか否かを判定する
処理を実行することを特徴とする判定装置。

１ 情報処理システム
１０ 判定装置
１０ａ 通信インタフェース
１０ｂ ＨＤＤ
１０ｃ メモリ
１０ｄ プロセッサ
２０ 通信部
３０ 記憶部
３１ 画像ＤＢ
３２ 商品情報
４０ 制御部
４１ 検知部
４２ 判定部
４３ 算出部
４４ 通知部
５０ ネットワーク
６０ カゴの領域
７０ 対象物品の領域
８０ 重なり面積
１００ 利用者端末
２００ カメラ装置
３００ 店員端末
４００ セルフレジ端末
４００ａ 通信インタフェース
４００ｂ ＨＤＤ
４００ｃ メモリ
４００ｄ プロセッサ
４００ｅ 入力装置
４００ｆ 出力装置
１０００ 情報処理端末
１０００ａ 通信インタフェース
１０００ｂ ＨＤＤ
１０００ｃ メモリ
１０００ｄ プロセッサ
１０００ｅ 入力装置
１０００ｆ 表示装置

Claims (5)

1. カメラ装置で撮影された画像を分析することで、商品を載置するための第１の棚と、前記第１の棚よりも下方に設けられた第２の棚とを備えるショッピングカートのうち、前記第１の棚および前記第２の棚のそれぞれに物品が載置されていることを検知し、
   前記第１の棚および前記第２の棚のそれぞれに載置された前記物品の状態の組み合わせと、会計機に登録された登録情報とに基づいて、アラートを通知するか否かを判定する
   処理をコンピュータに実行させることを特徴とする判定プログラム。
2. 前記アラートを通知するか否かを判定する処理は、
   前記第１の棚を上方向から撮影された第１の画像を分析することで、前記第１の棚に載置された第１の商品の数を計数し、
   前記第２の棚を横方向から撮影された画像を分析することで、前記第２の棚に載置された第２の商品の数を計数し、
   前記第２の商品の数が前記第１の商品の数より大きい場合、前記第１の商品の数と前記第２の商品の数との差分と、予め設定された条件とに基づいて、前記アラートを通知するか否かを判定する
   処理を含むことを特徴とする請求項１に記載の判定プログラム。
3. 前記アラートを通知するか否かを判定する処理は、
   前記第１の棚を上方向から撮影された画像を分析することで、前記第１の棚に載置された商品が、他の物体で覆われているか否かの第１の判定結果を取得し、
   前記第２の棚を横方向から撮影された画像を分析することで、前記第２の棚に商品が載置されているか否かの第２の判定結果を取得し、
   前記第１の判定結果および前記第２の判定結果に基づいて、前記アラートを通知するか否かを判定する
   処理を含むことを特徴とする請求項１に記載の判定プログラム。
4. カメラ装置で撮影された画像を分析することで、商品を載置するための第１の棚と、前記第１の棚よりも下方に設けられた第２の棚とを備えるショッピングカートのうち、前記第１の棚および前記第２の棚のそれぞれに物品が載置されていることを検知し、
   前記第１の棚および前記第２の棚のそれぞれに載置された前記物品の状態の組み合わせと、会計機に登録された登録情報とに基づいて、アラートを通知するか否かを判定する
   処理をコンピュータが実行することを特徴とする判定方法。
5. カメラ装置で撮影された画像を分析することで、商品を載置するための第１の棚と、前記第１の棚よりも下方に設けられた第２の棚とを備えるショッピングカートのうち、前記第１の棚および前記第２の棚のそれぞれに物品が載置されていることを検知し、
   前記第１の棚および前記第２の棚のそれぞれに載置された前記物品の状態の組み合わせと、会計機に登録された登録情報とに基づいて、アラートを通知するか否かを判定する
   処理を実行する制御部を有することを特徴とする判定装置。

Images