JP2024008245A - 情報処理プログラム、情報処理方法、および情報処理装置 - Google Patents

情報処理プログラム、情報処理方法、および情報処理装置 Download PDF

Info

Publication number
JP2024008245A
JP2024008245A JP2022109953A JP2022109953A JP2024008245A JP 2024008245 A JP2024008245 A JP 2024008245A JP 2022109953 A JP2022109953 A JP 2022109953A JP 2022109953 A JP2022109953 A JP 2022109953A JP 2024008245 A JP2024008245 A JP 2024008245A
Authority
JP
Japan
Prior art keywords
product
basket
image
area
products
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022109953A
Other languages
English (en)
Inventor
翔 岩▲崎▼
Sho Iwasaki
史陽 冨安
Fumiharu Tomiyasu
源太 鈴木
Genta Suzuki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2022109953A priority Critical patent/JP2024008245A/ja
Priority to US17/979,769 priority patent/US20240013541A1/en
Priority to EP22206089.9A priority patent/EP4303825A1/en
Publication of JP2024008245A publication Critical patent/JP2024008245A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/327—Short range or proximity payments by means of M-devices
    • G06Q20/3276—Short range or proximity payments by means of M-devices using a pictured code, e.g. barcode or QR-code, being read by the M-device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Finance (AREA)
  • Geometry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】買い物カゴの側面や、他の商品に隠れて見えない商品が存在する場合があり、この場合、監視カメラの映像から買い物カゴ内の商品数を特定する際に誤差が発生してしまう場合がある。【解決手段】情報処理プログラムは、商品を収容するカゴを撮影した画像を取得し、取得した画像を解析することで、画像に含まれるカゴの領域を抽出し、取得した前記画像を解析することで、抽出されたカゴの領域に含まれる１つまたは複数の商品の領域を抽出し、抽出されたカゴの領域の位置に対する、商品の領域の輪郭の位置に基づいて、カゴに収容された商品の商品量を推定し、特定した商品量に基づいて、カゴに収容された商品の数を特定する処理をコンピュータに実行させる。【選択図】図９

Description

本発明は、情報処理プログラム、情報処理方法、および情報処理装置に関する。
小売店においては、レジの混雑を解消するために、顧客自らが商品をスキャンして登録し、会計を行うシステムの導入が進んでいる。さらに近年では、顧客が、小売店の店舗内で貸し出される端末や顧客の所持する端末にインストールしたアプリケーションを用いて、商品スキャンを行うシステムの導入が始まっている。このような顧客自らが商品スキャンを行うシステムでは、万引きなどの不正行動やミスを検知するため商品のスキャン漏れを検知することが必要になる。
一方、小売店において顧客の不正行動を検知するシステムとして、例えば、店舗内の監視カメラを使って、顧客の不審行動や、万引きなどの不正行動を検知するシステムが開発されている。また、監視カメラの映像から買い物カゴ内の商品数を特定し、特定された商品数と、顧客の購入商品に対する商品情報とを比較することで不正行動やミスを検知する技術もある。
米国特許第８４４８８５８号明細書 米国特許出願公開第２０１６／０１８９２７７号明細書 特開２０２０－１３５４２２号公報 特開２０１３－０４１３５４号公報
しかしながら、例えば、買い物カゴの側面や、他の商品に隠れて見えない商品が存在する場合があり、この場合、監視カメラの映像から買い物カゴ内の商品数を特定する際に誤差が発生してしまう場合がある。
１つの側面では、顧客自らが商品スキャンを行うシステムにおいて、買い物カゴ内の商品数をより正確に特定できる情報処理プログラム、情報処理方法、および情報処理装置を提供することを目的とする。
１つの態様において、情報処理プログラムは、商品を収容するカゴを撮影した画像を取得し、取得した画像を解析することで、画像に含まれるカゴの領域を抽出し、取得した画像を解析することで、抽出されたカゴの領域に含まれる１つまたは複数の商品の領域を抽出し、抽出されたカゴの領域の位置に対する、商品の領域の輪郭の位置に基づいて、カゴに収容された商品の商品量を推定し、特定した商品量に基づいて、カゴに収容された商品の数を特定する処理をコンピュータに実行させる。
１つの側面では、顧客自らが商品スキャンを行うシステムにおいて、買い物カゴ内の商品数をより正確に特定できる。
図１は、セルフスキャンによる商品購入の一例を示す図である。 図２は、商品検出の一例を示す図である。 図３は、商品検出の問題点の一例を示す図である。 図４は、実施例１にかかる情報処理システムの構成例を示す図である。 図５は、実施例１にかかる情報処理装置１０の構成例を示す図である。 図６は、実施例１にかかる商品情報３２に記憶されるデータの一例を示す図である。 図７は、実施例１にかかるカゴ領域の回転補正の一例を示す図である。 図８は、実施例１にかかるカゴ領域の回転補正の別例を示す図である。 図９は、実施例１にかかるカゴ内商品量の推定の一例を示す図である。 図１０は、実施例１にかかるカゴ内商品量の推定の別例を示す図である。 図１１は、実施例１にかかるカゴの位置によるカゴ・商品の見え方の違いの例を示す図である。 図１２は、実施例１にかかるカゴの位置による商品量の補正の一例を示す図である。 図１３は、実施例１にかかる商品数推定処理の流れの一例を示すフローチャートである。 図１４は、実施例１にかかる商品数推定処理の流れの別例を示すフローチャートである。 図１５は、実施例１にかかる商品数推定処理の流れのさらに別例を示すフローチャートである。 図１６は、情報処理装置１０のハードウェア構成例を説明する図である。 図１７は、情報処理端末１０００のハードウェア構成例を説明する図である。 図１８は、セルフレジ端末４００のハードウェア構成例を説明する図である。
以下に、本実施形態に係る情報処理プログラム、情報処理方法、および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例により本実施形態が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
まず、図１を用いて、顧客自らが商品をスキャンして登録し（以下、「セルフスキャン」という場合がある）、商品の購入を行う方法について説明する。図１は、セルフスキャンによる商品購入の一例を示す図である。
図１に示すように、まず、顧客は、利用者端末１００に表示される、商品をスキャンして登録などするためのアプリケーションを介して、訪れた店舗を選択する。当該アプリケーションは、利用者端末１００に予めインストールされる。また、利用者端末１００は、顧客の携帯するスマートフォンなどのモバイル端末であってもよいし、店舗内で顧客に貸し出される専用端末などであってよい。なお、店舗内で貸し出される専用端末の場合は、顧客が店舗を選択しなくても予め選択されていてよい。
次に、顧客は、購入する商品を取り、例えば、商品や商品棚などに貼付された商品ごとのバーコードや二次元コードなどを、利用者端末１００を用いて読み取る（以下、「商品スキャン」という場合がある）。これにより、購入する商品が、アプリケーションに登録される。
次に、顧客は、セルフレジ端末４００などのディスプレイ部に表示される支払いコードを、利用者端末１００を用いてスキャンする。そして、セルフレジ端末４００の精算画面に表示された金額を支払うことで商品の購入が完了する。
以上、図１を用いて、セルフスキャンによる商品購入について説明した。しかしながら、セルフスキャンでは、例えば、顧客が商品スキャンを行わずに商品をカゴに入れ、セルフレジ端末４００による支払いを行わずに商品の支払いを免れることができてしまう。または、顧客が購入商品の一部のみをスキャンし、スキャンした商品のみをセルフレジ端末４００で会計することで、一部の商品の支払いを免れることができてしまう。特に、商品の点数が少数の場合の不正行動は店員などによって発見し易いが、例えば、商品の点数が多数で一部の商品のスキャンを行わない場合などは店員などによる発見は困難である。
そこで、監視カメラの映像から買い物カゴ内の商品数を特定し、特定された商品数と、顧客の購入商品に対する商品情報とを比較することで不正行動やミスを検知する技術もある。
図２は、商品検出の一例を示す図である。図２に示すように、例えば、既存の物体検出アルゴリズムを用いて、監視カメラの映像から買い物カゴや商品が検出可能である。ここで、既存の物体検出アルゴリズムとは、例えば、Ｆａｓｔｅｒ Ｒ－ＣＮＮ（Regions with Convolutional Neural Network）など深層学習を用いた物体検出アルゴリズムである。また、ＹＯＬＯ（You Only Look Once）やＳＳＤ（Single Shot Multibox Detector）、ＤＥＴＲ（DEtection TRansformer）などの物体検出アルゴリズムであってもよい。そして、買い物カゴ内の検出された商品の数をカウントすることで、買い物カゴに収容された商品数が特定可能である。
しかしながら、図２の例では、買い物カゴを上部から撮影した映像であるが、監視カメラや買い物カゴの位置によっては、買い物カゴの側面や斜め上方向から撮影される場合もあり、買い物カゴの側面や他の商品に隠れて見えない商品が存在する場合がある。この場合、監視カメラの映像から買い物カゴ内の商品数を特定する際に誤差が発生してしまう場合がある。
図３は、商品検出の問題点の一例を示す図である。図３の左側の例では、買い物カゴに７個の商品が収容されているが、カゴの側面に隠れた商品があり、例えば、買い物カゴの側面から撮影された映像では７個よりも少ない商品数に特定されてしまう場合がある。また、図３の右側の例では、買い物カゴに４個の商品が収容されているが、他の商品に隠れた商品があり、４個よりも少ない商品数に特定されてしまう場合がある。そこで、本実施形態では、買い物カゴの側面や他の商品に隠れて見えない商品を考慮して買い物カゴ内の商品量を推定し、買い物カゴ内の商品数をより正確に特定することを目的の一つとする。
まず、本実施形態を実施するための情報処理システムについて説明する。図４は、実施例１にかかる情報処理システムの構成例を示す図である。図４に示すように、情報処理システム１は、情報処理装置１０と、利用者端末１００－１～１００－Ｎ（Ｎは任意の整数。以下、まとめて「利用者端末１００」という）とが、ネットワーク５０を介して相互に通信可能に接続されるシステムである。
また、情報処理装置１０は、カメラ装置２００－１や２００－２（以下、まとめて「カメラ装置２００」という）や店員端末３００ともネットワーク５０を介して相互に通信可能に接続される。さらに、情報処理装置１０は、セルフレジ端末４００－１～４００－Ｌ（Ｍは任意の整数。以下、まとめて「セルフレジ端末４００」という）ともネットワーク５０を介して相互に通信可能に接続される。
ネットワーク５０には、有線や無線を問わず、例えば、小売店の店舗内で利用されるイントラネットなどの各種通信網を採用できる。また、ネットワーク５０は、単一のネットワークではなく、例えば、イントラネットとインターネットとがゲートウェイなどネットワーク装置やその他の装置（図示せず）を介して構成されてよい。なお、小売店の店舗内は、屋内に限定されず、敷地内の屋外を含んでよい。
情報処理装置１０は、例えば、小売店の店舗内に設置され、店舗スタッフや管理者などによって使用されるデスクトップＰＣ（Personal Computer）やノートＰＣ、またはサーバコンピュータなどの情報処理装置である。
情報処理装置１０は、例えば、カメラ装置２００によって撮像された複数の撮像画像を、カメラ装置２００から受信する。なお、複数の撮像画像とは、厳密には、カメラ装置２００によって撮影される映像、すなわち、動画の一連のフレームである。
また、情報処理装置１０は、例えば、既存の物体検出技術を用いて、撮像画像から、店舗に滞在する顧客（以下、単に「人物」という場合がある）、当該人物が持つ買い物カゴ（以下、単に「カゴ」という場合がある）、商品を検出する。撮像画像からの商品などの物体検出は、例えば、商品などの物体を囲む矩形領域であるバウンディングボックスなど、撮像画像上の所定の領域が物体ごとに検出されてよい。そして、情報処理装置１０は、例えば、撮像画像から検出されたカゴや商品などに基づいて、カゴに収容された商品の数を算出する。
また、情報処理装置１０は、例えば、人物の位置情報と複数のセルフレジ端末４００－１～４００－Ｌのそれぞれの位置情報とに基づいて、人物が会計を行うセルフレジ端末４００を特定する。そして、情報処理装置１０は、カゴに収容された商品の数と、セルフレジ端末４００に対して登録された購入対象の商品の数との差に基づいて、セルフレジ端末４００に対して購入対象の商品として登録されていない未登録の商品があるか否かを判定する。未登録の商品がある場合、情報処理装置１０は、店員端末３００にアラートを通知する。
なお、図４では、情報処理装置１０を１台のコンピュータとして示しているが、複数台のコンピュータで構成される分散型コンピューティングシステムであってもよい。また、情報処理装置１０は、クラウドコンピューティングサービスを提供するサービス提供者によって管理されるクラウドコンピュータ装置であってもよい。
利用者端末１００は、例えば、商品を購入するために、顧客自らが商品のバーコードなどをスキャンして購入商品の登録を行うための情報処理端末である。利用者端末１００は、顧客が所有するスマートフォンやタブレットＰＣなどのモバイル端末であってもよいし、店舗内で貸し出される専用端末であってもよい。利用者端末１００には、商品をスキャンして登録などするためのアプリケーションが予めインストールされる。
顧客は利用者端末１００を用いて、例えば、商品や商品棚などに貼付された商品ごとのバーコードをスキャンして利用者端末１００に購入対象の商品を登録する。そして、商品の会計を行う際、顧客は、例えば、セルフレジ端末４００や、セルフレジ端末４００が設置されるセルフレジエリアの入り口などに設置されるコードリーダ（図示せず）に利用者端末１００に表示される二次元コードなどを読み取らせる。これにより、購入対象の商品情報が、セルフレジ端末４００や情報処理装置１０に登録される。
カメラ装置２００は、例えば、小売店の店舗内や敷地内に設置される監視カメラである。カメラ装置２００は、例えば、買い物カゴを、上部から撮影するためのカメラ装置２００－１、側面から撮影するためのカメラ装置２００－２を含んでよい。特に、図４に示すように、上下２段に買い物カゴを載せられるショッピングカートが利用された場合、下段に載せられた買い物カゴは、上部から撮影するカメラ装置２００－１では撮影が難しいため、側面から撮影するカメラ装置２００－２によって撮影が行われる。また、カメラ装置２００は、セルフレジ端末４００が設置されるセルフレジエリアの入り口や、セルフレジ端末４００ごとの買い物カゴ置き場などに設置されてよい。カメラ装置２００によって撮影された映像は、情報処理装置１０に送信される。
店員端末３００は、小売店の店員が所持するスマートフォンやタブレットＰＣなどのモバイル端末であってもよいし、店舗内の所定位置に設置されるデスクトップＰＣやノートＰＣなどの情報処理装置であってもよい。店員端末３００は、顧客の不正行動やミスによる商品のスキャン漏れなどが情報処理装置１０によって検知された場合に、情報処理装置１０からアラートを受信する。なお、店員端末３００は、例えば、店舗の店員ごとに複数存在してよいが、当該アラートが通知される端末は、例えば、セルフレジエリア付近の警備を担当する店員が所持する端末などに限定されてもよい。
セルフレジ端末４００は、顧客自らが商品の会計を行うためのセルフレジ端末である。セルフレジ端末４００は、利用者端末１００を介して登録された購入商品の情報を受信する。そして、セルフレジ端末４００は、顧客から現金やクレジットカード、電子マネーなどによって、購入商品の代金の支払いを受け付ける。
［情報処理装置１０の機能構成］
次に、情報処理装置１０の機能構成について説明する。図５は、実施例１にかかる情報処理装置１０の構成例を示す図である。図５に示すように、情報処理装置１０は、通信部２０、記憶部３０、および制御部４０を有する。
通信部２０は、利用者端末１００やカメラ装置２００など、他の情報処理装置との間の通信を制御する処理部であり、例えば、ＵＳＢ（Universal Serial Bus）インタフェースや、ネットワークインタフェースカードなどの通信インタフェースである。
記憶部３０は、各種データや、制御部４０が実行するプログラムを記憶する機能を有し、例えば、メモリやハードディスクなどの記憶装置により実現される。記憶部３０は、画像ＤＢ３１および商品情報３２などを記憶する。
画像ＤＢ３１は、カメラ装置２００によって撮像された一連のフレームである複数の撮像画像を記憶する。画像ＤＢ３１に記憶される撮像画像は、カメラ装置２００によって撮像され、情報処理装置１０に送信された画像であり、画像ＤＢ３１には、撮像したカメラ装置２００を一意に識別するための識別子や、撮像日時などが記憶されてよい。また、画像ＤＢ３１は、当該撮像画像に対して特定された人物や買い物カゴ、商品などの物体の画像中の位置情報を記憶できる。
商品情報３２は、セルフスキャンによって登録された購入対象の商品に関する情報を記憶する。図６は、実施例１にかかる商品情報３２に記憶されるデータの一例を示す図である。図６に示すように、商品情報３２は、セルフスキャンによって登録された商品の名称を示す「商品名」、当該商品ごとの数を示す「点数」、当該商品の価格を示す「金額」などを対応付けて記憶する。なお、「商品名」の他、または「商品名」に代えて、セルフスキャンによって登録された商品の種別を示す「商品の種別」が記憶されてもよい。また、商品情報３２に、登録された商品が撮像された画像の識別子などを記憶し、画像ＤＢ３１に記憶される撮像画像と紐付けることができる。
なお、記憶部３０に記憶される上記情報はあくまでも一例であり、記憶部３０は、上記情報以外にも様々な情報を記憶できる。
制御部４０は、情報処理装置１０全体を司る処理部であり、例えば、プロセッサなどである。制御部４０は、検出部４１、特定部４２、算出部４３、および通知部４４を備える。なお、各処理部は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例である。
検出部４１は、例えば、カメラ装置２００によって商品を収容するカゴを撮影した画像を解析することで、当該画像に含まれるカゴの領域を抽出する。また、検出部４１は、例えば、当該画像を解析することで、抽出されたカゴの領域に含まれる１つまたは複数の商品の領域を抽出する。なお、画像からのカゴや商品の領域の抽出は、例えば、Ｆａｓｔｅｒ Ｒ－ＣＮＮやＹＯＬＯなど、既存の物体検出を用いて行われてよい。
また、検出部４１は、例えば、カゴの領域を抽出する際、カゴを撮影した画像の回転補正を実行し、カゴの側面が画像上で水平になるように補正してもよい。図７は、実施例１にかかるカゴ領域の回転補正の一例を示す図である。図７に示すように、検出部４１は、画像全体を所定の角度回転させた後、カゴの領域を抽出してもよい。
図８は、実施例１にかかるカゴ領域の回転補正の別例を示す図である。図８の例では、検出部４１は、例えば、複数の角度で画像を回転し、検出される矩形領域の面積が最も小さいものを採用し、採用された矩形領域をカゴの領域として抽出する。
特定部４２は、例えば、検出部４１によって抽出されたカゴの領域に対する、商品の領域の輪郭の位置を特定する。図９は、実施例１にかかるカゴ内商品量の推定の一例を示す図である。図９に示すように、検出部４１によって抽出される商品の領域は、カゴに隠れた部分を除いた、見える部分の領域であってよい。
また、図９の左側に示すように、特定部４２は、カゴの領域６０に対する、商品の領域７０の輪郭の位置を特定する。これは、例えば、図９の左側に示すように、カゴの領域６０の上辺を１、底辺を０として、商品の領域７０の輪郭の上辺の位置を特定するものである。なお、商品が無い領域８０は、カゴの領域６０の底辺として特定される。そして、特定部４２は、例えば、商品の領域７０、および商品が無い領域８０の上辺の平均値、図９の左側の例では０．２を、カゴ内の商品量として推定する。
図９の右側に示すように、カゴ内の商品が複数ある場合であっても、特定部４２は、図９の左側同様、各商品の領域、および商品が無い領域の上辺の平均値、図９の右側の例では０．８を、カゴ内の商品量として推定する。なお、図１０に示すように、商品の領域７０の抽出をバウンディングボックスによるものでなく、インスタンスセグメンテーションで行った場合も、特定部４２は、カゴの領域６０に対する商品の領域７０の輪郭の位置に基づいて、カゴ内の商品量を推定可能である。
図１０は、実施例１にかかるカゴ内商品量の推定の別例を示す図である。例えば、図１０の例では、図１０の中央に示すように、特定部４２がインスタンスセグメンテーションを用いて、商品の領域７０をマスクして抽出している。この場合であっても、図１０の右側に示すように、例えば、商品の領域７０、および商品が無い領域８０の上辺の平均値を、カゴ内の商品量として推定できる。
また、特定部４２は商品量を推定する際、カメラ画像におけるカゴや商品の見え方によって商品量を補正して推定してよい。図１１は、実施例１にかかるカゴの位置によるカゴ・商品の見え方の違いの例を示す図である。図１１の左側の３枚のカメラ画像は、同一のカメラ装置２００－２によって、ショッピングカートの下段に載せられた同一のカゴを撮影したものである。図１１に示すように、これら３枚のカメラ画像では、ショッピングカートの位置が異なるため、カゴやカゴに収容された商品の見え方が異なってくる。図１１の右側に示すように、３枚のカメラ画像のそれぞれからカゴの領域を抽出した場合もカゴやカゴに収容された商品の見え方が異なってくる。そのため、図９や図１０を用いて説明した商品量の推定も、カゴやカゴに収容された商品の見え方によって誤差が生じる場合がある。そのため、本実施形態では、カメラ画像におけるカゴや商品の見え方によって商品量を補正して推定する。
図１２は、実施例１にかかるカゴの位置による商品量の補正の一例を示す図である。図１２の上段は、図９や図１０を用いて説明した商品量の推定によって、それぞれ、商品量０．６５および０．５が推定されたカゴおよび商品が示される。しかしながら、商品量０．６５および０．５と推定されたカゴおよび商品は、カメラ画像において見え方が異なるのみで実際には同一のカゴおよび商品である。そのため、特定部４２は、例えば、次の式（１）を用いて、カゴの位置によって商品量を補正する。
Figure 2024008245000002
 式（１）において、αが補正前の商品量、α´が補正後の商品量である。また、ｘは、カゴの位置、例えば、カメラ画像における所定の基準からカゴの中心点までの距離や、カメラ画像上の座標などである。また、ｋ（ｘ）はカゴの位置ごとの補正値である。
式（１）を用いることにより、図１２の下段に示すように、商品量を０とするカゴの位置、すなわち原点が補正されるため、それに伴い、商品量も補正される。そのため、商品量０．６５および０．５と推定された各値も、それぞれ、商品量０．３および０．３に補正される。なお、図９～１２を用いて説明したような商品量の推定によって推定された商品量は、後述するように、算出部４３によって商品数に換算される。
図５の説明に戻り、特定部４２は、例えば、セルフレジ端末４００を含むエリアをカメラ装置２００によって撮像した第２の画像から、カゴを有する第１の人物が利用する第１のセルフレジ端末４００を特定する。また、特定部４２は、例えば、第１のセルフレジ端末４００から購入対象の商品情報を受信し、当該商品情報に基づいて購入対象の商品の第３の数を特定する。なお、第１のセルフレジ端末４００から受信される商品情報３２は、第１の人物が利用する情報処理端末である利用者端末１００によって、商品に付与されたバーコードまたは二次元コードがスキャンされて登録されることにより生成される情報であってよい。
そして、特定部４２は、例えば、図９～１２を用いて説明したような、商品の領域の輪郭の特定された位置に基づいて算出された商品の数と、第３の数とに基づいて、セルフレジ端末４００に購入対象の商品として登録されていない商品の有無を判定する。
また、特定部４２は、例えば、抽出されたカゴの領域に含まれる、カゴを有する第１の人物の私物を特定する。このような私物の特定には、例えば、既存の機械学習技術を用いて、予め撮像画像からマイバッグや鞄などを私物として検出するように訓練して生成された機械学習モデルが用いられてよい。私物として特定された物体は、商品として検出されず、商品の領域抽出や、商品量や商品数の算出の対象から除外される。
また、特定部４２は、例えば、抽出されたカゴの領域に含まれる、商品の種別を特定する。これも、例えば、既存の機械学習技術を用いて、予め撮像画像から商品を検出すると共に、検出された商品の種別を出力するように訓練して生成された機械学習モデルが用いられてよい。
算出部４３は、例えば、商品の領域の輪郭の特定された位置に基づいて、カゴに収容された商品の数を算出する。これは、例えば、図９～１２を用いて説明したような商品量の推定によって推定された商品量に、例えば、２０などの換算係数を乗算することにより、商品数に換算される。より具体的には推定された商品量が０．３であった場合、商品数は、（換算係数）×（商品量）＝２０×０．３＝６個となる。なお、商品数への換算は、例えば、非線形関数ｆ（ｘ）を用いて、（商品数）＝ｆ（商品量）と換算したり、決定木を用いたランダムフォレストなどの推定方式を用いて換算したりしてもよい。また、特定部４２によって特定された、カゴの領域に含まれる、商品の種別にさらに基づいて商品の数が算出されてもよい。
また、例えば、カゴにトイレットペーパーや箱ティッシュセットなど大きな商品を含む場合、抽出される商品の矩形領域の数が少なく、そして１つの矩形領域の面積が大きくなる傾向にある。そのため、図９～１２を用いて説明したような方式では商品量、延いては商品数を実際より多く推定してしまう可能性がある。そこで、可視範囲の商品矩形の情報、例えば、数や大きさを商品数への換算に併用することで、推定誤差を軽減できる。すなわち、算出部４３は、例えば、画像における商品の矩形の領域の大きさを算出し、画像から抽出された商品の第２の数を算出する。そして、算出部４３は、例えば、算出された、領域の大きさ、商品の第２の数、および商品の領域の輪郭の特定部４２のよって特定された位置に基づいて、カゴに収容された商品の数を算出する。より具体的には、算出部４３は、例えば、次の式（２）～（４）を用いて商品数を算出する。
Figure 2024008245000003
Figure 2024008245000004
Figure 2024008245000005
 式（２）～（４）において、ｋ１、ｋ２、およびｋ３は、それぞれ、商品量、各商品の矩形領域の数、および各商品の矩形領域の面積の平均値に対する重み係数である。各商品の矩形領域の面積の平均値は、式（２）に示すように、画像から抽出された商品の全ての矩形領域の面積を用いて算出されてもよいし、式（３）に示すように、面積の大きい順からＮ個の矩形領域の面積を用いて算出されてもよい。または、各商品の矩形領域の面積の平均値は、式（４）に示すように、面積の大きい順からＮ個の矩形領域の面積を別の説明変数として用いて算出されてもよい。また、式（２）～（４）における（各商品の矩形領域の数）部分は、「ｋ２×ｍａｘ（０，Ｍ－各商品の矩形領域の数)」としてもよい。これは、例えば、各商品の矩形領域の数が、大きい商品が存在する可能性が高い所定数Ｍ未満の場合のみ、補正を行うようにするためである。より具体的には、例えば、Ｍ＝４とすると、ｍａｘ（０，ａ）は、ａ＞０ならばａとして補正して計算され、ａ≦０ならば０として補正なしで計算される。また、このような線形回帰の他、非線形関数を用いる手法や決定木を用いる手法を用いて、商品数が算出されてもよい。
ここで、機械学習モデルを用いた商品数の算出する方法について説明する。商品量と、商品の矩形領域の面積と、商品の矩形領域の数との少なくとも１つを訓練された機械学習モデルに入力することでカゴに収容された商品数が特定される。
例えば、訓練された機械学習モデルは、商品量である説明変数をニューラルネットワークに入力したときにニューラルネットワークが出力する出力結果と、商品の数のラベルである正解データとの誤差が小さくなるように、ニューラルネットワークのパラメータを変更した機械学習モデルである。
また、訓練済みの機械学習モデルは、商品量と、バウンディングボックスの面積と、バウンディングボックスの数とである説明変数をニューラルネットワークに入力したときにニューラルネットワークが出力する出力結果と、商品の数のラベルである正解データとの誤差が小さくなるように、ニューラルネットワークのパラメータを変更した機械学習モデルであってもよい。なお、バウンディングボックスの面積は、画像に含まれる商品ごとの矩形領域から、特定される画像に含まれるカゴに収容された商品の画像領域の面積であってもよい。また、バウンディングボックスの数は、商品の矩形領域の数から、特定される商品の矩形領域の総計であってもよい。
ここで、図９に戻って、バウンディングボックスを使って、商品量を特定する方法について説明する。バウンディングボックスは、例えば、Ｒ－ＣＮＮやＳＳＤを用いる。Ｒ－ＣＮＮは、四角形の領域を畳み込みニューラルネットワークの特徴と組み合わせて、領域のサブセットを検出する（領域提案）。次に、領域提案からＣＮＮ特徴量を抽出する。そして、ＣＮＮ特徴量を用いて予め学習したサポートベクタマシンによって、領域提案のバウンディングボックスを調整する。
ＳＳＤは、機械学習を用いた一般物体検知のアルゴリズムであって、デフォルトボックス（default boxes）という矩形領域から成るバウンディングボックスを決定する。１枚の画像上に、大きさの異なるデフォルトボックスを多数重畳させ、そのボックス毎に予測値を計算する。各デフォルトボックスについて、自身が物体からどのくらい離れていて、どのくらい大きさが異なるのか、とする位置の予測をすることができる。
検出部４１は、画像から、画像に含まれる商品ごとの商品を囲む第１のバウンディングボックスを特定する。また、検出部４１は、第２のバウンディングボックスの下側の境界線の位置を特定する。
特定部４２は、画像に含まれる商品ごとの当該第１のバウンディングボックスの上部の境界線の位置を特定する。そして、特定部４２は、特定された画像に含まれる商品ごとの上部の境界線の位置から、カゴに収容された商品の全体に対応する位置を特定する。さらに、特定部４２は、取得をした画像から、カゴを囲む第２のバウンディングボックスを特定する。
算出部４３は、下側の境界線の位置に対する、商品の全体に対応する位置に基づいて、カゴに収容された商品の商品量を特定する。さらに、算出部４３は、商品の商品量を、訓練された機械学習モデルに入力することで、商品の数を特定する。
［処理の流れ］
次に、情報処理装置１０によって実行される商品数推定処理の流れを説明する。図１３は、実施例１にかかる商品数推定処理の流れの一例を示すフローチャートである。図１３に示す商品数推定処理は、例えば、一定時間ごと、またはカメラ装置２００から撮像画像が受信される度に実行されてよい。
まず、図１３に示すように、情報処理装置１０は、例えば、カメラ装置２００によって買い物カゴが撮像された撮像画像を画像ＤＢ３１から取得する（ステップＳ１０１）。なお、図１３に示す商品数推定処理では、カメラ装置２００によって撮像された撮像画像、厳密には監視映像をリアルタイムに処理するため、撮像画像はカメラ装置２００から随時送信され、画像ＤＢ３１に記憶される。
次に、情報処理装置１０は、例えば、既存の物体検出アルゴリズムを用いて、ステップＳ１０１で取得した撮像画像から買い物カゴを検出する（ステップＳ１０２）。なお、買い物カゴの検出は、バウンディングボックスなどによって買い物カゴを含む所定領域が抽出されてよい。
次に、情報処理装置１０は、例えば、既存の物体検出アルゴリズムを用いて、ステップＳ１０１で取得した撮像画像から、ステップＳ１０２で検出された買い物カゴに収容された商品を検出する（ステップＳ１０３）。商品の検出も、バウンディングボックスなどによって商品を含む所定領域が抽出されてよい。
次に、情報処理装置１０は、例えば、ステップＳ１０３で検出された商品群の領域の輪郭を特定する（ステップＳ１０４）。これは、例えば、図９を用いて説明したように、カゴの領域６０の上辺を１、底辺を０として、商品の領域７０の輪郭の上辺の位置を特定するものである。また、この際、図９を用いて説明したように、商品が無い領域８０の上辺を０として特定してよい。
次に、情報処理装置１０は、例えば、ステップＳ１０４で特定された、商品群の領域および商品が無い領域の輪郭の位置に基づいて、商品量を算出する（ステップＳ１０５）。
そして、情報処理装置１０は、例えば、ステップＳ１０５で算出された商品量に、２０などの換算係数を乗算し、商品数へ換算する（ステップＳ１０６）。ステップＳ１０６の実行後、図１３に示す商品数推定処理は終了する。
次に、図１３に示す商品数推定処理とは別の商品数推定処理について、図１４を用いて処理の流れに沿って説明する。図１４は、実施例１にかかる商品数推定処理の流れの別例を示すフローチャートである。図１４に示す商品数推定処理におけるステップＳ２０１～Ｓ２０５は、図１３に示す商品数推定処理におけるステップＳ１０１～Ｓ１０５と同様である。
次に、情報処理装置１０は、例えば、図１２を用いて説明したように、式（１）を用いて、ステップＳ２０５で算出された商品量を、カゴの位置によって補正する（ステップＳ２０６）。
そして、情報処理装置１０は、例えば、ステップＳ２０６で補正された商品量に、２０などの換算係数を乗算し、商品数へ換算する（ステップＳ２０７）。ステップＳ２０７の実行後、図１４に示す商品数推定処理は終了する。
次に、図１３や図１４に示す商品数推定処理とはさらに別の商品数推定処理について、図１５を用いて処理の流れに沿って説明する。図１５は、実施例１にかかる商品数推定処理の流れのさらに別例を示すフローチャートである。図１５に示す商品数推定処理におけるステップＳ３０１～Ｓ３０４は、図１３に示す商品数推定処理におけるステップＳ１０１～Ｓ１０４と同様である。
次に、情報処理装置１０は、ステップＳ３０３で検出された商品群の領域の数や大きさを算出する（ステップＳ３０５）。
次に、情報処理装置１０は、例えば、ステップＳ３０４で特定された、商品群の領域および商品が無い領域の輪郭の位置に基づいて、商品量を算出する（ステップＳ３０６）。
そして、情報処理装置１０は、例えば、ステップＳ３０６で算出された商品量を、ステップＳ３０５で算出された商品群の領域の数や大きさ、および式（２）～（４）のいずれかを用いて、商品数へ換算する（ステップＳ３０７）。ステップＳ３０７の実行後、図１５に示す商品数推定処理は終了する。
［効果］
上述したように、情報処理装置１０は、商品を収容するカゴを撮影した画像を取得し、取得した画像を解析することで、画像に含まれるカゴの領域を抽出し、取得した画像を解析することで、抽出されたカゴの領域に含まれる１つまたは複数の商品の領域を抽出し、抽出されたカゴの領域の位置に対する、商品の領域の輪郭の位置に基づいて、カゴに収容された商品の商品量を推定し、特定した商品量に基づいて、カゴに収容された商品の数を特定する。また、商品の数を算出する際に、情報処理装置１０の処理量を削減できる。
このようにして、情報処理装置１０は、撮像画像から買い物カゴおよび商品の領域を抽出し、買い物カゴの領域に対する商品の領域の輪郭の位置に基づいて商品数を算出する。これにより、情報処理装置１０は、顧客自らが商品スキャンを行うシステムにおいて、買い物カゴ内の商品数をより正確に特定できる。
また、情報処理装置１０は、取得をした画像から、画像に含まれる商品ごとの商品を囲む第１のバウンディングボックスを特定し、画像に含まれる商品ごとの第１のバウンディングボックスの上部の境界線の位置を特定し、特定された画像に含まれる商品ごとの上部の境界線の位置から、カゴに収容された商品全体に対応する位置を特定し、取得をした画像から、カゴを囲む第２のバウンディングボックスを特定し、第２のバウンディングボックスの下部の境界線の位置を特定し、下部の境界線の位置に対する、商品全体に対応する位置に基づいて、カゴに収容された商品の商品量を特定し、特定された商品量に基づいて、カゴに収容された商品の数を出力する。
これにより、情報処理装置１０は、顧客自らが商品スキャンを行うシステムにおいて、買い物カゴ内の商品数をより正確に特定できる。
また、情報処理装置１０は、取得をした画像から、画像に含まれる商品ごとの商品を囲む第１の画像領域を検出し、画像に含まれる商品ごとの第１の画像領域の上部の境界線の位置と、第１の画像領域の数とをそれぞれ特定し、取得をした画像から、カゴを囲む第２の画像領域を検出し、第２の画像領域の境界線の位置と、第１の画像領域の上部の境界線の位置に基づいて、カゴに収容された商品の商品量を特定し、商品ごとの第１の画像領域を用いて、画像に含まれるカゴに収容された商品の画像領域の面積を特定し、特定された商品量と商品の画像領域の面積と第１の画像領域の数とを、訓練済みの機械学習モデルに入力することで、カゴに収容された前記商品の数を特定する。
これにより、情報処理装置１０は、顧客自らが商品スキャンを行うシステムにおいて、買い物カゴ内の商品数をより正確に特定できる。
また、情報処理装置１０によって実行される、商品の数を算出する処理は、画像における商品の矩形の領域の大きさを算出し、画像から抽出された商品の第２の数を算出し、領域の大きさ、商品の第２の数、および特定された輪郭の位置に基づいて、カゴに収容された商品の数を算出する処理を含む。
これにより、情報処理装置１０は、顧客自らが商品スキャンを行うシステムにおいて、買い物カゴ内の商品数をより正確に特定できる。
また、情報処理装置１０は、セルフレジ端末を含むエリアを撮像した第２の画像から、カゴを有する第１の人物が利用する第１のセルフレジ端末を特定し、第１のセルフレジ端末から購入対象の商品情報を受信し、商品情報に基づいて購入対象の商品の第３の数を特定し、特定された輪郭の位置に基づいて算出された商品の数と、第３の数とに基づいて、セルフレジ端末に購入対象の商品として登録されていない商品の有無を判定する。
これにより、情報処理装置１０は、顧客自らが商品スキャンを行うシステムにおいて、買い物カゴ内の商品数をより正確に特定できる。
また、情報処理装置１０によって実行される、商品情報を受信する処理は、第１の人物が利用する情報処理端末によって、商品に付与されたバーコードまたは二次元コードがスキャンされて登録されることにより生成される商品情報を第１のセルフレジ端末から受信する処理を含む。
これにより、情報処理装置１０は、顧客自らが商品スキャンを行うシステムにおいて、買い物カゴ内の商品数をより正確に特定できる。
また、情報処理装置１０によって実行される、商品の数を算出する処理は、画像から抽出された商品の第２の数を特定し、抽出されたカゴの領域に対する、商品の領域の輪郭の上辺の画像における位置の平均値を算出し、平均値に基づいて商品の第２の数を補正して、カゴに収容された商品の数を算出する処理を含む。
これにより、情報処理装置１０は、顧客自らが商品スキャンを行うシステムにおいて、買い物カゴ内の商品数をより正確に特定できる。
また、情報処理装置１０は、抽出されたカゴの領域に含まれる、カゴを有する第１の人物の私物を特定する処理を実行し、商品の数を算出する処理は、特定された私物は除外して、カゴに収容された商品の数を算出する処理を含む。
これにより、情報処理装置１０は、顧客自らが商品スキャンを行うシステムにおいて、買い物カゴ内の商品数をより正確に特定できる。
また、情報処理装置１０によって実行される、輪郭の位置を特定する処理は、インスタンスセグメンテーションを用いて、輪郭の位置を特定する処理を含む。
これにより、情報処理装置１０は、顧客自らが商品スキャンを行うシステムにおいて、買い物カゴ内の商品数をより正確に特定できる。
また、情報処理装置１０は、抽出されたカゴの領域に含まれる、商品の種別を特定する処理を実行し、商品の数を算出する処理は、商品の種別にさらに基づいて、カゴに収容された商品の数を算出する処理を含む。
これにより、情報処理装置１０は、顧客自らが商品スキャンを行うシステムにおいて、買い物カゴ内の商品数をより正確に特定できる。
また、情報処理装置１０によって実行される、カゴの領域を抽出する処理は、画像の回転補正を実行した後、回転補正された画像におけるカゴの領域を抽出する処理を含む。
これにより、情報処理装置１０は、顧客自らが商品スキャンを行うシステムにおいて、買い物カゴ内の商品数をより正確に特定できる。
［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報は、特記する場合を除いて任意に変更されてもよい。また、実施例で説明した具体例、分布、数値などは、あくまで一例であり、任意に変更されてもよい。
また、各装置の構成要素の分散や統合の具体的形態は図示のものに限られない。つまり、その構成要素の全部または一部は、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合されてもよい。さらに、各装置の各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
［ハードウェア］
図１６は、情報処理装置１０のハードウェア構成例を説明する図である。図１６に示すように、情報処理装置１０は、通信インタフェース１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１６に示した各部は、バスなどで相互に接続される。
通信インタフェース１０ａは、ネットワークインタフェースカードなどであり、他のサーバとの通信を行う。ＨＤＤ１０ｂは、図５に示した機能を動作させるプログラムやＤＢを記憶する。
プロセッサ１０ｄは、図５に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂなどから読み出してメモリ１０ｃに展開することで、図５などで説明した各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、情報処理装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、検出部４１、特定部４２、算出部４３、および通知部４４などと同様の機能を有するプログラムをＨＤＤ１０ｂなどから読み出す。そして、プロセッサ１０ｄは、特定部４２などと同様の処理を実行するプロセスを実行する。
このように情報処理装置１０は、図５に示した各処理部と同様の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、情報処理装置１０は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することで上述した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置１０によって実行されることに限定されるものではない。例えば、他の情報処理装置がプログラムを実行する場合や、情報処理装置１０と他の情報処理装置とが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。
また、図５に示した各処理部と同様の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto-Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。
図１７は、情報処理端末１０００のハードウェア構成例を説明する図である。利用者端末１００および店員端末３００は同様の構成を有してよいため、図１７では利用者端末１００および店員端末３００をまとめて情報処理端末１０００として利用者端末１００および店員端末３００のハードウェア構成例として示す。図１７に示すように、情報処理端末１０００は、通信インタフェース１０００ａ、ＨＤＤ１０００ｂ、メモリ１０００ｃ、プロセッサ１０００ｄ、入力装置１０００ｅ、表示装置１０００ｆを有する。また、図１７に示した各部は、バスなどで相互に接続される。
通信インタフェース１０００ａは、ネットワークインタフェースカードなどであり、他の情報処理装置との通信を行う。ＨＤＤ１０００ｂは、情報処理端末１０００の各機能を動作させるプログラムやデータを記憶する。
プロセッサ１００ｄは、情報処理端末１０００の各機能の処理を実行するプログラムをＨＤＤ１０００ｂなどから読み出してメモリ１０００ｃに展開することで、情報処理端末１０００の各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、情報処理端末１０００が有する各処理部と同様の機能を実行する。
このように、情報処理端末１０００は、情報処理端末１０００の各機能の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、情報処理端末１０００は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することで情報処理端末１０００の各機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理端末１０００によって実行されることに限定されるものではない。例えば、他の情報処理装置がプログラムを実行する場合や、情報処理端末１０００と他の情報処理装置とが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。
また、情報処理端末１０００の各機能の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、ＦＤ、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。
入力装置１０００ｅは、プロセッサ１００ｄによって実行されるプログラムに対する入力操作など、ユーザによる各種入力操作を検知する。当該入力操作には、例えば、タッチ操作や情報処理端末１０００に対するイヤホン端子の挿入などが含まれる。ここでタッチ操作とは、表示装置１０００ｆに対する種々の接触動作、例えば、タップ、ダブルタップ、スワイプ、ピンチなどをいう。また、タッチ操作には、表示装置１０００ｆに対し、例えば、指などの物体を近づける動作を含む。入力装置１０００ｅは、例えば、ボタン、タッチパネル、近接センサなどであってよい。
表示装置１０００ｆは、プロセッサ１０００ｄによる制御に基づいて各種視覚情報を表示する。表示装置１０００ｆは、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や、ＯＬＥＤ（Organic Light Emitting Diode）、いわゆる有機ＥＬ（Electro Luminescence）ディスプレイなどであってよい。
図１８は、セルフレジ端末４００のハードウェア構成例を説明する図である。図１８に示すように、セルフレジ端末４００は、通信インタフェース４００ａ、ＨＤＤ４００ｂ、メモリ４００ｃ、プロセッサ４００ｄ、入力装置４００ｅ、出力装置４００ｆを有する。また、図１８に示した各部は、バスなどで相互に接続される。
通信インタフェース４００ａは、ネットワークインタフェースカードなどであり、他の情報処理装置との通信を行う。ＨＤＤ４００ｂは、セルフレジ端末４００の各機能を動作させるプログラムやデータを記憶する。
プロセッサ４００ｄは、セルフレジ端末４００の各機能の処理を実行するプログラムをＨＤＤ４００ｂなどから読み出してメモリ４００ｃに展開することで、セルフレジ端末４００の各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、セルフレジ端末４００が有する各処理部と同様の機能を実行する。
このように、セルフレジ端末４００は、セルフレジ端末４００の各機能の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、セルフレジ端末４００は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することでセルフレジ端末４００の各機能を実現することもできる。なお、この他の実施例でいうプログラムは、セルフレジ端末４００によって実行されることに限定されるものではない。例えば、他の情報処理装置がプログラムを実行する場合や、セルフレジ端末４００と他の情報処理装置とが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。
また、セルフレジ端末４００の各機能の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、ＦＤ、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。
入力装置４００ｅは、プロセッサ４００ｄによって実行されるプログラムに対する入力操作など、ユーザによる各種入力操作を検知する。当該入力操作には、例えば、タッチ操作などが含まれる。タッチ操作の場合、セルフレジ端末４００はさらに表示装置を備え、入力装置４００ｅによって検知される入力操作は、当該表示装置に対するタッチ操作であってよい。入力装置４００ｅは、例えば、ボタン、タッチパネル、近接センサなどであってよい。
出力装置４００ｆは、プロセッサ４００ｄによって実行されるプログラムから出力されるデータをセルフレジ端末４００に接続された外部装置、例えば、外部ディスプレイ装置などを介して出力する。なお、セルフレジ端末４００が表示装置を備える場合、セルフレジ端末４００は出力装置４００ｆを備えなくてもよい。
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）商品を収容するカゴを撮影した画像を取得し、
前記画像における前記カゴの領域を抽出し、
前記抽出されたカゴの領域に含まれる１つまたは複数の商品の領域を抽出し、
前記抽出されたカゴの領域に対する、前記商品の領域の輪郭の位置を特定し、
前記特定された輪郭の位置に基づいて、前記カゴに収容された前記商品の数を算出する
処理をコンピュータに実行させることを特徴とする情報処理プログラム。
（付記２）取得をした前記画像から、前記画像に含まれる商品ごとの前記商品を囲む第１のバウンディングボックスを特定し、
前記画像に含まれる商品ごとの前記第１のバウンディングボックスの上部の境界線の位置を特定し、
特定された前記画像に含まれる商品ごとの前記上部の境界線の位置から、前記カゴに収容された商品全体に対応する位置を特定し、
取得をした前記画像から、前記カゴを囲む第２のバウンディングボックスを特定し、
前記第２のバウンディングボックスの下部の境界線の位置を特定し、
前記下部の境界線の位置に対する、前記商品全体に対応する位置に基づいて、前記カゴに収容された前記商品の商品量を特定し、
特定された商品量に基づいて、前記カゴに収容された前記商品の数を出力する
処理を前記コンピュータに実行させることを特徴とする付記１に記載の情報処理プログラム。
（付記３）取得をした前記画像から、前記画像に含まれる商品ごとの前記商品を囲む第１の画像領域を検出し、
前記画像に含まれる商品ごとの前記第１の画像領域の上部の境界線の位置と、前記第１の画像領域の数とをそれぞれ特定し、
取得をした前記画像から、前記カゴを囲む第２の画像領域を検出し、
前記第２の画像領域の境界線の位置と、前記第１の画像領域の上部の境界線の位置に基づいて、前記カゴに収容された前記商品の商品量を特定し、
商品ごとの前記第１の画像領域を用いて、前記画像に含まれる前記カゴに収容された商品の画像領域の面積を特定し、
特定された商品量と前記商品の画像領域の面積と前記第１の画像領域の数とを、訓練済みの機械学習モデルに入力することで、前記カゴに収容された前記商品の数を特定する
処理を前記コンピュータに実行させることを特徴とする付記１に記載の情報処理プログラム。
（付記４）前記商品の数を特定する処理は、
前記画像における前記商品の矩形の前記領域の大きさを算出し、
前記画像から抽出された前記商品の第２の数を算出し、
前記領域の大きさ、前記商品の第２の数、および前記特定された輪郭の位置に基づいて、前記カゴに収容された前記商品の数を特定する
処理を含むことを特徴とする付記１に記載の情報処理プログラム。
（付記５）セルフレジ端末を含むエリアを撮像した第２の画像から、前記カゴを有する第１の人物が利用する第１のセルフレジ端末を特定し、
前記第１のセルフレジ端末から購入対象の商品情報を受信し、
前記商品情報に基づいて購入対象の前記商品の第３の数を特定し、
前記特定された輪郭の位置に基づいて算出された前記商品の数と、前記第３の数とに基づいて、前記セルフレジ端末に購入対象の前記商品として登録されていない前記商品の有無を判定する
処理を前記コンピュータに実行させることを特徴とする付記１に記載の情報処理プログラム。
（付記６）前記商品情報を受信する処理は、
前記第１の人物が利用する情報処理端末によって、前記商品に付与されたバーコードまたは二次元コードがスキャンされて登録されることにより生成される前記商品情報を前記第１のセルフレジ端末から受信する
処理を含むことを特徴とする付記３に記載の情報処理プログラム。
（付記７）前記商品量を特定する処理は、
前記抽出されたカゴの領域に対する、前記商品の領域の輪郭の上辺の前記画像における位置の平均値を算出し、
前記カゴの位置に基づいて前記平均値を補正して、前記商品量を推定する
処理を含むことを特徴とする付記１に記載の情報処理プログラム。
（付記８）前記抽出されたカゴの領域に含まれる、前記カゴを有する第１の人物の私物を特定する処理を前記コンピュータに実行させ、
前記商品の数を特定する処理は、
前記特定された私物は除外して、前記カゴに収容された前記商品の数を特定する
処理を含むことを特徴とする付記１に記載の情報処理プログラム。
（付記９）インスタンスセグメンテーションを用いて、前記輪郭の位置を特定する
処理を前記コンピュータに実行させることを特徴とする付記１に記載の情報処理プログラム。
（付記１０）前記抽出されたカゴの領域に含まれる、前記商品の種別を特定する処理を前記コンピュータに実行させ、
前記商品の数を算出する処理は、
前記商品の種別にさらに基づいて、前記カゴに収容された前記商品の数を算出する
処理を含むことを特徴とする付記１に記載の情報処理プログラム。
（付記１１）前記カゴの領域を抽出する処理は、前記画像の回転補正を実行した後、回転補正された前記画像における前記カゴの領域を抽出する処理を含むことを特徴とする付記１に記載の情報処理プログラム。
（付記１２）商品を収容するカゴを撮影した画像を取得し、
前記画像における前記カゴの領域を抽出し、
前記抽出されたカゴの領域に含まれる１つまたは複数の商品の領域を抽出し、
前記抽出されたカゴの領域に対する、前記商品の領域の輪郭の位置を特定し、
前記特定された輪郭の位置に基づいて、前記カゴに収容された前記商品の数を算出する
処理をコンピュータが実行することを特徴とする情報処理方法。
（付記１３）取得をした前記画像から、前記画像に含まれる商品ごとの前記商品を囲む第１のバウンディングボックスを特定し、
前記画像に含まれる商品ごとの前記第１のバウンディングボックスの上部の境界線の位置を特定し、
特定された前記画像に含まれる商品ごとの前記上部の境界線の位置から、前記カゴに収容された商品全体に対応する位置を特定し、
取得をした前記画像から、前記カゴを囲む第２のバウンディングボックスを特定し、
前記第２のバウンディングボックスの下部の境界線の位置を特定し、
前記下部の境界線の位置に対する、前記商品全体に対応する位置に基づいて、前記カゴに収容された前記商品の商品量を特定し、
特定された商品量に基づいて、前記カゴに収容された前記商品の数を出力する
処理を前記コンピュータが実行することを特徴とする付記１２に記載の情報処理方法。
（付記１４）取得をした前記画像から、前記画像に含まれる商品ごとの前記商品を囲む第１の画像領域を検出し、
前記画像に含まれる商品ごとの前記第１の画像領域の上部の境界線の位置と、前記第１の画像領域の数とをそれぞれ特定し、
取得をした前記画像から、前記カゴを囲む第２の画像領域を検出し、
前記第２の画像領域の境界線の位置と、前記第１の画像領域の上部の境界線の位置に基づいて、前記カゴに収容された前記商品の商品量を特定し、
商品ごとの前記第１の画像領域を用いて、前記画像に含まれる前記カゴに収容された商品の画像領域の面積を特定し、
特定された商品量と前記商品の画像領域の面積と前記第１の画像領域の数とを、訓練済みの機械学習モデルに入力することで、前記カゴに収容された前記商品の数を特定する
処理を前記コンピュータが実行することを特徴とする付記１２に記載の情報処理方法。
（付記１５）前記商品の数を特定する処理は、
前記画像における前記商品の矩形の前記領域の大きさを算出し、
前記画像から抽出された前記商品の第２の数を算出し、
前記領域の大きさ、前記商品の第２の数、および前記特定された輪郭の位置に基づいて、前記カゴに収容された前記商品の数を特定する
処理を含むことを特徴とする付記１２に記載の情報処理方法。
（付記１６）セルフレジ端末を含むエリアを撮像した第２の画像から、前記カゴを有する第１の人物が利用する第１のセルフレジ端末を特定し、
前記第１のセルフレジ端末から購入対象の商品情報を受信し、
前記商品情報に基づいて購入対象の前記商品の第３の数を特定し、
前記特定された輪郭の位置に基づいて算出された前記商品の数と、前記第３の数とに基づいて、前記セルフレジ端末に購入対象の前記商品として登録されていない前記商品の有無を判定する
処理を前記コンピュータが実行することを特徴とする付記１２に記載の情報処理方法。
（付記１７）前記商品情報を受信する処理は、
前記第１の人物が利用する情報処理端末によって、前記商品に付与されたバーコードまたは二次元コードがスキャンされて登録されることにより生成される前記商品情報を前記第１のセルフレジ端末から受信する
処理を含むことを特徴とする付記１４に記載の情報処理方法。
（付記１８）前記商品量を推定する処理は、
前記抽出されたカゴの領域に対する、前記商品の領域の輪郭の上辺の前記画像における位置の平均値を算出し、
前記カゴの位置に基づいて前記平均値を補正して、前記商品量を推定する
処理を含むことを特徴とする付記１２に記載の情報処理方法。
（付記１９）前記抽出されたカゴの領域に含まれる、前記カゴを有する第１の人物の私物を特定する処理を前記コンピュータが実行し、
前記商品の数を特定する処理は、
前記特定された私物は除外して、前記カゴに収容された前記商品の数を特定する
処理を含むことを特徴とする付記１２に記載の情報処理方法。
（付記２０）インスタンスセグメンテーションを用いて、前記輪郭の位置を特定する
処理を前記コンピュータに実行させることを特徴とする付記１２に記載の情報処理方法。
（付記２１）前記抽出されたカゴの領域に含まれる、前記商品の種別を特定する処理を前記コンピュータが実行し、
前記商品の数を算出する処理は、
前記商品の種別にさらに基づいて、前記カゴに収容された前記商品の数を算出する
処理を含むことを特徴とする付記１２に記載の情報処理方法。
（付記２２）前記カゴの領域を抽出する処理は、前記画像の回転補正を実行した後、回転補正された前記画像における前記カゴの領域を抽出する処理を含むことを特徴とする付記１２に記載の情報処理方法。
（付記２３）商品を収容するカゴを撮影した画像を取得し、
前記画像における前記カゴの領域を抽出し、
前記抽出されたカゴの領域に含まれる１つまたは複数の商品の領域を抽出し、
前記抽出されたカゴの領域に対する、前記商品の領域の輪郭の位置を特定し、
前記特定された輪郭の位置に基づいて、前記カゴに収容された前記商品の数を算出する
処理を実行する制御部を有することを特徴とする情報処理装置。
（付記２４）取得をした前記画像から、前記画像に含まれる商品ごとの前記商品を囲む第１のバウンディングボックスを特定し、
前記画像に含まれる商品ごとの前記第１のバウンディングボックスの上部の境界線の位置を特定し、
特定された前記画像に含まれる商品ごとの前記上部の境界線の位置から、前記カゴに収容された商品全体に対応する位置を特定し、
取得をした前記画像から、前記カゴを囲む第２のバウンディングボックスを特定し、
前記第２のバウンディングボックスの下部の境界線の位置を特定し、
前記下部の境界線の位置に対する、前記商品全体に対応する位置に基づいて、前記カゴに収容された前記商品の商品量を特定し、
特定された商品量に基づいて、前記カゴに収容された前記商品の数を出力する
処理を前記制御部が実行することを特徴とする付記２３に記載の情報処理装置。
（付記２５）取得をした前記画像から、前記画像に含まれる商品ごとの前記商品を囲む第１の画像領域を検出し、
前記画像に含まれる商品ごとの前記第１の画像領域の上部の境界線の位置と、前記第１の画像領域の数とをそれぞれ特定し、
取得をした前記画像から、前記カゴを囲む第２の画像領域を検出し、
前記第２の画像領域の境界線の位置と、前記第１の画像領域の上部の境界線の位置に基づいて、前記カゴに収容された前記商品の商品量を特定し、
商品ごとの前記第１の画像領域を用いて、前記画像に含まれる前記カゴに収容された商品の画像領域の面積を特定し、
特定された商品量と前記商品の画像領域の面積と前記第１の画像領域の数とを、訓練済みの機械学習モデルに入力することで、前記カゴに収容された前記商品の数を特定する
処理を前記制御部が実行することを特徴とする付記２３に記載の情報処理装置。
（付記２６）前記商品の数を特定する処理は、
前記画像における前記商品の矩形の前記領域の大きさを算出し、
前記画像から抽出された前記商品の第２の数を算出し、
前記領域の大きさ、前記商品の第２の数、および前記特定された輪郭の位置に基づいて、前記カゴに収容された前記商品の数を特定する
処理を含むことを特徴とする付記２３に記載の情報処理装置。
（付記２７）セルフレジ端末を含むエリアを撮像した第２の画像から、前記カゴを有する第１の人物が利用する第１のセルフレジ端末を特定し、
前記第１のセルフレジ端末から購入対象の商品情報を受信し、
前記商品情報に基づいて購入対象の前記商品の第３の数を特定し、
前記特定された輪郭の位置に基づいて算出された前記商品の数と、前記第３の数とに基づいて、前記セルフレジ端末に購入対象の前記商品として登録されていない前記商品の有無を判定する
処理を前記制御部が実行することを特徴とする付記２３に記載の情報処理装置。
（付記２８）前記商品情報を受信する処理は、
前記第１の人物が利用する情報処理端末によって、前記商品に付与されたバーコードまたは二次元コードがスキャンされて登録されることにより生成される前記商品情報を前記第１のセルフレジ端末から受信する
処理を含むことを特徴とする付記２７に記載の情報処理装置。
（付記２９）前記商品量を推定する処理は、
前記抽出されたカゴの領域に対する、前記商品の領域の輪郭の上辺の前記画像における位置の平均値を算出し、
前記カゴの位置に基づいて前記平均値を補正して、前記商品量を推定する
処理を含むことを特徴とする付記２３に記載の情報処理装置。
（付記３０）前記抽出されたカゴの領域に含まれる、前記カゴを有する第１の人物の私物を特定する処理を前記制御部が実行し、
前記商品の数を特定する処理は、
前記特定された私物は除外して、前記カゴに収容された前記商品の数を特定する
処理を含むことを特徴とする付記２３に記載の情報処理装置。
（付記３１）インスタンスセグメンテーションを用いて、前記輪郭の位置を特定する
処理を前記コンピュータに実行させることを特徴とする付記２３に記載の情報処理装置。
（付記３２）前記抽出されたカゴの領域に含まれる、前記商品の種別を特定する処理を前記制御部が実行し、
前記商品の数を算出する処理は、
前記商品の種別にさらに基づいて、前記カゴに収容された前記商品の数を算出する
処理を含むことを特徴とする付記２３に記載の情報処理装置。
（付記３３）前記カゴの領域を抽出する処理は、前記画像の回転補正を実行した後、回転補正された前記画像における前記カゴの領域を抽出する処理を含むことを特徴とする付記２３に記載の情報処理装置。
（付記３４）プロセッサと、
プロセッサに動作可能に接続されたメモリと
を備えた情報処理装置であって、プロセッサは、
商品を収容するカゴを撮影した画像を取得し、
取得した前記画像を解析することで、前記画像に含まれる前記カゴの領域を抽出し、
取得した前記画像を解析することで、前記抽出されたカゴの領域に含まれる１つまたは複数の商品の領域を抽出し、
前記抽出されたカゴの領域の位置に対する、前記商品の領域の輪郭の位置に基づいて、前記カゴに収容された前記商品の商品量を推定し、
特定した前記商品量に基づいて、前記カゴに収容された商品の数を特定する
処理を実行することを特徴とする情報処理装置。
１ 情報処理システム
１０ 情報処理装置
１０ａ 通信インタフェース
１０ｂ ＨＤＤ
１０ｃ メモリ
１０ｄ プロセッサ
２０ 通信部
３０ 記憶部
３１ 画像ＤＢ
３２ 商品情報
４０ 制御部
４１ 検出部
４２ 特定部
４３ 算出部
４４ 通知部
５０ ネットワーク
６０ カゴの領域
７０ 商品の領域
８０ 商品が無い領域
１００ 利用者端末
４００ セルフレジ端末
４００ａ 通信インタフェース
４００ｂ ＨＤＤ
４００ｃ メモリ
４００ｄ プロセッサ
４００ｅ 入力装置
４００ｆ 出力装置
１０００ 情報処理端末
１０００ａ 通信インタフェース
１０００ｂ ＨＤＤ
１０００ｃ メモリ
１０００ｄ プロセッサ
１０００ｅ 入力装置
１０００ｆ 表示装置

Claims (13)

  1. 商品を収容するカゴを撮影した画像を取得し、
    取得した前記画像を解析することで、前記画像に含まれる前記カゴの領域を抽出し、
    取得した前記画像を解析することで、前記抽出されたカゴの領域に含まれる１つまたは複数の商品の領域を抽出し、
    前記抽出されたカゴの領域の位置に対する、前記商品の領域の輪郭の位置に基づいて、前記カゴに収容された前記商品の商品量を推定し、
    特定した前記商品量に基づいて、前記カゴに収容された商品の数を特定する
    処理をコンピュータに実行させることを特徴とする情報処理プログラム。
  2. 取得をした前記画像から、前記画像に含まれる商品ごとの前記商品を囲む第１のバウンディングボックスを特定し、
    前記画像に含まれる商品ごとの前記第１のバウンディングボックスの上部の境界線の位置を特定し、
    特定された前記画像に含まれる商品ごとの前記上部の境界線の位置から、前記カゴに収容された商品全体に対応する位置を特定し、
    取得をした前記画像から、前記カゴを囲む第２のバウンディングボックスを特定し、
    前記第２のバウンディングボックスの下部の境界線の位置を特定し、
    前記下部の境界線の位置に対する、前記商品全体に対応する位置に基づいて、前記カゴに収容された前記商品の商品量を特定し、
    特定された商品量に基づいて、前記カゴに収容された前記商品の数を出力する
    処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。
  3. 取得をした前記画像から、前記画像に含まれる商品ごとの前記商品を囲む第１の画像領域を検出し、
    前記画像に含まれる商品ごとの前記第１の画像領域の上部の境界線の位置と、前記第１の画像領域の数とをそれぞれ特定し、
    取得をした前記画像から、前記カゴを囲む第２の画像領域を検出し、
    前記第２の画像領域の境界線の位置と、前記第１の画像領域の上部の境界線の位置に基づいて、前記カゴに収容された前記商品の商品量を特定し、
    商品ごとの前記第１の画像領域を用いて、前記画像に含まれる前記カゴに収容された商品の画像領域の面積を特定し、
    特定された商品量と前記商品の画像領域の面積と前記第１の画像領域の数とを、訓練済みの機械学習モデルに入力することで、前記カゴに収容された前記商品の数を特定する
    処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。
  4. 前記商品の数を特定する処理は、
    前記画像における前記商品の矩形の前記領域の大きさを算出し、
    前記画像から抽出された前記商品の第２の数を算出し、
    前記領域の大きさ、前記商品の第２の数、および前記特定された輪郭の位置に基づいて、前記カゴに収容された前記商品の数を特定する
    処理を含むことを特徴とする請求項１に記載の情報処理プログラム。
  5. セルフレジ端末を含むエリアを撮像した第２の画像から、前記カゴを有する第１の人物が利用する第１のセルフレジ端末を特定し、
    前記第１のセルフレジ端末から購入対象の商品情報を受信し、
    前記商品情報に基づいて購入対象の前記商品の第３の数を特定し、
    前記特定された輪郭の位置に基づいて算出された前記商品の数と、前記第３の数とに基づいて、前記セルフレジ端末に購入対象の前記商品として登録されていない前記商品の有無を判定する
    処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。
  6. 前記商品情報を受信する処理は、
    前記第１の人物が利用する情報処理端末によって、前記商品に付与されたバーコードまたは二次元コードがスキャンされて登録されることにより生成される前記商品情報を前記第１のセルフレジ端末から受信する
    処理を含むことを特徴とする請求項５に記載の情報処理プログラム。
  7. 前記商品量を推定する処理は、
    前記抽出されたカゴの領域に対する、前記商品の領域の輪郭の上辺の前記画像における位置の平均値を算出し、
    前記カゴの位置に基づいて前記平均値を補正して、前記商品量を推定する
    処理を含むことを特徴とする請求項１に記載の情報処理プログラム。
  8. 前記抽出されたカゴの領域に含まれる、前記カゴを有する第１の人物の私物を特定する処理を前記コンピュータに実行させ、
    前記商品の数を特定する処理は、
    前記特定された私物は除外して、前記カゴに収容された前記商品の数を特定する
    処理を含むことを特徴とする請求項１に記載の情報処理プログラム。
  9. インスタンスセグメンテーションを用いて、前記輪郭の位置を特定する
    処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。
  10. 前記抽出されたカゴの領域に含まれる、前記商品の種別を特定する処理を前記コンピュータに実行させ、
    前記商品の数を算出する処理は、
    前記商品の種別にさらに基づいて、前記カゴに収容された前記商品の数を算出する
    処理を含むことを特徴とする請求項１に記載の情報処理プログラム。
  11. 前記カゴの領域を抽出する処理は、前記画像の回転補正を実行した後、回転補正された前記画像における前記カゴの領域を抽出する処理を含むことを特徴とする請求項１に記載の情報処理プログラム。
  12. 商品を収容するカゴを撮影した画像を取得し、
    取得した前記画像を解析することで、前記画像に含まれる前記カゴの領域を抽出し、
    取得した前記画像を解析することで、前記抽出されたカゴの領域に含まれる１つまたは複数の商品の領域を抽出し、
    前記抽出されたカゴの領域の位置に対する、前記商品の領域の輪郭の位置に基づいて、前記カゴに収容された前記商品の商品量を推定し、
    特定した前記商品量に基づいて、前記カゴに収容された商品の数を特定する
    処理をコンピュータが実行することを特徴とする情報処理方法。
  13. 商品を収容するカゴを撮影した画像を取得し、
    取得した前記画像を解析することで、前記画像に含まれる前記カゴの領域を抽出し、
    取得した前記画像を解析することで、前記抽出されたカゴの領域に含まれる１つまたは複数の商品の領域を抽出し、
    前記抽出されたカゴの領域の位置に対する、前記商品の領域の輪郭の位置に基づいて、前記カゴに収容された前記商品の商品量を推定し、
    特定した前記商品量に基づいて、前記カゴに収容された商品の数を特定する
    処理を実行する制御部を有することを特徴とする情報処理装置。
JP2022109953A 2022-07-07 2022-07-07 情報処理プログラム、情報処理方法、および情報処理装置 Pending JP2024008245A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022109953A JP2024008245A (ja) 2022-07-07 2022-07-07 情報処理プログラム、情報処理方法、および情報処理装置
US17/979,769 US20240013541A1 (en) 2022-07-07 2022-11-03 Computer-readable recording medium, information processing method, and information processing apparatus
EP22206089.9A EP4303825A1 (en) 2022-07-07 2022-11-08 Information processing program, information processing method, and information processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022109953A JP2024008245A (ja) 2022-07-07 2022-07-07 情報処理プログラム、情報処理方法、および情報処理装置

Publications (1)

Publication Number Publication Date
JP2024008245A true JP2024008245A (ja) 2024-01-19

Family

ID=84330575

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022109953A Pending JP2024008245A (ja) 2022-07-07 2022-07-07 情報処理プログラム、情報処理方法、および情報処理装置

Country Status (3)

Country Link
US (1) US20240013541A1 (ja)
EP (1) EP4303825A1 (ja)
JP (1) JP2024008245A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117670979B (zh) * 2024-02-01 2024-04-30 四川港投云港科技有限公司 一种基于固定点位单目相机的大宗货物体积测量方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7631808B2 (en) * 2004-06-21 2009-12-15 Stoplift, Inc. Method and apparatus for detecting suspicious activity using video analysis
US8448858B1 (en) 2004-06-21 2013-05-28 Stoplift, Inc. Method and apparatus for detecting suspicious activity using video analysis from alternative camera viewpoint
JP2013041354A (ja) 2011-08-12 2013-02-28 Seiko Epson Corp 商品販売システム、携帯端末、管理サーバー、商品販売システムの制御方法およびプログラム
US20160189277A1 (en) 2014-12-24 2016-06-30 Digimarc Corporation Self-checkout arrangements
JP6786784B2 (ja) * 2015-09-30 2020-11-18 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
US20200151692A1 (en) * 2018-04-18 2020-05-14 Sbot Technologies, Inc. d/b/a Caper Inc. Systems and methods for training data generation for object identification and self-checkout anti-theft
US20200079412A1 (en) * 2018-09-07 2020-03-12 Gatekeeper Systems, Inc. Shopping basket monitoring using computer vision and machine learning
JP6849234B2 (ja) 2019-02-20 2021-03-24 Ｎｅｃプラットフォームズ株式会社 セルフｐｏｓシステム、制御方法及び制御プログラム
US11869032B2 (en) * 2019-10-01 2024-01-09 Medixin Inc. Computer system and method for offering coupons

Also Published As

Publication number Publication date
US20240013541A1 (en) 2024-01-11
EP4303825A1 (en) 2024-01-10

Similar Documents

Publication Publication Date Title
US20210304176A1 (en) Information processing system
US9299229B2 (en) Detecting primitive events at checkout
US20230027382A1 (en) Information processing system
EP3185146A1 (en) Information processing apparatus
JP2024008245A (ja) 情報処理プログラム、情報処理方法、および情報処理装置
JP7398706B2 (ja) 不正防止システム、及び不正防止プログラム
CN112154488B (zh) 信息处理装置、控制方法和程序
JP7318684B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
JP7318683B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
JP7318680B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
JP7318679B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
JP2024008708A (ja) 判定プログラム、判定方法、および判定装置
EP4160533A1 (en) Estimation program, estimation method, and estimation device
KR101842979B1 (ko) 점포 관리 서버
US20230005267A1 (en) Computer-readable recording medium, fraud detection method, and fraud detection apparatus
EP4231250A1 (en) Information processing program, information processing method, and information processing apparatus
EP4231252A1 (en) Information processing program, information processing method, and information processing apparatus
EP4202880A1 (en) Information processing program, information processing method, and information processing apparatus