JP5942173B2 - 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法 - Google Patents

商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法 Download PDF

Info

Publication number
JP5942173B2
JP5942173B2 JP2014224826A JP2014224826A JP5942173B2 JP 5942173 B2 JP5942173 B2 JP 5942173B2 JP 2014224826 A JP2014224826 A JP 2014224826A JP 2014224826 A JP2014224826 A JP 2014224826A JP 5942173 B2 JP5942173 B2 JP 5942173B2
Authority
JP
Japan
Prior art keywords
product
display
sales
store
opportunity loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014224826A
Other languages
English (en)
Other versions
JP2016091287A (ja
Inventor
善史 酒田
善史 酒田
岩井　和彦
和彦 岩井
勇一郎 竹本
勇一郎 竹本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2014224826A priority Critical patent/JP5942173B2/ja
Priority to PCT/JP2015/005334 priority patent/WO2016072056A1/ja
Priority to US15/515,741 priority patent/US10387897B2/en
Publication of JP2016091287A publication Critical patent/JP2016091287A/ja
Application granted granted Critical
Publication of JP5942173B2 publication Critical patent/JP5942173B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/203—Inventory monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G07G1/14—Systems including one or more distant stations co-operating with a central processing unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Description

本発明は、店舗における陳列エリアを撮影した映像および店舗の販売情報に基づいて、販売機会損失を監視する商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法に関するものである。
コンビニエンスストアなどの店舗においては、陳列棚に陳列された商品の陳列状態に不備がある、すなわち商品の量が不足していたり、商品の種類が少なかったり、陳列棚の前方に商品が出ていない、いわゆるフェイスアップ不足であったりすると、販売機会損失が発生し、この販売機会損失は店舗の売上げに大きな影響を及ぼすことから、商品の陳列状態に不備がある場合には、それを解消する商品管理作業（量や種類の補充作業、前出し作業）を速やかに実施する必要がある。このような改善策を検討するにあたっては、まず、店舗での販売機会損失の状況、すなわち、機会損失が生じているか否か、さらには、どのような要因で機会損失が生じているかを管理者が適切に把握する必要がある。
このような店舗での販売機会損失の状況を店舗の管理者が把握する業務に関連するものとして、従来、種類ごとに商品が陳列された売場をカメラで撮影して、その映像を用いて、売場に滞在する顧客の人数を売場ごとに取得するとともに、ＰＯＳシステムの売上データを用いて、商品ごとの売上げ数を取得して、売場での滞在客数および売上げ数を映像と共に表示するようにした技術が知られている（特許文献１参照）。また、ＰＯＳシステムの売上データをもとに商品の売上げを時間帯ごとに集計して、この時間帯ごとの売上げの状況を、時間帯ごとの売場の映像の一覧とともに表示するようにした技術が知られている（特許文献２参照）。また、従来、陳列エリアを撮影した映像に基づいて、商品の補充の必要性を判断して、補充作業を指示する報知を行う技術が知られている（特許文献３参照）。
特開２０１３−２１０９５３号公報 特許第５０７２９８５号公報 特開平５−０８１５５２号公報
さて、前記特許文献１、２に開示された技術では、売場での滞在客数や商品の売上げ数が売場の映像とともに表示されるので、これらの表示内容から、滞在客数は多いのに商品の売上げが少ないという状況を把握することができる。しかしながら、これら従来の技術では、売場ごとの表示内容を確認することで、機会損失の状況を個々の売場ごとに判断するに過ぎず、まず、店舗全体で機会損失の状況を把握した上で、その機会損失の状況を詳細に検討しようとすると、業務の効率が著しく低下するという問題があった。
また、前記特許文献３に開示された技術では、陳列エリアにおける商品の陳列状況を監視して、必要に応じて商品管理作業（整頓作業や補充作業）を店員に指示することができるが、どの陳列棚にどのような機会損失の要因があるのかを店員が容易に把握することができないという問題があった。
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、陳列棚における販売機会損失の要因（商品の量、種類、フェイスアップの不足）を店舗の店員や本部のスーパーバイザー等が容易に確認することができ、速やかに商品管理作業（量や種類の補充作業、前出し作業）を実施することで、販売機会損失を防止することができるように構成された商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法を提供することにある。
本発明の商品モニタリング装置は、店舗に来店した来店客数を取得する来店客数取得部と、前記店舗の販売情報を管理する販売情報管理装置から商品を購入した購入客数を取得する購入客数取得部と、前記来店客数および前記購入客数に基づいて、統計情報を生成する統計情報生成部と、前記統計情報に基づいて販売機会損失の発生を検出する評価部と、この評価部によって販売機会損失の発生を検出したとき、前記店舗における陳列エリアを撮影した映像に基づいて、陳列された商品を検出する商品検出部と、この商品検出部の検出結果によって販売機会損失の要因を分析する販売機会損失分析部と、この販売機会損失分析部によって分析された販売機会損失の要因を表す表示画像を前記陳列エリアの映像上に重畳したモニタリング画面を生成する表示画面生成部と、を備えた構成とする。
また、本発明の商品モニタリングシステムは、店舗における来店客数および購入客数および商品の陳列エリアを撮影した映像に基づいて、販売の機会損失を監視する商品モニタリングシステムであって、前記陳列エリアを撮影するカメラと、情報処理装置と、を有し、前記情報処理装置が、店舗に来店した来店客数を取得する来店客数取得部と、前記店舗の販売情報を管理する販売情報管理装置から商品を購入した購入客数を取得する購入客数取得部と、前記来店客数および前記購入客数に基づいて、統計情報を生成する統計情報生成部と、前記統計情報に基づいて販売機会損失の発生を検出する評価部と、この評価部によって販売機会損失の発生を検出したとき、前記店舗における陳列エリアを撮影した映像に基づいて、陳列された商品を検出する商品検出部と、この商品検出部の検出結果によって販売機会損失の要因を分析する販売機会損失分析部と、この販売機会損失分析部によって分析された販売機会損失の要因を表す表示画像を前記陳列エリアの映像上に重畳したモニタリング画面を生成する表示画面生成部と、を備えた構成とする。
また、本発明の商品モニタリング方法は、店舗における来店客数および購入客数および商品の陳列エリアを撮影した映像に基づいて、販売の機会損失を監視する処理を情報処理装置に行わせる商品モニタリング方法であって、店舗に来店した来店客数を取得し、前記店舗の販売情報を管理する販売情報管理装置から商品を購入した購入客数を取得し、前記来店客数および前記購入客数に基づいて統計情報を生成し、前記統計情報に基づいて販売機会損失の発生を検出し、販売機会損失の発生を検出したとき、前記店舗における陳列エリアを撮影した映像に基づいて陳列された商品を検出し、この商品の検出結果によって販売機会損失の要因を分析し、この分析された販売機会損失の要因を表す表示画像を前記陳列エリアの映像上に重畳したモニタリング画面を生成する構成とする。
本発明によれば、商品棚から販売機会損失の要因を分析し、要因を示す表示画像を、商品棚の陳列状態のモニタリング映像に付加することにより、ユーザが即座にどの商品棚にどのような販売機会損失の要因があるかを把握することができる。これにより、店員が速やかに商品管理作業を実施することで、販売機会損失を防止することができる。
本実施形態に係る商品モニタリングシステムの全体構成図 店舗のレイアウトおよびカメラ１の設置状況を説明する店舗の平面図 陳列エリアの映像上に設定される状態監視エリアを示す説明図 ＰＣ３の概略構成を示すハードブロック図 ＰＣ３の概略構成を示す機能ブロック図 統計情報の一例を示す説明図 販売機会損失の要因を表す表示画像を重畳したモニタリング画面を示す説明図 販売機会損失の要因を判定しモニタリング映像に重畳させて表示する手順を示す動作フロー図 陳列棚の前列と後列からフェイスアップ不足を判定するための説明図 本実施形態の変形例の動作手順を示す動作フロー図
前記課題を解決するためになされた第１の発明は、店舗に来店した来店客数を取得する来店客数取得部と、前記店舗の販売情報を管理する販売情報管理装置から商品を購入した購入客数を取得する購入客数取得部と、前記来店客数および前記購入客数に基づいて、統計情報を生成する統計情報生成部と、前記統計情報に基づいて販売機会損失の発生を検出する評価部と、この評価部によって販売機会損失の発生を検出したとき、前記店舗における陳列エリアを撮影した映像に基づいて、陳列された商品を検出する商品検出部と、この商品検出部の検出結果によって販売機会損失の要因を分析する販売機会損失分析部と、この販売機会損失分析部によって分析された販売機会損失の要因を表す表示画像を前記陳列エリアの映像上に重畳したモニタリング画面を生成する表示画面生成部と、を備えた構成とする。
これによると、陳列棚における販売機会損失の要因（商品の量、種類、フェイスアップの不足）を店員が容易に確認することができ、速やかに商品管理作業（量や種類の補充作業、前出し作業）を実施することで、販売機会損失を防止することができる。
また、第２の発明は、前記商品検出部は、前記陳列エリアを撮影した映像において、商品が陳列される領域として設定された状態監視エリア内の映像の中から、商品を検出する構成とする。
これによると、陳列エリアの映像の中から陳列棚を特定して商品の検出を行うため、商品の検出を容易に迅速に行うことができる。
また、第３の発明は、前記商品検出部は、前記映像の中から、あらかじめ記憶された商品画像と一致する商品を検出し、前記商品画像と一致する商品があった場合に１種類として、商品の種類数を計数する構成とする。
これによると、記憶させておいた商品画像が陳列棚に並んでいるか否かを検出することができるため、品揃えとして必要な複数種類の商品画像を記憶させておくことで、販売機会損失の要因となり得る、商品種類数の不足を把握することができる。
また、第４の発明は、前記商品検出部は、前記映像の中から、あらかじめ記憶された商品画像と一致する商品の占有率を検出する構成とする。
これによると、記憶させておいた商品画像が、どの程度の陳列量で陳列棚に並んでいるかを検出することができるため、販売機会損失の要因となり得る、売れ筋商品のような特定商品の陳列量不足を把握することができる。
また、第５の発明は、前記商品検出部は、前記映像において、陳列棚の前列として設定された領域の中から、商品の占有率を検出する構成とする。
これによると、顧客が商品を手に取り易い陳列棚の前列に商品が並んでいるか否かを検出することができるため、販売機会損失の要因となり得る、陳列棚の手前に商品が出ていない、いわゆるフェイスアップ不足を把握することができる。
また、第６の発明は、前記商品検出部は、前記映像において、陳列棚の正面横方向を横列、陳列棚の正面縦方向を縦列、前記横列のうち陳列棚手前側を前列、陳列棚奥側を後列として設定し、前記前列および前記後列の商品の有無に基づいて計数される前記縦列の列数を検出する構成とする。
これによると、陳列棚の前列における商品の有無のみならず、陳列棚の後列における商品の有無も考慮して判定するため、販売機会損失の要因となり得る、陳列棚の手前に商品が出ていない、いわゆるフェイスアップ不足をより的確に把握することができる。
また、第７の発明は、前記評価部は、前記来店客数と前記購入客数との差を所定値と比較した結果に基づいて、販売機会損失の発生を検出する構成とする。
これによると、来店客数が多いのに購入客数が少ないという両者の差分（ギャップ）によって販売機会損失の発生を検出することができる。
また、第８の発明は、前記販売機会損失分析部は、前記商品検出部の検出結果において、陳列された商品の陳列量が所定量以下または未満の場合に、販売機会損失の要因を陳列量不足と分析する構成とする。
これによると、販売機会損失が実際に起きているときの商品の陳列量を調べ、陳列量が少ない場合は、陳列量不足が機会損失要因であると分析するため、機会損失の要因を速やかに把握し改善することができる。
また、第９の発明は、前記販売機会損失分析部は、前記商品検出部の検出結果において、陳列された商品の種類数が所定数以下または未満の場合に、販売機会損失の要因を種類数不足と分析する構成とする。
これによると、販売機会損失が実際に起きているときの商品の種類数を調べ、種類数が少ない場合は、種類数不足が機会損失要因であると分析するため、機会損失の要因を速やかに把握し改善することができる。
また、第１０の発明は、前記販売機会損失分析部は、前記商品検出部の検出結果において陳列棚の前列に陳列された商品の陳列量が所定量以下または未満の場合に、販売機会損失の要因をフェイスアップ不足と分析する構成とする。
これによると、販売機会損失が実際に起きているときの陳列棚前列の陳列量を調べ、陳列量が少ない場合は、陳列棚の手前に商品が出ていない、いわゆるフェイスアップ不足が機会損失要因であると分析するため、機会損失の要因を速やかに把握し改善することができる。
また、第１１の発明は、前記販売機会損失分析部は、前記商品検出部の検出結果において、前記後列に商品がある前記縦列の列数と、前記前列に商品がなく前記後列に商品がある前記縦列の列数とから求められるフェイスアップ不足率が所定値以上または所定値超の場合に、販売機会損失の要因をフェイスアップ不足と分析する構成とする。
これによると、販売機会損失が実際に起きているときの陳列棚の前列および後列の両方
の商品の空き状況を考慮して分析するため、より正確に、陳列棚の後ろに商品があって手前に商品が出ていない、いわゆるフェイスアップ不足が機会損失要因であると分析することができる。従って、機会損失の要因を速やかに把握し改善することができる。
また、第１２の発明は、前記表示画面生成部は、販売機会損失の要因ごとに色分けされた同一形状の表示画像を前記陳列エリアの映像上に重畳させたモニタリング画面を生成する構成とする。
これによると、複数の機会損失要因がある場合は、それらの要因を区別可能かつ同時に、発生している陳列エリアの映像上に表示するため、モニタリング画面を見るだけで、どの陳列エリアにどのような機会損失要因があるかを簡単に認識することができる。
また、第１３の発明は、前記表示画面生成部は、販売機会損失の要因を示す表示画像を、軽度から重度までの程度が判別可能に、前記陳列エリアの映像上に重畳させたモニタリング画面を生成する構成とする。
これによると、販売機会損失の要因の程度（軽度〜重度）を判別可能に、それが発生している陳列エリアの映像上に表示するため、モニタリング画面を見るだけで、どの陳列エリアにどのような機会損失要因がどの程度の深刻度で発生しているかを簡単に認識することができる。
また、第１４の発明は、前記表示画面生成部は、前記統計情報を時間軸に沿って表示するとともに、その時間軸上において選択された時間に対応する前記陳列エリアの映像上に、当該時間での販売機会損失の要因を表す表示画像を重畳させたモニタリング画面を生成する構成とする。
これによると、来店客数と購入客数の時間ごとの推移を見て、例えば、両者の差が大きい時間帯、すなわち販売機会損失が発生している時間帯を選択すると、その時間帯の陳列エリアの映像が機会損失要因とともに表示されるため、所望の時間帯の機会損失要因を簡単に確認することができる。
また、第１５の発明は、店舗に来店した来店客数を取得する来店客数取得部と、前記店舗の販売情報を管理する販売情報管理装置から商品を購入した購入客数を取得する購入客数取得部と、前記来店客数および前記購入客数に基づいて、統計情報を生成する統計情報生成部と、前記統計情報に基づいて販売機会損失の発生を検出する評価部と、前記店舗における陳列エリアを撮影した映像に基づいて、陳列された商品を検出する商品検出部と、前記評価部によって販売機会損失の発生が検出されていないとき、前記商品検出部の検出結果に基づき商品の陳列量の平均値を算出し、前記評価部によって販売機会損失の発生が検出されているとき、前記商品検出部の検出結果において、商品の陳列量が、前記平均値を基準として設定される所定値以下または未満の場合に、販売機会損失の要因を陳列量不足と分析する販売機会損失分析部と、この販売機会損失分析部によって分析された販売機会損失の要因を表す表示画像を前記陳列エリアの映像上に重畳したモニタリング画面を生成する表示画面生成部と、を備えた構成とする。
これによると、販売機会損失が実際に起きているときの商品の陳列量と、販売機会損失が発生していないときの陳列量の平均値を基準として設定する所定値とを比較して、陳列量不足が機会損失要因かどうかを判定するため、機会損失要因とならない陳列量の適正範囲を明確にして、より正確に分析することができる。
また、第１６の発明は、店舗における来店客数および購入客数および商品の陳列エリアを撮影した映像に基づいて、販売の機会損失を監視する商品モニタリングシステムであって、前記陳列エリアを撮影するカメラと、情報処理装置と、を有し、前記情報処理装置が、店舗に来店した来店客数を取得する来店客数取得部と、前記店舗の販売情報を管理する販売情報管理装置から商品を購入した購入客数を取得する購入客数取得部と、前記来店客数および前記購入客数に基づいて、統計情報を生成する統計情報生成部と、前記統計情報に基づいて販売機会損失の発生を検出する評価部と、この評価部によって販売機会損失の発生を検出したとき、前記店舗における陳列エリアを撮影した映像に基づいて、陳列された商品を検出する商品検出部と、この商品検出部の検出結果によって販売機会損失の要因を分析する販売機会損失分析部と、この販売機会損失分析部によって分析された販売機会損失の要因を表す表示画像を前記陳列エリアの映像上に重畳したモニタリング画面を生成する表示画面生成部と、を備えた構成とする。
これによると、陳列棚における販売機会損失の要因（商品の量、種類、フェイスアップの不足）を店員が容易に確認することができ、速やかに商品管理作業（量や種類の補充作業、前出し作業）を実施することで、販売機会損失を防止することができる。
また、第１７の発明は、店舗における来店客数および購入客数および商品の陳列エリアを撮影した映像に基づいて、販売の機会損失を監視する処理を情報処理装置に行わせる商品モニタリング方法であって、店舗に来店した来店客数を取得し、前記店舗の販売情報を管理する販売情報管理装置から商品を購入した購入客数を取得し、前記来店客数および前記購入客数に基づいて統計情報を生成し、前記統計情報に基づいて販売機会損失の発生を検出し、販売機会損失の発生を検出したとき、前記店舗における陳列エリアを撮影した映像に基づいて陳列された商品を検出し、この商品の検出結果によって販売機会損失の要因を分析し、この分析された販売機会損失の要因を表す表示画像を前記陳列エリアの映像上に重畳したモニタリング画面を生成する構成とする。
これによると、陳列棚における販売機会損失の要因（商品の量、種類、フェイスアップの不足）を店員が容易に確認することができ、速やかに商品管理作業（量や種類の補充作業、前出し作業）を実施することで、販売機会損失を防止することができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
図１は、本実施形態に係る商品モニタリングシステムの全体構成図である。この商品モニタリングシステムは、コンビニエンスストアなどの小売チェーン店などを対象にして構築されるものであり、複数の店舗ごとに設けられたカメラ１、レコーダ（映像蓄積装置）２、ＰＣ（情報処理装置）３、およびＰＯＳ端末（販売情報管理装置）４と、複数の店舗を総括する本部に設けられたＰＣ（情報処理装置）１１、およびＰＯＳサーバ（販売情報管理装置）１２と、ネットワーク上に設けられたクラウドコンピューティングシステムを構成するクラウドコンピュータ２１と、任意の場所でもモニタリングを可能とするスマートフォン２２やタブレット端末２３を備えている。
カメラ１は店舗内の適所に設置され、カメラ１により店舗内が撮像され、これにより得られた映像がレコーダ２に蓄積される。店舗に設置されたＰＣ３や本部に設置されたＰＣ１１では、カメラ１で撮像された店舗内の映像をリアルタイムで閲覧することができ、また、レコーダ２に蓄積された過去の店舗内の映像を閲覧することができ、これにより店舗や本部で店舗内の状況を確認することができる。
本部に設置されたＰＣ１１は、店舗を管理するスーパーバイザーの業務を支援する施設管理支援装置として構成される。また、このＰＣ１１で生成した情報は、ＰＣ１１のモニタによりスーパーバイザーが閲覧することができ、さらに、店舗に設置されたＰＣ３に送信されて、このＰＣ３でも店長などが閲覧することができる。このように、ＰＣ３、ＰＣ
１１が閲覧装置として構成される。また、スマートフォン２２やタブレット端末２３を閲覧装置とすることもできる。
ＰＯＳ端末４は、店舗のレジカウンタに設置され、顧客が購入する商品の会計を行う際に店員が操作する。このＰＯＳ端末４および本部に設置されたＰＯＳサーバ１２は、各店舗での売上げに関する販売情報を管理するＰＯＳ（point of sale）システム（販売情報管理システム）を構成している。このＰＯＳシステムでは、販売情報として、顧客が購入した商品の名称、種類、数量、金額および会計時刻などの情報が管理される。この販売情報は、ＰＯＳ端末４とＰＯＳサーバ１２とで共有され、ＰＯＳ端末４では、設置された店舗の販売情報が管理され、ＰＯＳサーバ１２では、全ての店舗の販売情報が管理される。
次に、コンビニエンスストアを例にして店舗のレイアウトおよびカメラ１の設置状況について説明する。図２は、店舗のレイアウトおよびカメラ１の設置状況を説明する店舗の平面図である。
店舗には、出入口、陳列棚、レジカウンタ、および調理器具などが設けられている。陳列棚は、ファーストフード、米飯（おにぎり、弁当、寿司などの商品）、加工食品、雑貨、生鮮食品、雑誌、新聞などの商品の種類に分けて設置されている。調理器具は、からあげなどのファーストフードを店内で調理するものであり、レジカウンタの隣には、ファーストフードの陳列棚（ＦＦケース）が設置されている。顧客は、出入口から入店し、陳列棚の間の通路を通って店舗内を移動し、所望の商品が見つかると、その商品を持ってレジカウンタに向かい、レジカウンタで会計（代金の支払い）を済ませた後に出入口から退店する。
また、店舗には、店舗内を撮影する複数のカメラ１が設置されている。このカメラは、店舗内の天井の適宜な位置に設置されている。特に、図２に示す例では、カメラ１に、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラが採用され、このカメラ１により、陳列棚などに陳列された商品、出入口から店舗に出入りする人物、および店舗内に滞在する人物などを撮影することができる。この店舗内で撮影された人物を計数することにより、店舗に来店した顧客の人数（来店客数）を得ることができる。なお、店舗に出入りする顧客の人数（来店客数）は、カメラで撮影した画像から取得しても良いし、出入り口に設けた検知センサによって計数しても良い。
次に、図１に示したＰＣ３で行われる処理の概要について説明する。図３は、カメラ１で撮影される陳列エリアの映像上に設定される状態監視エリアを示す説明図である。陳列エリアの映像上において、商品を検出する領域として設定される状態監視エリアを点線で示している。状態監視エリアは、陳列エリアの映像を見ながらユーザが入力デバイスを用いて設定しても良いし、陳列エリアの映像から自動的に陳列棚を画像認識して状態監視エリアとして設定しても良い。
本実施形態では、図３に示すように、陳列エリアの映像内の商品が配置される領域（陳列棚など）に状態監視エリアを設定して、その状態監視エリアごとに商品の機会損失要因を分析する。図３に示す例では、１つの陳列棚のすべての段を含む全体（点線部分）に状態監視エリアを設定しているが、棚の段ごと、あるいは同じ段の左右などに分けて、複数の状態監視エリアを設定しても良い。また、陳列エリアの映像内に複数の陳列棚がある場合は、各々の陳列棚ごとに状態監視エリアを設定すると良い。このように、陳列エリアの映像の中で商品を検出する領域（状態監視エリア）を設定することにより、商品の検出を容易に迅速に行うことができる。また、１つの陳列エリアの映像内に複数の状態監視エリアを設定した場合、各々の状態監視エリアの機会損失要因を分析し、その結果を統合して１つの陳列エリアに対する分析結果とすれば良い。その際、陳列エリアに１つでも機会損
失要因があれば、その要因が表示されるようにすると良い。
次に、図４は、店舗に設置されるＰＣ３（情報処理装置）のハードブロック図である。ＰＣ３は、各ユニット間を接続するバス４００と、コンピュータシステムの制御を司る中央演算装置（ＣＰＵ）４０１と、ランダムアクセスメモリ（ＲＡＭ）４０２と、ＣＰＵで実行され、商品モニタリング装置の動作処理手順や各機能構成を実現させるプログラムを記憶しているリードオンリーメモリ（ＲＯＭ）４０３と、ネットワークを介して外部装置とのデータ転送を行うネットワークインタフェース（ＮＷ Ｉ／Ｆ）４０４と、画像情報をモニタに表示させるビデオＲＡＭ（ＶＲＡＭ）４０５と、キーボードやポインティングデバイス等からなる入力デバイスから入力された入力信号を制御する入力コントローラ４０６と、ハードディスクドライブ（ＨＤＤ）４０９と、外部記憶装置からの入出力を制御する外部記憶装置インタフェース４０８とを備えている。
次に、図５は、店舗に設置されるＰＣ３の概略構成を示す機能ブロック図である。ＰＣ３は、カメラ１あるいはレコーダ２から映像を取得する映像取得部３０と、本部に設置のＰＯＳサーバ１２あるいは店舗内に設置のＰＯＳ端末４から販売情報を取得する販売情報取得部３１と、映像から来店客を検知する来店客検知部３２と、検知した来店客の人数および販売情報から得られる購入客の人数を計測する計測部３３と、計測された来店客数および購入客数に基づいて機会損失の発生の有無を評価する評価部３４と、計測された客数の時間的な推移状況を示す統計情報を生成する統計情報生成部３５と、映像の中から商品を検出する商品検出部３６と、商品の検出結果により販売機会損失の要因を分析する販売機会損失分析部３７と、機会損失の要因を映像に重畳させてモニタ１５に表示する表示画面生成部３８と、入力デバイス１６からの操作入力を制御する操作入力制御部３９と、操作入力により状態監視エリアを設定する状態監視エリア設定部４０と、商品検出部３６が特定の商品を検出する際に、検出する商品の画像をあらかじめ設定する商品設定部４１とを備えている。
なお、図５に示す各機能構成は、ＣＰＵ４０１が、ＲＯＭ４０３に記憶されているプログラムを実行することで、各ハードウェアを制御することによって実現される。これらのプログラムは、情報処理装置としてのＰＣ３に予め導入して専用の装置として構成しても良い。また、汎用ＯＳ上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録されても良い。また、ネットワークを介して、ユーザに提供されるようにしても良い。また、ＰＣ１１もＰＣ３と同様である。
図５において、映像取得部３０は、カメラ１およびレコーダ２から店舗内を撮影した映像を取得する。ここで、当日の状況をリアルタイムに表示させる場合にはカメラ１から映像を取得し、過去の一定期間の状況を表示させる場合にはレコーダ２から映像を取得する。
販売情報取得部３１は、ＰＯＳサーバ１２またはＰＯＳ端末４から販売情報を取得する。販売情報には、顧客ごとの会計時刻（レシートの発行時刻）、顧客が購入した商品の名称、種類、金額、および数量などの情報が含まれる。
来店客検知部３２は、出入口を撮影した映像から人物を検出する人物検出処理により、出入口から入店する顧客を検知する処理が行われる。人物検出処理には、公知の画像解析技術を用いれば良い。また、来店客検知部３２では、出入口から入店する顧客が検知された映像の撮影時刻から、顧客ごとの入店時刻を取得する。
なお、本実施形態では、来店客検知部３２において、店舗に来店した顧客を検知するものとしたが、これは、出入口から入店する顧客を検知することに限定されるものではなく
、店舗に滞在する顧客を検知するようにしても良い。
なお、本実施形態では、人物認識（個人識別）を行わないため、同一の人物が売場に複数回出入りすると、その人物が重複して検知されるが、この重複を避けるために人物認識を行うようにしても良い。
計測部３３は、来店客検知部３２での検知結果に基づいて、所定の計測期間（１５分間）における来店客数を計測する来店客数取得部３３１と、販売情報取得部３１で取得した販売情報に基づいて、所定の計測期間（１５分間）における購入客数を計測する購入客数取得部３３２とを備えている。
来店客数取得部３３１では、来店客検知部３２で取得した顧客ごとの入店時刻に基づいて、所定の計測期間ごとの来店客数、すなわち計測期間において店舗に来店した顧客の人数を取得する処理が行われる。
購入客数取得部３３２では、販売情報取得部３１で取得した顧客ごとの会計時刻に基づいて、所定の計測期間ごとの購入客数、すなわち計測期間において店舗全体で会計を行った顧客の人数、換言すると、店舗でなんらかの商品を購入した顧客の人数を取得する処理が行われる。なお、購入客数は、店舗で発行されたレシートの枚数と等しい。
評価部３４は、計測部３３で取得した計測値（来店客数、購入客数）に基づいて、機会損失の発生状況を時間帯ごとに評価する。機会損失の発生が起こっている時間帯を抽出するようにしても良い。
統計情報生成部３５では、計測部３３で取得した計測期間（１５分間）ごとの計測値（来店客数、購入客数）を、所定の単位期間ごとに集計して、単位期間ごとの客数を取得して、客数の時間的な推移状況を示す統計情報を生成する処理が行われる。また、統計情報生成部３５は、評価部３４から得た機会損失の発生している時間帯の情報を統計情報に加える。統計情報生成部３５で生成された統計情報は、表示画面生成部３８に送られる。
図６は、表示画面生成部３８によってモニタ１５に表示される統計情報の一例を示す説明図である。図６に示すように、来店客数と購入客数の統計情報（この例では１時間ごとに集計）がグラフで表示される。図６の例では、実線が来店客数の推移を、点線が購入客数の推移を表している。来店客数が多いのに購入客数が少ないという両者の差分（ギャップ）が大きい時間帯を、機会損失が発生している時間帯として、注意を促すような表示形態で表示するようにすると良い。さらに、図６に示すグラフの任意の時間帯をクリックすることで、当該時間帯における陳列エリアのモニタリング画面が表示されるようにすると良い。
なお、本実施形態では、統計情報生成部３５において、単位期間を時間帯として集計処理を行うものとするが、単位期間を１日、１週間、および１ヶ月としても良い。また、本実施形態では、計測部３３において、計測期間を１５分間として、この計測期間ごとの客数（来店客数、購入客数）を取得するようにしたが、計測期間は任意の期間として良い。
商品検出部３６では、映像取得部３０で取得した陳列エリアの映像に基づいて、陳列された商品を検出する処理が行われる。本実施形態では、図３に示すように、状態監視エリア設定部４０によりユーザが設定した状態監視エリアの映像の中から商品を検出する。
陳列量取得部３６１は、各状態監視エリアにおける商品占有率、すなわち、商品と想定される物体が映った画素が占める割合を求める。具体的には、陳列エリアの映像から切り
出された状態監視エリアの映像の中から、商品と想定される物体が映った画素を検出し、この商品と想定される物体が映った画素の全画素に対する割合を商品占有率とすれば良い。また、例えば、商品が陳列されていない状態で撮影された映像を背景として、その背景との差分に基づいて、商品と想定される物体が映った画素を検出すれば良い。
商品種類数取得部３６２は、各状態監視エリアにおける特定商品の特定商品占有率、すなわち、特定商品と想定される物体が映った画素が占める割合を特定商品ごとに求める。具体的には、陳列エリアの映像から切り出された状態監視エリアの映像の中から、特定商品としてあらかじめ記憶された商品画像と一致する物体が映った画素を検出し、この特定商品が映った画素の全画素に対する割合を特定商品占有率とすれば良い。複数の特定商品が設定されている場合、各々の特定商品占有率を求め、特定商品占有率が求められた特定商品の数を商品種類数として計数する。これにより、どの種類の商品がどの程度の量で陳列されているかを検出することができる。
フェイスアップ取得部３６３は、各状態監視エリアの陳列棚の前列に商品がある割合、すなわち、商品と想定される物体が映った画素が陳列棚の前列に占める前列商品占有率を求める。具体的には、陳列エリアの映像から切り出された状態監視エリアの映像の中から、さらに前列エリアと特定される映像を抽出し、この前列エリアの映像から、商品と想定される物体が映った画素を検出し、この商品と想定される物体が映った画素の前列エリア全画素に対する割合を前列商品占有率とすれば良い。このようにすると、陳列棚の前列が空いた状態となっているフェイスアップ不足を検出することができる。なお、陳列棚のどこまでを前列エリアとするかは、ユーザが入力デバイスを用いて映像の中から前列エリアの範囲を設定しても良いし、あらかじめ所定の範囲が設定されるようにしても良い。
また、フェイスアップ取得部３６３は、上記に代えて、陳列棚の前列と後列の商品の空き状況からフェイスアップ不足を判定するようにしても良い。その場合は、状態監視エリアの映像の中から、陳列棚の後列に商品がある縦列の数と、陳列棚の前列に商品がなくその後列に商品がある縦列の数を求める。そして、前列に商品がなくて後列に商品がある割合をフェイスアップ不足率として算出する。このようにすると、陳列棚の後列には商品があるのに前列が空いた状態となっているフェイスアップ不足を検出することができる。
販売機会損失分析部３７では、商品検出部３６の検出結果により、販売機会損失の要因を分析する処理が行われる。販売機会損失分析部３７は、陳列量取得部３６１から得た商品占有率をあらかじめ設定されるしきい値と比較し、商品占有率がしきい値以下または未満の場合に、商品の陳列量不足が販売機会損失の要因であるとする。
また、販売機会損失分析部３７は、商品種類数取得部３６２から得た商品種類数をあらかじめ設定されるしきい値と比較し、商品種類数がしきい値以下または未満の場合に、商品の種類数不足が販売機会損失の要因であるとする。通常の販売商品の種類を分析する他に、例えば、期間限定商品や、キャンペーン商品を特定商品として設定することにより、これら販促に注力すべき商品が陳列エリアに並んでいるか否か、特定商品占有率からどの程度の占有率で並んでいるかを分析することもできる。
また、販売機会損失分析部３７は、フェイスアップ取得部３６３から得た前列商品占有率をあらかじめ設定されるしきい値と比較し、前列商品占有率がしきい値以下または未満の場合に、商品のフェイスアップ不足が販売機会損失の要因であるとする。
また、販売機会損失分析部３７は、上記に代えて、フェイスアップ取得部３６３から得たフェイスアップ不足率をあらかじめ設定されるしきい値と比較し、フェイスアップ不足率がしきい値以上またはしきい値超の場合に、商品のフェイスアップ不足が販売機会損失
の要因であるとする。
また、各々の機会損失要因について不足の程度を検出する場合は、第１および第２の２つのしきい値を用いて、充足状態、軽度不足状態および重度不足状態の３つの状態を判定する。すなわち、充足率から判定する場合は、第１のしきい値以上となる場合には充足状態と判定し、第１のしきい値未満でかつ第２のしきい値以上となる場合には軽度不足状態と判定し、第２のしきい値未満となる場合には重度不足状態と判定する。または、不足率から判定する場合は、第１のしきい値以下となる場合には充足状態と判定し、第１のしきい値超でかつ第２のしきい値以下となる場合には軽度不足状態と判定し、第２のしきい値超となる場合には重度不足状態と判定する。
表示画面生成部３８では、陳列エリアをユーザが監視するためのモニタリング画面を生成する処理が行われ、このモニタリング画面がモニタ１５に表示される。特に、この表示画面生成部３８では、販売機会損失分析部３７の分析結果に基づいて、機会損失の要因がある陳列エリアの映像上に、機会損失要因を表す表示画像（マーク画像）が重畳されたモニタリング画面を表示させる処理が行われる。また、表示画面生成部３８では、機会損失要因を表す表示画像（マーク画像）が重畳されたモニタリング画面と、前記のような統計情報とを同一画面に表示させるようにしても良い。
図７は、陳列エリアにおける販売機会損失の要因を表す表示画像を重畳したモニタリング画面を示す説明図である。図７の例では、店舗内の複数の陳列エリアのモニタリング映像が並べて表示される。販売機会損失の要因を表す表示画像（マーク画像）が陳列エリアの映像上に重ねて表示される。機会損失要因の種類に応じてその表示色を変更することで、各陳列エリアにおける複数の機会損失要因を明確に表示する。
本実施形態では、機会損失要因として、商品の陳列量不足、種類数不足、フェイスアップ不足の３つの要因を分析し、各々について異なる表示色の表示画像（マーク画像）を表示する。例えば、図７に示すように、表示画像（マーク画像）は同一形状の四角形として、陳列量不足を赤色、種類数不足を桃色、フェイスアップ不足を橙色など、陳列エリアごとの機会損失の要因が一目で認識できるように表示する。同じ陳列エリアに複数の要因がある場合は、複数の機会損失要因を表す表示画像（マーク画像）が複数表示される。
また、商品の陳列量不足、種類数不足、フェイスアップ不足の３つの要因を表す表示画像（マーク画像）を各々の不足の程度に応じて色分けするようにしても良い。例えば、充足状態であれば緑色、軽度不足状態であれば黄色、重度不足状態であれば赤色としてモニタ１５に表示する。このとき、表示画像（マーク画像）の形状は３つの機会損失要因に応じて変更するようにすると良い（例えば、陳列量不足は正方形、種類数不足は三角形、フェイスアップ不足は円形など）。この映像をユーザが見ることで、各陳列エリアにおける商品の機会損失要因をユーザが即座に把握することができる。
操作入力制御部３９は、モニタ１５に表示された画面上で、マウスおよびキーボードなどの入力デバイス１６を用いて行われるユーザの入力操作に応じて、入力情報を取得する。
状態監視エリア設定部４０では、図３に示すように、入力デバイス１６を用いたユーザの入力操作により、陳列エリアの映像の中から商品検出を行うエリア（状態監視エリア）を設定する処理が行われる。このとき、１つの陳列エリアが表示されたエリア設定画面をモニタ１５に表示させ、このエリア設定画面上で状態監視エリアを指定入力すれば良い。複数の状態監視エリアを設定しても良い。
商品設定部４１では、特定商品を設定する処理が行われる。あらかじめ商品の画像がＰＣ３やＰＣ１１に保管されている場合は、その中から特定商品とする商品の画像を選択して設定すれば良いし、保管されていない場合は、商品を撮影した画像を特定商品として記憶させる。
また、本実施形態では、モニタ１５に表示された処理条件設定画面（図示せず）により、商品検出部３６で用いられる各種しきい値を設定する。
次にＰＣ３で実行される処理について説明する。図８は、販売機会損失の要因を判定しモニタリング映像に重畳させて表示する手順を示す動作フロー図である。図８において、ＰＣ３は、映像取得部３０により、カメラ１およびレコーダ２から店舗内を撮影した映像を取得する（ＳＴ８０１）。ここで、リアルタイムに表示させる場合にはカメラ１から映像を取得し、過去の一定期間の状況を表示させる場合にはレコーダ２から映像を取得する。
次に、販売情報取得部３１により、本部に設置のＰＯＳサーバ１２あるいは店舗内に設置のＰＯＳ端末４から販売情報を取得する（ＳＴ８０２）。販売情報には、顧客ごとの会計時刻（レシートの発行時刻）、顧客が購入した商品の名称、種類、金額、および数量などの情報が含まれる。
次に、来店客検知部３２により、ＳＴ８０１で取得した出入口を撮影した映像から入店する人物（来店客）を検出するとともに、入店する顧客が検知された映像の撮影時刻から、顧客ごとの入店時刻を取得する（ＳＴ８０３）。
次に、計測部３３により、来店客検知部３２での検知結果に基づいて、所定の計測期間（１５分間）ごとの来店客数を取得するとともに、販売情報取得部３１で取得した販売情報に基づいて、所定の計測期間（１５分間）ごとの購入客数を取得する（ＳＴ８０４）。
次に、統計情報生成部３５により、計測部３３で取得した計測期間（１５分間）ごとの計測値（来店客数、購入客数）を、所定の単位期間ごとに集計して、単位期間ごとの客数（来店客数、購入客数）を取得して、客数の時間的な推移状況を示す統計情報を生成する（ＳＴ８０５）。生成された統計情報は、表示画面生成部３８によってモニタ１５に表示可能である。
次に、評価部３４により、計測部３３で取得した計測値（来店客数、購入客数）に基づいて、機会損失の発生状況を時間帯ごとに評価し、来店客数が多いのに購入客数が少ないという両者の差分（ギャップ）が大きい時間帯（機会損失が発生している時間帯）があるか否かを判定し、機会損失が発生していないとき（ＳＴ８０６のＮｏ）、表示画面生成部３８は、商品検知を行わずに陳列エリアの映像をそのままモニタリング画面として生成しモニタ１５に表示する（ＳＴ８１７）。
一方、機会損失が発生しているとき（ＳＴ８０６のＹｅｓ）、商品検出部３６により、評価部３４において機会損失の発生が起こっていると評価された時間帯に、映像取得部３０で取得した陳列エリアの映像に基づいて、陳列された商品を検出する。本実施形態では、図３のように、状態監視エリア設定部によりユーザが設定した状態監視エリアの映像の中から商品を検出するが、まず、陳列量取得部３６１により、状態監視エリアの映像から、商品と想定される物体が映った画素を検出し、この商品と想定される物体が映った画素の状態監視エリア全画素に対する割合を商品占有率として求める（ＳＴ８０７）。
次に、販売機会損失分析部３７により、陳列量取得部３６１から得た商品占有率をあら
かじめ設定されるしきい値と比較し、商品占有率がしきい値以下または未満の場合に、商品の陳列量不足が販売機会損失の要因であると判定する（ＳＴ８０８のＹｅｓ）。例えば、商品占有率が７０％未満の場合に、陳列量が販売機会損失の要因であると判定するようにすれば良い。陳列量不足と判定された場合は、当該陳列エリアが陳列量不足であるとの要因情報を設定する（ＳＴ８０９）。
さらに、しきい値を複数設けて、陳列量の不足の程度を検出する場合は、充足状態、軽度不足状態および重度不足状態の３つの状態を判定する。例えば、商品占有率が７０％以上となる場合には充足状態と判定し、７０％未満でかつ４０％以上となる場合には軽度不足状態と判定し、４０％未満となる場合には重度不足状態と判定し、軽度不足状態または重度不足状態と判定された場合は、その旨の要因情報をＳＴ８０９にて設定する。
次に、商品種類数取得部３６２により、状態監視エリアの映像から、特定商品としてあらかじめ記憶された商品画像と一致する物体が映った画素の状態監視エリア全画素に対する割合を特定商品占有率とし、記憶される複数の特定商品について各々の特定商品占有率を求めるとともに、記憶された複数の特定商品のうち検出された特定商品を商品種類数として計数する（ＳＴ８１０）。これにより、どの種類の商品がどの程度の量で陳列されているかを検出することができる。
次に、販売機会損失分析部３７により、商品種類数取得部３６２から得た商品種類数をあらかじめ設定されるしきい値と比較し、商品種類数がしきい値以下または未満の場合に、商品の種類数不足が販売機会損失の要因であると判定する（ＳＴ８１１のＹｅｓ）。例えば、１つの状態監視エリア内に陳列する商品の種類としてあらかじめ適正な上限を設定しておき、この商品種類数の上限を分母、検出された種類数を分子として、その割合が７０％未満の場合に、種類数不足が販売機会損失の要因であると判定するようにすれば良い。種類数不足と判定された場合は、当該陳列エリアが種類数不足であるとの要因情報を設定する（ＳＴ８１２）。
さらに、しきい値を複数設けて、種類数の不足の程度を検出する場合は、充足状態、軽度不足状態および重度不足状態の３つの状態を判定する。例えば、上記のような割合が７０％以上となる場合には充足状態と判定し、７０％未満でかつ４０％以上となる場合には軽度不足状態と判定し、４０％未満となる場合には重度不足状態と判定し、軽度不足状態または重度不足状態と判定された場合は、その旨の要因情報をＳＴ８１２にて設定する。
次に、フェイスアップ取得部３６３により、状態監視エリアの映像から、陳列棚の前列に商品がある割合、すなわち、商品と想定される物体が映った画素が陳列棚の前列に占める前列商品占有率を求める（ＳＴ８１３）。なお、陳列棚のどこまでを前列とするかは、ユーザがその範囲を設定するようにしても良い。または、商品を検出する際に、同時にその商品の座標を取得し、取得した座標によって商品の位置が陳列棚の前列か否かを決めるようにしても良い。
次に、上記のように、ＳＴ８１３のフェイスアップ取得の際に前列商品占有率のみを求めた場合は、販売機会損失分析部３７により、フェイスアップ取得部３６３から得た前列商品占有率をあらかじめ設定されるしきい値と比較し、前列商品占有率がしきい値以下または未満の場合に、商品のフェイスアップ不足が販売機会損失の要因であると判定する（ＳＴ８１４のＹｅｓ）。例えば、前列商品占有率が７０％未満の場合に、フェイスアップ不足が販売機会損失の要因であると判定するようにすれば良い。
なお、上記の例では、陳列棚の前列に商品があるか否かのみでフェイスアップ不足を判定するものとしたが、商品が後列にあるのに前列に出されていないことを見るために、陳
列棚の前列と後列の商品の状況からフェイスアップ不足を判定するようにしても良い。以下、その詳細について説明する。
図９は、陳列棚の前列と後列からフェイスアップ不足を判定するための説明図である。図９において、陳列棚の正面横方向（Ｘ方向）に並ぶ６列（Ａ列１〜Ａ列６）を横列、陳列棚の正面縦方向（Ｙ方向）に並ぶ３列（Ｂ列１〜Ｂ列３）を縦列とし、横列のうち通路側に面する列（Ｂ列１）を「前列」、この「前列」より奥側の列（Ｂ列２、Ｂ列３）を合わせて「後列」と称する。
図９において、ＳＴ８１３のフェイスアップ取得の際に、フェイスアップ取得部３６３により、状態監視エリアの映像から、陳列棚の後列（Ｂ列２、Ｂ列３）に商品がある列の数（第１列数）として、Ａ列１、Ａ列２、Ａ列３、Ａ列４の４列、すなわち「４」が求められる。第１列数は、後列（Ｂ列２、Ｂ列３）のいずれかに商品があれば、列を１単位として計数される。次に、陳列棚の前列（Ｂ列１）に商品がなく、かつ、その後列（Ｂ列２、Ｂ列３）に商品がある列の数（第２列数）として、Ａ列２、Ａ列３、Ａ列４の３列、すなわち「３」が求められる。
次に、第１列数を分母、第２列数を分子として、その割合（フェイスアップ不足率）を算出する。ここでは、第１列数として４、第２列数として３が求められたため、フェイスアップ不足率は４分の３、つまり７５％となる。
図９においては、分子とする第２列数を「前列に商品がなく、その後列に商品がある列数」として不足率を求めたが、充足率を求める場合には、分子とする第２列数を「前列と後列の両方に商品がある列数」とすれば良い。この場合は、第１列数として４（Ａ列１、Ａ列２、Ａ列３、Ａ列４）、第２列数として１（Ａ列１）が求められ、フェイスアップ充足率は４分の１、つまり、２５％となる。このように充足率を求めた場合は、販売機会損失分析部３７は、しきい値以下または未満でフェイスアップ不足を判定することになる。
なお、図９の例では、同一の縦列上において、前列に商品がなくて後列に商品がある場合をフェイスアップ不足と判定することとしている。従って、前列にも後列にも商品が陳列されていないＡ列５は、フェイスアップ不足とはされない。
また、陳列棚のどこまでを前列、後列とするかは、ユーザがその範囲を設定するようにしても良い。あるいは、商品を検出する際に、同時にその商品の座標を取得し、取得した座標によって商品の位置が陳列棚の前列か後列かを決めるようにしても良い。
次に、ＳＴ８１３のフェイスアップ取得の際にフェイスアップ不足率が算出された場合は、販売機会損失分析部３７により、フェイスアップ取得部３６３から得たフェイスアップ不足率をあらかじめ設定されるしきい値と比較し、フェイスアップ不足率がしきい値以上またはしきい値超の場合に、商品のフェイスアップ不足が販売機会損失の要因であると判定する（ＳＴ８１４のＹｅｓ）。例えば、フェイスアップ不足率が１０％以上の場合に、フェイスアップ不足が販売機会損失の要因であると判定するようにすれば良い。図９の例では、上記のようにフェイスアップ不足率が７５％となるため、フェイスアップ不足と判定される。フェイスアップ不足と判定された場合（ＳＴ８１４のＹｅｓ）は、当該陳列エリアがフェイスアップ不足であるとの要因情報を設定する（ＳＴ８１５）。
さらに、しきい値を複数設けて、フェイスアップ不足の程度を検出する場合は、充足状態、軽度不足状態および重度不足状態の３つの状態を判定するようにする。軽度不足状態または重度不足状態と判定された場合は、その旨の要因情報をＳＴ８１５にて設定する。
フェイスアップ不足の程度を前列商品占有率からのみ判定する場合は、例えば、前列商品占有率が７０％以上となる場合には充足状態と判定し、７０％未満でかつ４０％以上となる場合には軽度不足状態と判定し、４０％未満となる場合には重度不足状態と判定する。
あるいは、フェイスアップ不足の程度を第１列数および第２列数から算出されるフェイスアップ不足率から判定する場合は、例えば、フェイスアップ不足率が１０％未満の場合には充足状態と判定し、１０％以上で４０％未満の場合には軽度不足状態と判定し、４０％以上となる場合には重度不足状態と判定する。
ＳＴ８０８において、陳列量不足ではないと判定された場合（ＳＴ８０８のＮｏ）は、そのままＳＴ８１０の種類数取得処理に進む。また、ＳＴ８１１において、種類数不足ではないと判定された場合（ＳＴ８１１のＮｏ）は、そのままＳＴ８１３のフェイスアップ取得処理に進む。
次に、ＳＴ８１４において、フェイスアップ不足ではないと判定された場合（ＳＴ８１４のＮｏ）、または、ＳＴ８１５に続いて、商品検出を行っていない状態監視エリアが他にまだあるか否かを判定する（ＳＴ８１６）。商品検出を行っていない状態監視エリアがあれば（ＳＴ８１６のＹｅｓ）、他の状態監視エリアを対象としてＳＴ８０７からＳＴ８１５の処理を繰り返す。すべての状態監視エリアの商品検出が終了したとき（ＳＴ８１６のＮｏ）、表示画面生成部３８により、機会損失の要因情報を表す表示画像（マーク画像）を陳列エリアごとの映像上に重畳したモニタリング画面（図７参照）を生成する（ＳＴ８１７）。また、機会損失要因を表す表示画像が重畳されたモニタリング画面と、図６のような統計情報とを同一画面として生成しても良い。
また、１つの陳列エリア内に複数の状態監視エリアが設定されている場合は、商品検出によって１つでも要因情報が設定された状態監視エリアがあれば、当該陳列エリアのモニタリング映像上に機会損失の要因情報を表す表示画像（マーク画像）が重畳される。このとき、軽度不足状態であるか重度不足状態であるかが区別可能になるように、表示画像（マーク画像）の色や形状を変更しても良い。
次に、ＰＣ３で実行される販売機会損失の要因を判定しモニタリング映像に重畳させて表示する別の手順について説明する。図１０は、本実施形態の変形例の手順を示す動作フロー図である。図８の動作フローと異なる点は、ＳＴ１００１〜ＳＴ１００４のステップが追加されている点である。
図１０のＳＴ８０６において、統計情報から機会損失が発生していないと判定されたとき（ＳＴ８０６のＮｏ）にも、状態監視エリア設定部によりユーザが設定した状態監視エリアの映像の中から商品を検出する。具体的には、ＳＴ８０７と同様に、陳列量取得部３６１により、状態監視エリアの映像から、商品と想定される物体が映った画素を検出し、この商品と想定される物体が映った画素の状態監視エリア全画素に対する割合を商品占有率として求める（ＳＴ１００１）。
次に、ここまでに求めた商品占有率の平均値を算出する（ＳＴ１００２）。初めて求められた商品占有率であれば、この商品占有率がそのまま平均値とされ、２回目（２つめの状態監視エリア）以降であれば、前回までの商品占有率との平均値が算出される。
次に、陳列量取得を行っていない状態監視エリアが他にまだあるか否かを判定する（ＳＴ１００３）。陳列量取得を行っていない状態監視エリアがあれば（ＳＴ１００３のＹｅｓ）、他の状態監視エリアを対象としてＳＴ１００１とＳＴ１００２の処理を繰り返す。
すべての状態監視エリアの陳列量取得が終了したとき（ＳＴ１００３のＮｏ）、算出された平均値をメモリに保存する（ＳＴ１００４）。
その後、表示画面生成部３８により、陳列エリアの映像が並べられたモニタリング画面が生成され、モニタ１５に表示される（ＳＴ８１７）。販売機会損失が発生していない場合は、いずれの陳列エリアの映像上にも要因を表す表示画像（マーク画像）は表示されない。
また、ＳＴ１００４で保存された商品占有率の平均値は、ＳＴ８０８の陳列量が不足しているか否かの判定の際に使用される。本実施形態では、平均値を基準として設定する所定値をしきい値とし、このしきい値以下または未満の場合に陳列量不足と判定するものとする。これにより、平均値に一定の幅を持たせた値をしきい値とすることができ、また、平均値をそのまましきい値とすることもできる。このように、機会損失が発生していない状態での陳列量（商品占有率）の平均値に基づく値をしきい値とすることによって、陳列量不足が機会損失要因であるか否かの判定を、実際の統計情報に即して、より正確に判定することができる。
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本発明に係る商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
例えば、本実施形態では、コンビニエンスストアなどの小売店舗の例について説明したが、このような小売店舗に限定されるものではなく、小売店舗以外の業務形態の店舗に適用することも可能である。
また、本実施形態では、図２に示したように、カメラ１を、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラとしたが、所定の画角を有するカメラ、いわゆるボックスカメラでも可能である。
また、本実施形態では、図７に示したように、状態監視エリアにおける機会損失要因を表す表示画像（マーク画像）として、四角形を縦に並べるように表示したが、表示画像（マーク画像）はこれに限定されるものではなく、例えば、陳列エリアの映像上あるいはその近傍に、機会損失要因を絵柄や色の変化で表すアイコンを表示したり、要因の程度に応じて長さや色が変化するカラーバーを表示したりしても良い。
なお、本実施形態では、図６に示したように、来店客数と購入客数に関する統計情報を表示するようにしたが、これに加えて、陳列エリア（陳列棚など）の手前に滞在する顧客の人数（滞在客数）に関する統計情報を表示するようにしても良い。このようにすると、販売機会損失の状況をより確実に把握することができる。この場合、公知の人物検出技術を用いて、カメラ１の映像から陳列エリアの手前に滞在する顧客をカウントして、単位時間ごとの顧客の人数を取得すれば良い。
また、機会損失要因を判定する元となる商品占有率、特定商品占有率、商品種類数、前列商品占有率、フェイスアップ不足率を時間ごとに集計した統計情報を表示するようにしても良い。
また、本実施形態では、機会損失要因として、陳列量不足および商品種類数不足およびフェイスアップ不足の３つを検知するようにしたが、いずれか１つあるいは２つのみを検
知するようにしても良い。
また、本実施形態では、商品モニタリングに必要な処理を、店舗に設けられたＰＣ３に行わせるようにしたが、この必要な処理を、図１に示したように、本部に設けられたＰＣ１１や、クラウドコンピューティングシステムを構成するクラウドコンピュータ２１に行わせるようにしても良い。また、必要な処理を複数の情報処理装置で分担し、ＩＰネットワークやＬＡＮなどの通信媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしても良い。この場合、必要な処理を分担する複数の情報処理装置で商品モニタリングシステムが構成される。
このような構成では、商品モニタリングに必要な処理のうち、少なくともデータ量が大きな処理、例えば商品検出処理を、店舗に設けられたＰＣ３などの装置に行わせるようにすると良い。このように構成すると、残りの処理のデータ量が少なくて済むため、残りの処理を店舗とは異なる場所に設置された情報処理装置、例えば本部に設置されたＰＣ１１に行わせるようにしても、通信負荷を軽減することができるため、広域ネットワーク接続形態によるシステムの運用が容易になる。
また、クラウドコンピュータ２１に必要な処理の全部を行わせ、あるいは、必要な処理のうちの少なくとも画面出力処理をクラウドコンピュータ２１に分担させるようにしてもよく、このように構成すると、店舗や本部に設けられたＰＣ３、１１の他に、スマートフォン２２やタブレット端末２３などの携帯端末でもモニタリング画面を表示させることができるようになり、店舗を巡回中のスーパーバイザー等が店舗や本部の他に外出先などの任意の場所で遠隔の店舗における機会損失要因を監視することができる。
また、本実施形態では、店舗に設置されたＰＣ３に商品モニタリングに必要な処理を行わせるとともに、ＰＣ３に接続されたモニタ１５にモニタリング画面などを表示させて、ＰＣ３で必要な入力および出力を行う場合について説明したが、商品モニタリングに必要な処理を行う情報処理装置とは別の情報処理装置、例えば本部に設置されたＰＣ１１やスマートフォン２２やタブレット端末２３などの携帯端末で必要な入力および出力を行うことができるようにしても良い。
また、本実施形態の変形例では、機会損失が発生していない場合に、陳列量の取得を行って平均値を算出し、この平均値に基づいて設定した値を陳列量不足の判定の際のしきい値とするとしたが、同様に、機会損失が発生していない場合に商品の種類数取得を行って、種類数の平均値を算出し、この種類数の平均値に基づく値を種類数不足の判定の際のしきい値とても良い。また、機会損失が発生していない場合にフェイスアップ取得を行って、前列商品占有率あるいはフェイスアップ不足率の平均値を算出し、この前列商品占有率あるいはフェイスアップ不足率の平均値に基づく値をフェイスアップ不足の判定の際のしきい値としても良い。このように構成すると、機会損失が発生していないときの陳列量、種類数、フェイスアップの平均値を考慮して、機会損失要因か否かを各々の要因ごとに判定できるようになり、より正確に機会損失要因の判定を行うことができる。
本発明に係る商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法は、商品棚から販売機会損失の要因を分析し、要因を示す表示画像を、商品棚の陳列状態のモニタリング映像に重畳することにより、店員が即座にどの商品棚にどのような販売機会損失の要因があるかを把握することができる。これにより、店員が速やかに商品管理作業を実施することで、販売機会損失を防止することができる効果を有し、店舗における陳列エリアを撮影した映像に基づいて、販売機会損失を監視する商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法などとして有用である。
１ カメラ
２ レコーダ
３ ＰＣ（商品モニタリング装置）
４ ＰＯＳ端末
１１ ＰＣ
１２ ＰＯＳサーバ
１５ モニタ
１６ 入力デバイス
２１ クラウドコンピュータ
２２ スマートフォン
２３ タブレット端末
３０ 映像取得部
３１ 販売情報取得部
３２ 来店客検知部
３３ 計測部
３３１ 来店客数取得部
３３２ 購入客数取得部
３４ 評価部
３５ 統計情報生成部
３６ 商品検出部
３６１ 陳列量取得部
３６２ 商品種類数取得部
３６３ フェイスアップ取得部
３７ 販売機会損失分析部
３８ 表示画面生成部
３９ 操作入力制御部
４０ 状態監視エリア設定部
４１ 商品設定部
４００ バス
４０１ ＣＰＵ
４０２ ＲＡＭ
４０３ ＲＯＭ
４０４ ネットワークインタフェース
４０５ ＶＲＡＭ
４０６ 入力コントローラ
４０７ ＨＤＤ
４０８ 外部記憶装置インタフェース

Claims (17)

  1. 店舗に来店した来店客数を取得する来店客数取得部と、
    前記店舗の販売情報を管理する販売情報管理装置から商品を購入した購入客数を取得する購入客数取得部と、
    前記来店客数および前記購入客数に基づいて、統計情報を生成する統計情報生成部と、
    前記統計情報に基づいて販売機会損失の発生を検出する評価部と、
    この評価部によって販売機会損失の発生を検出したとき、前記店舗における陳列エリアを撮影した映像に基づいて、陳列された商品を検出する商品検出部と、
    この商品検出部の検出結果によって販売機会損失の要因を分析する販売機会損失分析部と、
    この販売機会損失分析部によって分析された販売機会損失の要因を表す表示画像を前記陳列エリアの映像上に重畳したモニタリング画面を生成する表示画面生成部と、
    を備えたことを特徴とする商品モニタリング装置。
  2. 前記商品検出部は、前記陳列エリアを撮影した映像において、商品が陳列される領域として設定された状態監視エリア内の映像の中から、商品を検出することを特徴とする請求項１記載の商品モニタリング装置。
  3. 前記商品検出部は、前記映像の中から、あらかじめ記憶された商品画像と一致する商品を検出し、前記商品画像と一致する商品があった場合に１種類として、商品の種類数を計数することを特徴とする請求項１または請求項２記載の商品モニタリング装置。
  4. 前記商品検出部は、前記映像の中から、あらかじめ記憶された商品画像と一致する商品の占有率を検出することを特徴とする請求項１から請求項３のいずれかに記載の商品モニタリング装置。
  5. 前記商品検出部は、前記映像において、陳列棚の前列として設定された領域の中から、商品の占有率を検出することを特徴とする請求項１から請求項４のいずれかに記載の商品モニタリング装置。
  6. 前記商品検出部は、前記映像において、陳列棚の正面横方向を横列、陳列棚の正面縦方向を縦列、前記横列のうち陳列棚手前側を前列、陳列棚奥側を後列として設定し、前記前列および前記後列の商品の有無に基づいて計数される前記縦列の列数を検出することを特徴とする請求項１から請求項４のいずれかに記載の商品モニタリング装置。
  7. 前記評価部は、前記来店客数と前記購入客数との差を所定値と比較した結果に基づいて、販売機会損失の発生を検出することを特徴とする請求項１記載の商品モニタリング装置。
  8. 前記販売機会損失分析部は、前記商品検出部の検出結果において、陳列された商品の陳列量が所定量以下または未満の場合に、販売機会損失の要因を陳列量不足と分析することを特徴とする請求項１または請求項２記載の商品モニタリング装置。
  9. 前記販売機会損失分析部は、前記商品検出部の検出結果において、陳列された商品の種類数が所定数以下または未満の場合に、販売機会損失の要因を種類数不足と分析することを特徴とする請求項１から請求項３のいずれかに記載の商品モニタリング装置。
  10. 前記販売機会損失分析部は、前記商品検出部の検出結果において、陳列棚の前列に陳列された商品の陳列量が所定量以下または未満の場合に、販売機会損失の要因をフェイスアップ不足と分析することを特徴とする請求項１または請求項２または請求項５記載の商品モニタリング装置。
  11. 前記販売機会損失分析部は、前記商品検出部の検出結果において、前記後列に商品がある前記縦列の列数と、前記前列に商品がなく前記後列に商品がある前記縦列の列数とから求められるフェイスアップ不足率が所定値以上または所定値超の場合に、販売機会損失の要因をフェイスアップ不足と分析することを特徴とする請求項６記載の商品モニタリング装置。
  12. 前記表示画面生成部は、販売機会損失の要因ごとに色分けされた同一形状の表示画像を前記陳列エリアの映像上に重畳させたモニタリング画面を生成することを特徴とする請求項１記載の商品モニタリング装置。
  13. 前記表示画面生成部は、販売機会損失の要因を示す表示画像を、軽度から重度までの程度が判別可能に、前記陳列エリアの映像上に重畳させたモニタリング画面を生成することを特徴とする請求項１記載の商品モニタリング装置。
  14. 前記表示画面生成部は、前記統計情報を時間軸に沿って表示するとともに、その時間軸上において選択された時間に対応する前記陳列エリアの映像上に、当該時間での販売機会損失の要因を表す表示画像を重畳させたモニタリング画面を生成することを特徴とする請求項１記載の商品モニタリング装置。
  15. 店舗に来店した来店客数を取得する来店客数取得部と、
    前記店舗の販売情報を管理する販売情報管理装置から商品を購入した購入客数を取得する購入客数取得部と、
    前記来店客数および前記購入客数に基づいて、統計情報を生成する統計情報生成部と、
    前記統計情報に基づいて販売機会損失の発生を検出する評価部と、
    前記店舗における陳列エリアを撮影した映像に基づいて、陳列された商品を検出する商品検出部と、
    前記評価部によって販売機会損失の発生が検出されていないとき、前記商品検出部の検出結果に基づき商品の陳列量の平均値を算出し、前記評価部によって販売機会損失の発生が検出されているとき、前記商品検出部の検出結果において、商品の陳列量が、前記平均値を基準として設定される所定値以下または未満の場合に、販売機会損失の要因を陳列量不足と分析する販売機会損失分析部と、
    この販売機会損失分析部によって分析された販売機会損失の要因を表す表示画像を前記陳列エリアの映像上に重畳したモニタリング画面を生成する表示画面生成部と、
    を備えたことを特徴とする商品モニタリング装置。
  16. 店舗における来店客数および購入客数および商品の陳列エリアを撮影した映像に基づいて、販売の機会損失を監視する商品モニタリングシステムであって、
    前記陳列エリアを撮影するカメラと、
    情報処理装置と、
    を有し、
    前記情報処理装置が、
    店舗に来店した来店客数を取得する来店客数取得部と、
    前記店舗の販売情報を管理する販売情報管理装置から商品を購入した購入客数を取得する購入客数取得部と、
    前記来店客数および前記購入客数に基づいて、統計情報を生成する統計情報生成部と、
    前記統計情報に基づいて販売機会損失の発生を検出する評価部と、
    この評価部によって販売機会損失の発生を検出したとき、前記店舗における陳列エリアを撮影した映像に基づいて、陳列された商品を検出する商品検出部と、
    この商品検出部の検出結果によって販売機会損失の要因を分析する販売機会損失分析部と、
    この販売機会損失分析部によって分析された販売機会損失の要因を表す表示画像を前記陳列エリアの映像上に重畳したモニタリング画面を生成する表示画面生成部と、
    を備えたことを特徴とする商品モニタリングシステム。
  17. 店舗における来店客数および購入客数および商品の陳列エリアを撮影した映像に基づいて、販売の機会損失を監視する処理を情報処理装置に行わせる商品モニタリング方法であって、
    店舗に来店した来店客数を取得し、
    前記店舗の販売情報を管理する販売情報管理装置から商品を購入した購入客数を取得し、
    前記来店客数および前記購入客数に基づいて統計情報を生成し、
    前記統計情報に基づいて販売機会損失の発生を検出し、
    販売機会損失の発生を検出したとき、前記店舗における陳列エリアを撮影した映像に基づいて陳列された商品を検出し、
    この商品の検出結果によって販売機会損失の要因を分析し、
    この分析された販売機会損失の要因を表す表示画像を前記陳列エリアの映像上に重畳したモニタリング画面を生成することを特徴とする商品モニタリング方法。
JP2014224826A 2014-11-05 2014-11-05 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法 Active JP5942173B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014224826A JP5942173B2 (ja) 2014-11-05 2014-11-05 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
PCT/JP2015/005334 WO2016072056A1 (ja) 2014-11-05 2015-10-23 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
US15/515,741 US10387897B2 (en) 2014-11-05 2015-10-23 Retail sales opportunity loss cause analysis based on image analysis of shelf display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014224826A JP5942173B2 (ja) 2014-11-05 2014-11-05 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法

Publications (2)

Publication Number Publication Date
JP2016091287A JP2016091287A (ja) 2016-05-23
JP5942173B2 true JP5942173B2 (ja) 2016-06-29

Family

ID=55908803

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014224826A Active JP5942173B2 (ja) 2014-11-05 2014-11-05 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法

Country Status (3)

Country Link
US (1) US10387897B2 (ja)
JP (1) JP5942173B2 (ja)
WO (1) WO2016072056A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180031263A (ko) * 2016-09-19 2018-03-28 주식회사 라이브원 배송물품의 배송 확인 방법 및 이를 수행하는 서버

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6238028B2 (ja) * 2016-03-11 2017-11-29 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP6260959B2 (ja) * 2016-07-11 2018-01-17 パナソニックＩｐマネジメント株式会社 施設運営支援装置、および施設運営支援方法
JP6288567B2 (ja) * 2016-07-11 2018-03-07 パナソニックＩｐマネジメント株式会社 施設運営支援装置、および施設運営支援方法
JP6300126B2 (ja) * 2016-07-11 2018-03-28 パナソニックＩｐマネジメント株式会社 施設運営支援装置および施設運営支援方法
WO2018012389A1 (ja) * 2016-07-11 2018-01-18 パナソニックＩｐマネジメント株式会社 施設運営支援装置、ユーザ端末装置、および施設運営支援方法
US11250570B2 (en) 2017-03-31 2022-02-15 Nec Corporation Display rack image processing device, image processing method, and recording medium
US10831431B2 (en) 2017-04-18 2020-11-10 Anthony, Inc. Shelving display
JP7036548B2 (ja) * 2017-07-21 2022-03-15 東芝テック株式会社 画像処理装置、情報処理装置、システム及びプログラム
JP7286822B2 (ja) * 2017-10-25 2023-06-05 東芝テック株式会社 商品管理装置及び商品管理プログラム
JP7020860B2 (ja) * 2017-10-25 2022-02-16 東芝テック株式会社 商品管理装置及び商品管理プログラム、商品管理システム
MX2020007114A (es) * 2018-01-10 2020-12-09 Simbe Robotics Inc Método para detectar y responder a derrames y peligros.
US10984536B2 (en) * 2018-01-25 2021-04-20 Emza Visual Sense Ltd Motion detection in digital images and a communication method of the results thereof
TWI745653B (zh) * 2019-02-18 2021-11-11 宏碁股份有限公司 顧客行為分析方法與顧客行為分析系統
WO2020174526A1 (ja) * 2019-02-25 2020-09-03 日本電気株式会社 処理装置、処理方法及びプログラム
US20220301246A1 (en) * 2019-08-28 2022-09-22 Nec Corporation Store management system, store management method, computer program and recording medium
JP2021124823A (ja) * 2020-02-03 2021-08-30 東芝テック株式会社 認証装置及び制御プログラム
CN111444796B (zh) * 2020-03-13 2023-05-02 达闼机器人股份有限公司 售货机器人的商品摆放判断方法及装置
JP2022053849A (ja) * 2020-09-25 2022-04-06 東芝テック株式会社 画像処理装置及び画像処理システム並びにその制御プログラム
CN113360810B (zh) * 2021-07-02 2022-03-01 北京容联七陌科技有限公司 一种在线客服主动会话邀请方法
JP7295181B2 (ja) * 2021-09-08 2023-06-20 ソフトバンク株式会社 判定装置、プログラム、及び判定方法
US20230162122A1 (en) * 2021-11-25 2023-05-25 Arye Houminer Systems and methods for providing insight regarding retail store performance and store layout
JP7214327B1 (ja) 2022-08-17 2023-01-30 セーフィー株式会社 情報処理システム、情報処理方法及びプログラム
JP7361233B1 (ja) 2023-03-02 2023-10-13 セーフィー株式会社 システム、方法、およびプログラム

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2350720C3 (de) 1973-10-10 1979-11-08 Hoechst Ag, 6000 Frankfurt Polymerisationsverfahren
US5138638A (en) * 1991-01-11 1992-08-11 Tytronix Corporation System for determining the number of shoppers in a retail store and for processing that information to produce data for store management
JPH0581552A (ja) * 1991-07-12 1993-04-02 Omron Corp 商品監視システム
US7240027B2 (en) * 2000-04-07 2007-07-03 The Procter & Gamble Company Method and apparatus for monitoring the flow of items through a store or warehouse
US20020138336A1 (en) * 2001-02-06 2002-09-26 Bakes Frank Heinrich Method and system for optimizing product inventory levels
JP3908047B2 (ja) * 2002-02-04 2007-04-25 富士通株式会社 陳列状態監視方法及び陳列状態監視プログラム
CA2425297A1 (en) * 2002-04-15 2003-10-15 Exchange Synergism Ltd. Method, system and apparatus for measuring and analyzing business volume
JP2004118454A (ja) * 2002-09-25 2004-04-15 Toshiba Lighting & Technology Corp 売場計画支援システム
US20050190072A1 (en) * 2004-02-26 2005-09-01 Brown Katherine A. Item monitoring system and methods of using an item monitoring system
JP5049457B2 (ja) * 2004-05-20 2012-10-17 株式会社東芝 情報処理システム、情報処理方法および情報処理プログラム
CA2603522A1 (en) * 2005-04-13 2006-10-26 Store Eyes, Inc. System and method for measuring display compliance
US20070061210A1 (en) * 2005-09-09 2007-03-15 Li Chen Methods for reducing retail out-of-stocks using store-level RFID data
JP2007179199A (ja) * 2005-12-27 2007-07-12 Canon Marketing Japan Inc 販売分析装置および販売分析方法およびプログラムおよび記録媒体
US7693757B2 (en) * 2006-09-21 2010-04-06 International Business Machines Corporation System and method for performing inventory using a mobile inventory robot
US20080147475A1 (en) * 2006-12-15 2008-06-19 Matthew Gruttadauria State of the shelf analysis with virtual reality tools
US8321303B1 (en) * 2007-04-02 2012-11-27 Checkpoint Systems, Inc. Retail product out-of-stock detection and dynamic scripting
EP2160711A1 (en) * 2007-06-07 2010-03-10 Sorensen Associates Inc. Traffic and population counting device system and method
US20090024450A1 (en) * 2007-07-18 2009-01-22 Truedemand Software, Inc. Lost sales detection and estimation using retail store data
US8189855B2 (en) * 2007-08-31 2012-05-29 Accenture Global Services Limited Planogram extraction based on image processing
US20100138281A1 (en) * 2008-11-12 2010-06-03 Yinying Zhang System and method for retail store shelf stock monitoring, predicting, and reporting
JP5213689B2 (ja) * 2008-12-19 2013-06-19 株式会社日本レストランエンタプライズ 弁当類の製造販売管理方法及びシステム、並びにプログラム及び記憶媒体
JP2011022987A (ja) * 2009-06-18 2011-02-03 Hitachi Ltd 部品発注量決定装置および部品発注量決定プログラム
JP5072985B2 (ja) 2010-02-05 2012-11-14 東芝テック株式会社 情報端末及びプログラム
JP5731766B2 (ja) * 2010-07-14 2015-06-10 株式会社野村総合研究所 販売機会損失の分析システム及び分析方法
JP5344503B2 (ja) * 2012-01-24 2013-11-20 キヤノンマーケティングジャパン株式会社 サーバ、店舗分析システム、プログラム
EP2642747A1 (en) * 2012-03-21 2013-09-25 Axis AB A movable monitoring device, a method therein and a monitoring system comprising the movable monitoring device.
JP2013210953A (ja) 2012-03-30 2013-10-10 Toshiba Tec Corp 情報端末及びプログラム
JP6043094B2 (ja) * 2012-05-30 2016-12-14 辛東主 商品陳列情報集計システム
US20140019199A1 (en) * 2012-07-13 2014-01-16 International Business Machines Corporation Automatically evaluating customer satisfaction
US20140032379A1 (en) * 2012-07-27 2014-01-30 Wolfgang Schuetz On-shelf availability system and method
US20140039950A1 (en) * 2012-08-03 2014-02-06 International Business Machines Corporation Automatically detecting lost sales
US9058215B2 (en) * 2012-10-19 2015-06-16 Sap Se Integration of a calculation engine with a software component
US20140278655A1 (en) * 2013-03-15 2014-09-18 Shopper Scientist, Llc Modeling shoppers' time in stores in relation to their purchases
US20150120392A1 (en) * 2013-10-25 2015-04-30 Cellco Partnership (D/B/A Verizon Wireless) Ranking of Store Locations Using Separable Features of Traffic Counts
US20150220785A1 (en) * 2014-02-06 2015-08-06 Rf Spot Inc. Method and system for semi-automated venue monitoring
US11593821B2 (en) * 2014-02-14 2023-02-28 International Business Machines Corporation Mobile device based inventory management and sales trends analysis in a retail environment
US20150262116A1 (en) * 2014-03-16 2015-09-17 International Business Machines Corporation Machine vision technology for shelf inventory management
CA2952034A1 (en) * 2014-06-12 2015-12-17 Arie SHPANYA Real-time dynamic pricing system
US9443164B2 (en) * 2014-12-02 2016-09-13 Xerox Corporation System and method for product identification
US10510038B2 (en) * 2015-06-17 2019-12-17 Tata Consultancy Services Limited Computer implemented system and method for recognizing and counting products within images
CA2937234A1 (en) * 2015-08-05 2017-02-05 Wal-Mart Stores, Inc. Systems and methods to forecast and improve product on-shelf availability
US20170039741A1 (en) * 2015-08-06 2017-02-09 Sap Se Multi-dimensional visualization
WO2017083424A1 (en) * 2015-11-09 2017-05-18 Simbe Robotics, Inc. Method for tracking stock level within a store
US10922645B2 (en) * 2015-12-02 2021-02-16 Walmart Apollo, Llc Methods and systems for facilitating product on-shelf-availability
US10417696B2 (en) * 2015-12-18 2019-09-17 Ricoh Co., Ltd. Suggestion generation based on planogram matching
US10592854B2 (en) * 2015-12-18 2020-03-17 Ricoh Co., Ltd. Planogram matching
US9984355B2 (en) * 2016-02-25 2018-05-29 Wal-Mart Stores, Inc. Systems and methods for monitoring location of products on shelves at a retail sales facility
JP2017157032A (ja) * 2016-03-02 2017-09-07 東芝テック株式会社 欠品検出装置及び欠品検出システム
US10372753B2 (en) * 2016-03-16 2019-08-06 Walmart Apollo, Llc System for verifying physical object absences from assigned regions using video analytics

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180031263A (ko) * 2016-09-19 2018-03-28 주식회사 라이브원 배송물품의 배송 확인 방법 및 이를 수행하는 서버
KR101863945B1 (ko) * 2016-09-19 2018-06-01 주식회사 라이브원 배송물품의 배송 확인 방법 및 이를 수행하는 서버

Also Published As

Publication number Publication date
JP2016091287A (ja) 2016-05-23
US10387897B2 (en) 2019-08-20
WO2016072056A1 (ja) 2016-05-12
US20170300938A1 (en) 2017-10-19

Similar Documents

Publication Publication Date Title
JP5942173B2 (ja) 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP5728654B1 (ja) 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP5881022B1 (ja) 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP5632512B1 (ja) 人物行動分析装置、人物行動分析システムおよび人物行動分析方法、ならびに監視装置
US10304015B2 (en) Facility management support apparatus, facility management support system, and facility management support method
JP6008339B1 (ja) 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
US20140358639A1 (en) Customer category analysis device, customer category analysis system and customer category analysis method
JP5866542B1 (ja) 施設管理支援装置、施設管理支援システムおよび施設管理支援方法
JP6238028B2 (ja) 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP6319669B2 (ja) 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP5866523B2 (ja) 施設利用状況計測装置、施設利用状況計測システムおよび施設利用状況計測方法
JP5834196B2 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
JP6341388B2 (ja) 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
WO2016056192A1 (ja) 活動状況分析システム、活動状況分析装置、活動状況分析方法、活動状況分析プログラムおよびそのプログラムを格納する記憶媒体
US10049333B2 (en) Sales clerk operation management apparatus, sales clerk operation management system, and sales clerk operation management method
JP2017182653A (ja) 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP6024933B2 (ja) 店員作業管理装置、店員作業管理システムおよび店員作業管理方法
JP6161011B2 (ja) 施設管理支援装置、施設管理支援システムおよび施設管理支援方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160425

R151 Written notification of patent or utility model registration

Ref document number: 5942173

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151