JP5356615B1 - 顧客行動分析装置、顧客行動分析システムおよび顧客行動分析方法 - Google Patents

顧客行動分析装置、顧客行動分析システムおよび顧客行動分析方法 Download PDF

Info

Publication number
JP5356615B1
JP5356615B1 JP2013018198A JP2013018198A JP5356615B1 JP 5356615 B1 JP5356615 B1 JP 5356615B1 JP 2013018198 A JP2013018198 A JP 2013018198A JP 2013018198 A JP2013018198 A JP 2013018198A JP 5356615 B1 JP5356615 B1 JP 5356615B1
Authority
JP
Japan
Prior art keywords
person
self
service
area
customer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013018198A
Other languages
English (en)
Other versions
JP2014149686A (ja
Inventor
邦雄 平川
嘉修 宇野
裕一 中畑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2013018198A priority Critical patent/JP5356615B1/ja
Application granted granted Critical
Publication of JP5356615B1 publication Critical patent/JP5356615B1/ja
Priority to EP20140152949 priority patent/EP2763087A1/en
Priority to US14/165,989 priority patent/US20140222501A1/en
Priority to CN201410044899.7A priority patent/CN103971264B/zh
Publication of JP2014149686A publication Critical patent/JP2014149686A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/12Hotels or restaurants

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】セルフサービスエリアから商品を選び取るセルフサービス行動を途中で断念した人物の発生状況をユーザが簡単に把握することができるようにする。
【解決手段】セルフサービスの対象物が配置されたセルフサービスエリアの周辺を撮像するカメラ1による画像情報に基づいて、セルフサービスエリアの周辺において移動する人物を追跡する人物追跡部46と、この人物追跡部の追跡結果に基づいて、セルフサービスエリアから対象物を選び取るために顧客が進入するアクセスエリアに対する人物の移動方向およびアクセスエリアでの人物の滞留時間を取得し、この移動方向および滞留時間に基づいて、セルフサービス行動を途中で断念した中断人物を検知する中断人物検知部48と、この中断人物検知部の検知結果に基づいて分析結果となる出力情報を生成する出力情報生成部49と、を備えたものとする。
【選択図】図6

Description

本発明は、店舗内での顧客の行動に関する分析を行う顧客行動分析装置、顧客行動分析システムおよび顧客行動分析方法に関するものである。
店舗には、ファミリーレストランなどの飲食店や、スーパーマーケットおよびコンビニエンスストアなどの小売店などの種々の業務形態があるが、いずれの業務形態でも、店舗内での顧客の行動に関する分析に基づいて、店舗を運営する際の改善策を考えることが、顧客満足度の向上や店舗の効率的な運営を図り、店舗の売上や利益を向上させる上で有益である。
このような店舗内での顧客の行動に関する分析に関連するものとして、従来、スーパーマーケットおよびコンビニエンスストアなどの小売店において、店舗内を撮像するカメラにより得られた画像情報に基づいて、商品の陳列棚に近づいた顧客を検知する技術(特許文献1,2参照)や、店舗内の各エリアでの顧客の出入りや滞在時間を取得する技術が知られている(特許文献3参照)。
特開2012−022528号公報 特開2009−048430号公報 特開2006−285409号公報
さて、ファミリーレストランなどの飲食店では、セルフサービスで料理品を顧客に提供するセルフサービスエリア、例えばサラダバーが設けられている。このようなセルフサービスエリアでは、料理品の品揃えが顧客の嗜好に合わない場合や、料理品が品切れである場合には、顧客は料理品を選び取るセルフサービス行動を途中で断念して料理品を取らずに帰ってしまう。また、セルフサービスエリアが顧客で混雑している場合にも、顧客はセルフサービス行動を途中で断念する。
このように顧客がセルフサービス行動を途中で断念した場合、セルフサービスに関する店舗側の対応に何等かの不備があるものと想定されるため、セルフサービス行動を途中で断念した人物を見つけ出して、セルフサービス行動を途中で断念した原因を究明するようにすると、苦情を訴えられる前に苦情の原因となる店舗側の不備を事前に把握することができ、これにより、店舗側の不備を改善する対策を講じることで、苦情を未然に防ぐとともに顧客満足度の向上を図ることができる。
これに対して、前記従来の技術では、店舗内での顧客の行動に基づいて、商品に対する顧客の興味の度合いなどを把握することができ、さらに、POSシステムの販売情報と組み合わせることで、販売促進に有効な情報を得ることができるものの、顧客のセルフサービス行動を分析する、とりわけセルフサービス行動を途中で断念した人物を見つけ出すことができるものではなく、セルフサービス行動を途中で断念した人物の発生状況をユーザが簡単に把握することができる技術が望まれる。
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、セルフサービスエリアから商品を選び取るセルフサービス行動を途中で断念した人物の発生状況をユーザが簡単に把握することができるように構成された顧客行動分析装置、顧客行動分析システムおよび顧客行動分析方法を提供することにある。
本発明の顧客行動分析装置は、セルフサービスが導入された店舗において、セルフサービスの対象物が配置されたセルフサービスエリアから前記対象物を選び取る顧客のセルフサービス行動に関する分析を行う顧客行動分析装置であって、前記セルフサービスエリアの周辺を撮像する撮像装置による画像情報に基づいて、前記セルフサービスエリアの周辺において移動する人物を追跡する人物追跡部と、この人物追跡部の追跡結果に基づいて、前記セルフサービスエリアから前記対象物を選び取るために顧客が進入するアクセスエリアに対する人物の移動方向および前記アクセスエリアでの人物の滞留時間を取得し、この移動方向および滞留時間に基づいて、セルフサービス行動を途中で断念した中断人物を検知する中断人物検知部と、この中断人物検知部の検知結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備え、前記人物追跡部は、前記セルフサービスエリアを含む対象エリアにおいて検出されたオブジェクトが人物と認識された場合に、そのオブジェクトに人物IDを付与する人物認識部と、前記対象エリア内でオブジェクトの追跡が失敗した後に新たに人物と認識されるオブジェクトが出現すると、オブジェクトの追跡が失敗した時刻から新たなオブジェクトが出現した時刻までの経過時間、およびオブジェクトの追跡が失敗した位置から新たなオブジェクトが出現した位置までの離間距離のいずれか一方あるいは双方が、所定の近接条件を満足する場合には、追跡が失敗したオブジェクトと新たに出現したオブジェクトとが同一人物であると判断して、新たに出現したオブジェクトに、追跡が失敗したオブジェクトに付与されていた人物IDを付与する人物補正部と、を備えた構成とする。
また、本発明の顧客行動分析装置は、セルフサービスが導入された店舗において、セルフサービスの対象物が配置されたセルフサービスエリアから前記対象物を選び取る顧客のセルフサービス行動に関する分析を行う顧客行動分析装置であって、前記セルフサービスエリアの周辺を撮像する撮像装置による画像情報に基づいて、前記セルフサービスエリアの周辺において移動する人物を追跡する人物追跡部と、この人物追跡部の追跡結果に基づいて、前記セルフサービスエリアから前記対象物を選び取るために顧客が進入するアクセスエリアに対する人物の移動方向および前記アクセスエリアでの人物の滞留時間を取得し、この移動方向および滞留時間に基づいて、セルフサービス行動を途中で断念した中断人物を検知する中断人物検知部と、この中断人物検知部の検知結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備え、前記中断人物検知部は、前記アクセスエリアへの進入方向と前記アクセスエリアからの退出方向とが同じで、且つ前記アクセスエリアでの滞留時間が所定のしきい値より短い場合に、前記中断人物と判定する構成とする。
また、本発明の顧客行動分析システムは、セルフサービスが導入された店舗において、セルフサービスの対象物が配置されたセルフサービスエリアから前記対象物を選び取る顧客のセルフサービス行動に関する分析を行う顧客行動分析システムであって、前記セルフサービスエリアの周辺を撮像する撮像装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記撮像装置による画像情報に基づいて、前記セルフサービスエリアの周辺において移動する人物を追跡する人物追跡部と、この人物追跡部の追跡結果に基づいて、前記セルフサービスエリアから前記対象物を選び取るために顧客が進入するアクセスエリアに対する人物の移動方向および前記アクセスエリアでの人物の滞留時間を取得し、この移動方向および滞留時間に基づいて、セルフサービス行動を途中で断念した中断人物を検知する中断人物検知部と、この中断人物検知部の検知結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備え、前記人物追跡部は、前記セルフサービスエリアを含む対象エリアにおいて検出されたオブジェクトが人物と認識された場合に、そのオブジェクトに人物IDを付与する人物認識部と、前記対象エリア内でオブジェクトの追跡が失敗した後に新たに人物と認識されるオブジェクトが出現すると、オブジェクトの追跡が失敗した時刻から新たなオブジェクトが出現した時刻までの経過時間、およびオブジェクトの追跡が失敗した位置から新たなオブジェクトが出現した位置までの離間距離のいずれか一方あるいは双方が、所定の近接条件を満足する場合には、追跡が失敗したオブジェクトと新たに出現したオブジェクトとが同一人物であると判断して、新たに出現したオブジェクトに、追跡が失敗したオブジェクトに付与されていた人物IDを付与する人物補正部と、を備えた構成とする。
また、本発明の顧客行動分析システムは、セルフサービスが導入された店舗において、セルフサービスの対象物が配置されたセルフサービスエリアから前記対象物を選び取る顧客のセルフサービス行動に関する分析を行う顧客行動分析システムであって、前記セルフサービスエリアの周辺を撮像する撮像装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記撮像装置による画像情報に基づいて、前記セルフサービスエリアの周辺において移動する人物を追跡する人物追跡部と、この人物追跡部の追跡結果に基づいて、前記セルフサービスエリアから前記対象物を選び取るために顧客が進入するアクセスエリアに対する人物の移動方向および前記アクセスエリアでの人物の滞留時間を取得し、この移動方向および滞留時間に基づいて、セルフサービス行動を途中で断念した中断人物を検知する中断人物検知部と、この中断人物検知部の検知結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備え、前記中断人物検知部は、前記アクセスエリアへの進入方向と前記アクセスエリアからの退出方向とが同じで、且つ前記アクセスエリアでの滞留時間が所定のしきい値より短い場合に、前記中断人物と判定する構成とする。
また、本発明の顧客行動分析方法は、セルフサービスが導入された店舗において、店舗内または店舗外に設置された情報処理装置により、セルフサービスの対象物が配置されたセルフサービスエリアから前記対象物を選び取る顧客のセルフサービス行動に関する分析を行う顧客行動分析方法であって、前記セルフサービスエリアの周辺を撮像する撮像装置による画像情報に基づいて、前記セルフサービスエリアの周辺において移動する人物を追跡するステップと、このステップによる追跡結果に基づいて、前記セルフサービスエリアから前記対象物を選び取るために顧客が進入するアクセスエリアに対する人物の移動方向および前記アクセスエリアでの人物の滞留時間を取得し、この移動方向および滞留時間に基づいて、セルフサービス行動を途中で断念した中断人物を検知するステップと、このステップによる検知結果に基づいて分析結果となる出力情報を生成するステップと、を有し、前記人物を追跡するステップは、前記セルフサービスエリアを含む対象エリアにおいて検出されたオブジェクトが人物と認識された場合に、そのオブジェクトに人物IDを付与する人物認識ステップと、前記対象エリア内でオブジェクトの追跡が失敗した後に新たに人物と認識されるオブジェクトが出現すると、オブジェクトの追跡が失敗した時刻から新たなオブジェクトが出現した時刻までの経過時間、およびオブジェクトの追跡が失敗した位置から新たなオブジェクトが出現した位置までの離間距離のいずれか一方あるいは双方が、所定の近接条件を満足する場合には、追跡が失敗したオブジェクトと新たに出現したオブジェクトとが同一人物であると判断して、新たに出現したオブジェクトに、追跡が失敗したオブジェクトに付与されていた人物IDを付与する人物補正ステップと、を有する構成とする。
また、本発明の顧客行動分析方法は、セルフサービスが導入された店舗において、店舗内または店舗外に設置された情報処理装置により、セルフサービスの対象物が配置されたセルフサービスエリアから前記対象物を選び取る顧客のセルフサービス行動に関する分析を行う顧客行動分析方法であって、前記セルフサービスエリアの周辺を撮像する撮像装置による画像情報に基づいて、前記セルフサービスエリアの周辺において移動する人物を追跡するステップと、このステップによる追跡結果に基づいて、前記セルフサービスエリアから前記対象物を選び取るために顧客が進入するアクセスエリアに対する人物の移動方向および前記アクセスエリアでの人物の滞留時間を取得し、この移動方向および滞留時間に基づいて、セルフサービス行動を途中で断念した中断人物を検知するステップと、このステップによる検知結果に基づいて分析結果となる出力情報を生成するステップと、を有し、前記中断人物を検知するステップは、前記アクセスエリアへの進入方向と前記アクセスエリアからの退出方向とが同じで、且つ前記アクセスエリアでの滞留時間が所定のしきい値より短い場合に、前記中断人物と判定する構成とする。
本発明によれば、セルフサービス行動を途中で断念した中断人物が検知されて中断人物の発生状況に関する分析結果が出力されるため、中断人物の発生状況を店舗管理者などのユーザが簡単に把握することができる。これにより、セルフサービス行動を途中で断念した原因を究明することができ、苦情を訴えられる前に苦情の原因となる店舗側の不備を事前に把握して店舗側の不備を改善する対策を講じることで、苦情を未然に防ぐとともに顧客満足度の向上を図ることができる。特に、セルフサービスエリアの周辺が人物で混雑している場合など、人物追跡が難しい状況でも、人物補正処理や人物の移動方向および滞留時間の把握によって人物の移動状況を捕捉することができるため、セルフサービス行動を途中で断念した中断人物の検知漏れを低減して、高い確率で中断人物を精度よく検知することができる。
本実施形態に係る分析システムの全体構成図 店舗のレイアウトの一例を示す平面図 サラダバー31の周辺を撮像するカメラ1による撮像画像を示す説明図 店舗に設置されたPC3の概略構成を示す機能ブロック図 中断人物検知情報を表示する分析結果画面の一例を示す説明図 顧客行動分析部43の概略構成を示すブロック図 顧客行動分析部43で行われる処理の手順を示すフロー図 中断人物判定部57で行われる処理の要領を説明する説明図 サラダバー31の周辺での人物の移動パターンの一例を示す模式的な平面図 容器交換情報を表示する分析結果画面の一例を示す説明図 商品状況分析部44の概略構成を示すブロック図 サラダバー31を撮像するカメラ1による撮像画像の一例を示す説明図
前記課題を解決するためになされた第1の発明は、セルフサービスが導入された店舗において、セルフサービスの対象物が配置されたセルフサービスエリアから前記対象物を選び取る顧客のセルフサービス行動に関する分析を行う顧客行動分析装置であって、前記セルフサービスエリアの周辺を撮像する撮像装置による画像情報に基づいて、前記セルフサービスエリアの周辺において移動する人物を追跡する人物追跡部と、この人物追跡部の追跡結果に基づいて、前記セルフサービスエリアから前記対象物を選び取るために顧客が進入するアクセスエリアに対する人物の移動方向および前記アクセスエリアでの人物の滞留時間を取得し、この移動方向および滞留時間に基づいて、セルフサービス行動を途中で断念した中断人物を検知する中断人物検知部と、この中断人物検知部の検知結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備え、前記人物追跡部は、前記セルフサービスエリアを含む対象エリアにおいて検出されたオブジェクトが人物と認識された場合に、そのオブジェクトに人物IDを付与する人物認識部と、前記対象エリア内でオブジェクトの追跡が失敗した後に新たに人物と認識されるオブジェクトが出現すると、オブジェクトの追跡が失敗した時刻から新たなオブジェクトが出現した時刻までの経過時間、およびオブジェクトの追跡が失敗した位置から新たなオブジェクトが出現した位置までの離間距離のいずれか一方あるいは双方が、所定の近接条件を満足する場合には、追跡が失敗したオブジェクトと新たに出現したオブジェクトとが同一人物であると判断して、新たに出現したオブジェクトに、追跡が失敗したオブジェクトに付与されていた人物IDを付与する人物補正部と、を備えた構成とする。
また、第2の発明は、セルフサービスが導入された店舗において、セルフサービスの対象物が配置されたセルフサービスエリアから前記対象物を選び取る顧客のセルフサービス行動に関する分析を行う顧客行動分析装置であって、前記セルフサービスエリアの周辺を撮像する撮像装置による画像情報に基づいて、前記セルフサービスエリアの周辺において移動する人物を追跡する人物追跡部と、この人物追跡部の追跡結果に基づいて、前記セルフサービスエリアから前記対象物を選び取るために顧客が進入するアクセスエリアに対する人物の移動方向および前記アクセスエリアでの人物の滞留時間を取得し、この移動方向および滞留時間に基づいて、セルフサービス行動を途中で断念した中断人物を検知する中断人物検知部と、この中断人物検知部の検知結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備え、前記中断人物検知部は、前記アクセスエリアへの進入方向と前記アクセスエリアからの退出方向とが同じで、且つ前記アクセスエリアでの滞留時間が所定のしきい値より短い場合に、前記中断人物と判定する構成とする。
これによると、セルフサービス行動を途中で断念した中断人物が検知されて中断人物の発生状況に関する分析結果が出力されるため、中断人物の発生状況を店舗管理者などのユーザが簡単に把握することができる。これにより、セルフサービス行動を途中で断念した原因を究明することができ、苦情を訴えられる前に苦情の原因となる店舗側の不備を事前に把握して店舗側の不備を改善する対策を講じることで、苦情を未然に防ぐとともに顧客満足度の向上を図ることができる。特に、セルフサービスエリアの周辺が人物で混雑している場合など、人物追跡が難しい状況でも、人物補正処理や人物の移動方向および滞留時間の把握によって人物の移動状況を捕捉することができるため、セルフサービス行動を途中で断念した中断人物の検知漏れを低減して、高い確率で中断人物を精度よく検知することができる。
また、第3の発明は、前記店舗が飲食店であり、前記対象物が料理品である構成とする。
これによると、セルフサービスエリアから料理品を自分の容器に取り分ける給仕作業に時間を要するため、滞留時間で給仕作業を行ったか否かを判別することができ、これにより、セルフサービス行動を途中で断念した中断人物を精度よく検知することができる。
また、第4の発明は、前記アクセスエリアは、前記セルフサービスエリアに接する第1エリアと、前記セルフサービスエリアから離れた第2エリアとの少なくとも2つに分割され、前記中断人物検知部は、前記第1エリアおよび前記第2エリアに対する人物の進入状況に基づいて、前記中断人物を検知する構成とする。
これによると、セルフサービス行動を途中で断念した中断人物を精度よく検知することができる。
また、第5の発明は、前記中断人物検知部は、前記アクセスエリアへの進入方向と前記アクセスエリアからの退出方向とが同じで、且つ前記第1エリアに進入しなかった場合に、前記中断人物と判定する構成とする。
これによると、セルフサービス行動を途中で断念した中断人物を精度よく検知することができる。
また、第6の発明は、前記出力情報生成部は、前記出力情報として、所定期間ごとの前記中断人物の発生状況に関する情報を生成する構成とする。
これによると、中断人物の発生状況、特に発生件数(中断人物の人数)を所定期間ごとに店舗管理者などのユーザが把握することができる。これにより、中断人物の発生件数が多い時間帯を特定して、セルフサービス行動を途中で断念した原因を究明することができる。
また、第7の発明は、前記撮像装置による画像情報を記録する画像記録装置から前記画像情報を取得して表示装置に出力する表示制御部をさらに備え、この表示制御部は、前記中断人物を選択する画面を前記表示装置に表示させ、ユーザによる選択操作に応じて、該当する前記中断人物が写った画像を前記表示装置に表示させる構成とする。
これによると、中断人物が写った画像により、中断人物がセルフサービス行動を途中で断念した状況を詳細に確認することができ、これによりセルフサービス行動を途中で断念した原因を究明することができる。また、中断人物の検知に誤りがないか、すなわち中断人物として検知された人物が実際にセルフサービス行動を途中で断念したかを確認することができ、中断人物の発生状況を店舗管理者などのユーザが正確に把握することができる。
また、第8の発明は、セルフサービスが導入された店舗において、セルフサービスの対象物が配置されたセルフサービスエリアから前記対象物を選び取る顧客のセルフサービス行動に関する分析を行う顧客行動分析システムであって、前記セルフサービスエリアの周辺を撮像する撮像装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記撮像装置による画像情報に基づいて、前記セルフサービスエリアの周辺において移動する人物を追跡する人物追跡部と、この人物追跡部の追跡結果に基づいて、前記セルフサービスエリアから前記対象物を選び取るために顧客が進入するアクセスエリアに対する人物の移動方向および前記アクセスエリアでの人物の滞留時間を取得し、この移動方向および滞留時間に基づいて、セルフサービス行動を途中で断念した中断人物を検知する中断人物検知部と、この中断人物検知部の検知結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備え、前記人物追跡部は、前記セルフサービスエリアを含む対象エリアにおいて検出されたオブジェクトが人物と認識された場合に、そのオブジェクトに人物IDを付与する人物認識部と、前記対象エリア内でオブジェクトの追跡が失敗した後に新たに人物と認識されるオブジェクトが出現すると、オブジェクトの追跡が失敗した時刻から新たなオブジェクトが出現した時刻までの経過時間、およびオブジェクトの追跡が失敗した位置から新たなオブジェクトが出現した位置までの離間距離のいずれか一方あるいは双方が、所定の近接条件を満足する場合には、追跡が失敗したオブジェクトと新たに出現したオブジェクトとが同一人物であると判断して、新たに出現したオブジェクトに、追跡が失敗したオブジェクトに付与されていた人物IDを付与する人物補正部と、を備えた構成とする。
また、第9の発明は、セルフサービスが導入された店舗において、セルフサービスの対象物が配置されたセルフサービスエリアから前記対象物を選び取る顧客のセルフサービス行動に関する分析を行う顧客行動分析システムであって、前記セルフサービスエリアの周辺を撮像する撮像装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記撮像装置による画像情報に基づいて、前記セルフサービスエリアの周辺において移動する人物を追跡する人物追跡部と、この人物追跡部の追跡結果に基づいて、前記セルフサービスエリアから前記対象物を選び取るために顧客が進入するアクセスエリアに対する人物の移動方向および前記アクセスエリアでの人物の滞留時間を取得し、この移動方向および滞留時間に基づいて、セルフサービス行動を途中で断念した中断人物を検知する中断人物検知部と、この中断人物検知部の検知結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備え、前記中断人物検知部は、前記アクセスエリアへの進入方向と前記アクセスエリアからの退出方向とが同じで、且つ前記アクセスエリアでの滞留時間が所定のしきい値より短い場合に、前記中断人物と判定する構成とする。
これによると、前記の第1、第2の発明と同様に、セルフサービス行動を途中で断念した中断人物の発生状況を店舗管理者などのユーザが簡単に把握することができる。
また、第10の発明は、セルフサービスが導入された店舗において、店舗内または店舗外に設置された情報処理装置により、セルフサービスの対象物が配置されたセルフサービスエリアから前記対象物を選び取る顧客のセルフサービス行動に関する分析を行う顧客行動分析方法であって、前記セルフサービスエリアの周辺を撮像する撮像装置による画像情報に基づいて、前記セルフサービスエリアの周辺において移動する人物を追跡するステップと、このステップによる追跡結果に基づいて、前記セルフサービスエリアから前記対象物を選び取るために顧客が進入するアクセスエリアに対する人物の移動方向および前記アクセスエリアでの人物の滞留時間を取得し、この移動方向および滞留時間に基づいて、セルフサービス行動を途中で断念した中断人物を検知するステップと、このステップによる検知結果に基づいて分析結果となる出力情報を生成するステップと、を有し、前記人物を追跡するステップは、前記セルフサービスエリアを含む対象エリアにおいて検出されたオブジェクトが人物と認識された場合に、そのオブジェクトに人物IDを付与する人物認識ステップと、前記対象エリア内でオブジェクトの追跡が失敗した後に新たに人物と認識されるオブジェクトが出現すると、オブジェクトの追跡が失敗した時刻から新たなオブジェクトが出現した時刻までの経過時間、およびオブジェクトの追跡が失敗した位置から新たなオブジェクトが出現した位置までの離間距離のいずれか一方あるいは双方が、所定の近接条件を満足する場合には、追跡が失敗したオブジェクトと新たに出現したオブジェクトとが同一人物であると判断して、新たに出現したオブジェクトに、追跡が失敗したオブジェクトに付与されていた人物IDを付与する人物補正ステップと、を有する構成とする。
また、第11の発明は、セルフサービスが導入された店舗において、店舗内または店舗外に設置された情報処理装置により、セルフサービスの対象物が配置されたセルフサービスエリアから前記対象物を選び取る顧客のセルフサービス行動に関する分析を行う顧客行動分析方法であって、前記セルフサービスエリアの周辺を撮像する撮像装置による画像情報に基づいて、前記セルフサービスエリアの周辺において移動する人物を追跡するステップと、このステップによる追跡結果に基づいて、前記セルフサービスエリアから前記対象物を選び取るために顧客が進入するアクセスエリアに対する人物の移動方向および前記アクセスエリアでの人物の滞留時間を取得し、この移動方向および滞留時間に基づいて、セルフサービス行動を途中で断念した中断人物を検知するステップと、このステップによる検知結果に基づいて分析結果となる出力情報を生成するステップと、を有し、前記中断人物を検知するステップは、前記アクセスエリアへの進入方向と前記アクセスエリアからの退出方向とが同じで、且つ前記アクセスエリアでの滞留時間が所定のしきい値より短い場合に、前記中断人物と判定する構成とする。
これによると、前記の第1、第2の発明と同様に、セルフサービス行動を途中で断念した中断人物の発生状況を店舗管理者などのユーザが簡単に把握することができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
図1は、本実施形態に係る分析システムの全体構成図である。この分析システムは、ファミリーレストランなどの飲食チェーン店などを対象にして構築されるものであり、複数の店舗ごとに設けられたカメラ(撮像装置)1、レコーダ(画像記録装置)2、PC(顧客行動分析装置、商品状況分析装置、閲覧装置)3、POSワークステーション(販売情報管理装置)4、ハンディターミナル(注文入力装置)5、およびプリンタ6と、複数の店舗を総括する本部に設けられたPC(閲覧装置)7、およびPOSサーバ(販売情報管理装置)8と、を備えている。
店舗では、カメラ1、レコーダ2、PC3、POSワークステーション4、およびプリンタ6や、ハンディターミナル5の通信を中継する無線中継器11、およびIPネットワークに接続するためのルータ12などがLAN接続されている。PC3およびPOSワークステーション4にはそれぞれディスプレイ(表示装置)13,14が接続されている。本部では、PC7およびPOSサーバ8や、IPネットワークに接続するためのルータ16などがLAN接続されている。PC7およびPOSサーバ8にはそれぞれディスプレイ(表示装置)17,18が接続されている。
店舗に設けられたカメラ1、レコーダ2、およびPC3と、本部に設けられたPC7とは、店舗内を監視する監視システムを構成している。カメラ1は店舗内の適所に設置され、カメラ1により店舗内が撮像され、これにより得られた画像情報がレコーダ2に録画される。店舗に設けられたPC3や本部に設けられたPC7では、カメラ1で撮像された店舗内の画像をリアルタイムで閲覧することができ、また、レコーダ2に録画された過去の店舗内の画像を閲覧することができ、これにより店舗や本部で店舗内の状況を確認することができる。
店舗に設けられたハンディターミナル5、無線中継器11およびプリンタ6は、顧客の注文を受け付けるオーダーエントリーシステムを構成している。ハンディターミナル5は、店員が携帯し、店員が顧客から注文を受けてその注文内容(注文メニュー、注文個数)をハンディターミナル5に入力する。プリンタ6は厨房に設置され、店員がハンディターミナル5で注文内容を入力すると、その注文内容がプリンタ6から出力され、これにより注文内容が調理員に伝達される。
店舗に設置されたPOSワークステーション4およびオーダーエントリーシステムと、本部に設けられたPOSサーバ8とは、各店舗での売上に関する販売情報を管理するPOS(point of sale)システムを構成している。このPOSシステムでは、販売情報として、注文内容、注文時刻、精算時刻、注文方法、注文人数などの情報が管理される。この販売情報は、POSワークステーション4とPOSサーバ8とで共有され、POSワークステーション4では、設置された店舗の販売情報が管理され、POSサーバ8では、全ての店舗の販売情報が管理される。
オーダーエントリーシステムを構成するハンディターミナル5では、注文内容(注文メニュー、注文個数)の他に、テーブルに着席した顧客の人数や、テーブル番号(客席番号)などの注文情報が入力され、この注文情報がPOSワークステーション4に送信される。POSワークステーション4は、販売情報を管理する他に、精算を行うレジスタ機能を併有し、レジカウンタに設置されており、このPOSワークステーション4には、図示しないキャッシュドロアやレシートプリンタが接続される。POSワークステーション4では、ハンディターミナル5から取得した注文情報や、精算時に取得した精算情報に基づいて販売情報が生成される。
店舗に設置されたPC3は、店舗内での顧客の行動に関する分析を行う顧客行動分析装置、および店舗に配置された商品の状況に関する分析を行う商品状況分析装置として構成される。また、この店舗に設置されたPC3で生成した分析結果情報は、PC3自身で閲覧することができ、さらに、本部に設置されたPC7に送信されて、このPC7でも閲覧することができ、PC3,7が分析結果情報を閲覧する閲覧装置として構成される。
図2は、店舗のレイアウトの一例を示す平面図である。店舗には、出入口、待合コーナ、レジカウンタ、客席となるテーブル、サラダバー(セルフサービスエリア)、ドリンクバー、および厨房が設けられている。サラダバーおよびドリンクバーは、飲食物を顧客自らが選び取って配膳するセルフサービス方式で料理品やドリンクなどを顧客に提供するものである。また、店舗内には複数のカメラ1が適所に設置されており、特に図2に示す例では、出入口、客席、サラダバー、および厨房を撮像するようにカメラ1が設置されている。
図3は、サラダバー31の周辺を撮像するカメラ1による撮像画像を示す説明図である。サラダバー31の近傍の天井には、サラダバー31の周辺を撮像するカメラ1が取り付けられており、サラダバー31と、その周辺を移動する顧客や店員が撮像される。サラダバー31では、セルフサービスの対象物である料理品が、種類ごとに別々の容器に盛りつけられた状態で陳列されており、顧客は、サラダバー31から料理品を選んで自分の容器に取り分ける。
図4は、店舗に設置されたPC3の概略構成を示す機能ブロック図である。PC3は、監視部41と、店舗内状況分析部42と、を備えている。監視部41は、PC3を店舗内を監視する監視システムとして機能させるものであり、この監視部41により、カメラ1およびレコーダ2の動作が制御され、また、カメラ1で撮像された店舗内の画像をリアルタイムで閲覧し、また、レコーダ2に録画された店舗内の画像を閲覧することができるようになっている。
店舗内状況分析部42は、顧客行動分析部43と、商品状況分析部44と、を備えている。顧客行動分析部43は、店舗内、特にここではサラダバーの近傍での顧客の行動に関する分析を行うものである。商品状況分析部44は、店舗に配置された商品、特にここではサラダバーに並べられた料理品を収容する容器の状況に関する分析を行うものである。
なお、監視部41および店舗内状況分析部42は、PC3のCPUで監視用および店舗内状況分析用のプログラムを実行させることで実現される。これらのプログラムは、情報処理装置としてのPC3に予め導入して専用の装置として構成する他、汎用OS上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録してユーザに提供されることも可能である。
次に、店舗に設置されたPC3の顧客行動分析部43で行われる顧客行動分析処理について説明する。この顧客行動分析処理では、サラダバーの近傍での顧客の行動に関する分析が行われ、特にここでは、サラダバーから料理品を選び取るセルフサービス行動を途中で断念した中断人物、すなわちサラダバーに並べられた料理品を取るためにサラダバーに近づいたのに料理品を取らずに帰った人物に関する中断人物検知情報を取得する。
サラダバーでは、前記のように、料理品が種類ごとに別々の容器に盛りつけられた状態で陳列されており、顧客は、サラダバーから料理品を選び取って自分の容器に取り分けることになるが、料理品の品揃えが顧客の嗜好に合わない場合や、料理品が品切れである場合には、顧客はサラダバーから料理品を選び取るセルフサービス行動を途中で断念する。また、サラダバーの前が顧客で混雑している場合にも、顧客はセルフサービス行動を途中で断念する。顧客行動分析処理では、このようなセルフサービス行動を途中で断念する中断人物を見つけ出す。
図5は、中断人物検知情報を表示する分析結果画面の一例を示す説明図である。この分析結果画面は、店舗および本部に設置されたPC3,7のディスプレイ13,17に表示されるものであり、この分析結果画面には、中断人物検知情報として、指定された日付の店舗営業時間(10時〜0時)内における各時間帯の中断人物の発生回数(人数)および発生時刻が表示されている。この分析結果画面により、時間帯ごとの中断人物の発生状況を把握することができる。
また、この分析結果画面では、サラダバーから料理品を選び取るセルフサービス行動を途中で断念した中断人物の他に、サラダバーの前を素通りした通過人物の発生回数(人数)および発生時刻が時間帯ごとに表示されている。これにより、通過人数の発生状況を把握することができる。また、中断人物および通過人物の両方を合わせて、サラダバーに近づいたのにセルフサービス行動を行わなかった人物の総数を確認することができる。なお、分析結果画面に中断人物のみを表示させるようにしてもよい。
また、この分析結果画面には、日付を指定する操作部71が表示されており、この操作部71を操作することで日付を変更することができ、これにより異なる日付の分析結果を確認することができる。なお、本部に設置されたPC7のディスプレイ17に表示させる場合には、店舗を選択する操作部を分析結果画面に表示させるようにするとよい。
また、この分析結果画面には、中断人物および通過人物が写った画像を表示する画像表示部72と、中断人物および通過人物を選択する操作部73とが設けられており、この操作部73を操作して中断人物および通過人物を選択することで、画像表示部72に該当する中断人物および通過人物が写った画像が表示される。これにより、中断人物および通過人物の行動を詳細に確認することができる。なお、ここで表示される画像は静止画および動画のいずれでもよく、また静止画および動画の両方が表示されるようにしてもよい。
図6は、顧客行動分析部43の概略構成を示すブロック図である。図5に示した分析結果画面は、顧客行動分析部43で行われる中断人物検知処理により生成され、この中断人物検知処理に関するものとして、顧客行動分析部43は、人物追跡部46と、人物追跡情報蓄積部47と、中断人物検知部48と、出力情報生成部49と、表示制御部50と、を備えている。
人物追跡部46では、サラダバーの周辺を撮像するカメラ1による画像情報に基づいて、サラダバーの周辺において移動する人物を追跡する処理が行われる。人物追跡情報蓄積部47では、人物追跡部46での追跡結果である人物追跡情報が蓄積される。中断人物検知部48では、人物追跡情報蓄積部47に蓄積された人物追跡情報に基づいて、セルフサービス行動を途中で断念した中断人物を検知する処理が行われる。出力情報生成部49では、中断人物検知部48の検知結果に基づいて分析結果となる出力情報を生成する処理が行われる。表示制御部50では、カメラ1による画像情報を記録するレコーダ2から画像情報を取得してディスプレイ13に出力する処理が行われる。
特に、本実施形態では、出力情報生成部49において、出力情報として、時間帯(所定期間)ごとの中断人物の発生状況に関する中断人物検知情報を生成する処理が行われ、この中断人物検知情報に基づく分析結果画面(図5参照)がPC3,7のディスプレイ13,17に表示される。
また、本実施形態では、表示制御部50において、中断人物を選択する画面をディスプレイ13,17に表示させ、ユーザによる選択操作に応じて、該当する中断人物が写った画像をディスプレイ13,17に表示させる処理が行われる。すなわち、図5に示した分析結果画面内に、中断人物が写った画像を表示する画像表示部72と、中断人物を選択する操作部73とが設けられており、この操作部73を操作して中断人物を選択することで、画像表示部72に該当する中断人物が写った画像が表示される。
次に、図6に示した人物追跡部46で行われる人物追跡処理について詳しく説明する。図7は、顧客行動分析部43で行われる処理の手順を示すフロー図である。以下に、この図7を適宜に参照して人物追跡処理の説明を行う。
人物追跡部46は、前記のように、サラダバーの周辺を撮像するカメラ1による画像情報に基づいて、サラダバーの周辺において移動する人物を追跡するものであり、図6に示したように、オブジェクト検出部51と、人物認識部52と、人物補正部53と、を備えている。この人物追跡部46では、公知の画像認識技術(オブジェクト追跡技術および人物認識技術など)が利用される。
人物追跡部46では、サラダバーの周辺を撮像するカメラ1による画像が入力されると(図7のST101)、その画像に対して人物追跡の対象エリアを設定する処理が行われる(図7のST102)。この対象エリアは、図3に示したアクセスエリア32を含む領域、すなわちアクセスエリア32と同一の領域あるいはこれより大きな領域に設定される。
オブジェクト追跡部51では、入力された画像から対象エリア内に存在するオブジェクト(移動体)を検出して、そのオブジェクトを追跡する処理が行われる(図7のST103)。このオブジェクト追跡処理では、動画のフレームごとにオブジェクトの位置情報(座標)を取得し、この位置情報が時間情報(フレームの撮像時刻)とともに人物追跡情報として人物追跡情報蓄積部47に蓄積される。
人物認識部52では、オブジェクト検出部51で検出されたオブジェクトが人物か否かを認識して、オブジェクトが人物と認識された場合に、そのオブジェクトに人物IDを付与する処理が行われる(図7のST104)。この人物認識処理では、人物IDが付与されていないオブジェクトが新たに人物と認識されると、新しい人物IDが付与される。
人物補正部53では、人物認識部52で付与された人物IDを補正する処理が行われる。オブジェクト追跡処理では、サラダバーの周辺が人物で混雑していることなどが原因で、対象エリア内でのオブジェクトの追跡が失敗する、すなわち、対象エリアに進入したオブジェクトの移動経路が対象エリアから退出する前に途切れてしまうことがあり、人物補正処理では、このような追跡が失敗したオブジェクトを、そのオブジェクトの追跡が失敗した後に新たに出現したオブジェクトに結びつけて、人物の移動状況を確実に捕捉することができるようにする。
具体的には、まず、対象エリア内で追跡が失敗したオブジェクトを検索する、すなわち、人物認識処理(図7のST104)でオブジェクトに付与された人物IDの中から、対象エリアから退出することなく対象エリア内で消失した人物ID(消失人物ID)を検索する処理が行われる(図7のST105)。
次に、対象エリア内でオブジェクトの追跡が失敗した後に新たに出現したオブジェクトを検索する、すなわち、人物認識処理(図7のST104)でオブジェクトに付与された人物IDの中から、消失人物ID検索(図7のST105)で得られた消失人物IDの消失時刻の後に新たに出現した人物ID(出現人物ID)を検索する処理が行われる(図7のST106)。
そして、対象エリア内で追跡が失敗したオブジェクトと、そのオブジェクトの追跡が失敗した後に新たに出現したオブジェクトとが同一人物であるか否か、すなわち、消失人物ID検索(図7のST105)で得られた消失人物IDと、出現人物ID検索(図7のST106)で得られた出現人物IDとが同一人物であるか否かを判断して、両者が同一人物である場合には、新たに出現されたオブジェクトに、追跡が失敗したオブジェクトに付与されていた人物IDを付与する処理が行われる(図7のST107)。
この同一人物の判断は、オブジェクトの追跡が失敗した時刻から新たなオブジェクトが出現した時刻までの経過時間、およびオブジェクトの追跡が失敗した位置から新たなオブジェクトが出現した位置までの離間距離の双方が、所定の近接条件を満足するか否かにより行われ、経過時間および離間距離の双方が所定の近接条件を満足する場合に、追跡が失敗したオブジェクトと新たに出現したオブジェクトとが同一人物であると判断する。
ここでは、近接条件として、経過時間および離間距離に関するしきい値を設定して、このしきい値との比較により同一人物の判断を行う、すなわち検出された経過時間が所定のしきい値より小さく、且つ離間距離が所定のしきい値より小さい場合に、同一人物であると判断する。なお、経過時間および離間距離のいずれか一方のみで判断することも可能である。
以上の処理(図7のST105〜ST107)は、対象エリア内で追跡が失敗したオブジェクト、すなわち消失人物IDの全てが終了するまで繰り返される(図7のST108)。そして、補正された人物IDが人物追跡情報として人物追跡情報蓄積部47に蓄積され、この人物追跡情報蓄積部47の人物追跡情報に基づいて中断人物検知処理(図7のST109)が行われる。
このように、本実施形態では、対象エリア内で追跡が失敗したオブジェクトと、そのオブジェクトの追跡が失敗した後に新たに出現したオブジェクトとを結びつける人物補正処理が行われるため、セルフサービスエリアの周辺が人物で混雑している場合など、人物追跡が難しい状況でも、人物の移動状況を捕捉することができるため、セルフサービス行動を途中で断念した中断人物の検知漏れを低減して、高い確率で中断人物を検知することができる。
次に、図6に示した中断人物検知部48で行われる中断人物検知処理について詳しく説明する。
中断人物検知部48では、人物追跡情報蓄積部47から人物追跡部46の追跡結果である人物追跡情報を取得して、その人物追跡情報に基づいて、サラダバーから料理品を選び取るセルフサービス行動を途中で断念した中断人物を検知する処理が行われる。
図3に示したように、サラダバー31の周辺には、サラダバー31から料理品を選び取るために顧客が進入するアクセスエリア32が設定されている。このアクセスエリア32は、サラダバー31に接する第1エリア32aと、サラダバー31から離れた第2エリア32bとの2つに分割されている。第1エリア32aおよび第2エリア32bの幅Wは、人物1人分に相当する寸法に設定され、第1エリア32aおよび第2エリア32bにはそれぞれ人物が1列に並ぶ大きさに設定されている。また、第1エリア32aおよび第2エリア32bはそれぞれL字形状に設定されている。
図6に示した中断人物検知部48では、アクセスエリア32に対する人物の移動方向およびアクセスエリア32での人物の滞留時間を取得し、この移動方向および滞留時間に基づいて中断人物を検知する処理が行われ、この中断人物検知部48は、移動方向検出部55と、滞留時間検出部56と、中断人物判定部57と、を備えている。
移動方向検出部55では、人物IDが付与されたオブジェクトごとに、アクセスエリアへの進入方向およびアクセスエリアからの退出方向を検出する処理が行われる。滞留時間検出部56では、人物IDが付与されたオブジェクトごとに、アクセスエリアに進入してから退出するまでの滞留時間を検出する処理が行われる。中断人物判定部57では、移動方向検出部55および滞留時間検出部56での検出結果に基づいて、オブジェクトがセルフサービス行動を途中で断念した中断人物か否かを判定する処理が行われる。
図8は、中断人物判定部57で行われる処理の要領を説明する説明図である。図9は、サラダバー31の周辺での人物の移動パターンの一例を示す模式的な平面図である。図9(A)は、人物がセルフサービス行動を成し遂げた場合の移動パターンの一例を示している。図9(B)は、人物がサラダバーの前を素通りした場合の移動パターンの一例を示している。図9(C)は、人物がセルフサービス行動を途中で断念した場合の移動パターンの一例を示している。
中断人物判定部57では、図8に示すように、アクセスエリア32への進入方向とアクセスエリア32からの退出方向とが同じで、且つアクセスエリア32での滞留時間が所定のしきい値より短い場合に、サラダバーから料理品を選び取るセルフサービス行動を途中で断念した中断人物と判定する。
図9(A)に示すように、顧客がセルフサービス行動を成し遂げた場合には、顧客は、客席からサラダバー31に近づいてサラダバー31から料理品を選び取った後、料理品を持って自席に引き返す行動をとる。また、図9(C)に示すように、顧客がセルフサービス行動を途中で断念した場合には、顧客は、客席からサラダバー31に近づいた後に、サラダバー31から料理品を取らずに自席に引き返す行動をとる。このように顧客がセルフサービス行動を行う意志がある場合には、顧客は客席とサラダバー31との間を行き来するため、アクセスエリア32への進入方向とアクセスエリア32からの退出方向とが同じ方向となる。
一方、例えば、顧客が客席とトイレとの間を行き来する場合や、顧客が食事を終えて客席からレジカウンタや出入口に向かう場合や、店員が注文、配膳および片付けのために厨房と客席との間を行き来する場合に、その経路上にサラダバー31があると、図9(B)に示すように、人物がサラダバー31の近傍を素通りすることになるが、この場合、アクセスエリア32への進入方向とアクセスエリア32からの退出方向とが異なる方向となる。したがって、アクセスエリア32に対する進入方向および退出方向により、セルフサービス行動を行う意志のある人物と、単にサラダバーの近傍を素通りした人物とを区別することができる。
また、図9(A)に示すように、顧客がセルフサービス行動を成し遂げた場合、顧客は、サラダバーから料理品を選び取る、すなわち料理品が盛りつけられた容器から料理品を自分の容器に取り分ける給仕作業を行い、この給仕作業には時間を相応の要するため、アクセスエリア32での滞留時間が長くなる。
一方、サラダバー31での料理品の品揃えが顧客の嗜好に合わないため、あるいは料理品が品切れであるために、顧客がセルフサービス行動を途中で断念した場合、アクセスエリア32内に長時間留まることはないため、アクセスエリア32での滞留時間は短くなる。したがって、アクセスエリア32での滞留時間により、セルフサービス行動を成し遂げた人物と、セルフサービス行動を途中で断念した中断人物とを区別することができる。
このように、本実施形態では、アクセスエリア32に対する進入方向および退出方向の異同とアクセスエリア32での滞留時間の長さとに基づいて、中断人物を精度よく検知することができる。
なお、この中断人物判定処理では、滞留時間に関するしきい値(例えば5秒)を設定して、このしきい値との比較により中断人物の判定を行う、すなわち検出された滞留時間が所定のしきい値より短い場合に、中断人物と判定する。
また、中断人物判定部57では、図8に示したように、第1エリア32aおよび第2エリア32bに対する人物の進入状況に基づいて、サラダバー31から料理品を選び取るセルフサービス行動を途中で断念した中断人物を検知する。特に本実施形態では、アクセスエリア32への進入方向とアクセスエリア32からの退出方向とが同じで、且つ第1エリア32aに進入しなかった場合に、中断人物と判定する。
図9(A)に示したように、顧客がセルフサービス行動を成し遂げた場合、顧客は、サラダバー31から料理品を選び取るため、サラダバー31に接した第1エリア32aに進入する。
一方、図9(C)に示したように、サラダバー31の前が顧客で混雑しているために顧客がセルフサービス行動を途中で断念した場合、顧客は、第2エリア32bに進入することができても、サラダバー31に接した第1エリア32aが混雑していることから、第1エリア32aに進入することができずにそのまま引き返す。したがって、第1エリア32aへの進入の有無により、セルフサービス行動を成し遂げた人物と、セルフサービス行動を途中で断念した中断人物とを区別することができる。
また、図9(B)に示したように、人物がサラダバー31の近傍を素通りする場合、第2エリア32bにのみ進入する場合があるが、この場合、アクセスエリア32への進入方向とアクセスエリア32からの退出方向とが異なる方向となる。したがって、第1エリア32aへの進入の有無に加えて、アクセスエリア32に対する進入方向および退出方向の異同を勘案することで、セルフサービス行動を途中で断念した中断人物と、サラダバー31の近傍を素通りした人物とを区別することができる。なお、アクセスエリア32でセルフサービスを行おうとする人物と、単にアクセスエリア32を素通りする人物とを確実に区別するために、特定の動作や姿勢(例えば、料理品の取り分け用の皿に手を伸ばす動作、取り分け用の皿を持つ姿)などを人物区別の判断要素に加えてもよい。
このように、本実施形態では、アクセスエリア32に対する進入方向および退出方向の異同と第1エリア32aへの進入の有無とに基づいて、中断人物を精度よく検知することができる。
この他、サラダバーでは、料理品の補充が必要となった容器をサラダバーから持ち出して料理品を補充した上でサラダバーに戻す容器交換作業が店員により行われ、この容器交換作業を行う店員の行動は、セルフサービス行動を中断した顧客の行動と類似するため、容器交換作業を行う店員を中断人物と誤って検知するおそれがあるが、店員の行動と顧客の行動とではアクセスエリア32に対する人物の移動方向が異なり、進入方向および退出方向が厨房か客席かで店員の行動と顧客の行動とを区別することができる。
なお、本実施形態では、図3,9に示したようにアクセスエリア32(第1エリア32aおよび第2エリア32b)を設定したが、このアクセスエリア32は、サラダバー31の周囲の状況に応じて適宜に設定すればよい。すなわち、サラダバー31の周囲に壁や仕切りなどの障害物がある場合には、この障害物が存在しない側にアクセスエリアが設定される。
また、本実施形態では、図3に示したように、サラダバー31の近傍の天井に取り付けられたカメラ1でサラダバー31の周辺を斜め方向から撮像しており、この撮像角度による制限から、図示するようにアクセスエリア32(第1エリア32aおよび第2エリア32b)を設定したが、このアクセスエリア32は、サラダバー31と客席との位置関係などに応じて適宜に設定すればよい。
すなわち、顧客のセルフサービス行動は、客席とサラダバー31との間を行き来する行動を伴うため、サラダバー31と客席との位置関係に応じて、サラダバー31に対する顧客の移動方向が異なり、顧客の移動方向が多方向となる場合もある。この場合、1台のカメラ1による1方向からの撮像では対応することができないため、カメラ1を複数台設置したり、また、サラダバー31の上方に全周囲カメラを設置したりするとよい。
また、第1エリア32aおよび第2エリア32bも、サラダバー31に対する顧客の移動方向に対応するように設定すればよいが、特に、サラダバー31に接する領域の全体に渡って第1エリア32aを設定するとともに、この第1エリアを全体的に取り囲むように第2エリア32bを設定するとよい。
また、以上の中断人物検知処理は、適宜なタイミングで人物追跡情報蓄積部47から人物追跡情報を取得して行えばよく、また、人物追跡処理も適宜なタイミングで行えばよく、期間集計に必要な情報が揃った段階、例えば1時間単位で集計する場合には、1時間が経過する度に行うようにすればよく、また、これより長い期間を対象にしてまとめて行うことも可能であり、例えば日単位で集計して閉店後や翌日に1日分の中断人物の発生状況を確認するようにするとよい。
以上のように、本実施形態では、セルフサービス行動を途中で断念した中断人物が検知されて中断人物の発生状況に関する分析結果が出力されるため、中断人物の発生状況を店舗管理者などのユーザが簡単に把握することができる。これにより、セルフサービス行動を途中で断念した原因を究明することができ、苦情を訴えられる前に苦情の原因となる店舗側の不備を事前に把握して店舗側の不備を改善する対策を講じることで、苦情を未然に防ぐとともに顧客満足度の向上を図ることができる。
また、本実施形態では、ファミリーレストランなどの飲食店において、セルフサービスエリア(サラダバー)から料理品を選び取るセルフサービス行動を途中で断念した中断人物を検知するようにしており、このような飲食店の場合、セルフサービスエリアから料理品を自分の容器に取り分ける給仕作業に時間を要するため、滞留時間で給仕作業を行ったか否かを判別することができ、これによりセルフサービス行動を途中で断念した中断人物を精度よく検知することができる。
また、本実施形態では、出力情報生成部49において、所定期間(時間帯)ごとの中断人物の発生状況に関する情報を生成して、これに基づく分析結果画面(図5参照)を表示させるようにしたため、中断人物の発生状況、特に発生件数(中断人物の人数)を所定期間ごとに店舗管理者などのユーザが把握することができる。これにより、中断人物の発生件数が多い時間帯を特定して、セルフサービス行動を途中で断念した原因を究明することができる。
また、本実施形態では、分析結果画面(図5参照)でのユーザによる選択操作に応じて、該当する中断人物が写った画像をディスプレイ13,17に表示させるようにしたため、中断人物が写った画像により、中断人物がセルフサービス行動を途中で断念した状況を詳細に確認することができ、これによりセルフサービス行動を途中で断念した原因を究明することができる。また、中断人物の検知に誤りがないか、すなわち中断人物として検知された人物が実際にセルフサービス行動を途中で断念したかを確認することができ、中断人物の発生状況を店舗管理者などのユーザが正確に把握することができる。なお、中断人物や通過人物の行動を詳細に確認した結果、検知結果に誤りが認められる場合には、ディスプレイ13,17上で、その検知結果を修正したり、削除したりする機能を設けてもよい。
次に、店舗に設置されたPC3の商品状況分析部44で行われる商品状況分析処理について説明する。この商品状況分析処理では、サラダバーに並べられた料理品を収容する容器(サラダ皿)の状況に関する分析が行われ、特にここでは、店員により行われる容器の交換状況に関する容器交換情報を取得する。
サラダバーでは、セルフサービスにより顧客が自由に料理品を選び取るため、店員が顧客から1品ずつ注文を受ける料理品とは異なり、注文情報を管理するPOSシステムから料理品ごとの売れ行き状況を把握することができない。また、サラダバーに並べられる料理品は、厨房で複数の食材を組み合わせて調理され、POSシステムなどで食材の仕入れ情報を管理することで、食材ごとの入荷量を把握することはできるものの、食材ごとの入荷量のみでは料理品ごとの売れ行き状況を把握することはできない。
一方、サラダバーでは、複数種類の料理品が別々の容器に盛りつけられた状態で顧客に提供され、店員が、料理品の補充が必要となった容器をサラダバーから持ち出して厨房で料理品を補充した上でサラダバーに戻す容器交換作業を行う。このため、容器の交換状況を取得することができれば、店員が端末に入力するなどの面倒な作業を行うことなく、料理品ごとの売れ行き状況を把握することができる。そこで、商品状況分析処理では、このような店員により行われる容器の交換状況に関する容器交換情報を取得する。
図10は、容器交換情報を表示する分析結果画面の一例を示す説明図である。この分析結果画面は、店舗および本部に設置されたPC3,7のディスプレイに表示されるものであり、この分析結果画面には、容器交換情報として、指定された日付の店舗営業時間(10時〜0時)内における各時間帯の容器交換回数の総数に占める料理品ごとの容器交換回数が積み上げ棒グラフで表示されている。
この分析結果画面により、容器交換回数の総数とその内訳である料理品別容器交換回数の時間帯ごとの変動状況を店舗管理者などのユーザが把握することができる。また、1つの料理品に注目して容器が交換された時間帯を見ることで、料理品ごとに容器が交換される時間(交換間隔)、すなわち容器に盛られた料理品がなくなるまでの時間を把握することができる。なお、容器の交換時刻から交換間隔を詳細に表示させることも可能である。
また、この分析結果画面には、日付を指定する操作部81が表示されており、この操作部81を操作することで日付を変更することができ、これにより異なる日付の分析結果を確認することができる。なお、本部に設置されたPC7のディスプレイ17に表示させる場合には、店舗を選択する操作部を分析結果画面に表示させるようにするとよい。
図11は、商品状況分析部44の概略構成を示すブロック図である。図10に示した分析結果画面は、商品状況分析部44で行われる容器交換検知処理により生成され、この容器交換検知処理に関するものとして、商品状況分析部44は、対象物検知部61と、交換検知部62と、集計部63と、出力情報生成部64と、を備えている。
対象物検知部61では、サラダバーを撮像するカメラ1による画像情報に基づいて、サラダバーから容器が消失したこと、およびサラダバーに容器が復帰したことを検知する処理が行われる。また、この対象物検知処理では、カメラ1での撮像時刻に基づいて、サラダバーから容器が消失した時刻(消失時刻)、およびサラダバーに容器が復帰した時刻(復帰時刻)を取得する。
交換検知部62では、対象物検知部61の検知結果に基づいて料理品ごとの容器の交換を検知する処理が行われる。この交換検知処理では、対象物検知部61により容器の消失が検知された後に同じ容器の復帰が検知された場合に、容器が1回交換されたものと判断する。
集計部63では、交換検知部62の検知結果を集計して、時間帯(所定期間)ごとの容器の交換回数を取得する処理が行われる。この集計処理では、料理品ごとの容器の交換を集計単位となる時間帯(1時間)に分けて集計して、時間帯ごとの料理品別交換回数を取得する。この期間集計では、容器の交換時刻が必要となるが、この交換時刻は、対象物検知部61で取得した時間情報(消失時刻および復帰時刻)に基づいて決定される。
出力情報生成部64では、交換検知部62の検知結果に基づいて分析結果となる出力情報を生成する処理が行われる。この出力情報生成処理では、集計部63で取得した時間帯ごとの容器の交換回数を表す出力情報を生成し、特に本実施形態では、出力情報として、時系列で取得した各時間帯の料理品別交換回数に基づいて、料理品別交換回数の変動傾向に関する情報を生成し、これに基づく分析結果画面(図10参照)がPC3,7のディスプレイ13,17に表示される。
図12は、サラダバー31を撮像するカメラ1による撮像画像の一例を示す説明図である。対象物検知部61では、公知の画像認識技術を用いて、サラダバー31から容器が消失したことの検知(持ち去り検知)、およびサラダバー31に容器が復帰したことの検知(置き去り検知)が行われる。この持ち去り検知および置き去り検知は、背景差分法により、サラダバー31に容器がない状態で撮像された背景画像と入力された画像とを比較することで容器の消失および復帰を判断する。
図12(A)は、店員がサラダバー31から容器を持ち出した直後の撮像画像であり、図12(B)の撮像画像において存在している容器33がサラダバー31から消失している。図12(B)は、店員が容器33をサラダバー31に戻した直後の撮像画像であり、図12(A)の撮像画像において存在しない容器33がサラダバー31に復帰している。このように、容器の消失が検知された後に同じ容器の復帰が検知された場合に、容器が1回交換されたものと判断する。
以上のように、本実施形態では、セルフサービスエリア(サラダバー)に配置された対象物(料理品が収容された容器)の交換が検知されて、対象物の交換状況に関する分析結果が出力されるため、対象物の交換の際に店員が端末に入力するなどの面倒な作業を行うことなく、対象物の交換状況を店舗管理者などのユーザが簡単に把握することができる。これにより、対象物の交換状況に基づいて店舗を運営する際の改善策を考えることで、顧客満足度の向上や店舗の効率的な運営を図り、店舗の売上および利益を向上させることができる。
また、本実施形態では、集計部63において、交換検知部62の検知結果を集計して、所定期間(時間帯)ごとの対象物の交換回数を取得するため、所定期間単位の対象物の交換回数を店舗管理者などのユーザが把握することができる。また、所定期間単位の対象物の交換回数から、対象物の交換間隔、すなわち対象物が交換されるまでの時間をユーザが把握することができる。
また、本実施形態では、出力情報生成部64において、出力情報として、時系列で取得した所定期間単位の交換回数に基づいて、対象物の交換回数の変動傾向に関する情報を生成して、これに基づく分析結果画面(図10参照)を表示させるようにしたため、時間帯に応じて対象物の交換回数がどのように変動したかを店舗管理者などのユーザが把握することができる。これにより、対象物の交換回数の変動に合うように店舗側の態勢を整えることで、顧客満足度や売上および利益の向上を図ることができる。
また、本実施形態では、商品が収容された容器を交換検知の対象物としたため、所定の形態の容器に商品が収容されることで、商品が不定形のものである場合や、商品が複数の物品で構成される場合などでも、対象物検知部および交換検知部での検知精度が向上し、対象物の交換状況をより正確に店舗管理者などのユーザが把握することができる。また、商品が数量を簡単に判別することができないものである場合などでも、商品が収容された容器の交換状況から、商品の売れ行き状況をユーザが把握することができる。
また、本実施形態では、交換検知の対象物となる容器に収容された商品が、サラダバーで提供されるサラダなどの料理品としており、このような料理品では、複数の食材を組み合わせて調理されることから、食材ごとの入荷量を把握することができるものの、料理品ごとの売れ行き状況を直接把握することはできない場合があり、このような場合でも、容器の交換状況を取得することで、料理品ごとの売れ行き状況を把握することができる。そして、料理品ごとの売れ行き状況を異なる店舗同士で比較したり、また、料理品ごとの売れ行き状況と来店した顧客の人数と比較することで、食材の発注をより適切に行うことができるため、経営効率の向上を図ることができる。
なお、本実施形態では、ファミリーレストランなどの飲食店の例について説明したが、スーパーマーケットやコンビニエンスストアなどの小売店など、飲食店以外の業務形態の店舗に適用することも可能である。例えば、スーパーマーケットでのワゴンセールのように、ワゴン(セルフサービスエリア)に商品を並べて顧客が選び取る場合にも適用することができる。
また、本実施形態では、図4に示したように、店舗に設けられたPC3に顧客行動分析処理および商品状況分析処理の全てを行わせる例について説明したが、この顧客行動分析処理および商品状況分析処理の全てを、別の情報処理装置、例えば、図1に示したように、本部に設けられたPC7や、クラウドコンピューティングシステムを構成するクラウドコンピュータ21に行わせるようにしてもよい。また、顧客行動分析処理および商品状況分析処理を複数の情報処理装置で分担し、IPネットワークやLANなどの通信媒体、またはハードディスクやメモリカードなどの記憶媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、顧客行動分析処理および商品状況分析処理を分担する複数の情報処理装置で顧客行動分析システムおよび商品状況分析システムが構成される。
この場合、店舗に設けられたPC3に、少なくとも顧客行動分析処理における人物追跡処理や商品状況分析処理における対象物検知処理を行わせるようにするとよい。このように構成すると、人物追跡処理で取得した人物追跡情報や対象物検知処理で取得した対象物検知情報はデータ量が少なくて済むため、残りの処理を店舗とは異なる場所に設置された情報処理装置、例えば本部に設置されたPC7に行わせるようにしても、通信負荷を軽減することができるため、広域ネットワーク接続形態によるシステムの運用が容易になる。
また、クラウドコンピュータ21に、少なくとも顧客行動分析処理における人物追跡処理や商品状況分析処理における対象物検知処理を行わせるようにするとよい。このように構成すると、人物追跡処理や対象物検知処理は演算量が大きくなるため、これをクラウドコンピューティングシステムを構成する情報処理装置に行わせることで、店舗などのユーザ側に高速な情報処理装置が不要となり、また、残りの処理は演算量が小さくて済むため、店舗に設置された販売情報管理装置を構成する情報処理装置に拡張機能として兼用させることも可能になり、これによりユーザが負担するコストを軽減することができる。
また、クラウドコンピュータ21に、顧客行動分析処理および商品状況分析処理の全部を行わせるようにしてもよく、このように構成すると、店舗や本部に設けられたPC3,7の他に、スマートフォン22などの携帯型端末でも分析結果を閲覧することができるようになり、これにより店舗や本部の他に外出先などの任意の場所で分析結果を閲覧することができる。
また、本実施形態では、店舗や本部に設置されたPC3,7で分析結果を閲覧するようにしたが、分析結果の閲覧装置をPC3,7とは別に設けることも可能であり、例えば、前記のようにスマートフォン22を分析結果の閲覧装置とする他に、POSワークステーション4に分析結果の閲覧装置としての機能を付加することも可能である。また、本実施形態では、分析結果を閲覧するため、ディスプレイ13,17に分析結果を画面表示させるようにしたが、分析結果をプリンタで出力することも可能である。
また、本実施形態では、図3に示したように、セルフサービスエリアから対象物を選び取るために顧客が進入するアクセスエリア32を第1エリア32aおよび第2エリア32bの2つに分割したが、これより多くのエリアにアクセスエリアを分割することも可能である。
また、本実施形態では、商品が収容された容器が交換される例について説明したが、商品そのものが交換される場合に適用することも可能である。
また、本実施形態では、サラダバーから料理品を選び取る顧客のセルフサービス行動に関する分析を行う例について説明したが、ドリンクバーなど、その他のセルフサービスで物品が顧客に提供される場合に適用することも可能である。
また、本実施形態では、集計単位となる期間を1時間単位の時間帯としているが、この集計単位となる期間はこれに限定されるものではなく、1時間〜数時間、1日〜数日、1週間〜数週間、1ヶ月〜数ヶ月など、ユーザの必要に応じて種々に設定することができる。
本発明にかかる顧客行動分析装置、顧客行動分析システムおよび顧客行動分析方法は、セルフサービスエリアから商品を選び取る顧客のセルフサービス行動を分析して、セルフサービス行動を途中で断念した人物を見つけ出すことができる効果を有し、店舗内での顧客の行動に関する分析を行う顧客行動分析装置、顧客行動分析システムおよび顧客行動分析方法などとして有用である。
1 カメラ(撮像装置)
2 レコーダ(画像記録装置)
3 PC(顧客行動分析装置、商品状況分析装置、閲覧装置)
4 POSワークステーション(販売情報管理装置)
5 ハンディターミナル(注文入力装置)
7 PC(閲覧装置)
8 POSサーバ(販売情報管理装置)
13,14,17,18 ディスプレイ(表示装置)
21 クラウドコンピュータ
22 スマートフォン
31 サラダバー(セルフサービスエリア)
32 アクセスエリア、32a 第1エリア、32b 第2エリア
42 店舗内状況分析部
43 顧客行動分析部
46 人物追跡部
47 人物追跡情報蓄積部
48 中断人物検知部
49 出力情報生成部
50 表示制御部
51 オブジェクト検出部
52 人物認識部
53 人物補正部
55 移動方向検出部
56 滞留時間検出部
57 中断人物判定部

Claims (11)

  1. セルフサービスが導入された店舗において、セルフサービスの対象物が配置されたセルフサービスエリアから前記対象物を選び取る顧客のセルフサービス行動に関する分析を行う顧客行動分析装置であって、
    前記セルフサービスエリアの周辺を撮像する撮像装置による画像情報に基づいて、前記セルフサービスエリアの周辺において移動する人物を追跡する人物追跡部と、
    この人物追跡部の追跡結果に基づいて、前記セルフサービスエリアから前記対象物を選び取るために顧客が進入するアクセスエリアに対する人物の移動方向および前記アクセスエリアでの人物の滞留時間を取得し、この移動方向および滞留時間に基づいて、セルフサービス行動を途中で断念した中断人物を検知する中断人物検知部と、
    この中断人物検知部の検知結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備え、
    前記人物追跡部は、
    前記セルフサービスエリアを含む対象エリアにおいて検出されたオブジェクトが人物と認識された場合に、そのオブジェクトに人物IDを付与する人物認識部と、
    前記対象エリア内でオブジェクトの追跡が失敗した後に新たに人物と認識されるオブジェクトが出現すると、オブジェクトの追跡が失敗した時刻から新たなオブジェクトが出現した時刻までの経過時間、およびオブジェクトの追跡が失敗した位置から新たなオブジェクトが出現した位置までの離間距離のいずれか一方あるいは双方が、所定の近接条件を満足する場合には、追跡が失敗したオブジェクトと新たに出現したオブジェクトとが同一人物であると判断して、新たに出現したオブジェクトに、追跡が失敗したオブジェクトに付与されていた人物IDを付与する人物補正部と、
    を備えたことを特徴とする顧客行動分析装置。
  2. セルフサービスが導入された店舗において、セルフサービスの対象物が配置されたセルフサービスエリアから前記対象物を選び取る顧客のセルフサービス行動に関する分析を行う顧客行動分析装置であって、
    前記セルフサービスエリアの周辺を撮像する撮像装置による画像情報に基づいて、前記セルフサービスエリアの周辺において移動する人物を追跡する人物追跡部と、
    この人物追跡部の追跡結果に基づいて、前記セルフサービスエリアから前記対象物を選び取るために顧客が進入するアクセスエリアに対する人物の移動方向および前記アクセスエリアでの人物の滞留時間を取得し、この移動方向および滞留時間に基づいて、セルフサービス行動を途中で断念した中断人物を検知する中断人物検知部と、
    この中断人物検知部の検知結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備え、
    前記中断人物検知部は、前記アクセスエリアへの進入方向と前記アクセスエリアからの退出方向とが同じで、且つ前記アクセスエリアでの滞留時間が所定のしきい値より短い場合に、前記中断人物と判定することを特徴とする顧客行動分析装置。
  3. 前記店舗が飲食店であり、前記対象物が料理品であることを特徴とする請求項1または請求項2に記載の顧客行動分析装置。
  4. 前記アクセスエリアは、前記セルフサービスエリアに接する第1エリアと、前記セルフサービスエリアから離れた第2エリアとの少なくとも2つに分割され、
    前記中断人物検知部は、前記第1エリアおよび前記第2エリアに対する人物の進入状況に基づいて、前記中断人物を検知することを特徴とする請求項1から請求項3のいずれかに記載の顧客行動分析装置。
  5. 前記中断人物検知部は、前記アクセスエリアへの進入方向と前記アクセスエリアからの退出方向とが同じで、且つ前記第1エリアに進入しなかった場合に、前記中断人物と判定することを特徴とする請求項4に記載の顧客行動分析装置。
  6. 前記出力情報生成部は、前記出力情報として、所定期間ごとの前記中断人物の発生状況に関する情報を生成することを特徴とする請求項1から請求項5のいずれかに記載の顧客行動分析装置。
  7. 前記撮像装置による画像情報を記録する画像記録装置から前記画像情報を取得して表示装置に出力する表示制御部をさらに備え、
    この表示制御部は、前記中断人物を選択する画面を前記表示装置に表示させ、ユーザによる選択操作に応じて、該当する前記中断人物が写った画像を前記表示装置に表示させることを特徴とする請求項1から請求項6のいずれかに記載の顧客行動分析装置。
  8. セルフサービスが導入された店舗において、セルフサービスの対象物が配置されたセルフサービスエリアから前記対象物を選び取る顧客のセルフサービス行動に関する分析を行う顧客行動分析システムであって、
    前記セルフサービスエリアの周辺を撮像する撮像装置と、
    複数の情報処理装置と、
    を有し、
    前記複数の情報処理装置のいずれかが、
    前記撮像装置による画像情報に基づいて、前記セルフサービスエリアの周辺において移動する人物を追跡する人物追跡部と、
    この人物追跡部の追跡結果に基づいて、前記セルフサービスエリアから前記対象物を選び取るために顧客が進入するアクセスエリアに対する人物の移動方向および前記アクセスエリアでの人物の滞留時間を取得し、この移動方向および滞留時間に基づいて、セルフサービス行動を途中で断念した中断人物を検知する中断人物検知部と、
    この中断人物検知部の検知結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備え、
    前記人物追跡部は、
    前記セルフサービスエリアを含む対象エリアにおいて検出されたオブジェクトが人物と認識された場合に、そのオブジェクトに人物IDを付与する人物認識部と、
    前記対象エリア内でオブジェクトの追跡が失敗した後に新たに人物と認識されるオブジェクトが出現すると、オブジェクトの追跡が失敗した時刻から新たなオブジェクトが出現した時刻までの経過時間、およびオブジェクトの追跡が失敗した位置から新たなオブジェクトが出現した位置までの離間距離のいずれか一方あるいは双方が、所定の近接条件を満足する場合には、追跡が失敗したオブジェクトと新たに出現したオブジェクトとが同一人物であると判断して、新たに出現したオブジェクトに、追跡が失敗したオブジェクトに付与されていた人物IDを付与する人物補正部と、
    を備えたことを特徴とする顧客行動分析システム。
  9. セルフサービスが導入された店舗において、セルフサービスの対象物が配置されたセルフサービスエリアから前記対象物を選び取る顧客のセルフサービス行動に関する分析を行う顧客行動分析システムであって、
    前記セルフサービスエリアの周辺を撮像する撮像装置と、
    複数の情報処理装置と、
    を有し、
    前記複数の情報処理装置のいずれかが、
    前記撮像装置による画像情報に基づいて、前記セルフサービスエリアの周辺において移動する人物を追跡する人物追跡部と、
    この人物追跡部の追跡結果に基づいて、前記セルフサービスエリアから前記対象物を選び取るために顧客が進入するアクセスエリアに対する人物の移動方向および前記アクセスエリアでの人物の滞留時間を取得し、この移動方向および滞留時間に基づいて、セルフサービス行動を途中で断念した中断人物を検知する中断人物検知部と、
    この中断人物検知部の検知結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備え、
    前記中断人物検知部は、前記アクセスエリアへの進入方向と前記アクセスエリアからの退出方向とが同じで、且つ前記アクセスエリアでの滞留時間が所定のしきい値より短い場合に、前記中断人物と判定することを特徴とする顧客行動分析システム。
  10. セルフサービスが導入された店舗において、店舗内または店舗外に設置された情報処理装置により、セルフサービスの対象物が配置されたセルフサービスエリアから前記対象物を選び取る顧客のセルフサービス行動に関する分析を行う顧客行動分析方法であって、
    前記セルフサービスエリアの周辺を撮像する撮像装置による画像情報に基づいて、前記セルフサービスエリアの周辺において移動する人物を追跡するステップと、
    このステップによる追跡結果に基づいて、前記セルフサービスエリアから前記対象物を選び取るために顧客が進入するアクセスエリアに対する人物の移動方向および前記アクセスエリアでの人物の滞留時間を取得し、この移動方向および滞留時間に基づいて、セルフサービス行動を途中で断念した中断人物を検知するステップと、
    このステップによる検知結果に基づいて分析結果となる出力情報を生成するステップと、
    を有し、
    前記人物を追跡するステップは、
    前記セルフサービスエリアを含む対象エリアにおいて検出されたオブジェクトが人物と認識された場合に、そのオブジェクトに人物IDを付与する人物認識ステップと、
    前記対象エリア内でオブジェクトの追跡が失敗した後に新たに人物と認識されるオブジェクトが出現すると、オブジェクトの追跡が失敗した時刻から新たなオブジェクトが出現した時刻までの経過時間、およびオブジェクトの追跡が失敗した位置から新たなオブジェクトが出現した位置までの離間距離のいずれか一方あるいは双方が、所定の近接条件を満足する場合には、追跡が失敗したオブジェクトと新たに出現したオブジェクトとが同一人物であると判断して、新たに出現したオブジェクトに、追跡が失敗したオブジェクトに付与されていた人物IDを付与する人物補正ステップと、
    を有することを特徴とする顧客行動分析方法。
  11. セルフサービスが導入された店舗において、店舗内または店舗外に設置された情報処理装置により、セルフサービスの対象物が配置されたセルフサービスエリアから前記対象物を選び取る顧客のセルフサービス行動に関する分析を行う顧客行動分析方法であって、
    前記セルフサービスエリアの周辺を撮像する撮像装置による画像情報に基づいて、前記セルフサービスエリアの周辺において移動する人物を追跡するステップと、
    このステップによる追跡結果に基づいて、前記セルフサービスエリアから前記対象物を選び取るために顧客が進入するアクセスエリアに対する人物の移動方向および前記アクセスエリアでの人物の滞留時間を取得し、この移動方向および滞留時間に基づいて、セルフサービス行動を途中で断念した中断人物を検知するステップと、
    このステップによる検知結果に基づいて分析結果となる出力情報を生成するステップと、
    を有し、
    前記中断人物を検知するステップは、前記アクセスエリアへの進入方向と前記アクセスエリアからの退出方向とが同じで、且つ前記アクセスエリアでの滞留時間が所定のしきい値より短い場合に、前記中断人物と判定することを特徴とする顧客行動分析方法。
JP2013018198A 2013-02-01 2013-02-01 顧客行動分析装置、顧客行動分析システムおよび顧客行動分析方法 Active JP5356615B1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013018198A JP5356615B1 (ja) 2013-02-01 2013-02-01 顧客行動分析装置、顧客行動分析システムおよび顧客行動分析方法
EP20140152949 EP2763087A1 (en) 2013-02-01 2014-01-28 Customer behavior analysis device, customer behavior analysis system and customer behavior analysis method
US14/165,989 US20140222501A1 (en) 2013-02-01 2014-01-28 Customer behavior analysis device, customer behavior analysis system and customer behavior analysis method
CN201410044899.7A CN103971264B (zh) 2013-02-01 2014-02-07 顾客行为分析装置、顾客行为分析系统和顾客行为分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013018198A JP5356615B1 (ja) 2013-02-01 2013-02-01 顧客行動分析装置、顧客行動分析システムおよび顧客行動分析方法

Publications (2)

Publication Number Publication Date
JP5356615B1 true JP5356615B1 (ja) 2013-12-04
JP2014149686A JP2014149686A (ja) 2014-08-21

Family

ID=49850234

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013018198A Active JP5356615B1 (ja) 2013-02-01 2013-02-01 顧客行動分析装置、顧客行動分析システムおよび顧客行動分析方法

Country Status (4)

Country Link
US (1) US20140222501A1 (ja)
EP (1) EP2763087A1 (ja)
JP (1) JP5356615B1 (ja)
CN (1) CN103971264B (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5597762B1 (ja) * 2013-12-27 2014-10-01 パナソニック株式会社 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法
JP2015127940A (ja) * 2014-08-07 2015-07-09 パナソニックIpマネジメント株式会社 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法
JP2015232791A (ja) * 2014-06-10 2015-12-24 パナソニックIpマネジメント株式会社 利用者管理装置、利用者管理システムおよび利用者管理方法
US10297051B2 (en) 2014-09-11 2019-05-21 Nec Corporation Information processing device, display method, and program storage medium for monitoring object movement
EP3839907A1 (en) 2019-12-17 2021-06-23 Toshiba Tec Kabushiki Kaisha Shopper management device, information processing program, shopper management method, and shopper management system

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2811736A4 (en) 2012-01-30 2014-12-10 Panasonic Corp OPTIMUM CAMERA SETUP DEVICE AND OPTIMUM CAMERA SETTING METHOD
JP5632512B1 (ja) 2013-07-02 2014-11-26 パナソニック株式会社 人物行動分析装置、人物行動分析システムおよび人物行動分析方法、ならびに監視装置
JP5506989B1 (ja) 2013-07-11 2014-05-28 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
JP5613815B1 (ja) 2013-10-29 2014-10-29 パナソニック株式会社 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法
JP5728653B2 (ja) 2013-11-07 2015-06-03 パナソニックIpマネジメント株式会社 顧客管理装置、顧客管理システムおよび顧客管理方法
JP5830706B2 (ja) * 2014-01-29 2015-12-09 パナソニックIpマネジメント株式会社 店員作業管理装置、店員作業管理システムおよび店員作業管理方法
JP5866523B2 (ja) 2014-07-16 2016-02-17 パナソニックIpマネジメント株式会社 施設利用状況計測装置、施設利用状況計測システムおよび施設利用状況計測方法
CN106796570B (zh) * 2014-10-27 2020-10-09 索尼公司 信息处理设备、信息处理方法和计算机程序
US10552750B1 (en) 2014-12-23 2020-02-04 Amazon Technologies, Inc. Disambiguating between multiple users
US10475185B1 (en) 2014-12-23 2019-11-12 Amazon Technologies, Inc. Associating a user with an event
US10438277B1 (en) * 2014-12-23 2019-10-08 Amazon Technologies, Inc. Determining an item involved in an event
JP6145850B2 (ja) * 2015-06-02 2017-06-14 パナソニックIpマネジメント株式会社 人物行動分析装置、人物行動分析システムおよび人物行動分析方法
US10699101B2 (en) 2015-09-29 2020-06-30 Panasonic Intellectual Property Management Co., Ltd. System and method for detecting a person interested in a target
US20170293956A1 (en) * 2015-11-17 2017-10-12 DealerDirect LLC d/b/a FordDirect System and method of matching a consumer with a sales representative
CN105701687A (zh) * 2016-02-17 2016-06-22 网易传媒科技(北京)有限公司 基于用户行为的数据处理方法和装置
JP6852293B2 (ja) * 2016-03-07 2021-03-31 株式会社リコー 画像処理システム、情報処理装置、情報端末、プログラム
JP6256885B2 (ja) * 2016-03-31 2018-01-10 パナソニックIpマネジメント株式会社 施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法
US10360526B2 (en) * 2016-07-27 2019-07-23 International Business Machines Corporation Analytics to determine customer satisfaction
EP3571674A4 (en) * 2017-01-20 2020-10-28 Robert Johnsen CUSTOMER SERVICE TIME EVALUATION SYSTEM AND PROCESS
IT201700017690A1 (it) * 2017-02-17 2018-08-17 Centro Studi S R L Sistema intelligente PROCESS TOOL per il controllo dei processi che presiedono la vendita di beni e servizi
US10474991B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Deep learning-based store realograms
US10650545B2 (en) 2017-08-07 2020-05-12 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
US11023850B2 (en) 2017-08-07 2021-06-01 Standard Cognition, Corp. Realtime inventory location management using deep learning
US10853965B2 (en) 2017-08-07 2020-12-01 Standard Cognition, Corp Directional impression analysis using deep learning
US11200692B2 (en) 2017-08-07 2021-12-14 Standard Cognition, Corp Systems and methods to check-in shoppers in a cashier-less store
US11232687B2 (en) * 2017-08-07 2022-01-25 Standard Cognition, Corp Deep learning-based shopper statuses in a cashier-less store
US11250376B2 (en) 2017-08-07 2022-02-15 Standard Cognition, Corp Product correlation analysis using deep learning
US10474988B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Predicting inventory events using foreground/background processing
CN107403288A (zh) * 2017-08-11 2017-11-28 无锡北斗星通信息科技有限公司 一种自适应后厨调度方法
US10691931B2 (en) * 2017-10-04 2020-06-23 Toshiba Global Commerce Solutions Sensor-based environment for providing image analysis to determine behavior
CN111507216A (zh) 2017-11-03 2020-08-07 阿里巴巴集团控股有限公司 无人值守场景中非法行为的识别方法和装置
CN107944960A (zh) * 2017-11-27 2018-04-20 深圳码隆科技有限公司 一种无人售货方法和设备
US11995511B2 (en) 2018-02-08 2024-05-28 Digimarc Corporation Methods and arrangements for localizing machine-readable indicia
US10958807B1 (en) * 2018-02-08 2021-03-23 Digimarc Corporation Methods and arrangements for configuring retail scanning systems
CN108596792A (zh) * 2018-05-09 2018-09-28 安徽老乡鸡餐饮有限公司 提高顾客体验的装置
CN108447007A (zh) * 2018-05-09 2018-08-24 安徽老乡鸡餐饮有限公司 一种自助餐厅服务系统
CN108464688A (zh) * 2018-05-10 2018-08-31 安徽老乡鸡餐饮有限公司 一种高效的快餐服务系统
CN108830644A (zh) * 2018-05-31 2018-11-16 深圳正品创想科技有限公司 一种无人商店导购方法及其装置、电子设备
US10880451B2 (en) 2018-06-08 2020-12-29 Digimarc Corporation Aggregating detectability metrics to determine signal robustness
CN110735580B (zh) * 2018-07-03 2021-07-16 蔡聪源 Ai自动门双向互联网及ai自动门
CN108921874B (zh) * 2018-07-04 2020-12-29 百度在线网络技术(北京)有限公司 人体跟踪处理方法、装置及系统
CN109784162B (zh) * 2018-12-12 2021-04-13 成都数之联科技有限公司 一种行人行为识别及轨迹跟踪方法
JP7391513B2 (ja) * 2019-01-17 2023-12-05 東芝テック株式会社 商品登録装置及び情報処理プログラム
TWI745653B (zh) 2019-02-18 2021-11-11 宏碁股份有限公司 顧客行為分析方法與顧客行為分析系統
US11232575B2 (en) 2019-04-18 2022-01-25 Standard Cognition, Corp Systems and methods for deep learning-based subject persistence
US11010775B2 (en) * 2019-07-29 2021-05-18 Capital One Services, Llc Determining shopping duration based on a movement of a user device and transaction data
US11361468B2 (en) 2020-06-26 2022-06-14 Standard Cognition, Corp. Systems and methods for automated recalibration of sensors for autonomous checkout
US11303853B2 (en) 2020-06-26 2022-04-12 Standard Cognition, Corp. Systems and methods for automated design of camera placement and cameras arrangements for autonomous checkout
CN113313891A (zh) * 2021-05-14 2021-08-27 武汉大学 一种提示装置
CN113609979B (zh) * 2021-06-11 2024-03-19 成都世纪光合作用科技有限公司 一种收台处理方法、装置和电子设备

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3582782B2 (ja) * 1999-08-20 2004-10-27 ワールドピーコム株式会社 飲食店用接客管理装置
US7612796B2 (en) * 2000-01-13 2009-11-03 Countwise, Llc Video-based system and method for counting persons traversing areas being monitored
US8564661B2 (en) * 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US7394916B2 (en) * 2003-02-10 2008-07-01 Activeye, Inc. Linking tracked objects that undergo temporary occlusion
US20040260513A1 (en) * 2003-02-26 2004-12-23 Fitzpatrick Kerien W. Real-time prediction and management of food product demand
JP4604525B2 (ja) * 2004-03-17 2011-01-05 セイコーエプソン株式会社 ネットワークシステム、プログラムおよび印刷装置の制御方法
US20060010027A1 (en) * 2004-07-09 2006-01-12 Redman Paul J Method, system and program product for measuring customer preferences and needs with traffic pattern analysis
JP4650669B2 (ja) * 2004-11-04 2011-03-16 富士ゼロックス株式会社 動体認識装置
WO2007094802A2 (en) * 2005-03-25 2007-08-23 Intellivid Corporation Intelligent camera selection and object tracking
JP2006285409A (ja) 2005-03-31 2006-10-19 Bab-Hitachi Industrial Co 店舗等における人数及び人流カウント方法並びにこれらを利用したインストアマーチャンダイジングの提言方法。
US20070067203A1 (en) * 2005-09-21 2007-03-22 Sukenik Gil System for data collection from a point of sale
US7825792B2 (en) * 2006-06-02 2010-11-02 Sensormatic Electronics Llc Systems and methods for distributed monitoring of remote sites
JP2008015577A (ja) * 2006-07-03 2008-01-24 Matsushita Electric Ind Co Ltd 消費者行動分析装置、および消費者行動分析方法
US20080147488A1 (en) * 2006-10-20 2008-06-19 Tunick James A System and method for monitoring viewer attention with respect to a display and determining associated charges
JP4933354B2 (ja) * 2007-06-08 2012-05-16 キヤノン株式会社 情報処理装置、及び情報処理方法
US7908233B2 (en) * 2007-06-29 2011-03-15 International Business Machines Corporation Method and apparatus for implementing digital video modeling to generate an expected behavior model
JP4972491B2 (ja) 2007-08-20 2012-07-11 株式会社構造計画研究所 顧客動作判定システム
US20090287550A1 (en) * 2008-05-15 2009-11-19 Matt Jennings System and method for monitoring drive thru performance
US8416296B2 (en) * 2009-04-14 2013-04-09 Behavioral Recognition Systems, Inc. Mapper component for multiple art networks in a video analysis system
JP5392679B2 (ja) * 2009-09-07 2014-01-22 学校法人 中央大学 意思分析サーバ、意思分析方法、プログラムおよび意思分析システム
US20110228984A1 (en) * 2010-03-17 2011-09-22 Lighthaus Logic Inc. Systems, methods and articles for video analysis
JP5731766B2 (ja) 2010-07-14 2015-06-10 株式会社野村総合研究所 販売機会損失の分析システム及び分析方法
JP2012173903A (ja) * 2011-02-21 2012-09-10 Jvc Kenwood Corp 棚監視装置
US20120316680A1 (en) * 2011-06-13 2012-12-13 Microsoft Corporation Tracking and following of moving objects by a mobile robot
US9177195B2 (en) * 2011-09-23 2015-11-03 Shoppertrak Rct Corporation System and method for detecting, tracking and counting human objects of interest using a counting system and a data capture device

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5597762B1 (ja) * 2013-12-27 2014-10-01 パナソニック株式会社 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法
JP2015125671A (ja) * 2013-12-27 2015-07-06 パナソニック株式会社 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法
JP2015232791A (ja) * 2014-06-10 2015-12-24 パナソニックIpマネジメント株式会社 利用者管理装置、利用者管理システムおよび利用者管理方法
JP2015127940A (ja) * 2014-08-07 2015-07-09 パナソニックIpマネジメント株式会社 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法
US10297051B2 (en) 2014-09-11 2019-05-21 Nec Corporation Information processing device, display method, and program storage medium for monitoring object movement
US10825211B2 (en) 2014-09-11 2020-11-03 Nec Corporation Information processing device, display method, and program storage medium for monitoring object movement
US11315294B2 (en) 2014-09-11 2022-04-26 Nec Corporation Information processing device, display method, and program storage medium for monitoring object movement
US11657548B2 (en) 2014-09-11 2023-05-23 Nec Corporation Information processing device, display method, and program storage medium for monitoring object movement
EP3839907A1 (en) 2019-12-17 2021-06-23 Toshiba Tec Kabushiki Kaisha Shopper management device, information processing program, shopper management method, and shopper management system
JP7483365B2 (ja) 2019-12-17 2024-05-15 東芝テック株式会社 買物客管理装置、情報処理プログラム、情報処理方法及び買物客管理システム

Also Published As

Publication number Publication date
JP2014149686A (ja) 2014-08-21
US20140222501A1 (en) 2014-08-07
EP2763087A1 (en) 2014-08-06
CN103971264B (zh) 2016-11-23
CN103971264A (zh) 2014-08-06

Similar Documents

Publication Publication Date Title
JP5356615B1 (ja) 顧客行動分析装置、顧客行動分析システムおよび顧客行動分析方法
JP5438859B1 (ja) 客層分析装置、客層分析システムおよび客層分析方法
JP5314199B1 (ja) 客層分析装置、客層分析システムおよび客層分析方法
US20220122151A1 (en) Frictionless shopping of custom-made items
JP5866522B2 (ja) 施設管理支援装置、施設管理支援システムおよび施設管理支援方法
JP5314200B1 (ja) 接客状況分析装置、接客状況分析システムおよび接客状況分析方法
JP5509354B1 (ja) 商品状況分析装置、商品状況分析システムおよび商品状況分析方法
JP2019109751A (ja) 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム
JP2008257488A (ja) 顔認証応用インストアマーケティング分析システム
JP2013210953A (ja) 情報端末及びプログラム
JP7384516B2 (ja) 情報処理装置、商品推薦方法、プログラム、及びシステム
JPWO2015025490A1 (ja) 店舗内顧客行動分析システム、店舗内顧客行動分析方法および店舗内顧客行動分析プログラム
WO2019124176A1 (ja) 販売分析装置、販売管理システム、販売分析方法、及びプログラム記録媒体
WO2016194274A1 (ja) 人物行動分析装置、人物行動分析システムおよび人物行動分析方法
US20170330206A1 (en) Motion line processing system and motion line processing method
JP7013658B2 (ja) 情報処理装置、情報処理方法、端末、情報処理システム及びプログラム
JP6288567B2 (ja) 施設運営支援装置、および施設運営支援方法
JP6260959B2 (ja) 施設運営支援装置、および施設運営支援方法
JP6161011B2 (ja) 施設管理支援装置、施設管理支援システムおよび施設管理支援方法
JP7008246B2 (ja) 情報提示システム
JP2018025882A (ja) 情報処理装置及びその制御方法、表示装置、コンピュータプログラム
JP6912791B2 (ja) 販売分析装置、販売管理システム、販売分析方法、及びプログラム
JP2023046892A (ja) 情報処理装置及びプログラム
JP2012226784A (ja) 情報端末及びプログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
R150 Certificate of patent or registration of utility model

Ref document number: 5356615

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150