JP6264380B2 - 販売促進システム、販売促進方法、販売促進プログラム及び棚システム - Google Patents

販売促進システム、販売促進方法、販売促進プログラム及び棚システム Download PDF

Info

Publication number
JP6264380B2
JP6264380B2 JP2015535320A JP2015535320A JP6264380B2 JP 6264380 B2 JP6264380 B2 JP 6264380B2 JP 2015535320 A JP2015535320 A JP 2015535320A JP 2015535320 A JP2015535320 A JP 2015535320A JP 6264380 B2 JP6264380 B2 JP 6264380B2
Authority
JP
Japan
Prior art keywords
customer
product
information
promotion
sales promotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015535320A
Other languages
English (en)
Other versions
JPWO2015033575A1 (ja
Inventor
内田　薫
薫 内田
山下　信行
信行 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2015033575A1 publication Critical patent/JPWO2015033575A1/ja
Application granted granted Critical
Publication of JP6264380B2 publication Critical patent/JP6264380B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G06Q30/0246—Traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0261—Targeted advertisements based on user location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Description

本発明は、販売促進システム、販売促進方法、販売促進プログラムが格納された非一時的なコンピュータ可読媒体及び棚システムに関し、特に、商品及び顧客の画像を用いた販売促進システム、販売促進方法、販売促進プログラムが格納された非一時的なコンピュータ可読媒体及び棚システムに関する。
多くの商品が陳列された店舗などでは、販売促進のため様々なプロモーションが行われている。例えば、売り場に置いたパンフレットなどで商品の情報を顧客へ提供したり、店員が顧客の反応を見ながら値引きの打診等を行っている。
関連する技術として、例えば、特許文献１〜５が知られている。
特開２０１３−０５４５３９号公報 特開２０１２−０３８０３５号公報 特開２００９−０４８４３０号公報 特開２００９−００３７０１号公報 特開２００６−１８４３８７号公報
例えば特許文献１などの関連する技術では、電子棚札端末の赤外線センサに顧客の顔や手が近接すると、電子棚札端末の表示画面の表示内容を変更している。
しかしながら、関連する技術では、赤外線センサ等により顧客の接近を単純に検出している程度であるため、顧客が商品に興味を持ったという事象を検知することはできない。このため、定常的なポスターやパンフレット、サンプルなどを置くなどの情報提供にとどまることが多い。また、関連する技術では、顧客が商品を買うかどうか迷った瞬間にタイムリーなプロモーションを実行することができず、店員並みの客の動作に応じた情報提供や値引き打診を行うことができない。
したがって、関連する技術では、顧客の商品に対する動作に応じて効果的なプロモーションを行うことが困難であるという問題があった。
本発明は、このような問題に鑑み、より効果的なプロモーションを行うことが可能な販売促進システム、販売促進方法、販売促進プログラムが格納された非一時的なコンピュータ可読媒体及び棚システムを提供することを目的とする。
本発明に係る販売促進システムは、商品を顧客に提示する提示領域を撮像した入力画像情報を取得する画像情報取得部と、前記入力画像情報に基づいて、前記商品に対する前記顧客の動作をトラッキングするトラッキング部と、前記トラッキングした顧客の動作に対応した前記商品に関連するプロモーション情報を、前記顧客へ出力するプロモーション情報出力部と、を備えるものである。
本発明に係る販売促進方法は、商品を顧客に提示する提示領域を撮像した入力画像情報を取得し、前記入力画像情報に基づいて、前記商品に対する前記顧客の動作をトラッキングし、前記トラッキングした顧客の動作に対応した前記商品に関連するプロモーション情報を、前記顧客へ出力するものである。
本発明に係る販売促進プログラムが格納された非一時的なコンピュータ可読媒体は、商品を顧客に提示する提示領域を撮像した入力画像情報を取得し、前記入力画像情報に基づいて、前記商品に対する前記顧客の動作をトラッキングし、前記トラッキングした顧客の動作に対応した前記商品に関連するプロモーション情報を、前記顧客へ出力する、販売促進処理をコンピュータに実行させるためのものである。
本発明に係る棚システムは、商品を顧客に提示するために配置する棚と、前記商品及び前記顧客を撮像した入力画像情報を取得する画像情報取得部と、前記入力画像情報に基づいて、前記商品に対する前記顧客の動作をトラッキングするトラッキング部と、前記トラッキングした顧客の動作に対応した前記商品に関連するプロモーション情報を、前記顧客へ出力するプロモーション情報出力部と、を備えるものである。
本発明によれば、より効果的なプロモーションを行うことが可能な販売促進システム、販売促進方法、販売促進プログラムが格納された非一時的なコンピュータ可読媒体及び棚システムを提供することができる。
実施の形態に係る販売促進システムの主要な構成を示す構成図である。 実施の形態１に係る販売促進システムの構成を示す構成図である。 実施の形態１に係る３Ｄカメラ及び情報提示装置の構成例を示す図である。 実施の形態１に係る３Ｄカメラ及び情報提示装置の構成例を示す図である。 実施の形態１に係る距離画像解析部の構成を示す構成図である。 実施の形態１に係る販売促進システムの動作を示すフローチャートである。 実施の形態１に係る距離画像解析処理の動作を示すフローチャートである。 実施の形態１に係る情報提示処理の動作を示すフローチャートである。 実施の形態２に係る棚システムの構成を示す構成図である。 実施の形態２に係る棚システムの動作を示すフローチャートである。
（実施の形態の概要）
実施の形態の説明に先立って、実施の形態の特徴についてその概要を説明する。図１は、実施の形態に係る販売促進システムの主要な構成を示している。
図１に示すように、実施の形態に係る販売促進システム１０は、画像情報取得部１１と、トラッキング部１２と、プロモーション情報出力部１３とを備えている。画像情報取得部１１は、商品を顧客に提示する提示領域を撮像した入力画像情報を取得する。トラッキング部１２は、取得した入力画像情報に基づいて、商品に対する顧客の動作をトラッキング（追跡）する。プロモーション情報出力部１３は、トラッキングした顧客の動作に対応した商品に関連するプロモーション情報を、顧客へ出力する。
このように、実施の形態では、商品に対する顧客の動作をトラッキングし、トラッキングした顧客の動作に基づいてプロモーション情報を顧客へ出力する。例えば、顧客の動作として、顧客の手（手元）や視線などをトラッキングすることにより、顧客が商品に興味を持ったことなどを検出できるため、顧客の興味に応じて効果的なプロモーションを行うことができる。
（実施の形態１）
以下、図面を参照して実施の形態１について説明する。図２は、本実施の形態に係る販売促進システムの構成を示している。この販売促進システムは、店舗等において、顧客の商品に対する動作を検出し、検出した動作に応じて適切なプロモーションを行うシステムである。なお、顧客とは、実際に商品を購入する前（購入決断前）の人物（ショッパー）を含み、例えば、店舗に来店（入店）した任意の人物を含む。
図２に示すように、本実施の形態に係る販売促進システム１は、販売促進装置１００、３Ｄカメラ２１０、顔認識カメラ２２０、店内カメラ２３０、情報提示装置２４０を備えている。例えば、販売促進システム１の各構成は同一の店舗に設けられているが、販売促進装置１００を店舗の外部に設けてもよい。なお、ここでは、販売促進システム１の各構成を別々の装置として説明するが、各構成を１または任意の数の装置としてもよい。
３Ｄカメラ（３次元カメラ）２１０は、対象を撮像及び計測し、距離画像（距離画像情報）を生成する撮像装置（距離画像センサ）である。距離画像は、対象を撮像した画像情報と、対象までの距離を計測した距離情報を含んでいる。例えば、３Ｄカメラ２１０は、Ｍｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ（登録商標）や、ステレオカメラなどで構成される。３Ｄカメラを用いることで、距離情報を含めて対象（顧客の動作など）を認識（トラッキング）できるため、高精度な認識処理を行うことができる。
図３Ａ及び図３Ｂのように、本実施の形態では、３Ｄカメラ２１０は、顧客の商品に対する行動を検出するために、商品３０１が配置（陳列）された商品棚（商品陳列棚）３００を撮像し、さらに、商品棚３００の前で商品３０１を購入しようとしている顧客４００を撮像する。３Ｄカメラ２１０は、商品棚３００の商品配置領域と商品棚３００の前で顧客が商品を手に取る／見る領域、すなわち、商品棚３００が商品を顧客に提示する提示領域を撮像する。３Ｄカメラ２１０は、商品棚３００と、商品棚３００の前の顧客４００が撮像可能な位置、例えば、商品棚３００の上方（天井など）や前方（壁など）、もしくは商品棚３００に設置されている。例えば、商品３００は実物の商品であるが、実物に限らず、サンプル品や、ラベルなどを印刷した印刷物などでもよい。
なお、商品棚３００及び顧客４００を撮像する装置として、３Ｄカメラ２１０の例について説明するが、３Ｄカメラに限らず、撮像した画像のみを出力する一般的なカメラ（２Ｄカメラ）で構成してもよい。この場合、画像情報のみを用いてトラッキングが行われる。
顔認識カメラ２２０及び店内カメラ２３０は、対象を撮像した画像を生成する撮像装置（２Ｄカメラ）である。顔認識カメラ２２０は、顧客の顔を認識するために、店舗の入口などに設置され、来店した顧客の顔を撮像し顔画像を生成する。店内カメラ２３０は、店舗における顧客の動線を検出するために、店内の複数の位置に配置され、店内の各売り場を撮像し店内画像を生成する。なお、顔認識カメラ２２０及び店内カメラ２３０は、３Ｄカメラで構成してもよい。３Ｄカメラとすることで、顧客の顔や顧客の移動経路を精度よく認識できる。
情報提示装置２４０は、販売促進装置１００が生成したプロモーション情報を顧客へ提示（出力）する装置である。顧客へ提示（出力）する方法は任意の方法でよく、例えば、表示装置による文字や画像等の表示や、スピーカ等による音声出力でもよい。情報提示装置２４０は、顧客４００が視認可能（聞き取り可能）な位置に設置される。
図３Ａのように、情報提示装置２４０をタブレット端末や電子ペーパ（据え付けＰＯＰデバイスんど）で構成して、棚上に設置してもよい。また、図３Ｂのように、情報提示装置２４０をプロジェクタで構成して、棚周辺に設置し、棚に表示するようにしてもよい。顧客に効果的に提示するために、視線の先や商品のすぐ横など、顧客から視認しやすい場所に設置（表示）することが好ましい。さらに、顧客が使用している店内カート（ショッピングカート）やショッピングバスケット（カゴ）に配置してもよい。
図２に示すように、販売促進装置１００は、距離画像解析部１１０、顧客認識部１２０、動線解析部１３０、提示情報生成部１４０、商品情報ＤＢ（データベース）１５０、顧客情報ＤＢ１６０を備えている。なお、ここでは、これらの各ブロックを販売促進装置１００の機能として説明するが、後述する本実施の形態に係る動作が実現できれば、その他の構成であってもよい。
販売促進装置１００における各構成は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。例えば、商品情報ＤＢ１５０、顧客情報ＤＢ１６０を外部のネットワーク（クラウド）に接続された記憶装置としてもよい。販売促進装置１００の各機能（各処理）を、ＣＰＵやメモリ等を有するコンピュータにより実現してもよい。例えば、記憶装置に実施の形態における販売促進方法（販売促進処理）を行うための販売促進プログラムを格納し、各機能を、記憶装置に格納された販売促進プログラムをＣＰＵで実行することにより実現してもよい。
この販売促進プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
距離画像解析部１１０は、３Ｄカメラ２１０が生成した距離画像を取得し、取得した距離画像に基づいて検出対象をトラッキングし、その動作を認識する。本実施の形態では、距離画像解析部１１０は、主に、顧客の手元、顧客の視線、顧客が手に取った商品をトラッキングし認識する。距離画像解析部１１０は、距離画像に含まれる商品を認識するため商品情報ＤＢ１５０を参照する。なお、ここでは、距離画像解析部１１０において、顧客の動作を検出するが、その他、距離画像に基づいて顧客の表情（喜び、驚きなど）や心拍などを検出し、表情や心拍などに応じてプロモーション情報を提示するようにしてもよい。また、３Ｄカメラにマイクを備えておき、音声認識部により、マイクに入力された顧客の音声を認識してもよい。例えば、認識した音声に基づいて、顧客の会話の特徴（声の強弱、高低、テンポなど）を検出し、会話の特徴に応じてプロモーション情報を提示するようにしてもよい。
顧客認識部１２０は、顔認識カメラ２２０が生成した顧客の顔画像を取得し、顧客情報ＤＢ１６０を参照することで、取得した顔画像に含まれる顧客を認識する。動線解析部１３０は、店内カメラ２３０が生成した店内画像を取得し、取得した店内画像に基づいて店内における顧客の移動履歴を解析し、顧客の動線（移動経路）を検出する。
提示情報生成部１４０は、距離画像解析部１１０、顧客認識部１２０、動線解析部１３０の検出結果に基づいて、顧客へ提示するプロモーション情報を生成し、生成したプロモーション情報を情報提示装置２４０へ出力する。プロモーション情報は、商品の販売（購入）を促進するための情報であり、顧客に商品購入の決断を推奨する情報である。提示情報生成部１４０は、商品情報ＤＢ１５０、顧客情報ＤＢ１６０を参照し、プロモーション情報として、距離画像解析部１１０により顧客が接触したことを検出した商品に関連する情報や、顧客認識部１２０が認識した顧客に関連する商品の情報、動線解析部１３０が解析した顧客の動線に関連する商品の情報を生成する。
なお、本実施の形態では、動作に応じたプロモーション情報を生成し情報提示装置に出力（表示）する例について説明するが、生成したプロモーション情報をその他の装置やシステムに出力し、さらにプロモーション情報を利用してもよい。例えば、プロモーション情報を顧客情報ＤＢやその他のデータベースに対して、顧客のＷｉｓｈＬｉｓｔ（ほしい物リスト）として格納し、顧客に対してネットワークを介してプロモーション情報を提供するようにしてもよい。
商品情報ＤＢ（商品情報記憶部）１５０は、店舗に配置された商品に関連する商品関連情報を記憶する。商品情報ＤＢ１５０は、商品関連情報として、商品識別情報１５１、特性併買（併売）情報１５２、プッシュ情報１５３、比較情報１５４などを記憶する。
商品識別情報１５１は、商品を識別するための情報（商品マスタ）であり、例えば、商品コード、商品名、商品の種類、商品ラベルのイメージ情報（画像）などを含む。特性併買情報１５２は、商品の特性を示す特性情報や、商品との併買を顧客に勧めるための情報（推奨情報、お勧め情報）であり、例えば、商品の材料や原産地、当該商品と組み合わせて食する食品、当該商品を食材として使うレシピ、コーディネートされた商品などを含む。
プッシュ情報１５３は、商品の購買決定を顧客に促すための情報であり、例えば、割引クーポンなどの割引情報を含む。比較情報１５４は、他の商品との比較を示す情報であり、例えば、商品の特性や価格などを比較した情報を含む。
顧客情報ＤＢ（顧客情報記憶部）１６０は、来店した顧客に関連する顧客関連情報を記憶する。顧客情報ＤＢ１６０は、顧客関連情報として、顧客識別情報１６１、属性情報１６２、嗜好情報１６３、履歴情報１６４などを記憶する。
顧客識別情報１６１は、顧客を識別するための情報であり、例えば、顧客の会員ＩＤ、氏名、住所、生年月日、顔のイメージ情報（画像）などを含む。属性情報１６２は、顧客の属性を示す情報であり、例えば、年齢、性別、職業などを含む。
嗜好情報１６３は、顧客の嗜好を示す情報であり、例えば、趣味、好きな食べ物、色、音楽、映画などを含む。履歴情報１６４は、顧客の履歴に関する情報であり、例えば、商品を購入した購入履歴、来店した来店履歴、店舗内の移動履歴、商品を手に取った／商品を見たなどの接触履歴（アクセス履歴）などを含む。
図４は、販売促進装置１００の距離画像解析部１１０の構成を示している。図４に示すように、距離画像解析部１１０は、距離画像取得部１１１、領域検出部１１２、手元トラッキング部１１３、手元動作認識部１１４、視線トラッキング部１１５、視線動作認識部１１６、商品トラッキング部１１７、商品認識部１１８を備えている。
距離画像取得部１１１は、３Ｄカメラ２１０が撮像し生成した顧客及び商品を含む距離画像を取得する。領域検出部１１２は、距離画像取得部１１１が取得した距離画像に含まれる顧客の各部の領域や商品の領域を検出する。
手元トラッキング部１１３は、領域検出部１１２が検出した顧客の手元（手）の動作をトラッキングする。手元動作認識部１１４は、手元トラッキング部１１３がトラッキングした手元（手）の動作に基づいて、商品に対する顧客の動作を認識する。手元動作認識部１１４は、例えば、商品を把持した状態で手のひらを顔の方向に向けた場合、顧客が当該商品を手に取って見たと判断する。商品を把持した状態において、商品によって手が隠れていてカメラに撮像されない場合には、把持されている商品の位置・方向やその変化を検知することで、客が当該商品を手に取って見たと判断してもよい。
視線トラッキング部１１５は、領域検出部１１２が検出した顧客の視線（目）の動作をトラッキングする。視線動作認識部１１６は、視線トラッキング部１１５が検出した視線（目）の動作に基づいて、商品に対する顧客の動作を認識する。視線動作認識部１１６は、視線の方向に商品が配置されている場合、顧客が当該商品を見たと判断する。
商品トラッキング部１１７は、領域検出部１１２が検出した商品の動作（状態）をトラッキングする。商品トラッキング部１１７は、手元動作認識部１１４で顧客が手に取ったと判断した商品や、視線動作認識部１１６で顧客が見たと判断した商品をトラッキングする。商品認識部１１８は、商品トラッキング部１１７がトラッキングした商品について、商品情報ＤＢ１５０を参照し、どの商品に該当するか識別する。商品認識部１１８は、検出した商品のラベルと、商品情報ＤＢ１５０に記憶された商品識別情報１５１のラベルのイメージ情報とを比較し、マッチング（一致）を行うことで、商品を認識する。また、商品認識部１１８は、棚の配置位置と商品との関係を商品情報ＤＢ１５０に記憶しておき、顧客が手に取った商品、または、顧客が見た商品の棚の位置に基づいて商品を識別する。
次に、図５を用いて、本実施の形態に係る販売促進システム（販売促進装置）で実行される販売促進方法（販売促進処理）について説明する。
図５に示すように、まず、顧客が店舗に入り、店舗内の棚に近づく（Ｓ１０１）。そうすると、店舗内の顔認識カメラ２２０が、顧客の顔撮像を生成し、販売促進装置１００が、顔画像に基づいて顧客属性や顧客ＩＤを認識する（Ｓ１０２）。すなわち、販売促進装置１００の顧客認識部１２０は、顧客情報ＤＢ１６０に記憶された顧客識別情報１６１の顔のイメージ情報と、顔認識カメラ２２０が撮像した顔画像とを比較し、マッチング（一致）する顧客を検索することで、顧客を認識し、顧客識別情報１６１から認識した顧客の顧客属性や顧客ＩＤを取得する。
続いて、顧客が棚に配置された商品を手に取る（Ｓ１０３）。そうすると、棚近傍の３Ｄカメラ２１０が顧客の手元を撮像し、販売促進装置１００が、３Ｄカメラ２１０の距離画像により顧客の手元の動きと商品種別を認識する（Ｓ１０４）。すなわち、販売促進装置１００の距離画像解析部１１０は、顧客の手元（視線）及び商品を撮像した距離画像をトラッキングし、顧客が商品を手に取って見た（顧客が商品を見た）動作を検出するとともに、商品情報ＤＢ１５０を参照してマッチング（一致）する商品を検出し、顧客が手に取って見た商品（顧客が見た商品）を認識する。
続いて、販売促進装置１００は、Ｓ１０４で認識した商品の情報や割引などのプロモーション情報（関連情報）を情報提示装置２４０に提示する（Ｓ１０５）。そうすると、顧客は情報提示装置２４０に提示された提示情報（提供情報）を読むことで、手に取った商品（見た商品）の購買を決断する（Ｓ１０６）。すなわち、販売促進装置１００の提示情報生成部１４０は、商品情報ＤＢ１５０、顧客情報ＤＢ１６０を参照し、認識した商品に関連するプロモーション情報を提示する。また、提示情報生成部１４０は、プロモーション情報として、Ｓ１０２で認識した顧客に関連する商品の情報を提示し、さらに、後述のＳ１０８で解析した顧客の動線に関連する商品の情報も提示する。
続いて、顧客が他の売り場へ移動する（Ｓ１０７）。そうすると、店内カメラ２３０が顧客の売り場間の移動を撮像し、販売促進装置１００が、他の売り場での購買行動を把握する（Ｓ１０８）。すなわち、販売促進装置１００の動線解析部１３０は、複数の売り場の画像に基づいて、顧客の移動履歴を解析し、顧客の導線を検出することで、顧客の購買行動を把握する。その後、Ｓ１０３以降が繰り返され、顧客が移動先の売り場で商品を手に取ると、顧客の動線（購買行動）に基づいた商品に関連する情報が顧客に提示される。
図６は、図５のＳ１０４における距離画像解析部１１０で実行される認識処理（トラッキング処理）の詳細を示している。なお、図６の処理は一例であり、その他の画像解析処理により、手元の動作、視線の動作、商品を認識してもよい。
図６に示すように、まず、距離画像取得部１１１は、３Ｄカメラ２１０から顧客及び商品を含む距離画像を取得する（Ｓ２０１）。続いて、領域検出部１１２は、Ｓ２０１で取得した距離画像に含まれる人物及び棚を検出し（Ｓ２０２）、さらに人物及び棚の各領域を検出する（Ｓ２０３）。例えば、領域検出部１１２は、ＳＶＭ（Support Vector Machine）などの識別器を用いて、距離画像に含まれる画像及び距離に基づき、人物（顧客）を検出し、検出した人物の関節を推定することで、人物の骨格を検出する。領域検出部１１２は、検出した骨格に基づいて、人物の手（手元）や顔（目）などの各部の領域を検出する。また、領域検出部１１２は、識別器を用いて、距離画像に含まれる画像及び距離に基づき、棚及び棚の各段を検出し、さらに各棚上の商品の配置領域を検出する。
続いて、手元トラッキング部１１３は、Ｓ２０３で検出した顧客の手元の動作をトラッキングする（Ｓ２０４）。手元トラッキング部１１３は、距離画像に含まれる画像及び距離に基づき、顧客の手の周辺の骨格をトラッキングし、手の指や手のひらの動作を検出する。
続いて、手元動作認識部１１４は、Ｓ２０４でトラッキングした手元の動作に基づいて、手元の動作の特徴を抽出し（Ｓ２０５）、抽出した特徴に基づいて商品に対する顧客の手元の動作、すなわち、商品を把持している動作、商品を見ている動作を認識する（Ｓ２０６）。手元動作認識部１１４は、指、手のひら（手首）の向き、角度、移動量の変化を特徴量として抽出する。例えば、手元動作認識部１１４は、指の角度から顧客が商品を握っていることを検出し、手のひらの法線方向が顔に向かっている場合、顧客が商品を見ていることを検出する。また、商品を握っている状態や商品を手に取って見ている状態を予め学習しておき、学習した特徴量と比較することで、手元の動作を識別してもよい。
Ｓ２０３に続いて、視線トラッキング部１１５は、Ｓ２０３で検出した顧客の視線の動作をトラッキングする（Ｓ２０７）。視線トラッキング部１１５は、距離画像に含まれる画像及び距離に基づいて、顧客の顔周辺の骨格をトラッキングし、顔、目、瞳孔の動作を検出する。
続いて、視線動作認識部１１６は、Ｓ２０７でトラッキングした視線の動作に基づいて、視線の動作の特徴を抽出し（Ｓ２０８）、抽出した特徴に基づいて商品に対する顧客の視線の動作、すなわち、顧客が商品を見ている動作を認識する（Ｓ２０９）。視線動作認識部１１６は、顔、目、瞳孔の向き、角度、移動量の変化を特徴量として抽出する。例えば、視線動作認識部１１６は、顔、目、瞳孔の動きから視線の方向を検出し、視線の方向が商品に向いているか否かを検出する。また、商品を見ている状態を予め学習しておき、学習した特徴量と比較することで、視線の動作を識別してもよい。
Ｓ２０３に続いて、商品トラッキング部１１７は、Ｓ２０３で検出した商品の動作（状態）をトラッキングする（Ｓ２１０）。また、商品トラッキング部１１７は、Ｓ２０６で顧客が手に取ったと判断した商品や、Ｓ２０９で顧客が見たと判断した商品をトラッキングする。商品トラッキング部１１７は、距離画像に含まれる画像及び距離に基づいて、商品のラベルの向き、位置などを検出する。
続いて、商品認識部１１８は、Ｓ２１０でトラッキングした商品について、商品の特徴を抽出し（Ｓ２１１）、抽出した特徴に基づき、商品情報ＤＢ１５０から該当する商品を認識する（Ｓ２１２）。商品認識部１１８は、商品のラベルの文字や画像を特徴量として抽出する。例えば、商品認識部１１８は、抽出したラベルの特徴量と、商品情報ＤＢ１５０のラベルの特徴量とを比較し、特徴量が一致する商品を検索することで商品を識別する。また、棚の配置位置と商品との関係を商品情報ＤＢ１５０に記憶している場合には、距離画像に含まれる画像及び距離に基づいて、顧客が手に取った、または、顧客が見た商品の棚の位置を取得し、棚の位置を商品情報ＤＢ１５０から検索することで、該当する商品を検出する。
図７は、図５のＳ１０４、Ｓ１０５において実行される情報提示処理の詳細を示している。
図７に示すように、まず、距離画像解析部１１０において、顧客が商品を手に取って見たか否か、または、顧客が商品を見たか否か判断する（Ｓ３０１）。例えば、手のひらが顔の方を向いた、箱／瓶などを持って見た、一定時間見続けている、２つの商品を両手に取って見た、等の動作を判断する。顧客が該当する動作を行った場合、動作に応じたプロモーション情報を表示するため、以下の処理を行う。
すなわち、提示情報生成部１４０は、顧客情報を取得し（Ｓ３０２）、動線情報を取得する（Ｓ３０３）。提示情報生成部１４０は、顔認識カメラ２２０の顔画像による顧客認識結果に基づいた情報を顧客へ提供するため、顧客認識部１２０から顧客情報を取得する。また、提示情報生成部１４０は、店内カメラ２３０の店内画像による動線解析結果に基づいた情報を顧客へ提供するため、動線解析部１３０から動線情報を取得する。なお、顧客を認識する前や、顧客が移動する前、各情報が不要な場合においては、顧客情報の取得や動線情報の取得は省略してもよい。
続いて、提示情報生成部１４０は、Ｓ３０４〜Ｓ３０６によりプロモーション情報（商品関連情報）を生成し顧客へ提示する。なお、Ｓ３０４〜Ｓ３０６は、提示する情報の一例であり、その他のプロモーション情報を提示してもよい。Ｓ３０４〜Ｓ３０６の提示は、まとめて一度に提示してもよいし、任意の順番に提示してもよい。また、Ｓ３０４〜Ｓ３０６のうち任意に選択された情報を提示してもよいし、その他の別の情報とともに提示してもよい。
Ｓ３０４では、提示情報生成部１４０は、商品情報ＤＢ１５０を参照し、顧客が手に取って見た／顧客が見た対象商品に関連する特性併買情報１５２を取得し、取得した特性併買情報１５２を提示情報として生成し、情報提示装置２４０へ出力する。
例えば、提示情報生成部１４０は、顧客が手に取って見た商品の産地や原材料、顧客が手に取って見た商品と組み合わせて食する食品（ワインを手に取った場合にワインに合うチーズなど）、産地や原材料が類似する食品、当該商品を食材として使うレシピ（チーズを手に取った場合にピザなど）、このレシピに含まれる食材や調理器具（ピザに関する生地やトッピング、オーブンレンジなど）、コーディネートされた商品（洋服や靴、ベルト、バッグなど）などの情報を生成する。また、関連する商品について、店内での買い方のルート指示や誘導するような情報を提示してもよい。
また、特性併買情報１５２のうち、Ｓ３０２で取得した顧客情報で絞り込んだ情報や、Ｓ３０３で取得した動線情報で絞り込んだ情報のように適応化した情報を提示情報とする。例えば、認識した顧客の性別、年齢など属性や、あるいは会員顧客ＩＤにより提供情報を適応化し、また、動線解析による他の売り場での購買・興味の知見により提供情報を適応化する。例えば、属性、嗜好、履歴などに基づいて、ダイエットやアレルギー情報、健康に関する情報を提示してもよい。例えば、店内に複数のサイネージ（電子看板）が設置されている場合、認識した動線に沿って複数のサイネージにプロモーション情報を連動して提示してもよい。
Ｓ３０５では、提示情報生成部１４０は、商品情報ＤＢ１５０を参照し、顧客が手に取って見た／顧客が見た対象商品に関連するプッシュ情報１５３を取得し、取得したプッシュ情報１５３を提示情報として生成し、情報提示装置２４０へ出力する。特に、顧客が商品を一定時間見続けている場合、購入を迷っていると推測されるため、プッシュ情報（後押し情報）を提示することが好ましい。
例えば、提示情報生成部１４０は、顧客が手に取って見た商品について、「２つ目は５割引き」などの割引提案、割引クーポン、口コミ情報、ランキング情報などを生成する。割引クーポンの情報を表示し、スマートフォンと連動することでクーポンを使用可能としてもよい。ショッピングカートの読み取り装置などにより、商品のバーコードを読み取らせて、現在の買い上げ額の小計を表示し、さらに割引きを反映した金額を表示するようにしてもよい。
また、Ｓ３０４と同様に、プッシュ情報１５３のうち、Ｓ３０２で取得した顧客情報で絞り込んだ情報や、Ｓ３０３で取得した動線情報で絞り込んだ情報のように適応化した情報を提示情報とする。
Ｓ３０６では、提示情報生成部１４０は、商品情報ＤＢ１５０を参照し、顧客が手に取って見た／顧客が見た対象商品に関連する比較情報１５４を取得し、取得した比較情報１５４を提示情報として生成し、情報提示装置２４０へ出力する。
例えば、提示情報生成部１４０は、顧客が２つの商品を手に取って見た場合、これらの２つの商品の特性、機能、価格、割引、ランキングを比較した情報を生成する。特に２つの商品のうち購入を勧めたい商品がある場合は、Ｓ３０５と同様に割引情報などのプッシュ情報を提示する。顧客が商品ラベルの賞味期限の表示を見ていることが検出された場合、古い方（賞味期限が早く切れる方）の割引情報を表示してもよい。
また、Ｓ３０４と同様に、比較情報１５４のうち、Ｓ３０２で取得した顧客情報で絞り込んだ情報や、Ｓ３０３で取得した動線情報で絞り込んだ情報のように適応化した情報を提示情報とする。
このように、本実施の形態では、商品棚とその前の顧客（ショッパー）が見える位置に配置した３Ｄカメラにより顧客の手元の動きを観察し、どの商品を手に取ったかを認識する。そして、商品に隣接する情報提示装置（表示デバイス）上に、その商品に関する情報や割引提案、関連する推奨情報などのプロモーション情報を表示する。
したがって、３Ｄカメラにより手の動きが精密に把握でき、商品に触れた、手に取った、回してラベルを読んでいるなどの商品に対する動作を把握できるため、その動作に適応したプロモーション情報をタイムリー（リアルタイム）に表示することができる。すなわち、このような動作により顧客が商品に興味を持ったことを正確に検出できるため、商品に興味を持った顧客に対して、効果的にプロモーションを行うことができ、商品の購入を促進し売上に結びつけることができる。
例えば、２つの商品を両手に持って見比べていることを検知した場合に、両商品の比較情報や、売りたい方の商品のクーポン提示などを表示し、商品の購入を迷っている顧客に対して購入決断を後押し（プッシュ）することができる。
また、顔認識カメラを用いて認識した顧客の情報によってプロモーション情報を適応化したり、店内カメラを用いて解析した顧客の動線によってプロモーション情報を適応化することで、さらに効果的な情報を提示することができる。
（実施の形態２）
以下、図面を参照して実施の形態２について説明する。本実施の形態では、実施の形態１を１つの棚システムに適用した例について説明する。図８は、本実施の形態に係る棚システムの構成を示している。
図８に示すように、本実施の形態に係る棚システム２は、商品棚３００を備えている。商品棚３００は、図３Ａ及び図３Ｂなどのように、商品３０１を配置する棚である。本実施の形態では、この商品棚３００に、実施の形態１で説明した、３Ｄカメラ２１０、情報提示装置（情報提示部）２４０、距離画像解析部１１０、提示情報生成部１４０、商品情報ＤＢ１５０を備えている。なお、必要に応じて顔認識カメラ２２０、顧客認識部１２０、顧客情報ＤＢ１６０を備えてもよい。
提示情報生成部１４０は、距離画像解析部１１０の検出結果に基づいて、顧客へ提示するプロモーション情報を生成し、生成したプロモーション情報を情報提示装置２４０へ出力する。提示情報生成部１４０は、商品情報ＤＢ１５０を参照し、プロモーション情報として、距離画像解析部１１０により顧客が接触したことを検出した商品に関連する情報を生成する。
図９は、本実施の形態に係る棚システム２の動作を示している。図９に示すように、実施の形態１と同様に、距離画像解析部１１０において、顧客が商品を手に取って見たか否か、または、顧客が商品を見たか否か判断する（Ｓ３０１）。
顧客が該当する動作を行った場合、提示情報生成部１４０は、Ｓ３０４〜Ｓ３０６によりプロモーション情報（商品関連情報）を生成し顧客へ提示する。なお、実施の形態１と比べて顧客情報、動線情報に基づいた情報の生成を行わないものの、その他については、実施の形態１と同様である。
すなわち、提示情報生成部１４０は、顧客が手に取って見た／顧客が見た対象商品に関連する特性併買情報１５２を取得し、組み合わせて食する食品などの提示情報を生成して情報提示装置２４０へ出力する（Ｓ３０４）。また、提示情報生成部１４０は、顧客が手に取って見た／顧客が見た対象商品に関連するプッシュ情報１５３を取得し、割引クーポンなどの提示情報を生成して情報提示装置２４０へ出力する（Ｓ３０５）。さらに、提示情報生成部１４０は、顧客が手に取って見た／顧客が見た対象商品に関連する比較情報１５４を取得し、両手に持った２つの商品の特性などを比較した情報などの提示情報を生成して情報提示装置２４０へ出力する（Ｓ３０６）。
このように、本実施の形態では、１つの商品棚において、実施の形態１における主要な構成を備えることとした。これにより、実施の形態１と同様に、顧客の商品に対する動作を正確に検出し、顧客の動作に応じたプロモーション情報をタイムリーに表示することができる。
さらに、本実施の形態は、１つの商品棚のみで実現可能であるため、棚以外の装置やシステムが不要である。したがって、ＰＯＳシステムやネットワークなど高度なシステムが無い店舗においても、簡易にシステムを導入することが可能である。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１３年９月６日に出願された日本出願特願２０１３−１８５１２９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１ 販売促進システム
２ 棚システム
１０ 販売促進システム
１１ 画像情報取得部
１２ トラッキング部
１３ プロモーション情報出力部
１００ 販売促進装置
１１０ 距離画像解析部
１１１ 距離画像取得部
１１２ 領域検出部
１１３ 手元トラッキング部
１１４ 手元動作認識部
１１５ 視線トラッキング部
１１６ 視線動作認識部
１１７ 商品トラッキング部
１１８ 商品認識部
１２０ 顧客認識部
１３０ 動線解析部
１４０ 提示情報生成部
１５０ 商品情報ＤＢ
１５１ 商品識別情報
１５２ 特性併買情報
１５３ プッシュ情報
１５４ 比較情報
１６０ 顧客情報ＤＢ
１６１ 顧客識別情報
１６２ 属性情報
１６３ 嗜好情報
１６４ 履歴情報
２１０ ３Ｄカメラ
２２０ 顔認識カメラ
２３０ 店内カメラ
２４０ 情報提示装置
３００ 商品棚
３０１ 商品
４００ 顧客

Claims (16)

  1. 商品を顧客に提示する提示領域を撮像した入力画像情報を取得する画像情報取得手段と、
    前記入力画像情報に基づいて、前記商品に対する前記顧客の動作をトラッキングするトラッキング手段と、
    前記トラッキングした顧客の動作に対応した前記商品に関連するプロモーション情報を、前記顧客へ出力するプロモーション情報出力手段と、
    を備え、
    前記トラッキング手段は、前記顧客が前記商品を把持した状態で、当該商品を見た動作を検出し、
    前記トラッキング手段は、前記顧客の手のひらをトラッキングし、前記顧客の手のひらが前記顧客の顔を向いている場合、前記顧客が前記商品を手に取って見たと判断する、
    販売促進システム。
  2. 前記入力画像情報は、対象を撮像した画像情報と前記対象までの距離を計測した距離情報を含む距離画像情報である、
    請求項１に記載の販売促進システム。
  3. 前記トラッキング手段は、前記顧客が前記商品を把持した動作を検出する、
    請求項１または２に記載の販売促進システム。
  4. 前記トラッキング手段は、前記顧客が前記商品を見た動作を検出する、
    請求項１または２に記載の販売促進システム。
  5. 前記トラッキング手段は、前記顧客の視線をトラッキングし、前記顧客の視線が前記商品へ向いている場合、前記顧客が前記商品を見ていると判断する、
    請求項４に記載の販売促進システム。
  6. 前記プロモーション情報出力手段は、前記プロモーション情報として、前記商品との併買を前記顧客に勧めるための併買情報を出力する、
    請求項１乃至５のいずれか一項に記載の販売促進システム。
  7. 前記プロモーション情報出力手段は、前記プロモーション情報として、前記商品の購買決定を顧客に促すためのプッシュ情報を出力する、
    請求項１乃至６のいずれか一項に記載の販売促進システム。
  8. 前記プロモーション情報出力手段は、前記トラッキングした顧客の動作に対応した商品が複数存在する場合、前記プロモーション情報として、前記複数の商品を比較する比較情報を出力する、
    請求項１乃至７のいずれか一項に記載の販売促進システム。
  9. 前記顧客を認識する顧客認識手段を備え、
    前記プロモーション情報出力手段は、前記プロモーション情報として、前記顧客の動作に対応した商品、及び、前記認識した顧客に関連する情報を出力する、
    請求項１乃至８のいずれか一項に記載の販売促進システム。
  10. 前記顧客の動線を解析する動線解析手段を備え、
    前記プロモーション情報出力手段は、前記プロモーション情報として、前記顧客の動作に対応した商品、及び、前記解析した顧客の動線に関連する情報を出力する、
    請求項１乃至９のいずれか一項に記載の販売促進システム。
  11. 前記プロモーション情報出力手段は、前記商品を配置した棚上の表示装置に前記プロモーション情報を表示する、
    請求項１乃至１０のいずれか一項に記載の販売促進システム。
  12. 前記プロモーション情報出力手段は、プロジェクタ装置により、前記商品を配置した棚周辺に前記プロモーション情報を表示する、
    請求項１乃至１０のいずれか一項に記載の販売促進システム。
  13. 前記プロモーション情報出力手段は、前記顧客が使用するショッピングカートまたはショッピングバスケットに配置された表示装置に前記プロモーション情報を表示する、
    請求項１乃至１０のいずれか一項に記載の販売促進システム。
  14. 商品を顧客に提示する提示領域を撮像した入力画像情報を取得し、
    前記入力画像情報に基づいて、前記商品に対する前記顧客の動作をトラッキングし、
    前記トラッキングした顧客の動作に対応した前記商品に関連するプロモーション情報を、前記顧客へ出力し、
    前記顧客が前記商品を把持した状態で、当該商品を見た動作を検出し、
    前記顧客の手のひらをトラッキングし、前記顧客の手のひらが前記顧客の顔を向いている場合、前記顧客が前記商品を手に取って見たと判断する、
    販売促進方法。
  15. 商品を顧客に提示する提示領域を撮像した入力画像情報を取得し、
    前記入力画像情報に基づいて、前記商品に対する前記顧客の動作をトラッキングし、
    前記トラッキングした顧客の動作に対応した前記商品に関連するプロモーション情報を、前記顧客へ出力し、
    前記顧客が前記商品を把持した状態で、当該商品を見た動作を検出し、
    前記顧客の手のひらをトラッキングし、前記顧客の手のひらが前記顧客の顔を向いている場合、前記顧客が前記商品を手に取って見たと判断する、
    販売促進処理をコンピュータに実行させるための販売促進プログラム。
  16. 商品を顧客に提示するために配置する棚と、
    前記商品及び前記顧客を撮像した入力画像情報を取得する画像情報取得手段と、
    前記入力画像情報に基づいて、前記商品に対する前記顧客の動作をトラッキングするトラッキング手段と、
    前記トラッキングした顧客の動作に対応した前記商品に関連するプロモーション情報を、前記顧客へ出力するプロモーション情報出力手段と、
    を備え、
    前記トラッキング手段は、前記顧客が前記商品を把持した状態で、当該商品を見た動作を検出し、
    前記トラッキング手段は、前記顧客の手のひらをトラッキングし、前記顧客の手のひらが前記顧客の顔を向いている場合、前記顧客が前記商品を手に取って見たと判断する、
    棚システム。
JP2015535320A 2013-09-06 2014-09-05 販売促進システム、販売促進方法、販売促進プログラム及び棚システム Active JP6264380B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013185129 2013-09-06
JP2013185129 2013-09-06
PCT/JP2014/004582 WO2015033575A1 (ja) 2013-09-06 2014-09-05 販売促進システム、販売促進方法、非一時的なコンピュータ可読媒体及び棚システム

Publications (2)

Publication Number Publication Date
JPWO2015033575A1 JPWO2015033575A1 (ja) 2017-03-02
JP6264380B2 true JP6264380B2 (ja) 2018-01-24

Family

ID=52628071

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015535320A Active JP6264380B2 (ja) 2013-09-06 2014-09-05 販売促進システム、販売促進方法、販売促進プログラム及び棚システム

Country Status (4)

Country Link
US (4) US20160196575A1 (ja)
JP (1) JP6264380B2 (ja)
CN (1) CN105580040A (ja)
WO (1) WO2015033575A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878657B2 (en) 2018-07-25 2020-12-29 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10535027B2 (en) 2013-11-26 2020-01-14 Paypal, Inc. Merchant action recommendation system
US10140637B2 (en) * 2013-11-26 2018-11-27 Paypal, Inc. Customer selection determination system
JP6197952B2 (ja) * 2014-05-12 2017-09-20 富士通株式会社 商品情報出力方法、商品情報出力プログラムおよび制御装置
JP6729553B2 (ja) * 2015-03-16 2020-07-22 日本電気株式会社 システム、画像認識方法、および、プログラム
US9971015B2 (en) * 2015-04-10 2018-05-15 Ossia Inc. Techniques for imaging wireless power delivery environments and tracking objects therein
CN106469380A (zh) * 2015-08-14 2017-03-01 Ez Mart股份有限公司 优惠商品服务系统
JP2017117384A (ja) 2015-12-25 2017-06-29 東芝テック株式会社 情報処理装置
JP6944020B2 (ja) * 2015-12-25 2021-10-06 東芝テック株式会社 情報処理装置
US10360572B2 (en) * 2016-03-07 2019-07-23 Ricoh Company, Ltd. Image processing system, method and computer program product for evaluating level of interest based on direction of human action
JP2018055599A (ja) * 2016-09-30 2018-04-05 日本電気株式会社 情報処理方法、プログラム、情報処理システム、及び情報処理装置
JP2018077664A (ja) * 2016-11-09 2018-05-17 大日本印刷株式会社 情報処理システム、情報処理装置、表示装置及びプログラム
JP2018099317A (ja) * 2016-12-20 2018-06-28 大日本印刷株式会社 陳列棚、陳列棚システム、情報処理装置及びプログラム
US10878454B2 (en) * 2016-12-23 2020-12-29 Wipro Limited Method and system for predicting a time instant for providing promotions to a user
CN110462669B (zh) * 2017-02-10 2023-08-11 格拉班谷公司 自动化购物环境内的动态顾客结账体验
JP6418270B2 (ja) * 2017-04-05 2018-11-07 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
CN107358451A (zh) * 2017-07-17 2017-11-17 竹间智能科技（上海）有限公司 一种交互式智能魔镜
CN108876427A (zh) * 2017-07-18 2018-11-23 北京旷视科技有限公司 商品促销的方法、装置、系统及计算机存储介质
CN111033550A (zh) * 2017-09-20 2020-04-17 松下知识产权经营株式会社 产品推荐系统、产品推荐方法和程序
JP2019079127A (ja) * 2017-10-20 2019-05-23 富士通株式会社 顧客管理プログラム、容器、特徴抽出プログラム、顧客管理方法、特徴抽出方法および情報処理装置
CN107886404A (zh) * 2017-11-21 2018-04-06 广州拓息信息技术有限公司 一种营销监测平台
CN111626681B (zh) * 2018-02-01 2023-09-12 湖南人文科技学院 一种用于库存管理的图像识别系统
CN108460933B (zh) * 2018-02-01 2019-03-05 王曼卿 一种基于图像处理的管理系统及方法
CN108229888B (zh) * 2018-02-01 2022-09-09 余凯 一种基于图像处理的药房库存管理系统和方法
CN108335143A (zh) * 2018-02-12 2018-07-27 成都宝域科技有限公司 一种商品展柜的信息推送方法以及商品展柜的信息推送系统
CN108551462A (zh) * 2018-02-28 2018-09-18 阿里巴巴集团控股有限公司 一种信息推送方法、装置及设备
CN108805549A (zh) * 2018-05-31 2018-11-13 常熟市百联自动机械有限公司 一种新零售超市管理方法及系统
CN108776920A (zh) * 2018-05-31 2018-11-09 常熟市百联自动机械有限公司 一种新零售超市导购方法
CN108921098B (zh) 2018-07-03 2020-08-18 百度在线网络技术（北京）有限公司 人体运动分析方法、装置、设备及存储介质
CN109214312B (zh) * 2018-08-17 2021-08-31 连云港伍江数码科技有限公司 信息显示方法、装置、计算机设备和存储介质
CN109754302B (zh) * 2018-09-04 2022-05-27 京东方科技集团股份有限公司 一种电子价签的商品信息显示方法和电子价签
WO2020057569A1 (en) * 2018-09-18 2020-03-26 AI Gaspar Limited System and process for the identification of a user-selected article, presentation of data thereof and acquisition of user interaction therewith
JP7197333B2 (ja) * 2018-11-07 2022-12-27 東芝テック株式会社 情報提供装置及びその制御プログラム
WO2020110211A1 (ja) * 2018-11-28 2020-06-04 株式会社オプティム コンピュータシステム、来店者行動提供オファー方法及びプログラム
JP7211210B2 (ja) * 2019-03-29 2023-01-24 コニカミノルタ株式会社 画像形成装置
JP2021039589A (ja) * 2019-09-04 2021-03-11 東芝テック株式会社 店舗装置及びプログラム
US20210089981A1 (en) * 2019-09-23 2021-03-25 Toshiba Tec Kabushiki Kaisha System and method for assisted placement of salespersons on a sales floor
WO2021149221A1 (ja) * 2020-01-23 2021-07-29 日本電気株式会社 価格情報決定装置、価格決定方法、及びプログラム
JP7375908B2 (ja) * 2020-02-28 2023-11-08 日本電気株式会社 顧客分析装置、顧客分析方法、およびプログラム
JP7424910B2 (ja) 2020-05-19 2024-01-30 株式会社Ｎｔｔドコモ 情報処理装置
JP6958946B1 (ja) * 2020-05-26 2021-11-02 Ｎｅｃプラットフォームズ株式会社 在庫管理システム、在庫管理装置、在庫管理方法及び在庫管理プログラム
JP2022015326A (ja) * 2020-07-08 2022-01-21 トヨタ自動車株式会社 情報処理装置、情報処理方法、及び端末装置
JPWO2022030247A1 (ja) * 2020-08-03 2022-02-10
JP7318682B2 (ja) * 2021-07-30 2023-08-01 富士通株式会社 情報処理プログラム、情報処理方法および情報処理装置
US20230274225A1 (en) * 2022-01-31 2023-08-31 Walmart Apollo, Llc Methods and apparatus for generating planograms
CN114821729B (zh) * 2022-05-05 2024-04-05 无锡八英里电子科技有限公司 商品导购方法、装置、云服务器及存储介质

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3584334B2 (ja) * 1997-12-05 2004-11-04 オムロン株式会社 人間検出追跡システムおよび人間検出追跡方法
US6587835B1 (en) * 2000-02-09 2003-07-01 G. Victor Treyz Shopping assistance with handheld computing device
US20020062245A1 (en) * 2000-03-09 2002-05-23 David Niu System and method for generating real-time promotions on an electronic commerce world wide website to increase the likelihood of purchase
US7613634B2 (en) * 2000-12-21 2009-11-03 Sony Corporation Method and system for performing electronic retailing
JP2003256705A (ja) * 2002-03-01 2003-09-12 Fujitsu Ltd 販売処理方法
WO2004027556A2 (en) * 2002-09-20 2004-04-01 Sorensen Associates Inc. Shopping environment analysis system and method with normalization
US7081818B2 (en) * 2003-05-19 2006-07-25 Checkpoint Systems, Inc. Article identification and tracking using electronic shadows created by RFID tags
WO2005015362A2 (en) * 2003-08-06 2005-02-17 Innovida, Inc. System and method for delivering and optimizing media programming in public spaces
US20070073589A1 (en) * 2004-11-04 2007-03-29 Vergeyle David L Electronic capture of promotions
JP2006184387A (ja) 2004-12-27 2006-07-13 Casio Comput Co Ltd 広告情報出力装置及び広告情報出力システム
JP2007109058A (ja) * 2005-10-14 2007-04-26 Seiko Epson Corp 商品選択情報提供装置
US10078693B2 (en) * 2006-06-16 2018-09-18 International Business Machines Corporation People searches by multisensor event correlation
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
JP4836739B2 (ja) * 2006-10-04 2011-12-14 株式会社日立製作所 商品情報提供システム及び商品情報の提供方法
US8812355B2 (en) 2007-04-03 2014-08-19 International Business Machines Corporation Generating customized marketing messages for a customer using dynamic customer behavior data
JP2009003701A (ja) * 2007-06-21 2009-01-08 Denso Corp 情報システム及び情報処理装置
JP4972491B2 (ja) 2007-08-20 2012-07-11 株式会社構造計画研究所 顧客動作判定システム
US20090055204A1 (en) * 2007-08-23 2009-02-26 Igt Real-time player tracking
US20090083121A1 (en) * 2007-09-26 2009-03-26 Robert Lee Angell Method and apparatus for determining profitability of customer groups identified from a continuous video stream
US9104430B2 (en) * 2008-02-11 2015-08-11 Palo Alto Research Center Incorporated System and method for enabling extensibility in sensing systems
JP2009199517A (ja) * 2008-02-25 2009-09-03 Oki Electric Ind Co Ltd 販売促進システム
US20090306893A1 (en) * 2008-06-06 2009-12-10 Harris Corporation Information processing system for a store providing consumer-specific advertisement features and related methods
JP4422792B1 (ja) * 2008-07-08 2010-02-24 パナソニック株式会社 物品推定装置及び物品位置推定装置、物品推定方法、並びに、物品推定プログラム
US20100063862A1 (en) * 2008-09-08 2010-03-11 Thompson Ronald L Media delivery system and system including a media delivery system and a building automation system
WO2010048375A1 (en) * 2008-10-22 2010-04-29 Newzoom, Inc. Vending store inventory management and reporting system
US8332255B2 (en) 2009-11-09 2012-12-11 Palo Alto Research Center Incorporated Sensor-integrated mirror for determining consumer shopping behavior
JP2011150425A (ja) * 2010-01-19 2011-08-04 Fujifilm Imagetec Co Ltd リサーチ装置およびリサーチ方法
JP2012038035A (ja) 2010-08-05 2012-02-23 Toshiba Tec Corp 店舗案内システム、サーバ装置、情報処理端末、および制御プログラム
US20120123674A1 (en) 2010-11-15 2012-05-17 Microsoft Corporation Displaying product recommendations on a map
WO2012125960A2 (en) * 2011-03-17 2012-09-20 Patrick Campbell On-shelf tracking (ost) system
KR101302638B1 (ko) * 2011-07-08 2013-09-05 더디엔에이 주식회사 머리의 제스처 및 손의 제스처를 감지하여 컨텐츠를 제어하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
US8560357B2 (en) * 2011-08-31 2013-10-15 International Business Machines Corporation Retail model optimization through video data capture and analytics
JP2013054539A (ja) 2011-09-05 2013-03-21 Toshiba Tec Corp 電子棚札システムおよび店舗システム
US8984622B1 (en) 2012-01-17 2015-03-17 Amazon Technologies, Inc. User authentication through video analysis
US20140289009A1 (en) * 2013-03-15 2014-09-25 Triangle Strategy Group, LLC Methods, systems and computer readable media for maximizing sales in a retail environment
US20140365272A1 (en) * 2013-06-07 2014-12-11 Bby Solutions, Inc. Product display with emotion prediction analytics

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878657B2 (en) 2018-07-25 2020-12-29 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US11455864B2 (en) 2018-07-25 2022-09-27 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same

Also Published As

Publication number Publication date
US11074610B2 (en) 2021-07-27
WO2015033575A1 (ja) 2015-03-12
US20190005535A1 (en) 2019-01-03
US20190005536A1 (en) 2019-01-03
CN105580040A (zh) 2016-05-11
US20190005537A1 (en) 2019-01-03
JPWO2015033575A1 (ja) 2017-03-02
US20160196575A1 (en) 2016-07-07

Similar Documents

Publication Publication Date Title
JP6264380B2 (ja) 販売促進システム、販売促進方法、販売促進プログラム及び棚システム
WO2015033577A1 (ja) 顧客行動分析システム、顧客行動分析方法、非一時的なコンピュータ可読媒体及び棚システム
US10417878B2 (en) Method, computer program product, and system for providing a sensor-based environment
US20170358024A1 (en) Virtual reality shopping systems and methods
JP6781906B2 (ja) 販売情報利用装置、販売情報利用方法、およびプログラム
JP6825628B2 (ja) 動線出力装置、動線出力方法及びプログラム
CN111989704A (zh) 上下文感知
JP2017117384A (ja) 情報処理装置
JP2010140287A (ja) 購買行動分析装置、方法及びコンピュータプログラム
JP2018005691A (ja) 情報処理システム、情報処理装置及び情報処理方法
JP2016076109A (ja) 顧客購買意思予測装置及び顧客購買意思予測方法
JP2019139321A (ja) 顧客行動分析システムおよび顧客行動分析方法
JP2017102574A (ja) 情報表示プログラム、情報表示方法、及び情報表示装置
WO2019116620A1 (ja) 処理装置、処理方法及びプログラム
JP7294663B2 (ja) 接客支援装置、接客支援方法、及びプログラム
JP6810561B2 (ja) 購買支援システム
JP2021185551A (ja) 販売情報利用装置、販売情報利用方法、およびプログラム
JP2017102564A (ja) 表示制御プログラム、表示制御方法、及び表示制御装置
JP7206806B2 (ja) 情報処理装置、分析方法、及びプログラム
US20230267506A1 (en) Matching device, sales promotion assistance system, matching method, and non-transitory computer-readable medium
WO2022080160A1 (ja) 情報提供システム、情報提供方法及びプログラム
WO2020195613A1 (ja) 情報処理装置、管理システム、情報処理方法および記録媒体
JP2021149763A (ja) 情報処理装置および情報処理方法
KR20210132915A (ko) 안면 인식 및 IoT 기반 애드큐레이션 사이니지 시스템

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170328

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170725

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171025

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20171102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171204

R150 Certificate of patent or registration of utility model

Ref document number: 6264380

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150