JP6197952B2 - 商品情報出力方法、商品情報出力プログラムおよび制御装置 - Google Patents

商品情報出力方法、商品情報出力プログラムおよび制御装置 Download PDF

Info

Publication number
JP6197952B2
JP6197952B2 JP2016519000A JP2016519000A JP6197952B2 JP 6197952 B2 JP6197952 B2 JP 6197952B2 JP 2016519000 A JP2016519000 A JP 2016519000A JP 2016519000 A JP2016519000 A JP 2016519000A JP 6197952 B2 JP6197952 B2 JP 6197952B2
Authority
JP
Japan
Prior art keywords
product
area
detected
person
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016519000A
Other languages
English (en)
Other versions
JPWO2015173869A1 (ja
Inventor
照平 桑原
照平 桑原
伊藤　史
史 伊藤
紗也香 諏訪
紗也香 諏訪
金田　直樹
直樹 金田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2015173869A1 publication Critical patent/JPWO2015173869A1/ja
Application granted granted Critical
Publication of JP6197952B2 publication Critical patent/JP6197952B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0261—Targeted advertisements based on user location
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Signal Processing (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、商品情報出力方法、商品情報出力プログラムおよび制御装置に関する。
従来より、陳列された商品が取り出されかを撮影画像から検出する技術が提案されている。例えば、各商品の陳列位置に対応してその商品の識別情報を記憶し、撮影画像から顧客の手の動きを監視して商品が取り出されたかを認識すると、商品が取り出された位置から取り出された商品を特定する技術がある。
特開２００４−１７１２４０号公報
しかしながら、従来の技術は、陳列位置に対応して商品を予め記憶させるため、例えば、顧客が商品を一時的に持つことなどによって、商品の位置が変更された場合、商品が取り出されたことを検出できない。
本発明は、一側面では、商品が取り出されたことを検出できる商品情報出力方法、商品情報出力プログラムおよび制御装置を提供することを目的とする。
１つの態様では、商品情報出力方法は、商品の位置に応じて設定された第１の領域内で人の手を検知した後に、前記第１の領域と同じ領域又は前記第１の領域を包含する第２の領域内で前記人の手が検知されず、かつ、前記位置に応じて設定された商品の検知領域内で前記商品が検知されない場合に、前記商品がピックアップされたことを検出する処理をコンピュータにより実行させる。
本発明の一側面によれば、商品が取り出されたことを検出できる。
図１は、店舗構成の一例を説明する図である。 図２は、商品情報表示システムの全体の概略構成の一例を示す図である。 図３は、センサ装置から出力される人体の部位の位置を示す位置情報の一例を示す図である。 図４は、制御装置の機能的な構成の一例を示す図である。 図５は、商品情報のデータ構成の一例を示す図である。 図６は、表示コンテンツ情報のデータ構成の一例を示す図である。 図７は、商品イメージ情報のデータ構成の一例を示す図である。 図８は、領域の一例を示す図である。 図９は、ピックアップの検出を説明する図である。 図１０は、ディスプレイに表示される画像の一例を示す図である。 図１１は、タブレット端末に表示される画像の一例を示す図である。 図１２は、投影される画像の一例を示す図である。 図１３は、表示制御処理の手順の一例を示すフローチャートである。 図１４は、商品情報出力プログラムを実行するコンピュータを示す図である。
以下に、本発明にかかる商品情報出力方法、商品情報出力プログラムおよび制御装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
［店舗構成］
最初に、実施例１に係る商品情報表示システムを用いて商品のプロモーションを行う店舗構成の一例を説明する。図１は、店舗構成の一例を説明する図である。図１に示すように、店舗１は、商品を陳列する商品棚２が設けられている。商品棚２は、上面が平板状とされており、人が通過可能な通路の脇に配置され、当該通路に沿って商品が陳列されている。本実施例では、商品を香水３とした場合を例にしており、商品棚２上に商品として４種類の香水３Ａ〜３Ｄが陳列されている。なお、商品は、香水に限定されるものではなく、また、種類も４種類に限定されるものではない。
また、商品棚２には、通路から見て香水３Ａ〜３Ｄの奥側にタブレット端末２３が表示面を通路側へ向けて配置されている。さらに、商品棚２には、通路から見てタブレット端末２３の奥側に、商品を展示するための展示台４が配置されている。展示台４は、平板状で奥側の１辺が立設された断面がＬ字の形状とされ、スタンド部分４Ａと壁部分４Ｂにより形成されている。このスタンド部分４Ａには、商品棚２上に置かれた香水３と同じ種類で物理的に別個の香水５が、配置されている。本実施例では、４種類の香水３Ａ〜３Ｄと同じ種類で物理的に別個の香水５Ａ〜５Ｄが、香水３Ａ〜３Ｄと同じ並び順で香水３Ａ〜３Ｄの配置位置に対応させて配置されている。この香水５は、香水３と同じものとしてもよく、外見を実物そっくりに似せた模型であってもよい。また、壁部分４Ｂには、センサ装置２１が設けられている。センサ装置２１は、人の検出が可能とされており、通路側が検出領域となるように配置されている。また、商品棚２の内側には、制御装置２０が配置されている。
また、店舗１には、プロジェクタ２４が設けられている。プロジェクタ２４は、映像を投影可能な投影領域内に香水５Ａ〜５Ｄが収まるように配置されており、香水５Ａ〜５Ｄに対して映像の投影が可能とされている。プロジェクタ２４は、店舗１の天井に固定されていてもよく、壁に固定されていてもよい。
また、店舗１は、周囲の壁面にディスプレイ２２が設けられている。ディスプレイ２２は、店舗１内の広範囲な位置から見えるように、表示面のサイズがタブレット端末２３よりも大きいものとされ、タブレット端末２３よりも香水３Ａ〜３Ｄの位置から離れた位置に配置されている。また、タブレット端末２３は、顧客が香水３Ａ〜３Ｄの前に位置した際に表示面が見えるように、香水３Ａ〜３Ｄに近い位置に配置されている。
［システム構成］
次に、本実施例に係る商品情報表示システムについて説明する。図２は、商品情報表示システムの全体の概略構成の一例を示す図である。図２に示すように、商品情報表示システム１０は、制御装置２０と、センサ装置２１と、ディスプレイ２２と、タブレット端末２３と、プロジェクタ２４とを有する。
センサ装置２１は、人の検出が可能とされたセンサバイスである。例えば、センサ装置２１は、カメラが内蔵され、所定のフレームレートでカメラにより画像を撮影し、撮影された撮影画像から人体の検出を行う。センサ装置２１は、人体が検出されると、骨格分析を行って頭や指先などの人体の部位の位置を特定する。そして、センサ装置２１は、撮影画像の画像データと、人体の部位毎の位置を示す位置情報を出力する。このようなセンサ装置２１としては、例えば、ＫＩＮＥＣＴ（登録商標）が挙げられる。
図３は、センサ装置から出力される人体の部位の位置を示す位置情報の一例を示す図である。図３の例では、位置情報により示される人体の部位毎の位置を点で示し、点を結んで人体の骨格部分を示している。
図２に戻り、ディスプレイ２２は、各種情報を表示する表示デバイスである。ディスプレイ２２としては、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）などの表示デバイスが挙げられる。ディスプレイ２２は、各種情報を表示する。例えば、本実施例では、ディスプレイ２２に、広告の映像など各種の画像を表示する。
タブレット端末２３は、各種情報の表示および入力が可能とされた端末装置である。本実施例では、タブレット端末２３を、個別の顧客に対するプロモーションを行う表示デバイスとして用いている。このような表示デバイスとしてタブレット端末２３の代わりにディスプレイや、ノートブック型パソコンを用いてもよい。
プロジェクタ２４は、各種情報を投影する投影デバイスである。プロジェクタ２４は、各種情報を投影することにより、表示する。例えば、プロジェクタ２４により商品に対して当該商品を表現したイメージを示す映像を投影する。例えば、商品が発する匂い、味、触感、発する音などを表現した映像を投影する。本実施例では、香水５Ａ〜５Ｄに対して、それぞれが発する匂いを表現した映像を投影する。
制御装置２０は、商品情報表示システム１０全体を制御する装置である。制御装置２０は、例えば、パーソナルコンピュータやサーバコンピュータなどのコンピュータなどである。制御装置２０は、１台のコンピュータとして実装してもよく、また、複数台のコンピュータによる実装してもよい。なお、本実施例では、制御装置２０を１台のコンピュータとした場合を例として説明する。
制御装置２０は、センサ装置２１と接続され、センサ装置２１を介して顧客の検出が可能とされている。また、制御装置２０は、ディスプレイ２２、タブレット端末２３およびプロジェクタ２４と接続され、ディスプレイ２２、タブレット端末２３およびプロジェクタ２４を制御して、表示させる映像の制御が可能とされている。また、制御装置２０は、不図示のネットワークを介してＳＮＳ（Social Networking Service）２５と通信可能に接続され、各種の情報を交換することが可能とされている。かかるネットワークの一態様としては、有線または無線を問わず、携帯電話などの移動体通信、インターネット（Internet）、ＬＡＮ（Local Area Network）やＶＰＮ（Virtual Private Network）などの任意の種類の通信網を採用できる。
ＳＮＳ２５は、ユーザ同士がメッセージを投稿し、交換することによって情報流通を行うソーシャルメディアを提供するクラウドシステムである。ＳＮＳ２５は、１台のコンピュータにより実装されてもよく、また、複数台のコンピュータにより実装されてもよい。このＳＮＳ２５としては、例えば、ツイッター（登録商標）やフェイスブック（登録商標）などが挙げられる。
［制御装置の構成］
次に、本実施例に係る制御装置２０の構成について説明する。図４は、制御装置の機能的な構成の一例を示す図である。図４に示すように、制御装置２０は、外部Ｉ／Ｆ（インタフェース）部３０と、通信Ｉ／Ｆ部３１と、記憶部３２と、制御部３３とを有する。
外部Ｉ／Ｆ部３０は、各種データの入出力を行うインタフェースである。外部Ｉ／Ｆ部３０は、例えば、ＵＳＢ（Universal Serial Bus）などの汎用のインタフェースであってもよい。また、外部Ｉ／Ｆ部３０は、Ｄ-Ｓｕｂ（D-Subminiature）、ＤＶＩ（Digital Visual Interface）、DisplayPort、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）などの映像用のインタフェースであってもよい。
外部Ｉ／Ｆ部３０は、接続された他の装置と各種情報を入出力する。例えば、外部Ｉ／Ｆ部３０は、センサ装置２１と接続され、センサ装置２１から撮影画像の画像データおよび人体の部位の位置を示す位置情報が入力する。また、外部Ｉ／Ｆ部３０は、ディスプレイ２２およびプロジェクタ２４と接続され、ディスプレイ２２に表示およびプロジェクタ２４から投影する映像のデータを出力する。
通信Ｉ／Ｆ部３１は、他の装置との間で通信制御を行うインタフェースである。通信Ｉ／Ｆ部３１としては、ＬＡＮカードなどのネットワークインタフェースカードを採用できる。
通信Ｉ／Ｆ部３１は、不図示のネットワークを介して他の装置と各種情報を送受信する。例えば、通信Ｉ／Ｆ部３１は、タブレット端末２３へ表示させる映像のデータを送信する。また、通信Ｉ／Ｆ部３１は、ＳＮＳ２５から投稿されたメッセージに関する情報を受信する。
記憶部３２は、各種のデータを記憶する記憶デバイスである。例えば、記憶部３２は、ハードディスク、ＳＳＤ（Solid State Drive）、光ディスクなどの記憶装置である。なお、記憶部３２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non Volatile Static Random Access Memory）などのデータを書き換え可能な半導体メモリであってもよい。
記憶部３２は、制御部３３で実行されるＯＳ（Operating System）や各種プログラムを記憶する。例えば、記憶部３２は、後述する表示制御処理を実行するプログラムを含む各種のプログラムを記憶する。さらに、記憶部３２は、制御部３３で実行されるプログラムで用いられる各種データを記憶する。例えば、記憶部３２は、商品情報４０と、表示コンテンツ情報４１と、商品イメージ情報４２と、コンテンツデータ４３と、インターネット情報４４とを記憶する。
商品情報４０は、プロモーションの対象となる商品に関する情報を記憶したデータである。本実施例では、商品情報４０に、香水３Ａ〜３Ｄに関する情報が記憶されている。例えば、商品情報４０には、商品毎に商品名などの商品の情報や、ターゲットとなる購買層などの情報が記憶される。
図５は、商品情報のデータ構成の一例を示す図である。図５に示すように、商品情報４０は、「商品ＩＤ」、「商品」、「属性」の各項目を有する。商品ＩＤの項目は、商品を識別する識別情報を記憶する領域である。商品には、それぞれを識別する識別情報として、ユニークな商品ＩＤが付与される。商品ＩＤの項目には、商品に付与された商品ＩＤが格納される。商品の項目は、例えば、商品名など、商品を示す情報を記憶する領域である。属性の項目は、商品がターゲットとする購買層に関する情報を記憶する領域である。
図５の例では、商品ＩＤ「Ｓ００１」は、商品が「香水３Ａ」であり、ターゲットとする購買層の属性が「若者、女性向け」であることを示す。また、商品ＩＤ「Ｓ００２」は、商品が「香水３Ｂ」であり、ターゲットとする購買層の属性が「若者、男性向け」であることを示す。商品ＩＤ「Ｓ００３」は、商品が「香水３Ｃ」であり、ターゲットとする購買層の属性が「熟年、女性向け」であることを示す。商品ＩＤ「Ｓ００４」は、商品が「香水３Ｄ」であり、ターゲットとする購買層の属性が「熟年、男性向け」であることを示す。
図４に戻り、表示コンテンツ情報４１は、コンテンツに関する情報を記憶したデータである。例えば、表示コンテンツ情報４１には、コンテンツがどのような種類のデータであるかや、どこに記憶されているかが記憶される。
図６は、表示コンテンツ情報のデータ構成の一例を示す図である。図６に示すように、表示コンテンツ情報４１は、「コンテンツＩＤ」、「時間」、「ファイル種別」、「格納場所」、「商品ＩＤ」の各項目を有する。コンテンツＩＤの項目は、コンテンツを識別する識別情報を記憶する領域である。コンテンツには、それぞれを識別する識別情報として、ユニークなコンテンツＩＤが付与される。コンテンツＩＤの項目には、コンテンツに付与されたコンテンツＩＤが格納される。時間の項目は、コンテンツとして保存された映像の再生時間を記憶する領域である。ファイル種別の項目は、コンテンツのデータの種類を記憶する領域である。格納場所の項目は、コンテンツのデータの格納先およびコンテンツのデータのファイル名を記憶する領域である。本実施例では、格納場所に、コンテンツのデータへのパスが記憶されている。商品ＩＤの項目は、商品を識別する識別情報を記憶する領域である。
図６の例では、コンテンツＩＤ「Ｃ００１」は、再生時間が「６秒」であり、ファイル種別が「ａｖｉ」であり、格納場所が「C:\aaaa\bbbb\cccc」であり、対応付けられた商品の商品ＩＤが「Ｓ００１」であることを示す。ファイル種別「ａｖｉ」は、ａｖｉ（Audio Video Interleaving）ファイルを示す。コンテンツＩＤ「Ｃ００２」は、再生時間が「６秒」であり、ファイル種別が「ａｖｉ」であり、格納場所が「C:\aaaa\bbbb\cccc」であり、対応付けられた商品の商品ＩＤが「Ｓ００２」であることを示す。コンテンツＩＤ「Ｃ００３」は、再生時間が「６秒」であり、ファイル種別が「ｍｐ４」であり、格納場所が「C:\aaaa\bbbb\cccc」であり、対応付けられた商品の商品ＩＤが「Ｓ００３」であることを示す。ファイル種別「ＭＰ４」は、ＭＰＥＧ−４（Moving Picture Experts Group phase 4）であることを示す。コンテンツＩＤ「Ｃ００４」は、再生時間が「６秒」であり、ファイル種別が「ｍｐ４Ｔ」であり、格納場所が「C:\aaaa\bbbb\cccc」であり、対応付けられた商品の商品ＩＤが「Ｓ００４」であることを示す。ファイル種別「ＭＰ４Ｔ」は、ＭＰＥＧ−４ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍであることを示す。
図４に戻り、商品イメージ情報４２は、商品のイメージに関する情報を記憶したデータである。例えば、商品イメージ情報４２には、商品が発する匂い、味、触感、発する音などを表現したイメージに関する情報が記憶される。本実施例では、香水５Ａ〜５Ｄが発する匂いを表現したイメージに関する情報が記憶される。
図７は、商品イメージ情報のデータ構成の一例を示す図である。図７に示すように、商品イメージ情報４２は、「商品ＩＤ」、「商品」、「トップノート」、「ミドルノート」、「ラストノート」の各項目を有する。商品ＩＤの項目は、商品を識別する識別情報を記憶する領域である。商品の項目は、商品を示す情報を記憶する領域である。トップノート、ミドルノートおよびラストノートの各項目は、それぞれの匂いを表現したイメージに関する情報を記憶する領域である。ここで、香水は、肌につけた瞬間から時間を追って香りが変化する。トップノートは、つけてから１０〜３０分程度での香りのイメージを示す情報を記憶する領域である。ミドルノートは、つけてから２〜３時間程度での香りのイメージを示す情報を記憶する領域である。ラストノートは、つけてから５〜１２時間程度での香りのイメージを示す情報を記憶する領域である。
図７の例では、商品ＩＤ「Ｓ００１」は、商品が「香水３Ａ」であり、トップノートが「柚子」であり、ミドルノートが「ローズブロッサム」であり、ラストノートが「ホワイトウッドアコード」であることを示す。
図４に戻り、コンテンツデータ４３は、商品のプロモーションで使用する映像や画像などのコンテンツを記憶したデータである。例えば、コンテンツデータ４３としては、表示コンテンツ情報４１に示された映像のデータが記憶されている。例えば、コンテンツデータ４３としては、香水３Ａ〜３Ｄをそれぞれプロモーションする広告の映像のデータが記憶されている。また、コンテンツデータ４３としては、商品イメージ情報４２のトップノート、ミドルノート、ラストノートの各項目の香りのイメージに対応付けられた画像のデータが記憶されている。
インターネット情報４４は、インターネットから取得された各商品に関する情報を記憶したデータである。例えば、インターネット情報４４には、ＳＮＳ２５から取得された各商品に関する情報が記憶されている。
制御部３３は、制御装置２０を制御するデバイスである。制御部３３としては、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等の電子回路や、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路を採用できる。制御部３３は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部３３は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部３３は、設定部５０と、識別部５１と、検出部５２と、取得部５３と、表示制御部５４とを有する。
設定部５０は、各種の設定を行う。例えば、設定部５０は、商品の位置に応じて、商品のピックアップを検出するための領域を設定する。例えば、設定部５０は、各商品の特徴に基づき、センサ装置２１から入力する撮影画像内から各商品の領域を検出する。例えば、設定部５０は、香水３Ａ〜３Ｄの色や形状などの特徴に基づいて、撮影画像内から香水３Ａ〜３Ｄの領域を検出する。そして、設定部５０は、商品毎に、商品の位置に応じた第１の領域を設定する。例えば、設定部５０は、商品毎に、商品の領域に囲む矩形状の領域を第１の領域として設定する。この第１の領域は、顧客が商品に触れたか否かを判定するための領域である。また、設定部５０は、商品毎に、第１の領域を包含する第２の領域を設定する。例えば、設定部５０は、商品毎に、第１の領域の周囲に、同じサイズ領域を１つずつ配置した第２の領域を設定する。この第２の領域は、顧客が商品を手に取ったか否かを判定するための領域である。
図８は、領域の一例を示す図である。例えば、設定部５０は、香水３Ａの色や形状などの特徴に基づいて、撮影画像内から香水３Ａの領域６０を検出する。また、設定部５０は、香水３Ａの領域に囲む矩形状の領域を第１の領域６１を設定する。また、設定部５０は、例えば、第１の領域６１の周囲に、第１の領域６１と同じサイズ領域を１つずつ配置した第２の領域６２を設定する。
識別部５１は、各種の識別を行う。例えば、識別部５１は、センサ装置２１で検知された人の属性を識別する。例えば、識別部５１は、人の属性として、検知された人の性別および年齢層を識別する。本実施例では、年齢層を若者か熟年の２段階で識別する。例えば、性別および年齢層毎に、顔の輪郭や目、鼻、口の位置などの標準的なパターンを記憶部３２に予め記憶しておく。そして、識別部５１は、センサ装置２１で人が検出された場合、センサ装置２１から入力する画像から顔領域の検出を行う。そして、識別部５１は、検出された顔領域内の顔の輪郭や目、鼻、口の位置を性別および年齢層毎の標準的なパターンと比較して、もっとも類似するものを特定することにより、性別および年齢層を識別する。なお、人の属性を識別は、センサ装置２１が行ってもよい。すなわち、センサ装置２１が人の属性の識別を行い、識別結果の属性情報を制御装置２０へ出力してもよい。
検出部５２は、各種の検出を行う。例えば、検出部５２は、商品毎に、商品がピックアップされたか否かを検出する。例えば、検出部５２は、センサ装置２１から入力する撮影画像において、設定部５０により設定された各商品の第１の領域をそれぞれ監視し、第１の領域に人の手が入ったか否か検知する。例えば、検出部５２は、センサ装置２１から入力される人の手の指先の座標が第１の領域内となった場合、第１の領域に人の手が入ったと検知する。例えは、図３の例では、検出部５２は、左手先、右手先、左手親指、右手親指などの指部分を人の手として、第１の領域に人の手が入った否かを検知する。
検出部５２は、第１の領域内で人の手を検知した後に、第２の領域内で人の手が検知されなくなった場合、商品の領域内で商品が検知されるか否かを判定する。検出部５２は、商品の領域内で商品が検知されない場合、商品がピックアップされたと検出する。例えば、商品３Ａについて設定した第１の領域に人の手が入ったことを検知し、その後、商品３Ａについて設定した第２の領域で人の手が検知されない状態になり、かつ商品３Ａも検知されない場合、商品３Ａがピックアップされたと検出する。なお、検出部５２の検出対象とする商品は、１個でもよいし、複数個であってよい。また、検出部５２は、第１の領域内で人の手を検知した後に、当該第１の領域内で人の手が検知されなくなった場合、商品の領域内で商品が検知されるか否かを判定してもよい。また、商品のピックアップを検出するための領域の設定、および、当該領域を用いた商品がピックアップされたか否かの検出は、センサ装置２１が行ってもよい。すなわち、センサ装置２１が商品のピックアップを検出するための領域を設定し、当該領域を用いて商品がピックアップされたか否かの検出を行って検出結果の情報を制御装置２０へ出力してもよい。
図９は、ピックアップの検出を説明する図である。例えば、検出部５２は、香水３Ａの第１の領域６１を監視し、第１の領域６１に人の手が入ったか否か検知する。図８の例では、第１の領域６１に人の手が入っている。検出部５２は、人の手を検知した第２の領域６２内で人の手が検知されなくなり、かつ、香水３Ａの領域６０内で商品が検知されない場合に、香水３Ａがピックアップされたと検出する。これにより、商品が触られただけの場合とピックアップされた場合を判別できる。
取得部５３は、各種の取得を行う。例えば、取得部５３は、インターネットから各商品に関する情報を取得する。例えば、取得部５３は、ＳＮＳ２５から、各商品に関する投稿を検索し、各商品に関する情報を取得する。なお、取得部５３は、ＳＮＳ２５から、各商品に関する投稿を受け付けることにより、各商品に関する情報を取得してもよい。例えば、ＳＮＳ２５が、定期的に各商品に関する投稿を制御装置２０に提供し、取得部５３が、提供される各商品に関する情報を取得するものとしてもよい。
取得部５３は、取得した各商品に関する投稿をインターネット情報４４に格納する。
表示制御部５４は、各種の表示の制御を行う。例えば、表示制御部５４は、センサ装置２１により人が検出されていない場合、所定のシナリオに従った商品情報をディスプレイ２２に表示させる。例えば、表示制御部５４は、各商品のコンテンツの映像を所定の順に繰り返しディスプレイ２２に表示させる。なお、各商品のコンテンツの映像とは別の映像を表示させてもよい。例えば、各商品のコンテンツの映像とは別に所定のシナリオに従った広告用の商品情報の映像のデータを記憶部３２に予め記憶させ、表示制御部５４は、センサ装置２１により人が検出されていない場合、当該映像のデータを繰り返しディスプレイ２２に表示させてもよい。
表示制御部５４は、センサ装置２１により人が検出された場合、識別部５１により識別された人の属性に対応する商品を特定する。例えば、表示制御部５４は、人の属性が「若者」、「女性」と識別された場合、「若者」、「女性」に対応する香水３Ａを対応する商品と特定する。表示制御部５４は、特定された商品に関する情報をディスプレイ２２に表示させる。例えば、表示制御部５４は、表示コンテンツ情報４１に基づいて、特定された香水３Ａに対応するコンテンツのデータをコンテンツデータ４３から読み出し、読み出したコンテンツの映像をディスプレイ２２に表示させる。
表示制御部５４は、コンテンツの映像をディスプレイ２２に表示させた後、センサ装置２１により、人の所定の挙動が検出されたか否かを判定する。この所定の挙動とは、人が興味を示したかを示す挙動である。例えば、人は、ディスプレイ２２に表示させた映像に興味を示した場合、映像を見るために立止る。そこで、例えば、表示制御部５４は、ディスプレイ２２に映像の表示の開始から所定時間経過後、検知された人が滞留している場合、所定の挙動が検出されたと判定する。なお、所定の挙動は、検知された人の所定時間の滞留に限定されるものではなく、人が興味を示したかを示す挙動であれば何れであってもよい。例えば、ディスプレイ２２に映像が表示された後に、人が検知される場合、所定の挙動が検出されたと判定してもよい。また、例えば、検知された人の視線を検出して人の視線がディスプレイ２２またはディスプレイ２２に表示された映像に対応する商品に所定時間以上向いている場合、所定の挙動が検出されたと判定してもよい。
表示制御部５４は、人の所定の挙動が検出されると、タブレット端末２３に商品に関する情報の表示を開始させる。例えば、表示制御部５４は、インターネット情報４４から、特定の商品についてインターネットから取得された情報を読み出し、読み出した情報をタブレット端末２３に表示させる。
また、表示制御部５４は、人の所定の挙動が検出されると、ディスプレイ２２へのコンテンツの映像の表示を終了させる。表示制御部５４は、ディスプレイ２２へのコンテンツの映像の表示の終了後、人が検知されていない場合と同様に、所定のシナリオに従った商品情報をディスプレイ２２に表示させる。例えば、表示制御部５４は、各商品のコンテンツの映像を所定の順に繰り返しディスプレイ２２に表示させる。
表示制御部５４は、検出部５２により、商品がピックアップされたことが検出された場合、ピックアップされた商品に対応づけられた映像の出力を行う。例えば、表示制御部５４は、ピックアップされた商品に対応するコンテンツのデータを読み出し、読み出したコンテンツの映像をプロジェクタ２４から投影させる。これにより、例えば、香水３Ａがピックアップされた場合、香水３Ａと同種の、展示台４上に配置された香水５Ａに対して映像が投影される。表示制御部５４は、商品イメージ情報４２に従い、プロジェクタ２４から投影させる映像を変化させて、香水３Ａが発する匂いの時間的変化を映像により表現する。例えば、表示制御部５４は、所定のタイミングで、トップノート、ミドルノート、ラストノートの各画像を順に投影して匂いの時間的変化を映像により表現する。この際、表示制御部５４は、各種の画像効果を加えて投影してもよい。例えば、表示制御部５４は、２秒ごとなどエフェクトを変化させて画像を表示させる。これにより、香水３Ａをピックアップした人は、香水５Ａに対して投影された映像から香水３Ａが発する匂いの時間的変化を疑似的に感じることができる。なお、表示制御部５４は、商品の特徴や商品の効果などを示す映像を投影してもよい。また、表示制御部５４は、人の属性毎に、投影する映像の種類を変えてもよい。例えば、表示制御部５４は、属性が女性の場合、香水３が発する匂いを示した映像を投影し、属性が男性の場合、香水３の特徴や効果などを示す映像を投影してもよい。
表示制御部５４は、映像の投影中に、検出部５２により、他の商品がピックアップされたことが検出された場合、ピックアップされた他の商品に対応づけられた映像の出力を行う。例えば、表示制御部５４は、香水３Ａのピックアップが検出されて香水５Ａに対して映像が投影している途中で、香水３Ｂのピックアップが検出された場合、香水５Ａに対する映像の投影を中止する。そして、表示制御部５４は、ピックアップされた香水３Ｂに対応するコンテンツのデータを読み出し、読み出したコンテンツの映像をプロジェクタ２４から投影させる。これにより、香水５Ａに対する映像の投影を中止されて、展示台４上に配置された香水５Ｂに対して映像を投影される。
ここで、具体例を用いて説明する。図１０は、ディスプレイに表示される画像の一例を示す図である。表示制御部５４は、センサ装置２１により人が検出されていない場合、所定のシナリオに従った商品情報をディスプレイ２２に表示させる。表示制御部５４は、各商品のコンテンツの映像を所定の順に繰り返しディスプレイ２２に表示させる。図１０の左側の画面例では、所定のシナリオに従ったストーリ広告が表示されていることが示されている。
センサ装置２１により人が検出された場合、識別部５１は、センサ装置２１で検知された人の属性を識別する。表示制御部５４は、識別された人の属性に対応する商品のコンテンツの映像をディスプレイ２２に表示させる。図１０の右側の画面例では、人が検知された場合、検知された人の属性に対応する香水の映像が表示されている。これにより、検知された人に対して、人の属性に対応した商品の広告が表示されるため、ひとりひとりの嗜好を判断した販売促進の実現でき、広告の効果を高めることができる。なお、図１０の例では、表示制御部５４が、人の属性を識別している間、ストーリ広告に判定中と表示させているが、この判定中の表示は行わなくてもよい。
表示制御部５４は、コンテンツの映像をディスプレイ２２に表示させた後、人の所定の挙動が検出された場合、タブレット端末２３に商品に関する情報の表示を開始させる。例えば、表示制御部５４は、インターネット情報４４から、人の属性に対応する商品についてインターネットから取得された情報を読み出し、読み出した情報をタブレット端末２３に表示させる。図１１は、タブレット端末に表示される画像の一例を示す図である。図１１の例では、ＳＮＳ２５に投稿された商品に関する記事に多く含まれるキーワードが、出現頻度が多いものほど文字が大きく表示されている。また、図１１の例では、ＳＮＳ２５に投稿された商品に関する記事が表示されている。これにより、検知された人に対して、商品に関する第三者の評価を提示できる。ここで、近年、口コミなど第三者の評価が、購買行動に対して大きな影響を持つ場合がある。例えば、商品を購入する場合に、ＳＮＳ２５などで第三者の評価を検索して購入するか否かを検討する場合がある。そこで、タブレット端末２３に商品に関する第三者の評価を提示することにより、単純に商品に関する広告を提示するより、商品に対する安心感や信頼感を提供できる。
商品がピックアップされた場合、表示制御部５４は、ピックアップされた商品と同じ種類で物理的に別個の商品に対して映像を投影する。本実施例では、ピックアップされた香水３と同じ種類で別に配置された香水５に対して、トップノート、ミドルノート、ラストノートの各画像を順に投影して匂いの時間的変化を映像により表現する。図１２は、投影される画像の一例を示す図である。図１２の例では、トップノートの香りを表現した画像Ａからミドルノートの香りを表現した画像Ｂ、ラストノートの香りを表現した画像Ｃへと画像が順に変化している。これにより、ピックアップされた香水３に対応する香水５に映像を投影することにより、投影された映像からピックアップされた香水３が発する匂いの時間的変化を疑似的に感じることができる。また、投影された映像から匂いを疑似的に感じさせることにより、商品のイメージを向上させることができる。
このように、商品情報表示システム１０は、顧客に対して商品のプロモーションをより効果的に行うことができる。
なお、制御装置２０は、さらに商品に関するインセンティブ情報をさらに表示させてもよい。例えば、表示制御部５４は、２次元バーコードなどにより、ピックアップされた商品の割引を行うクーポンをタブレット端末２３に表示させてもよい。これにより、商品情報表示システム１０は、商品の購入を促すことができる。
また、制御装置２０は、人の反応状況を蓄積してもよい。例えば、制御装置２０は、商品毎に、対象となる属性の人が検出された回数と、所定の挙動、ピックアップが検出された回数を蓄積することにより、商品が対象とする顧客が正当化や、表示する映像に効果があるかを評価でき、プロモーションの内容の見直しを行うことができる。
［処理の流れ］
本実施例に係る制御装置２０が実施する表示制御の流れについて説明する。図１３は、表示制御処理の手順の一例を示すフローチャートである。この表示制御処理は、所定のタイミング、例えば、センサ装置２１で人が検知されたタイミングで実行される。
表示制御部５４は、センサ装置２１により人が検出されていない場合、各商品のコンテンツの映像を所定の順に繰り返しディスプレイ２２に表示させる。
センサ装置２１により人が検出された場合、図１３に示すように、識別部５１は、センサ装置２１で検知された人の属性を識別する（Ｓ１０）。表示制御部５４は、識別された人の属性に対応する商品のコンテンツの映像をディスプレイ２２に表示させる（Ｓ１１）。
表示制御部５４は、人の所定の挙動が検出されたか否かを判定する（Ｓ１２）。所定の挙動が検出されない場合（Ｓ１２否定）、処理を終了する。
一方、所定の挙動が検出された場合（Ｓ１２肯定）、表示制御部５４は、インターネット情報４４から、人の属性に対応する商品についてインターネットから取得された情報を読み出し、読み出した情報をタブレット端末２３に表示させる（Ｓ１３）。また、表示制御部５４は、ディスプレイ２２へのコンテンツの映像の表示を終了させる（Ｓ１４）。
表示制御部５４は、検出部５２により商品のピックアップが検出されたか否かを判定する（Ｓ１５）。検出部５２は、例えば、第１の領域内で人の手を検知した後に、第２の領域内で人の手が検知されず、かつ、商品の検知領域内で商品が検知されない場合に、商品がピックアップされたと検出する。商品のピックアップが検出されない場合（Ｓ１５否定）、処理を終了する。
一方、商品のピックアップが検出された場合（Ｓ１５肯定）、表示制御部５４は、ピックアップされた商品に対応づけられた映像をプロジェクタ２４から出力する（Ｓ１６）。表示制御部５４は、映像の出力が終了すると、処理を終了する。
表示制御部５４は、表示制御処理が終了すると、各商品のコンテンツの映像を所定の順に繰り返しディスプレイ２２に表示させる。なお、Ｓ１４では、ディスプレイ２２への商品のコンテンツの映像の表示を終了させるとともに、所定のシナリオに従ったストーリ広告の表示を開始させても良い。
［効果］
上述してきたように、本実施例に係る制御装置２０は、商品の位置に応じて設定された第１の領域内で人の手を検知した後に、第１の領域と同じ領域又は第１の領域を包含する第２の領域内で人の手が検知されず、かつ、位置に応じて設定された商品の検知領域内で商品が検知されない場合に、商品がピックアップされたことを検出する。これにより、制御装置２０は、商品の位置が変更された場合でも、商品が取り出されたことを検出できる。
また、本実施例に係る制御装置２０は、商品の位置に応じて設定された第１の領域内で人の手を検知した後に、第１の領域と同じ領域又は第１の領域を包含する第２の領域内で前記人の手が検知されず、かつ、位置に応じて設定された商品の検知領域内で商品が検知されない場合に、商品に対応づけられた映像の出力を行う。これにより、制御装置２０は、商品が取り出されたことを検出でき、取り出された商品に対応づけられた映像を出力できる。
また、本実施例に係る制御装置２０は、商品と同じ種類で物理的に別個の商品の方向に向けた映像を投影させる。これにより、取り出された商品と同じ種類で物理的に別個の商品に対して映像が投影されため、人に対して商品に対応付けられた映像を、商品に対応させて認識しやすく投影できる。
また、本実施例に係る制御装置２０は、商品が発する匂いを表現した映像を出力させる。これにより、制御装置２０は、映像から第一の商品が発する匂いを人に疑似的に感じさせることができる。
また、本実施例に係る制御装置２０は、商品が発する匂いの時間的変化を表現した映像を出力させる。これにより、制御装置２０は、映像から商品が発する匂いの時間的変化を人に疑似的に感じさせることができる。
また、本実施例に係る制御装置２０は、映像の投影中に、検出部５２により、他の商品がピックアップされたことが検出された場合、ピックアップされた他の商品に対応づけられた映像の出力を行う。これにより、制御装置２０は、ピックアップされた商品が変わったとしても、ピックアップされた商品の映像を速やかに投影できる。
また、本実施例に係る制御装置２０は、指部分でピックアップを検知する。これにより、制御装置２０は、商品のピックアップを精度よく検知できる。
また、本実施例に係る制御装置２０は、人の手の検知を、撮像画像に含まれる人の画像について行った骨格分析によって行っている。これにより、制御装置２０は、人の手を精度よく検知できる。
また、本実施例に係る制御装置２０は、第１の領域、第２の領域および商品の検知領域を、商品の位置を撮像範囲に含む撮像画像から検出された商品の位置に応じて設定している。これにより、制御装置２０は、商品の位置が変更された場合でも、第１の領域、第２の領域および検知領域を適切に設定できる。
さて、これまで開示の装置に関する実施例について説明したが、開示の技術は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
例えば、上記の実施例では、商品の匂いを表現した映像を出力する場合について説明したが、開示の装置はこれに限定されない。例えば、制御装置２０は、商品の味、触感、発する音など表現した映像を出力してもよい。味は、甘味、酸味、塩味、苦味、辛味、渋味など味覚の種類をそれぞれの代表する食材の映像により表現できる。例えば、甘味などフルーティ度は、商品と異なる他の果物の種類および量（数）で表現することで、可視化し、イメージし易さを視覚的効果から向上可能である。触感も、触感の種類をそれぞれの代表する物品の映像により表現できる。例えば、触感としてざらざら感は、物品の表面の粗さなどにより表現できる。また、例えば、触感としてみずみずしさは、水面の揺れや水滴が落ちる様子のスピード感、粘り気、水分量、弾け方などにより表現できる。音は、例えば、音をエフェクト化して波形として示すことで表現できる。また、商品の匂い、味、触感、発する音のうちの複数を映像により表現してもよい。
また、上記の実施例では、商品を香水とした場合について説明したが、開示の装置はこれに限定されない。商品は、匂い、味、触感、発する音などに違いがあるものであれば何れでもよい。例えば、商品をワインとする場合、匂い、味、触感を映像により表現することが考えられる。また、商品を乳液などの化粧品とする場合、触感を映像により表現することが考えられる。また、商品を車やバイクとする場合、発する音を映像により表現することが考えられる。このように、商品は、匂い、味、触感、発する音を映像で表現することにより、顧客の購入意欲を刺激することができる。
また、上記の実施例では、タブレット端末２３を１台設けた場合について説明したが、開示の装置はこれに限定されない。タブレット端末２３は、複数台設けてもよい。例えば、商品棚２が複数ある場合、タブレット端末２３は、商品棚２毎に設けてもよい。また、タブレット端末２３は、１または複数の商品に対して１台ずつ設定してもよい。また、上記の実施例では、ディスプレイ２２も１台設けた場合について説明したが、開示の装置はこれに限定されない。ディスプレイ２２も、複数台設けてもよい。
また、上記の実施例では、香水３に対して香水５を１対１で設けた場合について説明したが、開示の装置はこれに限定されない。例えば、香水５を１つだけ設け、各香水３の匂いを表す映像を香水５に投影するようにしてもよい。即ち、香水３Ａ〜３Ｄのいずれかに対して第２の挙動を検出した場合に、検出された香水の匂いを表す映像を、香水５Ａに投影してもよい。この場合、香水５は、香水３の何れかと同じの形状であってもよく、一般的な香水瓶の形状であってもよい。
また、上記の実施例では、タブレット端末２３に第２の情報の表示が開始されると、ディスプレイ２２おける第１の情報の表示を終了する場合について説明したが、開示の装置はこれに限定されない。例えば、タブレット端末２３に第２の情報の表示が開始される場合に、ディスプレイ２２に所定のシナリオに従った商品情報の表示を行わせてもよい。
また、上記の実施例では、ディスプレイ２２とタブレット端末２３とは別の装置である例を示したが、開示の装置はこれに限定されない。ディスプレイ２２に例示される第一のディスプレイと、タブレット端末２３に例示される第二のディスプレイとは、同一の表示装置上に対する出力であっても構わない。この場合、同一の表示装置上に第一のディスプレイに相当する第一の表示領域と、第二のディスプレイに相当する第二の表示領域とを設けることができる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的状態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、設定部５０、識別部５１、検出部５２、取得部５３および表示制御部５４の各処理部が適宜統合されてもよい。また、各処理部の処理が適宜複数の処理部の処理に分離されてもよい。さらに、各処理部にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
［商品情報出力プログラム］
また、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することもできる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムの一例を説明する。図１４は、商品情報出力プログラムを実行するコンピュータを示す図である。
図１４に示すように、コンピュータ３００は、ＣＰＵ（Central Processing Unit）３１０、ＨＤＤ（Hard Disk Drive）３２０、ＲＡＭ（Random Access Memory）３４０を有する。これら３００〜３４０の各部は、バス４００を介して接続される。
ＨＤＤ３２０には上記の設定部５０、識別部５１、検出部５２、取得部５３および表示制御部５４と同様の機能を発揮する商品情報出力プログラム３２０ａが予め記憶される。なお、商品情報出力プログラム３２０ａについては、適宜分離しても良い。
また、ＨＤＤ３２０は、各種情報を記憶する。例えば、ＨＤＤ３２０は、商品のプロモーションで使用する映像や画像などの各種のコンテンツのデータを記憶する。
そして、ＣＰＵ３１０が、商品情報出力プログラム３２０ａをＨＤＤ３２０から読み出して実行することで、実施例の各処理部と同様の動作を実行する。すなわち、商品情報出力プログラム３２０ａは、設定部５０、識別部５１、検出部５２、取得部５３および表示制御部５４と同様の動作を実行する。
なお、上記した商品情報出力プログラム３２０ａについては、必ずしも最初からＨＤＤ３２０に記憶させることを要しない。
例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」にプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。
さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ３００に接続される「他のコンピュータ（またはサーバ）」などにプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。
１ 店舗
２ 商品棚
３、３Ａ〜３Ｄ 香水
４ 展示台
４Ａ スタンド部分
４Ｂ 壁部分
５、５Ａ〜５Ｄ 香水
１０ 商品情報表示システム
２０ 制御装置
２１ センサ装置
２２ ディスプレイ
２３ タブレット端末
２４ プロジェクタ
３２ 記憶部
３３ 制御部
４０ 商品情報
４１ 表示コンテンツ情報
４２ 商品イメージ情報
４３ コンテンツデータ
４４ インターネット情報
５０ 設定部
５１ 識別部
５２ 検出部
５３ 取得部
５４ 表示制御部

Claims (13)

  1. 商品の位置に応じて設定された第１の領域内で人の手を検知した後に、前記第１の領域と同じ領域又は前記第１の領域を包含する第２の領域内で前記人の手が検知されず、かつ、前記位置に応じて設定された商品の検知領域内で前記商品が検知されない場合に、前記商品がピックアップされたことを検出する、
    ことを特徴とする、コンピュータにより実行される商品情報出力方法。
  2. 商品の位置に応じて設定された第１の領域内で人の手を検知した後に、前記第１の領域と同じ領域又は前記第１の領域を包含する第２の領域内で前記人の手が検知されず、かつ、前記位置に応じて設定された商品の検知領域内で前記商品が検知されない場合に、前記商品に対応づけられた映像の出力を行う、
    ことを特徴とする、コンピュータにより実行される商品情報出力方法。
  3. 前記出力は、前記商品と同じ種類で物理的に別個の商品の方向に向けた映像の投影である、ことを特徴とする請求項２に記載の商品情報出力方法。
  4. 前記出力は、前記映像は前記商品が発する匂い又は前記商品の味又は前記商品の触感又は前記商品が発する音を表現した映像である、ことを特徴とする請求項３記載の商品情報出力方法。
  5. 前記出力は、前記映像は前記商品が発する匂いの時間的変化又は前記商品の味の時間的変化又は前記商品の触感の時間的変化又は前記商品が発する音の時間的変化を表現した映像である、ことを特徴とする請求項３記載の商品情報出力方法。
  6. 前記映像の出力の開始後に、前記商品とは異なる他の商品の位置に応じて設定された第３の領域内で人の手を検知した後に、前記第３の領域と同じ領域又は前記第３の領域を包含する第４の領域内で前記人の手が検知されず、かつ、前記他の商品の位置に応じて設定された商品の検知領域内で前記他の商品が検知されない場合に、前記他の商品に対応づけられた映像の出力を開始する、ことを特徴とする、コンピュータにより実行される請求項２記載の商品情報出力方法。
  7. 前記人の手は、指部分である、ことを特徴とする請求項１に記載の商品情報出力方法。
  8. 前記人の手の検知は、前記商品の位置を撮像範囲に含む撮像装置で取得した撮像画像に含まれる人の画像について行った骨格分析によって得られる、ことを特徴とする請求項１に記載の商品情報出力方法。
  9. 前記第１の領域、前記第２の領域および前記商品の検知領域は、前記商品の位置を撮像範囲に含む撮像装置で取得した撮像画像から検出された商品の位置に応じて設定されることを特徴とする請求項１に記載の商品情報出力方法。
  10. 商品の位置に応じて設定された第１の領域内で人の手を検知した後に、前記第１の領域と同じ領域又は前記第１の領域を包含する第２の領域内で前記人の手が検知されず、かつ、前記位置に応じて設定された商品の検知領域内で前記商品が検知されない場合に、前記商品がピックアップされたことを検出する、
    処理をコンピュータに実行させることを特徴とする商品情報出力プログラム。
  11. 商品の位置に応じて設定された第１の領域内で人の手を検知した後に、前記第１の領域と同じ領域又は前記第１の領域を包含する第２の領域内で前記人の手が検知されず、かつ、前記位置に応じて設定された商品の検知領域内で前記商品が検知されない場合に、前記商品に対応づけられた映像の出力を行う、
    処理をコンピュータに実行させることを特徴とする商品情報出力プログラム。
  12. 商品の位置に応じて設定された第１の領域内で人の手を検知した後に、前記第１の領域と同じ領域又は前記第１の領域を包含する第２の領域内で前記人の手が検知されず、かつ、前記位置に応じて設定された商品の検知領域内で前記商品が検知されない場合に、前記商品がピックアップされたことを検出する検出部
    を有することを特徴とする制御装置。
  13. 商品の位置に応じて設定された第１の領域内で人の手を検知した後に、前記第１の領域と同じ領域又は前記第１の領域を包含する第２の領域内で前記人の手が検知されず、かつ、前記位置に応じて設定された商品の検知領域内で前記商品が検知されない場合に、前記商品に対応づけられた映像の出力させる制御を行う制御部
    を有することを特徴とする制御装置。
JP2016519000A 2014-05-12 2014-05-12 商品情報出力方法、商品情報出力プログラムおよび制御装置 Expired - Fee Related JP6197952B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/062635 WO2015173869A1 (ja) 2014-05-12 2014-05-12 商品情報出力方法、商品情報出力プログラムおよび制御装置

Publications (2)

Publication Number Publication Date
JPWO2015173869A1 JPWO2015173869A1 (ja) 2017-04-20
JP6197952B2 true JP6197952B2 (ja) 2017-09-20

Family

ID=54479442

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016519000A Expired - Fee Related JP6197952B2 (ja) 2014-05-12 2014-05-12 商品情報出力方法、商品情報出力プログラムおよび制御装置

Country Status (3)

Country Link
US (1) US10354131B2 (ja)
JP (1) JP6197952B2 (ja)
WO (1) WO2015173869A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021189592A (ja) * 2020-05-27 2021-12-13 株式会社Ｊｖｃケンウッド 管理情報表示システム及び管理情報表示方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11250376B2 (en) 2017-08-07 2022-02-15 Standard Cognition, Corp Product correlation analysis using deep learning
US10474991B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Deep learning-based store realograms
US11200692B2 (en) 2017-08-07 2021-12-14 Standard Cognition, Corp Systems and methods to check-in shoppers in a cashier-less store
MX2020007114A (es) * 2018-01-10 2020-12-09 Simbe Robotics Inc Método para detectar y responder a derrames y peligros.
JP7228670B2 (ja) * 2018-07-26 2023-02-24 スタンダード コグニション コーポレーション 深層学習を使用したリアルタイム在庫追跡
JP7228671B2 (ja) * 2018-07-26 2023-02-24 スタンダード コグニション コーポレーション 深層学習に基づく店舗リアログラム
US11176686B2 (en) * 2019-10-25 2021-11-16 7-Eleven, Inc. Image-based action detection using contour dilation
US10915796B2 (en) * 2018-10-30 2021-02-09 Disney Enterprises, Inc. ID association and indoor localization via passive phased-array and computer vision motion correlation
CN110674712A (zh) * 2019-09-11 2020-01-10 苏宁云计算有限公司 交互行为识别方法、装置、计算机设备和存储介质
JP7700492B2 (ja) * 2021-04-08 2025-07-01 日本電気株式会社 情報提供システム、情報提供方法及びプログラム
JP7593500B2 (ja) * 2021-07-28 2024-12-03 日本電気株式会社 動作検出システム、動作検出方法、及びプログラム

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001128814A (ja) 1999-11-01 2001-05-15 Atr Media Integration & Communications Res Lab 物品の出し入れ検出装置
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US20050162515A1 (en) * 2000-10-24 2005-07-28 Objectvideo, Inc. Video surveillance system
US20030098910A1 (en) * 2001-11-29 2003-05-29 Pilsoo Kim Apparatus and method of providing point-of-sale surveillance and auditing of sale transactions of goods
JP2004171240A (ja) 2002-11-20 2004-06-17 Casio Comput Co Ltd 不正監視システムおよびプログラム
US7631808B2 (en) * 2004-06-21 2009-12-15 Stoplift, Inc. Method and apparatus for detecting suspicious activity using video analysis
US20080077510A1 (en) * 2006-09-21 2008-03-27 Polymer Logistics Bv Method And System For Providing Security Surveillance And Shelf Monitoring Functions
WO2008071000A1 (en) * 2006-12-15 2008-06-19 Micro Target Media Holdings Inc. System and method for obtaining and using advertising information
US8873794B2 (en) * 2007-02-12 2014-10-28 Shopper Scientist, Llc Still image shopping event monitoring and analysis system and method
US20110288938A1 (en) * 2007-03-02 2011-11-24 Store Kraft Interactive display system
KR100827849B1 (ko) * 2007-08-08 2008-06-10 (주)올라웍스 화상 데이터에 나타난 인물에 부착된 상품 정보를 획득하기위한 방법 및 장치
JP2009053815A (ja) * 2007-08-24 2009-03-12 Nikon Corp 被写体追跡プログラム、および被写体追跡装置
JP2009126660A (ja) * 2007-11-27 2009-06-11 Toshiba Tec Corp 物品管理システム及び情報処理装置
JP5253194B2 (ja) 2009-01-20 2013-07-31 セコム株式会社 物体検出装置
JP5439977B2 (ja) * 2009-06-24 2014-03-12 富士ゼロックス株式会社 動作判定システム、動作判定装置およびプログラム
US8547327B2 (en) * 2009-10-07 2013-10-01 Qualcomm Incorporated Proximity object tracker
JP5405365B2 (ja) 2010-03-18 2014-02-05 セコム株式会社 画像監視装置および監視システム
JP2011253344A (ja) * 2010-06-02 2011-12-15 Midee Co Ltd 購買行動分析装置、購買行動分析方法、およびプログラム
JP5235228B2 (ja) * 2010-08-23 2013-07-10 東芝テック株式会社 ラベル発行装置およびプログラム
JP5617603B2 (ja) * 2010-12-21 2014-11-05 ソニー株式会社 表示制御装置、表示制御方法、及び、プログラム
WO2012106815A1 (en) * 2011-02-11 2012-08-16 4D Retail Technology Corp. System and method for virtual shopping display
US20140347479A1 (en) * 2011-11-13 2014-11-27 Dor Givon Methods, Systems, Apparatuses, Circuits and Associated Computer Executable Code for Video Based Subject Characterization, Categorization, Identification, Tracking, Monitoring and/or Presence Response
CN104093363B (zh) * 2012-02-02 2017-04-05 株式会社日立制作所 医学图像诊断装置及其设定感兴趣区域的方法
US9367869B2 (en) * 2012-02-13 2016-06-14 Dean Stark System and method for virtual display
JP6095283B2 (ja) * 2012-06-07 2017-03-15 キヤノン株式会社 情報処理装置、およびその制御方法
WO2014017001A1 (ja) * 2012-07-27 2014-01-30 日本電気株式会社 サイネージ装置、サイネージ表示方法及びプログラム
JP5612645B2 (ja) * 2012-09-06 2014-10-22 東芝テック株式会社 情報処理装置及びプログラム
CN104813351B (zh) * 2012-09-24 2019-01-11 株式会社日立系统 商品陈列架系统、商品陈列架方法及商品陈列架程序
CN105074762A (zh) * 2013-03-01 2015-11-18 日本电气株式会社 信息处理系统和信息处理方法
US20160106236A1 (en) * 2013-05-31 2016-04-21 Intercontinental Great Brands Llc Method and apparatus for a product presentation display
US20160196575A1 (en) * 2013-09-06 2016-07-07 Nec Corporation Sales promotion system, sales promotion method, non-transitory computer readable medium, and shelf system
WO2015033577A1 (ja) * 2013-09-06 2015-03-12 日本電気株式会社 顧客行動分析システム、顧客行動分析方法、非一時的なコンピュータ可読媒体及び棚システム
JP6249021B2 (ja) * 2013-09-06 2017-12-20 日本電気株式会社 セキュリティシステム、セキュリティ方法及びセキュリティプログラム
JP6468497B2 (ja) * 2013-09-26 2019-02-13 パナソニックＩｐマネジメント株式会社 情報提供方法
JP6194777B2 (ja) * 2013-11-29 2017-09-13 富士通株式会社 動作判定方法、動作判定装置および動作判定プログラム
US9799044B2 (en) * 2013-12-26 2017-10-24 Panasonic Intellectual Property Corporation Of America Control method, and control system
US10024718B2 (en) * 2014-01-02 2018-07-17 Triangle Strategy Group Llc Methods, systems, and computer readable media for tracking human interactions with objects using modular sensor segments
US9922301B2 (en) * 2014-01-09 2018-03-20 Panasonic Intellectual Property Corporation Of America Information display method for store work relating to lighting control system, and lighting control method
US20150206188A1 (en) * 2014-01-17 2015-07-23 Panasonic Intellectual Property Corporation Of America Item presentation method, and information display method
JP2015141572A (ja) * 2014-01-29 2015-08-03 富士通株式会社 商品情報提供方法、商品情報提供装置および商品情報提供プログラム
JP5830706B2 (ja) * 2014-01-29 2015-12-09 パナソニックＩｐマネジメント株式会社 店員作業管理装置、店員作業管理システムおよび店員作業管理方法
JP2015176227A (ja) * 2014-03-13 2015-10-05 富士通株式会社 監視方法、監視装置および監視プログラム
JP6261060B2 (ja) * 2014-04-18 2018-01-17 Ｎｅｃソリューションイノベータ株式会社 情報処理装置
JPWO2015173871A1 (ja) * 2014-05-12 2017-04-20 富士通株式会社 商品情報出力方法、プログラムおよび制御装置
JP6482196B2 (ja) * 2014-07-09 2019-03-13 キヤノン株式会社 画像処理装置、その制御方法、プログラム、及び記憶媒体
US10129507B2 (en) * 2014-07-15 2018-11-13 Toshiba Global Commerce Solutions Holdings Corporation System and method for self-checkout using product images
JP5704279B1 (ja) * 2014-10-14 2015-04-22 富士ゼロックス株式会社 関連付プログラム及び情報処理装置
WO2016117600A1 (ja) * 2015-01-22 2016-07-28 日本電気株式会社 商品棚割管理装置及び商品棚割管理方法
JP6145850B2 (ja) * 2015-06-02 2017-06-14 パナソニックＩｐマネジメント株式会社 人物行動分析装置、人物行動分析システムおよび人物行動分析方法
JP6585475B2 (ja) * 2015-11-16 2019-10-02 東芝テック株式会社 チェックアウト装置およびプログラム
US10360572B2 (en) * 2016-03-07 2019-07-23 Ricoh Company, Ltd. Image processing system, method and computer program product for evaluating level of interest based on direction of human action
JP6728865B2 (ja) * 2016-03-25 2020-07-22 富士ゼロックス株式会社 手上げ検出装置及び手上げ検出プログラム
US10467587B2 (en) * 2016-05-19 2019-11-05 Simbe Robotics, Inc. Method for tracking placement of products on shelves in a store
JP2018041261A (ja) * 2016-09-07 2018-03-15 東芝テック株式会社 情報処理装置及びプログラム
US10157308B2 (en) * 2016-11-30 2018-12-18 Whirlpool Corporation Interaction recognition and analysis system
JP6812268B2 (ja) * 2017-02-21 2021-01-13 東芝テック株式会社 情報処理装置およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021189592A (ja) * 2020-05-27 2021-12-13 株式会社Ｊｖｃケンウッド 管理情報表示システム及び管理情報表示方法
JP7661678B2 (ja) 2020-05-27 2025-04-15 株式会社Ｊｖｃケンウッド 管理情報表示システム及び管理情報表示方法

Also Published As

Publication number Publication date
US10354131B2 (en) 2019-07-16
JPWO2015173869A1 (ja) 2017-04-20
US20170061204A1 (en) 2017-03-02
WO2015173869A1 (ja) 2015-11-19

Similar Documents

Publication Publication Date Title
JP6197952B2 (ja) 商品情報出力方法、商品情報出力プログラムおよび制御装置
US10074129B2 (en) Virtual reality system including smart objects
US9940589B2 (en) Virtual reality system including viewer responsiveness to smart objects
JP6267861B2 (ja) 対話型広告のための使用測定技法およびシステム
US8341022B2 (en) Virtual reality system for environment building
US20120089488A1 (en) Virtual reality system including smart objects
US20150174493A1 (en) Automated content curation and generation of online games
JPWO2015173871A1 (ja) 商品情報出力方法、プログラムおよび制御装置
JP6315085B2 (ja) 商品情報表示システム、制御装置、制御プログラムおよび制御方法
CN113301441A (zh) 应用程序的交互方法、装置和电子设备
JP2018045454A (ja) 購買支援システム
US10311497B2 (en) Server, analysis method and computer program product for analyzing recognition information and combination information
JP6905615B1 (ja) 拡張現実システム
JP2014146242A (ja) 情報配信装置、情報表示システムおよびプログラム
US20170221247A1 (en) Display of overlays and events in augmented reality using graph traversal
JP7485203B2 (ja) 商品デザイン生成支援装置、商品デザイン生成支援方法およびコンピュータプログラム
US20150363818A1 (en) Digital display platform for promotional/advertisement/gaming inclusive of static and motion graphic images with method of use
Uehara et al. Gimmick estimation in video advertisements by scene analysis with interpersonal theory
US10885687B2 (en) Augmented reality consumption data analysis
Gao et al. Enrichment of Product Presentation Video: Methods and Impacts on User Experience
Kahn et al. Visual Marketing: A Practical Guide to the Science of Branding & Retailing
CN110545477A (zh) 基于大数据互联网的广告加载方法及系统
HK1184937A (en) Method and system for exhibiting additional information based on video moving focus
TWM512764U (zh) 手勢遙控廣告的互動系統

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170807

R150 Certificate of patent or registration of utility model

Ref document number: 6197952

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees