JPWO2014132525A1 - 情報処理システム、および情報処理方法 - Google Patents

情報処理システム、および情報処理方法 Download PDF

Info

Publication number
JPWO2014132525A1
JPWO2014132525A1 JP2015502726A JP2015502726A JPWO2014132525A1 JP WO2014132525 A1 JPWO2014132525 A1 JP WO2014132525A1 JP 2015502726 A JP2015502726 A JP 2015502726A JP 2015502726 A JP2015502726 A JP 2015502726A JP WO2014132525 A1 JPWO2014132525 A1 JP WO2014132525A1
Authority
JP
Japan
Prior art keywords
information
product
display
information processing
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015502726A
Other languages
English (en)
Inventor
典良 広井
典良 広井
観 荒井
観 荒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2014132525A1 publication Critical patent/JPWO2014132525A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/20Point-of-sale [POS] network systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/242Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/68Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Accounting & Taxation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】ユーザに、好適に情報を提供することを可能とする情報処理システム、及び情報処理方法を提供する。【解決手段】物体の位置である物体位置を検出する容器位置検出部201と、物体の種類、又は物体が収容する収容物の種類に基づく情報を、物体の物体位置、もしくは物体位置の近傍に表示させる表示制御部209とを備える。

Description

本発明に係るいくつかの態様は、情報処理システム、および情報処理方法に関する。
関連する技術として、例えばドーナツなどの商品購入時に、トレイ上にある全ての商品を認識した上で、当該商品が正しいか否かを表示し、その入力に応じて、商品の価格等の情報を処理するチェックアウトシステムが考えられている(例えば、特許文献1参照)。このようなチェックアウトシステムでは、購入者は、POSシステム(Point Of Sale system)を構成する端末(以降、POS端末と称する)前に商品を載せたトレイを配置した上で、当該商品に対する識別が正しいか否かを確認し、その上で、金銭の支払いなどの各種処理を行う。
また関連する技術として、陳列棚に陳列されている商品の近傍、もしくは商品の表面上に、当該商品に関する商品情報を表示するシステムが考えられている(例えば、特許文献2参照)。特許文献2には、商品の位置及び商品コードを識別することにより、当該商品の近傍もしくは商品の表面上に、「新発売」「フランス製」「人気No.1」等の文字列や、関連商品に関する関連情報を、プロジェクタ等の投影装置により投影することを可能とするシステムが開示されている。
特開2013−030202号公報 特開2005−156591号公報
しかしながら、特許文献1記載の手法では、POS端末に到達するまで合計金額が明示されないため、購入者は、POS端末近傍に到達してから、初めて代金を準備することとなる。このような流れでは、代金を準備するまでの間、後ろに並ぶ購入者は待つ必要があるため、待ち時間が長くなってしまう。つまり、情報が好適に提供されないために、顧客満足度が下がることがあった。
また特許文献2記載の手法では、商品位置が変化する場合について考慮されていない。例えば、顧客(ユーザ)が商品を手にとった場合には、商品情報は元の場所に表示されたままである。これにより、顧客が商品を持っている場合には、商品本体か商品情報かのいずれか一方にしか顧客の注目を集められない場合があった。
本発明のいくつかの態様は前述の課題に鑑みてなされたものであり、ユーザに、好適に情報を提供することを可能とする情報処理システム、及び情報処理方法を提供することを目的の1つとする。
本発明に係る情報処理システムは、物体の位置である物体位置を検出する第1の検出手段と、前記物体の種類、又は前記物体が収容する収容物の種類に基づく情報を、前記物体の物体位置、又は前記物体位置の近傍に表示させる表示制御手段とを備える。
本発明に係る情報処理方法は、物体の位置である物体位置を検出するステップと、前記物体の種類、又は前記物体が収容する収容物の種類に基づく情報を、前記物体の物体位置、もしくは前記物体位置の近傍に表示させるステップとを備える。
なお、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、1つの「部」や「手段」、「装置」、「システム」が有する機能が2つ以上の物理的手段や装置により実現されても、2つ以上の「部」や「手段」、「装置」、「システム」の機能が1つの物理的手段や装置により実現されても良い。
本発明によれば、ユーザに、好適に情報を提供することを可能とする情報処理システム、及び情報処理方法を提供する。
第1実施形態に係る表示システムの概要を説明するための図である。 第1実施形態に係る表示システムの概略構成を示す機能ブロック図である。 図2に示す制御装置の処理の流れを示すフローチャートである。 図3に示す制御装置を実装可能なハードウェアの構成を示すブロック図である。 第2実施形態に係る表示システムの概要を説明するための図である。 図2に示す制御装置の処理の流れを示すフローチャートである。 第3実施形態に係る表示システムの概要を説明するための図である。 第4実施形態に係る情報処理システムの概略構成を示す機能ブロック図である。 第5実施形態に係る表示システムの概要を説明するための図である。 第5実施形態に係る表示システムの概略構成を示す機能ブロック図である。 図10に示す制御装置の処理の流れを示すフローチャートである。 図11に示す制御装置を実装可能なハードウェアの構成を示すブロック図である。 第6実施形態に係る表示システムの概要を説明するための図である。 図13に示す制御装置の処理の流れを示すフローチャートである。 第7実施形態に係る情報処理システムの概略構成を示す機能ブロック図である。 第8実施形態に係る情報処理システムの概略構成を示す機能ブロック図である。
以下に本発明の実施形態を説明する。以下の説明及び参照する図面の記載において、同一又は類似の構成には、それぞれ同一又は類似の符号が付されている。
(1 第1実施形態)
図1乃至図4は、第1実施形態を説明するための図である。以下、これらの図を参照しながら、次の流れに従って本実施形態を説明する。まず、「1.1」で本実施形態の概要を説明する。その後、「1.2」でシステムの機能構成を説明し、「1.3」で処理の流れを、「1.4」で、本システムを実現可能なハードウェア構成の具体例を示す。最後に、「1.5」で、本実施形態に係る効果等を説明する。
(1.1 概要)
図1を参照しながら、本実施形態に係る表示システムの概要を説明する。本実施形態に係る表示システムは、例えばセルフ方式(Self−service)のレストラン等に適用されるものであり、購入者(顧客)であるユーザCはトレイレールR上にトレイTを置き、陳列棚Sから、任意の商品Pを取ってトレイT上に載せる(置く)。このようにしながら購入者であるユーザCはトレイTをトレイレールR上を滑らせながら図示しないレジへと進み、当該レジで商品Pに対する支払いを行う。
なお、以下の説明では、ユーザCは商品Pを購入するものとして説明するが、実施形態はこれに限られるものではなく、例えば商品Pを借りる(レンタルする)店舗等に適用することも考えられる。
また、商品PをトレイTに置くものとして説明するが、実施形態はこれに限られるものではなく、ユーザCは、例えば店内用のカートやカゴ等の容器に、購入前の商品Pを入れる(収める)ようにすることも考えられる。
このようなセルフ方式の購入システムにおいては、通常、ユーザCがトレイTに取った商品Pの合計金額は、店員が目視でカウントするか、RFID(Radio Frequency Identification)方式等を用いてカウントするか、レジ部に設置されたカメラによる画像処理でカウントすることにより、レジ近傍のディスプレイに表示される。よって、このような方式を取ると、ユーザCは、レジに到達するまで合計金額を把握することができないため、レジに到達して初めて、代金を財布から準備することとなる。
しかしながら、ユーザCがレジ近傍で支払代金を用意する時間は、後ろに並ぶ購入者に取っては待ち時間となる。レジを担当する店員のスキルを向上させたとしても、ユーザCが支払代金を用意する時間は短縮することができないため、このような支払いシステムとすることは、待ち行列を長くする要因となる。また、行列があまりに長くなった場合には行列を敬遠する顧客もいるため、販売機会の損失を生じさせる原因となってしまう。さらに、店員が待ち構えた状態でユーザCが支払代金を用意することとなるため、顧客はこの時間に緊張感、焦燥感、羞恥心などを感じることとなり、顧客満足度が低下する可能性もある。
そこで、本実施形態では、トレイ上、もしくはトレイ近傍に、例えば商品の合計金額などの情報Dを表示する。これにより、ユーザCは、レジに到達する前に、支払代金を準備できるようになるため、会計処理の迅速化を図ることが可能となる。この他、商品の総カロリーや栄養バランス、空席状況や食器の置き場所などの店内の案内等をも情報Dとして表示すれば、顧客満足度の向上も図ることが可能である。また、購入商品と共に購入されやすい商品の情報(広告も含む)なども情報Dとして表示すれば、客単価の増加も期待することが可能となる。
そのために、本実施形態の表示システムでは、表示装置101と検出装置103とを含む。検出装置103は、トレイレールR上のトレイTの位置や、トレイT内の商品P1及びP2の位置、並びに商品P1及びP2の種類を検出するための機能を持つ。また、表示装置101は、例えばプロジェクタにより実現され、トレイT上に任意の情報Dを表示することが可能である。
これにより、図1の例では、検出装置103が、トレイTの位置、及びトレイT内に置かれた商品の種類を検出した上で、図1には図示しない表示装置が、トレイT内に置かれた商品の合計金額等を算出し、トレイT上に表示するメッセージを生成する。その上で、表示装置101は、トレイT上の、商品P1及びP2が置かれた位置以外の位置(空き領域)に、当該メッセージを表示する。
なお、図1では、検出装置103による検出範囲、及び表示装置101による表示範囲(投影範囲)が、トレイレールRの幅と同様の狭い範囲にしか対応していないように見えるが、1台の検出/表示範囲が狭い場合であっても、複数台並べ、範囲を重ねることで、検出・投影範囲を広げることが可能である。
(1.2 システムの機能構成)
図2に示すように、本実施形態にかかる表示システム1は、大きく分けて、表示装置101、検出装置103、入力装置105、外部出力装置107、制御装置200を含む。
表示装置101は、前述の通り、トレイT上、もしくはトレイTの近傍に、トレイT上に置かれた商品Pの情報を表示する。表示する情報は、例えば、商品Pの合計金額、合計カロリー、商品Pに基づき推薦される商品の情報(広告を含む)、空席情報、食器ストック位置、小銭準備の依頼メッセージ、等が考えられる。
ここで、表示装置101の具体例としては、例えば図1に示したようにプロジェクタを用いることも考えられるし、或いは、トレイTが有するディスプレイ(例えば、有機ELや液晶等により実現することが考えられる)として実現することも考えられる。本実施形態では、表示装置101はプロジェクタであるものとして説明する。
検出装置103は、前述の通り、トレイTの位置及び方向、トレイT上の商品Pの種類、トレイT上の商品Pの位置及び方向(以下、商品Pの位置及び方向の双方を含む意味で単に「商品Pの位置」と呼ぶ場合がある。)、等を検出する。ここで、トレイT上の商品Pの位置や種類、トレイTの位置は刻々と変化するため、検出装置103は、動的にこれらの位置等を検出可能な、例えば2Dまたは3Dカメラ等により実現することができる。
入力装置105は、例えばユーザからの入力を受けるためのデバイスであり、例えば、タッチパネルや、2Dまたは3Dカメラによるジェスチャ認識装置等として実現することが考えられる。購入者であるユーザCは、例えば、表示情報Dの選択、料金支払い方法の選択、支払予定硬貨/紙幣枚数を入力することによる釣り銭予測計算、空き席予約や調理が必要な料理の予約、待ち時間用ゲーム、クーポンの選択と取得、等を行うことが可能となる。なお、ユーザCからの入力を受け付けない場合には、入力装置105は不要である。
外部出力装置107は、例えばPOS端末などの外部装置に有線又は無線で接続され、購入者であるユーザCの状況などを出力する機能を有する。なお、外部に情報を出力する必要がない場合には、外部出力装置107は不要である。
次に、制御装置200について説明する。制御装置200は、表示装置101、検出装置103、入力装置105、及び外部出力装置107等に接続され、トレイT上又はトレイTの近傍に情報Dを好適に表示するための各種制御を行う。制御装置200は、容器位置検出部201、商品種別検出部203、商品位置検出部205、情報生成部207、表示制御部209、入力部211、及び購入者特定部213を含む。
容器位置検出部201は、検出装置103による検出結果を利用することにより、トレイレールR上に置かれたトレイTの位置及び方向を、随時検出する。トレイTの位置の検出方法は複数考えられるが、例えば、2D画像処理による認識や、3D形状計測による認識などが考えられる。
商品種別検出部203は、検出装置103による検出結果を利用することにより、トレイT上に置かれたそれぞれの商品Pの種類を特定する。商品Pの種類の特定方法は複数考えられるが、例えば、予め登録されていた商品形状もしくは商品画像とのマッチングを取ること等が考えられる。商品種別検出部203が商品Pの種類を特定することにより、後述する情報生成部207がトレイT上に置かれたそれぞれの商品Pの合計金額等を算出することが可能となる。
商品位置検出部205は、検出装置103による検出結果を利用することにより、トレイT上の商品Pの位置を検出することができる。商品Pの位置の特定方法としては、例えば、予め登録されたトレイTの形状や画像と、検出装置103による検出結果とを対比することにより、商品Pの位置を特定すること等が考えられる。
情報生成部207は、トレイT上、もしくはトレイTの近傍に表示する、商品Pの種類に基づく情報等を含む表示情報Dを生成する。より具体的には、表示情報Dに含むことのできる情報としては、例えば、トレイT上に載せられた商品Pの合計金額や個別/合計カロリー、商品Pの関連商品の推薦(リコメンド)等が考えられる。この他、空席情報、食器ストック位置、広告、小銭準備の依頼等の情報をも、表示情報Dに含むことが考えられる。
表示制御部209は、表示装置101を制御することにより、トレイT上、もしくはトレイTの近傍に情報生成部207が生成した表示情報Dを表示させる。この時、容器位置検出部201が検出したトレイTの位置及び向き(方向)、及び商品位置検出部205が検出した商品Pの位置に基づいて、表示情報Dの表示位置を決定することができる。より具体的には、表示制御部209は、例えば図1に具体例を示したように、トレイTの上の、商品Pが置かれていない空き領域に、トレイTと平行の向きに、表示情報Dを表示装置101に表示させることができる。
入力部211は、入力装置105から入力されたユーザ入力を受付け、当該入力情報を制御装置200の各部へ伝える機能を持つ。より具体的には、例えば、表示情報Dの選択(どのような情報を表示させるか)、料金支払い方法の選択、支払予定硬貨/紙幣枚数を入力することによる釣り銭予測計算、空き席予約や調理が必要な料理の予約、待ち時間用ゲーム、クーポンの選択及び取得、等に係る情報の入力を、入力部211が入力装置105から受けることが考えられる。前述の表示制御部209は、これらの入力に応じて情報生成部207が生成した表示情報Dも表示装置101に表示させることができる。なお、ユーザCからの入力を受け付けない場合には、入力部211は不要である。
購入者特定部213は、必要に応じて、トレイT上の商品Pを購入しようとする購入者であるユーザCを特定する機能を持つ。ユーザCの特定方法としては、例えば、検出装置103による画像もしくは形状と、予め登録されたユーザCの画像もしくは形状との比較により特定する方法や、ユーザC自身が入力装置105に対して自身の情報を入力する方法等、複数考えられる。なお、ユーザCに応じた処理を行わない場合には、購入者特定部213は不要である。
(1.3 処理の流れ)
以下、表示システム1における処理の流れを、図3を参照しながら説明する。図3は、本実施形態に係る制御装置200の処理の流れを示すフローチャートである。
なお、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更してもしくは並列に実行することができ、また、各処理ステップ間に他のステップを追加しても良い。更に、便宜上1つのステップとして記載されているステップは複数のステップに分けて実行することもでき、便宜上複数に分けて記載されているステップを1ステップとして実行することもできる。この点、後述する第2実施形態以降についても同様である。
まず、容器位置検出部201は、トレイレールR上のトレイTの位置を検出する(S301)。その結果、もしトレイTが検出範囲外にあれば(S303のYes)、トレイTに対する処理を終了する。もし、トレイTの位置を検出することができれば(S303のNo)、商品種別検出部203は、検出されたトレイT上にある商品Pの種別を判定する(S305)。このとき、トレイT上に複数の商品Pが置かれている場合には、全ての商品Pの種類を、商品種別検出部203は特定する。
情報生成部207は、商品種別検出部203で特定した、トレイT上の商品Pの種類に応じて、ユーザCに提示する情報、すなわちトレイT上もしくはトレイT近傍に表示する表示情報Dを生成する(S307)。より具体的には、例えばトレイT上に置かれた商品Pの価格の合計金額を計算したり、合計カロリーを計算したりすることにより、情報生成部207は表示情報Dを生成することができる。
また、商品位置検出部205はトレイT上に置かれた商品Pの位置を検出する(S309)。これに伴い、表示制御部209は、表示情報Dの表示位置をトレイT上もしくはトレイT近傍の中で決定する(S311)。より具体的には、例えば、トレイT上もしくはトレイT近傍の位置の中で、商品Pの置かれている領域(商品位置ともいう。)とは異なる空き領域を、表示制御部209は表示情報Dを表示する位置とすることができる。
このような表示情報Dの生成及び表示位置の決定に伴い、表示制御部209は表示情報Dを、トレイT上もしくはトレイT近傍の、S311で決定した位置に表示する(S313)。その後、S301に戻り、再度処理を繰返す。
なお、この処理において、トレイT上に置かれた商品Pの種類の他に、トレイTを持つユーザCの人物情報や、トレイT上に置かれた、商品以外の物体、例えばクーポンや会員カード等の情報も、購入者特定部213は商品種別検出部203が取得することも考えられる。そのような場合には、購入者特定部213は、人物情報やカード情報により、トレイTを持つユーザCを特定し、情報生成部207および表示制御部209は、そのユーザに合わせた情報を提供することが可能となる。たとえば、クーポン情報を取得することができれば、合計金額等を示す表示情報Dに、クーポン情報などを反映(例えば、合計金額の減額)することができる。また、クーポン情報を元に、同時購入による割引情報を提供する等の処理を行えば、客単価の向上も図ることが可能となる。
更に、商品種別検出部203がトレイT上の支払予定硬貨/紙幣等を検出すれば、情報生成部207がその金額を計算することにより、表示制御部209は、釣り銭予定金額などを表示することも可能となる。
(1.4 ハードウェア構成)
以下、図4を参照しながら、上述してきた制御装置200をコンピュータにより実現する場合のハードウェア構成の一例を説明する。なお、制御装置200の機能は、複数の情報処理装置により実現することも可能である。
図4に示すように、制御装置200は、プロセッサ401、メモリ403、記憶装置405、入力インタフェース(I/F)407、データI/F409、通信I/F411、及び表示装置413を含む。
プロセッサ401は、メモリ403に記憶されているプログラムを実行することにより、制御装置200における様々な処理を制御する。例えば、図2を参照しながら説明した容器位置検出部201、商品種別検出部203、商品位置検出部205、情報生成部207、表示制御部209、入力部211、及び購入者特定部213に係る処理は、メモリ403に一時記憶された上で、主にプロセッサ401上で動作するプログラムとして実現可能である。
メモリ403は、例えばRAM(Random Access Memory)等の記憶媒体である。メモリ403は、プロセッサ401によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。例えば、メモリ403の記憶領域には、プログラム実行時に必要となるスタック領域が確保される。
記憶装置405は、例えばハードディスクやフラッシュメモリ等の不揮発性の記憶媒体である。記憶装置405は、オペレーティングシステムや、容器位置検出部201、商品種別検出部203、商品位置検出部205、情報生成部207、表示制御部209、入力部211、及び購入者特定部213を実現するための各種プログラムや、その他プログラムで使用する各種データなどを記憶する。記憶装置405に記憶されているプログラムやデータは、必要に応じてメモリ403にロードされることにより、プロセッサ401から参照される。
入力I/F407は、ユーザからの入力を受け付けるためのデバイスである。図2で説明した入力装置105は、入力I/F407により実現することも可能である。入力I/F407の具体例としては、キーボードやマウス、タッチパネル、各種センサー等が挙げられる。入力I/F407は、例えばUSB(Universal Serial Bus)等のインタフェースを介して制御装置200に接続されても良い。
データI/F409は、制御装置200の外部からデータを入力するためのデバイスである。データI/F409の具体例としては、各種記憶装置に記憶されているデータを読み取るためのドライブ装置などがある。データI/F409は、制御装置200の外部に設けられることも考えられる。その場合、データI/F409は、例えばUSB等のインタフェースを介して制御装置200へと接続される。
通信I/F411は、制御装置200の外部の装置、例えばPOS端末などとの間で有線又は無線によりデータ通信するためのデバイスである。図2で説明した外部出力装置107は、通信I/F411により実現することも可能である。通信I/F411は制御装置200の外部に設けられることも考えられる。その場合、通信I/F411は、例えばUSB等のインタフェースを介して制御装置200に接続される。
表示装置413は、各種情報を表示するためのデバイスである。図2で説明した表示装置101は、表示装置413により実現することも可能である。表示装置413の具体例としては、例えばプロジェクタ、液晶ディスプレイや有機EL(Electro−Luminescence)ディスプレイ等が挙げられる。表示装置101は、制御装置200の外部に設けられても良く、たとえば、液晶ディスプレイや有機ELなどである表示装置413が、トレイTと一体的に設けられることも考えられる。
(1.5 本実施形態に係る効果)
以上説明したように、本実施形態に係る表示システム1では、ユーザCが商品PをおいたトレイT上、もしくはその近傍に、商品Pに応じて合計金額等の情報を、レジに到達する前に、随時表示するため、ユーザCはレジ手前で支払金額を準備できるようになる。これにより、会計処理の迅速化を図ることが可能となる。また、付随的に、総カロリーや栄養バランス、空席状況や食器置き場所等の店内の案内等の情報をもユーザに提供することができるため、会計後の混雑の緩和や、顧客満足度の向上も期待できる。さらに、おすすめ商品やその他広告を投影することにより、客単価を増加させることも可能となる。
(2 第2実施形態)
以下、第2実施形態を、図5及び図6を参照しながら説明する。以下の説明では、第1実施形態と同様の構成については同一の符号を付すと共に、説明を省略する。また、第1実施形態と同様の作用効果についても、説明を省略している。
(2.1 概要)
第2実施形態が第1実施形態と大きく異なる点は、トレイT上にある商品Pの特定方法である。以下、図5を参照しながら、本実施形態における商品Pの特定方法を説明する。
商品Pが、例えば惣菜やパン等の食品等である場合には、同一商品であっても形状が少しずつ異なることが通常である。そのような場合には、第1実施形態のように2D画像処理や3D形状計測により商品Pを特定することは困難な場合がある。また、丼ものや麺類へのトッピングのように、RFID付き食器を用いずに、食品単体を別の食品上に載せる場合も考えられ、そのような場合にも、同様の問題が生じやすい。
そこで、本実施形態では、種類ごとに商品Pの陳列棚S上の陳列位置が予め決まっており、顧客であるユーザCが商品Pをピックアップするタイミング、及び陳列棚Sのどの位置から商品Pをピックアップしたのかを検出することにより、商品Pの種類を検出する。図5の例では、エリアAから商品が取られた場合には商品Aが、エリアBから商品が取られた場合には商品Bが、エリアCから商品が取られた場合には商品Cが、それぞれトレイTに載せられたものと検出することができる。なお、陳列棚Sは、上下方向に立体的に配置することも考えられる。
商品PがどのトレイTに置かれたのかは、トレイTに固有のID(識別子)を割り当てて管理することにより検出することが可能となる。このIDは、トレイTに予め印刷された番号や内蔵RFIDなどにより、明示的にトレイTを識別できるものでも良いし、或いは、トレイT上の商品取得履歴に応じて、仮想的にIDを決めることも考えられる。
また、商品PがトレイTに移動したか否かについては、例えば、商品種別検出部203が、検出装置103が検出する陳列棚Sの質量変化、陳列棚Sの画像の時間変化、陳列位置に手が入った回数のカウント等に応じて検出することができる。
システムの機能構成の概要については、図2を参照しながら説明した第1実施形態と同様であるので、説明を省略する。
(2.2 処理の流れ)
以下、図6を参照しながら、本実施形態に係る表示システム1の処理の流れを説明する。図6は、本実施形態に係る表示システム1の処理の流れを示すフローチャートである。
まず、容器位置検出部201は、トレイTの位置を検出する(S601)。その結果、もしトレイTが検出範囲外にあれば(S603のYes)、トレイTに対する処理を終了する。もし、トレイTの位置を検出することができれば(S603のNo)、容器位置検出部201はトレイTの識別子(ID)を識別する(S605)。この識別方法は、前述の通り、トレイT毎に予め印刷/内蔵RFID等の手法により割り当てるようにしても良いし、トレイレールR上で新たに検出された各トレイTに対して、動的に割り当てるようにしても良い。
その後、商品種別検出部203は、検出装置103の機能により、トレイTに商品が追加されたか否かを判別する(S607)。この判別手法としては、前述の通り、例えば陳列棚Sの質量変化、陳列棚Sの画像の変化、陳列位置に手が入ったか否か、等の手法が考えられる。もし、トレイに商品が追加された場合には(S607のYes)、商品種別検出部203は、トレイT上にある商品Pの種類を特定する。この手法としては、例えば陳列棚Sの質量が変化した領域の特定、陳列棚Sの画像が変化した位置の特定、陳列位置に手が入った位置の特定、等の方法が考えられる。商品Pの種類が特定できれば、情報生成部207は、トレイTに商品Pがその種類の商品P追加されたものとしてS613以降の処理を行う。
情報生成部207は、商品種別検出部203で特定した、トレイT上の商品Pの種類に応じて、ユーザCに提示する情報、すなわちトレイT上もしくはトレイT近傍に表示する表示情報Dを生成する(S613)。より具体的には、例えばトレイT上に置かれた商品Pの価格の合計金額を計算したり、合計カロリーを計算したりすることにより、情報生成部207は表示情報Dを生成することができる。
また、商品位置検出部205は、トレイT上に置かれた商品Pの位置を検出する(S615)。これに伴い、表示制御部209は、表示情報Dの表示位置をトレイT上もしくはトレイT近傍の位置の中で、商品Pの置かれている領域とは異なる空き領域を、表示制御部209は表示情報Dを表示する位置とすることができる(S617)。
このような表示情報Dの生成及び表示位置の決定に伴い、表示制御部209は表示情報Dを、トレイT上もしくはトレイT近傍の、S617で決定した位置に表示する(S619)。その後、S601に戻り、再度処理を繰返す。
(2.3 本実施形態に係る効果)
以上説明したように、本実施形態に係る表示システム1でも、第1実施形態と同様、ユーザCが商品Pを置いたトレイT上、もしくはその近傍に、商品Pに応じて合計金額等の情報を、レジに到達する前に、随時表示するため、ユーザCはレジ手前で支払金額を準備できるようになる。これにより、会計処理の迅速化を図ることが可能となる。また、付随的に、総カロリーや栄養バランス、空席状況や食器置き場所等の店内の案内等の情報をもユーザに提供することができるため、会計後の混雑の緩和や、顧客満足度の向上も期待できる。さらに、おすすめ商品やその他広告を投影することにより、客単価を増加させることも可能となる。
また、本実施形態では、商品Pをピックアップした位置に応じて商品Pの種類を特定しているため、商品Pの形状が不揃いな場合や、商品Pが別の商品の上に載せる例えばトッピングであったとしても、好適に商品Pの種類を特定することが可能となる。
(3 第3実施形態)
以下、第3実施形態を、図7を参照しながら説明する。以下の説明では、第1実施形態と同様の構成については、同一の符号を付すと共に、説明を省略する。また、第1実施形態と同様の作用効果についても、説明を省略している。
第3実施形態が第1実施形態及び第2実施形態と大きく異なる点は、表示情報Dの表示方法である。以下、図7を参照しながら、本実施形態における表示情報Dの表示方法を説明する。
本実施形態に係る表示システム1では、表示装置101が複数台ある(図7の例では、表示装置101A、101B、101Cの3台)。表示制御部209は、表示情報Dを、表示装置101A乃至101Cのいずれかに表示する。より具体的には、エリアAにあるトレイT1に対する表示情報Dは表示装置101Aに、エリアBにあるトレイT2に対する表示情報Dは表示装置101Bに、それぞれ表示される。トレイTが移動すれば、表示情報Dが表示される表示装置101も変わる。
システムの機能構成の概要、及び処理の流れの概要については、図2及び図3を参照しながら説明した第1実施形態と同様であるので、ここでは説明を省略する。
本実施形態に係る表示システム1でも、第1実施形態及び第2実施形態と同様、ユーザCが商品Pを置いたトレイTの近傍に、商品Pに応じて合計金額等の情報を、レジに到達する前に、随時表示するため、ユーザCはレジ手前で支払金額を準備できるようになる。これにより、会計処理の迅速化を図ることが可能となる。また、付随的に、総カロリーや栄養バランス、空席状況や食器置き場所等の店内の案内等の情報をもユーザに提供することができるため、会計後の混雑の緩和や、顧客満足度の向上も期待できる。さらに、おすすめ商品やその他広告を投影することにより、客単価を増加させることも可能となる。
なお、表示装置101のディスプレイ上に表示情報Dを表示する場合であっても、このように複数の表示装置101のうち、いずれの表示装置101に表示するかを切り換える以外にも、いくつかの手法が考えられる。例えば、ユーザCがスマートフォン等の情報端末を有している場合には、表示制御部209は画像やデータを表示装置101に送信して表示させるようにしても良い。
(4 第4実施形態)
以下、第4実施形態を、図8を参照しながら説明する。図8は、情報処理システム800の機能構成を示すブロック図である。図8に示すように情報処理システム800は、第1検出部810と第2検出部820と表示制御部830とを含む。
第1検出部810は、測定対象物、例えば商品等を置く容器の位置である容器位置を検出する。第2検出部820は、容器に置かれた測定対象物の種類を検出する。
表示制御部830は、検出された測定対象物の種類に基づく情報を、容器位置、もしくは容器位置の近傍に表示する。
このように実装することで、本実施形態に係る情報処理システム800は、顧客に、好適に情報を提供することを可能とすることができる。
(5 付記事項1)
なお、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。
特に、トレイTの容器の種類や、トレイTや商品Pの位置検出方法、商品Pの種類検出方法、表示制御部209による表示情報Dの提供方法、表示情報Dの内容などについては、前述の各方法以外にも種々考えられる。以下具体例として、トレイTではなく、ユーザCが商品Pを入れる容器が、タブレットが搭載された買い物カートである場合を考える。このような場合には、例えば、床面の圧力センサーとして実装される検出装置103の検出位置に応じて商品種別検出部203が商品Pの取り出し位置を特定すると共に、カートの重量変化情報と取り出し位置とに基づいて商品Pの種類を特定し、その結果生成される表示情報Dを、買い物カートに搭載されたディスプレイに表示される、等のシステムも考えることができる。
(6 第5実施形態)
図9乃至図12は、第5実施形態を説明するための図である。以下、これらの図を参照しながら、次の流れに従って本実施形態を説明する。まず、「6.1」で本実施形態の概要を説明する。その後、「6.2」でシステムの機能構成を説明し、「6.3」で処理の流れを、「6.4」で、本システムを実現可能なハードウェア構成の具体例を示す。最後に、「6.5」で、本実施形態に係る効果等を説明する。
(6.1 概要)
図9を参照しながら、本実施形態に係る表示システムの概要を説明する。本実施形態に係る表示システムは、例えば店頭などにおいて、商品やサービスの情報を表示するデジタルサイネージ等を実現するものである。
ここで、商品やサービス(以下、商品及びサービスを纏めて「商品」と呼ぶ場合がある。)近傍にディスプレイ等を設置して商品に関する情報等を表示するデジタルサイネージシステムにおいては、商品とは別に、商品情報を表示する画面が存在することが通常である。このようなシステムでは、デジタルサイネージにより顧客(デジタルサイネージ視聴者/購買者。以下、「ユーザ」ともいう。)に商品の魅力などをアピールする場合には、商品そのものではなく、商品情報が表示される画面の内容に顧客の注目を集める必要がある。つまり、顧客の関心が画面に移ってしまうために、顧客の関心が商品自体から離れてしまう可能性がある。
そこで、本実施形態における表示システムでは、図9に示すように、ユーザCが商品Pに近づくと、商品(物体)とは別に設けられたディスプレイではなく、商品Pの表面、若しくはその近傍に、例えばプロジェクタである投影装置901により画像を投影する。またこのとき、顧客であるユーザCが商品を手に取る等の動作を行った場合には、その動作に伴う商品の移動に伴い、投影画像の位置も動的に変化させる。その後、もしユーザCが商品Pから離れると、画像の投影を停止する。
このように実装することで、ユーザCの注目を商品P自体に直接集めることが可能となり、結果として、売上の向上等を見込むことができる。更に、既存のLCD(Liquid Crystal Display)等を用いたデジタルサイネージとは異なり、専用のスクリーン面を置く必要がなくなるため、画像レイアウトや商品レイアウトの自由度を上げることが可能となる。
このような表示システムを実現すべく、図9に示す本実施形態の表示システムでは、投影装置901、検出装置903、及び駆動装置905を含む。
このシステムにおいて、検出装置903は、検出範囲R内にある、陳列棚Sに並べられた商品Pの位置及び向きやユーザCの位置及び動きを随時(動的に)検出する。投影装置901は、商品Pの表面、若しくは商品Pの近傍に画像を投影(表示)する機能を持つ。駆動装置905は、投影装置901の投影方向を変化させるためのものである。駆動装置905により、投影装置901は、商品Pの位置や方向が変化した場合に、それに併せて投影位置を変化させることが可能となる。
なお、図9の例では投影装置901、検出装置903、及び駆動装置905がそれぞれ1台ずつしか示されておらず、またこれらが1つの集合的な装置として実現されているが、これに限られるものではない。例えば、投影装置901、検出装置903、及び駆動装置905を備える1つの集合的な装置を複数設けてもいいし、それぞれの装置をバラバラに設置することも考えられる。特に、投影装置901及び駆動装置905を備える1つの集合的な装置を複数設置する一方で、検出装置903を1台のみ、若しくは当該集合的な装置よりも少数のみ設置することも考えられる。
投影装置901、検出装置903、及び駆動装置905がそれぞれ複数台設けられる場合には、これらを制御する制御装置1000(図10に示す。)が、それぞれの投影装置901、検出装置903、及び駆動装置905が連携するように制御すれば良い。このとき、もし駆動装置905が投影装置901による投影位置及び投影方向を物理的に変化させる場合には、通常、同時に一箇所にしか画像を投影できないことが通常であるため、複数箇所を同時に投影できるように、投影範囲が同一又は一部が重なるように、投影装置901及び駆動装置905を設置することが考えられる。
(6.2 システムの機能構成)
図10に示すように、本実施形態に係る表示システム10は、大きく分けて、投影装置901、検出装置903、駆動装置905、外部入出力装置907、及び制御装置1000を含む。
投影装置901は、前述の通り、駆動装置905による駆動を受けて、商品Pの表面、若しくは商品Pの近傍に、商品情報などに関する画像(映像を含む)を投影する。表示する情報は、商品Pそのものの情報もあれば、商品Pと共に購入されることの多い商品に関する情報(リコメンド)なども考えられる。なお、投影装置901の具体例としては、プロジェクタが考えられる。
検出装置903は、商品P及びユーザCの位置、方向及び動きを検出する。これにより、例えばユーザCが商品Pから一定範囲内に入った場合に、対象とする商品P又は商品P近傍に商品情報に係る画像を投影することが可能となる。また、検出装置903がユーザCの視線を検出する機能を持つようにしても良い。その場合には、投影装置901は、ユーザCが検出装置903による検出範囲R内で、且つ、商品Pの方向を向いている場合に、画像を投影するように実装することが可能となる。
ここで、検出装置903は、例えば2Dまたは3Dカメラにより実現することができる。このような検出装置903によりユーザCの位置を検出する方法としては、例えば2D画像又は3D計測データから位置を検出することも考えられるし、或いは、位置認識と人物の形状認識とを組み合わせることにより、ユーザCの位置を検出するようにしても良い。また、検出装置903による商品Pの位置の検出方法としては、例えば、予め定められた位置として検出することも考えられるし、或いは、画像認識(2D及び3Dを含む)により検出することも考えられる。
駆動装置905は、制御装置1000による制御の下、投影装置901が画像を投影すべき位置及び方向に投影装置901を向ける。より具体的には、駆動装置905は、商品Pの表面若しくはその近傍に投影装置901を向け、ユーザCが商品Pを持つことにより商品Pが移動すれば、投影装置901の投影方向もそれに追随させる。ここで、駆動装置905は、物理的に投影装置901の向きを変えることにより投影方向及び投影位置を変化させるようにしても良いし、投影装置901内部の光学系(レンズやライトバルブ等)を変化させるようにしても良い。或いは、投影装置901の前面に取り付けたミラーで投影方向を変化させることも考えられる。この他、投影装置901による投影範囲が広範囲に及ぶ場合には、投影可能範囲全体のうち、一部分のみの映像を生成してその位置を変化させるように、駆動装置905が制御することも考えられる。
外部入出力装置907は、例えば照明、スピーカ、ディスプレイ、レジシステム、店内監視システム、業務用端末、個人端末、コンテンツ制御装置、広告配信装置、音声配信装置、データ入力装置、及び監視カメラ等のうち、少なくともいずれかと有線又は無線で接続され、必要に応じて情報を入出力(通信)するためのインタフェースの役割を果たす。より具体的には、外部入出力装置907が照明、スピーカ、及びディスプレイ等に対して各種制御コマンドを出力することにより、制御装置1000による制御の下、投影装置901による情報の表示と併せて、音声や照明の切換え等の演出を行うことが可能となる。また、外部入出力装置907がレジシステム、店内監視システム、業務用端末、個人端末等に各種データを出力することにより、例えば、ユーザCの位置や購入状況等の情報を、これらの装置で利用することが可能となる。更に、外部入出力装置907が、コンテンツ制御装置、広告配信装置、音声配信装置、業務用端末、個人端末、データ入力装置、店内監視システム、レジシステム、及び監視カメラからの入力を受ける場合には、例えば投影装置901に、入力を受けた情報を投影(表示)させたり、或いはそれを先述の照明やスピーカ等に出力したりすることが可能となる。
なお、入出力機能を使用しない場合には、表示システム10は、外部入出力装置907を必ずしも備えなくとも良い。
次に、制御装置1000について説明する。制御装置1000は、投影装置901、検出装置903、駆動装置905、及び外部入出力装置907等に接続されており、これらの装置をそれぞれ制御する機能を持つ。制御装置1000は、商品位置検出部1001、商品種別検出部1003、人物位置検出部1005、駆動制御部1007、表示制御部1009、演出出力部1011、情報出力部1013、入力部1015、及び視線検出部1017を含む。
商品位置検出部1001は、検出装置903による検出結果である2D画像や3D計測データを利用することにより、検出範囲R内に商品Pがあるか否か、及び商品Pがある場合にはその位置及び方向を検出することができる。商品Pの検出方法としては、例えば、予め登録された商品Pの画像や形状を、検出装置903による2D画像又は3D計測データと比較する方法や、商品Pが置かれていない状態に対する形状変化等により検出する方法が考えられる。
商品種別検出部1003は、検出装置903による検出結果を用いて、商品Pの種類を特定する。商品種別検出部1003による商品Pの種類の特定方法としては、例えば、検出装置903による検出結果である2D画像と、予め商品毎に登録された商品画像との一致度等に基づいて種類を検出することが考えられる。若しくは、商品位置検出部1001が特定する、商品Pが陳列棚Sに置かれた位置に基づいて、商品種別検出部1003は商品Pの種類を特定しても良い。商品種別検出部1003が商品Pの種類を特定することにより、表示制御部1009は商品Pの種類に応じた情報(画像)を投影装置901に投影させることが可能となる。
人物位置検出部1005は、検出装置903による検出結果である2D画像または3D計測データを用いて、ユーザCの位置を特定する。なお、ユーザCの位置の特定方法としては、例えば、一定範囲内に入った人物の赤外線を検出するセンサである外部入出力装置907による検出結果を用いることも考えられる。
駆動制御部1007は、投影装置901による画像の投影位置及び方向を変化させるべく、駆動装置905を制御する。ここで、投影装置901の投影位置は、例えば、商品Pの種類に応じて商品Pの表面上とするか、或いは商品Pの近傍とするかを切り換えることも考えられる。より具体的には、駆動制御部1007は、商品Pがシンプルなパッケージをもつ場合には商品Pの表面に画像が投影されるように駆動装置905を制御し、それ以外の場合には、商品Pの近傍の陳列棚S上に画像を投影するようにすることが考えられる。また、前述の通り、ユーザCが商品Pを手に取る等することにより、商品Pの位置や方向が移動した場合には、駆動制御部1007は、これに合わせて投影画像の位置及び方向が変化するように、駆動装置905を制御する。この時も、商品Pの種類に応じて、商品Pの表面に画像を投影している場合には、商品Pの移動に伴い投影画像の位置及び方向を変化させ、商品Pの近傍の陳列棚Sに画像を投影している場合には、商品Pが移動したとしても投影画像を変化させない、といった制御を駆動制御部1007が行うことも考えられる。
表示制御部1009は、投影装置901を制御することにより、投影装置901に、商品Pの表面上若しくは近傍に表示させる画像を投影させる。ここで、表示制御部1009は、人物位置検出部1005による人物検出結果に応じて、ユーザCが商品Pから一定範囲内にいる場合に投影装置901に情報を投影させ、ユーザCが当該一定範囲内にいない場合には投影装置901による投影を停止させる制御を行う。或いは、視線検出部1017によるユーザCの視線方向の検出結果に応じて、ユーザCの視野範囲に商品Pがある場合に画像を投影させ、商品PがユーザCの視野範囲から外れた場合に、画像の投影を停止させるようにすることも考えられる。或いは、ユーザCの視野範囲内に商品Pがない場合に、ユーザCの視野範囲に商品Pの情報を投影することも考えられる。若しくは、表示制御部1009は、表示開始から一定時間経過後等の条件を満たした場合に、投影装置901による投影を停止させることも考えられる。
表示制御部1009が投影装置901に画像として投影させる情報としては、商品Pに係る広告、価格、割引価格、使用方法、在庫状況、又は商品Pと併せて購入されることの多い商品等の推薦(リコメンド)商品の紹介等が考えられる。これらの情報は、組み合わせて表示しても良い。この他、直接的な情報では無いが、商品Pにスポットライトを当てる、点滅光や動きのある光を投影する、商品P位置の案内情報を投影する、等の制御を表示制御部1009が行うことも考えられる。
なお、表示制御部1009が投影装置901に投影させる情報は、予め用意していても良いし、或いは、外部入出力装置907に接続されたコンテンツ制御装置、広告配信装置、音声配信装置、業務用端末、個人端末、データ入力装置、店内監視システム、レジシステムなどから入力を受けることも考えられる。この他、例えば図示しない監視カメラ等から入力部1015が取得したユーザCの顧客情報(具体的には、例えば性別や年令など)を元に、投影装置901に投影させる情報の内容を変化させることも考えられる。
この他、投影装置901が画像を投影する商品Pの表面の向きや色等を商品位置検出部1001が検出し、その検出結果に応じて、表示制御部1009は投影する画像を補正するようにしても良い。この補正方法としては、例えば色調補正(投影場所が青い場合には青色を濃くする、若しくは青色を使わない、色を反転させる、等の補正を行うことが考えられる)、投影する光軸に対して垂直ではない投影面に対する投影画像形状の歪み補正(いわゆる台形補正などが含まれる)等が考えられる。
演出出力部1011は、外部入出力装置907に接続された、例えば照明、スピーカ、及びディスプレイ等を用いて、ユーザCに対して商品Pに係る演出を行う。この演出出力部1011による演出方法としては、例えばスピーカから音声を出力したり、或いは、表示制御部1009で説明したように、点滅光や動きのある光により商品Pを目立たせたりといった演出が考えられる。このような演出を行うことで、ユーザCの臨場感が増し、結果として、広告効果を高めることが可能となる。もしこのような演出を行わない場合には、制御装置1000は、演出出力部1011を必ずしも備える必要はない。
情報出力部1013は、例えば、レジシステム、店内監視システム、業務用端末、個人端末等の各種装置に、外部入出力装置907から情報を出力する機能を持つ。出力する情報としては、例えば、商品PやユーザCに係る位置や方向等に関する情報等が考えられる。
入力部1015は、例えば、コンテンツ制御装置、広告配信装置、音声配信装置、業務用端末、個人端末、データ入力装置、店内監視システム、レジシステム、及び監視カメラといった各種装置から外部入出力装置907で受信した各種データの入力を受付け、当該入力情報を、制御装置1000の各部へと伝える機能を持つ。入力を受ける情報としては、例えば、投影装置901で投影する情報や、制御装置1000の各部を制御するための制御コマンド等が考えられる。
なお、表示システム1が入出力機能を有さない場合には、制御装置1000は、情報出力部1013及び入力部1015を必ずしも備えなくとも良い。
視線検出部1017は、必要に応じて、ユーザCの向き、或いは視線の向き等を、検出装置903を利用して検出する。視線検出部1017がユーザCの視野範囲に商品Pがあるか否かを推定できれば、表示制御部1009は、ユーザCの視野範囲に商品Pがある場合のみ、投影装置901に情報を投影させるように制御することが可能となる。なお、このような制御を行わない場合には、視線検出部1017は不要である。
(6.3 処理の流れ)
以下、表示システム10における処理の流れを、図11を参照しながら説明する。図11は、本実施形態に係る制御装置1000の処理の流れを示すフローチャートである。
なお、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更してもしくは並列に実行することができ、また、各処理ステップ間に他のステップを追加しても良い。更に、便宜上1つのステップとして記載されているステップは複数のステップに分けて実行することもでき、便宜上複数に分けて記載されているステップを1ステップとして実行することもできる。この点、後述する第6実施形態以降についても同様である。
まず、商品位置検出部1001及び人物位置検出部1005は、検出装置903による検出結果に基づき、検出範囲R内にある物体を認識する(S1101)。その結果、商品Pが検出範囲R内にない場合(S1103のNo)や検出範囲R内にユーザCがいない場合(S1105のNo)には、S1101に戻って、商品P及びユーザCの両方が検出されるまで処理を繰返す。
商品位置検出部1001によって商品Pが検出され、かつ、人物位置検出部1005によってユーザCが検出された場合には(S1105のYes)、表示制御部1009は商品Pに係る画像を投影装置901に投影させ、駆動制御部1007は駆動装置905を制御することにより、投影装置901の投影方向を商品Pの表面上若しくは商品Pの近傍の例えば陳列棚S上等に向ける(S1107)。このとき、商品Pの種類を商品種別検出部1003が検出し、表示制御部1009はこの検出結果に応じて、投影装置901に投影させる画像を変えるようにしても良い。
その後、検出装置903による検出範囲RからユーザCが出るまで(S1109のNo)S1101〜S1109の処理を繰り返すことにより、商品Pが移動した場合には、駆動制御部1007はそれに応じて投影装置901による投影方向を追随させることが可能となる。
もし、ユーザCが検出装置903による検出範囲Rから出れば(S1109のYes)、表示制御部1009は投影装置901による画像の投影を停止させる(S1111)。
(6.4 ハードウェア構成)
以下、図12を参照しながら、上述してきた制御装置1000をコンピュータにより実現する場合のハードウェア構成の一例を説明する。なお、制御装置1000の機能は、複数の情報処理装置により実現することも可能である。
図12に示すように、制御装置1000は、プロセッサ1201、メモリ1203、記憶装置1205、入力インタフェース(I/F)1207、データI/F1209、通信I/F1211、及び表示装置1213を含む。
プロセッサ1201は、メモリ1203に記憶されているプログラムを実行することにより、制御装置1000における様々な処理を制御する。例えば、図10を参照しながら説明した商品位置検出部1001、商品種別検出部1003、人物位置検出部1005、駆動制御部1007、表示制御部1009、演出出力部1011、情報出力部1013、入力部1015、及び視線検出部1017に係る処理は、メモリ1203に一時記憶された上で、主にプロセッサ1201上で動作するプログラムとして実現可能である。
メモリ1203は、例えばRAM(Random Access Memory)等の記憶媒体である。メモリ1203は、プロセッサ1201によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。例えば、メモリ1203の記憶領域には、プログラム実行時に必要となるスタック領域が確保される。
記憶装置1205は、例えばハードディスクやフラッシュメモリ等の不揮発性の記憶媒体である。記憶装置1205は、オペレーティングシステムや、商品位置検出部1001、商品種別検出部1003、人物位置検出部1005、駆動制御部1007、表示制御部1009、演出出力部1011、情報出力部1013、入力部1015、及び視線検出部1017を実現するための各種プログラムや、その他プログラムで使用する各種データなどを記憶する。記憶装置1205に記憶されているプログラムやデータは、必要に応じてメモリ1203にロードされることにより、プロセッサ1201から参照される。
入力I/F1207は、例えば管理者やユーザCからの入力を受け付けるためのデバイスである。入力I/F1207の具体例としては、キーボードやマウス、タッチパネル、各種センサ等が挙げられる。入力I/F1207は、例えばUSB(Universal Serial Bus)等のインタフェースを介して制御装置1000に接続されても良い。
データI/F1209は、制御装置1000の外部からデータを入力するためのデバイスである。データI/F1209の具体例としては、各種記憶装置に記憶されているデータを読み取るためのドライブ装置などがある。データI/F1209は、制御装置1000の外部に設けられることも考えられる。その場合、データI/F1209は、例えばUSB等のインタフェースを介して制御装置1000へと接続される。
通信I/F1211は、制御装置1000の外部の装置、例えば、投影装置901、検出装置903、駆動装置905等の各装置や、照明、スピーカ、ディスプレイ、レジシステム、店内監視システム、業務用端末、個人端末、コンテンツ制御装置、広告配信装置、音声配信装置、データ入力装置、及び監視カメラ等との間で有線又は無線によりデータ通信するためのデバイスである。図10で説明した外部入出力装置907は、前述のデータI/F1209や通信I/F1211により実現することも可能である。通信I/F1211は制御装置1000の外部に設けられることも考えられる。その場合、通信I/F1211は、例えばUSB等のインタフェースを介して制御装置1000に接続される。
表示装置1213は、各種情報を表示するためのデバイスである。図10で説明した投影装置901は、表示装置1213により実現することも可能である。表示装置1213の具体例としては、例えばプロジェクタ、液晶ディスプレイや有機EL(Electro−Luminescence)ディスプレイ等が挙げられる。表示装置1213は、制御装置1000の外部に設けられても良い。
(6.5 本実施形態に係る効果)
以上説明したように、本実施形態に係る表示システム10では、商品Pの表面上若しくは近傍に、広告映像や在庫情報などといった商品Pに関する情報が投影される。これにより、ユーザCの注目を商品Pそのものに直接集めることが可能となるため、情報表示用のディスプレイを別途儲ける場合と比べて、売上の向上を見込むことが可能となる。また、本実施形態に係る表示システム10では、このような情報表示用のディスプレイを用いたデジタルサイネージとは異なり、専用のスクリーン面を設ける必要がなくなるため、画像レイアウトや商品レイアウトの自由度を高めることが可能となる。
更に、本実施形態に係る表示システム10では、ユーザCが商品Pの近辺にいない場合、或いはユーザCが商品Pを見ていない状況での画像の投影を抑制することで、電力消費の抑制を図ることが可能となる。
(7 第6実施形態)
以下、第6実施形態を、図13及び図14を参照しながら説明する。以下の説明では、第5実施形態と同様の構成については同一の符号を付すと共に、説明を省略する。また、第5実施形態と同様の作用効果についても、説明を省略している。
(7.1 概要)
第6実施形態が第5実施形態と大きく異なる点は、投影装置901が投影を開始するトリガである。以下、図13を参照しながら、本実施形態における商品Pへの画像投影方法を説明する。
商品Pが、陳列棚Sの上段ではなく、図13に示すように中段や下段に並んでいる場合には、天井に取り付けられた投影装置901から商品Pやその近傍に画像を投影することは難しい。そこで、本実施形態では、商品Pが陳列棚Sから取り出される等することにより検出装置903により検出できるようになった時、すなわち検出装置903の検出範囲Rに入った場合に、投影装置901は画像の投影を開始し、駆動装置905は商品Pの表面若しくはその近傍に画像を表示するように投影装置901による投影方向/投影位置を制御する。この場合、ユーザCの商品Pへの接近や、商品Pへの接触検知等を行う必要は必ずしも無い。つまり、第5実施形態における人物位置検出部1005を備えなくとも良い。
上記の点以外のシステムの機能構成の概要については、図10を参照しながら説明した第5実施形態と同様であるので、説明を省略する。
(7.2 処理の流れ)
以下、図14を参照しながら、本実施形態に係る表示システム10の処理の流れを説明する。図14は、本実施形態に係る制御装置1000の処理の流れを示すフローチャートである。
まず、商品位置検出部1001は、検出装置903による検出結果に基づき、検出範囲R内にある物体を認識する(S1401)。その結果、投影対象となる商品Pがある場合には(S1403)、表示制御部1009は商品Pに係る画像を投影装置901に投影させ、駆動制御部1007は駆動装置905を制御することにより、投影装置901の投影方向を商品Pの表面上若しくは商品Pの近傍に向ける(S1405)。その後、検出装置903による検出範囲Rから商品Pが出るまでS1401乃至S1405の処理を繰り返すことにより、商品Pが移動した場合には、駆動制御部1007はそれに応じて投影装置901による投影方向を追随させることが可能となる。
もし商品Pの位置が検出装置903による検出範囲Rから外れれば(S1403のNo)、投影装置901が画像出力中であれば(S1407のYes)表示制御部1009は当該出力を停止し(S1409)、処理を終了する。
(7.3 本実施形態に係る効果)
以上説明したように、本実施形態に係る表示システム10でも、第5実施形態と同様、商品Pの表面上若しくは近傍に、広告映像や在庫情報などといった商品Pに関する情報が投影される。これにより、ユーザCの注目を商品Pそのものに直接集めることが可能となるため、情報表示用のディスプレイを別途設ける場合と比べて、売上の向上を見込むことが可能となる。また、本実施形態に係る表示システム10では、このような情報表示用のディスプレイを用いたデジタルサイネージとは異なり、専用のスクリーン面を設ける必要がなくなるため、画像レイアウトや商品レイアウトの自由度を高めることが可能となる。
(8 第7実施形態)
以下、第7実施形態を、図15を参照しながら説明する。図15は、情報処理システム1500の機能構成を示すブロック図である。図15に示すように情報処理システム1500は、検出部1510と表示制御部1520と駆動制御部1530とを含む。
検出部1510は、物体、例えば商品の位置を動的に検出する。表示制御部1520は、物体の種類に基づく情報を、物体の近傍若しくは表面に、図示しない投影装置に投影させる。駆動制御部1530は、物体の位置の変化に応じて、投影装置が投影する位置を変化させる。
このように実装することで、本実施形態に係る情報処理システム1500は、ユーザに、好適に物品の情報を提供することができる。
(9 第8実施形態)
以下、第8実施形態を、図16を参照しながら説明する。図16は、情報処理システム1600の機能構成を示すブロック図である。図16に示すように情報処理システム1600は、検出部1610と表示制御部1620とを含む。
検出部1610は、物体の位置である物体位置を検出する。表示制御部1620は、前述の物体の種類、又は当該物体が収容する収容物の種類に基づく情報を、物体の物体位置、もしくは物体位置の近傍に表示させる。
このように実装することで、本実施形態に係る情報処理システム1600は、ユーザに、好適に情報を提供することができる。
(10 付記事項2)
なお、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。
なお、前述の各実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。また、本発明のプログラムは、上記の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。
(付記1)
物体の位置である物体位置を検出する第1の検出手段と、前記物体の種類、又は前記物体が収容する収容物の種類に基づく情報を、前記物体の物体位置、又は前記物体位置の近傍に表示させる表示制御手段とを備える情報処理システム。
(付記2)
前記物体は前記収容物を収容する容器であり、前記物体に収容された前記収容物の種類を検出する第2の検出手段、を更に備える付記1記載の情報処理システム。
(付記3)
前記物体に収容された前記収容物の位置である収容物位置を検出する第3の検出手段を更に備え、前記表示制御手段は、前記収容物の種類に基づく情報を、前記収容物位置に応じた、前記収容物位置もしくは前記収容物位置の近傍に表示する、付記2記載の情報処理システム。
(付記4)
前記表示制御手段は、前記物体位置内の前記収容物位置以外の位置に、前記収容物の種類に基づく情報を表示する、付記3記載の情報処理システム。
(付記5)
前記第2の検出手段は、前記収容物が陳列された陳列棚から移動したことを検出することにより、前記物体に収容された前記収容物の種類を検出する、付記2乃至付記4のいずれか1項記載の情報処理システム。
(付記6)
前記第1の検出手段は、前記物体位置と共に前記物体の方向を検出し、前記表示制御手段は、前記収容物の種類に基づく情報の表示方向を、前記物体の方向に応じて変える、付記2乃至付記5のいずれか1項記載の情報処理システム。
(付記7)
前記表示制御手段は、複数の表示装置のうち、前記物体位置の近傍にある表示装置に、前記収容物の種類に基づく情報を表示する、付記2乃至付記6のいずれか1項記載の情報処理システム。
(付記8)
前記表示制御手段は、プロジェクタで前記収容物の種類に基づく情報を表示する、付記2乃至付記7のいずれか1項記載の情報処理システム。
(付記9)
ユーザから入力を受ける入力手段を更に備え、前記表示制御手段は、ユーザからの入力に応じて、前記収容物の種類に基づく情報を変化させる、付記2乃至付記8のいずれか1項記載の情報処理システム。
(付記10)
ユーザに係る情報を特定する手段を更に備え、前記表示制御手段は、ユーザに係る情報に応じて、前記収容物の種類に基づく情報を変化させる、付記2乃至付記9のいずれか1項記載の情報処理システム。
(付記11)
前記第2の検出手段は、前記物体に収容された、前記収容物に対する対価を検出する、付記2乃至付記10記載の情報処理システム。
(付記12)
前記第1の検出手段は前記物体位置を動的に検出し、前記表示制御手段は、前記物体の種類に基づく情報を、前記物体の近傍若しくは表面に投影装置に投影させ、前記物体位置の変化に応じて、前記投影装置が投影する位置を変化させる駆動制御手段を更に備える、付記1記載の情報処理システム。
(付記13)
前記第1の検出手段は、人物の位置を検出し、前記表示制御手段は、人物の位置に応じて情報表示の有無を切り換える、付記12記載の情報処理システム。
(付記14)
前記物体の形状を検出する手段と、前記物体の形状に基づいて前記物体の種類を特定する手段とを更に備える付記12又は付記13記載の情報処理システム。
(付記15)
前記物体位置に基づいて前記物体の種類を特定する手段を更に備える付記12又は付記13記載の情報処理システム。
(付記16)
前記第1の検出手段は前記物体の表面状態を検出し、前記表示制御手段は、前記物体の表面状態に基づいて、投影する情報を変化させる、付記12乃至付記15のいずれか1項記載の情報処理システム。
(付記17)
外部に接続される照明、スピーカ、ディスプレイ、レジシステム、店内監視システム、業務用端末、及び個人端末の少なくともいずれかに情報を出力する出力手段を更に備える付記12乃至付記16のいずれか1項記載の情報処理システム。
(付記18)
外部に接続されるコンテンツ制御装置、広告配信装置、音声配信装置、業務用端末、個人端末、データ入力装置、店内監視システム、レジシステム、及び監視カメラのうち、少なくともいずれかから情報の入力を受ける入力手段と、前記入力された情報に基づいて制御する制御手段とを更に備える付記12乃至付記17のいずれか1項記載の情報処理システム。
(付記19)
前記第1の検出手段は、人物の視線の向きを検出し、前記表示制御手段は、人物の視野範囲に前記物体があると推定される場合に、前記物体の種類に基づく情報を、前記投影装置に投影させる、付記12乃至付記18のいずれか1項記載の情報処理システム。
(付記20)
物体の位置である物体位置を検出するステップと、前記物体の種類、又は前記物体が収容する収容物の種類に基づく情報を、前記物体の物体位置、もしくは前記物体位置の近傍に表示させるステップとを備える情報処理方法。
(付記21)
前記物体は前記収容物を収容する容器であり、前記物体に収容された前記収容物の種類を検出するステップ、を更に備える付記20記載の情報処理方法。
(付記22)
前記物体に収容された前記収容物の位置である収容物位置を検出するステップを更に備え、前記収容物の種類に基づく情報を、前記収容物位置に応じた、前記収容物位置もしくは前記収容物位置の近傍に表示する、付記21記載の情報処理方法。
(付記23)
前記物体位置内の前記収容物位置以外の位置に、前記収容物の種類に基づく情報を表示する、付記22記載の情報処理方法。
(付記24)
前記収容物が陳列された陳列棚から移動したことを検出することにより、前記物体に収容された前記収容物の種類を検出する、付記21乃至付記23のいずれか1項記載の情報処理方法。
(付記25)
前記物体位置と共に前記物体の方向を検出し、前記収容物の種類に基づく情報の表示方向を、前記物体の方向に応じて変える、付記21乃至付記24のいずれか1項記載の情報処理方法。
(付記26)
複数の表示装置のうち、前記物体位置の近傍にある表示装置に、前記収容物の種類に基づく情報を表示する、付記21乃至付記25のいずれか1項記載の情報処理方法。
(付記27)
プロジェクタで前記収容物の種類に基づく情報を表示する、付記21乃至付記26のいずれか1項記載の情報処理方法。
(付記28)
ユーザから入力を受けるステップを更に備え、ユーザからの入力に応じて、前記収容物の種類に基づく情報を変化させる、付記21乃至付記27のいずれか1項記載の情報処理方法。
(付記29)
ユーザに係る情報を特定するステップを更に備え、ユーザに係る情報に応じて、前記収容物の種類に基づく情報を変化させる、付記21乃至付記28のいずれか1項記載の情報処理方法。
(付記30)
前記物体に収容された、前記収容物に対する対価を検出する、付記21乃至付記29記載の情報処理方法。
(付記31)
前記物体位置を動的に検出し、前記物体の種類に基づく情報を、前記物体の近傍若しくは表面に投影装置に投影させ、前記物体位置の変化に応じて、前記投影装置が投影する位置を変化させるステップを更に備える、付記20記載の情報処理方法。
(付記32)
人物の位置を検出し、人物の位置に応じて情報表示の有無を切り換える、付記31記載の情報処理方法。
(付記33)
前記物体の形状を検出するステップと、前記物体の形状に基づいて前記物体の種類を特定するステップとを更に備える付記31又は付記32記載の情報処理方法。
(付記34)
前記物体位置に基づいて前記物体の種類を特定するステップを更に備える付記31又は付記32記載の情報処理方法。
(付記35)
前記物体の表面状態を検出し、前記物体の表面状態に基づいて、投影する情報を変化させる、付記31乃至付記34のいずれか1項記載の情報処理方法。
(付記36)
外部に接続される照明、スピーカ、ディスプレイ、レジシステム、店内監視システム、業務用端末、及び個人端末の少なくともいずれかに情報を出力するステップを更に備える付記31乃至付記35のいずれか1項記載の情報処理方法。
(付記37)
外部に接続されるコンテンツ制御装置、広告配信装置、音声配信装置、業務用端末、個人端末、データ入力装置、店内監視システム、レジシステム、及び監視カメラのうち、少なくともいずれかから情報の入力を受けるステップと、前記入力された情報に基づいて制御するステップとを更に備える付記31乃至付記36のいずれか1項記載の情報処理方法。
(付記38)
人物の視線の向きを検出し、人物の視野範囲に前記物体があると推定される場合に、前記物体の種類に基づく情報を、前記投影装置に投影させる、付記31乃至付記37のいずれか1項記載の情報処理方法。
この出願は、2013年3月1日に出願された日本出願特願2013−040623及び特願2013−040620を基礎とする優先権を主張し、その開示の全てをここに取り込む。
1・・・表示システム、10・・・表示システム、101 :表示装置、103・・・検出装置、105・・・入力装置、107・・・外部出力装置、200・・・制御装置、201・・・容器位置検出部、203・・・商品種別検出部、205・・・商品位置検出部、207・・・情報生成部、209・・・表示制御部、211・・・入力部、213・・・購入者特定部、401・・・プロセッサ、403・・・メモリ、405・・・記憶装置、407・・・入力インタフェース、409・・・データI/F、411・・・通信インタフェース、413・・・表示装置、800・・・情報処理システム、810・・・第1検出部、820・・・第2検出部、830・・・表示制御部、901・・・投影装置、903・・・検出装置、905・・・駆動装置、907・・・外部入出力装置、1000・・・制御装置、1001・・・商品位置検出部、1003・・・商品種別検出部、1005・・・人物位置検出部、1007・・・駆動制御部、1009・・・表示制御部、1011・・・演出出力部、1013・・・情報出力部、1015・・・入力部、1017・・・視線検出部、1201・・・プロセッサ、1203・・・メモリ、1205・・・記憶装置、1207・・・入力インタフェース、1209・・・データインタフェース、1211・・・通信インタフェース、1213・・・表示装置、1500・・・情報処理システム、1510・・・検出部、1520・・・表示制御部、1530・・・駆動制御部、1600・・・情報処理システム、1610・・・検出部、1620・・・表示制御部

Claims (20)

  1. 物体の位置である物体位置を検出する第1の検出手段と、
    前記物体の種類、又は前記物体が収容する収容物の種類に基づく情報を、前記物体の物体位置、又は前記物体位置の近傍に表示させる表示制御手段と
    を備える情報処理システム。
  2. 前記物体は前記収容物を収容する容器であり、
    前記物体に収容された前記収容物の種類を検出する第2の検出手段、を更に備える
    請求項1記載の情報処理システム。
  3. 前記物体に収容された前記収容物の位置である収容物位置を検出する第3の検出手段
    を更に備え、
    前記表示制御手段は、前記収容物の種類に基づく情報を、前記収容物位置に応じた、前記収容物位置もしくは前記収容物位置の近傍に表示する、
    請求項2記載の情報処理システム。
  4. 前記表示制御手段は、前記物体位置内の前記収容物位置以外の位置に、前記収容物の種類に基づく情報を表示する、
    請求項3記載の情報処理システム。
  5. 前記第2の検出手段は、前記収容物が陳列された陳列棚から移動したことを検出することにより、前記物体に収容された前記収容物の種類を検出する、
    請求項2乃至請求項4のいずれか1項記載の情報処理システム。
  6. 前記第1の検出手段は、前記物体位置と共に前記物体の方向を検出し、
    前記表示制御手段は、前記収容物の種類に基づく情報の表示方向を、前記物体の方向に応じて変える、
    請求項2乃至請求項5のいずれか1項記載の情報処理システム。
  7. 前記表示制御手段は、複数の表示装置のうち、前記物体位置の近傍にある表示装置に、前記収容物の種類に基づく情報を表示する、
    請求項2乃至請求項6のいずれか1項記載の情報処理システム。
  8. 前記表示制御手段は、プロジェクタで前記収容物の種類に基づく情報を表示する、
    請求項2乃至請求項7のいずれか1項記載の情報処理システム。
  9. ユーザから入力を受ける入力手段
    を更に備え、
    前記表示制御手段は、ユーザからの入力に応じて、前記収容物の種類に基づく情報を変化させる、
    請求項2乃至請求項8のいずれか1項記載の情報処理システム。
  10. ユーザに係る情報を特定する手段
    を更に備え、
    前記表示制御手段は、ユーザに係る情報に応じて、前記収容物の種類に基づく情報を変化させる、
    請求項2乃至請求項9のいずれか1項記載の情報処理システム。
  11. 前記第2の検出手段は、前記物体に収容された、前記収容物に対する対価を検出する、
    請求項2乃至請求項10記載の情報処理システム。
  12. 前記第1の検出手段は前記物体位置を動的に検出し、
    前記表示制御手段は、前記物体の種類に基づく情報を、前記物体の近傍若しくは表面に投影装置に投影させ、
    前記物体位置の変化に応じて、前記投影装置が投影する位置を変化させる駆動制御手段を更に備える、請求項1記載の情報処理システム。
  13. 前記第1の検出手段は、人物の位置を検出し、
    前記表示制御手段は、人物の位置に応じて情報表示の有無を切り換える、
    請求項12記載の情報処理システム。
  14. 前記物体の形状を検出する手段と、
    前記物体の形状に基づいて前記物体の種類を特定する手段と
    を更に備える請求項12又は請求項13記載の情報処理システム。
  15. 前記物体位置に基づいて前記物体の種類を特定する手段
    を更に備える請求項12又は請求項13記載の情報処理システム。
  16. 前記第1の検出手段は前記物体の表面状態を検出し、
    前記表示制御手段は、前記物体の表面状態に基づいて、投影する情報を変化させる、
    請求項12乃至請求項15のいずれか1項記載の情報処理システム。
  17. 外部に接続される照明、スピーカ、ディスプレイ、レジシステム、店内監視システム、業務用端末、及び個人端末の少なくともいずれかに情報を出力する出力手段
    を更に備える請求項12乃至請求項16のいずれか1項記載の情報処理システム。
  18. 外部に接続されるコンテンツ制御装置、広告配信装置、音声配信装置、業務用端末、個人端末、データ入力装置、店内監視システム、レジシステム、及び監視カメラのうち、少なくともいずれかから情報の入力を受ける入力手段と、
    前記入力された情報に基づいて制御する制御手段と
    を更に備える請求項12乃至請求項17のいずれか1項記載の情報処理システム。
  19. 前記第1の検出手段は、人物の視線の向きを検出し、
    前記表示制御手段は、人物の視野範囲に前記物体があると推定される場合に、前記物体の種類に基づく情報を、前記投影装置に投影させる、
    請求項12乃至請求項18のいずれか1項記載の情報処理システム。
  20. 物体の位置である物体位置を検出するステップと、
    前記物体の種類、又は前記物体が収容する収容物の種類に基づく情報を、前記物体の物体位置、もしくは前記物体位置の近傍に表示させるステップと
    を備える情報処理方法。
JP2015502726A 2013-03-01 2013-12-13 情報処理システム、および情報処理方法 Pending JPWO2014132525A1 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2013040620 2013-03-01
JP2013040623 2013-03-01
JP2013040620 2013-03-01
JP2013040623 2013-03-01
PCT/JP2013/083520 WO2014132525A1 (ja) 2013-03-01 2013-12-13 情報処理システム、および情報処理方法

Publications (1)

Publication Number Publication Date
JPWO2014132525A1 true JPWO2014132525A1 (ja) 2017-02-02

Family

ID=51427811

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015502726A Pending JPWO2014132525A1 (ja) 2013-03-01 2013-12-13 情報処理システム、および情報処理方法

Country Status (4)

Country Link
US (1) US20150379494A1 (ja)
JP (1) JPWO2014132525A1 (ja)
CN (1) CN105074762A (ja)
WO (1) WO2014132525A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015173871A1 (ja) * 2014-05-12 2015-11-19 富士通株式会社 商品情報出力方法、プログラムおよび制御装置
JP6197952B2 (ja) * 2014-05-12 2017-09-20 富士通株式会社 商品情報出力方法、商品情報出力プログラムおよび制御装置
WO2015173872A1 (ja) * 2014-05-12 2015-11-19 富士通株式会社 商品情報表示システム、制御装置、制御プログラムおよび制御方法
US10447979B2 (en) * 2014-12-25 2019-10-15 Panasonic Intellectual Property Management Co., Ltd. Projection device for detecting and recognizing moving objects
WO2016103541A1 (ja) * 2014-12-25 2016-06-30 パナソニックIpマネジメント株式会社 投影装置
JP6341124B2 (ja) * 2015-03-16 2018-06-13 カシオ計算機株式会社 オブジェクト認識装置および認識結果提示方法
CN105148517B (zh) * 2015-09-29 2017-08-15 腾讯科技(深圳)有限公司 一种信息处理方法、终端及计算机存储介质
JP6716359B2 (ja) * 2016-06-22 2020-07-01 サッポロビール株式会社 投影システム、投影方法、および投影プログラム
WO2018096804A1 (ja) * 2016-11-25 2018-05-31 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2018147415A (ja) * 2017-03-09 2018-09-20 株式会社ブレイン 食事の識別システムとそのプログラム
JP2018181251A (ja) * 2017-04-21 2018-11-15 東芝テック株式会社 読取装置およびプログラム
CN107239927A (zh) * 2017-07-24 2017-10-10 杭州知己科技有限公司 智能零售管理系统和方法
CN108426521A (zh) * 2017-08-12 2018-08-21 中民筑友科技投资有限公司 一种构件的质量检测方法及装置
WO2019160919A1 (en) * 2018-02-13 2019-08-22 Gojo Industries, Inc. Modular people counters
US10843333B2 (en) 2018-03-05 2020-11-24 Berkshire Grey, Inc. Systems and methods for processing objects, including automated re-circulating processing stations
JP7218984B2 (ja) * 2018-04-27 2023-02-07 日本電気株式会社 商品登録装置、商品登録方法及びプログラム
EP3853801A4 (en) * 2018-09-18 2022-05-11 AI Gaspar Limited SYSTEM AND PROCEDURE FOR IDENTIFYING, PRESENTATION OF DATA FROM, AND COLLECTING USER'S INTERACTION WITH AN ARTICLE SELECTED BY A USER
US11102572B2 (en) * 2019-03-29 2021-08-24 Asahi Kasei Kabushiki Kaisha Apparatus for drawing attention to an object, method for drawing attention to an object, and computer readable non-transitory storage medium
JP7373729B2 (ja) * 2019-03-29 2023-11-06 パナソニックIpマネジメント株式会社 精算決済装置および無人店舗システム
CA3145402A1 (en) * 2019-06-24 2020-12-30 Berkshire Grey, Inc. Shipping tray for use in a packaging fulfillment system
JP2021189592A (ja) * 2020-05-27 2021-12-13 株式会社Jvcケンウッド 管理情報表示システム及び管理情報表示方法
WO2022195752A1 (ja) * 2021-03-17 2022-09-22 日本電気株式会社 情報処理装置、情報処理方法、及び、記録媒体

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4080253B2 (ja) * 2002-06-13 2008-04-23 松下電器産業株式会社 自動精算システムおよび精算方法
JP2004110805A (ja) * 2002-08-28 2004-04-08 Matsushita Electric Ind Co Ltd ショッピングカートおよび買い物かご
WO2004021321A1 (ja) * 2002-08-28 2004-03-11 Matsushita Electric Industrial Co., Ltd. ショッピングカート、買い物かごおよび情報送信装置
JP2009193399A (ja) * 2008-02-15 2009-08-27 Seiko Epson Corp 配膳用トレイ、無線タグリーダ、無線タグリーダの表示制御方法およびそのプログラム
TW201017474A (en) * 2008-09-03 2010-05-01 Koninkl Philips Electronics Nv Method of performing a gaze-based interaction between a user and an interactive display system
JP2010152647A (ja) * 2008-12-25 2010-07-08 Fujitsu Ltd 情報提供システムおよび情報提供方法

Also Published As

Publication number Publication date
WO2014132525A1 (ja) 2014-09-04
US20150379494A1 (en) 2015-12-31
CN105074762A (zh) 2015-11-18

Similar Documents

Publication Publication Date Title
WO2014132525A1 (ja) 情報処理システム、および情報処理方法
US11756017B1 (en) System and method for self-checkout, scan portal, and pay station environments
KR102004071B1 (ko) 가상 플래노그램 관리, 시스템들 및 방법들
WO2012132324A1 (ja) 店舗システム並びにその制御方法及び制御プログラムが格納された非一時的なコンピュータ可読媒体
US11138584B1 (en) System and method for self-checkout, scan portal, and pay station environments
US9361501B2 (en) Headheld scanner and POS display with mobile phone
US20140139548A1 (en) Retail digital signage
US20170213277A1 (en) Goods purchase apparatus and goods purchase system having the same
US20180285959A1 (en) Product recommendation engine for consumer interface of unattended retail points of sale
JP6419702B2 (ja) 支援および利便性のための装置
CN104574672A (zh) 自动贩卖装置及商品贩售方法
KR101492369B1 (ko) 광고판 기능이 구비된 스마트 벤딩머신
JP2010049619A (ja) Pos端末装置
KR102191103B1 (ko) 듀얼 터치스크린 키오스크
KR101951833B1 (ko) 지나가는 관찰자에게 반응하는 공개 시스템
JP2001319275A (ja) セルフオーダーエントリシステム
JP5758865B2 (ja) 情報表示装置、端末装置、情報表示システム及びプログラム
JP2012094070A (ja) 自動販売機
CN209417862U (zh) 导购装置和导购系统
KR20200099297A (ko) 고속도로 휴게소 주문 결제를 위한 앱 장치 및 그 시스템
KR102387078B1 (ko) 임직원 복지 제공 시스템 및 이를 이용한 복지 제공 방법
JP7308803B2 (ja) プログラム、方法、情報処理装置、システム
JP7474176B2 (ja) プログラム、方法、情報処理装置、システム
KR20170068336A (ko) 이동 단말기 및 그의 동작 방법
KR20210060265A (ko) 가상 선반을 이용한 쇼핑 시스템 및 쇼핑 방법