JP6227278B2 - 買い物経験における仮想イメージと現実イメージとの比較 - Google Patents

買い物経験における仮想イメージと現実イメージとの比較 Download PDF

Info

Publication number
JP6227278B2
JP6227278B2 JP2013100394A JP2013100394A JP6227278B2 JP 6227278 B2 JP6227278 B2 JP 6227278B2 JP 2013100394 A JP2013100394 A JP 2013100394A JP 2013100394 A JP2013100394 A JP 2013100394A JP 6227278 B2 JP6227278 B2 JP 6227278B2
Authority
JP
Japan
Prior art keywords
model
image data
layout
real world
planned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013100394A
Other languages
English (en)
Other versions
JP2014002722A5 (ja
JP2014002722A (ja
Inventor
グリモー ジャン−ジャック
グリモー ジャン−ジャック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dassault Systemes SE
Original Assignee
Dassault Systemes SE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dassault Systemes SE filed Critical Dassault Systemes SE
Publication of JP2014002722A publication Critical patent/JP2014002722A/ja
Publication of JP2014002722A5 publication Critical patent/JP2014002722A5/ja
Application granted granted Critical
Publication of JP6227278B2 publication Critical patent/JP6227278B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Processing (AREA)

Description

本発明はコンピュータベースの方法に関し、より詳細には買い物経験における仮想イメージと現実イメージとの比較に関する。
プラノグラムは、店舗の製品の視覚的表現であり、より詳細には、棚上、通路内などへの小売製品の配列図である。小売環境において、プラノグラムは、複数の店舗を通じて均一の様式で製品を陳列するために使用される。製造業者、小売業者、またはその他のハイレベルエンティティは、プラノグラムを設計して、小売業者に配信することができる。プラノグラムは、小売店の計画者が、高収益率の製品を提供するため、在庫の多い製品をより迅速に販売するため、製造業者の要求を受け入れるため、または契約上の義務を満たすためなど、様々な理由で、ある種の製品を販売促進するのを支援することができる。
したがって、プラノグラムの小売部門での使用は、製品配列の視覚対象および/または製品配列の商業面の最適化を試みる。これらの目的に向けたプラノグラムの使用の改善または拡張が所望される。
本発明の実施形態は、先行技術に改善をもたらす。
一実施形態では、コンピュータベースの方法は、現実世界レイアウトのイメージデータを受信するステップを含む。イメージデータは、現実世界レイアウトを三次元(例えば、垂直、水平、および直交)にわたって反映する。三次元のそれぞれは、始まりおよび終わりを含むイメージ範囲を有する。現実世界レイアウトは、三次元にわたって分布された製品の在庫を有する。コンピュータベースの方法は、当該環境における計画されたレイアウトの3Dモデルと受信されたイメージデータとを比較するステップをさらに含む。3Dモデルは計画されたレイアウトを三次元にわたって表す。コンピュータベースの方法は、比較するステップの結果が第1の特定のしきい値に達するかどうかを判断するステップをさらに含み、達する場合、適切な表示、警告などを出力する。
別の実施形態では、コンピュータベースの方法は、イメージデータから少なくとも1つの製品陳列グルーピング(product display grouping)を抽出するステップを含むことが可能である。コンピュータベースの方法は、抽出された少なくとも1つの製品陳列グルーピングを、計画されたレイアウトの3Dモデル内の製品陳列グルーピングの少なくとも1つの表現と関連付けるステップをさらに含む。コンピュータベースの方法は、抽出された少なくとも1つの製品陳列グルーピングと製品陳列グルーピングの少なくとも1つの表現とを比較するステップをさらに含むことが可能である。コンピュータベースの方法は、当該比較するステップの結果が第2の特定のしきい値を満たすかどうかを判断するステップを含むことも可能である。一実施形態では、第1の特定のしきい値および第2の特定のしきい値は同じしきい値であってよい点を当業者は認識されよう。
コンピュータベースの方法は、3Dモデルと受信されたイメージデータとを比較するステップの結果が第1の特定のしきい値に達する場合に警告を生成するステップをさらに含むことが可能である。当該比較は類似性または非類似性を表すことができ、第1の特定のしきい値は特定の類似度を表すことができる。
別の実施形態では、コンピュータベースの方法は、計画されたレイアウトの3Dモデルを生成するステップをさらに含むことが可能である。3Dモデルと受信されたイメージデータとを比較するステップは、イメージ差を計算するステップを含むことが可能である。 別の実施形態では、コンピュータベースの方法は、3Dモデルを2D表現に変換するステップをさらに含む。3Dモデルと受信されたイメージデータとを比較するステップは、3Dモデルの2D表現と受信されたイメージデータとを比較するステップを含むことが可能である。
別の実施形態では、計画されたレイアウトの3Dモデルと受信されたイメージデータとを比較するステップは、イメージデータをレンダリングされた3Dモデルに変換するステップと、計画されたレイアウトの3Dモデルとレンダリングされた3Dモデルとを比較するステップをさらに含む。
別の実施形態では、計画されたレイアウトの3Dモデルとイメージデータとを比較するステップは、イメージデータを解析して、在庫内の第1の量を判断するステップと、在庫内の第2の量を取り出すステップと、第1の量と第2の量とを比較するステップとをさらに含む。在庫内の第1の量は現実世界レイアウト内に表すことが可能であり、在庫内の第2の量は計画されたレイアウトの3Dモデル内に表すことが可能である。
一実施形態では、イメージデータを受信するステップは、顧客に対する陳列位置(customer display location)内および保管場所内の製品のイメージデータを捕捉するステップをさらに含む。在庫内の第2の量を取り出すステップは、第2の量を取引会計システム(transaction accounting system)から取り出すステップを含むことも可能である。第1の量と第2の量とを比較するステップは、第1の量と第2の量との差を計算するステップを含むことが可能である。当該差は、店舗内にあるとして計算された在庫の量と店舗内に実際にある(リアルタイム撮像を通して視覚的に明らかにされる)在庫の量との間の差を示すことができる。
別の実施形態では、現実世界レイアウトのイメージデータを受信するステップは、複数のカメラを用いて現実世界レイアウトのイメージデータを捕捉するステップを含むことが可能である。現実世界レイアウトのイメージデータを受信するステップは、現実世界レイアウトの3Dモデルを生成することができるように配置された複数のカメラを用いて、現実世界レイアウトのイメージデータを捕捉するステップを含むことが可能である。
別の実施形態では、コンピュータベースの方法は、受信されたイメージデータを調整して、3Dモデルのプロパティ(property)と整合させるステップを含む。3Dモデルのプロパティは、明暗特性、コントラスト、色相、陰影配置、および陰影除去のうちの1つ以上を含む。
別の実施形態では、当該方法は、現実世界レイアウトを当該環境における計画されたレイアウトに整合させるための命令を生成するステップを含むことが可能である。
別の実施形態では、当該方法は、現実世界レイアウトの音声データを受信するステップを含むことが可能である。音声データは、現実世界レイアウトからの音、声、または音楽のうちの少なくとも1つを反映することができる。この方法は、当該環境における計画されたレイアウトの音モデルと受信された音声データとを比較するステップをさらに含むことが可能である。音モデルは当該計画されたレイアウトを表す。この方法は、比較するステップの結果が第1の特定のしきい値に達するかどうかを判断するステップをさらに含む。
一実施形態では、システムは、現実世界レイアウトのイメージデータを受信するように構成された受信モジュールを含む。イメージデータは、現実世界レイアウトを三次元にわたって反映する。三次元のそれぞれは、始まりおよび終わりを含むイメージ範囲を有する。現実世界レイアウトは、三次元にわたって分布された在庫を有する。比較モジュールは、現実世界レイアウトの計画されたレイアウトの3Dモデルと受信されたイメージデータとを比較するように構成される。3Dモデルは計画されたレイアウトを三次元にわたって表す。しきい値判断モジュールは、(i)比較するステップの結果が第1の特定のしきい値に達するかどうかを判断し、(ii)相応の表示を出力するように構成可能である。
別の実施形態では、コンピュータは、現実世界レイアウトを三次元にわたって反映するイメージデータを記憶するように構成されたメモリ領域を備える。三次元のそれぞれは、始まりおよび終わりを含むイメージ範囲を有する。現実世界レイアウトは、三次元にわたって分布された在庫、および計画されたレイアウトの三次元モデルを有する。3Dモデルは計画されたレイアウトを前記メモリ領域内で三次元にわたって表す。コンピュータは、前記メモリ領域に結合されたプロセッサをさらに備える。プロセッサは、現実世界レイアウトのイメージデータを受信し、計画されたレイアウトの3Dモデルと受信されたイメージデータとを比較し、比較するステップの結果が特定のしきい値に達するかどうかを判断するように構成される。
前述の説明は、本発明の例示的な実施形態の、以下のより詳細な説明から明らかになるであろう。そして当該実施形態では、添付の図面が例示されているが、異なる図を通じて類似の参照番号が同じ部分を指す。これらの図面は、スケールを変更するとは限らず、代わりに、本発明の実施形態を例示することに重点が置かれている。
小売環境の例示的な実施形態の概略図である。 図1の例示的な実施形態の小売ロケーションと解析サーバとの間の通信のブロック図である。 図1の例示的な実施形態の小売ロケーションと解析サーバとの間の通信のブロック図である。 図1の例示的な実施形態の環境解析システムのフローチャートである。 環境解析システムの別の例示的な実施形態のフローチャートである。 環境解析システムの別の例示的な実施形態のフローチャートである。 イメージデータと環境解析システム内の3Dモデルとを比較するプロセスの例示的な実施形態のフローチャートである。 本発明を具現化するコンピュータシステムのブロック図である。
以下、本発明の例示的な実施形態の説明が続く。
本明細書に列挙されるすべての特許、公開された出願、および参考文献の教示は、その全体が参照によって組み込まれている。
小売環境において、製品の小売業者または流通業者が特定の製品を店舗内の特定の位置に配置するのを望むことは一般的である。小売業者は、製品の流通業者と協力して、製品が店舗内にどのように陳列されるかを計画することができる。プラノグラムは、製品を店舗内のどこに配置および陳列するかを計画するのを支援するツールである。プラノグラムは、製品を小売環境の特定の区域内に特定の様式で配置するための図、マップ、または命令のセットである。例えば、棚の特定のセット上で、最も高価な製品を、顧客が見る可能性が高い目の高さに最も近い棚上に配置し、そして顧客が購入することを小売業者および流通業者が望まないより安価な製品を、顧客が見る可能性がより低い、より低い棚またはより高い棚の上に配置することができる。プラノグラムを使用する別の例は、可動式陳列の配列であり、当該配列は特定の製品を保持し、小売り環境で人がよく通る区域内に配置され、特定の製品を強調する。持ち運び可能な棚、または組立て可能な棚、例えば、プラスチック棚もしくは段ボール棚を計画および手配(または、さもなければ構成)し、そして棚自体を使用して特定の製品をさらに強調するためにプラノグラムを使用することができる。
小売環境の管理者は、自らの店舗内でプラノグラムに対する変更を追跡することが困難な場合がある。プラノグラムの設計者は、所望される製品レイアウト、または小売環境内でプラノグラムによって影響を受ける店内配置を周期ベースで、例えば、毎月、毎週、もしくは毎日変更することができる。したがって、小売環境内で実行されたプラノグラムを(ライブ、リアルタイムで)監視することができ、実行されたプラノグラムと、例えば、三次元(3D)モデルで計画またはモデル化されたプラノグラムとを比較することが可能なシステムを用いることは有用である。小売環境全体を監視して、複数のプラノグラムの3Dモデルを含む小売環境の3Dモデルと比較できるように、システムが小売環境内で複数のプラノグラムを監視することも有用である。このように、リアルタイムの小売環境における不適合を小売環境の管理者に警告することによって、そして小売環境の計画された3Dモデルに整合するための命令を管理者に発行することによって、小売環境は全体として小売環境の計画された3Dモデルに整合することが可能である。命令は、実行されたプラノグラムをどのように補正するかに関する段階的な命令など、詳細な命令であってよい。システムは、プラノグラムの補正を含む命令を生成することができる。従業員は、補正的命令を用いることによって、プラノグラム全体を最初から再構築するよりもより速くプラノグラムを直すことができる。
図1は、小売環境102内のある例示的な実施形態100を示す図である。小売環境102は、第1のカメラ104Aおよび第2のカメラ104Bを含む。第1のカメラ104Aおよび第2のカメラ104Bは両方とも、小売環境102のライブイメージデータを取り出し、環境解析システム200(後述される、図2A及び図2Bの208など)に送信するように構成される。環境解析システム200は、第1のカメラ104Aおよび第2のカメラ104Bから取り出されたイメージデータに基づいて、小売環境102を解析する。小売環境102内で任意の数のカメラを用いて、小売環境102のサブセットまたは小売環境102全体を捕捉することができる点を当業者は認識されよう。第1のカメラ104Aおよび第2のカメラ104Bのそれぞれをセキュリティカメラとして用いることも可能であり、この場合、第1のカメラ104Aおよび第2のカメラ104Bは環境解析システム200に関する画像を周期的に記録する点を当業者はさらに認識されよう。すなわち、第1のカメラ104Aおよび第2のカメラ104Bは、小売環境102のイメージデータを環境解析システム200に送信するために補助的に使用可能である。セキュリティカメラのシステムは、依然としてセキュリティ目的で完全に動作可能である。これは、一般に、環境解析システム200が、残りフレームのフルセットを解析するためのイメージデータのサブセットだけをセキュリティシステムのために記録することができれば良いからである。
小売環境102は、第1のプラノグラムスペース106および第2のプラノグラムスペース110を含む。第1のプラノグラムスペース106および第2のプラノグラムスペース110は、それぞれ、三次元(垂直、水平、および直交)に沿って複数の製品を提示または陳列するように構成される。例えば、第1のプラノグラムスペース106は、第1の製品セット112A〜E、第2の製品セット114A〜I、および第3の製品セット116A〜Gを含む。上述のように、小売環境102の設計者は、第1のプラノグラムスペース106が製品112A〜E、114A〜I、および116A〜Gの特定の構成ならびに配置を有することを望む場合がある。例えば、第2の製品セット114A〜Iは、利益率の高い製品である場合がある。したがって、消費者に対する可視性をより高めるために、中間棚の全域で中間棚に沿って配置される。しかしながら、環境解析システム200は、第2の製品セット114A〜Iが異なる棚上、例えば、上位棚上または下位棚上にあることを検出する場合がある。この場合、環境解析システム200は、第1のプラノグラムスペース106の正確な構成(すなわち、製品112A〜E、114A〜I、および116A〜Gの正確な配列)の命令を提供するための警告を小売環境102の管理者、プラノグラムの設計者、または製品の製造者に送信する。
第2のプラノグラムスペース110は、上位棚上に第4の製品セット118A〜C、中間棚上に第5の製品セット120A〜G、および下位棚上に第6の製品セット122A〜Dを含む。第1のプラノグラムスペース106に関して上述された小売原理は、第2のプラノグラムスペース110に適用される。しかしながら、上述されたような、環境解析システム200が提供するタイプのフィードバックに加えて、環境解析システム200は、第2のプラノグラムスペース110の位置または向きに関するフィードバックを提供することも可能である。例えば、第2のプラノグラムスペース110が動かせる(移動可能に配置される)と仮定すると、小売環境102の設計者は、第2のプラノグラムスペース110を、小売環境102の入り口の近く、小売環境102内の別の製品近く、または小売環境102内のいずれかのその他の位置に配置することを望む場合がある。
プラノグラム販売促進108は、プラノグラム106、110内で製品または製品セットを販売促進することができる。さらに、所望に応じて、プラノグラム販売促進108を移動すること、置き換えること、または再設計することが可能である。環境解析システム200は、プラノグラム販売促進108の実行をさらに解析することができる。
小売環境102は、マイクロフォンなどの音声捕捉デバイスなど、その他のデータ捕捉装置(図示せず)を含むことが可能である点を当業者はやはり認識されよう。音声捕捉装置(図示せず)は、声、音、または音楽を捕捉することができる。環境解析システム200は、プラノグラムの計画された音声状況(audio aspect)と整合するように、プラノグラムの音声状況の実行をさらに解析することができる。別の実施形態では、環境解析システム200は、イメージ解析と同じ解析でプラノグラムの音声状況をさらに解析することができる。環境解析システム200は、イメージデータおよび、音声データなどその他の獲得データの両方を同時に解析することによって、相互作用型の解析法ならびに命令を提供することができる。嗅覚データ(例えば、特定の香水、コロン、もしくはその他の製品を販売促進するための匂いまたは香り)または電磁データ(例えば、顧客のモバイル装置に送信される無線信号)など、その他のデータを獲得および解析して、計画されたプラノグラムとの整合性を判断することができる点を当業者はさらに認識されよう。
図2Aは、ある例示的な実施形態100に係るブロック図である。当該ブロック図では、小売ロケーション(location)202(小売環境102)と、解析サーバ208(環境解析システム200)との間の通信する態様を示しており、当該解析サーバ208は、環境解析システム200を実装するか、またはさもなければ実行する。小売ロケーション202は、現実世界レイアウト206のイメージデータを送信する。(三次元に沿った)現実世界レイアウト206のイメージデータは、小売ロケーション202内の様々なカメラ(図1の104A、Bなど)から撮られた複数のイメージを含むことが可能である。イメージデータ206は、小売環境102内の実行されたプラノグラムおよび/または製品のレイアウトの三次元に沿ったイメージを含む。解析サーバ208は、イメージデータ206を受信して、そのイメージデータ206と小売環境102の計画されたレイアウトの3Dモデル215とを比較する。データベースまたはその他記憶装置のように、メモリ領域212は、解析サーバ208に結合されるか、さもなければ解析サーバ208によってアクセス可能であり、様々な小売環境102の計画されたレイアウトの3Dモデル215を格納する。解析サーバ208は、次いで、イメージデータと3Dモデル215とを比較するステップの結果210を送信する。解析サーバ208は、当該比較結果を、インターネットなどのネットワーク204上で小売ロケーション202に送信する。結果210は、イメージデータ206と3Dモデル215との間の差のリスト、または小売環境202内の製品の配置(配列)を3Dモデル215に整合させるための命令を含むことができる。解析サーバ208は、メモリ領域212と遠隔に結合することが可能であり、または集中システムとして、メモリ領域212を組み込むことも可能である。
一実施形態では、オプションで、小売ロケーション202は、取引会計システムなど、在庫追跡システム(ITS)216と通信するように構成される。ITS216は販売および配送データ218を小売ロケーション202から受信する。ITS216は、小売ロケーション202からの要求またはスケジュールに応答して、在庫データ220を小売ロケーション202に戻す。本明細書で説明されるように、環境解析システム200は、小売ロケーション202の在庫と在庫追跡システム216から戻された在庫データ220とを比較することができる。
別の実施形態では、小売ロケーション202は、送信された結果210をネットワーク204に接続可能ないずれかの装置上で受信することが可能である。例えば、小売ロケーション202は、送信された結果210をモバイル装置、携帯電話、スマートフォン、タブレットコンピュータ、パーソナルコンピュータ、サーバ、または任意のその他のクライアント装置の上で受信することが可能である。
図2Bは、ある例示的な実施形態100、すなわち、解析サーバ208、および複数の小売ロケーション202a〜c(小売環境102a〜c)を例示するブロック図である。それぞれの小売ロケーション202a〜cは、現実世界レイアウト206a〜cのイメージデータを送信して、イメージデータと3Dモデル210a〜cとを比較するステップの結果を受信することによって、それぞれ、解析サーバ208と動作可能に通信するように構成される。このように、解析サーバ208は、3Dモデルに対して任意の数の小売ロケーション102a〜cを解析することができる。別の実施形態では、解析サーバ208は、それぞれの小売環境102a〜c内で実行されたプラノグラム内の類似性に関して複数の小売ロケーション102a〜cを解析することができる。
加えて、それぞれの小売ロケーション202aは、解析サーバ208とインターフェースをとるように構成された複数のクライアント装置214a〜iをそれぞれ含むことが可能である。複数のクライアント装置は、モバイル装置、携帯電話、スマートフォン、タブレットコンピュータ、パーソナルコンピュータ、サーバ、または任意のその他のクライアント装置であってよい。クライアント装置214a〜iは、それぞれ、イメージデータと3Dモデル210a〜cとを比較するステップの結果を受信して、それらの結果を(例えば、命令または警告の形で)小売ロケーション202a〜cおよびそれぞれの小売環境102a〜cの従業員に表示するように構成される。別の実施形態では、クライアント装置214a〜iは、現実世界レイアウト206a〜cのイメージデータ、またはその他のデータを解析サーバ208に送信することができ、実行されたプラノグラムをさらに解析する。
別のオプションの実施形態では、それぞれの小売ロケーション202a〜cは、それぞれのITS216a〜cと動作可能に通信するように構成される。それぞれのITS216a〜cは、販売および配送データ218a〜cをそれぞれの小売ロケーション202a〜cから受信して、小売ロケーション202からの要求またはスケジュールに応答して、在庫データ220a〜cをそれぞれの小売ロケーション202a〜cに戻す。本明細書で説明されるように、環境解析システム200は、小売ロケーション202a〜cの在庫と在庫追跡システム216a〜cから戻された在庫データ220a〜cとを比較することができる。
図3は、環境解析システム200のある例示的な実施形態を示すフローチャートである。環境解析システム200は、まず、イメージデータを小売ロケーション202から受信する(ステップ302)。オプションで、環境解析システム200は、ステップ304で、イメージデータを調整する。例えば、イメージデータから陰影を除去することにより、イメージデータ内に陰影を配置することにより、またはイメージデータの明暗、イメージデータ内のオブジェクトのコントラスト、もしくはイメージデータ色相により調整する。次いで、環境解析システム200のステップ306は、(ステップ304で)オプションで修正されたイメージデータと、計画された小売環境102の3Dモデル215(メモリ領域212からの)とを比較する。次いで、環境解析システム200は、その比較結果が第1の特定のしきい値を満たすかどうかを判断する(ステップ308)。次いで、当該方法は、そのしきい値が満たされていることを示す表示を出力するか、またはそのしきい値が満たされていることを示す動作を実行すること(警告などを出力することなど)によって終了する(ステップ310)。
図4は、環境解析システム200の別の例示的な実施形態プロセス400を示すフローチャートである。まず、環境解析システム200は、イメージデータを小売環境から受信する(ステップ402)。環境解析システム200は、次いで、イメージデータを解析して、複数のプラノグラムを判断する(ステップ404)。例えば、イメージデータ内に表される小売環境102は、実行された複数のプラノグラムを有することが可能である。複数の実行されたプラノグラムは、互いに対して相対的であり、かつ小売環境102に対して相対的な特定の配列を有することが可能であり、当該特定の配列は、単に独立した個々のプラノグラムとしてではなく、プラノグラムのすべてを一緒に解析することを必要とする。環境解析システム200は、次いで、特定の実行されたプラノグラムと3Dモデル内のプラノグラムとを比較する(ステップ406)。この比較を実行する際に、3Dモデル215と比較された特定の実行されたプラノグラム自体だけではなく、小売環境102内の実行されたプラノグラムの位置も3Dモデル215と比較される。例えば、環境解析システム200は、実行されたプラノグラムと他のプラノグラム、壁、扉、窓、または小売環境102のその他の特徴に対するその相対的な位置とを比較することができる(ステップ406)。
環境解析システム200は、次いで、その比較を記録する(ステップ408)。次に、環境解析システム200は、すべてのプラノグラム(404で検出された複数の)が比較されているかどうかを判断する(ステップ410)。環境解析システム200が検出された、実行されたプラノグラムのすべてを比較していない場合、環境解析システム200は、別の特定のプラノグラムとデータベース212からの適切な3Dモデル215とを比較する。環境解析システム200が、検出された、実行されたプラノグラムのすべてを比較した場合、環境解析システム200は、次いで、環境解析システムが生成するように構成されている出力のタイプを判断する(ステップ412)。環境解析システム200が命令を出力するように構成されている場合、環境解析システム200は、小売ロケーション202を3Dモデルと整合させるための命令(例えば、段階的な命令)を生成および出力する(ステップ414)。
環境解析システム200が在庫要求を生成するように構成されているならば、環境解析システム200は、イメージデータ内で検出された在庫の量に基づいて、小売ロケーション202の在庫を補充するための要求を生成および出力する(ステップ416)。次いで、環境解析システムのプロセスは終了する(420)。
環境解析システム200が警告を生成するように構成されているならば、環境解析システム200は、3Dモデル215に対するカメライメージデータの類似性および差異を示す警告を生成して、その警告を小売管理者または小売計画者のうちの1人に出力する。次いで、環境解析システム200のプロセス400は終了する(420)。
環境解析システム200は、特定のプラノグラムを3Dモデル215と連続的に比較する代わりに、イメージデータの全体を3Dモデル215と一斉に比較することが可能である点を当業者はさらに認識されよう。このように、環境解析システム200は、小売環境102全体と計画された小売環境(3Dモデル215によって表された)とを比較して、店舗力学の解析法を提供することができる店舗モデル全体の解析を提供する。
図5は、環境解析システム200の別の例示的なプロセス500を示すフローチャートである。環境解析システムは、イメージデータを受信することによって開始する(ステップ502)。環境解析システム200は、次いで、イメージデータ内のプラノグラムを解析して、実行されたプラノグラム内の在庫の量を判断する(ステップ504)。例えば、環境解析システム200は、実行されたプラノグラムを解析して、残りの製品の量を判断する。環境解析システム200は、それぞれのプラノグラムを連続的に解析することに加えて、店舗全体を同時に解析できる点を当業者は認識されよう。次に、環境解析システム200は、判断された量(ステップ504)と、取引会計システムのような、在庫追跡システム216、216a〜cによって示された同じ在庫の量とを比較する(ステップ506)。次いで、環境解析システム200は、判断された量で在庫追跡システム216、216a〜cを更新する(ステップ508)。次いで、環境解析システム200は、オプションで、判断された量に従って、在庫を補充するための要求を生成する(ステップ510)。例えば、在庫の量が特定のしきい値を下回るならば、環境解析システム200は、小売ロケーションが要求される製品のストック(在庫)を保つように、より多くの在庫を自動的に発注する。次に、環境解析システム200は、失った在庫を詳述する報告をオプションで生成する(ステップ512)。例えば、環境解析システム200は、小売ロケーションの棚上(および、バックルームまたは在庫室の中も)在庫の量、ならびに在庫追跡システム216、216a〜c内に示された在庫の量との間の差を判断することができる。環境解析システム200は、次いで、失った在庫、例えば、盗まれたか、またはそうでない場合、紛失した在庫として、この判断された差の表示を出力する。次いで、環境解析システム200のプロセスは終了する(ステップ514)。
図6は、イメージデータと環境解析システム200内の3Dモデル215とを比較するプロセス600のある例示的な実施形態を示すフローチャートである。環境解析システム200は、イメージデータを受信することによって開始する(ステップ602)。次いで、プロセス600は、環境解析システム200がどの比較方法を用いるかを判断する(ステップ604)。環境解析システム200が2Dから3Dへの変換を用いる場合、プロセス600は受信されたイメージデータ(602から)を3Dモデルに変換する(606)。環境解析システム200および/またはプロセス600は、一般的なまたは公知の2Dから3Dへのデータ変換方法を使用してこの変換を実行する。次いで、環境解析システム200は、結果として生じる3Dモデルと計画された3Dモデル215(データベース212内に記憶された)とを比較する(ステップ608)。なぜならば、両者はこのとき同じ3Dフォーマットだからである。
環境解析システム200が3Dから2Dへの比較方法を使用する場合、プロセス600は、計画されたレイアウトの3Dモデル215を二次元イメージに変換する(610)。2Dイメージは、複数の2Dイメージ、または、詳細には、小売環境102内のカメラ104A、Bの同じ見晴しのよい地点からの計画された3Dモデル215のレンダリングであってもよい点を当業者は認識されよう。次いで、環境解析システム200は、3Dモデル215から変換またはレンダリングされた2Dイメージと受信されたイメージデータとを比較することができる(ステップ612)。次いで、プロセス600は、それらの比較結果を環境解析システム200の適切な次のステップ306/308、406/408、504に戻す(ステップ614)。
店舗力学を解析するために環境解析システム200を用いることも可能である。例えば、特定の日、週、または月の間にプラノグラム内の製品に関する顧客数と需要がどのように展開するかをより良好に理解するために、店舗の営業時間の間ですらイメージデータを周期的に送信することが可能である。解析法は、1日(もしくは複数の日)の所定時刻(時間)、曜日、時節、または年末の休暇時期のような、特定の買い物時期に対する棚卸しを示すために提供可能である。これらの解析法は、プラノグラムの計画者にとって有用な可能性がある。故に、プラノグラムの計画者がプラノグラムを別様に設計でき、またはシステムによって提供された解析法を使用して成功を収めた設計を繰り返すことができる。解析法(例えば、ノウハウ)は、どの販売方法またはプラノグラム方法が効果的であり、効果的でないかを説明することができる。プラノグラムの設計者は、有効性と無効性の知識を両方とも評価する。さらに、プラノグラムの遵守およびプラノグラムを遵守しないこと、ならびにプロノグラムを遵守しないことに関する特定の区域および/または理由の識別を設計者が自覚することは、したがって、顧客にとっての買い物経験、および店舗所有者にとっての事業解析法、事業結果を改善するのに役立つ可能性がある。
図1〜図6の方法(プロセス)および解析は、コンピュータによって実装される。これは、当該方法が、少なくとも1つのコンピュータ(サーバ208など)上で、または任意の類似のシステム上で実行されることを意味する。別段の記載がない限り、この方法のすべてのステップは、コンピュータによって、すなわち、ユーザの介在なしに実行される。例えば、表示するステップ(例えば、ステップ414、416、418、512)、判断するステップ(例えば、ステップ308、404、504)、および比較するステップ(例えば、ステップ306、406、および506)は、コンピュータによって実行可能であるが、生成された、表示された比較にアクセスするステップは、ユーザが介在するステップの一例である。当然、コンピュータによって実装されるものの、当該方法は全体として、ユーザの介在に基づいて、例えば、当該方法をトリガ(trigger)するために、当該方法自体で実行することができる。
計画された小売環境レイアウト/プラノグラム製品配列の3Dモデル215は、この目的に適したグラフィカルユーザインターフェース(GUI)を備えたコンピュータ援用設計(CAD)システムを使用することによって作成される。CADシステムは、ハードウェア、ならびにメモリおよびプロセッサに結合されたGUIを備える。メモリは、情報を記憶するのに適した任意のハードウェアである。そのようなシステムは、大部分のCADモデル化オブジェクトの設計を容易にするツールである。そのようなシステムは、したがって、専門設計者を含む、幅広いユーザによって使用され得る。
メモリ領域212内に格納された情報(すなわち、三次元パラメータ形状)はデータベースの形で記憶可能である。「データベース」とは、検索および取り出しのために編成されたデータ(すなわち、情報)の任意の集積を意味する。メモリ領域212に格納されるとき、データベースは、コンピュータによる迅速な検索および取り出しを可能にする。データベースは、実際に、様々なデータ処理動作に関して、データの記憶、取り出し、修正、および削除を促進するように構造化される。データベースは、ファイルまたはファイルのセットからなる場合があり、当該ファイルまたはファイルのセットは、レコードに分解することができ、そのそれぞれが1つ以上のフィールドから構成される。フィールドは、データ記憶の基本単位である。ユーザは、主にクエリを介してデータを取り出すことができる。キーワードおよびソートコマンドを使用して、ユーザおよびアプリケーション(プロセスまたはプロセッサ)は、多くの記録内のフィールドを迅速に検索、再配置、グループピング、および選択して、使用されているデータベース管理システムの規則に従って、データの特定の集合体に関する報告を取り出すかまたは作成することができる。
本発明によって使用される方法およびシステムは、2D写真を使用して3Dモデルを作成し、先にCADモデル化されたオブジェクト(3Dモデル215)にアクセスし、および/または当該オブジェクトに関するCADモデル(3Dモデル215)を作成することである。CADモデル化オブジェクトは、メモリ内に格納されたデータによって定義された任意のオブジェクトである。拡大解釈すれば、「モデル化オブジェクト」および「3Dモデル」という表現はデータ自体を指定する。システムのタイプに従って、3Dモデル215を異なる種類のデータによって定義することが可能である。CADシステムは、CATIA(登録商標)など、モデル化プラノグラム/計画されたレイアウトのグラフィカル表現に基づいて3Dモデル215を設計するのに少なくとも適した任意のシステムである(CATIA(登録商標)は、Dassault System S.A., Velizy Villacoublay, Franceの登録商標である)。したがって、CADモデル化オブジェクトを定義するデータは、モデル化オブジェクトの表現を可能にするデータ(例えば、空間内の相対的位置を含む、幾何学データ)を備える。CADシステムは、例えば、辺または線を使用して、所定の場合では面(face)または表面(surface)と共に、CADプラノグラム/計画されたレイアウトの表現を提供することができる。線、辺、または表面は、様々な様式、例えば、非一様有理Bスプライン(NURBS)で表すことが可能である。詳細には、CADファイルは、ジオメトリ(geometry)が生成されるところから、次に、表現を生成するのを可能にする仕様を含むことが可能である。3Dモデル215の仕様は、単一のCADファイルまたは複数のCADファイルに格納可能である。CADシステムでのモデル化オブジェクトを表すファイルの典型的なサイズは、部分当たり1メガバイトの範囲であり、3Dモデルは、典型的に、数千の部分の集合体であってよい。
システムは、コンピュータ援用エンジニアリング(CAE)および/またはコンピュータ援用製造(CAM)システムであってもよく、CADモデル化プラノグラムは、CAEモデル化オブジェクトおよび/またはCAMモデル化オブジェクトであってもよい。実際には、3Dモデル215は、CADシステム、CAEシステム、およびCAMシステムの任意の組合せに対応するデータによって定義可能であるため、これらのシステムは互いに排他的なシステムではない。
主題のCADモデル215に関する「3D」とは、任意のCADオブジェクトを意味し、その3D表現を可能にするデータによってモデル化される。3D表現は、表されたオブジェクトの図をすべての角度から見ることを可能にする。例えば、3Dで表されるとき、3Dモデル215を処理して、その軸のいずれかを回転すること、またはその表現が表示されるスクリーン上のいずれかの軸を回転することが可能である。これは、3Dモデル化されていない2Dアイコンを特に除外する。3D表現の表示は、設計を促進する(すなわち、設計者がそのタスクを統計的に達成する速度を高める)。製品の設計は製造プロセスの一環であるため、これは業界の製造プロセスを加速する。
図7は、サーバ208および/または小売ロケーション202コンピュータシステムのように、ある例示的なコンピュータのアーキテクチャの一例を示す。単一のサーバは、複数の小売ロケーションにサービスを提供することができる。さらに、複数のサーバ(例えば、サーバファーム)は、1つの小売ロケーションまたは複数の小売ロケーションにサービスを提供することができる。幾つかの小売ロケーションは、それら特定のプラノグラムを変更して、ローカルの市場状況、または、特定の小売ロケーションのアーキテクチャもしくはレイアウトを説明することができる。
サーバ208コンピュータおよび小売ロケーション202コンピュータのそれぞれは、内部通信バス1000に接続された中央処理装置(CPU)1010、および、こちらもバス1000に接続されたランダムアクセスメモリ(RAM)1070を備える。コンピュータには、バス1000に接続されたビデオランダムアクセスメモリ1100と関連付けられたグラフィカルプロセシングユニット(GPU)1110がさらに提供される。ビデオRAM1100は、当該技術分野でフレームバッファとしても公知である。大容量記憶装置コントローラ1020は、ハードドライブ1030など、マスメモリ装置(mass memory device)に対するアクセスを管理する。コンピュータプログラム命令およびデータを有形に具現化するのに適したマスメモリ装置は、例として、EPROM、EEPROM、およびフラッシュメモリ装置などの半導体メモリ装置、内部ハードディスクおよび取外し可能ディスクなどの磁気ディスク、光磁気ディスク、ならびにCD−ROMディスク1040を含めて、すべての形態の不揮発性メモリを含む。前述はいずれも、特別設計されたASIC(特定用途向け集積回路)によって補完することができ、または特別設計されたASIC(特定用途向け集積回路)に組み込むことができる。ネットワークアダプタ1050は、ネットワーク1060(図2A〜Bの204)に対するアクセスを管理する。小売ロケーションコンピュータは、カーソル制御装置、キーボードなど、ハプティック装置(haptic device)1090を含むことも可能である。カーソル制御装置は、ユーザが様々なコマンドを選択して、制御信号を入力するのを可能にする。システム出力(警告、表示、補正命令など)は、コンピュータモニタ1080、ディスプレイスクリーン、スピーカなどを介してレンダリングされる。
システムにこの方法を実行させる目的で、このための手段を備え、コンピュータによって実行するための命令を含むコンピュータプログラムが提供される。プログラムは、例えば、デジタル電子回路内で、またはコンピュータハードウェア、コンピュータファームウェア、コンピュータソフトウェア、もしくはそれらの組合せで実行可能である。本発明の装置は、プログラマブルプロセッサによって実行するために機械可読記憶装置内で有形に具現化されたコンピュータプログラム製品内で実施可能であり、本発明の方法ステップは、入力データを操作して、出力を生成することによって、本発明の機能を実行するための命令のプログラムを実行するプログラマブルプロセッサによって実行可能である。これらの命令は、プログラマブルシステム上で実行可能な、1つ以上のコンピュータプログラムで好適に実装することができる。そして、当該プログラマブルシステムは、データおよび命令をデータ記憶システムから受信して、データおよび命令をデータ記憶システムに送信するために結合された少なくとも1つのプログラマブルプロセッサ、少なくとも1つの入力装置、ならびに少なくとも1つの出力装置を含む。アプリケーションプログラムは、ハイレベル手続き型言語もしくはオブジェクト指向プログラミング言語で実装可能であるか、所望される場合、アセンブリ言語もしくは機械語で実施可能であり、いずれの場合も、言語はコンパイラ型言語またはインタープリタ型言語であってよい。
本発明は、その例示的な実施形態を参照して、詳細に示され、そして説明されているが、添付された特許請求の範囲によって包含される本発明の範囲から逸脱せずに、形態および詳細の点で様々な変更をこれらの実施形態に行い得ることが可能である点を、当業者は理解されよう。

Claims (17)

  1. 現実世界レイアウトのイメージデータを受信するステップであって、前記イメージデータは、前記現実世界レイアウトを三次元にわたって反映し、前記三次元のそれぞれは、始まりおよび終わりを有するイメージ範囲を有し、前記現実世界レイアウトは、前記三次元にわたって分布された在庫を有する、ステップと、
    前記現実世界レイアウトの音声データを受信するステップであって、前記音声データは、前記現実世界レイアウトからの音、声または音楽のうちの少なくとも1つを反映する、ステップと、
    前記現実世界レイアウトの計画されたレイアウトの3Dモデルを前記受信されたイメージデータと比較するステップであって、前記3Dモデルは、コンピューティングデバイスに動作可能に結合された有形メモリからのものであり、および前記計画されたレイアウトを前記三次元にわたって表し、前記比較することは、前記3Dモデルを2D表現に変換することが可能であり、および前記受信されたイメージデータをレンダリングされた3Dモデルに変換することが可能である、ステップと、
    前記計画されたレイアウトの音モデルを前記受信された音声データと比較するステップであって、前記音モデルは、前記計画されたレイアウトを表わす、ステップと、
    前記比較の結果が第1の特定のしきい値に達するかどうかを判断し、それに応じて前記第1の特定のしきい値に達することを示すステップと
    を備えたことを特徴とするコンピュータベースの方法。
  2. 前記イメージデータから少なくとも1つの製品陳列グルーピングを抽出するステップと、
    前記抽出された少なくとも1つの製品陳列グルーピングを、前記計画されたレイアウトの前記3Dモデル内の前記製品陳列グルーピングの少なくとも1つの表現と関連付けるステップと、
    前記少なくとも1つの製品陳列グルーピングを前記製品陳列グルーピングの前記少なくとも1つの表現と比較するステップと、
    前記結果が第2の特定のしきい値を満たすかどうかを判断するステップと
    をさらに備えたことを特徴とする請求項1に記載の方法。
  3. 前記3Dモデルの前記受信されたイメージデータとの前記比較の前記結果が、前記第1の特定のしきい値に達する場合に警告を生成するステップをさらに備え、前記比較は、類似性または非類似性を表し、前記第1の特定のしきい値は、特定の類似度を表すことを特徴とする請求項1に記載の方法。
  4. 前記計画されたレイアウトの前記3Dモデルを生成するステップをさらに備えたことを特徴とする請求項1に記載の方法。
  5. 前記3Dモデルを前記受信されたイメージデータと比較するステップは、イメージ差を計算するステップを含むことを特徴とする請求項1に記載の方法。
  6. 前記3Dモデルを2D表現に変換するステップをさらに備え、
    前記3Dモデルを前記受信されたイメージデータと比較するステップは、前記3Dモデルの前記2D表現を前記受信されたイメージデータと比較するステップを含む
    ことを特徴とする請求項1に記載の方法。
  7. 前記計画されたレイアウトの前記3Dモデルを前記受信されたイメージデータと比較するステップは、
    前記イメージデータをレンダリングされた3Dモデルに変換するステップと、
    前記計画されたレイアウトの前記3Dモデルを前記レンダリングされた3Dモデルと比較するステップと
    を含むことを特徴とする請求項1に記載の方法。
  8. 計画されたレイアウトの3Dモデルを前記イメージデータと比較するステップは、
    前記イメージデータを解析し、前記現実世界レイアウト内に表される在庫内の第1の量を判断するステップと、
    前記在庫内の第2の量を取り出すステップであって、前記在庫内の前記第2の量は、前記計画されたレイアウトの前記3Dモデル内に表される、ステップと、
    前記第1の量を前記第2の量と比較するステップと
    を含むことを特徴とする請求項1に記載の方法。
  9. イメージデータを受信するステップは、顧客の陳列位置内および保管場所内の製品のイメージデータを捕捉するステップを含む
    ことを特徴とする請求項8に記載の方法。
  10. 前記在庫内の第2の量を取り出すステップは、前記第2の量を取引会計システムから取り出すステップを含むことを特徴とする請求項8に記載の方法。
  11. 前記第1の量を前記第2の量と比較するステップは、前記第1の量と前記第2の量との差を計算するステップを含み、前記差は、店舗内にあるとして計算された在庫の量と前記店舗内に実際にある在庫の量との間の差を示す
    ことを特徴とする請求項8に記載の方法。
  12. 現実世界レイアウトの前記イメージデータを受信するステップは、複数のカメラで前記現実世界レイアウトの前記イメージデータを捕捉するステップを含むことを特徴とする請求項1に記載の方法。
  13. 前記現実世界レイアウトの前記イメージデータを受信するステップは、前記現実世界レイアウトの前記3Dモデルを生成することができるように配置された前記複数のカメラから前記イメージデータを受信するステップを含むことを特徴とする請求項12に記載の方法。
  14. 前記受信されたイメージデータを調整し、前記3Dモデルのプロパティと整合させるス
    テップをさらに備え、前記プロパティは、明暗特性、コントラスト、色相、陰影配置、および陰影除去のうちの1つ以上を含む
    ことを特徴とする請求項1に記載の方法。
  15. 前記現実世界レイアウトを前記計画されたレイアウトに整合させるための命令を生成するステップをさらに備えたことを特徴とする請求項1に記載の方法。
  16. 1つまたは複数のプロセッサと、1つまたは複数のコンピュータ可読メモリと、プログラム命令を記憶した1つまたは複数のコンピュータ可読記憶装置と、を備えたシステムであって、前記プログラム命令は、前記プロセッサのうちの少なくとも1つまたは複数によってロードおよび実行されると、前記システムに、
    現実世界レイアウトのイメージデータを受信するように構成された受信モジュールであ
    って、前記イメージデータは前記現実世界レイアウトを三次元にわたって反映し、前記三次元のそれぞれは、始まりおよび終わりを含むイメージ範囲を有し、前記現実世界レイアウトは前記三次元にわたって分布された在庫を有し、前記受信モジュールは、前記現実世界レイアウトの音声データを受信するようにさらに構成され、前記音声データは、前記現実世界レイアウトからの音、声または音楽のうちの少なくとも1つを反映する、受信モジュールと、
    前記現実世界レイアウトの計画されたレイアウトの3Dモデルを前記受信されたイメージデータと比較するように構成された比較モジュールであって、前記3Dモデルは、前記計画されたレイアウトを前記三次元にわたって表し、前記比較モジュールは、前記計画されたレイアウトの音モデルを前記受信された音声データと比較するようにさらに構成され、前記音モデルは、前記計画されたレイアウトを表わす、比較モジュールと、
    前記3Dモデルを2D表現に変換することが可能であり、および前記受信されたイメージデータをレンダリングされた3Dモデルに変換することが可能である変換モジュールと、
    前記比較の結果が第1の特定のしきい値に達するかどうかを判断し、およびそれに応じて前記第1の特定のしきい値に達するときを示すように構成されたしきい値判断モジュールと
    を実装させることを特徴とするシステム。
  17. コンピュータ実行可能命令を格納するように構成されたメモリ領域と、
    前記メモリ領域に結合されたプロセッサと
    を備えたコンピュータであって、
    前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、請求項1乃
    15のいずれか一項に記載の方法を前記コンピュータに実行させる
    ことを特徴とするコンピュータ。
JP2013100394A 2012-05-11 2013-05-10 買い物経験における仮想イメージと現実イメージとの比較 Active JP6227278B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/469,277 2012-05-11
US13/469,277 US8941645B2 (en) 2012-05-11 2012-05-11 Comparing virtual and real images in a shopping experience

Publications (3)

Publication Number Publication Date
JP2014002722A JP2014002722A (ja) 2014-01-09
JP2014002722A5 JP2014002722A5 (ja) 2016-06-09
JP6227278B2 true JP6227278B2 (ja) 2017-11-08

Family

ID=48577483

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013100394A Active JP6227278B2 (ja) 2012-05-11 2013-05-10 買い物経験における仮想イメージと現実イメージとの比較

Country Status (6)

Country Link
US (1) US8941645B2 (ja)
EP (1) EP2662831B1 (ja)
JP (1) JP6227278B2 (ja)
KR (1) KR20130126545A (ja)
CN (1) CN103390075B (ja)
CA (1) CA2815548A1 (ja)

Families Citing this family (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9824601B2 (en) 2012-06-12 2017-11-21 Dassault Systemes Symbiotic helper
US8923893B2 (en) * 2012-08-07 2014-12-30 Symbol Technologies, Inc. Real-time planogram generation and maintenance
US9380222B2 (en) * 2012-12-04 2016-06-28 Symbol Technologies, Llc Transmission of images for inventory monitoring
US10074121B2 (en) 2013-06-20 2018-09-11 Dassault Systemes Shopper helper
US9547838B2 (en) * 2013-11-06 2017-01-17 Oracle International Corporation Automated generation of a three-dimensional space representation and planogram verification
US10572846B2 (en) 2014-02-28 2020-02-25 Walmart Apollo, Llc Crowd planning tool
US10176452B2 (en) 2014-06-13 2019-01-08 Conduent Business Services Llc Store shelf imaging system and method
US10453046B2 (en) 2014-06-13 2019-10-22 Conduent Business Services, Llc Store shelf imaging system
JP5894227B2 (ja) * 2014-06-25 2016-03-23 株式会社カブク 情報処理装置及びプログラム
GB2528963B (en) 2014-08-07 2018-07-25 Artform Int Ltd Product display shelf, system and method
US9710926B2 (en) 2015-01-30 2017-07-18 Hewlett-Packard Development Company, L.P. Image processing of a retail shelf area
US12084824B2 (en) 2015-03-06 2024-09-10 Walmart Apollo, Llc Shopping facility assistance systems, devices and methods
US20180099846A1 (en) 2015-03-06 2018-04-12 Wal-Mart Stores, Inc. Method and apparatus for transporting a plurality of stacked motorized transport units
US10239740B2 (en) 2015-03-06 2019-03-26 Walmart Apollo, Llc Shopping facility assistance system and method having a motorized transport unit that selectively leads or follows a user within a shopping facility
WO2016142794A1 (en) * 2015-03-06 2016-09-15 Wal-Mart Stores, Inc Item monitoring system and method
CA2979059C (en) 2015-03-18 2021-07-20 United Parcel Services Of America, Inc. Systems and methods for verifying the contents of a shipment
US10366364B2 (en) 2015-04-16 2019-07-30 United Parcel Service Of America, Inc. Enhanced multi-layer cargo screening system, computer program product, and method of using the same
CA2930190C (en) 2015-05-16 2019-09-24 Tata Consultancy Services Limited Method and system for planogram compliance check based on visual analysis
CA2938573A1 (en) * 2015-08-14 2017-02-14 Wal-Mart Stores, Inc. Systems, devices and methods for monitoring modular compliance in a shopping space
US10223737B2 (en) * 2015-12-28 2019-03-05 Samsung Electronics Co., Ltd. Automatic product mapping
NL2016099B1 (en) * 2016-01-14 2017-07-24 Opticon Sensors Europe B V Method and device for detecting an inventory in a storage space.
US10702076B2 (en) 2016-01-18 2020-07-07 Atlas Bolt & Screw Company Llc Sensors, devices, adapters and mating structures for merchandisers and related methods
US10352689B2 (en) 2016-01-28 2019-07-16 Symbol Technologies, Llc Methods and systems for high precision locationing with depth values
GB2548475A (en) * 2016-02-11 2017-09-20 Wal Mart Stores Inc A mobile camera-equipped device-based approach to assessing a display
US10627984B2 (en) * 2016-02-29 2020-04-21 Walmart Apollo, Llc Systems, devices, and methods for dynamic virtual data analysis
US9928438B2 (en) 2016-03-10 2018-03-27 Conduent Business Services, Llc High accuracy localization system and method for retail store profiling via product image recognition and its corresponding dimension database
WO2017164968A1 (en) 2016-03-23 2017-09-28 Dci Marketing, Inc. Dba Dci - Artform Low product indicator for self facing merchandiser and related methods
CA2961938A1 (en) 2016-04-01 2017-10-01 Wal-Mart Stores, Inc. Systems and methods for moving pallets via unmanned motorized unit-guided forklifts
US10408625B2 (en) * 2016-04-19 2019-09-10 Toyota Motor Engineering & Manufacturing North America, Inc. Vision-assist systems with room scanners to detect and notify users of out-of-order room states
US9996820B2 (en) 2016-08-12 2018-06-12 Walmart Apollo, Llc Systems and methods for detecting missing labels
US10614538B2 (en) 2016-08-16 2020-04-07 Walmart Apollo, Llc Object detection using autonomous robot devices
US10552787B2 (en) 2016-09-04 2020-02-04 International Business Machines Corporation Store planogram to image registrations
US10002344B2 (en) 2016-10-17 2018-06-19 Conduent Business Services, Llc System and method for retail store promotional price tag detection
US10210603B2 (en) 2016-10-17 2019-02-19 Conduent Business Services Llc Store shelf imaging system and method
US10019803B2 (en) 2016-10-17 2018-07-10 Conduent Business Services, Llc Store shelf imaging system and method using a vertical LIDAR
US10289990B2 (en) 2016-10-17 2019-05-14 Conduent Business Services, Llc Store shelf imaging system and method
WO2018075662A2 (en) 2016-10-18 2018-04-26 Retail Space Solutions Llc Illuminated merchandiser, retrofit kit and related methods
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
WO2018107301A1 (en) * 2016-12-14 2018-06-21 Stockscan Nonintrusive, sensor-driven processor for managing stored commodities
US10643177B2 (en) 2017-03-21 2020-05-05 Kellogg Company Determining product placement compliance
US10846657B2 (en) * 2017-04-07 2020-11-24 Simbe Robotics, Inc. Method for tracking stock level within a store
US10726273B2 (en) 2017-05-01 2020-07-28 Symbol Technologies, Llc Method and apparatus for shelf feature and object placement detection from shelf images
US11367092B2 (en) 2017-05-01 2022-06-21 Symbol Technologies, Llc Method and apparatus for extracting and processing price text from an image set
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
US10591918B2 (en) 2017-05-01 2020-03-17 Symbol Technologies, Llc Fixed segmented lattice planning for a mobile automation apparatus
US11093896B2 (en) 2017-05-01 2021-08-17 Symbol Technologies, Llc Product status detection system
US10949798B2 (en) 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
US10505057B2 (en) 2017-05-01 2019-12-10 Symbol Technologies, Llc Device and method for operating cameras and light sources wherein parasitic reflections from a paired light source are not reflected into the paired camera
US10663590B2 (en) 2017-05-01 2020-05-26 Symbol Technologies, Llc Device and method for merging lidar data
WO2018204308A1 (en) 2017-05-01 2018-11-08 Symbol Technologies, Llc Method and apparatus for object status detection
WO2018201423A1 (en) 2017-05-05 2018-11-08 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
US10628997B2 (en) 2017-08-24 2020-04-21 Emilio Santos Method for generating three-dimensional models from constrained sketches and an instruction set
US10572763B2 (en) 2017-09-07 2020-02-25 Symbol Technologies, Llc Method and apparatus for support surface edge detection
US10521914B2 (en) 2017-09-07 2019-12-31 Symbol Technologies, Llc Multi-sensor object recognition system and method
US11531960B2 (en) 2017-09-29 2022-12-20 Nec Corporation Information processing apparatus, information processing system, control method, and program
US11176651B2 (en) * 2017-10-18 2021-11-16 Anthony C. Liberatori, Jr. Computer-controlled 3D analysis of collectible objects
EP3754546A1 (en) 2018-01-10 2020-12-23 Trax Technology Solutions Pte Ltd. Automatically monitoring retail products based on captured images
US10832436B2 (en) 2018-04-05 2020-11-10 Symbol Technologies, Llc Method, system and apparatus for recovering label positions
US10823572B2 (en) 2018-04-05 2020-11-03 Symbol Technologies, Llc Method, system and apparatus for generating navigational data
US10740911B2 (en) 2018-04-05 2020-08-11 Symbol Technologies, Llc Method, system and apparatus for correcting translucency artifacts in data representing a support structure
US10809078B2 (en) 2018-04-05 2020-10-20 Symbol Technologies, Llc Method, system and apparatus for dynamic path generation
US11327504B2 (en) 2018-04-05 2022-05-10 Symbol Technologies, Llc Method, system and apparatus for mobile automation apparatus localization
US11100302B2 (en) * 2018-08-13 2021-08-24 Sunrise R&D Holdings, Llc System and method for verification of displayed shelf tags using hand-held device
US11475404B2 (en) 2018-09-05 2022-10-18 Trax Technology Solutions Pte Ltd. Aggregating product shortage information
WO2020051213A1 (en) * 2018-09-05 2020-03-12 Trax Technology Solutions Pte Ltd. Systems and methods for monitoring products and aggregating product information
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11100303B2 (en) 2018-12-10 2021-08-24 Zebra Technologies Corporation Method, system and apparatus for auxiliary label detection and association
US11015938B2 (en) 2018-12-12 2021-05-25 Zebra Technologies Corporation Method, system and apparatus for navigational assistance
US10731970B2 (en) 2018-12-13 2020-08-04 Zebra Technologies Corporation Method, system and apparatus for support structure detection
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
IT201900009267A1 (it) * 2019-06-18 2020-12-18 Corob Spa Metodo di controllo di una macchina di dispensazione di prodotti fluidi
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
JP2021163253A (ja) * 2020-03-31 2021-10-11 東芝ライテック株式会社 情報処理装置及び情報処理方法
JP2021163254A (ja) * 2020-03-31 2021-10-11 東芝ライテック株式会社 情報処理装置及び情報処理方法
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
US11521003B1 (en) * 2021-06-23 2022-12-06 Zebra Technologies Corporation Layout generation for location-tracking sensors
US20240095815A1 (en) * 2022-09-16 2024-03-21 Lowe's Companies, Inc. Mixed reality presentation based on a virtual location within a virtual model of a physical space

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6426757B1 (en) 1996-03-04 2002-07-30 International Business Machines Corporation Method and apparatus for providing pseudo-3D rendering for virtual reality computer user interfaces
JP2000281204A (ja) * 1999-03-31 2000-10-10 Fuji Electric Co Ltd 在庫管理システム
CN1388467A (zh) * 2001-05-30 2003-01-01 英华达股份有限公司 可携式虚拟结合现场购物的系统及其方法
JP2002366621A (ja) * 2001-06-05 2002-12-20 Komatsu Noriko 店舗経営指導情報提供方法およびそのサーバのプログラム
WO2003025805A1 (en) * 2001-09-18 2003-03-27 Pro-Corp Holdings International Limited Image recognition inventory management system
US7493336B2 (en) 2003-07-22 2009-02-17 International Business Machines Corporation System and method of updating planogram information using RFID tags and personal shopping device
US8355944B2 (en) 2003-09-04 2013-01-15 Webconcepts, Inc. Methods and systems for collaborative demand planning and replenishment
US7019742B2 (en) 2003-11-20 2006-03-28 Microsoft Corporation Dynamic 2D imposters of 3D graphic objects
US7680694B2 (en) 2004-03-11 2010-03-16 American Express Travel Related Services Company, Inc. Method and apparatus for a user to shop online in a three dimensional virtual reality setting
JP2005321639A (ja) * 2004-05-10 2005-11-17 Daiki Sound Kk 音楽コンテンツの配信方法、音楽コンテンツ配信システム及び音楽コンテンツ再生用プログラム
WO2006058292A2 (en) * 2004-11-29 2006-06-01 Purdue Research Foundation Methods for retrieving shapes and drawings
US7440903B2 (en) 2005-01-28 2008-10-21 Target Brands, Inc. System and method for evaluating and recommending planograms
JP4747622B2 (ja) * 2005-03-18 2011-08-17 オムロン株式会社 情報処理装置、情報処理方法、制御プログラム、制御プログラムを記録した記録媒体、および情報処理システム
US20090201288A1 (en) * 2005-04-04 2009-08-13 Amir Fischer Rendering 3D Computer Graphics Using 2D Computer Graphics Capabilities
US8301516B2 (en) 2006-04-04 2012-10-30 Gladson, Llc Apparatus and method for maintaining a consumer products database
US20100171826A1 (en) * 2006-04-12 2010-07-08 Store Eyes, Inc. Method for measuring retail display and compliance
JP2008117113A (ja) * 2006-11-02 2008-05-22 Fresh Remix Kk 画像生成装置および方法、画像生成プログラム
US20090138113A1 (en) * 2006-11-27 2009-05-28 Designin Corporation Systems, methods, and computer program products for home and landscape design
JP2008242938A (ja) * 2007-03-28 2008-10-09 Toppan Printing Co Ltd 三次元cg画像による陳列シミュレーションシステム
US8009864B2 (en) 2007-08-31 2011-08-30 Accenture Global Services Limited Determination of inventory conditions based on image processing
US9135491B2 (en) * 2007-08-31 2015-09-15 Accenture Global Services Limited Digital point-of-sale analyzer
US8630924B2 (en) * 2007-08-31 2014-01-14 Accenture Global Services Limited Detection of stock out conditions based on image processing
US7949568B2 (en) 2007-08-31 2011-05-24 Accenture Global Services Limited Determination of product display parameters based on image processing
JP2009187482A (ja) * 2008-02-08 2009-08-20 Nippon Sogo System Kk 棚割再現方法、棚割再現プログラム、棚割評価方法、棚割評価プログラム及び記録媒体
US8049621B1 (en) 2009-05-28 2011-11-01 Walgreen Co. Method and apparatus for remote merchandise planogram auditing and reporting
US20110115909A1 (en) * 2009-11-13 2011-05-19 Sternberg Stanley R Method for tracking an object through an environment across multiple cameras

Also Published As

Publication number Publication date
CN103390075B (zh) 2017-10-27
KR20130126545A (ko) 2013-11-20
JP2014002722A (ja) 2014-01-09
CA2815548A1 (en) 2013-11-11
US8941645B2 (en) 2015-01-27
EP2662831A3 (en) 2017-06-14
CN103390075A (zh) 2013-11-13
EP2662831A2 (en) 2013-11-13
EP2662831B1 (en) 2022-08-31
US20130300729A1 (en) 2013-11-14

Similar Documents

Publication Publication Date Title
JP6227278B2 (ja) 買い物経験における仮想イメージと現実イメージとの比較
US20210279852A1 (en) Identifying flood damage to an indoor environment using a virtual representation
CN109271685B (zh) 一种基于bim的城市更新改造数据存储方法及装置
TWI691934B (zh) 基於擴增實境的影像識別方法及裝置
US20180225408A1 (en) System and method for interactive modeling and analysis of 3-d digital assemblies
US11709253B1 (en) Augmented reality method for repairing damage or replacing physical objects
US11935202B2 (en) Augmented reality enabled dynamic product presentation
US10997761B2 (en) Systems and methods for creating and delivering augmented reality content
US10417833B2 (en) Automatic 3D camera alignment and object arrangment to match a 2D background image
US11670065B2 (en) Systems and methods for providing augmented media
CN111047392B (zh) 一种构建数字化店铺的系统、方法及存储介质
CA2861269A1 (en) Systems and methods for rule-based content optimization
US10627984B2 (en) Systems, devices, and methods for dynamic virtual data analysis
EP4099276A1 (en) Systems and methods for supplementing digital media with three-dimensional (3d) models
CN117095135B (zh) 可在线编辑的工业三维场景建模布置方法、装置
JP2015512074A (ja) ルールベースのコンテンツ生成のためのシステム及び方法
Tahirović et al. Designing augmented reality services for e-business: a project management perspective
CN113836337A (zh) Bim的展示方法、装置、设备及存储介质
CN110232457A (zh) 一种政务服务大厅系统
US20230186374A1 (en) Remote based online product selection
US20240354347A1 (en) Systems and Methods for Creating and Delivering Augmented Reality Content
US20240029279A1 (en) Systems and methods for generating augmented reality scenes
CN108182199B (zh) 一种电力交易数据图形生成的方法和系统
Hwang et al. Development of vr based authoring tool for smart factory
CA3061403A1 (en) Systems and methods for creating and delivering augmented reality content

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160419

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171011

R150 Certificate of patent or registration of utility model

Ref document number: 6227278

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250