JP7495034B2 - 物理的アイテムに関する拡張現実シーンを生成するシステムおよび方法 - Google Patents

物理的アイテムに関する拡張現実シーンを生成するシステムおよび方法 Download PDF

Info

Publication number
JP7495034B2
JP7495034B2 JP2021011671A JP2021011671A JP7495034B2 JP 7495034 B2 JP7495034 B2 JP 7495034B2 JP 2021011671 A JP2021011671 A JP 2021011671A JP 2021011671 A JP2021011671 A JP 2021011671A JP 7495034 B2 JP7495034 B2 JP 7495034B2
Authority
JP
Japan
Prior art keywords
scene
customer
product
physical
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021011671A
Other languages
English (en)
Other versions
JP2021125258A (ja
JP2021125258A5 (ja
Inventor
ウェイド ジョナサン
ミッコ ハーポヤ ユホ
レオネル デルガド バイロン
ボーシャン ダニエル
Original Assignee
ショッピファイ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ショッピファイ インコーポレイテッド filed Critical ショッピファイ インコーポレイテッド
Publication of JP2021125258A publication Critical patent/JP2021125258A/ja
Publication of JP2021125258A5 publication Critical patent/JP2021125258A5/ja
Application granted granted Critical
Publication of JP7495034B2 publication Critical patent/JP7495034B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0623Item investigation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0631Item recommendations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/04Architectural design, interior design

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Software Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Description

(分野)
本出願は、拡張現実(AR)に関し、特定の実施形態では、ARコンテンツの生成に関している。
(背景)
ARは、コンピュータ生成コンテンツまたは仮想コンテンツを用いた実世界体験の強化に関している。いくつかの場合では、ARは、物理的な実世界コンテンツをコンピュータ生成コンテンツと重ね合わせることに関している。この重ね合わせは、建設的または非建設的のいずれかであり得る。建設的ARが、実世界体験にコンテンツを追加するのに対し、非建設的ARは、実世界体験内のコンテンツを隠す。ARは、仮想現実(VR)とは異なる。VRは、完全なコンピュータ生成体験の創出に関しているのに対し、ARは、実世界体験の少なくとも一部を維持するが、コンピュータ生成コンテンツを用いてその実世界体験の知覚を変更する。
(概要)
本開示のいくつかの実施形態は、物理的アイテムに関するARシーンの生成に関している。ARシーンは、ユーザ(例えば顧客)が、ユーザおよび/または物理的アイテムに即し得る特定の環境または設定において物理的アイテムを視認することを可能とし、ユーザが実世界において物理的アイテムと相互作用することも可能とする。
本発明は、例えば以下を提供する。
(項目1)
コンピュータ実装方法であって、前記コンピュータ実装方法は、
物理的アイテムの画像を取得することであって、前記画像は、ユーザに関連付けられたデバイスによって捕捉されている、ことと、
前記物理的アイテムに関連付けられた第1の情報を取得することであって、前記第1の情報は、前記物理的アイテムの寸法を含む、ことと、
前記ユーザおよび前記物理的アイテムのうちの少なくとも1つに関連付けられた第2の情報を取得することであって、前記第2の情報は、拡張現実内で前記物理的アイテムを提示するための環境を画定する情報を含む、ことと、
少なくとも前記第1および第2の情報に基づいて、拡張現実(AR)シーンを生成することであって、前記ARシーンは、前記環境のコンピュータ生成シーンを含み、前記環境の前記コンピュータ生成シーンに準じて前記環境内で前記物理的アイテムを描写する、ことと、
前記ARシーンを表示することを前記デバイスに命令することと
を含む、コンピュータ実装方法。
(項目2)
前記第2の情報を取得することは、拡張現実内で前記物理的アイテムを提示するための前記環境の3次元(3D)モデルを取得することを含み、
前記物理的アイテムは、前記ユーザおよび前記物理的アイテムのうちの少なくとも1つに関連付けられており、
前記コンピュータ生成シーンは、前記3Dモデルに基づいて生成される、上記項目に記載のコンピュータ実装方法。
(項目3)
複数の可能な環境の中から、拡張現実内で前記物理的アイテムを提示するための前記環境の選択を受信することをさらに含み、前記3Dモデルは、前記選択に基づいて複数の可能な環境の3Dモデルの中から選択される、上記項目のいずれかに記載のコンピュータ実装方法。
(項目4)
前記物理的アイテムに対応する製品を決定することをさらに含み、
前記第2の情報は、前記ユーザおよび前記製品のうちの少なくとも1つに関連付けられている、上記項目のいずれかに記載のコンピュータ実装方法。
(項目5)
前記製品は、第1の製品であり、
前記第2の情報は、前記ユーザおよび前記第1の製品のうちの少なくとも1つに関連付けられた第2の製品の指示をさらに含み、
前記コンピュータ生成シーンは、前記第2の製品の仮想表現をさらに含む、上記項目のいずれかに記載のコンピュータ実装方法。
(項目6)
前記物理的アイテムに対応する前記製品を決定することは、前記製品の指示を受信することを含む、上記項目のいずれかに記載のコンピュータ実装方法。
(項目7)
前記物理的アイテムに対応する前記製品を決定することは、前記物理的アイテムの前記画像を分析することを含む、上記項目のいずれかに記載のコンピュータ実装方法。
(項目8)
前記ARシーンを生成することは、前記物理的アイテムの前記寸法に対して前記コンピュータ生成シーンをスケーリングすることを含む、上記項目のいずれかに記載のコンピュータ実装方法。
(項目9)
前記ARシーンを生成することは、前記コンピュータ生成シーン内の仮想ポイントに前記画像の一部を定着させることを含む、上記項目のいずれかに記載のコンピュータ実装方法。
(項目10)
前記ARシーンを修正するための要求を受信することと、
前記要求に基づいて、修正されたARシーンを生成することと、
前記修正されたARシーンを表示することを前記デバイスに命令することと
をさらに含む、上記項目のいずれかに記載のコンピュータ実装方法。
(項目11)
前記画像は、第1の画像であり、前記物理的アイテムは、第1の物理的アイテムであり、前記デバイスは、第1のデバイスであり、前記ユーザは、第1のユーザであり、前記方法は、
第2の物理的アイテムの第2の画像を取得すること
をさらに含み、前記第2の画像は、第2のユーザに関連付けられた第2のデバイスによって捕捉されており、前記ARシーンは、前記第2の物理的アイテムの仮想表現をさらに含む、上記項目のいずれかに記載のコンピュータ実装方法。
(項目12)
前記第1および第2の情報のうちの少なくとも1つを取得することは、機械学習モデルを用いて前記第1および第2の情報のうちの前記少なくとも1つを取得することを含む、上記項目のいずれかに記載のコンピュータ実装方法。
(項目13)
前記ARシーンを生成することは、視覚的コンテンツと、聴覚的コンテンツおよび触覚的コンテンツのうちの1つ以上とを生成することを含む、上記項目のいずれかに記載のコンピュータ実装方法。
(項目14)
システムであって、前記システムは、
メモリであって、前記メモリは、(i)ユーザに関連付けられたデバイスによって捕捉された物理的アイテムの画像と、(ii)前記物理的アイテムに関連付けられた第1の情報と、(iii)前記ユーザおよび前記物理的アイテムのうちの少なくとも1つに関連付けられた第2の情報とを記憶している、メモリと、
上記項目のいずれかに記載の方法を実行するように構成されたプロセッサと
を備えている、システム。
(項目15)
コンピュータプログラムであって、前記コンピュータプログラムは、コンピュータによって実行されると、上記項目のいずれかに記載の方法のステップを前記コンピュータに実行させる、コンピュータプログラム。
(摘要)
物理的アイテムに関する拡張現実(AR)シーンの生成のためのシステムおよび方法が提供される。ARシーンは、顧客が実世界内の物理的アイテムと相互作用することを可能とする一方で、顧客が、顧客および/または物理的アイテムに即し得る仮想設定内の物理的アイテムを眺めることも可能とする。ある実施形態によると、ARシーンは、物理的アイテムにために生成される。ARシーンは、コンピュータ生成シーンと、物理的アイテムの画像の少なくとも一部とを含み、コンピュータ生成シーンは、ユーザおよび/または物理的アイテムに関連付けられた情報に基づく。ARシーンは、その後、デバイスにおいて表示される。
よって、以下の請求項で詳述されるように、方法、システム、およびコンピュータプログラムが提供される。
(図面の簡単な説明)
実施形態は、添付の図を参照して、例としてのみ説明される。
図1は、ある実施形態によるeコマースプラットフォームのブロック図である。
図2は、ある実施形態によるアドミニストレータのホームページの例である。
図3は、図1のeコマースプラットフォームであるが、ARエンジンを含むeコマースプラットフォームを図示する。
図4は、ARコンテンツを生成する例示的システムを図示するブロック図である。
図5は、ある実施形態による方法を図示するフロー図である。
図6から図8は、いくつかの実施形態による顧客がソファーに対応する製品を識別することを図示する図である。 図6から図8は、いくつかの実施形態による顧客がソファーに対応する製品を識別することを図示する図である。 図6から図8は、いくつかの実施形態による顧客がソファーに対応する製品を識別することを図示する図である。
図9は、ある実施形態による図6に示されるソファーに関する推薦されたシーンの選択を図示する図である。
図10は、ある実施形態による図6に示されるソファーに関する特定のシーンの検索を図示する図である。
図11および図12は、いくつかの実施形態による顧客デバイスに表示されるARシーンを図示する図である。 図11および図12は、いくつかの実施形態による顧客デバイスに表示されるARシーンを図示する図である。
図13および図14は、いくつかの実施形態による顧客デバイスに表示される修正されたARシーンを図示する図である。 図13および図14は、いくつかの実施形態による顧客デバイスに表示される修正されたARシーンを図示する図である。
図15は、ある実施形態によるARシーン内の衝突を図示する図である。
図16および図17は、他の実施形態による顧客デバイスに表示される修正されたARシーンを図示する図である。 図16および図17は、他の実施形態による顧客デバイスに表示される修正されたARシーンを図示する図である。
図18は、ある実施形態による顧客デバイスを移動させた後に顧客デバイスに表示されるARシーンを図示する図である。
図19は、ある実施形態による顧客デバイスに表示されるARシーンを図示する図である。
図20は、ある実施形態による顧客デバイスに表示される修正されたARシーンを図示する図である。
(詳細な説明)
例証の目的のために、特定の例示的実施形態が、ここで、図とともに以下でさらに詳細に説明される。
例示的なeコマースプラットフォーム
いくつかの実施形態では、本明細書中で開示される方法は、eコマースプラットフォーム等のコマースプラットフォームにおいて、またはそれに関連付けられて実施され得る。
図1は、一実施形態によるeコマースプラットフォーム100を図示する。eコマースプラットフォーム100は、商人の製品およびサービスを顧客に提供するために用いられ得る。本開示は、製品およびサービスを購入するための装置、システムおよびプロセスを用いることを構想しているが、本明細書中の説明は、単純化のため、製品に言及する。この開示全体にわたる製品への全ての言及は、物理的製品、デジタルコンテンツ、チケット、サブスクリプション、提供されるサービス等を含む製品および/またはサービスにも言及していることを理解されるべきである。
本開示は、全体にわたって、「商人」および「顧客」は、個人より多くあり得ることを構想しているが、単純化のため、本明細書中の説明は、概してそのように商人および顧客に言及する。商人および顧客への全ての言及が、この開示全体にわたって、個人、会社、企業、コンピューティングエンティティ等の群に言及することも理解されるべきであり、製品の営利または非営利の交換を表し得る。さらに、本開示は、全体にわたって、「商人」および「顧客」に言及し、そのように彼らの役割を説明するが、eコマースプラットフォーム100は、eコマース環境においてユーザをより概略的にサポートすることを理解されるべきであり、この開示全体にわたる商人および顧客への全ての言及は、ユーザが、商人ユーザ(例えば、売り手、小売業者、卸売業者、または製品のプロバイダ)、顧客ユーザ(例えば、買い手、購入エージェント、または製品のユーザ)、潜在的ユーザ(例えば、閲覧しているユーザおよびまだ購入を確約していないユーザ、製品をマーケティングし販売することにおける潜在的な使用についてeコマースプラットフォーム100を評価するユーザ等)、サービスプロバイダユーザ(例えば、配送プロバイダ112、金融プロバイダ等)、会社ユーザまたは企業ユーザ(例えば、製品の購入、販売、または使用を代表する会社、事業者ユーザ、顧客関連または顧客管理の代理人等)、情報テクノロジーユーザ、コンピューティングエンティティユーザ(例えば、製品の購入、販売、または使用のためのコンピューティングボット)である場合等、ユーザへの言及でもあることを理解されるべきである。
eコマースプラットフォーム100は、商人に彼らのビジネスを管理するためのオンラインリソースおよびオンラインファシリティを提供する集中型システムを提供し得る。本明細書中で説明されるファシリティは、プラットフォーム100の一部または外部であり得る1つ以上のプロセッサにおいてコンピュータソフトウェア、モジュール、プログラムコード、および/または命令を実行する機械を通じて部分的または全体的に展開され得る。商人は、例えば、オンラインストア138を通じて、チャンネル110A-Bを通じて、物理的場所にあるPOSデバイス152(例えば、キオスク、端末、リーダ、プリンタ、3Dプリンタ等を通じた物理的な店頭または他の場所)を通じて、顧客におけるeコマース体験を実装することによって、eコマースプラットフォーム100を通じて彼らのビジネスを管理することによって、eコマースプラットフォーム100の通信ファシリティ129を通じて顧客と相互作用することによって、またはこれらの任意の組み合わせによって、顧客とのコマースを管理するために、eコマースプラットフォーム100を活用し得る。商人は、顧客との唯一のコマースプレゼンスとして、または物理的店舗(例えば、「ブリックアンドモルタル」小売店)、プラットフォーム外の商人のウェブサイト104(例えば、コマースインターネットウェブサイト、またはeコマースプラットフォームとは別個で商人によって、またはその代理でサポートされた他のインターネットもしくはウェブプロパティまたはアセット)を通じて等、他の商人コマースファシリティと共にeコマースプラットフォーム100を活用し得る。しかし、例えば、プラットフォーム外の商人のウェブサイト104からオンラインストア138にコンテンツをつなぐ「買うボタン」を通じて、商人の物理的店舗内のPOSデバイス152がeコマースプラットフォーム100につながれている場合、またはプラットフォーム外の商人のウェブサイト104がeコマースプラットフォーム100内に結び付けられている場合、これらの「他の」商人コマースファシリティも、eコマースプラットフォーム内に統合され得る。
オンラインストア138は、複数の仮想的店頭を備えているマルチテナントファシリティを表し得る。実施形態では、商人は、例えば商人デバイス102(例えば、コンピュータ、ラップトップコンピュータ、モバイルコンピューティングデバイス等)を通じて、オンラインストア138内の1つ以上の店頭を管理し、数多くの異なるチャンネル110A-B(例えば、オンラインストア138、POSデバイス152を通じた物理的店頭、ソーシャルネットワーク、ソーシャルメディアページ、ソーシャルメディアメッセージシステム等のウェブサイトまたはソーシャルメディアチャンネルに統合された電子的な買うボタンを通じた電子的市場等)を通じて製品を顧客に提供し得る。商人は、チャンネル110A-Bを横断して販売し、そして、eコマースプラットフォーム100を通じて彼らの販売を管理し得、チャンネル110Aは、eコマースプラットフォーム100の内部に、またはeコマースチャンネル110Bの外部から提供され得る。商人は、例えば彼らの物理的小売店で、ポップアップにおいて、卸売りを通して、電話で販売し、そして、eコマースプラットフォーム100を通じて彼らの販売を管理し得る。商人は、これらの全てまたは任意の組み合わせを使用し、POSデバイス152を活用している物理的店頭を通してビジネスを維持し、オンラインストア138を通じて仮想的店頭を維持し、顧客相互作用に影響を与えるために通信ファシリティ129を活用し、販売の利益を向上させるために分析132を活用し得る。この開示全体にわたって、オンラインストア138および店頭という語は、同義的に、eコマースプラットフォーム100を通じた商人のオンラインeコマース提供主体を指すために用いられ得、オンラインストア138は、(例えば、複数の商人のための)eコマースプラットフォーム100によってサポートされた店頭のマルチテナント集合体、または個々の商人の店頭(例えば、商人のオンラインストア)を指し得る。
いくつかの実施形態では、顧客は、顧客デバイス150(例えば、コンピュータ、ラップトップコンピュータ、モバイルコンピューティングデバイス等)、POSデバイス152(例えば、小売りデバイス、キオスク、自動勘定システム等)、または業界で知られている任意の他のコマースインタフェースデバイスを通じて相互作用し得る。eコマースプラットフォーム100は、商人が、オンラインストア138を通じて、物理的場所(例えば、商人の店頭または他の場所)にあるPOSデバイス152を通じて、顧客に到達し、電子通信ファシリティ129を介した対話を通じて顧客とのコマースを促進すること等を可能とし得、そのため、顧客に到達することと、顧客に到達し顧客と相互作用することのために利用可能な実通路または仮想通路に関する商人サービスを促進することとを行うためのシステムを提供する。
いくつかの実施形態では、本明細書中でさらに説明されるように、eコマースプラットフォーム100は、プロセッサおよびメモリを含む処理ファシリティを通じて実装され得、処理ファシリティは、一連の命令を記憶しており、命令が実行されたとき、eコマースプラットフォーム100は、本明細書で説明されるようにeコマースを遂行し、機能をサポートする。処理ファシリティは、サーバ、クライアント、ネットワークインフラストラクチャ、モバイルコンピューティングプラットフォーム、クラウドコンピューティングプラットフォーム、固定コンピューティングプラットフォーム、または他のコンピューティングプラットフォームの一部であり、eコマースプラットフォーム100の電子コンポーネント、商人デバイス102、支払いゲートウェイ106、アプリケーション開発者、チャンネル110A-B、配送プロバイダ112、顧客デバイス150、販売デバイス152のポイント等の間の電子的接続および通信を提供し得る。eコマースプラットフォーム100は、ソフトウェアがサブスクリプションベースでライセンスを与えられ、一元的にホストされた(たとえば、Webブラウザまたは他のアプリケーションを介してクライアント(例えば、シンクライアント)を用いてユーザによってアクセスされる、POSデバイスによってアクセスされる等)ソフトウェアおよび送達モデル等における、クラウドコンピューティングサービス、ソフトウェア・アズ・ア・サービス(SaaS)、インフラストラクチャ・アズ・ア・サービス(IaaS)、プラットフォーム・アズ・ア・サービス(PaaS)、デスクトップ・アズ・ア・サービス(DaaS)、管理型ソフトウェア・アズ・ア・サービス(MSaaS)、モバイル・バックエンド・アズ・ア・サービス(MBaaS)、情報テクノロジ管理・アズ・ア・サービス(ITMaaS)等として実装され得る。いくつかの実施形態では、eコマースプラットフォーム100の要素は、種々のプラットフォーム、およびiOS、Android等のオペレーティングシステムにおいて、ならびにWeb上等で動作するように実装され得る(例えば、アドミニストレータ114は、多くの場合、iOS、Android用の所与のオンラインストア、およびWebにおいて実装され、各々は同様の機能を有する)。
いくつかの実施形態では、オンラインストア138は、eコマースプラットフォーム100のサーバによって提供されるウェブページを通じて顧客デバイス150にサービス提供され得る。サーバは、ブラウザまたは顧客デバイス150にインストールされた他のアプリケーションからウェブページの要求を受信し得、ブラウザ(または他のアプリケーション)は、IPアドレスを通じてサーバに接続し、IPアドレスは、ドメイン名を翻訳することによって取得される。これに対し、サーバは、要求されたウェブページを送り返す。ウェブページは、Hypertext Markup Language(HTML)、テンプレート言語、JavaScript(登録商標)またはこれらの任意の組み合わせで書かれているか、またはこれらを含み得る。例えば、HTMLは、ウェブページのレイアウト、フォーマット、およびコンテンツ等のウェブページに関する静的情報を記述するコンピュータ言語である。ウェブサイトの設計者および開発者は、テンプレート言語を用いて、複数のページで同一である静的コンテンツと、あるページから次のページで変化する動的コンテンツとを組み合わせるウェブページを構築し得る。テンプレート言語は、オンラインストアからのデータでページを動的に追加する一方で、ウェブページのレイアウトを画定する静的要素を再利用することを可能とし得る。静的要素は、HTMLで書かれ得、動的要素は、テンプレート言語で書かれ得る。ファイル内のテンプレート言語要素は、プレースホルダーとして機能し、それによって、ファイル内のコードは、コンパイルされて顧客デバイス150に送られ、その後、テンプレート言語は、テーマがインストールされるとき等に、オンラインストア138からのデータによって置き換えられる。テンプレートおよびテーマは、タグ、オブジェクト、およびフィルタを考慮し得る。そして、クライアントデバイスウェブブラウザ(または他のアプリケーション)は、それに応じて、ページをレンダリングする。
いくつかの実施形態では、オンラインストア138は、eコマースプラットフォーム100によって顧客に提供され得、顧客は、種々の取り扱い製品を閲覧および購入し得る(例えば、製品をカートに追加する、買うボタンを通じて即購入する等)。オンラインストア138は、製品が(直接商人から購入するのではなく)eコマースプラットフォーム100を通じて提供されていることを顧客が必ずしも気付かない透明な手法で顧客に提供され得る。商人は、商人が構成可能なドメイン名、カスタマイズ可能なHTMLテーマ等を用いて、彼らのオンラインストア138をカスタマイズし得る。商人は、テーマシステムを通じて彼らのウェブサイトの見た目および雰囲気をカスタマイズし得、例えば、商人は、オンラインストア138の製品のヒエラルキー内に示される同一の下位の製品およびビジネスデータを示しながらオンラインストアのテーマを変更することによって、彼らのオンラインストアの見た目および雰囲気を選択および変更し得る。テーマは、テーマエディタおよびデザインインタフェースを通じてさらにカスタマイズされ得、デザインインタフェースは、ユーザが彼らのウェブサイトのデザインを柔軟にカスタマイズすることを可能とする。テーマは、特有の色、フォント、および予め構築されているレイアウトスキーム等の側面を変更するテーマ特有の設定を用いることによってもカスタマイズされ得る。オンラインストアは、ウェブサイトコンテンツのためのコンテンツ管理システムを実装し得る。商人は、ブログ投稿または静的ページを作り、ブログ、記事等を通じて彼らのオンラインストア138にそれらを発信するのみならず、ナビゲーションメニューも構成し得る。商人は、システムによる記憶(例えば、データ134)等のために、画像(例えば、製品の画像)、ビデオ、コンテンツ、データ等をeコマースプラットフォーム100にアップロードし得る。いくつかの実施形態では、eコマースプラットフォーム100は、画像をサイズ変更し、画像を製品に関連付け、画像にテキストを追加し関連付け、新たな製品バリエーションの画像を追加し、画像を保護するため等の機能を提供し得る。
本明細書中で説明されるように、eコマースプラットフォーム100は、電話を介して、および本明細書中で説明されるような物理的POSデバイス152を通じて、多くの異なるチャンネル110A-Bを通じた、および製品の取引ファシリティ(オンラインストア138を含む)を商人に提供し得る。eコマースプラットフォーム100は、ビジネスサポートサービス116、アドミニストレータ114等を含み、それらは、彼らのオンラインストアに関連付けられたドメインサービス118、顧客との取引を促進するための支払いサービス120、購入された製品の配送オプションを顧客に提供するための配送サービス122、製品の保護および信頼性に関連付けられたリスクおよび保証サービス124、商人の請求等を提供する等、オンラインビジネスを営業することに関連付けられ得る。サービス116は、支払処理のための支払いゲートウェイ106、製品の配送を捗らせるための配送プロバイダ112等を通じて、eコマースプラットフォーム100を介してまたは外部ファシリティに関連付けられて提供され得る。
いくつかの実施形態では、eコマースプラットフォーム100は、リアルタイムの最新情報、追跡、自動的レート計算、バルクオーダ―準備、ラベル印刷等を商人に提供する等、統合型配送サービス122を(例えば、eコマースプラットフォーム配送ファシリティを通じて、または第三の配送キャリアを通じて)提供し得る。
図2は、アドミニストレータ114のホームページに関する非限定的な実施形態を描写し、日ごとのタスク、店舗の現在の活動、および商人が彼らのビジネスを構築するために取るべき次のステップについての情報を示し得る。いくつかの実施形態では、商人は、商人デバイス102を介して(デスクトップコンピュータまたはモバイルデバイスから等)アドミニストレータ114にログインし、オンラインストア138の現在の活動を視認する、オンラインストア138のカタログを更新する、注文、現在の訪問者の活動、および全体の注文活動等を管理する等、商人のオンラインストア138の局面を管理し得る。いくつかの実施形態では、商人は、例えば図2に示されるようにサイドバーを用いることによって、アドミニストレータ114の異なるセクションにアクセスすることが可能であり得る。アドミニストレータ114のセクションは、注文、製品、顧客、取り扱い報告および割引を含む商人のビジネスの核となる局面にアクセスし、それを管理するための種々のインタフェースを含み得る。アドミニストレータ114は、店舗のための販売チャンネルを管理するためのインタフェースも含み得、インタフェースは、オンラインストア、店舗にアクセスするために顧客に利用可能にされたモバイルアプリケーション(単数または複数)(モバイルアプリ)、POSデバイス、および/または買うボタンを含む。アドミニストレータ114は、商人のアカウントにインストールされたアプリケーション(アプリ)を管理するためのインタフェース(商人のオンラインストア138およびアカウントに適用される設定)も含み得る。商人は、製品、ページ、または他の情報を見つけるために検索バーを用い得る。商人が使用しているデバイス102またはソフトウェアアプリケーションに依存して、商人は、アドミニストレータ114を通じて異なる機能を可能とされ得る。例えば、商人がブラウザからアドミニストレータ114にログインする場合、彼らは、彼らのオンラインストア138の全ての局面を管理することが可能であり得る。商人が彼らのモバイルデバイスから(例えばモバイルアプリケーションを介して)ログインする場合、彼らは、オンラインストア138の現在の活動を眺める、オンラインストア138のカタログを更新する、注文を管理する等、彼らのオンラインストア138の側面の全てまたは一部を視認することが可能であり得る。
コマースおよびオンラインストア138への訪問者に関するより詳細な情報は、商人のビジネス全体に関する売上概要、活動している販売チャンネルに関する特定の売上および従業員データ等を表示する等、獲得レポートまたはメトリクスを通じて見られ得る。レポートは、獲得レポート、行動レポート、顧客レポート、金融レポート、マーケティングレポート、売上レポート、カスタムレポート等を含み得る。商人は、ドロップダウンメニュー等を用いることによって、様々な期間(例えば、日、週、月等)から様々なチャンネル110A-Bに関する売上データを見ることが可能であり得る。概観ダッシュボードが、店舗の売上および従業員データのより詳細な図を望む商人に提供され得る。ホームメトリクスセクションにおける活動フィードは、商人のアカウントにおける活動の概観を図示するために提供され得る。例えば、「全ての現在の活動を見る」ダッシュボードボタンをクリックすることによって、商人は、彼らのアカウントにおける現在の活動のより長いフィードを見ることが可能であり得る。ホームページは、例えばアカウントステータス、成長、現在の顧客の活動等に基づいて、商人のオンラインストア138についての通知を示し得る。通知は、支払いを取り込む、履行された注文をマーキングする、完了した注文をアーカイブする等のプロセスを通じたナビゲーションで商人を支援するために提供され得る。
eコマースプラットフォーム100は、商人、顧客、商人デバイス102、顧客デバイス150、POSデバイス152等の間の通信相互作用を収集および分析するための電子メッセージ集約ファシリティを活用する等、電子通信を提供しマーケティングをするための通信ファシリティ129および関連付けられた商人インタフェースを提供し、製品の販売を提供するポテンシャルを増加させる等のために通信を集約および分析し得る。例えば、顧客は、製品に関連する質問を有し得、質問は、顧客と商人(または商人を代理する自動化されたプロセッサベースの代理人)との間の対話を生み出し得、通信ファシリティ129は、相互作用を分析し、販売に関する利益をどのように向上するかについて商人に分析を提供する。
eコマースプラットフォーム100は、例えばセキュアカードサーバ環境を通じた、顧客との安全な金融取引のための金融ファシリティ120を提供し得る。eコマースプラットフォーム100は、例えば、支払いカードインダストリーデータ(PCI)環境(例えば、カードサーバ)等にクレジットカード情報を記憶し得、金融情報を照合し、商人に請求書を送り、(例えば、現金を用いているとき)eコマースプラットフォーム100金融機関口座と商人の未払い勘定との間の自動決済(ACH)振替を遂行する。これらのシステムは、Sarbanes―Oxley Act(SOX)コンプライアンス、および、それらの開発および動作において要求される高いレベルの注意を有し得る。金融ファシリティ120は、例えば資金の貸し出し(例えば、貸出ファンド、現金前貸し等)および保険の付保を通して、商人に金融サポートも提供し得る。加えて、eコマースプラットフォーム100は、マーケティングおよびパートナーサービスのセットを提供し、eコマースプラットフォーム100とパートナーとの間の関係を制御し得る。それらは、新たな商人をeコマースプラットフォーム100に接続し、搭載し得る。これらのサービスは、商人がeコマースプラットフォーム100を横断して作業することを容易にすることによって商人の成長を可能とし得る。これらのサービスを通じて、商人は、eコマースプラットフォーム100を介したヘルプファシリティを提供され得る。
いくつかの実施形態では、オンラインストア138は、数多くの独立して運営される店頭をサポートし、毎日の各種の製品に関する大量な取引データを処理し得る。取引データは、顧客連絡先情報、請求情報、配送情報、購入された製品の情報、与えられたサービスの情報、およびeコマースプラットフォーム100を通したビジネスに関連付けられた任意の他の情報を含み得る。いくつかの実施形態では、eコマースプラットフォーム100は、データファシリティ134内にこのデータを記憶し得る。取引データは、分析132を生み出すために処理され得、ひいては、商人または第三のコマースエンティティに提供されて、顧客の傾向、マーケティングおよび売上の洞察、売上を向上するための推薦、顧客行動の評価、マーケティングおよび売上のモデル化、詐欺の傾向等を提供し、オンラインコマースに関連付けられ、レポートを通してダッシュボードインタフェースで提供され得る。eコマースプラットフォーム100は、ビジネスおよび商人の取引についての情報を記憶し得、データファシリティ134は、データを強化し、データに貢献し、データを精錬し、データを抽出する多くの手段を有し得、収集されたデータは、経時的にeコマースプラットフォーム100の局面の改善を可能とし得る。
図1を再度参照すると、いくつかの実施形態では、eコマースプラットフォーム100は、コンテンツ管理、タスク自動化およびデータ管理のためのコマース管理エンジン136で構成され、(例えば、製品、在庫、顧客、注文、提携、供給者、レポート、金融、リスクおよび詐欺等に関連付けられた)複数のオンラインストア138のサポートおよびサービスを可能とし得るが、eコマースプラットフォーム100は、アプリケーション142A-Bを通して拡張可能であり得、アプリケーション142A-Bは、多種多様な商人オンラインストア、POSデバイス、製品、およびサービスに適応するために要求されるより高い柔軟性およびカスタム処理を可能とし、アプリケーション142Aが、eコマースプラットフォーム100の内部に提供され得、または、アプリケーション142Bが、eコマースプラットフォーム100の外部に提供され得る。いくつかの実施形態では、アプリケーション142Aは、プラットフォーム100を提供する同じパーティによって、または異なるパーティによって提供され得る。いくつかの実施形態では、アプリケーション142Bは、プラットフォーム100を提供する同じパーティによって、または異なるパーティによって提供され得る。コマース管理エンジン136は、例えば顧客識別子、注文識別子、オンラインストア識別子等による機能およびデータの分配(例えば、分割)を通じた柔軟性およびスケーラビリティのために構成され得る。コマース管理エンジン136は、店舗特有のビジネスロジックに適応し得、いくつかの実施形態では、アドミニストレータ114および/またはオンラインストア138を統合し得る。
コマース管理エンジン136は、eコマースプラットフォーム100のベースまたは「核となる」機能を含み、そのため、本明細書中で説明されるように、オンラインストア138をサポートする全ての機能が、含めるのに適切であるわけではないこともある。例えば、コマース管理エンジン136内に含まれる機能は、「核となる」機能性のしきい値を超える必要があり得、「核となる」機能性のしきい値を通して、機能がコマース体験にとっての核であること(例えば、横断チャンネル、アドミニストレータインタフェース、商人の場所、産業、製品タイプ等のオンラインストア活動の大部分の共通性)、機能がオンラインストア138を横断して再利用可能であること(例えば核となる機能を横断して再利用/修正され得る機能)、同時に1つのオンラインストア138のコンテキストに限定されること(例えば、オンラインストア「分離原理」を実装し、この原理において、コードは、同時に複数のオンラインストア138と相互作用することが可能であるべきではなく、分離原理は、オンラインストア138が互いのデータにアクセスできないことを保証する)、取引仕事量を提供すること等が決定され得る。多くの要求される特徴が、コマース管理エンジン136によって直接提供されるか、または、アプリケーション142A-Bおよびチャンネル110A-Bへのアプリケーションプログラミングインタフェース(API)接続を通じたその拡張等によってインタフェース140A-Bを通して可能とされる(インタフェース140Aは、eコマースプラットフォーム100内のアプリケーション142Aおよび/またはチャンネル110Aに提供され、または、インタフェース140Bは、eコマースプラットフォーム100の外部のアプリケーション142Bおよび/またはチャンネル110Bに提供され得る)かのいずれかである場合、どの機能が実装されるかということの制御をメンテナンスすることが、コマース管理エンジン136が応答可能であり続けることを可能とし得る。概して、プラットフォーム100は、(拡張機能、コネクタ、API等であり得る)インタフェース140A-Bを含み得、インタフェース140A-Bは、他のプラットフォーム、システム、ソフトウェア、データソース、コード等への接続およびそれらとの通信を促進する。そのようなインタフェース140A-Bは、さらに概略的に、コマース管理エンジン136のインタフェース140A、またはプラットフォーム100のインタフェース140Bであり得る。ケアがコマース管理エンジン136内の規制機能に与えられない場合、低速データベースまたは致命的ではないバックエンドの破壊を通じたインフラストラクチャの劣化を通して、オフラインになっているデータセンター等による致命的なインフラストラクチャの破壊を通して、新たなコードが展開され、それが予期されるより実行するために長い時間を要することを通して、応答性が損なわれ得る。これらの状況を防ぐまたは軽減するために、コマース管理エンジン136は、例えばタイムアウト、クエリ、劣化を防ぐバックプレッシャー等を活用する構成を通じて応答性を維持するように構成され得る。
オンラインストアデータを分離することは、オンラインストア138と商人との間のデータプライバシーを維持するために重要であるが、例えば注文リスク査定システムまたはプラットフォーム支払いファシリティ(注文リスク査定システムおよびプラットフォーム支払いファシリティの両方は、うまく実施するために複数のオンラインストア138からの情報を要求する)において相互店舗データを収集し使用する理由が存在し得る。いくつかの実施形態では、分離原理に違反することなく、これらのコンポーネントをコマース管理エンジン136の外部に移動させること、およびeコマースプラットフォーム100内のそれら自身のインフラストラクチャ内に移動させることが好まれ得る。
いくつかの実施形態では、eコマースプラットフォーム100は、プラットフォーム支払いファシリティ120を提供し得、プラットフォーム支払いファシリティ120は、コマース管理エンジン136からのデータを活用するが分離原理に違反しないように外部に配置され得るコンポーネントの別の例である。プラットフォーム支払いファシリティ120は、オンラインストア138と相互作用する顧客が、コマース管理エンジン136によって安全に記憶された彼らの支払い情報を有することを可能とし、それによって、彼らは一度しか支払い情報を入力する必要がない。顧客が異なるオンラインストア138を訪問するとき、彼らが以前にその店舗に行ったことがない場合であっても、プラットフォーム支払いファシリティ120は、彼らの情報を回収し、より迅速で正確な勘定を可能とする。これは、クロスプラットフォームネットワーク効果を提供し得、例えば顧客の購入に関する使用の容易さのおかげでより頻繁に勘定をするより多くの顧客が存在するので、eコマースプラットフォーム100は、より多くの商人が参加するにつれてその商人により有用となる。このネットワークの効果を最大化するために、所与の顧客に関する支払い情報は、オンラインストアの勘定から回収可能であり得、情報がオンラインストア138を横断して世界的に利用可能となることを可能とする。各オンラインストア138が、任意の他のオンラインストア138に接続してそこに記憶された支払い情報を回収することが可能であることは、困難であり、誤りを起こしやすい。結果的に、プラットフォーム支払いファシリティは、コマース管理エンジン136の外部で実装され得る。
コマース管理エンジン136内に含まれていない機能に関して、アプリケーション142A-Bは、eコマースプラットフォーム100に特徴を追加する手段を提供する。アプリケーション142A-Bは、例えば、商人のオンラインストア138にあるデータにアクセスし、これを修正し、アドミニストレータ114を通じてタスクを遂行し、(例えば、拡張機能/APIを通じて表面化される)ユーザインタフェースを通じて商人のための新たなフローを創出し得る。商人は、アプリケーション検索、推薦およびサポート128を通じてアプリケーション142A-Bを発見しインストールすることが可能とされ得る。いくつかの実施形態では、核となる製品、核となる拡張ポイント、アプリケーション、およびアドミニストレータ114が、共に作業するように開発され得る。例えば、アプリケーション拡張ポイントは、アドミニストレータ114の内部に構築され得、それによって、核となる特徴が、アプリケーションによって拡張され得、アプリケーションは、拡張機能を通じて機能を商人に送達し得る。
いくつかの実施形態では、アプリケーション142A-Bは、インタフェース140A-Bを通じて機能を商人に送達し得、例えば、アプリケーション142A-Bは、取引データを商人に表面化すること(例えば、アプリ「エンジン、内臓アプリSDKを用いてモバイル管理およびウェブ管理内の私のアプリデータを表面化して」)、および/またはコマース管理エンジン136は、要求された作業を遂行することをアプリケーションに依頼すること(エンジン「アプリ、この勘定に関する地方税計算を私に提示して」)が可能である。
アプリケーション142A-Bは、例えば、オンラインストア138およびチャンネル110A-Bをサポートし、商人サポートを提供し、他のサービスと統合し得る。コマース管理エンジン136がオンラインストア138にサービスの基盤を提供し得る場合、アプリケーション142A-Bは、商人が特定のニーズおよび時には独自のニーズを満足させるための手段を提供し得る。異なる商人は、異なるニーズを有するため、異なるアプリケーション142A-Bから恩恵を受け得る。アプリケーション142A-Bは、アプリケーション分類(カテゴリ)の開発を通じてeコマースプラットフォーム100を通してより発見され得、アプリケーション分類は、例えば、検索、ランキング、および推薦モデルをサポートするアプリケーションデータサービスを通じて、およびアプリケーションストア、ホーム情報カード、アプリケーション設定ページ等のアプリケーション発見インタフェースを通じて、アプリケーションが商人のために遂行する機能のタイプによってアプリケーションがタグ付けされることを可能とする。
アプリケーション142A-Bは、インタフェース140A-Bを通じてコマース管理エンジン136に接続され得、例えば、APIを活用して、(REST、GraphQL等を通じて)コマース管理エンジン136を通じてまたはその中で利用可能な機能およびデータをアプリケーションの機能に公開する。例えば、eコマースプラットフォーム100は、アプリケーション拡張機能、プロセスフローサービス、開発者向けリソース等を含む商人およびパートナー向けの製品およびサービスにAPIインタフェース140A-Bを提供し得る。顧客がより頻繁にモバイルデバイスをショッピングのために用いることによって、モバイル使用に関連しているアプリケーション142A-Bは、関連する増大するコマーストラフィックをサポートするためのAPIのより拡張的な使用からの恩恵を受け得る。(例えばアプリケーション開発のために提供されるような)アプリケーションおよびAPIの使用を通じて提供される柔軟性は、eコマースプラットフォーム100が、コマース管理エンジン136に継続的な変更を要求することなく商人(および内部APIを通じた内部開発者)の新しい独自のニーズにより良く適応することを可能とし、従って、商人が必要とするものを商人が必要とするときに商人に提供する。例えば、配送サービス122は、配送またはキャリアサービスAPIを通じてコマース管理エンジン136と統合され得、従って、eコマースプラットフォーム100がコマース管理エンジン136で実行しているコードに直接的に影響を及ぼすことなく、配送サービス機能を提供することを可能とする。
バックオフィス動作に関連する問題(商人向けのアプリケーション142A-B)およびオンラインストア138における問題(顧客向けのアプリケーション142A-B)等、多くの商人の問題は、パートナーがアプリケーション開発を通じて商人ワークフローを改善および拡張することによって解決され得る。ビジネスをする一部として、多くの商人は、バックオフィスタスク(例えば、販促、在庫、割引、履行等)およびオンラインストアタスク(例えば、彼らのオンラインストアショップに関連したアプリケーション、フラッシュセール、新製品の注文等)のために毎日モバイルおよびウェブ関連のアプリケーションを用い、アプリケーション142A-Bは、拡張機能/API140A-Bを通じて、急速に成長する市場において製品を容易に見て購入することを助ける。いくつかの実施形態では、パートナー、アプリケーション開発者、内部アプリケーションファシリティ等は、例えばアプリケーションインタフェースをサンドボックスするアドミニストレータ114内のフレームを創出することを通じて、ソフトウェア開発キット(SDK)を提供され得る。いくつかの実施形態では、アドミニストレータ114は、フレーム内で発生することを制御せず、発生したことに気付かないこともある。SDKは、ユーザインタフェースキットと共に用いられ、例えばコマース管理エンジン136の拡張機能として機能するeコマースプラットフォーム100のルックアンドフィールを模したインタフェースを生成し得る。
APIを活用するアプリケーション142A-Bは、要求されたデータをプルし得るが、それらは、更新が発生するときにデータがプッシュされる必要もある。例えば顧客創出、製品変更、または注文取消等の更新イベントは、サブスクリプションモデルにおいて実装され得る。更新イベントは、ローカルデータベースを同期させること、外部統合パートナーに通知すること等のためにコマース管理エンジン136の変更された状態に関して必要とされる更新を商人に提供し得る。更新イベントは、例えば更新イベントサブスクリプションを通じて更新を確認するためにコマース管理エンジン136を常にポーリングする必要なく、この機能を可能とし得る。いくつかの実施形態では、更新イベントサブスクリプションに関連する変更が発生すると、コマース管理エンジン136は、予め定義されたコールバックURL等に要求を送り得る。この要求の本体は、オブジェクトの新たな状態と、アクションまたはイベントの記述とを含み得る。更新イベントサブスクリプションは、アドミニストレータファシリティ114において手動で、または(例えばAPI140A-Bを介して)自動で創出され得る。いくつかの実施形態では、更新イベントは、待ち行列に入れられ、それらをトリガした状態変更から非同期で処理され得、それは、リアルタイムで分散されない更新イベント通知を生み出し得る。
いくつかの実施形態では、eコマースプラットフォーム100は、アプリケーション検索、推薦およびサポート128を提供し得る。アプリケーション検索、推薦およびサポート128は、アプリケーションの開発において支援するための開発者製品およびツールと、(例えば、開発インタフェースを開発者に提供するため、アドミニストレータのアプリケーションの管理のため、商人のアプリケーションのカスタマイズのため等の)アプリケーションダッシュボードと、(例えば、インストールされる前に基準が満たされなければならない公衆アクセスのため、または商人による私的な使用のため等の公共アクセスのための)アプリケーション142A-Bへのアクセスを提供することに関する許可をインストールおよび提供するためのファシリティと、商人のオンラインストア138のニーズを満足させるアプリケーション142A-Bを商人が検索することを容易にするためのアプリケーション検索と、商人がどのようにして彼らのオンラインストア138を通じたユーザ体験を改善し得るかについての提案を商人に提供するためのアプリケーション推薦と、コマース管理エンジン136内の核となるアプリケーション能力の記述と等を含み得る。これらのサポートファシリティは、彼ら自身のアプリケーション142A-Bを開発する商人、(例えば、商人によって契約され、公衆に提供するために独自で開発され、eコマースプラットフォーム100に関連付けられた使用のために契約される)アプリケーション142A-Bを開発する第三開発者、またはeコマースプラットフォーム100に関連付けられた内部パーソナルリソースによって開発されるアプリケーション142Aもしくは142Bを含む任意のエンティティによって遂行されるアプリケーション開発によって活用され得る。いくつかの実施形態では、アプリケーション142A-Bは、アプリケーションに(例えばAPIを通して)リンクするため、アプリケーションを検索するため、アプリケーション推薦を作成するため等のアプリケーション識別子(ID)を割り当てられ得る。
コマース管理エンジン136は、eコマースプラットフォーム100のベース機能を含み、これらの機能をAPI140A-Bを通じてアプリケーション142A-Bに公開し得る。API140A-Bは、アプリケーション開発を通じて構築されたアプリケーションの異なるタイプを可能とし得る。アプリケーション142A-Bは、商人の多様なニーズを満足させることを可能とし得るが、大まかに3つのカテゴリ(顧客向けアプリケーション、商人向けアプリケーション、統合アプリケーション等)にグルーピングされ得る。顧客向けアプリケーション142A-Bは、オンラインストア138またはチャンネル110A-Bを含み得、オンラインストア138またはチャンネル110A-Bは、商人が製品を列挙しそれらを購入してもらうことが可能な場所(例えば、オンラインストア、フラッシュセールのためのアプリケーション(例えば、商人製品または第三者リソースによる突発的なセールス機会からのもの)、モバイルストアアプリケーション、ソーシャルメディアチャンネル、卸売り購入を提供するためのアプリケーション等)である。商人向けアプリケーション142A-Bは、商人が、(例えば、ウェブもしくはウェブサイト、またはモバイルデバイスに関連するアプリケーションを通じて)彼らのオンラインストア138を管理すること、彼らのビジネスを(例えばPOSデバイスに関連するアプリケーションを通じて)営業すること、(例えば配送(例えば置き配)に関連するアプリケーション、自動化されたエージェントの使用、プロセスフロー開発および改善の使用を通じて)彼らのビジネスを成長させること等を可能とするアプリケーションを含む。統合アプリケーションは、配送プロバイダ112および支払いゲートウェイ等のビジネスの営業に関する有用な統合を提供するアプリケーションを含み得る。
いくつかの実施形態では、アプリケーション開発者は、アプリケーションプロキシを用いて、外部の場所からデータをフェッチし、それをオンラインストア138のページに表示し得る。これらのプロキシページにおけるコンテンツは、例えば動的であり、更新されることが可能であり得る。アプリケーションプロキシは、画像ギャラリ、統計、カスタムフォーム、および他の種類の動的コンテンツを表示するために有用であり得る。eコマースプラットフォーム100の核となるアプリケーション構造は、アプリケーション142A-Bで構築される増加した数の商人体験を可能とし、それによって、コマース管理エンジン136は、より一般的に活用されるコマースのビジネスロジックに焦点を当て続けることができる。
eコマースプラットフォーム100は、商人が柔軟で透明性のある態様で顧客に接触することを可能とする洗練されたシステムアーキテクチャを通じてオンラインショッピング体験を提供する。典型的な顧客体験は、例示的な購入ワークフローの実施形態を通じてより理解され得、ワークフローにおいて、顧客は、チャンネル110A-Bにある商人の製品を閲覧し、彼らが買いたい物を彼らのカートに追加し、勘定に進み、彼らのカートのコンテンツの支払いをし、商人への注文の創出をもたらす。そして、商人は、注文をレビューおよび履行(または取消)し得る。そして、製品は、顧客に送達される。顧客が満足しない場合、彼らは製品を商人に返却し得る。
例示的な実施形態では、顧客は、チャンネル110A-Bにある商人の製品を閲覧し得る。チャンネル110A-Bは、顧客が製品を見て買い得る場所である。いくつかの実施形態では、チャンネル110A-Bは、アプリケーション142A-B(可能な例外は、コマース管理エンジン136内に統合されるオンラインストア138である)としてモデル化され得る。販促コンポーネントは、商人が、彼らが販売したい物および彼らがそれを販売する場所を説明することを可能とし得る。製品とチャンネルとの間の関連付けは、製品出版物としてモデル化され、例えば製品列挙APIを介してチャンネルアプリケーションによってアクセスされ得る。製品は、サイズおよび色、ならびに、極小かつ緑であるバリエーション、または大きいサイズかつ青であるバリエーション等、利用可能なオプションを全てのオプションの特定の組み合わせに拡大する多くのバリエーション等の多くのオプションを有し得る。製品は、少なくとも1つのバリエーション(例えば、「デフォルトバリエーション」は、どのオプションもない製品として創出される)を有し得る。閲覧および管理を促進するために、製品は、例えば、コレクションにグルーピングされ、製品識別子(例えば、在庫品維持ユニット(SKU))等を提供され得る。製品のコレクションは、例えば手動で製品を1つのコレクションにカテゴライズすること(例えば、カスタムコレクション)か、または自動的な分類(例えばスマートコレクション)のためのルールセット等を構築することのいずれかによって構築され得る。製品は、例えば仮想現実または拡張現実インタフェースを通じて、2D画像、3D画像、回転図画像として閲覧され得る。
いくつかの実施形態では、顧客は、彼らが買いたい物を彼らのカートに追加し得る(代替となる実施形態では、製品は、本明細書中で説明されるように、例えば買うボタンを通じて直接購入され得る)。顧客は、彼らのショッピングカートに製品バリエーションを追加し得る。ショッピングカートモデルは、独自であり得る。オンラインストア138カートは、複数のカートラインアイテムから構成され得、各カートラインアイテムは、製品バリエーションに関する量を追跡する。商人は、カートスクリプトを用いて、顧客のカートのコンテンツに基づいて顧客に特別なプロモーションを提供し得る。製品をカートに追加することは、顧客または商人からの何らかの約束を意味せず、予期されるカートの寿命は数分(日ではない)の単位であり得るので、カートは、短期データ記憶装置に存続され得る。
そして、顧客は、勘定に進む。勘定コンポーネントは、顧客向けの注文創出プロセスとしてウェブ勘定を実装し得る。勘定APIは、いくつかのチャンネルアプリケーションによって用いられるコンピュータ向けの注文創出プロセスとして提供され、(例えば、販売時点情報管理として)顧客に代わって注文を創出し得る。勘定は、カートから創出され、eメールアドレス、請求書、および配送詳細等の顧客の情報を記録し得る。勘定の時、商人は、価格設定を確約する。顧客が、彼らの連絡先情報を入力したが支払いに進まない場合、eコマースプラットフォーム100は、(例えば破棄された勘定特徴において)顧客を再び促すための機会を提供し得る。それらの理由で、勘定は、カートより遥かに長い寿命(数時間または数日)を有し、従って存続される。勘定は、顧客の配送先住所に基づいて税および配送費用を計算し得る。勘定は、税コンポーネントに税の計算を委任し、送達コンポーネントに配送費用の計算を委任し得る。価格設定コンポーネントは、商人が割引コード(例えば、勘定において入力されると、勘定されるアイテムに新たな価格を適用する「秘密の」文字列)を創出することを可能とし得る。割引は、顧客を引き付け、マーケティングキャンペーンの成果を評価するために、商人によって用いられ得る。割引および他のカスタム価格システムは、例えば価格ルール(例えば、満たされたときに一連の資格を示す一連の必須条件)を通じて、同一のプラットフォームピースの上部に実装され得る。例えば、必須条件は、「注文の小計が$100より高い」または「配送費用が$10を下回る」等のアイテムであり得、資格は、「注文全体の20%割引」または「$10引き製品X、YおよびZ」等のアイテムであり得る。
そして、顧客は、彼らのカートのコンテンツの支払いをし、これは、商人への注文の創出をもたらす。チャンネル110A-Bは、コマース管理エンジン136を用いて、お金、通貨または店舗の価値の蓄え(ドルまたは暗号通貨等)を顧客と商人との間で移動させ得る。種々の支払いプロバイダ(例えば、オンライン支払いシステム、モバイル支払いシステム、デジタルウォレット、クレジットカードケートウェイ等)との通信は、支払い処理コンポーネント内で実装され得る。支払いゲートウェイ106との実際の相互作用は、カードサーバ環境を通じて提供され得る。いくつかの実施形態では、支払いゲートウェイ106は、例えば主要な国際クレジットカードプロセッサを組み込んだ国際支払いを承認し得る。カードサーバ環境は、カードサーバアプリケーション、カードシンク、ホステッドフィールド等を含み得る。この環境は、機密クレジットカード情報のセキュアゲートキーパーとして機能し得る。いくつかの実施形態では、ほとんどのプロセスは、支払い処理ジョブによって組織化され得る。コマース管理エンジン136は、サイト外支払いゲートウェイ106を通じたもの(例えば、顧客が別のウェブサイトにリダイレクトされる)、手動によるもの(例えば、現金)、オンライン支払方法(例えば、オンライン支払システム、モバイル支払いシステム、デジタルウォレット、クレジットカードゲートウェイ等)、ギフトカード等、多くの他の支払い方法をサポートし得る。勘定プロセスの最後に、注文が創出される。注文は、商人と顧客との間の販売契約であり、商人は、注文に列挙された商品およびサービス(例えば、注文ラインアイテム、配送ラインアイテム等)を提供することに同意し、顧客は、(税を含む)支払いを提供することに同意する。このプロセスは、販売コンポーネントでモデル化され得る。コマース管理エンジン136勘定によらないチャンネル110A-Bは、注文APIを用いて注文を創出し得る。注文が創出されると、通知コンポーネントを介して、注文確認通知が、顧客に送られ得、注文完了通知が商人に送られ得る。売り過ぎを回避するために、注文処理ジョブが始動するとき、在庫が予約され得る(例えば、商人は、各バリエーションの在庫方針からこの行動を制御し得る)。在庫予約は、短い時間スパン(数分)を有し得、フラッシュセール(例えば、ターゲットインパルス購入等の短時間提供される割引またはプロモーション)をサポートするために、非常に高速かつスケーラブルである必要があり得る。支払いが失敗した場合、予約が解除される。支払いが成功し、注文が創出されたとき、予約が、特定の場所に割り当てられた長期在庫確約に変換される。在庫コンポーネントは、バリエーションが保管される場所を記録し得、在庫追跡が可能であるバリエーションに関して、量を追跡する。在庫は、在庫アイテム(量および場所が管理されるアイテムを表す商人向けコンセプト)から製品バリエーション(製品リストのテンプレートを表す顧客向けコンセプト)を取り分け得る。在庫レベルコンポーネントは、販売取り扱い量、注文が確約された量、または在庫転送コンポーネントから(例えば、ベンダーから)の仕入れ量を追跡し得る。
そして、商人は、注文をレビューおよび履行(または取消)し得る。レビューコンポーネントは、ビジネスプロセス商人の使用を実装し、実際にそれらを履行する前に注文が履行に適していることを保証し得る。注文は、詐欺であり得、確認(例えばIDチェック)を要求し、彼らの資金を受領することを確実するために待つことを商人に要求する支払い方法を有し得る。リスクおよび推薦は、注文リスクモデルで存続され得る。注文リスクは、例えば、詐欺検出ツールから生成され、注文リスクAPIを通じて第三者によって提出され得る。履行に進む前、商人は、支払い情報(例えば、クレジットカード情報)を捕捉するか、または(例えば、銀行送金、小切手等を介して)それを受領することを待って注文が支払われたことをマークする必要があり得る。それから、商人は、送達のために製品を準備し得る。いくつかの実施形態では、このビジネスプロセスは、履行コンポーネントによって実装され得る。履行コンポーネントは、在庫場所および履行サービスに基づいて作業の論理的履行単位に注文のラインアイテムをグルーピングし得る。商人は、作業の単位をレビューし、これを調節し、商人が箱から製品を取り出して梱包するときに用いられる(例えば、商人に管理された場所における)手動履行サービスを通じて、関連する履行サービスをトリガし、配送ラベルを購入してその追跡番号を入力するか、または、単に履行されたことをアイテムにマークし得る。カスタム履行サービスは、eメールを(例えば、API接続を提供しない場所に)送り得る。API履行サービスは、第三者をトリガし得、第三者が、履行記録を作成する。レガシー履行サービスは、コマース管理エンジン136から第三者へのカスタムAPIコールをトリガし得る(例えば、Amazonによる履行)。ギフトカード履行サービスは、ギフトカードをプロビジョニングし(例えば、番号を生成する)、アクティブにし得る。商人は、注文プリンタアプリケーションを用い、梱包票を印刷し得る。履行プロセスは、アイテムが箱に梱包され、配送の準備がされるとき、配送されるとき、追跡されるとき、送達されるとき、顧客によって受領されたことが確認されるとき等に実行され得る。
顧客が満足しない場合、彼らは、製品(単数または複数)を商人に返却し得る。商人が、アイテムを「販売できない」ことを経験し得るビジネスプロセスは、返却コンポーネントによって実装され得る。返却は、各種の異なるアクションから成り得、各種の異なるアクションは、例えば、再入庫(販売された製品が実際にビジネスに復帰し、再び販売可能である場合)、払い戻し(顧客から集めたお金が部分的または全額返却される場合)、どのくらいのお金が払い戻されたかを通知する会計調節(例えば、何らかの再入庫料金が存在する場合、または商品が返却されておらず、顧客の手元に残っている場合を含む)等である。返却は、販売契約(例えば注文)の変更を表し得、eコマースプラットフォーム100は、(例えば、税に関する)法規違反に関するコンプライアンスの問題を商人に知らせ得る。いくつかの実施形態では、eコマースプラットフォーム100は、商人が経時的に販売契約の変更を追跡することを可能とし、これは、販売モデルコンポーネント(例えば、アイテムに発生した販売関連のイベントを記録する追加専用のデータベースの元帳)を通じて実装される。
eコマースプラットフォームにおける拡張現実の実装
拡張現実(AR)が、コマースにおいて用いられ改善された顧客または買い手体験を提供し得る。eコマースプラットフォーム100は、各種の異なるアプリケーションのうちのいずれかとしてARを実装し得、その例が本明細書中のいずれかで説明される。図3は、図1のeコマースプラットフォーム100であるが、ARエンジン300を含んでいるeコマースプラットフォーム100を図示する。ARエンジン300は、eコマースプラットフォーム100、顧客デバイス150および/または商人デバイス102による使用のためにARコンテンツを生成するコンピュータ実装システムの例である。
ARエンジン300は、図3において、eコマースプラットフォーム100の異なるコンポーネントとして図示されるが、これは、単に例である。ARエンジンは、同様に、または、むしろ、eコマースプラットフォーム100の中またはその外部に常駐している別のコンポーネントによって提供されることもある。いくつかの実施形態では、アプリケーション142A-Bの一方または両方が、顧客および/または商人に利用可能であるARエンジンを提供する。さらに、いくつかの実施形態では、コマース管理エンジン136が、ARエンジンを提供する。eコマースプラットフォーム100は、1つ以上のパーティによって提供される複数のARエンジンを含み得る。複数のARエンジンは、同一の手段で、同様の手段で、および/または異なる手段で実装され得る。加えて、ARエンジンの少なくとも一部は、商人デバイス102および/または顧客デバイス150において実装され得る。例えば、顧客デバイス150は、ソフトウェアアプリケーションとしてARエンジンをローカルに記憶し、実行し得る。
以下でさらに詳細に議論されるように、ARエンジン300は、本明細書中で説明される機能のうちの少なくともいくつかを実装し得る。以下で説明される実施形態は、eコマースプラットフォーム100等(これに限定されない)のeコマースプラットフォームに関連付けられて実装され得るが、以下で説明される実施形態は、eコマースプラットフォームに限定されない。
コマースにおけるARの用途
ARは、商業的用途のために製品のコンピュータ生成表現を創出するために用いられ得る。製品のコンピュータ生成表現は、顧客デバイスによって捕捉された実世界画像に重ね合わせられ得る。例えば、製品のコンピュータ生成表現は、顧客が彼らの興味のある環境内で製品を眺めることを可能とする実世界の場所の画像に重ね合わせられ得る。いくつかの場合、ARは、家具小売店によって用いられ、顧客が彼らの家の中で仮想家具を眺めることを可能とする。例として、ソファーのコンピュータ生成表現が、顧客のリビングルームの画像に重ねられ得、それによってリビングルーム内のソファーのサイズおよび外観が認識され得る。他の場合では、ARは、顧客が仮想衣類を試着することを可能とする「仮想着替え部屋」を提供するために用いられ得る。例えば、シャツのコンピュータ生成表現が、顧客の画像に重ねられ得、それによって顧客がシャツの適合性を評価し得る。
ARを用いて製品のコンピュータ生成表現を創出することの欠点は、多くの顧客が製品を購入するか否かを決定する前に製品との物理的相互作用を望むことである。製品のコンピュータ生成表現は、典型的に外観、雰囲気、におい等の組み合わせを含む製品の物理的な実世界アイテムに関連付けられた完全な感覚的体験を提供することができない。例えば、顧客の家の中の部屋のソファーを購入することに興味がある顧客を考えてほしい。顧客は、ソファーの素材を感じること、またはソファーに座ることの快適さのレベルを評価することができないので、部屋の中のソファーのコンピュータ生成表現は、顧客がソファーを購入するか否かを決定するための十分な情報を提供していないこともある。同様に、顧客の画像に重ねられた衣類のコンピュータ生成表現は、顧客が衣類を購入するか否かを決定するための十分な情報を提供していないこともある。コンピュータ生成表現は、衣類がどのように見えるかということの指示を顧客に提供し得るが、顧客は、製品のコンピュータ生成表現を用いて衣類の他の感覚的属性を評価することはできない。
実世界における製品の物理的アイテムとの相互作用のために、顧客は、しばしば、製品が物理的に存在している場所に移動する。そのような場所の例は、物理的店舗または「ブリックアンドモルタル」小売店を含む。しかし、これらの場所における環境は、製品が顧客の意図する設定でどのように見えるかを顧客が認識することを可能としないこともある。例えば、顧客は、明るい日の照った彼らのリビングルームのためのソファーを購入することを望んでいるが、ソファーが販売されている家具のショールームは、明るい日の照った部屋に似ていないこともある。従って、顧客は、日の照った部屋でソファーがどう見えるかの彼らの予想に基づいて決定しなければならないこともある。同様に、顧客は、特定のイベントのための衣類を購入することを望んでいるが、着替え部屋は、そのイベントにおける衣類の美感を評価するために適した環境を提供していないこともある。
本開示のある局面は、物理的アイテムのためのARシーンを生成するコンピュータ実装方法に関する。そのような方法は、顧客が、物理的アイテムと相互作用することと、特定の設定において物理的アイテムがどう見えるかを視覚化することとの両方を可能とし得る。いくつかの場合、ARシーンは、物理的アイテムおよび/または顧客に特有である設定で物理的アイテムを描写し得る。生成されたARシーンは、物理的アイテムの画像とコンピュータ生成シーンとを含む。コンピュータ生成シーンは、画像内の物理的アイテムに重ね合わせられ、顧客が異なる設定または環境における物理的アイテムを視覚化することを可能とする。コンピュータ生成シーンは、物理的アイテムおよび/または顧客に特有であり得る。
物理的アイテムに関するARシーンを生成すること
図4は、ARコンテンツを生成するための例示的システム400を図示するブロック図である。システム400は、ARエンジン402と、ネットワーク420と、顧客デバイス430と、商人デバイス450と、1つ以上のソーシャルメディアプラットフォーム(単数または複数)460とを含む。
ARエンジン402は、物理的実世界アイテムに関するARシーンを含むARコンテンツの生成をサポートする。ARエンジン402の場所は、実装特有である。いくつかの実装では、ARエンジン402は、少なくとも一部、eコマースプラットフォームの核となる機能か、またはeコマースプラットフォームによってサポートされもしくはeコマースプラットフォームと通信するアプリケーションもしくはサービス等として、eコマースプラットフォームによって提供される。例えば、ARエンジン402は、図3のARエンジン300であり得る。いくつかの実装では、ARエンジン402は、少なくとも一部、顧客デバイスまたは商人デバイス等のユーザデバイスによって実装される。他の実装では、ARエンジン402は、スタンドアロン型サービスとして実装され、ARコンテンツを生成する。ARエンジン402の他の実装も構想される。ARエンジン402は単一のコンポーネントとして示されるが、ARエンジン402は、むしろ、例えばネットワーク420を介して通信する複数の異なるコンポーネントによって提供され得る。
ARエンジン402は、プロセッサ404と、メモリ406と、ネットワークインタフェース408とを含む。プロセッサ404は、メモリ406内に記憶された命令を実行する1つ以上のプロセッサによって実装され得る。代替として、プロセッサ404のいくつかまたは全ては、特定用途集積回路(ASIC)、グラフィクス処理装置(GPU)、またはプログラムされたフィールドプログラマブルゲートアレイ(FPGA)等の専用回路を用いて実装され得る。
メモリ406は、顧客データ410と、製品データ412と、画像分析モジュール414と、シーン推薦モジュール416と、ARシーン生成モジュール418とを記憶している。
顧客データ410は、ARエンジン402を用い、または潜在的に用い得る1人以上の顧客に関連付けられた情報を含む。いくつかの実装では、顧客データ410は、eコマースプラットフォーム100の顧客に関連付けられている情報を含む。例えば、顧客データ410は、データ134の少なくとも一部を含み得る。他の実装が可能である。例えば、ARエンジン402がスタンドアロン型サービスである実装では、顧客データ410は、外部ソースから取得された情報を含み、外部ソースは、例えば、eコマースプラットフォーム100内のデータ134、または、(例えば顧客デバイスにインストールされたショッピングアプリケーションを介して)特定の顧客によってもしくは(例えば彼らの顧客情報を記憶しているデータベースを介して)商人ストアによって直接利用可能に作られた顧客情報のいくつかの他のリポジトリである。所与の顧客に関して、以下は、顧客データ410に含まれ得る情報の限定的でないリストである。
・顧客の識別、例えば顧客の名前および/または顧客番号等
・顧客の年齢、性別、身長および/または他の詳細等
・シャツ、ドレス、パンツおよび/または靴のサイズを含む顧客に関する衣類のサイズ(単数または複数)
・例えば、顧客の職場、家および/または好みの休暇の目的地等、顧客に関連付けられた1つ以上の場所。これは、各場所の地形、設定および他の詳細を含み得る。
・例えば顧客の友人および家族等、顧客に関連付けられている他の顧客の同一性。これは、他の顧客の年齢、性別、身長および/または他の詳細を含み得る。
・飼われているペットさもなければ顧客に関連付けられたペット
・顧客が所有している、または以前に興味を示していた1つ以上の製品。これらの製品は、例えば、eコマースプラットフォームの関連付けられた製品ページで顧客によって見られ、eコマースプラットフォームで顧客のカートに追加され、eコマースプラットフォームから購入されたこともある。
・顧客に関連付けられたスタイルの好みまたは他の好み
いくつかの実装では、顧客データ410は、顧客に関連付けられた1つ以上の画像を含む。これらの画像は、上で列挙された顧客情報に関連し得る。例えば、顧客に関連付けられた画像は、顧客の画像、顧客に関連付けられた1つ以上の場所の画像、顧客に関連付けられた他の顧客の画像、および顧客が所有している1つ以上の製品の画像を含み得る。これらの画像の形式は、本明細書中で限定されない。いくつかの実装では、画像は、カメラによって捕捉され、ARエンジン402に提供され得る。コンピュータ生成画像も構想される。例えば、画像は、人、場所および/または製品の仮想表現の形式であり得る。画像は、2次元(2D)または3次元(3D)であり得る。
いくつかの実施形態では、顧客データ410は、顧客に関連付けられた1つ以上の3Dモデルを含む。これらの3Dモデルも、上で列挙された顧客情報に関連し得る。3Dモデルは、例えば人、場所またはアイテム等の対象の数学的表現である。3Dモデルは、対象の実世界寸法を画定する。いくつかの場合、3Dモデルは、対象に関する座標系および/またはデフォルトの向きを画定する。3Dモデルを生成する可能な方法は、(一連の2D画像から3Dモデルを創出する)写真計測、(物体の周囲でスキャナを移動させて全ての角度を捕捉する)3Dスキャニング、および(画像から、または手を使ってのいずれかによる)3Dモデリングを含む。いくつかの実装では、顧客データ410に記憶されている画像が、3Dモデルを生成するために用いられる。場所の地形または人の身長等の顧客データ410に記憶された他の情報も、3Dモデルを生成することを助けるために用いられ得る。
顧客データ410は、数多くの異なる手段のいずれかで取得され得る。いくつかの実装では、顧客データ410は、少なくとも一部、顧客および/または商人によって提供される。顧客データ410は、同様に、または、むしろ、少なくとも一部、例えばソーシャルメディアプラットフォーム(単数または複数)460等の第三者から取得され得る。3Dモデル等のいくつかの顧客データ410は、ARエンジン402でローカルに生成され得る。
製品データ412は、1つ以上の製品に関連付けられている情報を含む。これらの製品は、オンラインストア、物理的店舗、またはその両方で販売され得る。いくつかの実装では、製品データ412は、eコマースプラットフォーム100で販売される製品のいくつかまたは全てに対応する。例えば、製品データ412は、データ134の少なくとも一部を含み得る。他の実装が可能である。例えば、ARエンジン402がスタンドアロン型サービスである実装では、製品データ412は、例えば、eコマースプラットフォーム100内のデータ134、または商人ストアに関連付けられた製品情報のいくつかの他のリポジトリ等の外部ソースから取得される情報を含む。以下は、各製品に関する製品データ412に含まれ得る情報の限定的でないリストである。
・製品の名前および/または他の識別子
・製品の画像
・例えば製品の3Dモデル等、製品の仮想表現
・製品を販売する商人(単数または複数)
・製品の使用
・製品に関連付けられた場所、環境または設定
・製品の寸法
・例えば製品の色(単数または複数)等の製品バリエーション
・製品を補完する色パレット
・製品に関連付けられ、または製品を補完する他の製品のリスト
製品データ412の少なくともいくつかは、1人以上の商人によって提供され得る。例えば、商人デバイス450は、製品に関連付けられた情報をARエンジン402に送信し得る。ARエンジン402は、同様に、または、むしろ、例えばeコマースプラットフォームまたはオンラインストアから情報を抽出することによって、製品に関連付けられた情報を取得し得る。いくつかの実装では、商人は、特定の製品を補完する1つ以上の製品を識別し得る。例えば、特定の製品は、商人によって販売される製品のコレクションのうちの1つであり得る。
いくつかの実装では、顧客は、製品データ412に追加される製品に関連付けられた情報を提供し得る。顧客レビューおよび/またはソーシャルメディアアカウントは、製品が特定の使用および/または設定によく適していることを示す情報を収集するために用いられ得る。例えば、顧客は、オンラインストアおよび/またはeコマースプラットフォームでジャケットに関するレビューを投稿し得る。これらのレビューは、ジャケットが雨の中でよく機能することを示す。さらに、ジャケットは、雨の中で着用されるジャケットを描写するソーシャルメディアプラットフォーム(単数または複数)460における画像の中でタグ付けされ得る。ARエンジン402は、これらのリソースの一方または両方を用い、ジャケットが雨の中で用いられること(すなわち、雨は、ジャケットに関連付けられた環境または設定である)を決定し、製品データ412にこの情報を追加し得る。
顧客データ410および製品データ412は、別々に例示されているが、これは単に例であることを留意されるべきである。顧客データ410および製品データ412の少なくとも一部が、むしろ、単一のデータセットとして提供され得る。例えば、いくつかの情報は、製品に関連付けられ、かつ顧客に関連付けられ得る。特定の製品のアイテムを着用している特定の顧客を示すソーシャルメディアプラットフォーム(単数または複数)460から取得された画像を考えてほしい。この画像は、メモリ406内で特定の顧客に関連付けられ、かつ特定の製品に関連付けられ得る。
画像分析モデル414は、ARエンジン402によって記憶および/または受信された画像を分析するために提供される。例えば、受信された物理的アイテムの画像に基づいてARシーンを生成するために、受信された画像の1つ以上の特性が、まず決定される必要があり得る。画像分析モデル414は、プロセッサ404によって実行可能であるソフトウェア命令の形式で提供され得る。数多くの異なるアルゴリズムのいずれかは、画像分析モデル414に含まれ得る。そのようなアルゴリズムの限定的でない例は、
・物体認識アルゴリズム
・テキスト認識アルゴリズム
・例えばバーコードおよびクイックレスポンス(QR)コード等の機械読み取り可能なコードの検出のためのアルゴリズム
・挙動検出アルゴリズム
・画像セグメント化アルゴリズム、および
・表面、角および/または縁検出アルゴリズム
を含む。
画像分析アルゴリズムに関するさらなる詳細は、Richard SzeliskiによるComputer Vision: Algorithms and Applications(Springer, 2010)で見られ得る。
画像分析モデル414は、画像内の物理的アイテムの特徴を識別または検出し得る。そのような特徴の例は、画像内の物理的アイテムの角、表面、縁および/または寸法を含む。特徴検出は、3Dで遂行され得、座標系(例えば、デカルト座標系)が画像上にマッピングされることを可能とし得る。特徴検出は、画像内の物理的アイテムのサイズおよび向きが画像分析モデル414を用いて決定され得ることも可能とし得る。いくつかの実装では、画像分析モデル414は、物理的アイテムが特定の製品に対応することを決定するために用いられる。
いくつかの実装では、ユーザ入力が、物理的アイテムの画像のための特徴検出において支援し得る。例えば、ユーザは、(例えばラッソ選択で物理的アイテムの縁の辺りをユーザの指でトレースすることによって)画像内の物理的アイテムを選択し得る。そして、特徴検出は、見当違いな特徴の検出を回避するために、トレースされた領域に限定され得る。
物理的アイテムの2つ以上の画像が、画像分析モデル414に入力され得る。例えば、物理的アイテムと比較して異なる場所から撮影された物理的アイテムの複数の画像は、改善された特徴検出を可能とし得る。特に、物理的アイテムの複数の画像は、物理的アイテムの寸法のより正確な決定を可能とし得る。複数の画像は、例えば物理的アイテムのビデオから、または異なる場所に配置された複数のカメラを含むデバイスから取得され得る。
画像分析モデル414が物理的アイテムのビデオを受信する場合、画像分析モデル414は、物理的アイテムの特徴の位置を突き止める初期特徴検出動作を遂行し得る。そして、これらの特徴は、リアルタイムで送られるビデオから受信された連続する画像において追跡され得る。
シーン推薦モデル416は、物理的アイテムを提示するシーンを推薦する(おそらくプロセッサ404によって実行可能なソフトウェア命令の形式である)1つ以上のアルゴリズムを含む。推薦されたシーンは、物理的アイテムを提示するために適切である特定の環境および/または設定に対応し得る。推薦されたシーンは、同様に、または、むしろ、特定の顧客に関連する特定の環境および/または設定に対応し得る。つまり、推薦されたシーンは、物理的アイテムおよび/または顧客を補完するいくつかの手段であり得る。
推薦されたシーンは、シーン推薦モデル416への1つ以上の入力に基づいて決定される。そのような入力の例は、(例えば画像分析モデル414を用いて決定された)画像内に描写された物理的アイテムの特徴、(例えば製品データ412から取得された)物理的アイテムに対応する製品に関連付けられた情報、および(例えば顧客データ410から取得された)顧客に関連付けられた情報を含む。シーン推薦モデル416の出力は、完全に生成されたARシーンではないが、むしろ、物理的アイテムを提示するために推薦されたシーンである。ARは、そして、以下でさらに詳細に議論されるように、推薦されたシーン内で物理的アイテムを描写するために用いられ得る。
顧客に関連付けられた情報、あるいは顧客に特有の情報に基づいて推薦されるシーンは、顧客のためにパーソナライズされたシーンと考えられ得る。同様のコメントが、物理的アイテムに関連付けられた情報、あるいは物理的アイテムに特有の情報に基づいて推薦されるシーンにあてはまる。つまり、推薦されるシーンは、特定のアイテムおよび/または顧客に即し得る。
いくつかの実装では、シーン推薦モデル416は、例えば視覚的コンテンツ、聴覚的コンテンツ、および/または触覚的コンテンツを含む推薦されたシーンに関する感覚的コンテンツを生成し、または別様に提供する。例えば、シーンは、1つ以上の3Dモデル(単数または複数)を含み得る。感覚的コンテンツは、顧客データ410または製品データ412から取得され得る。代替として、感覚的コンテンツは、メモリ406内のどこかに記憶され、またはメモリ406から遠隔で記憶されさえし得る。
いくつかの実施形態では、シーン推薦モデル416は、機械学習(ML)モデルであるか、または、それを含む。MLモデルは、業界で知られた任意の形式または構造を用いて実装され得る。MLモデルのための例示的な構造は、
・1つ以上の人工ニューラルネットワーク(単数または複数)
・1つ以上の決定木(単数または複数)
・1つ以上のサポートベクタマシーン(単数または複数)
・1つ以上のベイジアンネットワーク(単数または複数)および/または
・1つ以上の遺伝子アルゴリズム(単数または複数)
を含むが、これらに限定されない。
MLモデルは、実世界シーン内のアイテムのテキスト、画像またはビデオを用いて訓練され、実世界シーンは、顧客(例えば、ソーシャルメディアプラットフォーム(単数または複数)460)および/または商人(例えば、オンラインストア)から取得され得る。いくつかの実施形態では、MLモデルは、製品データ412内のデータサンプルを用いて訓練される。いくつかの実施形態では、MLモデルは、特定の顧客のために生成された以前のARシーンを用いて訓練される。例えば、顧客データ410は、顧客が過去に選択したシーンを記憶し得、MLモデルは、これらの顧客の好みに基づいて訓練され得る。
MLモデルを訓練するために用いられる方法は、実装特有であり、本明細書中で限定されない。訓練方法の限定的でない例は、
・教師あり学習
・教師なし学習
・強化学習
・自己学習
・特徴学習および
・スパース辞書学習
を含む。
訓練されると、MLモデルは、製品に関連付けられた情報および/またはユーザに関連付けられた情報を受信し、ARを用いて物理的アイテムを描写する推薦されるシーンを出力し得る。例として、訓練データセットは、ホッケージャージを特定のホッケー競技場に関連付ける画像、ビデオおよび/またはテキストを含み得る。例えば、ホッケージャージは、このホッケー競技場で試合をするホッケーチームに対応し得る。画像およびビデオは、ホッケー競技場で着用されているホッケージャージを描写し得、テキストは、ホッケー競技場で試合をするホッケーチームの名前を含み得る。ホッケージャージとホッケー競技場との間の相関性は、訓練中のMLモデルによって識別され得る。訓練されたMLモデルが、使用中であり、入力としてホッケージャージの画像を受信するとき、MLモデルは、顧客にホッケージャージを表示するシーンとしてホッケー競技場を推薦し得る。いくつかの実装では、MLモデルは、ホッケー競技場が顧客の家と同一の都市にあることを(例えば顧客データ410を用いて)さらに識別し、従って、ホッケー競技場が顧客に関連付けられる。MLモデルがホッケージャージを表示するシーンとしてホッケー競技場を推薦した後、ホッケー競技場の3Dモデルは、シーン推薦モデル416によって取得され、ホッケージャージのためのシーンを形成し得る。
ARシーン生成モデル418は、物理的な実世界アイテムに関するARシーンを生成することが可能である(おそらく、プロセッサ404によって実行可能な命令の形式の)1つ以上のアルゴリズムを含む。ARシーン生成モデル418への可能な入力は、物理的アイテムの画像、(例えば画像分析モデル414を用いて決定される)画像の1つ以上の特徴、物理的アイテムを提示するシーン、(例えばユーザデバイスから受信される)物理的アイテムを位置付けるシーン内のアンカーポイント、および(例えばユーザデバイスから受信される)物理的アイテムの向きに対するシーンの向きを含む。物理的アイテムを提示するシーンは、視覚的コンテンツ、聴覚的コンテンツおよび/または触覚的コンテンツを含み得る。いくつかの実装では、シーンは、1つ以上の3Dモデル(単数または複数)を含む。シーンは、シーン推薦モデル416によって提供され得るか、またはシーンは、顧客または商人によって直接提供され得る。いくつかの実装では、ARシーン生成モデル418は、入力としてシーンを受信しないこともある。むしろ、ARシーン生成モデル418は、物理的アイテムを提示するシーンで予め構成され得る。
ARシーン生成モデル418の出力は、仮想シーンもしくはコンピュータ生成シーンと、物理的アイテムの画像の少なくとも一部とを含むARシーンである。物理的アイテムの画像の一部は、物理的アイテムの描写を含む。コンピュータ生成シーンは、物理的アイテムの描写に重ね合わせられ、ARシーンを形成する。
いくつかの実施形態では、生成されたARシーンは、物理的アイテムの複数の表現を含む。複数の表現は、1人のユーザに対応する物理的アイテムの画像と、異なるユーザに対応する別の物理的アイテムの仮想表現とを含み得る。これは、ソーシャルショッピングの例であり、複数のユーザが、ARシーンにアイテムを追加することが可能である。例えば、顧客は、共有リビング空間のためにルームメイトと共に家具を買うことを望み得る。この例では、顧客およびルームメイトは、それぞれ、主要ユーザおよび従属ユーザと称される。従属ユーザは、ARエンジン402において主要ユーザに関連付けられる。例えば、主要ユーザおよび従属ユーザは、顧客データ410内に記憶されている特定の許可を互いに承認していることもある。そのため、ARエンジン402は、主要ユーザおよび従属ユーザの両者によって提供される画像または他のコンテンツに基づいたARシーンの生成を可能とする。ARエンジン402は、主要ユーザおよび従属ユーザの両者が同一または同様の設定を描写するそれぞれのARシーンを眺めることも可能とする。主要ユーザは、特定の店舗からソファーを買うことを望み得、従属ユーザは、異なる店舗からコーヒーテーブルを買うことを望み得る。ARエンジン402は、主要ユーザによって撮影された画像内の所望のソファーを識別し、ソファーの周りの共有リビング空間のARシーンを生成する。共有リビング空間の別のARシーンが、従属ユーザがコーヒーテーブルの画像を捕捉すると、従属ユーザのためにコーヒーテーブルの周りに生成される。コーヒーテーブルの仮想表現は、主要ユーザに示されたARシーン内に図示されており、ソファーの仮想表現は、従属ユーザに示されたARシーンに図示されている。従って、主要ユーザおよび従属ユーザの両者が、ソファーおよびコーヒーテーブルのある共有リビング空間のARシーンを見ることができる。ARシーンは、他のソーシャルショッピングシナリオにおいて2人より多くのユーザに拡張され得る。
画像分析モデル414、シーン推薦モデル416およびARシーン生成モデル418は、別個のモデルとして図示されているが、これは、単に例である。いくつかの実施形態は、これらのモデルのいずれか2つ以上の機能を単一のモデルに組み合わせ得る。例えば、単一のモデルが、画像分析を遂行しシーン推薦を生成するために提供され得る。むしろ、単一のモデルは、推薦されたシーンを決定し、この推薦されたシーンに基づいてARシーンを生成するために提供され得る。他の実装も構想される。
図4のネットワークインタフェース408は、ネットワーク420上の通信のために提供される。ネットワークインタフェース408の構造は、実装特有である。例えば、ネットワークインタフェース408は、ネットワークインターフェースカード(NIC)、コンピュータポート(例えば、プラグまたはケーブルが接続する物理的なコンセント)および/またはネットワークソケットを含み得る。
顧客デバイス430は、ユーザデバイスの例である。顧客デバイス430は、顧客によって所有および/または用いられる携帯電話、タブレット、ラップトップ、プロジェクタ、ヘッドセットまたはコンピュータであり得る。いくつかの実装では、顧客デバイス430は、衣類の素材に埋め込まれたデバイスまたは眼鏡等のユーザによって着用されるデバイス等の埋め込みデバイスまたはウェアラブルデバイスであるか、またはこれらを含み、組み込まれたディスプレイは、ユーザが、実世界を眺め、同時に、実世界に重ね合わせられた仮想要素を眺めることを可能とする。顧客デバイス430は、プロセッサ432、メモリ434、ユーザインタフェース436、ネットワークインタフェース438およびカメラ440を含む。ユーザインタフェースの例は、(タッチスクリーンであり得る)ディスプレイスクリーン、ジェスチャ認識システム、キーボード、および/またはマウスである。ネットワークインタフェース438は、ネットワーク420上で通信するために提供される。ネットワークインタフェース438の構造は、顧客デバイス430がネットワーク420とどうインタフェース接続するかに依存する。例えば、顧客デバイス430が、携帯電話、ヘッドセットまたはタブレットである場合、ネットワークインタフェース438は、ネットワーク420へ/からの無線伝送を送り、受信するためのアンテナを有するトランスミッタ/レシーバを含み得る。商人デバイスがネットワークケーブルでネットワークに接続されたパーソナルコンピュータである場合、ネットワークインタフェース438は、例えば、NIC、コンピュータポート、および/またはネットワークソケットを含み得る。プロセッサ432は、顧客デバイス430によって遂行される動作の全てを直接遂行し、または命令する。これらの動作の例は、ユーザインタフェース436から受信したユーザ入力を処理することと、ネットワーク420上の伝送ための情報を準備することと、ネットワーク420上で受信されたデータを処理することと、情報を表示することをディスプレイスクリーンに命令することとを含む。プロセッサ432は、メモリ434に記憶された命令を実行する1つ以上のプロセッサによって実装され得る。代替として、プロセッサ432のいくつかまたは全ては、ASIC、GPU、またはプログラムされたFPGA等の専用回路を用いて実装され得る。
カメラ440は、写真および/またはビデオの形式で画像を捕捉するために提供され、写真および/またはビデオは、メモリ434内に記憶され得る。カメラ440は、物理的アイテムの画像を捕捉するために用いられるデバイスの一例である。顧客デバイスは、同様に、または、むしろ、例えば、3Dモデルを生成するために用いられ得る3Dスキャナ等の他のデバイスを含み得る。カメラ440は、顧客デバイス430のコンポーネントとして示されているが、むしろ、カメラは、例えば顧客デバイスとは別個に実装され、有線または無線接続を介して顧客デバイスと通信し得る。
いくつかの実装では、顧客デバイス430は、顧客が興味のある製品および/または顧客デバイスに近接する製品を識別することが可能である。例えば、カメラ440によって捕捉されるバーコードまたはQRコード(登録商標)が、バーコードまたはQRコード(登録商標)に対応する製品を識別するために用いられ得る。顧客デバイス430は、同様に、または、むしろ、製品を識別するために用いられ得る製品の無線周波数インジケータ(REID)タグを検出するために、RFIDスキャナ(示されず)を含み得る。メモリ434内に記憶され、プロセッサ432によって実行されるアプリケーションは、バーコード、QRコード(登録商標)またはRFIDを特定の製品と一致させ得る。むしろ、特定の製品は、ユーザインタフェース436を介して直接的な顧客入力を通じて顧客デバイス430を用いて識別され得る。例えば、顧客が製品の名前または識別番号を知っている場合、顧客は、メモリ434内に記憶されたアプリケーションを用いて製品を検索し得る。
いくつかの実装では、顧客デバイス430は、AR性能を有する。例えば、ARエンジン402と同様のARエンジンは、一部または全体が顧客デバイス430で実装され得る。ソフトウェアアプリケーションは、顧客デバイス430にインストールされ得、顧客デバイス430は、画像分析を遂行し、シーン推薦を生み出し、かつ/またはARシーンをローカルで(すなわち、顧客デバイス430において)生成する。ソフトウェアアプリケーションは、ARエンジン402から、顧客データ410、製品データ412、画像分析モデル414、シーン推薦モデル416、および/またはARシーン生成モデル418を受信し得る。
顧客デバイス430は、実際は顧客が店舗に持参する顧客のパーソナルデバイスではないこともあることを留意されるべきである。むしろ、顧客デバイス430は、商人に所属し、顧客による使用のために提供され得る。例えば、顧客デバイス430は、商人の店舗に位置するヘッドセットまたはスマートミラーであり得、顧客による使用のためのものであり、陳列された商人の製品に関する事前にロードされたシーンを既に有する。顧客は、顧客デバイス430を能動的には用いていないこともある。例えば、スマートミラーの場合、ARシーンは、顧客がスマートミラーに接近するとすぐ生成され得る。
商人デバイス450は、商人によって所有されおよび/または用いられる携帯電話、タブレット、ラップトップ、またはコンピュータであり得る。商人デバイス450は、プロセッサ452と、メモリ454と、ユーザインタフェース456と、ネットワークインタフェース458とを含む。ユーザインタフェースの例は、(タッチスクリーンであり得る)ディスプレイスクリーン、キーボード、および/またはマウスである。ネットワークインタフェース458は、ネットワーク420上で通信するために提供される。ネットワークインタフェース458の構造は、商人デバイス450がどうネットワーク420とインタフェース接続するかに依存する。例えば、商人デバイス450が携帯電話またはタブレットである場合、ネットワークインタフェース458は、ネットワーク420へ/からの無線伝送を送り、受信するためのアンテナを有するトランスミッタ/レシーバを含み得る。商人デバイスがネットワークケーブルでネットワークに接続されるパーソナルコンピュータである場合、ネットワークインタフェース458は、例えばNIC、コンピュータポート、および/またはネットワークソケットを含み得る。プロセッサ452は、商人デバイス450によって遂行される動作の全てを直接遂行または命令する。これらの動作の例は、ユーザインタフェース456から受信されたユーザ入力を処理することと、ネットワーク420上で伝送するための情報を準備することと、ネットワーク420上で受信されたデータを処理することと、情報を表示することをディスプレイスクリーンに命令することとを含む。プロセッサ452は、メモリ454内に記憶された命令を実行する1つ以上のプロセッサによって実装され得る。代替として、プロセッサ452のいくつかまたは全ては、ASIC、GPU、またはプログラムされたFPGA等の専用回路を用いて実装され得る。
図4では、1つの顧客デバイスおよび1つの商人デバイスが例として示されている。概して、2つ以上の顧客デバイスおよび/または商人デバイスが、ARエンジン402と通信し得る。
ソーシャルメディアプラットフォーム(単数または複数)460は、コンテンツの創出および共有を促進する。いくつかの場合、このコンテンツは、顧客および/または製品に関連付けられている情報を含む。上で留意されるように、ARエンジン402は、ソーシャルメディアプラットフォーム(単数または複数)460から情報を取得し、ARシーンを生成することを助け得る。ソーシャルメディアプラットフォーム(単数または複数)460は、ネットワーク420と通信している。
システム400は、実世界における製品の物理的アイテムと相互作用している顧客のためのARシーンを生成するために用いられ得る。ARシーンを生成する例が、ある実施形態による方法500を図示するフロー図である図5を参照して以下で説明される。方法500は、図4のARエンジン402によって遂行されるように説明され、結果的なARシーンは、顧客デバイス430のディスプレイにおける表示のためにARエンジン402から顧客デバイス430に送信される。しかし、むしろ、方法500は、顧客ディスプレイ430自体で遂行され得る。
ステップ502は、ARシーンを生成するためのモデルをメモリ406内に記憶することを含む随意のステップである。このモデルは、ARシーン生成モデル418を含み、随意に、画像分析モデル414およびシーン推薦モデル416を含む。いくつかの実装では、ステップ502は、ARシーンを生成するためのモデルを生成することをさらに含む。例えば、シーン推薦モデル416がMLモデルを含む場合、ステップ502は、MLモデル(単数または複数)を訓練することを含み得る。
ステップ504は、プロセッサ404を用いて、物理的アイテムのイメージを取得することを含む。この画像は、顧客に関連付けられている顧客デバイス430によって捕捉される。例えば、画像は、カメラ440によって捕捉され、ネットワーク420を介してARエンジン402に送信され得る。そして、画像は、メモリ406内に記憶され得る。代替として、画像は、メモリ434、ソーシャルメディアプラットフォーム(単数または複数)460および/または顧客データ410内に記憶されている以前に捕捉された画像であり得る。
ステップ504において取得される画像の形式は、本明細書中で限定されない。いくつかの実装では、画像は、写真であり、別の実装では、画像は、ビデオの1フレームである。画像は、2次元(2D)または3次元(3D)であり得る。いくつかの実装では、物理的アイテムの3D画像または物理的アイテムの複数の2D画像は、物理的アイテムの3Dモデルに変換され得る。
方法500が全体として顧客デバイス430で遂行される場合、ステップ504は、ネットワーク420上で画像を送信することを含まないこともある。逆に、画像は、単に、カメラ440から、またはプロセッサ432によってメモリ434から取得され得る。
ステップ506は、プロセッサ404を用いて、物理的アイテムに対応する製品を決定することを含む随意のステップである。つまり、物理的アイテムは、製品のアイテムとして識別される。これは、製品識別とも称され得、数多くの異なる方法のうちのいずれかで遂行され得る。
いくつかの実装では、ステップ506は、画像分析モデル414を用いてステップ504で取得された画像を分析することを含む。例えば、画像分析モデル414は、物体認識動作を実装し、製品データ412内の情報と画像内の物理的アイテムの描写とを相互参照し、物理的アイテムに一致する製品を見つけ得る。
いくつかの実装では、ステップ506は、製品の明示的または暗示的指示を受信することを含む。そのような指示の限定的でない例は、顧客が顧客デバイス430を用いて製品に関するバーコード、QRコード(登録商標)、RFIDタグをスキャンすることと、顧客がユーザインタフェース436を用いて製品を検索することとを含む。例として、顧客は、物理的アイテムに対応する製品の位置を見つけるために、製品データ412にアクセスし、これを検索し得る。商人は、同様に、または、むしろ、商人デバイス450を用いて製品の指示を提供し得る。
ステップ508は、プロセッサ404を用いて顧客および物理的アイテムのうちの少なくとも1つに関連付けられた情報を取得することを含む。この情報は、顧客データ410および/または製品データ412に記憶され得る。代替として、情報は、例えば、顧客デバイス430、商人デバイス450またはソーシャルメディアプラットフォーム(単数または複数)460等の他の場所に記憶され得る。
いくつかの実装では、ステップ508は、物理的アイテムを表示するシーンを取得することを含む。例えば、ステップ508は、顧客および/または物理的アイテムに関連付けられた情報をシーン推薦モデル416に入力することと、物理的アイテムに関する推薦されたシーンを生成することとを含み得る。上で留意されたように、シーン推薦モデル416は、MLモデルであるか、またはMLモデルを含み得る。この場合、ステップ508は、顧客および/または物理的アイテムに関連付けられた情報をMLモデルに入力して推薦されるシーンを生み出すことを含み得る。代替として、ステップ508は、顧客デバイス430または商人デバイス450から直接入力を受信することを含み得る、これらのデバイスは、物理的アイテムに関するシーンを示すか、さもなければ提供する。
いくつかの実装では、ステップ508は、顧客および物理的アイテムのうちの少なくとも1つに関連付けられた3Dモデルを取得することを含む。例えば、この3Dモデルは、顧客および/または物理的アイテムに関連付けられている特定のシーンであり得る。ステップ504が対のランニングシューズを試着している顧客の画像を取得することを含む場合を考えてほしい。この場合、ステップ508は、彼らの家の近くの特定の公園で走ることを好む顧客を示す情報(例えば、この情報は、ソーシャルフィットネスプラットフォームの顧客のアカウントから取得されたものであり得る)を取得することと、公園の3Dモデルを取得することとを含み得る。この3Dモデルは、顧客および彼らが試着している対のランニングシューズの両方に関連付けられ得る。
いくつかの実装では、ステップ508は、複数の3Dモデルを取得することを含む。複数の3Dモデルのうちの少なくともいくつか(しかし必ずしも全てではない)は、顧客および物理的アイテムのうちの少なくとも1つに関連付けられる。これらの実装では、方法500は、複数の3Dモデルから3Dモデルの選択を受信するステップをさらに含み得る。例えば、複数の3Dモデルは、ユーザインタフェース436を通じて顧客に提示され得る。顧客は、ユーザインタフェース436を用いて、特定の3Dモデルを選択し、生成されるARシーンのベースを形成し得る。ステップ504が対のランニングシューズを試着している顧客の画像を取得することを含む場合を再度参照すると、ステップ508は、顧客がランニングに行く場所に関する複数の3Dモデルを取得することを含み得る。これらの複数の3Dモデルは、ユーザインタフェース436を用いて顧客に提示され得、顧客は、生成されるARシーンのベースを形成するために彼らの家の近くの公園の3Dモデルを選択し得る。
物理的アイテムに対応する製品がステップ506で決定される場合、ステップ508において取得された情報は、ユーザおよび製品のうちの少なくとも1つに関連付けられ得る。いくつかの実装では、ステップ508は、顧客およびステップ506で決定された製品のうちの少なくとも1つに関連付けられている追加の製品の指示を取得することを含む。顧客に関連付けられている追加の製品は、例えば、顧客によって所有されている製品、または顧客の友人もしくは家族によって所有されている製品であり得る。ステップ506で決定された製品に関連付けられている追加の製品は、同一の商人によって販売されている任意の製品、ステップ506で決定された製品と共に用いられることが知られている任意の製品、またはステップ506で決定された製品をいくつかの手段で補完する任意の製品であり得る。ステップ504が対のランニングシューズを試着している顧客の画像を取得することを含む場合をもう一度参照すると、ステップ508は、顧客によって所有されており、対のランニングシューズと同一の商人によって販売されているランニングシューズの指示を取得することを含み得る。従って、ランニングショートパンツは、顧客およびランニングシューズに関連付けられている追加の製品である。ステップ508は、ランニングショートパンツの3Dモデルを取得することも含み得る。
いくつかの実装では、ステップ508で取得された情報は、顧客および物理的アイテムのうちの少なくとも1つに関連付けられている1つ以上の画像を含む。そして、3Dモデルは、例えば写真計測または3Dモデリングを用いて画像から生成され得る。
いくつかの実装では、ステップ508で取得された情報は、顧客が位置する国または地域に依存し得る。例えば、北米にあるダイニングルームテーブルに関連付けられている製品が、ナイフおよびフォークを含み得る一方で、日本にあるダイニングテーブルに関連付けられている製品は、箸を含み得る。
ステップ510では、プロセッサ404は、コンピュータ生成シーンと画像の少なくとも一部とを含むARシーンを生成する。画像の一部は、物理的アイテムを含み、ARシーン内の物理的アイテムを描写する。コンピュータ生成シーンは、視覚的コンテンツを含み、聴覚的コンテンツおよび触覚的コンテンツをさらに含み得る。物理的アイテムの画像は、コンピュータ生成シーンに重ね合わせられ、物理的アイテムに関する実世界設定と異なる設定で物理的アイテムを描写するARシーンを創出する。
ステップ504で取得された画像は、複数の物理的アイテムを含み得、これらの物理的アイテムのいずれかまたは全てが、ARシーン内に描写され得ることを留意されるべきである。そのため、ARシーンは、物理的アイテムの複数の描写を含み得る。
ステップ510で生成されたARシーンのうちのコンピュータ生成シーンは、ステップ508で取得された情報に基づく。そのため、コンピュータ生成シーンは、製品または顧客を補完し得る。ステップ508で取得された情報が場所の指示を含む場合、コンピュータ生成シーンは、その場所の仮想表現を含み得る。ステップ508で取得された情報が人またはペットの指示を含む場合、コンピュータ生成シーンは、人またはペットの仮想表現を含み得る。ステップ508で取得された情報が製品の指示を含む場合、コンピュータ生成シーンは、その製品の仮想表現を含み得る。上で留意されたように、ステップ508で取得された情報の少なくとも一部は、場所、人、ペットまたは製品の3Dモデル等の1つ以上の3Dモデル(単数または複数)の形式であり得る。そのような場合、コンピュータ生成シーンは、少なくとも一部が3Dモデル(単数または複数)に基づき得る。
いくつかの実装では、ステップ510は、画像内の物理的アイテムの特徴を決定することを含む。例えば、画像分析モデル414を用いて、物理的アイテムの縁、角、表面が検出され得る。随意に、特徴が3Dで検出される。顧客入力は、特徴検出において支援するために用いられ得る。例えば、顧客は、ユーザインタフェース436を用い、ラッソ選択を用いて画像内の物理的アイテムの輪郭を識別し得る。これは、画像内の物理的アイテムのおおまかな境界を識別することを助け得、物理的アイテムのおおまかな境界は、画像分析モデル414を用いてさらに洗練され得る。物理的アイテムの特徴は、物理的アイテムを含む画像の部分を識別し、画像から物理的アイテムの描写を取得することを助け得る。
いくつかの実装では、ステップ510は、物理的アイテムの実世界寸法を決定することと、物理的アイテムの寸法に対してコンピュータ生成画像をスケーリングすることとも含み得る。このスケーリングは、物理的アイテムのサイズがARシーン内で適切に描写されていることを保証することを助け得る。いくつかの場合、物理的アイテムの寸法は、画像分析モデル414を用いて決定され得る。画像分析モデル414は、おそらく物理的アイテムの複数の画像を用いて、物理的アイテムの寸法を決定し得る。しかし、物理的アイテムの寸法は、他の手段で決定され得る。例えば、物理的アイテムに対応する製品がステップ506で決定される場合、製品の寸法は、例えば製品データ412から取得され得る。物理的アイテムの寸法は、ユーザインタフェース436を介した顧客入力として、またはユーザインタフェース456を介した商人入力としても受信され得る。
いくつかの実装では、ステップ510は、物理的アイテムを描写する画像の部分をコンピュータ生成シーン内の仮想ポイントに定着させることを含む。画像の部分を定着させることは、物理的アイテムの描写をコンピュータ生成シーンに対して適切に置くために、コンピュータ生成シーン内の物理的アイテムに関する定着ポイントおよび/または向きを画定することを含み得る。いくつかの場合、コンピュータ生成シーンは、座標系を画定し、画像内の物理的アイテムの特徴は、ARシーン内の物理的アイテムの描写を位置付けるようにこの座標系上にマッピングされる。いくつかの実装では、ARシーン内の物理的アイテムに関する定着ポイントおよび/または向きの指示は、ユーザインタフェース436、456のいずれかを用いて顧客または商人から受信される。しかし、物理的アイテムの定着ポイントおよび/または向きは、ユーザによって示されないこともあり、むしろ、特定のシーンのために予め構成され得る。
いくつかの実装では、ステップ510は、少なくとも部分的にARシーン生成モデル418を用いて遂行される。例として、ARシーンを生成するために、ARシーン生成モデル418は、入力として、物理的アイテムの画像、画像内の物理的アイテムの特徴、物理的アイテムの寸法、3Dモデル、および3Dモデル内の物理的アイテムの定着ポイントおよび向きを受信し得る。そして、ARシーン生成モデル418は、3Dモデルおよび物理的アイテムの画像を処理してARシーンを生成し得る。ARシーン生成モデル418は、3Dモデルをスケーリングし、定着ポイントにある物理的アイテムのサイズを適切に伝える。言い換えると、3Dモデルは、それが物理的アイテムのサイズに準じるようにスケーリングされる。ARシーン生成モデル418は、シーン内の物理的アイテムの所望の向きに基づいて3Dモデルを向け直しもする。3Dモデルがスケーリングされ、向けられた後、3Dモデルの2Dレンダが捕捉される。この2Dレンダは、ARシーンに関するコンピュータ生成シーンの例である。画像内の物理的アイテムの外縁を用いて、ARシーン生成モデル418は、物理的アイテムの画像に2Dレンダを重ね合わせ、または重ね得る。2Dレンダは、物理的アイテムの画像に重ねられ、それによって、物理的アイテムの描写は、定着ポイントで見られ、物理的アイテムに関するARシーンを生み出す。このプロセスは、ARシーンに追加されるべきさらなる3Dモデルに関して繰り返され得る。
(i)ステップ504が対のランニングシューズを試着している顧客の画像を取得することを含み、(ii)ステップ508が、顧客の家の近くの公園の3Dモデルを取得することと、顧客によって所有されている値のランニングショートパンツの3Dモデルを取得することとを含む場合を再度考えてほしい。この場合、ステップ510で生成されたARシーンは、顧客および彼らが試着している対のランニングシューズを描写する画像の一部を含む。ステップ510で生成されたARシーンは、顧客の家の近くの公園の3Dモデルから、およびランニングショートパンツの3Dモデルからのコンピュータ生成シーンも含み得る。コンピュータ生成シーンは、対のランニングシューズを試着している顧客の画像を重ね、または隠し得る。例えば、顧客が店舗内で対のランニングシューズを試着している場合、コンピュータ生成シーンは、店舗に対応する画像の部分を隠し得る。最終的なARシーンは、公園内の顧客を描写し、顧客は、ランニングシューズおよびランニングショートパンツを着用している。
別の例では、顧客は、店舗内で棚材料ユニットを購入している。棚材料ユニットに関するARシーンは、棚において示されている製品の仮想表現を含み得る。これらの製品は、顧客によって所有され得、これらの製品は、棚材料ユニットを補完するように商人によって識別されていた製品であり得る。
例のいくつかは、ステップ510でARシーンを生み出すための3Dモデルの使用を含むことを上で説明しているが、3Dモデルは、全ての実装において用いられる必要はないことを留意されるべきである。例として、ステップ508で取得された情報は、顧客が明るい日光ルーム内の物理的アイテムを用いることを示し得、ステップ510で生成されたARシーンは、日光ルームに似るように物理的アイテムの画像を明るくするコンピュータ生成シーンを含み得る。つまり、物理的アイテムに関する実世界シーンは、光源を追加または除去するように拡張される。別の例として、ステップ508で取得された情報は、顧客および/または物理的アイテムに関連付けられた2D画像であり得、2D画像は、ステップ510でコンピュータ生成シーンを形成するように用いられ得る。2D画像に基づくシーンを向け直すことが可能でないこともあるが、いくつかの場合、2D画像は、依然として適切であり得る。例えば、ビーチの2D画像に基づくコンピュータ生成シーンの場合、顧客は、ビーチが常に同一の向きで表示されていることを心掛けていないこともある。
ステップ512は、顧客デバイス430にステップ510で生成されたARシーンを表示することを命令することを含む。いくつかの実装では、ステップ512は、プロセッサ404がネットワーク420を介して顧客デバイス430にコンテンツを送信することによって遂行される。このコンテンツは、ユーザインタフェース436において顧客にARシーンを表示する命令と共に、特定のARシーンを含む。しかし、方法500が顧客デバイス430で遂行される実施形態では、ステップ512は、プロセッサ432がユーザインタフェース436にARシーンを表示することを命令することを含み得る。
ステップ510で生成されたARシーンが、(i)ステップ504で取得された画像の一部が顧客および顧客が試着している対のランニングシューズを示しており、(ii)コンピュータ生成シーンが顧客の家の近くの公園を描写し、ランニングショートパンツを着用している顧客を描写していることを含む場合をもう一度考えてほしい。このARシーンがステップ512に続いて顧客に提示されるとき、顧客は、彼らの家の近くの公園で靴およびショートパンツが一緒になってどう見えるかを評価することが可能である。好都合に、顧客は、靴と物理的にも相互作用するこの設定で靴を眺め、評価することが可能である。従って、顧客は、靴が適切にフィットし、快適であるかどうかを決定することが可能である。
いくつかの実施形態では、ARシーンは、仮想補助アバターを含み、または仮想補助アバターと共に表示され、仮想補助アバターは、問い合わせに答え、製品の追加の詳細を提供する。例えば、顧客は、宴会場でのイベントのための拡声器を買うことを望み得る。ARエンジンは、所望の拡声器を識別し、宴会場のARシーンを生成する。ARシーンは、拡声器の仕様に関する顧客の質問に答えるための仮想補助アバターを含む。仮想補助アバターは、さらに、生成されたARシーンにおいて拡声器の最も効率的な利用を提案し得る。
方法500は、リアルタイムで物理的アイテムに関するARシーンを繰り返しかつ継続的に生み出し得る。これは、ステップ512からステップ504への矢印として図5に示される。例えば、画像のストリームが、物理的アイテムのリアルタイムビデオの形式で受信され得、ストリーム内の各画像は、ステップ504の一例に対応する。各画像では、物理的アイテムの眺めが継続的に変化し得、これは、画像内の物理的アイテムのサイズおよび向きの変化をもたらす。ステップ510は、物理的アイテムの各画像に関する新たなARシーンを生成するために繰り返し遂行され得る。いくつかの実装では、画像分析が、リアルタイムで送られるビデオにおいて製品を追跡するために遂行される。顧客デバイスは、異なる獲得された画像間のカメラの位置および向きの変化を追跡するためのセンサ(例えば、モーションセンサ、ジャイロスコープ、および加速度計)を含み得、これは、画像内の物理的アイテムの描写における変化を追跡することを助けるために用いられ得る。各々の生成されたARシーンに関して、物理的アイテムの描写は、コンピュータ生成シーンに対して、特定のポイントで、かつ特定の向きで定着させられ得、従って、画像内のアイテムの向きおよび/またはサイズの変化は、コンピュータ生成シーンへの変化をもたらし得る。つまり、コンピュータ生成シーンは、物理的アイテムの描写に対して定位置に係止される。これは、動的なARシーンの生成を提供する。ステップ506、508の一方または両方は、物理的アイテムのビデオに関して一度だけ遂行され得ることを留意されるべきである。
ステップ514は、プロセッサ404が、ステップ510で生成されたARシーンを修正または変更することの要求を受信することを含む随意のステップである。例えば、ARシーンを眺めた後、顧客は、ARシーンのいくつかの局面への修正を要求し得る。そのような修正の限定的でない例は、
・ARシーンの設定または環境の変更
・ARシーン内の物理的アイテムのサイズ、定着ポイントおよび/または向きの変更
・ARシーンに顧客または別の人を追加すること、またはARシーンから顧客または別の人を除去すること
・ARシーン内に描写された顧客または別の人のサイズ、位置および/または向きの変更
・ARシーンに(物理的アイテムと異なる)別のアイテムを追加すること、またはARシーンから別のアイテムを除去すること
・ARシーン内の(物理的アイテムと異なる)別のアイテムのサイズ、位置および/または向きの変更
を含む。
いくつかの実装では、特定のARシーンを修正するための要求がユーザインタフェース436を用いて顧客によって生成される。例えば、顧客は、マウス、キーボード、タッチスクリーン、またはジェスチャもしくは音声認識システムを用い、特定のARシーンを修正するための要求を生成し得る。そして、この要求は、顧客デバイス430からARエンジン402に送信される。商人デバイス450を用いる商人は、特定のARシーンを修正するための要求も生成し得る。
いくつかの実装では、ARシーンを修正するための要求は、ARシーン内に描写された物理的アイテムを移動させ、サイズ設定し直し、かつ/または向け直す要求を含む。これは、ARシーン内の物理的アイテムの相互作用の配置および/または構成を可能とする。ARシーン内に描写された物理的アイテムを移動させることは、コンピュータ生成シーンに対する物理的アイテムの定着位置における変更に対応し得る。
特定のARシーンを修正または変更するための要求の受信時、方法500は、ステップ510に戻り、要求に基づいて修正されたARシーンを生成する。これは、図5においてステップ514からステップ510への矢印を用いて示される。修正されたARシーンを生成した後、ステップ512は、修正されたARシーンを表示することを顧客デバイス430に命令する。
いくつかの実装では、ステップ510は、ステップ508において取得された情報に基づく複数のARシーンの生成を含み得、ステップ512は、複数のARシーンを表示することを顧客デバイス510に命令することを含む。方法500は、複数のARシーンのうちの特定のARシーンの選択を顧客から受信するさらなるステップを含み得る。選択に続いて、その後、顧客は、特定のARシーンのみを示され得る。
いくつかの実施形態では、ステップ504の2つの相互作用は、ソーシャルショッピングを可能とするように遂行される。ステップ504の第1の反復において、プロセッサ404は、第1の物理的アイテムの第1の画像を取得し、第1の画像は、第1の顧客に関連付けられた第1の顧客デバイスによって捕捉されたものである。ステップ504の第2の反復において、プロセッサ404は、第1の物理的アイテムと異なる第2の物理的アイテムの第2の画像を取得し、第2の画像は、第2の顧客に関連付けられた第2の顧客デバイスによって捕捉されたものである。ステップ506の第1の反復は、第1の物理的アイテムに関して遂行され得、製品は、第1の物理的アイテムに対応することを識別される。ステップ506の第2の相互作用は、第2の物理的アイテムに関して遂行され得、製品は、第2の物理的アイテムに対応することを識別される。ステップ508の第1の反復は、第1の画像に関して遂行され、第1の顧客および第1の物理的アイテムのうちの少なくとも1つに関連付けられた情報が取得される。ステップ508の第2の反復も遂行され得、第2の顧客および第2の物理的アイテムのうちの少なくとも1つに関連付けられた情報が取得される。これらの実施形態では、第1のARシーンは、第1の画像の少なくともの一部と、第2の画像からの製品の仮想表現と、コンピュータ生成シーンとを含むステップ510で生成される。第2のARシーンも、第2の画像の少なくとも一部と、第1の画像からの製品の仮想表現と、コンピュータ生成シーンとを含むステップ510で生成され得る。2つの製品の仮想表現は、顧客デバイスから送られた画像または3Dモデルに基づき得るか、または製品ルックアップを介してアクセスされた3Dモデルに基づき得る。コンピュータ生成シーンは、ステップ508において決定された情報のいずれかに基づき得、第1および第2のARシーンの両方に関して同一であり得る。第1のARシーンは、ステップ512に続いて第1の顧客デバイスに表示され得、第2のARシーンは、ステップ512に続いて第2の顧客デバイスに表示され得る。2つのARシーンは、互いに同一の相対的場所にそれらのシーン(物理的および仮想的の両方)で物体を描写し得、それによって、第1のARシーン内の第1の物理的アイテムおよび第2のARシーン内の第1の物理的アイテムの仮想表現は、第1および第2のARシーンで同一の場所に表示され、第2の物理的アイテムおよびその仮想表現でも同一である。従って、2人の顧客は、同様のショッピング経験を共有することが可能である。
方法500は、例として提供される。ARシーンを生成する他の方法も構想される。例えば、方法500のステップ504は、いくつかの実施形態で省略され得る。顧客と物理的アイテムとの間に位置付けられ、それによって、顧客がディスプレイデバイスを通じて物理的アイテムを眺め得る透明ディスプレイデバイスの場合を考えてほしい。ステップ508、510は、顧客および物理的アイテムのうちの少なくとも1つに関連付けられているコンピュータ生成シーンを取得するために遂行され得る。そして、コンピュータ生成シーンは、仮想シーン内で物理的アイテムを描写するために、顧客が物理的アイテムを眺めることを可能とするディスプレイデバイスの部分の辺りに、透明なディスプレイデバイスに表示され得る。ディスプレイデバイスに対する顧客の位置は、ディスプレイデバイスにコンピュータ生成シーンを適切に重ねるために追跡され得る。
物理的製品に関する例示的なARシーン
図6から図17を参照すると、顧客のリビングルームのためのソファー602を購入することに興味がある顧客に関するARシーンを生成する例を提供する。ソファー602は、顧客が実世界店舗で相互作用している製品の物理的アイテムである。
図6から図8は、いくつかの実施形態による顧客がソファー602に対応する製品を識別することを図示する図である。ソファー602は、顧客に関連付けられた顧客デバイス601によって読み取り可能なRFIDタグを有し、RFIDタグは、ソファー602に対応する製品の指示を提供するために用いられ得る。RFIDタグは、特定の範囲610を有する。図6は、RFIDタグの範囲610の外側の顧客デバイス601を図示する。顧客デバイス601は、範囲610の外側であるので、ソファー602は、顧客デバイス601によって検出されない。図6は、さらに、顧客デバイス601に表示されたスクリーンページ600を図示する。スクリーンページ600は、どのRFIDタグも検出されていないことの指示606と、製品を手動で検索するための製品識別子(ID)を入力するオプション608とを含む。
図7は、ソファー602上のRFIDタグの範囲610の内側にある顧客デバイス601を図示する(すなわち、顧客はソファー602に近接している)。従って、RFIDは、顧客デバイス601によって読み取り可能である。図7も、スクリーンページ700を図示しており、スクリーンページ700は、顧客デバイス601に表示され、RFIDタグが検出されたことの指示702と、ソファー602に対応する製品の指示704とを含む。
顧客は、指示704を選択し得、この場合、顧客デバイス601は、図8に示されるスクリーンページ800を表示する。スクリーンページ800は、ソファー602に対応する製品の指示802を含み、指示802は、画像および製品IDを含む。顧客は、画像および/または製品IDを実世界のソファー602と比較し、製品がソファー602と一致していることを確認し得る。スクリーンページ800は、ソファー602に関するARシーンを生成するためのオプション804をさらに含む。
いくつかの実施形態では、スクリーンページ600、700、800は、方法500のステップ506中顧客に表示される。しかし、図6から図8に示されているソファー602に対応する製品を識別する方法は、単なる例であることを留意されるべきである。顧客デバイス601は、バーコード、QRコード(登録商標)および/またはソファー602の画像を用いてソファー602に対応する製品を識別もし得る。
図9は、ある実施形態によるソファー602に関する推薦されたシーンの選択を図示する図である。図9は、顧客デバイス601に示されるスクリーンページ900を含む。スクリーンページ900は、ソファー602を表示する複数の推薦されたシーン902、904、906を含む。シーン902、904、906の各々は、それぞれの3Dモデルに関連付けられている。シーン902は、ユーザのリビングルームの画像に基づき(例えば、この画像を用いて生成される)、シーン904は、マンションの画像に基づき、シーン906は、中庭の画像に基づく。シーン902、904、906の全ては、少なくとも、ソファー602が用いられ得る場所をシーン902、904、906が描写する点で、ソファー602に関連付けられている。例えば、シーン902、904、906のいずれかまたは全てが、システム400の製品データ412に記憶された画像に基づき得る。シーン902は顧客の家を描写しているので、シーン902は、顧客にも関連付けられている。したがって、シーン902は、システム400の顧客データ410に記憶された画像に基づき得る。
シーン902、904、906のうちの1つの選択は、そのシーンに基づくソファー602に関するARシーンの生成をもたらす。スクリーンページ900は、特定のシーンを検索するオプション908をさらに含む。
図10は、ある実施形態によるソファー602に関する特定のシーンの検索を図示する図である。図10は、顧客デバイス601に示されるスクリーンページ1000を含む。スクリーンページ1000は、検索バー1002と、ソファー602を表示する複数のシーン1004、1006とを含む。シーン1004、1006の各々は、それぞれの3Dモデルに関連付けられている。シーン1004、1006は、検索バー1002における検索基準に一致する。いくつかの実装では、検索バー1002における検索基準は、顧客に関連付けられた情報および/またはソファー602に関連付けられた情報と比較される。検索基準が、顧客に関連付けられた任意の情報またはソファー602に関連付けられた情報に一致する場合、この情報が、推薦されるシーンを生み出すために用いられる。シーン1004は、顧客に関連付けられるのに対し、シーン1006は、ソファー602に関連付けられている。シーン1004、1006のうちの1つの選択は、そのシーンに基づくソファー602に関するARシーンの生成につながり得る。
いくつかの実装では、スクリーンページ900、1000の一方または両方が、方法500のステップ508に続いて生成される。
図11は、ある実施形態による顧客デバイス601に表示された例示的なARシーン1101を図示する図である。図11は、図9のシーン902に基づいてARシーン1101を示すスクリーンページ1100を含む。例えば、ARシーン1101は、顧客によるシーン902の選択に続いて生成され得る。ARシーン1101は、ソファー602の描写1102と、コンピュータ生成シーン1104とを含む。スクリーンページ1100は、ARシーン1101が顧客のリビングルームに対応することの指示1110と、ARシーン1101に関するメニューにアクセスするオプション1112とをさらに含む。
ソファー602の描写1102は、顧客デバイス601によって撮影されたソファー602の画像の一部を表す。顧客デバイス601は、リアルタイムでソファー602の画像を能動的に捕捉している。コンピュータ生成シーン1104は、顧客に関連付けられた複数の他の製品1108を含む顧客のリビングルームを示す。コンピュータ生成シーン1104は、シーン902に関する3Dモデルからの2Dレンダである。2Dレンダは、ソファー602の寸法、コンピュータ生成シーン1104内の描写1102のための定着ポイント、およびコンピュータ生成シーン1104内の描写1102の向きに基づいて生成される(例えば、スケーリングされる)。特に、ソファー602は、コンピュータ生成シーン1104に準じて示される。図8に示されるように、ソファー602に対応する製品が決定されたとき、ソファー602の寸法が決定され得る。代替として、ソファー602の寸法は、画像処理を用いて決定され得る。コンピュータ生成シーン1104内の描写1102の定着ポイントおよび向きは、例えば、シーン902に関して予め決定され得るか、または顧客デバイス601を介した顧客からの入力として受信され得る。図示される例では、描写1102は、顧客のリビングルーム内の壁1106に定着させられ、壁1106から遠ざかる向きに向けられる。従って、コンピュータ生成シーン1104は、ソファー602の画像に重ねられ、それによって、ソファー602の描写1102が壁1106に寄りかかって示される。
いくつかの実施形態では、ARシーン1101は、方法500においてステップ510で生成される。
図12は、ある実施形態による顧客デバイス601で表示されるARシーン1101を図示する別の図である。図12は、ARシーン1101に関するメニュー1202を示すスクリーンページ1200を含む。顧客は、オプション1112の選択に応答してスクリーンページ1200に導かれ得る。
メニュー1202は、ARシーン1101内の1つ以上の製品(単数または複数)を移動させるオプションと、製品のサイズを変更するオプションと、任意の寸法警告を眺めるオプションと、ソーシャルショッピングを開始するオプションと、1つ以上の仮想モデル(単数または複数)をARシーン1101に追加するオプションと、1つ以上の推薦される製品(単数または複数)をARシーン1101に追加するオプションと、製品(すなわち、ソファー602)を購入するオプションと、ARシーン1101を退出するオプションとを含む。
図13は、ある実施形態による顧客デバイス601に表示される修正されたARシーン1301を図示する図である。図13は、修正されたARシーン1301と、ARシーン1301内でアイテムを移動させるオプション1302とを有するスクリーン1300を含む。図示された例では、移動させられることが可能なアイテムは、ソファー602の描写1102のみである。スクリーンページ1300は、顧客が修正されたARシーン1301内でアイテムを移動させることを可能とする複数のコマンド1304をさらに含む。顧客が1つ以上のコマンド1304を用いるとき、ARシーンを修正するための要求が、創出され、ARシーンを生成したARエンジンに送信される。要求を受信することに応答して、ARエンジンは、ARシーンの修正されたバージョンを生成し、ARシーンは、顧客デバイス601に修正されたARシーンを表示するための命令とともに、顧客デバイス601に送信される。スクリーンページ1300は、メニュー1202に提供される1つ以上の製品(単数または複数)を移動させるオプションを用いてアクセスされ得る。
コマンド1304は、単に、顧客がARシーン内でアイテムを移動させることを可能とすることの一例であることを留意されるべきである。別の例では、顧客は、タッチスクリーンによって検出されたジェスチャを用いてARシーン内でアイテムを移動させ得る。「製品を移動させる」オプションは、顧客によって選択され得、ユーザがジェスチャを用いてスクリーン内でアイテムの定着ポイントおよび向きを移動させることを可能とする。
修正されたARシーン1301を生み出すために、顧客は、コマンド1304を用いてリビングルームの壁1106から別の壁1308にソファー602の描写1102を移動させるための要求を生成した。実際、これは、コンピュータ生成シーン1104内のソファー602の描写1102の定着ポイントおよび向きを変更した。修正されたARシーン1301は、ソファー602の描写1102と、コンピュータ生成シーン1104と比較して更新または修正されたコンピュータ生成シーン1306とを含む。コンピュータ生成シーン1306は、シーン902に対応する3Dモデルからの2Dレンダであり、これは、異なる角度から顧客のリビングルームを示す。コンピュータ生成シーン1306は、ソファー602の描写1102に重ね合わせられ、それによって、描写1102は、リビングルームの壁1106ではなく、リビングルームの壁1308に寄りかかって示される。
図14は、ある実施形態による顧客デバイス601に表示される修正されたARシーン1401を図示する別の図である。図14は、ARシーン1401と、ソファー602の描写1102のサイズを変更するメニュー1402とを有するスクリーンページ1400を含む。メニュー1402は、ソファー602に関する2つのサイズオプションを含み、2つのサイズオプションは、(i)顧客が眺めているソファー602の実際のサイズに対応するオリジナルサイズと、(ii)実生活で顧客が眺めることが物理的に不可能である「XL」サイズとである。メニュー1402は、例えば、メニュー1202内の製品のサイズを変更するオプションを用いてアクセスされ得る。
ARシーン1401は、顧客がメニュー1402内の「XL」オプションを選択することに応答して、生成され、顧客デバイス601に表示される。ARシーン1401は、ソファー602の描写1102と、修正または更新されたコンピュータ生成シーン1404とを含む。コンピュータ生成シーン1404は、コンピュータ生成シーン1306と同様であるが、ソファー602の「XL」サイズの寸法の指示1406(破線で示されている)を含む。指示1406は、店舗で「XL」サイズが物理的に利用可能でなくとも、顧客が顧客のリビングルーム内で「XL」サイズのソファー602のスケールを眺め、認識することを可能とする。
いくつかの実施形態では、スクリーンページ1300、1400の一方または両方は、方法500のステップ514で受信されたARシーンを修正するための要求に関連付けられる。
いくつかの場合、ARシーン内の仮想製品または仮想物体は、2Dまたは3D空間内で物理的アイテムの画像に重なり得る。この重なりは、衝突とも称される。図15は、ある実施形態によるARシーン1501内の衝突を図示する図である。図15は、ARシーン1501を示すスクリーンページ1500を含む。ARシーン1501は、ソファー602の描写1102とコンピュータ生成シーン1504とを含む。コンピュータ生成シーン1504は、ソファー602の描写1102に衝突するランプ1506の仮想表現を含む。描写1102に衝突するランプ1506の部分は、描写1102を覆い隠さないように破線で示されている。スクリーンページ1500は、例えば、ARシーン1501内の衝突の指示1502を含み、指示1502は、メニュー1202内で寸法警告を眺めるオプションを顧客が選択することに応答してアクセスされ得る。
ARシーン内の衝突に応答して、顧客は、衝突を調整する数多くのアクションのうちのいずれかをとり得る。いくつかの実施形態では、顧客は、物理的アイテムの描写に関する定着ポイントを異なる場所に移動させることによってARシーンを修正し得る。顧客は、同様に、または、むしろ、物理的アイテムを提示する異なるシーンを選択し得る。
図16は、ある実施形態による顧客デバイス601に表示される修正されたARシーン1601を図示するさらに別の図である。図16は、ARシーン1601と、ソーシャルショッピングを可能とするメニュー1602とを有するスクリーンページ1600を含む。図示された例では、メニュー1602は、顧客の友人または家族であり得る別のユーザ(「ユーザ2」)が見つかったことを示す。顧客は、メニュー1602を通じてユーザ2とのソーシャルショッピングが可能となっている。これに応答して、スクリーンページ1600は、顧客デバイス601がユーザ2に接続されていることの指示1608をさらに含む。メニュー1602は、例えばメニュー1202内でソーシャルショッピングを開始するオプションを用いてアクセスされ得る。
ARシーン1601は、ソファー602の描写1102と、物理的な実世界のテーブルの描写1606と、コンピュータ生成シーン1306とを含む。テーブルの描写1606は、ユーザ2に関連付けられた顧客デバイスによって捕捉されたテーブルの仮想表現である。テーブルの描写1606は、テーブルの3Dモデルを用いて生成され得、テーブルの3Dモデルは、メモリ内に記憶されているか、またはユーザ2に関連付けられた顧客デバイスによって生成されている。ARシーン1601は、ソファー602およびテーブルが一緒になって顧客のリビングルーム内でどう見えるかを顧客が眺めることを可能とする。同様のARシーンは、ユーザ2に関連付けられた顧客デバイスにも表示され得る。
図17は、ある実施形態による顧客デバイス601に表示される修正されたARシーン1701を図示するさらなる図である。図17は、ARシーン1701と、ARシーン1701内に1つ以上の仮想モデル(単数または複数)を含むオプションを提供するメニュー1702とを有するスクリーンページ1700を含む。図示された例では、メニュー1702は、顧客のペットのモデルおよび仮想ペットのモデルを含む2つの可能なARモデルが利用可能であることを示す。いくつかの実装では、顧客のペットのモデルは、ARエンジン402内の顧客データ410内に記憶されており、仮想ペットのモデルは、ARエンジン402内の製品データ412内に記憶されている商人推薦モデルである。仮想モデルの各々は、それぞれの3Dモデルに対応する。メニュー1702は、例えばメニュー1202に提供された1つ以上の仮想モデル(単数または複数)を含むオプションを用いてアクセスされ得る。
ARシーン1701は、ソファー602の描写1102と、コンピュータ生成シーン1704とを含む。コンピュータ生成シーン1704は、顧客のリビングルーム、およびソファー602の描写1102に重ねられた顧客のペットの仮想表現1706も示す。この例では、顧客のペットは、ソファーに座って示される。ペットの表現1706は、ソファー602のサイズに縮尺を合わせられ、顧客が彼らのペットと比較したソファー602のサイズを認識することを可能とする。言い換えると、ペットの表現1706は、ソファー602のサイズに準じて示される。顧客がメニュー1702内で彼らのペットを選択することに応答して、ARシーン1701が、生成され、顧客デバイス601に表示される。
いくつかの実施形態では、スクリーン―ページ1700は、方法500のステップ514で受信されたARシーンを修正するための要求に関連付けられている。
ペットは、単に、ARシーンに追加され得る仮想モデルの一例であることを留意されるべきである。概して、仮想モデルは、顧客および/または製品に関連付けられている任意の人、動物、または物体を含み得る。例えば、親は、彼らの子がいないときに子のための衣類を買うことを望み得る。ARエンジンは、衣類を着用している子を描写するARシーンを生成し、親が衣類の見た目およびフィット感を認識することを可能とする。子の描写は、メニュー1702等のメニューから選択され得る仮想モデルであり得る。
図18は、ある実施形態による顧客デバイス601を移動させた後顧客デバイス601に表示されるARシーン1801を図示する図である。図18は、ARシーン1801を有するスクリーンページ1800を含む。ARシーン1801は、ソファー602の描写1802と、コンピュータ生成シーン1804とを含む。この例では、顧客デバイス601は、図11と異なる角度からソファー602の画像を捕捉している。そのため、ソファー602の描写1802は、図11に示される描写1102と異なる。例えば、顧客デバイス601を保持する顧客は、異なる位置に移動しており、異なる視点からソファー602を眺め得る。ARシーン1101と同様、描写1802は、顧客のリビングルーム内の壁1106に定着させられ、壁1106とは反対向きに向けられる。コンピュータ生成シーン1804は、コンピュータ生成シーン1104と比較して更新され、壁1106における描写1804の定着ポイントを維持する。これは、画像内の物理的アイテムを追跡し、リアルタイムでそれらの画像に基づいてARシーンを生成することの例である。
いくつかの実施形態では、ARシーン1801は、方法500のステップ510で生成される。
ここで、ドレス1902を買うことに興味がある顧客のためにARシーンを生成することの例を提供する図19および図20を参照されたい。ドレス1902は、顧客が実世界店舗で試着している製品の物理的アイテムである。顧客は、鏡1904を用いてドレスを眺めている。顧客は、顧客に関連付けられた顧客デバイス1903を用いてドレス1902の画像を捕捉することもしている。
図19は、ある実施形態による顧客デバイス1903に表示されたARシーン1901を図示する図である。図19は、ARシーン1901を示すスクリーンページ1900を含む。ARシーン1901は、ドレス1902を着用している顧客の描写1906と、コンピュータ生成シーン1908とを含む。ドレス1902を着用している顧客の描写1906は、顧客デバイス1903によって撮影された画像の一部を表す。図示された例では、顧客デバイス1903は、ドレス1902を着用している顧客の画像を能動的に捕捉している。
コンピュータ生成シーン1908は、ビーチシーンを描写している。このビーチシーンは、顧客に関連付けられた場所またはドレスに関連付けられた場所の3Dモデルに基づき得る。例として、ドレス1902は、ビーチで着用されることを意図されたドレスであり得る。ARシーン1901は、顧客が、彼らがビーチ設定でドレスがどう見えるかを認識することを可能とする。いくつかの実装では、ARシーン1901は、波の音等のビーチシーンに関する音響をさらに含む。
シーンページ1900は、ARシーン1901がビーチに対応することの指示1910と、ARシーン1901に関するメニューにアクセスするためオプション1912とをさらに含む。このメニューは、例えば図12に示されるメニュー1202と同様であり得る。
図20は、ある実施形態による顧客デバイス1903に表示される修正されたARシーン2001を図示する図である。図20は、ARシーン2001と、ARシーン2001に追加される製品を選択するためのメニュー2002とを有するスクリーンページ2000を含む。メニュー2002は、例えばオプション1912を通じてアクセスされ得る。図示される例では、ピンクのフリップフラップおよびビーチサンダルが、メニュー2002で利用可能な製品である。ピンクのフリップフラップは、顧客によって以前に購入され、従って顧客に関連付けられている製品である。ピンクのフリップフラップは、ビーチで着用されることが意図され得るので、ピンクのフリップフロップは、ビーチにも関連付けられる。ビーチサンダルは、ドレス1902に関する商人によって推薦された製品である。例えば、ビーチサンダルおよびドレス1902は、両方ともビーチで着用されることが意図され、かつ補完的な特徴および/または色を有している。
ARシーン2001は、ドレス1902を着用している顧客の描写1906と、更新または修正されたコンピュータ生成シーン2004とを含む。コンピュータ生成シーン2004は、コンピュータ生成シーン1908と同一のビーチシーンを含み、商人によって購入されたピンクのフリップフラップの仮想表現2008も含む。従って、ARシーン2001は、顧客が彼らのピンクのフリップフラップを履いてビーチでドレス1902を着用している顧客の表現を眺めることを可能とする。ARシーン2001は、顧客がメニュー2002内のピンクのフリップフラップを選択することに応答して生成され得、これは、ARシーンを修正するための要求の例である。
スクリーンページ2000は、顧客がメニュー2002内の推薦された製品間で切り替えをすることを可能とする複数のコマンド2006をさらに含む。いくつかの実装では、鏡1904は、ユーザがジェスチャを用いて推薦された製品間で切り替えをすることを可能とするジェスチャ認識システムを実装している。
スクリーンページ600、700、800、900、1000、1100、1200、1300、1400、1500、1600、1700、1800、1900、2000は、全て、携帯電話等のハンドヘルドデバイスの形態の顧客デバイスに表示されているが、これは単なる例である。スクリーンページ600、700、800、900、1000、1100、1200、1300、1400、1500、1600、1700、1800、1900、2000のいずれかまたは全ては、むしろ、本明細書中で説明される顧客デバイスの任意の他の例に表示され得る。例えば、図19および図20の鏡1904は、むしろ、顧客の画像を捕捉しARシーン1901、2001を表示するスマートミラーであり得る。
結論
本発明は、その特定の特徴および実施形態に言及して説明されたが、本発明から逸脱せずに種々の修正物および組み合わせ物が作製され得る。よって、説明および図面は、単に、添付の請求項によって定義される本発明のいくつかの実施形態の図示とみなされるべきであり、本発明の範囲に属するいずれかまたは全ての修正物、変形物、組み合わせ物、または同等物をカバーすることが構想される。従って、本発明およびその利点は、詳細に説明されたが、種々の変化物、代用物および変更物が、添付の請求項によって定義される本発明から逸脱せずに本明細書中で作製され得る。さらに、本出願の範囲は、本明細書中で説明されるプロセス、機械、製造、主題の構成、手段、方法およびステップの特定の実施形態に限定されるように意図されていない。当業者が本発明の開示から容易に認識するように、本明細書中で説明される対応する実施形態と実質的に同一の機能を遂行し、実質的に同一の結果となる現在存在しておりまたは後に開発されるであろうプロセス、機械、製造、主題の構成、手段、方法、またはステップは、本発明により活用され得る。よって、添付の請求項は、そのようなプロセス、機械、製造、主題の構成、手段、方法、またはステップ等をその範囲内に含むことを意図されている。
さらに、本明細書中で例示される命令を実行する任意のモジュール、コンポーネント、またはデバイスは、コンピュータ/プロセッサ読み取り可能な命令、データ構造、プログラムモジュール、および/または他のデータ等の情報のストレージのための非一過性コンピュータ/プロセッサ読み取り可能なストレージ媒体(単数または複数)を含むか、さもなければそこへのアクセスを有し得る。非一過性コンピュータ/プロセッサ読み取り可能なストレージ媒体の例の非網羅的なリストは、磁気カセット、磁気テープ、磁気ディスクストレージまたは他の磁気ストレージデバイス、光学ディスク(コンパクトディスク読み取り専用メモリ(CD-ROM)、デジタルビデオディスクもしくはデジタルバーサタイルディスク(DVD)、Blu-ray(登録商標) DiscTM、または他の光学ストレージ等)、任意の方法またはテクノロジで実装された揮発性および不揮発性のリムーバブルおよび非リムーバブル媒体、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、電気的削除可能プログラマブル読み取り専用メモリ(EEPROM)、フラッシュメモリもしくは他のメモリテクノロジを含む。任意のそのような非一過性コンピュータ/プロセッサストレージ媒体は、デバイスの一部であるか、またはデバイスにアクセス可能もしくは接続可能であり得る。本明細書中で説明される任意のアプリケーションまたはモジュールは、そのような非一過性コンピュータ/プロセッサ読み取り可能ストレージ媒体によって記憶され、さもなければ保持され得るコンピュータ/プロセッサ読み取り可能/実行可能命令を用いて実装され得る。
本教示は、以下の番号付けされた段落の1つ以上の特徴に及び得る。
1.本開示の一局面によると、コンピュータ実装方法が提供される。方法は、物理的アイテムの画像を取得することであって、画像は、ユーザに関連付けられたデバイスによって捕捉されている、ことと、ユーザおよび物理的アイテムのうちの少なくとも1つに関連付けられた情報を取得することと、コンピュータ生成シーンと少なくとも画像の一部とを含むARシーンを生成することであって、コンピュータ生成シーンは、情報に基づく、ことと、ARシーンを表示することをデバイスに命令することとを含む。
2.いくつかの実施形態では、情報を取得することは、ユーザおよび物理的アイテムのうちの少なくとも1つに関連付けられた3次元(3D)モデルを取得することを含む。コンピュータ生成シーンは、3Dモデルに基づく。
3.いくつかの実施形態では、情報を取得することは、ユーザおよび物理的アイテムのうちの少なくとも1つに関連付けられた複数の3Dモデルを取得することを含み、複数の3Dモデルは、3Dモデルを含む。これらの実施形態では、方法は、複数の3Dモデルからの3Dモデルの選択を受信することをさらに含む。
4.いくつかの実施形態では、方法は、物理的アイテムに対応する製品を決定することをさらに含み、情報は、ユーザおよび製品のうちの少なくとも1つに関連付けられている。
5.いくつかの実施形態では、製品は、第1の製品であり、情報を取得することは、ユーザおよび第1の製品のうちの少なくとも1つに関連付けられた第2の製品の指示を取得することをさらに含む。これらの実施形態では、コンピュータ生成シーンは、第2の製品の仮想表現を含む。
6.いくつかの実施形態では、物理的アイテムに対応する製品を決定することは、製品の指示を受信することを含む。
7.いくつかの実施形態では、物理的アイテムに対応する製品を決定することは、画像を分析することを含む。
8.いくつかの実施形態では、ARシーンを生成することは、物理的アイテムの寸法を決定することと、物理的アイテムの寸法に対してコンピュータ生成シーンをスケーリングすることとを含む。
9.いくつかの実施形態では、ARシーンを生成することは、コンピュータ生成シーン内の仮想ポイントに画像の一部を定着することを含む。
10.いくつかの実施形態では、方法は、ARシーンを修正する要求を受信することと、要求に基づいて、修正されたARシーンを生成することと、修正されたARシーンを表示することをデバイスに命令することとをさらに含む。
11.いくつかの実施形態では、画像は、第1の画像であり、物理的アイテムは、第1の物理的アイテムであり、デバイスは、第1のデバイスであり、ユーザは、第1のユーザである。方法は、第2の物理的アイテムの第2の画像を取得することをさらに含み、第2の画像は、第2のユーザに関連付けられた第2のデバイスによって捕捉されており、ARシーンは、第2の物理的アイテムの仮想表現をさらに含む。
12.いくつかの実施形態では、情報を取得することは、機械学習モデルを用いて情報を取得することを含む。
13.いくつかの実施形態では、ARシーンを生成することは、視覚的コンテンツと、聴覚的コンテンツおよび触覚的コンテンツのうちの1つ以上とを生成することを含む。
14.本開示の別の側面によると、情報を記憶するためのメモリと、本明細書中で開示されるいずれかの方法を遂行するための1つ以上のプロセッサとを含むシステムが提供される。

Claims (24)

  1. コンピュータ実装方法であって、前記コンピュータ実装方法は、
    販売用の物理的な実世界製品の画像を取得することであって、前記画像は、ユーザに関連付けられたデバイスによって捕捉されている、取得することと、
    前記物理的な実世界製品の識別を決定することと、
    拡張現実(AR)を用いて前記物理的な実世界製品を提示するための複数の異なる仮想シーンの指示、前記物理的な実世界製品が提示され得るそれぞれの異なる部屋のそれぞれの少なくとも2つの仮想シーンを取得することであって、
    それぞれの異なる仮想シーンが、それぞれの異なる3次元(3D)モデルに関連付けられており、
    それぞれが、それぞれの異なる仮想コンテンツを生成するためのものであり、
    それぞれが、前記ユーザ及び前記物理的な実世界製品のうちの少なくとも1つに関連付けられており、
    前記仮想シーンの少なくとも1つは、前記物理的な実世界製品の識別に基づいて推薦される、
    取得することと、
    前記デバイスに前記複数の異なる仮想シーンの指示を表示することを命令することと、
    複数の前記異なる3Dモデルのうちの特定の3Dモデルに関連付けられた特定の仮想シーンの選択を受信することと、
    ARシーンを生成することであって、前記ARシーンは、
    (1)選択された前記特定の3Dモデルに関連付けられた前記特定の仮想シーンの前記仮想コンテンツを含むコンピュータ生成シーン、及び
    (2)前記物理的な実世界製品の画像の少なくとも一部
    の両方を含
    生成することと、
    前記ARシーンを表示することを前記デバイスに命令することと
    を含む、コンピュータ実装方法。
  2. 前記物理的な実世界製品は、第1の製品であり、
    前記方法は、前記ユーザおよび前記第1の製品のうちの少なくとも1つに関連付けられた第2の製品の指示を取得することをさらに含み、
    前記コンピュータ生成シーンは、前記第2の製品の仮想表現を含む、請求項に記載のコンピュータ実装方法。
  3. 物理的な実世界製品の識別を決定することは、前記物理的な実世界製品の指示を受信することを含む、請求項に記載のコンピュータ実装方法。
  4. 前記物理的な実世界製品の識別を決定することは、前記画像を分析することを含む、請求項に記載のコンピュータ実装方法。
  5. 前記ARシーンを生成することは、
    前記物理的な実世界製品の寸法を決定することと、
    前記物理的な実世界製品の前記寸法に対して前記コンピュータ生成シーンをスケーリングすること
    を含む、請求項1に記載のコンピュータ実装方法。
  6. 前記ARシーンを生成することは、前記コンピュータ生成シーン内の仮想ポイントに前記画像の一部を定着させることを含む、請求項1に記載のコンピュータ実装方法。
  7. 前記ARシーンを修正するための要求を受信することと、
    前記要求に基づいて、修正されたARシーンを生成することと、
    前記修正されたARシーンを表示することを前記デバイスに命令することと
    をさらに含む、請求項1に記載のコンピュータ実装方法。
  8. 前記画像は、第1の画像であり、前記物理的な実世界製品は、第1の物理的アイテムであり、前記デバイスは、第1のデバイスであり、前記ユーザは、第1のユーザであり、前記方法は、
    第2の物理的アイテムの第2の画像を取得すること をさらに含み、前記第2の画像は、第2のユーザに関連付けられた第2のデバイスによって捕捉されており、前記ARシーンは、前記第2の物理的アイテムの仮想表現をさらに含む、請求項1に記載のコンピュータ実装方法。
  9. 前記複数の異なる仮想シーンの指示は、機械学習モデルを用いて得られる、請求項1に記載のコンピュータ実装方法。
  10. 前記ARシーンを生成することは、視覚的コンテンツと、聴覚的コンテンツおよび触覚的コンテンツのうちの1つ以上とを生成することを含む、請求項1に記載のコンピュータ実装方法。
  11. 前記物理的な実世界製品の識別と、前記ユーザに関連付けられた情報との両方に基づいて、前記仮想シーンのうちの少なくとも1つを推薦することをさらに含む、請求項1に記載のコンピュータ実装方法。
  12. 前記複数の異なる仮想シーンが、それぞれ前記物理的な実世界製品の識別に基づいて推薦される、請求項1に記載のコンピュータ実装方法。
  13. 前記仮想シーンのうちの少なくとも1つは、前記物理的な実世界製品の識別に対応する製品情報に基づいて推薦される、請求項1に記載のコンピュータ実装方法。
  14. システムであって、前記システムは、
    メモリであって、前記メモリは、ユーザに関連付けられたデバイスによって捕捉された、販売用の物理的な実世界製品の画像を記憶している、メモリと、
    少なくとも1つのプロセッサであって、
    前記物理的な実世界製品の識別を決定することと、
    拡張現実(AR)を用いて前記物理的な実世界製品を提示するための複数の異なる仮想シーンの指示、前記物理的な実世界製品が提示され得るそれぞれの異なる部屋のそれぞれの少なくとも2つの仮想シーンを取得することであって、
    それぞれの異なる仮想シーンが、それぞれの異なる3次元(3D)モデルに関連付けられており、
    それぞれが、それぞれの異なる仮想コンテンツを生成するためのものであり、
    それぞれが、前記ユーザ及び前記物理的な実世界製品のうちの少なくとも1つに関連付けられており、
    前記仮想シーンの少なくとも1つは、前記物理的な実世界製品の識別に基づいて推薦される、
    取得することと、
    前記デバイスに前記複数の異なる仮想シーンの指示を表示することを命令することと、
    複数の前記異なる3Dモデルのうちの特定の3Dモデルに関連付けられた特定の仮想シーンの選択を受信することと、
    ARシーンを生成することであって、前記ARシーンは、
    (1)選択された前記特定の3Dモデルに関連付けられた前記特定の仮想シーンの前記仮想コンテンツを含むコンピュータ生成シーン、及び
    (2)前記物理的な実世界製品の画像の少なくとも一部
    の両方を含む、
    生成することと、
    前記ARシーンを表示することを前記デバイスに命令することと
    を実行するプロセッサと
    を備えている、システム。
  15. 前記物理的な実世界製品は、第1の製品であり、
    前記少なくとも1つのプロセッサは、前記ユーザおよび前記第1の製品のうちの少なくとも1つに関連付けられた第2の製品の指示取得することを実行し
    前記コンピュータ生成シーンは、前記第2の製品の仮想表現を含む、請求項14に記載のシステム
  16. 前記少なくとも1つのプロセッサは、さらに、
    前記物理的な実世界製品の寸法を決定することと、
    前記物理的な実世界製品の前記寸法に対して前記コンピュータ生成シーンをスケーリングすること
    実行する、請求項14に記載のシステム
  17. 前記少なくとも1つのプロセッサは、さらに、前記コンピュータ生成シーン内の仮想ポイントに前記画像の一部を定着させることを実行する、請求項14に記載のシステム
  18. 前記少なくとも1つのプロセッサは、さらに、
    前記ARシーンを修正するための要求を受信することと、
    前記要求に基づいて、修正されたARシーンを生成することと、
    前記修正されたARシーンを表示することを前記デバイスに命令することと
    実行する、請求項14に記載のシステム
  19. 前記画像は、第1の画像であり、前記物理的な実世界製品は、第1の物理的アイテムであり、前記デバイスは、第1のデバイスであり、前記ユーザは、第1のユーザであり、前記メモリは、さらに、
    第2の物理的アイテムの第2の画像を記憶しており、前記第2の画像は、第2のユーザに関連付けられた第2のデバイスによって捕捉されており、前記ARシーンは、前記第2の物理的アイテムの仮想表現をさらに含む、請求項14に記載のシステム
  20. 前記複数の異なる仮想シーンの指示は、機械学習モデルを用いて得られる、請求項14に記載のシステム
  21. 前記ARシーンは、視覚的コンテンツと、聴覚的コンテンツおよび触覚的コンテンツのうちの1つ以上とを含む、請求項14に記載のシステム
  22. 前記少なくとも1つのプロセッサは、前記物理的な実世界製品の識別と、前記ユーザに関連付けられた情報との両方に基づいて、前記仮想シーンのうちの少なくとも1つを推薦することを実行する、請求項14に記載のシステム。
  23. 前記複数の異なる仮想シーンが、それぞれ前記物理的な実世界製品の識別に基づいて推薦される、請求項14に記載のシステム。
  24. 前記仮想シーンのうちの少なくとも1つは、前記物理的な実世界製品の識別に対応する製品情報に基づいて推薦される、請求項14に記載のシステム。
JP2021011671A 2020-02-06 2021-01-28 物理的アイテムに関する拡張現実シーンを生成するシステムおよび方法 Active JP7495034B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US16/783,322 2020-02-06
US16/783,322 US11676200B2 (en) 2020-02-06 2020-02-06 Systems and methods for generating augmented reality scenes for physical items
EP20215725.1A EP3862849A1 (en) 2020-02-06 2020-12-18 Systems and methods for generating augmented reality scenes for physical items
EP20215725 2020-12-18

Publications (3)

Publication Number Publication Date
JP2021125258A JP2021125258A (ja) 2021-08-30
JP2021125258A5 JP2021125258A5 (ja) 2023-12-18
JP7495034B2 true JP7495034B2 (ja) 2024-06-04

Family

ID=73855946

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021011671A Active JP7495034B2 (ja) 2020-02-06 2021-01-28 物理的アイテムに関する拡張現実シーンを生成するシステムおよび方法

Country Status (8)

Country Link
US (2) US11676200B2 (ja)
EP (1) EP3862849A1 (ja)
JP (1) JP7495034B2 (ja)
KR (1) KR102684040B1 (ja)
CN (1) CN113222683A (ja)
AU (1) AU2021200682A1 (ja)
CA (1) CA3105792A1 (ja)
SG (1) SG10202100198PA (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10838600B2 (en) 2018-02-12 2020-11-17 Wayfair Llc Systems and methods for providing an extended reality interface
US11557060B2 (en) 2018-11-05 2023-01-17 Wayfair Llc Systems and methods for scanning three-dimensional objects
US20210358294A1 (en) * 2020-05-15 2021-11-18 Microsoft Technology Licensing, Llc Holographic device control
JP6960714B1 (ja) * 2021-03-31 2021-11-05 功憲 末次 表示システム
US20220327608A1 (en) * 2021-04-12 2022-10-13 Snap Inc. Home based augmented reality shopping
US20220335510A1 (en) * 2021-04-20 2022-10-20 Walmart Apollo, Llc Systems and methods for personalized shopping
US12026763B2 (en) * 2021-05-14 2024-07-02 Inter Ikea Systems B.V. Augmented reality conversion system
US11790558B1 (en) * 2021-06-30 2023-10-17 Amazon Technologies, Inc. Generation of synthetic image data with varied attributes
US11699269B2 (en) * 2021-08-25 2023-07-11 Bank Of America Corporation User interface with augmented work environments
CN113962513A (zh) * 2021-09-08 2022-01-21 昆明埃舍尔科技有限公司 一种基于物联网和ar/mr的产品包装实现方法及装置
CN113836448B (zh) * 2021-09-22 2023-10-20 抖音视界有限公司 一种信息展示方法、装置、计算机设备及存储介质
US20230306689A1 (en) * 2022-03-25 2023-09-28 At&T Intellectual Property I, L.P. Aligning metaverse activities with multiple physical environments
US20230341990A1 (en) * 2022-04-20 2023-10-26 Htc Corporation Visual content generating method, host, and computer readable storage medium
US11688149B1 (en) 2022-08-03 2023-06-27 Eqpme Inc. Systems and methods for dynamic interaction with an augmented reality environment
US12002176B2 (en) 2022-08-03 2024-06-04 Eqpme Inc. Systems and methods for dynamic interaction with an augmented reality environment
US20240087251A1 (en) * 2022-09-09 2024-03-14 Shopify Inc. Methods for calibrating augmented reality scenes

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120120113A1 (en) 2010-11-15 2012-05-17 Eduardo Hueso Method and apparatus for visualizing 2D product images integrated in a real-world environment
US20130222393A1 (en) 2011-11-30 2013-08-29 The Board of Trustees of the Leland Stanford, Junior, University Method and System for Interactive Layout
US20130293530A1 (en) 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays
JP2014535112A (ja) 2011-10-27 2014-12-25 イーベイ インク.Ebay Inc. 拡張現実を使用した物品の視覚化
JP2015099545A (ja) 2013-11-20 2015-05-28 株式会社東芝 画像生成システム及び画像生成プログラム
US20200111261A1 (en) 2018-10-09 2020-04-09 Ebay Inc. Digital Image Suitability Determination to Generate AR/VR Digital Content

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020010734A1 (en) * 2000-02-03 2002-01-24 Ebersole John Franklin Internetworked augmented reality system and method
US20080071559A1 (en) * 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
US20140278274A1 (en) * 2012-07-24 2014-09-18 Stanley J. Osher Automatic optimization of scene configuration
US10430018B2 (en) * 2013-06-07 2019-10-01 Sony Interactive Entertainment Inc. Systems and methods for providing user tagging of content within a virtual scene
US11606452B2 (en) 2018-05-29 2023-03-14 Lg Electronics Inc. Mobile terminal
US10963952B2 (en) * 2018-12-03 2021-03-30 Sap Se Augmented reality-based real estate property analysis

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120120113A1 (en) 2010-11-15 2012-05-17 Eduardo Hueso Method and apparatus for visualizing 2D product images integrated in a real-world environment
JP2014535112A (ja) 2011-10-27 2014-12-25 イーベイ インク.Ebay Inc. 拡張現実を使用した物品の視覚化
US20130222393A1 (en) 2011-11-30 2013-08-29 The Board of Trustees of the Leland Stanford, Junior, University Method and System for Interactive Layout
US20130293530A1 (en) 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays
JP2015099545A (ja) 2013-11-20 2015-05-28 株式会社東芝 画像生成システム及び画像生成プログラム
US20200111261A1 (en) 2018-10-09 2020-04-09 Ebay Inc. Digital Image Suitability Determination to Generate AR/VR Digital Content

Also Published As

Publication number Publication date
EP3862849A1 (en) 2021-08-11
CN113222683A (zh) 2021-08-06
JP2021125258A (ja) 2021-08-30
US20210248669A1 (en) 2021-08-12
KR102684040B1 (ko) 2024-07-10
US11676200B2 (en) 2023-06-13
CA3105792A1 (en) 2021-08-06
TW202135010A (zh) 2021-09-16
US20230260013A1 (en) 2023-08-17
KR20210100555A (ko) 2021-08-17
SG10202100198PA (en) 2021-09-29
AU2021200682A1 (en) 2021-08-26

Similar Documents

Publication Publication Date Title
JP7495034B2 (ja) 物理的アイテムに関する拡張現実シーンを生成するシステムおよび方法
US11908159B2 (en) Systems and methods for representing user interactions in multi-user augmented reality
US11887173B2 (en) Computer-implemented systems and methods for in-store product recommendations
JP2022052749A (ja) 店舗内ルート推薦のためのコンピュータ実装システムおよび方法
US12086859B2 (en) Systems and methods for recommending a product based on an image of a scene
JP2022052750A (ja) 歪められた3次元モデルに基づいて拡張現実コンテンツを生成するためのシステムおよび方法
US11670065B2 (en) Systems and methods for providing augmented media
US20230230152A1 (en) Systems and methods for generating customized augmented reality video
US11527045B2 (en) Systems and methods for generating multi-user augmented reality content
US20240046329A1 (en) Systems and methods for modeling real-world objects in virtual scenes
US20230260249A1 (en) Systems and methods for training and using a machine learning model for matching objects
TWI853140B (zh) 為實體項目產生擴增實境場景之系統及方法
US20240087267A1 (en) Systems and methods for editing content items in augmented reality
US20240241503A1 (en) Augmented reality (ar)-based management of manual assembly processes
US20240257474A1 (en) Systems and methods for selectively displaying ar content
US20230394537A1 (en) Systems and methods for processing multimedia data
US20230377027A1 (en) Systems and methods for generating augmented reality within a subspace
US20240029279A1 (en) Systems and methods for generating augmented reality scenes
US20230070271A1 (en) Systems and methods for identifying items having complementary material properties
US20240087251A1 (en) Methods for calibrating augmented reality scenes

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20231115

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20231127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231207

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231207

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20231207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240509

R150 Certificate of patent or registration of utility model

Ref document number: 7495034

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150