JP7495034B2 - 物理的アイテムに関する拡張現実シーンを生成するシステムおよび方法 - Google Patents
物理的アイテムに関する拡張現実シーンを生成するシステムおよび方法 Download PDFInfo
- Publication number
- JP7495034B2 JP7495034B2 JP2021011671A JP2021011671A JP7495034B2 JP 7495034 B2 JP7495034 B2 JP 7495034B2 JP 2021011671 A JP2021011671 A JP 2021011671A JP 2021011671 A JP2021011671 A JP 2021011671A JP 7495034 B2 JP7495034 B2 JP 7495034B2
- Authority
- JP
- Japan
- Prior art keywords
- scene
- customer
- product
- physical
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 88
- 230000003190 augmentative effect Effects 0.000 title claims description 13
- 238000010801 machine learning Methods 0.000 claims description 23
- 238000004873 anchoring Methods 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000007726 management method Methods 0.000 description 41
- 238000010586 diagram Methods 0.000 description 33
- 238000010191 image analysis Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 13
- 238000012384 transportation and delivery Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 12
- 239000008186 active pharmaceutical agent Substances 0.000 description 10
- 230000008859 change Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 10
- 230000018109 developmental process Effects 0.000 description 10
- 230000004044 response Effects 0.000 description 10
- 238000011161 development Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 9
- 230000003993 interaction Effects 0.000 description 7
- 238000012552 review Methods 0.000 description 7
- 230000000295 complement effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 230000001953 sensory effect Effects 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000002354 daily effect Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000001976 improved effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000004570 mortar (masonry) Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012797 qualification Methods 0.000 description 2
- 230000004043 responsiveness Effects 0.000 description 2
- 238000012502 risk assessment Methods 0.000 description 2
- 230000029305 taxis Effects 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- RWSOTUBLDIXVET-UHFFFAOYSA-N Dihydrogen sulfide Chemical compound S RWSOTUBLDIXVET-UHFFFAOYSA-N 0.000 description 1
- 244000035744 Hura crepitans Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000010399 physical interaction Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000009711 regulatory function Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0623—Item investigation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/04—Architectural design, interior design
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Software Systems (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Architecture (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
本出願は、拡張現実(AR)に関し、特定の実施形態では、ARコンテンツの生成に関している。
ARは、コンピュータ生成コンテンツまたは仮想コンテンツを用いた実世界体験の強化に関している。いくつかの場合では、ARは、物理的な実世界コンテンツをコンピュータ生成コンテンツと重ね合わせることに関している。この重ね合わせは、建設的または非建設的のいずれかであり得る。建設的ARが、実世界体験にコンテンツを追加するのに対し、非建設的ARは、実世界体験内のコンテンツを隠す。ARは、仮想現実(VR)とは異なる。VRは、完全なコンピュータ生成体験の創出に関しているのに対し、ARは、実世界体験の少なくとも一部を維持するが、コンピュータ生成コンテンツを用いてその実世界体験の知覚を変更する。
本開示のいくつかの実施形態は、物理的アイテムに関するARシーンの生成に関している。ARシーンは、ユーザ(例えば顧客)が、ユーザおよび/または物理的アイテムに即し得る特定の環境または設定において物理的アイテムを視認することを可能とし、ユーザが実世界において物理的アイテムと相互作用することも可能とする。
本発明は、例えば以下を提供する。
(項目1)
コンピュータ実装方法であって、前記コンピュータ実装方法は、
物理的アイテムの画像を取得することであって、前記画像は、ユーザに関連付けられたデバイスによって捕捉されている、ことと、
前記物理的アイテムに関連付けられた第1の情報を取得することであって、前記第1の情報は、前記物理的アイテムの寸法を含む、ことと、
前記ユーザおよび前記物理的アイテムのうちの少なくとも1つに関連付けられた第2の情報を取得することであって、前記第2の情報は、拡張現実内で前記物理的アイテムを提示するための環境を画定する情報を含む、ことと、
少なくとも前記第1および第2の情報に基づいて、拡張現実(AR)シーンを生成することであって、前記ARシーンは、前記環境のコンピュータ生成シーンを含み、前記環境の前記コンピュータ生成シーンに準じて前記環境内で前記物理的アイテムを描写する、ことと、
前記ARシーンを表示することを前記デバイスに命令することと
を含む、コンピュータ実装方法。
(項目2)
前記第2の情報を取得することは、拡張現実内で前記物理的アイテムを提示するための前記環境の3次元(3D)モデルを取得することを含み、
前記物理的アイテムは、前記ユーザおよび前記物理的アイテムのうちの少なくとも1つに関連付けられており、
前記コンピュータ生成シーンは、前記3Dモデルに基づいて生成される、上記項目に記載のコンピュータ実装方法。
(項目3)
複数の可能な環境の中から、拡張現実内で前記物理的アイテムを提示するための前記環境の選択を受信することをさらに含み、前記3Dモデルは、前記選択に基づいて複数の可能な環境の3Dモデルの中から選択される、上記項目のいずれかに記載のコンピュータ実装方法。
(項目4)
前記物理的アイテムに対応する製品を決定することをさらに含み、
前記第2の情報は、前記ユーザおよび前記製品のうちの少なくとも1つに関連付けられている、上記項目のいずれかに記載のコンピュータ実装方法。
(項目5)
前記製品は、第1の製品であり、
前記第2の情報は、前記ユーザおよび前記第1の製品のうちの少なくとも1つに関連付けられた第2の製品の指示をさらに含み、
前記コンピュータ生成シーンは、前記第2の製品の仮想表現をさらに含む、上記項目のいずれかに記載のコンピュータ実装方法。
(項目6)
前記物理的アイテムに対応する前記製品を決定することは、前記製品の指示を受信することを含む、上記項目のいずれかに記載のコンピュータ実装方法。
(項目7)
前記物理的アイテムに対応する前記製品を決定することは、前記物理的アイテムの前記画像を分析することを含む、上記項目のいずれかに記載のコンピュータ実装方法。
(項目8)
前記ARシーンを生成することは、前記物理的アイテムの前記寸法に対して前記コンピュータ生成シーンをスケーリングすることを含む、上記項目のいずれかに記載のコンピュータ実装方法。
(項目9)
前記ARシーンを生成することは、前記コンピュータ生成シーン内の仮想ポイントに前記画像の一部を定着させることを含む、上記項目のいずれかに記載のコンピュータ実装方法。
(項目10)
前記ARシーンを修正するための要求を受信することと、
前記要求に基づいて、修正されたARシーンを生成することと、
前記修正されたARシーンを表示することを前記デバイスに命令することと
をさらに含む、上記項目のいずれかに記載のコンピュータ実装方法。
(項目11)
前記画像は、第1の画像であり、前記物理的アイテムは、第1の物理的アイテムであり、前記デバイスは、第1のデバイスであり、前記ユーザは、第1のユーザであり、前記方法は、
第2の物理的アイテムの第2の画像を取得すること
をさらに含み、前記第2の画像は、第2のユーザに関連付けられた第2のデバイスによって捕捉されており、前記ARシーンは、前記第2の物理的アイテムの仮想表現をさらに含む、上記項目のいずれかに記載のコンピュータ実装方法。
(項目12)
前記第1および第2の情報のうちの少なくとも1つを取得することは、機械学習モデルを用いて前記第1および第2の情報のうちの前記少なくとも1つを取得することを含む、上記項目のいずれかに記載のコンピュータ実装方法。
(項目13)
前記ARシーンを生成することは、視覚的コンテンツと、聴覚的コンテンツおよび触覚的コンテンツのうちの1つ以上とを生成することを含む、上記項目のいずれかに記載のコンピュータ実装方法。
(項目14)
システムであって、前記システムは、
メモリであって、前記メモリは、(i)ユーザに関連付けられたデバイスによって捕捉された物理的アイテムの画像と、(ii)前記物理的アイテムに関連付けられた第1の情報と、(iii)前記ユーザおよび前記物理的アイテムのうちの少なくとも1つに関連付けられた第2の情報とを記憶している、メモリと、
上記項目のいずれかに記載の方法を実行するように構成されたプロセッサと
を備えている、システム。
(項目15)
コンピュータプログラムであって、前記コンピュータプログラムは、コンピュータによって実行されると、上記項目のいずれかに記載の方法のステップを前記コンピュータに実行させる、コンピュータプログラム。
(摘要)
物理的アイテムに関する拡張現実(AR)シーンの生成のためのシステムおよび方法が提供される。ARシーンは、顧客が実世界内の物理的アイテムと相互作用することを可能とする一方で、顧客が、顧客および/または物理的アイテムに即し得る仮想設定内の物理的アイテムを眺めることも可能とする。ある実施形態によると、ARシーンは、物理的アイテムにために生成される。ARシーンは、コンピュータ生成シーンと、物理的アイテムの画像の少なくとも一部とを含み、コンピュータ生成シーンは、ユーザおよび/または物理的アイテムに関連付けられた情報に基づく。ARシーンは、その後、デバイスにおいて表示される。
実施形態は、添付の図を参照して、例としてのみ説明される。
例証の目的のために、特定の例示的実施形態が、ここで、図とともに以下でさらに詳細に説明される。
いくつかの実施形態では、本明細書中で開示される方法は、eコマースプラットフォーム等のコマースプラットフォームにおいて、またはそれに関連付けられて実施され得る。
拡張現実(AR)が、コマースにおいて用いられ改善された顧客または買い手体験を提供し得る。eコマースプラットフォーム100は、各種の異なるアプリケーションのうちのいずれかとしてARを実装し得、その例が本明細書中のいずれかで説明される。図3は、図1のeコマースプラットフォーム100であるが、ARエンジン300を含んでいるeコマースプラットフォーム100を図示する。ARエンジン300は、eコマースプラットフォーム100、顧客デバイス150および/または商人デバイス102による使用のためにARコンテンツを生成するコンピュータ実装システムの例である。
ARは、商業的用途のために製品のコンピュータ生成表現を創出するために用いられ得る。製品のコンピュータ生成表現は、顧客デバイスによって捕捉された実世界画像に重ね合わせられ得る。例えば、製品のコンピュータ生成表現は、顧客が彼らの興味のある環境内で製品を眺めることを可能とする実世界の場所の画像に重ね合わせられ得る。いくつかの場合、ARは、家具小売店によって用いられ、顧客が彼らの家の中で仮想家具を眺めることを可能とする。例として、ソファーのコンピュータ生成表現が、顧客のリビングルームの画像に重ねられ得、それによってリビングルーム内のソファーのサイズおよび外観が認識され得る。他の場合では、ARは、顧客が仮想衣類を試着することを可能とする「仮想着替え部屋」を提供するために用いられ得る。例えば、シャツのコンピュータ生成表現が、顧客の画像に重ねられ得、それによって顧客がシャツの適合性を評価し得る。
図4は、ARコンテンツを生成するための例示的システム400を図示するブロック図である。システム400は、ARエンジン402と、ネットワーク420と、顧客デバイス430と、商人デバイス450と、1つ以上のソーシャルメディアプラットフォーム(単数または複数)460とを含む。
・顧客の識別、例えば顧客の名前および/または顧客番号等
・顧客の年齢、性別、身長および/または他の詳細等
・シャツ、ドレス、パンツおよび/または靴のサイズを含む顧客に関する衣類のサイズ(単数または複数)
・例えば、顧客の職場、家および/または好みの休暇の目的地等、顧客に関連付けられた1つ以上の場所。これは、各場所の地形、設定および他の詳細を含み得る。
・例えば顧客の友人および家族等、顧客に関連付けられている他の顧客の同一性。これは、他の顧客の年齢、性別、身長および/または他の詳細を含み得る。
・飼われているペットさもなければ顧客に関連付けられたペット
・顧客が所有している、または以前に興味を示していた1つ以上の製品。これらの製品は、例えば、eコマースプラットフォームの関連付けられた製品ページで顧客によって見られ、eコマースプラットフォームで顧客のカートに追加され、eコマースプラットフォームから購入されたこともある。
・顧客に関連付けられたスタイルの好みまたは他の好み
・製品の名前および/または他の識別子
・製品の画像
・例えば製品の3Dモデル等、製品の仮想表現
・製品を販売する商人(単数または複数)
・製品の使用
・製品に関連付けられた場所、環境または設定
・製品の寸法
・例えば製品の色(単数または複数)等の製品バリエーション
・製品を補完する色パレット
・製品に関連付けられ、または製品を補完する他の製品のリスト
・物体認識アルゴリズム
・テキスト認識アルゴリズム
・例えばバーコードおよびクイックレスポンス(QR)コード等の機械読み取り可能なコードの検出のためのアルゴリズム
・挙動検出アルゴリズム
・画像セグメント化アルゴリズム、および
・表面、角および/または縁検出アルゴリズム
を含む。
・1つ以上の人工ニューラルネットワーク(単数または複数)
・1つ以上の決定木(単数または複数)
・1つ以上のサポートベクタマシーン(単数または複数)
・1つ以上のベイジアンネットワーク(単数または複数)および/または
・1つ以上の遺伝子アルゴリズム(単数または複数)
を含むが、これらに限定されない。
・教師あり学習
・教師なし学習
・強化学習
・自己学習
・特徴学習および
・スパース辞書学習
を含む。
・ARシーンの設定または環境の変更
・ARシーン内の物理的アイテムのサイズ、定着ポイントおよび/または向きの変更
・ARシーンに顧客または別の人を追加すること、またはARシーンから顧客または別の人を除去すること
・ARシーン内に描写された顧客または別の人のサイズ、位置および/または向きの変更
・ARシーンに(物理的アイテムと異なる)別のアイテムを追加すること、またはARシーンから別のアイテムを除去すること
・ARシーン内の(物理的アイテムと異なる)別のアイテムのサイズ、位置および/または向きの変更
を含む。
図6から図17を参照すると、顧客のリビングルームのためのソファー602を購入することに興味がある顧客に関するARシーンを生成する例を提供する。ソファー602は、顧客が実世界店舗で相互作用している製品の物理的アイテムである。
本発明は、その特定の特徴および実施形態に言及して説明されたが、本発明から逸脱せずに種々の修正物および組み合わせ物が作製され得る。よって、説明および図面は、単に、添付の請求項によって定義される本発明のいくつかの実施形態の図示とみなされるべきであり、本発明の範囲に属するいずれかまたは全ての修正物、変形物、組み合わせ物、または同等物をカバーすることが構想される。従って、本発明およびその利点は、詳細に説明されたが、種々の変化物、代用物および変更物が、添付の請求項によって定義される本発明から逸脱せずに本明細書中で作製され得る。さらに、本出願の範囲は、本明細書中で説明されるプロセス、機械、製造、主題の構成、手段、方法およびステップの特定の実施形態に限定されるように意図されていない。当業者が本発明の開示から容易に認識するように、本明細書中で説明される対応する実施形態と実質的に同一の機能を遂行し、実質的に同一の結果となる現在存在しておりまたは後に開発されるであろうプロセス、機械、製造、主題の構成、手段、方法、またはステップは、本発明により活用され得る。よって、添付の請求項は、そのようなプロセス、機械、製造、主題の構成、手段、方法、またはステップ等をその範囲内に含むことを意図されている。
2.いくつかの実施形態では、情報を取得することは、ユーザおよび物理的アイテムのうちの少なくとも1つに関連付けられた3次元(3D)モデルを取得することを含む。コンピュータ生成シーンは、3Dモデルに基づく。
3.いくつかの実施形態では、情報を取得することは、ユーザおよび物理的アイテムのうちの少なくとも1つに関連付けられた複数の3Dモデルを取得することを含み、複数の3Dモデルは、3Dモデルを含む。これらの実施形態では、方法は、複数の3Dモデルからの3Dモデルの選択を受信することをさらに含む。
4.いくつかの実施形態では、方法は、物理的アイテムに対応する製品を決定することをさらに含み、情報は、ユーザおよび製品のうちの少なくとも1つに関連付けられている。
5.いくつかの実施形態では、製品は、第1の製品であり、情報を取得することは、ユーザおよび第1の製品のうちの少なくとも1つに関連付けられた第2の製品の指示を取得することをさらに含む。これらの実施形態では、コンピュータ生成シーンは、第2の製品の仮想表現を含む。
6.いくつかの実施形態では、物理的アイテムに対応する製品を決定することは、製品の指示を受信することを含む。
7.いくつかの実施形態では、物理的アイテムに対応する製品を決定することは、画像を分析することを含む。
8.いくつかの実施形態では、ARシーンを生成することは、物理的アイテムの寸法を決定することと、物理的アイテムの寸法に対してコンピュータ生成シーンをスケーリングすることとを含む。
9.いくつかの実施形態では、ARシーンを生成することは、コンピュータ生成シーン内の仮想ポイントに画像の一部を定着することを含む。
10.いくつかの実施形態では、方法は、ARシーンを修正する要求を受信することと、要求に基づいて、修正されたARシーンを生成することと、修正されたARシーンを表示することをデバイスに命令することとをさらに含む。
11.いくつかの実施形態では、画像は、第1の画像であり、物理的アイテムは、第1の物理的アイテムであり、デバイスは、第1のデバイスであり、ユーザは、第1のユーザである。方法は、第2の物理的アイテムの第2の画像を取得することをさらに含み、第2の画像は、第2のユーザに関連付けられた第2のデバイスによって捕捉されており、ARシーンは、第2の物理的アイテムの仮想表現をさらに含む。
12.いくつかの実施形態では、情報を取得することは、機械学習モデルを用いて情報を取得することを含む。
13.いくつかの実施形態では、ARシーンを生成することは、視覚的コンテンツと、聴覚的コンテンツおよび触覚的コンテンツのうちの1つ以上とを生成することを含む。
14.本開示の別の側面によると、情報を記憶するためのメモリと、本明細書中で開示されるいずれかの方法を遂行するための1つ以上のプロセッサとを含むシステムが提供される。
Claims (24)
- コンピュータ実装方法であって、前記コンピュータ実装方法は、
販売用の物理的な実世界製品の画像を取得することであって、前記画像は、ユーザに関連付けられたデバイスによって捕捉されている、取得することと、
前記物理的な実世界製品の識別を決定することと、
拡張現実(AR)を用いて前記物理的な実世界製品を提示するための複数の異なる仮想シーンの指示、前記物理的な実世界製品が提示され得るそれぞれの異なる部屋のそれぞれの少なくとも2つの仮想シーンを取得することであって、
それぞれの異なる仮想シーンが、それぞれの異なる3次元(3D)モデルに関連付けられており、
それぞれが、それぞれの異なる仮想コンテンツを生成するためのものであり、
それぞれが、前記ユーザ及び前記物理的な実世界製品のうちの少なくとも1つに関連付けられており、
前記仮想シーンの少なくとも1つは、前記物理的な実世界製品の識別に基づいて推薦される、
取得することと、
前記デバイスに前記複数の異なる仮想シーンの指示を表示することを命令することと、
複数の前記異なる3Dモデルのうちの特定の3Dモデルに関連付けられた特定の仮想シーンの選択を受信することと、
ARシーンを生成することであって、前記ARシーンは、
(1)選択された前記特定の3Dモデルに関連付けられた前記特定の仮想シーンの前記仮想コンテンツを含むコンピュータ生成シーン、及び
(2)前記物理的な実世界製品の画像の少なくとも一部
の両方を含む、
生成することと、
前記ARシーンを表示することを前記デバイスに命令することと
を含む、コンピュータ実装方法。 - 前記物理的な実世界製品は、第1の製品であり、
前記方法は、前記ユーザおよび前記第1の製品のうちの少なくとも1つに関連付けられた第2の製品の指示を取得することをさらに含み、
前記コンピュータ生成シーンは、前記第2の製品の仮想表現を含む、請求項1に記載のコンピュータ実装方法。 - 前記物理的な実世界製品の識別を決定することは、前記物理的な実世界製品の指示を受信することを含む、請求項1に記載のコンピュータ実装方法。
- 前記物理的な実世界製品の識別を決定することは、前記画像を分析することを含む、請求項1に記載のコンピュータ実装方法。
- 前記ARシーンを生成することは、
前記物理的な実世界製品の寸法を決定することと、
前記物理的な実世界製品の前記寸法に対して前記コンピュータ生成シーンをスケーリングすることと
を含む、請求項1に記載のコンピュータ実装方法。 - 前記ARシーンを生成することは、前記コンピュータ生成シーン内の仮想ポイントに前記画像の一部を定着させることを含む、請求項1に記載のコンピュータ実装方法。
- 前記ARシーンを修正するための要求を受信することと、
前記要求に基づいて、修正されたARシーンを生成することと、
前記修正されたARシーンを表示することを前記デバイスに命令することと
をさらに含む、請求項1に記載のコンピュータ実装方法。 - 前記画像は、第1の画像であり、前記物理的な実世界製品は、第1の物理的アイテムであり、前記デバイスは、第1のデバイスであり、前記ユーザは、第1のユーザであり、前記方法は、
第2の物理的アイテムの第2の画像を取得すること をさらに含み、前記第2の画像は、第2のユーザに関連付けられた第2のデバイスによって捕捉されており、前記ARシーンは、前記第2の物理的アイテムの仮想表現をさらに含む、請求項1に記載のコンピュータ実装方法。 - 前記複数の異なる仮想シーンの指示は、機械学習モデルを用いて得られる、請求項1に記載のコンピュータ実装方法。
- 前記ARシーンを生成することは、視覚的コンテンツと、聴覚的コンテンツおよび触覚的コンテンツのうちの1つ以上とを生成することを含む、請求項1に記載のコンピュータ実装方法。
- 前記物理的な実世界製品の識別と、前記ユーザに関連付けられた情報との両方に基づいて、前記仮想シーンのうちの少なくとも1つを推薦することをさらに含む、請求項1に記載のコンピュータ実装方法。
- 前記複数の異なる仮想シーンが、それぞれ前記物理的な実世界製品の識別に基づいて推薦される、請求項1に記載のコンピュータ実装方法。
- 前記仮想シーンのうちの少なくとも1つは、前記物理的な実世界製品の識別に対応する製品情報に基づいて推薦される、請求項1に記載のコンピュータ実装方法。
- システムであって、前記システムは、
メモリであって、前記メモリは、ユーザに関連付けられたデバイスによって捕捉された、販売用の物理的な実世界製品の画像を記憶している、メモリと、
少なくとも1つのプロセッサであって、
前記物理的な実世界製品の識別を決定することと、
拡張現実(AR)を用いて前記物理的な実世界製品を提示するための複数の異なる仮想シーンの指示、前記物理的な実世界製品が提示され得るそれぞれの異なる部屋のそれぞれの少なくとも2つの仮想シーンを取得することであって、
それぞれの異なる仮想シーンが、それぞれの異なる3次元(3D)モデルに関連付けられており、
それぞれが、それぞれの異なる仮想コンテンツを生成するためのものであり、
それぞれが、前記ユーザ及び前記物理的な実世界製品のうちの少なくとも1つに関連付けられており、
前記仮想シーンの少なくとも1つは、前記物理的な実世界製品の識別に基づいて推薦される、
取得することと、
前記デバイスに前記複数の異なる仮想シーンの指示を表示することを命令することと、
複数の前記異なる3Dモデルのうちの特定の3Dモデルに関連付けられた特定の仮想シーンの選択を受信することと、
ARシーンを生成することであって、前記ARシーンは、
(1)選択された前記特定の3Dモデルに関連付けられた前記特定の仮想シーンの前記仮想コンテンツを含むコンピュータ生成シーン、及び
(2)前記物理的な実世界製品の画像の少なくとも一部
の両方を含む、
生成することと、
前記ARシーンを表示することを前記デバイスに命令することと
を実行するプロセッサと
を備えている、システム。 - 前記物理的な実世界製品は、第1の製品であり、
前記少なくとも1つのプロセッサは、前記ユーザおよび前記第1の製品のうちの少なくとも1つに関連付けられた第2の製品の指示取得することを実行し、
前記コンピュータ生成シーンは、前記第2の製品の仮想表現を含む、請求項14に記載のシステム。 - 前記少なくとも1つのプロセッサは、さらに、
前記物理的な実世界製品の寸法を決定することと、
前記物理的な実世界製品の前記寸法に対して前記コンピュータ生成シーンをスケーリングすることと
を実行する、請求項14に記載のシステム。 - 前記少なくとも1つのプロセッサは、さらに、前記コンピュータ生成シーン内の仮想ポイントに前記画像の一部を定着させることを実行する、請求項14に記載のシステム。
- 前記少なくとも1つのプロセッサは、さらに、
前記ARシーンを修正するための要求を受信することと、
前記要求に基づいて、修正されたARシーンを生成することと、
前記修正されたARシーンを表示することを前記デバイスに命令することと
を実行する、請求項14に記載のシステム。 - 前記画像は、第1の画像であり、前記物理的な実世界製品は、第1の物理的アイテムであり、前記デバイスは、第1のデバイスであり、前記ユーザは、第1のユーザであり、前記メモリは、さらに、
第2の物理的アイテムの第2の画像を記憶しており、前記第2の画像は、第2のユーザに関連付けられた第2のデバイスによって捕捉されており、前記ARシーンは、前記第2の物理的アイテムの仮想表現をさらに含む、請求項14に記載のシステム。 - 前記複数の異なる仮想シーンの指示は、機械学習モデルを用いて得られる、請求項14に記載のシステム。
- 前記ARシーンは、視覚的コンテンツと、聴覚的コンテンツおよび触覚的コンテンツのうちの1つ以上とを含む、請求項14に記載のシステム。
- 前記少なくとも1つのプロセッサは、前記物理的な実世界製品の識別と、前記ユーザに関連付けられた情報との両方に基づいて、前記仮想シーンのうちの少なくとも1つを推薦することを実行する、請求項14に記載のシステム。
- 前記複数の異なる仮想シーンが、それぞれ前記物理的な実世界製品の識別に基づいて推薦される、請求項14に記載のシステム。
- 前記仮想シーンのうちの少なくとも1つは、前記物理的な実世界製品の識別に対応する製品情報に基づいて推薦される、請求項14に記載のシステム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/783,322 | 2020-02-06 | ||
US16/783,322 US11676200B2 (en) | 2020-02-06 | 2020-02-06 | Systems and methods for generating augmented reality scenes for physical items |
EP20215725.1A EP3862849A1 (en) | 2020-02-06 | 2020-12-18 | Systems and methods for generating augmented reality scenes for physical items |
EP20215725 | 2020-12-18 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021125258A JP2021125258A (ja) | 2021-08-30 |
JP2021125258A5 JP2021125258A5 (ja) | 2023-12-18 |
JP7495034B2 true JP7495034B2 (ja) | 2024-06-04 |
Family
ID=73855946
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021011671A Active JP7495034B2 (ja) | 2020-02-06 | 2021-01-28 | 物理的アイテムに関する拡張現実シーンを生成するシステムおよび方法 |
Country Status (8)
Country | Link |
---|---|
US (2) | US11676200B2 (ja) |
EP (1) | EP3862849A1 (ja) |
JP (1) | JP7495034B2 (ja) |
KR (1) | KR102684040B1 (ja) |
CN (1) | CN113222683A (ja) |
AU (1) | AU2021200682A1 (ja) |
CA (1) | CA3105792A1 (ja) |
SG (1) | SG10202100198PA (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10838600B2 (en) | 2018-02-12 | 2020-11-17 | Wayfair Llc | Systems and methods for providing an extended reality interface |
US11557060B2 (en) | 2018-11-05 | 2023-01-17 | Wayfair Llc | Systems and methods for scanning three-dimensional objects |
US20210358294A1 (en) * | 2020-05-15 | 2021-11-18 | Microsoft Technology Licensing, Llc | Holographic device control |
JP6960714B1 (ja) * | 2021-03-31 | 2021-11-05 | 功憲 末次 | 表示システム |
US20220327608A1 (en) * | 2021-04-12 | 2022-10-13 | Snap Inc. | Home based augmented reality shopping |
US20220335510A1 (en) * | 2021-04-20 | 2022-10-20 | Walmart Apollo, Llc | Systems and methods for personalized shopping |
US12026763B2 (en) * | 2021-05-14 | 2024-07-02 | Inter Ikea Systems B.V. | Augmented reality conversion system |
US11790558B1 (en) * | 2021-06-30 | 2023-10-17 | Amazon Technologies, Inc. | Generation of synthetic image data with varied attributes |
US11699269B2 (en) * | 2021-08-25 | 2023-07-11 | Bank Of America Corporation | User interface with augmented work environments |
CN113962513A (zh) * | 2021-09-08 | 2022-01-21 | 昆明埃舍尔科技有限公司 | 一种基于物联网和ar/mr的产品包装实现方法及装置 |
CN113836448B (zh) * | 2021-09-22 | 2023-10-20 | 抖音视界有限公司 | 一种信息展示方法、装置、计算机设备及存储介质 |
US20230306689A1 (en) * | 2022-03-25 | 2023-09-28 | At&T Intellectual Property I, L.P. | Aligning metaverse activities with multiple physical environments |
US20230341990A1 (en) * | 2022-04-20 | 2023-10-26 | Htc Corporation | Visual content generating method, host, and computer readable storage medium |
US11688149B1 (en) | 2022-08-03 | 2023-06-27 | Eqpme Inc. | Systems and methods for dynamic interaction with an augmented reality environment |
US12002176B2 (en) | 2022-08-03 | 2024-06-04 | Eqpme Inc. | Systems and methods for dynamic interaction with an augmented reality environment |
US20240087251A1 (en) * | 2022-09-09 | 2024-03-14 | Shopify Inc. | Methods for calibrating augmented reality scenes |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120120113A1 (en) | 2010-11-15 | 2012-05-17 | Eduardo Hueso | Method and apparatus for visualizing 2D product images integrated in a real-world environment |
US20130222393A1 (en) | 2011-11-30 | 2013-08-29 | The Board of Trustees of the Leland Stanford, Junior, University | Method and System for Interactive Layout |
US20130293530A1 (en) | 2012-05-04 | 2013-11-07 | Kathryn Stone Perez | Product augmentation and advertising in see through displays |
JP2014535112A (ja) | 2011-10-27 | 2014-12-25 | イーベイ インク.Ebay Inc. | 拡張現実を使用した物品の視覚化 |
JP2015099545A (ja) | 2013-11-20 | 2015-05-28 | 株式会社東芝 | 画像生成システム及び画像生成プログラム |
US20200111261A1 (en) | 2018-10-09 | 2020-04-09 | Ebay Inc. | Digital Image Suitability Determination to Generate AR/VR Digital Content |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020010734A1 (en) * | 2000-02-03 | 2002-01-24 | Ebersole John Franklin | Internetworked augmented reality system and method |
US20080071559A1 (en) * | 2006-09-19 | 2008-03-20 | Juha Arrasvuori | Augmented reality assisted shopping |
US20140278274A1 (en) * | 2012-07-24 | 2014-09-18 | Stanley J. Osher | Automatic optimization of scene configuration |
US10430018B2 (en) * | 2013-06-07 | 2019-10-01 | Sony Interactive Entertainment Inc. | Systems and methods for providing user tagging of content within a virtual scene |
US11606452B2 (en) | 2018-05-29 | 2023-03-14 | Lg Electronics Inc. | Mobile terminal |
US10963952B2 (en) * | 2018-12-03 | 2021-03-30 | Sap Se | Augmented reality-based real estate property analysis |
-
2020
- 2020-02-06 US US16/783,322 patent/US11676200B2/en active Active
- 2020-12-18 EP EP20215725.1A patent/EP3862849A1/en active Pending
-
2021
- 2021-01-08 SG SG10202100198PA patent/SG10202100198PA/en unknown
- 2021-01-12 CA CA3105792A patent/CA3105792A1/en active Pending
- 2021-01-28 JP JP2021011671A patent/JP7495034B2/ja active Active
- 2021-02-03 AU AU2021200682A patent/AU2021200682A1/en active Pending
- 2021-02-05 CN CN202110166438.7A patent/CN113222683A/zh active Pending
- 2021-02-05 KR KR1020210016855A patent/KR102684040B1/ko active IP Right Grant
-
2023
- 2023-04-28 US US18/308,727 patent/US20230260013A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120120113A1 (en) | 2010-11-15 | 2012-05-17 | Eduardo Hueso | Method and apparatus for visualizing 2D product images integrated in a real-world environment |
JP2014535112A (ja) | 2011-10-27 | 2014-12-25 | イーベイ インク.Ebay Inc. | 拡張現実を使用した物品の視覚化 |
US20130222393A1 (en) | 2011-11-30 | 2013-08-29 | The Board of Trustees of the Leland Stanford, Junior, University | Method and System for Interactive Layout |
US20130293530A1 (en) | 2012-05-04 | 2013-11-07 | Kathryn Stone Perez | Product augmentation and advertising in see through displays |
JP2015099545A (ja) | 2013-11-20 | 2015-05-28 | 株式会社東芝 | 画像生成システム及び画像生成プログラム |
US20200111261A1 (en) | 2018-10-09 | 2020-04-09 | Ebay Inc. | Digital Image Suitability Determination to Generate AR/VR Digital Content |
Also Published As
Publication number | Publication date |
---|---|
EP3862849A1 (en) | 2021-08-11 |
CN113222683A (zh) | 2021-08-06 |
JP2021125258A (ja) | 2021-08-30 |
US20210248669A1 (en) | 2021-08-12 |
KR102684040B1 (ko) | 2024-07-10 |
US11676200B2 (en) | 2023-06-13 |
CA3105792A1 (en) | 2021-08-06 |
TW202135010A (zh) | 2021-09-16 |
US20230260013A1 (en) | 2023-08-17 |
KR20210100555A (ko) | 2021-08-17 |
SG10202100198PA (en) | 2021-09-29 |
AU2021200682A1 (en) | 2021-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7495034B2 (ja) | 物理的アイテムに関する拡張現実シーンを生成するシステムおよび方法 | |
US11908159B2 (en) | Systems and methods for representing user interactions in multi-user augmented reality | |
US11887173B2 (en) | Computer-implemented systems and methods for in-store product recommendations | |
JP2022052749A (ja) | 店舗内ルート推薦のためのコンピュータ実装システムおよび方法 | |
US12086859B2 (en) | Systems and methods for recommending a product based on an image of a scene | |
JP2022052750A (ja) | 歪められた3次元モデルに基づいて拡張現実コンテンツを生成するためのシステムおよび方法 | |
US11670065B2 (en) | Systems and methods for providing augmented media | |
US20230230152A1 (en) | Systems and methods for generating customized augmented reality video | |
US11527045B2 (en) | Systems and methods for generating multi-user augmented reality content | |
US20240046329A1 (en) | Systems and methods for modeling real-world objects in virtual scenes | |
US20230260249A1 (en) | Systems and methods for training and using a machine learning model for matching objects | |
TWI853140B (zh) | 為實體項目產生擴增實境場景之系統及方法 | |
US20240087267A1 (en) | Systems and methods for editing content items in augmented reality | |
US20240241503A1 (en) | Augmented reality (ar)-based management of manual assembly processes | |
US20240257474A1 (en) | Systems and methods for selectively displaying ar content | |
US20230394537A1 (en) | Systems and methods for processing multimedia data | |
US20230377027A1 (en) | Systems and methods for generating augmented reality within a subspace | |
US20240029279A1 (en) | Systems and methods for generating augmented reality scenes | |
US20230070271A1 (en) | Systems and methods for identifying items having complementary material properties | |
US20240087251A1 (en) | Methods for calibrating augmented reality scenes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20231115 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20231127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231207 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231207 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20231207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240411 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240423 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240509 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7495034 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |