JP5951759B2 - ライブビューの拡張 - Google Patents

ライブビューの拡張 Download PDF

Info

Publication number
JP5951759B2
JP5951759B2 JP2014513617A JP2014513617A JP5951759B2 JP 5951759 B2 JP5951759 B2 JP 5951759B2 JP 2014513617 A JP2014513617 A JP 2014513617A JP 2014513617 A JP2014513617 A JP 2014513617A JP 5951759 B2 JP5951759 B2 JP 5951759B2
Authority
JP
Japan
Prior art keywords
product
information
content
computer
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014513617A
Other languages
English (en)
Other versions
JP2014524062A5 (ja
JP2014524062A (ja
Inventor
ラムクマー、グラマーシー
スタシオール、ウィリアム・エフ.
フェルドマン、ブライアン・イー.
デューア、アーナブ・エス.
センサミル、ナリン・プラディープ
Original Assignee
エー9.・コム・インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エー9.・コム・インコーポレーテッド filed Critical エー9.・コム・インコーポレーテッド
Publication of JP2014524062A publication Critical patent/JP2014524062A/ja
Publication of JP2014524062A5 publication Critical patent/JP2014524062A5/ja
Application granted granted Critical
Publication of JP5951759B2 publication Critical patent/JP5951759B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • G06F16/24575Query processing with adaptation to user needs using context
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/432Query formulation
    • G06F16/434Query formulation using image data, e.g. images, photos, pictures taken by a user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/12Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Description

様々な従来のコンテンツ配信システムは、コンピューティングデバイス(例えば、スマートフォン)のユーザが、例えば、そのコンピューティングデバイスのカメラを用いて画像を捕捉することによって、ユーザが提供した画像に関連したコンテンツを得ることを可能にする。例えば、ユーザは、カメラを用いて映画のポスターの画像を捕捉し、その捕捉た画像をコンテンツ配信システムにアップロードすることができる。次いで、コンテンツ配信システムは、映画のポスターに関連付けられた映画に関連したコンテンツ(例えば、映画の情報、マルチメディアコンテンツ等)を返す。
アップロードされた画像に関連したコンテンツを配信するために、従来のコンテンツ配信システムは、クライアントデバイスから受信される画像をコンテンツ配信システムの画像データベースに記憶された画像と一致させようとする。画像データベースは、雑誌、ポスター、新聞、インターネット等からの何千もの画像を記憶することができる。例えば、画像データベースは、特定の映画「X」に対応する壁用ポスターおよびビルボード広告の画像を記憶することができる。したがって、コンテンツ配信システムが通信デバイスから映画「X」のポスターの画像を受信するとき、このシステムは、受信された画像をその画像データベースに記憶されたすべての画像と一致させようとする。このような手段は、非常に資源集約的であり得、ユーザが分析されなければならない多くの画像とともに要求をシステムに依頼するときに、かなりの時間のずれをもたらし得る。
様々な実施形態が実され得る環境を説明する。 図1との関連で上で説明され、かつ様々な実施形態に従って使用され得る1つ以上のコンポーネントを組み込み得る環境の図表示を説明する。 ある実施形態に従う、電子デバイス上でレンダリングされるときにリアルタイムで捕捉および表示されるオブジェクトの画像を関係付けられたコンテンツにより拡張する例を説明する。 ある実施形態に従う、リアルタイムで捕捉および表示されるオブジェクトの画像を関係付けられたコンテンツにより拡張するためのプロセスフロー図を説明する。 ある実施形態に従う、リアルタイムで捕捉および表示されるオブジェクトの画像の関係付けられたコンテンツによる拡張に用いられる検出技法の例のプロセスフロー図を説明する。 ある実施形態に従う、サーバ側のオブジェクト認識技法のプロセスフロー図を説明する。 ある実施形態に従う、リアルタイムで捕捉および表示されるオブジェクトの画像の関係付けられたコンテンツによる拡張に用いられる認識技法の例のプロセスフロー図を説明する。 ある実施形態に従う、リアルタイムで捕捉および表示されるオブジェクトの画像の関係付けられたコンテンツによる拡張に用いられるオーバーレイ技法の例のプロセスフロー図を説明する。 ある実施形態に従う、リアルタイムで捕捉および表示されるオブジェクトの画像の関係付けられたコンテンツによる拡張に用いられるタグ付け技法の例のプロセスフロー図を説明する。 ある実施形態に従う、リアルタイムで捕捉および表示されるオブジェクトの画像の関係付けられたコンテンツによる拡張に用いられる電子デバイスの例示のコンポーネントを説明する。 ある実施形態に従う、リアルタイムで捕捉および表示されるオブジェクトの画像を、電子デバイス上でレンダリングされる関係付けられたコンテンツにより拡張する別の例を説明する。
本発明の詳細な説明
様々な実施形態は、画像情報の一致に応答してコンテンツを配信するための方法および/またはシステムを提供する。具体的には、コンテンツは、通信デバイスから提供される画像に応答して、コンピューティングデバイスまたはクライアントシステム等の通信デバイスに配信され得る。画像は、少なくとも1つの関心のあるオブジェクトを含有し得、1つ以上のそのオブジェクトの画像は、実質的にリアルタイムで通信デバイスによって捕捉およびアップロードされ得る(例えば、画像が捕捉後間もなくアップロードされる)。画像情報は、関連付けられたコンテンツを決定するために使用され得るオブジェクトの身元または他の情報を決定するために、リアルタイムで捕捉たオブジェクト(複数を含む)を一致させる画像データベース内の情報と比較され得る。検出および認識コンポーネントを用いて、通信デバイスによってアップロードされた画像情報を分析して、この画像が任意の品目、製品、または例えば、コンテンツリポジトリに記憶される他の種類のコンテンツと一致するかを判定することができる。コンテンツリポジトリは、コンテンツプロバイダによって最新のコンテンツで定期的に更新され得る。
様々な実施形態は、例えば、検出および認識コンポーネントがオブジェクトに関連付けられたコンテンツを決定するときに、その関連付けられたコンテンツを読み出し、その関連付けられたコンテンツを通信デバイスに実質的にリアルタイムで提供するオーバーレイサービスも包含する。少なくともいくつかの実施形態において、コンテンツが、通信デバイスによって捕捉される現在表示されるオブジェクトの画像を、例えば、ビデオフレーム内に拡張する(例えば、オーバーレイする)ように、コンテンツがレンダリングされ得る。コンテンツオーバーレイ要素は、異なる形状および形態であり得、例えば、ボックス、ボタン、三次元構造、アニメーション等を含み得る。コンテンツオーバーレイは、オーバーレイが、例えば、ユーザがレンダリングされたコンテンツにアクセスし、コンテンツを編集し、レンダリングされたコンテンツに基づいて検索を行い、コンテンツを仲間と共有し、コンテンツをエクスポートすることを可能にし得るように、対話型であり得る。
図1は、様々な実施形態に従う態様を実するための環境100の例を説明する。理解されるように、ウェブベースの環境が説明目的に使用されるが、必要に応じて、異なる環境を使用して様々な実施形態を実してもよい。環境100は、電子クライアントデバイス102を含み、これは、適切なネットワーク104上で要求、メッセージ、または情報を送受信し、かつ情報をデバイスのユーザに戻して伝達するよう動作する任意の適切なデバイスを含み得る。このようなクライアントデバイスの例には、パーソナルコンピュータ、携帯電話、携帯用メッセージングデバイス、ラップトップコンピュータ、セットトップボックス、個人デーアシスタント、電子ブックリーダー等が挙げられる。ネットワークは、インターネット、セルラーネットワーク、ローカルエリアネットワーク、または任意の他のそのようなネットワークもしくはそれらの組み合わせを含む、任意の適切なネットワークを含み得る。そのようなシステムに用いられるコンポーネントは、少なくともある程度、ネットワークの種類および/または選択される環境に依存し得る。そのようなネットワークを介した通信用のプロトコルおよびコンポーネントは周知であり、本明細書で詳細に論じられない。ネットワークを介した通信は、有線または無線接続、およびそれらの組み合わせによって可能にされ得る。この例において、ネットワークは、インターネットを含み、環境は、要求を受信し、かつそれに応答してコンテンツを提供するために、ウェブサーバ106を含むが、他のネットワークの場合、当業者には明らかであるように、同様の目的を果たす代替のデバイスが使用され得る。
例示的な環境は、少なくとも1つのアプリケーションサーバ108およびデータストア110を含む。いくつかのアプリケーションサーバ、層、もしくは他の要素、プロセス、またはコンポーネントが存在し得、これらは、チェーン接続されるか、またはさもなければ構成され得、これらは、対話して適切なデータストアからデータを得る等のタスクを実行し得ることを理解されたい。本明細書で使用される「データストア」という用語は、データを記憶し、データにアクセスし、かつデータを読み出すことができる任意のデバイスまたはデバイスの組み合わせを指し、任意の標準、分散型、またはクラスタ化環境において、任意の組み合わせおよび任意の数のデータサーバ、データベース、データ記憶デバイス、およびデータ記憶媒体を含み得る。アプリケーションサーバは、必要に応じてデータストアと統合して、クライアントデバイスの1つ以上のアプリケーションの態様を実行するために、任意の好適なハードウェアおよびソフトウェアを含み得、アプリケーションのデータアクセスおよびビジネスロジックの大部分を処理する。アプリケーションサーバは、データストアと協働してアクセス制御サービスを提供し、ビューアに転送されるテキスト、画像、オーディオ、および/またはビデオ等のコンテンツを生成することができ、これらは、この例において、HTML、XML、または別の適切な構造化言語の形態でウェブサーバによってビューアに提供され得る。すべての要求および応答の処理、ならびにクライアントデバイス102とアプリケーションサーバ108との間のコンテンツの配信は、ウェブサーバによって処理され得る。本明細書で論じられる構造化されたコードが、本明細書の他の箇所で論じられる任意の適切なデバイスまたはホスト機械上で実行され得るため、ウェブサーバおよびアプリケーションサーバは必須ではなく、単に例示のコンポーネントにすぎないことを理解されたい。
データストア110は、いくつかの別個のデータ表、データベース、または他のデータ記憶機構、および特定の態様に関連するデータを記憶するための媒体を含み得る。例えば、説明されるデータストアは、生産データ112およびユーザ情報116を記憶する機構を含み、生産側にコンテンツを提供するために使用され得る。データストアは、ログデータ114を記憶するための機構を含むようにも示され、報告、統計データ生成、および他のそのような目的のために使用され得る。ページ画像情報およびアクセス権情報等のデータストアに記憶される必要があり得る多くの他の態様が存在し得、それらは、必要に応じて上に列記される機構のうちのいずれか、またはデータストア110内のさらなる機構に記憶され得ることを理解されたい。データストア110は、それに関連付けられるロジックを介して、動作可能にアプリケーションサーバ108からの命令を受信し、それに応答してデータを得るか、更新するか、またはさもなければ処理する。一例において、ビューアは、ある種類の品目に対する検索要求を提示し得る。この場合において、データストアは、ユーザ情報にアクセスしてビューアの身元を確認し得、カタログ詳細情報にアクセスしてその種類の品目についての情報を得ることができる。その後、その情報は、ビューアがユーザデバイス102上のブラウザを介して見ることができるウェブページ上の結果リスト等でビューアに戻され得る。関心のある特定の品目の情報を、ブラウザの専用ページまたはウィンドウで見ることができる。
それぞれのサーバは、典型的には、実行可能なプログラム命令をそのサーバの一般管理および動作に提供するオペレーティングシステムを含み、かつ典型的には、サーバのプロセッサによって実行されるときに、サーバがその目的とする機能を実行することを可能にする命令を記憶するコンピュータ可読媒体を含む。サーバのオペレーティングシステムおよび一般機能に好適なインプリメンテーションは既知であるか、または市販されており、特に本明細書における開示に照らして、当業者によって容易に実される。
一実施形態における環境は、1つ以上のコンピュータネットワークまたは直接接続を用いた、通信リンクを介して相互接続されるいくつかのコンピュータシステムおよびコンポーネントを利用する分散型コンピューティング環境である。しかしながら、当業者であれば、そのようなシステムが、図1に説明されるコンポーネントよりも少ない数または多い数のコンポーネントを有するシステムにおいても同等にうまく動作し得ることを理解する。したがって、図1におけるシステム100の描写は、本質的に例示であり、本開示の範囲を限定するものではないと見なされるべきである。
図2は、様々な実施形態が実践され得る例示の環境200を示す。環境200が、図1に関連して上に記載される環境のコンポーネントのうちの1つ以上を利用することが理解され得る。環境200は、「拡張現実」環境の例を表す。拡張現実(AR)は、それらの要素がオーディオまたは画像等のコンピュータによって生成された感覚入力によって拡張される、物理的な現実世界の環境の直接または間接ライブビュー用の用語である。拡張は、環境要素を用いてリアルタイムおよび意味的文脈で従来方式で行われる。進化したAR技術を利用して、ユーザの周囲の現実世界についての情報は、対話型になり、かつデジタル的に操作可能になる。環境およびそのオブジェクトについての人工的な情報は、現実世界上にオーバーレイされ得る。
環境200は、ある実施形態において、クライアントコンピューティング(通信)デバイス202および204を用いて様々なコンテンツプロバイダのコンテンツをブラウズするために、インターネット206等のネットワークを利用する複数のユーザ201および203を含む。環境200は、インターネットをネットワークとして利用し得るが、他のネットワークがインターネットの代替物として、またはインターネットに加えて使用され得ることを理解されたい。他のネットワークの例には、モバイルネットワーク、イントラネット、および一般に任意の好適な通信ネットワークが挙げられる。いくつかのユーザおよび関連付けられたコンピューティングデバイスが変化し得、関連付けられたコンピューティングデバイス202および204を有するユーザ201および203が、単に例示目的のために示されることを理解する。
上述のように、クライアントコンピューティングデバイス202または204は、画像捕捉要素を装備した任意のモバイル通信デバイス、例えば、携帯電話、タブレットPC、パーソナルデジタルアシスタント(PDA)、拡張現実(AR)有効化メガネ、頭装着型ディスプレイ等であり得る。デバイス202および204は、とりわけ、デスクトップコンピュータ、ノートブックコンピュータ、電子ブックリーダー、パーソナルデータアシスタント、ビデオゲームコンソールまたはコントローラ、テレビセットトップボックス、およびポータブルメディアプレーヤーも含み得る。通信デバイス202または204は、通常動作下で、(例えば、デバイス204が説明するように、表示画面と同一側のコンピューティングデバイス上の)表示画面に向かうユーザ(またはビューア)に情報を表示する表示画面を有し得る。拡大版クライアントコンピューティングデバイスの表示画面は、要素252および262によって示される。
通信デバイスは、1つ以上の画像捕捉要素、例えば、そのデバイスの前部に2つの画像捕捉要素、およびそのデバイスの後部に2つの画像捕捉要素を含み得るが、さらに多いか、または少ない数の画像捕捉要素が利用されてもよく、かつそのデバイスの側面、隅部、もしくは他の位置に同様に、または代替的に設置され得ることを理解されたい。画像捕捉要素は、同様の型または異なる型のものでもあり得る。それぞれの画像捕捉要素は、例えば、カメラ、電荷結合デバイス(CCD)、動作検出センサ、もしくは赤外線センサであり得るか、または他の画像捕捉技術を利用してもよい。コンピューティングデバイスは、オーディオデータを捕捉することができる少なくとも1つのマイクロホンまたは他のオーディオ捕捉要素、ならびに加速度計、ジャイロスコープ、コンパスデジタル、または慣性センサ等の1つ以上の方位決定要素も含み得、これらは、動作および/もしくは方位決定を支援し得る。クライアントコンピューティング(通信)デバイスを備えるコンポーネントは、図8を参照してより詳細に説明される。
図2に戻って参照して、ある実施形態において、ユーザ201および203は、例えば、コンテンツを消費し、情報を検索し、消費または販売のために売り出される品目を購入し、ソーシャルネットワーキング等に関与するために、コンテンツプロバイダによって提供されるコンテンツにアクセスし得る。図2に示されるように、環境200は、オーバーレイサービスプロバイダ244によって動作される通信サーバ242、およびコンテンツプロバイダ248によって動作されるコンテンツプロバイダサーバ246を含み得る。以下でより詳細に説明されるように、バックエンドサーバは、いくつかの実施形態において、記載される機能性を提供および支援するのに必要ではない場合がある。サーバ242および246によって提供される機能性は、示されるように、それらのサーバ間に分散され得る。概して、1つ以上のサーバは、サーバ242および246上で実される機能性を提供するように構成され得る。したがって、サーバ242および246は、単に例示目的のために、2つの別個の要素として図2に示される。理解されるように、単一の電子実体(図示されず)は、システム要素242、244、246、および248を動作し得る。あるいは、異なる実体は、要素242、244、246、および248を制御し得る。1つの電子実体または複数の電子実体は、いくつかの異なる方法で、プロバイダ248のうちの1つ以上を動作するか、それらと提携するか、またはそれらと関連付け得る。
ある実施形態において、環境200は、デバイス画面252および262上のオーバーレイ要素256および266にレンダリングされるコンテンツを生成するためのコンポーネントおよび命令を含む。コンテンツプロバイダ248は、コンピュータゲーム、ニュース、ビデオ、ショッピングまたは他のサービス、検索エンジンサービス、オーディオ、ソーシャルネットワーキングサービス等の様々な種類のコンテンツを提供し得る。任意の種類のコンテンツが環境200またはその変形に含まれ得ることを理解されたい。コンテンツは、アプリケーションインタフェースを介して、またはウェブサイトに適切に分類されない場合がある他の機構を介して等、様々な方法で提供され得る。図2で説明される例において、コンテンツプロバイダ248は、コンテンツサーバ246を介して、それらの画像捕捉要素を介してそれぞれデバイス202および204によって捕捉されるオブジェクト208および210の画像254および264と併せて画面252および262上にレンダリングされるコンテンツ256および266を提供する。
図2に示されるように、ユーザ201は、画面252上に後に表示されるオブジェクトの画像(254)を捕捉するために、自身のデバイス202をオブジェクト208に向ける。同様に、ユーザ203は、画面262上に後に表示されるオブジェクトの画像(264)を捕捉するために、自身のデバイス204をオブジェクト210に向ける。この時点で、検出コンポーネント218および認識コンポーネント220は、デバイス202(204)に関連付けられた画像捕捉要素によって捕捉されるオブジェクト208(210)が識別可能であるかを決定するために起動される。ある実施形態において、オブジェクトは、画面252(262)上、例えば、デバイス202(204)のカメラ(すなわち、画像捕捉要素)のカメラビューに表示され得る。オブジェクトが検出および認識コンポーネント218および220によって識別される場合、通信サーバ242および/またはコンテンツプロバイダサーバ246に関連付けられるオーバーレイサービス244は、コンテンツリポジトリ250からオブジェクトに関連付けられた情報を読み出し、特別な形態、例えば、オーバーレイ要素256(266)で、オブジェクトに関連付けられた情報を提供して、画面252(262)上で画像オブジェクト254(264)をオーバーレイする。
検出コンポーネント218、認識コンポーネント220、およびオーバーレイサービス244は、いくつかの異なる方法でシステム200に関連付けられ得る。例えば、これらの要素の一部またはすべてを実行する命令は、クライアントデバイス202および204上に存在し得、かつその上で実行し得る。あるいは、上述のコンポーネントの一部またはすべては、通信サーバ242および/またはコンテンツプロバイダサーバ246を用いたネットワーク206を介したアクセスであり得る。一実施形態において、オーバーレイサービスは、サーバ上ではなく、クライアントデバイス上に存在し得る。さらに、リポジトリに関連付けられるデータの一部またはすべては、以下でより詳細に説明されるように、クライアントデバイス202(204)上に存在するローカルリポジトリ270(280)に記憶(キャッシュ)され得る。検出、認識、およびオーバーレイ機能性、ならびにそれらの適用は、図3〜7を参照して、以下でより完全に論じられる。
図3は、ある実施形態に従う、電子デバイス上にレンダリングされるときにリアルタイムで捕捉および表示されるオブジェクトの画像を関係付けられたコンテンツにより拡張する例を説明する。関心のあるオブジェクト302(本「War and Peace」)は、カメラを起点に興味のあるオブジェクトを指す2つの矢印で説明されるように、電子デバイス306の画像捕捉要素(例えば、カメラ304)で捕捉される。電子デバイスディスプレイ308は、画像捕捉要素304で撮影されたオブジェクト302の画像310をレンダリングする。画像310は、図2を参照して上で説明されるように、オーバーレイサービスに対するオブジェクト識別および提示に応答して、実質的にリアルタイムでレンダリングされた製品情報314を含有するオーバーレイ要素312で拡張される。ある実施形態において、画像およびオーバーレイ要素は、以下で詳細に説明されるように、コンピュータ計算された境界ボックス316内でレンダリングされ、これは、少なくともいくつかの実施形態において、表示される画像情報における決定されたオブジェクトの境界線に近づける。この例において、オーバーレイ要素312は、長方形であり、本302の画像310を部分的にオーバーレイし、境界ボックス内に含有される。いくつかの実施形態において、境界ボックスが計算され得るが、必ずしもエンドユーザに表示されるわけではないことを理解されたい。
図4は、関連コンテンツを有するカメラのライブビューにおける画像をオーバーレイするための方法を説明するプロセスフロー図400である。プロセス400は、オブジェクトがデバイスカメラビュー内で見つけられるブロック402から始まる。言い換えると、ユーザは、ユーザデバイスに関連付けられたカメラを特定のオブジェクト(例えば、本棚の本)に向け、オブジェクトを有するフレームがカメラビューに表示される。判定ブロック406において、検出アルゴリズムを用いて任意のオブジェクト特徴が検出されたかが判定される。特徴が検出されない場合、プロセスはブロック422に進む。少なくとも1つのオブジェクト特徴が検出された場合、判定ブロック410において、判定される特徴に関連付けられたオブジェクトが識別されるかが判定される。オブジェクトが識別されない場合、プロセス400は、ブロック422に進む。オブジェクトが識別された場合、プロセスは、オブジェクトが品目リポジトリに記憶される製品または品目と比較されるブロック414に進む。一実施形態において、品目または製品情報は、クライアントデバイスに関連付けられた記憶装置にキャッシュされ得る。判定ブロック414において、一致が見つけられない場合、プロセスは、ブロック422に進む。一致が見つけられた場合、ブロック418において、製品情報がユーザにレンダリングされる。ブロック422において、フレームまたはフレーム内の選択された特徴は、さらなるオブジェクト認識のためにサーバに送信される。したがって、ローカルクライアント側オブジェクト認識およびサーバ側オブジェクト認識は、2段階で生じ得る。一実施形態において、オブジェクト認識に関連付けられたすべてのタスクは、オブジェクトの画像を含有するフレームがサーバに送信されるとき、サーバ側で起こる。その後、プロセス400は終了する。
図5は、ある実施形態に従う、サーバ側のオブジェクト認識技法の例を説明するプロセスフロー図である。プロセス500は、サンプリングされたフレームがクライアントデバイスから受信されるブロック502から始まる。ブロック506において、サンプルフレーム内で判定されたオブジェクト認識は、記憶された品目(製品)のオブジェクト認識と比較される。検出/認識技法は、以下で詳細に説明される。判定ブロック510において、記憶されたオブジェクトのうちのいずれかとの一致が見つけられるかが判定される。一致が見つけられた場合、ブロック514で、一致した製品に関連付けられた情報は、オーバーレイのためにクライアントデバイスに送信される。その後、プロセス500は終了する。
図6は、オブジェクト特徴検出ルーチン600の例を説明するプロセスフロー図である。プロセス600は、オブジェクトを指すデバイスが、オブジェクト検出および認識の成功をもたらす質の良い撮影画像を保証する安定した状態であると判定するブロック602から始まる。カメラが安定しているかの判定は、様々な技法を用いて、例えば、加速度計、ソリッドステートコンパス、ジャイロスコープ等に関連付けられたセンサ入力を用いて行われ得る。ブロック606において、現在のフレーム内の関心点が識別される。関心点は、例えば、ハリス関心点検出アルゴリズム、モラベックコーナー検出アルゴリズム、FAST等の関心点検出アルゴリズムを用いて識別され得る。
ブロック610において、それぞれの関心点に対応する特徴がコンピュータ計算される。特徴は、あるアプリケーションに関連したコンピュータによるタスクの解決と関連性のある1つの情報である。より具体的には、特徴は、画像、または画像自体における特定の構造(点もしくは縁等の単純な構造からオブジェクト等のより複雑な構造に及ぶ)に適用される一般近傍演算(特徴抽出器もしくは特徴検出器)の結果を指し得る。特徴の他の例は、画像シーケンスにおける動作、異なる画像領域間の曲線もしくは境界線に関して定義される形状、またはそのような領域の特性に関連する。それぞれの関心点における特徴は、例えば、累積された符号付きの勾配(ASG)等の特徴コンピュータ計算アルゴリズムを用いてコンピュータ計算され得る。ブロック616において、現在のサンプリングされたフレームおよび以前にサンプリングされた(例えば、最後にサンプリングされた)フレームにおける特徴間の一致がコンピュータ計算される。特徴間の一致を用いて、同形異義性、すなわち、特徴点間の幾何学的に一致した変換を判定することができる。同形異義性が、一組の特徴点を所定の位置から新たに変換された位置に変換するマトリックスであることは、当業者には既知である。より一般的には、同形異義性は、実射影平面から直線間をマッピングする射影平面への可逆的な変換である。コンピュータビジョンの分野において、同一の空間平面の任意の2つの画像は、同形異義性によって関連付けられる。ブロック618において、画像特徴が追跡される。画像特徴は、同形異義性を用いて追跡され得る。同形異義性は、例えば、RANSACアルゴリズムを用いてコンピュータ計算され得る。以前に追跡されたフレームからの同形異義性が十分に大きい場合、フレームは、選択され、図7を参照して下に記載される認識段階に備える。
どのオブジェクトがフレーム内に表示されるかを示すのに役立ち得るいくつかの一般的な種類の情報が存在する。1つのそのような例は、オブジェクトを一意に識別するバーコードである。したがって、判定ブロック630において、バーコードがフレーム内で検出された場合、ブロック622において、バーコード画像データが準備され、認識アルゴリズムに提示される。オブジェクトを識別するのに役立ち得る別の一般的な種類の情報は、テキスト情報である。したがって、バーコードが検出されない場合、634ブロックにおいて、任意のテキストが画像内に存在するかが決定される。テキストが検出された場合、テキストは、その後の検索に備える。別の共通の種類の情報は、フレーム内の画像(例えば、人の顔)である。テキストが検出されない場合、判定ブロック638において、画像内の任意の顔が検出されるかが判定される。顔が検出されない場合、プロセスは終了する。顔が実際に検出された場合、その顔を含有する画像は、図6を参照して下で説明される顔認識アルゴリズムに備える。その後、600は終了する。バーコード、テキスト情報、および顔画像が上で論じられるが、フレーム内の他の種類の情報を用いてフレーム内のオブジェクトを検出することができる。
図7は、ある実施形態に従うオブジェクト認識の例を説明するプロセスフロー図である。プロセス700は、バーコード画像データが処理されるブロック702から始まる。判定ブロック706において、バーコードが有効であるかが判定される。その目的のために、バーコードは、バーコード解読技法を用いて解読され得、その後、バーコード有効性は、UPC−A、UPC−E、またはその他の既知のバーコード基準を介して確認され得る。バーコードが有効でない(または判読不能である)場合、プロセスは、ブロック714に進む。バーコードが有効である場合、そのバーコードに関連付けられた製品情報が読み出される。製品情報は、ある実施形態において、製品のタイトルおよび製品の価格を含む、製品(すなわち、オブジェクト)についての様々なデータを含み得る。
判定ブロック714において、任意の追跡された特徴が、図6を参照して上で説明される検出アルゴリズムによって見つけられるかが判定される。そのような特徴が見つけられない場合、プロセスは、判定ブロック742に進む。任意の特徴が見つけられた場合、ブロック718において、その特徴は、クライアントデバイスに関連付けられたローカルリポジトリに記憶された製品特徴と比較される。判定ブロック722において、任意の追跡された特徴が、ローカルリポジトリに記憶された以前に検出された製品の特徴と一致するかが判定される。一致が見つけられた場合、ブロック726において、キャッシュされた製品情報がローカルリポジトリから読み出される。一致が見つけられない場合、730において、画像フレームは、その後、サーバに送信され、サーバは、フレーム内の追跡された特徴を、クライアントデバイスからリモートのリポジトリに記憶された製品特徴と比較する。必要とされる製品情報を判定する迅速な方法であるため、製品を検出し、関連付けられた製品情報をローカルリポジトリから読み出すことは、有利であり得る。製品情報がローカルリポジトリで見つけられない場合、画像フレームは、さらなる検出/認識のためにサーバに送信される。判定ブロック734において、追跡された特徴とリモートリポジトリに記憶された製品の特徴との間の任意の一致(または許容レベルの相互関係)が見つけられるかが判定される。一致(相互関係)が見つけられない場合、プロセスは、判定ブロック742に進む。一致(相互関係)が見つけられた場合、一致した特徴を有する製品に関連付けられた製品情報がブロック738で読み出され、プロセスは終了する。
上述のように、テキストデータ、バーコードデータ、または顔データを含む、オブジェクトを検出するために使用されるいくつかの一般的な種類の情報が存在する。判定ブロック742において、任意のテキストデータが受信されるかが判定される。テキストデータが受信された場合、そのテキストは、有効化され得、有効な状態で見つけられた場合、ブロック738において、認識されたテキストを用いて、認識されたテキストに関連付けられた製品情報を読み出すことができる。テキストデータが読み出されない場合、判定ブロック746において、顔データが受信されるかが判定される。顔データが判定ブロック760で受信されない場合、その顔が認識されるかが判定され、その顔が認識された場合、ブロック768において、認識された顔に関連付けられた情報が識別される。一実施形態において、情報は、顔が識別された人に関連するデータを含み得る。顔がブロック764で認識されない場合、ユーザは、今後の認識目的のためにユーザのカメラビューに表示される顔に関連名で注釈を付けることが許可される。その後、プロセス700は終了する。
一実施形態において、認識アルゴリズムは、排他的に適用され得る。
具体的には、認識アルゴリズムが、CPU使用を最適化するためにユーザデバイス上で実行される場合、認識アルゴリズムの一方の部分が進行中であるとき(例えば、バーコード認識として)、他方の部分(例えば、製品カバー認識)は実行され得ない。
図8は、オーバーレイルーチン800の例を説明するプロセスフロー図である。プロセス800は、最初の境界ブロックがコンピュータ計算されるブロック802から開始する。最初の境界ボックスは、画像一致の成功によって暗示される同形異義性を用いて、リポジトリで見つけられたオブジェクトの画像の隅部をクエリで提示される画像にマッピングすることによってコンピュータ計算され得る。ブロック806において、境界ブロックは更新される。それぞれのフレームに対して更新された境界ボックスは、追跡から最初の境界ボックスの隅部まで同形異義性を適用することによってコンピュータ計算され得る。実際には、コンピュータ計算は、ユーザビューにおける画像周囲に境界ボックスを描くことを目的とする。
境界ボックスコンピュータ計算は、必ずしも信頼できるとは限らない。例えば、少しの特徴点しか追跡に利用可能でない場合があるか、それらの特徴点が画像のごく一部しかカバーしない場合があるか、または同形異義性が不安定である場合がある。境界ボックスの一貫性のない変形を制限するために、同形異義性の有効性は、そのボックスが、特定の(例えば、所定の)レベルを超える透視歪みを有さず、かつ境界が非現実的に変化しないように確認され得る。境界ボックスは、境界ボックスをより自然に見せるように、最近接の鋭い隅部に「スナップ」され得る。
ブロック814において、オーバーレイコンテンツは、ユーザビューにおいてオーバーレイされ得る。ほんの一例として、オーバーレイコンテンツは、ユーザがカメラビュー内で1回のクリックかつ最小労力で表示画面に表示される製品を購入し得るように、選択可能なコンテンツ(例えば、「購入」ボタン)であり得る。この技法は、「拡張現実におけるワンクリック」と称され得る。
ブロック818において、読み出された製品情報は、計算された境界ボックス内で、ユーザビューにおける画像を拡張(オーバーレイ)し得る。製品情報は変化し得る。例えば、製品情報は、品目価格、カスタマー評価、レビュー、説明、他のフォーマットでの同一の製品への特価提供および販売促進のリンク、デジタルダウンロードへのリンク、リスト、カスタマー間の議論、そのオブジェクト(製品)を購入したカスタマーが購入した他の製品に関連する情報等を含み得るが、これらに限定され得ない。ブロック818においてオーバーレイされる情報は、任意的である。
ブロック822において、オーバーレイコンテンツ要素は、境界ボックスにフォーマットされる。ある実施形態において、これは、「不動産」という表示をうまく利用するために、三次元フォーマットで行われ得る。例えば、オーバーレイ要素は、デバイスのディスプレイ上のユーザビュー内のオブジェクトの画像をオーバーレイし得る三次元構造(立方体等)を含み得る。立方体のそれぞれの壁は、製品(オブジェクト)に関連するコンテンツを含有し得、例えば、1つの壁は、製品の価格を表示し得、別の壁は、製品のレビューを表示し得る。製品情報に加えて、または製品情報の代わりに、選択可能なコンテンツ要素(例えば、「購入」、「カートに追加」、または「選択」ボタン)は、ユーザが表示されるコンテンツと対話できるように、オーバーレイ要素(例えば、上述の三次元構造)に追加され得る。
他の種類のコンテンツ(上述のもの以外)は、ユーザビューに表示される画像をオーバーレイし得る。例えば、製品のビデオプレビューは、ブロック826において示されるオブジェクトの画像の境界内でユーザに表示され得る。ある実施形態において、その画像がユーザビューに表示されるDVDの映画プレビューが提供され得、表示されるおもちゃのゲームプレビューが提供され得、ある特定の製品の使用法を説明するビデオが提供され得る。ブロック830において、製品に関連する三次元アニメーションもユーザに提供され得る。例えば、その画像が捕捉されたオブジェクトが本の場合、その本の表紙が開いて本の内容を表示するように示すアニメーションが提供され得る。上述のように、選択可能な(「クリック可能な」)コンテンツ要素は、アニメーションに追加され得、ブロック834において示されるように、ユーザがコンテンツと対話できるように、詳細およびさらなるコンテンツへのリンク等にされ得る。したがって、上の例において、追加された選択可能なコンテンツ要素を有するアニメーションは、ユーザが表示された本のページを「めくる」ことを可能にし、それぞれのめくられたページのコンテンツを示し得る。その後、プロセス800は終了する。
図9は、ユーザに提示されるオブジェクト(例えば、品目または製品)をタグ付けするための方法を説明するプロセスフロー図である。タグ付け品目は、ユーザが製品のリストを作成し、その作成されたリストから情報を抽出することを可能にし得る。作成されたリストまたはそのリスト内の個別の製品は、例えば、ソーシャルネットワーキング(例えば、フェイスブック(登録商標)またはツイッター(登録商標)を介して)を用いて他のユーザと共有され得る。プロセス900は、製品が図3〜5を参照して上で説明されるように識別されるブロック902から始まる。判定ブロック906において、製品が認識されるかが判定される。製品が認識された場合、ブロック908において、認識された品目は、例えば、現在の位置およびタイムスタンプでタグ付けされる。製品が認識されない場合、ブロック912において、ユーザは、タグを製品に追加する、例えば、製品の定義または説明を手動で追加することが許可される。
ブロック916において、さらなる対話能力がユーザに提供される。例えば、ユーザは、表示された製品をクリックし、製品を友人と共有し、製品を位置またはキーワードで読み出し、製品をサムネイルとしてライブ表示ビューで表示し、ユーザがサムネイルをクリックして詳細を見ることを可能にし、ユーザによって用いられる製品のリストをエクスポートし(例えば、Eメールまたはファイルとして)、テキストラベルを追加すること等を許容される。上述の本の例において、ユーザは、その本がユーザの友人に貸し出されていること、またはその本がユーザのライブラリに属することを提示するラベルを製品に追加し得る。その後、プロセス900は終了する。
図10は、図2に関して説明されるデバイス202等の通信デバイス1000の1組の基本的なコンポーネントを説明する。この例において、デバイスは、メモリデバイスまたは要素1004に記憶され得る命令を実行するために、少なくとも1つのプロセッサ1002を含む。命令は、上述の検出、認識、およびオーバーレイコンポーネントに関連する命令を含み得る。デバイスは、プロセッサ1002によって実行されるプログラム命令のための第1のデータ記憶装置、画像またはデータに用いられ得る同一もしくは別個の記憶装置、他のデバイスと情報を共有するために利用可能であり得る取り外し可能なメモリ、および他のデバイスと情報を共有するために利用可能であり得る任意の数の通信手段等の多くの種類のメモリ、データ記憶装置、またはコンピュータ可読媒体を含み得る。ポータブルメディアプレーヤー等のデバイスが、他の手段を介して、例えば、オーディオスピーカーを介して情報を伝達し得るが、デバイスは、典型的には、タッチスクリーン、電子インク(e−ink)、有機発光ダイオード(OLED)、または液晶ディスプレイ(LCD)等の少なくとも1種類の表示要素1006を含む。
上述のように、多くの実施形態におけるデバイスは、ビューアの相対位置を決定するために位置付けされる少なくとも1つの画像捕捉要素、およびデバイスの近くでユーザ、人々、または他の可視的オブジェクトを画像化するよう動作する少なくとも1つの画像捕捉要素等の少なくとも2つの画像捕捉要素1008を含む。画像捕捉要素は、ユーザがデバイスを動作するときにユーザの画像を捕捉するために、十分な解像度、集束範囲、および可視領域を有するCCD画像捕捉要素等の任意の適切な科学技術を含み得る。コンピューティングデバイスを有する画像捕捉要素を用いて画像またはビデオを捕捉するための方法は、当技術分野で既知であり、本明細書で詳細に論じられない。画像捕捉が、単一の画像、複数の画像、定期的な画像化、連続的な画像捕捉化、画像ストリーミング等を用いて実行され得ることを理解されたい。
デバイスは、デバイスの運動または他の方向変化の判定を支援し得る少なくとも1つの方向決定要素1010、例えば、加速度計、デジタルコンパス、電子ジャイロスコープ、または慣性センサを含み得る。デバイスは、従来の入力をユーザから受信することができる少なくとも1つのさらなる入力デバイス1012を含み得る。この従来の入力は、例えば、プッシュボタン、タッチパッド、タッチスクリーン、ホイール、ジョイスティック、キーボード、マウス、トラックボール、キーパッド、または任意の他のそのようなデバイスもしくは要素を含み得、それによって、ユーザがコマンドをデバイスに入力することができる。これらの入出力デバイスは、いくつかの実施形態において、無線赤外線もしくはBluetooth(登録商標)または他のリンクによっても接続され得る。しかしながら、いくつかの実施形態において、そのようなデバイスは、いかなるボタンも含み得ず、ユーザがデバイスを制御することができるように、デバイスとの接触を必要とすることなく、視覚コマンドおよびオーディオコマンドの組み合わせを介してのみ制御され得る。
図11は、図6を参照して詳細に説明されるある実施形態に従う、電子デバイス上にレンダリングされるリアルタイムで捕捉および表示されるオブジェクトの画像を関係付けられたコンテンツにより拡張する例1100を説明する。電子デバイス表示1102は、図8を参照して上で説明されるもの等の電子デバイスの画像捕捉要素(例えば、カメラ)で撮影されたオブジェクトの画像1104を含む。この例におけるオーバーレイ要素は、画像1104をオーバーレイする立方体1106形状の三次元構造である。示されるように、立方体のすべての側面は、本に関連する異なる情報(Leo Tolstoy、War and Peace)を表示する。例えば、側面1108は、様々な版(キンドル(登録商標)、ハードカバー、およびペーパーバック)の本の価格を含む。側面1110は、本に関するレビューにリンクする「編集レビュー」という名称の選択可能な要素を含む。側面1112は、この本を購入したユーザが購入した本の説明(例えば、Leo TolstoyのAnna Karenina)を含む。立方体は、ユーザによって移動させられ得、異なる側面は、図7を参照して上で説明されるように、異なる製品情報を示し得る。したがって、図11に提示されるオーバーレイの例は、ユーザがオーバーレイされたコンテンツと対話し、立方体のすべての側面が、製品の表示された画像に関連付けられた様々な製品情報を示し、かつ表示し得るように、オーバーレイ要素(立方体1106)を表示画面中で移動させることを可能にする。
上述のように、様々な実施形態は、多種多様の動作環境において実され得、これらは、ある場合には、いくつかのアプリケーションのうちのいずれかを動作するために使用され得る1つ以上のクライアントコンピュータ、コンピューティングデバイス、またはプロセッシングデバイスを含み得る。クライアントデバイスは、標準のオペレーティングシステムを起動するデスクトップまたはラップトップコンピュータ、ならびにモバイルソフトウェアを起動し、かついくつかネットワーキングおよびメッセージングプロトコルを支援することができる携帯電話、無線、および携帯用デバイス等のいくつかの汎用パーソナルコンピュータのうちのいずれかを含み得る。このようなシステムは、開発およびデータベース管理等の目的のために、様々な市販のオペレーティングシステムおよび他の既知のアプリケーションのうちのいずれかを起動するいくつかのワークステーションも含み得る。これらのデバイスは、ダミーターミナル、シンクライアント、ゲーミングシステム、およびネットワークを介して通信することができる他のデバイス等の他の電子デバイスも含み得る。
様々な態様も少なくとも1つのサービスまたはウェブサービスの一環として実され得、例えば、サービス中心のアーキテクチャの一環であり得る。ウェブサービス等のサービスは、任意の適切な種類のメッセージングを用いて、例えば、拡張マークアップ言語(XML)フォーマットのメッセージを用いて通信し、SOAP(「シンプル・オブジェクト・アクセス・プロトコル」に由来する)等の適切なプロトコルを用いて交換され得る。そのようなサービスによって提供または実行されるプロセスは、ウェブサービス記述言語(WSDL)等の任意の適切な言語で書かれ得る。WSDL等の言語の使用は、様々なSOAPフレームワークにおけるクライアント側コードの自動生成等の機能を可能にする。
大抵の実施形態は、TCP/IP、OSI、FTP、UPnP、NFS、CIFS、およびAppleTalk等の様々な市販のプロトコルのうちのいずれかを用いた通信を支援するために、当業者に既知の少なくとも1つのネットワークを利用する。ネットワークは、例えば、ローカルエリアネットワーク、広域ネットワーク、仮想プライベートネットワーク、インターネット、イントラネット、エクストラネット、公衆交換電話網、赤外線ネットワーク、無線ネットワーク、およびそれらの任意の組み合わせであり得る。
ウェブサーバを利用する実施形態において、ウェブサーバは、HTTPサーバ、FTPサーバ、CGIサーバ、データサーバ、Java(登録商標)サーバ、およびビジネスアプリケーションサーバを含む様々なサーバまたはミッドティアアプリケーションのうちのいずれかを起動することができる。サーバ(複数を含む)は、例えば、Java(登録商標)、C、C#、もしくはC++等の任意のプログラミング言語、またはPerl、Python、もしくはTCL等の任意のスクリプト言語、ならびにそれらの組み合わせで書かれる1つ以上のスクリプトまたはプログラムとして実され得る1つ以上のウェブアプリケーションを実行することによって、クライアントデバイスからの要求に応答してプログラムまたはスクリプトを実行することもでき得る。サーバ(複数を含む)は、制限なく、Oracle(登録商標)、Microsoft(登録商標)、Sybase(登録商標)、およびIBM(登録商標)から市販のものを含むデータベースサーバも含み得る。
環境は、上述の様々なデータストアならびに他のメモリおよび記憶媒体を含み得る。これらは、様々な位置、例えば、コンピュータのうちの1つ以上にローカル(かつ/もしくはそこに存在する)、またはネットワーク上のコンピュータのうちのいくつかもしくはすべてからリモートの記憶媒体上に存在し得る。特定の組の実施形態において、情報は、当業者に既知のストレージエリアネットワーク(「SAN」)に存在し得る。同様に、コンピュータ、サーバ、または他のネットワークデバイスによる機能を実行するための任意の必要なファイルは、必要に応じて、ローカルおよび/または遠隔に記憶され得る。システムがコンピュータ化されたデバイスを含む場合、それぞれのそのようなデバイスは、バスを介して電気的に結合され得るハードウェア要素を含み得、これらの要素は、例えば、少なくとも1つの中央処理ユニット(CPU)、少なくとも1つの入力デバイス(例えば、マウス、キーボード、コントローラ、タッチスクリーン、またはキーパッド)、および少なくとも1つの出力デバイス(例えば、表示デバイス、プリンタ、またはスピーカー)を含む。そのようなシステムは、1つ以上の記憶デバイス、例えば、ディスクドライブ、光学式記憶デバイス、およびソリッドステート記憶デバイス、例えば、ランダムアクセスメモリ(「RAM」)または読み出し専用メモリ(「ROM」)、ならびに取り外し可能な媒体デバイス、メモリカード、フラッシュカード等も含み得る。
そのようなデバイスは、上で説明されるように、コンピュータ可読記憶媒体リーダ、通信デバイス(例えば、モデム、ネットワークカード(無線または有線)、赤外線通信デバイス)、およびワーキングメモリも含み得る。コンピュータ可読記憶媒体リーダは、コンピュータ可読記憶媒体と接続され得るか、またはコンピュータ可読記憶媒体を受信するよう構成され得、リモート、ローカル、固定、および/または取り外し可能な記憶デバイス、ならびにコンピュータ可読情報を一時的および/またはより恒久的に含有し、記憶し、伝送し、かつ読み出すための記憶媒体を表す。システムおよび様々なデバイスは、典型的には、いくつかのソフトウェアアプリケーション、モジュール、サービス、またはオペレーティングシステムおよびアプリケーションプログラム、例えば、クライアントアプリケーションまたはウェブブラウザを含む少なくとも1つのワーキングメモリデバイス内で見つけられる他の要素も含む。代替の実施形態が、上述のものからの多数の変形を有し得ることを理解されたい。例えば、カスタマイズされたハードウェアも使用され得、かつ/または特定の要素は、ハードウェア、ソフトウェア(アプレット等のポータブルソフトウェアを含む)、もしくはこれら両方において実され得る。さらに、ネットワーク入力/出力デバイス等の他のコンピューティングデバイスへの接続が用いられ得る。
コードまたはコードの一部を含有するための記憶媒体およびコンピュータ可読媒体は、情報の記憶および/もしくは伝送のための任意の方法または科学技術において実される揮発性および不揮発性の取り外し可能および取り外し不可能な媒体、例えば、コンピュータ可読命令、データ構造、プログラムモジュール、またはRAM、ROM、EEPROM(登録商標)、フラッシュメモリ、もしくは他のメモリ科学技術を含む他のデータ、CD−ROM、デジタル多用途ディスク(DVD)、または他の光学式記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、または他の磁気記憶デバイス、または所望の情報を記憶するために使用され得、かつシステムデバイスによってアクセスされ得る任意の他の媒体等であるが、これらに限定されない記憶媒体および通信媒体を含む、当技術分野で既知であるか、または使用される任意の適切な媒体を含み得る。本明細書に提供される本開示および教示に基づいて、当業者であれば、様々な実施形態を実する他の様式および/または方法を理解する。
付記
1.質的にリアルタイムで捕捉および表示されるオブジェクトの画像または画のストリーム関係付けられたコンテンツにより拡張するためのコンピュータにより実される方法であって、
実行可能な命令で構成される1つ以上のコンピュータシステムの制御下で、
ユーザによって動作される電子デバイスの画像捕捉要素を用いて、オブジェクトの画像のストリーム中の少なくとも1つの画像を捕捉することと、
前記電子デバイスの表示要素上に前記捕捉た少なくとも1つの画像を表示することと、
1つ以上の特徴、前記オブジェクトの前記少なくとも1つの画像から導出される、前記オブジェクトを定義する前記1つ以上の特徴を決定することと、
前記オブジェクトを定義する前記決定された1つ以上の特徴を、品目リポジトリに記憶される複数の品目を定義する特徴と一致させることと、
一致が見つけられたときに、前記ユーザによって選択可能なコンテンツ要素を含む前記一致した品目に関連付けられたコンテンツを前記品目リポジトリから読み出すことと、
オーバーレイ要素が、前記電子デバイスの前記表示要素上に表示される前記画像を拡張するように、実質的にリアルタイムで、前記電子デバイスの前記表示要素上に前記オーバーレイ要素内の前記読み出されたコンテンツを表示することと、を含み、
前記ユーザは、前記ユーザによって選択可能な前記コンテンツ要素にアクセスすることによって、前記オーバーレイ要素中に表示される前記読み出されたコンテンツと対話することができる、コンピュータにより実される方法。
2.前記オーバーレイ要素は、前記画像をオーバーレイすることによって前記画像を拡張し、前記オーバーレイ要素は、ボックス、ボタン、三次元構造、アニメーション、オーディオ、ビデオ、ウェブページ、または対話型ユーザインタフェースのうちの1つから選択される、付記1に記載のコンピュータにより実される方法。
3.前記電子デバイスの画像捕捉要素は、ビデオカメラまたはフォトカメラのうちの1つから選択される、付記1に記載のコンピュータにより実される方法。
4.質的にリアルタイムで捕捉および表示されるオブジェクトの画像を関係付けられたコンテンツにより拡張するためのコンピュータにより実される方法であって、
実行可能な命令で構成される1つ以上のコンピュータシステムの制御下で、
実質的にリアルタイムで電子デバイスによって捕捉されるサンプリングされたフレームを定義する情報を受信することと、
前記受信された情報に少なくともある程度基づいて、前記サンプリングされたフレーム内に捕捉たオブジェクトを表す情報を決定することと、
前記決定された情報を複数の品目を定義する記憶された情報と一致させて、前記捕捉たオブジェクトと一致した品目を見つけることと、
前記一致した品目に関連付けられたコンテンツを読み出すことと、
前記電子デバイス上に前記捕捉た画像とともに表示するための前記読み出されたコンテンツを提供することと、を含み、
前記読み出されたコンテンツは、前記電子デバイス上に表示される前記捕捉た画像をオーバーレイするオーバーレイ要素内でレンダリングされる、コンピュータにより実される方法。
5.前記コンテンツは、前記ユーザによって選択可能なコンテンツ要素を含み、前記コンテンツ要素は、ボタンまたはハイパーリンクのうちの少なくとも1つを含む、付記4に記載のコンピュータにより実される方法。
6.前記コンテンツは、品目価格、前記品目の説明、前記品目のカスタマー評価、前記品目のカスタマーレビュー、前記品目に関連した特価提供および販売促進、前記品目に関連した製品に関連した情報、または前記ユーザが前記品目を購入することを可能にする前記ユーザによって選択可能な少なくとも1つのコンテンツ要素のうちの少なくとも1つを含む前記品目に関連付けられた情報を含む、付記4に記載のコンピュータにより実される方法。
7.前記決定された情報は、前記電子デバイスにおいて記憶された情報と一致し、複数の品目を定義する情報は、前記電子デバイスに関連付けられたローカルリポジトリに記憶される、付記4に記載のコンピュータにより実される方法。
8.前記決定された情報は、前記電子デバイスから遠隔に記憶された情報と一致し、複数の品目を定義する情報は、リモートリポジトリに記憶される、付記4に記載のコンピュータにより実される方法。
9.付記4に記載のコンピュータにより実される方法であって、
複数の一致が1つ以上のオブジェクトと記憶された品目との間で見つけられるときに、それぞれのオブジェクトに対していくつかの一致した品目を決定することをさらに含む、コンピュータにより実される方法。
10.前記一致した品目を現在の位置識別子またはタイムスタンプのうちの少なくとも1つでタグ付けすることをさらに含む、付記4に記載のコンピュータにより実される方法。
11.アルタイムで捕捉および表示されるオブジェクトの画像を関係付けられたコンテンツにより拡張するためのコンピュータにより実される方法であって、
実行可能な命令で構成される1つ以上のコンピュータシステムの制御下で、
捕捉た画像が、電子デバイスによって表示される、オブジェクトの少なくとも1つの画像を前記電子デバイスで捕捉することと、
前記オブジェクトの前記少なくとも1つの捕捉た画像に少なくともある程度基づいて、前記オブジェクトを表す情報を決定することと、
前記決定された情報を複数の品目のそれぞれの品目を定義する記憶された情報と一致させることと、
前記一致した品目に関連付けられたコンテンツを前記リポジトリから読み出すことと、
前記読み出されたコンテンツが、少なくとも1つの選択可能なコンテンツ要素を含む、前記捕捉た画像をオーバーレイ要素内でレンダリングされる前記読み出されたコンテンツでオーバーレイすることと、
前記少なくとも1つの選択可能なコンテンツ要素を選択するユーザに応答して、前記捕捉た画像を前記コンテンツ要素に関連付けられたコンテンツでオーバーレイすることと、を含む、コンピュータにより実される方法。
12.前記ユーザが第2のオーバーレイ要素に入力し、前記第2のオーバーレイ要素内の前記オブジェクトに関す追加的なコンテンツにより前記オブジェクトをタグ付けすることを可能にすることをさらに含む、付記11に記載のコンピュータにより実される方法。
13.前記ユーザが前記オーバーレイ要素内検索クエリを入力することに応答して、前記検索クエリに対応する検索結果を読み出すことをさらに含む、付記11に記載のコンピュータにより実される方法。
14.前記オーバーレイ要素は、ボックスを含む、付記11に記載のコンピュータにより実される方法。
15.アルタイムで捕捉および表示されるオブジェクトの画像を関係付けられたコンテンツにより拡張するためのコンピュータシステムであって、
プロセッサと、
コンピュータ実行可能な命令を有するメモリと具備し、
記コンピュータ実行可能な命令は、前記プロセッサ上で実行されるときに、前記プロセッサに、
実質的にリアルタイムで電子デバイスによって捕捉されるビデオのサンプリングされたフレームを定義する情報を受信させ、
前記受信された情報に少なくともある程度基づいて、前記サンプリングされたフレーム内に捕捉されるオブジェクトを表す情報を決定させ、
前記決定された情報を複数の品目を定義する記憶された情報と一致させて、前記捕捉たオブジェクトと一致した品目を見つけさせ、
前記一致した品目に関連付けられたコンテンツを読み出させ、
前記電子デバイス上に前記捕捉た画像とともに表示するための前記読み出されたコンテンツを提供させ、かつ
前記読み出されたコンテンツを、前記電子デバイス上に表示される前記捕捉た画像をオーバーレイするオーバーレイ要素内でレンダリングさせる、コンピュータシステム。
16.前記コンテンツは、前記ユーザによって選択可能なコンテンツ要素を含み、前記コンテンツ要素は、ボタンまたはハイパーリンクのうちの少なくとも1つを含む、付記15に記載のコンピュータシステム。
17.前記コンテンツは、品目価格、前記品目の説明、前記品目のカスタマー評価、前記品目のカスタマーレビュー、前記品目に関連した特価提供および販売促進、前記品目に関連した製品に関連した情報、または前記ユーザが前記品目を購入することを可能にする前記ユーザによって選択可能な少なくとも1つのコンテンツ要素のうちの少なくとも1つを含む前記品目に関連付けられた情報を含む、付記15に記載のコンピュータシステム。
18.前記コンピュータ実行可能な命令はさらに、前記プロセッサに、前記一致したオブジェクトを現在の位置識別子またはタイムスタンプのうちの少なくとも1つでタグ付けさせる、付記15に記載のコンピュータシステム。
19.前記コンピュータ実行可能な命令はさらに、前記プロセッサに、コンテンツ要素を選択する前記ユーザに応答して、前記コンテンツ要素に関連付けられた情報を読み出しおよび提供させ、前記情報は、前記捕捉た画像をオーバーレイする、付記16に記載のコンピュータシステム。
20.アルタイムで捕捉および表示されるオブジェクトの画像を関係付けられたコンテンツにより拡張するためのコンピュータ実行可能な命令を有するコンピュータ可読記憶媒体であって、コンピュータによって実行されるときに、前記コンピュータに、
実質的にリアルタイムで電子デバイスによって捕捉されるビデオのサンプリングされたフレームを定義する情報を受信させ、
前記受信された情報に少なくともある程度基づいて、前記サンプリングされたフレーム内に捕捉されるオブジェクトを表す情報を決定させ、
前記決定された情報を複数の品目を定義する記憶された情報と一致させて、前記捕捉たオブジェクトと一致した品目を見つけさせ、
前記一致した品目に関連付けられたコンテンツを読み出させ、
前記電子デバイス上に前記捕捉た画像とともに表示するための前記読み出されたコンテンツを提供させ、かつ
前記読み出されたコンテンツを、前記電子デバイス上に表示される前記捕捉た画像をオーバーレイするオーバーレイ要素内でレンダリングさせる、コンピュータ可読記憶媒体。
21.前記コンテンツは、前記ユーザによって選択可能なコンテンツ要素を含み、前記コンテンツ要素は、ボタンまたはハイパーリンクのうちの少なくとも1つを含む、付記20に記載のコンピュータ可読記憶媒体。
22.前記コンテンツは、品目価格、前記品目の説明、前記品目のカスタマー評価、前記品目のカスタマーレビュー、前記品目に関連した特価提供および販売促進、前記品目に関連した製品に関連した情報、または前記ユーザが前記品目を購入することを可能にする前記ユーザによって選択可能な少なくとも1つのコンテンツ要素のうちの少なくとも1つを含む前記品目に関連付けられた情報を含む、付記20に記載のコンピュータ可読記憶媒体。
23.前記オーバーレイ要素は、ボックスである、付記20に記載のコンピュータ可読記憶媒体。
24.前記コンピュータ実行可能な命令はさらに、前記コンピュータに、コンテンツ要素を選択する前記ユーザに応答して、前記コンテンツ要素に関連付けられた情報を読み出しおよび提供させ、前記情報は、前記捕捉た画像をオーバーレイする、付記21に記載のコンピュータ可読記憶媒体。
25.前記タグ付けされた品目をクエリして、前記品目の現在の位置を決定することをさらに含む、付記10に記載のコンピュータにより実される方法。
したがって、本明細書および図面は、限定的意味ではなく、例示的意味であると見なされるべきである。しかしながら、特許請求の範囲で説明されるより広範の精神および本開示の範囲から逸脱することなく、様々な修正および変更をそれに加えることができることは明らかである。
以下に、本願出願時の特許請求の範囲に記載された発明を付記する。
[1]実質的にリアルタイムで捕捉および表示されるオブジェクトの画像を関係付けられたコンテンツにより拡張するためのコンピュータにより実現される方法であって、
実行可能な命令で構成される1つ以上のコンピュータシステムの制御下で、実質的にリアルタイムで電子デバイスによって捕捉されるビデオのサンプリングされたフレームを定義する情報を受信することと、
前記受信された情報に少なくともある程度基づいて、前記サンプリングされたフレーム内に捕捉されるオブジェクトを表す情報を決定することと、
前記決定された情報を複数の品目を定義する記憶された情報と一致させて、前記捕捉したオブジェクトと一致した品目を見つけることと、
前記一致した品目に関係付けられたコンテンツを読み出すことと、
前記電子デバイス上に、前記捕捉した画像とともに、表示するための前記読み出されたコンテンツを提供することと、を含み、
前記読み出されたコンテンツは、前記電子デバイス上に表示される前記捕捉した画像をオーバーレイするオーバーレイ要素内でレンダリングされる、コンピュータにより実現される方法。
[2]前記コンテンツは、ユーザによって選択可能なコンテンツ要素を含み、前記コンテンツ要素は、ボタンまたはハイパーリンクのうちの少なくとも1つを含む、[1]に記載のコンピュータにより実現される方法。
[3]前記コンテンツは、品目価格、前記品目の説明、前記品目のカスタマー評価、前記品目のカスタマーレビュー、前記品目に関連した特価提供および販売促進、前記品目に関連した製品に関連した情報、またはユーザが前記品目を購入することを可能にする前記ユーザによって選択可能な少なくとも1つのコンテンツ要素のうちの少なくとも1つを含む前記品目に関連付けられた情報を含む、[1]に記載のコンピュータにより実現される方法。
[4]前記決定された情報は、前記電子デバイスにおいて記憶された情報と一致し、複数の品目を定義する情報は、前記電子デバイスに関連付けられたローカルリポジトリに記憶される、[1]に記載のコンピュータにより実現される方法。
[5]前記決定された情報は、前記電子デバイスから遠隔に記憶された情報と一致し、複数の品目を定義する情報は、リモートリポジトリに記憶される、[1]に記載のコンピュータにより実現される方法。
[6]複数の一致が1つ以上のオブジェクトと記憶された品目との間で見つけられるときに、それぞれのオブジェクトに対していくつかの一致した品目を決定することをさらに含む、[1]に記載のコンピュータにより実現される方法。
[7]前記一致した品目を現在の位置識別子またはタイムスタンプのうちの少なくとも1つでタグ付けすることをさらに含む、[1]に記載のコンピュータにより実現される方法。
[8]リアルタイムで捕捉および表示されるオブジェクトの画像を関係付けられたコンテンツにより拡張するためのコンピュータシステムであって、
プロセッサと、
コンピュータ実行可能な命令を有するメモリと、を備え、前記コンピュータ実行可能な命令は、前記プロセッサ上で実行されるときに、前記プロセッサに、
実質的にリアルタイムで電子デバイスによって捕捉されるビデオのサンプリングされたフレームを定義する情報を受信させ、
前記受信された情報に少なくともある程度基づいて、前記サンプリングされたフレーム内に捕捉されるオブジェクトを表す情報を決定させ、
前記決定された情報を複数の品目を定義する記憶された情報と一致させて、前記捕捉したオブジェクトと一致した品目を見つけさせ、
前記一致した品目に関係付けられたコンテンツを読み出させ、
前記電子デバイス上に、前記捕捉した画像とともに、表示するための前記読み出されたコンテンツを提供させ、かつ
前記読み出されたコンテンツを、前記電子デバイス上に表示される前記捕捉した画像をオーバーレイするオーバーレイ要素内でレンダリングさせる、コンピュータシステム。
[9]前記コンテンツは、ユーザによって選択可能なコンテンツ要素を含み、前記コンテンツ要素は、ボタンまたはハイパーリンクのうちの少なくとも1つを含む、[8]に記載のコンピュータシステム。
[10]前記コンテンツは、品目価格、前記品目の説明、前記品目のカスタマー評価、前記品目のカスタマーレビュー、前記品目に関連した特価提供および販売促進、前記品目に関連した製品に関連した情報、またはユーザが前記品目を購入することを可能にする前記ユーザによって選択可能な少なくとも1つのコンテンツ要素のうちの少なくとも1つを含む前記品目に関連付けられた情報を含む、[8]に記載のコンピュータシステム。
[11]前記コンピュータ実行可能な命令はさらに、前記プロセッサに、前記一致したオブジェクトを現在の位置識別子またはタイムスタンプのうちの少なくとも1つでタグ付けさせる、[8]に記載のコンピュータシステム。
[12]前記コンピュータ実行可能な命令はさらに、前記プロセッサに、コンテンツ要素を選択する前記ユーザに応答して、前記コンテンツ要素に関連付けられた情報を読み出しおよび提供させ、前記情報は、前記捕捉した画像をオーバーレイする、[9]に記載のコンピュータシステム。

Claims (25)

  1. 捕捉され、表示される製品の画像または画像のストリームを、関係付けられたコンテンツにより拡張するためのコンピュータにより実現される方法において、
    ユーザによって動作される電子デバイスの画像捕捉要素を使用して、前記製品の画像のストリーム中の少なくとも1つの画像を捕捉することと、
    前記電子デバイスの表示要素上に前記捕捉した少なくとも1つの画像を表示することと、
    前記製品を定義する1つ以上の特徴を決定し、前記1つ以上の特徴は、前記製品の前記少なくとも1つの画像から導出されることと、
    前記製品を定義する1つ以上の特徴が、バーコードデータを含むか否かを決定することと、
    前記製品を定義する1つ以上の特徴が、バーコードデータを含まない場合、前記製品を定義する1つ以上の特徴が、テキストを含むか否かを決定することと、
    前記製品を定義する前記決定した1つ以上の特徴を、品目リポジトリに記憶されている複数の品目を定義する特徴と一致させることと、
    見つけた一致に応答して、前記一致した品目に関係付けられたコンテンツを前記品目リポジトリから取り出すことと、
    前記画像のストリーム中の前記製品の表示に関係付けられた複数のコーナーを検出することと、
    前記製品の表示に関係付けられた前記複数のコーナーに基づいて、前記画像のストリームの各画像において表示される前記製品に対する境界ボックスを計算することと、
    オーバーレイ要素が、前記電子デバイスの前記表示要素上に表示される前記製品の前記画像を拡張するように、前記境界ボックス内で、前記電子デバイスの前記表示要素上の前記オーバーレイ要素中に前記取り出したコンテンツを表示することとを含み、
    前記取り出したコンテンツは、前記オーバーレイ要素によって拡張した前記製品を購入する指示を前記ユーザが提供できるようにする選択可能なコンテンツを表すコンピュータにより実現される方法。
  2. 前記オーバーレイ要素は、前記画像をオーバーレイすることによって前記画像を拡張し、前記オーバーレイ要素は、ボックス、ボタン、三次元(3D)構造、アニメーション、オーディオ、ビデオ、ウェブページ、または対話型ユーザインタフェースのうちの1つから選択される請求項1記載のコンピュータにより実現される方法。
  3. 前記電子デバイスの画像捕捉要素は、ビデオカメラまたはフォトカメラのうちの1つから選択される請求項1記載のコンピュータにより実現される方法。
  4. 捕捉および表示される製品の画像を、関係付けられたコンテンツにより拡張するためのコンピュータにより実現される方法において、
    電子デバイスによって捕捉されるビデオのサンプリングされたフレームを定義する情報を受け取ることと、
    前記受け取った情報に少なくとも部分的に基づいて、前記サンプリングされたフレーム中で捕捉した製品を表す情報を決定することと、
    前記製品を表す前記情報が、バーコードデータを含んでいるか否かを決定することと、
    前記製品を表す前記情報が、バーコードデータを含んでいない場合、前記製品を表す前記情報が、テキストを含んでいるか否かを決定することと、
    前記決定した情報を、複数の品目を定義する記憶されている情報と一致させて、前記捕捉した製品に一致した品目を見つけさせ、前記記憶されている情報は品目リポジトリ中に記憶されていることと、
    前記サンプリングされたフレーム中の前記製品を表す情報に関係付けられた複数のコーナーを検出することと、
    前記製品を表す前記情報の前記複数のコーナーに基づいて、前記サンプリングされたフレーム中の前記製品を表す前記情報に対する境界ボックスを計算することと、
    前記一致した品目に関係付けられたコンテンツを前記品目リポジトリから取り出すことと、
    前記電子デバイス上に、前記捕捉した画像とともに、表示するための前記取り出したコンテンツを提供することとを含み、
    前記取り出したコンテンツは、前記電子デバイス上に表示される、前記境界ボックス内の前記捕捉した画像をオーバーレイするオーバーレイ要素中でレンダリングされ、前記取り出したコンテンツは、前記オーバーレイ要素によって拡張した前記製品を購入する指示をユーザが提供できるようにする選択可能なコンテンツを表すコンピュータにより実現される方法。
  5. 前記選択可能なコンテンツは、ボタンまたはハイパーリンクのうちの少なくとも1つを含む請求項4記載のコンピュータにより実現される方法。
  6. 前記選択可能なコンテンツは、製品価格、前記製品の説明、前記製品のカスタマー評価、前記製品のカスタマーレビュー、前記製品に関連した特価提供および販売促進、または、前記製品に関連した他の商品に関連した情報のうちの少なくとも1つを含む、前記製品に関係付けられた情報を含む請求項4記載のコンピュータにより実現される方法。
  7. 前記決定した情報は、前記電子デバイスにおいて記憶されている情報と一致し、複数の品目を定義する情報は、前記電子デバイスに関係付けられたローカルリポジトリに記憶されている請求項4記載のコンピュータにより実現される方法。
  8. 前記決定した情報は、前記電子デバイスから遠隔に記憶されている情報と一致し、複数の品目を定義する情報は、リモートリポジトリに記憶されている請求項4記載のコンピュータにより実現される方法。
  9. 1つ以上の製品と、記憶されている品目との間で見つけられる複数の一致に応答して、それぞれの製品に対して多数の一致した品目を決定することをさらに含む請求項4記載のコンピュータにより実現される方法。
  10. 現在の位置識別子またはタイムスタンプのうちの少なくとも1つにより、前記一致した品目をタグ付けすることをさらに含む請求項4記載のコンピュータにより実現される方法。
  11. リアルタイムで、捕捉され、表示される製品の画像を、関係付けられたコンテンツにより拡張するためのコンピュータにより実現される方法において、
    前記製品の少なくとも1つの画像を電子デバイスにより捕捉し、前記捕捉した画像は、前記電子デバイスによって表示されることと、
    前記製品の前記少なくとも1つの捕捉した画像に少なくとも部分的に基づいて、前記製品を表す情報を決定することと、
    前記製品を表す前記情報が、バーコードデータを含んでいるか否かを決定することと、
    前記製品を表す前記情報が、バーコードデータを含んでいない場合、前記製品を表す前記情報が、テキストを含んでいるか否かを決定することと、
    前記決定した情報を、複数の品目のそれぞれの品目を定義する記憶されている情報と一致させ、前記記憶されている情報は品目リポジトリ中に記憶されていることと、
    前記捕捉した画像中の前記製品を表す前記情報に関係付けられた複数のコーナーを検出することと、
    前記製品を表す前記情報の前記複数のコーナーに基づいて、前記捕捉した画像中の前記製品を表す前記情報に対する境界ボックスを計算することと、
    前記一致した品目に関係付けられたコンテンツを前記品目リポジトリから取り出すことと、
    前記境界ボックス内のオーバーレイ要素中でレンダリングされる前記取り出したコンテンツにより、前記捕捉した画像をオーバーレイすることと、前記取り出したコンテンツは、前記オーバーレイ要素によって拡張した前記製品を購入する指示をユーザが提供できるようにする選択可能なコンテンツを表すコンピュータにより実現される方法。
  12. 前記ユーザが、第2のオーバーレイ要素に入力し、前記第2のオーバーレイ要素内の前記製品に関する追加的なコンテンツにより前記製品をタグ付けできるようにすることをさらに含む請求項11記載のコンピュータにより実現される方法。
  13. 前記ユーザが前記オーバーレイ要素中に検索クエリを入力することに応答して、前記検索クエリに対応する検索結果を取り出すことをさらに含む請求項11記載のコンピュータにより実現される方法。
  14. 前記オーバーレイ要素はボックスを含む請求項11記載のコンピュータにより実現される方法。
  15. 捕捉され、表示されるオブジェクトの画像を、関係付けられたコンテンツにより拡張するためのコンピュータシステムにおいて、
    プロセッサと、
    コンピュータ実行可能な命令を有するメモリとを具備し、
    前記コンピュータ実行可能な命令は、前記プロセッサ上で実行されるときに、前記プロセッサに、
    電子デバイスによって捕捉されるビデオのサンプリングされたフレームを定義する情報を受け取らせ、
    前記受け取った情報に少なくとも部分的に基づいて、前記サンプリングされたフレーム中で捕捉した製品を表す情報を決定させ、
    前記製品を表す前記情報が、バーコードデータを含んでいるか否かを決定させ、
    前記製品を表す前記情報が、バーコードデータを含んでいない場合、前記製品を表す前記情報が、テキストを含んでいるか否かを決定させ、
    前記決定した情報を、複数の品目を定義する記憶されている情報と一致させて、前記捕捉した製品に一致した品目を見つけさせ、前記記憶されている情報は品目リポジトリ中に記憶されており、
    前記一致した品目に関係付けられたコンテンツを前記品目リポジトリから取り出させ、
    前記サンプリングされたフレーム中の前記製品を表す情報に関係付けられた複数のコーナーを検出させ、
    前記製品を表す前記情報の前記複数のコーナーに基づいて、前記サンプリングされたフレーム中の前記製品を表す前記情報に対する境界ボックスを計算させ、
    前記電子デバイス上に、前記製品の前記捕捉した画像とともに、表示するための前記取り出したコンテンツを提供させ、
    前記取り出したコンテンツを、前記電子デバイス上に表示される、前記境界ボックス内の前記製品の前記捕捉した画像をオーバーレイするオーバーレイ要素中でレンダリングさせ、前記取り出したコンテンツは、前記オーバーレイ要素によって拡張した前記製品を購入する指示をユーザが提供できるようにする選択可能なコンテンツを表すコンピュータシステム。
  16. 前記選択可能なコンテンツは、ボタンまたはハイパーリンクのうちの少なくとも1つを含む請求項15記載のコンピュータシステム。
  17. 前記選択可能なコンテンツは、製品価格、前記製品の説明、前記製品のカスタマー評価、前記製品のカスタマーレビュー、前記製品に関連した特価提供および販売促進、または、前記製品に関連した他の商品に関連した情報のうちの少なくとも1つを含む、前記製品に関係付けられた情報を含む請求項15記載のコンピュータシステム。
  18. 前記コンピュータ実行可能な命令はさらに、前記プロセッサに、現在の位置識別子またはタイムスタンプのうちの少なくとも1つにより、前記一致した製品をタグ付けさせる請求項15記載のコンピュータシステム。
  19. 前記コンピュータ実行可能な命令はさらに、前記プロセッサに、前記選択可能なコンテンツとの単一の対話のみを前記ユーザから受け取った際に、前記製品の購入を開始させ、前記ユーザは前記ユーザに関連するアカウント情報を以前に提示している請求項16記載のコンピュータシステム。
  20. 捕捉され、表示される製品の画像を、関係付けられたコンテンツにより拡張するためのコンピュータ実行可能な命令を有する非一時的なコンピュータ可読記憶媒体において、
    前記コンピュータ実行可能な命令は、コンピュータによって実行されるときに、前記コンピュータに、
    電子デバイスによって捕捉されるビデオのサンプリングされたフレームを定義する情報を受け取らせ、
    前記受け取った情報に少なくとも部分的に基づいて、前記サンプリングされたフレーム中で捕捉した製品を表す情報を決定させ、
    前記製品を表す前記情報が、バーコードデータを含んでいるか否かを決定させ、
    前記製品を表す前記情報が、バーコードデータを含んでいない場合、前記製品を表す前記情報が、テキストを含んでいるか否かを決定させ、
    前記決定した情報を、複数の品目を定義する記憶されている情報と一致させて、前記捕捉した製品に一致した品目を見つけさせ、前記記憶されている情報は品目リポジトリ中に記憶されており、
    前記一致した品目に関係付けられたコンテンツを前記品目リポジトリから取り出させ、
    前記サンプリングされたフレーム中の前記製品を表す情報に関係付けられた複数のコーナーを検出させ、
    前記製品を表す前記情報の前記複数のコーナーに基づいて、前記サンプリングされたフレーム中の前記製品を表す前記情報に対する境界ボックスを計算させ、
    前記電子デバイス上に、前記捕捉した画像とともに、表示するための前記取り出したコンテンツを提供させ、
    前記電子デバイス上に表示される、前記境界ボックス内の前記捕捉した画像をオーバーレイするオーバーレイ要素中で、前記電子デバイス上に存在しているオーバーレイサービスによって、前記取り出したコンテンツをレンダリングさせ、前記取り出したコンテンツは、前記オーバーレイ要素によって拡張した前記製品を購入する指示をユーザが提供できるようにする選択可能なコンテンツを表す非一時的なコンピュータ可読記憶媒体。
  21. 前記選択可能なコンテンツは、ボタンまたはハイパーリンクのうちの少なくとも1つを含む請求項20記載の非一時的なコンピュータ可読記憶媒体。
  22. 前記選択可能なコンテンツは、製品価格、前記製品の説明、前記製品のカスタマー評価、前記製品のカスタマーレビュー、前記製品に関連した特価提供および販売促進、または、前記品目に関連した商品に関連した情報のうちの少なくとも1つを含む、前記製品に関係付けられた情報を含む請求項20記載の非一時的なコンピュータ可読記憶媒体。
  23. 前記オーバーレイ要素はボックスである請求項20記載の非一時的なコンピュータ可読記憶媒体。
  24. 前記コンピュータ実行可能な命令はさらに、前記コンピュータに、前記選択可能なコンテンツとの単一の対話のみを前記ユーザから受け取ったときに、前記製品の購入を開始させ、前記ユーザは前記ユーザに関連するアカウント情報を以前に提示している請求項21記載の非一時的なコンピュータ可読記憶媒体。
  25. 現在の位置識別子またはタイムスタンプのうちの少なくとも1つにより、前記一致した品目をタグ付けし、前記タグ付けした品目をクエリして、前記品目の現在の位置を決定することをさらに含む請求項20記載の非一時的なコンピュータ可読記憶媒体。
JP2014513617A 2011-05-27 2012-05-25 ライブビューの拡張 Expired - Fee Related JP5951759B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/117,527 US9547938B2 (en) 2011-05-27 2011-05-27 Augmenting a live view
US13/117,527 2011-05-27
PCT/US2012/039521 WO2012166577A1 (en) 2011-05-27 2012-05-25 Augmenting a live view

Publications (3)

Publication Number Publication Date
JP2014524062A JP2014524062A (ja) 2014-09-18
JP2014524062A5 JP2014524062A5 (ja) 2015-10-29
JP5951759B2 true JP5951759B2 (ja) 2016-07-13

Family

ID=47218937

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014513617A Expired - Fee Related JP5951759B2 (ja) 2011-05-27 2012-05-25 ライブビューの拡張

Country Status (5)

Country Link
US (2) US9547938B2 (ja)
EP (1) EP2715521B1 (ja)
JP (1) JP5951759B2 (ja)
CN (2) CN103733177B (ja)
WO (1) WO2012166577A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9547938B2 (en) 2011-05-27 2017-01-17 A9.Com, Inc. Augmenting a live view

Families Citing this family (211)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8818916B2 (en) 2005-10-26 2014-08-26 Cortica, Ltd. System and method for linking multimedia data elements to web pages
US11032017B2 (en) 2005-10-26 2021-06-08 Cortica, Ltd. System and method for identifying the context of multimedia content elements
US10380267B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for tagging multimedia content elements
US9477658B2 (en) 2005-10-26 2016-10-25 Cortica, Ltd. Systems and method for speech to speech translation using cores of a natural liquid architecture system
US10191976B2 (en) 2005-10-26 2019-01-29 Cortica, Ltd. System and method of detecting common patterns within unstructured data elements retrieved from big data sources
US9372940B2 (en) 2005-10-26 2016-06-21 Cortica, Ltd. Apparatus and method for determining user attention using a deep-content-classification (DCC) system
US10380164B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for using on-image gestures and multimedia content elements as search queries
US11019161B2 (en) 2005-10-26 2021-05-25 Cortica, Ltd. System and method for profiling users interest based on multimedia content analysis
US11361014B2 (en) 2005-10-26 2022-06-14 Cortica Ltd. System and method for completing a user profile
US9646005B2 (en) 2005-10-26 2017-05-09 Cortica, Ltd. System and method for creating a database of multimedia content elements assigned to users
US11216498B2 (en) 2005-10-26 2022-01-04 Cortica, Ltd. System and method for generating signatures to three-dimensional multimedia data elements
US10585934B2 (en) 2005-10-26 2020-03-10 Cortica Ltd. Method and system for populating a concept database with respect to user identifiers
US10380623B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for generating an advertisement effectiveness performance score
US9953032B2 (en) 2005-10-26 2018-04-24 Cortica, Ltd. System and method for characterization of multimedia content signals using cores of a natural liquid architecture system
US10614626B2 (en) 2005-10-26 2020-04-07 Cortica Ltd. System and method for providing augmented reality challenges
US10776585B2 (en) 2005-10-26 2020-09-15 Cortica, Ltd. System and method for recognizing characters in multimedia content
US10180942B2 (en) 2005-10-26 2019-01-15 Cortica Ltd. System and method for generation of concept structures based on sub-concepts
US8326775B2 (en) 2005-10-26 2012-12-04 Cortica Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US8312031B2 (en) 2005-10-26 2012-11-13 Cortica Ltd. System and method for generation of complex signatures for multimedia data content
US9218606B2 (en) 2005-10-26 2015-12-22 Cortica, Ltd. System and method for brand monitoring and trend analysis based on deep-content-classification
US10360253B2 (en) 2005-10-26 2019-07-23 Cortica, Ltd. Systems and methods for generation of searchable structures respective of multimedia data content
US11604847B2 (en) 2005-10-26 2023-03-14 Cortica Ltd. System and method for overlaying content on a multimedia content element based on user interest
US10635640B2 (en) 2005-10-26 2020-04-28 Cortica, Ltd. System and method for enriching a concept database
US11003706B2 (en) 2005-10-26 2021-05-11 Cortica Ltd System and methods for determining access permissions on personalized clusters of multimedia content elements
US11620327B2 (en) 2005-10-26 2023-04-04 Cortica Ltd System and method for determining a contextual insight and generating an interface with recommendations based thereon
US10387914B2 (en) 2005-10-26 2019-08-20 Cortica, Ltd. Method for identification of multimedia content elements and adding advertising content respective thereof
US10193990B2 (en) 2005-10-26 2019-01-29 Cortica Ltd. System and method for creating user profiles based on multimedia content
US10698939B2 (en) 2005-10-26 2020-06-30 Cortica Ltd System and method for customizing images
US10949773B2 (en) 2005-10-26 2021-03-16 Cortica, Ltd. System and methods thereof for recommending tags for multimedia content elements based on context
US10535192B2 (en) 2005-10-26 2020-01-14 Cortica Ltd. System and method for generating a customized augmented reality environment to a user
US10742340B2 (en) 2005-10-26 2020-08-11 Cortica Ltd. System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto
US10848590B2 (en) 2005-10-26 2020-11-24 Cortica Ltd System and method for determining a contextual insight and providing recommendations based thereon
US10372746B2 (en) 2005-10-26 2019-08-06 Cortica, Ltd. System and method for searching applications using multimedia content elements
US20160321253A1 (en) 2005-10-26 2016-11-03 Cortica, Ltd. System and method for providing recommendations based on user profiles
US10691642B2 (en) 2005-10-26 2020-06-23 Cortica Ltd System and method for enriching a concept database with homogenous concepts
US11403336B2 (en) 2005-10-26 2022-08-02 Cortica Ltd. System and method for removing contextually identical multimedia content elements
US11386139B2 (en) 2005-10-26 2022-07-12 Cortica Ltd. System and method for generating analytics for entities depicted in multimedia content
US9767143B2 (en) 2005-10-26 2017-09-19 Cortica, Ltd. System and method for caching of concept structures
US10621988B2 (en) 2005-10-26 2020-04-14 Cortica Ltd System and method for speech to text translation using cores of a natural liquid architecture system
US10607355B2 (en) 2005-10-26 2020-03-31 Cortica, Ltd. Method and system for determining the dimensions of an object shown in a multimedia content item
US9384196B2 (en) 2005-10-26 2016-07-05 Cortica, Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US10733326B2 (en) 2006-10-26 2020-08-04 Cortica Ltd. System and method for identification of inappropriate multimedia content
US8908995B2 (en) 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
US8121618B2 (en) 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
US9484046B2 (en) 2010-11-04 2016-11-01 Digimarc Corporation Smartphone-based methods and systems
KR101062929B1 (ko) * 2011-01-04 2011-09-07 (주)올라웍스 생성된 이미지에 포함된 객체에 대한 콜렉션을 지원하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
US9218364B1 (en) 2011-01-28 2015-12-22 Yahoo! Inc. Monitoring an any-image labeling engine
US9406031B2 (en) 2011-03-08 2016-08-02 Bank Of America Corporation Providing social impact information associated with identified products or businesses
US9317860B2 (en) 2011-03-08 2016-04-19 Bank Of America Corporation Collective network of augmented reality users
US9224166B2 (en) 2011-03-08 2015-12-29 Bank Of America Corporation Retrieving product information from embedded sensors via mobile device video analysis
US9317835B2 (en) 2011-03-08 2016-04-19 Bank Of America Corporation Populating budgets and/or wish lists using real-time video image analysis
US9773285B2 (en) 2011-03-08 2017-09-26 Bank Of America Corporation Providing data associated with relationships between individuals and images
US20120233033A1 (en) * 2011-03-08 2012-09-13 Bank Of America Corporation Assessing environmental characteristics in a video stream captured by a mobile device
US10796494B2 (en) * 2011-06-06 2020-10-06 Microsoft Technology Licensing, Llc Adding attributes to virtual representations of real-world objects
US8498404B2 (en) * 2011-06-20 2013-07-30 Avaya Inc. Methods and systems for monitoring contact center operations
US20150040074A1 (en) * 2011-08-18 2015-02-05 Layar B.V. Methods and systems for enabling creation of augmented reality content
US8963956B2 (en) * 2011-08-19 2015-02-24 Microsoft Technology Licensing, Llc Location based skins for mixed reality displays
US9639857B2 (en) * 2011-09-30 2017-05-02 Nokia Technologies Oy Method and apparatus for associating commenting information with one or more objects
US9418292B2 (en) * 2011-10-04 2016-08-16 Here Global B.V. Methods, apparatuses, and computer program products for restricting overlay of an augmentation
US9255813B2 (en) 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
US9536251B2 (en) * 2011-11-15 2017-01-03 Excalibur Ip, Llc Providing advertisements in an augmented reality environment
WO2013117977A2 (en) * 2012-02-06 2013-08-15 Sony Computer Entertainment Europe Book object for augmented reality
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US9007368B2 (en) 2012-05-07 2015-04-14 Intermec Ip Corp. Dimensioning system calibration systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US8988556B1 (en) * 2012-06-15 2015-03-24 Amazon Technologies, Inc. Orientation-assisted object recognition
US9141192B2 (en) * 2012-06-26 2015-09-22 Kallidus, Inc. Interactive digital catalogs for touch-screen devices
US20140002643A1 (en) * 2012-06-27 2014-01-02 International Business Machines Corporation Presentation of augmented reality images on mobile computing devices
US20140002581A1 (en) * 2012-06-29 2014-01-02 Monkeymedia, Inc. Portable proprioceptive peripatetic polylinear video player
US20140032359A1 (en) * 2012-07-30 2014-01-30 Infosys Limited System and method for providing intelligent recommendations
JP2014035656A (ja) * 2012-08-09 2014-02-24 Sony Corp 画像処理装置、画像処理方法、およびプログラム
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US9841311B2 (en) 2012-10-16 2017-12-12 Hand Held Products, Inc. Dimensioning system
US9224105B2 (en) * 2012-10-21 2015-12-29 Concept.Io, Inc. Method and system of automatically downloading media content in a preferred network
US9064168B2 (en) 2012-12-14 2015-06-23 Hand Held Products, Inc. Selective output of decoded message data
US9728008B2 (en) * 2012-12-10 2017-08-08 Nant Holdings Ip, Llc Interaction analysis systems and methods
US20140214541A1 (en) * 2013-01-30 2014-07-31 Kiosked Oy Method and system for user-controlled rendering of mobile advertisements
US9633272B2 (en) * 2013-02-15 2017-04-25 Yahoo! Inc. Real time object scanning using a mobile phone and cloud-based visual search engine
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
US20140314327A1 (en) * 2013-03-13 2014-10-23 Build-A-Bear Workshop, Inc. Systems and Methods for Computer Recognition of Plush Toys
US9262865B2 (en) * 2013-03-15 2016-02-16 Daqri, Llc Content creation tool
US9070217B2 (en) 2013-03-15 2015-06-30 Daqri, Llc Contextual local image recognition dataset
US10223755B2 (en) * 2013-04-12 2019-03-05 At&T Intellectual Property I, L.P. Augmented reality retail system
US20150019341A1 (en) * 2013-04-29 2015-01-15 Kiosked Oy Ab System and method for displaying information on mobile devices
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US9239950B2 (en) 2013-07-01 2016-01-19 Hand Held Products, Inc. Dimensioning system
US11042607B2 (en) 2013-08-23 2021-06-22 Nant Holdings Ip, Llc Recognition-based content management, systems and methods
US9464885B2 (en) 2013-08-30 2016-10-11 Hand Held Products, Inc. System and method for package dimensioning
US9292764B2 (en) 2013-09-17 2016-03-22 Qualcomm Incorporated Method and apparatus for selectively providing information on objects in a captured image
US9245192B2 (en) * 2013-09-20 2016-01-26 Here Global B.V. Ad collateral detection
US9495699B2 (en) * 2013-10-11 2016-11-15 Mastercard International Incorporated Method and system for purchasing of goods and services via image recognition
US9354778B2 (en) 2013-12-06 2016-05-31 Digimarc Corporation Smartphone-based methods and systems
JP6264014B2 (ja) * 2013-12-17 2018-01-24 セイコーエプソン株式会社 頭部装着型表示装置
JP6331374B2 (ja) * 2013-12-17 2018-05-30 セイコーエプソン株式会社 頭部装着型表示装置
JP2017509193A (ja) * 2014-01-07 2017-03-30 アルカテル−ルーセント デジタルビデオシーケンス内の対象に関する情報の提供
US9311639B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods, apparatus and arrangements for device to device communication
US9460366B2 (en) * 2014-02-19 2016-10-04 Nant Holdings Ip, Llc Invariant-based dimensional reduction of object recognition features, systems and methods
GB2525034A (en) * 2014-04-11 2015-10-14 David Michael Fenlon System for trading
EP3138284A4 (en) * 2014-04-30 2017-11-29 Aurasma Limited Augmented reality without a physical trigger
US9361732B2 (en) * 2014-05-01 2016-06-07 Microsoft Technology Licensing, Llc Transitions between body-locked and world-locked augmented reality
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
EP3201857A1 (en) * 2014-09-29 2017-08-09 Aurasma Limited Augmented reality consumption data analysis
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US9557166B2 (en) 2014-10-21 2017-01-31 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US9569692B2 (en) * 2014-10-31 2017-02-14 The Nielsen Company (Us), Llc Context-based image recognition for consumer market research
WO2016098091A1 (en) * 2014-12-15 2016-06-23 Pt. Wir Asia Network integrated interactive display system with augmented reality
US20160189268A1 (en) * 2014-12-31 2016-06-30 Saumil Ashvin Gandhi Wearable device for interacting with media-integrated vendors
US20160343054A1 (en) * 2015-05-18 2016-11-24 Status Quo Innovation, Llc Image acquisition and feature extraction apparatus, method of feature extraction and feature identification, and method for creating and providing advertisement content
US10015364B2 (en) * 2015-05-11 2018-07-03 Pictureworks Pte Ltd System and method for previewing digital content
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3118576B1 (en) 2015-07-15 2018-09-12 Hand Held Products, Inc. Mobile dimensioning device with dynamic accuracy compatible with nist standard
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
RU2597462C1 (ru) * 2015-07-17 2016-09-10 Виталий Витальевич Аверьянов Способ отображения объекта на пространственной модели
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US9928658B2 (en) * 2015-11-02 2018-03-27 International Business Machines Corporation Overlay for camera field of vision
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US11195043B2 (en) 2015-12-15 2021-12-07 Cortica, Ltd. System and method for determining common patterns in multimedia content elements based on key points
WO2017105641A1 (en) 2015-12-15 2017-06-22 Cortica, Ltd. Identification of key points in multimedia data elements
US9904990B2 (en) * 2015-12-18 2018-02-27 Ricoh Co., Ltd. Single image rectification
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US10366144B2 (en) 2016-04-01 2019-07-30 Ebay Inc. Analyzing and linking a set of images by identifying objects in each image to determine a primary image and a secondary image
US10417695B1 (en) * 2016-04-15 2019-09-17 Amazon Technologies, Inc. Method and system for displaying items provided by a merchant
WO2017205354A1 (en) * 2016-05-23 2017-11-30 Mouse Prints Press Bv Augmented content system and method
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
US10943398B2 (en) * 2016-07-15 2021-03-09 Samsung Electronics Co., Ltd. Augmented reality device and operation thereof
WO2018031050A1 (en) * 2016-08-09 2018-02-15 Cortica, Ltd. System and method for generating a customized augmented reality environment to a user
US10460171B2 (en) * 2016-08-31 2019-10-29 Facebook, Inc. Systems and methods for processing media content that depict objects
US10692290B2 (en) 2016-10-14 2020-06-23 Tremolant Inc. Augmented reality video communications
US10628869B2 (en) * 2016-10-17 2020-04-21 Jamie Daniel Braxton System and method for real-time video processing to find and display related social content, related videos, and related images
US10424121B1 (en) 2016-11-06 2019-09-24 Oded Melinek Generated offering exposure
GB2555841A (en) * 2016-11-11 2018-05-16 Sony Corp An apparatus, computer program and method
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
CN118781305A (zh) * 2017-03-17 2024-10-15 麦克赛尔株式会社 Ar显示装置和ar显示方法
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US11164222B2 (en) * 2017-03-30 2021-11-02 Optim Corporation Electronic book display system, electronic book display method, and program
US10380721B2 (en) * 2017-04-27 2019-08-13 Adobe Inc. Adjusting blurry vector-based lines during movement
US10782822B2 (en) * 2017-06-08 2020-09-22 Walmart Apollo, Llc Augmented touch-sensitive display system
WO2019008581A1 (en) 2017-07-05 2019-01-10 Cortica Ltd. DETERMINATION OF DRIVING POLICIES
EP3425483B1 (en) * 2017-07-07 2024-01-10 Accenture Global Solutions Limited Intelligent object recognizer
WO2019012527A1 (en) 2017-07-09 2019-01-17 Cortica Ltd. ORGANIZATION OF DEPTH LEARNING NETWORKS
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
US10810429B1 (en) * 2017-08-31 2020-10-20 United Services Automobile Association (Usaa) Systems and methods for providing financial information via augmented reality
CN109582122B (zh) * 2017-09-29 2022-05-03 阿里巴巴集团控股有限公司 增强现实信息提供方法、装置及电子设备
US11436585B2 (en) * 2017-12-19 2022-09-06 American Express Travel Related Services Company, Inc. Virtual point of sale
CN108363489A (zh) * 2018-02-13 2018-08-03 五车科技(北京)有限公司 基于纸质图书封面的数据交互处理方法及装置
US10558857B2 (en) * 2018-03-05 2020-02-11 A9.Com, Inc. Visual feedback of process state
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
CN108952673B (zh) * 2018-06-22 2023-09-26 中国石油天然气股份有限公司 抽油机井工况检查方法及装置
US11023944B2 (en) * 2018-07-10 2021-06-01 Target Brands, Inc. Mobile device for retrieving product information associated with scanned barcode data when the mobile device is connected to a network
US10846544B2 (en) 2018-07-16 2020-11-24 Cartica Ai Ltd. Transportation prediction system and method
CN109344923A (zh) * 2018-08-27 2019-02-15 百度在线网络技术(北京)有限公司 关联物体的显示方法、装置及电子设备
US20200082576A1 (en) * 2018-09-11 2020-03-12 Apple Inc. Method, Device, and System for Delivering Recommendations
US10573019B1 (en) 2018-09-25 2020-02-25 Ebay Inc. Augmented reality digital content search and sizing techniques
US10482675B1 (en) 2018-09-28 2019-11-19 The Toronto-Dominion Bank System and method for presenting placards in augmented reality
US20200133308A1 (en) 2018-10-18 2020-04-30 Cartica Ai Ltd Vehicle to vehicle (v2v) communication less truck platooning
US10839694B2 (en) 2018-10-18 2020-11-17 Cartica Ai Ltd Blind spot alert
US11181911B2 (en) 2018-10-18 2021-11-23 Cartica Ai Ltd Control transfer of a vehicle
US11126870B2 (en) 2018-10-18 2021-09-21 Cartica Ai Ltd. Method and system for obstacle detection
WO2020086323A1 (en) * 2018-10-23 2020-04-30 Nichols Steven R Ar system for enhanced book covers and related methods
US10748038B1 (en) 2019-03-31 2020-08-18 Cortica Ltd. Efficient calculation of a robust signature of a media unit
US11270132B2 (en) 2018-10-26 2022-03-08 Cartica Ai Ltd Vehicle to vehicle communication and signatures
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
US10789535B2 (en) 2018-11-26 2020-09-29 Cartica Ai Ltd Detection of road elements
US11643005B2 (en) 2019-02-27 2023-05-09 Autobrains Technologies Ltd Adjusting adjustable headlights of a vehicle
US11285963B2 (en) 2019-03-10 2022-03-29 Cartica Ai Ltd. Driver-based prediction of dangerous events
US11694088B2 (en) 2019-03-13 2023-07-04 Cortica Ltd. Method for object detection using knowledge distillation
US11132548B2 (en) 2019-03-20 2021-09-28 Cortica Ltd. Determining object information that does not explicitly appear in a media unit signature
US12055408B2 (en) 2019-03-28 2024-08-06 Autobrains Technologies Ltd Estimating a movement of a hybrid-behavior vehicle
US20200310601A1 (en) * 2019-03-29 2020-10-01 Snap Inc. Dynamic media selection menu
US10776669B1 (en) 2019-03-31 2020-09-15 Cortica Ltd. Signature generation and object detection that refer to rare scenes
US10789527B1 (en) 2019-03-31 2020-09-29 Cortica Ltd. Method for object detection using shallow neural networks
US11222069B2 (en) 2019-03-31 2022-01-11 Cortica Ltd. Low-power calculation of a signature of a media unit
US10796444B1 (en) 2019-03-31 2020-10-06 Cortica Ltd Configuring spanning elements of a signature generator
US11270367B2 (en) * 2019-04-19 2022-03-08 Apple Inc. Product comparison techniques using augmented reality
US20200349188A1 (en) * 2019-05-02 2020-11-05 Oath Inc. Tagging an object within an image and/or a video
US11244319B2 (en) 2019-05-31 2022-02-08 The Toronto-Dominion Bank Simulator for value instrument negotiation training
US11189103B2 (en) * 2019-08-01 2021-11-30 Apple Inc. Visual search refinement for computer generated rendering environments
US11042259B2 (en) * 2019-08-18 2021-06-22 International Business Machines Corporation Visual hierarchy design governed user interface modification via augmented reality
US10997418B2 (en) * 2019-09-09 2021-05-04 Ar, Llc Augmented, virtual and mixed-reality content selection and display
US11961294B2 (en) * 2019-09-09 2024-04-16 Techinvest Company Limited Augmented, virtual and mixed-reality content selection and display
US10699124B1 (en) 2019-09-09 2020-06-30 Ar, Llc Augmented reality content selection and display based on printed objects having security features
JP2022548880A (ja) * 2019-09-12 2022-11-22 フアン, ガブリエル ラミレス ユーザー体験を向上させるための対話型マルチメディア管理システム及びその方法
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
US10748022B1 (en) 2019-12-12 2020-08-18 Cartica Ai Ltd Crowd separation
US11593662B2 (en) 2019-12-12 2023-02-28 Autobrains Technologies Ltd Unsupervised cluster generation
US11734767B1 (en) 2020-02-28 2023-08-22 State Farm Mutual Automobile Insurance Company Systems and methods for light detection and ranging (lidar) based generation of a homeowners insurance quote
US11590988B2 (en) 2020-03-19 2023-02-28 Autobrains Technologies Ltd Predictive turning assistant
US11827215B2 (en) 2020-03-31 2023-11-28 AutoBrains Technologies Ltd. Method for training a driving related object detector
CN111246118B (zh) * 2020-04-27 2020-08-21 成都派沃特科技股份有限公司 Ar元素的显示方法、装置、设备及存储介质
US11663550B1 (en) 2020-04-27 2023-05-30 State Farm Mutual Automobile Insurance Company Systems and methods for commercial inventory mapping including determining if goods are still available
US11756424B2 (en) 2020-07-24 2023-09-12 AutoBrains Technologies Ltd. Parking assist
US12049116B2 (en) 2020-09-30 2024-07-30 Autobrains Technologies Ltd Configuring an active suspension
US11533467B2 (en) * 2021-05-04 2022-12-20 Dapper Labs, Inc. System and method for creating, managing, and displaying 3D digital collectibles with overlay display elements and surrounding structure display elements
US12110075B2 (en) 2021-08-05 2024-10-08 AutoBrains Technologies Ltd. Providing a prediction of a radius of a motorcycle turn
CN113658297A (zh) * 2021-08-17 2021-11-16 百度在线网络技术(北京)有限公司 信息展现方法、装置、设备、存储介质以及程序产品
US12101529B1 (en) * 2021-09-17 2024-09-24 Amazon Technologies, Inc. Client side augmented reality overlay

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08190640A (ja) * 1995-01-12 1996-07-23 Hitachi Ltd 情報表示方法および情報提供システム
US5960411A (en) * 1997-09-12 1999-09-28 Amazon.Com, Inc. Method and system for placing a purchase order via a communications network
GB9930850D0 (en) * 1999-12-24 2000-02-16 Koninkl Philips Electronics Nv 3D environment labelling
JP3946676B2 (ja) * 2003-08-28 2007-07-18 株式会社東芝 撮影画像処理装置及びその方法
US7734729B2 (en) * 2003-12-31 2010-06-08 Amazon Technologies, Inc. System and method for obtaining information relating to an item of commerce using a portable imaging device
JP4413633B2 (ja) * 2004-01-29 2010-02-10 株式会社ゼータ・ブリッジ 情報検索システム、情報検索方法、情報検索装置、情報検索プログラム、画像認識装置、画像認識方法および画像認識プログラム、ならびに、販売システム
US7751805B2 (en) 2004-02-20 2010-07-06 Google Inc. Mobile image-based information retrieval system
US20050289590A1 (en) 2004-05-28 2005-12-29 Cheok Adrian D Marketing platform
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
US20080300780A1 (en) * 2005-02-07 2008-12-04 Dmitry Domnin Method for automating task with portable device
EP2764899A3 (en) 2005-08-29 2014-12-10 Nant Holdings IP, LLC Interactivity via mobile image recognition
US20080071559A1 (en) 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
US7995861B2 (en) * 2006-12-13 2011-08-09 Adobe Systems Incorporated Selecting a reference image for images to be joined
JP2008190640A (ja) 2007-02-06 2008-08-21 Soki Hs Kk 多段式調節装置
US8644842B2 (en) 2007-09-04 2014-02-04 Nokia Corporation Personal augmented reality advertising
CN101458814B (zh) * 2007-12-13 2012-02-01 东软集团股份有限公司 一种用于从图像中分割对象感兴趣区域的方法和装置
US20110131106A1 (en) * 2009-12-02 2011-06-02 George Eberstadt Using social network and transaction information
US8711176B2 (en) * 2008-05-22 2014-04-29 Yahoo! Inc. Virtual billboards
US20100084470A1 (en) * 2008-10-03 2010-04-08 Microsoft Corporation Two-dimensional barcode localization for camera based devices
US20100107187A1 (en) * 2008-10-24 2010-04-29 At&T Intellectual Property I, L.P. System and Method of Displaying Advertising Content
US9480919B2 (en) * 2008-10-24 2016-11-01 Excalibur Ip, Llc Reconfiguring reality using a reality overlay device
WO2010141939A1 (en) 2009-06-05 2010-12-09 Mozaik Multimedia, Inc. Ecosystem for smart content tagging and interaction
US9087059B2 (en) 2009-08-07 2015-07-21 Google Inc. User interface for presenting search results for multiple regions of a visual query
US8645220B2 (en) 2009-08-28 2014-02-04 Homer Tlc, Inc. Method and system for creating an augmented reality experience in connection with a stored value token
US8370358B2 (en) * 2009-09-18 2013-02-05 Microsoft Corporation Tagging content with metadata pre-filtered by context
US9547938B2 (en) 2011-05-27 2017-01-17 A9.Com, Inc. Augmenting a live view

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9547938B2 (en) 2011-05-27 2017-01-17 A9.Com, Inc. Augmenting a live view
US9911239B2 (en) 2011-05-27 2018-03-06 A9.Com, Inc. Augmenting a live view

Also Published As

Publication number Publication date
CN103733177B (zh) 2017-03-15
CN103733177A (zh) 2014-04-16
EP2715521A4 (en) 2014-11-12
EP2715521B1 (en) 2019-07-10
WO2012166577A1 (en) 2012-12-06
US20170116786A1 (en) 2017-04-27
US9911239B2 (en) 2018-03-06
US20120299961A1 (en) 2012-11-29
US9547938B2 (en) 2017-01-17
EP2715521A1 (en) 2014-04-09
JP2014524062A (ja) 2014-09-18
CN107122380A (zh) 2017-09-01

Similar Documents

Publication Publication Date Title
JP5951759B2 (ja) ライブビューの拡張
JP2014524062A5 (ja)
US11227326B2 (en) Augmented reality recommendations
JP6803427B2 (ja) コンテンツトランザクションアイテムの動的バインド
US9842172B2 (en) Method, client device and server of accessing network information through graphic code
CN103369049B (zh) 移动终端和服务器交互方法及其系统
US20140316894A1 (en) System and method for interfacing interactive systems with social networks and media playback devices
US20140111542A1 (en) Platform for recognising text using mobile devices with a built-in device video camera and automatically retrieving associated content based on the recognised text
US20140079281A1 (en) Augmented reality creation and consumption
US9411839B2 (en) Index configuration for searchable data in network
KR20140024483A (ko) 맥락적 환경에 아이템 이미지를 디스플레이하는 증강 현실 시스템, 방법 및 장치
US9600720B1 (en) Using available data to assist in object recognition
US20140078174A1 (en) Augmented reality creation and consumption
US10424009B1 (en) Shopping experience using multiple computing devices
US10282904B1 (en) Providing augmented reality view of objects
US10600060B1 (en) Predictive analytics from visual data
US10733637B1 (en) Dynamic placement of advertisements for presentation in an electronic device
US9870347B1 (en) Network site conversion with respect to a development toolkit
AU2012205152B2 (en) A platform for recognising text using mobile devices with a built-in device video camera and automatically retrieving associated content based on the recognised text

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150303

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150603

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20150902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160608

R150 Certificate of patent or registration of utility model

Ref document number: 5951759

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees