JP7282107B2 - 視覚コンテンツを拡張するための方法およびシステム - Google Patents

Description

本開示は、視覚コンテンツを拡張することに関し、より具体的には、リアルタイムで、または後処理で、ユーザディスプレイデバイス上にスポンサードされる拡張現実オブジェクトを表示のために生成するための方法およびシステムに関する。

拡張現実（ＡＲ）は、ユーザが、実世界の画像またはビュー上に重畳された補足コンテンツを視認することを可能にする。例えば、ユーザが、ＡＲディスプレイ（スマートフォン等）上で実世界の画像を視認する実施形態では、補足コンテンツは、実世界画像の一部であるように見えるように、実世界画像の上にオーバーレイされる。他の実施形態では、ユーザが、ＡＲディスプレイ（ＡＲグラス）を通して実世界を視認する場合、補足コンテンツは、ユーザがそうでなければ実世界の一部を見るであろうＡＲディスプレイの一部に表示される。そのような補足コンテンツは、ユーザ体験を向上させ、ユーザが、実世界画像と相互作用する、および／または実世界画像をその好みにカスタマイズすることを可能にする。例えば、ユーザは、その上に重畳される、および／またはその中に統合されるユーザ選択補足コンテンツを伴う実世界の画像を視認および／または捕捉することができる。

これは、アプリケーション開発者が、ＡＲディスプレイのユーザに製品を宣伝することを所望するマーケターから収益を生む機会をもたらす。例えば、アプリケーション開発者がユーザに無料で使用できるアプリケーションを提供する一般的な方法は、アプリケーションを「広告支援」にすることにより、開発者が、ユーザがアプリケーションを使用するために料金を支払う必要性の代わりに、アプリケーション内に設置された広告によって収入を生むことを意味する。しかしながら、ユーザは、多くの場合、アプリケーション内に現れる迷惑なまたは押し付けがましい広告を好まない。従来のバナー広告またはポップアップ広告は、押し付けがましい広告によって不明瞭にされている実世界の画像を視認することを所望するＡＲディスプレイのユーザにとって特に煩わしくあり得る。したがって、ＡＲディスプレイのユーザにとって押し付けがましくなく、したがって、好ましい、ＡＲディスプレイ上に表示される画像の中に広告または他の収益を生むコンテンツを挿入する方法の必要性が、存在する。

故に、そのような問題を克服するために、方法およびシステムが、押しつけがましくなく、かつユーザに具体的に調整されることの両方である宣伝コンテンツを用いて視覚コンテンツを拡張するために本明細書に開示される。特に、本明細書に説明される実施形態は、視覚コンテンツを拡張するとき、ユーザによって選択された一般的なオブジェクトの代わりにスポンサードされるオブジェクトを用いるステップを提供する。スポンサードされるオブジェクトは、マーケターによって宣伝される製品を正確に表すようにブランディングおよび／または設計され、それによって、マーケターが、広告をユーザによって要求されるＡＲコンテンツの中に挿入することを可能にし得、スポンサードされるオブジェクトが、ユーザによって選択された一般的なオブジェクトの代わりに用いられるため、広告は、押しつけがましくなく（これは、結局のところ、ユーザによって要求されるオブジェクトである）、かつユーザが特定のオブジェクトがＡＲコンテンツ内に設置されることを要求したため、ユーザに具体的に調整されることの両方である。

一例証的実施形態では、実世界画像が、スマートフォン等のＡＲデバイス上に表示される。実世界画像は、人物を含み得る。ＡＲデバイスは、実世界画像を拡張するためのオブジェクトの選択を受信する。例えば、ＡＲデバイスは、実世界画像が拡張され得るオブジェクトのリストを表示し、ユーザは、リストから一般的なアビエータ眼鏡を選択し、人物の画像に追加し得る。オブジェクト（例えば、一般的なアビエータ眼鏡）の選択を受信することに応じて、ＡＲデバイスは、選択されたオブジェクトの性質に合致するスポンサードされるオブジェクトに関してスポンサードされるオブジェクトのデータベースにクエリを行う。例えば、マーケターが、特定のブランドのアビエータ眼鏡を宣伝している場合があり、ＡＲデバイスが、アビエータ眼鏡に関してスポンサードされるオブジェクトのデータベースにクエリを行うと、データベースは、スポンサードされるアビエータ眼鏡を返す。ＡＲデバイスは、次いで、ユーザによって選択された一般的なアビエータ眼鏡の代わりに、スポンサードされるアビエータ眼鏡を用いて実世界画像を拡張する。例えば、ＡＲデバイスは、人物の画像上にオーバーレイされるスポンサードされるアビエータ眼鏡を表示する。ＡＲデバイスはさらに、拡張された実世界画像を記憶してもよい。これは、マーケターが、ユーザによって提供された選択に基づいて、かつユーザに押しつけがましくない方法で生成された拡張されたコンテンツの中に広告（例えば、スポンサードされるアビエータ眼鏡）を挿入することを可能にする。

別の例証的実施形態では、実世界環境が、ＡＲグラス等のＡＲデバイスを通して視認される。実世界環境は、車道を伴う家屋を含み得る。ＡＲデバイスは、ユーザから音声コマンドを受信し、家屋の車道におけるスポーツカーを示す。マーケターが、特定のスポーツカーを宣伝している場合があり、選択を受信することに応じて、ＡＲデバイスは、スポーツカーに関してスポンサードされるオブジェクトのデータベースにクエリを行う。データベースは、次いで、スポンサードされるスポーツカーを返し、その後、ＡＲデバイスは、一般的なスポーツカーの代わりにスポンサードされるスポーツカーを用い、ユーザが、ＡＲグラスを通して実世界環境を視認するとき、スポンサードされるスポーツカーが、家屋の車道に現れ得るように、スポンサードされるスポーツカーの表示を生成する。

本開示はさらに、オブジェクトが拡張されたコンテンツ内に設置されるべきである標的位置を規定する入力を受信するための方法およびシステムを説明する。例えば、ユーザは、アビエータ眼鏡が画像内の人物の顔上に設置されるべきである、またはスポーツカーが家屋の車道に設置されるべきであると規定してもよい。他の実施形態では、本方法およびシステムは、拡張されたコンテンツ内のオブジェクトを設置するべき場所を自動的に決定してもよい。例えば、ＡＲデバイスは、画像内の人物の顔を識別し、データベースからアビエータ眼鏡のテンプレートを読み出し、画像内の人物の顔のサイズに対してあるサイズを伴い、画像内の適切な位置における（例えば、画像内の人物の眼にわたる、および／またはその鼻の上に静置する）アビエータ眼鏡の表示を生成してもよい。いくつかの実施形態では、画像内のオブジェクトを設置するべき適切な位置は、１つ以上のアンカ点に基づいて決定されてもよい。例えば、画像内の人物の鼻および／または眼は、アビエータ眼鏡に関するアンカ点としての役割を果たしてもよく、アビエータ眼鏡の配置および／またはサイジングを誘導するように、アビエータ眼鏡のテンプレート内に含まれる対応するアンカ点と相関されてもよい。なおもさらなる実施形態では、本方法およびシステムは、実世界画像を照明する光源の位置を決定する。例えば、ＡＲデバイスは、実世界環境内で太陽が家屋を照らしている方向を決定する。ＡＲデバイスは、次いで、スポーツカーによって生成された影が、実世界環境に関して適切であるように、太陽が家屋を照らしている方向に基づいて、スポーツカーの視覚特性（例えば、影）を調節する。
本発明は、例えば、以下を提供する。
（項目１）
視覚コンテンツを拡張するための方法であって、前記方法は、
視覚コンテンツを拡張するためのオブジェクトを選択する入力を受信することと、
前記選択されたオブジェクトの性質が、スポンサードされるオブジェクトのデータベース内に含まれるスポンサードされるオブジェクトの性質に合致するかどうかを決定することと、
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトの性質に合致すると決定することに応答して、前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することと
を含む、方法。
（項目２）
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトのデータベース内に含まれる前記スポンサードされるオブジェクトの性質に合致しないと決定することに応答して、前記選択されたオブジェクトを用いて前記視覚コンテンツを拡張することをさらに含む、項目１に記載の方法。
（項目３）
前記入力は、第１の入力であり、前記方法はさらに、
少なくとも１つのレンズを介して、前記視覚コンテンツを捕捉することであって、前記視覚コンテンツは、実世界ビューを含む、ことと、
前記選択されたオブジェクトに関する標的位置を示す第２の入力を受信することと
を含み、
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、前記標的位置に対応する前記実世界ビュー内の位置において前記スポンサードされるオブジェクトを表示のために生成することを含む、項目１に記載の方法。
（項目４）
前記入力は、第１の入力であり、前記方法はさらに、
少なくとも１つのレンズを介して、前記視覚コンテンツを捕捉することであって、前記視覚コンテンツは、実世界ビューを含む、ことと、
前記選択されたオブジェクトに関する標的位置を示す第２の入力を受信することと
を含み、
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、拡張された視覚コンテンツを表示のために生成することを含み、前記スポンサードされるオブジェクトは、前記標的位置に対応する前記実世界ビュー内の位置において前記実世界ビュー上にオーバーレイされる、項目１に記載の方法。
（項目５）
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトのデータベース内に含まれる前記スポンサードされるオブジェクトの性質に合致するかどうかを決定することは、
前記選択されたオブジェクトの性質を識別することと、
前記選択されたオブジェクトの性質に合致する前記スポンサードされるオブジェクトに関して前記スポンサードされるオブジェクトのデータベースにクエリを行うことと
を含む、項目１に記載の方法。
（項目６）
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、
前記スポンサードされるオブジェクトのデータベースから、前記スポンサードされるオブジェクトのテンプレートを読み出すことと、
前記スポンサードされるオブジェクトのテンプレートに基づいて、前記スポンサードされるオブジェクトのインスタンスを生成することと、
前記スポンサードされるオブジェクトのインスタンスを表示のために生成することと
を含む、項目１に記載の方法。
（項目７）
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、
前記視覚コンテンツ内の対象オブジェクトを識別することと、
前記視覚コンテンツ内の前記対象オブジェクト上のアンカ点を識別することと、
前記アンカ点に基づいて、前記スポンサードされるオブジェクトを表示のために生成することと
を含む、項目１に記載の方法。
（項目８）
前記アンカ点に基づいて、前記スポンサードされるオブジェクトを表示のために生成することは、
前記対象オブジェクト上の前記アンカ点を前記スポンサードされるオブジェクト上のアンカ点と相関させることと、
前記スポンサードされるオブジェクト上の前記アンカ点が、前記対象オブジェクト上の前記アンカ点と重複するように、前記スポンサードされるオブジェクトを表示のために生成することと
を含む、項目７に記載の方法。
（項目９）
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、
前記視覚コンテンツ内の対象オブジェクトを識別することと、
前記対象オブジェクトの特徴を識別することと、
前記対象オブジェクトの特徴に基づいて、前記スポンサードされるオブジェクトのサイズを決定することと、
前記決定されたサイズに従って、前記スポンサードされるオブジェクトを表示のために生成することと
を含む、項目１に記載の方法。
（項目１０）
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、
前記視覚コンテンツを照明する光源の位置を決定することと、
前記スポンサードされるオブジェクトのインスタンスを生成することと、
前記視覚コンテンツを照明する前記光源の決定された位置に基づいて、前記スポンサードされるオブジェクトの視覚特性を調節することによって、前記スポンサードされるオブジェクトのインスタンスを修正することと、
前記スポンサードされるオブジェクトの修正されたインスタンスを表示のために生成することと
を含む、項目１に記載の方法。
（項目１１）
視覚コンテンツを拡張するためのシステムであって、前記システムは、
制御回路であって、
視覚コンテンツを拡張するためのオブジェクトを選択する入力を受信することと、
前記選択されたオブジェクトの性質が、スポンサードされるオブジェクトのデータベース内に含まれるスポンサードされるオブジェクトの性質に合致するかどうかを決定することと、
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトの性質に合致すると決定することに応答して、前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することと
を行うように構成される、制御回路
を備える、システム。
（項目１２）
前記制御回路はさらに、前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトのデータベース内に含まれる前記スポンサードされるオブジェクトの性質に合致しないと決定することに応答して、前記選択されたオブジェクトを用いて前記視覚コンテンツを拡張するように構成される、項目１１に記載のシステム。
（項目１３）
前記入力は、第１の入力であり、制御回路はさらに、
少なくとも１つのレンズを介して、前記視覚コンテンツを捕捉することであって、前記視覚コンテンツは、実世界ビューを含む、ことと、
前記選択されたオブジェクトに関する標的位置を示す第２の入力を受信することと、
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するとき、前記標的位置に対応する前記実世界ビュー内の位置において前記スポンサードされるオブジェクトを表示のために生成することと
を行うように構成される、項目１１に記載のシステム。
（項目１４）
前記入力は、第１の入力であり、制御回路はさらに、
少なくとも１つのレンズを介して、前記視覚コンテンツを捕捉することであって、前記視覚コンテンツは、実世界ビューを含む、ことと、
前記選択されたオブジェクトに関する標的位置を示す第２の入力を受信することと、
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するとき、拡張された視覚コンテンツを表示のために生成することであって、前記スポンサードされるオブジェクトは、前記標的位置に対応する前記実世界ビュー内の位置において前記実世界ビュー上にオーバーレイされる、ことと
を行うように構成される、項目１１に記載のシステム。
（項目１５）
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトのデータベース内に含まれる前記スポンサードされるオブジェクトの性質に合致するかどうかを決定するとき、制御回路はさらに、
前記選択されたオブジェクトの性質を識別することと、
前記選択されたオブジェクトの性質に合致する前記スポンサードされるオブジェクトに関して前記スポンサードされるオブジェクトのデータベースにクエリを行うことと
を行うように構成される、項目１１に記載のシステム。
（項目１６）
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するとき、制御回路はさらに、
前記スポンサードされるオブジェクトのデータベースから、前記スポンサードされるオブジェクトのテンプレートを読み出すことと、
前記スポンサードされるオブジェクトのテンプレートに基づいて、前記スポンサードされるオブジェクトのインスタンスを生成することと、
前記スポンサードされるオブジェクトのインスタンスを表示のために生成することと
を行うように構成される、項目１１に記載のシステム。
（項目１７）
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するとき、制御回路はさらに、
前記視覚コンテンツ内の対象オブジェクトを識別することと、
前記視覚コンテンツ内の前記対象オブジェクト上のアンカ点を識別することと、
前記アンカ点に基づいて、前記スポンサードされるオブジェクトを表示のために生成することと
を行うように構成される、項目１１に記載のシステム。
（項目１８）
前記アンカ点に基づいて、前記スポンサードされるオブジェクトを表示のために生成するとき、制御回路はさらに、
前記対象オブジェクト上の前記アンカ点を前記スポンサードされるオブジェクト上のアンカ点と相関させることと、
前記スポンサードされるオブジェクト上の前記アンカ点が、前記対象オブジェクト上の前記アンカ点と重複するように、前記スポンサードされるオブジェクトを表示のために生成することと
を行うように構成される、項目１７に記載のシステム。
（項目１９）
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するとき、制御回路はさらに、
前記視覚コンテンツ内の対象オブジェクトを識別することと、
前記対象オブジェクトの特徴を識別することと、
前記対象オブジェクトの特徴に基づいて、前記スポンサードされるオブジェクトのサイズを決定することと、
前記決定されたサイズに従って、前記スポンサードされるオブジェクトを表示のために生成することと
を行うように構成される、項目１１に記載のシステム。
（項目２０）
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するとき、制御回路はさらに、
前記視覚コンテンツを照明する光源の位置を決定することと、
前記スポンサードされるオブジェクトのインスタンスを生成することと、
前記視覚コンテンツを照明する前記光源の決定された位置に基づいて、前記スポンサードされるオブジェクトの視覚特性を調節することによって、前記スポンサードされるオブジェクトのインスタンスを修正することと、
前記スポンサードされるオブジェクトの修正されたインスタンスを表示のために生成することと
を行うように構成される、項目１１に記載のシステム。
（項目２１）
視覚コンテンツを拡張するための装置であって、
視覚コンテンツを拡張するためのオブジェクトを選択する入力を受信するための手段と、
前記選択されたオブジェクトの性質が、スポンサードされるオブジェクトのデータベース内に含まれるスポンサードされるオブジェクトの性質に合致するかどうかを決定するための手段と、
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトの性質に合致すると決定することに応答して、前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための手段と
を備える、装置。
（項目２２）
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトのデータベース内に含まれる前記スポンサードされるオブジェクトの性質に合致しないと決定することに応答して、前記選択されたオブジェクトを用いて前記視覚コンテンツを拡張するための手段をさらに備える、項目２１に記載の装置。
（項目２３）
前記入力は、第１の入力であり、前記装置はさらに、
少なくとも１つのレンズを介して、前記視覚コンテンツを捕捉するための手段であって、前記視覚コンテンツは、実世界ビューを含む、手段と、
前記選択されたオブジェクトに関する標的位置を示す第２の入力を受信するための手段と
を備え、
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための手段は、前記標的位置に対応する前記実世界ビュー内の位置において前記スポンサードされるオブジェクトを表示のために生成するための手段を備える、項目２１に記載の装置。
（項目２４）
前記入力は、第１の入力であり、前記装置はさらに、
少なくとも１つのレンズを介して、前記視覚コンテンツを捕捉するための手段であって、前記視覚コンテンツは、実世界ビューを含む、手段と、
前記選択されたオブジェクトに関する標的位置を示す第２の入力を受信するための手段と
を備え、
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための手段は、拡張された視覚コンテンツを表示のために生成するための手段を備え、前記スポンサードされるオブジェクトは、前記標的位置に対応する前記実世界ビュー内の位置において前記実世界ビュー上にオーバーレイされる、項目２１に記載の装置。
（項目２５）
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトのデータベース内に含まれる前記スポンサードされるオブジェクトの性質に合致するかどうかを決定するための手段は、
前記選択されたオブジェクトの性質を識別するための手段と、
前記選択されたオブジェクトの性質に合致する前記スポンサードされるオブジェクトに関して前記スポンサードされるオブジェクトのデータベースにクエリを行うための手段と
を備える、項目２１に記載の装置。
（項目２６）
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための手段は、
前記スポンサードされるオブジェクトのデータベースから、前記スポンサードされるオブジェクトのテンプレートを読み出すための手段と、
前記スポンサードされるオブジェクトのテンプレートに基づいて、前記スポンサードされるオブジェクトのインスタンスを生成するための手段と、
前記スポンサードされるオブジェクトのインスタンスを表示のために生成するための手段と
を備える、項目２１に記載の装置。
（項目２７）
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための手段は、
前記視覚コンテンツ内の対象オブジェクトを識別するための手段と、
前記視覚コンテンツ内の前記対象オブジェクト上のアンカ点を識別するための手段と、
前記アンカ点に基づいて、前記スポンサードされるオブジェクトを表示のために生成するための手段と
を備える、項目２１に記載の装置。
（項目２８）
前記アンカ点に基づいて、前記スポンサードされるオブジェクトを表示のために生成するための手段は、
前記対象オブジェクト上の前記アンカ点を前記スポンサードされるオブジェクト上のアンカ点と相関させるための手段と、
前記スポンサードされるオブジェクト上の前記アンカ点が、前記対象オブジェクト上の前記アンカ点と重複するように、前記スポンサードされるオブジェクトを表示のために生成するための手段と
を備える、項目２７に記載の装置。
（項目２９）
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための手段は、
前記視覚コンテンツ内の対象オブジェクトを識別するための手段と、
前記対象オブジェクトの特徴を識別するための手段と、
前記対象オブジェクトの特徴に基づいて、前記スポンサードされるオブジェクトのサイズを決定するための手段と、
前記決定されたサイズに従って、前記スポンサードされるオブジェクトを表示のために生成するための手段と
を備える、項目２１に記載の装置。
（項目３０）
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための手段は、
前記視覚コンテンツを照明する光源の位置を決定するための手段と、
前記スポンサードされるオブジェクトのインスタンスを生成するための手段と、
前記視覚コンテンツを照明する前記光源の決定された位置に基づいて、前記スポンサードされるオブジェクトの視覚特性を調節することによって、前記スポンサードされるオブジェクトのインスタンスを修正するための手段と、
前記スポンサードされるオブジェクトの修正されたインスタンスを表示のために生成するための手段と
を備える、項目２１に記載の装置。
（項目３１）
非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、その上にエンコードされる命令を有し、前記命令は、制御回路によって実行されると、制御回路に、
視覚コンテンツを拡張するためのオブジェクトを選択する入力を受信することと、
前記選択されたオブジェクトの性質が、スポンサードされるオブジェクトのデータベース内に含まれるスポンサードされるオブジェクトの性質に合致するかどうかを決定することと、
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトの性質に合致すると決定することに応答して、前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することと
を行わせる、非一過性コンピュータ可読媒体。
（項目３２）
制御回路によって実行されると、制御回路に、前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトのデータベース内に含まれる前記スポンサードされるオブジェクトの性質に合致しないと決定することに応答して、前記選択されたオブジェクトを用いて前記視覚コンテンツを拡張させる命令をさらに備える、項目３１に記載の非一過性コンピュータ可読媒体。
（項目３３）
前記入力は、第１の入力であり、前記非一過性コンピュータ可読媒体はさらに、制御回路によって実行されると、制御回路に、
少なくとも１つのレンズを介して、前記視覚コンテンツを捕捉することであって、前記視覚コンテンツは、実世界ビューを含む、ことと、
前記選択されたオブジェクトに関する標的位置を示す第２の入力を受信することと
を行わせる命令を備え、
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための命令は、制御回路によって実行されると、制御回路に、前記標的位置に対応する前記実世界ビュー内の位置において前記スポンサードされるオブジェクトを表示のために生成する命令を備える、項目３１に記載の非一過性コンピュータ可読媒体。
（項目３４）
前記入力は、第１の入力であり、前記非一過性コンピュータ可読媒体はさらに、制御回路によって実行されると、制御回路に、
少なくとも１つのレンズを介して、前記視覚コンテンツを捕捉することであって、前記視覚コンテンツは、実世界ビューを含む、ことと、
前記選択されたオブジェクトに関する標的位置を示す第２の入力を受信することと
を行わせる命令を備え、
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための命令は、制御回路によって実行されると、制御回路に、拡張された視覚コンテンツを表示のために生成する命令を備え、前記スポンサードされるオブジェクトは、前記標的位置に対応する前記実世界ビュー内の位置において前記実世界ビュー上にオーバーレイされる、項目３１に記載の非一過性コンピュータ可読媒体。
（項目３５）
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトのデータベース内に含まれる前記スポンサードされるオブジェクトの性質に合致するかどうかを決定するための命令は、制御回路によって実行されると、制御回路に、
前記選択されたオブジェクトの性質を識別することと、
前記選択されたオブジェクトの性質に合致する前記スポンサードされるオブジェクトに関して前記スポンサードされるオブジェクトのデータベースにクエリを行うことと
を行わせる命令を備える、項目３１に記載の非一過性コンピュータ可読媒体。
（項目３６）
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための命令は、制御回路によって実行されると、制御回路に、
前記スポンサードされるオブジェクトのデータベースから、前記スポンサードされるオブジェクトのテンプレートを読み出すことと、
前記スポンサードされるオブジェクトのテンプレートに基づいて、前記スポンサードされるオブジェクトのインスタンスを生成することと、
前記スポンサードされるオブジェクトのインスタンスを表示のために生成することと
を行わせる命令を備える、項目３１に記載の非一過性コンピュータ可読媒体。
（項目３７）
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための命令は、制御回路によって実行されると、制御回路に、
前記視覚コンテンツ内の対象オブジェクトを識別することと、
前記視覚コンテンツ内の前記対象オブジェクト上のアンカ点を識別することと、
前記アンカ点に基づいて、前記スポンサードされるオブジェクトを表示のために生成することと
を行わせる命令を備える、項目３１に記載の非一過性コンピュータ可読媒体。
（項目３８）
前記アンカ点に基づいて、前記スポンサードされるオブジェクトを表示のために生成するための命令は、制御回路によって実行されると、制御回路に、
前記対象オブジェクト上の前記アンカ点を前記スポンサードされるオブジェクト上のアンカ点と相関させることと、
前記スポンサードされるオブジェクト上の前記アンカ点が、前記対象オブジェクト上の前記アンカ点と重複するように、前記スポンサードされるオブジェクトを表示のために生成することと
を行わせる命令を備える、項目３７に記載の非一過性コンピュータ可読媒体。
（項目３９）
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための命令は、制御回路によって実行されると、制御回路に、
前記視覚コンテンツ内の対象オブジェクトを識別することと、
前記対象オブジェクトの特徴を識別することと、
前記対象オブジェクトの特徴に基づいて、前記スポンサードされるオブジェクトのサイズを決定することと、
前記決定されたサイズに従って、前記スポンサードされるオブジェクトを表示のために生成することと
を行わせる命令を備える、項目３１に記載の非一過性コンピュータ可読媒体。
（項目４０）
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張するための命令は、制御回路によって実行されると、制御回路に、
前記視覚コンテンツを照明する光源の位置を決定することと、
前記スポンサードされるオブジェクトのインスタンスを生成することと、
前記視覚コンテンツを照明する前記光源の決定された位置に基づいて、前記スポンサードされるオブジェクトの視覚特性を調節することによって、前記スポンサードされるオブジェクトのインスタンスを修正することと、
前記スポンサードされるオブジェクトの修正されたインスタンスを表示のために生成することと
を行わせる命令を備える、項目３１に記載の非一過性コンピュータ可読媒体。
（項目４１）
視覚コンテンツを拡張するための方法であって、前記方法は、
視覚コンテンツを拡張するためのオブジェクトを選択する入力を受信することと、
制御回路を介して、前記選択されたオブジェクトの性質が、スポンサードされるオブジェクトのデータベース内に含まれるスポンサードされるオブジェクトの性質に合致するかどうかを決定することと、
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトの性質に合致すると決定することに応答して、前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することと
を含む、方法。
（項目４２）
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトのデータベース内に含まれる前記スポンサードされるオブジェクトの性質に合致しないと決定することに応答して、前記選択されたオブジェクトを用いて前記視覚コンテンツを拡張することをさらに含む、項目４１に記載の方法。
（項目４３）
前記入力は、第１の入力であり、前記方法はさらに、
少なくとも１つのレンズを介して、前記視覚コンテンツを捕捉することであって、前記視覚コンテンツは、実世界ビューを含む、ことと、
前記選択されたオブジェクトに関する標的位置を示す第２の入力を受信することと
を含み、
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、前記標的位置に対応する前記実世界ビュー内の位置において前記スポンサードされるオブジェクトを表示のために生成することを含む、項目４１－４２に記載の方法。
（項目４４）
前記入力は、第１の入力であり、前記方法はさらに、
少なくとも１つのレンズを介して、前記視覚コンテンツを捕捉することであって、前記視覚コンテンツは、実世界ビューを含む、ことと、
前記選択されたオブジェクトに関する標的位置を示す第２の入力を受信することと
を含み、
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、拡張された視覚コンテンツを表示のために生成することを含み、前記スポンサードされるオブジェクトは、前記標的位置に対応する前記実世界ビュー内の位置において前記実世界ビュー上にオーバーレイされる、項目４１－４３に記載の方法。
（項目４５）
前記選択されたオブジェクトの性質が、前記スポンサードされるオブジェクトのデータベース内に含まれる前記スポンサードされるオブジェクトの性質に合致するかどうかを決定することは、
前記選択されたオブジェクトの性質を識別することと、
前記選択されたオブジェクトの性質に合致する前記スポンサードされるオブジェクトに関して前記スポンサードされるオブジェクトのデータベースにクエリを行うことと
を含む、項目４１－４４に記載の方法。
（項目４６）
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、
前記スポンサードされるオブジェクトのデータベースから、前記スポンサードされるオブジェクトのテンプレートを読み出すことと、
前記スポンサードされるオブジェクトのテンプレートに基づいて、前記スポンサードされるオブジェクトのインスタンスを生成することと、
前記スポンサードされるオブジェクトのインスタンスを表示のために生成することと
を含む、項目４１－４５に記載の方法。
（項目４７）
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、
前記視覚コンテンツ内の対象オブジェクトを識別することと、
前記視覚コンテンツ内の前記対象オブジェクト上のアンカ点を識別することと、
前記アンカ点に基づいて、前記スポンサードされるオブジェクトを表示のために生成することと
を含む、項目４１－４６に記載の方法。
（項目４８）
前記アンカ点に基づいて、前記スポンサードされるオブジェクトを表示のために生成することは、
前記対象オブジェクト上の前記アンカ点を前記スポンサードされるオブジェクト上のアンカ点と相関させることと、
前記スポンサードされるオブジェクト上の前記アンカ点が、前記対象オブジェクト上の前記アンカ点と重複するように、前記スポンサードされるオブジェクトを表示のために生成することと
を含む、項目４１－４７に記載の方法。
（項目４９）
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、
前記視覚コンテンツ内の対象オブジェクトを識別することと、
前記対象オブジェクトの特徴を識別することと、
前記対象オブジェクトの特徴に基づいて、前記スポンサードされるオブジェクトのサイズを決定することと、
前記決定されたサイズに従って、前記スポンサードされるオブジェクトを表示のために生成することと
を含む、項目４１－４８に記載の方法。
（項目５０）
前記スポンサードされるオブジェクトを用いて前記視覚コンテンツを拡張することは、
前記視覚コンテンツを照明する光源の位置を決定することと、
前記スポンサードされるオブジェクトのインスタンスを生成することと、
前記視覚コンテンツを照明する前記光源の決定された位置に基づいて、前記スポンサードされるオブジェクトの視覚特性を調節することによって、前記スポンサードされるオブジェクトのインスタンスを修正することと、
前記スポンサードされるオブジェクトの修正されたインスタンスを表示のために生成することと
を含む、項目４１－４９に記載の方法。

本開示の上記および他の目的および利点は、同様の参照文字が全体を通して同様の部分を指す、付随の図面と併せて検討される、以下の詳細な説明の考慮に応じて明白となるであろう。

図１は、本開示のいくつかの実施形態による、スポンサードされるオブジェクトを用いて視覚コンテンツを拡張するためのユーザインターフェースの例証的実施例を示す。

図２Ａは、本開示のいくつかの実施形態による、スポンサードされるオブジェクトを用いて視覚コンテンツを拡張するための例証的システムを示す。

図２Ｂは、本開示のいくつかの実施形態による、スポンサードされるオブジェクトを用いて視覚コンテンツを拡張するための例証的シナリオを示す。

図３は、本開示のいくつかの実施形態による、図２Ａのシステムの例証的デバイスの略図を示す。

図４は、本開示のいくつかの実施形態による、スポンサードされるオブジェクトを用いて視覚コンテンツを拡張するための例証的プロセスのフローチャートである。

図５は、本開示のいくつかの実施形態による、拡張された視覚コンテンツを生成するための詳細な例証的プロセスのフローチャートである。

図６は、本開示のいくつかの実施形態による、選択されたオブジェクトの性質が、スポンサードされるオブジェクトの性質に合致するかどうかを決定するための詳細な例証的プロセスのフローチャートである。

図７は、本開示のいくつかの実施形態による、視覚コンテンツ内にスポンサードされるオブジェクトを位置付けるための詳細な例証的プロセスのフローチャートである。

図８は、本開示のいくつかの実施形態による、視覚コンテンツ内にスポンサードされるオブジェクトを位置付けるための別の詳細な例証的プロセスのフローチャートである。

図９は、本開示のいくつかの実施形態による、視覚コンテンツを照明する光源に基づいて、スポンサードされるオブジェクトを修正するための詳細な例証的プロセスのフローチャートである。

図１は、本開示のいくつかの実施形態による、スポンサードされるオブジェクトを用いて視覚コンテンツを拡張するためのユーザインターフェースの例証的実施例を示す。特に、図１は、拡張現実（ＡＲ）デバイス１０２が、ブランディング１１０を有するスポンサードされるオブジェクト１０８を用いて拡張されている、対象オブジェクト１０６を含む視覚コンテンツ１０４を表示する、シナリオ１００を示す。ＡＲデバイス１０２は、スマートフォン、タブレットコンピュータ、ＡＲグラス、ＡＲ頭部搭載型ディスプレイ（ＨＭＤ）、仮想現実（ＶＲ）ＨＭＤ、または視覚コンテンツ１０４を表示するために使用可能な任意の他のユーザ機器、および／またはそれらの組み合わせ等の視覚および／または拡張されたコンテンツを表示することが可能な任意のデバイスであってもよい。

この点で、視覚コンテンツ１０４は、ライブビデオまたは他のライブ捕捉された動画像、３次元画像、パノラマまたは他の没入型画像（例えば、特定の視点を囲繞する３６０度画像または一連のライブ画像）、ライブＶＲまたはＡＲレンダリング、および／または任意の他のライブ捕捉された視覚メディアまたはそれらの組み合わせである。例えば、視覚コンテンツ１０４は、１つ以上のレンズまたは画像捕捉デバイスから受信された画像のライブ捕捉またはライブストリームであってもよい。

対象オブジェクト１０６は、視覚コンテンツ１０４内に含まれる任意の特徴または要素であってもよい。対象オブジェクト１０６は、視覚コンテンツ１０４の焦点であってもよい（例えば、視覚コンテンツは、図１に示されるように、人物の画像であってもよい）、または視覚コンテンツ内に含まれる複数の特徴または要素のうちの１つであってもよい。スポンサードされるオブジェクト１０８は、下記にさらに説明されるように、ユーザが視覚コンテンツ１０４を拡張するために選択した一般的なオブジェクトに対応してもよい。いくつかの実施形態では、スポンサードされるオブジェクト１０８は、マーケターによって宣伝されている製品を表す。例えば、図１に示されるように、スポンサードされるオブジェクト１０８は、ブランディング１１０「ＲＡＹ－ＢＡＮ」がその上に含まれる、アビエータ眼鏡である。下記に説明される例証的実施形態では、ユーザは、視覚コンテンツ１０４を拡張するための一般的なアビエータサングラスを選択し、ＡＲデバイス１０２は、代わりに、スポンサードされるオブジェクト１０８（例えば、ＲＡＹ－ＢＡＮアビエータ眼鏡）を用いて視覚コンテンツ１０４を拡張する。

図２Ａは、視覚コンテンツを拡張するための例証的システムを示す。特に、図２Ａは、ＡＲデバイス１０２が視覚コンテンツ１０４を表示するシステム２００を示す。視覚コンテンツ１０４は、ＡＲデバイス１０２によって捕捉されてもよい、または通信リンク２３２を介してコンテンツソース２１０から受信されてもよい。コンテンツソース２１０は、それから視覚コンテンツ１０４がＡＲデバイス１０２によって読み出され得る、任意のサーバまたは記憶デバイスであってもよい。通信リンク２３２は、それを用いて視覚コンテンツ１０４がコンテンツソース２１０から読み出され得る、任意のネットワークまたは通信機器または媒体であってもよい。一例証的実施例では、通信リンク２３２は、インターネットを介して接続されるデバイスを含む。

視覚コンテンツを拡張するための１つ以上のアプリケーションは、ＡＲデバイス１０２、コンテンツソース２１０、および／またはアプリケーションサーバ２２０のうちのいずれか１つまたは組み合わせの上で実装されてもよく、そのそれぞれは、スタンドアロンデバイスとして機能してもよい、またはデバイスのネットワークの一部であってもよい。デバイスの種々のネットワーク構成が、実装されてもよく、下記により詳細に議論される。システム２００では、複数のＡＲデバイス１０２が、存在してもよいが、図２では、図面が複雑になり過ぎることを回避するように、１つのみが、示される。

ＡＲデバイス１０２は、通信ネットワーク２３０に結合されてもよい。通信ネットワーク２３０は、インターネット、モバイル電話ネットワーク、モバイルボイスまたはデータネットワーク（例えば、４ＧまたはＬＴＥネットワーク）、ケーブルネットワーク、公衆交換電話ネットワーク、または他のタイプの通信ネットワーク、または通信ネットワークの組み合わせを含む、１つ以上のネットワークであってもよい。コンテンツソース２１０、アプリケーションサーバ２２０、およびＡＲデバイス１０２は、衛星経路、光ファイバ経路、ケーブル経路、フリースペース接続（例えば、無線信号のため）、または任意の他の好適な有線または無線通信経路、またはそのような経路の組み合わせ等の１つ以上の通信経路２３２を介して通信ネットワーク２３０に接続されてもよい。

通信経路２３２は、ＡＲデバイス１０２とコンテンツソース２１０またはアプリケーションサーバ２２０との間には描かれていないが、これらのデバイスは、ＵＳＢケーブル、ＩＥＥＥ １３９４ケーブル、無線経路（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線、ＩＥＥＥ ８０２－１１ｘ等）等の短距離ポイントツーポイント通信経路、または有線または無線経路を介した他の短距離通信等の通信経路２３２を介して、相互に直接通信してもよい。ＢＬＵＥＴＯＯＴＨ（登録商標）は、Ｂｌｕｅｔｏｏｔｈ ＳＩＧ， ＩＮＣ．によって所有される認証マークである。本デバイスはまた、通信ネットワーク２３０を介した間接経路を通して、相互に直接通信してもよい。

システム２００は、１つを上回るコンテンツソース２１０を含んでもよいが、図２では、図面が複雑になり過ぎることを回避するように、１つのみが、示される。視覚コンテンツ１０４のためのソースであることに加えて、コンテンツソース２１０は、スポンサードされるオブジェクト１０８の１つ以上のデータベース２１２を含んでもよい。データベース２１２は、スポンサードされるオブジェクト１０８およびその対応するブランディング１１０の１つ以上のテーブルを含む。いくつかの実施形態では、データベース２１２は、スポンサードされるオブジェクト１０８と関連付けられる性質のテーブルを含む。例えば、図２Ａに示されるように、データベース２１２は、２つのタイプのスポンサードされるオブジェクト（例えば、サングラスおよび帽子）が、それぞれと関連付けられる種々の性質（例えば、アビエータ、オーバーサイズ、角型）およびブランディング１１０（例えば、ＲＡＹ－ＢＡＮ、ＯＡＫＬＥＹ、ＮＩＫＥ、ＡＤＩＤＡＳ）とともに列挙されるテーブルを含む。いくつかの実施形態では、コンテンツソース２１０は、データベース２１２内に含まれるスポンサードされるオブジェクト１０８のそれぞれと関連付けられるスポンサードされるオブジェクト１０８の複数のテンプレートを記憶する。スポンサードされるオブジェクト１０８のテンプレートは、ＡＲデバイス１０２および／またはアプリケーションサーバ２２０が、関連付けられるスポンサードされるオブジェクト１０８のインスタンス（例えば、レンダリング）を生成することを可能にする、設計パラメータおよび／または他のデータを含んでもよい。コンテンツソース２１０はまた、ＡＲデバイス１０２から遠隔の場所において異なるタイプのコンテンツ（ユーザによって記憶される仮想コンテンツを含む）を含んでもよい。

メタデータは、視覚コンテンツ１０４および／または選択またはスポンサードされるオブジェクト１０８と関連付けられてもよい。メタデータは、対象オブジェクト１０６のインジケーションまたは性質、対象オブジェクト１０６の１つ以上のアンカ点または特徴、スポンサードされるオブジェクト１０８の性質、ユーザ選好、ユーザプロファイル情報、および／またはコンピュータが、選択されたオブジェクトをスポンサードされるオブジェクト１０８と合致させる、および／または仮想コンテンツ１０４内にスポンサードされるオブジェクト１０８を設置するための適切なサイズおよび位置を決定することを可能にする任意の他のタイプのデータを含んでもよい。

拡張コンテンツ生成アプリケーションは、例えば、上記に説明されるデバイスのうちの１つ以上のものの上に実装されるスタンドアロンアプリケーションであってもよい。例えば、拡張コンテンツ生成アプリケーションは、記憶装置３０８（図３を参照して下記に説明される）内に記憶され、ＡＲデバイス１０２の制御回路３０４（図３を参照して下記に説明される）によって実行され得る、ソフトウェアまたは実行可能命令のセットとして実装されてもよい。いくつかの実施形態では、拡張コンテンツ生成アプリケーションは、クライアント／サーバアプリケーションであり、クライアントアプリケーションのみが、ＡＲデバイス１０２上に常駐し、サーバアプリケーションは、アプリケーションサーバ２２０上に常駐する。例えば、拡張コンテンツ生成アプリケーションは、部分的に、ＡＲデバイス１０２の制御回路３０４上のクライアントアプリケーションとして、およびアプリケーションサーバ２２０の制御回路３０４上で起動するサーバアプリケーションとして部分的にアプリケーションサーバ２２０上で、実装されてもよい。アプリケーションサーバ２２０の制御回路３０４によって実行されると、拡張コンテンツ生成アプリケーションは、制御回路３０４に、拡張コンテンツ生成アプリケーション出力（例えば、スポンサードされるオブジェクト１０８または拡張された視覚コンテンツ）を生成し、生成された出力をＡＲデバイス１０２に伝送するように命令してもよい。サーバアプリケーションは、コンテンツソース２１０の制御回路３０４に、スポンサードされるオブジェクト１０８に関するテンプレートおよび／またはそれと関連付けられるメタデータをアプリケーションサーバ２２０および／またはＡＲデバイス１０２に伝送するように命令してもよい。クライアントアプリケーションは、ＡＲデバイス１０２の制御回路３０４に、拡張コンテンツ生成アプリケーション出力（例えば、スポンサードされるオブジェクト１０８および／または拡張されたコンテンツ）を生成するように命令してもよい。

ＡＲデバイス１０２は、クラウドサービスにアクセスするために、クラウドコンピューティング環境内で動作してもよい。クラウドコンピューティング環境では、コンテンツ共有、記憶、または分配のための種々のタイプのコンピューティングサービス（例えば、情報サイトまたはソーシャルネットワーキングサイト）が、「クラウド」と称される、ネットワークアクセス可能コンピューティングおよび記憶リソースの集合によって提供される。例えば、コンテンツソース２１０およびアプリケーションサーバ２２０は、コンピューティングおよび記憶リソースをＡＲデバイス１０２に提供する。クラウドリソースは、例えば、ウェブブラウザ、デスクトップアプリケーション、モバイルアプリケーション、および／またはそれらのアクセスアプリケーションの任意の組み合わせを使用して、ＡＲデバイス１０２によってアクセスされてもよい。ＡＲデバイス１０２は、アプリケーション配信のために、クラウドコンピューティングに依拠する、クラウドクライアントであってもよい、またはＡＲデバイス１０２は、クラウドリソースにアクセスすることなく、ある機能性を有してもよい。いくつかの実施形態では、ＡＲデバイス１０２は、図３に関連して説明される、アプリケーションサーバ２２０の処理回路３０６によって実施される処理動作等の処理動作のためにクラウドリソースを使用する。ＡＲデバイス１０２上で起動するいくつかのアプリケーションは、クラウドアプリケーション、すなわち、インターネットを経由してサービスとして配信されるアプリケーションであり得る一方、他のアプリケーションは、ＡＲデバイス１０２上で記憶および起動され得る。そのような実施形態の実施例は、図２Ｂを参照して下記にさらに説明される。

図２Ｂは、本開示のいくつかの実施形態による、視覚コンテンツがスポンサードされるオブジェクトを用いて拡張されるシナリオを示す。図２Ｂでは、仮想コンテンツ１０４は、ＡＲデバイス２６０を用いて視認されるような実世界ビュー２５０である。図２Ｂに示される実施例では、実世界ビュー２５０は、車道を伴う家屋を含み、ユーザは、ＡＲグラスを介して実世界ビュー２５０を視認する。ユーザは次いで、オブジェクトを用いて実世界ビュー２５０を拡張するための命令（例えば、音声コマンド）を提供し、ＡＲデバイス２６０は、それを受信する。例えば、ユーザは、「車道におけるスポーツカーを示す」ための音声コマンドを提供してもよい。

命令を受信することに応じて、ＡＲデバイス２６０は、ユーザによって選択されたオブジェクトを用いて実世界ビュー２５０を拡張する要求をアプリケーションサーバ２２０に送信する。アプリケーションサーバ２２０は、選択されたオブジェクトの性質（例えば、オブジェクトがスポーツカーであること）を識別し、選択されたオブジェクトの性質に合致するスポンサードされるオブジェクト１０８に関してコンテンツサーバ２１０のデータベース２１２にクエリを行う。コンテンツサーバ２１０は、次いで、合致するスポンサードされるオブジェクト１０８（例えば、スポンサードされるスポーツカーのテンプレート）をアプリケーションサーバ２２０に返す。スポンサードされるオブジェクト１０８を受信することに応じて、アプリケーションサーバ２２０は、ＡＲデバイス２６０に提供するためのテンプレートに基づいて、スポンサードされるオブジェクト１０８のインスタンスを生成する、またはスポンサードされるオブジェクト１０８のテンプレートをＡＲデバイス２６０に提供する。

ＡＲデバイス２６０は、次いで、スポンサードされるオブジェクト１０８を表示のために生成する。例えば、図２Ｂに示されるように、ＡＲグラスは、左ビュー２６５ａと、右ビュー２６５ｂとを含む。左ビュー２６５ａは、実世界ビュー２５０に合致する。右ビュー２６５ｂは、スポンサードされるオブジェクト１０８のインスタンス２６７がその上にオーバーレイされる実世界ビュー２５０を示す。例えば、右ビュー２６５ｂは、家屋の車道におけるスポーツカー２６７を示す。いくつかの実施形態では、ＡＲデバイス２６０の左ビュー２６５ａおよび右ビュー２６５ｂの両方が、スポンサードされるオブジェクト１０８のインスタンス２６７を表示する。

図３は、例証的ユーザデバイス３００およびサーバデバイス３２０の一般化実施形態を示す。描写されるように、ユーザデバイス３００は、スマートフォンまたはタブレットであってもよいが、当業者は、カメラ、ＡＲまたは仮想現実グラス、または他の頭部搭載型ディスプレイ等の種々の他のデバイスもまた、スポンサードされるオブジェクトを用いて視覚コンテンツを拡張するために使用され得、ユーザデバイス３００のものと同一の、またはそれに類似するコンポーネントを有し得ることを理解するであろう。ユーザデバイス３００は、入力／出力（以降では「Ｉ／Ｏ」）経路３０２を介して、コンテンツおよびデータを受信してもよい。Ｉ／Ｏ経路３０２は、処理回路３０６および記憶装置３０８を含む制御回路３０４に、視覚コンテンツ（例えば、インターネットコンテンツ、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を経由して利用可能なコンテンツ、および／または他のコンテンツ）、視覚コンテンツを拡張するためのオブジェクト、およびデータを提供してもよい。制御回路３０４は、Ｉ／Ｏ経路３０２を使用して、コマンド、要求、および他の好適なデータを送信および受信するために使用されてもよい。Ｉ／Ｏ経路３０２は、制御回路３０４（具体的には、処理回路３０６）を１つ以上の通信経路（下記に説明される）に接続してもよい。Ｉ／Ｏ機能は、これらの通信経路のうちの１つ以上のものによって提供されてもよいが、図面が複雑になり過ぎることを回避するため、図３では単一の経路として示される。

制御回路３０４は、処理回路３０６等の任意の好適な処理回路に基づいてもよい。本明細書で参照されるように、処理回路は、１つ以上のマイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、プログラマブル論理デバイス、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）等に基づく回路を意味するように理解されるべきであり、マルチコアプロセッサ（例えば、デュアルコア、クアドコア、ヘクサコア、または任意の好適な数のコア）またはスーパーコンピュータを含んでもよい。いくつかの実施形態では、処理回路は、複数の別個のプロセッサまたは処理ユニット、例えば、複数の同一のタイプの処理ユニット（例えば、２つのＩｎｔｅｌ Ｃｏｒｅ ｉ７プロセッサ）または複数の異なるプロセッサ（例えば、Ｉｎｔｅｌ Ｃｏｒｅ ｉ５プロセッサおよびＩｎｔｅｌ Ｃｏｒｅ ｉ７プロセッサ）を横断して分散される。いくつかの実施形態では、制御回路３０４は、メモリ（すなわち、記憶回路３０８）内に記憶される拡張コンテンツ生成アプリケーションに関する命令を実行する。具体的には、制御回路３０４は、拡張コンテンツ生成アプリケーションによって、上記および下記に議論される機能を実施するように命令されてもよい。

クライアント／サーバベースの実施形態では、制御回路３０４は、拡張コンテンツ生成アプリケーションサーバまたは他のネットワークまたはサーバと通信するために好適な通信回路を含む。上記に言及される機能性を実行するための命令は、サーバ上に記憶されてもよい。通信回路は、ケーブルモデム、総合デジタル通信網（ＩＳＤＮ）モデム、デジタルサブスクライバ回線（ＤＳＬ）モデム、電話モデム、イーサネット（登録商標）カード、または他の機器との通信のための無線モデム、または任意の他の好適な通信回路を含んでもよい。そのような通信は、インターネットまたは任意の他の好適な通信ネットワークまたは経路を伴ってもよい。加えて、通信回路は、デバイスのピアツーピア通信、または相互から遠隔の場所におけるデバイスの通信を可能にする回路を含んでもよい。

メモリは、制御回路３０４の一部である、記憶回路３０８として提供される、電子記憶デバイスであってもよい。本明細書で参照されるように、語句「電子記憶デバイス」または「記憶デバイス」は、ランダムアクセスメモリ、ハードドライブ、光学ドライブ、ソリッドステートデバイス、量子記憶デバイス、または任意の他の好適な固定またはリムーバブル記憶デバイス、および／またはそれらの任意の組み合わせ等の電子データ、コンピュータソフトウェア、またはファームウェアを記憶するための任意のデバイスを意味するように理解されるべきである。不揮発性メモリもまた、（例えば、ブートアップルーチンおよび他の命令を起動するために）使用されてもよい。図２に関連して説明されるクラウドベースの記憶装置が、記憶回路３０８を補完するために、または記憶回路３０８の代わりに使用されてもよい。

制御回路３０４は、画像生成回路および／または画像処理回路を含んでもよい。制御回路３０４は、視覚コンテンツおよび／または拡張されたコンテンツを受信し、表示する、再生する、および／または記録するためにユーザデバイス３００によって使用されてもよい。例えば、画像生成回路または画像処理回路を含む、本明細書に説明される回路は、１つ以上の汎用または特殊化プロセッサ上で起動するソフトウェアを使用して実装されてもよい。記憶回路３０８が、ユーザデバイス３００とは別個のデバイスとして提供される場合、画像生成回路または画像処理回路は、記憶回路３０８と関連付けられてもよい。

サーバデバイス３２０は、単一、アレイ、および／またはクラウドアーキテクチャにおいて実装されてもよい。サーバデバイス３２０は、処理回路３０６および記憶回路３０８を含む、制御回路３０４に接続される、Ｉ／Ｏ経路３０２を含む。サーバデバイス３２０のＩ／Ｏ経路３０２、制御回路３０４、処理回路３０６、および記憶回路３０８は、ユーザデバイス３００のＩ／Ｏ経路３０２、制御回路３０４、処理回路３０６、および記憶回路３０８に類似し得、類似する特徴および機能性を有し得る。

ユーザは、ユーザデバイス３００のユーザ入力インターフェース３１０を使用して、命令を制御回路３０４に送信してもよい。ユーザ入力インターフェース３１０は、リモートコントロール、マウス、トラックボール、キーパッド、キーボード、タッチスクリーン、タッチパッド、スタイラス入力、ジョイスティック、音声認識インターフェース、または他のユーザ入力インターフェース等の任意の好適なユーザインターフェースであってもよい。ディスプレイ３１２は、タッチスクリーンまたはタッチ感応ディスプレイであってもよい。そのような状況では、ユーザ入力インターフェース３１０は、ディスプレイ３１２と統合される、または組み合わせられてもよい。スピーカ３１４は、ユーザデバイス３００の他の要素と統合されたものとして提供されてもよい。ユーザデバイス３００はさらに、１つ以上のレンズ３１６ａおよび／または３１６ｂを含んでもよい。レンズ３１６ａ、３１６ｂは、本明細書に説明されるように、仮想コンテンツを捕捉するために使用されてもよい。

拡張コンテンツ生成アプリケーションは、任意の好適なアーキテクチャを使用して実装されてもよい。例えば、これは、ユーザデバイス３００上で完全に実装される、スタンドアロンアプリケーションであってもよい。本明細書に説明される実施形態のうちのいずれかを実施するための拡張コンテンツ生成アプリケーションおよび／または任意の命令は、コンピュータ可読媒体上でエンコードされてもよい。コンピュータ可読媒体は、データを記憶することが可能な任意の媒体を含む。いくつかの実施形態では、コンテンツ生成アプリケーションは、クライアント／サーバベースのアプリケーションである。ユーザデバイス３００上に実装される、シックまたはシンクライアントによって使用するためのデータは、ユーザデバイス３００から遠隔にあるサーバデバイス３２０等のサーバに要求を発行することによって、オンデマンドで読み出される。例えば、ユーザデバイス３００は、入力インターフェース３１０を介してユーザから入力を受信し、対応する出力を処理および生成するために、それらの入力を遠隔サーバに伝送してもよい。生成された出力は、次いで、ユーザへの提示のためにユーザデバイス３００に伝送される。当業者は、図１のＡＲデバイス１０２および図２ＢのＡＲデバイス２６０が、図３のユーザデバイス３００として実装され得ることを理解するであろう。

図４は、本開示のいくつかの実施形態による、スポンサードされるオブジェクトを用いて視覚コンテンツを拡張するための例証的プロセスのフローチャートである。スポンサードされるオブジェクトを用いて視覚コンテンツを拡張するステップを提供するためのプロセス４００が、ブロック４０２において開始されてもよく、上記に説明される制御回路３０４等の制御回路は、実世界ビュー２５０を含む視覚コンテンツ１０４を捕捉する。制御回路３０４は、１つ以上のレンズ３１６を介して視覚コンテンツ１０４を捕捉してもよい。いくつかの実施形態では、制御回路３０４は、記憶装置３０８から視覚コンテンツ１０４を読み出す。例えば、制御回路３０４は、人物の画像を捕捉してもよい。

ブロック４０４において、制御回路３０４は、視覚コンテンツ１０４を拡張するための一般的なオブジェクトを選択する入力を受信する。制御回路３０４は、ユーザ入力インターフェース３１０を介して入力を受信してもよい。例えば、制御回路３０４は、視覚コンテンツ１０４を拡張するための一般的なオブジェクトを選択する、タッチ入力をユーザ入力インターフェース３１０を介してユーザから受信する、または視覚コンテンツ１０４を拡張するための一般的なオブジェクトを選択する音声コマンドを受信する。いくつかの実施形態では、ディスプレイ３１２は、利用可能な一般的なオブジェクトのリストを表示し、制御回路３０４は、次いで、ユーザ入力インターフェース３１０を介して、利用可能な一般的なオブジェクトのうちの１つの選択を受信する。

ブロック４０６において、制御回路３０４は、選択されたオブジェクトの性質を識別する。制御回路３０４は、選択されたオブジェクトの性質を識別するために、選択されたオブジェクトと関連付けられるメタデータを分析してもよい。いくつかの実施形態では、制御回路３０４は、選択されたオブジェクトの性質を識別するために、音声コマンドの一部として受信されたオーディオを処理する。選択されたオブジェクトの性質は、明示的性質（例えば、音声コマンドは、選択されたオブジェクトの性質を規定し得る）または暗示的性質（例えば、制御回路３０４は、最初に、選択されたオブジェクトの性質を識別するために、選択されたオブジェクトの内容を識別する必要がある）であってもよい。例えば、制御回路３０４は、ユーザから音声コマンドを受信し、音声コマンドが、アビエータ眼鏡を伴う視覚コンテンツ１０４を拡張する命令を含むと決定し、次いで、アビエータ眼鏡の性質（例えば、キーワード、識別子、特性等）を識別してもよい。

ブロック４０８において、制御回路３０４は、選択されたオブジェクトの性質が、スポンサードされるオブジェクト１０８の性質に合致するかどうかを決定する。図６を参照して下記にさらに説明されるように、制御回路３０４は、ブロック４０６において識別された選択されたオブジェクトの性質に合致するスポンサードされるオブジェクトに関してスポンサードされるオブジェクトのデータベース２１２にクエリを行ってもよい。選択されたオブジェクトの性質が、スポンサードされるオブジェクト１０８の性質に合致すると決定することに応答して、プロセス４００は、ブロック４１０に進む。選択されたオブジェクトの性質が、任意のスポンサードされるオブジェクトの性質に合致しないと決定することに応答して、プロセス４００は、ブロック４１２に進む。

ブロック４１０において、制御回路３０４は、選択されたオブジェクトの代わりに、スポンサードされるオブジェクト１０８を用いて視覚コンテンツ１０４を拡張する。図５および７－９を参照して下記にさらに説明されるように、制御回路３０４は、スポンサードされるオブジェクト１０８を視覚コンテンツ１０４上にオーバーレイしてもよい、またはスポンサードされるオブジェクト１０８および視覚コンテンツ１０４を含む拡張されたコンテンツを生成してもよい。例えば、制御回路３０４は、スポンサードされるアビエータ眼鏡を人物の画像上にオーバーレイしてもよい。

ブロック４１２において、制御回路３０４は、選択されたオブジェクトを用いて視覚コンテンツを拡張する。例えば、制御回路３０４は、ブロック４０４において選択された一般的なオブジェクトを視覚コンテンツ１０４上にオーバーレイする。

図５は、本開示のいくつかの実施形態による、スポンサードされるオブジェクト１０８を用いて視覚コンテンツ１０４を拡張するための詳細な例証的プロセスのフローチャートである。視覚コンテンツを拡張するためのプロセス５００が、ブロック５０２において開始されてもよい。

ブロック５０４において、制御回路３０４は、選択されたオブジェクトに関する標的位置を示す第２の入力を受信する。制御回路３０４は、選択されたオブジェクトを設置するべき仮想コンテンツ１０４内の位置を規定するユーザからのタッチ入力を介して等、ユーザ入力インターフェース３１０を介して第２の入力を受信してもよい。いくつかの実施形態では、制御回路３０４は、オブジェクトを選択する第１の音声コマンドとともに、またはそれとは別個のいずれかで、音声コマンドとして第２の入力を受信し、選択されたオブジェクトを設置する場所を規定する。例えば、制御回路３０４は、「車道におけるスポーツカーを示す」ように制御回路３０４に命令する音声コマンドを受信する。制御回路３０４は、次いで、音声コマンドを処理し、スポーツカーが、選択されたオブジェクトであり、車道が、標的位置であると決定してもよい。

ブロック５０６において、制御回路３０４は、視覚コンテンツ１０４が、表示のために生成されているかどうかを決定する。制御回路３０４は、ブロック４０２において捕捉された視覚コンテンツ１０４が、表示のために生成されている（例えば、視覚コンテンツ１０４が、ＡＲデバイス１０２上に表示される）、または単に、処理目的のために捕捉された（例えば、視覚コンテンツ１０４が、表示されない、すなわち、実世界ビュー２５０が、ＡＲデバイス２６０を通して視認される）かどうかを決定してもよい。視覚コンテンツ１０４が、表示のために生成されていないと決定することに応答して、プロセス５００は、ブロック５０８に進む。視覚コンテンツ１０４が、表示のために生成されていると決定することに応答して、プロセス５００は、ブロック５１０に進む。

ブロック５０８において、制御回路３０４は、標的位置に対応する実世界ビュー２５０内のある位置においてスポンサードされるオブジェクト１０８を表示のために生成する。例えば、制御回路３０４は、これが、車道にあるように見えるように、スポンサードされるスポーツカーを表示のために生成する。この点で、標的位置は、いったん識別されると、実世界ビュー２５０内の固定位置であり得、制御回路３０４は、これが、実世界ビュー２５０内の標的位置にあるように見えるように、スポンサードされるオブジェクト１０８を表示するためのＡＲデバイス２６０のディスプレイ上の場所を決定する。

ブロック５１０において、制御回路３０４は、拡張された視覚コンテンツを表示のために生成し、スポンサードされるオブジェクトは、標的位置に対応する実世界ビュー２５０内のある位置において実世界ビュー２５０上にオーバーレイされる。例えば、制御回路３０４は、標的位置に合致する視覚コンテンツ１０４上の位置を識別し、標的位置に合致する位置において視覚コンテンツ１０４上にスポンサードされるオブジェクト１０８をオーバーレイする。

図６は、本開示のいくつかの実施形態による、選択されたオブジェクトの性質が、スポンサードされるオブジェクト１０８の性質に合致するかどうかを決定するための詳細な例証的プロセスのフローチャートである。選択されたオブジェクトの性質が、スポンサードされるオブジェクト１０８の性質に合致するかどうかを決定するためのプロセス６００が、ブロック６０２において開始されてもよい。

ブロック６０４において、制御回路３０４は、ブロック４０６において識別された選択されたオブジェクトの性質に合致するスポンサードされるオブジェクト１０８に関してスポンサードされるオブジェクト１０８のデータベース２１２にクエリを行う。いくつかの実施形態では、制御回路３０４は、ブロック４０６において識別された選択されたオブジェクトの性質に合致するスポンサードされるオブジェクト１０８に関する要求をコンテンツサーバ２１０に送信し、コンテンツサーバ２１０は、識別された性質に合致するスポンサードされるオブジェクト１０８に関してデータベース２１２にクエリを行う。

ブロック６０６において、制御回路３０４は、データベース２１２が、ブロック４０６において識別された選択されたオブジェクトの性質に合致するスポンサードされるオブジェクト１０８を返したかどうかを決定する。例えば、制御回路３０４は、任意のオブジェクトが、ブロック６０４のクエリに応答して返されたかどうかを決定する。データベース２１２が、任意のスポンサードされるオブジェクト１０８を返していないと決定することに応答して、プロセス６００は、終了する。データベース２１２が、スポンサードされるオブジェクト１０８を返したと決定することに応答して、プロセス６００は、ブロック６０８に進む。

ブロック６０８において、制御回路３０４は、ブロック４０６において識別された選択されたオブジェクトの性質に合致するスポンサードされるオブジェクト１０８のテンプレートを読み出す。制御回路３０４は、コンテンツソース２１０から、および／またはデータベース２１２から、スポンサードされるオブジェクト１０８のテンプレートを読み出してもよい。例えば、データベース２１２は、ブロック６０４のクエリに応答して、スポンサードされるオブジェクト１０８の識別子を返してもよく、制御回路３０４は、次いで、コンテンツソース２１０からの識別子に合致するスポンサードされるオブジェクト１０８を読み出す。

ブロック６１０において、制御回路３０４は、ブロック６０８において読み出されたテンプレートに基づいて、スポンサードされるオブジェクト１０８のインスタンスを生成する。例えば、テンプレートは、設計仕様および／またはスポンサードされるオブジェクト１０８を記述する他のデータを含んでもよく、制御回路３０４は、設計仕様に従って、スポンサードされるオブジェクト１０８のインスタンスを生成してもよい。

ブロック６１２において、制御回路３０４は、ブロック６１０において生成されたスポンサードされるオブジェクト１０８のインスタンスを表示のために生成する。例えば、制御回路３０４は、ブロック４１０、５０８、および／または５１０において説明されるように、ＡＲデバイス１０２および／またはＡＲデバイス２６０にスポンサードされるオブジェクト１０８のインスタンスを表示させてもよい。

図７は、本開示のいくつかの実施形態による、スポンサードされるオブジェクト１０８を用いて視覚コンテンツ１０４を拡張するための詳細な例証的プロセスのフローチャートである。視覚コンテンツを拡張するためのプロセス７００が、ブロック７０２において開始されてもよい。

ブロック７０４において、制御回路３０４は、視覚コンテンツ１０４内の対象オブジェクト１０６を識別する。例えば、制御回路３０４は、視覚コンテンツ１０４内の対象オブジェクト１０６を識別するために、オブジェクト検出および／またはパターン認識アルゴリズムを使用することによって等、視覚コンテンツ１０４を処理する。いくつかの実施形態では、対象オブジェクト１０６は、視覚コンテンツ１０４の焦点である。例えば、視覚コンテンツ１０４が、人物の画像である実施形態では、人物は、視覚コンテンツ１０４内の対象オブジェクト１０６である。視覚コンテンツが、車道を伴う家屋の実世界ビュー２５０である別の実施例では、車道は、対象オブジェクト１０６であり得る。対象オブジェクト１０６は、ユーザから受信される入力において規定されてもよい、または視覚コンテンツ１０４に基づいて自動的に決定されてもよい。例えば、ユーザが、ＡＲデバイス２６０に「車道におけるスポーツカーを示す」ように命令するコマンドを提供する場合、制御回路３０４は、車道のユーザの仕様が、視覚コンテンツ１０４内の対象オブジェクト１０６を示すと決定してもよく、次いで、車道を識別するために視覚コンテンツ１０４を処理してもよい。

ブロック７０６において、制御回路３０４は、対象オブジェクト１０６上のアンカ点を識別する。例えば、制御回路３０４は、対象オブジェクト１０６が、任意の識別可能な目印を含むかどうかを決定する。対象オブジェクト１０６が、人物である実施形態では、目印は、人物の眼または鼻等の顔の特徴であってもよく、制御回路３０４は、視覚コンテンツ１０４内の人物の眼または鼻を識別してもよい。制御回路３０４は、次いで、顔の特徴のうちの１つ以上のものをアンカ点として識別してもよい。いくつかの実施形態では、制御回路３０４は、ブロック７０４において識別された対象オブジェクト１０６のタイプに基づいて、識別するべき目印を決定する。例えば、制御回路３０４が、対象オブジェクト１０６を人物であるとして識別する場合、制御回路３０４は、人物の画像内に含まれ得る潜在的目印および／または目印のテンプレートに関してデータベースにクエリを行い、次いで、視覚コンテンツ１０４を処理し、視覚コンテンツ１０４内の潜在的目印を識別し、それからアンカ点を識別してもよい。

ブロック７０８において、制御回路３０４は、対象オブジェクト１０６上のアンカ点をスポンサードされるオブジェクト１０８上のアンカ点と相関させる。例えば、制御回路３０４は、スポンサードされるオブジェクト１０８上のアンカ点を識別するために、スポンサードされるオブジェクト１０８と関連付けられるメタデータを読み出してもよい。メタデータはさらに、対象オブジェクト１０６上のアンカ点のタイプに対応するスポンサードされるオブジェクト１０８上のアンカ点を示してもよい。例えば、メタデータは、スポンサードされるオブジェクト１０８上の特定のアンカ点が、人物の鼻梁上のアンカ点と相関されるべきであると示してもよい。制御回路３０４は、次いで、識別されたスポンサードされるオブジェクト１０８上のアンカ点を決定し、それらのアンカ点が、メタデータ内に示されるアンカ点のうちのいずれかに合致するかどうかを決定する。

ブロック７１０において、制御回路３０４は、識別されるべき対象オブジェクト１０６上の任意の付加的アンカ点が、存在するかどうかを決定する。例えば、制御回路３０４は、ブロック７０４において識別された対象オブジェクトのタイプに基づいて、識別されるべき任意の既知の潜在的目印が、残っているかどうかを決定し、該当する場合、したがって、識別されるべきそれらの目印と関連付けられる付加的アンカ点が、存在すると決定してもよい。識別されるべき対象オブジェクト１０６上の付加的アンカ点が、存在すると決定することに応答して、プロセス７００は、ブロック７０６に戻る。いかなる識別されるべき対象オブジェクト１０６上の付加的アンカ点も、存在しないと決定することに応答して、プロセス７００は、ブロック７１２に進む。

ブロック７１２において、制御回路３０４は、ブロック７０８において識別されたスポンサードされるオブジェクト１０８上のアンカ点が、ブロック７０６において識別された対象オブジェクト１０６上のアンカ点と重複するように、スポンサードされるオブジェクト１０８を表示のために生成する。例えば、制御回路３０４は、スポンサードされるオブジェクト１０８上のアンカ点が、対象オブジェクト１０６上のアンカ点と重複するように、スポンサードされるオブジェクト１０８を視覚コンテンツ１０４上にオーバーレイする。

図８は、本開示のいくつかの実施形態による、スポンサードされるオブジェクト１０８を用いて視覚コンテンツ１０４を拡張するための詳細な例証的プロセスのフローチャートである。視覚コンテンツを拡張するためのプロセス８００が、ブロック８０２において開始されてもよい。

ブロック８０４において、制御回路３０４は、視覚コンテンツ１０４内の対象オブジェクト１０６を識別する。対象オブジェクト１０６を識別するためのプロセスは、ブロック７０４において説明されるプロセスに類似し得、簡潔にする目的のために繰り返されないであろう。

ブロック８０６において、制御回路３０４は、対象オブジェクト１０６の特徴を識別する。いくつかの実施形態では、視覚コンテンツ１０４内の対象オブジェクト１０６を識別した後、制御回路３０４は、対象オブジェクト１０６の潜在的特徴を示すデータを読み出す。例えば、制御回路３０４が、対象オブジェクト１０６を人物であるとして識別する場合、制御回路３０４は、人物上で見出される特徴のタイプを示すデータをコンテンツソース２１０から読み出してもよい。対象オブジェクト１０６の特徴は、対象オブジェクト１０６の頭部または対象オブジェクト１０６の相対的サイズを示すある他の部分であってもよい。制御回路３０４は、次いで、視覚コンテンツ内の特徴を識別してもよい。

ブロック８０８において、制御回路３０４は、識別されるべき付加的特徴が、存在するかどうかを決定する。例えば、制御回路３０４は、コンテンツソース２１０から読み出された対象オブジェクト１０６の潜在的特徴がそれぞれ、識別された、または視覚コンテンツ１０４内で識別不可能であると決定されたかどうかを決定してもよい。識別されるべき対象オブジェクト１０６の付加的特徴が、存在すると決定することに応答して、プロセス８００は、ブロック８０６に戻る。いかなる識別されるべき対象オブジェクト１０６の付加的特徴も、残されていないと決定することに応答して、プロセス８００は、ブロック８１０に進む。

ブロック８１０において、制御回路３０４は、スポンサードされるオブジェクト１０８のサイズを決定する。例えば、制御回路３０４は、ブロック８０６において識別された対象オブジェクト１０６の特徴のサイズに基づいて、スポンサードされるオブジェクト１０８のあるべき相対的サイズを決定してもよい。いくつかの実施形態では、制御回路３０４は、対象オブジェクト１０６の特徴に対するスポンサードされるオブジェクト１０８の相対的サイズを示すデータを（例えば、スポンサードされるオブジェクト１０８と関連付けられるメタデータから）読み出す。

ブロック８１２において、制御回路３０４は、ブロック８１０において決定されたサイズに従って、スポンサードされるオブジェクト１０８を表示のために生成する。例えば、制御回路３０４は、コンテンツソース２１０から読み出されたテンプレートに基づいて、スポンサードされるオブジェクト１０８のインスタンスを生成し、対象オブジェクト１０６の特徴に対するスポンサードされるオブジェクト１０８の相対的サイズを示すデータに従って、インスタンスをスケーリングする。

図９は、本開示のいくつかの実施形態による、スポンサードされるオブジェクト１０８を用いて視覚コンテンツ１０４を拡張するための詳細な例証的プロセスのフローチャートである。視覚コンテンツを拡張するためのプロセス９００が、ブロック９０２において開始されてもよい。

ブロック９０４において、制御回路３０４は、視覚コンテンツ１０４を照明する光源の位置を決定する。例えば、制御回路３０４は、影または比較的に高い光度の面積および比較的に低い光度の面積を識別するために、視覚コンテンツ１０４を処理する。制御回路３０４は、次いで、影の角度を決定する、または低光度の面積に対する高光度の面積の相対的位置を決定し、影の角度または低光度の面積に対する高光度の面積の相対的位置に基づいて、視覚コンテンツ１０４を照明する光源の位置を決定する。

ブロック９０６において、制御回路３０４は、視覚コンテンツ１０４を照明する付加的光源が、存在するかどうかを決定する。例えば、制御回路３０４は、影の角度および／または低光度の面積に対する高光度の面積の相対的位置が、識別されていない光源が視覚コンテンツ１０４を照明していることを示すかどうかを決定する。視覚コンテンツ１０４を照明する付加的光源が、存在すると決定することに応答して、プロセス９００は、ブロック９０４に戻る。いかなる視覚コンテンツ１０４を照明する付加的光源も、存在しないと決定することに応答して、プロセス９００は、ブロック９０８に進む。

ブロック９０８において、制御回路３０４は、スポンサードされるオブジェクト１０８のインスタンスを生成する。例えば、ブロック６１０において説明されるように、制御回路３０４は、スポンサードされるオブジェクト１０８のテンプレートを読み出し、テンプレート内に含まれる設計仕様に基づいて、スポンサードされるオブジェクト１０８のインスタンスを表示のために生成する。

ブロック９１０において、制御回路３０４は、ブロック９０４において決定された光源の位置に基づいて、スポンサードされるオブジェクト１０８のインスタンスを修正する。例えば、制御回路３０４は、光源の決定された位置に基づいて、スポンサードされるオブジェクト１０８のインスタンスの色、輝度、光度、および／または影を調節してもよい。

ブロック９１２において、制御回路３０４は、スポンサードされるオブジェクト１０８の修正されたインスタンスを表示のために生成する。例えば、ブロック６１２において説明されるように、制御回路３０４は、スポンサードされるオブジェクト１０８の修正されたインスタンスを視覚コンテンツ１０４上にオーバーレイする。

プロセス４００－９００またはそれらの任意のステップは、図１－３に示されるデバイスのうちのいずれかの上で実施される、またはそれによって提供され得ることに留意されたい。例えば、プロセスは、ＡＲデバイス１０２、コンテンツソース２１０、および／またはアプリケーションサーバ２２０上で実装される拡張コンテンツ生成アプリケーションによって命令されるように、制御回路３０４（図３）によって実行されてもよい。加えて、プロセスの１つ以上のステップは、省略される、修正される、および／または任意の他のプロセスまたは実施形態の１つ以上のステップの中に組み込まれる、またはそれと組み合わせられてもよい（例えば、プロセス６００からのステップは、プロセス８００からのステップと組み合わせられてもよい）。加えて、図４－９に関連して説明されるステップおよび説明は、本開示の目的を促すために、代替順序で、または並行して行われてもよい。例えば、これらのステップはそれぞれ、本システムまたは方法の遅れを低減させる、または速度を増加させるように、任意の順序で、または並行して、または実質的に同時に実施されてもよい。

本発明に伴う方法は、コンピュータ使用可能および／または可読媒体を含む、コンピュータプログラム製品において具現化され得ることが、当業者に明白となるであろう。例えば、そのようなコンピュータ使用可能媒体は、その上に記憶されるコンピュータ可読プログラムコードを有する、ＣＤ－ＲＯＭディスクまたは従来のＲＯＭデバイス等の読取専用メモリデバイスまたはハードドライブデバイスまたはコンピュータディスケット等のランダムアクセスメモリから成ってもよい。また、本開示に伴う方法、技法、およびプロセスは、処理回路を使用して実行され得ることを理解されたい。

上記に議論されるプロセスは、限定的ではなく、例証的であることを意図している。より一般的には、上記の開示は、限定ではなく、例示的であることを意味している。続く請求項のみが、本発明が含むものに関する境界を設定することを意味している。さらに、任意の１つの実施形態に説明される特徴および限定は、本明細書の任意の他の実施形態に適用され得、一実施形態に関するフローチャートまたは実施例は、好適な様式で任意の他の実施形態と組み合わせられる、異なる順序で行われる、または並行して行われ得ることに留意されたい。加えて、本明細書に説明されるシステムおよび方法は、リアルタイムで実施されてもよい。また、上記に説明されるシステムおよび／または方法は、他のシステムおよび／または方法に適用される、またはそれらに従って使用され得ることにも留意されたい。

Claims (10)

1. 視覚コンテンツを拡張するための方法であって、前記方法は、
   視覚コンテンツを拡張するためのオブジェクトを選択する入力を受信することと、
   前記選択されたオブジェクトの性質が、スポンサードされたオブジェクトのデータベース内に含まれるスポンサードされたオブジェクトの性質に合致するかどうかを決定することであって、前記選択されたオブジェクトおよび前記スポンサードされたオブジェクトは、同一のカテゴリーからのものである、ことと、
   前記選択されたオブジェクトの性質が、前記スポンサードされたオブジェクトの性質に合致すると決定することに応答して、前記スポンサードされたオブジェクトを用いて前記視覚コンテンツを拡張することと
   を含む、方法。
2. 前記選択されたオブジェクトの性質が、前記スポンサードされたオブジェクトのデータベース内に含まれる前記スポンサードされたオブジェクトの性質に合致しないと決定することに応答して、前記選択されたオブジェクトを用いて前記視覚コンテンツを拡張することをさらに含む、請求項１に記載の方法。
3. 前記入力は、第１の入力であり、前記方法は、
   少なくとも１つのレンズを介して、前記視覚コンテンツを捕捉することであって、前記視覚コンテンツは、実世界ビューを含む、ことと、
   前記選択されたオブジェクトに関する標的位置を示す第２の入力を受信することと
   をさらに含み、
   前記スポンサードされたオブジェクトを用いて前記視覚コンテンツを拡張することは、前記標的位置に対応する前記実世界ビュー内の位置において前記スポンサードされたオブジェクトを表示のために生成することを含む、請求項１～２のいずれかに記載の方法。
4. 前記入力は、第１の入力であり、前記方法は、
   少なくとも１つのレンズを介して、前記視覚コンテンツを捕捉することであって、前記視覚コンテンツは、実世界ビューを含む、ことと、
   前記選択されたオブジェクトに関する標的位置を示す第２の入力を受信することと
   をさらに含み、
   前記スポンサードされたオブジェクトを用いて前記視覚コンテンツを拡張することは、拡張された視覚コンテンツを表示のために生成することを含み、前記スポンサードされたオブジェクトは、前記標的位置に対応する前記実世界ビュー内の位置において前記実世界ビュー上にオーバーレイされる、請求項１～２のいずれかに記載の方法。
5. 前記選択されたオブジェクトの性質が、前記スポンサードされたオブジェクトのデータベース内に含まれる前記スポンサードされたオブジェクトの性質に合致するかどうかを決定することは、
   前記選択されたオブジェクトの性質を識別することと、
   前記選択されたオブジェクトの性質に合致する前記スポンサードされたオブジェクトに関して前記スポンサードされたオブジェクトのデータベースにクエリを行うことと
   を含む、請求項１～４のいずれかに記載の方法。
6. 前記スポンサードされたオブジェクトを用いて前記視覚コンテンツを拡張することは、
   前記スポンサードされたオブジェクトのデータベースから、前記スポンサードされたオブジェクトのテンプレートを読み出すことと、
   前記スポンサードされたオブジェクトのテンプレートに基づいて、前記スポンサードされたオブジェクトのインスタンスを生成することと、
   前記スポンサードされたオブジェクトのインスタンスを表示のために生成することと
   を含む、請求項１～５のいずれかに記載の方法。
7. 前記スポンサードされたオブジェクトを用いて前記視覚コンテンツを拡張することは、
   前記視覚コンテンツ内の対象オブジェクトを識別することと、
   前記視覚コンテンツ内の前記対象オブジェクト上のアンカ点を識別することと、
   前記アンカ点に基づいて、前記スポンサードされたオブジェクトを表示のために生成することと
   を含み、
   前記アンカ点に基づいて、前記スポンサードされたオブジェクトを表示のために生成することは、
   前記対象オブジェクト上の前記アンカ点を前記スポンサードされたオブジェクト上のアンカ点と相関させることと、
   前記スポンサードされたオブジェクト上の前記アンカ点が、前記対象オブジェクト上の前記アンカ点と重複するように、前記スポンサードされたオブジェクトを表示のために生成することと
   を含む、請求項１～５のいずれかに記載の方法。
8. 前記スポンサードされたオブジェクトを用いて前記視覚コンテンツを拡張することは、
   前記視覚コンテンツ内の対象オブジェクトを識別することと、
   前記対象オブジェクトの特徴を識別することと、
   前記対象オブジェクトの特徴に基づいて、前記スポンサードされたオブジェクトのサイズを決定することと、
   前記決定されたサイズに従って、前記スポンサードされたオブジェクトを表示のために生成することと
   を含む、請求項１～５のいずれかに記載の方法。
9. 前記スポンサードされたオブジェクトを用いて前記視覚コンテンツを拡張することは、
   前記視覚コンテンツを照明する光源の位置を決定することと、
   前記スポンサードされたオブジェクトのインスタンスを生成することと、
   前記視覚コンテンツを照明する前記光源の前記決定された位置に基づいて、前記スポンサードされたオブジェクトの視覚特性を調節することによって、前記スポンサードされたオブジェクトのインスタンスを修正することと、
   前記スポンサードされたオブジェクトの前記修正されたインスタンスを表示のために生成することと
   を含む、請求項１～５のいずれかに記載の方法。
10. 視覚コンテンツを拡張するためのシステムであって、
    前記システムは、制御回路を備え、
    前記制御回路は、
    視覚コンテンツを拡張するためのオブジェクトを選択する入力を受信することと、
    前記選択されたオブジェクトの性質が、スポンサードされたオブジェクトのデータベース内に含まれるスポンサードされたオブジェクトの性質に合致するかどうかを決定することであって、前記選択されたオブジェクトおよび前記スポンサードされたオブジェクトは、同一のカテゴリーからのものである、ことと、
    前記選択されたオブジェクトの性質が、前記スポンサードされたオブジェクトの性質に合致すると決定することに応答して、前記スポンサードされたオブジェクトを用いて前記視覚コンテンツを拡張することと
    を行うように構成されている、システム。

Images