JP6300792B2 - キャプチャされたデータの強化 - Google Patents

Description

本発明は、キャプチャされたデータを強化することに関する。

デジタルカメラは、今日、専用のデジタルカメラ、携帯電話、コンピュータ、ゲームコンソール等を含め、様々な異なるタイプのデバイスで見受けられる。デジタルカメラのこの広範な利用可能性により、ユーザは多くのデジタル写真を撮ることができるが、問題はまだ残っている。そのような問題の１つは、現在のデジタルカメラが典型的に、基本的な機能しか持たない簡単な画像キャプチャデバイスであることである。これは、特定のシーンに際して、ユーザが、スナップショットであるデジタル写真しかキャプチャすることができないので、ユーザにとって限定的なものであり得る。

この発明の概要における記載は、下記の発明を実施するための形態の項において更に説明される概念の選択を簡略化された形で紹介するために提供される。この発明の概要における記載は、特許請求に係る主題の重要な特徴又は本質的特徴を特定するようには意図されておらず、また特許請求に係る主題の範囲を限定するのに用いられるようにも意図されていない。

１つ又は複数の態様によると、環境に関してキャプチャされたデータが取得される。１つ又は複数の追加の要素が、キャプチャされたデータに少なくとも部分的に基づいて決定され、該１つ又は複数の追加の要素へのリンクが、キャプチャされたデータに関連付けられるように追加される。１つ又は複数の追加の要素とキャプチャされたデータの少なくとも一部とを使用して、強化されたコンテンツの構築が可能になる。

１つ又は複数の実施形態によると、写真の写真要素が、置換可能であるかどうかの判断が行われ、これには、置換可能な写真要素と１つ又は複数の代替の写真要素とを識別することが含まれる。置換可能な写真要素は、写真から取り除かれ、１つ又は複数の代替写真要素への１つ又は複数のリンクが追加されて、圧縮された写真が生成される。置換可能な写真要素又は代替の写真要素に関連付けられる追加の要素へのリンクも追加される。強化された写真の構築は、圧縮された写真と、１つ又は複数の代替写真要素並びに追加の要素へのリンクとを使用して可能になる。

図面を通して同様の機能を指すのに同じ番号を使用する。

１つ又は複数の実施形態に従って、キャプチャされたデータの強化を実装する例示のシステムを示す図である。 １つ又は複数の実施形態に係る例示のデータ強化システムを示す図である。 １つ又は複数の実施形態に従って、キャプチャされたデータを強化する例示の処理を示すフローチャートである。 １つ又は複数の実施形態に従って、キャプチャされたデータを強化する別の例示の処理を示すフローチャートである。 １つ又は複数の実施形態に従って、キャプチャされたデータの強化を実装するように構成され得る例示のコンピューティングデバイスを示す図である。

キャプチャされたデータを強化することについて、本明細書で説明する。キャプチャデータは、取得され、様々なタイプの記録済みデータ（例えば画像データ、オーディオデータ、ビデオデータ等）及び／又はキャプチャデバイスの様々な態様を記述するメタデータ及び／又はそのデータが記録された様式を含むことができる。１つ又は複数の代替要素によって置換することが可能な記録済みデータの１つ又は複数の要素が決定される。置換可能な要素は、記録済みデータから取り除かれ、代替要素へのリンクがキャプチャデータに関連付けられる。キャプチャデータを強化する追加の要素へのリンクも、キャプチャデータに関連付けられる。強化されたコンテンツはその後、記録済みのデータ並びに代替要素及び追加の要素へのリンクに基づいて、構築され得る。

図１は、１つ又は複数の実施形態に従って、キャプチャされたデータの強化を実装する例示のシステム１００を示す。システム１００は、データをキャプチャして１つ又は複数の再生デバイス１０４に提供する、１つ又は複数のキャプチャデバイス１０２を含む。再生デバイス１０４は、クラウドソーシング（crowd sourcing）データサービス１０６とネットワーク１０８を介して通信する。ネットワーク１０８は、インターネット、ローカルエリアネットワーク（ＬＡＮ）、公衆電話網、イントラネット、他の公衆及び／又は専用のネットワーク、これらの組合せ等を含め、様々な異なるネットワークとすることができる。１つ又は複数のキャプチャデバイス１０２は、オプションで、クラウドソーシング・データサービス１０６及び／又は１つ若しくは複数の再生デバイス１０４とネットワーク１０８を介して通信することもできる。別個のデバイスとして図示されているが、特定のデバイスがキャプチャデバイス１０２と再生デバイス１０４の双方である可能性があることに留意されたい。

キャプチャデバイス１０２は、特定の環境に関するデータをキャプチャするが、この環境は、キャプチャデータに関連付けられる環境とも呼ばれる。キャプチャされるデータに関する環境又はデータがキャプチャされる環境とは、データがキャプチャされるときのキャプチャデバイス１０２の周囲を指す。環境は、例えば建物の中、外、コンサート会場、スポーツイベントの場、パーティ会場等であり得る。各キャプチャデバイス１０２は、環境に関するデータをキャプチャすることが可能な様々な異なるタイプのデバイスのいずれかとすることができ、これにはカメラ又はビデオカメラ、タブレット又はノートパッドコンピュータ、携帯電話又は他のワイヤレス電話、ゲームコンソール、自動車用のコンピュータ、（データをキャプチャする以外のいずれか追加の機能性をほとんど提供しない）専用のデータキャプチャデバイス等がある。キャプチャデバイス１０２のそれぞれ異なる１つは、同じタイプのデバイスであってもよく、異なるタイプのデバイスであってもよい。

データをキャプチャすることは、環境に関するデータ及び／又はメタデータを記録することを指す。環境に関するデータを記録することは、環境自体の特性を記録又は感知することを指す。静止画データ、ビデオデータ、オーディオデータ及びこれらの組合せ等のように、環境に関する様々なタイプのデータのいずれか１つ又は複数を記録することができる。例えばキャプチャデバイス１０２は、特定の環境の静止画（例えば写真）及びその特定の環境で感知されたオーディオを記録すること等ができる。

環境に関するメタデータを記録することは、キャプチャデバイス１０２の様々な態様、データがキャプチャされる手法及び／又は環境の他の態様を記述するメタデータを記録することを指す。このメタデータは、環境に関するデータが記録される時の（例えばキャプチャデバイスのコンパス又は他の方向付けコンポーネントによって決定されるような）キャプチャデバイスの視点又は方向を含むことができる。このメタデータは、環境に関するデータが記録される時のキャプチャデバイスの地理的位置も（従って環境も）含むことができ、これは、例えばグローバルナビゲーション衛星システム（ＧＮＳＳ）又はキャプチャデバイスの他の位置決定コンポーネントによって決定される地理的位置等である。このメタデータは、環境に関するデータが記録された日付及び／又は時間も含むことができる。デバイス１０２によって環境に関するデータがキャプチャされるのと同時に（又はデバイス１０２によって環境に関するデータが記録されてから閾値時間内に）、キャプチャデバイス１０２がメタデータを記録するという状況では、そのメタデータは、記録されたデータに関連付けられているとも呼ばれることもある。

１つ又は複数の実施形態において、キャプチャデバイスの地理的位置を記録することは、そのようにすることに対するユーザの同意（user consent）を受信した後にのみ行われる。このユーザの同意は、オプトインの同意（opt-in consent）とすることができ、オプトインの同意では、ユーザは、地理的位置を記録するという要求に対して肯定のアクションを取る。あるいは、このユーザの同意は、オプトアウトの同意（opt-out consent）とすることもでき、オプトアウトの同意では、ユーザは、地理的位置が記録されないという要求に対して肯定のアクションを取る。ユーザが地理的位置の記録のオプトアウトを選択しない場合、これは、地理的位置が記録されることに対するユーザの暗黙的な同意である。記録された地理的位置がどのように機密にされるかをユーザに説明するプライバシ規約も、ユーザに表示することができる。さらに、デバイスの地理的位置の記録が必要でない場合、典型的には、特定のユーザを識別するいかなる個人情報も含まないことに留意されたい。したがって、特定のユーザについて地理的位置を記録することがあるが、その特定のユーザを指示するものは記録されない。

１つ又は複数の実施形態において、キャプチャデバイス１０２は、キャプチャデバイスの様々な態様、データがキャプチャされる手法及び／又は環境の他の態様を記述するメタデータを記録するが、環境に関する他のデータはキャプチャ又は記録しない。例えばキャプチャデバイス１０２は、キャプチャデバイスの視点又は方向並びにキャプチャデバイスの地理的位置(及びオプションでメタデータが記録された日付及び／又は時間)を記録するが、静止画、ビデオ及び／又は環境のオーディオは全く記録しない。したがって、キャプチャデバイス１０２は、単にキャプチャデバイスの位置（オプションで更に視点又は方向、日付及び／又は時間等）のみを記録することができ、これを、下述されるキャプチャデータを強化する技術に使用することができる。

再生デバイス１０４は、本明細書で説明される技術を使用して強化されるキャプチャデータを再生するデバイスである。キャプチャされたデータは、該キャプチャされたデータの要素又は一部を、代替要素又は部分へのリンクと置換することによって強化され得る。キャプチャされたデータは、１つ又は複数の追加の要素へのリンクを追加することによっても強化され得る。要素又は一部分を代替要素又は部分で置換すること、及び／又は１つ若しくは複数の追加の要素へのリンクを追加することは、キャプチャデータに基づいて、強化されたコンテンツを構築することを可能にし、又は許容する。キャプチャデータを強化するためのこれらの技術は、以下の追加の詳細において検討される。

各再生デバイス１０４は、様々な異なるタイプのデバイスとすることができ、例えばデスクトップコンピュータ、サーバコンピュータ、ラップトップ又はネットブックコンピュータ、タブレット又はノートパッドコンピュータ、モバイルステーション、エンターテイメント機器、ディスプレイデバイスに通信可能に結合されるセットトップボックス、テレビジョン又は他のディスプレイデバイス、携帯電話又は他のワイヤレス電話、ゲームコンソール、自動車用コンピュータ等である。したがって、再生デバイス１０４は、十分なメモリ及びプロセッサリソースを有するフルリソースデバイス（例えばパーソナルコンピュータ、ゲームコンソール）から、限られたメモリ及び／又は処理リソースを有する低リソースデバイス（例えば従来のセットトップボックス、テレビジョン）までに及ぶことができる。様々な再生デバイス１０４は同じ及び／又は異なるタイプのデバイスとすることができる。

キャプチャデバイス１０２は、キャプチャされたデータ及び記録されたメタデータを１つ又は複数の再生デバイス１０４に提供する。あるいは、キャプチャされたデータをキャプチャデバイス上で再生することができ、この場合、キャプチャデバイス１０２は再生デバイス１０４でもある。キャプチャデバイス１０２は、キャプチャされたデータ及び記録されたメタデータを再生デバイスへ、例えばネットワーク１０８経由、別のリンク又は接続（例えばユニバーサルシリアルバス（ＵＳＢ）又は無線ＵＳＢ接続のような有線又は無線接続）経由、取外し可能メモリ媒体（例えばキャプチャデバイス１０２から取り外されて再生デバイス１０４に挿入されるフラッシュメモリデバイス）又は他の記憶デバイス等を介するような、様々な手法で提供する。

クラウドソーシング・データサービス１０６は、キャプチャデータを強化するのに使用されるデータを維持する。１つ又は複数の実施形態において、キャプチャデバイス１０２によってキャプチャされるデータは、クラウドソーシング・データサービス１０６に提供される。あるいはまた、キャプチャデータを強化するのに使用されるデータを、他のソースからサービス１０６に提供することができる。例えばデータコレクション又はライブラリを、様々なソースからサービス１０６に提供することができる。サービス１０６は、単一のソースからのデータではなく、サービス１０６が複数のソースから受信したデータに依拠してキャプチャデータを強化することに起因して、クラウドソーシング・サービスと呼ばれる。

クラウドソーシング・サービス１０６は、様々な異なるタイプのデバイスの１つ又は複数を使用して実装される。例えばサービス１０６は、再生デバイス１０４に関して上述したような様々なタイプのデバイスのいずれかを使用して実装され得る。サービス１０６は、同じ及び／又は異なるタイプのデバイスの１つ又は複数を使用して実装され得る。

図２は、１つ又は複数の実施形態に係るデータ強化システム２００を示す図である。システム２００は、環境キャプチャモジュール２０２、リンク挿入モジュール２０４、クラウドソースデータ（crowd sourced data）モジュール２０６及び再生モジュール２０８を含む。図２には具体的なモジュールが図示されているが、追加のモジュールをデータ強化システム２００に含めることができることに留意されたい。加えて、データ強化システム２００に図示されている複数のモジュールの機能性を、単一のモジュールに組み合わせることができ、及び／又はデータ強化システム２００内に図示されている１つ若しくは複数のモジュールの機能性を、複数のモジュールへと分けることができる。

モジュール２０２〜２０８を１つ又は複数のデバイスによって実装することができる。１つ又は複数の実施形態において、モジュール２０２〜２０８はそれぞれ、異なるデバイスによって実装される。あるいは、モジュール２０２〜２０８の２つ又はそれ以上を、少なくとも部分的に同じデバイスにおいて実装することができる。

環境キャプチャモジュール２０２は、図１のキャプチャデバイス１０２のようなキャプチャデバイスに含まれ、環境に関するデータをキャプチャする。キャプチャされたデータ２１２は、上述のように、キャプチャすることができる環境に関する様々なタイプのデータ及び／又はメタデータとすることができ、リンク挿入モジュール２０４へ提供される。リンク挿入モジュール２０４を、環境キャプチャモジュール２０２と同じデバイスに含めることができ、あるいは異なるデバイスに含めてもよい。キャプチャモジュール２０２は、様々な手法でキャプチャデータ２１２をリンク挿入モジュール２０４へ提供することができ、これには、例えばキャプチャデータ２１２を、モジュール２０４のインタフェースを起動するときのパラメータとして含めること、キャプチャデータ２１２をモジュール２０４に対してアクセス可能な位置に格納すること、電子メール又は他のメッセージングプロトコルを使用してキャプチャデータ２１２をモジュール２０４に通信すること等の手法がある。

リンク挿入モジュール２０４は、データストア２１０に格納された他のデータからの要素によって置換することができるキャプチャデータ２１２の要素を識別する。モジュール２０４が識別するキャプチャデータ２１２の要素を、他のデータからの要素（又は置換可能な要素とも呼ばれる）によって置換することができるように、リンク挿入モジュール２０４は、キャプチャデータ２１２から、置換することができる要素を取り除き、識別された要素を置換している代替要素へのリンクを（キャプチャデータ２１２に関連付けられるように）追加する。異なるタイプの要素を、キャプチャされるデータのタイプに基づいて識別することができ、例えばキャプチャデータ２１２が写真又は画像データを含む場合は写真要素であると識別され、キャプチャデータがオーディオデータ等を含む場合はオーディオ要素であると識別される等である。

データストア２１０は、キャプチャされたデータを強化するのに使用されるデータを保持し、図１のクラウドソーシング・データサービス１０６によって実装され得る。データストア２１０に含まれるデータを、図１の様々なキャプチャデバイス１０２、他のデータコレクション又はライブラリ等のような様々なソースから取得することができる。

リンク挿入モジュール２０４は、他のデータからの要素によって置換され得るキャプチャデータ２１２の要素を、データストア２１０内のデータと同じ又は類似するキャプチャデータの要素（部分とも呼ばれる）を識別することによって決定する。これらの要素を、パターンマッチング及び／又はオブジェクトマッチングを実行するための様々な異なる公に利用可能な及び／又は独自の技術のいずれかを使用して識別することができる。キャプチャデータ２１２内のオブジェクト又はパターンは、そのような技術を使用して識別され、データストア２１０内の、同じ又は同様のオブジェクト又はパターンを含む他のデータが識別される。例えばキャプチャされたデータが写真である場合、その写真の中の建物又はランドマークがモジュール２０４によって識別され、同じ建物又はランドマークを含むデータストア２１０内の１つ又は複数の他の写真も識別される。

パターンマッチング及び／又はオブジェクトマッチングは、キャプチャされたデータ２１２に含まれる記録されたデータからの様々なファクタを考慮することができ、このようなファクタは、例えば、画像内の線又は頂点の位置、画像内の色、オーディオにおけるサウンドのパターン等がある。パターンマッチング／オブジェクトマッチングは、キャプチャされたデータ２１２に含まれるメタデータからの様々なファクタを考慮することもできる。例えばメタデータからのこれらのファクタには、データをキャプチャしたデバイスの地理的位置、デバイスがデータをキャプチャした時のデバイスの視点又は方向、データをキャプチャした日付及び／又は時間等が含まれ得る。

リンク挿入モジュール２０４が識別する、キャプチャされたデータ２１２の要素を、他のデータからの要素によって置換することができるように、リンク挿入モジュール２０４は、キャプチャされたデータ２１２から、置換することが可能な識別された要素を取り除く。この置換可能な要素を、異なる手法により、キャプチャされたデータ２１２から取り除くことができる。１つ又は複数の実施形態において、識別された要素についてのデータを、（典型的には高圧縮率で圧縮することができる）何らかの他のデータ、例えば一連の全て“０”ビットの値又は全て“１”ビットの値で置換される。例えば写真（キャプチャされたデータ２１２）のある要素が取り除かれると、その写真のデータでは、その要素に含まれるピクセルについてのデータを“０”又は“１”の値で置換することができる。他の実施形態において、取り除かれた要素及びデータ内の対応する位置を識別するテーブル又は他のレコードを保持することができ、識別された要素のデータは、単に削除される。例えば写真（キャプチャされたデータ２１２）の要素が取り除かれる場合、写真内のどのピクセルがその要素に対応するかを識別するテーブル又は他のレコードを保持することができ、写真のデータにおいて、その要素に対応するピクセルについてのデータを単に削除することができる。

リンク挿入モジュール２０４が除去する、キャプチャされたデータ２１２の各要素について、リンク挿入モジュール２０４は、キャプチャされたデータ２１２に関連付けられるように、識別された要素を置換している代替要素へのリンクを追加する。代替要素へのリンクは、代替要素が格納されている場所及び／又は代替要素を取り出すことができる方法を識別する様々な情報を含み、以下でより詳細に説明されるように、代替要素を後に取り出すことを可能にする。

１つ又は複数の実施形態において、代替要素は、それ自体の個々のデータ（例えばその要素自体のファイル）として格納され、リンクは、その個々のデータがデータストア２１０内で格納されている場所を指示する。個々のデータが格納されている場所の指示は、ファイルのパス名、ユニフォームリソースインジケータ（ＵＲＩ）、データベース内の位置等のような様々な形式をとることができる。個々のデータを、別のデバイス若しくはサービスにより、リンク挿入モジュール２０４（例えば代替要素によって置換可能な要素を識別することに応答して、モジュール２０４がその代替要素を別個のファイルとして保存することができる）による手法等により、異なる手法で生成することができる。

他の実施形態において、代替要素は、他のデータの一部として格納され（例えば他のデータを格納するファイルの一部として含まれ）、リンクは、該他のデータがデータストア２１０内で格納されている場所と、該他のデータ内の代替要素の場所との双方を指示する。他のデータが格納されている場所の指示は、ファイルのパス名、ＵＲＩ、データベース内の位置等のような異なる形式をとることができる。他のデータ内における代替要素の場所の指示は、特定のデータ範囲、特定のピクセルに関連付けられるデータ等のような、異なる形式をとることができる。

置換可能な要素がキャプチャデータ２１２内で配置されている場所についての指示も記録される。キャプチャデータ２１２内における置換可能な要素の場所の指示は、特定のデータ範囲。特定のピクセルに関連付けられるデータ等のような異なる形式をとることができる。置換可能な要素がキャプチャされたデータ２１２内に配置される場所の指示を保持することにより、以下でより詳細に説明されるように、強化されたコンテンツを生成するときに、代替要素を追加することが可能になる。キャプチャされたデータ２１２における置換可能な要素の場所の指示を、代替要素へのリンクの一部として格納すること、キャプチャされたデータ２１２に関連付けられた追加のデータ内に格納すること等のような、異なる手法で格納することができる。

代替要素によって置換可能なキャプチャされたデータ２１２の要素を識別するのに用いられるパターンマッチング及び／又はオブジェクトマッチング技術は、キャプチャされたデータ２１２の識別された要素と同様の代替要素を選択することができることに留意されたい。識別された要素と同様の代替要素とは、識別された要素と同一ではないが、識別された要素から閾値未満の差しか有さない要素を指す。この閾値の差分を、異なる手法によって決定することができ、例えば少なくとも同一の閾値部分を有すること（例えば写真内の少なくとも閾値数のピクセルが同じ値であること）、少なくとも識別された要素の閾値内である閾値部分を有すること（例えば写真内の少なくとも閾値数のピクセルが、互いに対して閾値内であること）、体外に対して閾値内の生成されたスコアを有すること等である。

１つ又は複数の実施形態において、置換可能な要素及び代替要素が同一でない状況において、リンク挿入モジュール２０４は、置換可能な要素と代替要素との間の差を示す変更データも記録する。この変更データを異なる手法により記録することができる。例えばキャプチャされたデータ２１２が写真の場合、変更データは、置換可能要素と代替要素との間の対応ピクセルの値における差とすることができる。この変更データは、代替要素へのリンクの一部として格納すること、キャプチャされたデータ２１２に関連付けられる追加のデータに格納すること等のように、様々な異なる手法で格納され得る。

あるいは、置換可能な要素及び代替要素が同一でない状況において、リンク挿入モジュール２０４は、置換可能な要素と代替要素との間の差に関する変更データを全く記録しない。したがって、リンク挿入モジュール２０４は、画像の要素を、その要素の他のビュー（例えばランドマーク上の落書きを取り除いたビュー、ランドマークの正面に立っている人々を取り除いたビュー等）で置換することができる。ユーザインタフェースが、オプションにより、リンク挿入モジュール２０４によって提示されることがあり、これによりモジュール２０４は、ある要素について複数の可能性のあるビューのうちどのビューが、置換可能な要素の代替要素として使用されることになるかを特定する、ユーザ入力を受信することが可能になる。

リンク挿入モジュール２０４は、リンクされたデータ２１４を再生モジュール２０８に提供する。リンクされたデータ２１４は、置換可能な要素が取り除かれている、キャプチャされたデータ２１２である。１つ又は複数の実施形態において、リンクされたデータ２１４は、置換可能な要素を置換する代替要素への（例えばメタデータに関連付けられるような）リンクを含み、オプションで、キャプチャされたデータ２１２に関連付けられる他の追加のデータも含む。したがって、そのような実施形態では、リンクされたデータ２１４は、（取り除かれた要素より少ない）キャプチャされたデータ２１２だけでなく、代替要素へのリンク（及びオプションでキャプチャされたデータ２１２に関連付けられる他の追加のデータ）を含む。

あるいは、代替要素へのリンク及び／又はキャプチャされたデータ２１２に関連付けられる他の追加のデータを、リンクされたデータ２１４に含めるのではなく、リンクされたデータ２１４と、リンク及び／又はキャプチャされたデータに関連付けられる他の追加のデータとの間の関連付けを、他の手法により維持することができる。１つ又は複数の実施形態において、リンク及び／又はキャプチャされたデータ２１２に関連付けられる他の追加のデータが、再生モジュール２０８に対してアクセス可能なテーブル又は他のレコードに維持される。リンク及び／又はキャプチャされたデータ２１２に関連付けられる他の追加のデータを、データストア２１０に格納するか、あるいは別のサービス又はモジュールの一部として格納することもでき、以下でより詳細に説明されるような強化コンテンツを生成するのにアクセスすることができる。

リンク挿入モジュール２０４は、異なる代替要素で置換することができる、キャプチャされたデータ２１２内の複数の要素を識別することができることに留意されたい。そのような状況において、複数の識別された要素の各々について、モジュール２０４は、識別された要素を、キャプチャされたデータ２１２から取り除いて、その識別された要素を置換している代替要素へのリンクを追加する。

リンクされる代替要素が、置換した要素と異なる解像度を有することができることにも留意されたい。例えばキャプチャされたデータ２１２が、特定の解像度を有する写真であるとき、代替要素は、より高い解像度（例えば平方インチ当たり、より多くのピクセル）を有する写真に含まれる可能性がある。したがって、代替要素は、置換された識別された要素では得られなかった更なる詳細（detail）を有することができる。この更なる詳細により、例えばユーザは、強化されたコンテンツを続けて見ているときに代替要素に対してズームインして、置換された識別された要素では得られない細部（例えばテキスト、人、作品等）を見ることが可能になる。

リンク挿入モジュール２０４は、リンクされたデータ２１４に、１つ又は複数の追加の要素へのリンクを追加することもできる。１つ又は複数の実施形態において、モジュール２０４は、置換可能な要素を取り除くこと及び代替要素へのリンクを追加することに加えて、１つ又は複数の追加の要素へのリンクを追加する。他の実施形態において、モジュール２０４は、置換可能な要素を取り除くこと及び代替要素へのリンクを追加する代わりに、１つ又は複数の追加の要素へのリンクを追加する。したがって、一部の実施形態において、システム２００は、キャプチャされたデータの要素を代替要素で置換しない。

１つ又は複数の追加の要素へのリンクは、データストア２１０内のデータへのリンクとすることができ、これらのリンクは、上述の代替要素へのリンクと同様に、その追加の要素が格納されている場所及び／又はその追加の要素を様々な手法でどのように取り出すことができるかを特定することができる。上述の代替要素へのリンクと同様に、１つ又は複数の追加の要素へのリンクを、リンクされたデータ２１４に関連付けられるメタデータ、あるいはそうでなくとも、リンクされたデータ２１４に関連付けられるメタデータとして含むことができる。

１つ又は複数の追加の要素へのリンクは、様々なタイプのデータをキャプチャされたデータ２１２に追加することによって、該キャプチャされたデータ２１２を強化する。１つ又は複数の追加の要素は、キャプチャされたデータ２１２と同じタイプのデータ及び／又はキャプチャされたデータ２１２と異なるタイプのデータとすることができる。

１つ又は複数の実施形態において、１つ又は複数の追加の要素は、キャプチャされたデータ２１２と同じタイプのデータの要素を含む。例えばキャプチャされたデータ２１２が画像（写真）である場合、１つ又は複数の追加の要素は画像データを含む。リンク挿入モジュール２０４は、含めるべき追加の要素を様々な手法で決定することができる。１つ又は複数の実施形態において、モジュール２０４は、様々なパターンマッチング及び／又はオブジェクトマッチング技術を使用して、データストア２１０内のデータと同じ又は類似する、キャプチャされるデータ２１２の（及び／又はキャプチャされたデータ２１２に関連付けられる代替要素へリンクされる）要素を識別する。データストア２１０内のデータと同じ又は類似の要素の当該識別は、上述したような、他のデータからの要素によって置換することができる、キャプチャされたデータの要素を識別するのと同様の手法により、実行することができる。追加の要素が、キャプチャされたデータの要素及び／又はキャプチャされたデータ２１２に関連付けられる代替要素へリンクされた要素に基づいて識別されると、これらの追加の要素も、キャプチャされたデータの要素及び／又は代替要素に関連付けられているものとして参照される。

同じタイプの追加の要素は、識別された要素に比して追加のデータ又は詳細を含む要素とすることができる。例えばキャプチャされたデータ２１２が、識別された要素として特定のランドマークを含む写真である場合、追加の要素は、同じランドマークに関する追加の詳細を提供する写真とすることができる。リンク挿入モジュール２０４は、異なる手法により、識別された要素に対して追加のデータ又は詳細を含む追加の要素を決定することができる。１つ又は複数の実施形態において、モジュール２０４は、識別された要素について、より高解像度（例えば画像データについて平方インチあたりピクセルがより多い、オーディオデータについてサンプリング周波数がより高い等）でキャプチャされたデータに含まれる追加の要素は、識別された要素に対する追加のデータ又は詳細を含むと決定する。他の実施形態において、モジュール２０４は、識別された要素と追加の要素の双方について、要素解像度を決定する。要素の解像度とは、どのくらいのデータ又は詳細（例えばどの位のピクセル又はデータのバイト数等）がその要素内に含まれているかを指す。モジュール２０４は、追加の要素が、追加の要素が識別された要素よりも高い要素解像度を有する場合、識別された要素よりも追加のデータ又は詳細を含むと決定する。

リンク挿入モジュール２０４は、複数の追加の要素が、同じ識別された要素に対して追加のデータ又は詳細を有することを決定することができることに留意されたい。そのような状況では、モジュール２０は、リンクされたデータ２１４内に、複数の追加の要素のうちの１つへのリンク又は複数の追加の要素のうちの複数要素（例えばそれぞれ１つ）へのリンク（複数）を含むことができる。

あるいはまた、リンク挿入モジュール２０４は、他の手法により、キャプチャされたデータ２１２と同じタイプのデータについて、含めるべき１つ又は複数の要素を決定することができる。１つ又は複数の実施形態において、リンク挿入モジュール２０４は、リンクされたデータ２１４内に含めるべき１つ又は複数の追加の要素を、キャプチャされたデータ２１２のメタデータに基づいて決定する。このメタデータは、上述のように、キャプチャデバイスの地理的位置、キャプチャデバイスの視点若しくは方向並びにデータがキャプチャされた日付及び／又は時間のような、様々な情報を含むことができる。データストア２１０に含まれるデータは、メタデータに関連する情報も含み、該情報は、キャプチャされたデータ２１２に関連付けられるメタデータと同じ情報を含むことができる。例えばデータストア２１０内に含まれるデータは、該データがキャプチャされた時間における、該データをキャプチャしたデバイスの地理的位置、該デバイスがキャプチャされた時間における、該データをキャプチャしたデバイスの視点又は方向、データがキャプチャされた日付及び／又は時間等を識別する、関連するメタデータを有することができる。

リンク挿入モジュール２０４は、キャプチャされたデータ２１２のメタデータに合致する、関連するメタデータを有するデータストア２１０内のデータを識別する。メタデータ内の情報が、互いに対する閾値（threshold amount）以内である場合、合致する。例えばキャプチャデータ２１２のメタデータがキャプチャデバイスの地理的位置を含み、データストア２１０内のデータに関連付けられるメタデータが地理的位置を含む場合、２つのメタデータの地理的位置が、互いに対する閾値距離（例えば１０メートル、５メートル等）以内であれば、２つのメタデータは合致する。更なる例として、キャプチャされたデータ２１２のメタデータがキャプチャデバイスの方向も含み、データストア２１０内のデータが方向を含む場合、2つのメタデータの地理的位置が互いに対する閾値距離以内であり、かつ、その方向が、互いに対する閾値（例えば３度、１０度等）以内であれば、２つのメタデータは合致する。

したがって、リンク挿入モジュール２０４は、キャプチャされたデータ２１２を強化する、データストア２１０内の追加の要素を、該要素が、キャプチャされたデータ内の要素と同一又は類似の要素ではないとしても、識別することができる。これらの追加の要素は、例えば画像又はビデオの視野を拡張することができ、またキャプチャされたオーディオを拡張することもできる。例えばキャプチャされたデータ２１２が、特定の地理的位置において、特定の方向を指すキャプチャデバイスで、特定の日時にキャプチャされた画像である場合、追加の要素は、キャプチャされたデータ２１２に含まれないが、同じ（又は近くの）地理的位置から、同じ（又は近くの）方向を指すデバイスによって、同じ（又は近い）日時にキャプチャされた、環境の追加の部分（例えば画像をキャプチャしたときにキャプチャデバイスの視野の外側にある人々、建物、景色等）とすることができる。したがって、キャプチャされたデータ２１２が、環境のこれらの追加の部分を含まなかった場合も、これらの追加の部分を、リンクされたデータ２１４に含めることができる。

１つ又は複数の実施形態において、１つ又は複数の追加要素は、キャプチャされたデータ２１２と異なるタイプのデータの要素を含む。例えばキャプチャされたデータ２１２が画像（写真）の場合、１つ又は複数の追加の要素は、オーディオデータ、ビデオデータ等を含むことができる。これらの異なるデータのタイプは、キャプチャデバイス（例えば図１のキャプチャデバイス１０２）によってキャプチャすることができるデータのタイプのいずれか、あるいは他のデータのタイプとすることができる。例えば１つ又は複数の追加の要素は、テキストタイプのデータ（例えば百科事典のエントリ（encyclopedia entry）又は他の記載）、描画タイプのデータ等とすることができる。１つ又は複数の追加の要素は、キャプチャデバイスによってサポートされるタイプ以外のデータのタイプを含むことができる。例えばキャプチャされたデータ２１２が、オーディオデータを記録しないデバイスによってキャプチャさえる場合、１つ又は複数の追加の要素はオーディオデータを含むことができる。

リンク挿入モジュール２０４は、様々な手法により、リンクされたデータ２１４に含むべき追加の要素を決定することができる。１つ又は複数の実施形態において、リンク挿入モジュール２０４は、リンクされたデータ２１４に含めるべき異なるデータタイプの追加の要素を、キャプチャされたデータ２１２に関連付けられるメタデータ及びデータストア２１０内のデータに関連付けられるメタデータに基づいて決定する。リンク挿入モジュール２０４は、追加の要素はキャプチャされたデータ２１２とは異なるタイプのデータではあるが、キャプチャされたデータ２１２と同じデータタイプの追加の要素を決定することに関して上記したものと同様に、キャプチャされたデータ２１２に関連付けられるメタデータに合致する関連するメタデータを有する、データストア２１０内のデータを識別する。

したがって、リンク挿入モジュール２０４は、キャプチャされたデータ２１２に含まれないデータのタイプを提供することによって、キャプチャされたデータ２１２を強化するデータストア２１０内の追加の要素を識別することができる。例えばキャプチャされたデータ２１２が、特定の地理的位置において、特定の日の特定の時間においてキャプチャされた画像である場合、追加の要素は、キャプチャされたデータ２１２内に含まれないが、同じ（又は近くの）地理的位置から同じ日の同じ（近い）時間にキャプチャされた、その環境についての追加のタイプのデータ（例えばオーディオデータ）とすることができる。したがって、キャプチャされたデータ２１２がこれらの追加のタイプのデータを含まなかった場合でも、依然としてこれらの追加のタイプのデータを、リンクされたデータ２１４に含めることができる。

リンク挿入モジュール２０４は、キャプチャされたデータ２１２のメタデータを使用することに加えて又はこれに代えて、他の手法により、リンクされたデータ２１４に含めるべき異なるデータタイプの追加の要素を決定することもできる。１つ又は複数の実施形態において、リンク挿入モジュール２０４は、リンクされたデータ２１４に含めるべき異なるデータタイプの追加の要素を、キャプチャされたデータ２１２（又はキャプチャされたデータ２１２に関連付けられる代替要素へのリンク）に基づいて決定する。例えばモジュール２０４は、様々なパターンマッチング及び／又はオブジェクトマッチング技術を使用して、特定のランドマーク、特定の固体等のような、キャプチャされた要素２１２の特定の要素（又は代替要素へのリンク）を識別することができる。これらの技術を使用して、コンサート、スポーツイベント等のような様々な一般的な環境タイプを識別することもできる。データストア２１０内の要素についての識別された要素又は一般的な環境タイプも、データストア２１０内のデータに関連付けられるメタデータに含まれる、識別された要素又は一般的な環境タイプの指示に基づいて識別される。追加の要素が、キャプチャされたデータの要素及び／又はキャプチャされたデータ２１２に関連付けられる代替要素へのリンクに基づいて識別されると、これらの追加の要素も、キャプチャされたデータの要素及び／又は代替要素に関連付けられるものとして参照される。

これらの様々なパターンマッチング及び／又はオブジェクトマッチング技術を使用して、データストア２１０内のデータの特定の要素を（データストア２１０内のデータ自体又はデータストア２１０内のデータに関連付けられるメタデータ）識別することができ、リンク挿入モジュール２０４は、同じ特定の要素を含むデータストア２１０内のデータを識別することができる。例えばモジュール２０４は、キャプチャされたデータ２１２について特定の環境タイプ（例えばスポーツイベントの画像データ）を決定し、追加の要素として、同じ環境タイプを有するデータストア２１０内の他のタイプのデータ（例えばスポーツイベントのオーディオデータ）を識別することができる。別の例として、モジュール２０４は、キャプチャされたデータ２１２（例えば画像及び／又はビデオデータ）について特定のランドマークを決定し、その同じ特定のランドマークを有するデータストア２１０内の他のタイプのデータ（例えばテキスト記述）を追加の要素として識別することができる。

リンク挿入モジュール２０４によって決定される追加の要素は、他のデータの一部又は他のデータの全体とすることができることに留意されたい。例えばキャプチャされたデータ２１２は、画像又はビデオとすることができ、追加の要素は、他の画像、ビデオ及び／又はオーディオの一部、あるいは他の画像、ビデオ及び／又はオーディオの全体とすることができる。追加の要素を、モジュール２０４によって上述の手法とは異なる手法で、キャプチャデータ２１２に関連付けられたメタデータ、キャプチャされたデータ２１２自体及び／又は代替要素に基づいて決定することができる。例えばモジュール２０４は、追加のデータとして、閾値時間（例えば１５秒）までにキャプチャされた、データ２１２をキャプチャした時間に先行する１つ又は複数の画像を識別することができる。

環境キャプチャモジュール２０２は、キャプチャデバイスの様々な態様を記述するメタデータ（例えばそのデバイスの地理的位置、そのデバイスの方向又は視点等）をキャプチャするが、環境に関するいかなる他のデータも記録しないことがある（例えば画像を全くキャプチャせず、オーディオを全くキャプチャせず、ビデオも全くキャプチャしない等）。キャプチャモジュール２０２は、したがって、環境の特性を感知する環境センサを有さない（例えば環境内の画像又はオーディオを記録するセンサのない）デバイスに含まれるか、環境の特性を感知するための環境センサを用いて、環境に関するデータを記録することなく、メタデータを記録するデバイスに含まれる可能性がある。しかしながら、メタデータに基づいて、１つ又は複数の追加の要素をリンク挿入モジュール２０４によって決定することができ、これにより、該追加の要素を、リンクされたデータ２１４への画像、オーディオ、ビデオ等内に追加することができる。したがって、キャプチャデバイスは、画像キャプチャコンポーネント、オーディオキャプチャコンポーネント等を全く含まずに、単にキャプチャデバイスの態様を記述するメタデータ（例えばデバイスの地理的位置及び方向若しくは視点）を記録すればよいことがある。データストア２１０内の画像データ及び／又はオーディオデータは、上述のようにメタデータに基づいて、追加の要素として識別されることがあり、該追加の要素へのリンクを、リンクデータ２１４へモジュール２０４によって追加することができる。

キャプチャされたデータ２１２が複数のタイプのデータ（例えばビデオデータ及びオーディオデータ）を含むという状況が生じる可能性がある。リンク挿入モジュール２０４はオプションで、代替要素及び／又は追加の要素を決定することによって、これらのタイプのデータの１つを置換することができる。例えばあるタイプのデータ（例えば画像データ又はビデオデータ）を使用して、キャプチャされたデータについて特定の環境タイプを識別することができ、その同じ環境タイプを有する追加の要素（例えばオーディオデータ）を識別することができる。モジュール２０４は、キャプチャされたデータ２１２内で対応するタイプのデータを、追加の要素へのリンクで置換することができる。したがって、例えばキャプチャされたデータ２１２内のあるタイプのデータ（例えば画像データ又はビデオデータ）は、リンクされたデータ２１４内に残り、キャプチャされたデータ２１２内の他のタイプのデータ（例えばオーディオデータ）を、追加の要素へのリンクで置換することができる。

リンクされたデータ２１４は、再生モジュール２０８に提供される。リンク挿入モジュール２０４は、リンクされたデータ２１４を様々な手法で再生モジュールに提供することができ、この手法には、例えばデータ２１４をモジュール２０８のインタフェースを起動するときのパラメータとして含めること、データ２１４をモジュール２０８に対してアクセス可能な位置に格納すること、電子メール又は他のメッセージングプロトコルによりデータ２１４をモジュール２０８へ伝達すること等がある。再生モジュール２０８は、データ２１４内でクラウドソースデータモジュール２０６からデータ２１４内へとリンクされる要素を要求する。代替物（及び／又は追加の要素）が格納される場所及び／又は代替物（及び／又は追加の要素）を取り出すことができる方法は、上述のように、要素へのリンクによって識別される。クラウドソースデータモジュール２０６は、データストア２１０から要素へのリンクを取得し、該要素へのリンクを、強化データ２１６として再生モジュール２０８に提供する。

再生モジュール２０８は、強化データ２１６を受信し、強化データ２１６をリンクされたデータ２１４と組み合わせて強化されたコンテンツ２１８を生成又は構築する。データ２１４及び２１６を、強化データ２１６内に含まれる要素のタイプに基づいて、異なる手法により組み合わせることができる。例えば代替要素を（キャプチャされたデータ２１２内で置換可能な要素があった位置に）データ２１４に追加することができる。別の例として、追加の要素をデータ２１４に追加することができる。例えば写真は、キャプチャされたデータ２１２内に含まれていない追加の部分を含めるように強化されることがあり、オーディオデータは画像データに追加することができ、キャプチャされたオーディオデータを他のオーディオデータと置換することができ、環境に関する他のキャプチャされたデータを有しないキャプチャされたメタデータは、オーディオ及び／又はビデオデータを含めるように強化されること等が可能である。再生モジュール２０８は、強化されたコンテンツ２１８を再生（例えば表示又は他の方法により提示）することができ、あるいは強化されたコンテンツ２１８による他のアクションをとる（例えば強化された２１８を特定のストレージデバイスに格納する、強化されたコンテンツ２１８を別のデバイス又はモジュールに伝送する等）ことができる。

図３は、１つ又は複数の実施形態に従ってキャプチャされたデータを強化するための例示の処理３００を図示するフローチャートである。処理３００は、図２のリンク挿入モジュール２０４のような１つ又は複数のモジュールによって実行される方法又はスキーマであり、ソフトウェア、ファームウェア、ハードウェア又はその組み合わせで実装することができる。処理３００は、動作のセットとして示されているが、様々な動作のオペレーションを実行するために図示される順序に限定されない。処理３００は、キャプチャされたデータを強化するための例示の処理であり、キャプチャされたデータを強化する追加の議論は、異なる図面との関連で本明細書内に含まれている。

処理３００において、環境に関するキャプチャされたデータが取得される（動作３０２）。キャプチャされるデータは、上述のように様々な手法で処理３００を実装する１つ又は複数のモジュールに対してキャプチャされるか、該１つ又は複数のモジュールへ提供され得る。

１つ又は複数の追加の要素が決定される（動作３０４）。これらの１つ又は複数の追加の要素は、上述のように、キャプチャされたデータに基づいて決定される。１つ又は複数の追加の要素を決定するのを容易にするユーザ入力を、オプションにより受け取ることができる（例えば追加の要素を識別するのに使用すべきファクタ又は技術を指示するユーザ入力、追加の要素のデータのタイプを指示するユーザ入力、複数の追加の要素のうちの１つ又は複数のユーザ選択等）。

１つ又は複数の追加の要素への１つ又は複数のリンクが、キャプチャされたデータに関連付けられるように追加される（動作３０６）。これらの１つ又は複数のリンクを、上述のような様々な異なる手法により追加することができる。

１つ又は複数の追加の要素並びにキャプチャされたデータの少なくとも一部を使用して、強化されたコンテンツの構築が可能になる（動作３０８）。１つ又は複数の追加の要素へのリンクにより、強化されたコンテンツを構築することが可能になる。この構築には、上述のように、１つ又は複数の追加の要素を、キャプチャされたデータの少なくとも一部と組み合わせることが含まれる。

図４は、１つ又は複数の実施形態に従ってキャプチャされたデータを強化するための別の例示の処理４００を図示するフローチャートである。処理４００は、図２のリンク挿入モジュール２０４のような１つ又は複数のモジュールによって実行される方法又はスキーマであり、ソフトウェア、ファームウェア、ハードウェア又はその組み合わせで実装することができる。処理４００は、動作のセットとして示されているが、様々な動作のオペレーションを実行するために図示される順序に限定されない。処理４００は、キャプチャされたデータを強化するための例示の処理であり、キャプチャされたデータを強化する追加の議論は、異なる図面との関連で本明細書内に含まれている。

処理４００において、環境に関するキャプチャされたデータが取得される（動作４０２）。キャプチャされるデータは、上述のように様々な手法で処理４００を実装する１つ又は複数のモジュールに対してキャプチャされるか、該１つ又は複数のモジュールへ提供され得る。

キャプチャされたデータの１つ又は要素を、１つ又は複数の代替要素と置換することができるかどうかに関する決定が行われる（動作４０４）。この決定は、上述のように、１つ又は複数の置換可能な要素並びに１つ又は複数の代替要素を識別することを含む。

１つ又は複数の識別された置換可能な要素が、キャプチャされたデータから取り除かれ（動作４０６）、圧縮された写真が生成される。これらの置換可能な要素は、上述のように、異なる手法により取り除かれる可能性がある。

１つ又は複数の代替要素への１つ又は複数のリンクが追加される（動作４０８）。これらの１つ又は複数のリンクを、キャプチャされたデータに関連付けられるように追加し、上述のような様々な異なる手法により追加することができる。１つ又は複数の代替要素を決定するのを容易にするユーザ入力を、オプションにより受け取ることができる（例えば代替要素を識別するのに使用すべきファクタ又は技術を指示するユーザ入力、複数の代替要素のうちの１つのユーザ選択等）。

１つ又は複数の追加の要素も決定される（動作４１０）。これらの１つ又は複数の追加の要素は、キャプチャされたデータ（及び／又は代替要素）に基づいて決定され、上述のように置換可能な要素及び／又は代替要素に関連付けられる。１つ又は複数の追加の要素を決定するのを容易にするユーザ入力を、オプションにより受け取ることができる（例えば追加の要素を識別するのに使用すべきファクタ又は技術を指示するユーザ入力、追加の要素のデータのタイプを指示するユーザ入力、複数の追加の要素のうちの１つ又は複数のユーザ選択等）。

１つ又は複数の追加の要素への１つ又は複数のリンクが追加される（動作４１２）。これらの１つ又は複数のリンクは、キャプチャされたデータに関連付けられ、上述のような様々な異なる手法により追加され得る。写真は、例えば置換可能な要素がその写真から取り除かれるために、写真を強化する追加の要素自体ではなく、その追加の要素へリンクされているリンクが写真内に含まれるために、圧縮される。

圧縮されたキャプチャされたデータ及び１つ若しくは複数の代替要素及び追加の要素を使用して、強化されたコンテンツの構築が可能になる（動作４１４）。１つ若しくは複数の代替要素及び／又は１つ若しくは複数の追加の要素へのリンクにより、強化されたコンテンツを構築することが可能になる。この構築には、上述のように、１つ又は複数の追加の要素、代替要素、並びにキャプチャされたデータを組み合わせることが含まれる。

本明細書で説明される、キャプチャされたデータを強化する技術は、様々な利用シナリオをサポートする。例えばユーザは、様々なランドマーク、アート作品、景観等の写真を撮ることができる。次いで、これらの写真の一部を、同じランドマーク、アート作品、景観等の他のより高い解像度の写真の部分で置換することができ、これにより、ユーザに、そのユーザが撮った写真よりも（潜在的にはユーザのカメラで撮ることができるものよりも）高解像度の写真を提供する。ユーザは、したがって、追加的な細部を見ることができ、オプションにより、写真の一部にズームインして、ユーザが撮った写真では可視でなかった可能性のある人々や文字、デザイン等を見ることができる。オーディオデータを写真に追加することもでき、これにより、写真を後に表示するときにオーディオを再生することが可能になる。したがって、ユーザが自身の写真とともにオーディオをキャプチャしていなかったとしても、そのランドマーク、アート作品、景観等に対応するオーディオデータをユーザに提示することができる。

様々な議論は、キャプチャデータが写真である場合に関連して説明してきたが、本明細書で説明される技術は、ビデオデータのような様々な他のタイプのキャプチャデータにも用いることができることに留意されたい。ビデオデータは、フレームのシーケンス又はアレイとして見ることができ、各フレームが、本明細書で説明される写真として取り扱われる。本明細書で説明される技術を、シーケンス又はアレイ内のフレームのうちの複数フレーム（それぞれ１つ）に適用することができる。ビデオ内の特定のフレームについて、１つ又は複数の代替要素は、他の写真若しくはビデオからの要素及び／又は同じビデオの他のフレームからの要素とすることができる、したがって、ビデオを、キーフレーム又はビデオ内におけるキーフレームと後続フレームとの間の差に基づいて圧縮するのではなく、ビデオのフレーム内の要素を、ビデオの他のフレーム又は他の箇所内の代替要素へのリンクと置換することによって圧縮することができる。

通信する動作、受信する動作、提供する動作、記録する動作、格納する動作、生成する動作、取得する動作等のように、様々なモジュールによって実行される様々なアクションが、本明細書で説明されている。あるアクションを実行するものとして本明細書で説明される特定のモジュールは、そのアクションを実行するその特定のモジュール自体、あるいはそのアクションを実行する（又はその特定のモジュールとともにアクションを実行する）別のコンポーネント又はモジュールを起動するか他の方法でアクセスするその特定のモジュールを含む。したがって、あるアクションを実行する特定のモジュールは、そのアクションを実行するその特定のモジュール自体及び／又はその特定のモジュールによって起動若しくは他の方法でアクセスされる、そのアクションを実行する別のモジュールを含む。

図５は、１つ又は複数の実施形態に従って、強化キャプチャデータを実装するように構成することができる例示のコンピューティングデバイス５００を図示している。コンピューティングデバイス５００は、例えば図１のデバイス１０２又は１０４とすることができ、図１のクラウドソーシング・データサービス１０６の少なくとも一部を実装し、図２の１つ又は複数のモジュール２０２〜２０８を実装することができる。

図示されるように、コンピューティングデバイス５００は、相互に通信可能に結合される処理システム５０２と、１つ又は複数のコンピュータ読取可能媒体５０４と、１つ又は複数のＩ／Ｏインタフェース５０６とを含む。図示されていないが、コンピューティングデバイス５００は更に、様々なコンポーネントを相互に結合するシステムバス又は他のデータ及びコマンド転送システムを含むことができる。システムバスは、メモリバス若しくはメモリコントローラ、周辺バス、ユニバーサルシリアルバス及び／又は様々なバスアーキテクチャのいずれかを使用するプロセッサ若しくはローカルバスのような、異なるバス構造のうちのいずれか１つ又は組み合わせを含むことができる。制御及びデータ回線のような様々な他の例も考えられる。

処理システム５０２は、ハードウェアを使用して１つ又は複数の動作を実行する機能性を表す。したがって、処理システム５０２は、プロセッサ、機能ブロック等として構成され得るハードウェア要素５０８を含むように図示されている。これは、特定用途向け集積回路又は１つ若しくは複数の半導体を使用して形成される他の論理デバイスとして、ハードウェアでの実装を含むことができる。ハードウェア要素５０８は、これらが形成される材料や用いられる処理機構に制限されない。例えばプロセッサを、半導体及び／又はトランジスタ（例えば電子集積回路（ＩＣ））から構成することができる。そのようなコンテキストにおいて、プロセッサ実行可能命令は、電子的に実行可能な命令とすることができる。

コンピュータ読取可能媒体５０４は、メモリ／ストレージ５１０を含むように図示されている。メモリ／ストレージ５１０は、１つ又は複数のコンピュータ読取可能媒体に関連付けられたメモリ／記憶機能を表す。メモリ／ストレージコンポーネント５１０は、揮発性媒体（ランダムアクセスメモリ（ＲＡＭ）等）及び／又は非揮発性媒体（読取専用メモリ（ＲＯＭ）、フラッシュメモリ、光ディスク、磁気ディスク等）を含むことができる。メモリ／ストレージコンポーネント５１０は、固定の媒体（例えばＲＡＭ、ＲＯＭ、固定のハードドライブ等）だけでなく取外し可能媒体（例えばフラッシュメモリ、取外し可能ハードドライブ、光ディスク等）も含むことができる。コンピュータ読取可能媒体５０４を、以下で更に説明されるように様々な他の方法で構成することができる。

入出力（Ｉ／Ｏ）インタフェース５０６は、ユーザがコマンド及び情報をコンピューティングデバイス５００に入力するのを可能にし、また様々な入出力デバイスを使用して、情報をユーザ及び／又は他のコンポーネント若しくはデバイスに提示することを可能にする機能性を表す。入力デバイスの例には、キーボード、カーソル制御デバイス（例えばマウス）、マイク（例えば音声又は他の可聴入力用）、スキャナ、タッチ機能（例えば物理的な接触を検出するように構成される容量式センサ又は他のセンサ）、カメラ（例えば可視の波長又は赤外線周波数のような不可視の波長を用いて、接触を伴わない動きをジェスチャとして検出し得るもの）等が含まれる。出力デバイスの例には、ディスプレイデバイス（例えばモニタ又はプロジェクタ）、スピーカ、プリンタ、ネットワークカード、触覚応答デバイス等が含まれる。したがって、コンピューティングデバイス５００は、ユーザ対話をサポートするように様々な方法で構成される可能性がある。

コンピューティングデバイス５００は、キャプチャデータ強化システム５２０も含む。キャプチャデータ強化システム５２０は、上記で検討したように、データをキャプチャすること、リンクを挿入すること、強化されたコンテンツを再生用に構築すること及び／又はクラウドソースデータを提供することを含め、キャプチャされたデータを強化するための様々な機能性を提供する。キャプチャデータ強化システム５２０は、例えば図２の１つ又は複数のモジュール２０２〜２０８とすることができる。

本明細書では、様々な技術を、ソフトウェア、ハードウェア要素又はプログラムモジュールの一般的なコンテキストにおいて説明していることがある。一般に、そのようなモジュールは、特定のタスクを実行するか特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、要素、コンポーネント、データ構造等を含む。本明細書で使用されるとき、「モジュール」、「機能（性）」及び「コンポーネント」という用語は、一般的に、ソフトウェア、ファームウェア、ハードウェア又はこれらの組み合わせを表す。本明細書で説明される技術の特徴はプラットフォーム独立であるが、これは、本技術が、様々なプロセッサを有する様々な市販のコンピューティングプラットフォームにおいて実装され得ることを意味する。

説明されるモジュール及び技術の実装は、何らかの形式のコンピュータ読取可能媒体に格納されるか、そのコンピュータ読取可能媒体によって伝送され得る。コンピュータ読取可能媒体は、コンピューティングデバイス５００によってアクセス可能な様々な媒体を含むことができる。限定ではなく例として、コンピュータ読取可能媒体は、「コンピュータ読取可能記憶媒体」と「コンピュータ読取可能信号媒体」とを含む可能性がある。

「コンピュータ読取可能記憶媒体」は、単なる信号伝送や、搬送波又は信号自体等とは対照的に、情報の持続的及び／又は非一時的な記憶を可能にする媒体及び／又はデバイスを指す。したがって、コンピュータ読取可能記憶媒体は、非信号担持媒体を指す。コンピュータ読取可能記憶媒体は、コンピュータ読取可能命令、データ構造、プログラムモジュール、ロジック要素／回路又は他のデータのような情報の記憶に適した方法又は技術で実装される、揮発性及び非揮発性、取外し可能及び取外し不可能の媒体及び／又はストレージデバイスのようなハードウェアを含む。コンピュータ読取可能記憶媒体の例には、これらに限られないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ若しくは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）若しくは他の光ストレージ、ハードディスク、磁気カセット、磁気テープ、磁気ディスクストレージ若しくは他の磁気ストレージデバイス、あるいは所望の情報を格納するのに適切であって、コンピュータによってアクセス可能な他の記憶デバイス、有形の媒体又は製品が含まれる。

「コンピュータ読取可能信号媒体」は、命令を、ネットワークを介するなどしてコンピューティングデバイス５００のハードウェアに伝送するように構成される信号担持媒体を指すことがある。信号媒体は典型的に、コンピュータ読取可能命令、データ構造、プログラムモジュール又は他のデータを、搬送波、データ信号又は他の伝送機構のような変調データ信号に具現化することができる。信号媒体は、任意の情報配信媒体も含む。「変調データ信号」という用語は、情報を信号にエンコードするような方法で設定又は変更された特性の１つ又は複数を有する信号を意味する。限定ではなく例として、通信媒体は、有線ネットワーク又は直接有線接続のような有線媒体と、音響、ＲＦ、赤外線及び他の無線媒体のような無線媒体とを含む。

上述のように、ハードウェア要素５０８及びコンピュータ読取可能媒体５０４は、一部の実施形態において、本明細書において説明される技術の少なくとも一部の態様を実装するのに用いられ得るハードウェア形式で実装される、命令、モジュール、プログラマブルデバイスロジック及び／又は固定のデバイスロジックを表す。ハードウェア要素５０８は、集積回路若しくはオンチップシステム、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、結合プログラム可能論理回路（ＣＰＬＤ）及びシリコンでの他の実装や他のハードウェアデバイスが含まれる。このコンテキストにおいて、ハードウェア要素は、ハードウェア要素によって具現化される命令、モジュール及び／又はロジックによって定義されるプログラムタスクを実行する処理デバイス、並びに実行のために命令を格納するのに用いられるハードウェアデバイス、例えば前述したコンピュータ読取可能記憶媒体として動作してもよい。

上述の組み合わせを用いて、本明細書で説明される様々な技術及びモジュールを実装することもできる。したがって、ソフトウェア、ハードウェア又はプログラムモジュール及び他のプログラムモジュールを、何らかの形式のコンピュータ読取可能記憶媒体において及び／又は１つ又は複数のハードウェア要素５０８によって具現化される１つ又は複数の命令及び／又はロジックとして実装することができる。コンピューティングデバイス５００は、ソフトウェア及び／又はハードウェアモジュールに対応する特定の命令及び／又は機能を実装するように構成され得る。したがって、コンピューティングデバイス５００によって実行可能なモジュールのソフトウェアとしての実装は、少なくとも部分的にハードウェアで、例えばコンピュータ読取可能記憶媒体及び／又は処理システムのハードウェア要素５０８の使用を通して達成され得る。命令及び／又は機能は、本明細書で説明される技術、モジュール及び実施例を実装するよう１つ又は複数の製品（例えば１つ又は複数のコンピューティングデバイス５００及び／又は処理システム５０２）によって実行可能／動作可能である。

本主題を構造的特徴及び／又は方法的動作に特有の言語で説明してきたが、添付の特許請求の範囲において定義される主題は、必ずしも上述の具体的な特徴又は動作に限定されない。むしろ、上述の具体的な特徴及び動作は、特許請求の範囲を実装するための例示の形式として開示される。

Claims (10)

1. １つ又は複数のプロセッサによって実行されると、該１つ又は複数のプロセッサに、
   環境に関してキャプチャされたデータを取得するステップと、
   前記キャプチャされたデータから、置換可能なオーディオ要素を決定するステップと、
   前記キャプチャされたデータから前記置換可能なオーディオ要素を取り除いて、該取り除かれた置換可能なオーディオ要素を含まない圧縮データファイルを作成するステップと、
   前記取り除かれたオーディオ要素を置き換える代替オーディオ要素へのリンクを、前記圧縮データファイルに関連付けられるように追加することにより、前記取り除かれた置換可能なオーディオ要素を置き換えるステップであって、前記代替オーディオ要素への前記リンクが、前記取り除かれた置換可能なオーディオ要素よりも小さいデータサイズを有するステップと、
   強化されたコンテンツを閲覧又は再生するユーザの試みに応答して、前記代替オーディオ要素へのリンクと前記圧縮データファイルの少なくとも一部とを使用して、強化されたコンテンツを構築することを可能にするステップと
   を含む動作を実行させる、コンピュータプログラム。
2. 前記動作は、
   前記キャプチャされたデータに少なくとも部分的に基づいて、前記キャプチャされたデータに関連付けられる追加の要素を決定するステップと、
   前記キャプチャされたデータに関連付けられるように、前記追加の要素へのリンクを追加するステップであって、前記追加の要素へのリンクは、前記代替オーディオ要素へのリンクと組み合わせで、前記取り除かれた置換可能なオーディオ要素よりも小さいデータサイズを有する、ステップと、
   を更に備える、請求項１に記載のコンピュータプログラム。
3. 前記キャプチャされたデータは、該キャプチャされたデータがデバイスによってキャプチャされたときの該デバイスの地理的位置を記述するメタデータを備えるが、前記キャプチャされたデータは、前記地理的位置においてキャプチャされる画像又はオーディオは含まない、請求項２に記載のコンピュータプログラム。
4. 前記追加の要素は、別のデバイスによって前記地理的位置でキャプチャされた画像を含む、請求項３に記載のコンピュータプログラム。
5. 強化される画像のための圧縮方法であって
   強化される画像のオーディオ要素が置換可能であるかどうかを、置換可能なオーディオ要素と代替オーディオ要素とを識別することにより、判断するステップと、
   前記置換可能なオーディオ要素を取り除いて、圧縮された画像を生成するステップと、
   前記代替オーディオ要素へのリンクを追加することにより、前記取り除かれた置換可能なオーディオ要素を置換するステップであって、前記代替オーディオ要素への前記リンクが、前記取り除かれた置換可能なオーディオ要素よりも小さいデータサイズを有するステップ、と、
   前記強化される画像を閲覧するユーザの試みに応答して、前記圧縮された画像と、前記代替オーディオ要素へのリンクを使用して、前記強化された画像を構築することを可能にするステップと、
   を含む、圧縮方法。
6. 前記の判断するステップは、
   前記置換可能なオーディオ要素が前記代替オーディオ要素との閾値以下の差を有することに応答して、前記置換可能なオーディオ要素が置換可能であると判断するステップ
   を含む、請求項５に記載の圧縮方法。
7. 前記代替オーディオ要素へのリンクを追加するステップは、
   前記置換可能なオーディオ要素について、前記置換可能なオーディオ要素と前記代替オーディオ要素との間の差異を示す変更データを格納することを更に含む、請求項５に記載の圧縮方法。
8. 前記代替オーディオ要素は、前記置換可能なオーディオ要素よりも高解像度を有する、請求項５に記載の圧縮方法。
9. 前記置換可能なオーディオ要素又は前記代替オーディオ要素に関連付けられる追加の要素へのリンクを追加して、前記画像の視野を拡張するステップを更に備える、請求項５に記載の圧縮方法。
10. 前記置換可能なオーディオ要素又は前記代替オーディオ要素に関連付けられる追加の要素へのリンクを追加するステップを更に備え、前記追加の要素は、画像データとは異なるタイプのデータを備える、請求項５に記載の圧縮方法。

Images