JP6706647B2 - 画像に表されたオブジェクトの認識及び照合のための方法及び装置 - Google Patents

Description

［関連出願の相互参照］
本出願は、２０１４年９月２９日に出願した「ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＲＥＣＯＧＮＩＴＩＯＮ ＡＮＤ ＭＡＴＣＨＩＮＧ ＯＦ ＯＢＪＥＣＴＳ ＤＥＰＩＣＴＥＤ ＩＮ ＩＭＡＧＥＳ」と題する米国仮特許出願第６２／０５７，２２３号の利益を主張し、かつ、２０１４年９月２９日に出願した「ＳＣＨＥＭＥＳ ＦＯＲ ＲＥＴＲＩＥＶＩＮＧ ＡＮＤ ＡＳＳＯＣＩＡＴＩＮＧ ＣＯＮＴＥＮＴ ＩＴＥＭＳ ＷＩＴＨ ＲＥＡＬ−ＷＯＲＬＤ ＯＢＪＥＣＴＳ ＵＳＩＮＧ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＡＮＤ ＯＢＪＥＣＴ ＲＥＣＯＧＮＩＴＩＯＮ」と題する米国仮特許出願第６２／０５７，２１９号の利益を主張する、２０１４年１２月９日に出願した「ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＲＥＣＯＧＮＩＴＩＯＮ ＡＮＤ ＭＡＴＣＨＩＮＧ ＯＦ ＯＢＪＥＣＴＳ ＤＥＰＩＣＴＥＤ ＩＮ ＩＭＡＧＥＳ」と題する米国特許出願第１４／５６５，２０４号の継続出願であり、その利益を主張する。その全内容及び開示は全て、その全体が参照により本明細書に完全に組み込まれる。

本出願は、２０１４年１２月９日に出願した「ＳＣＨＥＭＥＳ ＦＯＲ ＲＥＴＲＩＥＶＩＮＧ ＡＮＤ ＡＳＳＯＣＩＡＴＩＮＧ ＣＯＮＴＥＮＴ ＩＴＥＭＳ ＷＩＴＨ ＲＥＡＬ−ＷＯＲＬＤ ＯＢＪＥＣＴＳ ＵＳＩＮＧ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＡＮＤ ＯＢＪＥＣＴ ＲＥＣＯＧＮＩＴＩＯＮ」と題する米国特許出願第１４／５６５，２３６号に関連し、その全内容及び開示は、その全体が参照により本明細書に完全に組み込まれる。

［発明の分野］
本発明は、概して、コンピュータソフトウェアアプリケーションに関し、より詳細には、オブジェクト認識装置及びソフトウェアならびにオブジェクト照合装置及びソフトウェアに関する。

ユーザ作成コンテンツの共有は、インターネット上で最も人気のある利用目的の１つに発展した。人々がコンテンツを受動的に視聴することに制限されるウェブサイトとは対照的に、いわゆる「Ｗｅｂ２．０」のサイトでは、ユーザは、仮想コミュニティにおいて、ユーザ作成コンテンツの作者としてソーシャルメディアダイアログで互いに対話し、協力することが可能である。

一実施形態は、ユーザに関連付けられた１つまたは複数の実世界のシーンの画像内の１つまたは複数のオブジェクトを識別することと、識別された１つまたは複数のオブジェクトを、ユーザに関連付けられた実世界のオブジェクトのリストに追加することと、実世界のオブジェクトのリスト内の各オブジェクトを、オブジェクト認識に基づいてオブジェクトクラスに割り当てることと、ユーザに関連付けられた実世界のオブジェクトのリストのオブジェクトの１つに割り当てられたオブジェクトクラスに、コンテンツアイテムが関連付けられたという通知を、ユーザに提供することと、を含む方法を提供する。

別の実施形態は、プロセッサベースのデバイス、ならびに、ユーザに関連付けられた１つまたは複数の実世界のシーンの画像内の１つまたは複数のオブジェクトを識別することと、識別された１つまたは複数のオブジェクトを、ユーザに関連付けられた実世界のオブジェクトのリストに追加することと、実世界のオブジェクトのリスト内の各オブジェクトを、オブジェクト認識に基づいてオブジェクトクラスに割り当てることと、ユーザに関連付けられた実世界のオブジェクトのリストのオブジェクトの１つに割り当てられたオブジェクトクラスに、コンテンツアイテムが関連付けられたという通知を、ユーザに提供することと、を含むステップを、プロセッサベースのデバイスに実行させるように構成されるコンピュータ可読命令のセットを記憶する、非一時的記憶媒体を備える装置を提供する。

別の実施形態は、第１のユーザに関連付けられた１つまたは複数の画像内の１つまたは複数のオブジェクトを識別することであって、識別することが、プロセッサベースの装置によって動作するオブジェクト認識技術によって実行される、識別することと、識別された各オブジェクトについて、１つまたは複数の注目画像を識別するために、他のユーザに関連付けられた１つまたは複数の画像から検索することであって、１つまたは複数の注目画像のそれぞれが、（ｉ）識別されたオブジェクトに実質的に合致する外観を有し、（ｉｉ）他のユーザの１人によって検索に含めるために指定された、オブジェクトを表す、検索することと、任意の識別された注目画像に少なくとも一部基づく通知を生成することと、通知を第１のユーザに提供することと、を含む方法を提供する。

別の実施形態は、第１のユーザに関連付けられた１つまたは複数の実世界のシーンの画像内の１つまたは複数のオブジェクトを識別することと、識別された１つまたは複数のオブジェクトを、第１のユーザに関連付けられた実世界のオブジェクトのリストに追加することと、実世界のオブジェクトのリスト内の各オブジェクトを、オブジェクト認識に基づいてオブジェクトクラスに割り当てることと、実世界のオブジェクトのリスト内の実世界のオブジェクトについて、第１のユーザからコンテンツアイテムを受信することと、実世界のオブジェクトのオブジェクトクラス内のオブジェクトを見る第２のユーザによってコンテンツアイテムが取得可能であるように、コンテンツアイテム及び実世界のオブジェクトのオブジェクトクラスをサーバ上に記憶することと、を含む方法を提供する。

別の実施形態は、プロセッサベースのデバイス、ならびに、第１のユーザに関連付けられた１つまたは複数の実世界のシーンの画像内の１つまたは複数のオブジェクトを識別することと、識別された１つまたは複数のオブジェクトを、第１のユーザに関連付けられた実世界のオブジェクトのリストに追加することと、実世界のオブジェクトのリスト内の各オブジェクトを、オブジェクト認識に基づいてオブジェクトクラスに割り当てることと、実世界のオブジェクトのリスト内の実世界のオブジェクトについて、第１のユーザからコンテンツアイテムを受信することと、実世界のオブジェクトのオブジェクトクラス内のオブジェクトを見る第２のユーザによってコンテンツアイテムが取得可能であるように、コンテンツアイテム及び実世界のオブジェクトのオブジェクトクラスをサーバ上に記憶することと、を含むステップを、プロセッサベースのデバイスに実行させるように構成されるコンピュータ可読命令のセットを記憶する、非一時的記憶媒体を備える装置を提供する。

本発明の実施形態の原理を利用した、例となる実施形態について述べる以下の詳細な説明及び添付図面を参照することによって、本発明の多様な実施形態の特徴及び利点についてより良い理解が得られるであろう。

本発明の実施形態の上記及び他の態様、特徴及び利点は、以下の図面と併せて提示される、以下のそのより詳細な説明からさらに明らかとなるであろう。

本発明のいくつかの実施形態による、オブジェクト認識及び照合の方法を説明するフロー図である。 本発明のいくつかの実施形態による、オブジェクト認識及び照合の方法を説明するフロー図である。 本発明のいくつかの実施形態による、オブジェクト認識及び照合の方法を説明するフロー図である。 本発明のいくつかの実施形態による、実世界のシーンの画像内のオブジェクトを認識することを説明する図である。 本発明のいくつかの実施形態による、オブジェクトベースのコンテンツ共有のためのユーザインターフェースを説明する図である。 本発明のいくつかの実施形態による、オブジェクトベースのコンテンツ共有のためのユーザインターフェースを説明する図である。 本発明のいくつかの実施形態による、オブジェクトベースのコンテンツ共有のためのユーザインターフェースを説明する図である。 本発明のいくつかの実施形態による、オブジェクトベースのコンテンツ共有のためのユーザインターフェースを説明する図である。 本発明のいくつかの実施形態による、本明細書に示され説明される方法及び技術のうちのいずれかを動作させ、実装し、及び／または実行するために使用され得るシステムを説明するブロック図である。

本発明のいくつかの実施形態は、オブジェクトベースのコンテンツ共有としていくつかの実施形態において説明され得る方法及び装置を提供する。オブジェクトベースのコンテンツ共有は、実世界のオブジェクトに基づいて、物語、記憶、及び記録されたメディアの新規な共有方法を提供する。いくつかの実施形態では、ユーザに関連付けられた画像を使用して、システムがユーザの周囲にある様々なオブジェクトを自動的に識別することができる。システムはさらに、それらの識別されたオブジェクトに基づいて、ユーザがコンテンツを投稿し、見るためのユーザインターフェースを提供する。

オブジェクトベースのコンテンツ共有では、ユーザは、自分が所有し、及び／または遭遇する実世界のオブジェクトに基づいて、互いに対話しても良い。例えば、何マイルも離れた所に住んでいる珍しい漫画本を持ったユーザに関連付けられた画像内の同じ漫画本をシステムが識別すると、ユーザは互いに繋がっても良い。ユーザはさらに、オブジェクトベースのコンテンツサービスを通じて、ユーザ作成コンテンツを共有し、共通の関心事について話し合うことができる。

いくつかの実施形態では、ユーザのプライバシー及びソーシャルネットワーキング体験をユーザが制御できるようにするために、システムは、オブジェクトがどのように照合されるか、及び共有するためにグループ化されるかを構成する際の柔軟性をさらにもたらし得る。いくつかの実施形態では、オブジェクトベースのコンテンツ共有システムによって、ユーザは、彼らが所有し、及び／または遭遇するオブジェクトに基づいて、共通の関心事、趣味、スタイル、好み、ライフスタイルなどを共有する他のユーザと繋がることが可能となる。

図１を参照すると、本発明のいくつかの実施形態による、オブジェクトに関連付けられたコンテンツアイテムの通知を提供するための方法１００の例が説明されている。いくつかの実施形態では、方法１００のステップは、１つまたは複数のサーバデバイス、ユーザデバイス、またはサーバデバイス及びユーザデバイスの組み合わせによって実行され得る。

ステップ１１０で、システムは、ユーザに関連付けられた実世界のシーンの画像内のオブジェクトを識別する。実世界のシーンの画像は、ユーザのオンラインプロファイルに関連付けられたオンラインフォトアルバム、ユーザデバイスのローカル記憶装置、ユーザに関連付けられたクラウド記憶空間、及びソーシャルメディアサービス上でユーザが「タグ付け」されている画像の集まりなどの中の写真またはビデオのうちの１つまたは複数を含んでもよい。画像は、複数の場所で、時間、日、月または年などの複数の期間にわたってキャプチャされてもよい。いくつかの実施形態では、オブジェクトはまた、画像がデバイスに恒久的に記憶されないで、カメラがパンしているときにカメラによって見える画像内で識別されてもよい。オブジェクトは、ユーザ及び／または他の人々の写真の背景内のオブジェクトであってもよい。システムは、ユーザに関連付けられた画像に対して画像またはオブジェクト認識アルゴリズムを動作させ、画像内の１つまたは複数のオブジェクトを識別してもよい。いくつかの実施形態では、システムは、ユーザに関連付けられた画像内の無生物オブジェクトのみを識別してもよい。

概して、システムは、実世界のシーンの画像内のオブジェクトを認識するために、様々な既知のコンピュータオブジェクト認識技術を利用してもよい。いくつかの実施形態では、オブジェクト認識は、既知のオブジェクトの参照画像と画像を比較してオブジェクトを認識する、アピアランスベースの方法を使用してもよい。アピアランスベースの方法の例には、エッジマッチング、グレースケールマッチング、受容野応答のヒストグラムなどが含まれ得る。いくつかの実施形態では、オブジェクト認識は、オブジェクトの特徴と画像の特徴との照合に依拠する、特徴ベースの方法を使用してもよい。特徴ベースの方法の例には、ポーズ分類、幾何学的ハッシュ法、スケール不変特徴変換、解釈木などが含まれる。システムは、オブジェクト識別の正確性を高めるために、１つまたは複数のオブジェクト認識方法を組み合わせて使用してもよい。

ステップ１２０で、ステップ１１０で識別された実世界のオブジェクトが、ユーザに関連付けられたオブジェクトのリストに追加される。オブジェクトリストは、コンテンツ共有サーバ上で保持され、ユーザのユーザプロファイルに関連付けられ得る。いくつかの実施形態では、ステップ１２０で、オブジェクトの画像がリストに記憶される。いくつかの実施形態では、ステップ１２０で、オブジェクトの識別された属性が、リストに記憶される。例えば、オブジェクトが、ＰｌａｙＳｔａｔｉｏｎ（登録商標）３スリムであると識別される場合、「ＰｌａｙＳｔａｔｉｏｎ（登録商標）３スリム」という説明、ならびに「ゲームコンソール」及び「赤」などの属性が、リストに追加され得る。いくつかの実施形態では、リストは、オブジェクトの１つまたは複数の画像及び属性を記憶する。いくつかの実施形態では、オブジェクトをリストに追加する前に、まずシステムが冗長性を検査する。例えば、画像内のオブジェクトに合致するオブジェクトがすでにリスト上にあるかどうかを見るために、まずシステムが検査する。いくつかの実施形態では、システムは、ユーザにオブジェクトのリストにアクセスし、編集するためのユーザインターフェースを提供する。例えば、ユーザは、ユーザインターフェースを使用して、自分に関連付けられているオブジェクトのリストにオブジェクトを追加し、かつオブジェクトを削除しても良い。いくつかの実施形態では、ユーザは、オブジェクトに関連付けられた属性を編集し、及び／または訂正しても良い。例えば、ユーザは、リスト上のＰｌａｙＳｔａｔｉｏｎ（登録商標）３スリムを選択し、型番及び／またはシリアル番号を入力することが可能であってもよい。別の例では、システムは、オブジェクトを既知のオブジェクトと合致させることができなければ、画像内のオブジェクトを分離してもよい。ユーザは、オブジェクトについての属性情報を手動で入力してもよい。

ステップ１３０では、オブジェクトリスト上のより多くのオブジェクトのうちの１つが、オブジェクトクラスに割り当てられる。オブジェクトクラスは、唯一のオブジェクト、視覚的に類似のオブジェクトの集合、または１つもしくは複数の共通属性を共有するオブジェクトの集合を参照してもよい。いくつかの実施形態では、画像と、そのオブジェクトクラスに既に割り当てられているオブジェクトの他の画像との比較に基づいて、オブジェクトの画像がオブジェクトクラスに割り当てられる。いくつかの実施形態では、ステップ１３０における割り当ては、オブジェクト認識を通じて識別されたオブジェクトの１つまたは複数の属性に基づく。実世界のシーン内のオブジェクトの１つまたは複数の画像に対して画像認識アルゴリズムを動作させることに基づいて、実世界のオブジェクトがオブジェクトクラスに割り当てられてもよい。いくつかの実施形態では、識別された実世界のオブジェクトの特徴及び／または属性が、オブジェクトのオブジェクトクラスに関連付けられる属性及び／または既知の参照画像と比較され、照合される。特徴及び属性は、色、形状、輪郭などの視覚的特性を含んでもよい。いくつかの実施形態では、特徴及び属性は、画像認識を通じて判断された属性を含んでもよい。例えば、システムは、画像を既知のオブジェクトのデータベースと比較して、画像の種類、名前、及び他の属性などの、画像についての追加情報を判断してもよい。

例えば、オブジェクトは、その色、形状、ロゴ画像などに基づいて、赤いＰｌａｙＳｔａｔｉｏｎ（登録商標）３スーパースリムコンソールであると識別されてもよい。システムはさらに、赤いＰｌａｙＳｔａｔｉｏｎ（登録商標）３スーパースリムコンソールを、ＰｌａｙＳｔａｔｉｏｎ（登録商標）コンソール、ＰｌａｙＳｔａｔｉｏｎ（登録商標）３コンソール、ＰｌａｙＳｔａｔｉｏｎ（登録商標）３スーパースリムコンソール、及び赤いＰｌａｙＳｔａｔｉｏｎ（登録商標）３スーパースリムコンソールなどの、１つまたは複数のオブジェクトクラスに割り当ててもよい。オブジェクトクラス割り当ては、実世界のオブジェクトの属性と、それらのオブジェクトクラスのそれぞれに関連付けられた属性との照合に基づいてもよい。いくつかの実施形態では、オブジェクトは、その属性に基づいて、２つ以上のオブジェクトクラスに割り当てられてもよい。いくつかの実施形態では、オブジェクトクラスは、ユーザ構成についてその関係で提示される階層関係を互いに有してもよい。いくつかの実施形態では、ユーザは、自分のオブジェクトリスト上の各オブジェクトに割り当てられたオブジェクトクラスを編集することが可能であってもよい。例えば、ユーザが、「ＰｌａｙＳｔａｔｉｏｎ（登録商標）３コンソール」オブジェクトクラスにタグ付けされた全てのコンテンツアイテムについての通知を受信したくない場合、そのユーザは、自分のコンソールを「ＰｌａｙＳｔａｔｉｏｎ（登録商標）３コンソール」オブジェクトクラスへの割り当てから解除し、自分のコンソールを「赤いＰｌａｙＳｔａｔｉｏｎ（登録商標）３スーパースリムコンソール」のオブジェクトクラスのみに割り当ててもよい。いくつかの実施形態では、提案されたオブジェクトクラスのリストがオブジェクト認識を使用して判断され、ユーザ選択用にユーザに提供されてもよい。いくつかの実施形態では、ユーザは、自分のオブジェクトリスト上のオブジェクトに関連付けるために、システム上のオブジェクトクラスを手動で検索してもよい。

ステップ１４０では、システムは、コンテンツアイテムがユーザのオブジェクトリスト上のオブジェクトに割り当てられたオブジェクトクラスに追加されたという通知を提供する。例えば、第２のユーザが、自分のＰｌａｙＳｔａｔｉｏｎ（登録商標）に写真をタグ付けしており、そのＰｌａｙＳｔａｔｉｏｎ（登録商標）もまた、「赤いＰｌａｙＳｔａｔｉｏｎ（登録商標）３スーパースリムコンソール」オブジェクトクラスに割り当てられている場合、システムは、自分のオブジェクトリスト上に赤いＰｌａｙＳｔａｔｉｏｎ（登録商標）３スーパースリムコンソールを有するユーザに、通知を提供する。通知は、ポップアップ通知、音声通知、振動、オブジェクトベースのコンテンツ共有ユーザインターフェースにおける通知テキストもしくはアイコン、ソーシャルメディアサービス内の通知メッセージ、テキストメッセージ、及び／または電子メールメッセージなどのうちの１つまたは複数であってもよい。例えば、一度新たなコンテンツアイテムが追加されたら、システムは、ユーザデバイスに音声または振動を発生させてもよい。別の例では、ユーザが、オブジェクトベースのコンテンツ共有ユーザインターフェースまたはソーシャルネットワーキングサービスを開くと、システムは、新たなコンテンツアイテムが視聴可能であることを示すために、ユーザに対してアイコンまたはメッセージを表示させてもよい。いくつかの実施形態では、ユーザは、どの種類の通知を受信するかを設定してもよい。いくつかの実施形態では、ユーザは、ユーザに関連付けられた各オブジェクト及び／またはオブジェクトクラス毎に、受信する通知の種類を個々に設定してもよい。いくつかの実施形態では、ユーザは、ユーザに関連付けられた各オブジェクト及び／またはオブジェクトクラス毎に、通知を受信するかどうかを個々に設定してもよい。

いくつかの実施形態では、ステップ１４０の前に、システムはまず、コンテンツアイテムの共有設定、及び／または第１のユーザの好みの設定に基づいて、コンテンツアイテムを第１のユーザと共有すべきかどうかを判断する。いくつかの実施形態では、コンテンツアイテムの作者は、そのコンテンツアイテムの共有を制限してもよい。例えば、作者は、ソーシャルネットワーキングサービスで自分に繋がっているユーザ及び／または自分をフォローしているユーザのみに、コンテンツを見ることを許可してもよい。いくつかの実施形態では、作者は、年齢、地理的位置、時間などに基づいて、コンテンツアイテムを見ることができる人を制限してもよい。例えば、作者は、タグ付けされたコンテンツが、将来のいつか利用可能にし、またはある期間内に見るためにのみ利用可能にするように希望してもよい。いくつかの実施形態では、第１のユーザはまた、コンテンツアイテムの作者に基づいて通知をオフにしてもよい。例えば、第１のユーザは、自分の友達、自分がフォローしている人々、自分のソーシャルグループ内の人々などからのみ、コンテンツアイテムについての通知を受信することを希望してもよい。別の例では、ユーザは、選択した作者からのコンテンツアイテムを選択的にブロックすることが可能であってもよい。これらの場合に、コンテンツアイテムが第１のユーザと共有されるべきでないとシステムが判断する場合、システムは、単にステップ１４０に進み得る。

図２を参照すると、本発明のいくつかの実施形態による、注目画像の通知を提供するための方法２００の例が説明されている。いくつかの実施形態では、方法２００のステップは、１つまたは複数のサーバデバイス、ユーザデバイス、またはサーバデバイス及びユーザデバイスの組み合わせによって実行され得る。

ステップ２１０で、実世界のオブジェクトは、ユーザに関連付けられた実世界のシーンの画像内において識別される。実世界のシーンの画像は、ユーザのオンラインプロファイルに関連付けられたオンラインフォトアルバム、ユーザデバイスのローカル記憶装置、ユーザに関連付けられたクラウド記憶空間、及びソーシャルメディアサービス上でユーザが「タグ付け」されている画像の集まりなどの中の写真またはビデオのうちの１つまたは複数を含んでもよい。画像は、複数の場所で、時間、日、月または年などの複数の期間にわたってキャプチャされてもよい。いくつかの実施形態では、オブジェクトはまた、画像がデバイスに恒久的に記憶されないで、カメラがパンしているときにカメラによって見える画像内で識別されてもよい。オブジェクトは、ユーザ及び／または他の人々の写真の背景内のオブジェクトであってもよい。システムは、ユーザに関連付けられた画像に対して画像またはオブジェクト認識アルゴリズムを動作させ、画像内の１つまたは複数のオブジェクトを識別してもよい。いくつかの実施形態では、システムは、ユーザに関連付けられた画像内の無生物オブジェクトのみを識別してもよい。

ステップ２２０では、ステップ２１０で識別された各画像について、システムは、１つまたは複数の注目画像を識別するために、他のユーザに関連付けられた１つまたは複数の画像から検索する。注目画像は、識別されたオブジェクトに実質的に合致する外観を有し、他のユーザの１人によって検索に含めるために指定されたオブジェクトを表してもよい。

いくつかの実施形態では、実質的に合致する外観を有するオブジェクトを照合するために、識別された実世界のオブジェクトの画像（複数可）が、他のユーザに関連付けられたオブジェクトの画像と比較される。いくつかの実施形態では、識別された実世界のオブジェクトの特徴及び／または属性が、他のユーザに関連付けられたオブジェクトの特徴及び／または属性と比較され、照合される。特徴及び属性は、色、形状、輪郭などの視覚的特性を含んでもよい。いくつかの実施形態では、特徴及び属性は、オブジェクト認識を通じて判断された属性を含んでもよい。例えば、システムは、実世界のオブジェクトの画像及び／または視覚属性を既知のオブジェクトのデータベースと比較して、画像の種類、名前、及び他の属性などの、画像についての追加情報を判断してもよい。

システムは、各注目画像が他のユーザの１人によって、各注目画像の共有設定に基づく検索に含めるために指定されているかどうかをさらに判断してもよい。いくつかの実施形態では、注目画像の共有設定は、注目画像に関連付けられたユーザによって設定されてもよい。共有設定によって、注目画像に関連付けられたコンテンツアイテムを見ることができる人を制限してもよい。例えば、ユーザは、そのユーザがソーシャルネットワーキングサービスを通じて繋がっているかどうかに基づいて、コンテンツの共有を制限してもよい。注目画像は、ユーザの友達、フォロワ、グループメンバなどの検索に含まれるだけであってもよい。いくつかの実施形態では、ユーザはまた、識別されたオブジェクトに関連付けられたユーザの年齢、位置などに基づいて共有を制限してもよい。いくつかの実施形態では、ユーザは、注目画像が検索可能であるときに、期間を限定してもよい。例えば、ユーザは、注目画像について、２日間だけ検索可能であるように構成してもよい。

ステップ２３０では、ステップ２２０で注目画像が見つかったときに、通知が生成される。例えば、ベースボールキャップの画像が、ステップ２１０で識別されたベースボールキャップの外観に実質的に合致する外観を有しており、検索に含めるために他のユーザによって指定されている場合、ステップ２３０で通知が生成される。通知は、ポップアップ通知、音声通知、振動、オブジェクトベースのコンテンツ共有ユーザインターフェースにおける通知テキストもしくはアイコン、ソーシャルメディアサービス内の通知メッセージ、テキストメッセージ、及び／または電子メールメッセージなどのうちの１つまたは複数であってもよい。いくつかの実施形態では、通知は、識別された注目画像のリストを含んでもよい。いくつかの実施形態では、ステップ２３０で通知が提供されるかどうか、及び通知がどのように提供されるかは、第１のユーザの設定された好みにさらに基づく。

ステップ２４０では、ステップ２３０で生成された通知がユーザに提供される。いくつかの実施形態では、一度注目画像が見つかったら、システムは、ユーザデバイスに音声または振動を発生させてもよい。いくつかの実施形態では、ユーザが、オブジェクトベースのコンテンツ共有ユーザインターフェースまたはソーシャルネットワーキングサービスを開くと、システムは、１つまたは複数の合致する注目画像が見つかったことを示すために、ユーザに対してアイコンまたはメッセージを表示する。いくつかの実施形態では、ユーザは、どの種類の通知を受信するかを設定してもよい。

いくつかの実施形態では、システムは、コンテンツアイテムが、識別されたオブジェクトに実質的に合致する外観を有するオブジェクトに関連付けられているかどうかをさらに判断してもよい。ユーザは、オブジェクトベースのコンテンツ共有システムを通じて、コンテンツアイテムをオブジェクトに関連付けてもよい。実質的に合致するオブジェクトを有するユーザは、テキストコメント、画像、オーディオクリップ、ビデオクリップ、及びハイパーリンクなどのコンテンツアイテムをオブジェクトに関連付けることにより、自分の記憶及び体験を互いに共有してもよい。ステップ２４０での通知は、任意の識別されたオブジェクトに実質的に合致する外観を有する任意のオブジェクトに関連付けられている、またはタグ付けされている任意のコンテンツアイテムの標識をさらに含んでもよい。

図３を参照すると、本発明のいくつかの実施形態による、コンテンツアイテムを実世界のオブジェクトに関連付けるための方法３００の例が説明されている。いくつかの実施形態では、方法３００のステップは、１つまたは複数のサーバデバイス、ユーザデバイス、またはサーバデバイス及びユーザデバイスの組み合わせによって実行され得る。

ステップ３１０で、システムは、ユーザに関連付けられた実世界のシーン内のオブジェクトを識別する。実世界のシーンの画像は、ユーザのオンラインプロファイルに関連付けられたオンラインフォトアルバム、ユーザデバイスのローカル記憶装置、ユーザに関連付けられたクラウド記憶空間、及びソーシャルメディアサービス上でユーザが「タグ付け」されている画像の集まりなどの中の写真またはビデオのうちの１つまたは複数を含んでもよい。画像は、複数の場所で、時間、日、月または年などの複数の期間にわたってキャプチャされてもよい。いくつかの実施形態では、オブジェクトはまた、画像がデバイスに恒久的に記憶されないで、カメラがパンしているときにカメラによって見える画像内で識別されてもよい。オブジェクトは、ユーザ及び／または他の人々の写真の背景内のオブジェクトであってもよい。システムは、ユーザに関連付けられた画像に対して画像またはオブジェクト認識アルゴリズムを動作させ、画像内の１つまたは複数のオブジェクトを識別してもよい。いくつかの実施形態では、システムは、ユーザに関連付けられた画像内の無生物オブジェクトのみを識別してもよい。

ステップ３２０で、ステップ１１０で識別された実世界のオブジェクトが、ユーザに関連付けられたオブジェクトのリストに追加される。オブジェクトリストは、コンテンツ共有サーバ上で保持され、ユーザのユーザプロファイルに関連付けられ得る。いくつかの実施形態では、ステップ３２０で、オブジェクトの画像がリストに記憶される。いくつかの実施形態では、ステップ３２０で、オブジェクトの識別された属性が、リストに記憶される。例えば、オブジェクトが、ＰｌａｙＳｔａｔｉｏｎ（登録商標）３スリムであると識別される場合、「ＰｌａｙＳｔａｔｉｏｎ（登録商標）３スリム」という説明、ならびに「ゲームコンソール」及び「赤」などの属性が、リストに追加され得る。いくつかの実施形態では、リストは、オブジェクトの１つまたは複数の画像及び属性を記憶する。いくつかの実施形態では、オブジェクトをリストに追加する前に、まずシステムが冗長性を検査する。例えば、画像内のオブジェクトに合致するオブジェクトが、すでにリスト上にあるかどうかを見るために、まずシステムが検査する。いくつかの実施形態では、システムは、ユーザにオブジェクトのリストにアクセスし、編集するためのユーザインターフェースを提供する。例えば、ユーザは、ユーザインターフェースを使用して、自分に関連付けられているオブジェクトのリストにオブジェクトを追加し、かつオブジェクトを削除することができる。いくつかの実施形態では、ユーザは、オブジェクトに関連付けられた属性を編集し、及び／または訂正することもできる。例えば、ユーザは、リスト上のＰｌａｙＳｔａｔｉｏｎ（登録商標）３スリムを選択し、型番及び／またはシリアル番号を入力することが可能であってもよい。別の例では、システムは、オブジェクトを既知のオブジェクトと合致させることができなければ、画像内のオブジェクトを分離してもよい。ユーザは、オブジェクトについての属性情報を手動で入力してもよい。

ステップ３３０では、オブジェクトリスト上のより多くのオブジェクトのうちの１つが、オブジェクトクラスに割り当てられる。オブジェクトクラスは、唯一のオブジェクト、視覚的に類似のオブジェクトの集合、または１つもしくは複数の共通属性を共有するオブジェクトの集合を参照してもよい。実世界のシーン内のオブジェクトの１つまたは複数の画像に対して画像認識アルゴリズムを動作させることに基づいて、実世界のオブジェクトがオブジェクトクラスに割り当てられてもよい。いくつかの実施形態では、識別された実世界のオブジェクトの特徴及び／または属性が、各オブジェクトクラスに関連付けられた属性と比較され、照合される。例えば、赤いＰｌａｙＳｔａｔｉｏｎ（登録商標）３スーパースリムコンソールであると識別されたオブジェクトに割り当てられたオブジェクトクラスは、ＰｌａｙＳｔａｔｉｏｎ（登録商標）、ＰｌａｙＳｔａｔｉｏｎ（登録商標）３、ＰｌａｙＳｔａｔｉｏｎ（登録商標）３スーパースリム、及び赤いＰｌａｙＳｔａｔｉｏｎ（登録商標）３スーパースリムコンソールなど全てであってもよい。特徴及び属性は、色、形状、輪郭などの視覚的特性を含んでもよい。いくつかの実施形態では、特徴及び属性は、画像認識を通じて判断された属性を含んでもよい。例えば、システムは、画像を既知のオブジェクトのデータベースと比較して、画像の種類、名前、及び他の属性などの、画像についての追加情報を判断してもよい。いくつかの実施形態では、ステップ３１０で識別されたオブジェクトが、既存のオブジェクトクラスのうちのいずれにも合致しない場合、ユーザは、オブジェクトクラスについての共通属性を定義することによって、新たなオブジェクトクラスを生成するオプションを有してもよい。

いくつかの実施形態では、ステップ３３０における割り当ては、オブジェクト認識を通じて識別されたオブジェクトの１つまたは複数の属性に基づく。いくつかの実施形態では、オブジェクトは、その属性に基づいて、２つ以上のオブジェクトクラスに割り当てられてもよい。いくつかの実施形態では、ユーザは、自分のオブジェクトリスト上の各オブジェクトに割り当てられたオブジェクトクラスを編集することが可能であってもよい。例えば、ユーザが、全てのＰｌａｙＳｔａｔｉｏｎ（登録商標）３コンソールの所有者とコンテンツアイテムを共有したくない場合、そのユーザは、自分のコンソールをＰｌａｙＳｔａｔｉｏｎ（登録商標）３オブジェクトクラスへの割り当てから解除してもよい。いくつかの実施形態では、提案するオブジェクトクラスのリストがオブジェクト認識を使用して判断され、ユーザ選択用にユーザに提供されてもよい。いくつかの実施形態では、ユーザは、自分のオブジェクトリスト上のオブジェクトに関連付けるために、システム上のオブジェクトクラスを手動で検索してもよい。概して、いくつかの実施形態では、ステップ３１０、３２０及び３３０は、それぞれステップ１１０、１２０及び１３０に類似してもよい。いくつかの実施形態では、ステップ３１０、３２０及び３３０は、ステップ１１０、１２０及び１３０と同一であってもよい。

ステップ３４０で、実世界のオブジェクトにタグ付けするためのコンテンツアイテムが、受信される。コンテンツアイテムは、ビデオ、オーディオ、画像、及びテキストコメントのうちの１つまたは複数であってもよい。いくつかの実施形態では、ユーザインターフェースは、オブジェクトにタグ付けするために、ビデオクリップ、オーディオクリップ、及び画像のうちの１つまたは複数をキャプチャするオプションを含んでもよい。いくつかの実施形態では、ユーザは、ステップ３４０で、コンテンツアイテムについての共有設定をさらに設定することができる。例えば、ユーザは、コンテンツアイテムが、ソーシャルネットワーキングサービスを通じて繋がっている他のユーザによってのみ見ることができるように、コンテンツアイテムの共有を制限してもよい。いくつかの実施形態では、コンテンツアイテムの共有設定は、年齢及び／または地理的位置に基づいて共有をさらに制限してもよい。地理的位置の制限は、２つの視覚的に類似したアイテムをもう一方と区別するために、ユーザによって使用されてもよい。例えば、ユーザは、コンテンツアイテムが他のユーザの写真内の全く同じ公園のベンチにのみ合致するように、公園のベンチのＧＰＳ位置を使用して公園のベンチにタグ付けされたコンテンツアイテムの共有を制限してもよい。位置制限は、ユーザデバイスの現在位置、及び／または、オブジェクトを含む実世界のシーンの画像の位置メタデータ情報に基づいてもよい。いくつかの実施形態では、位置情報は、共有設定の一部ではなく、オブジェクトクラスについて定義された属性のうちの１つであってもよい。例えば、位置Ａにあるベンチと、位置Ｂにあるほぼ同一に見えるベンチが、２つの別々のオブジェクトクラス内にあってもよい。いくつかの実施形態では、ユーザは、コンテンツアイテムに関連付けるために、１つまたは複数のオブジェクトクラスを選択することが可能であってもよい。

ステップ３５０で、同一のオブジェクトクラスに割り当てられたオブジェクトをオブジェクトリスト上に有する別のユーザによって、コンテンツアイテムが取得できるように、コンテンツアイテム及び実世界のオブジェクトの関連オブジェクトクラスが記憶される。例えば、コンテンツアイテムは、実世界のオブジェクトの属性、及び／または割り当てられたオブジェクトクラスと共に記憶されてもよい。別のユーザが、自分のオブジェクトリスト上に選択共通属性を共有するオブジェクトを有するとき、他のユーザが見るためにコンテンツアイテムが提供されてもよい。いくつかの実施形態では、コンテンツアイテムの利用可能性は、ソーシャルネットワークの関係性及び位置の制限などの、コンテンツアイテムに関連付けられた共有設定にさらに基づき得る。

図４を参照すると、本発明のいくつかの実施形態による、ユーザに関連付けられたオブジェクトリストの構築を説明する例の図である。図４では、ユーザに関連付けられた実世界のシーンの画像４１０及び４２０が、サーバ４４０によって処理されて、ユーザインターフェース４３０に示されるように、ユーザに関連付けられたオブジェクトのリストが生成される。実世界のシーンの画像４１０及び４２０は、オンラインフォトアルバム内の写真またはビデオ、ユーザデバイスに記憶された画像、クラウドストレージ上のアルバム内の画像、及びソーシャルメディアサービス上でユーザが「タグ付け」された画像などを含んでもよい。画像は、時間、日、月または年という期間にわたってキャプチャされ、異なる場所でキャプチャされた画像の集まりであってもよい。いくつかの実施形態では、オブジェクトはまた、画像がデバイスに恒久的に記憶されないで、カメラがパンしているときにカメラによって見える画像内で識別されてもよい。システムは、ユーザに関連付けられた画像に対してオブジェクト認識アルゴリズムを動作させ、画像内の１つまたは複数のオブジェクトを識別してもよい。いくつかの実施形態では、システムは、ユーザに関連付けられた画像内の無生物オブジェクトのみを識別する。

図４に示すように、システムは、実世界のシーンの第１の画像４１０内の、おもちゃの兵隊４１２及び目覚時計４１３を識別し、実世界のシーンの第２の画像４２０内の、トロフィー４２１及びベースボールキャップ４２２を識別する。次いで、識別されたオブジェクトそれぞれが、オブジェクトリストユーザインターフェース４３０内に示されている、ユーザに関連付けられたオブジェクトのリストに追加される。ユーザは、オブジェクトリストユーザインターフェース４３０を使用して、識別されたオブジェクトにコンテンツアイテムを関連付けてもよい。ユーザは、オブジェクトリストユーザインターフェース４３０を通じて、オブジェクトのオブジェクトクラス及び共有設定をさらに設定してもよい。

図４で、ユーザは、オーディオクリップをトロフィーのリスト４３３に追加し、オブジェクトクラスが「ジョー・スミスの１９８５年のベースボールトロフィー」になるように構成している。トロフィーのリスト４３３についての共有設定は、位置制限がない「全ての人」に設定されている。この設定では、自分に関連付けられた画像内にジョー・スミスの１９８５年のベースボールトロフィーの画像を有する人は誰でも、トロフィーにタグ付けされたオーディオクリップを聴くことができる。例えば、将来のいつかこのトロフィーに目を留めた誰かが、トロフィーについての記憶を伝えるユーザによって残されたオーディオクリップを聴くことが可能となる。

さらに図４で、ユーザは、ベースボールキャップについてのリスト４３４に画像をタグ付けしている。ベースボールキャップ４３４についてのオブジェクトクラスは、「ドジャースのベースボールキャップ」であり、共有設定は、「友達のみ」及び「カリフォルニア州サンディエゴから５マイル以内」に設定されている。この設定では、カリフォルニア州サンディエゴから５マイル以内でドジャースのベースボールキャップの画像を有するソーシャルネットワーク上のユーザの友達は、ベースボールキャップを被ったユーザの画像４３６を見ることが可能であり得る。

ユーザは、おもちゃの兵隊についてのリスト４３１、及び目覚時計についてのリスト４３２に、どのコンテンツアイテムも関連付けていない。ユーザは、「メモ追加」「画像追加」「ビデオ追加」及び「オーディオ追加」ボタンのうちの１つを選択し、新たなコンテンツをオブジェクトに関連付けてもよい。

共有設定及び位置設定が、識別されたオブジェクトに関連付けられた設定であるように示されているが、いくつかの実施形態では、共有設定及び位置設定のうちの１つまたは複数が、その代わりにコンテンツアイテムに関連付けられてもよい。ユーザは、複数のコンテンツアイテムを１つのオブジェクトに関連付けてもよい。オブジェクトリスト上の同一のオブジェクトに関連付けられた異なるコンテンツアイテムが、異なるオブジェクトクラス、共有設定、及び／または位置設定を有してもよい。

図５を参照すると、本発明のいくつかの実施形態による、オブジェクトリスト内の実世界のオブジェクトに関連付けられたコンテンツアイテムを見るための、ユーザインターフェースの例５００が説明されている。ユーザが、オブジェクトベースのコンテンツ共有システムにログインすると、ユーザは、自分に関連付けられたオブジェクトのリストを見るオプションを有し、他のユーザによってオブジェクトにタグ付けされ、または関連付けされた任意のコンテンツアイテムを見てもよい。いくつかの実施形態では、各オブジェクトリスト５１１、５１２、５１３及び５１５は、オブジェクトの画像５３０、オブジェクトにタグ付けされた任意のコンテンツアイテム５２０、及びオブジェクトにさらなるコンテンツアイテムを追加するためのコメントオプション５４０を含む。

オブジェクトの画像５３０は、ユーザに関連付けられた実世界のシーンの画像から抽出された画像、及び／またはオブジェクトが割り当てられたオブジェクトクラスのオブジェクト代表画像であってもよい。関連するコンテンツアイテム５２０は、コンテンツアイテムを追加したユーザに関連付けられたプロファイル画像、コンテンツアイテム、コンテンツアイテムのプレビュー、及びコンテンツアイテム再生用オプションのうちの１つまたは複数を含んでもよい。コメントオプション５４０によって、ユーザは、新たなコンテンツアイテムを生成及び／または添付し、図４に示されるものと類似した共有設定を構成することが可能となる。

いくつかの実施形態では、ユーザが、同一のユーザインターフェースで、オブジェクトリスト上のコンテンツアイテムの視聴及び追加の両方ができるように、ユーザインターフェース４３０とユーザインターフェース５００とが結合されてもよい。いくつかの実施形態では、オブジェクトリスト５１１、５１２、５１３及び５１５は、各オブジェクトにタグ付けされた最新のコンテンツアイテムの順、及び／またはユーザに関連付けられた最新のオブジェクトの順に、ソートされてもよい。

図６を参照すると、オブジェクトベースのコンテンツ共有のためのユーザインターフェースの別の例６００が説明されている。ユーザインターフェース６００は、オブジェクトまたはオブジェクトクラスについてのコンテンツ共有ページを示している。ページは、関連するオブジェクト（複数可）の１つまたは複数の画像６１０、コンテンツ追加用オプション６２０、ならびにオブジェクトまたはオブジェクトクラスにタグ付けされたコンテンツアイテム６３１、６３２及び６３３を含んでもよい。

図６には、「サンディエゴ・パドレスの青いロゴキャップ」についてのページが示されている。コンテンツアイテム６３１、６３２及び６３３のそれぞれが、コンテンツアイテムを追加したユーザに関連付けられたプロファイル画像、コンテンツアイテム、コンテンツアイテムのプレビュー、及びコンテンツアイテム再生用オプションのうちの１つまたは複数を含み得る。いくつかの実施形態では、ユーザインターフェース６００は、画像６１０に示されるキャップ、及び／または「サンディエゴ・パドレスの青いロゴキャップ」オブジェクトクラスに関連付けられた共通属性に合致するオブジェクトを、オブジェクトリスト上に有するユーザによってのみ見ることが可能であってもよい。例えば、ユーザが、パドレスの青いロゴキャップを被った写真を撮った場合、システムは、このオブジェクトクラスに属するものとしてキャップを認識し、図示されているオブジェクトクラスにユーザを繋げてもよい。

いくつかの実施形態では、オブジェクトページのコンテンツは、合致するオブジェクトをオブジェクトリスト上に有するユーザだけが見ることができる。いくつかの実施形態では、ユーザインターフェース６００は、コンテンツアイテムをページに追加することが可能なオブジェクトクラスに合致するオブジェクトをリスト上に有するユーザだけではなく、誰でも見ることが可能であってもよい。いくつかの実施形態では、オブジェクトページの管理者は、誰がコンテンツアイテムを見ることができ、及び／または誰がコンテンツアイテムをオブジェクトページに追加することができるかを設定するオプションを有してもよい。いくつかの実施形態では、ユーザは、ユーザがコンテンツアイテムを見ることを許可する共有設定で、コンテンツアイテムを見るだけとなる。いくつかの実施形態では、ユーザインターフェースは、インターフェース４３０及び５００への代替ビューである。いくつかの実施形態では、オブジェクトページは、図５及び図６のオブジェクトリストの１つ、及び／または図７及び図８を参照して以下で説明するような、実世界のシーンの画像内のオブジェクトを選択することによってアクセスされてもよい。

図７及び８を参照すると、本発明のいくつかの実施形態による、オブジェクトベースのコンテンツ共有システムのユーザインターフェースのさらなる例が説明されている。ユーザインターフェース７１０では、ユーザは、実世界のシーン７１２内で識別されたオブジェクト７１４を選択して、コンテンツアイテムをオブジェクトにタグ付けしてもよい。実世界のシーン７１２は、デバイスによって現在見られているシーン、またはそのデバイスまたは別のデバイスによって以前にキャプチャされていた画像であってもよい。ユーザは、ユーザデバイス上に記憶された、または離れた場所に記憶された写真またはビデオを見ていてもよく、実世界のシーンの画像内の車７１４などのオブジェクトの１つを選択してタグ付けしてもよい。

車７１４が選択された後、ユーザがコンテンツアイテムを入力するため、またはコンテンツアイテムをオブジェクトに添付するために、タグ付けユーザインターフェース７２０がユーザに提供されてもよい。タグ付けユーザインターフェース７２０は、選択されたオブジェクトの画像７２２、及びコンテンツアイテム添付用の１つまたは複数のオプション７２４を含んでもよい。オプションは、「メモ追加」、「ビデオ追加」、「画像追加」及び「オーディオ追加」を含んでもよい。いくつかの実施形態では、タグ付けユーザインターフェース７２０は、上記図４を参照して説明したように、コンテンツアイテムについてのオブジェクトクラス及び共有設定を構成し、割り当てるためのオプションをさらに含んでもよい。

ユーザインターフェース８１０は、実世界のシーン８１２の画像内のオブジェクトにタグ付けされたコンテンツアイテムの通知の表示を示す。実世界のシーン８１２は、デバイスによって現在見られているシーン、またはそのデバイスもしくは別のデバイスによって以前にキャプチャされていた画像であってもよい。例えば、ユーザが、写真またはビデオのアルバムを見直していて、現在見ている画像に１つまたは複数のタグ付けされたオブジェクトが含まれる場合に、通知が提供されてもよい。アイコン８１４などのグラフィックインジケータが、実世界のシーン８１２の画像と共に表示されて、ユーザが利用可能なコンテンツアイテムにその画像内のオブジェクトがタグ付けされていることを、ユーザに示してもよい。

アイコン８１４などのグラフィックインジケータが、実世界のシーンの画像内で選択されたとき、関連するコンテンツアイテム８２４が、コンテンツアイテム視聴インターフェース８２０内に表示されてもよい。いくつかの実施形態では、コンテンツアイテムは、図示するように実世界のシーン８２２の画像へのオーバレイであってもよく、またはフルスクリーンで表示されてもよい。

図８のユーザインターフェースは、モバイルデバイスによって表示されるように示されているが、ユーザインターフェースは、ディスプレイを有する任意の種類のユーザデバイス上に表示されてもよく、アプリケーション（「ａｐｐ」）及び／またはウェブサイトの一部であってもよい。

図９は、本発明の実施形態に従って、本明細書に示され説明される方法及び技術のうちのいずれかを動作させ、実装し、及び／または実行するために使用され得るシステムを説明するブロック図である。オブジェクトベースのコンテンツ共有システム９００は、ネットワーク９０５を介して通信する、ユーザデバイス９１０、９２０及び９３０、コンテンツ共有サーバ９４０、ならびにソーシャルネットワーキングサーバ９７０を含む。

ユーザデバイス９１０は、デスクトップコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、パッド型デバイス、頭部装着型ディスプレイ、及び／またはウエアラブルデバイスなどの、任意のユーザデバイスであってもよい。ユーザデバイス９１０は、プロセッサ９１１、メモリ９１２、ネットワークインターフェース９１３、ディスプレイ９１５、１つまたは複数の他の入力／出力デバイス９１６を含んでもよい。プロセッサ９１１は、メモリ９１２に記憶されたコンピュータ可読命令を実行して、図１〜３を参照して説明した方法のより多くのステップの１つを容易にするように構成される。メモリ９１２は、ＲＡＭ及び／またはハードドライブメモリデバイスを含んでもよい。ネットワークインターフェース９１３は、ネットワーク９０５を通じて、少なくともコンテンツ共有サーバ９４０にデータを送信し、少なくともコンテンツ共有サーバ９４０からデータを受信するように構成される。ディスプレイ９１５は、液晶ディスプレイ（ＬＣＤ：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、発光ダイオード（ＬＥＤ：ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ：ｏｒｇａｎｉｃ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）ディスプレイ、ＬＣｏＳ(ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ)ディスプレイ、ＬＥＤ照光ディスプレイなどであってもよい。いくつかの実施形態では、ディスプレイ９１５は、ユーザからの入力を受信するように構成されるタッチディスプレイである。いくつかの実施形態では、ディスプレイ９１５は、レンズまたは装着者の目に画像を投影する頭部装着型ディスプレイである。ディスプレイは、上記図４〜８を参照して説明したユーザインターフェースを多様に表示するために使用され得る。ユーザデバイス９１０は、マイクロフォン、スピーカ、傾きセンサ、コンパス、ＵＳＢポート、カメラ、グラフィックプロセッサなどの他の入力／出力デバイス９１６をさらに含んでもよい。入力／出力デバイス９１６は、コンテンツアイテムを入力し、及び／または再生するために使用されてもよい。

ユーザデバイス９２０及び９３０は、オブジェクトベースのコンテンツ共有システム９００にアクセスするために、１人または複数の他のユーザによって操作されるユーザデバイスであってもよい。図９には３つのユーザデバイスが示されているが、システム９００は、任意の数のユーザデバイス及びユーザによってアクセスされ得ると理解されたい。

コンテンツ共有サーバ９４０は、プロセッサ９４２、メモリ９４１、及びネットワークインターフェース９４４を含む。いくつかの実施形態では、プロセッサ９４２は、メモリ９４１に記憶されたコンピュータ可読命令を実行して、図１〜３を参照して本明細書で説明した方法の１つまたは複数のステップを実行するように構成される。コンテンツ共有サーバ９４０は、オブジェクトデータベース９６０及びコンテンツアイテムデータベース９５０のうちの１つまたは複数に接続されるか、またはそれらの１つまたは複数を含んでもよい。

コンテンツアイテムデータベース９５０は、タグ付けされたオブジェクトまたはオブジェクトクラス、各オブジェクトまたはオブジェクトクラスにタグ付けされたコンテンツアイテム（複数可）、ならびにコンテンツアイテム及び／またはタグ付けオブジェクトに関連付けられた共有設定のそれぞれに関する情報を記憶してもよい。いくつかの実施形態では、図３のステップ３５０は、コンテンツアイテムデータベース９５０に情報を記憶することによって実行される。

オブジェクトデータベース９６０は、１つまたは複数の実世界のオブジェクト及びそれらの属性を識別するためにシステムのオブジェクト認識アルゴリズムによって使用される、既知のオブジェクトのデータベースを含んでもよい。いくつかの実施形態では、実世界のオブジェクトの画像（複数可）が、オブジェクトデータベース９６０内の１つまたは複数のオブジェクトの画像と比較される。合致するとき、オブジェクトデータベース９６０は、オブジェクトの名前、オブジェクトの種類、オブジェクトのモデルなどの、オブジェクトに関するさらなる情報を提供してもよい。

いくつかの実施形態では、オブジェクトデータベース９６０及びコンテンツアイテムデータベース９５０のうちの１つまたは複数は、コンテンツ共有サーバ９４０の一部であってもよい。いくつかの実施形態では、オブジェクトデータベース９６０及びコンテンツアイテムデータベース９５０は、単一のデータベースとして実装されてもよい。いくつかの実施形態では、コンテンツ共有サーバ９４０は、オブジェクトデータベース９６０及びコンテンツアイテムデータベース９５０のうちの１つまたは複数とも、ネットワーク９０５を介して通信する。いくつかの実施形態では、オブジェクトデータベース９６０は、第三者によって維持され、制御されてもよい。いくつかの実施形態では、オブジェクトデータベース９６０は、ユーザが提供した画像及び属性を受信することによって、ならびにユーザが提供した情報をそのデータベースに追加することによって、新たなオブジェクトを「学習」してもよい。例えば、ユーザが、車の写真を撮って、その製造元及び型式を入力すると、オブジェクトデータベースはその後、同じ車の別の画像を認識することができ、その製造元及び型式についての情報を提供することができる。１つのコンテンツ共有サーバ９４０だけが示されているが、コンテンツ共有サーバ９４０、オブジェクトデータベース９６０、及びコンテンツアイテムデータベース９５０は、ネットワークを通じて接続された１つまたは複数の物理的なデバイスで実装されてもよい。

ソーシャルネットワーキングサーバ９７０は、ユーザが互いに繋がり、ソーシャルネットワーク及びグループを構築するためのソーシャルネットワーキング機能を提供する。ソーシャルネットワーキングサーバ９７０は、コンテンツ共有サーバ９４０または第三者のサービスの一部であってもよい。ソーシャルネットワーキングサービス内で構築された関係性及びグループは、本明細書で述べた共有設定を構成するために使用されてもよい。例えば、コンテンツアイテムが、作者の「友達」のみと共有されるように構成される場合、コンテンツ共有サーバ９４０は、コンテンツアイテムを第２のユーザに提供すべきかどうかを判断するために、２人のユーザ間のソーシャルネットワーキングの状態について、ソーシャルネットワーキングサーバ９７０に照会してもよい。いくつかの実施形態では、ユーザが、共有設定を構成しているとき、ユーザが自分の友達及び／またはソーシャルグループの間でコンテンツアイテムを共有することを選択できるように、ネットワーキングサーバ９７９から情報を取得することができる。

いくつかの実施形態では、上述した実施形態、方法、手法、及び／または技術のうちの１つまたは複数は、プロセッサベースの装置またはシステムによって実行可能な、１つまたは複数のコンピュータプログラムまたはソフトウェアプリケーションで実装され得る。例として、そのようなプロセッサベースのシステムは、プロセッサベースの装置またはシステム９００、即ち、コンピュータ、エンタテイメントシステム、ゲームコンソール、グラフィックワークステーション、サーバ、クライアント、ポータブルデバイス、パッド型デバイスなどを含み得る。そのようなコンピュータプログラム（複数可）は、上述の方法及び／または技術の様々なステップ及び／または特徴を実行するために使用され得る。即ち、コンピュータプログラム（複数可）は、プロセッサベースの装置もしくはシステムに上述した機能を実行及び達成させるように適合され、または上述した機能を実行及び達成するようにプロセッサベースの装置もしくはシステムを構成するように適合され得る。例えば、そのようなコンピュータプログラム（複数可）は、上述の方法、ステップ、技術、または特徴の任意の実施形態を実装するために使用され得る。別の例として、そのようなコンピュータプログラム（複数可）は、上述の実施形態、方法、手法、及び／または技術のうちの任意の１つまたは複数を使用する、任意の種類のツールまたは類似のユーティリティを実装するために使用され得る。いくつかの実施形態では、コンピュータプログラム（複数可）の内部または外部のプログラムコードマクロ、モジュール、ループ、サブルーチン、コールなどは、上述の方法及び／または技術の様々なステップ及び／または特徴を実行するために使用され得る。いくつかの実施形態では、コンピュータプログラム（複数可）は、本明細書で説明されたコンピュータ可読記憶媒体または記録媒体のうちのいずれかのような、コンピュータ可読記憶媒体または記録媒体上に記憶され、または具現化され得る。

したがって、いくつかの実施形態では、本発明は、本明細書で説明した実施形態、方法、手法、及び／または技術のうちのいずれか１つまたは複数に含まれるステップのうちのいずれか１つまたは複数を含むステップを、コンピュータに行わせ、または実行させるための媒体に具現化された、コンピュータ及びコンピュータプログラムへの入力のためのコンピュータプログラムを具現化するための媒体を含むコンピュータプログラム製品を提供する。例えば、いくつかの実施形態では、本発明は、ユーザに関連付けられた１つまたは複数の実世界のシーンの画像内の１つまたは複数のオブジェクトを識別することと、識別された１つまたは複数のオブジェクトを、ユーザに関連付けられた実世界のオブジェクトのリストに追加することと、実世界のオブジェクトのリスト内の各オブジェクトを、画像認識に基づいてオブジェクトクラスに割り当てることと、ユーザに関連付けられた実世界のオブジェクトのリストのオブジェクトの１つに割り当てられたオブジェクトクラスに、コンテンツアイテムが関連付けられたという通知を、ユーザに提供することと、を含むステップを、プロセッサベースの装置またはシステムに実行させるように適合された１つまたは複数のコンピュータプログラムを記憶する、１つまたは複数の非一時的コンピュータ可読記憶媒体を提供する。別の例で、いくつかの実施形態では、本発明は、第１のユーザに関連付けられた１つまたは複数の画像内の１つまたは複数のオブジェクトを識別することであって、識別することが、プロセッサベースの装置によって動作する画像認識技術によって実行される、識別することと、識別された各オブジェクトについて、１つまたは複数の注目画像を識別するために、他のユーザに関連付けられた１つまたは複数の画像から検索することであって、１つまたは複数の注目画像のそれぞれが、（ｉ）識別されたオブジェクトに実質的に合致する外観を有し、（ｉｉ）他のユーザの１人によって検索に含めるために指定された、オブジェクトを表す、検索することと、任意の識別された注目画像に少なくとも一部基づく通知を生成することと、通知を第１のユーザに提供することと、を含むステップを、プロセッサベースの装置またはシステムに実行させるように適合された１つまたは複数のコンピュータプログラムを記憶する、１つまたは複数の非一時的コンピュータ可読記憶媒体を提供する。さらに別の例で、いくつかの実施形態では、本発明は、第１のユーザに関連付けられた１つまたは複数の実世界のシーンの画像内の１つまたは複数のオブジェクトを識別することと、識別された１つまたは複数のオブジェクトを、第１のユーザに関連付けられた実世界のオブジェクトのリストに追加することと、実世界のオブジェクトのリスト内の各オブジェクトを、画像認識に基づいてオブジェクトクラスに割り当てることと、実世界のオブジェクトのリスト内の実世界のオブジェクトについて、第１のユーザからコンテンツアイテムを受信することと、実世界のオブジェクトのオブジェクトクラス内のオブジェクトを見る第２のユーザによってコンテンツアイテムが取得可能であるように、コンテンツアイテム及び実世界のオブジェクトのオブジェクトクラスをサーバ上に記憶することと、を含むステップを、プロセッサベースの装置またはシステムに実行させるように適合された１つまたは複数のコンピュータプログラムを記憶する、１つまたは複数の非一時的コンピュータ可読記憶媒体を提供する。

本明細書で開示された発明は、特定の実施形態及びその適用によって説明されているが、特許請求の範囲に記載された発明の範囲を逸脱することなく、当業者によって多くの修正及び変更が行われ得る。

Claims (28)

1. 第１のユーザに関連付けられた１つまたは複数の実世界のシーンの画像内の１つまたは複数のオブジェクトを識別することと、
   前記識別された１つまたは複数のオブジェクトを、前記第１のユーザに関連付けられた実世界のオブジェクトのリストに追加することと、
   前記実世界のオブジェクトのリスト内の各オブジェクトを、オブジェクト認識に基づいてオブジェクトクラスに割り当てることと、
   前記第１のユーザに関連付けられた前記実世界のオブジェクトのリストの前記オブジェクトの１つに割り当てられたオブジェクトクラスに第２のユーザによって提供されたコンテンツアイテムが関連付けられたという通知を、前記第１のユーザに提供することと、を含む、方法。
2. 前記コンテンツアイテムは、テキストコメント、画像、オーディオクリップ、及びビデオクリップのうちの１つまたは複数を含む、請求項１に記載の方法。
3. 前記１つまたは複数の実世界のシーンの画像は、複数の場所で複数の期間にわたってキャプチャされたフォトアルバム内の画像を含む、請求項１に記載の方法。
4. 前記実世界のオブジェクトのリストは、前記第１のユーザによって編集されるように構成される、請求項１に記載の方法。
5. 各オブジェクトクラスは、唯一のオブジェクト、視覚的に類似のオブジェクトの集合、及び１つまたは複数の共通属性を共有するオブジェクトの集合、のうちの１つまたは複数に対応する、請求項１〜４のいずれか１項に記載の方法。
6. 前記通知を前記提供するステップは、ユーザデバイスの位置、共有設定、及び前記第１のユーザと前記コンテンツアイテムの作者との間のソーシャルネットワーク関係性、のうちの１つまたは複数にさらに基づく、請求項１〜４のいずれか１項に記載の方法。
7. 前記通知を前記第１のユーザに提供することは、前記第２のユーザによって作成されるユーザ作成可能な設定に少なくとも一部基づいている、請求項１〜４のいずれか１項に記載の方法。
8. 前記ユーザ作成可能な設定は前記コンテンツアイテムが関連付けられる１つまたは複数のオブジェクトクラスを定義する、請求項７に記載の方法。
9. プロセッサベースのデバイス、ならびに、
   第１のユーザに関連付けられた１つまたは複数の実世界のシーンの画像内の１つまたは複数のオブジェクトを識別することと、
   前記識別された１つまたは複数のオブジェクトを、前記第１のユーザに関連付けられた実世界のオブジェクトのリストに追加することと、
   前記実世界のオブジェクトのリスト内の各オブジェクトを、オブジェクト認識に基づいてオブジェクトクラスに割り当てることと、
   前記第１のユーザに関連付けられた前記実世界のオブジェクトのリストの前記オブジェクトの１つに割り当てられたオブジェクトクラスに第２のユーザによって提供されたコンテンツアイテムが関連付けられたという通知を、前記第１のユーザに提供することと、
   を含むステップを、前記プロセッサベースのデバイスに実行させるように構成されるコンピュータ可読命令のセットを記憶する、非一時的記憶媒体、
   を備える、装置。
10. 前記通知を前記第１のユーザに提供することは、前記第２のユーザによって作成されるユーザ作成可能な設定に少なくとも一部基づいている、請求項９に記載の装置。
11. 前記ユーザ作成可能な設定は前記コンテンツアイテムが関連付けられる１つまたは複数のオブジェクトクラスを定義する、請求項１０に記載の装置。
12. 第１のユーザに関連付けられた１つまたは複数の画像内の１つまたは複数のオブジェクトを識別することであって、前記識別することが、プロセッサベースの装置によって動作するオブジェクト認識技術によって実行される、前記識別することと、
    識別された各オブジェクトについて、１つまたは複数の注目画像を識別するために、他のユーザに関連付けられた１つまたは複数の画像から検索することであって、前記１つまたは複数の注目画像のそれぞれが、（ｉ）前記識別されたオブジェクトに実質的に合致する外観を有し、（ｉｉ）前記他のユーザの１人によって前記検索に含めるために指定された、オブジェクトを表す、前記検索することと、を含み、
    前記１つまたは複数の注目画像の少なくとも１つについて、前記他のユーザのうちの前記１人がまた、前記識別されたオブジェクトに実質的に合致する外観を有する前記オブジェクトにコンテンツアイテムを提供して関連付けており、
    前記識別されたオブジェクトに実質的に合致する外観を有する前記オブジェクトに前記他のユーザの前記１人によって提供された前記コンテンツアイテムが関連付けられたという通知を前記第１のユーザに提供することをさらに含む、方法。
13. 前記通知は、任意の識別された注目画像のリストを含む、請求項１２に記載の方法。
14. 前記通知は、任意のコンテンツアイテムが、任意の識別されたオブジェクトに実質的に合致する外観を有する任意のオブジェクトに関連付けられたかどうかの標識を含む、請求項１２または１３に記載の方法。
15. 前記第１のユーザに関連付けられた前記１つまたは複数の画像のうちの少なくとも１つが、前記第１のユーザに関連付けられた１つまたは複数のビデオに含まれる、請求項１２または１３に記載の方法。
16. 前記第１のユーザに関連付けられた前記１つまたは複数の画像内の１つまたは複数のオブジェクトを前記識別することは、前記第１のユーザに関連付けられた１つまたは複数の画像内の１つまたは複数の無生物オブジェクトのみを識別する、請求項１２または１３に記載の方法。
17. 前記通知を前記第１のユーザに提供することは、前記他のユーザの前記１人によって作成される設定に少なくとも一部基づいている、請求項１２または１３に記載の方法。
18. 前記設定は、前記通知が前記第１のユーザに提供されるために前記識別されたオブジェクトに実質的に合致する外観を有する前記オブジェクトが前記識別されたオブジェクトを実際に含まなければならないかどうかを定義する、請求項１７に記載の方法。
19. 第１のユーザに関連付けられた１つまたは複数の実世界のシーンの画像内の１つまたは複数のオブジェクトを識別することと、
    前記識別された１つまたは複数のオブジェクトを、前記第１のユーザに関連付けられた実世界のオブジェクトのリストに追加することと、
    前記実世界のオブジェクトのリスト内の各オブジェクトを、オブジェクト認識に基づいてオブジェクトクラスに割り当てることと、
    前記実世界のオブジェクトのリスト内の実世界のオブジェクトについて、前記第１のユーザからコンテンツアイテムを受信することであって、前記コンテンツアイテムは前記第１のユーザに関連付けられた前記１つまたは複数の実世界のシーンの画像とは異なる、前記コンテンツアイテムを受信することと、
    前記実世界のオブジェクトの前記オブジェクトクラス内のオブジェクトを見る第２のユーザによって前記コンテンツアイテムが取得可能であるように、前記コンテンツアイテム及び前記実世界のオブジェクトのオブジェクトクラスをサーバ上に記憶することと、
    前記第１のユーザから設定を受信することであって、前記設定は誰が前記コンテンツアイテムを取得することが許可されるかをさらに制限する、前記設定を受信することと、を含む方法。
20. 前記実世界のオブジェクトをオブジェクトクラスに前記割り当てることは、前記設定に少なくとも部分的に基づく、請求項１９に記載の方法。
21. 前記コンテンツアイテムは、テキストコメント、画像、オーディオクリップ、及びビデオクリップのうちの１つまたは複数を含む、請求項１９または２０に記載の方法。
22. 前記１つまたは複数の実世界のシーンの画像は、複数の場所で複数の期間にわたってキャプチャされたフォトアルバム内の画像を含む、請求項１９または２０に記載の方法。
23. 各オブジェクトクラスは、唯一のオブジェクト、視覚的に類似のオブジェクトの集合、及び１つまたは複数の共通属性を共有するオブジェクトの集合、のうちの１つまたは複数に対応する、請求項１９または２０に記載の方法。
24. オブジェクト認識は、１つまたは複数の前記オブジェクトの画像の特徴を、複数の既知のオブジェクトの特徴と比較することを含む、請求項１９または２０に記載の方法。
25. 前記設定は、前記実世界のオブジェクトが、前記実世界のオブジェクトの画像とのみ、または１つもしくは複数の共通属性を前記実世界のオブジェクトと共有する任意のオブジェクトの画像とのみ照合されるかどうかを示す情報を含む、請求項１９または２０に記載の方法。
26. プロセッサベースのデバイス、ならびに、
    第１のユーザに関連付けられた１つまたは複数の実世界のシーンの画像内の１つまたは複数のオブジェクトを識別することと、
    前記識別された１つまたは複数のオブジェクトを、前記第１のユーザに関連付けられた実世界のオブジェクトのリストに追加することと、
    前記実世界のオブジェクトのリスト内の各オブジェクトを、オブジェクト認識に基づいてオブジェクトクラスに割り当てることと、
    前記実世界のオブジェクトのリスト内の実世界のオブジェクトについて、前記第１のユーザからコンテンツアイテムを受信することであって、前記コンテンツアイテムは前記第１のユーザに関連付けられた前記１つまたは複数の実世界のシーンの画像とは異なる、前記コンテンツアイテムを受信することと、
    前記実世界のオブジェクトの前記オブジェクトクラス内のオブジェクトを見る第２のユーザによって前記コンテンツアイテムが取得可能であるように、前記コンテンツアイテム及び前記実世界のオブジェクトのオブジェクトクラスをサーバ上に記憶することと、
    前記第１のユーザから設定を受信することであって、前記設定は誰が前記コンテンツアイテムを取得することが許可されるかをさらに制限する、前記設定を受信することと、
    を含むステップを、前記プロセッサベースのデバイスに実行させるように構成されるコンピュータ可読命令のセットを記憶する、非一時的記憶媒体、
    を備える装置。
27. 前記実世界のオブジェクトをオブジェクトクラスに前記割り当てることは、前記設定に少なくとも部分的に基づく、請求項２６に記載の装置。
28. 前記設定は、前記実世界のオブジェクトが、前記実世界のオブジェクトの画像とのみ、または１つもしくは複数の共通属性を前記実世界のオブジェクトと共有する任意のオブジェクトの画像とのみ照合されるかどうかを示す情報を含む、請求項２６または２７に記載の装置。

Images