JP6363758B2 - 関連コンテンツを見るためのジェスチャー・ベースのタグ付け - Google Patents
関連コンテンツを見るためのジェスチャー・ベースのタグ付け Download PDFInfo
- Publication number
- JP6363758B2 JP6363758B2 JP2017080394A JP2017080394A JP6363758B2 JP 6363758 B2 JP6363758 B2 JP 6363758B2 JP 2017080394 A JP2017080394 A JP 2017080394A JP 2017080394 A JP2017080394 A JP 2017080394A JP 6363758 B2 JP6363758 B2 JP 6363758B2
- Authority
- JP
- Japan
- Prior art keywords
- article
- user
- tagged
- content
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Human Computer Interaction (AREA)
- General Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Economics (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
[0021] 通例、ユーザーが見ているメディア・コンテンツ内においてある物品に関するある情報をユーザーが検索したいとき、ユーザーはウェブ・ブラウザーを開いて検索サービスと接続する。ユーザーは、検索クエリーを入力することによって、検索エンジンに問い合わせることができる。このような検索クエリーは、ウェブ・ブラウザーおよび/またはウェブ・ページと一体になった検索ボックスまたはツールバーとしてウェブ・ブラウザーと共に実行する検索ボックスを介して、またはウェブ・ブラウザーを検索を完了するためのプラットフォームとして使用する別のアプリケーションによって入力することができる。いずれの場合でも、ユーザーは、タイプ入力するかまたは検索クエリーをカットおよびペーストすることによって、手作業で検索クエリーを入力する。他の既存の技術では、利用可能であれば、ユーザーのデバイスの音声認識機能をアクティブ化して音声コマンドおよび/または音声入力を入力することによって、ユーザーが検索クエリーを入力することを可能にするものもある。音声コマンドおよび/または音声入力は、ユーザーのデバイスの検索アプリケーションまたは検索サービスによってテキストに変換される。
を同時に実行する能力が制限されている場合、またはこの能力を有していない場合、一層悪化する。これらの問題は、特に移動体デバイスでは破壊的であり、ユーザーは多くの場合同時にメディア・コンテンツを見ながらインターネット検索を実行することができない。
)、ジェスチャーによってタッチされるまたは重ねられる物品を有する領域等であってもよい。他の例では、ジェスチャーが、物品を選択することによって(例えば、ある物品上でホバリングするおよび/または選択するカーソルまたはセレクターによって)その物品を指定することもできる。
ターに基づいて、タグ付けされた物品に関するコンテンツを求める検索を実行させることができる。実施形態では、タグ付けされた物品に関するコンテンツを検索するために、コンテキスト・データーおよび/またはユーザー・データーを利用するのでもよい。例えば、ユーザー・データーおよび/またはコンテキスト・データーが、関連コンテンツの検索を定式化する(formulate)、リファインする、あるいはそれ以外では生成する、変更する
、または強調するために参照されるまたは特定されるのでもよい。
うにこのプロセッサーを構成する。アクトは、表示されたメディア・コンテンツ内に提示された物品を示すタグ付きジェスチャーを検出することを含む。タグ付けジェスチャーによって示される物品に関連するタグ−物品データーが特定される。この特定されたタグ−物品データーとユーザー・データーおよびコンテンツ−物品データーの内少なくとも1つを使用して実行される検索が開始される。タグ−物品データーとユーザー・データーおよびコンテンツ−物品データーの内少なくとも1つとに基づく物品に関するコンテンツが受信される。関連コンテンツは、物品と関連付けて提示される。
アーキテクチャ例
[0035] 本発明の実施形態の種々の形態は、コンピューター・コードまたは機械使用可能命令という一般的なコンテキストで説明することができ、コンピューター、あるいはパーソナル・データー・アシスタントまたは他のハンドヘルド・デバイスというような他の機械によって実行されるプログラム・モジュールのような、コンピューター実行可能命令を含む。一般に、プログラム・モジュールは、ルーチン、プログラム、オブジェクト、コンポーネント、データー構造等を含み、特定のタスクを実行するコード、または特定の抽象データー型を実装するコードを指す。本発明の実施形態は、専用サーバー、汎用コンピューター、ラップトップ、更に特殊な計算デバイス等を含む、種々のシステム構成で実施することができる。また、本発明の実施形態は、分散型計算環境において実施することもでき、この場合、タスクは、通信ネットワークを通じてリンクされるリモート処理デバイスによって実行される。
計算デバイス100が、図示されるコンポーネントのいずれか1つに関しても、またはその組み合わせに関しても、何らかの依存性または要件を有するというように解釈してはならない。
上のプロセッサー114は、コンピューター実行可能命令によって定められる種々のタスクおよび方法を実行するために、コンピューター実行可能命令を実行する。プレゼンテーション・コンポーネント(1つまたは複数)は、システム・バス110に結合され、ユーザーまたは他のデバイスにデーター指示を提示する。プレゼンテーション・コンポーネント116の例には、ディスプレイ・デバイス、スピーカー、印刷コンポーネント等が含まれる。
本明細書において使用する場合、タグ付けすることができるコンテンツ内に少なくとも1つの物品が提示された媒体を指す。即ち、タグ付け可能コンテンツとは、関連コンテンツを見ることができるように、少なくとも1つのタグ付け可能な物品を含むメディア・コンテンツのことである。これに関して、タグ付け可能コンテンツは、メディア・コンテンツ内に少なくとも1つの物品を含み、これが選択されると(例えば、ジェスチャーによって)、関連コンテンツが表示される結果となる。したがって、実現例では、タグ付け可能コンテンツが、関連コンテンツを見ることができる物品を示すメタデーターを含むのでもよい。メディア・コンテンツは、例えば、テレビジョン番組、ムービー、オンデマンド番組、生番組、ビデオ・クリップ等であってもよい。タグ付け可能な物品とは、メディア・コンテンツ内で提示され、ユーザーによってタグ付けすることができる物品である。タグは、ユーザーが特定の物品に興味があることの指示または指定を与える。このように、物品にタグ付けすると、それに関するコンテンツを検索し提示することが可能になる。物品は、メディア・コンテンツ内で提示される任意の物品または物品の組み合わせとすることができる。例えば、図3を参照すると、帽子310が1つの物品であることができ、シャツ312が第2物品であることができ、個人314が第3物品であることができ、首ひも316が第4物品であることができる等である。
能にする、任意の種類の計算デバイスとすることができる。例えば、一実施形態では、ユーザー・デバイス204が、図1を参照して先に説明した計算デバイス100のような計算デバイスであることができる。ユーザー・デバイス204は、例えば、デスクトップ・コンピューター、ノートブックまたはラップトップ・コンピューター、ネットブック、タブレットまたはスレート・コンピューター、サーフェイス計算デバイス、電子ブック・リーダー・デバイス、ワークステーション、移動体デバイス(例えば、スマートフォン、パーソナル・ディジタル・アシスタント、車内ナビゲーション・デバイス等)、ゲーム・コンソール、セット・トップ・ボックス、テレビジョン、またはその組み合わせというような、種々の従来からの計算デバイスの内任意の1つとして実現されてもよい。認めることができようが、ユーザー・デバイス204は、タグ付け可能コンテンツおよび関連コンテンツをユーザーに提示することができるように、表示画面と関連付けられる。このような表示画面は、ユーザー・デバイス204と統合されても、これとは離れていてもよい。
されたか否か認識または識別する。タグ付け機能は、ユーザーがメディア・コンテンツ内でタグ付け物品を開始すること、および/またはタグ付き物品(例えば、ユーザー、広告主、ネットワーク関係者等によってタグ付けされた物品)に関するコンテンツを見ることを可能にする。これに関して、タグ付け機能は、ユーザーが、ユーザーまたは第三者によってタグ付けされた物品に関するコンテンツを見ることを可能にする。一実施形態では、ユーザー・デバイス204が、ユーザー・タグ付け機能および/または第三者タグ付け機能がイネーブルされたか否か認識する。ユーザー・タグ付け機能は、ユーザーがタグ付き物品に関するコンテンツを見るために、物品のタグ付けを開始することを可能にする。第三者タグ付け機能は、ユーザーが、広告主またはネットワーク関係者のような第三者によってタグ付けされた物品に関するコンテンツを見ることを可能にする。
。
インターフェースを有するゲーミング・デバイスであってもよい。これらは双方とも、ワシントン州、RedmondのMicrosoft Corporationから入手可能である。ユーザー・デバイスは、画像または信号を受信し、このユーザー・デバイスが受信した画像または信号を解釈して、ユーザーが行っている動きを判定することができる。ユーザーの動きは、関連コンテンツの検索をトリガーすること、および/または関連コンテンツの検索の範囲を定めることができる。加えてまたは代わりに、関連コンテンツの検索の範囲は、物品が表示されているコンテキスト、ユーザーに関連するデーター等を参照して判定することもできる。これについては以下で更に詳しく説明する。
たはタグ付けジェスチャーの動きにしたがって表示することができる。この表現は、ユーザーが丁度入力したジェスチャーのサイズ、形状、および/または位置を示すフィードバックをユーザーに供給する。この表現は、物品を囲む線、物品の強調ビュー、セレクターの経路を追跡する線、セレクターの位置の指示、および/または物品の拡大レンズ・ビューを含むことができるが、これらに限定されるのではない。
付けて保存することができる。したがって、タグ付き物品の物品識別子(例えば、タグ付き物品データー)は、例えば、ユーザー・デバイス、関連コンテンツ・システム等と関連付けて保存することができる。これに関して、タグ付けされた特定の物品を識別する物品識別子を保存することができる。
て、ユーザー・デバイスが特定の地理的領域内にある場合、ユーザーがユーザー・デバイスの地理的領域(例えば、地方の音楽関連の店)に関連する現タグ付けの関連コンテンツに興味がありそうであると推論することができる。
きる。
ンテキスト-物品データー、および/またはユーザー・データーを参照することもできる
。例えば、ユーザー識別子に関連する履歴タグ付きデーターまたはその一部が、格納され、関連コンテンツ・システム210によってアクセスされてもよい。更に、物品識別子が、タグ付き物品に関連する追加の情報を参照するために使用されてもよい。
はユーザー・データー)を特定または認識することができる。例えば、推奨エンジン220が物品識別子およびユーザー識別子を受け、その後これらの識別子を使用して他のタグ−物品データーおよびユーザー・データーをそれぞれ参照する(reference)または調べる
(look up)こともできる。次いで、推奨エンジン220によって参照されたデーターは、タグ付き物品に関する推奨コンテンツまたは提案コンテンツを特定するために使用することができる。
4のようなデーター・ストアを参照して、関連コンテンツを識別、参照、または調査することもできる。したがって、検索エンジン222は、タグ−物品データー、物品−コンテキスト・データー、および/またはユーザー・データー(クエリーの形態で受信)を、検索データー・ストア234と関連付けて利用して、ユーザー・デバイス204のユーザーのために関連コンテンツ(例えば、検索結果またはその一部)を特定することができる。認めることができようが、検索エンジン222は、インターネット検索エンジンの形態をなしてもよい。例えば、一般に知られている商用エンジンに、ワシントン州、RedmondのMicrosoft Corporationによって提供されるBING検索エンジンがある。
ィのような、第三者によって提出することができる。したがって、広告エンジン224は、タグ付き物品と対応する広告に関連する任意の詳細を提供することができる。一実施形態では、検索エンジン222は、ユーザー・デバイス204から受信したタグ−物品データー、物品−コンテキスト・データー、および/またはユーザー・データーを(クエリーの形態で)利用して、タグ付き物品に関連する広告コンテンツを特定または決定する。あるいはまたは加えて、広告エンジン224は、ユーザー・デバイス204から(クエリーの形態で)受けたデーターを使用して、追加のデーター(例えば、タグ−物品データー、物品−コンテキスト・データー、および/またはユーザー・データー)を特定または認識する。例えば、広告エンジン224が物品識別子およびユーザー識別子を受けて、その後これらの識別子を使用して他のタグ−物品データーおよびユーザー・データーをそれぞれ参照または調査することもできる。次いで、広告エンジン224によって参照されたデーターは、タグ付き物品に関連するコンテンツを特定するために使用することができる。
エンジンを利用することができる。例えば、ユーザー・デバイス204は、クエリーおよび/またはデーターを任意のエンジンまたはエンジンの組み合わせ(例えば、推奨エンジン220、検索エンジン222、広告エンジン224等)に送ることができる。場合によっては、ユーザー・デバイス204は、関連コンテンツを要求するエンジンまたは1組のエンジンを決定することができる。他の場合には、関連コンテンツ・システムが、関連コンテンツを要求するエンジンまたは1組のエンジンを決定することができる。このような
決定は、例えば、物品または物品のタイプあるいはそれに関連するメタデーターに基づいて行うことができる。
ーザー・デバイス204に適用されてもよい。このような機能の有効化(enablement)は、ユーザー・デバイス204のユーザーによって示されるのでも、自動的に適用される(例えば、デフォルトの設定)のでもよい。第三者タグ付け機能を実現すると、ユーザーは、第三者(即ち、ユーザーとは異なる個人またはエンティティ)によってタグ付けされた物品を認識することが可能になる。一般に、第三者は、ユーザー・デバイスとは別のデバイスを使用して物品にタグ付けする。場合によっては、第三者が広告主であることもある。他の場合では、第三者がネットワーク関係者であることもある。ネットワーク関係者とは、ネットワークまたは連絡サービス(contact service)を介したユーザーの連絡先である
個人を指す。例えば、関係者が、電子メール、住所録、インスタント・メッセージング、ソーシャル・ネットワーク等のようなアプリケーションを介してユーザーと接続されるのでもよい。実施形態では、ユーザーが、当のユーザーに興味がある特定の第三者(1つまたは複数)を示すことができる。例えば、ユーザーが、彼または彼女が広告主から、ネットワーク関係者から、特定の広告主(1つまたは複数)から、特定のネットワーク関係者(1つまたは複数)から、任意の広告主またはネットワーク関係者(1つまたは複数)等からのタグ付き物品を見たいことを示すのでもよい。
タグ付き物品を開始する(initiate)ことができる。これに関して、タグ付け可能コンテンツ212のようなタグ付け可能コンテンツが、第三者に関連する計算デバイスに供給される。例えば、コンテンツ・プロバイダー202がタグ付け可能コンテンツ212を広告主デバイス206および/またはネットワーク関係者デバイス208に供給し、対応する第三者がこのタグ付け可能コンテンツ内で物品にタグ付けすることができるようにする。一例として、広告主が、広告主デバイス206を介してタグ付け可能コンテンツ内の物品にタグ付けを開始し、ネットワーク関係者が、ネットワーク関係者デバイス208を介して、タグ付け可能コンテンツ内の物品にタグ付けを開始する。第三者は、例えば、ユーザー・デバイス204のユーザーによって供給されるタグ付けジェスチャーに関係付けて既にもっと詳しく説明したように、任意のやり方で物品にタグ付けすることができる。他の例では、タグ付け可能コンテンツを使用せずに、第三者がタグ付き物品を供給する、または特定の物品にタグ付けする優先度を示すこともできる。例えば、広告主が、特定のメディア・コンテンツにおいて任意の「帽子」にタグ付けする指示、任意のメディア・コンテンツにおいて任意の「帽子」にタグ付けする指示等を与えることもできる。
対する特定の興味を示すためにタグ付けされる。一実施形態では、タグ付けされた物品に関連するタグ−物品データーが特定され、関連コンテンツ・システム210に供給される。他の実施形態では、タグ付き物品、またはその指示が関連コンテンツ・システム210に供給され、その後、その物品に関連するタグ−物品データーを特定するために使用される。同様に、第三者によってタグ付けされた物品に関連する物品−コンテキスト・データーおよび/または第三者データーを特定することができる(例えば、第三者デバイスまたは関連コンテンツ・システム210において)。第三者データーとは、第三者と対応する任意のデーターを指す。第三者データーは、例えば、第三者識別子、GPSデーターのような第三者デバイスの位置、第三者の1人以上の過去のアクションおよび/またはセッション(例えば、以前にタグ付けされた物品またはタグ付け物品があるメディア・コンテンツ)、第三者デバイスのパラメーターまたは属性(例えば、それが移動体デバイスか否か、移動体デバイスのタイプ、デバイスの能力(1つまたは複数)等)、デバイスに関連する本拠地の地理的位置、第三者の年齢層、第三者の好み、ソーシャル・ネットワークから
収集されたソーシャル・データー、電話記録、テキスト・メッセージ記録、第三者の交友関係および会員、第三者デバイスに格納された文書、ファイル、画像、写真、電子メール、あるいは任意の他のコンテンツまたはデーター、第三者によって行われたアクション(1つまたは複数)、物品タグ付けの時刻または位置、タグ付け物品の第三者格付け、第三者に提供された任意の関連コンテンツ等であってもよい。タグ−物品データー、物品−コンテキスト・データー、および/または第三者データーは、以上でもっと詳しく説明したように、ユーザー・デバイスに関係して特定することができる。
に物品−コンテキスト・データーの指示は、関連コンテンツ・システム210に伝達され、それに関連付けて格納することができる。例えば、ネットワーク関係者に関連するタグ付き物品(1つまたは複数)の指示を含むタグ-物品データーが、ネットワーク・データ
ー・ストア230に格納されてもよく、広告主に関連するタグ付き物品(1つまたは複数)の指示を含むタグ-物品データーが、広告データー・ストア232に格納されてもよい
。このようなデーターは、特定の物品にタグ付けされた第三者の指示と関連付けて格納することができる。場合によっては、第三者デバイスによって収集された物品に関連する全てのデーターが保存されてもよい。他の場合では、第三者デバイスによって収集された物品に関連するデーターの一部が保存されるのでもよい。例えば、関連コンテンツ・システム210は、単にタグ付き物品の指示を保存するだけでもよい。他の場合では、関連コンテンツ・システム210が、タグ付き物品の指示、第三者データー等を保存するのでもよい。
テンツまたは見られているメディア・コンテンツの指示を関連コンテンツ・システム210に伝達することができる。例えば、ユーザーが第三者タグ付け機能の有効化を示し、および/または見ようとするメディア・コンテンツを選択したとき、このメディア・コンテンツの指示を送信することができる。このような場合、関連コンテンツ・システム210は、ユーザーに興味がある任意の対応する第三者が、ユーザー・デバイス204においてユーザーによって見られるメディア・コンテンツ内にあるいずれかのタグ付き物品に関連付けられているか否か識別することができる。例えば、ユーザー・デバイスのユーザーが、ネットワーク関係者によってタグ付けされた物品を見ることを望むと仮定する。このような場合、ソーシャル・ネットワーク・エンジン226は、任意のネットワーク関係者(または特定のネットワーク関係者(1人または複数))が、ユーザーによって見られているメディア・コンテンツ内の任意のタグ付き物品と関連付けられているか否か識別することができる。これに関して、ソーシャル・ネットワーク・エンジン226は、ネットワーク・データー・ストア230にアクセスして、ネットワーク関係者によってタグ付けされた任意の物品を特定することもできる。同様に、ユーザー・デバイスのユーザーが、広告主によってタグ付けされた物品を見ることを望むと仮定する。このような場合、広告エンジン224は、任意の広告主が、ユーザーによって見られているメディア・コンテンツ内で任意の物品にタグ付けしたか否か識別することができる。これに関して、広告エンジン224は、広告データー・ストア232にアクセスして、広告主によってタグ付けされた任意の物品を特定することもできる。
れたとき、関連コンテンツ・システム210は、しかるべき情報をユーザー・デバイス204に提供することができる。これに関して、関連コンテンツ・システム210は関連コンテンツをユーザー・デバイス204に供給することができる。このような関連コンテンツ・データーは、第三者によってタグ付けされた物品と対応する任意のデーターであることができる。例えば、関連コンテンツ・データーが、タグ付き物品の指示、タグ付き物品の時刻、タグ付き物品に関係して第三者によって行われたアクション、推奨、検索結果、
広告、物品にタグ付けした第三者の指示等であってもよい。一実施形態では、ユーザー・デバイス204に供給されたタグ付き物品に関するコンテンツが、第三者に提示されたのと同じコンテンツであってもよい。例えば、ネットワーク関係者がネットワーク関係者デバイス208によって第1メディア・コンテンツにおける物品にタグ付けし、応答して、このタグ付き物品に関する広告を見ると仮定する。このような場合、関連コンテンツ(例えば、広告またはその広告の指示)を保存し、ユーザー・デバイス204のユーザーが、第三者(1つまたは複数)によってタグ付けされた物品を見る要望を示すときに、同じ広告がユーザー・デバイス204に供給され、第三者によってタグ付けされた物品と関連付けてユーザーによって見られるようにすることができる。
関するコンテンツが、第三者に提示されたコンテンツとは無関係であってもよい。一例として、ネットワーク関係者が、第1メディア・コンテンツにおいてある物品にネットワーク関係者デバイス208によってタグ付けし、応答して、このタグ付けされた物品に関する広告を見ると仮定する。更に、ユーザー・デバイス204のユーザーが、第三者(1つまたは複数)によってタグ付けされた物品を見ることを望むと仮定する。このような場合、第三者によってタグ付けされた物品と関連付けられ、ユーザー・デバイス204によってユーザーに提示された広告または他のデーターは、第三者に提示される広告とは異なる場合がある。ユーザー・デバイス204のユーザーに提示された広告の方が、ユーザー・デバイス204のユーザーに一層関連が深い(pertinent or relevant)こともあり得る。
これに関して、関連コンテンツ・システム210は、ユーザー・デバイス204のユーザーに関連するユーザー・データーを利用して、ユーザーに一層特定である関連コンテンツを特定することができ(例えば、推奨エンジン、検索エンジン、広告エンジン等によって)、一方第三者に提示される広告は、第三者のユーザー・データー(例えば、第三者デバイスの位置、第三者デバイスのタイプ等)に基づくのでもよい。
または他のデーターを見る意図または要求も、ユーザー・デバイス204から関連コンテンツ・システム210に伝達するのでもよい。あるいは、関連コンテンツ・システム210がこのようなデーター(例えば、ユーザー・データー・ストア228からのユーザー・データー)を参照するのでもよい。
ーターとすることができる。例えば、第三者によってタグ付けされた物品の指示(例えば、物品識別子)をユーザー・デバイス204に供給することができる。この場合、ユーザー・デバイス204によって再生されるメディア・コンテンツにおいて「帽子」物品が視覚的に特定されて、ユーザーがこの「帽子」を選択し、恐らくある「ネットワーク関係者」がこの物品にタグ付けしたことの通知を見ることができるようにするとよい。他の例では、視覚的に特定された「帽子」を選択したときに、関連コンテンツがユーザーに提示されてもよく、このような関連コンテンツが、第三者に提示されるものと同じであっても、またはユーザー・デバイス204のユーザーに一層関連が深くてもよい(例えば、デバイスの位置、デバイスのタグ付け履歴等というような、ユーザーのユーザー・データーを利用する)。他の例では、友人の数、または物品にタグ付けした特定の友人(1人または複数)を表示してもよい。更に他の例では、第三者によって物品に関係して行われたアクションを提示することができる(例えば、「アダムがこの物品を購入した」または「アダムがこの帽子をフェースブック(登録商標)に2011年9月22日午後12時15分にポストした」)。これらの例は、本発明の範囲を限定することを意図するのではなく、本発明者は、任意の数のデーターをユーザーに提示できることも分かっている。
ターを受信したとき、ユーザー・デバイス204は、見られるメディア・コンテンツと関係して、しかるべき情報を表示することができる。このような情報は、メディア・コンテンツの上に重ねること、またはメディア・コンテンツと統合することができる。この情報は、表示画面上の任意の位置に提示することができる。例えば、この情報がデフォルト位置、決定された位置、第三者によってタグ付けされた物品の近く(near)またはこれに隣接して等で提示されてもよい。
・デバイス204のユーザーによってリアル・タイムで知覚されることが可能である。このように、関連コンテンツ・システム210が、ユーザー・デバイス204が特定のメディア・コンテンツを見ていることを認識し、第三者と関連付けてタグ付けされた同じメディア・コンテンツの物品の指示を受けたとき、この第三者が開始したタグの指示を直ちにユーザー・デバイス204に供給することができる。
・システム210は、タグ付き物品がユーザー・デバイス204に適用可能か否か評価することなく、しかるべきデーターをユーザー・デバイス204に供給することができる。このような実現例では、ユーザー・デバイス204が関連コンテンツ・データー(例えば、タグ付き物品の指示)を受信し、このデーターを格納し、および/またはこのようなデーターが現在再生しているメディア・コンテンツに現在(presently)適用可能か否か確認
することができる。
使用シナリオ例
[00113] 図3から図9は、関連コンテンツを見るために物品のジェスチャー・ベース
・タグ付けを使用する、可能なシナリオ例を示す。この使用シナリオは、便宜上図2の環境例200を参照しながら説明する。しなしながら、使用シナリオは図2の環境例200との使用に限定されるのではない。
8に関連するクライアント・デバイス306を介して見ている例を示す。提示されるコンテンツは、テキスト、画像、オーディオ・コンテンツの表現、および/またはビデオを含むのでもよい。実施形態では、メディア・コンテンツが、ウェブ・ブラウザー、電子メール・アプリケーション、ニュース・アプリケーション等のようなウェブ可能アプリケーションによって表示されてもよい。他の実施形態では、このアプリケーションが、ウェブ可能でないアプリケーションでもよい。本明細書において説明するジェスチャー・ベース・タグ付け技法は、コンテンツをユーザーに表示するまたはそれ以外で提示する任意のアプリケーションに適用可能である。
ることに興味があった場合、ユーザーは彼らがその時見ていたコンテンツを終了しまたは最短で済ませて、検索を行うためにウェブ・ブラウザーを開くか、または検索を行うために他の計算デバイスを利用したに違いないであろう。本明細書において説明するジェスチャー・ベース・タグ付け技法は、ユーザーまたは第三者がタグ付けされた物品に関する情報を見ることができるように、ユーザーが物品のタグ付けを開始する(initiate)ことを可能にする。
る特定の物品410に興味がある。図5は、ジェスチャー・ベース・タグ付け技法のプロセス例を示し、タグ付けジェスチャーの一例512が、ディスプレイ500上に提示される特定の物品510を有するコンテンツ514の領域を定めることを示す。図示する例では、ユーザー502のタグ付けジェスチャー512は、楕円状運動またはほぼ楕円状運動
、円運動またはほぼ円運動、あるいは自由形態で沿う運動というような、物品の境界をなぞる形状またはほぼなぞる形状を含む。
ーザー502によるタグ付けジェスチャー512の入力に応答して、ディスプレイ500上におけるタグ付けジェスチャーのコンテンツ514の領域の線表現をレンダリングすることができる。タグ付けジェスチャーの表現は、ユーザー502によって入力されたタグ付けジェスチャー512の動きを近似し、ユーザーが丁度入力したばかりのジェスチャーのサイズおよび形状の視覚フィードバックをユーザーに供給する。先に説明したように、強調および/または拡大レンズというような、他のタイプの視覚表現も、タグ付けする物品を特定するために使用することができる。
エリーを定式化するために使用することができる。形状は領域周囲の完全な境界を形成するのではないが、この形状は実質的に領域をなぞる(例えば、形状の開始点と終点との間にギャップがあり、形状は少なくとも部分的に領域をなぞらない)。一例では、境界におけるギャップがジェスチャーの全長のある端数未満である場合、形状は領域を実質的になぞると言える。他の実施形態では、タグ付けジェスチャーが任意の形状の動きを含むこともできる。タグ付けジェスチャーがある領域をなぞらないまたは実質的になぞらない場合、このジェスチャーは、タグ付けジェスチャーによってタッチされた領域、タグ付けジェスチャーに近接する領域、タグ付けジェスチャーと重複する領域、またはタグ付けジェスチャーと関連付けられた領域として、コンテンツの領域を定めることができる。
−物品データー(コンテンツに関連するメタデーターを使用する)と共に特定され、クエリーを定式化するために使用することができる。検索クエリーの定式化および/またはタグ−物品データーの特定の完了に応答して、ユーザー・デバイスは自動的に検索クエリーおよび/またはタグ−物品データーを検索エンジンまたは検索サービスに提出することができる。加えてまたは代わりに、ユーザー・デバイスはこの検索クエリーをユーザーにディスプレイ上で提示して、ユーザーにこの検索クエリーを確認および/または変更するように求めることもできる。他の実施形態では、ユーザー・デバイスが複数の可能な検索クエリーをユーザーに提示し、ユーザーにこれらの複数の検索クエリーから、検索を行うために使用する1つを選択させることもできる。更に、実施形態では、ユーザー・デバイスが、ユーザーに、ディスプレイ上に表示された検索クエリーまたは可能な検索クエリーを変更させてもよい。ユーザー・デバイスは、選択された検索クエリーまたは変更された検索クエリーを検索エンジンまたは検索サービスに提出することができる。
222、図2の推奨エンジン220、図2の広告エンジン224)が、選択された物品510に関するコンテンツをユーザー・デバイスに戻すこともでき、ユーザー・デバイスは、次に、この関連コンテンツをユーザーに提示することができる。関連コンテンツ・データーを関連コンテンツ・システム210から受信すると、ユーザー・デバイス204はこの関連コンテンツをディスプレイ上に提示することができる。したがって、図6に示すように、ユーザー・デバイス606は、タグ付け可能コンテンツ604に関するコンテンツである関連コンテンツ・データー616を表示することができる。図6において、関連コンテンツ・データー616は広告を含むが、任意のタイプのデーターでもよい。例えば、関連コンテンツが、提案された製品、サービス、物品、その物品に関連する情報等であってもよい。
、関連コンテンツが表示されてもよい。一実施形態では、ユーザー・デバイス606が、表示されたコンテンツ604の一部の上に、関連コンテンツ・データー616を重ね合わせることもできる。これによって、ユーザーがそれまで関わっていたアプリケーションまたはタスクを終了するまたは最短で済ませることなく、ユーザーは関連コンテンツを見ることが可能になる。一例としてそして限定ではなく、関連コンテンツ・データーを含むスライド・アウト・ウィンドウ(slide out window)が、表示されたコンテンツの一部の上に重ね合わされてもよい。実施形態では、ユーザー・デバイスが、表示されたコンテンツの内、タグ付けジェスチャーによって定められたコンテンツの領域を含まない一部の上に、関連コンテンツを重ね合わせることもできる。一実施形態では、ユーザーに提示される関連コンテンツが、関連コンテンツ・システムから受信した検索結果の簡略化バージョンであってもよい。例えば、提示される関連コンテンツ・データーが、タイトルのみ、またはタイトルと制限された数のキャラクタを含むのでもよい。
ァインする、照準を変える(refocus)、またはそれ以外で変更することを望むことがあり
得る。例えば、元のタグ付けジェスチャーが、ユーザーが関連情報を望んだ物品を包含しなかったと、ユーザーが判断するかもしれない。その場合、ユーザーは、意図する物品を含むように検索を広げることを望むであろう。
グ付けジェスチャーを検出したことに応答して、検索範囲を変更することができる。例えば、ユーザーは、意図する物品を取り込むためにコンテンツの第2領域を定める第2のタグ付けジェスチャーを行うことができる。ジェスチャー検出モジュールは、第2ジェスチャーを検出し、ジェスチャー追跡モジュールに、第2コンテンツ領域の第2表現を表示のために出力するように命令する。すると、ユーザー・デバイスは、少なくとも第1コンテンツ領域および/または第2コンテンツ領域に基づいて、検索クエリーおよび/またはタグ−物品データーを定式化し直すことができる。実施形態では、新たな検索クエリーを定式化するときに、第1コンテンツ領域に含まれる情報および第2コンテンツ領域に含まれる情報に、同じ重みまたは異なる重みを与えることもできる。他の実施形態では、ユーザー・デバイスは、第2コンテンツ領域に含まれる情報を使用して、元の検索結果の中から結果の部分集合を検索することによって、検索をリファインすることもできる。
物品アクション618と共に表示することができる。物品アクション618は、選択された物品と関連付けて開始または実行することができる、利用可能なアクションをユーザーに提供する。一例のみとして、選択された物品610に関連する物品アクション618は、物品保存アクション620を含み、このアクションが選択されると、後の使用のために(例えば、後の物品購入、後の物品視聴等)この物品の指示を保存することができる。物品送出アクション622は、選択されると、物品の指示またはそれに関連する関連コンテンツを送ることができる。例えば、物品送出アクション622を選択すると、その物品の「好意」(like)をフェースブック(登録商標)にポストすることができ、または電子メールでその物品をユーザーまたは他の関係者に送ることができる等である。このような実施形態では、図2の関連コンテンツ・システム210またはユーザー・デバイス204が、検索クエリーまたはタグ−物品データーを解釈し、ユーザーが完了したいかもしれないタスク(例えば、予約する、物品を購入する等)を特定することもできる。関連コンテンツ・システムまたはユーザー・デバイスは、更に、その物品を有するコンテンツの領域に関するコンテキスト情報に基づいて、および/またはユーザー・データーに基づいて、検索クエリーを解釈し、ユーザーが完了したいかもしれないタスクを特定することもできる。例えば、関連コンテンツ・システム210が、検索クエリーにおいてレストランの店名を特定することおよび/またはコンテキスト情報を特定することに基づいて、ユーザーがレ
ストランの位置を探していると特定することもできる。他の例では、ユーザー・デバイスが、ユーザーによって開始された過去のアクションまたはタグに基づいて、推奨および/または広告を受けるおよび/または与えることもできる。
選択を示す。このような選択は、任意の数の方法で行うことができる。例えば、ユーザーは、タグ付けジェスチャーを参照して先に説明した方法の内任意のものを使用して、アクション物品を選択することができる。物品を保存するとき、またはそれに関連する情報を保存するとき、ユーザーは後の時点でその物品を見ることができ、またはその物品に関連付けてアクションを実行することができる。
を見ること、および/または後の時点(例えば、その物品を有するメディア・コンテンツをユーザーが見るとき)で利用することができる。認めることができようが、実施形態では、ユーザーは、任意のユーザー・デバイス(例えば、移動体デバイス)を使用して、保存した物品またはそれに関連する情報にアクセスする、それを見る、または使用することができる。
2を検出し、そしてその後、タグ付けジェスチャー512に関連する物品510にタグ付けすると、他の個人またはエンティティが、この物品に関するコンテンツを見ることができる。図9を参照して、他のユーザー928(即ち、タグ付けジェスチャー512を行ったユーザー502とは異なる)が、ユーザー502によって見られているメディア・コンテンツまたはユーザー502によって以前に見られたメディア・コンテンツと対応するメディア・コンテンツ904を見ていると仮定する。更に、図5のユーザー502によってタグ付けされた物品510が、物品910としてユーザー928にメディア・コンテンツ904内において提示されると仮定する。メディア・コンテンツ504内の物品510が、ユーザー928とのネットワーク関係者である、図5におけるユーザー502によってタグ付けされたことを認識すると、ユーザー・デバイス906は、ユーザー928が見るために、物品910に関するコンテンツ930を提示することができる。図9はこのような関連コンテンツ932を、物品のタグ付けを開始したユーザー(1人または複数)の指示として示すが、このような関連コンテンツ930は、任意のタイプの情報とすることができる。例えば、図5のユーザー502によって選択された物品510に基づいてユーザー928に提示される関連コンテンツ930が、物品がタグ付けジェスチャーにしたがってタグ付けされたこと(例えば、物品の強調)の視覚的指示、ユーザー502に提示されたコンテンツと同じである物品に関するコンテンツ(例えば、同じ広告、推奨、検索結果、または他の関連情報)、ユーザー502に提示されたコンテンツとは異なる物品に関するコンテンツ(例えば、異なる広告、推奨、検索結果、または他の関連情報)等であってもよい。
方法例
[00128] ジェスチャー・ベース検索を実行する方法例について、図10から図16を
参照しながら説明する。これらの方法例は、コンピューター実行可能命令という一般的なコンテキストで説明することができる。一般に、コンピューター実行可能命令は、ルーチン、プログラム、オブジェクト、コンポーネント、データー構造、手順、モジュール、関数等を含み、これらは特定の機能を実行するかまたは特定の抽象データー型を実装する。また、これらの方法は分散型計算環境において実施することもでき、この場合、機能は、通信ネットワークまたは通信クラウドを介してリンクされるリモート処理デバイスによって実行される。分散型計算環境では、コンピューター実行可能命令は、メモリー記憶デバイスを含む、ローカルおよびリモート双方のコンピューター記憶媒体に配置することもできる。
ロックの集合体として示され、ハードウェア、ソフトウェア、ファームウェア、またはその組み合わせで実現することができる。これらの方法を説明する順序は限定として解釈されることを意図しておらず、説明する方法ブロックの内任意の数を任意の順序で組み合わせてこれらの方法、または代わりの方法を実現することができる。加えて、個々の動作は、本明細書において説明した主題の主旨や範囲から逸脱することなく、これらの方法から省略してもよい。ソフトウェアのコンテキストでは、ブロックは、1つ以上のプロセッサーによって実行されると、列挙される動作(recited operation)を実行するコンピュータ
ー命令を表す。
1000については、例示を容易にするために、図2のコンテンツ・プロバイダー例202のコンテキストで説明するが、このようなコンテキストで実行されることに限定されるのではない。
。参照する特定のメディア・コンテンツは、例えば、特定のメディア・コンテンツを見るためのユーザーの選択、特定のメディア・コンテンツの自動選択等に基づけばよい。メディア・コンテンツは、ビデオのような物品を有する任意のメディア・コンテンツであってよい。ブロック1004において、少なくとも1つの物品をタグ付け可能物品として指定する。ブロック1006において、タグ付け可能物品(1つまたは複数)を有するタグ付け可能コンテンツを生成する。タグ付け可能コンテンツは、任意のやり方で生成することができる。例えば、一実施形態では、メディア・コンテンツに関連するメタデーターを、タグ付け可能物品の指示を含むように構成することができる。ブロック1008において、タグ付け可能コンテンツを、ユーザーが見るために供給する。実施形態では、タグ付け可能コンテンツは、ユーザー・デバイスのユーザーがタグ付け可能コンテンツを見ることができるように、ネットワークを介してユーザー・デバイスに供給される。このようなタグ付け可能コンテンツは、任意の時点で供給することができる。例えば、タグ付け可能コンテンツをコンテンツ・プロバイダーと関連付けて格納し、ユーザー・デバイスからのタグ付け可能コンテンツを送信する要求に基づいて、ユーザー・デバイスに供給するのでもよい。タグ付け可能コンテンツは、ユーザー・デバイスにおいて、ウェブ・ブラウザーまたはメディア・プレーヤーというような、アプリケーション内で表示することができる。
ては、例示を容易にするために、図2のユーザー・デバイス例204のコンテキストで説明するが、このようなコンテキストで実行されることに限定されるのではない。
。これに関して、ユーザーはタグ付け可能コンテンツを見ることができる。場合によっては、タグ付け可能コンテンツが目視でまたは聞こえるようにタグ付けが可能な物品を示すこともできる。例えば、タグ付け可能コンテンツ内のタグ付け可能物品を強調して、このような物品に関するコンテンツを提示できることを示すことができる。ブロック1104において、タグ付けする物品を示すタグ付けジェスチャーを検出する。実施形態では、タグ付けジェスチャーは、ユーザーに興味がある物品を有するコンテンツの領域を定めることができる。タグ付けジェスチャーは、タッチ・スクリーンまたはタッチ・パッド上のタッチ入力、画像キャプチャー・デバイスによって検出される体の動き、および/またはユーザー入力デバイスによって制御されるカーソルの動きを含むことができる。タグ付けジェスチャーによって定められたコンテンツの物品または領域は、タグ付けジェスチャーによってあるいはタグ付けジェスチャーによってタッチされた領域、タグ付けジェスチャー
に近接する領域、またはタグ付けジェスチャーと重複する領域をなぞるまたは実質的になぞる領域を含むことができる。一例では、タグ付けジェスチャーが、対象の物品をなぞるまたは実質的になぞる動きまたは実質的に円形の動きを含むこともできる。
て、このタグ付けジェスチャーによって定められるコンテンツの領域の表現を、表示されたコンテンツの上に表示することができる。コンテンツの領域の表現は、コンテンツの領域を取り囲む線、コンテンツの領域の強調ビュー、および/またはコンテンツの領域の拡大レンズ・ビューを含むことができる。
つの物品を特定する。これに関して、対象の物品は、タグ付け可能メディア・コンテンツに関連するメタデーターを使用して特定することができる。このようなメタデーターは、メディア・コンテンツ内における特定の位置にあるタグ付け可能物品を示す(例えば、フレーム、時刻、位置等)。これに関して、タグ付けジェスチャーの位置が、メタデーターにおいて示される物品の位置と一致すればよい。他の実施形態では、画像認識モジュール(例えば、ユーザー・デバイスにまたはユーザー・デバイスから離れて配置される)を使用して、特定することもできる。
る。これに関して、選択された物品に対するユーザーの興味の指示を示すかまたは指定する。例えば、一実施形態では、メディア・コンテンツに関連するメタデーターが、特定の物品に興味があることを示すことができる。他の実施形態では、物品をメタデーターとは別のタグとして示すことができる。タグ付き物品(1つまたは複数)は、このタグ付き物品に関するコンテンツを見るために使用することができる。これに関して、タグ付き物品を開始した(initiate)ユーザーまたは第三者が、このタグ付き物品に関するコンテンツを見ることができる。方法1100は、メディア・コンテンツ内における物品のタグ付けというコンテキストで説明したが、先に説明したように、タグ付き物品は、アルバム・タイトル・サムネイル(thumbail)、ムービー・ポスター・サムネイル等というような、ディスプレイ上に表示される物品の内ユーザーに興味がある任意のものであってよい。
グ付けを利用する方法例1200を示す。方法1200については、例示を容易にするために、図2のユーザー・デバイス例204のコンテキストで説明するが、このようなコンテキストにおいて実行されることに限定されるのではない。
ロック1212において、ユーザー・タグ付け機能をイネーブルする指示を認識する。ユーザー・タグ付け機能は、ユーザーが、このユーザーに興味がある物品に関するコンテンツを見ることを可能にする。実施形態では、ユーザーがメディア・コンテンツを見る指示、および/またはユーザー・タグ付け機能をイネーブルする指示を与えることができる。
1216において、タグ付け可能コンテンツを、例えば、ユーザーにユーザー・デバイスを介して提示する。場合によっては、タグ付け可能コンテンツが目視でまたは聞き取れるように、メディア・コンテンツ内においてタグ付け可能な1つまたは複数の物品を区別することもできる。その後、ブロック1218において、タグ付けジェスチャーを検出する。タグ付けジェスチャーは、タグ付け可能コンテンツ内において、ユーザーに興味がある物品を示す。これに関して、タグ付けジェスチャーが、ユーザーがより多くの情報を見ることまたはアクションを実行すること(例えば、物品を購入する)を望む物品を示すこと
もできる。
うな物品は、提示されたタグ付け可能コンテンツに関連するメタデーターを利用すること、画像検出を使用して画像を認識すること等を含むがこれらに限定されない任意のやり方で特定することができる。ブロック1222において、ユーザーによって選択または指定された物品にタグ付けする。したがって、選択された物品は、ユーザーに興味があるものとして指定される。
参照する。このようなタグ−物品データーは、例えば、提示されたタグ付け可能コンテンツ等に関連するメタデーターから参照することができる。ブロック1226において、タグ付き物品に関連するコンテキスト・データーを参照する。コンテキスト・データーは、タグ付き物品のコンテキストを示す任意のデーターであってよい。ブロック1228において、ユーザーに関連するユーザー・データーを参照する。このようなユーザー・データーは、例えば、ユーザーの指示、ユーザー・デバイスの指示、ユーザー・デバイスの場所の指示等を含むことができる。
、およびユーザー・データーを利用して、タグ付き物品に関するコンテンツを得るための検索クエリーを定式化する。実施形態では、この検索クエリーが、被参照データー(referenced data)(例えば、タグ−物品データー、コンテキスト・データー、およびユーザー
・データー)、またはその一部である場合もある。検索クエリーは、タグ付けジェスチャーによって定められるコンテンツの領域に基づいて定式化されるのでもよい。検索クエリーは、その領域内のコンテンツに基づくのでもよく、更に、恐らくは、検索に関連するコンテキスト情報および/またはユーザー・データーに基づくのでもよい。コンテキスト情報は、コンテンツの領域に近接するコンテンツ、表示されたコンテンツに関連するメタデーター等を含むことができる。
1つ以上の検索エンジンに伝達する。一実施形態では、検索クエリーを図2の関連コンテンツ・システム210に伝達する。関連コンテンツ・システム210は、1つ以上の検索エンジンを利用して、物品に関するコンテンツを特定することができる。他の実施形態では、例えば、所望の情報のユーザーの好み、特定のエンジン(1つまたは複数)の決定、デフォルトのエンジン(1つまたは複数)等に関連する検索エンジン(1つまたは複数)に基づいて、1つ以上の特定のエンジンに検索クエリーを伝達する。検索クエリーを使用する検索は、タグ付けジェスチャーの完了に応答して、自動的に実行させることもできる。検索クエリーは、ユーザーのユーザー・デバイスとは別のリモート検索エンジンに送られても良い。加えてまたは代わりに、検索がユーザー・デバイスにおいてローカルに行われてもよい。
このような関連コンテンツは、例えば、推奨エンジン、検索エンジン、広告エンジン等から供給することができる。
連付けて提示する。したがって、関連コンテンツは、タグ付け可能コンテンツと関連付けて、クライアント・デバイスのディスプレイ上に表示することができる。場合によっては、関連コンテンツの配置(placement)を決定することもできる。例えば、ユーザーの好み
またはデフォルトの位置(例えば、表示画面の中央または上辺)を使用して、検索結果の
配置を決定することができる。他の例では、検索結果の配置に好ましい位置が、関連コンテンツが関連付けられる物品の近くであってもよい。
表示することができる。一例としてそして限定ではなく、関連コンテンツは、この関連コンテンツが使用されないまま所定の時間期間が経過するまで(例えば、ユーザーが見る、選択する等)、ユーザーが関連コンテンツに関連するアクションを開始するまで(例えば、物品を購入する、物品を保存するというような物品アクションを選択する)等、アクティブなままであってもよい、即ち、表示画面上に表示されてもよい。更に他の例として、隠すまたは折り畳む指示を受けることができ、ユーザーの視聴を中断することなく、効果的に元のコンテンツが表示される結果となる。
表示される。このような物品アクションは、ユーザー・デバイスまたは関連コンテンツ・システムにおいて特定されてもよい。この物品アクションは、ユーザーがタグ付き物品または関連コンテンツに関連するアクションを開始することを可能にする。
・タグ付けを利用する方法例1300を示す。方法1300は、図2の推奨エンジン220、検索エンジン222、または広告エンジン224というような、検索エンジンまたは検索サービス例のコンテキストで説明するが、このようなコンテキストにおいて実行されることに限定されるのではない。
エリーをユーザー・デバイスから受ける。このような検索クエリーは、タグ−物品データー、コンテキスト・データー、および/またはユーザー・データーを含む、またはこれらから定式化することができる。ブロック1312において、ユーザーに関連するユーザー・データーを参照する。例えば、ユーザー・データーを含むデーター・ストアを使用して、ユーザーに関連するユーザー・データーを特定することができる。ブロック1314において、検索クエリーおよびユーザー・データーの少なくとも一部を利用して、興味がある物品に関するコンテンツを特定する。これに関して、データーを含むデーター・ストアを利用して、興味のある物品に関するコンテンツを特定することができる。ブロック1316において、この物品または関連コンテンツに関連して実行することができる1つ以上のアクションを特定する。ブロック1318において、関連コンテンツおよび1つ以上のアクションをユーザー・デバイスに伝達する。
者がその物品のタグ付けを開始する方法例1400を示す。方法1400は、例示を容易にするために、図2のネットワーク関係者デバイス例208のコンテキストで説明するが、このようなコンテキストにおいて実行されることに限定されるのではない。
。これに関して、第三者がタグ付け可能コンテンツを見ることができる。場合によっては、タグ付け可能コンテンツが、タグ付けできる物品を目視でまたは聞き取れるように示すこともできる。例えば、タグ付け可能コンテンツ内においてタグ付け可能物品を強調して、このような物品に関するコンテンツを提示できることを示すことができる。ブロック1412において、タグ付けする物品を示すタグ付けジェスチャーを検出する。実施形態では、タグ付けジェスチャーは、ユーザーに興味がある物品を有するコンテンツの領域を定めることができる。タグ付けジェスチャーは、タッチ・スクリーンまたはタッチ・パッド上のタッチ入力、画像キャプチャー・デバイスによって検出される体の動き、および/ま
たはユーザー入力デバイスによって制御されるカーソルの動きを含むことができる。タグ付けジェスチャーによって定められるコンテンツの物品または領域は、タグ付けジェスチャーによってなぞられるまたは実質的になぞられる領域、タグ付けジェスチャーによってタッチされた領域、タグ付けジェスチャーに近接する領域、またはタグ付けジェスチャーと重複する領域を含むことができる。一例では、タグ付けジェスチャーが、興味のある物品をなぞるまたは実質的になぞる動きあるいは実質的に円形の動きを含むこともできる。
つの物品を特定する。これに関して、対象の物品は、タグ付け可能メディア・コンテンツに関連するメタデーターを使用して特定することができる。このようなメタデーターは、メディア・コンテンツ内における特定の位置にあるタグ付け可能物品を示す(例えば、フレーム、時刻、位置等)。他の実施形態では、画像認識モジュール(例えば、ユーザー・デバイスにまたはユーザー・デバイスから離れて配置される)を使用して、物品を特定することもできる。
る。これに関して、選択された物品に対する第三者の興味の指示を示すかまたは指定する。例えば、一実施形態では、メディア・コンテンツに関連するメタデーターが、特定の物品に関心があることを示すことができる。他の実施形態では、物品をメタデーターとは別のタグとして示すことができる。
したがって、タグ−物品データー、物品−コンテキスト・データー、第三者データー(例えば、物品にタグ付けした第三者の識別)等を参照する、特定する、または決定することができる。ブロック1420において、タグ付き物品の指示、およびこのタグ付き物品に関連する被参照データーを、他者がタグ付き物品に関するコンテンツを見ることができるように、処理のために関連コンテンツ・システムに伝達する。
を利用する方法例1500を示す。方法1500は、図2のソーシャル・ネットワーク・エンジン226、推奨エンジン220、検索エンジン222、および/または広告エンジン224というような、検索エンジンまたは検索サービス例のコンテキストで説明するが、このようなコンテキストにおいて実行されることに限定されるのではない。
ユーザーに興味がある物品の指示を受ける。ブロック1512において、興味がある物品に関するデーターを受ける。このようなデーターは、例えば、第三者データー(例えば、第1ユーザーの識別、興味がある物品に関連して第1ユーザーによって開始されたアクション)、タグ−物品データー(例えば、第1ユーザーの識別)、物品−コンテンツ・データー等であってもよい。ブロック1514において、第1ユーザーに興味がある物品の指示、および興味がある物品に関するデーターを、例えば、第1ユーザーおよび/またはこの物品を含むメディア・コンテンツと関連付けて、格納するまたは取り込む。
コンテンツの指示を受ける。その後、ブロック1518に示すように、第2ユーザーに関連する他のエンティティが、メディア・コンテンツ内である物品にタグ付けしたか否か判定する。場合によっては、このような判定が、関連する時間枠に基づいて行われてもよい。例えば、第2ユーザーがそのメディア・コンテンツを最後に見てから所定の時間枠(例えば、1週間)内に他のエンティティが物品にタグ付けしたというようなのでもよい。更に、実現例では、第2ユーザーに関連するしかるべきエンティティの決定を行ってもよい
。例えば、タグ付けジェスチャーを行ったエンティティは、第2ユーザーが興味を示す好ましいエンティティである。このような好みは、デフォルト・データーまたはユーザーによって提出される好みに基づけばよい。
にタグ付けしなかった場合、ブロック1520において、第2ユーザーがメディア・コンテンツを見続けているか否か判定する。見続けていない場合、本方法はブロック1522において終了する。見続けている場合、本方法はブロック1518に戻って、第2ユーザーに関連する他のエンティティがメディア・コンテンツ内である物品にタグ付けしたか否か判定し続ける。このようなプロセスは、第2ユーザーに他のエンティティによってタグ付けされた物品をリアル・タイムで通知することを可能にする。
である物品にタグ付けした場合、その指示を、第2ユーザーのユーザー・デバイスに供給する。これをブロック1524に示す。ブロック1526において、他のエンティティによってタグ付けされた物品に関するコンテンツを特定する。このようなコンテンツは、他者に関連するデバイスから伝達されたデーター(例えば、第三者データー、タグ−物品データー、物品−コンテキスト・データー)および/または関連コンテンツ・システムにおいて決定されたデーターを含むことができる。例えば、関連コンテンツ・システムが、第2ユーザーに興味があるかもしれないタグ付き物品に関するコンテンツを検索することができる。したがって、関連コンテンツ・システムが、第2ユーザーに関連するユーザー・データーを利用して、第2ユーザーに関連があるかもしれないタグ付き物品に関するコンテンツを得ることもできる。タグ付き物品に関するコンテンツは、ブロック1528に示すように、第2ユーザーのユーザー・デバイスに供給される。このような関連コンテンツは、例えば、タグ付き物品の指示、物品のタグ付けを開始した第三者の指示、物品に関連する提案または推奨、物品に関連する広告等でもよい。
のタグ付けを利用する方法例1600を示す。方法1600は、図2のユーザー・デバイス204のような、ユーザー・デバイス例のコンテキストで説明するが、このようなコンテキストにおいて実行されることに限定されるのではない。
指示を受ける。ブロック1612において、このような指示を関連コンテンツ・システムに供給する。ブロック1614において、第三者(1人または複数)によってタグ付けされた物品に関するコンテンツを見る指示を受ける。その後、ブロック1616において、このような指示を関連コンテンツ・システムに供給する。ブロック1618において、ユーザー・データーを参照して、関連コンテンツ・システムに供給する。このようなユーザー・データーは、ユーザーの指示、ユーザーによって使用されるデバイスの指示、ユーザーによって使用されるデバイスの位置の指示、ユーザーに関連する好み、ユーザーによって以前にタグ付けされた物品等を含むこともできる。
ク1622において、メディア・コンテンツ内において第三者によってタグ付けされた物品の指示を受ける。その後、第三者によってタグ付けされた物品を、ユーザーによって見られているメディア・コンテンツ内においてといように、視覚的に示す。これをブロック1624に示す。例えば、タグ付き物品を強調する、点滅させる、着色する、部分的に透明にする等としてもよい。ブロック1626において、物品に関する情報を見る指示を受ける。このような指示は、例えば、ユーザーがその物品の上でカーソルまたはセレクターをホバリングすることによって、またそれ以外では物品に関連する選択またはジェスチャ
ーを行うことによって、供給することができる。このような指示に応答して、ブロック1628において、物品に関するコンテンツを受信する。その後、ブロック1630に示すように、関連コンテンツをユーザー・デバイスによって表示する。受信および表示される関連コンテンツは、例えば、物品にタグ付けした第三者の指示、物品にタグ付けされた時刻、タグ付き物品に関する情報、物品に関連して第三者によって行われたアクション等とすることができる。
が、認めることができるように、このような情報を見るユーザー指示を最初に受けることなく、任意の関連コンテンツを自動的に提示することができる。例えば、最初にタグ付き物品を視覚的に特定する代わりに、関連コンテンツを物品と関連付けて最初に表示して、他にユーザーによるアクションがなくても、それがユーザーには容易に明らかになるようにしてもよい。場合によっては、関連コンテンツの第1部分を表示してもよく、追加の関連コンテンツを見るユーザー指示のときに、関連コンテンツの第2部分を表示するのでもよい。一例のみとして、最初に、物品にタグ付けした特定の第三者の指示を表示してもよい(例えば、「ダンがこの帽子にタグ付けした」)。ユーザーが提示された関連コンテンツのこの物品の上でホバリングしたときに、または他の方法で選択を行ったときに、この帽子に関する更なる詳細を表示することができる(例えば、この帽子の広告、価格、銘柄、入手可能な色等というような、帽子に関する詳細、この帽子を購入する場所の推奨、同じまたは同様の帽子を含む他のメディア・コンテンツの推奨等)。
結論
[00165] 以上、構造的特徴および/または方法論的動作に特定の文言で本発明につい
て説明したが、本発明は、説明した特定の特徴や動作には必ずしも限定されないことは言うまでもない。逆に、特定の特報および動作は、本発明を実現する形態例として開示したまでである。
Claims (10)
- コンピューター実装方法であって、
ユーザー・デバイスに結合された動き検出システムにより、ユーザーの体の動きを検出してタグ付けジェスチャーを決定するステップであって、前記タグ付けジェスチャーが前記ユーザー・デバイスにおいて表示されたメディア・コンテンツ内の領域を示し、前記領域が物品を含む、ステップと、
前記タグ付けジェスチャーを決定したことに基づいて、前記タグ付けジェスチャーにより示された前記領域の表現を前記ユーザー・デバイスにおける表示のために提供するステップと、
計算デバイスのプロセッサーにおいて、前記タグ付けジェスチャーに基づいて、前記物品を特定し、前記物品がタグ付けされた物品であることを決定するステップと、
前記タグ付けされた物品に関連したタグ−物品データーを特定するステップと、
前記タグ付ジェスチャーに応答して、前記タグ付けされた物品に関係するコンテンツに対する検索を自動的に開始するステップであって、前記検索が、検索クエリーに基づいて開始され、前記検索クエリーが、前記特定されたタグ−物品データーと、ユーザー・データーとに基づいて行われ、前記ユーザー・データーが、前記タグ付けジェスチャーに関連して前記ユーザーによりタグ付けされた以前のタグ付けされた物品の履歴を含む、ステップと、
前記検索クエリーに応答して前記タグ付けされた物品に関係する前記コンテンツを受けるステップであって、前記タグ付けされた物品に関係する前記受けたコンテンツが、特定された前記タグ−物品データーと前記ユーザー・データーとに基づく、ステップと、
前記タグ付けされた物品に関係する前記コンテンツを提示させるステップであって、前記タグ付けされた物品に関係する前記コンテンツが、前記タグ付けされた物品に関連して提示される、ステップと、
を含む、コンピューター実装方法。 - 請求項1記載の方法において、更に、前記タグ付けされた物品に関係する前記コンテンツに関連して物品アクションを提示させるステップを含み、前記物品アクションが、前記タグ付けされた物品に関して取られるべきアクションの指示を含む、方法。
- 請求項2記載の方法において、前記物品アクションは、前記タグ付けされた物品に関係する前記コンテンツのユーザー選択に応答して提示される、方法。
- 請求項2記載の方法において、前記タグ付けされた物品に関係する前記コンテンツは、前記タグ付けされた物品に関連したタグ付けされた情報の購入を含み、前記タグ付けされた物品に関係する前記コンテンツは、前記メディア・コンテンツ内の前記タグ付けされた物品と同時に提示される、方法。
- 請求項1記載の方法において、前記タグ付けされた物品に関係する前記コンテンツは、前記メディア・コンテンツに重なりかつ前記タグ付けされた物品に隣接して提示される、方法。
- 請求項1記載の方法において、前記物品を特定するステップは、前記メディア・コンテンツに含まれるタグ付け可能な物品のメタデーターが、前記タグ付けされた物品に関連した前記メディア・コンテンツ内の時間と位置の少なくとも一方に対応することを決定することを含む、方法。
- 命令を格納する1つ以上のコンピューター読み取り可能記憶媒体であって、プロセッサーによって前記命令が実行されると方法を実施させ、該方法が、
ユーザー・デバイスに結合された動き検出システムにより、ユーザーの体の動きを検出してタグ付けジェスチャーを決定する動作であって、前記タグ付けジェスチャーが前記ユーザー・デバイスにおいて表示されたメディア・コンテンツ内の領域を示し、前記領域が物品を含む、動作と、
前記タグ付けジェスチャーを決定したことに基づいて、前記タグ付けジェスチャーにより示された前記領域の表現を前記ユーザー・デバイスにおける表示のために提供する動作と、
前記タグ付けジェスチャーに基づいて、前記物品を特定し、前記物品がタグ付けされた物品であることを決定する動作と、
前記タグ付けされた物品に関連するタグ−物品データーを特定する動作と、
前記タグ付ジェスチャーに応答して、前記タグ付けされた物品に関係するコンテンツに対する検索を自動的に開始する動作であって、前記検索が、検索クエリーに基づいて開始され、前記検索クエリーが、前記特定されたタグ−物品データーと、ユーザー・データーとに基づいて行われ、前記ユーザー・データーが、前記タグ付けジェスチャーに関連して前記ユーザーによりタグ付けされた以前のタグ付けされた物品の履歴を含む、動作と、
前記検索クエリーに応答して前記タグ付けされた物品に関係する前記コンテンツを受ける動作であって、前記タグ付けされた物品に関係する前記受けたコンテンツが、特定された前記タグ−物品データーと前記ユーザー・データーとに基づく、動作と、
前記タグ付けされた物品に関係する前記コンテンツを提示させる動作であって、前記タグ付けされた物品に関係する前記コンテンツが前記タグ付けされた物品に関連して提示される、動作と、
を含む、1つ以上のコンピューター読み取り可能記憶媒体。 - 請求項7記載の媒体において、前記タグ付けジェスチャーが、前記表示されたメディア・コンテンツ内に提示された前記物品の境界を実質的になぞる形状に対応する動きを含む、媒体。
- 計算システムであって、
1つ以上のプロセッサーと、
コンピューター実行可能命令を格納したコンピューター記憶メモリーと、
を含み、前記コンピューター実行可能命令が前記1つ以上のプロセッサーにより実行されると方法を実施し、該方法が、
ユーザー・デバイスに結合された動き検出システムにより、ユーザーの体の動きを検出してタグ付けジェスチャーを決定するステップであって、前記タグ付けジェスチャーが前記ユーザー・デバイスにおいて表示されたメディア・コンテンツ内の領域を示し、前記領域が物品を含む、ステップと、
前記タグ付けジェスチャーを決定したことに基づいて、前記タグ付けジェスチャーにより示された前記領域の表現を前記ユーザー・デバイスにおける表示のために提供するステップと、
前記タグ付けジェスチャーに基づいて、前記物品を特定し、前記物品がタグ付けされた物品であることを決定するステップと、
前記タグ付けされた物品に関連したタグ−物品データーを特定するステップと、
前記タグ付ジェスチャーに応答して、前記タグ付けされた物品に関係するコンテンツに対する検索を自動的に開始するステップであって、前記検索が、検索クエリーに基づいて開始され、前記検索クエリーが、前記特定されたタグ−物品データーと、ユーザー・データーとに基づいて行われ、前記ユーザー・データーが、前記タグ付けジェスチャーに関連して前記ユーザーによりタグ付けされた以前のタグ付けされた物品の履歴を含む、ステップと、
前記検索クエリーに応答して前記タグ付けされた物品に関係する前記コンテンツを受けるステップであって、前記タグ付けされた物品に関係する前記受けたコンテンツが、特定された前記タグ−物品データーと前記ユーザー・データーとに基づく、ステップと、
前記タグ付けされた物品に関係する前記コンテンツを提示させるステップであって、前記タグ付けされた物品に関係する前記コンテンツが、前記タグ付けされた物品に関連して提示される、ステップと、
を含む、計算システム。 - 請求項9記載の計算システムであって、前記方法が更に、表示された前記メディア・コンテンツ内に提示された追加の物品に対し第三者が興味を示したことの指示を提示させるステップを含む、計算システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/324,435 | 2011-12-13 | ||
US13/324,435 US9646313B2 (en) | 2011-12-13 | 2011-12-13 | Gesture-based tagging to view related content |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014547270A Division JP2015505398A (ja) | 2011-12-13 | 2012-12-04 | 関連コンテンツを見るためのジェスチャー・ベースのタグ付け |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017142846A JP2017142846A (ja) | 2017-08-17 |
JP6363758B2 true JP6363758B2 (ja) | 2018-07-25 |
Family
ID=47928197
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014547270A Withdrawn JP2015505398A (ja) | 2011-12-13 | 2012-12-04 | 関連コンテンツを見るためのジェスチャー・ベースのタグ付け |
JP2017080394A Active JP6363758B2 (ja) | 2011-12-13 | 2017-04-14 | 関連コンテンツを見るためのジェスチャー・ベースのタグ付け |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014547270A Withdrawn JP2015505398A (ja) | 2011-12-13 | 2012-12-04 | 関連コンテンツを見るためのジェスチャー・ベースのタグ付け |
Country Status (8)
Country | Link |
---|---|
US (1) | US9646313B2 (ja) |
EP (1) | EP2791761B1 (ja) |
JP (2) | JP2015505398A (ja) |
KR (1) | KR102033189B1 (ja) |
CN (1) | CN102999630B (ja) |
ES (1) | ES2743910T3 (ja) |
TW (1) | TWI573042B (ja) |
WO (1) | WO2013090046A1 (ja) |
Families Citing this family (189)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US10002189B2 (en) | 2007-12-20 | 2018-06-19 | Apple Inc. | Method and apparatus for searching using an active ontology |
US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US10706373B2 (en) | 2011-06-03 | 2020-07-07 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
US20130334300A1 (en) * | 2011-01-03 | 2013-12-19 | Curt Evans | Text-synchronized media utilization and manipulation based on an embedded barcode |
US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
US8840013B2 (en) | 2011-12-06 | 2014-09-23 | autoGraph, Inc. | Consumer self-profiling GUI, analysis and rapid information presentation tools |
US20130144710A1 (en) | 2011-06-06 | 2013-06-06 | Nfluence Media, Inc. | Consumer driven advertising system |
US9883326B2 (en) | 2011-06-06 | 2018-01-30 | autoGraph, Inc. | Beacon based privacy centric network communication, sharing, relevancy tools and other tools |
US8825763B2 (en) * | 2011-12-09 | 2014-09-02 | Facebook, Inc. | Bookmarking social networking system content |
US20130201161A1 (en) * | 2012-02-03 | 2013-08-08 | John E. Dolan | Methods, Systems and Apparatus for Digital-Marking-Surface Content-Unit Manipulation |
US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
WO2014028060A1 (en) * | 2012-08-15 | 2014-02-20 | Brian Roundtree | Tools for interest-graph driven personalization |
KR20140038577A (ko) * | 2012-09-11 | 2014-03-31 | 한국과학기술연구원 | 메타데이터를 이용한 콘텐츠 추천 |
US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
US10540515B2 (en) | 2012-11-09 | 2020-01-21 | autoGraph, Inc. | Consumer and brand owner data management tools and consumer privacy tools |
US20140157158A1 (en) * | 2012-12-03 | 2014-06-05 | Martin Camins | System and method for visually identifying user preferences |
US9483518B2 (en) | 2012-12-18 | 2016-11-01 | Microsoft Technology Licensing, Llc | Queryless search based on context |
KR20150104615A (ko) | 2013-02-07 | 2015-09-15 | 애플 인크. | 디지털 어시스턴트를 위한 음성 트리거 |
KR102111769B1 (ko) * | 2013-02-08 | 2020-06-08 | 삼성전자주식회사 | 추천 패널 제공 방법 및 이를 위한 디바이스, 추천 아이템 제공 방법 및 이를 위한 서버 |
US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
US10546352B2 (en) * | 2013-03-14 | 2020-01-28 | Facebook, Inc. | Method for selectively advertising items in an image |
US9881058B1 (en) | 2013-03-14 | 2018-01-30 | Google Inc. | Methods, systems, and media for displaying information related to displayed content upon detection of user attention |
US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
US9635404B2 (en) | 2013-04-24 | 2017-04-25 | The Nielsen Company (Us), Llc | Methods and apparatus to correlate census measurement data with panel data |
WO2014186771A1 (en) | 2013-05-16 | 2014-11-20 | Nfluence Media, Inc. | Privacy sensitive persona management tools |
US9672259B2 (en) * | 2013-05-29 | 2017-06-06 | Ebay Inc. | Methods and systems to refine search information |
WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
EP3008641A1 (en) | 2013-06-09 | 2016-04-20 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
CN105453026A (zh) | 2013-08-06 | 2016-03-30 | 苹果公司 | 基于来自远程设备的活动自动激活智能响应 |
CN103440307B (zh) * | 2013-08-23 | 2017-05-24 | 北京智谷睿拓技术服务有限公司 | 媒体信息提供方法及装置 |
KR20150032101A (ko) * | 2013-09-17 | 2015-03-25 | 삼성전자주식회사 | 영상표시장치 및 영상표시방법 |
US10296160B2 (en) | 2013-12-06 | 2019-05-21 | Apple Inc. | Method for extracting salient dialog usage from live data |
CN103679512B (zh) * | 2013-12-19 | 2017-06-16 | 深圳市宇恒互动科技开发有限公司 | 根据用户需求推送广告的可分离控制系统与装置 |
US10067341B1 (en) | 2014-02-04 | 2018-09-04 | Intelligent Technologies International, Inc. | Enhanced heads-up display system |
EP3123751B1 (en) | 2014-03-28 | 2019-11-06 | AutoGraph, Inc. | Beacon based privacy centric network communication, sharing, relevancy tools and other tools |
KR101598601B1 (ko) * | 2014-05-14 | 2016-03-02 | 전자부품연구원 | 상황 기반 서비스 지원 기술 |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
TWI566107B (zh) | 2014-05-30 | 2017-01-11 | 蘋果公司 | 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置 |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
JP2016053880A (ja) * | 2014-09-04 | 2016-04-14 | 株式会社ランディード | 車載システム、情報処理方法、およびコンピュータプログラム |
US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
US20160150038A1 (en) * | 2014-11-26 | 2016-05-26 | Microsoft Technology Licensing, Llc. | Efficiently Discovering and Surfacing Content Attributes |
US10222942B1 (en) * | 2015-01-22 | 2019-03-05 | Clarifai, Inc. | User interface for context labeling of multimedia items |
US10152299B2 (en) | 2015-03-06 | 2018-12-11 | Apple Inc. | Reducing response latency of intelligent automated assistants |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
US9826359B2 (en) | 2015-05-01 | 2017-11-21 | The Nielsen Company (Us), Llc | Methods and apparatus to associate geographic locations with user devices |
US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
US10200824B2 (en) * | 2015-05-27 | 2019-02-05 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device |
US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
US20160378747A1 (en) | 2015-06-29 | 2016-12-29 | Apple Inc. | Virtual assistant for media playback |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US10331312B2 (en) | 2015-09-08 | 2019-06-25 | Apple Inc. | Intelligent automated assistant in a media environment |
US10740384B2 (en) | 2015-09-08 | 2020-08-11 | Apple Inc. | Intelligent automated assistant for media search and playback |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
US11328590B2 (en) * | 2015-10-29 | 2022-05-10 | InterNetwork Media, LLC | System and method for internet radio automatic content management |
CN106658202A (zh) | 2015-10-30 | 2017-05-10 | 中国移动通信集团公司 | 一种触发互动应用的方法和设备 |
KR102447907B1 (ko) * | 2015-11-05 | 2022-09-28 | 삼성전자주식회사 | 추천 객체를 제공하기 위한 전자 장치 및 방법 |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
CN107168599B (zh) * | 2016-03-07 | 2020-05-29 | 阿里巴巴集团控股有限公司 | 一种即时通信方法和装置 |
US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
US10719193B2 (en) | 2016-04-20 | 2020-07-21 | Microsoft Technology Licensing, Llc | Augmenting search with three-dimensional representations |
US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
US11227589B2 (en) | 2016-06-06 | 2022-01-18 | Apple Inc. | Intelligent list reading |
US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
DK179588B1 (en) | 2016-06-09 | 2019-02-22 | Apple Inc. | INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT |
US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
WO2018004536A1 (en) * | 2016-06-28 | 2018-01-04 | Intel Corporation | Gesture embedded video |
US10101820B2 (en) | 2016-07-21 | 2018-10-16 | International Business Machines Corporation | Automated learning and gesture based interest processing |
US10474753B2 (en) | 2016-09-07 | 2019-11-12 | Apple Inc. | Language identification using recurrent neural networks |
US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
US10432559B2 (en) * | 2016-10-24 | 2019-10-01 | Snap Inc. | Generating and displaying customized avatars in electronic messages |
US11281993B2 (en) | 2016-12-05 | 2022-03-22 | Apple Inc. | Model and ensemble compression for metric learning |
US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
US10417266B2 (en) | 2017-05-09 | 2019-09-17 | Apple Inc. | Context-aware ranking of intelligent response suggestions |
DK201770383A1 (en) | 2017-05-09 | 2018-12-14 | Apple Inc. | USER INTERFACE FOR CORRECTING RECOGNITION ERRORS |
US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
US10395654B2 (en) | 2017-05-11 | 2019-08-27 | Apple Inc. | Text normalization based on a data-driven learning network |
DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
DK180048B1 (en) | 2017-05-11 | 2020-02-04 | Apple Inc. | MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION |
DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
DK201770429A1 (en) | 2017-05-12 | 2018-12-14 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
US11301477B2 (en) | 2017-05-12 | 2022-04-12 | Apple Inc. | Feedback analysis of a digital assistant |
DK201770411A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | MULTI-MODAL INTERFACES |
DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
US10311144B2 (en) | 2017-05-16 | 2019-06-04 | Apple Inc. | Emoji word sense disambiguation |
US20180336892A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Detecting a trigger of a digital assistant |
DK179560B1 (en) | 2017-05-16 | 2019-02-18 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
US10403278B2 (en) | 2017-05-16 | 2019-09-03 | Apple Inc. | Methods and systems for phonetic matching in digital assistant services |
US20180336275A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Intelligent automated assistant for media exploration |
US10657328B2 (en) | 2017-06-02 | 2020-05-19 | Apple Inc. | Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling |
KR20190012695A (ko) * | 2017-07-28 | 2019-02-11 | 양재혁 | 태그 컨텐츠를 포함하는 정보를 공유하는 광고 방법 및 시스템 |
US10445429B2 (en) | 2017-09-21 | 2019-10-15 | Apple Inc. | Natural language understanding using vocabularies with compressed serialized tries |
US10878047B1 (en) * | 2017-09-22 | 2020-12-29 | Amazon Technologies, Inc. | Content generation framework |
US10755051B2 (en) | 2017-09-29 | 2020-08-25 | Apple Inc. | Rule-based natural language processing |
US10636424B2 (en) | 2017-11-30 | 2020-04-28 | Apple Inc. | Multi-turn canned dialog |
WO2019123762A1 (ja) * | 2017-12-22 | 2019-06-27 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN111567024B (zh) * | 2017-12-26 | 2022-08-19 | 尤妮佳股份有限公司 | 信息收集程序、信息通信终端以及信息收集方法 |
US10733982B2 (en) | 2018-01-08 | 2020-08-04 | Apple Inc. | Multi-directional dialog |
US10733375B2 (en) | 2018-01-31 | 2020-08-04 | Apple Inc. | Knowledge-based framework for improving natural language understanding |
US10789959B2 (en) | 2018-03-02 | 2020-09-29 | Apple Inc. | Training speaker recognition models for digital assistants |
US10592604B2 (en) | 2018-03-12 | 2020-03-17 | Apple Inc. | Inverse text normalization for automatic speech recognition |
US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
US10909331B2 (en) | 2018-03-30 | 2021-02-02 | Apple Inc. | Implicit identification of translation payload with neural machine translation |
US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
US11698927B2 (en) * | 2018-05-16 | 2023-07-11 | Sony Interactive Entertainment LLC | Contextual digital media processing systems and methods |
US10984780B2 (en) | 2018-05-21 | 2021-04-20 | Apple Inc. | Global semantic word embeddings using bi-directional recurrent neural networks |
US11386266B2 (en) | 2018-06-01 | 2022-07-12 | Apple Inc. | Text correction |
US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
DK179822B1 (da) | 2018-06-01 | 2019-07-12 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
DK201870355A1 (en) | 2018-06-01 | 2019-12-16 | Apple Inc. | VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS |
DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
US10496705B1 (en) | 2018-06-03 | 2019-12-03 | Apple Inc. | Accelerated task performance |
CN108694629A (zh) * | 2018-08-24 | 2018-10-23 | 深圳艺达文化传媒有限公司 | 电梯广告的播放推荐方法及相关产品 |
US11010561B2 (en) | 2018-09-27 | 2021-05-18 | Apple Inc. | Sentiment prediction from textual data |
US11170166B2 (en) | 2018-09-28 | 2021-11-09 | Apple Inc. | Neural typographical error modeling via generative adversarial networks |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
US10839159B2 (en) | 2018-09-28 | 2020-11-17 | Apple Inc. | Named entity normalization in a spoken dialog system |
US11475898B2 (en) | 2018-10-26 | 2022-10-18 | Apple Inc. | Low-latency multi-speaker speech recognition |
US11638059B2 (en) | 2019-01-04 | 2023-04-25 | Apple Inc. | Content playback on multiple devices |
US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
US11423908B2 (en) | 2019-05-06 | 2022-08-23 | Apple Inc. | Interpreting spoken requests |
US11475884B2 (en) | 2019-05-06 | 2022-10-18 | Apple Inc. | Reducing digital assistant latency when a language is incorrectly determined |
US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
DK180129B1 (en) | 2019-05-31 | 2020-06-02 | Apple Inc. | USER ACTIVITY SHORTCUT SUGGESTIONS |
DK201970510A1 (en) | 2019-05-31 | 2021-02-11 | Apple Inc | Voice identification in digital assistant systems |
US11289073B2 (en) | 2019-05-31 | 2022-03-29 | Apple Inc. | Device text to speech |
US11496600B2 (en) | 2019-05-31 | 2022-11-08 | Apple Inc. | Remote execution of machine-learned models |
US11360641B2 (en) | 2019-06-01 | 2022-06-14 | Apple Inc. | Increasing the relevance of new available information |
US11227599B2 (en) | 2019-06-01 | 2022-01-18 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
WO2021056255A1 (en) | 2019-09-25 | 2021-04-01 | Apple Inc. | Text detection using global geometry estimators |
US11043220B1 (en) | 2020-05-11 | 2021-06-22 | Apple Inc. | Digital assistant hardware abstraction |
US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
US11755276B2 (en) | 2020-05-12 | 2023-09-12 | Apple Inc. | Reducing description length based on confidence |
US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
JP2023138873A (ja) * | 2020-08-21 | 2023-10-03 | ソニーグループ株式会社 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
JP7253526B2 (ja) * | 2020-12-24 | 2023-04-06 | 楽天グループ株式会社 | 情報通信システム、及び情報通信方法 |
JP7189980B2 (ja) * | 2021-02-12 | 2022-12-14 | 楽天グループ株式会社 | 情報通信システム、及び情報通信方法 |
US11778277B1 (en) * | 2021-06-11 | 2023-10-03 | Amazon Technologies, Inc. | Digital item processing for video streams |
TWI824842B (zh) * | 2022-11-23 | 2023-12-01 | 國立澎湖科技大學 | 基於ai邊緣運算之手寫文字教學系統及方法 |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5835713A (en) | 1993-03-19 | 1998-11-10 | Ncr Corporation | Remote collaboration system for selectively locking the display at remote computers to prevent annotation of the display by users of the remote computers |
US5687254A (en) * | 1994-06-06 | 1997-11-11 | Xerox Corporation | Searching and Matching unrecognized handwriting |
US8429005B2 (en) | 1999-09-23 | 2013-04-23 | Activ8Now, Llc | Method for determining effectiveness of display of objects in advertising images |
US6616533B1 (en) | 2000-05-31 | 2003-09-09 | Intel Corporation | Providing advertising with video games |
JP2005018436A (ja) * | 2003-06-26 | 2005-01-20 | Toppan Printing Co Ltd | 情報提供システム、情報提供装置、および情報提供方法、並びに情報提供プログラム |
US20060136406A1 (en) | 2004-12-17 | 2006-06-22 | Erika Reponen | Spatial search and selection feature |
KR100940981B1 (ko) | 2005-01-05 | 2010-02-05 | 야후! 인크. | 텔레비전 환경에서 복수의 콘텐츠를 전달하고 복수의콘텐츠 아이템의 상호 작용을 제공하기 위한 프레임워크 |
US7774703B2 (en) | 2006-02-09 | 2010-08-10 | Microsoft Corporation | Virtual shadow awareness for multi-user editors |
US20080005074A1 (en) | 2006-06-28 | 2008-01-03 | Microsoft Corporation | Search over designated content |
US8656282B2 (en) | 2007-01-31 | 2014-02-18 | Fall Front Wireless Ny, Llc | Authoring tool for providing tags associated with items in a video playback |
US10003781B2 (en) | 2006-08-04 | 2018-06-19 | Gula Consulting Limited Liability Company | Displaying tags associated with items in a video playback |
US20080091548A1 (en) | 2006-09-29 | 2008-04-17 | Kotas Paul A | Tag-Driven Concept-Centric Electronic Marketplace |
US20080126191A1 (en) | 2006-11-08 | 2008-05-29 | Richard Schiavi | System and method for tagging, searching for, and presenting items contained within video media assets |
GB0707216D0 (en) | 2007-04-14 | 2007-05-23 | Livesey Carl | Interactive shopping platform |
US20090119572A1 (en) * | 2007-11-02 | 2009-05-07 | Marja-Riitta Koivunen | Systems and methods for finding information resources |
US20090182644A1 (en) | 2008-01-16 | 2009-07-16 | Nicholas Panagopulos | Systems and methods for content tagging, content viewing and associated transactions |
US9870130B2 (en) | 2008-05-13 | 2018-01-16 | Apple Inc. | Pushing a user interface to a remote device |
US8467991B2 (en) * | 2008-06-20 | 2013-06-18 | Microsoft Corporation | Data services based on gesture and location information of device |
JP2010039592A (ja) | 2008-08-01 | 2010-02-18 | Fujifilm Corp | 商品購入/販売システムならびにそのシステムを構成する商品販売サーバおよびその動作制御方法 |
US9269090B2 (en) | 2008-08-18 | 2016-02-23 | Nokia Technologies Oy | Method, apparatus and computer program product for providing indications regarding recommended content |
US20100289753A1 (en) | 2009-05-14 | 2010-11-18 | Microsoft Corporation | Adjusting organization of media content on display |
US8856691B2 (en) * | 2009-05-29 | 2014-10-07 | Microsoft Corporation | Gesture tool |
EP2462494A4 (en) | 2009-06-05 | 2014-08-13 | Mozaik Multimedia Inc | ECOSYSTEM FOR SMART CONTENT MARKING AND INTERACTION |
KR101660271B1 (ko) * | 2009-08-21 | 2016-10-11 | 삼성전자주식회사 | 메타데이터 태깅 시스템, 이미지 검색 방법, 디바이스 및 이에 적용되는 제스처 태깅방법 |
US9407973B2 (en) | 2009-12-02 | 2016-08-02 | At&T Intellectual Property I, L.P. | System and method to identify an item depicted when media content is displayed |
US9838744B2 (en) | 2009-12-03 | 2017-12-05 | Armin Moehrle | Automated process for segmenting and classifying video objects and auctioning rights to interactive sharable video objects |
CN102782614B (zh) | 2009-12-28 | 2016-06-01 | 摩托罗拉移动公司 | 用于使用输入手势来关联触摸屏上的对象的方法 |
KR101647044B1 (ko) * | 2010-02-11 | 2016-08-09 | 삼성전자 주식회사 | 휴대 단말기의 화면 표시 방법 및 장치 |
US20110202603A1 (en) | 2010-02-12 | 2011-08-18 | Nokia Corporation | Method and apparatus for providing object based media mixing |
IT1399695B1 (it) * | 2010-04-14 | 2013-04-26 | Sisvel Technology Srl | Metodo per visualizzare un flusso video secondo un formato personalizzato. |
US8379098B2 (en) * | 2010-04-21 | 2013-02-19 | Apple Inc. | Real time video process control using gestures |
US9471700B2 (en) * | 2010-05-18 | 2016-10-18 | Tksn Holdings, Llc | System and method for monitoring changes in databases and websites |
TWM392404U (en) | 2010-06-01 | 2010-11-11 | Univ Nat Taipei Technology | Hand gesture control system |
US8416189B2 (en) * | 2010-06-04 | 2013-04-09 | Acer Incorporated | Manual human machine interface operation system and method thereof |
US20120131454A1 (en) * | 2010-11-24 | 2012-05-24 | Siddharth Shah | Activating an advertisement by performing gestures on the advertisement |
US8179604B1 (en) * | 2011-07-13 | 2012-05-15 | Google Inc. | Wearable marker for passive interaction |
US8306977B1 (en) * | 2011-10-31 | 2012-11-06 | Google Inc. | Method and system for tagging of content |
-
2011
- 2011-12-13 US US13/324,435 patent/US9646313B2/en active Active
-
2012
- 2012-11-05 TW TW101140992A patent/TWI573042B/zh not_active IP Right Cessation
- 2012-12-04 JP JP2014547270A patent/JP2015505398A/ja not_active Withdrawn
- 2012-12-04 KR KR1020147016033A patent/KR102033189B1/ko active IP Right Grant
- 2012-12-04 WO PCT/US2012/067663 patent/WO2013090046A1/en unknown
- 2012-12-04 ES ES12857559T patent/ES2743910T3/es active Active
- 2012-12-04 EP EP12857559.4A patent/EP2791761B1/en active Active
- 2012-12-13 CN CN201210537861.4A patent/CN102999630B/zh active Active
-
2017
- 2017-04-14 JP JP2017080394A patent/JP6363758B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
US9646313B2 (en) | 2017-05-09 |
EP2791761B1 (en) | 2019-07-24 |
KR20140107253A (ko) | 2014-09-04 |
EP2791761A4 (en) | 2015-09-16 |
EP2791761A1 (en) | 2014-10-22 |
CN102999630B (zh) | 2016-08-03 |
CN102999630A (zh) | 2013-03-27 |
KR102033189B1 (ko) | 2019-11-08 |
TW201337642A (zh) | 2013-09-16 |
ES2743910T3 (es) | 2020-02-21 |
WO2013090046A1 (en) | 2013-06-20 |
JP2017142846A (ja) | 2017-08-17 |
US20130151339A1 (en) | 2013-06-13 |
TWI573042B (zh) | 2017-03-01 |
JP2015505398A (ja) | 2015-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6363758B2 (ja) | 関連コンテンツを見るためのジェスチャー・ベースのタグ付け | |
US9977835B2 (en) | Queryless search based on context | |
US11112867B2 (en) | Surfacing related content based on user interaction with currently presented content | |
US20200183966A1 (en) | Creating Real-Time Association Interaction Throughout Digital Media | |
US11012753B2 (en) | Computerized system and method for determining media based on selected motion video inputs | |
US20130268513A1 (en) | Annotations based on hierarchical categories and groups | |
US9535945B2 (en) | Intent based search results associated with a modular search object framework | |
US10706098B1 (en) | Methods to present search keywords for image-based queries | |
US20120209841A1 (en) | Bookmarking segments of content | |
US20140325359A1 (en) | Methods and apparatus for enhancing a digital content experience | |
WO2018068015A1 (en) | Search system, page display method and client terminal | |
WO2013013057A1 (en) | Enhanced world wide web-based communications | |
US9594540B1 (en) | Techniques for providing item information by expanding item facets | |
US9619519B1 (en) | Determining user interest from non-explicit cues | |
US8725795B1 (en) | Content segment optimization techniques | |
CN112384912A (zh) | 用户创建内容推荐和搜索 | |
US10114897B1 (en) | Search and notification procedures based on user history information | |
US10248728B1 (en) | Search and notification procedures based on user history information | |
JP7486257B1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
US20230032373A1 (en) | Video stream interface based on third-party webpage information | |
TWI566123B (zh) | 多媒體介面成像方法、系統及可穿戴式裝置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180302 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180530 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180628 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6363758 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |