TWI573042B - 基於手勢標記來檢視相關內容 - Google Patents

基於手勢標記來檢視相關內容 Download PDF

Info

Publication number
TWI573042B
TWI573042B TW101140992A TW101140992A TWI573042B TW I573042 B TWI573042 B TW I573042B TW 101140992 A TW101140992 A TW 101140992A TW 101140992 A TW101140992 A TW 101140992A TW I573042 B TWI573042 B TW I573042B
Authority
TW
Taiwan
Prior art keywords
item
content
user
marked
gesture
Prior art date
Application number
TW101140992A
Other languages
English (en)
Other versions
TW201337642A (zh
Inventor
金恩亨
奧索堤歐尼爾
瓦義思約翰Ｃ
Original Assignee
微軟技術授權有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 微軟技術授權有限責任公司 filed Critical 微軟技術授權有限責任公司
Publication of TW201337642A publication Critical patent/TW201337642A/zh
Application granted granted Critical
Publication of TWI573042B publication Critical patent/TWI573042B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Description

基於手勢標記來檢視相關內容
本發明有關於基於手勢標記來檢視相關內容。
為了找出有關於顯示於媒體內容中對使用者呈現的項目的內容，使用者往往會利用搜尋服務。例示的網際網路搜尋引擎為本領域眾所周知的，例如，眾所周知的商業用引擎，美商微軟公司(Microsoft Corporation of Redmond,Washington)的BING搜尋引擎。一般而言，當使用者正在檢視顯示的媒體內容中的興趣項目時，為了識別任何相關內容，使用者最初會開啟網頁瀏覽器並瀏覽至關於該特定搜尋服務的首頁。之後，使用者可輸入搜尋詢問來得到所需的搜尋結果，例如，透過由搜尋服務所提供的搜尋框。這樣的搜尋過程會是耗時且無效率的。
本概要介紹基於手勢標記以檢視有關於在媒體內容中的興趣項目的內容的概念，媒體內容將在以下的詳細說明中進一 步說明。本概要並非用於認定所請求的發明標的的必要特徵，亦非用來限定所請求的發明標的的範圍。
本案描述了有助於檢視關於在媒體內容中所呈現的項目的實施例。在一個實施例中，使用者能檢視具有可被標記項目的媒體內容。因此，連接於使用者裝置的顯示器螢幕可顯示某些媒體內容，如影片。使用者可使用手勢來提出關於他或她對於媒體內容的特定項目感興趣的指示。為回應指出對於項目的興趣，可對使用者呈現有關於該項目的內容，使得使用者能隨時檢視這些相關內容(如，廣告、交易、項目資訊、建議或推薦等)。在一些應用中，依據項目的上下文及/或使用者資料，而選擇有關於該特定項目的內容。
100‧‧‧運算裝置
110‧‧‧匯流排
112‧‧‧記憶體
114‧‧‧處理器
116‧‧‧顯示元件
118‧‧‧輸入/輸出埠
120‧‧‧輸入/輸出元件
122‧‧‧電源
200‧‧‧環境實例
202‧‧‧內容提供者
204‧‧‧使用者裝置
206‧‧‧廣告商裝置
208‧‧‧網路聯絡人裝置
210‧‧‧相關內容系統
212‧‧‧啟用標記的內容
220‧‧‧推薦引擎
222‧‧‧搜尋引擎
224‧‧‧廣告引擎
226‧‧‧社群網路引擎
228‧‧‧使用者資料貯存庫
230‧‧‧網路資料貯存庫
232‧‧‧廣告資料貯存庫
234‧‧‧搜尋資料貯存庫
236‧‧‧內容資料貯存庫
302‧‧‧使用者
304‧‧‧啟用標記的內容
306‧‧‧客戶端裝置
308‧‧‧顯示器螢幕
310‧‧‧帽子
312‧‧‧襯衫
314‧‧‧人物
316‧‧‧項鍊
318‧‧‧人物
320‧‧‧帽子
322‧‧‧人物
402‧‧‧使用者
404‧‧‧媒體內容
410‧‧‧項目
500‧‧‧顯示器
502‧‧‧使用者
510‧‧‧標記的項目
512‧‧‧標記手勢
514‧‧‧內容區域
604‧‧‧啟用標記的內容
606‧‧‧使用者裝置
610‧‧‧選擇的項目
616‧‧‧相關內容資料
618‧‧‧動作項目
620‧‧‧儲存動作項目
622‧‧‧傳送動作項目
724‧‧‧動作項目
826‧‧‧廣告
904‧‧‧媒體內容
906‧‧‧使用者裝置
908‧‧‧顯示器
910‧‧‧項目
928‧‧‧使用者
930‧‧‧內容
1000‧‧‧方法
1002~1008‧‧‧步驟方塊
1100‧‧‧方法
1102~1110‧‧‧步驟方塊
1200‧‧‧方法
1210~1236‧‧‧步驟方塊
1300‧‧‧方法
1310~1318‧‧‧步驟方塊
1400‧‧‧方法
1410~1420‧‧‧步驟方塊
1500‧‧‧方法
1510~1528‧‧‧步驟方塊
1600‧‧‧方法
1610~1630‧‧‧步驟方塊
本發明之實施方式係配合參照如下所附參考圖式詳細描述，其中：圖1係適於實施本發明之實施例的例示的運算裝置之方塊圖；圖2係包含可用以實施基於手勢標記的使用者裝置的例示的環境之示意圖；圖3係在使用者裝置的顯示器上呈現的內容實例之示意圖；圖4係顯示出依據本發明實施例的使用者注視媒體內容中的特定項目的示意圖；圖5係依據本發明實施例之基於手勢標記過程之實例的 示意圖；圖6係依據本發明實施例之將有關於項目的內容與該項目聯合呈現的示意圖；圖7係依據本發明實施例之項目動作的使用者選擇之實例的示意圖；圖8係依據本發明之實施例的可在稍後檢視廣告實例的示意圖；圖9係依據本發明實施例之將有關於被另一實體所標記的項目的內容與該項目聯合呈現的示意圖；圖10圖示產生啟用標記的內容的方法實例；圖11圖示依據本發明實施例之標記項目的方法實例；圖12圖示依據本發明實施例之應用基於手勢標記以檢視有關於項目的內容的方法實例；圖13圖示依據本發明實施例之應用基於手勢標記以辨識有關於項目的內容的方法實例；圖14圖示依據本發明實施例之由第三方啟動項目標記，而使得另一方可檢視有關於該項目的內容的方法實例；圖15圖示依據本發明實施例之應用第三方標記以提供另一方有關於項目的內容的方法實例；以及圖16圖示依據本發明實施例之應用第三方標記以在使用者裝置上檢視相關內容的方法實例。
概述
一般而言，當使用者想要搜尋有關於在媒體內容中的該使用者正在檢視的項目的某些資訊時，該使用者開啟網頁瀏覽器並連接至搜尋服務。該使用者會透過輸入搜尋詢問來詢問搜尋引擎。可經由與該網頁瀏覽器及/或網頁整合的搜尋框，或與該網頁瀏覽器一起執行的工具列，或經由利用該網頁瀏覽器作為完成搜尋的平台的獨立的應用程式，來輸入該搜尋詢問。在任一情況中，該使用者可透過打字或剪下貼上搜尋詢問的其中一者來手動地輸入該搜尋詢問。其他可用的技術可透過啟動使用者裝置的語音辨識功能，若有提供的話，而輸入語音命令及/或語音輸入，以允許使用者去輸入搜尋詢問，該些語音命令及/或語音輸入係透過使用者裝置的搜尋應用程式或搜尋服務而被轉換成文字。
回應於接收該搜尋詢問，搜尋服務會在結果頁面上回覆並呈現搜尋結果給該使用者。若該使用者想要修改該搜尋，該使用者可輸入修改的搜尋詢問於文字框中，並提交修改的搜尋詢問至該搜尋引擎，該搜尋引擎接著回覆新的搜尋結果給該使用者。一旦該使用者找到所需資訊，他或她接著離開該搜尋服務並回去檢視他/她一開始檢視的媒體內容。若該使用者需要參照該搜尋結果或執行另一搜尋，該使用者必須在檢視該媒體內容與執行搜尋以識別有關於被檢視的該媒體內容的內容之間來回切換，因此會擾亂他或她檢視媒體內容。
若使用者所使用的裝置具有有限的或沒有同時執行多數個應用程式的能力時，這個情況將更難以操作。在那些通常無法允許使用者同時去檢視媒體內容並執行網際網路的搜尋的移動裝置上，這些問題尤其是更具擾亂性的。
例如，使用者可檢視該使用者所感興趣的具有特定帽子的影片。但是，該使用者可能不知道該帽子的品牌，或在何處購買該帽子，因而會透過網際網路來搜尋該帽子。該使用者會開啟例如網頁瀏覽器，以連到以搜尋引擎為主的網頁，輸入包含有關於該帽子的資訊(如，演員正戴著的帽子、提供該帽子的影片的標題、帽子的顏色、帽子的款式等)的詢問於該網頁所提供的搜尋框中，並提交該詢問至該搜尋引擎。可替代地，使用者可透過語音命令及/或語音輸入以將相關的帽子資訊輸入至搜尋應用程式。然而，假定小顯示器，缺乏實體鍵盤及/或語音辨識能力的移動裝置，使用者會感到難以執行這個搜尋程序。若在有關於該帽子的細節為未知時，這個情況將更難以操作。在此情況下，使用者會猜測那些細節，如該帽子的製造商，並且因而會得到不正確的資訊。可替代地，使用者會需要執行各種的搜尋以得到所需的該帽子的資訊，例如該帽子的製造商。
在另一例中，使用者可能會檢視該使用者所感興趣的包括含項目的媒體內容。使用者可能想進行該項目的搜尋。為了進行該搜尋，類似於上述的搜尋程序，使用者會需要知道何描述該項目，並對搜尋引擎提供影像的文字敘述。可替代地，首先使用者會找到類似圖像，並將該類似圖像儲存於該裝置的本機記憶體，而接著將該類似圖像上傳至允許內容導向的圖像擷取的搜尋引擎。但在兩個例子中，使用者需經過數個步驟以執行搜尋。
本文描述在媒體內容中的項目的基於手勢標記，以允許使用者去檢視有關於項目的內容。該基於手勢標記允許使用者去檢視有關於呈現在媒體內容中的興趣項目的內容(如，資料或資 訊)，該內容係被該使用者檢視，以回應該使用者所提供的手勢。一般而言，使用者裝置經由顯示器螢幕顯示媒體內容給使用者。該媒體內容可為能經由使用者裝置而呈現的任意媒體內容。例如，使用者裝置可對該使用者播放影片及/或聲音。該使用者裝置可接著偵測來自該使用者的手勢，該手勢表示有意去檢視有關於特定項目的內容。在某些情況下，使用者裝置可偵測使用者做出的手勢，該手勢定義或指定顯示器上的顯示的內容中的項目。該手勢可包括，但非限於，在使用者裝置的觸控螢幕或觸控板上的觸控輸入、使用者裝置的影像擷取裝置所偵測到的身體動作及/或由滑鼠或其他使用者輸入裝置所控制的一游標的移動。在一些例子中，手勢可透過定義具有項目的內容區域來指定該項目。舉例而言，由手勢所定義的內容區域可為大致以該手勢作為邊界(如，一般的圓形手勢)的具有項目的區域、被該手勢觸碰或覆蓋的具有項目的區域等。在另一例中，手勢可透過選擇項目來指定該項目(如，在項目上來回移動的及/或選擇的游標或選擇器)。
額外地或可替代地，手勢可包括使用者裝置本身的動作。可藉由例如，加速度計、高度感應器、指南針等來偵測使用者裝置的動作。使用者裝置的動作可表示出使用者有意去檢視有關於項目的內容，該項目係由該使用者裝置所顯示，如，產生與特定項目相關的資訊的搜尋。
在一些實施例中，使用者裝置可顯示由該顯示的內容上的手勢所定義的內容區域的表現，已提供給該使用者有關於該手勢的大小和形狀的視覺反饋。該內容區域的表現可包含，例如，包圍該內容區域的線條、該內容區域的高亮顯示畫面及/或該內容 區域的放大鏡畫面。在某些情況下，具有項目的內容區域可包括由該手勢所定義的本文資訊、插圖資訊、圖像資訊、聲音資訊及/或影片資訊。
使用者裝置可辨認與該興趣項目相關的標記項目資料以回應作完該手勢動作，且會致使去執行有關於該被標記項目的內容的搜尋，例如，根據該標記項目資料。在一些實施例中，可利用上下文資料及/或使用者資料去搜尋有關於該被標記項目的內容。例如，可參照或識別使用者資料及/或上下文資料，以規劃、精確化，或者產生、改變，或增強相關內容的搜尋。
此處所述的基於手勢標記的技術允許使用者去檢視有關於項目的內容，其中藉由簡單地輸入，例如定義、指定或指出在媒體內容中的興趣項目的手勢，而將該項目無縫地呈現在媒體內容中。在此方面，使用者可檢視與興趣項目相關的資訊，而無須開啟網頁瀏覽器、瀏覽至由搜尋引擎為主的網頁及例如透過打字或語音輸入等手動輸入搜尋詢問，從而增強使用者的搜尋及/或媒體檢視經驗。因此，當使用者正檢視媒體內容時，此處所述的基於手勢標記的技術加速並簡化了啟動資訊的搜尋的程序，從而增加使用者的生產力。
本發明在此所描述的實施例，包括電腦應用方法，有助於關於在媒體內容中項目的內容檢視。該方法包含在一或多個配備有電腦可執行指令的處理器的控制下，偵測標記手勢，該標記手勢指示對於在對使用者顯示的媒體內容中所呈現的項目的使用者興趣。該標記手勢定義出具有該項目的顯示的內容的區域。呈現由與該項目有關的第三方所提供的廣告，以回應該偵測該標記 手勢之步驟。
在第二例示實施例中，一或多個電腦可讀式媒體儲存指令，當該些指令被處理器執行時，會安排該處理器去執行步驟。該些步驟包括偵測標記手勢，該標記手勢指示在顯示的媒體內容中呈現的項目。識別與該標記手勢所指示的該項目相關的標記項目資料。啟動以使用該識別的標記項目資料以及使用者資料與上下文項目資料的至少一者來執行的搜尋。接收有關於該項目的內容，該內容係依據該標記項目資料以及使用者資料與上下文項目資料的至少一者。將該相關內容與該項目聯合呈現。
在第三例示實施例中，客戶端裝置包括處理器、通訊地耦接於該處理器的記憶體以及用來對使用者顯示媒體內容的顯示器螢幕。該顯示器螢幕顯示出指示，該指示為與遠端使用者裝置相關的另一使用者已表示出對項目有興趣，其中該項目係呈現於對該使用者顯示的相同媒體內容中。被顯示成媒體內容的此指示係由該使用者檢視。
以下詳述多種且不同的應用及實施例。接下來的段落描述了適於應用基於手勢標記的環境實例。接下來的段落描述了基於手勢標記技術的例示性態樣。
例示性架構
本發明實施方式的各種態樣，可用電腦程式產品的一般上下文來描述，電腦程式產品包括計算機代碼或機器可用指令，包括電腦可執行指令，如以電腦或其他機器(如個人資料助理或其他手持裝置)執行的程式模組。一般而言’程式模組包括常式、程 式、物件、元件、資料結構等，涉及執行特定任務或執行特定抽象資料類型的代碼。本發明的實施方式可在各式各樣的系統配置中實施，包含專屬伺服器、通用型電腦、膝上型電腦、特殊運算裝置及類似者。本發明亦可在分散式運算環境中實施，在該分散式運算環境中係透過經由通訊網路而連接的遠端處理裝置來執行作業。
電腦可讀式媒體包括揮發性與非揮發性媒體及可移除式與不可移除式媒體兩者，及可預期的供資料庫、處理器，以及各種其他網路覆蓋的運算裝置的可讀取媒體。舉例說明且非限定，電腦可讀式媒體包括應用於任何方法中的媒體或儲存資訊的技術。儲存資訊的實例包括電腦可執行指令、資料結構、程式模組以及其他資料表現方式。媒體的實例包括，但非限於，RAM、ROM、EEPROM、快閃記憶體以及其他記憶體技術、CD-ROM、多功能數位光碟(DVD)、全像技術媒體及其他光碟儲存裝置、磁卡式錄音帶、磁帶、磁碟儲存器或其他磁性儲存裝置。這些技術可隨時地、暫時地或永久地儲存資料。
為了提供本發明的各種態樣的一般性上下文，以下詳述例示的作業環境，在該例示的作業環境中可實施本發明的各種態樣。首先參照圖1，顯示例示的作業環境以實施本發明之實施例，且通常指定為運算裝置100。運算裝置100僅係適當的運算環境的實例，且非用來建議本發明的使用或功能範圍上的任何限制。更不應將運算裝置100詮釋為對於任一個說明的元件或元件組合具有任何附帶條件或必要條件。
運算裝置100包括匯流排110，匯流排110直接或間接 連接以下裝置：記憶體112、一或多個處理器114、一或多個顯示元件116、輸入/輸出(I/O)埠118、輸入/輸出元件120以及例示的電源122。匯流排110可為一或多個匯流排(例如位址匯流排、資料匯流排或位址匯流排及資料匯流排組合)之代表。雖然為了清楚起見，而用線條圖示了圖1中的各個方塊，實際上要劃分各個元件並非那麼明確的，以隱喻而言，線條應更準確地以灰色而模糊的來表示。舉例而言，可將顯示元件，例如顯示裝置，想像為I/O元件。同時，處理器具有記憶體。發明人認為這些是該領域的本質，並再次申明圖1的示意圖僅為可用來連接一或多個本發明的實施例的例示的運算裝置。不需區分「工作站」、「伺服器」、「膝上型電腦」、「手持裝置」、「平板電腦」等類別之間的差別，因所述者皆為圖1的範疇內所預期的，且均以「運算裝置」稱之。
記憶體112包括儲存於揮發性與非揮發性記憶體的電腦可執行指令(未圖示)。該記憶體可為可移除式、不可移除式或可移除式及不可移除式組合。例示性硬體裝置包括固態記憶體、硬碟機、光碟機等。記憶體112係電腦可讀式媒體之例。電腦可讀式媒體包括至少兩種類型的電腦可讀式媒體，亦即電腦儲存媒體與通訊媒體。
電腦儲存媒體包括用以儲存如電腦可讀指令、資料結構、程式模組或其他資料的資訊的方法或技術來實施的任何揮發性與非揮發性、可移除式與不可移除式媒體。電腦儲存媒體包括，但不限於，相變化型記憶體(PRAM)、靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、其他類型的隨機存取記 憶體(RAM)、唯讀記憶體(ROM)、電子可抹除可規劃唯讀記憶體(EEPROM)、快閃記憶體或其他記憶體技術、光碟唯讀記憶體(CD-ROM)、數位多功能光碟(DVD)或其他光學儲存器、磁性卡帶、磁帶、磁碟儲存器或其他磁性儲存器裝置或任何其他可用來儲存資訊以供運算裝置存取的非傳輸式媒體。
相對地，通訊媒體可將電腦可讀指令、資料結構、程式模組或在模組化資料訊號中的其他資料(如載波或其他傳遞機制)具體化。在本案定義中，電腦儲存媒體不包括通訊媒體。
運算裝置100包括與系統匯流排110連接的一或多個處理器114，該系統匯流排110從各種實體(如記憶體112或I/O元件120)讀取資料。在實施例中，該一或多個處理器114執行該些電腦可執行指令以進行不同任務以及由該些電腦可執行指令所定義的方法。顯示元件116係與系統匯流排110連接，並且對使用者或其他裝置呈現資料指示。例示性的顯示元件116包含顯示裝置、喇叭、列印元件及類似元件。
I/O埠118允許運算裝置100邏輯上連接至其他裝置，包括其中一些可為內建的I/O元件120。說明的元件包括擴音器、搖桿、遊戲墊、衛星接收碟、掃瞄器、印表機、無線裝置、鍵盤、筆、聲音輸入裝置、觸控輸入裝置、觸控螢幕裝置、互動顯示裝置或滑鼠。I/O元件120可包括通訊連接，該些通訊連接能有助於將運算裝置100通訊地連接至遠端裝置，如其他運算裝置、伺服器、路由器以及類似元件。
圖2係例示的環境200的示意圖，例示的環境200便利於檢視在媒體內容中的項目相關聯的內容。該環境200包括內容 提供者202、使用者裝置204、廣告商裝置206、網路聯絡人裝置208以及相關內容系統210。內容提供者202、使用者裝置204、廣告商裝置206及網路聯絡人裝置208可經由網路或網路的組合(未圖示)進行通訊，該網路的組合可包括任意數量的網路，例如區域網路(LAN)、廣域網路(WAN)、網際網路、蜂巢式網路、同級間(P2P)網路、移動網路或多個網路的組合。
圖2中所示的網路環境200係一個合適的網路環境的例子，且並非用來建議本文所揭示本發明實施例的使用或功能範圍上的任何限制。更不應將例示的網路環境200詮釋為對於於此所示的任何單一元件或元件組合具有任何附帶條件或必要條件。例如，一或多個元件間可透過如HDMI(高解析多媒體介面)、DVI(數位視覺介面)等，相互直接通訊。
內容提供者202可為任何類型的運算裝置或能提供啟用標記的內容的裝置。例如，內容提供者202可為運算裝置，如參照圖1所述如上的運算裝置100。在一個實施例中，內容提供者202係媒體伺服器，或者經由網路(如網際網路)而提供啟用標記的內容的媒體伺服器的網路。在另一實施例中，內容提供者202提供實體形式的啟用標記的內容，如DVD、藍光光碟或其他可攜式儲存裝置等。
內容提供者202經配置以提供啟用標記的內容，如啟用標記的內容212。此處所述的啟用標記的內容，係指具有至少一個在內容中所呈現的可被標記項目的媒體內容。亦即，啟用標記的內容係包括至少一個可標記項目的以使相關內容可被檢視的媒體內容。在此方面，啟用標記的內容包括在媒體內容中的至少一個 項目，若該項目被選擇(如，經由手勢)則結果會使相關內容被顯示出。如此，在一些應用例中，啟用標記的內容可包括元資料，該元資料指示項目相關內容可被檢視的項目。媒體內容可為，例如，電視節目、電影、隨選節目、現場節目、影片剪輯等。可標記項目係在媒體內容中所呈現的可被使用者標記的項目。標記提供了為使用者興趣的特定項目的指示或指定。以此方式，標記項目使得有關於該項目的內容可被搜尋到並被呈現出來。項目可為在媒體內容中所呈現的任一個項目或項目的組合。例如，參照圖3，帽子310可為一個項目，襯衫312可為第二項目，人物314可為第三項目，項鍊316可為第四項目等。
可理解的是，任何數量的在啟用標記的內容中的項目如影片，為可被標記的。舉例而言，並接著參照圖3，當帽子310、襯衫312、人物314及項鍊316為可標記項目時，人物318、帽子320及人物322則為不可標記項目。亦即，不可標記項目無法被使用者所標記以表示對該項目感興趣，而得以檢視相關內容。在某些情況下，在啟用標記的內容中的每一項目可為可標記的。可替代地，在啟用標記的內容中的部分項目可為可標記的。在實施例中，被視為或被指定為可標記的項目，會被自動地選擇或被例如作者、導演、供應商或該媒體內容的創作者或類似者所選擇。
啟用標記的內容可被提供至，如使用者裝置(如使用者裝置204)、廣告商裝置(如廣告商裝置206)、網路聯絡人裝置208(如網路聯絡人裝置208)及/或相關內容系統(如相關內容系統210)。內容提供者202可經由網路(未圖示)提供啟用標記的內容212至該些裝置。啟用標記的內容212可被下載、流通，或者是由內容提 供者202提供。
在一些實施例中，內容提供者202產生啟用標記的內容212。在其他實施例中，另一實體產生啟用標記的內容。在產生啟用標記的內容時，媒體內容中的項目可被識別並指定為可標記的，而產生啟用標記的內容。在此方面，與媒體內容相關的元資料可能包含可標記項目的指示。在一些實施例中，與啟用標記的內容相關的元資料也可能指示一組的一或多個可能項目動作，該些項目動作可能被與可標記項目或一組可標記項目有關的使用者所採用。
使用者裝置204可為任何種類的運算裝置，該運算裝置能呈現啟用標記的內容，且能供使用者檢視有關於與該啟用標記的內容相關的項目的內容。例如，在實施例中，使用者裝置204可為運算裝置，如上參照圖1所述的運算裝置100。使用者裝置204可以任何一個各式各樣的傳統運算裝置來實施，例如，桌上型電腦、筆記型或膝上型電腦、小筆電(netbook)、平板電腦或平板型電腦、表面運算裝置、電子書閱讀器裝置、工作站、移動裝置(如，智慧型手機、個人數位助理、車內導航裝置等)、遊樂器、機上盒、電視或所述者的組合。可理解的是，使用者裝置204係連接於顯示器螢幕，而使啟用標記的內容及相關內容可呈現給使用者。此顯示器螢幕可整合於使用者裝置204中或遠離於使用者裝置204。
使用者裝置204經配置以利於媒體內容(包括啟用標記的內容)的呈現。在此方面，使用者裝置204呈現啟用標記的內容，使得使用者能檢視該內容。
在操作中，使用者裝置204播放或呈現啟用標記的內容，例如啟用標記的內容212。如此，啟用標記的內容被使用者裝置204所用盡。舉例說明且非限定，啟用標記的內容會被顯示於連接於使用者裝置204的顯示器上。此顯示器可整合於使用者裝置204中或遠離於使用者裝置204。啟用標記的內容會被顯示於應用軟體中，例如網頁瀏覽器、用戶端電子郵件或在使用者裝置204上的任何其他應用軟體。額外地或可替代地，啟用標記的內容，如影片及/或聲音，可透過使用者裝置204的媒體播放器來播放。啟用標記的內容會包括文字、圖像、圖片、聲音內容的視覺表現及/或影片。
使用者裝置204辨認或識別出標記特徵是否被啟用。標記特徵允許使用者啟動在媒體內容中的標記項目，及/或檢視有關於被標記項目(如，由使用者、廣告商、網路聯絡人等所標記的項目)的內容。在此方面，標記特徵允許使用者檢視有關於被該使用者或第三方所標記的項目的內容。在一個實施例中，使用者裝置204辨認使用者標記特徵及/或第三方標記特徵是否被啟用。使用者標記特徵允許使用者啟動項目標記以檢視有關於該被標記項目的內容。第三方標記特徵允許使用者檢視有關於被第三方(如廣告商或網路聯絡人)所標記的項目的內容。
可經由例如使用者選擇而啟用標記特徵。在此實施例中，使用者可選擇去啟用該使用者標記特徵及/或該第三方標記特徵。例如，在呈現媒體內容(如，啟用標記的內容)之前或在呈現媒體內容期間內，這些標記特徵可被啟用。舉例而言，在呈現媒體內容之前或在呈現媒體內容期間內，使用者可選擇去啟用檢視有 關於被使用者及/或被與該使用者相關或有關於該使用者的第三方所標記的項目的內容。
可理解的是，使用者可選擇去啟用(enable)一個或兩個標記特徵，標記特徵的每一者為與配置使用者裝置的設定相關的檢視媒體內容的事件，或為該使用者所想要的。在其他情況下，使用者裝置可配置成內定設定以啟用或停用一個或兩個標記特徵(如，使用者標記特徵與第三方標記特徵)。
當該使用者標記特徵被啟用，使用者裝置204允許使用者去啟動標記項目及/或檢視有關於該些項目的內容。因此，當該使用者標記特徵被啟用，使用者裝置204能偵測標記手勢。標記手勢表示使用者所提供的指示，以標記該使用者感興趣的可標記項目。可標記項目係呈現於可被標記的啟用標記的內容中的項目。在某些情況下，可標記項目係顯示於可被標記的顯示器上的項目。舉例而言，在某些情況下，無論是否呈現於媒體內容中，相簿標題縮圖、電影海報縮圖等會是可標記的。在任一情況下，可標記項目係為項目相關內容可被識別並呈現的項目。可理解的是，在一些實施例中，可標記項目可被使用者以例如視覺地或聽覺地辨認出。舉例而言，在媒體內容中可被標記項目可以高亮顯示、加輪廓線或者在視覺上標示出的方式，使得檢視媒體內容的使用者可隨時辨認可被標記項目。
使用者可提供指向項目的標記手勢。亦即，使用者可提供標記手勢來選擇、指定或者指出該使用者的興趣項目。因此，使用者裝置204可經配置以偵測輸入至使用者裝置204，或與使用者裝置204相關的組件的標記手勢。在某些例子中，單一標記手 勢可選擇項目及/或定義項目(如，藉由定義具有項目的內容的區域)，並致使可得到有關於該特定項目的內容。舉例而言，使用者裝置204例如在播放影片時會消耗內容。標記手勢可包括來自該使用者的一或多個手指的觸碰輸入，或指向裝置如觸控筆或數位筆。使用者裝置204可透過觸控螢幕、觸控板或使用者裝置204的另一輸入/輸出界面來偵測該觸碰輸入。在另一實施例中，標記手勢可包括使用者的眼睛移動。使用者裝置204可透過使用者裝置204的影像擷取裝置來偵測眼睛移動。
尚於另一實施例中，標記手勢可包括該使用者的身體動作或一部分的身體的動作，如手指、手掌、頭部及/或手臂。使用者裝置204可透過攝影機、其他影像擷取裝置或任何使用者裝置204的動作偵測元件來偵測身體動作。例如，使用者裝置可為具有攝影機或其他動作偵測介面的遊樂器裝置，例如有建置KinectTM動作偵測系統的Xbox®遊樂器，兩者均來自美國華盛頓州雷蒙德市(Redmond)的美商微軟公司。該使用者裝置會接收並解譯該使用者裝置所收到的影像或訊號來決定該使用者正做出什麼動作。該使用者的動作會觸發相關內容的搜尋及/或定義該相關內容的搜尋的範圍。額外地或可替代地，該相關內容的搜尋的範圍，係可參照該項目顯示於其中的上下文、與該使用者有關的資料或類似者來決定，詳如下述。
在一些實施例中，標記手勢可包括遠端控制器(如，指示器、搖桿、遊戲控制器，或類似者)的動作或選擇，該遠端控制器係由該使用者所控制。使用者裝置204可藉由接近該遠端控制器的偵測器，來偵測由該使用者所控制的該遠端控制器的動作， 該偵測器將該遠端控制器的動作的資訊傳送至使用者裝置204。
在其他實施例中，標記手勢可包括游標的動作或選擇，該游標係由滑鼠、軌跡球或其他連接於使用者裝置204的輸入/輸出介面的輸入裝置所控制。在此情況下，使用者裝置204會偵測由該輸入裝置所控制的游標的動作。游標或選擇器係指可在顯示器螢幕上指示位置的可移動的記號。在顯示器螢幕中的游標或選擇器的動作或選擇，可透過例如連接於運算裝置的滑鼠、軌跡球等來控制。
使用者裝置204亦可包括語音辨識用來辨識語音命令及/或輸入，並且將語音命令與輸入翻譯成文字的輸入。使用者裝置204可接著使用這些文字的輸入來規劃或精確化搜尋詢問或資料(如，標記項目資料)。在使用者裝置204可供多於一個使用者使用的事件中，可辨識目前的使用者，並且可擷取有關於目前使用者的歷史資訊(如，在預先定義的時間內的，例如一小時內的)，用來規劃或精確化該詢問或資料。
使用者裝置204可更包括手勢學習，以允許使用者去定義一或多個手勢。例如，使用者裝置204可允許使用者去定義用來開啟不同動作的慣用手勢，例如購買項目、搜查有關於項目的資訊、搜查有關於項目的媒體內容、儲存被標記項目等。使用者裝置204會收集每一個這些使用者所定義的手勢的資訊，如彎曲程度、手勢速度或類似者，來區別不同的使用者所定義的手勢。
雖然在前述實施例中已描述了各別的標記手勢，標記手勢可包括如上所述的一或多個標記手勢的組合。
使用者裝置204可更包括手勢追蹤，手勢追蹤允許在連 接於使用者裝置204的顯示器上顯示線條或是標記手勢的其他表現方式，以回應該使用者所輸入的標記手勢。標記手勢的表現可依照選擇器的位置或標記手勢的動作來顯示。該表現提供反饋給該使用者，表示出大小、形狀及/或他或她剛輸入的手勢的位置。該表現可包括，但非限於，包圍該項目的線條、該項目的高亮顯示畫面、選擇器的軌跡的線條、選擇器的位置的指示及/或檢視該項目的放大鏡。
在當偵測到與在媒體內容中的可標記項目或在顯示器上顯示的項目有關的標記手勢時，使用者裝置204經配置以識別並標記使用者所指示的合適的項目。在此方面，在當偵測到標記項目的指示或手勢時，該被指定的項目係被識別出或被辨認出。被標記項目可使用以任何方式作為唯一識別或指示項目的項目識別符來作識別。例如，項目識別符可為名稱、標的、數值、說明或該項目的其他指示符。
在一個實施例中，可利用與啟用標記的內容有關的元資料以識別或認出項目。例如，該元資料可表示與在媒體內容中的特定訊框、位置或時間有關的。在此方面，在1小時5分鐘32秒的時間點上，在啟用標記的內容中，該元資料可表示出「帽子」為在媒體內容中的可標記項目。因此，使用者裝置204或使用者裝置204一部分，能偵測或識別出在媒體內容中的哪一點，或在顯示的內容中的哪一位置具有被選擇的興趣項目。可理解的是，該元資料會被整合進該啟用標記的內容，或與啟用標記的內容分開。
可替代地或額外地，可透過辨認項目的步驟來辨認出項 目，例如，透過使用者裝置或另一裝置(如，遠端伺服器)。例如，使用者裝置204可依據項目的影像而自行辨認項目。如此，使用者裝置204可包括影像辨認模組(未圖示)，該影像辨認模組可識別在該部分的內容中的一或多個項目，該部分的內容係由該內容的區域或該標記手勢所定義。
在另一例中，使用者裝置204可進一步提交項目的影像或項目指示，作為對會偵測及/或提供項目資訊的已知的網頁、應用程式或服務的詢問。舉例而言，使用者裝置204可包括影像擷取模組(未圖示)，該影像擷取模組可從該影像中擷取被標記手勢所定義的該部分的影像，並提交被擷取的該部分的影像至搜尋服務，以供影像搜尋。
在當辨認或識別興趣項目如經由手勢所選擇的項目時，該被指定項目係被標記。因此，使用者裝置204可辨認或指定可標記項目為使用者的興趣項目。被標記項目允許使用者去檢視有關於該被標記項目的內容。在此方面，在當項目被標記時，有關於該項目的內容可被開啟該項目標記的使用者或被第三方檢視。可用提供指示的任何方式來執行標記項目，該指示係使用者對特定項目感到興趣。例如，項目識別符可被包含在被標記項目列表中、項目識別符可與標記有關連或者項目識別符可被表示為已標記的或被表示為興趣項目。該被標記項目或項目表示可與例如使用者裝置、使用者、媒體內容識別符等連同儲存。因此，被標記項目(如，標記項目資料)的項目識別符可與例如該使用者裝置、該相關內容系統或類似者連同儲存。在此方面，識別出被標記的特定項目的項目識別符可被儲存。
除了識別興趣項目(如，用來標記該項目的項目識別符)之外，其他標記項目資料可經使用者裝置204辨認或識別。標記項目資料係指與項目相關的能描述、指示或識別該項目的任何資料。因此，標記項目資料可為，例如項目識別符、該項目的說明、該項目的細節、該項目的概要、該項目的表現、該項目會出現在該媒體內容中的時間或位置、標題識別符或該媒體內容的作者識別符、該項目被標記的時間或位置、與該項目相關的影像等。在此方面，使用者裝置204可執行內容分析來分析該使用者所選擇的項目以識別任何與該項目相關的標記項目資料，執行元資料分析來分析或檢視與該媒體內容相關的元資料以識別任何與該項目相關的標記項目資料，執行手勢分析來分析手勢以識別任何與該項目(如，標記手勢的位置或時間)相關的標記項目資料，或類似的分析。
在一些實施例中，使用者裝置204可參照或識別項目上下文資料。亦即，使用者裝置204可存取、決定、識別或辨認項目上下文資料。項目上下文資料或上下文資料係指描述或表示項目(如，被標記項目)的內容的任何資料或資訊。在此方面，使用者裝置204可分析提供訊號的上下文資訊，該訊號關於例如在其中呈現該項目的上下文。舉例說明且非限定，上下文資訊可包括最接近該項目的內容、所呈現的媒體物件的標題、與顯示的內容(如，在與被標記項目相同的訊框中的其他項目、在媒體內容中的其他訊框中的其他項目、與其他部分的媒體內容相關的元資料、與該項目相關的音訊等)相關的元資料。項目上下文資料可用來提高相關內容的相關性，該相關內容係透過至少部分地依據該上下 文資訊而規劃更相關的詢問而呈現的。
使用者裝置204可執行內容分析來分析該使用者所選擇的該項目的內容以識別任何與該項目相關的項目上下文資料，執行元資料分析來分析或檢視與該媒體內容相關的元資料以識別任何與該項目相關的項目上下文資料，執行手勢分析來分析手勢以識別任何與該項目(如，標記手勢的位置或時間)相關的項目上下文資料。僅以實例說明，假設使用者啟動「帽子」項目的標記。進一步假設在媒體內容中的戴著「帽子」的演員，亦穿著襯衫及鞋子。在某些情況下，使用者裝置204可分析場景或訊框並辨認戴著帽子的演員，亦穿著有與帽子相同品牌的襯衫及鞋子。在其他情況下，使用者裝置204可檢視與該場景或訊框相關的元資料，在該場景或訊框中該演員正戴著被標記的「帽子」，並依照該元資料而辨認出該帽子、襯衫及鞋子為相同品牌。
額外地或可替代地，使用者裝置204可參照或識別使用者資料。亦即，使用者裝置204可存取、決定、識別或辨認使用者資料。使用者資料係指任何附屬於或與該使用者相關的資料或資訊。使用者資料可包括，但非限於，使用者識別符、使用者裝置204的位置(比如GPS資料)、一或多個該使用者的歷史的標記、動作及/或動作時間(sessions)(如，先前被標記項目或具有被標記項目的媒體內容)、使用者啟動的動作、使用者裝置的參數或屬性(如，使用者裝置是否為移動裝置、移動裝置的類型、裝置的性能，或類似者)、與該裝置相關的首頁(home)地理位置、使用者人口統計、使用者偏好等。使用者資料更可包括從使用者的社群網路、聯絡方式、電話記錄、簡訊記錄、會籍與會員資格及類似者所收 集到的社群資料。使用者資料亦可包括文件、檔案、影像、照片、電子郵件或任何其他儲存在使用者裝置上的內容或資料。
使用者裝置204可併入使用者資料以規劃或精確化搜尋詢問或傳送資料，從而增加該相關內容的關聯性。在某些情況下，在使用任何個人資訊來規劃搜尋詢問之前，可提示該使用者關於他/她是否希望分享此資訊，並給予該使用者永遠分享此資訊、從不分享此資訊或在每次分享資訊之前出現提示的選擇。
舉例說明且非限定，使用者裝置204會依據最近標記的項目而決定出該使用者感興趣的與R&B類型相關的服裝，並且會因而推斷該使用者會想要檢視有關於該R&B類型的該即時標記的相關內容。舉另一例說明，當使用者裝置在特定地理區之內的情況下，可能會推斷該使用者有可能會對即時標記的相關內容有興趣，該即時標記的相關內容係與使用者裝置的該地理區相關(如，本地音樂貯存庫)。
當識別出與該被標記項目相關的資料(如標記項目資料、上下文項目資料及/或使用者資料)時，該資料可與相關內容系統210(如，以詢問的形式)進行通訊。更詳細說明如下，相關內容系統210可利用此資料去識別，並提供有關於項目的內容以顯示給使用者。在此方面，相關內容系統210可利用標記項目資料、上下文項目資料及/或使用者資料去識別並提供即時的被標記項目的內容。
雖此處所述的各個實施例描述了使用者裝置204可透過相關內容系統210來啟動遠端搜尋(如，網際網路搜尋)以回應接收到標記手勢，本案揭示非限定於遠端搜尋。在一個實施例中，使 用者裝置204可額外地或可替代地啟動本地搜尋以回應接收到標記手勢，該標記手勢定義出內容區域或項目。在其他實施例中，本地搜尋可包括在整個使用者裝置204的本地記憶體之內的，或使用者裝置204的指定記憶體或資料夾的搜尋。
當使用者裝置204接收到有關於被標記項目(如，來自相關內容系統210的相關內容資料)的內容時，該相關內容資料可經由使用者裝置204，與呈現給該使用者的啟用標記的內容，一起呈現給使用者。在此所用的相關內容資料或相關內容係指任何有關於該被標記項目的資訊。相關內容資料可為，例如，描述或詳述該項目的資訊、與該項目相關的廣告、有關於該項目的建議，或類似者。在一個實施例中，相關內容資料覆蓋該啟用標記的內容，以使該相關內容資料與該媒體內容整體地出現。在另一實施例中，可修改啟用標記的內容以將相關內容資料整合進該媒體內容中。
可理解的是，相關內容資料可顯示於有關於被標記項目的任何位置。在一個實施例中，相關內容資料係顯示在緊鄰該被標記項目、在被標記項目上或被標記項目附近。在另一實施例中，相關內容資料係顯示於顯示器螢幕上之特定位置，如右下方角落等。尚於另一實施例中，相關內容資料係依據媒體內容而顯示於最佳位置。因此，在某些情況下，使用者裝置會決定用來顯示相關內容資料及/或項目動作的位置。
在一些實施例中，一或多個項目動作可與相關內容資料連同呈現。在此方面，項目動作會與相關內容資料同時地呈現。可替代地，當該相關內容資料呈現時，會呈現項目動作。例如， 假設有關於項目的內容係一開始與在媒體內容中的項目同時呈現。現在假設使用者選擇該項目或該相關內容資料。在此情況下，現在會呈現項目動作。
項目動作係指與該項目相關的可採取的任一動作的指示。項目動作包括但不限於儲存該被標記項目以供之後檢視或購買、購買該被標記項目、檢視更多關於該被標記項目的資訊、將該被標記項目以電子郵件寄出、刊登該被標記項目、聆聽關於該被標記項目的音訊(如，廣告或資訊)、分享項目等。
會與相關內容資料連同顯示的特定項目動作，會依據所呈現的內定的項目動作。在此方面，儘管該特定項目已被標記，一或多個項目動作的特定群組可與項目連同呈現。在另一實施例中，所顯示的項目動作可藉由啟用標記的內容的元資料來決定，該元資料指示該被標記項目的可選擇的動作。在此一實施例中，使用者裝置204會依據啟用標記的內容的元資料來識別顯示的動作。舉例而言，與特定項目或一群項目相關的元資料可具體指定使用者會採取的可能項目動作。尚於其他實施例中，顯示的該些項目動作可由相關內容系統或其他運算裝置所決定或識別出，或可依據使用者歷史記錄的使用者偏好。
在項目動作與相關內容資料連同呈現的實施例中，使用者裝置204可識別、辨認或決定使用者打算去啟動的動作。此動作的指示可由使用者使用任何方法輸入，如上述的以手勢標記的方法。舉例而言，使用者可做出手勢來選擇或者表示出特定動作去啟動。依照項目動作的選擇，使用者裝置可啟動該動作。例如，假設使用者選擇「買」項目動作。在此情況中，該使用者裝置有 助於購買該項目(如，連結至販賣該項目的網頁)。
可理解的是，在與標記項目及/或檢視相關內容有關的一些實施例中，對使用者呈現的啟用標記的內容可能會被中斷。啟用標記的內容的中斷可依據使用者的指示而發生，以中斷該啟用標記的內容，如此使用者可標記項目及/或檢視相關內容。在其他情況下，啟用標記的內容是自動暫停的，例如，當偵測到標記手勢的啟動時。
圖2中的相關內容系統210係配置以識別或決定有關於項目的內容以用來與該項目連同呈現。相關內容或相關內容資料可能為任何內容或資料，如廣告、描述該項目的資訊、識別該項目的資訊、產品資訊、有關於該項目的建議、第三方標記資訊等。相關內容系統210會使用任何數量的運算裝置、服務或引擎來識別相關內容。圖2圖示了推薦引擎220、搜尋引擎222、廣告引擎224以及社群網路引擎226的使用狀態。依據實施例，每一個該引擎可應用為伺服器系統、程式模組、虛擬機器、一或多個伺服器、網路的組件及類似者。為簡化說明，將描述該推薦引擎、搜尋引擎、廣告引擎及社交網路引擎均為獨立的實施例，然而可理解這可能不為本發明的範圍內的各種配置的情況。
依據該使用者標記的特徵，使用者裝置204與相關內容系統210或系統210一部分進行通訊，以促進相關內容資料的搜尋，以回應標記手勢。推薦引擎220、搜尋引擎222及廣告引擎224進行接收或參照標記項目資料、使用者資料及/或上下文項目資料，並運用此資料以識別及提供關於被標記項目的內容。在一個實施例中，可從使用者裝置，如使用者裝置204，接收到標記項 目資料、使用者資料及/或上下文項目資料。例如，可以搜尋詢問的形式接收標記項目資料、使用者資料及/或上下文項目資料，以啟動有關標記項目的內容的搜尋。在另一實施例中，標記項目資料、使用者資料及/或上下文項目資料可參照回另一來源。舉例而言，在某些情況下，可從使用者裝置204進行一部分的標記項目資料(如項目識別符)及一部分的使用者資料(如使用者裝置位置)之通訊。可能會參照回附加的標記項目資料、上下文項目資料及/或使用者資料。舉例而言，與該使用者識別符相關的歷史標記資料會被相關內容系統210或系統210一部分儲存與存取。再者，該項目識別符可用來參照與該被標記項目相關的附加資訊。
在一些情況下，使用者資料可參照回使用者資料貯存庫228。例如，在某些情況下，使用者資料係先從使用者裝置傳來，並被擷取至使用者資料貯存庫228內。在此情況下，使用者資料可被參照並用來識別相關內容。可理解的是，即使使用者資料會連同被標記項目通訊回使用者裝置204，使用者資料可參照回使用者資料貯存庫228。例如，在當標記項目時，一些使用者資料(如裝置位置)可通訊回該使用者裝置，而其他使用者資料(如使用者標記歷史記錄)，可參照回使用者資料貯存庫228。相似地，雖未圖示出，標記項目資料及/或上下文項目資料可參照回與相關內容系統210相關的資料貯存庫，該相關內容系統210包含與媒體上下文相關的資料。
如所述，推薦引擎220、搜尋引擎222及/或廣告引擎224可使用標記項目資料、使用者資料及/或項目上下文資料(如，以查詢的形式)來提供更多相應的相關內容。例如，依據使用者裝置的 位置，可提供本地貯存庫的特定廣告以完成購買或檢視的動作。再舉例而言，所使用的裝置的參數可被識別出，及被用來作選擇，並以最適當格式來傳送相關內容資料(如，HD畫質廣告、HDTV、移動裝置等)。
在一些實施例中，相關內容系統210或系統210一部分接收被標記項目(如，項目識別符)的指示及/或其他資料(如，標記項目資料、項目上下文資料及/或使用者資料)。此資料可透過相關內容系統210儲存以供後續使用。舉例而言，如詳細說明如下，該資料會儲存在使用者資料貯存庫228以供該使用者後續使用，及/或儲存在網路資料貯存庫230以供第三方使用。再者，在一些實施例中，傳送至使用者裝置204以供呈現的該相關內容，亦可儲存在相關內容系統210之內。舉例而言，該相關內容或該相關內容指示，可儲存在使用者資料貯存庫228以供該使用者後續使用，及/或儲存在網路資料貯存庫230以供第三方使用。
推薦引擎220提供了依據被標記項目而推薦或建議使用者的相關內容。因此，推薦引擎220可依據項目導向的資料、項目上下文資料、使用者資料等，推薦或建議如近似的媒體內容、產品或服務。在一個實施例中，推薦引擎220利用標記項目資料、項目上下文資料及/或從使用者裝置204所接收的使用者資料(如，查詢形式的)，來辨識或決定有關於被標記項目的被推薦或被建議的內容。可選地或額外地，推薦引擎220使用從使用者裝置204所接收的資料(如，查詢形式的)來辨識或識別附加的資料(如，標記項目資料、項目上下文資料及/或使用者資料)。例如，推薦引擎220會接收項目識別符及使用者識別符，並且在其後使用該識 別符去分別參照或查找其他標記項目資料與使用者資料。推薦引擎220所參照的資料可接著被用來識別推薦的或建議的有關於該被標記項目的內容。
僅以實例說明，在該使用者正檢視啟用標記的內容的時 間內，推薦引擎220會利用用來檢視啟用標記的內容的一種類型的裝置，及/或在該使用者正檢視啟用標記的內容時的該裝置的位置，來識別有關於被標記項目的推薦。依據檢視與被標記項目相關的啟用標記的內容的時間與位置，推薦引擎220能建議或推薦該使用者可能感興趣的另一媒體內容，如電影。在此方面，所建議的媒體內容可能為在特定時間時，當地電影院正播放的特定電影。
可理解的是，推薦引擎220會參照資料貯存庫，如內容 資料貯存庫236，以識別、參照或查找建議的或推薦的內容。因此，推薦引擎220可利用與該內容資料貯存庫236結合的標記項目資料、項目上下文資料及/或使用者資料(如，以詢問形式所接收到的)，以識別出提供給使用者裝置204的使用者的推薦的或建議的內容(如，媒體內容與相關資料)。
搜尋引擎222提供有關於被標記項目的資料或資訊。在 此方面，依據項目導向的資料、項目上下文資料、使用者資料等，搜尋引擎222可提供與被標記項目相關的任何細節。在一個實施例中，搜尋引擎222利用標記項目資料、項目上下文資料及/或從使用者裝置204接收到的使用者資料(如，以詢問形式)，來識別或決定與被標記項目有關的內容。可替代地或額外地，搜尋引擎222使用從使用者裝置204接收到的資料(如，以詢問形式)來識別或辨 認附加的資料(如，標記項目資料、項目上下文資料及/或使用者資料)。例如，搜尋引擎222會接收項目識別符與使用者識別符，並在之後使用該些識別符以分別參照或查找其他標記項目資料與使用者資料。搜尋引擎222所參照的資料可接著被用來識別與該被標記項目有關的內容。
僅以實例說明，搜尋引擎222會利用即時被標記項目的 身份以及該使用者所曾經標記的項目，來識別與該即時被標記項目有關的內容。依據現在被標記項目及先前被該使用者標記的項目，搜尋引擎222可識別搜尋結果或包含在該搜尋結果內的與該即時被標記項目有關的資訊。在此方面，由搜尋引擎222所識別的相關內容資料可為被標記項目的品牌、連結至包含關於該被標記項目的資訊的網址(URL)、可放置該被標記項目的位置或貯存庫、該被標記項目的標價、該被標記項目的說明、該被標記項目的細節、該被標記項目的影像、與該被標記項目相關的音訊或類似者。
可理解的是，搜尋引擎222會參照資料貯存庫，如搜尋 資料貯存庫234，以識別、參照或查找相關的內容。因此，搜尋引擎222可利用與搜尋資料貯存庫234結合的標記項目資料、項目上下文資料及/或使用者資料(如，以詢問的形式接收到的)，去識別提供給使用者裝置204的使用者的相關內容(如，搜尋結果或部分搜尋結果)。可理解的是，搜尋引擎222可採用網際網路搜尋引擎的形式。例如，眾所周知的商業用引擎，美商微軟公司(Microsoft Corporation of Redmond,Washington)的BING搜尋引擎。
廣告引擎224提供以廣告形式的相關內容資料。在此方 面，廣告引擎224可提供任何與推銷產品或服務的廣告相關的資訊。廣告包括例如，提供產品及/或服務、優惠券、折價券或是促銷產品及/或服務的獎勵及類似者的實體的指示。可理解的是，廣告可由第三方提出，如廣告實體。因此，廣告引擎224可提供與符合被標記項目的廣告相關的任何細節。在一個實施例中，搜尋引擎222利用標記項目資料、項目上下文資料及/或從使用者裝置204接收到的使用者資料(如，以詢問形式)，來識別或決定與被標記項目有關的廣告內容。可替代地或額外地，廣告引擎224使用從使用者裝置204接收到的資料(如，以詢問形式)來識別或辨認附加的資料(如，標記項目資料、項目上下文資料及/或使用者資料)。例如，廣告引擎224會接收項目識別符與使用者識別符，並在之後使用該些識別符以分別參照或查找其他標記項目資料與使用者資料。廣告引擎224所參照的資料可接著被用來識別與該被標記項目有關的內容。
僅以實例說明，廣告引擎224會利用即時被標記項目的 身份以及該使用者所曾經標記的項目，來識別與該即時被標記項目有關的廣告。依據現在被標記項目及先前被該使用者標記的項目，廣告引擎224可識別與該即時被標記項目有關的廣告。在此方面，由廣告引擎224所識別的廣告可為能購買到該項目的貯存庫的指示、該項目的促銷方案、該項目的優惠券或類似者。
可理解的是，廣告引擎224會參照資料貯存庫，如廣告 資料貯存庫232，去識別、參照或查找相關的廣告。因此，廣告引擎224可利用與廣告資料貯存庫232結合的標記項目資料、項目上下文資料及/或使用者資料(如，以詢問的形式接收到的)，去識 別提供給使用者裝置204的使用者的相關內容(如，搜尋結果或搜尋結果部分)。
可理解的是，可利用任何數量的引擎來搜尋相關內容。 例如，使用者裝置204可傳送查詢及/或資料至任一引擎或引擎的組合(如，推薦引擎220、搜尋引擎222、廣告引擎224等)。在某些情況下，使用者裝置204可決定從哪些引擎或引擎群組去請求相關內容。在其他情況下，相關內容系統可決定從哪些引擎或引擎群組去請求相關內容。這個決定可依據例如該項目或項目類型或與項目相關的元資料而做成。
在看到如上所述的第三方標記特徵，第三方標記特徵可 應用於使用者裝置204。開啟此特徵可由使用者裝置204的使用者來指示，或自動地應用(如，以內定設定)。第三方標記特徵的應用允許使用者去辨認由第三方(如，個人或不同於該使用者的實體)所標記的項目。一般而言，第三方使用獨立於該使用者裝置之外的裝置去標記項目。在某些情況下，該第三方係廣告商。在其他情況下，該第三方係網路聯絡人。該網路聯絡人係指透過網路或聯繫服務的一個該使用者的聯絡方式的個體。例如，聯絡人可經由應用程式，如電子郵件、通訊錄、即時訊息、社群網路等與使用者聯繫。在一些實施例中，使用者可表示出該使用者所感興趣的特定第三方。例如，使用者可表示出他或她會想要檢視來自廣告商的、來自網路聯絡人的、來自特定廣告商的、來自特定網路聯絡人的、來自任一廣告商或網路聯絡人等的被標記項目。
在應用中，第三方可經由運算裝置來啟動在媒體內容中 的標記項目。在此方面，啟用標記的內容，如啟用標記的內容212， 係提供給與該第三方相關的運算裝置。例如，內容提供者202可提供啟用標記的內容212給廣告商裝置206及/或網路聯絡人裝置208，以使對應的第三方可標記在啟用標記的內容中的項目。例如，廣告商藉由廣告商裝置206啟動在啟用標記的內容中的標記項目，且網路聯絡人藉由網路聯絡人裝置208啟動在啟用標記的內容中的標記項目。第三方可以任一方法標記項目，例如，如以上詳述的有關於由使用者裝置204的使用者所提供的標記手勢。在另一例中，第三方可提供被標記項目或表示喜好以標記特定項目，而不使用啟用標記的內容。舉例而言，廣告商可提供表示來標記在特定媒體內容中的任一「帽子」、標記在任何媒體內容中的任一「帽子」等。
當第三方啟動項目的標記時，該項目係被標記以表示出 對於該項目具有特定興趣。在一個實施例中，識別出與被標記項目相關的標記項目資料並提供給相關內容系統210。在另一實施例中，被標記項目或被標記項目指示係提供給相關內容系統210，並在之後用來識別與該項目相關的標記項目資料。類似地，可識別出該第三方所標記的與該項目相關的項目上下文資料及/或第三方資料(如，於該第三方裝置或相關內容系統210)。第三方資料係指符合該第三方的任何資料。第三方資料可為，例如，第三方識別符；該第三方裝置的位置(如GPS資料)；一或多個歷史動作及/或該第三方的動作時間(如，先前被標記項目或具有被標記項目的媒體內容)；該第三方裝置的參數或屬性(如，第三方裝置是否為移動裝置、移動裝置的類型、該裝置的性能，或類似者)；與該裝置相關的首頁(home)地理位置；第三方人口統計；第三方偏好；從該 第三方的社群網路、聯絡方式、電話記錄、簡訊記錄、會籍與會員資格所收集到的社群資料；文件、檔案、影像、照片、電子郵件或任何其他儲存在該第三方裝置上的內容或資料；該第三方所採取的動作；該項目標記的時間或位置；該被標記項目的第三方點選率；提供至該第三方的任何相關內容等。標記項目資料、項目上下文資料及/或第三方資料可被識別，係詳述於有關於使用者裝置的內容如上。
被標記項目的指示及/或標記項目資料、第三方資料及項 目上下文資料可與相關內容系統210進行通訊，並與內容系統210連同儲存。例如，包含與網路聯絡人相關的被標記項目的指示的標記項目資料可儲存於網路資料貯存庫230中，且包含與廣告商相關的被標記項目的指示的標記項目資料可儲存於廣告資料貯存庫232。該些資料可與標記特定項目的第三方的指示連同儲存。在某些情況下，所有與該第三方裝置所收集的項目相關的資料會被儲存。在其他情況下，一部分的與該第三方裝置所收集的項目相關的資料會被儲存。舉例而言，相關內容系統210僅會儲存該被標記項目的指示。在其他例子中，相關內容系統210會儲存該被標記項目的指示、第三方資料或類似者。
再參見使用者裝置204，供檢視或被檢視的媒體內容的 指示可與相關內容系統210進行通訊。例如，當使用者表示啟用第三方標記特徵及/或選擇媒體內容來檢視時，可傳送該媒體內容的指示。在此情況下，相關內容系統210可識別任一對該使用者感興趣的對應的第三方是否係與在被使用者裝置204上的使用者所檢視的媒體內容中的任一被標記項目相關。例如，假設該使用 者裝置的使用者想要檢視被網路聯絡人所標記的項目。在此情況下，社群網路引擎226可識別任一網路聯絡人(或特定網路聯絡人)是否係與在被該使用者所檢視的媒體內容中的任一被標記項目相關。在此方面，社群網路引擎226會存取網路資料貯存庫230來識別被網路聯絡人所標記的任一項目。類似地，假設該使用者裝置的使用者想要檢視被廣告商所標記的項目。在此情況下，廣告引擎224可識別任一廣告商是否已標記了在被該使用者所檢視的媒體內容中的任一項目。在此方面，廣告引擎224會存取廣告資料貯存庫232來識別被廣告商所標記的所有項目。
當認知到至少一個項目已被感興趣的第三方所標記 時，相關內容系統210可提供適當的資訊至使用者裝置204。在此方面，相關內容系統210可提供相關內容至使用者裝置204。該相關內容資料可為符合由該第三方所標記的項目的任何資料。例如，相關內容資料可為該被標記項目的指示、該被標記項目的時間、有關於該被標記項目的第三方所採取的動作、推薦、搜尋結果、廣告、標記該項目的第三方的指示等。在一個實施例中，提供給使用者裝置204的有關於該被標記項目的內容，可與對該第三方呈現的內容相同。例如，假設網路聯絡人經由網路聯絡人裝置208來標記在第一媒體內容中的項目，並且檢視有關於該被標記項目的廣告作為回應。在此例中，可儲存該相關內容(如，廣告或該廣告的指示)，以使當使用者裝置204的使用者指示想要檢視被第三方所標記的項目時，相同的廣告會提供至使用者裝置204，以供該使用者連同該第三方所標記的項目一起檢視。
在另一實施例中，有關於提供給使用者裝置204的該被 標記項目的內容會與呈現給該第三方的內容相互獨立。舉例而言，假設網路聯絡人藉由網路聯絡人裝置208標記在第一媒體內容中的項目，並且檢視有關於該被標記項目的廣告作為回應。現在假設使用者裝置204的使用者想要檢視被第三方所標記的項目。在此情況下，藉由與由該第三方所標記的項目相關的使用者裝置204而呈現給使用者的廣告或其他資料會與呈現給第三方的廣告不同。呈現給使用者裝置204的使用者的廣告，會和使用者裝置204的使用者更密切或更相關。在此方面，相關內容系統210會利用與使用者裝置204的使用者相關的使用者資料去識別對該使用者更為特定的相關內容(如，經由推薦引擎、搜尋引擎、廣告引擎等)，而呈現給第三方的廣告會依據該第三方的使用者資料(如，第三方裝置的位置、第三方裝置的類型等)。
因此，在此實施例中，除了將意圖或去檢視第三方標記 的要求進行通訊之外，亦可將使用者資料或其他資料從使用者裝置204通訊至相關內容系統210。可替代地，相關內容系統210會參照該資料(如，來自使用者資料貯存庫228的使用者資料)。
提供給使用者裝置204的第三方標記資料可為任何資 料。舉例而言，由第三方所標記的項目的指示(如，項目識別符)可提供給使用者裝置204。在此情況下，「帽子」項目會在經由使用者裝置204播放的媒體內容中被眼睛辨識出，而使得該使用者可選擇該「帽子」，並且也可能檢視由「網路聯絡人」附加於此項目的備註。在另一例中，當選擇視覺地辨識出的「帽子」，會對該使用者呈現相關內容，此相關內容會與對第三方顯示的內容相同，或對於使用者裝置204的該使用者更密切相關(如，利用該 使用者的使用者資料，例如該裝置的位置、該裝置的標記歷史資料等)。在另一例中，會顯示標記項目的一些朋友或特定朋友的指示。尚在其他例子中，可呈現與該項目有關連的第三方所做出的動作(如，「亞當已購買這個項目」或「亞當已於2011年9月22日下午12：15將這頂帽子登載至Facebook®」。這些例子必非用以限定本發明的範圍，而發明人能理解任何數量的資訊可呈現給該使用者。
因此，當使用者裝置204接收到該相關內容資料時，使 用者裝置204能顯示與該被檢視的媒體內容相關的適當的資訊。該資訊可覆蓋於媒體內容之上或與該媒體內容整合在一起。該資訊可呈現於顯示器螢幕上的任一位置。舉例而言，該資訊可呈現於內定位置、靠近或鄰近由第三方所標記的項目的決定的位置或類似的位置。
可理解的是，第三方所標記的項目可即時地被使用者裝 置204的使用者所想到。如此，當相關內容系統210辨認出使用者裝置204正在檢視特定媒體內容，且當接收到與第三方相關的被標記的相同媒體內容的項目的指示時，由第三方所啟動的標記的指示可立即提供給使用者裝置204。
在替代應用例中，當透過第三方接收到標記的指示時， 相關內容系統210可提供適當的資料給使用者裝置204，而不會評估該被標記項目是否可適用於使用者裝置204。在此應用例中，使用者裝置204可接收相關內容資料(如，被標記項目的指示)，並儲存該資料及/或識別該資料目前是否可適用於現正播放的媒體內容。
使用情境實例
圖3~9圖示了使用項目的基於手勢標記去檢視相關內容的可能的例示情境。為便於說明，參照圖2的環境實例200來描述應用情境。然而，該些應用情境未限定圖2的環境實例200的應用。
圖3圖示實例，在其中使用者302正經由連接於顯示器螢幕308的客戶端裝置306在檢視啟用標記的內容304。所呈現的內容可包括文字、圖像、聲音內容及/或影片的表現。在一些實施例中，媒體內容可經由網頁開啟程式(如網頁瀏覽器)、電子郵件程式、新聞程式或類似者來顯示。在其他實施例中，應用程式可為不是啟用網路的應用程式。此處所述的基於手勢標記的技術，係可適用於可顯示或者呈現內容給使用者的任何應用程式。
在以往，若使用者302對於進一步了解被顯示的內容感興趣，該使用者必須離開或最小化他們正在檢視的內容，並開啟網頁瀏覽器去執行搜尋或利用另一運算裝置去執行搜尋。此處所述的基於手勢標記的技術，允許使用者去啟動項目的標記，以使該使用者或第三方可檢視有關於該被標記項目的資訊。
如圖4所圖示，使用者402係對於在媒體內容404中的特定項目410感興趣。圖5圖示基於手勢標記的過程實例，並圖示例示標記手勢512，該例示標記手勢512定義出具有呈現於顯示器500上的特定項目510的內容區域514。在該圖示的例子中，使用者502的標記手勢512包括作為或實質上作為該項目的邊界的形狀，例如做出橢圓動作或一般的橢圓動作、做出圓形動作或一 般的圓形動作，或自由形式的劃出邊界動作。
在該圖示的例子中，使用者裝置的手勢追蹤模組可產生該標記手勢的內容區域514的線條表現於顯示器500上，以回應使用者502輸入的標記手勢512。該標記手勢的表現，近似於使用者502所輸入的標記手勢512的動作，並且提供可見的反饋給使用者關於他或她才剛輸入的手勢的大小和形狀。如上所述，其他類型的視覺表現如高亮顯示及/或放大鏡，可用來識別會被標記項目。
具有項目510的內容區域514，可定義出搜尋的範圍，並可用來規劃搜尋詢問。形狀係大致上作為區域的邊界，即便該形狀未形成該區域的完整的邊界(如，在該形狀的起點與終點之間具有間隔，使得該形狀至少部分地沒有邊界)。在一個實例中，若邊界上的間隔係小於該手勢的全部長度的一部分，則此形狀可稱為大致上作為區域的邊界。在其他實施例中，標記手勢可包括任一形狀的動作。在標記手勢未作為或未大致上作為區域的邊界的情況下，該手勢可定義該內容區域為被該標記手勢觸碰的、緊鄰於該標記手勢的、被該標記手勢覆蓋的或與該標記手勢相關的區域。
在選擇的內容區域514中所顯示的項目510可與相關的標記項目資料(如，使用與該內容相關的元資料)一起被識別，並用來規劃詢問。為了回應規劃搜尋詢問及/或識別標記項目資料的完成，該使用者裝置可自動地提交該搜尋詢問及/或標記項目資料至搜尋引擎或搜尋服務。額外地或可替代地，該使用者裝置可呈現搜尋詢問給在顯示器上的使用者，並要求該使用者以確認及/或修 改搜尋詢問。在其他實施例中，使用者裝置可呈現複數個可能的搜尋詢問給該使用者，並允許該使用者去選擇該複數個搜尋詢問的其中一者以用來進行搜尋。在一些實施例中，使用者裝置可進一步允許該使用者去修改呈現在顯示器上的搜尋詢問或可能的搜尋詢問。使用者裝置可提交該被選擇的搜尋詢問或被修改的搜尋詢問至該搜尋引擎或該搜尋服務。
在一個實施例中，相關內容系統(如，圖2的搜尋引擎222、圖2的推薦引擎220、圖2的廣告引擎224)可將有關於所選擇的項目510的內容回傳至該使用者裝置，該使用者裝置可接著呈現該相關內容給該使用者。當從相關內容系統210接收到該相關內容資料時，使用者裝置204可在顯示器上呈現該相關內容。因此，如圖6所示，使用者裝置606可顯示相關內容資料616，相關內容資料616為有關於啟用標記的內容604的內容。在圖6中，相關內容資料616包含廣告，但可包含任意類型的資料。例如，該相關內容可為建議的產品、服務、項目、與該項目有關的資訊，或類似者。
在一些應用例中，在圖5的標記手勢512被接收後，會立即顯示該相關內容。在一個實施例中，使用者裝置606會將相關內容資料616覆蓋於一部分的顯示的內容604之上。這會允許使用者去檢視該相關內容，而不需離開或最小化該使用者之前在處理的應用程式或工作。舉例說明且非限定，包含該相關內容資料的滑出式視窗會覆蓋在一部分的顯示內容上。在一些實施例中，使用者裝置可將該相關內容覆蓋在一部分的顯示內容上，該部分的顯示內容不包括被該標記手勢所定義的內容的區域。在一 個實施例中，呈現給該使用者的相關內容可為從該相關內容系統所接收的簡化版本的搜尋結果。例如，呈現的相關內容資料可包括僅標題，或者標題與有限的字數。
在檢視該相關內容時，使用者會想要將搜尋範圍放寬、變窄、重新整理、重新聚焦或者改變。例如，使用者可確定該原始的標記手勢不包含該使用者所需的相關資訊的該項目。在此情況下，該使用者會想要放寬搜尋以包括該預期的項目。
僅以實例來說明，搜尋的範圍可被改變以回應偵測除了原本的標記手勢之外的一或多個新的標記手勢。例如，使用者可作出第二標記手勢，該第二標記手勢定義出第二區域的內容以擷取所需項目。手勢偵測模組偵測該第二手勢，並指示手勢追蹤模組以輸出以顯示出該第二區域的內容的第二表現。至少依據該第一區域的內容及/或該第二區域的內容，該使用者裝置可接著再規劃搜尋詢問及/或標記項目資料。在一些實施例中，包含在該第一區域的內容的資訊與包含在該第二區域的內容的資訊，可在規劃新的搜尋詢問時，被賦予相同的或不同的權重。在其他實施例中，該使用者裝置可使用包含在該第二區域的內容的資訊搜尋，而透過在原始搜尋結果中的結果的子集合的來精確化搜尋。
如圖6所示，相關內容資料616可與一群組的一或多個項目動作618一起顯示。項目動作618提供可用的動作給使用者，該些動作可與所選擇的項目連同啟動或被做出。僅以實例說明，與所選擇的項目610相關的項目動作618包括儲存動作項目620，若該儲存動作項目620被選擇，則會儲存該項目的指示以供後續使用(如，後續購買該項目、後續檢視該項目等)。若經選擇，傳送 動作項目622可傳送該項目的指示或與項目有關的相關內容。例如，當選擇傳送動作項目622，該項目的「讚」可被登載至臉書(Facebook®)，或是該項目可以一封電子郵件傳送至該使用者或其他聯絡人等。在此實施例中，圖2中的相關內容系統210或使用者裝置204可翻譯搜尋詢問或標記項目資料，並且識別該使用者可能想要完成的工作(如，預先訂位、購買項目等)。依據有關於具有該項目的該內容區域的上下文資訊及/或依據使用者資料，相關內容系統或使用者裝置可進一步翻譯搜尋詢問，並識別該使用者可能想要完成的該工作。例如，相關內容系統210可依據於搜尋詢問中指認該餐廳名稱來識別出該使用者尋找的餐廳的位置及/或識別上下文資訊。於另一例子，使用者裝置可依據該使用者所啟動的歷史動作或標記，來接收及/或提供推薦及/或廣告。
圖7中圖示出儲存動作項目的使用者選擇，如元件符號724所示。這個選擇可以數種方式來進行。例如，使用者可使用上述參照標記手勢的方法的任一者來選擇動作項目。在當儲存項目或關於該項目的資訊時，使用者可檢視該項目或在稍後做出有關於該項目的動作。
舉例而言，如圖8所示，諸如優惠券或折價券的廣告826，可在稍後檢視及/或使用(如，當使用者檢視具有該項目的該媒體內容時)。可理解的是，在實施例中，該使用者能使用任何使用者裝置(如，移動裝置)來存取、檢視或使用該儲存的項目或有關於該儲存項目的資訊。
接繼此例，當偵測到圖5的使用者502的標記手勢512，及隨後標記與標記手勢512相關的項目510，另一個體或實體即可 檢視與該項目有關的內容。參照圖9，假設另一使用者928(亦即，不同於做出標記手勢512的使用者502)正在檢視媒體內容904，該媒體內容904符合被檢視的或先前被使用者502檢視過的媒體內容。進一步假設被圖5的使用者502所標記的項目510，係以在媒體內容904中的項目910呈現給使用者928。當辨認出在媒體內容504中的項目510係被圖5中的使用者502標記時，其中使用者502為使用者928的網路聯絡人，使用者裝置906可呈現有關於該項目910的內容930供使用者928檢視。雖然圖9圖示了該相關內容930作為啟動該項目的標記的使用者的指示，該相關內容930可為任意型式的資訊。例如，依據由圖5的使用者502所選擇的項目510而呈現給使用者928的相關內容930，可為視覺指示，指示該項目係被標記而符合標記手勢(如，該項目的高亮顯示)、相同於呈現給使用者502的內容的與該項目有關的內容(如，相同的廣告、推薦、搜尋結果或其他相關資訊)、不同於呈現給使用者502的內容的與該項目有關的內容(如，不同的廣告、推薦、搜尋結果，或其他相關資訊)，或類似者。
例示方法
參照圖10至16，係描述了執行手勢導向的搜尋的例示方法。這些例示方法可以電腦可執行指令的一般上下文來描述。一般而言，電腦可執行指令可包括常式、程式、物件、元件、資料結構、程序、模組、功能及類似之執行特定功能或應用特定抽象資料類型的元件。該些方法亦可在分散式運算環境中實行，在該分散式運算環境中係透過連接至通訊網路或通訊雲端 (communication cloud)的遠端處理裝置來執行功能。在分散式運算環境中，電腦可執行指令可位於本地與遠端電腦儲存媒體，包括記憶儲存裝置。
該些例示方法係圖示為以代表操作順序的邏輯流程圖的方塊圖的集合，該操作順序可應用於硬體、軟體、韌體，或體、軟體、韌體的組合。所述的方法的順序非用以解釋為一種限制，且可以任何數量的所述的方法方塊可以任何次序結合來實施該些方法，或替代方法。此外，在不脫離本案專利申請標的的精神和範圍情況下，個別操作可能從該些方法中省略。在由一或多個處理器執行時，在軟體的上下文中，方塊代表了執行所述操作的電腦指令。
圖10圖示了產生啟用標記的內容的例示方法1000。為簡化說明，方法1000係描述於圖2的例示的內容提供者202的上下文中，但非限於僅以該上下文來進行。
於方塊1002中，參照了具有項目的媒體內容。供參照的特定媒體內容可能依據，如檢視特定媒體內容的使用者的選擇、特定媒體內容的自動選擇，或類似者。該媒體內容可為具有項目(如影片)的任意媒體內容。於方塊1004中，指定至少一個項目為可標記項目。於方塊1006中，產生出具有可標記項目的啟用標記的內容。該啟用標記的內容可由任意方法產生。例如，在一個實施例中，與該媒體內容相關的元資料可經配置以包含可標記項目的指示。於方塊1008中，提供啟用標記的內容供使用者檢視。在一些實施例中，在網路上提供啟用標記的內容至使用者裝置，以使該使用者裝置的使用者可檢視該啟用標記的內容。該啟用標 記的內容可在任意時間提供。例如，該啟用標記的內容可與該內容提供者連同儲存，並依據來自該使用者裝置的傳送該啟用標記的內容的要求而提供至使用者裝置。該啟用標記的內容可在應用程式中顯示，例如在使用者裝置上的網頁瀏覽器或媒體播放器。
圖11圖示了標記項目的例示方法1100。為方便說明，方法1100係描述於圖2的例示使用者裝置204的上下文中，但非限於以該上下文來進行。
於方塊1102中，呈現啟用標記的媒體內容。在此方面，使用者可檢視啟用標記的內容。在某些情況下，該啟用標記的內容會視覺地或聽覺地指示可用來標記的項目。例如，在啟用標記的內容中的可標記項目可以高亮顯示，以表示可呈現有關於該項目的內容。於方塊1104中，偵測到表示要被標記的項目的標記手勢。在實施例中，該標記手勢可定義出具有使用者感興趣的興趣項目的內容區域。標記手勢可包括在觸控螢幕或觸控板上的觸控輸入、影像擷取裝置所偵測到的身體動作及/或使用者輸入裝置所控制的游標的移動。由該標記手勢所定義的項目或內容區域，可包括以該標記手勢作為或大致上作為邊界的區域、該標記手勢所觸碰的、緊鄰於或被該標記手勢覆蓋的區域。在一個例子中，標記手勢可包括作為或大致上作為該興趣項目的邊界的動作。
回應偵測到該標記手勢，於方塊1106中，可在顯示的內容上顯示該標記手勢所定義的內容區域的表現。該內容區域的表現可包括包圍該內容區域的線條、該內容區域的高亮顯示畫面及/或該內容區域的放大鏡畫面。
於方塊1108中，識別出至少一個與該標記手勢相關的 項目。在此方面，可使用與該啟用標記的媒體內容相關的元資料來識別興趣項目。該元資料會指示在媒體內容中的特定位置的可標記項目(如，訊框、時間、位置等)。在此方面，標記手勢的位置可與如元資料中所指示的項目的位置相符合。在另一實施例中，可使用(如，位於該使用者裝置上的或遠離於該使用者裝置的)影像辨認模組來識別項目。
於方塊1110中，標記該被識別的項目。在此方面，指 出或指定使用者對於所選擇的項目感興趣的指示。例如，在一個實施例中，與該媒體內容相關的元資料可表示對特定項目為感興趣的。在另一實施例中，可表示項目為獨立於該元資料之外的標記。被標記項目可用來檢視有關於該被標記項目的內容。在此方面，啟動該被標記項目的使用者或第三方可檢視有關於該被標記項目的內容。雖然如前所述，方法1100係描述於在媒體內容中的標記項目的上下文中，被標記項目可為顯示於顯示器上的該使用者所感興趣的任一項目，例如相簿標題縮圖、電影海報縮圖等。
圖12圖示了利用基於手勢標記來檢視有關於項目的內容的例示方法1200。為方便說明，方法1200係描述於圖2的例示使用者裝置204的上下文中，但非限於以該上下文來進行。
於方塊1210中，接收檢視媒體內容的指示。於方塊1212中，辨認出啟用使用者標記特徵的指示。該使用者標記特徵使得該使用者能檢視有關於該使用者感興趣的項目的內容。在一些實施例中，使用者可提供檢視媒體內容的指示及/或開啟使用者標記特徵的指示。
於方塊1214中，接收啟用標記的內容。於方塊1216中， 啟用標記的內容係例如經由使用者裝置，而對該使用者呈現。在某些情況下，啟用標記的內容會視覺上或聽覺上地有所區別，啟用標記的內容的項目或是在該媒體內容中的項目係可標記的。接著，於方塊1218中，偵測到標記手勢。該標記手勢指示在啟用標記的內容中的該使用者所感興趣的項目。在此方面，標記手勢可指示使用者想要去檢視更多資訊或進行動作的項目(如，購買該項目)。
於方塊1220中，識別出該使用者的興趣項目。該項目 可以任何方式來識別，包括但非限於，利用與該呈現的啟用標記的內容相關的元資料、使用影像偵測來辨認影像，或類似者。於方塊1222中，標記該使用者所選擇的或指定的項目。因此，該選擇的項目被指定為該用者感興趣的。
於方塊1224中，參照與該被標記項目相關的標記項目資料。該標記項目資料可被參照回，例如，與該呈現的啟用標記的內容相關的元資料等。於方塊1226中，參照與該被標記項目相關的上下文資料。上下文資料可為表示該被標記項目的上下文的任意資料。於方塊1228中，參照與該使用者相關的使用者資料。該使用者資料可包括，例如，使用者的指示、使用者裝置的指示、使用者裝置的位置的指示，或類似者。
於方塊1230中，利用標記項目資料、上下文資料及使用者資料來規劃搜尋詢問，以得到有關於該被標記項目的內容。在一些實施例中，搜尋詢問係該參照的資料(如，標記項目資料、上下文資料及使用者資料)或資料的一部分。可依據該標記手勢所定義的內容區域來規劃搜尋詢問。該搜尋詢問可根據在該區域內 的內容，且可能依據與搜尋有關的上下文資訊及/或使用者資料。該上下文資訊可包括緊鄰於該內容區域的內容、與該顯示的內容相關的元資料等。
於方塊1232中，該搜尋詢問係與一或多個搜尋引擎通訊以得到相關內容。在一個實施例中，該搜尋詢問係與圖2的相關內容系統210通訊，該搜尋詢問可利用一或多個搜尋引擎去識別與該項目有關的內容。在另一實施例中，該搜尋詢問係與一或多個特定引擎通訊，例如，依據與所需資訊的使用者偏好相關的搜尋引擎、特定引擎的決定、內定引擎，或類似者。回應該標記手勢動作的完成，使用搜尋詢問的搜尋可自動地致使被執行。搜尋詢問可被傳送至分離於使用者的使用者裝置的遠端搜尋引擎。額外地或可替代地，可在該使用者裝置上執行本機的搜尋。
於方塊1234中，接收到有關於該被標記項目的內容。該相關內容可由例如推薦引擎、搜尋引擎、廣告引擎，或類似者來提供。
接著，於方塊1236中，該相關內容係與該被標記項目連同呈現。如此，該相關內容可顯示於與啟用標記的內容相關的客戶端裝置的顯示器上。在某些情況下，可決定該相關內容的放置。例如，使用者偏好或內定位置(如，顯示器螢幕中央或上方)可用來決定放置搜尋結果。在另一例中，放置搜尋結果的較佳的位置可接近與該相關內容相關聯的該項目。
該相關內容可持續顯示，直到經過了一段時間區間及/或觸發事件後。舉例說明且非限定，在未使用該相關內容(如，使用者的檢視、選擇等)的預定時間區間內，該相關內容可持續地保 持操作狀態或顯示於顯示器螢幕上，而直到該使用者啟動與該相關內容相關的動作(如，選擇項目動作如購買該項目、儲存該項目，或類似者)之後。再舉例而言，可接收收藏的或隱縮的指示，此舉會有效地導致原始內容的顯示，而不需打斷該使用者的檢視。
在一些實施例中，該相關內容係與一或多個項目動作連 同顯示。該項目動作會在使用者裝置或相關內容系統上被識別出。該項目動作使得使用者能啟動與該被標記項目或相關內容相關的動作。
圖13圖示了利用基於手勢標記來識別有關於項目的內 容的例示方法1300。方法1300係描述於例示搜尋引擎或搜尋服務的上下文中，例如圖2的推薦引擎220、搜尋引擎222或廣告引擎224，但非限於以該上下文來進行。
首先於方塊1310中，從使用者裝置接收表示使用者的 興趣項目的搜尋詢問。該搜尋詢問可包括或從標記項目資料、上下文資料及/或使用者資料來規劃。於方塊1312中，參照與該使用者相關的使用者資料。舉例而言，含有使用者資料的資料貯存庫可用來識別與該使用者相關的使用者資料。於方塊1314中，利用至少一部分的搜尋詢問與使用者資料去識別有關於興趣項目的內容。在此方面，可利用含有資料的資料貯存庫來識別有關於該興趣項目的內容。於方塊1316中，識別出可與該項目或該相關內容連同做出的一或多個動作。於方塊1318中，該相關內容與該一或多個動作係與使用者裝置進行通訊。
圖14圖示了第三方啟動項目標記以使得另一方可檢視 有關於該項目標記的內容的例示方法1400。為方便說明，方法1400 係描述於圖2的網路聯絡人裝置208的上下文中，但非限於以該上下文來進行。
於方塊1410中，呈現啟用標記的媒體內容。在此方面， 第三方可檢視啟用標記的內容。在某些情況下，該啟用標記的內容會視覺地或聽覺地表示出可用來標記的項目。例如，可高亮顯示在啟用標記的內容中的可標記項目以表示出有關於該些項目可被呈現的內容。於方塊1412中，偵測到表示出項目會被標記的標記手勢。在實施例中，該標記手勢可定義出具有該使用者的興趣項目的內容區域。標記手勢可包括在觸控螢幕或觸控板上的觸控輸入、影像擷取裝置所偵測到的身體動作及/或使用者輸入裝置所控制的游標的移動。由該標記手勢所定義的項目或內容區域，可包括以該標記手勢作為或大致上作為邊界的區域、該標記手勢所觸碰的、緊鄰於或被該標記手勢所覆蓋的區域。在一個例子中，標記手勢可包括作為或大致上作為該興趣項目的邊界的動作或實際上的圓形動作。
於方塊1414中，識別出與該標記手勢相關的至少一個 項目。在此方面，可使用與該啟用標記的媒體內容相關的元資料來識別興趣項目。該元資料會指示在媒體內容中的特定位置處(如，訊框、時間、位置等)的可標記項目。在另一實施例中，可使用(如，位於該使用者裝置上的或遠離於該使用者裝置的)影像辨認模組來識別項目。
於方塊1416中，標記該被識別的項目。在此方面，指 出或指定第三方對於所選擇的項目感興趣的指示。例如，在一個實施例中，與該媒體內容相關的元資料可表示出對特定項目為感 興趣的。在另一實施例中，可表示出項目為獨立於該元資料的標記。
於方塊1418中，參照與該被標記項目相關的資料。因 此，可參照、識別或決定出標記項目資料、項目上下文資料、第三方資料(如，標記該項目的該第三方的身份)或類似者。於方塊1420中，該被標記項目的指示以及與該被標記項目相關的被參照的資料係與相關內容系統進行通訊以供處理，以使得另一方可檢視有關於該被標記項目的內容。
圖15圖示了利用第三方標記來提供有關於項目的內容 給另一方的例示方法1500。方法1500係描述於例示搜尋引擎或搜尋服務(如圖2的社群網路引擎226、推薦引擎220、搜尋引擎222及/或廣告引擎224)的上下文中，但非限於以該上下文來進行。
首先，於方塊1510中，接收到第一使用者對於在媒體 內容中的項目感興趣的指示。於方塊1512中，接收到有關於該興趣項目的資料。該資料可為，例如，第三方資料(如，該第一使用者的身份、屬於該興趣項目的該第一使用者所啟動的動作)、標記項目資料(如，該第一使用者的身份)、項目上下文資料等。於方塊1514中，將該第一使用者的興趣項目的指示及有關於該興趣項目的資料，連同例如該第一使用者及/或含有該項目的媒體內容一起儲存或擷取。
於方塊1516中，接收被第二使用者檢視的媒體內容的 指示。於其後，如方塊1518中所示，決定與該第二使用者相關的另一實體是否已標記了在媒體內容中的項目。在某些情況下，可依據相關的時間框架而做出該決定，例如，舉例而言，在自從前 一次第二使用者檢視過該媒體內容或類似操作後，另一實體在預定時間框架(如一星期)內已標記了項目之後。再者，在一些應用例中，可做出與該第二使用者相關的適當的實體的決定。舉例而言，做出該標記手勢的實體，係該第二使用者感興趣的較佳的實體。該些偏好可依據內定資料，或該使用者所提交的偏好。
若與該第二使用者相關的另一實體尚未標記在媒體內 容中的項目，於方塊1520中決定該第二使用者是否繼續檢視該媒體內容。若不是，該方法即結束於於方塊1522。若是，該方法回到方塊1518來繼續決定與該第二使用者相關的另一實體是否已標記在媒體內容中的項目。此程序可即時通知第二使用者一些項目係被另一實體所標記。
在另一方面，若與該第二使用者相關的另一實體已標記 在媒體內容中的項目，此項目指示係提供至該第二使用者的使用者裝置，此係表示於方塊1524中。於方塊1526中，識別與被其他實體標記的項目有關的內容。該內容可包括通訊回與其他實體相關的裝置的資料(如，第三方資料、標記項目資料、項目上下文資料)及/或該相關內容系統決定的資料。例如，該相關內容系統可搜尋有關於該第二使用者會感興趣的被標記項目的內容。如此，該相關內容系統會利用與該第二使用者相關的使用者資料去獲得有關於與該第二使用者有關的被標記項目的內容。如方塊1528中所示，有關於該被標記項目的內容係提供至該第二使用者的使用者裝置。該相關內容可為，例如，被標記項目的指示、啟動該項目標記的第三方的指示、與該項目相關的建議或推薦、與該項目相關的廣告等。
圖16圖示了利用第三方標記去檢視在使用者裝置上的 相關內容的例示方法1600。方法1600係描述於使用者裝置實例的上下文中，例如圖2的使用者裝置204，但非限於以該上下文來進行。
首先，於方塊1610中，接收到檢視媒體內容的指示。 於方塊1612中，提供該指示至相關內容系統。於方塊1614中，接收到去檢視有關於被第三方標記的項目的內容的指示。隨後，於方塊1616中，提供該指示至相關內容系統。於方塊1618中，參照使用者資料並提供至該相關內容系統。該使用者資料會包括該使用者的指示、該使用者所使用的裝置的指示、該使用者所使用的裝置的位置的指示、與該使用者相關的偏好、先前該使用者所標記的項目等。
如方塊1620中所示，呈現該媒體內容。於方塊1622中， 接收在該媒體內容中的被第三方所標記的項目的指示。之後，視覺地指示被該第三方所標記的該項目為該使用者所檢視的在媒體內容中的項目。這表示於方塊1624中。舉例而言，被標記項目能以加亮、閃爍、加顏色、部分透明等來表示。於方塊1626中，接收到檢視有關於該項目的資訊的指示。可透過例如使用者在該項目上來回移動游標或選擇器，或者提供與該項目相關的選擇或手勢，來提供這個指示。於方塊1628中，接收到有關於該項目的內容以回應這個指示。接著，如於方塊1630中所示，經由該使用者裝置顯示該相關內容。被接收及顯示的該相關內容可為，例如，標記該項目的第三方的指示、該項目被標記的時間、有關於該被標記項目的資訊、與該項目相關的第三方所做出的動作等。
雖然方法1600描述了接收到檢視關於該項目的內容的 指示。可理解的是，在最初未收到使用者去檢視那些資訊的指示下，可自動地呈現任何相關內容。例如，該相關內容可在最初即與該項目連同顯示，而非在最初視覺地識別被標記項目，如此使得在不需要使用者進一步的動作下，對該使用者已是顯而易見的。在某些情況下，會顯示第一部份的相關內容，並且在當使用者表示去檢視附加的相關內容時，會顯示第二部份的相關內容。僅以實例說明，最初，會顯示標記該項目的特定第三方的指示(如，「丹標記了這個帽子」)。在當使用者在呈現相關內容的該項目上來回移動游標，或者作選擇時，可顯示關於該帽子的更多細節(如，該帽子的廣告；屬於該帽子的細節，如價值、品牌、可選顏色等；何處可購買該帽子的推薦；其他包含相同或相似的帽子的媒體內容的推薦；或類似者)。
此處所述的每個方法的任一行為，至少可部分地透過處 理器或其他基於儲存在一或多個電腦可讀式媒體上的指令的電子裝置來實現。可理解的是，可運用數個此處所述的方法的具體實施例。此處所述的方法係用來說明的，而非用以限定本發明的範圍。
結論
雖然已用結構特徵及/或方法行為的特定語言來描述本發明的標的，應可以理解的是，所附申請專利範圍中所定義的標的並非用以限定上述的特定的特徵或行為。相反地，上述的特定的特徵或行為，係以實施申請專利範圍的例示形式來揭示。
604‧‧‧啟用標記的內容
606‧‧‧使用者裝置
610‧‧‧選擇的項目
616‧‧‧相關內容資料
618‧‧‧動作項目
620‧‧‧儲存動作項目
622‧‧‧傳送動作項目

Claims (20)

  1. 一種有助於關於媒體內容內之項目的內容檢視的電腦實施方法，該方法包含以下步驟：偵測一標記手勢，該標記手勢指示出顯示於一使用者裝置處的一媒體內容內的一區域，該區域包括一項目；根據該標記手勢，決定該項目是一被標記項目；識別出關聯於該被標記項目的標記項目資料；回應於該標記手勢，自動地啟動對有關該被標記項目之內容的一搜尋，其中該搜尋的啟動是基於一搜尋詢問，該搜尋詢問包含所識別出的該標記項目資料，以及使用者資料及上下文項目資料中之至少一者；回應於該搜尋詢問而接收有關該被標記項目之該內容，其中所接收的有關該被標記項目之該內容是基於該標記項目資料以及使用者資料及上下文項目資料中之該至少一者；及將有關該被標記項目的該內容與該被標記項目一起呈現。
  2. 如請求項1之方法，進一步包含下列步驟：將一項目動作與有關於該被標記項目的該內容一起呈現，其中該項目動作包含關係於該被標記項目所將採取的一動作的指示。
  3. 如請求項2之方法，其中該項目動作是回應於對有關於該被標記項目的該內容的一使用者選擇所呈現的。
  4. 如請求項2之方法，其中關係於該被標記項目所將採取的該動作包含購買該被標記項目。
  5. 如請求項1之方法，更包含以下步驟：將由該標記手勢所指示出的該區域的一表現連同該媒體內容一起顯示。
  6. 如請求項1之方法，其中呈現有關該被標記項目的該內容的步驟包含下列步驟：將有關該被標記項目的該內容覆蓋在該媒體內容上，其中有關該被標記項目的該內容是鄰接於該被標記項目所呈現的。
  7. 一種儲存指令的電腦可讀式儲存媒體，當該些指令被一處理器執行時，會安排該處理器去執行以下步驟，包含：偵測一標記手勢，該標記手勢指示出在一被顯示媒體內容內的一區域，該區域包括一項目；基於該標記手勢，決定該項目是一被標記項目且將要取得有關該被標記項目的內容；識別描述該被標記項目的標記項目資料；回應於該標記手勢，自動地啟動針對有關該被標記項目之內容的一搜尋，其中該搜尋的啟動係基於一搜尋詢問，該搜尋詢問包含該經識別標記項目資料以及使用者資料與上下文項目資料中的至少一者；回應於該搜尋詢問，接收有關於該被標記項目的該內容；以及 在該經顯示媒體內容內，與該被標記項目同時地呈現與該被標記項目相關的該內容。
  8. 如請求項7之電腦可讀式儲存媒體，其中該標記手勢包含對應於一形狀的一動作，該形狀實質上作為在該經顯示媒體內容中呈現的該項目的邊界。
  9. 如請求項7之電腦可讀取儲存媒體，其中有關於該項目的該內容包含：與該項目相關的一廣告、與該項目有關的一推薦，或者與該項目有關的資訊。
  10. 如請求項7之電腦可讀取儲存媒體，其中該使用者資料包含下列中一或更多個：一使用者作出該標記手勢的一指示；該使用者所使用的一使用者裝置的一位置；該使用者的一標記歷史記錄；該使用者的一活動歷史記錄；以及與該使用者相關的一使用者偏好。
  11. 如請求項7之電腦可讀取儲存媒體，其中該標記項目資料包含由該標記手勢所指示的該項目的至少一識別。
  12. 如請求項7之電腦可讀取儲存媒體，其中該等步驟進一步包含：將一項目動作與有關於該被標記項目的該內容一起 呈現，其中該項目動作包含關係於該被標記項目所將採取的一動作的指示。
  13. 如請求項12之電腦可讀取儲存媒體，其中該項目動作是回應於對有關於該被標記項目的該內容的一使用者選擇所呈現的。
  14. 如請求項12之電腦可讀式儲存媒體，其中關係於該被標記項目所將採取的該動作包含購買該被標記項目。
  15. 如請求項7之電腦可讀式儲存媒體，其中該等步驟更包含以下步驟：將由該標記手勢所指示出的該區域的一表現連同該經顯示媒體內容一起顯示。
  16. 如請求項7之電腦可讀式儲存媒體，其中與該被標記項目同時地呈現有關該被標記項目的該內容的步驟包含下列步驟：將有關該被標記項目的該內容覆蓋在該經顯示媒體內容上，其中有關該被標記項目的該內容是鄰接於該被標記項目所呈現的。
  17. 一種有助於有關媒體內容內之項目的內容檢視的計算系統，該計算系統包含：一或更多個處理器；及 電腦儲存記憶體，該電腦儲存記憶體具有電腦可執行指令儲存於其上，當該等電腦可執行指令由該一或更多個處理器執行時實施一方法，該方法包含下列步驟：偵測一標記手勢，該標記手勢指示出顯示於一使用者裝置處的一媒體內容內的一區域，該區域包括一項目；根據該標記手勢，決定該項目是一被標記項目；識別出關聯於該被標記項目的標記項目資料；回應於該標記手勢，自動地啟動對有關該被標記項目之內容的一搜尋，其中該搜尋的啟動是基於一搜尋詢問，該搜尋詢問包含所識別出的該標記項目資料，以及使用者資料及上下文項目資料中之至少一者；回應於該搜尋詢問而接收有關該被標記項目之該內容，其中所接收的有關該被標記項目之該內容是基於該標記項目資料以及使用者資料及上下文項目資料中之該至少一者；及將有關該被標記項目的該內容與該被標記項目一起呈現。
  18. 如請求項17之計算系統，其中該方法更包含下列步驟：顯示一指示，該指示有關一第三方已表示出對該媒體內容內所呈現之項目的興趣。
  19. 如請求項18之計算系統，其中顯示了該第三方已表示出對呈現於該媒體內容中的該等項目有興趣的該指示係在該等項目被呈現在該媒體內容內時顯示的。
  20. 如請求項18之計算系統，其中顯示了該第三方已表示出對呈現於該媒體內容中的該等項目有興趣的該指示包含該第三方關係於該等項目所進行之一活動的一描述。
TW101140992A 2011-12-13 2012-11-05 基於手勢標記來檢視相關內容 TWI573042B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/324,435 US9646313B2 (en) 2011-12-13 2011-12-13 Gesture-based tagging to view related content

Publications (2)

Publication Number Publication Date
TW201337642A TW201337642A (zh) 2013-09-16
TWI573042B true TWI573042B (zh) 2017-03-01

Family

ID=47928197

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101140992A TWI573042B (zh) 2011-12-13 2012-11-05 基於手勢標記來檢視相關內容

Country Status (8)

Country Link
US (1) US9646313B2 (zh)
EP (1) EP2791761B1 (zh)
JP (2) JP2015505398A (zh)
KR (1) KR102033189B1 (zh)
CN (1) CN102999630B (zh)
ES (1) ES2743910T3 (zh)
TW (1) TWI573042B (zh)
WO (1) WO2013090046A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI824842B (zh) * 2022-11-23 2023-12-01 國立澎湖科技大學 基於ai邊緣運算之手寫文字教學系統及方法

Families Citing this family (185)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120311585A1 (en) 2011-06-03 2012-12-06 Apple Inc. Organizing task items that represent tasks to perform
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US20130334300A1 (en) * 2011-01-03 2013-12-19 Curt Evans Text-synchronized media utilization and manipulation based on an embedded barcode
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US9898756B2 (en) 2011-06-06 2018-02-20 autoGraph, Inc. Method and apparatus for displaying ads directed to personas having associated characteristics
US8840013B2 (en) 2011-12-06 2014-09-23 autoGraph, Inc. Consumer self-profiling GUI, analysis and rapid information presentation tools
US9883326B2 (en) 2011-06-06 2018-01-30 autoGraph, Inc. Beacon based privacy centric network communication, sharing, relevancy tools and other tools
US8825763B2 (en) * 2011-12-09 2014-09-02 Facebook, Inc. Bookmarking social networking system content
US20130201161A1 (en) * 2012-02-03 2013-08-08 John E. Dolan Methods, Systems and Apparatus for Digital-Marking-Surface Content-Unit Manipulation
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
WO2014028060A1 (en) * 2012-08-15 2014-02-20 Brian Roundtree Tools for interest-graph driven personalization
KR20140038577A (ko) * 2012-09-11 2014-03-31 한국과학기술연구원 메타데이터를 이용한 콘텐츠 추천
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US10540515B2 (en) 2012-11-09 2020-01-21 autoGraph, Inc. Consumer and brand owner data management tools and consumer privacy tools
US20140157158A1 (en) * 2012-12-03 2014-06-05 Martin Camins System and method for visually identifying user preferences
US9483518B2 (en) 2012-12-18 2016-11-01 Microsoft Technology Licensing, Llc Queryless search based on context
BR112015018905B1 (pt) 2013-02-07 2022-02-22 Apple Inc Método de operação de recurso de ativação por voz, mídia de armazenamento legível por computador e dispositivo eletrônico
KR102111769B1 (ko) * 2013-02-08 2020-06-08 삼성전자주식회사 추천 패널 제공 방법 및 이를 위한 디바이스, 추천 아이템 제공 방법 및 이를 위한 서버
US10546352B2 (en) * 2013-03-14 2020-01-28 Facebook, Inc. Method for selectively advertising items in an image
US9881058B1 (en) * 2013-03-14 2018-01-30 Google Inc. Methods, systems, and media for displaying information related to displayed content upon detection of user attention
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
EP2997505A4 (en) 2013-05-16 2016-12-07 Nfluence Media Inc TOOLS FOR MANAGING SENSITIVE PERSONAL DATA
US9672259B2 (en) * 2013-05-29 2017-06-06 Ebay Inc. Methods and systems to refine search information
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
CN105264524B (zh) 2013-06-09 2019-08-02 苹果公司 用于实现跨数字助理的两个或更多个实例的会话持续性的设备、方法、和图形用户界面
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
CN103440307B (zh) * 2013-08-23 2017-05-24 北京智谷睿拓技术服务有限公司 媒体信息提供方法及装置
KR20150032101A (ko) * 2013-09-17 2015-03-25 삼성전자주식회사 영상표시장치 및 영상표시방법
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
CN103679512B (zh) * 2013-12-19 2017-06-16 深圳市宇恒互动科技开发有限公司 根据用户需求推送广告的可分离控制系统与装置
US10067341B1 (en) 2014-02-04 2018-09-04 Intelligent Technologies International, Inc. Enhanced heads-up display system
WO2015149032A1 (en) 2014-03-28 2015-10-01 Brian Roundtree Beacon based privacy centric network communication, sharing, relevancy tools and other tools
KR101598601B1 (ko) * 2014-05-14 2016-03-02 전자부품연구원 상황 기반 서비스 지원 기술
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
EP3149728B1 (en) 2014-05-30 2019-01-16 Apple Inc. Multi-command single utterance input method
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
JP2016053880A (ja) * 2014-09-04 2016-04-14 株式会社ランディード 車載システム、情報処理方法、およびコンピュータプログラム
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US20160150038A1 (en) * 2014-11-26 2016-05-26 Microsoft Technology Licensing, Llc. Efficiently Discovering and Surfacing Content Attributes
US10222942B1 (en) * 2015-01-22 2019-03-05 Clarifai, Inc. User interface for context labeling of multimedia items
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9826359B2 (en) 2015-05-01 2017-11-21 The Nielsen Company (Us), Llc Methods and apparatus to associate geographic locations with user devices
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US11328590B2 (en) * 2015-10-29 2022-05-10 InterNetwork Media, LLC System and method for internet radio automatic content management
CN106658202A (zh) * 2015-10-30 2017-05-10 中国移动通信集团公司 一种触发互动应用的方法和设备
KR102447907B1 (ko) * 2015-11-05 2022-09-28 삼성전자주식회사 추천 객체를 제공하기 위한 전자 장치 및 방법
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
CN107168599B (zh) * 2016-03-07 2020-05-29 阿里巴巴集团控股有限公司 一种即时通信方法和装置
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US10719193B2 (en) 2016-04-20 2020-07-21 Microsoft Technology Licensing, Llc Augmenting search with three-dimensional representations
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DE112016007020T5 (de) * 2016-06-28 2019-03-21 Intel Corporation Video mit eingebetteter geste
US10101820B2 (en) 2016-07-21 2018-10-16 International Business Machines Corporation Automated learning and gesture based interest processing
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10432559B2 (en) * 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
KR20190012695A (ko) * 2017-07-28 2019-02-11 양재혁 태그 컨텐츠를 포함하는 정보를 공유하는 광고 방법 및 시스템
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10878047B1 (en) * 2017-09-22 2020-12-29 Amazon Technologies, Inc. Content generation framework
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
WO2019123762A1 (ja) * 2017-12-22 2019-06-27 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN111567024B (zh) * 2017-12-26 2022-08-19 尤妮佳股份有限公司 信息收集程序、信息通信终端以及信息收集方法
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11698927B2 (en) * 2018-05-16 2023-07-11 Sony Interactive Entertainment LLC Contextual digital media processing systems and methods
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
CN108694629A (zh) * 2018-08-24 2018-10-23 深圳艺达文化传媒有限公司 电梯广告的播放推荐方法及相关产品
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11043220B1 (en) 2020-05-11 2021-06-22 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
JP2023138873A (ja) * 2020-08-21 2023-10-03 ソニーグループ株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP7253526B2 (ja) * 2020-12-24 2023-04-06 楽天グループ株式会社 情報通信システム、及び情報通信方法
JP7189980B2 (ja) * 2021-02-12 2022-12-14 楽天グループ株式会社 情報通信システム、及び情報通信方法
US11778277B1 (en) * 2021-06-11 2023-10-03 Amazon Technologies, Inc. Digital item processing for video streams

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5687254A (en) * 1994-06-06 1997-11-11 Xerox Corporation Searching and Matching unrecognized handwriting
US20090119572A1 (en) * 2007-11-02 2009-05-07 Marja-Riitta Koivunen Systems and methods for finding information resources
TWM392404U (en) * 2010-06-01 2010-11-11 Univ Nat Taipei Technology Hand gesture control system
US20110047517A1 (en) * 2009-08-21 2011-02-24 Samsung Electronics Co., Ltd. Metadata tagging system, image searching method and device, and method for tagging a gesture thereof
CN102124463A (zh) * 2008-08-18 2011-07-13 诺基亚公司 提供关于被推荐内容的指示的方法、装置和计算机程序产品
US20110197164A1 (en) * 2010-02-11 2011-08-11 Samsung Electronics Co. Ltd. Method and system for displaying screen in a mobile device
TW201143421A (en) * 2010-04-14 2011-12-01 Sisvel Technology Srl Method for displaying a video stream according to a customised format

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5835713A (en) 1993-03-19 1998-11-10 Ncr Corporation Remote collaboration system for selectively locking the display at remote computers to prevent annotation of the display by users of the remote computers
US8429005B2 (en) 1999-09-23 2013-04-23 Activ8Now, Llc Method for determining effectiveness of display of objects in advertising images
US6616533B1 (en) 2000-05-31 2003-09-09 Intel Corporation Providing advertising with video games
JP2005018436A (ja) * 2003-06-26 2005-01-20 Toppan Printing Co Ltd 情報提供システム、情報提供装置、および情報提供方法、並びに情報提供プログラム
US20060136406A1 (en) 2004-12-17 2006-06-22 Erika Reponen Spatial search and selection feature
KR100940981B1 (ko) 2005-01-05 2010-02-05 야후! 인크. 텔레비전 환경에서 복수의 콘텐츠를 전달하고 복수의콘텐츠 아이템의 상호 작용을 제공하기 위한 프레임워크
US7774703B2 (en) 2006-02-09 2010-08-10 Microsoft Corporation Virtual shadow awareness for multi-user editors
US20080005074A1 (en) 2006-06-28 2008-01-03 Microsoft Corporation Search over designated content
US8656282B2 (en) 2007-01-31 2014-02-18 Fall Front Wireless Ny, Llc Authoring tool for providing tags associated with items in a video playback
US10003781B2 (en) 2006-08-04 2018-06-19 Gula Consulting Limited Liability Company Displaying tags associated with items in a video playback
US20080091548A1 (en) 2006-09-29 2008-04-17 Kotas Paul A Tag-Driven Concept-Centric Electronic Marketplace
US20080126191A1 (en) 2006-11-08 2008-05-29 Richard Schiavi System and method for tagging, searching for, and presenting items contained within video media assets
GB0707216D0 (en) * 2007-04-14 2007-05-23 Livesey Carl Interactive shopping platform
US20090182644A1 (en) 2008-01-16 2009-07-16 Nicholas Panagopulos Systems and methods for content tagging, content viewing and associated transactions
US9870130B2 (en) 2008-05-13 2018-01-16 Apple Inc. Pushing a user interface to a remote device
US20100009662A1 (en) * 2008-06-20 2010-01-14 Microsoft Corporation Delaying interaction with points of interest discovered based on directional device information
JP2010039592A (ja) 2008-08-01 2010-02-18 Fujifilm Corp 商品購入／販売システムならびにそのシステムを構成する商品販売サーバおよびその動作制御方法
US20100289753A1 (en) 2009-05-14 2010-11-18 Microsoft Corporation Adjusting organization of media content on display
US8856691B2 (en) * 2009-05-29 2014-10-07 Microsoft Corporation Gesture tool
EP2462494A4 (en) 2009-06-05 2014-08-13 Mozaik Multimedia Inc ECOSYSTEM FOR SMART CONTENT MARKING AND INTERACTION
US9407973B2 (en) 2009-12-02 2016-08-02 At&T Intellectual Property I, L.P. System and method to identify an item depicted when media content is displayed
US9838744B2 (en) 2009-12-03 2017-12-05 Armin Moehrle Automated process for segmenting and classifying video objects and auctioning rights to interactive sharable video objects
US9547840B2 (en) 2009-12-28 2017-01-17 Google Technology Holdings LLC Methods for associating objects on a touch screen using input gestures
US20110202603A1 (en) 2010-02-12 2011-08-18 Nokia Corporation Method and apparatus for providing object based media mixing
US8379098B2 (en) * 2010-04-21 2013-02-19 Apple Inc. Real time video process control using gestures
US9471700B2 (en) * 2010-05-18 2016-10-18 Tksn Holdings, Llc System and method for monitoring changes in databases and websites
US8416189B2 (en) * 2010-06-04 2013-04-09 Acer Incorporated Manual human machine interface operation system and method thereof
US20120131454A1 (en) * 2010-11-24 2012-05-24 Siddharth Shah Activating an advertisement by performing gestures on the advertisement
US8179604B1 (en) * 2011-07-13 2012-05-15 Google Inc. Wearable marker for passive interaction
US8306977B1 (en) * 2011-10-31 2012-11-06 Google Inc. Method and system for tagging of content

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5687254A (en) * 1994-06-06 1997-11-11 Xerox Corporation Searching and Matching unrecognized handwriting
US20090119572A1 (en) * 2007-11-02 2009-05-07 Marja-Riitta Koivunen Systems and methods for finding information resources
CN102124463A (zh) * 2008-08-18 2011-07-13 诺基亚公司 提供关于被推荐内容的指示的方法、装置和计算机程序产品
US20110047517A1 (en) * 2009-08-21 2011-02-24 Samsung Electronics Co., Ltd. Metadata tagging system, image searching method and device, and method for tagging a gesture thereof
US20110197164A1 (en) * 2010-02-11 2011-08-11 Samsung Electronics Co. Ltd. Method and system for displaying screen in a mobile device
TW201143421A (en) * 2010-04-14 2011-12-01 Sisvel Technology Srl Method for displaying a video stream according to a customised format
TWM392404U (en) * 2010-06-01 2010-11-11 Univ Nat Taipei Technology Hand gesture control system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI824842B (zh) * 2022-11-23 2023-12-01 國立澎湖科技大學 基於ai邊緣運算之手寫文字教學系統及方法

Also Published As

Publication number Publication date
CN102999630A (zh) 2013-03-27
US9646313B2 (en) 2017-05-09
JP2015505398A (ja) 2015-02-19
EP2791761A4 (en) 2015-09-16
JP6363758B2 (ja) 2018-07-25
EP2791761B1 (en) 2019-07-24
EP2791761A1 (en) 2014-10-22
WO2013090046A1 (en) 2013-06-20
US20130151339A1 (en) 2013-06-13
CN102999630B (zh) 2016-08-03
KR20140107253A (ko) 2014-09-04
JP2017142846A (ja) 2017-08-17
KR102033189B1 (ko) 2019-11-08
TW201337642A (zh) 2013-09-16
ES2743910T3 (es) 2020-02-21

Similar Documents

Publication Publication Date Title
TWI573042B (zh) 基於手勢標記來檢視相關內容
US9977835B2 (en) Queryless search based on context
US20200183966A1 (en) Creating Real-Time Association Interaction Throughout Digital Media
US8799300B2 (en) Bookmarking segments of content
US20130268513A1 (en) Annotations based on hierarchical categories and groups
US20130086056A1 (en) Gesture based context menus
US20140280015A1 (en) Serving advertisements for search preview based on user intents
US20120323704A1 (en) Enhanced world wide web-based communications
US20120260158A1 (en) Enhanced World Wide Web-Based Communications
US20130268826A1 (en) Synchronizing progress in audio and text versions of electronic books
US20170220591A1 (en) Modular search object framework
US20130117105A1 (en) Analyzing and distributing browsing futures in a gesture based user interface
US20140195337A1 (en) Browser interface for accessing supplemental content associated with content pages
CN103797481B (zh) 基于手势的搜索
US20210042809A1 (en) System and method for intuitive content browsing
US9589296B1 (en) Managing information for items referenced in media content
US20160048875A1 (en) Entity based search advertising within a modular search object framework
US10685178B2 (en) Defining and delivering personalized entity recommendations
US10628848B2 (en) Entity sponsorship within a modular search object framework
JP7477235B1 (ja) 電子機器、表示制御方法及びアプリケーションプログラム
WO2014110048A1 (en) Browser interface for accessing supple-mental content associated with content pages
TWI566123B (zh) 多媒體介面成像方法、系統及可穿戴式裝置
CN116756370A (zh) 用于搜索的方法、装置、设备和存储介质
WO2017123746A1 (en) System and method for intuitive content browsing

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees