TW201227575A - Real-time interaction with entertainment content - Google Patents

Description

201227575 六、發明說明： 【發明所屬之技術領域】 本案係關於與娛樂内容的即時互動。 【先前技術】 傳統上，諸如聽音樂、看電影或看電視等娱樂體驗是單 向體驗。内容被播放，與此同時觀眾坐好並體驗它。 使内容快進和倒退之外，沒有辦法與該内容互動。〃 【發明内容】 提供一種允許使用者與傳統單向娛樂内容互動的系 統。該系統知曉該互動並使用與該娱樂内容相關聯的事件 資料適當地行動。該事件資料包括複數個事件的資訊。事 件的資訊包括軟體指令及/或對軟體指令的引用， 乂次·該軟 體指令使用的音訊/視訊内容項目。當事件發生時，經由多 個可能機制向使用者提供有關該事件的警告。若使用者= 應於該警告（或以其他方式與該警告互動時），則引動針 對該事件的軟體指令來提供互動式體驗。可對已記錄的和 實況的内容賦能此系統。 一個實施例包括用於提供與計算系統的互動的方法。該 方法包括：使用該計算系統存取並顯示節目；辨識與該節 目相關聯的事件資料，其中該事件資料包括複數個事件的 資料且事件的資料包括對軟體指令和音訊/視訊内容項目 的引用；自動決定第一事件已發生；對第一事件提供第— 3 201227575 警告；接收使用者與該第一警告的互動；回應於接收到使 用者與該第一警告的互動而使用與該第一事件相關聯的 軟體指令和音訊/視訊内容項目來程式設計該計算系統；自 動決定第二事件已發生；對第二事件提供第二警告·接收 使用者與該第二警告的互動；及回應於接收到使用者與該 第二警告的互動而使用與該第二事件相關聯的軟體指令 和音訊/視訊内容項目來程式設計該計算系統。與該第二事 件相關聯的軟體指令和音訊/視訊内容項目不同於與該第 一事件相關聯的軟體指令和音訊/視訊内容項目。 一個實施例包括儲存代碼的非揮發性儲存器視訊介 面、通訊介面以及與該非揮發性儲存器、視訊介面和通訊 介面通訊的處理器。該代碼的—部分程式設計該處理器， 以存取内容以及與該内容相關聯並時間同步的複數個事 件的事件資料。該内容經由該視訊介面顯示。該處理器顯 示指示該内容中的時間位置的線性時間顯示並在該線性 時間顯示上添加辨識每個事件在該内容中㈣間的事件 指示符。該事件指示符亦可指示要在該㈣位置處顯示的 内容的類型（例如，購物機會、更多資訊使用者評論等 該處理器播放該内容並更新該線性時間顯示以指示該内 容的當前時間位置。當該内容的當前時間位置等於特定事 件指示符的時間位置時，則該處理器對與該4^事件指干 符相關聯的時序㈣事件提供可見警告。若該處理器沒有 接收到對該可見警告的⑽，㈣處理器移除該可見塾主 而不提供與該可見Μ相關聯的❸卜内容。若該處理^ 201227575 收到對該可見警告的回應， 姓4t _ w 則該處理器運行由與該特定事 仔知示符相關聯的事件 _ 科所辨識的可見警告相闕聯的 歡體心令。運行與該可#邀土 見§口相闕聯的軟體指令包括提供 執行複數個功能中的任何— ^ ^ ^ ^ /、 .、 個的選擇。警告或事件被儲 存’並且若需要則可由、、占& + + λ _ 由沩耗該内容的個體在稍後的時間取 传。此外，可以僅杳砉钫笙 —μ等s σ而不消耗該内容（動態事 件不包括在内）。 一個實施例包括其上儲在右步 砗仔有處理器可讀取代碼的一或 多個處理器可讀取儲在. 貝取儲存6又備。該處理器可讀取代碼用於程 式設計^多個處判，以執行—種方法，該方法包括： 辨識虽刖正與第-計算系統互動的兩個或兩個以上使用 者；使用該第-計算系統來存取並顯示音訊/視訊節目；辨 識與該音訊/視訊節目相關聯的事件f料，其中該事件資料 包括複數個事件的資料且事件的資料包括對軟體指令和 音訊/視訊内容項目的引用；自動決定事件已發生；基於與 被辨識為正同時與第一計算系統互動的兩個或兩個以上 使用者中的一個相關聯的使用者設定檔資料來向第二計 算系統發运第一組指令；基於被辨識為正同時與第一計算 系統互動的兩個或兩個以上使用者中的另一個相關聯的 使用者設定檔資料來向第三計算系統發送第二組指令。第 一組指令允許第二計算系統顯示第一内容。第二組指令允 許第三計算系統顯示不同於第一内容的第二内容。 提供本發明内容以便以簡化的形式介紹將在以下具體 實施方式中進一步描述的一些概念的選擇。本發明内 201227575 非意欲辨識所主張標的的關鍵特徵或必要牯 文讨做，亦非意欲 用於幫助決定所主張標的的範疇。此外，所 w王張標的不限 於解決在本揭示案的任一部分中提及的任何或所有缺點 的實施。 【實施方式】 提出一種允許使用者與傳統單向娛樂内容互動的系 統。當播放娛樂内容（諸如音訊/視訊節目（pr〇gram)或 基於電腦的遊戲）時，事件資料被用來提供與娛樂内容的 互動。事件是在娛樂内容中或在娛樂内容期間所發生的事 情。例如，電視節目期間的事件可以是信用的存在、歌曲 的播放、場景的開始、女演員的出現、項目或位置的出現 等。娛樂内容可與多個事件相關聯；因此，事件資料包括 與該娛樂内容相關聯的多個事件的資訊。事件的資訊包括 軟體指令及/或對軟體指令的引用，以及該軟體指令使用的 音訊/視訊内容項目。當事件發生時，向使用者提供有關該 事件的警告。若使用者回應於該警告（或以其他方式與該 警告互動時），則引動針對該事件的軟體指令來提供互動 式體驗。 此處描述的技術的特徵包括：該事件資料可提供不同類 型的内容（例如，圖像、視訊、音訊、連結、服務等）， 是模組化的、可任選地是時間同步的、可任選地是事件觸 發的、分層的、可過濾的、能夠被開啟/關閉、能夠由不同 源以不同方式建立並且能夠與其他事件資料組合。事件資 6 201227575 料的該等特徵允許在揾— 娱樂内谷的呈現期間在運作中（on the fly )動態地程式 飞。又汁正在互動的計算系統，以使得該 互動式體驗是可定隹At ^ 裏的且動恶的體驗。可對已記錄的内容 和實况内谷’以及已解譯的和已編譯的應用賦能該系統。 圖1圖不描繪與娛樂内容（或其他類型的内容）互動的 :個實例的使用者介面10。在一個實施例中，介面10是 …月晰度電視、電腦監視器，或其他音訊/視訊設備。或者 出於本文件的目的，音却, 日訊/視訊應包括僅音訊、僅視訊，或 音訊和視訊的組合。在本實例中，介面10的區域η正在 播放（或以其他方式顯示）音訊/視訊節目，該節目是能夠 與之互動的内容的一個實例。可被呈現並互動的内容的類 型包括例如電視節目、電影、其他類型的視訊、靜止圖像、 幻燈片、音訊呈現、遊戲，或其他内容或應用。此處描述 的技術不限於任何類型的内容或應用。 介面10的底部處是等時線12，等時線12是線性時間顧 示的-個實例。等時線12指示介面10上呈現的節目的當 前進程。等時線的陰影部分14指示部分内容已經被呈 現而等時線12的無陰影部》16指示部分内容尚未被呈 現。在其他實施例巾，可使用不同類型的線性時間顯示， 或者可使用非線性的、用於顯示進程和相對時間的其他圖 形機制。等時、線12的緊鄰的上方是—組事件指示符該 等事件指示符表現為方塊。事件指示符可以是其他形狀。 出於示例性目的，圖1Α圖示在等時線12的不同部分上分 佈的9個事件指示符。該等事件指示符中的兩個由元件符 201227575 號18和2G標記。每個事件指示符對應於可在所呈現的節 目中或該節目呈現期間發生的事件。每個事件指示符沿‘ 時線12的位置指示相關聯的事件將發生的時間。例如， 事件心不符1 8可w與第-事件相關聯而事件指示符可 =與第四事件相關聯。作為-實例，第-事件可包括特定 演員的第-次出現而第四事件可以是該節目期間特定歌 曲的播放。觀看介面10上的節目的計算系統的使用者將 從等時線12和事件指+ α 午知不付上看到在該節目期間各種事件 何時發生。注意，在一些實施例中，不顯示等時線和事件 指不符。在其他實施例中’僅恰在事件發生之前顯示等時 線和事件指示符。在另一實施例中，按照使用者的需要類 不等時線和事件指示符（例如，經由遙控器或使用姿勢 圖1Β和圖1c圖示與介面10的區域U中正顯示的内容 互動的一個實例。3咅 问， — ' 圖A-1c沒有圖示正顯示的實際 内谷以免使該等圖混亂。 無陰影區域16相交㈣表的、陰影區域14和 乂的點表不内容的當前時間位置（例如， =見郎：或電影等已過去的相對時間)。當介面H)上正呈 見的内谷的當前時間位— 如木奸帝 等於特疋事件的時間位置時（例 時；：丨：電影已經過的時間等於與該事件相關聯的時間 供警告。例如，圖_示文字對話框22(警告） ΓΗ :: 2〇彈出。在本實例中，該事件是在電視節 押1。.甘 該文予對話框可指示歌曲的 八他實施例中，馨生 對話框的音t 僅曰訊、伴隨有文字 次此顯不文字或圖像的其他使用者介面元

S 201227575 件。警報亦可在伴隨電子設備上提供，如下文將要描述的。 此處描述的技術不需要是基於時間位置的。若該系統使 用元資料觸發n或事件觸發器（例如，在作為非線性體驗 的遊戲中），則在滿足了某種事件序列的情況下事件可被 觸發且不是經由一時間標記。 一旦向使用者提供了警告，該使用者具有可以與該警告 互動的奴蛉間。若該使用者不在該預定的時間段期間與 該警告互動，則移除該警告。若該使用者不與該警告2 動則向該使用者提供要互動的額外内容。 有許多與警告互動的方式。在—個實施例中，該使用者 可使用手勢（如下文所解釋的）、m同指點設備、 語音或其他手段來選取、選擇、確㈣以其他方式與該警 告互動。 ° 圖ic圖示了在使用者已與該警告互動或以其他方式確 認該警告之後的介® 1()。如可以看出的，文字對話框η 現在圖不加陰影（shadowing)以向該使用者提供該使用者 的互動被確認的可見回饋。在其他實施例中，可使用其他 圖形確認及/或音訊確認。在―些實施例中，不需要確認。 回應於使用者與警告的互動，在介面1〇的區域4〇中提供 額外内容。在一個實施例中，使區域u更小以適合區域 40。在另一實施例中，區域4〇覆蓋區域u。在另一實施 例中，區域40可在所有時間均在介面1〇中存在。 在圖1C的實例中，區域 五個按姐。該等按知包括r 4〇包括作為選項單的一部分的 購買歌曲」、「音樂視訊、「蓺

-J 9 201227575 術家」、「益智遊戲」和「藝術家的其他歌曲」。若使用者 選擇購買歌曲」，則該使用者將被提供購買電視節目或 電影上正在播放的歌曲的機會。該使用者將被帶入電子商 務頁或網站以進行購買。隨後所購買的歌曲將在該使用者 正在使用的當前計算設備及/或該使用者所擁有或操作（可 由使用者配置）的任何其他計算設備上可用。若該使用者 選擇「音樂視訊」，則該使用者將被提供在介面1〇上觀看 音樂視訊（立即或稍後）、儲存該音樂視訊以供稍後觀看， 或向另一個人發送該音樂視訊的機會。若該使用者選擇 π術豕」，則該使用者將被提供有關該藝術家的更多資 訊。若該使用者選擇「益智遊戲」，則該使用者將被提供 與該歌曲相關聯或以其他方式與該歌曲相關的、要玩的益 智遊戲。若該使用者選擇「藝術家的其他歌曲」，則該使 用者將被提供顯示與當前正在播放的歌曲相同的藝術家 的2他歌曲中的全部或-些的介面。使用者將能夠傾聽、 購買’或告訴朋友所圖示的歌曲中的任何一個。 注意，目lc只是可在區域4〇中提供的内容的一個實 例。此處揭示的系統是完全可配置且可程式設計的以提供 許多不同類型的互動。 在一個實施例中，回應於使用者與警告22纟動而藉由 引動與事件識別符2G相關聯的-組代碼來填充區域40。 每個事件與包括代碼（或指向代碼的指標）和㈣的事# 資料相關聯。該代碼和内容被用於實施該互動（例如，區 域40的選項單和回應於選擇區域4()的按叙中的任何一: 201227575 而執行的其他功能）。 圖1A-C目示多個事件識別符，每個事件識別符指示相 關聯的事件在介面1〇上正在顯示的内容内的時間位置。 該等識別符中的每-個皆與不同事件相關聯，該事件進而 又有其自身的一組代碼和内容以用於對與介面10相關聯 的計算設備進行程式設計來在區域4〇内（或其他地方） 只施不同組功能。在一個實施例中，每個事件的事件資料 是不同的。亦即，代碼對於每個事件不是完全相同的，並 且用於每個事件的内容不是完全相同的。可能的是：多個 事件將共享-些内容和一些代碼，但是—個事件的整組代 碼和内容很可能不同於另一事件的整組代碼和内容。此 外’所提供的各内容將是不同媒體的（例如，音訊、視訊、 圖像等）。 在一個實施例中，傕用去監亡 使用者/、有從一個事件指示符跳到另 -事件指示符的能力。因此，例如，若使用者錯過了警告 了警告但是決定不對其進行回應，則隨後在 董播體驗中，使用去 勺括m t 到之前的警告。該系統將 ^ 事件扣不符間快速跳躍的機制。 圖2提供了另-實例’其中介面10(例如，高清晰度電 視）與-個或兩個伴隨 隨設備⑽和伴隨钟備107 / 例如，圖2圖示伴 _和1〇2是锋巢式電知實細例中，伴隨設備 施例中，伴㈣型電話）°在其他實 逆0又備1〇〇和可以θ』 鸱斗廿 ]以疋筆記型電腦、平板電 腦，或其他無線及/或行 勃f °又備。在—個實施例中，伴 11 201227575 隨設備⑽和1〇2兩者正由同—使用者操作。在另—實广 例中，不同使用者可以正操作該伴隨設備以使第—使用: 正操作伴隨設備100而第二使用者正操作伴隨設備102。 在許多情況下，操作該等伴隨設備的使用者亦正在觀看介 面10在個只例中，兩個人正坐在沙發上觀看電視（介 面1 〇)，而每個人同時亦At 吟丌此觀看他/她自身的蜂巢式電話 (100 和 102)。 ° 在圖2的實例中’事件指示符5〇與女演員進入穿戴特 定歸的場景的事件相關聯。在此情況下，觀看電影的電 視節目的兩個使用去φ μ . 用言宁的任一個可使用此處述及之手段 中的任何一個與警告52互動。若第-使用者與警告心 動’則第-使用者的伴隨設備1〇〇將被配置成顯示選項單 的各按鈕以供使用者互動。例如，伴隨設備1〇〇的區域^4 顯示五個按钮以供使用者購買電影中所圖示的服裝（靖買 服裝）、獲得有關該服裝的資訊（服裝資訊）、經由網際網 路選購類似服裝（選購類似服裝）、㈣社交聯網即時訊 息傳遞、電子郵件等把該服裝告訴朋纟（告訴朋友）、或 發佈有關該服裝的評論（發佈）。若如同上文論述的第二 使用者與警告52互動，則第二使用者的伴隨計算設備102 將在伴隨設備102的區$ 106上示出選項單的一組按鈕。 第二使用者可選擇獲得有關該女演員的更多資訊（女演員 資訊）、觀看該女演員所參與的其他電影或電視節目（觀 看女演員的其他標題）、將此特定女演員告訴朋友及/或示 出（告訴朋友）或發佈評論（發佈）。在一個實施例中， 12 201227575 兩個設備將針對相同的警告52顯示相同的選項（若該等 設備具有相同的能力 在-個實施例中，第一使用者和第二使用者將各自具有 其自身的、被提供介面10的相關計算設備知曉的使用者 設定檔。基於該設定檔，以及與事件指示符5〇相關聯的 代碼和内容，該計算設備將知曉要向特定使用者的相關伴 隨設備提供哪些按師選項單選項。該相關代碼和内容將 被提供給該特定伴隨設備以對該伴隨設備進行程式設 計，以提供圖2中所圖示的互動。注意，顯示給該使用者 的代碼和内容亦可以基於諸如設備的能力（例如，多個富 多媒體選項可被示出給膝上型設備而不是行動電話設 備）、使用者/設備的時間/日期/位置等’而不僅僅藉由使用 者設定檔。在一些情況下，可能沒有觀看該内容的人的設 定檔。 在其他實施例中，區域1〇4和1〇6亦可被顯示在介面1〇 或其他介面上。該使用者可藉由此處所論述的手段中的任 何一種來與介面10、104和1〇6互動。在另一替代方案中， 該使用者可藉由在該使用者的伴隨設備上執行動作來與 警告52互動。在其他實施例中，等時線12可被圖示在該 等伴隨設備中的任何一個上而不是圖示在介面1〇上，或 同時圖示在介面1〇上。在另一替代方案中，該系統將不 發出警告（例如’警告22和警告52 )。相反，當等時線到 達事件指示符時，該使用者將自動被提供區域40、區域 1〇4或區域106,該等區域包括要選擇的各種選項單項目 13 201227575 及/或’、他内谷以在呈現娛樂内容期間提供互動式體驗。 提供該互動的系統可以是完全可程式設計的以使用許 ^不同類至的内谷提供任何類型的互動。在—個實例中， 該系統被部署為其中多於—個實體可提供内容層的平 =在-個實例中’内容層被定義為多個事件的—組事件 貝料層中的該組事件可以是相同類型的事件或不同類型 事+ w如’層可包括將提供購物體驗的—組事件、提 供貝訊的組事件、允許使用者玩遊戲的—組事件等等。 =代地，層可包括—組混合類型的事件。層可由電視節目 =電☆(或其他内容）的擁有者和提供者、觀看該内容的 j用者、廣播者，或任何其他實體來提供。該相關系統可 :合-或多個層以使等時線12A其相關聯的事件識別符 ’為所，合的所有層（或該等層的子集）示出識別符。 圖3疋圖不用於提供此處論述之互動的系統的一個實施 ^的各元件的方塊圖。圖3圖示客戶端計算設備細，該 人戶端計算設備可以是桌上型電腦、筆記型電腦、機上 是、娛樂控制台，或能夠使用本領域已知的任何手段經由 網際網路與圖3的其他元件進行通訊的其他計算設備。在 ^個實施射，客戶端計算設備_連接到觀看設備2〇2 例如’電視機、監視器、投影儀等）。在一種替代方案 中’客戶端計算設備200包括内建觀看設備，因此，具有 外部觀看設備不是必須的。 圖3亦圖示内容伺服器2()4、内容错存器2〇6、創作設 備_和實況插入設備21〇’所有該等設備經由網際網路 201227575 或其他網路彼此通訊並與客戶端計算設備2〇〇通訊。在— 個實施例中，内容伺服器2〇4包括可提供各種類型的内容 (例如，電視節目、電影、視訊、歌曲等等）的一或多個 伺服器（例如，被配置成伺服器的計算設備）。在一些實 施例中，一或多個内容伺服器2〇4在本機儲存該内容。在 其他實施例中，内容伺服器2〇4在内容儲存器2〇6處儲存 其内谷，該内容儲存器206可包括用於儲存各種形式的内 谷的一或多個育料儲存設備。内容伺服器2〇4及/或内容儲 =器206亦可儲存各種層，内容伺服器2〇4及/或内容儲存 器206可將該等層提供給客戶端2〇〇以允許使用者與客戶 端200互動。創作設傷鹰可包括可用於建立儲存在内容 祠服器204處、内容儲存器206處或其他地方的—或多個 層的一或多個計算設備。儘管圖3圖示—個創作設備2〇8, 但是在其他實施例中，可以有多個創作設帛208。該創作 設備可與内容㈤服器及/或内容儲存器直接互動並且可以 不需要經由網際網路。 圖3亦圖示實況插入設備21〇，兮杳 又谞210 ,該實況插入設備可以是 用於在實況發生期間即時地、 fl ^ 咬作〒（on the fly )建立 層的一或多個計算設備。例如，者 ._ ^ ^ 只況插入設備210可用於 在脰月赛事期間即時地建立事 杏 貝付儘管圖3圖不一個 只况插入設備.21〇，但是 借。^ — 疋該系統可包括多個實況插入設 在另一實施例中，創作設備 ^ 91Π ^ 两208亦可包括實況插 備21〇的所有功能。 又 圖 …丨丨艰δ又侑 15 201227575 直接地（如虛線所圖示的）與客戶端2〇〇通 nTl 例如，伴 隨設備220可經由Wi_Fi、藍芽、紅外線，或其他通訊手 段直接地與客戶端200通訊。替代地，伴隨設備22〇可經 由網際網路或經由内容伺服器2〇4(或另—伺服器或服務） 直接地與客戶端200通訊。儘管圖3圖示一個伴隨設備 22〇,但是系統可包括一或多個伴隨設備（例如，如圖2 的伴隨設備1〇〇和伴隨設備1〇2)。伴隨設備2〇〇亦可經由 網際網路或其他網路與内容伺服器2〇4、内容儲存器2〇6、 創作設備208和實況插入設備2丨〇進行通訊。 客戶端200的-個實例是可提供視訊遊戲、電視、視訊 ㈣、計算和通訊服務的娛樂控制台。圖4提供了包括計 算系統312的此種娛樂控制台的—個示例性實施例。計算 系統312可以是電腦、遊戲系統或控制台等。根據一個示 例性實施例，計算系統312彳包括硬體元件及/或軟體元 件，以使計算系統312可被用於執行例如遊戲應用、非遊 戲應用等應用。在-個實施例中，計算系统312可包括可 執行儲存在處理器可讀取儲存設備上的用於執行此處描 述的权序的指令的處理器，如標準化處理器、專用處理 器微處理器等。客戶端2〇〇亦可包括可任選的搁取設備 320,該擷取設備320可以是，例如可在視訊上監視一或 多個使用者的相機’從而可以擷取、分析並追蹤一或多個 使用者所執行的姿勢及/或移動，來執行應用㈣—或多個 控制或動作及/或動畫化化身或屏上角色。 根據個貫;例，叶异系统3 i 2可連接到可向使用者提 16 201227575 供電視電景》、視訊、遊戲或應用視訊及/或音訊的音訊/ 視訊D又備3 16 ’如電視機、監視器、高清晰度電視機（hdtv ) 等。例如’計算系統3 12可包括諸如圖形卡等視訊轉接器 及/或諸如音效卡等音訊轉接器，該等轉接器可提供與遊戲 應用非遊戲應用等相關聯的視聽信號。音訊/視訊設備 3 16可從計算系統3丨2接收音訊/視訊信號，且隨後可向使 用者輸出電視、電影、視訊、遊戲或應用節目的視訊及/ 或音訊。根據一個實施例，音訊/視訊設備316可經由例 如’ S-視訊電纜、同轴電纜、HDMI電纜、DVI電纜、VGA 電纜、分量視訊電纜等連接到計算系統3 12。 客戶端200可用於辨識、分析及/或追蹤一或多個人類。 例如，可使用擷取設備320來追蹤使用者，從而可以擷取 使用者的姿勢及/或移動來動畫化化身或螢幕上角色，及/ 或可將使用者的姿勢及/或移動解譯為可用於影響計算系 統3 12所執行的應用的控制。因此，根據一個實施例，使 用者可移動他或她的身體（例如，使用姿勢）來控制與音 訊/視訊設備316上正在顯示的節目的互動。 圖5圖示具有擷取設備32〇的計算系統312的一個示例 f生實施例。根據一示例性實施例，操取設備32〇可被配置 為經由可包括例如飛行時間、結構化光、立體圖像等在内 的任何合適的技術來擷取帶有立體（depth)資訊的視訊，該 立體資訊包括可包括深度值的立體圖像。根據一個實施 例，擷取設備320可將立體資訊組織為rz級」或者可與 從立體相機（depthcamer)沿其視線延伸的ζ轴垂直的級。 17 201227575 如圖5所示，操取設備32G可以包括相機元件423。根 據一示例性實施例，相機元件423可以是或者可以包括可 操取場景的立體圖像的立體相機。立體圖像可包括所插取 的場景的二維（2-D) |素區域’其中2D像素區域中的 每個像素皆可以表示深度值，諸如所操取的場景中的物體 與相機相距的例如以釐米、毫米等為單位的距離。 相機元件423可以包括可用於擷取場景的立體圖像的紅 外（ΠΟ光元件425、三維（3_D)相機似，以及刪（視 訊圖像）相機428。例如，纟飛行時間分析中，操取設備 32〇的IR光兀件425可以將紅外光發射到場景上，並且隨 後可以使用感測器（在一些實施例中包括未圖示的感測 器）、例如使用3-D相機426及/或RGB相機428來偵測從 場景中的一或多個目標和物體的表面反向散射的光。在某 些實施例中，可以使用脈衝紅外光，使得可以量測出射光 脈衝和相應的入射光脈衝之間的時間差並將其用於決定 從擷取設備320到場景中的目標或物體上的特定位置的實 體距離。另外，在其他示例性實施例中，可將出射光波的 相位與入射光波的相位進行比較來決定相移。隨後可以使 用該相移來決定從擷取設備到目標或物體上的特定位置 的實體距離。 根據另一示例性實施例，可使用飛行時間分析，藉由經 由包括例如快門式光脈衝成像在内的各種技術來隨時間 分析反射光束的強度，以間接地決定從擷取設備32〇到目 標或物體上的特定位置的實體距離。 18 201227575 在另一示例性實施例中，擷取設備320可使用結構化光 來擷取立體資訊。在此類分析中，圖案化光（即，被顯示 為諸如網格圖案、條紋圖案，或不同圖案之類的已知圖案 的光）可經由例如IR光元件424被投影到場景上。在落 到場景中的一或多個目標或物體的表面上之後，作為回 應’圖案可變形。圖案的此種變形可由例如3_D相機426 及/或RGB相機428 (及/或其他感測器）來操取，且隨後 可被分析以決定從擷取設備到目標或物體上的特定位置 的實體距離。在一些實施例中，IR光元件425與相機426 和428分開’使得可以使用三角量測來決定與相機426和 428相距的距離。在一些實施例中，擷取設備2〇A將包括 感測IR光的專用IR感測器或具有IR濾光器的感測器。 根據另一實施例，擷取設備320可包括兩個或兩個以上 實體上分開的相機，該等相機可從不同角度查看場景以獲 得視訊立體資料，該視訊立體資料可被解析以產生立體資 訊。亦可使用其他類型的立體圖像感測器來建立立體圖 像。 操取設備320亦可以包括話筒43 0，該話筒43 0包括可 以接收聲音並將其轉換成電信號的轉換器或感測器。話筒 43〇可用於接收亦可由計算系統312來提供的音訊信號。 在一示例性實施例中，擷取設備320可進一步包括可與 圖像相機元件423通訊的處理器432。處理器432可包括 可執行指令的標準處理器、專用處理器、微處理器等，該 等指令例如包括用於接收立體圖像、產生適當的資料格式 19 201227575 (例如，訊框）並將資料傳送到計算系統312的指令。 擷取設備320可進一步包括記憶體434，該記憶體434 可儲存由處理II 432執行的指令、& 3_〇相機及/或臟 相機所操取的圖像或圖像訊框，或任何其他合適的資訊、 圖像等等。根據-示例性實施例，記憶體434可包括隨機 存取記憶體（RAM)、唯讀記憶體（R〇M)、快取記憶體、 快閃記㈣、硬碟或任何其他合適的儲存元件。如圖5所 示’在-個實施例中，記憶體434可以是與圖像擷取元件 423和處理器432通訊的單獨元件。根據另一實施例，記 憶體元件434可被整合到處理器432及/或圖像擷取元件 422 中 〇 436與計算系統3 12通訊。 USB連接、火線連接、乙太 及/或諸如無線802.11b、 揭取設備320經由通訊鍵路 通訊鏈路436可以是包括例如 網路電纜連接等的有線連接 個」g、8〇2.Ua《 8〇2.Un連接等的無線連接。根據 個貫施例’計算系統312可以經由通訊鏈路以向棟取 備320提供可用於決定例如何時擷取場景的時鐘。另外 操取設備320經由通訊鏈路4 _ 塔436將由例如3-D相機426 /或RGB相機428擷取的 頁巩和視訊（例如RGB) 像如供給中樞計算系統12。 視訊FWh 〃 仕個實施例中，立體圖像: =訊圖像Μ母秒3G訊框的逮率來傳送但是亦可以使] /、他訊框速率。計算系統312 型、立俨次4 ⑨傻J以建立模型並使用4 體貝訊，以及所擷取的圖像來 文字處理程式等的應用及/或使化身㈣幕上:諸如遊戲5 牙及愛幕上角色動畫化 20 201227575 計算系統312包括立體圖像處理和骨架追蹤模組45〇， 該模組使用立體圖像來追蹤可被擷取設備32〇的立體相機 功能偵測到的一或多個人。立體圖像處理和骨架追蹤模組 450向應用453提供追蹤資訊，該應用可以是視訊遊戲、 生產性應用、通訊應用、（執行此處描述的程序的）互動 式軟體或其他軟體應用等。音訊資料和視訊圖像資料亦被 提供給應用452和立體圖像處理和骨架追蹤模組45〇。應 用452將追縱資訊、音m資料和視訊圖像資料提供給辨識 器引擎454。在另一實施例中，辨識器引擎454從立體影 像處理和骨架追蹤模組450直接接收追蹤資訊’並從擷取 5又備320直接接收音訊資料和視訊圖像資料。 辨識器引擎454與過濾器46〇、462、464 ........ 46( 的集合相關聯，每一過濾器包括關於可由擷取設備320偵 測的任何人或物體執行的姿勢、動作或狀況的資訊。例 如，來自擷取設備320的資料可由過濾器46〇、462、 464、 群組使 466來處理，以便辨識一個使用者或一 用者何時執行了一或多個姿勢或其他動作。該等姿勢可與 應用452的各種控制、物件或狀況相關聯。因&，計算系 統312可以將辨識器引擎454和過攄器一起用於解譯：追 縱物體（包括人）的移動。 棟取，備320向計算系統312提供RGB圖像（或其他格 式或色衫空間的視訊圖像）#立體圖像。立體圖像可以是 複數個觀測到的像素，其中每個觀㈣的像素具有觀測到 的深度值。例如，立體圖像可包括所揭取的場景的二維 >5 21 201227575 (2-D)像素區域，其中該2_D像素區域中的每個像素皆 可具有深度值，諸如所擷取的場景中的物體與擷取設備相 距的距離。計算系統312將使用RGB圖像和立體圖像來追 蹤使用者或物體的移動。例如，系統將使用立體圖像來追 蹤人的骨架。可以使用許多方法以經由使用立體圖像來追 蹤人的骨架。使用立體圖像來追蹤骨架的一個合適的實例 在2009年1〇月21曰提出申請的美國專利申請案第 12/603,437 號「pose Tracking Pipeline (姿態追蹤管線）」 (以下稱為437申請案）中提供，該申請的全部内容以引 用方式併入本文。‘437申請案的程序包括：獲取立體圖 像；對資料進行降採樣；移除及/或平滑化高方差雜訊資 料；辨識並移除背景；及將前景像素中的每個指派給身體 的不同部位◊基於該等步驟，系統將使一模型擬合到該資 料並建立骨架。該骨架將包括一組關節和該等關節之間的 連接。亦可使用用於追蹤的其他方法。在下列四個美國專 利申請案中亦揭示了合適的追蹤技術，該等專利的全部内 容皆以引用方式併入本文：於2009年5月29曰提出申請 的美國專利申請案第 12/475,308 號「Device for Identifying and Tracking Multiple Humans Over Time (用於隨時間辨 識和追蹤多個人類的設備）」；於2010年1月29日提出申 請的美國專利申請案第12/696,282號「Visual Based Identity Tracking (基於視訊的身份追蹤）」；於2009年12 月18日提出申請的美國專利申請案第12/641,788號 「Motion Detection Using Depth Images (使用立體圖像的 22 201227575 運動偵測）」；及於200Q t 1 Λ PI rr , 」 Ζυ〇9年1()月7日提出申請的美國專利 申請案第 12/575,388 號「Human Tracking System (人類追 縱糸統）」。 辨識器引擎454包括多個過濾器46〇、462、464 ........ 466來決疋姿勢或動作。過渡器包括定義姿勢 '動作或狀 況以及該姿勢、動作或狀況的參數或元資料的資訊。例 如包括隻手從身體背後經過身體前方的運動的投擲可 被只施為包括表不使用者的一隻手從身體背後經過身體 刖方的運動的資訊的姿勢，因為該運動將由立體相機來擷 取。隨後可為該姿勢設定參數。當姿勢是投掷時，參數可 以是該手必須達到的閾值速度、該手必須行進的距離（絕 對的或相對於使用者的整體大小），以及辨識器引擎對 發生的該姿勢的置信度評級。用於姿勢的該等參數可以隨 時間在各應用之間、在單個應用的各上下文之間，或在一 個應用的一個上下文内變化。支援的姿勢的另一實例是指 向使用者介面上的項目。 過濾器可以是模組化的或是可互換的。在—個實施例 中，過濾器具有多個輸入（該等輸入中的每一個具有一類 里）以及夕個輸出（該等輸出中的每—個具有一類型）。 第一過濾器可用具有與第一過濾器相同數量和類型的輸 入和輸出的第二過濾器來替換而不更改辨識器引擎架構 的任何其他態樣。例如，可能具有用於驅動的第一過濾 二該第過;慮器將骨架資料作為輸入並輸出與該過濾器 相關聯的姿勢正在發生的置信度和轉向角。在希望用第二 23 201227575 驅動過濾器來替換該第一驅動過濾器的情況下（此可能是 因為第二驅動過濾器更高效且需要更少的處理資源），可 以藉由簡單地用第二過濾器替換第一過濾器來如此做，只 要第二過壚器具有同樣的輸入和輸出—骨架資料類型的 一個輸入’以及置信度類型和角度類型的兩個輪出。 過濾器不需要具有參數。例如，返回使用者的高度的「使 用者高度」過濾器可能不允許可被調節的任何參數。備選 的「使用者高度」過濾器可具有可調節參數——諸如在決 定使用者的高度時是否考慮使用者的鞋、髮型、頭飾以及 體態。 對過濾器的輸入可包括諸如關於使用者的關節位置的 關節資料、在關節處相交的骨所形成的角度、來自場景的 RGB色洛寊料、以及使用者的某一態樣的變化速率等内 谷。來自過濾器的輸出可包括諸如正作出給定姿勢的置信 度、作出姿勢運動的速度，以及作出姿勢運動的時間等内 容。 辨識器引擎454可以具有向過濾器提供功能的基本辨識 器引擎。在一個實施例中，辨識器引擎454實施的功能包 括：追蹤所辨識的姿勢和其他輸入的隨時間輸入 (inpUt_over_time)存檔；隱藏式馬可夫模型實施例（其 中所建模的系統被假定為馬可夫程序——其中當前狀態封 裝了用於決定將來狀態的任何過去狀態資訊，因此不必為 此目的而維護任何其他過去狀態資訊的程序—該程序具有 參數，並且隱藏參數是從可觀察資料來決定的）；及 24 201227575 求解姿勢辨識的特定實例的其他功能。 過濾器460、462、464 ........ 466在辨識器引擎454 之上載入並實施，並且可利用辨識器引擎454提供給所有 過濾器460、462、464 ........ 466的服務。在一個實施 例中，辨識器引擎454接收資料來決定該資料是否滿足任 何過濾器460、462、464 ........ 46ό的要求。由於該等 所提供的諸如解析輸入之類的服務是由辨識器引擎454一 次性提供而非由每個過濾器46〇、462、464 ........ 466 提供的，因此此類服務在一段時間内只需被處理一次而不 是在該時間段對每個過濾器處理一次，因此減少了決定姿 勢所需的處理。 應用452可使用辨識器引擎454所提供的過濾器46〇、 462 ' 464 ........ 466，或者其可提供其自身的、插入到 辨識器引擎454中的過濾器。在一個實施例中，所有過濾 器具有賦能該插入特性的共用介面。此外，所有過遽器可 利用參數，因此可使用以下早個姿勢工具來診斷並調節整 個過濾器系統。 關於辨識器引擎454的更多資訊可在2〇〇9年4月13曰 提出申請的美國專利申請案第12/422,661號「Gesture ReC〇gnizer System Architecture (姿勢辨識器系統架構）」 中找到，該申請案的全部内容以引用方式併入本文。關於 辨識姿勢的更多資訊可在2009年2月23曰提出申請的美 國專利申凊案第12/391，150號「Standard Gestures (標準 姿勢）」；及2009年5月29曰提出申請的美國專利申請案 25 201227575 第12/474,655號「Gesture Tool (姿勢工具）」中找到，亡亥 兩個申請案的全部内容皆以引用方式併入本文。 上文參考圖5和圖6描述的系統允許使用者藉由使用姿 勢以用使用者的手指向泡而不碰觸電腦滑鼠或其他電腦 定點硬體來互動或選擇警告（例如，圖1B和圖ic的泡 22)。該使用者亦可使用一或多個姿勢來與圖1的區域4〇 (或其他使用者介面）互動。 圖6圖示可用於實施計算系統312的計算系統的示例性 實施例。如圖6所示，多媒體控制台5〇〇具有帶有一級快 取記憶體502、二級快取記憶體5〇4和作為非揮發性儲存 器的快閃ROM (唯讀記憶體）506的中央處理單元（cpu) 501。一級快取記憶體502和二級快取記憶體5〇4臨時儲 存資料並因此減少記憶體存取週期數，由此改進處理速度 和傳輸量。CPU 501可以被配備為具有多於一個的核，並 且由此具有額外的一級和二級快取記憶體5〇2和5〇4。快 閃ROM 506可儲存在多媒體控制台5〇〇通電時在啟動程序 初始化階段載入的可執行代碼。 圖形處理單元（GPU) 508和視訊編碼器/視訊編解碼器 (編碼器/解碼器）514形成用於高速和高解析度圖形處理 的視訊處理管線。經由匯流排從圖形處理單元5〇8向視訊 編碼器/視訊編解瑪器514運送f料。視訊處理管線向奶

S 訊/視訊）埠540輸出資料’用於傳輪至電視或其他顯 不器。記憶體控制器510連接到GpU5〇8以促進處理器存 取各種類型的記憶體512，諸如但不局限於ram(隨機存 26 201227575 取記憶體）。 夕媒體控制台500包括優選地在模組518上實施的1/〇 控制器520、系統管理控制器522、音訊處理單元523、網

路（或通訊）介面524、第一 USB主控制器526、第二USB 控制器528和刖面板1/〇子部件53〇。USB控制器和 528用作週邊控制器542(1)_542(2)、無線轉接器548 (通 訊介面的另一實例和外部記憶體設備546 (例如快閃記 憶體、外部CD/DVD R0M驅動器、可移除媒體等，其中 任何一個可以是非揮發性儲存器）的主機。網路介面524 及/或無線轉接器548提供對網路（例如，網際網路、家用 網路等）的存取，並且可以是包括乙太網路卡、數據機、 藍芽模組、電纜數據機等的各種不同的有線或無線轉接器 凡件中任何~種。 提供系統記憶體543來儲存在啟動程序期間载入的應用 貝料。提供媒體驅動器544且其可包括DVD/CD驅動器、 藍光驅動器、硬碟機，或其它可移除媒體驅動器等。（其 中任何一個可以是非揮發性儲存器）。媒體驅動器144可 1内建或外置於多媒體控制台5〇〇。應用資料可經由媒體 驅動器544存取，以由多媒體控制台5〇〇執行、重播等。 媒體驅動器544經由諸如串列ATA匯流排或其他高速連接 (例如IEEE !394 )等匯流排連接到1/〇控制器52〇。 。系統管理控制器522提供涉及確保多媒體控制台5〇〇的 可用性的各種服務功能。音訊處理單元523和音訊編解碼 器532形成具有高保真度和立體聲處理的對應的音訊處理 27 201227575 管線。音訊資料經由通訊鏈路在音訊處理單元523與音訊 編解瑪器5 3 2之間傳輸。音訊處理管線將資料輸出到A/γ 埠540以供外部音訊使用者或具有音訊能力的設備再現。 前面板I/O子部件530支援暴露在多媒體控制台1〇〇的 外表面上的電源按钮550和彈出按紐552以及任何LED(發 光二極體）或其他指示器的功能。系統供電模組536向多 媒體控制台100的元件供電。風扇538冷卻多媒體控制台 500内的電路。 CPU 501、GPU 5 08、記憶體控制器51〇，和多媒體控制 台500内的各個其他元件經由一或多條匯流排互連，包括 串列和平行匯流排、記憶體匯流排、週邊匯流排，和使用 各種匯流排架構中任一種的處理器或區域匯流排。作為實 例，該等架構可以包括週邊元件互連（pci )匯流排、 PCI-Express匯流排等。 當多媒體控制台500通電時，應用資料可從系統記憶體 543載入到記憶體512及/或快取記憶體、π*令並在 CPU 5G1上執行。應用可呈現在導覽到多媒體控制台彻 上可用的不同媒體類型時提供一致的使用者體驗的圖形 化使用者介面。在操作中，媒體驅動器544中包含的應用 及/或其他媒體可從媒體驅動器544開始或播放，以向多媒 體控制台500提供額外功能。 多媒體控制台500可藉由將該系統簡單地連接到電視機 或其他顯示器而作為獨立系統來操作。在該獨立模式中， 多媒體控制台500分耸 ^ . 允許—或多個使用者與該系統互動、看„ 28 201227575 電影’或聽音樂。然而，巧 、而隨者經由網路介面524或無線轉 接器548而可用的寬頻連線的整合，多媒體控制台500可 進-步作為較大網路社群中的參與者來操作。另外，多媒 體控制台則可以經由無線轉接器⑷與處理單元4通訊。 當多媒體控制台_通電時，可以保留設定量的硬體資 源以供多媒體控制台作業系統作系統使用。該等資源可包 括記憶體、CPU和GPU週期、網路頻寬等等的保留。因 為該等資源是在系統啟動時保㈣，所精保留的資源從 應用的角度而言是不存在的。特定言之，記憶體保留優選 地足夠大，以包含啟動核心、並行系統應用程式和驅動程 式。CPU保留優選地為恆定，使得若所保留的cpu用量不 被系統應用程式使用，則閒置執行緒將消耗任何未使用的 週期。 對於GPU保留，顯示由系統應用程式產生的輕量訊息 (例如’彈出式視窗）’該等顯示是藉由使用GPu中斷來 排程代碼以將彈出式視窗呈現為覆蓋圖。覆蓋圖所需的記 憶體量取決於覆蓋區域大小，並且覆蓋圖優選地與螢幕解 析度成比例縮放。在並行系統應用使用完整使用者介面的 情況下，優選使用獨立於應用解析度的解析度。定標器可 用於設置該解析度，從而消除了對改變頻率並引起TV再 同步的需求。 在多媒體控制台500啟動且系統資源被保留之後，執行 並行系統應用來提供系統功能。系統功能被封裝在於上述 所保留的系統資源中執行的一組系統應用中。作業系統核 29 201227575 心辨識是系統應用執行緒而非遊戲應用執行緒的執行 。系統應用優選地被排程為在預定時間並以預定時間間 隔在CPU 501上運行’以便為應用提供—致的系統資源視 圖。進行排程是為了把由在控制台上運行的遊戲應用程式 所引起的快取記憶體中斷最小化。 田並仃系統應用需要音訊時，則由於時間敏感性而將音 减理非同步地排程給遊戲應用。多媒體控制台應用程式 I理器（如下所述）在系統應用程式有效時控制遊戲應用 程式的音訊水平（例如，靜音、衰減）。 任選的輪人裝置（例如’控制器542⑴和⑷⑺）由遊 戲應用，式和系統應用程式共享。輸入裝置不是保留資 源’而疋在系統應用程式和遊戲應用程式之間切換以使兑 各自具有設備的焦點。應用管理器優選地控制輸入串流= 切換’而無需知曉遊戲應用的知識’並且驅動程式維護有 關焦點切換的狀態資訊。擷取設備32〇可以經由刪控制 器526或其他介面來為控制台5〇〇定義額外的輸入裝置。 在其他實施例中，計算系統312可以使用其他硬體架構來 實施。沒有一種硬體架構是必需的。 在圖3-6描述了用於實施與此處描述的娛樂内容的互動 的各個硬體元件的同時’圖7提供了用於提供互動的系統 的-個實施例的軟體元件中的一些的方塊圖。播放引擎 600是在客W上運行的軟體應用，其呈現此處描述 的互動式内容。在-個實施例令，播放引擎600亦可播放 適虽的電影、電視節目等。播放引擎600將根據下文描述

S 30 201227575 的程序使用各組層來提供互動。 該等層可來自不同的源。各層的— 丨回你包括底層内容的 源610。例如，若被提供給使用者 幻履層内容是電影，則 該底層内容的源是該電影的創造者 ^工作室或分發者。該 内容源610將提供内容本身612 ( 曰 、、例如，電影、電視節 目......）和肷入該内容中的—組一或客徊@ u 4夕個層614。若戶被 串流傳輸到播放引擎600,則所嵌 曰 旧層614可以與内容 12在相同的串流中。若内容612 、 仕上’則所嵌入 的層614可以與該電影或電視節 w辟孖在相同的DVD上 及/或相同的刪G資料串流中。該等層亦可被騎内容 ^列如，電影、電視節目等）分開地串流傳輪、料、儲 存或以其他方式提供。内容源61〇 ^ 力』徒供實況或動態層 16。實況層會是在實況發生（ 立的爲& $ a 髖月赛事）期間建 的層。動態層是由内容源、由播放 0 丨羊或其他實體在內 谷呈現期間在運作中動態地建立 如Μ 例如，在視訊遊戲 ,右某個事件在視訊遊戲中發 事#音％L β = 貝〗可為該事件產生 替〇 用者了以回應於該事件而與該系統互 動該事件資料可由播放引擎000基於兮g 生的拿杜#土於該視訊遊戲中正發 玍的事件動態地產生。例如，若 中驊陂日丨, 右視訊遊戲中的化身在問答 "，，可提供允許使用者獲得有關該問答及 的更多資訊的互動式内容。 。及/或該化身 二的另-源可以是協力薇商。例如，圖7圖示包括層卜 曰 層3......的額外屛618，兮笪思-r rf. 以貝汁層61S ,該等層可以來自 以一定蒈用丄 J充賈地或 疋賈用（預先支付、運作中支付、 又1丁玎閲等）向播放引 31 201227575 擎600提供該等層的—或多個協力廠商。 此外’可以存在與播放引擎600相關聯的系統層。例如， 播放引擎600可包括嵌入在播放引擎6〇〇或運行播放引擎 600的計算設備的作業系統中的某些系統層。—個實例涉 及即時訊息傳遞。即時訊息傳遞應用可以是計算設備或作 業系統的一部分並且可以被預先配置成具有—或多個層 從而當使用者接收到即時訊息時，回應於該即時訊息（及 /或該即時訊息的内容）產生事件並且可提供互動。 圖7亦圖示使用者設定檔資料622，該等使用者設定檔 資料可以是針對一或多個使用者的。每個使用者可包括其 自身的使用者設定檔^使用者設定檔可包括與使用者有關 的個人和人口統計資訊。例如，使用者設定檔可包括（但 不限於）姓名、年齡、生曰、地址、喜好、厭惡、職業、 雇主、家庭成員、朋友、購買歷史、體育參與歷史、偏好 等等。 向層過濾器630提供不同類型的層61〇、616、618和 620。此外，向層過濾器63〇提供使用者設定檔資訊622。 在一個實施例中，層過濾器63〇基於使用者設定檔資料來 過濾所接收的層。例如，若正在觀看的特定電影與2〇個 層相關聯，則層過濾器630可基於與和播放引擎6〇〇互動 的使用者相關聯的使用者設定檔資料來過濾該2〇個層從 而只向播放引擎600提供12個層（或另一數目的層）。在 一個實施例中，層過濾器630和播放引擎6〇〇是在客戶端 200上實施的。在另一實施例中，層過濾器63〇是在内容 32 201227575 伺服器204中或在另一實體處實施的。 内容612 (例如，電影、電視節目、視訊、歌曲等）和 各層可在相同的串;^ (或其他封包）中被提供到播放引擎 副。替代地，該等層中的—或多個可在與向播放引擎㈣ 提供内容612的串流不同的-組-或多個串流中提供給播 放引擎600。各個層彳與内容612在相同時間、在内容612 之前或在内容612被提供給播放引擎_之後被提供給播 放引擎6GG。例如’—或多個層可被本地預儲存到播放引 擎600。在其他實施例中，一或多個層可被儲存在伴隨引 擎632上，該伴隨引擎632亦與播放引擎_和層過遽器 630通訊，從而伴隨引擎㈣可向播放引擎_提供該等 層並從過濾器630接收層。 圖8是圖示層的示例性結構的方塊圖。如可以看出的， 該層包括多個事件（事件i、事件i+i、事件的·.·.·.）的 事件資料。在—個實施例中，每個事件與其自身的-喊 碼相關聯。例如，事件i與代碼』相關聯，事件Μ斑代 碼^關聯’而事件的與代碼瓜相關聯。每組代㈣將 包括一或多個内容項目（例如，視訊、圖像、音訊等）。 :如’代碼j被圖示為具有包括網頁、音訊内》、視訊内 谷、圖像内容、用於勃杆推 止 土 執仃進—步互動的額外代碼、遊戲（例 如，視訊遊戲）， 3-、他服務在内的内容項目。在一個示 例性實施例中’每個事件識別符（參見圖WO將包括 到相關聯的代碼的一或容彻收^ 一個扎裇或其他引用，且該相關聯 代碼將包括到該内容曰沾

S 門谷項目的一或多個指標或其他引用。每 33 201227575 •组代碼（你n , 】如’代碼j、代碼k、代碼m)包括可建立圖 ic的區域4λ _ 、圖2的區域1〇4或圖2的區域1〇6的使用 ~r~ t» 或多個軟體模組’以及被執行以回應於使用者 選擇區域ιλ 、104或106中的介面項目中的任何一個而執 仃功此的—或多個模組。該等組代碼可以是本領域已知的 任何電腦語言，包括高級程式設計語言和機器級程式設計 語古。户 個實例中’該等組代碼是使用java代碼編寫的。 如同上文解釋的，可以構想，特定程式（音訊、視訊' 電視、電影等）可包括多個層。在一個實施例中，該等層 可以疋分層的。圖9提供了分層的一組層的實例。每個層 具有對其父層的引用以使該分層結構可被播放引擎6〇〇或 另實體理解。例如，播放引擎600會辨識特定分層結構 中的所有的層，並隨後決定該分層結構中的哪一部分涉及 即將被觀看的特定程式。 ’ 在圖9的實例中，在該分層結構的頂端處是「提供者」 ^本層可由製造者、工作室、生產公司、廣播者或電視 $建立。該層意欲與來自該提供者的每個節目—起播放。 可以預期，該提供者將分發許多不同的電視系列（例如’ '歹丨1系列2......)。該「提供者」層將被用來與該提供 者的每個系列的每個節目互動。該分層結構亦圖示許多 「系列」層（例如，系列1、系列2……）。每個「系列 層是要被用於該系列中的每個節目的互動的一組事件。在 「系列」下方，每個系列的每一劇集將具有其自身的一址 —或多個層。圖9圖示劇集層（例如，劇集丨層、劇集2 34 201227575 層、劇集3層......）。在一個實例中，劇集2 (使用圖9的 分層結構）將包括三個層。第一層是專門用於並且只用於 劇集2的層。第二層是用於系列1中的所有劇集的層。要 使用的第三層是用於由該特定提供者分發的每個系列的 每個劇集的層。 圖10提供了用於定義層的取樣代碼。在一個實施例中， 用於定義層的代碼是用XML格式提供的；但是，亦可使 用其他格式。XML代碼被串流傳輸到或以其他方式儲存在 播放引擎600上或其附近。圖1〇的代碼為播放引擎6〇〇 提供足夠的資訊來建立圖1A-C和2中圖示的各個事件識 別符。看圖10的代碼，第一行提供層ID。此是該層的全 域唯一識別碼。如所預期的，層可隨時間演進，代碼的第 二行提供該層技術的版本號。第三行指示層的類型。如上 文所論述的，某些層可以是特定類型的層（例如，購物、 資訊、遊戲等）。另一種層類型可以是混合層（例如，購 物以及資訊和遊戲，等等）。第四行指示人口統計值。可 將該人口統計值與和該特定節目互動的使用者的使用者 設定檔的内容進行比較，以決定該層是否應#被過遽掉或 進入到該互動。在—個實施例中，使用者設定檔的所有可 能排列’或-組排列的子集，被指派識別碼或代碼號（諸 如圖10中圖示的彼_個）。—些層被時間同步，而其他的 則/又有目1 〇的代瑪指示該層是否被時間同步（時間同 步吉γ」）。該層亦可指示該層能夠在什麼軟體及/或硬體 平臺上操作。該層亦將包括指示該父層在各層的分層結構 35 201227575 中的全域或唯—10的「父」搁位。該層建立者亦可㈣ 該等攔位來指定其對該層在何處出現的偏好―所以若在 該生態系統中存在主要設備和伴隨設備，則該建立者可指 定其希望該特定事件只出現在該主要螢幕上或只出現在 該次要螢幕上（例如，該建立者可能想要像益智遊戲此類 東西出現在除了共帛#幕外的更私人的營幕上）。 上文論述的® 10的資料被稱為應用於層的所有事件的 標頭資訊。在標頭資訊之後，將定義一系列事件。每個事 件對應於-事件識別符（如圖i和圖2所圖示的）。圖1〇 的代碼僅圖示一個具有等於 「0305E82C-498A-FACD-A876239EFD34」的事件 m 的事 件的代碼。圖1G的代碼亦指示該事件是否是可操作的。 若事件是可操作的，則將提供警告’並且若該警告被互 動’則將使用該「事件ID」來存取與該事件1]〇相關聯的 代碼。在一個實施例中，與該事件相關 該「描述搁位」所定義的文字的文字對話框二 狀）。事件可以是可見或不可見的，#「可見」攔位所指 示的。 在個只施例中，表格將儲存事件ID到代碼的映射。 在另一實施例中，該事件ID將是儲存該代碼的檔案的名 稱。在另一實施例中，儲存該代碼的檔案亦將儲存該事件 ID。亦可使用用於將事件ID關聯到代碼的其他手段。 圖11A和圖11B提供了描述用於提供與此處描述的内容 互動的程序的一個實施例的流程圖。圖11A和圖11B的步 36 201227575 驟由播放引擎600執行或在播放引擎600的方向上執行。 在—些實施例中，額外元件亦可用於執行圖11A和圖1 ιΒ 的一或多個步驟。在圖11A的步驟64〇中，該系統將初始 化内容的重播。例如，使用者可依須求預訂電視節目或電 影、調諧到一頻道上的節目或電影中、從網站或内容提供 方請求視訊或音訊等等。該使用者所請求的適當的内容將 被存取。任何必須的許可證將被獲得。任何必須的解密將 被執行以使得所請求的内容將準備好重播。在步驟64〇的 一個實施例中’客戶端計算設備將請求要被串流傳輪 的内容。 在步驟642中，該系統將搜尋該内容内的層。例如，若 該内令正被串流傳輸，則該系統將決定是否任何層在相同 的串流中。若該内容在DVD上 '在本地硬碟上或在其 =資料結構上’則該系統將檢視以查看是否存在嵌入該内 容中的任何層。在㈣644巾，該系統將尋找與該内容分 開地儲存在本機儲存器中的任何層。例如，該系統將檢視 本地硬碟機、資料庫、伺服器等等。在步驟646中，該系 統=從—或多個内容伺服器2〇4、創作設備2〇8、實況插 備21〇、内谷儲存器2〇6或其他實體請求層。在步驟 642-646 Φ ,马r β。 k ’、、、’正使用該内容（例如，電視節目電 歌曲等）的唯—ID來辨識與該内容相關聯的 二楗供内纟m的情況下，存在多種發現該等層的方 現戶=’查閱資料表料）。若對於料定内容沒有發 曰，驟648 ) ’則在步驟65〇巾，在步驟“ο中已初始 37 201227575 化的内容被重播而不帶任何層。 若該系·统的確^ 了與#要向使用者#放的内容相關 的ύ則在步驟652中該系統將存取與客戶端設備200互 動的-或多個使用者的使用者設定檔。藉由決定什麼使用 者且亲（例如，使用使用者名和密碼或其他認證手段）、 藉由使用上文描$的追蹤系统來基於可見特冑或追蹤來 自動辨識使用纟、基於已知與某些使用者相關聯的伴隨設 備的出現的自動㈣，或其他自動或手動手段，該系統可 辨識在與客戶端設備互動的使用者。基於在步驟M2 中存取的使用者設定檔，在步驟642 646中收集的所有層 被過濾以辨識滿足該使用者設定檔資料的彼等層。例如， 若該使用者設定檔指示該使用者厭惡購物，則被辨識為講 .物層的任何層將被從所收集的組中過淚』。若較用者是 兒童，則具有成人内容的任何層將被過濾出。若在該等過 濾之後，沒有層剩下（步驟654)，則在步驟64〇中已初始 化的内容在步驟650中被重播而不帶任何層（例如，沒有 互動）。若沒有發現使用者設定檔，則將使用預設資料。 /主思，過慮亦可以基於設備能力、一天中的時間季節、 日期、實體位置、IP位址和預設語言設置中的任何一個或 其組合來執行β 若過濾的結果的確包括層（步驟654 )，則在步驟656中 播放引擎600將牧舉該等層。亦即，播放引擎6〇〇將以該 XML代碼（或其他描述）對所有層讀取。若該等層中的任 何一個是持久層（步驟658)，則在步驟66〇中該等層將被 38 201227575 立即實施。持久層是不被時間同步的層。因此，與該層相 關聯的代碼被立即執行而不等待任何事件發生。對於並非 敎的彼等層（步驟658 )，則在步驟㈤中將彼等層與該 内奋同步如同上文論述的，彼等層包括時間截記。在一 個實施例中，時間戳記是相對於電影的開頭的。因此，為 了將層的事件同步到電影（或其他内容），該系統必須辨 識該電影的開始時間並使得所有其料間戳記相對於該 開始時間。在其中該内容為非線性（例如，遊戲）的情況 下，可針對事件觸發器而不是時間戳記來同步層事件。才 步驟664中，所有層被組合成資料結構（「層資料結構」） 層資料結構可以用本領域的一般技藝人士已知的任何男 式來實施。不要求用於該資料結構的任何特定的結構或^ 案。層貢料結構的目的是允許播放引擎6〇〇準確地將事个 識別符添加到上文圖示的等時線（或其他使用者介面）上 在步驟666中，播放引擎600將建立並沒染該等時線（令 如，在圖1A_C中圖示的等時線）。作為步驟666的一部分 對於在步驟664巾被添加到該資料結構的每個層的每㈣ 件，事件識別符將被添加到等時線。在_些實施例中，^ 等事件中的一些將不包括事件指示符。在其他實施例中， 將沒有料線及/祕沒有事件識別符。纟㈣_ _ q 使用者初料求的内容的重播開始。在步驟⑽巾，内$

S 的—wu者m數量的視訊訊㈣ 楗供給使用纟。在該部分在步驟670中被提供之後，等s 線在步驟672中被更新。例如，等時線12的陰影部分Ί 39 201227575 將被放大（參見圖1A)。在步驟674巾，該系統將決定是 否存在與等時線的當前位置相關聯的事件識別符。即，該 系統將自冑決定是否存在具有肖被提供給使用者的内容 的當刖流逝時間相對應的時間戳記的事件。在—個示例性 只施例中基於與該層相關聯的事件資料中的時間戳記， 為每個事件產生中斷。因此，播放引擎_可自動決定事 件已發生。 若沒有事件已發生，則在步驟676中決定該内容的重播 疋否兀成。若重播完成，則在步驟678中，結束重播。若 重播/又有元成’則該程序循環回步驟670並且呈現該内容 的下一部分。 若播放引擎60〇的確自動決定事件發生（在步驟074 中），則在步驟680中，該重播引擎將試圖更新該層。有 可能的是：層自從被下載到播放引擎6〇〇之後已被更新。 因此，若更新的版本存在，則播放引擎6〇〇將試圖下載該 更新的版本。在步驟682中，該系統將為剛剛發生的事件 提供警告。例如，文字對話框將被提供在電視螢幕上。在 步驟684中，決定使用者是否與警告互動。例如，使用者 可使用滑鼠來點擊該文字方塊、使用姿勢來指向該文字方 塊、5兒出預定單詞、或使用其他手段來指示對該警告的選 擇。若使用者沒有與該警告互動（在步驟684中），則在 步驟686中在預疋時間量之後將該警告移除並且該程序循 環回步驟670以呈現該内容的另一部分。 若客户端200決定該使用者的確與該警告互動（步驟 201227575 θ ^將使用事件ID來獲得與該事件ID相關 叶、碼並弓1動該代瑪來對該客戶端進行程式設計以實 施該互動式内全日固 ( >見圖1C的區域40、圖2的區域1〇4 及/或圖2的區域.. )°在步驟690中引動代碼以後，該 程序將循環回步驟67〇以呈現内容的下一部分。在一個實 ±例中如同上文解釋的，使用者所原始請求的内容將繼 :、被播，同時使用者有能力與該代碼互動。在另一實施 ' 田使用者與該代碼互動時該内容將被暫停。在另一 替代方案中’作為對主客戶端計算設帛2GG的添加或替 代’該代碼被用於程式設計伴隨設備。在任一情況下回 應於接收到使用者與該警告的互動，使用該代碼以及與該 代碼相關聯的任何音訊’視訊内容項目來對將提供互動的 计异設備進行程式設計。將提供互動的計算設備或者生態 系、”克中的任何其他計算設備可受影響。例如，使用者可能 正在使用伴隨設備來進行益智遊戲但是主螢幕上顯示時 向觀+中的其他人顯示該使用者在必須用答案來回 應之前尚剩下多少時間。在此情況下，該主螢幕不是將提 供該互動的叶算設備（該使用者接收了益智遊戲並將經由 其打動電話伴隨設備玩該遊戲），但是該主螢幕受該使用 者的互動的影響。基本上’該生態系統中的任何螢幕可受 影響。 可以構想’一層將具有多個事件。每個事件將具有不同 代碼以及與彼等事件相關聯的不同組音訊/視訊内容項 目。在一個實例中，該系統可自動決定第一事件已發生、 201227575 提供針對該第一事件的第一警告並接收針對該第一警告 的使用者互冑。回應於接收到與該第一¥告的使用者互 動，將使用該代碼和與該第—事件相關聯的音訊/視訊項目 來對客戶端設備2〇0(或一或多個伴隨設備）進行程式設 m該系統將自動決定第二事件已發生並提供針對 該第二事件的第n回應於接收到與該第二警告的使 用者互動，該系統將使用該代碼和與該第二事件相關聯的 音訊/視訊内容來對客戶端設備200 (或伴隨設備）進行程 式設^在許η而不是全部）冑況下’與第二事件相關 聯的軟體和音訊/視訊内容（以—或多财式）*同於與第 一事件相關聯的軟體指令和音訊/視訊内容項目。 在一個實施例中，該系統將顯示來自疊加在等時線上的 同一時間位置處的不同層的多個事件指示符。該使用者將 得到指示該多個事件可用的警告並且其將能夠在各事件 之間切換（例如，經由圖lc的區域4〇或伴隨設備的區域 104和1〇6)。在此情況下，該系統控制彼等區域中的使用 者介面並且不必然控制與所觸發的事件相關聯的代碼。 圖12是參考包括伴隨設備的實施例，描述用於針對事 件引動被指向的代碼的程序的一個實施例的流程圖。圖 的程序提供圖11B的步驟690的一個實施例的更多細節。 在圖12的步驟730中，該系統將存取當前正在與該系統 互動的使用者的使用者設定檔。在步驟732中，該系統將 基於該使用者設定檔來辨識選項的子集Q例如，與事件相 關聯的代碼可包括用於實施互動式使用者介面的多個選 42 201227575 項（例如，圖1C的區域40)。該系統可基於該使用者設定 檔選擇一選項。例如，見圖2,若使用者指示對於選贈女 士服裝的偏好，則可提供用於選靖與電影中的服裝相關聯 的服裝的介面。若該使用者設定檔表達了對男演員和女演 員的偏好，則可提供有關所顯示的女演員而不是服裝的資 訊。在步驟734中，該系統將基於代碼和使用者設定樓來 配置^宣染適當的使用者介面。該使用者介面將用於與客 戶端设備2GG的介面1G(圖1和圖2)相關聯的主螢幕。 在：12的步驟736 [該系統將基於該使用者設定檔 中的貧訊和與該事件相關聯的代碼來配置該伴隨設備的 使用者介面。例如，該代碼可具有針對主螢幕的不同選項 和針對伴隨設備的不同選項並且將使用該使用者設定檔 來：主螢幕選擇該等選項之一並且為該伴隨設備選擇該 等^項之—。在—個實例中，可能需要更加個別的使用者 介面可被顯示在該伴隨設備上。在步驟738中，客戶端設 備2〇0將向伴隨設備220發送指令（例如，軟體）以對該 伴隨設備進行程式設計以實施該使用者介面並提供此處 描述的互動。亦即’一組按鈕可被顯示並且每個按鈕與回 1選擇該按钮（由该伴隨設備或經由該伴隨設備）所執 行的功能相關聯。該指令可被經由網際網路（例如，使用 ㈣器或服務）間接發送到該伴隨設備或者㈣Wi_Fi、 -外線彳線傳輸等直接發送到該伴隨設備。 在步驟740中，續糸试+ 該系統在該主螢幕、該伴隨設備或兩者 上接收使用者選擇。在牛_ 丄

S 步驟742中，接收到該使用者互動 43 201227575 的所有一或多個設備皆將使用用於該事件的代喝（例如， 軟體指令）來執行所請求的功能。注意，在—些實施例中 將沒有伴隨設備，而在其他實施例中可能有多個伴隨設 備。在圖12的示例性程序中，該伴隨設備（其可以是與 客戶％计异設備200分開的無線計算設備）被基於該代碼 和與回應於接收到上文論述的與警告的使用者互動而被 自動谓測的事件相關聯的音訊/視訊内容項目程式設叶。 圖13是描述用於在多個使用者正與伴隨設備互動或多 個使用者正與同一客戶端設備2〇〇互動時引動由事件指向 的一組或多組代碼的程序的一個實施例的流程圖。在圖Η 的步驟76G中’該系、統將使用先前論述的手段中的任何一 種來自動辨識當前正在並且同時在與該系統互動的—組 使用者。在—個實施例中，例如’上文論述的立體相機可 破用於自動偵測在房間内觀看或傾聽節目的兩個或兩個 以上使用者。在步驟762中，該兩個使用者的使用者設定 檔將被存取。在步驟764中，在用於該事件的代碼中辨識 的可此選項的子集被基於該使用者設定檔來決定（例如， 作為過濾的結果）。在一個實例中，每個使用者將被指派 不同的選項。在另一實例中，該兩個使用者可被指派相同 的選項以用於與該内容互動。 '驟66中，該系統將在該主螢幕（客戶端設備2〇〇 ) 上配置或沒染該使用者介面。例如可能有兩個使用者可 同時起做出的互動。在步驟768中該系統將基於該第 使用者的„又疋檔中的資訊來配置該第一伴隨設備的使”

S 44 201227575 用者介面。在步驟770 +，用於第一伴隨設備的指令被從 客戶端設備200發送到該第一伴隨設備。在步驟772中， 該系統將基於該第二使用者的設定檔中的資訊來配置該 第一伴隨5又備的疋製的使用者介面。在步驟774中，指令 被從客戶端設備200發送到該第二伴隨設備來實施該第二 伴隨没備的定製的使用者介面。被發送到該伴隨設備的指 令包括上文論述的代碼和音訊/視訊項目。回應於該代碼和 音訊/視訊項目，該兩個伴隨設備將實施各個使用者介面， 如在圖2中例示的。 在步驟776巾，該第一伴隨設備的使用者將對所圖示的 項目中的-個做出選擇。在步驟77”，回應於該第一伴 隨設備上的使用者選擇，功能被在該第一伴隨設備上執 打。在步轉78G中’該第二伴隨設備的使用者將對顯示在 該第二伴隨設備上的項目中的一個做出選擇。回應於該選 擇’功能將基於在該第二伴隨設備處的使用者選擇而被執 行。 圖14提供了描述用於接收資料串流的程序的—個實施 例的流程圖。圖14的程序可作為步驟64〇、⑷及/或— 的一部分被執行。在圖14的㈣81〇中，資料串流被接 ㈣812中’決定該資料串流中是否存在任何層。 右談貝料串流中沒有層，則在步驟82()該資料串流的内容 被儲存在緩衝區中以供最終重播。若該資料串流中有層 (步驟812)，則在步驟814巾，將該等層與該内容分離: 在步驟⑽該等層被儲存在上文論述的層資料結構 45 201227575 中。若該内容已經在被呈現（例如，該資料串流是在呈現 該内容的同時接收的），則當前正被圖示的等時線在步驟 818中被更新，以反映所接收的新的一或多個層。所接收 的内容隨後在步驟820中被儲存在缓衝區中以供最終重 播。 圖15是描述用於在實況程式設計期間接收層的程序的 一個實施例的流程圖。實況程式設計的一個挑戰在於：在 該實況發生（live occurrenee)發生之前，事件（例如，第 一事件及/或第二事件）的時序是未知的。因此，該系統可 在運作中接收事件資訊。在一些實施例中，事件的代碼和 音訊/視訊和内容項目在實況發生之前被預先儲存，而在其 他實例中該資訊可在運作中產生及/或提供。當其被預先儲 存時，該層的提供者僅需提供圖1〇中圖示的資料，其佔 用更少的頻寬並且可以被更快地傳送到客戶端2〇〇。 在圖15的步驟850中，媒體和代碼在實況程式設計之 前被傳送到該客戶端設備並被儲存在該客戶端設備上。在 步驟852中’事件在實況程式設計之前被建立。例如，對 於足球赛’電視網路可在賽事期間為各個層建立事件資料 (例如，圖1〇的代碼）並將該事件資料儲存在廣播者的 電腦上。在步驟⑽，在實況節目期間操作者將辨識事件 發生，並且作為回應，傳送適當的事件。例如，操作者所 觀看的足球赛期間的特定播放將具有與其相關聯的； 件’並且該事件將回應於操作者辨識該足 $胥甲的該播放 而被提供到客戶端200。在步驟856中，在

S 尸端s又備2 〇 〇 46 201227575 處即時接收該事件，並將其儲存在上文論述的事件資料注 $中並用其來更新該等時線（如同上文論述的）。在一個 Λ施例中’該内容可向使用者表現得略微延遲（比如說， 幾移），因為在看到内容前需要進行一定量的處理。該時 間延遲應當不报大。圖15的程序可在圖11Α-Β的程序的 執行期間的任何期間執行以提供事件的即時產生。 圖16提供了描述用於在視訊遊戲（或其他活動）期間 動匕、建立事件的程序的一個實施例的流程圖。在步驟_ 中’在運行遊戲之前，該系統將把遊戲邏輯、事件資料、 媒體（音訊/視訊内容項目）和用於該事件資料的代碼載入 到客戶端叹備200。在步驟882 +，該遊戲引擎將執行該 遊戲。作為步驟882的—部分’該遊戲引擎將辨識遊戲期 間的發生並動態建立適#的事件來添加到該層資料結構 並適當地更新等時線。在―個實施例中，冑的事件指示符 可被添加到該等時線中的當前時間，以使該事件立即發 生。該事件是動態❾，⑽該遊戲引擎決定與剛發生的事 件有關的資料並基於剛發生的事件來配置該事件資料。例 如，若在某個遊戲中化身到達高原，則有關該高原的資訊 可被添加到該事件資料。用於互動的選項中的一個可以是 發現有關該特定高原或該特定遊戲的更多資訊，或辨識多 少其他人已經到達了該高原等等。 在另一實例中，兩個化身可在視訊遊戲中搏鬥。若該等 化身令的一個被打敗，則事件可被動態產生以提供與贏得 戰爭的化身、為什麼該化身臝得戰爭、輸給臝得戰爭的相 47 201227575 同化身的其他化身等有關的資訊。巻成 的視訊玩 的事件的不同選 r代地，一 #項可曰 失敗的玩家購買用於教導失敗的玩家 j 乂疋 戍為更好 家的内容。存在許多用於提供動態產生 項。 儘管用結構特徵及/或方法動作專用 』μ &描述了本標 的，但可以理解，所附申請專利範圍中定義的標的不必限 於切特定特徵或動作。更破切而言，上述特定特徵和動 作是作為實施請求項的示例性形式揭示的。本發明的範圍 由所附的申請專利範圍進行定義。 【圖式簡單說明】 圖1A-C圖示了使用者介面。 圖2圖示了三個設備的使用者介面。 圖3疋圖示用於提供互動式内容的系統的各元件的方塊 圖。 圖4圖示了示例性娛樂控制台和追蹤系統。 圖5圖示娛樂控制台和追蹤系統的，個實施例的額外細 節。 圖6是圖示示例性娛樂控制台的元件的方塊圖。 圖7是用於提供互動式内容的系統的/個實施例的軟體 元件的方塊圖。 圖8是可在用於提供互動式内容的系統的一個實施例中 使用的層的符號和抽象表示。 圖9圖不了各層間的分層關係。 a 48 201227575 圖ι〇提供了定義層的代碼的實例。 圖11A和圖11B提供了描述用於提供互動式内容的程序 的一個實施例的流程圖。 圖12提供了用於針對事件引動被指向的代碼的程序的 一個實施例的流程圖。 圖13提供了用於當多個使用者在與伴隨設備互動時針 對事件引動被心向的代碼的程序的一個實施例的流程圖。 圖14提供了描述用於接收資料串流的程序的一個實施 例的流程圖。 圖15提供了描述用於在實況程式設計期間接收層的程 序的一個實施例的流程圖。 圖16提供了描述用於在遊戲期間建立事件的程序的— 個實施例的流程圖。 【主要元件符號說明】 10 使用者介面 11 區域 12 等時線 14 陰影部分 16 無陰影部分 18 事件指示符 20 事件指示符 20A 擷取設備 22 文字對話框

S 49 201227575 40 50 52 100 102 104 106 200 202 204 206 208 210 220 312 316 320 423 425 426 428 430 432 434 區域 事件指示符 第一使用者與警告 伴隨設備 伴隨設備 區域 區域 客戶端計算設備 觀看設備 内容伺服器 内容儲存器 創作設備 實況插入設備 伴隨設備 計算系統 音訊/視訊設備 擷取設備 相機元件 紅外（IR)光元件 三維（3-D)相機 RGB (視訊圖像）相機 話筒 處理器 記憶體 50 201227575 436 450 452 454 460 462 464 466 500 501 502 504 506 508 510 512 514 518 520 522 523 524 526 528 通訊鏈路 立體圖像處理和骨架追蹤模組 應用 辨識器引擎 過濾器 過遽器 過遽器 過濾器 多媒體控制台 中央處理單元（CPU) 一級快取記憶體 二級快取記憶體 快閃ROM (唯讀記憶體） 圖形處理單元（GPU) 記憶體控制器 記憶體 視訊編碼/視訊編解碼 模組 I/O控制器 系統管理控制器 音訊處理單元 網路（或通訊）介面 第一 USB主控制器 第二USB控制器 51 201227575 530 前面板I/O子部件 532 音訊編解碼器 536 糸統供電模組 538 風扇 540 A/V (音訊/視訊） 542(1) 週邊控制器 542(2) 週邊控制器 543 糸統記憶體 544 媒體驅動器 546 外部記憶體設備 548 無線轉接器 550 電源按鈕 552 彈出按鈕 600 播放引擎 610 底層内容的源 612 内容本身 614 所嵌入的層 616 實況或動態層 618 層 620 層 622 使用者設定檔資訊 630 層過遽器 632 伴隨引擎 640 步驟 埠 52 201227575 642 步驟 644 步驟 646 步驟 648 步驟 650 步驟 652 步驟 654 步驟 656 步驟 658 步驟 660 步驟 662 步驟 664 步驟 666 步驟 668 步驟 670 步驟 672 步驟 674 步驟 676 步驟 680 步驟 682 步驟 684 步驟 686 步驟 690 步驟 730 步驟 s 53 201227575 732 步驟 734 步驟 736 步驟 738 步驟 740 步驟 742 步驟 760 步驟 762 步驟 764 步驟 766 步驟 768 步驟 770 步驟 772 步驟 774 步驟 776 步驟 778 步驟 780 步驟 782 步驟 810 步驟 812 步驟 814 步驟 816 步驟 818 步驟 820 步驟 54 201227575 850 步驟 852 步驟 854 步驟 856 步驟 880 步驟 882 步驟

Claims (1)

1. 201227575 七、申睛專利範圍： L 一種用於提供與一 驟： 計算系統的互動的 方法，包括以下步 使用該計算系統存取並顯示_節目」 辨識與該節目相關聯的事件 _ ^ ’件貝料’該事件賢料包括複數個 事件的資料，該等事件的 矛争仟的該等貢料包括對軟體指令和音訊 /視訊内容項目的引用； 自動決定一第一事件已發生； 針對該第一事件提供一第—警告； 接收使用者與該第一警告的一互動； 回應於接收到使用者與該第一警告的該互動，使用與該第 —事件相關聯的該等軟體指令和音訊/視訊内容項目來程 式設計該計算系統； 自動決定一第二事件已發生； 針對該第二事件提供一第二警告； 接收使用者與該第二警告的一互動（684);及 回應於接收到使用者與該第二警告的該互動，使用與該第 一事件相關聯的該等軟體指令和音訊/視訊内容項目來程 式設計該計算系統，與該第二事件相關聯的該等軟體指令 和音訊/視訊内容項目不同於與該第一事件相關聯的該等 軟體指令和音訊/視訊内容項目。 2.如請求項第丨項之方法，其中： S 56 201227575 回應於接收到使用者與該第一警告的該互動使用與該第 、事件相關知的該等軟體指令和音訊/視訊内容項目來程 式D又计該计算系統之步驟包括以下步驟：顯示由與該第一 事件相關聯的該等軟體指令配置的選項的—選項單，每個 ^項對應於由與該第—事件相關聯的該等軟體指令配置 的一要執行的功能。 3.如請求項第1項之方法，其中： <、該第事件相關聯的該等音訊/視訊内容項目和與該第 二事件相關聯的該等音訊/視訊内容項目屬於不同的媒體。 4.如請求項第丨項之方法，其中： 該節目圖示—實況發生；及

   是未 該第事件和該第二事件的時序在該實況發生之 知的。 5·如請求項第1項之方法，其中： 與該筇目相關聯的事件資料包括該第一事 和哕笛_古 肀1〒旳事件資料 βΛ第—事件的事件數據； :第-事件的事件資料包括與該第_事件相 軟體指令和音訊/視訊内容項目； ㈣等 該笛一古 Ζ〜事件的事件資料包括與該第：事件相關聯的該 /體指令和音訊/視訊内容項目； 以 孩第—事件的事件資料進一步包括指示在該節目期間該 57 201227575 第一事件何時發生的一時間識別符； 該第二事件的事件資料進一步包括指示在該節目期間該 _ 第二事件何時發生的一時間識別符；及 ^ 在啟動該節目的顯示之後，在該計算系統處接收指示在該 節目期間該第一事件何時發生的該時間識別符和指示在 該節目期間該第二事件何時發生的該時間識別符。 6.如請求項第1項之方法，進一步包括以下步驟： 在顯不該節目的同時由該計算系統動態產生該第一事件 的事件資料，該第一事件的事件資料包括與該第一事件相 關聯的該等軟體指令和音訊/視訊内容項目。 -如請求項第1項之方法，其中·· 事件資料包括事件資料組的—分層結構； 辨識與該節目相關聯的事件資料之步驟包括以下步驟：決 定事件資料組的該分層結構的哪一部分與該節目相關聯。 如請求項帛丄項之方法，其中該事件資料包括多組事件 貝料，辨識與該節目相關聯的事件資料之步驟包括 驟： 芡 辨識與該計算系統互動的—使用者； 中的資訊來 識的事件資 S. 存取該使用者的使用者設定檔資訊；及 基於該使用者設定檔資訊和該等事件資料組 k濾該夕組事件貧料，與該節目相關聯的所辨 58 201227575 料是該過濾的結果。 9-如請求項第1項 資料’辨識與該節 驟： 之方法’ &中該事件資料包括多级 目相關聯的事件資料之步驟包括以 事件 下步 曰期、實體位置、 來過渡該多組事件 基於設備能力、一天中的時間、季節、 IP位址和預設語言設置中的任何— 資料。 10二請求項第1項之方法，其中辨識與該節目相關聯的事 件資料之步驟包括以下步驟： 存取與該節目在-共同串流中的事件資料； 在接收具有該節目的該共同串流之前，存取儲存在該計算 系統上的事件資料；及 經由在具有該節目的該共同串流之外的網路通訊來從— 遠端位置獲取事件資料。 月求項第1項之方法，進一步包括以下步驟： 回應於接收到使用者與該第一警告的該互動，而基於與該 第事件相關聯的該等軟體指令和音訊/視訊内容項目來 與該計算系統分開地程式設計—無線設備。 12·如吻求項第1項之方法，進-步包括以下步肆 辨識與該計算系統互動的一第一使用者； S 59 201227575 存取該第—使用者的使用者設定檔資訊； 辨識與該計算系統互動的一第二使用者； 存取該第二使用者的使用者設定檔資訊； 基於與該第一 Ϋ件和胃第一使用纟的該使用輕定檔資 訊相關聯的該等軟體指令來與該計算系統分開地程式設 計一第—伴隨電子設備；及 基於與該第一事件和該第二使用纟的該使用纟設定檔資 訊相關聯的該等軟體指令來與該計算系統分開地程式設 計一第二伴隨電子設備。 13·如請求項第1項之方法，其中： 該第一警告是一視訊顯示； 使用者與該第一警告的該互動包括一實體手勢； 該计异系統包括一立體相機； 回應於接收到使用者與該第一警告的該互動而使用盘該 第-事件相關聯的該等軟體指令和音訊/視訊内容項目來 程式設計該計算系統之料包括以下㈣：使用該立體相 機來自動辨識該手勢。 14.一種計算系統，包括： 器儲存代碼； 非揮發性儲存器，該非揮發性儲存 一視訊介面； 一通訊介面；及 該視訊介面和 一處理器，該處理器與該非揮發性儲存器 60 201227575 該通訊介面通訊； 該：碼的-部分程式設計該處理器以存取内容以及與該 内谷相關聯並時間同步的複數個事件 一 丁貝科，該内容 疋經由該視訊介面顯示的，該處㈣顯示指㈣内容中的 -時間位置的-線性時間顯示並將辨識每”件在該内 谷中的時間的事件指示符添加到該線性時間顯示上該處 理器播放該内容並更新該線性時間顯示以指示該^的 當前時間位I，當該内容的當前時間位置等於—特定事件 指示符的-時間位置時’則該處理器提供與該特定事件指 示符相關聯的該特定事件的一可見警告，若該處理器沒^ 接收到對該可見警告的-回應’則該處理器移除該可見邀 告而不提供與該可見警告相關聯的額外内容，若該處理器 接收到對該可見警告的該回應，則該處理器運行由與該特 足事件指不符相關聯的事件資料所辨識的可見警告相關 聯的軟體指令，運行與該可見警告相關聯的該等軟體指令 包括提供執行複數個功能中的任何一個的選擇。 15.如請求項第14項之計算系統，其中： 在經由該視訊介面顯示該内容的同時，由該計算系統經由 該通訊介面接收該内容的一部分和該等軟體指令。 16 ·如請求項14之系統，其中： 與由同該特定事件指示符相關聯的事件資料所辨識的該 可見警告相關聯的該等軟體指令不同於與由同一不同事$ 61 201227575 件指示符相關聯的事件資料 ^ 貝科所辨識的一不同警告相關聯 的軟體指令。 17.—處理器可讀取儲存設借 項仔叹備，其上儲存有處理器可讀取代 碼，其中該處理器可讀取代 。 、勺用於柱式5又汁一或多個處理 器以執行一方法，該方法包括： 辨識正同時與一第—士4·管么 . 第什异系統互動的兩個或兩個以上使 用者； 使用該第一計算系統存取並顯示一音訊/視訊節目； 辨識與該音訊/視訊節目相關聯的事件資料，該事件資料包 括複數個事件的資料’該等事件的該等資料包括對軟體指 令和音訊/視訊内容項目的引用； 自動決定一事件已發生； 基於與被辨識為正同時與該第-計算系統互動的該兩個 或兩個以上使用者中的一個相關聯的使用者設定檔資料 來向-第二計算系統發送—第—組指令，該第一組指令允 + 5乂第—计异系統顯不第一内容；及 基於被辨識為正同時與該第—計算系統互動的該兩個或 。、上使用者中的另一個相關聯的使用者設定檔資料 =向—第三計算系統發送一第二組指令，該第二組指令允 許該第三計算系統顯示不同於該第—内容的第二内容。 如請求項17之處理器可讀取儲存設備，其中： 動執行辨識正同時與該第-計算系統互動的兩個或兩„ ά 62 201227575 個以上使用者。 19_如請求項17 <處理|§可碩取儲存設備 該第一計算吟保·* & ° 為〇 —視訊監視器相關璃 台； 該第：叶昇設備為—可攜式計算設備；及 該第二计异設備為—可攜式計算設備。 2〇·如請求項19之處理器可讀取儲存設備 該第一内容；—哲 奋為苐一組功能； 該第二内容為-第二組功能； 基於被辨識為正同時與該第一計算系統互 兩個以上接用i & 者中的一個相關聯的該使用 來選擇該第-組功能；及 基於被辨識為正同睥 1J矸興該第一計算系統5 兩個以上使用者中 Y的另一個相關聯的該僅 料來選擇該第二纟且功能。 其中： 的一娛樂控制 其中： 動的該兩個或 者設疋槽資料 動的該兩個或 用着設定檔資 63