TWI407790B - 影音互動系統及其方法 - Google Patents

Description

影音互動系統及其方法

本發明係關於一種影音互動系統及其方法，更詳而言之，係一種有關於使用者於影音輸出時與該影音進行互動行為以及將使用者的輸入行為進行資訊回饋或統計分析之影音互動系統及其方法。

由於網路應用廣泛發展，使得人們日常生活、學習及娛樂等活動與網際網路密不可分，像是線上影片觀看、線上學習等，因而促使網路業者大量提供網路教學或線上娛樂等服務。

然目前網路教學或線上娛樂多數為網路業者單方提供服務，或者僅提供文字方式互動，若網頁上包含影音影片部份則僅提供觀看功能，通常無法提供與內容互動之服務，像是線上教學影片多提供學習者觀看，但學習者無法與影片產生互動，若學習者需邊看影片邊抄寫筆記會產生不方便情況，僅能透過暫停影片播放進行抄寫；此外，一般娛樂影片也僅限於觀看，而所謂影片互動頂多僅透過影片旁的圖形按鍵進行簡單操作，而非直接在播放的影片上進行互動操作，亦即無法提供使用者於影片播放過程中在影片上直接點擊、圈選局部影片內容、選擇某一影片畫面保存等之互動行為，或者進一步藉由影片互動過程取得有用資訊，如熱門片段紀錄、圖像擷取或影片回饋效果等，甚至透過統計分析將多數使用者感興趣之段落以可適當產生回饋訊息，因而讓影片播放過於單調而缺乏變化，實有改善空間。

因此，如何讓影片播放時可提供使用者較多互動效果，像點擊回饋、局部內容圈選等互動行為，讓使用者不再侷限於觀看功能或僅能透過影片播放視窗旁所設置的圖形按鍵才能進行互動功能，再者，若能在互動過程中提供即時回饋、統計資訊或影片內容再應用等效益，俾能讓使用者對於影片播放處理上可有更多應用，實為目前亟欲解決之技術課題。

鑒於上述習知技術之缺點，本發明係提出一種影音互動系統及其方法，提供使用者於影片觀看過程中可直接進行互動行為，藉由與影片互動行為產生相對應之回饋資訊以及將使用者之使用行為進行分析統計。

為達前述目的及其他目的，本發明提供一種影音互動系統，係包括：擷取模組，係將使用者於播放中影音檔案上之輸入行為進行擷取，以作為行為資訊；行為資料庫，係用於儲存預設之行為模式及該擷取模組所擷取的行為資訊；行為分析模組，用於分析該行為資訊以產生統計資訊；以及互動模組，係將該行為資訊與該預設之行為模式進行比對，藉此提供對應的回饋資訊。

其中，該行為資訊係由使用者透過選擇、圈選、點擊或畫面擷取之輸入行為所產生對應之選擇資訊、圈選資訊、點擊資訊或擷取圖片資訊。

於一實施例中，復包括用於顯示該影音檔案之播放模組，且該擷取模組係對使用者於該播放模組上之使用行為進行擷取。

於另一實施例中，復包括用於圖片編製之編輯模組，以提供使用者將所擷取之圖片進行編輯。

此外，本發明亦提出一種影音互動方法，係包括以下步驟：(1)擷取使用者於影音檔案輸出過程中所輸入的行為以作為行為資訊；以及(2)將該行為資訊與預設之行為模式進行比對，以取得對應之回饋資訊，以及將該行為資訊分析以產生對應之統計資料，以透過該統計資料的分析，而於該影音檔案輸出時提供該回饋資訊，或於該影音檔案結束輸出時提供該統計資料。

相較於習知技術，本發明之影音互動系統及其方法，提供使用者與影片間得以進行互動，透過於影片播放時對影片直接圈選、點擊或畫面擷取等動作，以產生對應回饋資訊及統計資料，如影像互動後直接訊息回應或是將使用者行為模式進行分析，藉此讓爾後影片播放時能提供適時訊息，以及提供影片播放處理上的附加應用；此外，本發明亦提出透過編輯單元以對所擷取之圖片進行編輯，尤其是影片教學中擷取影片內容並加以編輯可轉作為筆記，藉此提供使用者較簡易的學習程序。再者，將本發明之影音互動系統及其方法應用於線上服務平台上，可讓線上影片不再單調地僅侷限提供觀看，而可透過直接互動以提供更多學習應用及娛樂效果。

以下係藉由特定的具體實例說明本發明之技術內容，熟悉此技藝之人士可由本說明書所揭示之內容輕易地瞭解本發明之其他優點與功效。本發明亦可藉由其他不同的具體實施例加以施行或應用。

如第1圖所示，係本發明影音互動系統之一實施例的基本系統架構方塊圖。如圖所示，該影音互動系統1係供使用者於影音播放畫面之瀏覽互動及輸入行為分析，包括：擷取模組11、行為資料庫12、行為分析模組13以及互動模組14。該擷取模組11係將使用者於播放中影音檔案上之輸入行為100進行擷取以作為行為資訊，亦即使用者觀看影片時，擷取模組11將擷取使用者於播放影片視窗上之動作行為，像選擇、圈選、點擊或畫面擷取等行為，且將所擷取資訊儲存於行為資料庫12內。

該行為資料庫12係用於儲存預設之行為模式以及擷取模組11所擷取到的該行為資訊，其中，該預設之行為模式係為使用者與影片間之可能行為模式，以便該行為產生時給予使用者相對應之回饋，而該行為資訊係包括使用者資料、影片資料及時間資料等，當然亦包含前述的輸入行為100，如擷取畫面、選擇區域等，以及該輸入行為100所產生對應資訊；具體而言，該影音互動系統1會紀錄該使用者觀看哪段影片，並於某時間點進行特定行為以及所產生相關資料，而上述資料可構成該行為資訊，以提供後續行為分析模組13或互動模組14使用。

該行為分析模組13係用於分析該行為資訊以產生統計資訊200，換言之，該行為分析模組13將該行為資訊進行統計分析，藉此產出所有使用者各種行為之統計資訊200，藉由該統計資訊200可知悉多數使用者觀看該影片時所進行的行為，像某影片區段常被快轉，可能表示該區段不吸引人，或者大家直接由某時間點開始觀看，亦表示此時段可能為影片重要處，如此，透過該統計資訊200可適當調整影片內容或給後續使用者相關提示。此外，該行為分析模組13亦可將由行為資料庫12取得之行為資訊進行分析後，再把分析資訊存回該行為資料庫12，具體而言，特別針對行為分析模組13在統計過程需有大量擷取資訊才可進行判斷的情況下，此時，該行為分析模組13會將各別行為資訊分析後，將分析資訊存回行為資料庫12或者其他可儲存該分析資訊的儲存單元(未另圖示)，等待該些分析資訊達一定數量後或經過一預定時間後，才產生最後統計資訊200。

該互動模組14係將該行為資訊與該預設之行為模式進行比對，藉此提供對應的回饋資訊300，其中，該回饋資訊300包括即時回饋使用者之顯示資訊，以及影音互動結束後之對應資訊。除了該行為分析模組13可將使用者互動行為進行統計分析外，該影音互動系統1亦提供即時或影片結束時之回饋資訊300，具體來說，使用者透過滑鼠點選影片某人物角色，可即時提供該角色相關資訊，或者使用者於影片播放時選擇某些片段內容，可先行儲存起來並於影片結束後將相關對應資訊提供給使用者，特別是問答互動影片最為常見。

此外，該互動模組14可依據該統計資訊200，以於該影音檔案播放時提供對應之顯示資訊。簡單來說，可將行為分析模組13分析後產生之統計資訊200內容，如熱門區段、冷門區段、重要區段等資訊與原影片之時間點加以整合，以作為提供後續使用者觀看時提示相關訊息之顯示資訊。

再進一步說明，該輸入行為100係指使用者透過選擇、圈選、點擊或畫面擷取之互動行為，而產生對應之選擇資訊、圈選資訊、點擊資訊或擷取圖片資訊之行為資訊。換言之，係主要針對使用者於影片播放時直接對影片所進行的行為，而非如習知透過影片旁之圖形按鈕選擇而進行作動，如此讓使用者可於影片上直接進行互動，俾使互動過程直接且有效率。

如第2圖所示，係本發明影音互動系統另一實施例之系統基本架構方塊圖。如圖所示，本實施例與第1圖所示之影音互動系統1的不同處在於，該影音互動系統2復包括用於顯示該影音檔案之播放模組20，且該擷取模組21係對使用者於該播放模組20上之輸入行為進行擷取。

該播放模組20係由影片資料庫400提供影片以進行播放，如前所述，本發明主要提供使用者於影片上直接互動，因而播放模組20與擷取模組21係相互配合，亦即擷取模組21可直接於影片播放視窗上進行互動。具體來說，該擷取模組21係擷取使用者於該影音檔案輸入行為之輸入座標位置或於該影音檔案所擷取之圖片資訊，以作為產生對應的行為資訊所包括的參數之一，為了知悉使用者於影片上所產生的互動行為，本發明透過座標紀錄以取得使用者滑鼠於影片上之互動位置，再者，本發明影音互動系統不侷限於單機使用，亦可應用於線上服務平台中，故為了避免因線上下載至使用者端所呈現的網頁視窗不一所導致的座標差異，較佳地可固定該影音網頁視窗大小，透過位置關係以確保所取得座標位置無誤。

此外，由擷取模組21於播放模組20之播放視窗所擷取的行為資訊係儲存於行為資料庫22內，且同時取得輸入該行為之輸入時間、輸入座標位置、輸入該行為所表示的動作行為及產出結果等資料，以提供行為分析模組23進行分析以產生統計資訊200，或由行為分析模組23將各行為資訊分析所產生分析結果存回行為資料庫22，待一定數量後才產生對應的統計資訊200，以及將該行為資訊提供給互動模組24判斷以產生回饋資訊300。

如第3圖所示，係應用本發明影音互動系統所提供之影音畫面範例圖。如圖所示，為了讓擷取使用者互動區域座標無誤，故該影音畫面3係固定大小，其包括影片顯示區31、行為工具區32、資訊顯示區33。該影片顯示區31係為影片播放視窗，同時為使用者與影片進行互動之區域，亦即使用者可於該影片顯示區31處進行選擇、圈選、點擊、畫面擷取或拖曳等行為；該行為工具區32係提供至少一行為供使用者選擇以與播放中的影片進行互動，即當使用者欲與該影片顯示區31中的播放影片進行互動時，使用者可選取該行為工具區32所提供的行為工具，如本實施例之選擇、圈選、點擊、擷取或拖曳等行為工具，接著，使用者可於該影片顯示區31上依據所選擇的行為工具進行輸入，換言之，輸入的行為即為行為工具區32上所選取的行為工具，以讓該行為分析模組23得知使用者與播放影片的互動行為為何；該資訊顯示區33係用於顯示互動過程之立即回饋資訊，或者是將先前大量輸入行為分析後與影片播放相結合，以於後續播放時給予使用者提示之顯示資訊。

上述之選擇、圈選、點擊、畫面擷取或拖曳等行為，係指使用者在影片顯示區31內播放中的檔案影片所執行互動行為，可能為選擇某一選項、圈選特定範圍、點擊特定位置、直接畫面擷取或者是拖曳相關物件，於此特別說明拖曳物件實施情況，如影片播放時，可提供使用者將非影片顯示區31的物件(未圖示，可另外設置專區)拖曳到播放中的影片畫面內，藉此取得使用者的互動行為時間、拖曳物件內容及拖曳座標位置等資訊，藉此判斷該互動行為並給予對應的回饋資訊。

如第4A圖所示，係應用本發明影音互動系統供使用者對播放影片執行畫面擷取的流程圖。如圖所示，當使用者互動行為是「畫面擷取」時，首先進行步驟S401內，係由擷取模組通知播放模組暫停影片播放，並同時紀錄影片目前播放時間；接著進行步驟S402，該擷取模組進行局部或完整之畫面擷取，於此亦可進行複數次的局部畫面擷取，也就是同一影片畫面有多處進行選取；接著進行步驟S403，係將擷取畫面內容進行轉檔與儲存，係將所擷取檔案轉為圖檔以便於存取以及後續檢示之用；最後進行步驟S404中，待使用者互動行為結束後繼續進行影片播放。

如第4B圖所示，係應用本發明影音互動系統供使用者對播放影片執行座標圈選的流程圖。如圖所示，當使用者互動行為是「座標圈選」時，首先進行步驟S411內，係由擷取模組通知播放模組暫停影片播放，並同時紀錄影片目前播放時間；接著進行步驟S412中，該擷取模組進行滑鼠點選區域之座標擷取，以知悉使用者所選擇區域的座標位置，藉此判斷該使用者之行為與預設之行為模式間的關連性，於此同樣可進行複數次座標擷取，以對同一畫面多次選取情況進行紀錄與儲存；最後進行步驟S413中，係待使用者互動行為結束後繼續進行影片播放。

如第5圖所示，係本發明影音互動系統之再一實施例之系統基本架構方塊圖。如圖所示，本實施例與第2圖所示之影音互動系統2的不同處在於，該影音互動系統5復包括用於圖片編製之編輯模組55，以提供使用者將所擷取之圖片進行編輯。該編輯模組55係將所擷取之影像圖片進行編輯，俾使所擷取之影像圖片具有使用價值，具體來說，該擷取模組51係擷取該播放模組50所播放影片中的影像圖片，同樣存放於行為資料庫52內，使用者可透過該編輯模組55進行圖片編輯以產生影音圖片筆記500，特別是針對影片內容具有眾多文字之教學影片，因此，藉由本實施例之影音互動系統可使教學系統下的學習者所需花費的抄寫筆記時間縮短。

本發明之影音互動系統應用層面十分廣泛，於實際應用範例中，透過畫面擷取可提供影片播放時進行互動問答，像於影片中出現對符號O或錯符號X或數字等影像，讓使用者用滑鼠去圈選，最後透過影片時間與所擷取影像比對給予即時回饋，或者等影片結束後統計答題狀況。此外，可針對特定影像、人物或物品進行圈選，以提供相關提示訊息或比對圈選是否正確，例如：影片人物介紹或是找出兩圖差異處之遊戲。

另一實際應用範例中，透過座標圈選可判斷影片播放時使用者點擊位置，像是於影片內不同時間點加入題目及對應選項，待使用者透過滑鼠點擊選項處，此時系統紀錄下點擊處座標及影片時間，以供判斷或後續統計使用者所選擇選項是否正確。

又一實際應用範例中，可透過畫面擷取將所產生影像圖片進行圖片編輯，習知使用者觀看教學影片常遇到邊看邊寫筆記之困擾，若使用者將影片畫面直接擷取，透過圖片編輯以使所擷取之圖片可供應用，如將黑板白粉筆之影片圖片轉換成白底黑字的圖片之圖片轉換，以方便使用者觀看或列印，甚至可於圖片上加入線條或者加入註解等，皆可讓使用者在學習過程更方便有效率地進行筆記作業。

又另一實際應用範例中，使用者所進行互動行為係無法立即產生回饋訊息，例如使用者在觀看影片過程中，可能執行暫停、快轉、甚至直接跳到下一段或下一播放時間點等動作，系統僅將該些互動行為進行紀錄及分析，亦即該些互動行為係無法立即產生回饋資訊，需等待系統收集多位使用者於影片播放過程所作互動行為後，像是數百人或數千人於該影片播放時，多數人會在同一播放時間點進行特定互動行為，如快轉或跳下一段等行為，最後，系統統計該些互動行為資料後，才會產生對應回饋資訊並提供給後續觀看影片的使用者，例如當影片播放至特定播放時間點時，可在該特定播放時間點所播放的影片上顯示有關於在該特定播放時間點的影片內容為多數使用者會執行快轉或跳至下一段等行為的訊息，藉此提供後續使用者有用資訊。

此外，可於同一影片播放點進行多處或多次圈選，如複數解答、畫面重點分散或同區域重複圈選(如先擷取人像，再擷取人臉)，本發明提供可進行多種情境狀態之分析與儲存。另外，本發明影音互動系統不侷限於單機使用，亦可應用於線上服務平台中，故可針對影片使用情況提供紀錄與分析，以知悉多數使用者於影片播放時之行為，藉此找出影片特殊處，像是常被快轉區段表示較無關緊要，或者精采起始點標示以供使用者可直接進入影片主題等，皆讓使用者於影片觀看過程無需浪費時間。

如第6圖所示，係本發明影音互動方法之流程步驟圖。如圖所示，本發明之影音互動方法係用於使用者於影音瀏覽互動以及輸入行為之分析，包括步驟S601至步驟S604。

於步驟S601中，係擷取使用者於影音檔案上之輸入行為以作為行為資訊；也就是在播放影片時，將使用者於影片上所產生的互動行為進行擷取，以作為後續回饋或分析使用，而該行為資訊係指使用者透過選擇、圈選、點擊或畫面擷取等互動行為而產生對應的選擇資訊、圈選資訊、點擊資訊或擷取圖片資訊，以及該互動行為之使用者資料、影片資料以及擷取的時間資料。接著進至步驟S601。

此外，該步驟S601還可包括擷取使用者於該影音檔案上輸入行為之座標位置或者是於該影音檔案所擷取之圖片資訊以作為產生該行為資訊之一項參數，簡單來說，當使用者於該播放影片上進行互動時，可透過滑鼠在影片播放視窗上的相對座標加以擷取，或是使用者直接擷取影片畫面，藉此知悉使用者在影片播放視窗上的點選或圈選位置。

於步驟S602中，係藉由將該行為資訊與預設之行為模式進行比對，以提供對應之回饋資訊；該回饋資訊可為即時回饋使用者之顯示資訊，或者是於影音互動結束後給予使用者之對應資訊，亦即若經判斷後該行為資訊需立即回饋，則將該回饋訊息即時提供給使用者，或者將相關回饋資訊暫存後，待影片播放完畢時才將相關對應資訊提供給使用者。接著進至步驟S603。

此外，該步驟S602復包括將使用者所擷取之圖片進行圖片後製及編輯，換言之，所擷取之圖片經過後製及編輯後，可供使用者保存或使用，特別針對學習用之教學影片，可將影片中黑板內容轉換為筆記，以減少邊觀看邊抄筆記所造成的困擾。

於步驟S603中，係將該行為資訊分析以產生對應之統計資料；也就是透過該行為資訊可產出所有使用者行為之統計分析，除了藉此了解使用者習慣外，更可供管理者後續進行影片調整使用。接著進至步驟S604。

於步驟S604中，係透過該統計資料的分析，以於該影音檔案播放時提供資訊顯示；亦即將步驟S603所產出之統計資料進行影片播放時加入提示或是影片調整，讓影片能更符合眾多使用者的喜好。

綜上所述，本發明提出一種影音互動系統及其方法，相較於習知技術，得以供使用者對影片播放時直接進行互動，例如對影片作圈選、點擊或畫面擷取等動作，藉此產生對應回饋訊息或者是統計資料，像是娛樂影片點選互動或是學習影片內的問答，皆可由該影片互動系統進行多種型態互動，以得到較佳學習或娛樂效果；另外，本發明亦提出透過編輯模組以對所擷取之圖片進行編輯，適用於教學影片上可將影片圖像轉換成筆記，藉此讓使用者於學習過程更輕鬆，因而透過該影音互動系統不僅讓影片不再侷限於觀看，更可透過互動程序以產生娛樂效果及學習互動，對於影音服務業者所提供影片具有吸引力及莫大貢獻。

上述實施例僅例示性說明本發明之原理及其功效，而非用於限制本發明。任何熟習此項技藝之人士均可在不違背本發明之精神及範疇下，對上述實施例進行修飾與改變。因此，本發明之權利保護範圍，應如後述之申請專利範圍所列。

1、2、5．．．影音互動系統

11、21、51．．．擷取模組

12、22、52．．．行為資料庫

13、23．．．行為分析模組

14、24‧‧‧互動模組

20、50‧‧‧播放模組

3‧‧‧影音畫面

31‧‧‧影片顯示區

32‧‧‧行為工具區

33‧‧‧資訊顯示區

55‧‧‧編輯模組

100‧‧‧輸入行為

200‧‧‧統計資訊

300‧‧‧回饋資訊

400‧‧‧影片資料庫

500‧‧‧影音圖片筆記

S401~S404‧‧‧步驟

S411~S413‧‧‧步驟

S601~S604‧‧‧步驟

第1圖係本發明影音互動系統之一實施例的系統基本架構方塊圖；

第2圖係本發明影音互動系統之另一實施例之系統基本架構方塊圖；

第3圖係應用本發明影音互動系統所提供之影音畫面範例圖；

第4A圖係應用本發明影音互動系統供使用者對播放影片執行畫面擷取的流程圖；

第4B圖係本發明影音互動系統供使用者對播放影片執行座標圈選的流程圖；

第5圖係本發明影音互動系統之再一實施例之系統基本架構方塊圖；以及

第6圖係本發明影音互動方法之流程步驟圖。

1．．．影音互動系統

11．．．擷取模組

12．．．行為資料庫

13．．．行為分析模組

14．．．互動模組

100．．．輸入行為

200．．．統計資訊

300．．．回饋資訊

Claims (11)

1. 一種影音互動系統，係包括：擷取模組，係將使用者於播放中影音檔案上之輸入行為進行擷取，以作為行為資訊；行為資料庫，係用於儲存預設之行為模式及該擷取模組所擷取的行為資訊；行為分析模組，用於分析該行為資訊以產生統計資訊並予以儲存；以及互動模組，係將該行為資訊與該預設之行為模式進行比對，藉此提供對應的回饋資訊；其中，該行為資訊係由該使用者透過選擇、圈選、點擊或畫面擷取之輸入行為所產生對應之選擇資訊、圈選資訊、點擊資訊或擷取圖片資訊。
2. 如申請專利範圍第1項之影音互動系統，復包括用於輸出該影音檔案之播放模組，且該擷取模組係該播放模組輸出該影音檔案時對該使用者於該影音檔案上之該輸入行為進行擷取。
3. 如申請專利範圍第1項之影音互動系統，其中，該行為資訊復包括使用者資料、影音檔案資料及影音檔案輸出時間資料。
4. 如申請專利範圍第1項之影音互動系統，復包括用於圖片編製之編輯模組，以供該使用者將所擷取之圖片進行編輯。
5. 如申請專利範圍第1項之影音互動系統，其中，該擷取 模組係擷取該使用者於該影音檔案輸入行為之座標位置或於該影音檔案所擷取之該圖片資訊，以產生對應之行為資訊。
6. 如申請專利範圍第1項之影音互動系統，其中，該回饋資訊係為即時依據擷取到的該行為資訊與該預設之行為模式進行比對而回饋使用者之顯示資訊或於該使用者終止對該影音檔案輸入行為後，依據所有擷取到的該行為資訊與該預設之行為模式進行比對而取得之對應資訊。
7. 如申請專利範圍第1項之影音互動系統，其中，該互動模組係依據該統計資訊，以於該影音檔案播放時提供對應之顯示資訊。
8. 如申請專利範圍第1項之影音互動系統，其中，該行為分析模組係將分析後的結果儲存於該行為資料庫，以供該行為分析模組於一預定時間後依據該行為資料庫所儲存的行為資訊及/或該分析後的結果而產生該統計資訊。
9. 一種影音互動方法，係包括以下步驟：(1)擷取使用者於影音檔案輸出過程中所輸入的行為以作為行為資訊，其中，該行為資訊係由該使用者透過選擇、圈選、點擊或畫面擷取之輸入行為所產生對應之選擇資訊、圈選資訊、點擊資訊或擷取圖片資訊；以及(2)將該行為資訊與預設之行為模式進行比對， 以取得對應之回饋資訊，以及將該行為資訊分析以產生對應之統計資料，藉此於該影音檔案輸出時提供該回饋資訊，或於該影音檔案結束輸出時提供該統計資料。
10. 如申請專利範圍第9項之影音互動方法，其中，該步驟(1)係擷取該使用者於該影音檔案上輸入該行為之輸入座標位置或所擷取之該圖片資訊以作為該行為資訊之其中一項參數。
11. 如申請專利範圍第9項之影音互動方法，復包括當該所輸入的行為為圖片擷取時，則提供編輯介面以供該使用者將所擷取之圖片進行圖片後製及編輯。