TWI428867B - Interactive multimedia teaching device and its video analysis system - Google Patents

Description

互動式多媒體教學裝置及其視訊分析系統

本發明是有關於一種多媒體教學系統，特別是指一種視訊分析系統及包含該視訊分析系統的互動式多媒體教學裝置。

現今藉由各式各樣的多媒體教學檔，使用者可以透過各種播放設備，根據該等多媒體教學檔方便地學習。每個使用者可以依照自己的需求，選擇合適的多媒體教學檔，並配合自己的時間就近進行學習。因此，這樣的學習模式也漸漸地取代了傳統上需要將每個人集中至一特定場所的學習模式。

一般而言，該等多媒體教學檔是事先製作完成，再經由相關影音輸出設備播放，例如現有的數位多功能光碟(Digital Versatile Disk，DVD)機，便可以用來撥放事先製作好並儲存在光碟裡的多媒體教學檔，以供使用者學習。

由於利用現有的數位多功能光碟機只能單純地撥放事先製作的多媒體教學檔，因此使用者僅僅只能根據自己對於該多媒體教學檔的內容的理解，進而模仿動作，卻無法在學習過程中，立即確認自己的動作與教學內容是否一致，或者進一步地知道自己不一致的動作在哪，對於某些類型的多媒體教學檔，特別是其內容牽涉到動作(Action)的多媒體教學檔，例如與瑜珈(Yoga)或者是健身(Bodybuilding)等等，往往會造成學習的成效不彰，進而影響到學習的順暢性與結果。

因此，本發明之目的，即在提供一種互動式多媒體教學裝置。

於是，本發明互動式多媒體教學裝置包含一視訊解碼單元、一視訊擷取單元，及一視訊分析系統。

該視訊解碼單元用以對預先製作的一教學視訊檔進行解碼以獲得一教學視訊。其中該教學視訊包括一第一影像畫面組。該第一影像畫面組包括多數個影像畫面。

該視訊擷取單元用以擷取一使用者根據該教學視訊所進行的即時活動並獲得一即時活動視訊。其中該即時活動視訊包括一第二影像畫面組。該第二影像畫面組包括多數個影像畫面。該第一影像畫面組的該等影像畫面與該第二影像畫面組的該等影像畫面係參考同一時間軸。

該視訊分析系統包括一移動區塊計算單元，及一分析單元。該移動區塊計算單元用以對該第一影像畫面組中的每一影像畫面求出至少一對應該影像畫面的移動區塊，並根據每一影像畫面的該移動區塊獲得一教學活動範圍。該移動區塊計算單元還用以對該第二影像畫面組中的每一影像畫面求出至少一對應該影像畫面的移動區塊，並根據每一影像畫面的該移動區塊獲得一使用者活動範圍。其中每一教學活動範圍為對應於該第一影像畫面組的該等影像畫面的其中之一者的該移動區塊的一集合。每一使用者活動範圍為對應於該第二影像畫面組的該等影像畫面的其中一者的該移動區塊的一集合。該分析單元用以根據該等教學活動範圍及該等使用者活動範圍，求得多數個差異範圍以及多數個分別對應該等差異範圍的差異資訊，並用以根據該等差異範圍及該等差異資訊產生反應該教學視訊與該即時活動視訊間差異程度的一多媒體輸出訊號。

本發明之另一目的，即在提供一種適用於接收一教學視訊及一即時活動視訊，並分析兩者之間的差異程度的視訊分析系統，其中該教學視訊包括一具有多數個影像畫面的第一影像畫面組，該即時活動視訊包括一具有多數個影像畫面的第二影像畫面組。

於是，本發明視訊分析系統包含一移動區塊計算單元，及一分析單元。

該移動區塊計算單元用以對該第一影像畫面組中的每一影像畫面求出至少一對應該影像畫面的移動區塊，並根據每一影像畫面的該移動區塊獲得一教學活動範圍，該移動區塊計算單元還用以對該第二影像畫面組中的每一影像畫面求出至少一對應該影像畫面的移動區塊，並根據每一影像畫面的該移動區塊獲得一使用者活動範圍，其中，每一教學活動範圍為對應於該第一影像畫面組的該等影像畫面的其中之一者的該移動區塊的一集合，每一使用者活動範圍為對應於該第二影像畫面組的該等影像畫面的其中之一者的該移動區塊的一集合。

該分析單元用以根據該等教學活動範圍及該等使用者活動範圍，求得多數個差異範圍以及多數個分別對應該等差異範圍的差異資訊，並用以根據該等差異範圍及該等差異資訊產生反應該教學視訊與該即時活動視訊間差異程度的一多媒體輸出訊號。

本發明之功效在於，藉由該視訊分析系統所產生多媒體輸出訊號，使得該使用者可以清楚地知道自己的動作與該教學視訊間的差異程度，以提升學習的質量與效率。

有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式之一個較佳實施例的詳細說明中，將可清楚的呈現。

參閱圖1，本發明互動式多媒體教學裝置1包含一視訊解碼單元11、一視訊擷取單元12、一包括一移動區塊(Motion Block)計算單元131及一分析單元132的視訊分析系統13、一使用者操作介面14、一包括一視訊輸出模組151，及一音訊輸出模組152的輸出單元15，及一內儲至少一個預先製作好的多媒體教學檔的儲存單元16。

參閱圖1~4，以下配合一範例進一步對於各元件及其等之間的運作進行說明。

首先，該視訊解碼單元11用以對儲存於該儲存單元16的該多媒體教學檔解碼，以獲得一教學視訊。該多媒體檔的內容牽涉到相關於瑜珈或是健身的動作(Action)。其中該教學視訊包括一第一影像畫面(Frame)組；該第一影像畫面組包括至少一影像片段(Image Segment)；每一影像片段具有多數張影像畫面。該視訊解碼單元11可以軟體、韌體、硬體或其等之組合來實現，而該視訊解碼單元11的實施方式為熟悉此領域者所能輕易理解，且非本發明的重點，因此不在此贅述。該儲存單元16的實施態樣可以是一電腦可讀取記錄媒體，例如數位多功能光碟(Digital Versatile Disk，DVD)、快閃存儲器(Flash Memory Apparatus)，或者是硬碟(Hard Disk，HD)等等，在本較佳實施例中，該儲存單元16為一快閃存儲器。

值得一提的是，使用者可透過該使用者操作介面14自該教學視訊選擇至少一影像片段；其中該第一影像畫面組包括該使用者操作介面14所選出的該影像片段。且在使用者繼續進行以下的互動式學習之前可先透過該使用者操作介面14選擇一教學模式(Mode)；在本較佳實施例中，該使用者操作介面14提供三種教學模式以供選擇，分別是一「第一模式」、一「第二模式」，及一「第三模式」。

接著，該視訊擷取單元12用以擷取一使用者根據該教學視訊所進行的即時活動，並獲得一即時活動視訊。其中該即時活動視訊包括一第二影像畫面組；該第二影像畫面組包括多數個影像畫面，該第一影像畫面組的該等影像畫面與該第二影像畫面組的該等影像畫面係參考同一時間軸。在本較佳實施例中，該視訊擷取單元12為一攝影機(Camera)。

然後，該視訊分析系統13及該輸出單元15會根據使用者所選擇的該教學模式而有對應的運作。

當使用者透過該使用者操作介面14選擇該「第一模式」時，該輸出單元15用以接收並輸出該教學視訊與該即時活動視訊；當該輸出單元15欲輸出的訊號具有一視覺效果時，透過該視訊輸出模組151輸出；當該輸出單元15欲輸出的訊號具有一聽覺效果時，透過該音訊輸出模組152輸出；當該輸出單元15欲輸出的訊號具有一視覺效果與一聽覺效果的組合時，透過該視訊輸出模組151與該音訊輸出模組152同步輸出。在本較佳實施例中，該視訊輸出模組151為一液晶顯示器(Liquid Crystal Display，LCD)，該音訊輸出模組152為一擴大機(Amplifier)。

舉例來說，如圖2所示，在該第一模式下，使用者可以透過該視訊輸出模組151，同時看見該教學視訊的其中一影像畫面6，與該即時活動視訊的其中一影像畫面7，因此使用者可以根據該教學視訊與該即時活動視訊來調整自己的動作，而取代傳統需額外透過其他設備例如鏡子，才能看見自己的動作的學習方式。當然，在使用者觀看該教學視訊與該即時活動視訊時，也可由該音訊輸出模組152聽到對應於該教學視訊的音訊。

當使用者透過該使用者操作介面14選擇該「第二模式」及該「第三模式」其中一者時，該視訊分析系統13會分析該教學視訊與該即時活動視訊之間的差異程度，該輸出單元15還會進一步配合該視訊分析系統13的執行結果，以及該使用者所選擇的教學模式進行對應之輸出。在本較佳實施例中，該視訊分析系統13係以軟體方式實施，其實施態樣為內儲該視訊分析程式的程式產品，當一電子裝置(例如，電腦之處理器，圖未示)載入該程式並執行後，可完成該移動區塊計算單元131與該分析單元132之功能。

該移動區塊計算單元131用以對該第一影像畫面組中的每一影像畫面，求出至少一對應該影像畫面的移動區塊，並根據每一影像畫面的移動區塊獲得一教學活動範圍(Action Range)。在本較佳實施例中，該移動區塊計算單元131透過一運動估計與運動補償(Motion Estimation ＆ Motion Compensation，MEMC)演算法，根據該第一影像畫面組中的每一影像畫面以及一與該影像畫面相鄰的影像畫面，求出至少一對應該影像畫面的移動區塊，並自該移動區塊計算出該教學活動範圍；其中，每一教學活動範圍為對應於該第一影像畫面組的該等影像畫面的其中之一者的該移動區塊的一集合，且每一教學活動範圍具有多數個像素(Pixel)。又，該運動估計與運動補償演算法為熟悉此領域者所能輕易理解，因此不在此贅述。

該移動區塊計算單元131還用以對該第二影像畫面組中的每一影像畫面，求出至少一對應該影像畫面的移動區塊，並根據每一影像畫面的移動區塊獲得一使用者活動範圍。在本較佳實施例中，該移動區塊計算單元131亦透過該運動估計與運動補償演算法，根據該第二影像畫面組中的每一影像畫面以及一與該影像畫面相鄰的影像畫面，求出至少一對應該影像畫面的移動區塊，並自該移動區塊計算出該使用者活動範圍；其中，每一使用者活動範圍為對應於該第二影像畫面組的該等影像畫面的其中之一者的該移動區塊的一集合，且每一使用者活動範圍具有多數個像素。

該分析單元132用以根據該等教學活動範圍與該等使用者活動範圍，求得多數個差異範圍(Difference Range)並用以根據該等差異範圍，產生反應該教學視訊與該即時活動視訊間差異程度的一多媒體輸出訊號；在本較佳實施例中，該多媒體輸出訊號具有一視覺效果與一聽覺效果至少其中之一者。其中，該等差異範圍係該分析單元132對於同一時間軸上的該教學活動範圍的該等像素與該使用者活動範圍的該等像素，進行比對的結果。又，該分析單元132還根據該等教學活動範圍與該等使用者活動範圍，分別產生相對應的一教學活動訊號與一使用者活動訊號，該多媒體輸出訊號包括該教學活動訊號與該使用者活動訊號，其中該教學活動訊號對應教學活動範圍，該使用者活動訊號對應使用者活動範圍，其等可反應該教學視訊與該即時活動視訊間差異程度。當該教學活動訊號與該使用者活動訊號藉由該視訊輸出模組151輸出時，使用者可以看見相對應的該等教學活動範圍與該等使用者活動範圍。

當使用者透過該使用者操作介面14選擇該「第二模式」時，該輸出單元15用以接收並輸出該教學視訊，及該多媒體輸出訊號。

延續以上範例，如圖3所示，在該第二模式下，使用者可以透過該視訊輸出模組151同時看見該教學視訊的其中一影像畫面6、對應該影像畫面6的該教學活動範圍8、該使用者活動範圍82，及該差異範圍81。因此該使用者除了可以根據該教學視訊來學習之外，還可以清楚地看見自己的動作與該教學視訊不一致的是哪些部位。其中該教學活動範圍8與該使用者活動範圍82至少部份重疊。

延續以上範例，在該第二模式下，該分析單元132會分別針對對應該影像畫面6的該教學活動範圍8、該使用者活動範圍82，及該差異範圍81所各別具有的該等像素給予不同的三原色(RGB Color)值。例如該教學活動範圍8的所有像素的三原色值為紅色，該使用者活動範圍82的所有像素的三原色值為綠色，該差異範圍81的所有像素的三原色值為藍色。該視覺效果包括該差異範圍的三原色值。因此該使用者可以透過不同的顏色，輕易地區別出自己的錯誤動作是哪些部位。此外，該多媒體輸出訊號除了具有反應該教學視訊與該即時活動視訊間差異程度的該視覺效果外，還具有一由該分析單元132所產生的聽覺效果。該聽覺效果提示該使用者已有錯誤的動作發生。也就是說，該使用者也可以透過該音訊輸出模組152所輸出的該聽覺效果而意識到需要調整自己的動作。

延續以上範例，在該第二模式下，若該教學活動範圍8與該使用者活動範圍82完全相等，該分析單元132不會產生該聽覺效果，因此該使用者只會看見該教學視訊的其中一影像畫面6、對應該影像畫面6的該教學活動範圍8，及該使用者活動範圍82，且不會聽到該提示錯誤的聽覺效果。

當使用者透過該使用者操作介面14選擇該「第三模式」時，該分析單元132還用以根據該等教學活動範圍與該等使用者活動範圍，求得多數個分別對應該等差異範圍的差異資訊(Difference Information)。其中，每一差異資訊代表的是相關於與之對應的該差異範圍所具有的該等像素的總數。換句話說，該分析單元132會將同一時間點所產生的該教學活動範圍與該使用者活動範圍進行分析，以求得相對應的該差異資訊，其中，該分析單元132係求得該差異範圍所具有的該等像素的總數與該教學活動範圍的總像素的一比例，來作為該差異資訊；該分析單元132再根據每一差異資訊並參考預設的一臨界值產生一評估值，且對該評估值加以記錄；最後該分析單元132會將該等評估值平均以得到一綜合值，其中，該綜合值代表的是該使用者在學習過程中的表現狀況的評比分數。該多媒體輸出訊號還包括供該綜合值顯示的一畫面。最終，該使用者可藉由該視訊輸出模組151輸出該多媒體訊號，而知悉自己的學習狀況，其中該評估值與該綜合值的範圍為0分至100分，且最高為100分。

在本較佳實施例中，該臨界值可由該使用者透過該使用者操作介面14來預先設定，其可以為一第一臨界值、一第二臨界值與一第三臨界值三者中其中之一者。舉例來說，假設該第一臨界值、該第二臨界值，及該第三臨界值分別代表的比值是40%、20%、0%。若該臨界值是該第一臨界值(40%)，當該差異資訊小於40%時所產生的評估值為《100分》。若該臨界值是該第二臨界值(20%)，當該差異資訊小於20%時所產生的評估值為《100分》。若該臨界值是該第三臨界值(0%)，則該差異範圍所具有的該等像素的總數必須為0，所產生的評估值才會為《100分》。

更進一步地說明，在該第三模式下，若該分析單元132參考的是該第一臨界值，且當該差異資訊為27%，則產生的評估值為《100分》(即，100-27+40)。若該分析單元132參考的是該第二臨界值，且當該差異資訊為27%，則產生的評估值為《93分》(即，100-27+20)。若該分析單元132參考的是該第三臨界值，且當該差異資訊為27%，則產生的評估值為《73分》(即，100-27+0)。

延續以上範例，如圖4所示，假設該分析單元132參考的是該第三臨界值，且產生了五組評估值分別為《60分》、《70分》、《80分》、《90分》，及《100分》，則最後該使用者透過該視訊輸出模組151看見的為顯示該綜合值(即，《80分》)的一畫面9。

綜上所述，藉由本發明互動式多媒體教學裝置1，不但可以讓使用者同時看到該教學視訊與該即時活動視訊，更進一步來說，透過輸出該視訊分析系統13所產生的該多媒體輸出訊號，使得該使用者可以清楚地知道自己的動作是否與該教學視訊一致，甚至進一步地了解不一致的部分為何，並據此改善，以提升學習的質量與效率，故確實能達成本發明之目的。

惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。

1．．．互動式多媒體教學裝置

11．．．視訊解碼單元

12．．．視訊擷取單元

13．．．視訊分析系統

131．．．移動區塊計算單元

132．．．分析單元

14．．．使用者操作介面

141．．．第一模式

142．．．第二模式

143．．．第三模式

15．．．輸出單元

151．．．視訊輸出模組

152．．．音訊輸出模組

16．．．儲存單元

6．．．教學視訊的其中一影像畫面

7．．．即時活動視訊的其中一影像畫面

8．．．教學活動範圍

81．．．差異範圍

82．．．使用者活動範圍

9．．．畫面

圖1是一系統圖，說明本發明視訊分析系統及互動式多媒體教學裝置的較佳實施例；

圖2是一示意圖，說明本較佳實施例在一第一模式下提供給一使用者的畫面；

圖3是一示意圖，說明本較佳實施例在一第二模式下提供給該使用者的畫面；及

圖4是一示意圖，說明本較佳實施例在一第三模式下提供給該使用者的畫面。

1．．．互動式多媒體教學裝置

11．．．視訊解碼單元

12．．．視訊擷取單元

13．．．視訊分析系統

131．．．移動區塊計算單元

132．．．分析單元

14．．．使用者操作介面

15．．．輸出單元

151．．．視訊輸出模組

152．．．音訊輸出模組

16．．．儲存單元

Claims (10)

1. 一種互動式多媒體教學裝置，包含：一視訊解碼單元，用以對預先製作的一教學視訊檔進行解碼以獲得一教學視訊，其中該教學視訊包括一第一影像畫面組，該第一影像畫面組包括多數個影像畫面；一視訊擷取單元，用以擷取一使用者根據該教學視訊所進行的即時活動並獲得一即時活動視訊，其中該即時活動視訊包括一第二影像畫面組，該第二影像畫面組包括多數個影像畫面，該第一影像畫面組的該等影像畫面與該第二影像畫面組的該等影像畫面係參考同一時間軸；及一視訊分析系統，包括一移動區塊計算單元，及一分析單元，該移動區塊計算單元用以對該第一影像畫面組中的每一影像畫面求出至少一對應該影像畫面的移動區塊，並根據每一影像畫面的該移動區塊獲得一教學活動範圍，該移動區塊計算單元還用以對該第二影像畫面組中的每一影像畫面求出至少一對應該影像畫面的移動區塊，並根據每一影像畫面的該移動區塊獲得一使用者活動範圍，其中每一教學活動範圍為對應於該第一影像畫面組的該等影像畫面的其中之一者的該移動區塊的一集合，每一使用者活動範圍為對應於該第二影像畫面組的該等影像畫面的其中一者的該移動區塊的一集合，該分析單元用以根據該等教學活動範圍及該等使用者活動範圍，求得多數個差異範圍以及多數個分別對應該等差異範圍的差異資訊，並用以根據該等差異範圍及該等差異資訊產生反應該教學視訊與該即時活動視訊間差異程度的一多媒體輸出訊號。
2. 根據申請專利範圍第1項所述之互動式多媒體教學裝置，其中該移動區塊計算單元係根據該第一影像畫面組內的每一張影像畫面和與其相鄰的影像畫面，求出與其相對應的該教學活動範圍，並根據該第二影像畫面組內的每一張影像畫面和與其相鄰的影像畫面，求出與其相對應的該使用者活動範圍，每一教學活動範圍與每一使用者活動範圍分別具有多數個像素，該分析單元係對於同一時間軸上的該教學活動範圍的該等像素與該使用者活動範圍的該等像素進行比對以得到該等差異範圍。
3. 根據申請專利範圍第1項所述之互動式多媒體教學裝置，其中，該分析單元還根據該等教學活動範圍與該等使用者活動範圍，分別產生相對應的一教學活動訊號與一使用者活動訊號，該多媒體輸出訊號包括該教學活動訊號與該使用者活動訊號，該互動式多媒體教學裝置還包含一輸出單元，該輸出單元用以接收並輸出該教學視訊，及該即時活動視訊與該多媒體輸出訊號其中至少一者。
4. 根據申請專利範圍第3項所述之互動式多媒體教學裝置，還包含一使用者操作介面，其中該使用者操作介面包括用以供使用者選擇的至少一種教學模式，當使用者選擇的教學模式為一第一模式時，該輸出單元係接收並輸出該教學視訊與該即時活動視訊。
5. 根據申請專利範圍第3項所述之互動式多媒體教學裝置，還包含一使用者操作介面，其中該使用者操作介面包括用以供使用者選擇的至少一種教學模式，當使用者選擇的教學模式為一第二模式時，該輸出單元係接收並輸出該教學視訊，及該多媒體輸出訊號，該多媒體輸出訊號具有一視覺效果與一聽覺效果其中至少一者。
6. 根據申請專利範圍第3項所述之互動式多媒體教學裝置，還包含一使用者操作介面，其中該使用者操作介面包括用以供使用者選擇的至少一種教學模式，當使用者選擇的教學模式為一第三模式時，該輸出單元係接收並輸出該教學視訊與該多媒體輸出訊號，該多媒體輸出訊號具有一視覺效果與一聽覺效果其中至少一者。
7. 根據申請專利範圍第6項所述之互動式多媒體教學裝置，其中當使用者選擇的教學模式為該第三模式時，該視訊分析系統的分析單元根據該等差異資訊，並參考預設的至少一臨界值產生相對應的該多媒體輸出訊號。
8. 根據申請專利範圍第7項所述之互動式多媒體教學裝置，其中當使用者選擇的教學模式為該第三模式時，對於同一時間點所產生的該教學活動範圍與該使用者活動範圍，該視訊分析系統的分析單元係求得對應該同一時間點的該差異範圍所具有的像素的總數，與該教學活動範圍所具有的像素的總數的一比例，來作為該差異資訊，然後參考該臨界值產生對應的一評估值，該分析單元最後求得所有評估值的一平均值作為一綜合值，該多媒體輸出訊號還包括供該綜合值顯示的一畫面。
9. 一種視訊分析系統，適用於接收一教學視訊及一即時活動視訊並分析兩者之間的差異程度，其中該教學視訊包括一具有多數個影像畫面的第一影像畫面組，該即時活動視訊包括一具有多數個影像畫面的第二影像畫面組，該視訊分析系統包含：一移動區塊計算單元，用以對該第一影像畫面組中的每一影像畫面求出至少一對應該影像畫面的移動區塊，並根據每一影像畫面的該移動區塊獲得一教學活動範圍，該移動區塊計算單元還用以對該第二影像畫面組中的每一影像畫面求出至少一對應該影像畫面的移動區塊，並根據每一影像畫面的該移動區塊獲得一使用者活動範圍，其中，每一教學活動範圍為對應於該第一影像畫面組的該等影像畫面的其中之一者的該移動區塊的一集合，每一使用者活動範圍為對應於該第二影像畫面組的該等影像畫面的其中之一者的該移動區塊的一集合；及一分析單元，用以根據該等教學活動範圍及該等使用者活動範圍，求得多數個差異範圍以及多數個分別對應該等差異範圍的差異資訊，並用以根據該等差異範圍及該等差異資訊產生反應該教學視訊與該即時活動視訊間差異程度的一多媒體輸出訊號。
10. 根據申請專利範圍第9項所述之視訊分析系統，其中該移動區塊計算單元係根據該第一影像畫面組內的每一張影像畫面和與其相鄰的影像畫面，求出與其相對應的該教學活動範圍，並根據該第二影像畫面組內的每一張影像畫面和與其相鄰的影像畫面，求出與其相對應的該使用者活動範圍，每一教學活動範圍與每一使用者活動範圍分別具有多數個像素，該分析單元係對於同一時間軸上的該教學活動範圍的該等像素與該使用者活動範圍的該等像素進行比對以得到該等差異範圍。