TWI628634B

TWI628634B - 互動式教學系統以及方法

Info

Publication number: TWI628634B
Application number: TW105116219A
Authority: TW
Inventors: 陳國棟; 黃得原; 黃琪雯; 范易詮; 羅元甫
Original assignee: 國立中央大學
Priority date: 2016-05-25
Filing date: 2016-05-25
Publication date: 2018-07-01
Also published as: TW201742036A

Abstract

本發明提供一種互動式教學系統，包括一雲端伺服器、一控制裝置、一體感器、一系統裝置、以及一第一螢幕。雲端伺服器用以儲存素材資料。控制裝置用以自雲端伺服器下載素材資料，透過一使用者介面根據素材資料產生以及輸出對應於一虛擬情境劇本之複數虛擬情境場景，以及控制虛擬情境場景之一展演進度。體感器用以朝一第一方向擷取並輸出對應於至少一使用者之複數動作影像。系統裝置用以將動作影像嵌入虛擬情境場景中，並產生複數最終虛擬情境場景。第一螢幕與系統裝置連接，並朝第一方向播放最終虛擬情境場景。

Description

互動式教學系統以及方法

本發明係有關於一種互動式教學系統以及方法，且特別有關於將表演者之影像嵌入虛擬實境場景中並同步播放給表演者觀看之互動式教學以及方法。

在傳統教學當中，部分之教師會使用劇場表演之方式讓學生能夠融入課本之情境中，以提高學生之學習效率。而於教室中傳統之劇場表演課程，通常必須先根據情境劇本搭建不同之場景，再讓學生扮演其中之角色以體驗當下之情境。然而，在資源以及時間有限之情況下，將無法有效地營造出適當之情境，且表演者亦無法即時地看到自己之表演情況，並根據表演情況做改善，使得學習之效果有限。因此，如何以更有效率之方式來呈現情境劇本以提高學習效果為目前所需解決之問題。

為解決上述問題，本發明提供一種互動式教學系統，包括一雲端伺服器、一控制裝置、一體感器、一系統裝置、以及一第一螢幕。雲端伺服器用以儲存素材資料。控制裝置用以自雲端伺服器下載素材資料，透過一使用者介面根據素材資料產生以及輸出對應於一虛擬情境劇本之複數虛擬情境場景，以及控制虛擬情境場景之一展演進度。體感器用以朝一第一方向擷取並輸出對應於至少一使用者之複數動作影像。系統裝置用以將動作影像嵌入虛擬情境場景中，並產生複數最終虛擬情境場景。第一螢幕與系統裝置連接，並朝第一方向播放最終虛擬情境場景。

本發明另一實施例提供一種互動式教學方法，步驟包括：透過一控制裝置自一雲端伺服器下載素材資料；透過上述控制裝置之一使用者介面根據上述素材資料產生對應於一虛擬情境劇本之複數虛擬情境場景；透過上述控制裝置將上述虛擬情境場景輸出至一系統裝置；透過一體感器朝一第一方向擷取對應於至少一使用者之複數動作影像；透過上述體感器將上述動作影像輸出至上述系統裝置；透過上述系統裝置將上述動作影像嵌入上述虛擬情境場景中，並產生複數最終虛擬情境場景；透過上述控制裝置控制上述虛擬情境場景之一展演進度；以及透過一第一螢幕朝上述第一方向播放上述最終虛擬情境場景。

100‧‧‧互動式教學系統

110‧‧‧雲端伺服器

120‧‧‧控制裝置

130‧‧‧體感器

140‧‧‧系統裝置

150‧‧‧第一螢幕

160‧‧‧第二螢幕

210、210A、210B、210C‧‧‧定位裝置

220‧‧‧平台

250、451、452‧‧‧表演者

311‧‧‧背景

312、322、451’、452’‧‧‧表演者之動作影像

315‧‧‧一般虛擬情境場景

321、410‧‧‧背景

323、420‧‧‧前景物件

325、400‧‧‧多層幕虛擬情境場景

S501~S507‧‧‧步驟流程

第1圖係顯示根據本發明一實施例所述之互動式教學系統之方塊圖。

第2圖係顯示根據本發明一實施例所述之互動式教學系統之示意圖。

第3A圖係顯示根據本發明一實施例所述之一般虛擬情境場景之示意圖。

第3B圖係顯示根據本發明一實施例所述之多層幕虛擬情境場景之示意圖。

第4A、4B圖係顯示根據本發明另一實施例所述之多層幕虛擬情境場景之示意圖。

第5圖係顯示根據本發明一實施例所述之互動式教學方法之流程圖。

有關本發明之系統以及方法適用之其他範圍將於接下來所提供之詳述中清楚易見。必須了解的是下列之詳述以及具體之實施例，當提出有關互動式教學系統以及方法之示範實施例時，僅作為描述之目的以及並非用以限制本發明之範圍。

第1圖係顯示根據本發明一實施例所述之互動式教學系統100之方塊圖。互動式教學系統100包括一雲端伺服器110、一控制裝置120、一體感器130、一系統裝置140、一第一螢幕150、以及一第二螢幕160。雲端伺服器110可為具有一伺服器位址之網路硬碟或者雲端空間，例如一般網路硬碟、Dropbox、Google Drive等，用以儲存素材資料。其中，素材資料可包括範例劇本、背景、前景物件、音效、以及台詞等。控制裝置120可為任何可攜式電子裝置，包括但不侷限於手持電腦(handheld computer)、平板電腦(tablet computer)、行動電話(mobile phone)、媒體播放器(media player)、個人數位助理(Personal Digital Assistant，PDA)或其它類似裝置等，用以自雲端伺服器110下載素材資料，透過一使用者介面根據素材資料產生以及輸出對應於一虛擬情境劇本之複數虛擬情境場景，並可控制虛擬情境場景之展演進度。體感器130可為由RGB攝影機以及紅外線發射器以及紅外線CMOS攝影機等所構成之深度感測器組成之網路攝影機，例如Kinect等，用以捕捉至少一表演者之肢體動作以及進行臉部辨識等。系統裝置140可為具有中央處理器、記憶體、周邊介面、以及通訊模組等模組所組成之電子裝置，例如桌上型電腦、筆記型電腦等，用以透過通訊模組與控制裝置120連接以下載虛擬情境據本，以及將使用者之動作影像與虛擬情境場景結合，並將產生之複數最終虛擬情境場景輸出至顯示螢幕或者回饋給控制裝置120。第一螢幕150與系統裝置140連接，可為液晶顯示螢幕、投影幕等，並朝表演者之方向播放最終虛擬情境場景。

第2圖係顯示根據本發明一實施例所述之互動式教學系統100之示意圖。如第2圖所示，第一螢幕150以及系統裝置140係架設於一平台220上，體感器130係架設於第一螢幕150上，而表演者250係位於一定位裝置210上並朝向第一螢幕150之方向，使得體感器130可捕捉表演者250之肢體動作以及進行臉部辨識等。其中，定位裝置210可由指示燈(例如LED燈)以及地墊構成、或者可為一投射裝置，並透過有線或者無線之方式與系統裝置140連接，用以利用指示燈顯示定位點或者透過投射裝置投射定位點之方式以作為舞台定位之功能，即可根據虛擬情境場景之對話內容控制定位點之顯示以指示表演者250之表演位置。值得注意的是，儘管平台220於第2圖中係為一固定桌子，但亦可為活動式展示平台，且第一螢幕150以及系統裝置140係可收納於其中。

根據本發明一實施例，使用者係可透過互動式教學系統100呈現可與表演者互動之一學習劇場。首先，使用者先自雲端伺服器110下載素材資料至控制裝置120。接著，使用者可決定直接套用素材資料中之範例劇本或者透過一編輯介面根據素材資料中之背景、前景物件、音效、以及台詞等進行情境劇本之設計。

其中，情境劇本中之虛擬情境場景更可包括一般虛擬情境場景以及多層幕虛擬情境場景。一般虛擬情境場景係指僅由背景、音效、以及台詞等所構成之虛擬情境場景。舉例來說，如第3A圖所示，一般虛擬情境場景315係由背景311以及表演者之動作影像312所構成，而其所對應之最終虛擬情境場景之呈現方式即為將表演者之動作影像312直接疊加至背景311上。然而，多層幕虛擬情境場景係指由背景、前景物件、音效、以及台詞等所構成之虛擬情境場景。舉例來說，如第3B圖所示，多層幕虛擬情境場景325係由背景321、表演者之動作影像322、以及前景物件323所構成，而其所對應之最終虛擬情境場景之呈現方式即為表演者之動作影像322係將顯示介於背景321以及前景物件323之間。

此外，根據本發明另一實施例，系統裝置140更可根據體感器130所捕捉到表演者之相對位置或者表演者位於定位裝置210上之位置決定多層幕虛擬情境場景。舉例來說，透過體感器130之深度感測器判斷表演者與體感器130之間之相對距離或者透過定位裝置210上對應於不同區域之感應器(例如第一感測器係設置於定位裝置210之第一區210A中、第二感測器係設置於定位裝置210之第二區210B中以及第三感測器係設置於定位裝置210之第三區210C中)判斷表演者位於定位裝置210上之位置，以決定表演者之影像所對應之層幕。其中，上述之感測器可為壓力感測器或者超聲波感測器等。如第4A圖所示，表演者451以及表演者452係分別站立於定位裝置210上之第一區210A以及第三區210C。於此實施例中，多層幕虛擬情境場景係包括四個層幕，定位裝置210之第一區210A以及第三區210C係分別對應至多層幕虛擬情境場景之第一層幕以及第三層幕，以及背景410與前景物件420係分別對應至多層幕虛擬情境場景之第二層幕以及第四層幕。當體感器130之深度感測器或者定位裝置210上對應於不同區域之感應器確認表演者451以及表演者452之位置後，系統裝置140接著透過體感器130擷取表演者451之影像451’以及表演者452之影像452’，並將表演者之影像451’、表演者之影像452’、背景410以及前景物件420結合為如第4B圖所示之多層幕虛擬情境場景400。

值得注意的是，前述之多層幕虛擬情境場景之各個層幕更可包括不同之屬性。舉例來說，層幕可為圖片、動畫，或者為透明或者不透明之場景。其中，透明之場景可為透明窗戶等，使得觀賞者可透過上述透明窗戶看到下一層幕中之顯示內容。

於決定情境劇本後，使用者係透過有線或者無線之方式(例如透過網路電纜、無線射頻辨識、藍芽或者Wi-Fi等)與控制裝置120連接，並將情境劇本傳輸至系統裝置140中。

系統裝置140於接收到情境劇本後，係開啟事先安裝之學習劇場應用程式，並載入情境劇本，以及將情境劇本中之虛擬情境場景投影至第一螢幕150。接著，系統裝置140係致能體感器130，並透過體感器130將背景去除，而僅留下表演者之影像，以及將表演者一連串之動作影像輸出至系統裝置140中。

系統裝置140於接收到表演者之動作影像後，即將動作影像嵌入至虛擬情境場景中，以產生最終虛擬情境場景，並同時透過第一螢幕150播放最終虛擬情境場景，使得表演者可即時觀看本身與虛擬情境場景結合後之影像。此外，系統裝置140更可包括一第二螢幕160，朝向與表演者位於不同空間中之觀看者播放最終虛擬情境場景。其中，第二螢幕160係透過有線或者無線之方式與控制裝置120連接，並自控制裝置120接收最終虛擬情境場景以進行同步播放之動作。而透過上述利用第一螢幕150以及第二螢幕160分開播放之方式將可有效地減緩表演者之表演壓力。除此之外，於播放最終虛擬情境場景時，系統裝置140更可進行同步錄影之動作，並將錄影檔儲存至系統裝置140之儲存裝置或者雲端伺服器110中。

根據本發明另一實施例，使用者亦可於控制裝置120上透過對應於系統裝置140之學習劇場應用程式之一控制介面控制虛擬情境場景之展演進度。舉例來說，當使用者欲切換下一個虛擬情境場景時，可透過控制介面上之圖標前後切換至不同之虛擬情境場景。

第5圖係顯示根據本發明一實施例所述之互動式教學方法之流程圖。於步驟S501，使用者透過控制裝置120自雲端伺服器110下載素材資料。其中，素材資料可包括範例劇本、背景、前景物件、音效、以及台詞等。於步驟S502，使用者透過控制裝置120上之一使用者介面根據上述素材資料進行情境劇本之設計。其中，劇本設計包括虛擬情境場景之設計、對話之顯示、以及音效之播放等。於步驟S503，使用者透過控制裝置120將設計好之情境劇本輸出至系統裝置140。於步驟S504，體感器130朝表演者之方向擷取對應於至少一表演者之複數動作影像，並將動作影像輸出至系統裝置140。於步驟S505，系統裝置140將接收到之動作影像嵌入情境劇本之虛擬情境場景中，並產生複數最終虛擬情境場景。於步驟S506，使用者透過控制裝置120控制最終虛擬情境場景之展演進度。於步驟S507，第一螢幕150朝表演者之方向播放最終虛擬情境場景。

綜上所述，根據本發明所提出之互動式教學系統以及方法，可透過將表演者之動作影像與虛擬情境場景結合之方式，讓表演者可於虛擬舞台中輕易地融入情境內容中，以提高表演者之學習成效。此外，使用者亦可透過控制裝置之編輯介面以及控制介面即時地掌控整個展演流程，以讓整個互動式劇場之呈現更為流暢。

以上敘述許多實施例的特徵，使所屬技術領域中具有通常知識者能夠清楚理解本說明書的形態。所屬技術領域中具有通常知識者能夠理解其可利用本發明揭示內容為基礎以設計或更動其他製程及結構而完成相同於上述實施例的目的及/或達到相同於上述實施例的優點。所屬技術領域中具有通常知識者亦能夠理解不脫離本發明之精神和範圍的等效構造可在不脫離本發明之精神和範圍內作任意之更動、替代與潤飾。

Claims

一種互動式教學系統，包括：一雲端伺服器，用以儲存素材資料；一控制裝置，用以自上述雲端伺服器下載上述素材資料，透過一使用者介面根據上述素材資料產生以及輸出對應於一虛擬情境劇本之複數虛擬情境場景，以及控制上述虛擬情境場景之一展演進度；一體感器，用以朝一第一方向擷取對應於至少一使用者之複數動作影像；一系統裝置，用以將上述動作影像嵌入上述虛擬情境場景中，並產生複數最終虛擬情境場景；一定位裝置，用以根據上述虛擬情境場景致能至少一定位標誌；以及一第一螢幕，與上述系統裝置連接，並朝上述第一方向播放上述最終虛擬情境場景；其中，上述素材資料包括劇本、背景、前景物件、音效、以及台詞；其中，上述虛擬情境場景包括具有彼此疊置之複數層幕之一多層幕虛擬情境場景，上述層幕分別對應至上述使用者之上述動作影像、上述背景、以及上述前景物件，且上述層幕之每一者分別對應至不同之位置；以及其中，上述系統裝置更根據上述體感器或者上述定位裝置取得上述位置之一排序，並將上述動作影像、上述背景、以及上述前景物件根據上述排序呈現於上述多層幕虛擬情境場景中。
一種互動式教學方法，包括：透過一控制裝置自一雲端伺服器下載素材資料；透過上述控制裝置之一使用者介面根據上述素材資料產生對應於一虛擬情境劇本之複數虛擬情境場景；透過上述控制裝置將上述虛擬情境場景輸出至一系統裝置；透過一體感器朝一第一方向擷取對應於至少一使用者之複數動作影像；透過上述體感器將上述動作影像輸出至上述系統裝置；透過上述系統裝置將上述動作影像嵌入上述虛擬情境場景中，並產生複數最終虛擬情境場景；透過上述控制裝置控制上述虛擬情境場景之一展演進度；以及透過一第一螢幕朝上述第一方向播放上述最終虛擬情境場景；其中，上述素材資料包括劇本、背景、前景物件、音效、以及台詞；其中，上述虛擬情境場景包括具有彼此疊置之複數層幕之一多層幕虛擬情境場景，上述層幕分別對應至上述使用者之上述動作影像、上述背景、以及上述前景物件，且上述層幕之每一者分別對應至不同之位置；其中，更透過上述系統裝置根據上述體感器或者一定位裝置取得上述位置之一排序，並根據上述排序將上述動作影像、上述背景、以及上述前景物件呈現於上述多層幕虛擬情境場景中；以及其中，上述定位裝置更根據上述虛擬情境場景致能至少一定位標誌。