TWI484452B - 擴增實境學習系統及其方法 - Google Patents

Description

擴增實境學習系統及其方法

本發明係關於一種結合行動科技、雲端科技與擴增實境之技術，詳而言之，係關於一種應用於行動裝置提供學習者實驗操作之擴增實境學習系統及其方法。

隨著科技的進步，教學不再僅侷限於書本，目前許多教學過程都利用實體教具來進行。透過實體教具的觀察或操作來輔助學習，不僅有助於加深學習者的印象，也利於教學者的講解說明，且不到受文字或圖片的限制。

科學中有許多現象是不可見的，像是微觀粒子或巨觀地形，對於初學者而言是屬於抽象概念，在課堂中，教學者必須以書本圖文進行解說，或者是透過電腦設備以模擬影像方式進行演繹，而學習者藉由紙本圖文描述或是電腦螢幕上即時繪圖來進行學習，以了解該些抽象概念，舉例來說，若教學內容為氣體粒子的移動狀態，僅以圖文恐難讓學習者具體了解，若以多媒體方式則須適當場地和模擬軟體，此對多數教學者或學習者可能非容易的。在前述學習過程中，教學者與學習者將面對到媒體線索不足，例如 僅有圖文可供揣摩想像，以及多媒體設備的限制，例如需在電腦教室內，再者，若教學者要進一步測驗學習者的理解程度，也將面對測驗工具在時間與空間上的限制，像是紙本測驗無法即時回饋，若透過電腦模擬的測驗則有時間、設備和場地上限制，因而多人同時學習上將會造成教學品質或效果上的影響。

因此，如何具體化自然科學現象中的抽象概念，特別是有別於紙本文圖，且可突破現有多媒體方式的時間和空間限制，以提供教學者和學習者一種即時、高效率及不複雜的教學、測驗及實驗操作學習機制，即為本技術領域待解決之技術課題。

鑒於上述習知技術之缺點，本發明之目的係提出一種擴增實境學習系統及其方法，透過行動科技結合雲端科技與擴增實境，以提供具體化呈現抽象概念的教學、測驗及實驗操作學習機制。

為達成前述目的及其他目的，本發明提出一種擴增實境學習系統，係包括透過網路連結之雲端伺服器及行動裝置，該雲端伺服器係用於紀錄學習者之操作歷程及提供回饋訊息，行動裝置則供學習者操作來進行實驗操作學習，該行動裝置包括：影像擷取模組，係用於擷取作為教具之實體物件之影像；物件資料庫，係用於儲存對應該實體物件之虛擬物件與識別圖案；辨識模組，係用於辨識該影像擷取模組所擷取之該實體物件之影像以產生影像資訊；以 及處理模組，係用於接收並分析來自該辨識模組之該影像資訊，透過分析所得到之該辨別圖案由該物件資料庫取得對應該實體物件之該虛擬物件，且將該虛擬物件顯示於該行動裝置之顯示介面上，其中，該學習者係透過該顯示介面上之虛擬物件操作指令或直接操作該實體物件以控制該實體物件所對應的該虛擬物件之顯示狀態，並將該學習者之操作歷程回傳至該雲端伺服器，且其中，該學習者藉由對該虛擬物件或該實體物件的操作，以進行模擬科學實驗及具體操作訓練。

於一實施例中，該行動裝置更包括用於與外部傳輸之通訊模組，該處理模組係透過該通訊模組以將該操作歷程傳送至該雲端伺服器。

前述的雲端伺服器係包含：用於分析該操作歷程以產生回饋訊息及歷程資料之運算模組，用於儲存該操作歷程以及該運算模組產生的歷程資料之歷程資料庫，用於將該歷程資料庫內之多筆歷程資料進行統計以由該些歷程資料產生學習統計資料之統計模組，以及依據該運算模組所產生之回饋訊息及該統計模組所產生之學習統計資料產生回饋指令，並回傳至該處理模組以即時提供學習回饋之回饋模組。

於另一實施例中，該學習者復可操作該實體物件，經由該影像擷取模組擷取新的影像，以由該顯示介面顯示依據該新的影像而顯示該虛擬物件的新顯示狀態。

此外，本發明提出一種擴增實境學習方法，係提供透 過行動裝置進行學習，包括以下步驟：(1)提供作為教具之實體物件以及對應該實體物件之虛擬物件；(2)設定各該虛擬物件間的互動關係與回饋條件；(3)透過該行動裝置對該實體物件進行影像擷取以產生該實體物件之影像，辨識該影像以產生影像資訊，且依據該影像資訊取得對應該實體物件之該虛擬物件並顯示於該行動裝置之顯示介面上；(4)學習者透過該顯示介面上之虛擬物件操作指令以控制該虛擬物件之顯示狀態，或者直接操作該實體物件以控制該實體物件所對應的該虛擬物件，且該行動裝置紀錄該學習者之操作歷程；以及(5)該操作歷程自動地傳送至一雲端伺服器，該雲端伺服器係分析該操作歷程以產生用於即時回饋之回饋訊息以及用於學習統計之歷程資料。

於另一實施例中，該互動關係與回饋條件包括每一該虛擬物件之可調整參數、空間互動關係、以及欲紀錄之操作歷程內容。

相較於先前技術，本發明之擴增實境學習系統及方法，透過行動裝置擷取實體教具之影像以取得對應之虛擬物件而顯示於行動裝置上，學習者可直接操作實體教具或者控制虛擬物件來改變所形成之模擬影像，如此將有助於提升實驗操作學習效果。此外，本系統不僅可用於教學也可用於測驗，同樣利用實體教具以達到抽象物或抽象概念的顯示及實驗操作等學習。由上可知，本發明利用擴增實境的技術手段，以一種直觀且真實的媒體來呈現並模擬科學實驗中對抽象概念的操作，藉此協助學習者以空間互動 的方式理解和學習。此外，採用行動裝置可降低習知學習上時間和空間的限制，且與雲端運算結合下，不僅可提供即時回饋，也可對多位學習者的學習歷程進行統整，對於了解學習者學習狀態或教學方向調整皆有所助益。

1‧‧‧擴增實境學習系統

10‧‧‧行動裝置

101‧‧‧影像擷取模組

102‧‧‧物件資料庫

103‧‧‧辨識模組

104‧‧‧處理模組

105‧‧‧通訊模組

106‧‧‧影像擷取設備

107‧‧‧顯示介面

1071‧‧‧虛擬物件操作指令

11‧‧‧實體物件

11’‧‧‧識別圖案集合

111‧‧‧平面實物

112‧‧‧立體實物

111’‧‧‧識別圖案

112’‧‧‧識別圖案

12‧‧‧雲端伺服器

121‧‧‧運算模組

122‧‧‧歷程資料庫

123‧‧‧統計模組

124‧‧‧回饋模組

13‧‧‧學習者

14‧‧‧虛擬物件

141‧‧‧3D氣體粒子

142‧‧‧3D玻璃箱

510‧‧‧空間移動資訊

511‧‧‧參數調整資訊

512‧‧‧虛擬互動資訊

513‧‧‧歷程資料

52‧‧‧空間互動

53‧‧‧參數控制

54‧‧‧自動化紀錄歷程

55‧‧‧裝置即時回饋

56‧‧‧網路即時共享

S401~S405‧‧‧步驟

第1圖係說明本發明之擴增實境學習系統之系統示意圖；第2圖係說明本發明之擴增實境學習系統具體實施例之示意圖；第3圖係說明本發明之擴增實境學習系統之整體架構運作示意圖；以及第4圖係說明本發明之擴增實境學習方法之步驟圖。

以下係藉由特定的實施例說明本發明之實施方式，熟悉此技術之人士可由本說明書所揭示之內容輕易地瞭解本發明之其他特點與功效。本發明亦可藉由其他不同的具體實施例加以施行或應用。

請參閱第1圖，係說明本發明之擴增實境學習系統之系統示意圖。如圖所示，該擴增實境學習系統1係提供學習者透過行動裝置10進行實驗操作的學習。

需說明的，本發明所提出之擴增實境學習系統1並不限制所使用之行動裝置10，本實施例所述之行動裝置10僅是方便說明所提出之範例，該行動裝置10可為一般智慧型行動裝置，並無特別規格限定，行動裝置10需包含例如 相機或攝影機等影像擷取設備106以及用於顯示畫面之顯示介面107，然而若僅考量顯示畫面之目的，該顯示介面107亦可為外接的投影裝置，並不侷限於行動裝置10之顯示面板。

本實施例之擴增實境學習系統1係包括學習者操控之行動裝置10以及提供雲端服務之雲端伺服器12。該雲端伺服器12係用於紀錄每位學習者之操作歷程，並且依據各學習者學習情況提供適當的回饋訊息。

該行動裝置10係提供學習者操作使用，除了可能內建之影像擷取設備106及顯示介面107外，還有執行擴增實境、互動學習等內部處理單元，可包括影像擷取模組101、物件資料庫102、辨識模組103以及處理模組104。

影像擷取模組101係用於擷取作為教具之實體物件11之影像。具體來說，影像擷取模組101可藉由行動裝置10內的影像擷取設備106來進行外部物件的影像擷取，而實體物件11是表示某一事物之教具，換言之，可能是表示氣體分子，但因氣體分子無法被具體呈現，故可能採用一個特定外型或特殊圖案之實體物件11來表示。

物件資料庫102係用於儲存對應該實體物件11之虛擬物件與識別圖案。如前面所述，實體物件11是為了呈現一些無法直觀的事物而設計，因而可透過對實體物件11上識別圖案的不同設計，以定義該實體物件11為何，例如實體物件11(即為教具)為印有DNA圖像之平面實體，學習者可透過其來呈現與DNA有關之虛擬物件，因而，僅需預 先將該事物的虛擬物件儲存於物件資料庫102，並訂出實體物件11與虛擬物件關係後，當判斷出實體物件11為何者時，即可找出相對應之虛擬物件來提供呈現，因此，物件資料庫102可儲存對應多個實體物件11之多個虛擬物件。關於識別圖案，後面將有更詳細的描述。

辨識模組103係用於辨識該影像擷取模組101所擷取之該影像以產生影像資訊。辨識模組103自影像擷取模組101接收並辨識該影像擷取設備106對實體物件11所擷取影像，透過該辨識模組103辨識以得知該實體物件11為何。

處理模組104係用於接收來自辨識模組103之影像資訊，經分析處理後，可由物件資料庫102取得對應於所擷取影像之實體物件11的虛擬物件，亦即在實際狀態中，作為教具之實體物件11對應一虛擬物件，例如一種氣體分子，之後，處理模組104會將虛擬物件顯示於行動裝置10之顯示介面107上。

於具體實施時，實體物件11可為平面實體物件或是立體實體物件，這裡所採用之實體物件11並不侷限其外型，由於實體物件11僅用於代表某一虛擬物件，只要辨識模組103可辨識出其代表為何，但實體物件11之外觀可因設計上的不同而產生不同方面的重要性，因而可依據教具設計需要而作調整。於本實施例中，可利用實體物件11之每一表面有不同圖案來進行辨識，並利用辨識模組103來辨識平面實體物件之單一表面或是立體實體物件之任一表面所形成之影像。

由於物件資料庫102會先預先儲存實體物件11每一表面之圖案辨識資訊，因而無論實體物件11被如何擺放或移動，影像擷取模組107所取得之影像皆可被辨識模組103所辨識。

舉例來說，當實體物件11為平面實體物件時，其包含有特定圖案之表面，辨識模組103僅需辨識出該特定圖案即可得到實體物件11代表為何者，另外，當實體物件11為立體實體物件時，例如為六面體，則物件資料庫102將記載有此六面體任一表面的特定圖案，待辨識模組103辨識出該立體實體物件(如六面體)之任一表面上的特定圖案時，即可知悉實體物件11其代表為何者。

於學習者學習操作中，學習者可透過顯示介面107上之虛擬物件操作指令來控制虛擬物件的狀態，其中，該虛擬物件操作指令可為如按鈕、滑桿或選項等控制介面，亦可為圖片等各種自訂之圖形化介面，其可形成於顯示介面107上，學習者透過觸碰或點選方式來觸發該些虛擬物件的操作。舉例來說，虛擬物件為氣體分子時，當觸發提升溫度的指令按鈕時，在溫度越高氣體越活耀的科學原理下，氣體分子會產生更快速移動，藉此以類似方式來控制虛擬物件的顯示狀態。

此外，學習者可直接操作實體物件11來達到改變虛擬物件的顯示狀態，當學習者對實體物件11進行位置或狀態改變操作時，通過影像擷取模組101擷取新的影像，即可由顯示介面107顯示對應該新的影像而改變之虛擬物件其 顯示狀態，換言之，學習者可直接對實體物件11進行移動、旋轉及校對等變化，此時，顯示介面107中的虛擬物件也會對應的產生改變。

由上可知，學習者透過擴增實境學習系統1可對代表某一虛擬事物的實體物件，藉由影像擷取、分析及顯像，以產生動態且可互動的虛擬物件，不僅可觀看該虛擬物件顯示狀態，更可透過對虛擬物件或實體物件的操控而達到顯示狀態改變的目的，據此，學習者將可打破傳統文字及圖片的說明，而以直觀方式來進行學習。

此外，為了讓學習者的學習能夠即時取得回饋或者教學者想知悉每位學習者的學習情況，甚至是追蹤各學習者的學習歷程，或欲統計相關學習歷程資料，於本發明之擴增實境學習系統中，學習者透過行動裝置10的學習過程將被自動地即時傳送至雲端伺服器12。

具體來說，行動裝置10內之通訊模組105可將處理模組104所產生之操作歷程傳送至雲端伺服器12，藉此雲端伺服器12可針對不同的操作歷程而提供對應的即時回饋，或者保存紀錄每位學習者的操作歷程，進而統計或分析數筆操作歷程，以將該些資料轉化為可供研究與評估的有意義資料。此外，通訊模組105不僅可傳送學習者之操作歷程，也可將影像擷取模組101所取得之影像或者來自物件資料庫102之虛擬物件傳送至雲端伺服器12，以提供更完善的資料統整。

更具體地，該通訊模組105並非將影像或虛擬物件直 接傳送至雲端伺服器12，而是將擷取影像的歷程資訊與虛擬物件被操作而改變時的歷程資訊製作成歷程紀錄並傳送至雲端伺服器12，例如：欲了解學習者面對一組A-Z編號的實體物件11，會如何以裝置觀察其代表的虛擬物件，其觀察的序列如何？觀察每一個實體物件11的時間為何？辨識模組103在辨識到實體物件11與正在辨識的實體物件11改變時，都會上傳具有時間戳記的標號，以形成影像辨識的歷程紀錄。此外，通訊模組105還可作為資料傳遞或訊息傳輸的媒介，於此就不再一一詳述。

雲端伺服器12係包含運算模組121、歷程資料庫122、統計模組123以及回饋模組124。詳細來說，運算模組121用於分析來自行動裝置10之操作歷程，以產生回饋訊息及歷程資料，歷程資料庫122則用於儲存運算模組121所接收之操作歷程及經分析後所產生之歷程資料，統計模組123用於將歷程資料庫122內之多筆歷程資料進行統計，以由該些歷程資料產生學習統計資料，回饋模組124則是依據運算模組121之回饋訊息產生回饋指令，經由行動裝置10之通訊模組105回傳至處理模組104，以透過顯示介面107或其他方式(振動或聲音)即時提供學習回饋。由上可知，透過雲端伺服器12，可更完整紀錄、統整學習者的學習歷程，並依據學習歷程給予回饋。

換言之，回饋模組124也可依據統計模組123產生具共享概念之回饋，意即透過擴增實境學習系統1可統整多人使用後之學習歷程，表達科學概念為多次科學實驗結果 累積後所提取之事實，例如，完成某測量實驗操作時，其結果與多數學習歷程的統計結果相同時，則回傳回饋指令，進而由行動裝置10之處理模組104產生震動、音效告知學習者操作結果。此外，回饋模組124可藉由網頁形式將統整資料顯示於網頁上，以達到共享統整資料的目的。

於本實施例中，該雲端伺服器12也可成為測驗紀錄伺服器，也就是，學習者透過擴增實境學習系統1進行測驗，而學習者之操作歷程及測驗結果同樣回傳至雲端伺服器12，雲端伺服器12可作進一步分析統計。此實施例僅是將擴增實境學習系統1再新增測驗機制，使其同時兼具教學與測驗功能，其操作及運作過程與前述相似，故不再贅述。

接著，將以具體範例來說明本發明之擴增實境學習系統如何運作和操作，於此利用氣體粒子為欲教學之概念來說明具體實施的情況。

請參考第2圖並搭配第1圖，第2圖是說明本發明之擴增實境學習系統具體實施例之示意圖。如圖所示，擴增實境學習系統1可提供學習者13進行科學實驗的操作訓練。在學習或測驗時，學習者13可透過行動裝置10之影像擷取設備106對實體物件11進行影像拍攝，其中，實體物件11有兩種，一者為平面實物111，另一者為立體實物112，兩者分別具有不同圖案的表面，當影像擷取設備106擷取平面實物111和立體實物112的影像後，經影像分析後由物件資料庫102找出相對應的虛擬物件並呈現顯示介面107上。於本實施例中，是以氣體粒子為範例，主要目 的是提供氣體粒子運動的教學，其中，平面實物111表示玻璃箱，立體實物112表示氣體粒子，因而顯示介面107會顯示出3D氣體粒子141及3D玻璃箱142等虛擬物件14，學者者可透過顯示介面107上之虛擬物件操作指令1071來操控虛擬物件14的狀態。

關於實體物件11之影像的判斷，當學習者13以行動裝置10之影像擷取設備106對實體物件11進行影像拍攝，其中，平面實物111具有識別圖案111’，立體實物112具有識別圖案112’，該些識別圖案111’、112’的識別圖案集合11’將提供辨識模組103進行影像分析，如前面所述，透過不同表面圖案可代表不同虛擬物件，因而，處理模組104由物件資料庫102找出相對應的虛擬物件14，也就是3D氣體粒子141及3D玻璃箱142，此時，每一項虛擬物件14會記載有自己的顯像狀態資訊，因而，學習者13透過顯示介面107可看到3D氣體粒子141會困在3D玻璃箱142中進行運動，互相碰撞、彈射，如此便可將不可視的微觀科學現象具體化。此外，學習者13可透過虛擬物件操作指令1071對虛擬物件14狀態進行控制，例如將氣體溫度調升或將氣體粒子增加，使得虛擬的氣體粒子會加速運動或高頻率的碰撞，藉此達到直觀的學習目的。

此外，學習者13也可藉由手動操作實體物件11來進行實驗操作，例如增加對應一個3D透明牆的實體物件(圖未示)，經辨識後，產生3D透明牆(圖未示)的擴增實境，當學習者13動手將3D透明牆壓入3D玻璃箱142內時(兩 者可互相穿透)，此時虛擬的3D氣體粒子141的運動空間受到壓縮，虛擬的3D玻璃箱142受到粒子碰撞的頻率就會增加，亦即代表箱內壓力提高，因此，藉由上述模擬實驗操作，可提供學習者13直接操作實體物件11而達到實驗操作訓練的效果。因此，識別圖案集合11’、虛擬物件14以及學習者13執行虛擬物件操作指令1071等過程，將會被紀錄並傳送至雲端伺服器12之歷程資料庫122，該些資料將可供相關人員作進一步研究利用。

接著，請參考第3圖，係說明本發明之擴增實境學習系統之整體架構運作示意圖。如圖所示，擴增實境學習系統1提供學習者13進行科學實驗的操作訓練，其中，行動裝置10可透過內部影像擷取設備(攝錄器)對實體物件11進行影像擷取以取得該實體物件11之影像，接著分析所擷取影像找出對應虛擬物件14並由顯示器顯示，以供學習者13觀察學習。

在學習同時，學習者13可透過觸控控制以操縱在行動裝置10上操作介面的按鈕、滑桿或選項等控制元件，藉此通過參數控制53來控制虛擬物件14的狀態，學習者13也可透過直接手持移動操縱實體物件11，藉由空間互動52的方式，如以移動、旋轉、校對等方式操作實體物件11，亦即在真實空間中直接操縱實體物件11以間接改變虛擬物件14以進行互動。此外，除了透過操作介面改變虛擬物件14或直接對實體物件11操縱外，更可結合行動裝置10內的感測器，例如方向感測、加速度感測、亮度感測、距 離感測等，以感測學習者13對於行動裝置10的操控過程，藉此紀錄學習者13的學習操縱。

在互動過程中，學習者13所進行的空間互動52、參數控制53以及虛擬物件14所產生狀態改變，將會對應產生空間移動資訊510、參數調整資訊511及虛擬互動資訊512等資料，其中，空間移動資訊510為辨識實體物件11成功時，開始連續回傳其代表之虛擬物件的三維座標資訊，參數調整資訊511是該虛擬物件14的狀態數值其對應在操作介面中，虛擬互動資訊512是虛擬物件14彼此接觸(虛擬物件14之表面互碰)、組合(虛擬物件14有形狀上的嵌合或空間上的對應)、覆蓋(虛擬物件14的體積互相疊合)等經過設計所產生之互動關係下的結果，並非指虛擬物件14自身狀態改變之資訊，前述各項資料經由自動化紀錄歷程54過程被紀錄下來，即三種經由互動產生的資訊自動化賦予時間標記並彙整在一起產生具有時間方向的歷程資料513。如前面所述之實施例中，在增加3D透明牆至實驗操作中時，會產生3D透明牆的空間移動資訊510，接著因氣體粒子活動空間變小而增加碰撞頻率，會產生碰撞頻率改變的虛擬互動資訊512，而前述兩種資訊與進行參數控制時所產生之參數調整資訊511整合，即成為歷程資料513。

接著，該些歷程資料513可透過無線傳輸方式傳送至遠方的雲端伺服器12，爾後雲端伺服器12可進行裝置即時回饋55和網路即時共享56等應用，裝置即時回饋55意 指透過震動、音效、動畫特效等方式回饋學習者13，告知其學習情況或是與其他學習者的比對結果，網路即時共享56則是以網頁、郵件等方式即時更新多個行動裝置10(即多位學習者)的歷程資料513，藉此提供學習者13學習成績，以及教學者可進行統計分析及學術量化研究等。

因此，本發明藉由整合智慧行動、擴增實境、雲端運算等科技概念，創造出新型態的教學與測驗系統，對於許多不可視的微觀現象(如氣體粒子運動)，藉由將抽象科學概念具現化，並配合可實驗操縱，將有助於學習者學習、更節省成本、更具便利性等效果，而透過雲端運算紀錄歷程資料，達到網路即時共享及分析統計之目的，以作為研究與評估之用。

接著，請參考第4圖，係說明本發明之擴增實境學習方法之步驟圖。該擴增實境學習方法係指透過行動裝置進行學習的過程，於步驟S401中，係提供作為教具之實體物件以及對應該實體物件之虛擬物件。詳細來說，除了供學習者操作的實體物件之教具外，還提供與實體物件對應之虛擬物件，其包括製作虛擬物件及識別圖案，虛擬物件可為二維、三維電腦圖形、動畫或影片，而識別圖案可為黑白、彩色高度複雜之自然影像，接著定義虛擬物件與識別圖案之間對應關係，以及虛擬物件可顯示靜態或動態的顯示狀態，虛擬物件及識別圖案將會被紀錄在物件資料庫內。

此外，製作作為教具之實體物件，可包含平面實體物件及立體實體物件，無論是平面實體物件或是立體實體物 件皆擁有識別圖案於其表面上，以作為虛擬物件成像之依據。接著進至步驟S402。

於步驟S402中，係設定各該虛擬物件間的互動關係與回饋條件。也就是事先建立每個虛擬物件之間的互動關係，以及不同操作下所提供的回饋，具體來說，可包括可調整參數及空間互動關係，可調整參數可例如溫度、壓力、密度等自然狀態，其可透過顯示介面上的操控選項來構成可調整參數的操作，空間互動關係指各虛擬物件彼此相關性，例如虛擬氣體粒子彼此碰撞，或者被虛擬玻璃箱包覆。接著進至步驟S403。

於步驟S403中，係透過該行動裝置對該實體物件進行影像擷取以產生該實體物件之影像，辨識該實體物件之影像以產生影像資訊，且依據該影像資訊取得對應該實體物件之該虛擬物件並顯示於該行動裝置之顯示介面上。詳細來說，學習者可透過行動裝置之影像擷取設備進行影像擷取，以取得實體物件之影像，其中，基於平面實體物件之單一表面或者該立體實體物件之任一表面的識別圖案不同，可藉以作為辨識影像的依據。

再者，在擷取到影像後，可對該影像進行辨識分析，即便是實體物件之表面圖案為何，進而取得對應該實體物件之虛擬影像，並將虛擬物件並顯示於該行動裝置之顯示介面上，此時學習者可透過顯示介面觀看到虛擬物件的成像。接著進至步驟S404。

於步驟S404中，係學習者透過該顯示介面上之虛擬物 件操作指令以控制該虛擬物件之顯示狀態，或者直接操作該實體物件以控制該實體物件所對應的該虛擬物件，且該行動裝置紀錄該學習者之操作歷程。此步驟係說明虛擬物件會被顯示在行動裝置之顯示介面上，此時透過預設控制虛擬物件顯像狀態或互動條件的調整參數，以控制該虛擬物件之顯示狀態，同時將相關顯像狀態及互動情形紀錄，以成為該學習者的操作歷程。

上述包括學習者透過顯示介面上之視覺化操作介面，例如虛擬物件操作指令，以控制虛擬物件之顯示狀態，或者學習者也可直接改變實體物件之狀態，例如以移動、旋轉、校對等方式改變實體物件於真實空間的狀態，並隨著學習者對於虛擬物件的狀態改變，而由顯示介面顯示新的狀態，亦即行動裝置在攝錄影像的狀態下，會持續攝入實體物件，並由持續判定識別影像是否存在，以持續更新虛擬物件對應於實體物件而所需呈現於真實空間之位置，其中，這裡所述的持續攝入與持續更新是指硬體的高速連續擷取以及軟體的高速連續重繪，並非單格單影的模式。接著進至步驟S405。

於步驟S405中，係該操作歷程自動地傳送至一雲端伺服器，該雲端伺服器係分析該操作歷程以產生用於即時回饋之回饋訊息以及用於學習統計之歷程資料。具體來說，為了達到即時回饋及數據分析統計等目的，本發明之擴增實境學習方法會將操作歷程傳送至雲端伺服器，其中，該雲端伺服器用來分析操作歷程以產生回饋訊息及歷程資 料。如前所述，學習者之操作歷程可被紀錄下來，並儲存雲端伺服器中，該些資料除了提供即時回饋互動外，也可供進行分析統計，以作為教學或測驗改進的依據。

綜上所述，本發明之擴增實境學習系統及其方法，透過擴增實境方式將不可視的教學內容具體化，以取得較佳學習效果，更特別的是，本發明利用擴增實境著重學習者的實驗操作，意即以擴增實境為媒介進行虛擬的實驗操作訓練，有別於以往僅有書本、圖片、甚至僅有影片方式所提供教學內容。再者，擴增實境學習系統也可提供測驗內容，同樣可讓學習者不再侷限文字測驗，而可透過本系統進行測驗並得到即時回饋的測驗結果，因此，對於教學與測驗上是有相當幫助。

上述實施例僅例示性說明本發明之原理及其功效，而非用於限制本發明。任何熟習此項技藝之人士均可在不違背本發明之精神及範疇下，對上述實施例進行修飾與改變。因此，本發明之權利保護範圍，應如後述之申請專利範圍所列。

1‧‧‧擴增實境學習系統

10‧‧‧行動裝置

11‧‧‧實體物件

12‧‧‧雲端伺服器

13‧‧‧學習者

14‧‧‧虛擬物件

510‧‧‧空間移動資訊

511‧‧‧參數調整資訊

512‧‧‧虛擬互動資訊

513‧‧‧歷程資料

52‧‧‧空間互動

53‧‧‧參數控制

54‧‧‧自動化紀錄歷程

55‧‧‧裝置即時回饋

56‧‧‧網路即時共享

Claims (10)

1. 一種擴增實境學習系統，係包括：雲端伺服器，係用於紀錄學習者之操作歷程及提供回饋訊息；以及行動裝置，係供該學習者操作，其包括：影像擷取模組，係用於擷取作為教具之實體物件之影像；物件資料庫，係用於儲存對應該實體物件之虛擬物件與識別圖案；辨識模組，係用於辨識該影像擷取模組所擷取之該實體物件之影像以產生影像資訊；以及處理模組，係用於接收並分析來自該辨識模組之該影像資訊，透過分析所得到之該識別圖案由該物件資料庫取得對應該實體物件之該虛擬物件，且將該虛擬物件顯示於該行動裝置之顯示介面上，其中，該學習者係透過該顯示介面上之虛擬物件操作指令或直接操作該實體物件以控制該實體物件所對應的該虛擬物件之顯示狀態，且透過該行動裝置內之感測器感測該學習者的操控過程以紀錄該學習者之操作歷程，並將該學習者之操作歷程回傳至該雲端伺服器，且其中，該學習者藉由對該虛擬物件或該實體物件的操作，以進行模擬科學實驗及具體操作訓練。
2. 如申請專利範圍第1項所述之擴增實境學習系統，其 中，該實體物件包含平面實體物件及立體實體物件，該辨識模組係辨識由該平面實體物件之單一表面或者該立體實體物件之任一表面所形成之影像。
3. 如申請專利範圍第1項所述之擴增實境學習系統，該行動裝置更包括通訊模組，以由該處理模組透過該通訊模組將該操作歷程傳送至該雲端伺服器。
4. 如申請專利範圍第3項所述之擴增實境學習系統，其中，該雲端伺服器係包含：運算模組，係用於分析該操作歷程以產生回饋訊息及歷程資料；歷程資料庫，係用於儲存該操作歷程以及該運算模組產生之歷程資料；統計模組，係用於對該歷程資料庫內之多筆歷程資料進行統計以產生學習統計資料；以及回饋模組，係依據該運算模組所產生之回饋訊息及該統計模組所產生之學習統計資料產生回饋指令，並回傳至該處理模組以即時提供學習回饋。
5. 如申請專利範圍第1項所述之擴增實境學習系統，其中，該虛擬物件操作指令包含按鈕、滑桿或選項，藉此控制該虛擬物件之顯示狀態。
6. 如申請專利範圍第1項所述之擴增實境學習系統，其中，當該學習者操作該實體物件時，經由該影像擷取模組擷取新的影像，以由該顯示介面依據該新的影像而顯示該虛擬物件的新狀態。
7. 一種擴增實境學習方法，係提供透過行動裝置進行學習，包括以下步驟：(1)提供作為教具之實體物件以及對應該實體物件之虛擬物件；(2)設定各該虛擬物件間的互動關係與回饋條件；(3)透過該行動裝置對該實體物件進行影像擷取以產生該實體物件之影像，辨識該實體物件之影像以產生影像資訊，且依據該影像資訊取得對應該實體物件之該虛擬物件並顯示於該行動裝置之顯示介面上；(4)學習者透過該顯示介面上之虛擬物件操作指令以控制該虛擬物件之顯示狀態，或者直接操作該實體物件以控制該實體物件所對應的該虛擬物件，且該行動裝置內之感測器感測該學習者的操控過程以紀錄該學習者之操作歷程；以及(5)該操作歷程自動地傳送至一雲端伺服器，該雲端伺服器係分析該操作歷程以產生用於即時回饋之回饋訊息以及用於學習統計之歷程資料。
8. 如申請專利範圍第7項所述之擴增實境學習方法，其中，該實體物件包含平面實體物件及立體實體物件，且該步驟(3)更包括辨識由該平面實體物件之單一表面或者該立體實體物件之任一表面所形成之影像。
9. 如申請專利範圍第7項所述之擴增實境學習方法，其中，該步驟(4)更包括依據該學習者改變該實體物件 之狀態以擷取新的影像，並由該顯示介面依據該新的影像而顯示該虛擬物件的新狀態以及與其它虛擬物件的空間互動狀態。
10. 如申請專利範圍第7項所述之擴增實境學習方法，該互動關係與回饋條件包括每一該虛擬物件之可調整參數、空間互動關係、以及欲紀錄之操作歷程內容。