TWI674562B - 擴增實境互動式語言學習裝置 - Google Patents

擴增實境互動式語言學習裝置 Download PDF

Info

Publication number
TWI674562B
TWI674562B TW107105997A TW107105997A TWI674562B TW I674562 B TWI674562 B TW I674562B TW 107105997 A TW107105997 A TW 107105997A TW 107105997 A TW107105997 A TW 107105997A TW I674562 B TWI674562 B TW I674562B
Authority
TW
Taiwan
Prior art keywords
information
image
language learning
module
portable
Prior art date
Application number
TW107105997A
Other languages
English (en)
Other versions
TW201937462A (zh
Inventor
陳盈伶
Ying-ling CHEN
賴金輪
Chin-Lun Lai
Original Assignee
亞東技術學院
Oriental Institute Of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 亞東技術學院, Oriental Institute Of Technology filed Critical 亞東技術學院
Priority to TW107105997A priority Critical patent/TWI674562B/zh
Publication of TW201937462A publication Critical patent/TW201937462A/zh
Application granted granted Critical
Publication of TWI674562B publication Critical patent/TWI674562B/zh

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本發明關於一種擴增實境互動式語言學習裝置，其包括一攜帶式影像模組，其可擷取並顯示一環境影像資訊及至少一於該環境影像資訊中之待學物件影像資訊，且可感測一操作手勢；一定位模組，其設於該攜帶式影像模組，依據該攜帶式影像模組的所在地而產生一位置資訊；一處理模組，其電性連接該攜帶式影像模組及該定位模組，該處理模組接收該位置資訊、該環境影像資訊及各該待學物件影像資訊，以於該攜帶式影像模組呈現至少一對應該至少一待學物件影像資訊之語言學習資訊，該處理模組依據該操作手勢可至少切換各該語言學習資訊之一呈現模式。

Description

擴增實境互動式語言學習裝置
本發明係有關於一種擴增實境互動式語言學習裝置。
傳統語言自學系統多為單機單功能、不聯網、內容物固定、且UI輸入方式較不人性等設計，除了缺乏即時互動以掌控學習內容的功能外，對於情境式的學習樣態也付之闕如，在多重感官的刺激上也缺乏綜合及同步元素，其UI輸入人機介面多是透過鍵盤滑鼠或語音等裝置來進行互動操控輸入，除了操作不便以外，學習效果也多所受限，因而使語言學習變得單調且困難。
此外，由於傳統的語言自學系統係透過UI輸入人機介面，導致無法即時性的學習於環境中所看到的物件。
因此，有必要提供一種新穎且具有進步性之擴增實境互動式語言學習裝置，以解決上述之問題。
本發明之主要目的在於提供一種擴增實境互動式語言學習裝置，可以提供即看即學的學習模式。
為達成上述目的，本發明提供一種擴增實境互動式語言學習裝置，其包括：一攜帶式影像模組，其可擷取並顯示一環境影像資訊及至少一於該環境影像資訊中之待學物件影像資訊，且可感測一操作手勢；一定位模組，其設於該攜帶式影像模組，依據該攜帶式影像模組的所在地而產生一位置資訊；一處理模組，其電性連接該攜帶式影像模組及該定位模組，該處理模組接收該位置資訊、該環境影像資訊及各該待學物件影像資訊，以於該攜帶式影像模組呈現至少一對應該至少一待學物件影像資訊之語言學習資訊，該處理模組依據該操作手勢可至少切換各該語言學習資訊之一呈現模式；其中，該處理模組另包括一資料庫，該資料庫包括該位置資訊及該至少一語言學習資訊，該資料庫中儲存的該位置資訊的數量為複數，該至少一語言學習資訊的數量為複數，該複數語言學習資訊分別對應該複數位置資訊；該資料庫設於該攜帶式影像模組及一雲端伺服器至少其中一者。
1‧‧‧擴增實境互動式語言學習裝置
2‧‧‧待學習物件
3‧‧‧操作手勢
10‧‧‧攜帶式影像模組
11‧‧‧環境影像資訊
12‧‧‧待學物件影像資訊
13‧‧‧語言學習資訊
14‧‧‧影像擷取單元
15‧‧‧影像顯示單元
16‧‧‧主體
161‧‧‧視窗部
162‧‧‧遮光罩
163‧‧‧加強肋
164‧‧‧成像部
17‧‧‧伸縮腳架
18‧‧‧筒體
20‧‧‧定位模組
30‧‧‧處理模組
31‧‧‧資料庫
40‧‧‧聲音模組
圖1為本發明一較佳實施例之方塊圖。
圖2為本發明一較佳實施例之主體之立體圖。
圖3為本發明一較佳實施例之使用狀態圖。
圖4為本發明一較佳實施例之學習畫面示意圖。
圖5、圖6為本發明一較佳實施例之伸縮腳架之使用狀態圖。
圖7為本發明另一較佳實施例之使用狀態圖。
圖8為本發明另一較佳實施例之操作手勢示意圖。
以下僅以實施例說明本發明可能之實施態樣，然並非用以限制本發明所欲保護之範疇，合先敘明。
請參考圖1至圖8，其顯示本發明之一較佳實施例，本發明之擴增實境互動式語言學習裝置1，其包括：一攜帶式影像模組10、一定位模組20及一處理模組30。
該攜帶式影像模組10可擷取並顯示一環境影像資訊11及至少一於該環境影像資訊11中之待學物件影像資訊12，進一步說明一個環境中可具有多個待學習物件2(於環境中的任何物件)，且可感測一操作手勢3；該定位模組20設於該攜帶式影像模組10，依據該攜帶式影像模組10的所在地而產生一位置資訊，其中該定位模組20為一衛星定位系統，該位置資訊例如為一衛星定位座標；該處理模組30電性連接該攜帶式影像模組及該定位模組20，該處理模組30接收該位置資訊、該環境影像資訊11及各該待學物件影像資訊12，以於該攜帶式影像模組10呈現至少一對應該至少一待學物件影像資訊12之語言學習資訊13，該處理模組30依據該操作手勢3可至少切換各該語言學習資訊13之一呈現模式。藉此，可結合當下的環境達到即看即學的學習模式、具有臨場感。再者，可提供直覺性的操作。
該攜帶式影像模組10包括一影像擷取單元14及一影像顯示單元15，該影像擷取單元14及該影像顯示單元15分別電性連接該處理模組30，該影像擷取單元14可擷取該環境影像資訊11、各該待學物件影像資訊12及各該語言學習資訊13，且可感測該操作手勢3，該影像顯示單元15可顯示該環境影像資訊11、各該待學物件影像資訊12及各該語言學習資訊13。於本實施例中，該影像擷取單 元14可例如包括一攝影機及一運動感測裝置，並且可透過虛擬按鍵(virtual button)的設計達到多元的操作性，該虛擬按鍵可結合於該環境影像資訊11及各該待學物件影像資訊12中，以可將使用者的肢體方位及手勢動作(例如偵測擷取手部特徵、空間位置與運動方位、識別態樣、產生控制指令)轉化為控制訊號，以互動地帶出使用者想要擷取的待學物件影像資訊。該影像顯示單元15可為投影顯像裝置，具有一成像部164(例如成像平面、或成像空間)。
另外，該攜帶式影像模組10另包括一主體16及至少二伸縮腳架17，該定位模組20及該處理模組30設於該主體16，該至少二伸縮腳架17設於該主體16上，可伸長各該伸縮腳架17以供支撐於一支撐面上，用以支撐該主體16，及收縮各該伸縮腳架17以縮小整體尺寸且利於攜帶及收納；進一步說明，各該伸縮腳架17係由複數外徑尺寸相異的筒體18相互套設而成，並於伸長時可透過旋轉各該筒體18達到定位及解除定位的效果。
較佳地，該主體16設有一視窗部161及一圍設於該視窗部161之遮光罩162，該遮光罩162設有至少一朝該遮光罩162延伸方向延伸之加強肋163，以強化該遮光罩162的整體結構。
進一步說明，該攜帶式影像模組10可為手持顯示裝置(例如平板裝置、智慧型手機，如圖7及圖8)或虛擬實境眼鏡(如圖2)，可降低整體的成本，以廣泛的被使用。除了手持顯示設計以外，也配合支援MR(擴增實境)延伸顯示設備，例如HoloLens(增強實境頭盔)、Google Glasses(Google眼鏡)等，或是配合CardBoard(虛擬實境檢視器)以Stereo Rendering(立體著色運算)方式呈現stereogram(立體影像)。
各該語言學習資訊13為一文字資訊及一動態資訊至少其中一者，該環境影像資訊11、各該待學物件影像資訊12及各該語言學習資訊13可選擇地同時成像於該攜帶式影像模組10之該成像部164，其中該成像部164例如為螢幕顯示器或顯示空間等。詳細地說，可透過該操作手勢3切換開啟或關閉各該語言學習資訊13呈現於該成像部164。更進一步說明，該文字資訊可為對應該待學物件影像資訊12的多國語言單字資訊(如圖4)或說明文字等；該動態資訊例如為互動式動態學習資訊或動畫，以達到即時學習、練習、測驗功能，以增強學習效果。
該處理模組30另包括一資料庫31，該資料庫31包括該位置資訊、及該至少一語言學習資訊13，該資料庫31中儲存的該位置資訊的數量為複數，該至少一語言學習資訊13的數量為複數，當該處理模組30接收該位置資訊時，可載入至少一對應該位置資訊的該語言學習資訊13。此外，該資料庫31另包括複數對應該操作手勢3之手勢資訊及複數對應該手勢資訊之控制訊號，如此可將該操作手勢3與該手勢資訊配對，並取得其控制訊號。詳細地說，該攜帶式影像模組10係透過偵測手勢操作，詳細的說即是追蹤到手部後，接下來才能成功擷取手部特徵、識別樣態、進而完成控制命令解析。進一步說明，該資料庫31設於該攜帶式影像模組10及一雲端伺服器至少其中一者，於本實施例中該資料庫31設於該雲端伺服器。
該擴增實境互動式語言學習裝置1另包括一聲音模組40，該聲音模組40例如為揚聲器，該聲音模組40電性連接該處理模組30，該語言學習資訊13亦可為語音資訊，該聲音模組40可呈現該語音資訊，如此可及時學習該待學物件影像資訊12的發音。
進一步說明，該呈現模式包括一互動式學習模式、一影像模式及一聲音模式，如此可透過感測該操作手勢3，以切換為互動式學習模式、該影像模式及該聲音模式其中一種，亦可同時存在多種模式。
使用上，當在一個環境狀態下時，該攜帶式影像模組10可擷取當下的該環境影像資訊11及位於各該待學物件影像資訊12，並於呈現對應各該待學物件影像資訊12之語言學習資訊13，以提供臨場學習及即看即學的效果。再可藉由操作手勢3達到互動式學習的效果。

Claims (8)

  1. 一種擴增實境互動式語言學習裝置，包括：一攜帶式影像模組，可擷取並顯示一環境影像資訊及至少一於該環境影像資訊中之待學物件影像資訊，且可感測一操作手勢；一定位模組，設於該攜帶式影像模組，依據該攜帶式影像模組的所在地而產生一位置資訊；一處理模組，電性連接該攜帶式影像模組及該定位模組，該處理模組接收該位置資訊、該環境影像資訊及各該待學物件影像資訊，以於該攜帶式影像模組呈現至少一對應該至少一待學物件影像資訊之語言學習資訊，該處理模組依據該操作手勢可至少切換各該語言學習資訊之一呈現模式；其中，該處理模組另包括一資料庫，該資料庫包括該位置資訊及該至少一語言學習資訊，該資料庫中儲存的該位置資訊的數量為複數，該至少一語言學習資訊的數量為複數，該複數語言學習資訊分別對應該複數位置資訊；該資料庫設於該攜帶式影像模組及一雲端伺服器至少其中一者。
  2. 如請求項1所述的擴增實境互動式語言學習裝置，其中各該語言學習資訊為一文字資訊及一動態資訊至少其中一者，該環境影像資訊、各該待學物件影像資訊及各該語言學習資訊可選擇地同時成像於該攜帶式影像模組之一成像部。
  3. 如請求項2所述的擴增實境互動式語言學習裝置，其中該動態資訊為互動式動態學習資訊。
  4. 如請求項1所述的擴增實境互動式語言學習裝置，其中該資料庫包括複數對應該操作手勢之手勢資訊及複數對應該手勢資訊之控制訊號。
  5. 如請求項1所述的擴增實境互動式語言學習裝置，其中該攜帶式影像模組包括一影像擷取單元及一影像顯示單元，該影像擷取單元及該影像顯示單元分別電性連接該處理模組，該影像擷取單元可擷取該環境影像資訊、各該待學物件影像資訊及各該語言學習資訊，且可感測該操作手勢，該影像顯示單元可顯示該環境影像資訊、各該待學物件影像資訊及各該語言學習資訊。
  6. 如請求項1所述的擴增實境互動式語言學習裝置，其中各該語言學習資訊為一文字資訊及一動態資訊至少其中一者，該環境影像資訊、各該待學物件影像資訊及各該語言學習資訊可選擇地同時成像於該攜帶式影像模組之一成像部；該動態資訊為互動式動態學習資訊；該資料庫包括複數對應該操作手勢之手勢資訊及複數對應該手勢資訊之控制訊號；該攜帶式影像模組包括一影像擷取單元及一影像顯示單元，該影像擷取單元及該影像顯示單元分別電性連接該處理模組，該影像擷取單元可擷取該環境影像資訊、各該待學物件影像資訊及各該語言學習資訊，且可感測該操作手勢，該影像顯示單元可顯示該環境影像資訊、各該待學物件影像資訊及各該語言學習資訊；另包括一聲音模組，該聲音模組電性連接該處理模組，該語言學習資訊亦可為語音資訊，該聲音模組可呈現該語音資訊；該呈現模式包括一互動式學習模式、一影像模式及一聲音模式。
  7. 如請求項1至6其中任一項所述的擴增實境互動式語言學習裝置，其中該攜帶式影像模組另包括一主體及至少二伸縮腳架，該定位模組及該處理模組設於該主體，該至少二伸縮腳架設於該主體上。
  8. 如請求項7所述的擴增實境互動式語言學習裝置，其中該主體設有一視窗部及一圍設於該視窗部之遮光罩，該遮光罩設有至少一朝該遮光罩延伸方向延伸之加強肋。
TW107105997A 2018-02-22 2018-02-22 擴增實境互動式語言學習裝置 TWI674562B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW107105997A TWI674562B (zh) 2018-02-22 2018-02-22 擴增實境互動式語言學習裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107105997A TWI674562B (zh) 2018-02-22 2018-02-22 擴增實境互動式語言學習裝置

Publications (2)

Publication Number Publication Date
TW201937462A TW201937462A (zh) 2019-09-16
TWI674562B true TWI674562B (zh) 2019-10-11

Family

ID=68618367

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107105997A TWI674562B (zh) 2018-02-22 2018-02-22 擴增實境互動式語言學習裝置

Country Status (1)

Country Link
TW (1) TWI674562B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11249315B2 (en) 2020-04-13 2022-02-15 Acer Incorporated Augmented reality system and method of displaying virtual screen using augmented reality glasses

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113625866A (zh) * 2020-05-08 2021-11-09 宏碁股份有限公司 增强现实系统以及利用增强现实眼镜显示虚拟屏幕的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201205515A (en) * 2010-07-29 2012-02-01 Univ Nat Central System of mixed augmented reality and digital learning
US8396744B2 (en) * 2010-08-25 2013-03-12 The Nielsen Company (Us), Llc Effective virtual reality environments for presentation of marketing materials
US20160292925A1 (en) * 2015-04-06 2016-10-06 Scope Technologies Us Inc. Method and appartus for sharing augmented reality applications to multiple clients
TWI614734B (zh) * 2016-11-02 2018-02-11 國立勤益科技大學 虛擬場景之多國語音學習系統及學習方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201205515A (en) * 2010-07-29 2012-02-01 Univ Nat Central System of mixed augmented reality and digital learning
US8396744B2 (en) * 2010-08-25 2013-03-12 The Nielsen Company (Us), Llc Effective virtual reality environments for presentation of marketing materials
US20160292925A1 (en) * 2015-04-06 2016-10-06 Scope Technologies Us Inc. Method and appartus for sharing augmented reality applications to multiple clients
TWI614734B (zh) * 2016-11-02 2018-02-11 國立勤益科技大學 虛擬場景之多國語音學習系統及學習方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11249315B2 (en) 2020-04-13 2022-02-15 Acer Incorporated Augmented reality system and method of displaying virtual screen using augmented reality glasses
TWI790430B (zh) * 2020-04-13 2023-01-21 宏碁股份有限公司 擴增實境系統以及利用擴增實境眼鏡顯示虛擬螢幕的方法

Also Published As

Publication number Publication date
TW201937462A (zh) 2019-09-16

Similar Documents

Publication Publication Date Title
US20220382379A1 (en) Touch Free User Interface
US10761612B2 (en) Gesture recognition techniques
EP2956843B1 (en) Human-body-gesture-based region and volume selection for hmd
Wozniak et al. Possible applications of the LEAP motion controller for more interactive simulated experiments in augmented or virtual reality
US9658695B2 (en) Systems and methods for alternative control of touch-based devices
US9651782B2 (en) Wearable tracking device
US8749557B2 (en) Interacting with user interface via avatar
CN108885533A (zh) 组合虚拟现实和增强现实
US10268277B2 (en) Gesture based manipulation of three-dimensional images
US9632592B1 (en) Gesture recognition from depth and distortion analysis
CN110968187B (zh) 由外围设备启用的远程触摸检测
CN104199542A (zh) 一种智能镜实现方法、装置和智能镜
KR101343748B1 (ko) 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
US10372229B2 (en) Information processing system, information processing apparatus, control method, and program
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
US10607069B2 (en) Determining a pointing vector for gestures performed before a depth camera
CN111860252A (zh) 图像处理方法、设备及存储介质
TWI674562B (zh) 擴增實境互動式語言學習裝置
JP2016045588A (ja) データ処理装置、データ処理システム、データ処理装置の制御方法、並びにプログラム
CN115439171A (zh) 商品信息展示方法、装置及电子设备
CN111901518B (zh) 显示方法、装置和电子设备
Edelmann et al. The dabr-a multitouch system for intuitive 3d scene navigation
KR101414362B1 (ko) 영상인지 기반 공간 베젤 인터페이스 방법 및 장치
US11054941B2 (en) Information processing system, information processing method, and program for correcting operation direction and operation amount
US11641460B1 (en) Generating a volumetric representation of a capture region