TWI642039B - 頭戴式太極拳輔助學習系統 - Google Patents

頭戴式太極拳輔助學習系統 Download PDF

Info

Publication number
TWI642039B
TWI642039B TW106138721A TW106138721A TWI642039B TW I642039 B TWI642039 B TW I642039B TW 106138721 A TW106138721 A TW 106138721A TW 106138721 A TW106138721 A TW 106138721A TW I642039 B TWI642039 B TW I642039B
Authority
TW
Taiwan
Prior art keywords
virtual
learner
head
action
move
Prior art date
Application number
TW106138721A
Other languages
English (en)
Other versions
TW201818372A (zh
Inventor
洪一平
韓秉軒
Original Assignee
國立臺灣大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立臺灣大學 filed Critical 國立臺灣大學
Publication of TW201818372A publication Critical patent/TW201818372A/zh
Application granted granted Critical
Publication of TWI642039B publication Critical patent/TWI642039B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/003Repetitive work cycles; Sequence of movements
    • G09B19/0038Sports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0638Displaying moving images of recorded environment, e.g. virtual environment
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0647Visualisation of executed movements
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0658Position or arrangement of display
    • A63B2071/0661Position or arrangement of display arranged on the user
    • A63B2071/0666Position or arrangement of display arranged on the user worn on the head or face, e.g. combined with goggles or glasses
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/803Motion sensors
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/83Special sensors, transducers or devices therefor characterised by the position of the sensor
    • A63B2220/836Sensors arranged on the body of the user
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/50Wireless data transmission, e.g. by radio transmitters or telemetry
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2244/00Sports without balls
    • A63B2244/10Combat sports
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography

Abstract

一種頭戴式太極拳輔助學習系統,包括頭戴式顯示器以及多個動作姿勢感測器,其中頭戴顯示器是戴在頭上,而穿戴式裝置是在身體的特定部位,用以感測學習者的動作而以無線方式發射相對應的感測信號給頭戴顯示器,經處理後而顯示學習者的動作影像,同時頭戴顯示器還顯示前方的虛擬教練演示太極拳的動作,並由位於不同方位的多個虛擬助教演示同一動作,所以學習者可觀察到不同角度下的動作細節。因此,本發明是藉影像及聲音的組合以有效輔助學習者自我檢視動作的正確性,克服學障礙,並即時矯正而達到快速學習太極拳的成效。

Description

頭戴式太極拳輔助學習系統
本發明係有關於一種頭戴式太極拳輔助學習系統,尤其是利用戴在頭上的頭戴顯示器還顯示前方的虛擬教練演示太極拳的動作,並由位於不同方位的多個虛擬助教演示同一動作,使得學習者可觀察到不同角度下的動作細節,同時利用配戴在身體特定部位的動作姿勢感測器以感策學習者的姿勢及動作,進而由頭戴顯示器顯示,能有效輔助學習者自我檢視動作的正確性,並即時矯正而達到快速學習太極拳的成效。
眾所週知,太極拳是非常有益於身體健康,可在持續不斷的練習下而促進全身的代謝循環,甚至具有調節自律神經以及內分泌系統的優點。雖然太極拳的優點很多,學習者也不少,但是學習門檻相當高,一般人不容易在短時間內完成,而即時是非常勤奮的不斷練習,仍會因為姿勢、動作不正確而事倍功半,使得許多初學者中斷練習,甚為可惜。
傳統上,學習太極拳是以群體方式進行,每個人要照著教練的演示動作而一步一步模仿、練習,而且由教練即時矯正,比如抬手、擺手、跨步、曲膝、轉身、低身等等動作,但是每個人的模仿能力不同,且記憶力、領會力也差異甚大,造成整個群體的學習成效差異過大,不僅教練無法如願加快演示進度,且部分趕不上進度的學員卻早已心生怯意而萌生退出。
因此,傳統學習方式的缺點在於缺少一對一的專任教練,可隨時陪、教導伴學員,而雖然已有業者推出教學書本、影片或行動裝置,用以輔助有興趣的民眾自我學習,但是這些解決方案都只是平面的文字說明或影像資訊而已,學習者無法很方便的自我比對照自己以及教練的動作,進而學到正確的姿勢、動作。
因此,很需要一種創新的頭戴式太極拳輔助學習系統,利用戴在頭上的頭戴顯示器還顯示前方的虛擬教練演示太極拳的動作,並由位於不同方位的多個虛擬助教演示同一動作,使得學習者可觀察到不同角度下的動作細節,同時利用配戴在身體特定部位的動作姿勢感測器以感策學習者的姿勢及動作,進而由頭戴顯示器顯示,能有效輔助學習者自我檢視動作的正確性,並即時矯正而達到快速學習太極拳的成效,藉以解決上述習用技術的問題。
本發明之主要目的在提供一種頭戴式太極拳輔助學習系統,用以配置在學習者身上,包括頭戴式顯示器(Head Mounted Display)以及多個動作姿勢感測器,藉影像及聲音的組合以有效輔助學習者學習太極拳,其中頭戴顯示器是戴在頭上,而穿戴式裝置是在頭部、四肢部位,尤其,穿戴式裝置可感測學習者的動作而以無線方式發射相對應的感測信號,並由頭戴顯示器接收、處理,進而顯示。
具體而言,頭戴式顯示器具擴增實境(Augmented Reality,AR)/混合實境(Mixed Reality,MR)功能,並可在學習者的語音聲控或手勢指令(比如抖動、擺手或揮手)下播放連續且立體的太極拳學習影像畫面,其中太極拳學習影像畫面是包含太極拳演示畫面以及學習者影像畫面,而太極拳演示畫面可包含至少一虛擬教練及多個虛擬助教位於預設不同位置的演示畫面,且學習者的影像畫面是顯示學習者目前練習太極拳時的動作姿勢。
再者,動作姿勢感測器是配戴在學習者的特定身體部位,比如手部、軀體、腿部、頭部,用以感測學習者的姿勢及動作而產生動作姿勢感測信號,並以無線方式傳送至頭戴式顯示器,因此,頭戴式顯示器可接收來自動作姿勢感測器的動作姿勢感測信號,並經資料處理後建立學習者動作姿勢資料,據以產生相對應的學習者影像畫面,且在太極拳學習影像畫面中的特定位置,顯示學習者影像畫面。
動作姿勢感測器可包含智慧護腕、智慧護膝、智慧鞋墊,其中分別配戴於學習者的手腕、膝蓋、鞋內,可感測手腕、膝蓋、腳部的空間立體位置、相對應姿勢以及連續動作。再者,智慧護腕也可用智慧手錶取代。例如,智慧手錶可感測手腕的姿勢、擺動及移動狀態,進而獲得整個手臂的動作資料,而智慧護膝可感測腿部移動,並由智慧鞋墊感測腳部的踏步、抬腳、移步、轉身之動作。
進一步,學習者可位於太極拳學習影像畫面中的中央位置,虛擬教練可位於學習者的十二點鐘方位,而虛擬助教可散佈於學習者的周圍,或者,多個虛擬教練圍繞學習者的周圍,而多個虛擬助教圍繞在該等虛擬教練的外圍。其功效是學習者可從不同視角觀看相同的動作。
太極拳演示畫面中虛擬教練及虛擬助教的影像及動作是預先儲存的影像畫面與三維座標資訊,比如可儲存於記憶體、記憶卡或硬碟中。
上述的語音聲控是指由學習者發出預設的語音指令,比如開始、停止、繼續、分解動作、連續動作,使得頭戴式顯示器進行相對應的操作,因而學習者可依據實際需要主動控制播放方式。例如,在學習初期或不太熟悉拳法動作時,可播放分解動作,逐一提示動作名稱,並解說手部、腿部、頭部動作細節及要點。在相當熟悉後,可進行連續播放模式,並注意連續二動作之間的變化情形,比如如何轉身、收腿、提腳、牽引、擺頭、畫圓。
此外,虛擬教練是站在虛擬支撐面上,比如飛行地毯或圓形地板,因此,可投在虛擬支撐面上顯示虛擬教練的影子,用以視覺效果,尤其是還可在虛擬支撐面上顯示前一次動作的腳印,讓學習者了解前後動作的連貫性,並進一步感受太極拳的流暢度,加強印象。
因此,本發明藉頭戴式顯示器顯示前方的虛擬教練演示太極拳的動作,同時由位於不同方位的多個虛擬助教演示同一動作,由於學習者可同時觀察到不同角度下的動作細節,所以很容易自我檢視動作的正確性,並即時矯正而獲得學習樂趣,避免發生挫折感,尤其對於連續的擺手、踏步、轉身等複雜動作,更能加速學習太極拳的成效。
本發明之另一目的在提供一種頭戴式太極拳輔助學習系統,可輔助學習者以學習太極拳,並包含頭戴式顯示器以及移動式攝影裝置,其中頭戴式顯示器是戴在學習者的頭上,具有擴增實境/混合實境的影像顯示功能,用以顯示虛擬實境畫面,並且還進一步具有無線接收傳送功能,而移動式攝影裝置具移動功能及無線接收傳送功能,並配置攝影機,用以拍攝學習者而獲得學習者的影像,且移動式攝影裝置進一步以無線方式傳送學習者的影像至頭戴式顯示器。
頭戴式顯示器還進一步具有位置方位感測器以及無線發射器,其中位置方位感測器係用以感測頭戴式顯示器的位置及方位,並經由無線發射器而傳送至移動式攝影裝置。
此外,移動式攝影裝置接收並依據頭戴式顯示器的位置及方位,藉以調整移動式攝影裝置而朝向學習者,使得攝影機保持對準學習者而拍攝學習者的正面影像,且由移動式攝影裝置傳送學習者的正面影像至移動式攝影裝置。
再者,上述的虛擬實境畫面包含虛擬鏡面以及多個虛擬教練,其中每個虛擬教練是位於虛擬鏡面的周圍,而且頭戴式顯示器將所接收到的學習者的正面影像當作虛擬學習者的正面影像,並顯示於虛擬鏡面上,尤其,每個虛擬教練是設計成是站在虛擬支撐面上,並演示太極拳以供學習者觀看、參考、模仿、學習,並即時矯正姿勢、動作。
此外,頭戴式顯示器也可在學習者藉語音指令的語音聲控或手勢指令(比如抖動、擺手或揮手)下而播放上述的虛擬實境畫面,藉以方便操控。
以下配合圖示及元件符號對本發明之實施方式做更詳細的說明,俾使熟習該項技藝者在研讀本說明書後能據以實施。
請參閱第一圖,顯示本發明第第一實施例共頭戴式太極拳輔助學習系統的示意圖。如第一圖所示,本發明第一實施例的頭戴式太極拳輔助學習系統係用以配置在學習者10的身上,並包括頭戴式顯示器(Head Mounted Display)20以及多個動作姿勢感測器30,其中頭戴顯示器20具有無線接收功能以及影像顯示、聲音播放的功能,並可戴在學習者10頭上,而穿戴式裝置30是在學習者10的身體特定部位,比如頭部、四肢。此外,穿戴式裝置30可感測學習者10的身體動作,並以無線方式發射相對應的感測信號而傳送至頭戴顯示器20,再經處理後用以顯示學習者10的姿勢、動作以及有助於學習太極拳的相關資料。
具體而言,頭戴式顯示器20具擴增實境(Augmented Reality,AR)/混合實境(Mixed Reality,MR)功能,並可在學習者10藉語音指令的語音聲控或手勢指令(比如抖動、擺手或揮手)下,以播放模式播放連續且立體的太極拳學習影像畫面。
參考第二圖及第三圖,分別為本發明第一實施例中動作姿勢感測器30的二應用實例的示意圖,其中第二圖的動作姿勢感測器30是配戴在學習者10的手腕,比如智慧手錶,可用以感測手腕在立體空間中的動作姿勢及移動資料,進而額到手部及手臂的姿勢、動作,而第三圖的動作姿勢感測器30是配戴在學習者10的膝蓋,用以感測膝蓋的彎曲角度及腿部姿勢,或脛骨的彎曲角度。此外,配戴在學習者10的頭部的動作姿勢感測器30可感測頭部的擺頭角度,而配戴在學習者10的鞋底的動作姿勢感測器30可感測學習者10的腳底的重心位置及步伐資料。
進一步參考第四圖及第五圖,分別為本發明第一實施例中虛擬教練及虛擬助教相對於學習者的位置示意圖以及頭戴顯示器所顯示的示範性畫面之示意圖。如第四圖及第五圖所示,頭戴式顯示器20所顯示的太極拳學習影像畫面包含太極拳演示影像,其中太極拳演示影像包含至少一虛擬教練B及多個虛擬助教C,且個別位於太極拳學習影像畫面的不同預設位置,用以演示不同角度的動作。因此,每個虛擬教練B及每個虛擬助教C是在學習者10的不同觀察角度下演示太極拳的多個招式,而每個招式係包含多個細部動作。
此外,虛擬教練B與虛擬助教C可設計成站在虛擬支撐面M上,比如虛擬教練B與虛擬助教C下方的飛行地毯或圓形地板,因此,可在虛擬支撐面上顯示虛擬教練B的影子S,用以視覺效果,尤其是還可在虛擬支撐面上顯示前一次動作的腳印或步伐P,讓學習者了解前後動作的連貫性,並進一步感受太極拳的流暢度,加強印象。
舉例而言,虛擬教練B可在學習者10的正前方,而虛擬助教C是在學習者10的周圍,尤其,虛擬教練B是比虛擬助教C更靠近學習者10。虛擬助教C功效在於提供不同角度的動作,以及多人同時操演太極拳的群體情境效應,可增加臨場感,並避免太過單調、枯燥、乏味,藉以提升學習樂趣。
或者,該至少一虛擬教練B是以近似圓圈狀而圍繞學習者10,而該等虛擬助教C是以至少一另一近似圓圈狀而圍繞學習者10,且近似圓圈狀是比另一近似圓圈狀還靠近學習者10。換言之,虛擬教練B及虛擬助教C是以類似同心圓的方式圍繞學習者10,且虛擬教練B比虛擬助教C還靠近學習者10。為加強視覺效應以提升學習進度,可顯示虛擬教練B的影子S以及之前腳踏的步伐P,如第五圖所示。
此外,本發明的頭戴式顯示器20所顯示的太極拳學習影像畫面還包含學習輔助影像,如第六圖及第七圖所示,主要是依據來自動作姿勢感測器30的感測信號以建立學習者10的動作姿勢,並與虛擬教練B的動作姿勢進行比較後,產生並顯示包含學習者10與虛擬教練B之間相對應姿勢及動作的輔助資訊。具體而言,第六圖顯示學習者10的腿部虛擬影像以及虛擬教練B的步伐資料,亦即步伐位置,用以供學習者10參考、比較,而第七圖顯示學習者10的膝蓋的彎曲角度、腿部姿勢以及腳底的重心位置(還有或脛骨的彎曲角度),尤其還同時標示出虛擬教練B的彎曲角度、腿部姿勢以及重心位置,所以學習者10很容易矯正姿勢及動作。尤其是,學習輔助影像還可進一步顯示相關姿勢、位置的量化數字,比如彎曲角度、重心位置。
因此,上述的學習輔助影像包含學習者10與虛擬教練B的擺頭角度、彎曲角度、腿部姿勢、手腕的動作姿勢及移動資料、腳底的重心位置及步伐資料。
此外,頭戴式顯示器20的播放模式包含連續播放模式以及分解播放模式,其中連續播放模式顯示每個招式,以語音播放該招式的名稱,但不顯示每個招式的動作細節,而分解播放模式是顯示每個招式的所有動作細節,同時以語音播放該招式的名稱以及每個動作細節的解說。
進一步,上述的語音指令包含開始或start、連續播放或continuous、分解播放或segment、播放或go或play、暫停或pause、凝固或freeze、轉向或reset、重來或restart、上一招式或last、下一招式或next、回第一影格或last move、到第一影格或next move、回上一動作或last action、到下一動作或next action以及關閉或close。
更加具體而言,連續播放或continuous係用以啟動或切換至連續播放模式;分解播放或segment係用以啟動或切換至分解播放模式;播放或go或play係用以播放該太極拳學習影像畫面;暫停或pause係用以暫停播放太極拳學習影像畫面;凝固或freeze係用以固定虛擬教練的位置,並朝虛擬教練靠近以觀察虛擬教練的動作之細節,並播放;轉向或reset係用以在下達凝固之指令後,將虛擬教練的面對方向旋轉至學習者的面對方向,並播放;重來或restart係用以回到太極拳學習影像畫面的第一招式,並播放;上一招式或last係用以切換到目前招式的前一招式,並播放;下一招式或next係用以切換到目前招式的下一招式,並播放;回第一影格或last move係用以切換到前一招式的第一影格後暫停;到第一影格或next move係用以切換到下一招式的第一影格後暫停;回上一動作或last action係用以在分解模式下切換到目前招式的上一細部動作的第一影格後暫停;到下一動作或next action係用以在分解模式下切換到目前招式的下一細部動作的的第一影格後暫停;關閉或close係用以結束整體操作,並回到開機原始設定狀態。
因此,本發明第一實施例是藉頭戴式顯示器以顯示前方的虛擬教練演示太極拳的動作,同時由位於不同方位的多個虛擬助教演示同一動作,而由於學習者可同時觀察到不同角度下的動作細節,所以很容易自我檢視動作的正確性,並即時矯正而獲得學習樂趣,避免發生挫折感,尤其對於連續的擺手、踏步、轉身等複雜動作,更能加速學習太極拳的成效。
進一步參考第八圖,本發明第二實施例頭戴式太極拳輔助學習系統的示意圖。如第八圖所示,本發明第二實施例的頭戴式太極拳輔助學習系統係用以輔助學習者100有效學習太極拳,並包含頭戴式顯示器110以及移動式攝影裝置120,其中頭戴式顯示器110係類似於第一實施例中的頭戴式顯示器20,具有擴增實境(Augmented Reality,AR)/混合實境(Mixed Reality,MR)的影像顯示功能,用以顯示虛擬實境畫面,此外,還進一步具有無線接收傳送功能,而移動式攝影裝置120具移動功能及無線接收傳送功能,並配置攝影機122,用以拍攝學習者100而獲得學習者100的影像,且移動式攝影裝置120進一步以無線方式傳送學習者100的影像至頭戴式顯示器110。
尤其是,頭戴式顯示器110進一步具有位置方位感測器以及無線發射器,其中位置方位感測器可動態即時感測目前頭戴式顯示器110的位置及方位,並經由無線發射器而傳送至移動式攝影裝置120,因此,移動式攝影裝置120可獲得頭戴式顯示器110的位置及方位,亦即學習者100的位置及方位。舉例而言,移動式攝影裝置120可用同時具有移動、攝影、無線遙控功能的無人機或機器人而實現。
具體而言,移動式攝影裝置120是設計成可保持在學習者100的正前方並具特定的仰角,比如移動式攝影裝置120是距離學習者100約5公尺,且與學習者100的仰角為0度、30度或45度。由於移動式攝影裝置120可獲得學習者100的位置及方位,所以移動式攝影裝置120的攝影機122可鎖定學習者100而持續拍攝學習者100的正面影像。
接著參考第九圖,本發明第二實施例頭戴式太極拳輔助學習系統的應用實例。如第九圖所示,在本發明第二實施例的應用實例中,頭戴式顯示器110是配戴在學習者100的頭上,並產生虛擬實境畫面,亦即圖中學習者100所觀看到的畫面,而為清楚區別學習者100、移動式攝影裝置120的實體物件以及虛擬實境畫面的顯示內容,圖中是以虛線影像表示實物,而以實線影像表示虛擬實境畫面。
進一步,虛擬實境畫面包含特定的虛擬鏡面130以及多個虛擬教練140,而且虛擬教練140是位於虛擬鏡面130的周圍,比如虛擬鏡面130的左右二側。再者,頭戴式顯示器110依據所接收到的學習者100的影像,而在虛擬鏡面130上顯示虛擬學習者100A的正面影像,亦即,學習者100會看到相互面對面的虛擬學習者100A。
此外,虛擬教練140也可設計成是站在虛擬支撐面M上,比如飛行地毯或圓形地板,方便學習者100辨別,還可且在虛擬支撐面M上顯示虛擬教練140的影子(圖中未顯示),用以加強視覺上的真實感,而且在頭戴式顯示器110所顯示的虛擬實境畫面中,虛擬教練140係演示太極拳,以供學習者100觀看。因此,學習者100可同時看到自己的影像(亦即虛擬鏡面130中的虛擬學習者100A)以及虛擬教練140的影像,用以參考、模仿、學習,並即時矯正姿勢、動作。
再者,頭戴式顯示器110是在學習者100利用語音指令的語音聲控或手勢指令(比如抖動、擺手或揮手)下而播放虛擬實境畫面。例如,利用連續播放或continuous以啟動或切換至連續播放模式;利用分解播放或segment以啟動或切換至分解播放模式;利用播放或go或play以播放虛擬教練140的動作;利用暫停或pause以暫停播放虛擬教練140的動作;利用凝固或freeze以固定虛擬教練140的位置,並朝虛擬教練140靠近以觀察虛擬教練140的動作之細節,並播放;利用轉向或reset以在下達凝固之指令後,將虛擬教練140的面對方向旋轉至學習者的面對方向,並播放;利用重來或restart以回到太極拳的第一招式,並播放;利用上一招式或last以切換到目前招式的前一招式,並播放;利用下一招式或next以切換到目前招式的下一招式,並播放;利用回第一影格或last move以切換到前一招式的第一影格後暫停;利用到第一影格或next move以切換到下一招式的第一影格後暫停;利用回上一動作或last action以在分解模式下切換到目前招式的上一細部動作的第一影格後暫停;利用到下一動作或next action以在分解模式下切換到目前招式的下一細部動作的第一影格後暫停;利用關閉或close以結束整體操作,並回到頭戴式顯示器110的開機原始設定狀態。
因此,本發明的第二實施例是利用戴式顯示器建立並顯示虛擬實境畫面,包含虛擬鏡面以及多個虛擬教練,且由移動式攝影裝置鎖定並拍攝學習者的影像,並以無線方式傳送至頭戴式顯示器,而頭戴式顯示器將學習者的正面影像當作虛擬學習者的正面影像而顯示於虛擬鏡面上,此外,該等虛擬教練是位於虛擬鏡面周圍並演示太極拳,使得學習者可同時看到自己以及虛擬教練的動作,能方便矯正姿勢、動作,改善學習效率。
以上所述者僅為用以解釋本發明之較佳實施例,並非企圖據以對本發明做任何形式上之限制,是以,凡有在相同之發明精神下所作有關本發明之任何修飾或變更,皆仍應包括在本發明意圖保護之範疇。
10‧‧‧學習者
20‧‧‧頭戴式顯示器
30‧‧‧動作姿勢感測器
100‧‧‧輔助學習者
100A‧‧‧虛擬學習者
110‧‧‧頭戴式顯示器
120‧‧‧移動式攝影裝置
122‧‧‧攝影機
130‧‧‧虛擬鏡面
140‧‧‧虛擬教練
B‧‧‧虛擬教練
C‧‧‧虛擬助教
M‧‧‧虛擬支撐面
P‧‧‧步伐
S‧‧‧影子
第一圖顯示依據本發明第一實施例頭戴式太極拳輔助學習系統的示意圖。 第二圖顯示依據本發明第一實施例中動作姿勢感測器的應用實例示意圖。 第三圖顯示依據本發明第一實施例中動作姿勢感測器的另一應用實例示意圖。 第四圖顯示依據本發明第一實施例中虛擬教練及虛擬助教相對於學習者的位置示意圖。 第五圖顯示依據本發明第一實施例中頭戴顯示器所顯示的示範性畫面之示意圖。 第六圖顯示依據本發明第一實施例中頭戴顯示器所顯示的另一示範性畫面之示意圖。 第七圖顯示依據本發明第一實施例中頭戴顯示器所顯示的再一示範性畫面之示意圖。 第八圖顯示依據本發明第二實施例頭戴式太極拳輔助學習系統的示意圖。 第九圖顯示依據本發明第二實施例頭戴式太極拳輔助學習系統的應用實例示意圖。

Claims (12)

  1. 一種頭戴式太極拳輔助學習系統,係用以配置在一學習者的身上,包括: 一頭戴式顯示器(Head Mounted Display),係用以戴在該學習者的頭上,並具無線接收功能以及影像顯示、聲音播放的功能;以及 多個動作姿勢感測器,係用以配置在該學習者的身體特定部位,並感測該學習者的動作而以無線方式發射相對應的感測信號至該頭戴顯示器, 其中該頭戴式顯示器具擴增實境(Augmented Reality,AR)/混合實境(Mixed Reality,MR)功能,並在該學習者藉一語音指令的語音聲控或一手勢指令下以一播放模式播放連續且立體的一太極拳學習影像畫面,該太極拳學習影像畫面是包含一太極拳演示影像以及一學習輔助影像,該太極拳演示影像包含至少一虛擬教練及多個虛擬助教,且個別位於該太極拳學習影像畫面的不同預設位置,用以演示不同角度的動作,該至少一虛擬教練及該等個虛擬助教係演示一太極拳的多個招式,而每個招式包含多個細部動作,每個該等虛擬教練與每個該等虛擬助教是設計成是站在相對應的一虛擬支撐面上,該學習輔助影像是依據來自該等動作姿勢感測器的感測信號以建立該學習者的動作姿勢,並與該虛擬教練的動作姿勢進行比較後,產生並顯示該學習者與該虛擬教練之間相對應姿勢、動作的一輔助資訊。
  2. 依據申請專利範圍第1項之頭戴式太極拳輔助學習系統,其中該虛擬教練是在該學習者的正前方,而該等虛擬助教是在該學習者的周圍,且該虛擬教練是比該等虛擬助教更靠近該學習者。
  3. 依據申請專利範圍第1項之頭戴式太極拳輔助學習系統,其中該至少一虛擬教練是以一近似圓圈狀而圍繞該學習者,而該等虛擬助教是以至少一另一近似圓圈狀而圍繞該學習者,且該近似圓圈狀是比該至少一另一近似圓圈狀還靠近該學習者。
  4. 依據申請專利範圍第1項之頭戴式太極拳輔助學習系統,其中該虛擬支撐面為一飛行地毯或一圓形地板,並且在該虛擬支撐面上顯示相對應的該虛擬教練或相對應的該虛擬助教的影子,該播放模式包含一連續播放模式以及一分解播放模式,該連續播放模式顯示每個該等招式,並以語音播放該招式的名稱,但不顯示每個招式的動作細節,而該分解播放模式是顯示該招式的所有動作細節,同時以語音播放該招式的名稱以及每個動作細節的解說。
  5. 依據申請專利範圍第1項之頭戴式太極拳輔助學習系統,其中該學習者的頭部上所配戴的該動作姿勢感測器係用以感測該頭部的一擺頭角度,該學習者的一膝蓋上所配戴的該動作姿勢感測器係用以感測該膝蓋的一彎曲角度及一腿部姿勢,該學習者的一手腕上所配戴的該動作姿勢感測器係用以感測該手腕的一動作姿勢及一移動資料,該學習者的一鞋底上所配戴的該動作姿勢感測器係用以感測該學習者的腳底的一重心位置及一步伐資料。
  6. 依據申請專利範圍第5項之頭戴式太極拳輔助學習系統,其中該輔助資訊包含該學習者與該虛擬教練之間該擺頭角度、該彎曲角度、該腿部姿勢、該手腕的動作姿勢及移動資料、該腳底的重心位置及步伐資料的差異。
  7. 依據申請專利範圍第1項之頭戴式太極拳輔助學習系統,其中該語音指令包含: 連續播放或continuous,係用以啟動或切換至該連續播放模式; 分解播放或segment,係用以啟動或切換至該分解播放模式; 播放或go或play,係用以播放該太極拳學習影像畫面; 暫停或pause,係用以暫停播放該太極拳學習影像畫面; 凝固或freeze,係用以固定該虛擬教練的位置,並朝該虛擬教練靠近以觀察該虛擬教練的動作之細節,並播放; 轉向或reset,係用以在下達該凝固之指令後,將該虛擬教練的一面對方向旋轉至該學習者的一面對方向,並播放; 重來或restart,係用以回到該太極拳學習影像畫面的一第一招式,並播放; 上一招式或last,係用以切換到目前招式的一前一招式,並播放; 下一招式或next,係用以切換到一目前招式的一下一招式,並播放; 回第一影格或last move,係用以切換到該前一招式的一第一影格後暫停; 到第一影格或next move,係用以切換到一下一招式的一第一影格後暫停; 回上一動作或last action,係在該分解模式下,用以切換到該目前招式的一上一細部動作的一第一影格後暫停; 到下一動作或next action,係在該分解模式下,係用以切換到目前招式的一下一細部動作的的一第一影格後暫停;以及 關閉或close,結束整體操作,回到開機原始設定狀態。
  8. 一種頭戴式太極拳輔助學習系統,係用以輔助一學習者以學習太極拳,包括: 一頭戴式顯示器,係用以戴在該學習者的頭上,並具有擴增實境(AR)/混合實境(MR)的影像顯示功能,用以顯示一虛擬實境畫面,且還具有無線接收傳送功能;以及 一移動式攝影裝置,具移動功能及無線接收傳送功能,並配置一攝影機,用以拍攝該學習者而獲得該學習者的影像,且該移動式攝影裝置進一步以無線方式傳送該學習者的影像至該頭戴式顯示器, 其中該頭戴式顯示器進一步具有一位置方位感測器以及一無線發射器,該位置方位感測器係用以感測該頭戴式顯示器的位置及方位,並經由該無線發射器而傳送至該移動式攝影裝置,該移動式攝影裝置接收並依據該頭戴式顯示器的位置及方位,藉以調整該移動式攝影裝置而朝向該學習者,使得該攝影機保持對準該學習者而拍攝該學習者的正面影像,且由該移動式攝影裝置傳送該學習者的正面影像至該頭戴式顯示器,該虛擬實境畫面包含一虛擬鏡面、多個虛擬教練以及多個虛擬助教,該等虛擬教練及該等虛擬助教是位於該虛擬鏡面的周圍,該頭戴式顯示器將所接收到的該學習者的正面影像當作一虛擬學習者的正面影像,並顯示於該虛擬鏡面上,每個該等虛擬教練與每個該等虛擬助教是設計成是站在相對應的一虛擬支撐面上,並演示太極拳以供該學習者觀看。
  9. 依據申請專利範圍第8項之頭戴式太極拳輔助學習系統,其中該移動式攝影裝置是以具有移動、攝影、無線遙控功能的一無人機或一機器人而實現。
  10. 依據申請專利範圍第8項之頭戴式太極拳輔助學習系統,其中該虛擬支撐面為一飛行地毯或一圓形地板,並且在該虛擬支撐面上顯示相對應的該虛擬教練或相對應的該虛擬助教的影子。
  11. 依據申請專利範圍第8項之頭戴式太極拳輔助學習系統,其中該頭戴式顯示器是在該學習者藉一語音指令的語音聲控或一手勢指令下而播放該虛擬實境畫面。
  12. 依據申請專利範圍第11項之頭戴式太極拳輔助學習系統,其中該語音指令包含利用連續播放或continuous以啟動或切換至一連續播放模式;利用分解播放或segment以啟動或切換至一分解播放模式;利用播放或go或play以播放該虛擬教練的動作;利用暫停或pause以暫停播放該虛擬教練的動作;利用凝固或freeze以固定該虛擬教練的位置,並朝該虛擬教練靠近以觀察該虛擬教練的動作之細節,並播放;利用轉向或reset以在下達凝固之指令後,將該虛擬教練的一面對方向旋轉至該學習者的一面對方向,並播放;利用重來或restart以回到太極拳的一第一招式,並播放;利用上一招式或last以切換到目前招式的一前一招式,並播放;利用下一招式或next以切換到該目前招式的一下一招式,並播放;利用回第一影格或last move以切換到該前一招式的一第一影格後暫停;利用到第一影格或next move以切換到該下一招式的一第一影格後暫停;利用回上一動作或last action以在該分解模式下切換到該目前招式的一上一細部動作的一第一影格後暫停;利用到下一動作或next action以在該分解模式下切換到該目前招式的一下一細部動作的的一第一影格後暫停;利用關閉或close以結束整體操作,並回到該頭戴式顯示器的一開機原始設定狀態。
TW106138721A 2016-11-10 2017-11-09 頭戴式太極拳輔助學習系統 TWI642039B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201662420000P 2016-11-10 2016-11-10
US62/420,000 2016-11-10
US201762444869P 2017-01-11 2017-01-11
US62/444,869 2017-01-11
US15/805,885 US10864423B2 (en) 2016-11-10 2017-11-07 Augmented learning system for tai-chi chuan with head-mounted display
US15/805,885 2017-11-07

Publications (2)

Publication Number Publication Date
TW201818372A TW201818372A (zh) 2018-05-16
TWI642039B true TWI642039B (zh) 2018-11-21

Family

ID=62065922

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106138721A TWI642039B (zh) 2016-11-10 2017-11-09 頭戴式太極拳輔助學習系統

Country Status (2)

Country Link
US (1) US10864423B2 (zh)
TW (1) TWI642039B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI736857B (zh) * 2019-03-07 2021-08-21 國立臺南藝術大學 凌空旋轉式體感裝置及包含該裝置之虛擬實境體感系統

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10354573B2 (en) * 2017-07-25 2019-07-16 Lenovo (Singapore) Pte Ltd Screen color calibration
EP3801789A4 (en) * 2018-05-31 2022-03-16 The Quick Board, LLC AUTOMATED SYSTEM FOR PHYSICAL TRAINING
CN109976519B (zh) * 2019-03-14 2022-05-03 浙江工业大学 一种基于增强现实的交互显示装置及其交互显示方法
GB201906420D0 (en) * 2019-05-07 2019-06-19 Farley Adam Virtual augmented and mixed reality systems with physical feedback
CN110302524A (zh) * 2019-05-22 2019-10-08 北京百度网讯科技有限公司 肢体训练方法、装置、设备和存储介质
US11145126B1 (en) 2019-06-27 2021-10-12 Facebook Technologies, Llc Movement instruction using a mirror in an artificial reality environment
US11055920B1 (en) * 2019-06-27 2021-07-06 Facebook Technologies, Llc Performing operations using a mirror in an artificial reality environment
US11036987B1 (en) 2019-06-27 2021-06-15 Facebook Technologies, Llc Presenting artificial reality content using a mirror
CN110354481A (zh) * 2019-07-30 2019-10-22 天水师范学院 一种基于数字化场地和高速影像的体育训练分析系统
US11099638B2 (en) * 2019-10-24 2021-08-24 Facebook Technologies, Llc Systems and methods for generating dynamic obstacle collision warnings based on detecting poses of users
EP3816772A1 (en) 2019-11-04 2021-05-05 Sword Health, S.A. Control of a motion tracking system by user thereof
EP3842922A1 (en) * 2019-12-23 2021-06-30 Sword Health, S.A. Detection of environment for voice control of motion tracking system
CN111803897A (zh) * 2020-08-17 2020-10-23 李簦芸 一种基于mr的队列训练系统及其使用方法
CN112860067B (zh) * 2021-02-07 2024-04-19 深圳市今视通数码科技有限公司 基于麦克风阵列的魔镜调整方法、系统及存储介质
US11908243B2 (en) * 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
CN112973074B (zh) * 2021-03-17 2022-02-15 焦作大学 一种太极拳辅助锻炼器械
CN113593348A (zh) * 2021-08-11 2021-11-02 中国人民解放军联勤保障部队大连康复疗养中心 虚拟训练控制系统、方法、装置、设备及存储介质
CN114187651A (zh) * 2021-11-04 2022-03-15 福建中医药大学附属康复医院 基于混合现实的太极拳训练方法及系统、设备及存储介质
CN114082146A (zh) * 2021-11-23 2022-02-25 徐晓婉 中医养生互动闯关康复训练步道
CN114470709A (zh) * 2022-03-29 2022-05-13 山东体育学院 一种具有多功能的太极拳训练装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7036082B1 (en) * 2000-09-21 2006-04-25 Nortel Networks Limited Controlling communications through a virtual reality environment
US20120113140A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation Augmented Reality with Direct User Interaction
TW201303640A (zh) * 2011-06-23 2013-01-16 Microsoft Corp 用於頭戴式顯示器之全視野分類
TWM524965U (zh) * 2015-12-23 2016-07-01 Cycling & Health Tech Ind R&D 擴增實境認知訓練系統

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9981193B2 (en) * 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
US20110270135A1 (en) * 2009-11-30 2011-11-03 Christopher John Dooley Augmented reality for testing and training of human performance
US20140125698A1 (en) * 2012-11-05 2014-05-08 Stephen Latta Mixed-reality arena

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7036082B1 (en) * 2000-09-21 2006-04-25 Nortel Networks Limited Controlling communications through a virtual reality environment
US20120113140A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation Augmented Reality with Direct User Interaction
TW201303640A (zh) * 2011-06-23 2013-01-16 Microsoft Corp 用於頭戴式顯示器之全視野分類
TWM524965U (zh) * 2015-12-23 2016-07-01 Cycling & Health Tech Ind R&D 擴增實境認知訓練系統

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI736857B (zh) * 2019-03-07 2021-08-21 國立臺南藝術大學 凌空旋轉式體感裝置及包含該裝置之虛擬實境體感系統

Also Published As

Publication number Publication date
US10864423B2 (en) 2020-12-15
TW201818372A (zh) 2018-05-16
US20180126241A1 (en) 2018-05-10

Similar Documents

Publication Publication Date Title
TWI642039B (zh) 頭戴式太極拳輔助學習系統
US20180373413A1 (en) Information processing method and apparatus, and program for executing the information processing method on computer
US20170221379A1 (en) Information terminal, motion evaluating system, motion evaluating method, and recording medium
US8314840B1 (en) Motion analysis using smart model animations
KR20130098770A (ko) 입체감 확장형 가상 스포츠 체험 시스템
Hachimura et al. A prototype dance training support system with motion capture and mixed reality technologies
JP6565212B2 (ja) 表示装置、表示方法およびプログラム
JP2000033184A (ja) 全身動作入力型のゲ―ム及びイベント装置
JP2011110215A (ja) リハビリテーション用システム、プログラム、およびプログラムを記録したコンピュータ読み取り可能な記録媒体
WO2017094356A1 (ja) 映像生成装置、映像生成装置の制御方法、表示システム、映像生成制御プログラム、およびコンピュータ読み取り可能な記録媒体
Ikeda et al. AR based Self-sports Learning System using Decayed Dynamic TimeWarping Algorithm.
WO2009035199A1 (en) Virtual studio posture correction machine
US20180299948A1 (en) Method for communicating via virtual space and system for executing the method
US20180374275A1 (en) Information processing method and apparatus, and program for executing the information processing method on computer
US11682157B2 (en) Motion-based online interactive platform
JP7160669B2 (ja) プログラム、情報処理装置、および方法
US20240013502A1 (en) Storage medium, method, and information processing apparatus
JPH06504710A (ja) 人体運動経過の改善のための学習および練習補助装置
JP6571701B2 (ja) 体感装置、およびその方法
JP6820299B2 (ja) プログラム、情報処理装置、および方法
JP2020134710A (ja) 手術トレーニング装置
JP3614278B2 (ja) 眼球訓練装置及び方法並びに記録媒体
TWI704942B (zh) 虛擬實境的水中運動訓練裝置及其執行的方法
Wu et al. Interactive Intelligent Exercise System Design for the Elderly
WO2023026529A1 (ja) 情報処理装置および情報処理方法、並びにプログラム