TW202219914A - 自動偵測動作的評分系統、自動偵測動作的評分方法以及非暫態電腦可讀取儲存媒體 - Google Patents

自動偵測動作的評分系統、自動偵測動作的評分方法以及非暫態電腦可讀取儲存媒體 Download PDF

Info

Publication number
TW202219914A
TW202219914A TW109139401A TW109139401A TW202219914A TW 202219914 A TW202219914 A TW 202219914A TW 109139401 A TW109139401 A TW 109139401A TW 109139401 A TW109139401 A TW 109139401A TW 202219914 A TW202219914 A TW 202219914A
Authority
TW
Taiwan
Prior art keywords
signal
scoring
motion
signal data
multimedia
Prior art date
Application number
TW109139401A
Other languages
English (en)
Inventor
王馨曼
陳安雋
鄭宇辰
Original Assignee
財團法人資訊工業策進會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人資訊工業策進會 filed Critical 財團法人資訊工業策進會
Priority to TW109139401A priority Critical patent/TW202219914A/zh
Priority to CN202011346732.8A priority patent/CN114495255A/zh
Priority to US17/109,096 priority patent/US20220143484A1/en
Publication of TW202219914A publication Critical patent/TW202219914A/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0669—Score-keepers or score display devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075—Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0009—Computerised real time comparison with previous movements or motion sequences of the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A63B2024/0065—Evaluating the fitness, e.g. fitness level or fitness index
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0625—Emitting sound, noise or music
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/803—Motion sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Fuzzy Systems (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Acoustics & Sound (AREA)

Abstract

自動偵測動作的評分系統包含儲存器，第一動作感測器及處理器。儲存器儲存具有對應多媒體訊號的標準動作訊號資料，其中標準動作訊號資料中具有複數個評分區段，且該些評分區段是依據該多媒體訊號的節拍資訊及該標準動作訊號資料所產生。第一動作感測器經配置以接收第一感測訊號。處理器經配置以依據該多媒體訊號識別該第一感測訊號之使用者動作訊號資料，並取出對應該些評分區段之待評分動作訊號資料；以及比對每一該些評分區段所對應的該待評分動作訊號資料及該標準動作訊號資料，以產生評分分數。

Description

自動偵測動作的評分系統、自動偵測動作的評分方法以及非暫態電腦可讀取儲存媒體
本案是有關於一種評分系統及評分方法，且特別是有關於一種自動偵測動作的評分系統及自動偵測動作的評分方法。
隨著運動市場的發展，使用者除了直接到健身房與教學者面對面學習，還可以透過觀看課程影片、虛擬教練、線上直播等方法來跟隨教學者的動作與指示來學習和進行運動。使用者觀看運動的課程影片時，若只有單方面跟隨指示來作出影片中教學者的動作，使用者無法得知自己的動作是否標準、或是否需要改進。因此，如何讓使用者於透過課程影片或遠距教學影片來學習和進行運動時，可以了解自己的動作是否標準，是亟需改善的技術問題。
發明內容旨在提供本揭示內容的簡化摘要，以使閱讀者對本案內容具備基本的理解。此發明內容並非本揭示內容的完整概述，且其用意並非在指出本案實施例的重要/關鍵元件或界定本案的範圍。
根據本案之一實施例，揭示一種自動偵測動作的評分系統包含儲存器，第一動作感測器及處理器。儲存器儲存具有對應多媒體訊號的標準動作訊號資料，其中標準動作訊號資料中具有複數個評分區段，且該些評分區段是依據該多媒體訊號的節拍資訊及該標準動作訊號資料所產生。第一動作感測器經配置以接收第一感測訊號，其中第一感測訊號係由使用者依據該多媒體訊號進行一組動作時所產生。處理器通訊耦接該第一動作感測器及該儲存器，其中該處理器經配置以依據該多媒體訊號識別該第一感測訊號之使用者動作訊號資料，並取出對應該些評分區段之待評分動作訊號資料；以及比對每一該些評分區段所對應的該待評分動作訊號資料及該標準動作訊號資料，以產生評分分數。
根據另一實施例，揭示一種自動偵測動作的評分方法，包含以下步驟：儲存具有對應多媒體訊號的標準動作訊號資料，其中該標準動作訊號資料中具有複數個評分區段，且該些評分區段是依據該多媒體訊號的節拍資訊及該標準動作訊號資料所產生；透過第一動作感測器接收第一感測訊號，其中該第一感測訊號係由一使用者依據該多媒體訊號進行一組動作時所產生；依據該多媒體訊號識別該第一感測訊號之使用者動作訊號資料，並取出對應該些評分區段之待評分動作訊號資料；以及比對每一該些評分區段所對應的該待評分動作訊號資料及該標準動作訊號資料，以產生評分分數。
根據另一實施例，揭示一種非暫態電腦可讀取儲存媒體，儲存多個程式碼，當該些程式碼被載入至一處理器後，該處理器執行該些程式碼以完成下列步驟：儲存具有對應多媒體訊號的標準動作訊號資料，其中該標準動作訊號資料中具有複數個評分區段，且該些評分區段是依據該多媒體訊號的節拍資訊及該標準動作訊號資料所產生；透過第一動作感測器接收第一感測訊號，其中該第一感測訊號係由一使用者依據該多媒體訊號進行一組動作時所產生；依據該多媒體訊號識別該第一感測訊號之使用者動作訊號資料，並取出對應該些評分區段之待評分動作訊號資料；以及比對每一該些評分區段所對應的該待評分動作訊號資料及該標準動作訊號資料，以產生評分分數。
以下揭示內容提供許多不同實施例，以便實施本案之不同特徵。下文描述元件及排列之實施例以簡化本案。當然，該些實施例僅為示例性且並不欲為限制性。舉例而言，本案中使用「第一」、「第二」等用語描述元件，僅是用以區別以相同或相似的元件或操作，該用語並非用以限定本案的技術元件，亦非用以限定操作的次序或順位。另外，本案可在各實施例中重複元件符號及/或字母，並且相同的技術用語可使用相同及/或相應的元件符號於各實施例。此重複係出於簡明性及清晰之目的，且本身並不指示所論述之各實施例及/或配置之間的關係。
請參照第1圖，其繪示根據本案一些實施例中一種自動偵測動作的評分系統100的方塊圖。如第1圖所示，自動偵測動作的評分系統100包含第一感測器110、處理器120、儲存器130，以及第二感測器140。第一感測器110通訊耦接於處理器120。處理器120通訊耦接於儲存器130以及第二感測器140。
於一些實施例中，第一感測器110是配戴於使用者的身上(例如學員)，以擷取使用者動作時的訊號。儲存器130會儲存具有對應一多媒體訊號的標準動作訊號資料。標準動作訊號資料是事先經由教學者的教學動作、透過第二感測訊號所收集且建立的資料。例如，第二感測器140配戴於教學者的身上(例如教練)，在播放音樂或影片的過程中，教學者會隨著音樂的節拍作出動作，第二感測器140產生教學者動作的感測訊號，可傳送到處理器120進行後續處理，以作為對應此音樂或影片(即多媒體訊號)的標準動作訊號資料。之後，當使用者一樣的音樂與影像，跟隨一樣的節拍作出指定動作時，第一感測器110產生使用者動作的感測訊號。
於一些實施例中，第一感測器110會接收第一感測訊號，其中第一感測訊號是由使用者依據多媒體訊號進行一組動作所產生。所述多媒體訊號可以是音樂訊號或者是包含音樂訊號的影片訊號。舉例而言，使用者可以一邊觀看教學者的教學影片，聆聽影片中的音樂，模仿教學者的動作進行動作練習。
於一些實施例中，處理器120會使用一機器學習演算法從多媒體訊號中取得有關於音樂訊號的節拍資訊。舉例而言，處理器120可使用每分節拍(beats per minute, BPM)偵測模型來做為機器學習演算法。BPM偵測模型對於輸入的音樂訊號偵測其節拍頻率，以獲得每一個節拍的時間長度，此時間長度會被作為節拍資訊。值得一提的是，在一個運動課程或運動影片中，可能會包含多首音樂或是不同節拍的音樂，以搭配不同的動作。每一首音樂會隨著其風格或旋律等因素的不同，音樂的節拍會不同，一首樂曲也可能包含一個或多個不同的節拍。傳統的BPM處理方法中，只能輸入固定參數，但在現況中音樂節拍會變化、起始點可能不準確等，導致傳統的BPM處理方式取得正確節拍的效果並不佳。本案可採用機器學習方式解決固定參數的問題，例如使用CNN (convolution neural network)來對一段或多段音樂進行BPM分析，可以分別在多媒體訊號的多個音樂段落中取得其對應的節拍資訊，以精準的判斷出每一個評分區段。
於一些實施例中，儲存器130會儲存具有對應一多媒體訊號的標準動作訊號資料。標準動作訊號資料是教學者的教學動作，例如是第二感測訊號的角度資料。由於教學者是聆聽音樂並作出標準的教學動作，因此教學者的動作會對應到音樂的節拍。
於一些實施例中，標準動作訊號資料中具有複數個評分區段，這些評分區段是依據多媒體訊號的節拍資訊及標準動作資料所產生。舉例而言，音樂訊號的節拍資訊已經被計算出來，如前述說明。由於教學者的動作是隨著音樂訊號所作出，第二感測器140所產生的第二感測訊號是在時間軸上對應到節拍資訊的感測訊號。由於在運動過程中，通常只需要針對關鍵動作的部分，確認姿勢是否正確並進行評分，而這些關鍵動作在標準動作訊號資料中常會呈現特定的峰值。在某些實施例中，標準動作訊號資料的峰值可能會有多個，且不見得都會相同。換言之，處理器120只需要根據前述計算音樂訊號的節拍資訊，將節拍資訊作為一標註週期，從標準動作訊號資料中找出對應關鍵動作的特定峰值(例如找出高於一數值的峰值)後自動地進行標註，以建立評分區段，而不需要以人工的方式逐一判讀教學者的標準動作訊號並進行人工標註，可節省人工作業，大幅提升建立評分區段的效率。
於一些實施例中，處理器120會依據多媒體訊號來識別第一感測訊號的使用者動作訊號資料。接著，處理器120會從使用者動作訊號資料中取出對應這些評分區段的待評分動作訊號資料。舉例而言，使用者一邊觀看影片中的教學者的動作並聆聽影片中的音樂，一邊模仿教學者的動作來作出自己的動作。第一感測器110會偵測到使用者的動作並產生第一感測訊號，並傳送到處理器120。處理器120會根據前述的從教學者的標準動作訊號資料中的評分區段，從使用者動作訊號資料找出對應每一個評分區段，取出待評分動作訊號資料。
於一些實施例中，處理器120會比對每一個評分區段所對應的待評分動作訊號資料及標準動作訊號資料，以產生評分分數。舉例而言，處理器120比對每一個評分區段的待評分動作訊號資料以及標準動作訊號資料，藉由比對此兩者的動作訊號資料，來判斷使用者的動作是否標準。舉例而言，待評分動作訊號資料符合或相近於標準動作訊號資料，則表示使用者的動作是標準的。若使用者的動作標準，則增加分數。若使用者的動作不標準，則不增加分數或者扣減分數，本案不限於評分的方式。最後，處理器120會產生使用者可以參考的評分分數。如此，使用者可以在沒有教學者在場的情況下，透過分數來得知自己的動作是否標準。
於一些實施例中，第一感測器110以及第二感測器140可以是動作感測器，例如慣性測量單元(inertial measurement unit, IMU)。第一感測器110以及第二感測器140用於偵測人體的動作，以產生及輸出對應的感測訊號，例如角度訊號、加速度訊號、角速度訊號、磁力訊號等，作為第一感測訊號和第二感測訊號。要進行評分動作訊號，可以是上述多種訊號的其中一種或是任兩種以上的組合。
請參照第2圖，其繪示根據本案一些實施例中的一種自動偵測動作的評分方法200的流程圖。第1圖的自動偵測動作的評分系統100可用於執行自動偵測動作的評分方法200。以下說明請一併參照第1圖及第2圖。
於步驟S210，儲存具有對應一多媒體訊號的標準動作訊號資料。於一些實施例中，標準動作訊號資料是教學者的感測訊號經過音樂節拍的識別之後所得到。
於一些實施例中，標準動作訊號資料中具有複數個評分區段，這些評分區段是依據多媒體訊號的節拍資訊及標準動作資料所產生。舉例而言，教學者作出動作的時間區間是對應到音樂訊號的節拍，使得教學者的動作訊號是對應到音樂的節拍。對於這些對應到音樂節拍的動作訊號，可以成為標準動作訊號資料。
於一些實施例中，進行評分動作訊號例如是角度訊號。請參照第3圖，其繪示根據本案一些實施例中的標準動作訊號資料L1的示意圖，其代表著角度訊號在時間軸上的波形變化。教學者會運用音樂的節拍律動來進行例如出拳或踢步等動作，在進行動作的時候，其角度訊號會具有較大的數值起伏與峰值。
請復參照第1圖及第2圖，於步驟S220，透過第一動作感測器110接收第一感測訊號。於一些實施例中，第一感測訊號是由使用者依據多媒體訊號進行一組動作時所產生。舉例而言，使用者觀看教學者的影片並隨著音樂旋律模仿教學者的動作來學習。相同地，使用者作出動作的時間區間也是對應到音樂訊號的節拍。使用者的第一感測訊號經過音樂節拍的識別後，可以得到使用者動作訊號資料。
請復參照第2圖，於步驟S230，依據多媒體訊號識別第一感測訊號的使用者動作訊號資料，並取出對應這些評分區段的待評分動作訊號資料。於一些實施例中，會於評分區段中的多個時間點讀取待評分動作訊號資料。請參照第4A圖至第4E圖，其繪示根據本案一些實施例中在評分區段T1時的使用者動作訊號資料L2的示意圖，此實施例是讀取五個時間點的待評分動作訊號資料。值得一提的是，本案不限於讀取的次數，此僅為一個例示說明。
請復參照第2圖，於步驟S240，比對每一個評分區段所對應的待評分動作訊號資料及標準動作訊號資料，以產生評分分數。請復參照第3圖及第4A圖至第4E圖，在判斷使用者的動作是否標準時，會根據前述由第二動作感測器與多媒體訊號運算得出之關鍵動作評分區段，來比對第一動作感測器之使用者動作訊號資料作為待評分動作訊號資料。步驟S240中，會分別以第4A圖至第4E圖的待評分動作訊號資料來與標準動作訊號資料作比對，以取得例如五筆的判斷結果，以這些判斷結果進行綜合判斷，以產生評分分數。
於一些實施例中，自動偵測動作的評分方法200是使用機器學習演算法來計算多媒體訊號的音頻訊號的節拍，來作為節拍資訊。舉例而言，使用卷積神經網路(convolutional neural network, CNN)來訓練及偵測音樂中的每分節拍(BPM)。
於一些實施例中，自動偵測動作的評分方法200是根據音頻訊號的節拍資訊對應的時間長度，來作為標註週期，並且根據標註週期從標準動作訊號資料中讀取複數個峰值，以決定評分區段。舉例而言，從音頻訊號的節拍資訊來計算得到對應的時間長度，例如每一拍之間的時間長度。此時間長度被作為標註週期，從標準動作訊號資料中來讀取峰值，當其中一峰值A和其前面另一個峰值之間的時間長度超過標註週期時，可將峰值A判斷其對應一關鍵動作訊號B，然後依據該峰值A的位置決定評分區段，例如峰值A的前後一秒。自動偵測動作的評分方法200可透過計算出來的音樂訊號的節拍資訊之標註週期以及標準動作訊號資料的峰值，來標註標準動作訊號資料的關鍵動作。
於一些實施例中，自動偵測動作的評分方法200會根據每一個評分區段，將對應於使用者的第一感測訊號的角度資料來作為待評分動作訊號資料。以評分區段的長度是2秒為例，自動偵測動作的評分方法200會以時間T1為基準，時間T1正負1秒的時間區段來比對感測訊號(如第3圖及第4A圖至第4E圖所示之第T1-1秒至第T1+1秒的時間區段)，並且可以在這個時間區間中作多次的取樣比對。舉例而言，第4A圖至第4E圖為在比對區間當中比對五次待評分動作訊號資料的圖例。自動偵測動作的評分方法200會比對多次待評分動作訊號資料與標準動作訊號資料，藉此來對使用者的感測訊號進行多次比對。若使用者在動作上過早或延遲，仍可以透過多次比對的方式來評斷這個評分區間的動作完成程度或相似程度。
於一些實施例中，多媒體訊號可以根據設計而有不同的節拍。舉例而言，多媒體訊號的節拍資訊包括多個不同時間長度的節拍。為簡化說明，以下以兩個不同時間長度的節拍作為說明。
於一些實施例中，多媒體訊號可以包括多個節拍。所述節拍資訊包含第一節拍和第二節拍。如上述說明，自動偵測動作的評分方法200是使用機器學習演算法來計算多媒體訊號的音頻訊號的第一節拍及第二節拍。接著，以第一節拍的時間長度來作為多媒體訊號的第一標註週期，以及以第二節拍的時間長度來作為多媒體訊號的第二標註週期。
於一些實施例中，自動偵測動作的評分方法200可以使用第一標註週期及第二標註週期來計算第一評分區段及第二評分區段。舉例而言，在某些運動影片中，教練可能會更換不同節拍的音樂，或一段音樂中本身即具多個不同的節拍段落，教學者可配合不同的節拍來運動(例如打拳或踢腿)，因此在根據音頻訊號的節拍資訊以決定評分區段的步驟中，自動偵測動作的評分方法200可依據第一個節拍資訊產生第一標註週期，讀取教學者的感測訊號之多個峰值，並將峰值之間的時間區段(符合第一標註週期的長度)記錄為第一評分區段。相似地，當音樂更換成第二節拍時，可依據第一個節拍資訊產生第二標註週期，讀取教學者的感測訊號之多個峰值，並將峰值之間的時間區段(符合第二標註週期的長度)記錄為第二評分區段。
於一些實施例中，自動偵測動作的評分方法200會從每一個評分區段來決定對應的取樣視窗，其中取樣視窗的長度小於評分區段的長度。於取樣視窗中比對使用者的待評分動作訊號資料及教學者的標準動作訊號資料，以計算出評分分數。舉例而言，所述取樣視窗是2秒的時間長度。自動偵測動作的評分方法200例如每1秒比對6次使用者的待評分動作訊號資料及教學者的標準動作訊號資料。接著，輸出使用者的待評分動作訊號資料及教學者的標準動作訊號資料之間相似度最大的值作為比對結果。
於一些實施例中，自動偵測動作的評分方法200會對應於該評分分數，產生回饋資訊，以提供使用者作為參考，以得知自己的動作是否標準以及與教學者的差距有多少。
於一些情況下，使用者的第一感測訊號的時序可能會與多媒體訊號的時序有所落差。當有時間差的情況下，可能會讓比對失準。於一些實施例中，自動偵測動作的評分方法200會執行時序校正演算法，以根據第一感測訊號及多媒體訊號之時間標記進行時間對準，來校正第一感測訊號及多媒體訊號之時序。
於一些實施例中提出一種非暫態電腦可讀取儲存媒體，可儲存多個程式碼。當該些程式碼被載入至處理器或如第1圖之處理器120後，處理器120執行該些程式碼以執行如第2圖之步驟。舉例而言，處理器120儲存具有對應一多媒體訊號的標準動作訊號資料，並透過第一動作感測器110接收第一感測訊號。接著，處理器120依據多媒體訊號識別第一感測訊號的使用者動作訊號資料，並取出對應這些評分區段的待評分動作訊號資料。以及，處理器120比對每一個評分區段所對應的待評分動作訊號資料及標準動作訊號資料，以產生評分分數。
綜上所述，本案的自動偵測動作的評分系統及自動偵測動作的評分方法提供使用者可以觀看同步/非同步、線上/線下的影片，並藉由配戴感測器即可提供感測資訊來供系統判斷使用者的動作是否標準。此外，本案不需要人工標註教學者的動作訊號，而是藉由音樂訊號的節拍資訊來自動地判讀教學者的關鍵動作，並進行自動化標註。除了減少人工標註教學者的時間成本及人力成本，還可以避免人工標註所造成的錯誤。舉例而言，人工標註的時候，會將較大的訊號值例如波峰標記為關鍵動作。然而，訊號若因連帶動作影響而產生波動時，而使其訊號值雖然大於波谷但小於真正的波峰，而導致人工判讀時誤判的情況發生。反觀本案的自動標註教學者的關鍵動作的方法可減少人工標註關鍵動作，透過自動標註教學者的關鍵動作的方法即可以避免這樣的問題。
上述內容概述若干實施例之特徵，使得熟習此項技術者可更好地理解本案之態樣。熟習此項技術者應瞭解，在不脫離本案的精神和範圍的情況下，可輕易使用上述內容作為設計或修改為其他變化的基礎，以便實施本文所介紹之實施例的相同目的及/或實現相同優勢。上述內容應當被理解為本案的舉例，其保護範圍應以申請專利範圍為準。
100:自動偵測動作的評分系統 110:第一動作感測器 120:處理器 130:儲存器 140:第二動作感測器 200:自動偵測動作的評分方法 S210~S240:步驟 L1:標準動作訊號資料 L2:使用者動作訊號資料
以下詳細描述結合隨附圖式閱讀時，將有利於較佳地理解本揭示文件之態樣。應注意，根據說明上實務的需求，圖式中各特徵並不一定按比例繪製。實際上，出於論述清晰之目的，可能任意增加或減小各特徵之尺寸。 第1圖繪示根據本案一些實施例中一種自動偵測動作的評分系統的方塊圖。 第2圖繪示根據本案一些實施例中的一種自動偵測動作的評分方法的流程圖。 第3圖繪示根據本案一些實施例中的標準動作訊號資料的示意圖。 第4A圖至第4E圖繪示根據本案一些實施例中的使用者動作訊號資料的示意圖。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
200:自動偵測動作的評分方法
S210~S240:步驟

Claims (21)

  1. 一種自動偵測動作的評分系統，包含： 一儲存器，儲存具有對應一多媒體訊號的一標準動作訊號資料，其中該標準動作訊號資料中具有複數個評分區段，且該些評分區段是依據該多媒體訊號的一節拍資訊及該標準動作訊號資料所產生； 一第一動作感測器，經配置以接收一第一感測訊號，其中該第一感測訊號係由一使用者依據該多媒體訊號進行一組動作時所產生；以及 一處理器，通訊耦接該第一動作感測器及該儲存器，其中該處理器經配置以： 依據該多媒體訊號識別該第一感測訊號之一使用者動作訊號資料，並取出對應該些評分區段之一待評分動作訊號資料；以及 比對每一該些評分區段所對應的該待評分動作訊號資料及該標準動作訊號資料，以產生一評分分數。
  2. 如請求項1所述之自動偵測動作的評分系統，其中該處理器更經配置以： 使用一機器學習演算法來計算該多媒體訊號之一音頻訊號的節拍以作為該節拍資訊； 根據該音頻訊號的該節拍資訊對應的時間長度來作為一標註週期；以及 根據該標註週期，從該標準動作訊號資料中讀取複數個峰值，並決定該些評分區段。
  3. 如請求項2所述之自動偵測動作的評分系統，更包含： 一第二動作感測器，耦接於該處理器，其中該第二動作感測器經配置以接收一第二感測訊號，其中該第二感測訊號係由一教學者依據該多媒體訊號進行該組動作時所產生。
  4. 如請求項2所述之自動偵測動作的評分系統，其中該標準動作訊號資料包含有一角度資料。
  5. 如請求項4所述之自動偵測動作的評分系統，其中該處理器更經配置以： 根據每一評分區段，將對應該使用者的該第一感測訊號的一角度資料作為該待評分動作訊號資料，且比對每一該評分區段所對應的該待評分動作訊號資料及該標準動作訊號資料，是比對每一評分區段該使用者的該角度資料及該教學者的該角度資料是否相似。
  6. 如請求項2所述之自動偵測動作的評分系統，其中對應於該多媒體訊號的不同區段，該節拍資訊包含有一第一節拍和一第二節拍，該標註週期包含有一第一標註週期及一第二標註週期，該處理器更經配置以： 使用該機器學習演算法來計算出該多媒體訊號之該音頻訊號的該第一節拍及該第二節拍；以及 根據該第一節拍對應的時間長度來作為該多媒體訊號的該第一標註週期，以及根據該第二節拍對應的時間長度來作為該多媒體訊號的該第二標註週期。
  7. 如請求項6所述之自動偵測動作的評分系統，更包含： 一第二動作感測器，耦接於該處理器，其中該第二動作感測器經配置以接收一第二感測訊號，其中該第二感測訊號係由一教學者依據該多媒體訊號進行該組動作時所產生； 其中該處理器更經配置以於該第一標註週期中讀取該第二感測訊號之一峰值，以將該峰值對應的區段記錄為該第一標註週期中的該評分區段；以及 於該第二標註週期中讀取該第二感測訊號之該峰值，以將該峰值對應的區段記錄為該第二標註週期中的該評分區段。
  8. 如請求項1所述之自動偵測動作的評分系統，其中該多媒體訊號對應於每一該評分區段具有一時間標記，該處理器更經配置以執行一時序校正演算法，以根據該第一感測訊號及該多媒體訊號之時間標記，來校正該第一感測訊號及該多媒體訊號之時序。
  9. 如請求項1所述之自動偵測動作的評分系統，其中該處理器更經配置以： 從該每一評分區段，決定對應的一取樣視窗，且於該取樣視窗中進行一比對，取用該使用者的待評分動作訊號資料及該標準動作訊號資料，以計算該評分分數。
  10. 如請求項1所述之自動偵測動作的評分系統，其中該處理器更經配置以： 對應於該評分分數，產生一回饋資訊。
  11. 一種自動偵測動作的評分方法，包含： 儲存具有對應一多媒體訊號的一標準動作訊號資料，其中該標準動作訊號資料中具有複數個評分區段，且該些評分區段是依據該多媒體訊號的一節拍資訊及該標準動作訊號資料所產生； 透過一第一動作感測器接收一第一感測訊號，其中該第一感測訊號係由一使用者依據該多媒體訊號進行一組動作時所產生； 依據該多媒體訊號識別該第一感測訊號之一使用者動作訊號資料，並取出對應該些評分區段之一待評分動作訊號資料；以及 比對每一該些評分區段所對應的該待評分動作訊號資料及該標準動作訊號資料，以產生一評分分數。
  12. 如請求項11所述之自動偵測動作的評分方法，更包含： 使用一機器學習演算法來計算該多媒體訊號之一音頻訊號的節拍以作為該節拍資訊； 根據該音頻訊號的該節拍資訊對應的時間長度來作為一標註週期；以及 根據該標註週期，從該標準動作訊號資料中讀取複數個峰值，並決定該些評分區段。
  13. 如請求項12所述之自動偵測動作的評分方法，更包含： 透過一第二動作感測器接收一第二感測訊號，其中該第二感測訊號係由一教學者依據該多媒體訊號進行該組動作時所產生。
  14. 如請求項12所述之自動偵測動作的評分方法，其中該標準動作訊號資料包含有： 一角度資料。
  15. 如請求項14所述之自動偵測動作的評分方法，更包含： 根據每一評分區段，將對應該使用者的該第一感測訊號的一角度資料作為該待評分動作訊號資料，且比對每一該評分區段所對應的該待評分動作訊號資料及該標準動作訊號資料，是比對每一評分區段該使用者的該角度資料及該教學者的該角度資料是否相似。
  16. 如請求項12所述之自動偵測動作的評分方法，其中對應於該多媒體訊號的不同區段，該節拍資訊包含有一第一節拍和一第二節拍，該標註週期包含有一第一標註週期及一第二標註週期，該自動偵測動作的評分方法更包含： 使用該機器學習演算法來計算出該多媒體訊號之該音頻訊號的該第一節拍及該第二節拍；以及 根據該第一節拍對應的時間長度來作為該多媒體訊號的該第一標註週期，以及根據該第二節拍對應的時間長度來作為該多媒體訊號的該第二標註週期。
  17. 如請求項16所述之自動偵測動作的評分方法，更包含： 透過一第二動作感測器接收一第二感測訊號，其中該第二感測訊號係由一教學者依據該多媒體訊號進行該組動作時所產生； 於該第一標註週期中讀取該第二感測訊號之一峰值，以將該峰值對應的區段記錄為該第一標註週期中的該評分區段；以及 於該第二標註週期中讀取該第二感測訊號之該峰值，以將該峰值對應的區段記錄為該第二標註週期中的該評分區段。
  18. 如請求項11所述之自動偵測動作的評分方法，其中該多媒體訊號對應於每一該評分區段具有一時間標記，且該方法更包含： 執行一時序校正演算法，以根據該第一感測訊號及該多媒體訊號之時間標記，來校正該第一感測訊號及該多媒體訊號之時序。
  19. 如請求項11所述之自動偵測動作的評分方法，更包含： 從該每一評分區段，決定對應的一取樣視窗，且於該取樣視窗中進行一比對，取用該使用者的待評分動作訊號資料及該標準動作訊號資料，以計算該評分分數。
  20. 如請求項11所述之自動偵測動作的評分方法，更包含： 對應於該評分分數，產生一回饋資訊。
  21. 一種非暫態電腦可讀取儲存媒體，儲存多個程式碼，當該些程式碼被載入至一處理器後，該處理器執行該些程式碼以完成下列步驟： 儲存具有對應一多媒體訊號的一標準動作訊號資料，其中該標準動作訊號資料中具有複數個評分區段，且該些評分區段是依據該多媒體訊號的一節拍資訊及該標準動作訊號資料所產生； 透過一第一動作感測器接收一第一感測訊號，其中該第一感測訊號係由一使用者依據該多媒體訊號進行一組動作時所產生； 依據該多媒體訊號識別該第一感測訊號之一使用者動作訊號資料，並取出對應該些評分區段之一待評分動作訊號資料；以及 比對每一該些評分區段所對應的該待評分動作訊號資料及該標準動作訊號資料，以產生一評分分數。
TW109139401A 2020-11-11 2020-11-11 自動偵測動作的評分系統、自動偵測動作的評分方法以及非暫態電腦可讀取儲存媒體 TW202219914A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW109139401A TW202219914A (zh) 2020-11-11 2020-11-11 自動偵測動作的評分系統、自動偵測動作的評分方法以及非暫態電腦可讀取儲存媒體
CN202011346732.8A CN114495255A (zh) 2020-11-11 2020-11-26 自动侦测动作的评分系统、自动侦测动作的评分方法以及非暂态计算机可读取储存媒体
US17/109,096 US20220143484A1 (en) 2020-11-11 2020-12-01 Scoring system of automatically detecting body motion, scoring method of automatically detecting body motion, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109139401A TW202219914A (zh) 2020-11-11 2020-11-11 自動偵測動作的評分系統、自動偵測動作的評分方法以及非暫態電腦可讀取儲存媒體

Publications (1)

Publication Number Publication Date
TW202219914A true TW202219914A (zh) 2022-05-16

Family

ID=81454971

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109139401A TW202219914A (zh) 2020-11-11 2020-11-11 自動偵測動作的評分系統、自動偵測動作的評分方法以及非暫態電腦可讀取儲存媒體

Country Status (3)

Country Link
US (1) US20220143484A1 (zh)
CN (1) CN114495255A (zh)
TW (1) TW202219914A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792559B2 (en) * 2021-08-17 2023-10-17 Sufang Liu Earphone control method and device, and non-transitory computer readable storage medium
KR102603700B1 (ko) * 2023-04-03 2023-11-17 이성빈 동작감지형 이동점수판 및 그 이동점수판의 구동방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9981193B2 (en) * 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
CN103390174A (zh) * 2012-05-07 2013-11-13 深圳泰山在线科技有限公司 基于人体姿态识别的体育教学辅助系统和方法
US10565889B2 (en) * 2016-03-21 2020-02-18 Ying Chieh Mitchell Method and system for authoring animated human movement examples with scored movements
US10878718B2 (en) * 2017-10-24 2020-12-29 Richard Santos MORA System and method for synchronizing audio, movement, and patterns
CN110148072B (zh) * 2018-02-12 2023-05-02 庄龙飞 运动课程评分方法与系统
CN110866417A (zh) * 2018-08-27 2020-03-06 阿里巴巴集团控股有限公司 图像处理方法、装置及电子设备
KR20200042143A (ko) * 2018-10-15 2020-04-23 주식회사 더브이엑스 댄싱 룸 서비스 시스템 및 그 방법

Also Published As

Publication number Publication date
CN114495255A (zh) 2022-05-13
US20220143484A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
US11823495B2 (en) Kinect-based auxiliary training system for basic badminton movements
CN108764120B (zh) 一种人体规范动作评价方法
CN109815795A (zh) 基于人脸监测的课堂学生状态分析方法及装置
CN102063903B (zh) 言语交互训练系统及方法
US20140018181A1 (en) Golf swing analysis method and apparatus
TW202219914A (zh) 自動偵測動作的評分系統、自動偵測動作的評分方法以及非暫態電腦可讀取儲存媒體
CN105427708A (zh) 一种声乐发音训练系统
CN109637286A (zh) 一种基于图像识别的口语训练方法及家教设备
CN106097828A (zh) 一种声乐教学演唱技能检测系统
CN109669661A (zh) 一种听写进度的控制方法及电子设备
CN113674565B (zh) 一种用于钢琴教学的教学系统及方法
CN106228996A (zh) 声乐学习电子辅助发音系统
CN105118354A (zh) 用于语言学习的数据处理方法和装置
CN111553260A (zh) 一种交互式教学方法和系统
CN111079501B (zh) 一种文字识别方法及电子设备
CN110865721A (zh) 动作数据标记装置、方法及非暂态电脑可读取记录媒体
Kim et al. An overview of automatic piano performance assessment within the music education context
Zhou et al. Optimization of multimedia computer-aided interaction system of vocal music teaching based on voice recognition
CN112802439B (zh) 一种演奏数据识别方法、装置、设备及存储介质
Bergner et al. First steps in dance data science: Educational design
CN114170868A (zh) 智能钢琴训练的方法和系统
CN111695777A (zh) 教学方法、装置、电子设备以及存储介质
KR20170140756A (ko) 동작 교본 저작 장치, 동작 자가 학습 장치 및 방법
CN115099583A (zh) 一种基于人工智能的智慧课堂学生素质教育服务管理系统
Jaafar et al. Usability study of enhanced salat learning approach using motion recognition system.