TWI824882B - 姿勢矯正系統及方法 - Google Patents

姿勢矯正系統及方法 Download PDF

Info

Publication number
TWI824882B
TWI824882B TW111148044A TW111148044A TWI824882B TW I824882 B TWI824882 B TW I824882B TW 111148044 A TW111148044 A TW 111148044A TW 111148044 A TW111148044 A TW 111148044A TW I824882 B TWI824882 B TW I824882B
Authority
TW
Taiwan
Prior art keywords
posture
neural network
training data
analysis neural
pressure sensing
Prior art date
Application number
TW111148044A
Other languages
English (en)
Other versions
TW202410942A (zh
Inventor
蕭家堯
王冠勳
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Application granted granted Critical
Publication of TWI824882B publication Critical patent/TWI824882B/zh
Publication of TW202410942A publication Critical patent/TW202410942A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)
  • Body Structure For Vehicles (AREA)
  • Telephone Function (AREA)
  • Automobile Manufacture Line, Endless Track Vehicle, Trailer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

一種姿勢矯正系統及方法。該系統基於對應至一使用者之一姿勢影像及複數個壓力感測值，估計對應至該使用者之一身體姿勢追蹤，其中該等壓力感測值各者對應至該使用者之複數個身體部位其中之一。該系統基於該身體姿勢追蹤，產生一姿勢調整建議。

Description

姿勢矯正系統及方法
本發明係關於一種姿勢矯正系統及方法。具體而言，本發明係關於一種能透過視覺及壓力感測裝置協助使用者調整姿勢之姿勢矯正系統及方法。
近年來，運動的風氣愈來愈盛行，人們對於運動時的效率與安全性更加重視。因此，透過數據的蒐集分析來協助檢視使用者運動的姿勢以提升使用者的運動效率，已是一種必然的需求。
在習知的技術中，通常僅會透過單一相機所生成的影像進行姿勢的分析。然而，若僅根據影像內容進行使用者的姿勢分析，容易因為影像的遮擋（Occlusion）以及比例歧異（Scale Ambiguity）問題，造成無法準確判斷使用者的目前姿勢。因此，難以準確的提供使用者正確的姿勢調整建議。
有鑑於此，如何提供一種能準確提供使用者正確的姿勢調整建議之姿勢矯正技術，乃業界亟需努力之目標。
本發明之一目的在於提供一種姿勢矯正系統。該姿勢矯正系統包含一影像擷取裝置、一壓力感測裝置及一處理裝置，該處理裝置連接至該影像擷取裝置及該壓力感測裝置。該影像擷取裝置用以產生對應至一使用者之一姿勢影像。該壓力感測裝置用以偵測複數個壓力感測值。該處理裝置自該壓力感測裝置接收該等壓力感測值，其中該等壓力感測值各者對應至該使用者之複數個身體部位其中之一。該處理裝置基於該姿勢影像及該等壓力感測值，估計對應至該使用者之一身體姿勢追蹤。該處理裝置基於該身體姿勢追蹤，產生一姿勢調整建議。
本發明之另一目的在於提供一種姿勢矯正方法，該姿勢矯正方法用於一電子系統。該姿勢矯正方法包含下列步驟：基於對應至一使用者之一姿勢影像及複數個壓力感測值，估計對應至一使用者之一身體姿勢追蹤，其中該等壓力感測值各者對應至該使用者之複數個身體部位其中之一；以及基於該身體姿勢追蹤，產生一姿勢調整建議。
本發明所提供之姿勢矯正技術（至少包含系統及方法），基於對應至一使用者之姿勢影像及對應至該使用者之各個身體部位的壓力感測值，估計對應至該使用者之身體姿勢追蹤。此外，本發明所提供之姿勢矯正技術基於該身體姿勢追蹤，產生一姿勢調整建議。本發明所提供之姿勢矯正技術能夠透過視覺及壓力感測裝置協助使用者調整姿勢，因此解決了習知技術中，無法準確的提供使用者正確的姿勢調整建議的缺點。
以下結合圖式闡述本發明之詳細技術及實施方式，俾使本發明所屬技術領域中具有通常知識者能理解所請求保護之發明之技術特徵。
以下將透過實施方式來解釋本發明所提供之一種姿勢矯正系統及方法。然而，該等實施方式並非用以限制本發明需在如該等實施方式所述之任何環境、應用或方式方能實施。因此，關於實施方式之說明僅為闡釋本發明之目的，而非用以限制本發明之範圍。應理解，在以下實施方式及圖式中，與本發明非直接相關之元件已省略而未繪示，且各元件之尺寸以及元件間之尺寸比例僅為例示而已，而非用以限制本發明之範圍。
先說明本實施方式的適用場景，其示意圖係描繪於第1圖。如第1圖所示，於本發明的第一實施方式中，姿勢矯正系統1包含一處理裝置2、一影像擷取裝置4及一壓力感測裝置5，處理裝置2連接至影像擷取裝置4及壓力感測裝置5。影像擷取裝置4可為任何具有影像擷取功能之裝置。處理裝置2可為各種處理單元、中央處理單元（Central Processing Unit；CPU）、微處理器或本發明所屬技術領域中具有通常知識者所知悉之其他計算裝置。
於該場景中，使用者3使用設置了壓力感測裝置5的物件進行動作或是運動。具體而言，壓力感測裝置5包含了複數個壓力感測器S1、……、Sn，該等壓力感測器S1、……、Sn用以偵測複數個壓力感測值500，其中n為大於2的正整數。舉例而言，設置了壓力感測裝置5的物件可以是墊子（例如：瑜珈墊）、運動衣、運動褲、緊身衣、握把、球棒、方向盤等等。
須說明者，處理裝置2可透過有線網路或是無線網路與壓力感測裝置5連線，壓力感測器S1、……、Sn可持續的產生該等壓力感測值500（例如：以每秒10次的頻率），且由壓力感測裝置5將該等壓力感測值500傳送至處理裝置2。
須說明者，壓力感測器S1、……、Sn產生的該等壓力感測值500各者可對應至使用者3之一身體部位（例如：關節等部位）。舉例而言，若使用者3使用的物件為運動褲，壓力感測裝置5可將壓力感測器S1、……、Sn分別設置於運動褲上對應至大腿、小腿、膝關節、踝關節、髖關節等等身體部位進行數據收集。又舉例而言，若使用者3使用的物件為瑜珈墊，壓力感測裝置5可將壓力感測器S1、……、Sn平均設置於瑜珈墊上，以對於使用者3接觸瑜珈墊之身體部位進行數據收集。
如第1圖所示，影像擷取裝置4可設置在使用者3的附近位置，以利於拍攝使用者3的姿勢影像。處理裝置2可透過有線網路或是無線網路與影像擷取裝置4連線，影像擷取裝置4用以產生對應至使用者3之一姿勢影像400，且將姿勢影像400傳送至處理裝置2。其中，姿勢影像400可記錄使用者3目前運動的姿勢。
於某些實施方式中，影像擷取裝置4可包含一或複數個影像擷取單元（例如：一或複數個深度相機鏡頭），用以產生對應一視野範圍（Field Of View；FOV）之姿勢影像400。
於某些實施方式中，影像擷取裝置4及處理裝置2可位於同一裝置中。具體而言，影像擷取裝置4及處理裝置2可包含於一一體機（All In One；AIO）裝置中，且該一體機裝置連接至壓力感測裝置5。舉例而言，該一體機裝置可以是具有運算功能及影像擷取功能之手機。
需說明者，第1圖僅方便作為例示，本發明並未限制姿勢矯正系統1的內容。舉例而言，本發明並未限制與處理裝置2所連線的裝置之數目，處理裝置2可同時與多個壓力感測裝置及多個影像擷取裝置透過網路連線，視姿勢矯正系統1之規模及實際需求而定。
於本實施方式中，處理裝置2自壓力感測裝置5接收該等壓力感測值500，其中該等壓力感測值500各者分別對應至使用者3之複數個身體部位其中之一。
接著，處理裝置2基於姿勢影像400及該等壓力感測值500，估計對應至使用者3之一身體姿勢追蹤。最後，處理裝置2基於該身體姿勢追蹤，產生一姿勢調整建議。
於某些實施方式中，處理裝置2是透過比較該身體姿勢追蹤與標準姿勢的差異，以決定需要進行的姿勢調整。具體而言，處理裝置2比較該身體姿勢追蹤及一標準姿勢，以計算一姿勢差異值。接著，處理裝置2基於該姿勢差異值，產生該姿勢調整建議。
舉例而言，處理裝置2可先判斷該身體姿勢追蹤目前所對應之標準姿勢。例如：處理裝置2基於目前身體姿勢追蹤判斷使用者3目前執行的動作應為瑜珈中之一戰士二（WarriorⅡ）動作，其標準之站姿應為左腳及右腳呈現90度。而目前判斷之結果使用者3的左腳及右腳僅為75度，因此處理裝置2將提醒使用者3將左腳及右腳調整為90度。
於某些實施方式中，為了使得處理裝置2分析姿勢影像400時對於姿勢的定位更為準確，處理裝置2可更基於姿勢影像400的深度資訊，判斷使用者3的各個身體部位於空間中之位置。具體而言，處理裝置2分析姿勢影像400，以產生對應至使用者3之該等身體部位各者之一空間位置。接著，處理裝置2基於該等空間位置及該等壓力感測值500，估計對應至使用者3之該身體姿勢追蹤。
於某些實施方式中，處理裝置2可透過融合分析神經網路來估計該身體姿勢追蹤。具體而言，處理裝置2將該姿勢影像400及該等壓力感測值500輸入至一融合分析神經網路，以估計對應使用者3之該身體姿勢追蹤。其中，該融合分析神經網路係基於一壓力分析神經網路及一視覺分析神經網路所訓練。
為便於理解，以下段落將詳細說明關於本揭露中的神經網路訓練方式，請參考第2圖中的神經網路訓練運作示意圖200。
於某些實施方式中，處理裝置2可基於已標註（labeled）的壓力感測訓練資料PTD訓練該壓力分析神經網路PNN。具體而言，處理裝置2收集複數個第一壓力感測訓練資料PTD及對應該等第一壓力感測訓練資料PTD之一第一標註資訊（未繪示）。接著，處理裝置2基於該等第一壓力感測訓練資料PTD及該第一標註資訊，訓練該壓力分析神經網路PNN。
於某些實施方式中，壓力感測訓練資料PTD可為一合成資料（synthesis data）。
於某些實施方式中，處理裝置2可基於已標註的影像訓練資料ITD訓練該視覺分析神經網路VNN。具體而言，處理裝置2收集複數個第一影像訓練資料ITD及對應該等第一影像訓練資料ITD之一第二標註資訊（未繪示）。接著，處理裝置2基於該等第一影像訓練資料ITD及該第二標註資訊，訓練該視覺分析神經網路VNN。
於某些實施方式中，處理裝置2可基於已標註的配對訓練資料（即，包含壓力感測訓練資料PTD及影像訓練資料ITD）訓練該融合分析神經網路FNN。具體而言，處理裝置2收集複數個第一配對訓練資料及對應該等第一配對訓練資料之一第三標註資訊（未繪示），其中該等第一配對訓練資料各者包含一第二壓力感測訓練資料PTD及一第二影像訓練資料ITD。接著，處理裝置2基於該等第一配對訓練資料及該第三標註資訊，訓練該融合分析神經網路FNN，且微調（fine-tune）該壓力分析神經網路PNN及該視覺分析神經網路VNN。
須說明者，處理裝置2可透過計算該壓力分析神經網路PNN的潛在特徵(Latent Feature)F1及該視覺分析神經網路VNN的潛在特徵F2，進行該融合分析神經網路FNN、該壓力分析神經網路PNN及及該視覺分析神經網路VNN的訓練及微調運作。本領域具有通常知識者應可基於上述說明內容理解神經網路訓練及微調運作的實施方式，故不贅言。
於某些實施方式中，處理裝置2亦可透過未標註的配對訓練資料及一致性損失（consistency loss）函數，訓練該融合分析神經網路FNN。具體而言，處理裝置2收集複數個第二配對訓練資料，其中該等第二配對訓練資料各者包含一第三壓力感測訓練資料PTD及一第三影像訓練資料ITD。接著，處理裝置2基於該等第二配對訓練資料，計算該壓力分析神經網路PNN及該視覺分析神經網路VNN各自所對應之一致性損失函數C1及C2。最後，處理裝置2基於該等第二配對訓練資料及該等一致性損失函數C1及C2，訓練該融合分析神經網路FNN，且微調該壓力分析神經網路PNN及該視覺分析神經網路VNN。
於某些實施方式中，處理裝置2基於該壓力分析神經網路PNN所產生之一第一預測姿勢P1及該融合分析神經網路FNN所產生之一第三預測姿勢P3，計算該壓力分析神經網路PNN所對應之該一致性損失函數C1。此外，處理裝置2基於該視覺分析神經網路所產生之一第二預測姿勢P2及該融合分析神經網路FNN所產生之該第三預測姿勢P3，計算該視覺分析神經網路VNN所對應之該一致性損失函數C2。
由上述說明可知，本發明所提供之姿勢矯正系統1，基於對應至一使用者之姿勢影像及對應至該使用者之各個身體部位的壓力感測值，估計對應至該使用者之身體姿勢追蹤。此外，本發明所提供之姿勢矯正系統1基於該身體姿勢追蹤，產生一姿勢調整建議。本發明所提供之姿勢矯正系統1能夠透過視覺及壓力感測裝置協助使用者調整姿勢，因此解決了習知技術中，無法準確的提供使用者正確的姿勢調整建議的缺點。
本發明之第二實施方式為一姿勢矯正方法，其流程圖係描繪於第3圖。姿勢矯正方法300適用於一電子系統，例如：第一實施方式所述之姿勢矯正系統1。姿勢矯正方法300透過步驟S301至步驟S303產生一姿勢調整建議。
於步驟S301，由電子系統基於對應至一使用者之一姿勢影像及複數個壓力感測值，估計對應至一使用者之一身體姿勢追蹤，其中該等壓力感測值各者分別對應至該使用者之複數個身體部位其中之一。接著，於步驟S303，由電子系統基於該身體姿勢追蹤，產生一姿勢調整建議。
於某些實施方式中，姿勢矯正方法300更包含以下步驟：分析該姿勢影像，以產生對應至該使用者之該等身體部位各者之一空間位置；以及基於該等空間位置及該等壓力感測值，估計對應至該使用者之該身體姿勢追蹤。
於某些實施方式中，其中該電子系統包含一壓力感測裝置及一一體機裝置，且該一體機裝置包含一影像擷取裝置及一處理裝置，例如：第一實施方式所述之處理裝置2、影像擷取裝置4及壓力感測裝置5。
於某些實施方式中，姿勢矯正方法300更包含以下步驟：將該姿勢影像及該等壓力感測值輸入至一融合分析神經網路，以估計對應該使用者之該身體姿勢追蹤；其中，該融合分析神經網路係基於一壓力分析神經網路及一視覺分析神經網路所訓練。
於某些實施方式中，姿勢矯正方法300更包含以下步驟：收集複數個第一壓力感測訓練資料及對應該等第一壓力感測訓練資料之一第一標註資訊；以及基於該等第一壓力感測訓練資料及該第一標註資訊，訓練該壓力分析神經網路。
於某些實施方式中，姿勢矯正方法300更包含以下步驟：收集複數個第一影像訓練資料及對應該等第一影像訓練資料之一第二標註資訊；以及基於該等第一影像訓練資料及該第二標註資訊，訓練該視覺分析神經網路。
於某些實施方式中，姿勢矯正方法300更包含以下步驟：收集複數個第一配對訓練資料及對應該等第一配對訓練資料之一第三標註資訊，其中該等第一配對訓練資料各者包含一第二壓力感測訓練資料及一第二影像訓練資料；以及基於該等第一配對訓練資料及該第三標註資訊，訓練該融合分析神經網路，且微調該壓力分析神經網路及該視覺分析神經網路。
於某些實施方式中，姿勢矯正方法300更包含以下步驟：收集複數個第二配對訓練資料，其中該等第二配對訓練資料各者包含一第三壓力感測訓練資料及一第三影像訓練資料；基於該等第二配對訓練資料，計算該壓力分析神經網路及該視覺分析神經網路各自所對應之一一致性損失函數；以及基於該等第二配對訓練資料及該等一致性損失函數，訓練該融合分析神經網路，且微調該壓力分析神經網路及該視覺分析神經網路。
於某些實施方式中，姿勢矯正方法300更包含以下步驟：基於該壓力分析神經網路所產生之一第一預測姿勢及該融合分析神經網路所產生之一第三預測姿勢，計算該壓力分析神經網路所對應之該一致性損失函數；以及基於該視覺分析神經網路所產生之一第二預測姿勢及該融合分析神經網路所產生之該第三預測姿勢，計算該視覺分析神經網路所對應之該一致性損失函數。
於某些實施方式中，姿勢矯正方法300更包含以下步驟：比較該身體姿勢追蹤及一標準姿勢，以計算一姿勢差異值；以及基於該姿勢差異值，產生該姿勢調整建議。
除了上述步驟，第二實施方式亦能執行第一實施方式所描述之姿勢矯正系統1之所有運作及步驟，具有同樣之功能，且達到同樣之技術效果。本發明所屬技術領域中具有通常知識者可直接瞭解第二實施方式如何基於上述第一實施方式以執行此等運作及步驟，具有同樣之功能，並達到同樣之技術效果，故不贅述。
需說明者，於本發明專利說明書及申請專利範圍中，某些用語（包含：壓力感測訓練資料、標註資訊、影像訓練資料、配對訓練資料、預測姿勢等等）前被冠以「第一」、「第二」或「第三」，該等「第一」、「第二」或「第三」僅用來區分不同之用語。例如：第一標註資訊及第二標註資訊中之「第一」及「第二」僅用來表示不同運作時所使用之不同標註資訊。
綜上所述，本發明所提供之姿勢矯正技術（至少包含系統及方法），基於對應至一使用者之姿勢影像及對應至該使用者之各個身體部位的壓力感測值，估計對應至該使用者之身體姿勢追蹤。此外，本發明所提供之姿勢矯正技術基於該身體姿勢追蹤，產生一姿勢調整建議。本發明所提供之姿勢矯正技術能夠透過視覺及壓力感測裝置協助使用者調整姿勢，因此解決了習知技術中，無法準確的提供使用者正確的姿勢調整建議的缺點。
上述實施方式僅用來例舉本發明之部分實施態樣，以及闡釋本發明之技術特徵，而非用來限制本發明之保護範疇及範圍。任何本發明所屬技術領域中具有通常知識者可輕易完成之改變或均等性之安排均屬於本發明所主張之範圍，而本發明之權利保護範圍以申請專利範圍為準。
1:姿勢矯正系統 2:處理裝置 3:使用者 4:影像擷取裝置 5:壓力感測裝置 400:姿勢影像 500:壓力感測值 S1、……、Sn:壓力感測器 200:神經網路訓練運作示意圖 PTD:壓力感測訓練資料 ITD:影像訓練資料 PNN:壓力分析神經網路 VNN:視覺分析神經網路 FNN:融合分析神經網路 F1:第一潛在特徵 F2:第二潛在特徵 P1:第一預測姿勢 P2:第二預測姿勢 P3:第三預測姿勢 C1:一致性損失函數 C2:一致性損失函數 300:姿勢矯正方法 S301、S303:步驟
第1圖係描繪第一實施方式之姿勢矯正系統之適用場景示意圖； 第2圖係描繪某些實施方式之神經網路訓練運作示意圖；以及 第3圖係描繪第二實施方式之姿勢矯正方法之部分流程圖。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
300:姿勢矯正方法
S301、S303:步驟

Claims (20)

  1. 一種姿勢矯正系統，包含： 一影像擷取裝置，用以產生對應至一使用者之一姿勢影像； 一壓力感測裝置，用以偵測複數個壓力感測值；以及 一處理裝置，連接至該影像擷取裝置及該壓力感測裝置，且用以執行以下運作： 自該壓力感測裝置接收該等壓力感測值，其中該等壓力感測值各者對應至該使用者之複數個身體部位其中之一； 基於該姿勢影像及該等壓力感測值，估計對應至該使用者之一身體姿勢追蹤；以及 基於該身體姿勢追蹤，產生一姿勢調整建議。
  2. 如請求項1所述之姿勢矯正系統，其中該處理裝置更執行以下運作： 分析該姿勢影像，以產生對應至該使用者之該等身體部位各者之一空間位置；以及 基於該等空間位置及該等壓力感測值，估計對應至該使用者之該身體姿勢追蹤。
  3. 如請求項1所述之姿勢矯正系統，其中該影像擷取裝置及該處理裝置系包含於一一體機裝置中，且該一體機裝置連接至該壓力感測裝置。
  4. 如請求項1所述之姿勢矯正系統，其中該處理裝置更執行以下運作： 將該姿勢影像及該等壓力感測值輸入至一融合分析神經網路，以估計對應該使用者之該身體姿勢追蹤； 其中，該融合分析神經網路係基於一壓力分析神經網路及一視覺分析神經網路所訓練。
  5. 如請求項4所述之姿勢矯正系統，其中該處理裝置更執行以下運作： 收集複數個第一壓力感測訓練資料及對應該等第一壓力感測訓練資料之一第一標註資訊；以及 基於該等第一壓力感測訓練資料及該第一標註資訊，訓練該壓力分析神經網路。
  6. 如請求項5所述之姿勢矯正系統，其中該處理裝置更執行以下運作： 收集複數個第一影像訓練資料及對應該等第一影像訓練資料之一第二標註資訊；以及 基於該等第一影像訓練資料及該第二標註資訊，訓練該視覺分析神經網路。
  7. 如請求項6所述之姿勢矯正系統，其中該處理裝置更執行以下運作： 收集複數個第一配對訓練資料及對應該等第一配對訓練資料之一第三標註資訊，其中該等第一配對訓練資料各者包含一第二壓力感測訓練資料及一第二影像訓練資料；以及 基於該等第一配對訓練資料及該第三標註資訊，訓練該融合分析神經網路，且微調該壓力分析神經網路及該視覺分析神經網路。
  8. 如請求項6所述之姿勢矯正系統，其中該處理裝置更執行以下運作： 收集複數個第二配對訓練資料，其中該等第二配對訓練資料各者包含一第三壓力感測訓練資料及一第三影像訓練資料； 基於該等第二配對訓練資料，計算該壓力分析神經網路及該視覺分析神經網路各自所對應之一一致性損失函數；以及 基於該等第二配對訓練資料及該等一致性損失函數，訓練該融合分析神經網路，且微調該壓力分析神經網路及該視覺分析神經網路。
  9. 如請求項8所述之姿勢矯正系統，其中該處理裝置更執行以下運作： 基於該壓力分析神經網路所產生之一第一預測姿勢及該融合分析神經網路所產生之一第三預測姿勢，計算該壓力分析神經網路所對應之該一致性損失函數；以及 基於該視覺分析神經網路所產生之一第二預測姿勢及該融合分析神經網路所產生之該第三預測姿勢，計算該視覺分析神經網路所對應之該一致性損失函數。
  10. 如請求項1所述之姿勢矯正系統，其中該處理裝置更執行以下運作： 比較該身體姿勢追蹤及一標準姿勢，以計算一姿勢差異值；以及 基於該姿勢差異值，產生該姿勢調整建議。
  11. 一種姿勢矯正方法，用於一電子系統，其中該姿勢矯正方法包含下列步驟： 基於對應至一使用者之一姿勢影像及複數個壓力感測值，估計對應至一使用者之一身體姿勢追蹤，其中該等壓力感測值各者對應至該使用者之複數個身體部位其中之一；以及 基於該身體姿勢追蹤，產生一姿勢調整建議。
  12. 如請求項11所述之姿勢矯正方法，其中更包含以下步驟： 分析該姿勢影像，以產生對應至該使用者之該等身體部位各者之一空間位置；以及 基於該等空間位置及該等壓力感測值，估計對應至該使用者之該身體姿勢追蹤。
  13. 如請求項11所述之姿勢矯正方法，其中該電子系統包含一壓力感測裝置及一一體機裝置，且該一體機裝置包含一影像擷取裝置及一處理裝置。
  14. 如請求項11所述之姿勢矯正方法，其中更包含以下步驟： 將該姿勢影像及該等壓力感測值輸入至一融合分析神經網路，以估計對應該使用者之該身體姿勢追蹤； 其中，該融合分析神經網路係基於一壓力分析神經網路及一視覺分析神經網路所訓練。
  15. 如請求項14所述之姿勢矯正方法，其中更包含以下步驟： 收集複數個第一壓力感測訓練資料及對應該等第一壓力感測訓練資料之一第一標註資訊；以及 基於該等第一壓力感測訓練資料及該第一標註資訊，訓練該壓力分析神經網路。
  16. 如請求項15所述之姿勢矯正方法，其中更包含以下步驟： 收集複數個第一影像訓練資料及對應該等第一影像訓練資料之一第二標註資訊；以及 基於該等第一影像訓練資料及該第二標註資訊，訓練該視覺分析神經網路。
  17. 如請求項16所述之姿勢矯正方法，其中更包含以下步驟： 收集複數個第一配對訓練資料及對應該等第一配對訓練資料之一第三標註資訊，其中該等第一配對訓練資料各者包含一第二壓力感測訓練資料及一第二影像訓練資料；以及 基於該等第一配對訓練資料及該第三標註資訊，訓練該融合分析神經網路，且微調該壓力分析神經網路及該視覺分析神經網路。
  18. 如請求項16所述之姿勢矯正方法，其中更包含以下步驟： 收集複數個第二配對訓練資料，其中該等第二配對訓練資料各者包含一第三壓力感測訓練資料及一第三影像訓練資料； 基於該等第二配對訓練資料，計算該壓力分析神經網路及該視覺分析神經網路各自所對應之一一致性損失函數；以及 基於該等第二配對訓練資料及該等一致性損失函數，訓練該融合分析神經網路，且微調該壓力分析神經網路及該視覺分析神經網路。
  19. 如請求項18所述之姿勢矯正方法，其中更包含以下步驟： 基於該壓力分析神經網路所產生之一第一預測姿勢及該融合分析神經網路所產生之一第三預測姿勢，計算該壓力分析神經網路所對應之該一致性損失函數；以及 基於該視覺分析神經網路所產生之一第二預測姿勢及該融合分析神經網路所產生之該第三預測姿勢，計算該視覺分析神經網路所對應之該一致性損失函數。
  20. 如請求項11所述之姿勢矯正方法，其中更包含以下步驟： 比較該身體姿勢追蹤及一標準姿勢，以計算一姿勢差異值；以及 基於該姿勢差異值，產生該姿勢調整建議。
TW111148044A 2022-09-02 2022-12-14 姿勢矯正系統及方法 TWI824882B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/929,314 US20240078842A1 (en) 2022-09-02 2022-09-02 Posture correction system and method
US17/929,314 2022-09-02

Publications (2)

Publication Number Publication Date
TWI824882B true TWI824882B (zh) 2023-12-01
TW202410942A TW202410942A (zh) 2024-03-16

Family

ID=90043867

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111148044A TWI824882B (zh) 2022-09-02 2022-12-14 姿勢矯正系統及方法

Country Status (3)

Country Link
US (1) US20240078842A1 (zh)
CN (1) CN117649698A (zh)
TW (1) TWI824882B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108096807A (zh) * 2017-12-11 2018-06-01 丁贤根 一种运动数据监测方法和系统
CN108211318A (zh) * 2018-01-23 2018-06-29 北京易智能科技有限公司 基于多方感知的竞走运动姿态分析方法
JP2022051173A (ja) * 2020-09-18 2022-03-31 株式会社日立製作所 運動評価装置および運動評価システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108096807A (zh) * 2017-12-11 2018-06-01 丁贤根 一种运动数据监测方法和系统
CN108211318A (zh) * 2018-01-23 2018-06-29 北京易智能科技有限公司 基于多方感知的竞走运动姿态分析方法
JP2022051173A (ja) * 2020-09-18 2022-03-31 株式会社日立製作所 運動評価装置および運動評価システム

Also Published As

Publication number Publication date
US20240078842A1 (en) 2024-03-07
CN117649698A (zh) 2024-03-05

Similar Documents

Publication Publication Date Title
Viswakumar et al. Human gait analysis using OpenPose
CN111881887A (zh) 基于多摄像头的运动姿态监测和指导方法及装置
AU2017201137B2 (en) Systems and methods for identifying body joint locations based on sensor data analysis
Jean et al. Towards view-invariant gait modeling: Computing view-normalized body part trajectories
TWI704530B (zh) 注視度判斷裝置及方法
KR102594938B1 (ko) 인공신경망을 이용한 스포츠 자세를 비교 및 교정하는 장치 및 방법
Li et al. Real-time human motion capture based on wearable inertial sensor networks
Wei et al. Real-time 3D arm motion tracking using the 6-axis IMU sensor of a smartwatch
Islam et al. Action recognition using interrelationships of 3D joints and frames based on angle sine relation and distance features using interrelationships
Yang et al. Human exercise posture analysis based on pose estimation
Nguyen et al. Practical 3D human skeleton tracking based on multi-view and multi-Kinect fusion
Liu et al. Simple method integrating OpenPose and RGB-D camera for identifying 3D body landmark locations in various postures
Huang et al. Robust 3D skeleton tracking based on openpose and a probabilistic tracking framework
TWI824882B (zh) 姿勢矯正系統及方法
Bannis et al. IDIoT: Multimodal framework for ubiquitous identification and assignment of human-carried wearable devices
Tay et al. Markerless gait estimation and tracking for postural assessment
Chen et al. Full-body human motion reconstruction with sparse joint tracking using flexible sensors
Kim et al. Implementation of an omnidirectional human motion capture system using multiple kinect sensors
TW202410942A (zh) 姿勢矯正系統及方法
Baumgartner et al. Monocular 3D human pose estimation for sports broadcasts using partial sports field registration
KR20230086874A (ko) 3d 신체 정밀 추적 기술을 이용한 재활 훈련 시스템
Guidolin et al. Hi-ROS: Open-source multi-camera sensor fusion for real-time people tracking
Vafadar et al. Evaluation of CNN-based human pose estimation for body segment lengths assessment
Haydon et al. Prediction of Propulsion Kinematics and Performance in Wheelchair Rugby
US20230126755A1 (en) Information processing apparatus, information processing method, and imaging system