TWI812273B - 基於影像的環境模擬的運算裝置、運動系統及控制方法 - Google Patents
基於影像的環境模擬的運算裝置、運動系統及控制方法 Download PDFInfo
- Publication number
- TWI812273B TWI812273B TW111121723A TW111121723A TWI812273B TW I812273 B TWI812273 B TW I812273B TW 111121723 A TW111121723 A TW 111121723A TW 111121723 A TW111121723 A TW 111121723A TW I812273 B TWI812273 B TW I812273B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- control signal
- environmental
- computing device
- difference
- Prior art date
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 16
- 230000000694 effects Effects 0.000 claims abstract description 10
- 230000007613 environmental effect Effects 0.000 claims description 69
- 230000004044 response Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000010801 machine learning Methods 0.000 claims description 7
- 230000001174 ascending effect Effects 0.000 claims description 4
- 230000000630 rising effect Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 24
- 238000004458 analytical method Methods 0.000 description 16
- 238000010191 image analysis Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 6
- 238000012795 verification Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008054 signal transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 102100022907 Acrosin-binding protein Human genes 0.000 description 2
- 102100027603 Fetal and adult testis-expressed transcript protein Human genes 0.000 description 2
- 101000756551 Homo sapiens Acrosin-binding protein Proteins 0.000 description 2
- 101000937113 Homo sapiens Fetal and adult testis-expressed transcript protein Proteins 0.000 description 2
- 101001088883 Homo sapiens Lysine-specific demethylase 5B Proteins 0.000 description 2
- 101001028659 Homo sapiens MORC family CW-type zinc finger protein 1 Proteins 0.000 description 2
- 101000874141 Homo sapiens Probable ATP-dependent RNA helicase DDX43 Proteins 0.000 description 2
- 102100033247 Lysine-specific demethylase 5B Human genes 0.000 description 2
- 102100037200 MORC family CW-type zinc finger protein 1 Human genes 0.000 description 2
- 102100035724 Probable ATP-dependent RNA helicase DDX43 Human genes 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 101001130171 Homo sapiens L-lactate dehydrogenase C chain Proteins 0.000 description 1
- 101000824971 Homo sapiens Sperm surface protein Sp17 Proteins 0.000 description 1
- 101000596845 Homo sapiens Testis-expressed protein 15 Proteins 0.000 description 1
- 102100031357 L-lactate dehydrogenase C chain Human genes 0.000 description 1
- 102100022441 Sperm surface protein Sp17 Human genes 0.000 description 1
- 102100035116 Testis-expressed protein 15 Human genes 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Landscapes
- Testing And Monitoring For Control Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Processing Or Creating Images (AREA)
Abstract
本發明實施例提出一種基於影像的環境模擬的運算裝置、運動系統及控制方法。運動系統包括運動器材、顯示器及運算裝置。顯示器用以播放多張連續影像。運算裝置經配置用以依據多張連續影像決定環境資訊，並依據環境資訊產生控制訊號。環境資訊代表那些連續影像的影像內容中的活動在環境下進行的一個或更多個影響因素。控制訊號用以控制運動器材的運作設定。藉此，可改進運動體驗。
Description
本發明是有關於一種影像分析及情境模擬技術，且特別是有關於一種基於影像的環境模擬的運算裝置、運動系統及控制方法。
現今的部分運動器材(例如，跑步機或腳踏車機)可提供真實或虛擬影像，以輔助使用者沉浸於運動中。值得注意的是，這些影像中的內容可能具有移動性。例如，內容是人跑步的過程中所拍攝到的眼前畫面。無可避免地，環境中可能有諸如坡道、彎道或水灘等變因。雖然部分運動器材可調節強度或方向，但這些可調節設定無法同步於前述影像中的環境變因，進而影響體驗。
有鑑於此，本發明實施例提供一種基於影像的環境模擬的運算裝置、運動系統及控制方法，可依據影像內容控制運動器
材，從而提升運動體驗。
本發明實施例的基於影像的環境模擬的運算裝置包括(但不僅限於)記憶體及處理器。記憶體用以儲存程式碼。處理器耦接記憶體。處理器經配置用以載入並執行程式碼以依據多張連續影像決定環境資訊，並依據環境資訊產生控制訊號。環境資訊代表那些連續影像的影像內容中的活動在環境下進行的一個或更多個影響因素。控制訊號用以控制運動器材的運作設定。
本發明實施例的基於影像的環境模擬的運動系統包括(但不僅限於)運動器材、顯示器及運算裝置。顯示器用以播放多張連續影像。運算裝置耦接運動器材及顯示器。運算裝置經配置用以依據多張連續影像決定環境資訊，並依據環境資訊產生控制訊號。環境資訊代表那些連續影像的影像內容中的活動在環境下進行的一個或更多個影響因素。控制訊號用以控制運動器材的運作設定。
本發明實施例的基於影像的環境模擬的控制方法包括(但不僅限於)下列步驟：依據多張連續影像決定環境資訊。依據環境資訊產生控制訊號。環境資訊代表那些連續影像的影像內容中的活動在環境下進行的一個或更多個影響因素。控制訊號用以控制運動器材的運作設定。
基於上述，依據本發明實施例的基於影像的環境模擬的運算裝置、運動系統及控制方法，分析影像以評估影像內容中的影響因素，並據以對應調整運動器材的運作設定。藉此，可將運作設定同步於影像內容的變化，從而提升使用者的運動體驗。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
1:運動系統
10:運動器材
30:顯示器
50:運算裝置
51:記憶體
53:處理器
S210~S220、S310~S330、S410~S450:步驟
T1:影像分析時間
T2:器材調整時間
T3:訊號傳遞時間
T4:訊號傳遞時間
SC1~SC4、CT11~CT13、CT21~CT23、CT31~CT33、CT41~CT43:影像
t0、t1:時間
RM:坡道模型
SM:轉向模型
FM:阻力模型
y1、y2、y3:輸出
F1:第一幀影像
F2:第二幀影像
a11~amn:像素
HL1、HL2:高度
L1、L2:位置
O1:物件
W:積水
圖1是依據本發明一實施例的運動系統的元件方塊圖。
圖2是依據本發明一實施例的基於影像的環境模擬的控制方法的流程圖。
圖3是依據本發明一實施例的整體程序的流程圖。
圖4是依據本發明一實施例的影像預處理的流程圖。
圖5是依據本發明一實施例的影像裁切的示意圖。
圖6A至圖6C是依據本發明一實施例的傾斜校正的示意圖。
圖7是依據本發明一實施例的多模型分析的示意圖。
圖8是依據本發明一實施例的坡道模型分析的示意圖。
圖9A及圖9B是依據本發明一實施例的坡度分析的示意圖。
圖10是依據本發明一實施例的轉向模型分析的示意圖。
圖11A至圖11C是依據本發明一實施例的轉向分析的示意圖。
圖12是依據本發明一實施例的阻力模型分析的示意圖。
圖13是依據本發明一實施例的光澤分析的示意圖。
圖14是依據本發明一實施例的運動器材的坡度調整的示意圖。
圖15是依據本發明一實施例的運動器材的轉向調整的示意圖。
圖1是依據本發明一實施例的運動系統1的元件方塊圖。請參照圖1，運動系統1包括(但不僅限於)運動器材10、顯示器30及運算裝置50。
運動器材10可以是跑步機、踏步機、腳踏車機、飛輪健身車、重量訓練機、競速運動機或其他器材。在一實施例中，運動器材10提供運作設定。這運作設定可以是速度、方向、力道、強度、重量或其他功能的調節(例如，增加或減少)。
顯示器30可以是液晶顯示器(Liquid-Crystal Display，LCD)、發光二極體(Light-Emitting Diode，LED)顯示器、有機發光二極體(Organic Light-Emitting Diode，OLED)顯示器或其他顯示器。在一實施例中，顯示器30用以播放影像。
運算裝置50耦接運動器材10及顯示器30。例如，透過諸如第四代(4G)或其他世代行動通訊、Wi-Fi、藍芽、紅外線、乙太網路(Ethernet)或光纖網路的通訊收發器、或是諸如序列通訊介面(例如RS-232)、通用串列匯流排(Universal Serial Bus，USB)或Thunderbolt的通訊傳輸介面傳送或接收訊號。
運算裝置50可以是智慧型手機、平板電腦、伺服器或具備運算功能的其他電子裝置。
運算裝置50包括(但不僅限於)記憶體51及處理器53。
記憶體51可以是任何型態的固定或可移動隨機存取記憶體(Radom Access Memory，RAM)、唯讀記憶體(Read Only Memory，ROM)、快閃記憶體(flash memory)、傳統硬碟(Hard Disk Drive，HDD)、固態硬碟(Solid-State Drive，SSD)或類似元件。在一實施例中，記憶體51用以儲存程式碼、軟體模組、組態配置、資料(例如，影像、環境資訊、控制訊號等)或檔案，並待後文詳述其實施例。
處理器53耦接記憶體51。處理器53可以是中央處理單元(Central Processing Unit，CPU)、圖形處理單元(Graphic Processing unit，GPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位信號處理器(Digital Signal Processor，DSP)、可程式化控制器、現場可程式化邏輯閘陣列(Field Programmable Gate Array，FPGA)、特殊應用積體電路(Application-Specific Integrated Circuit，ASIC)、神經網路加速器或其他類似元件或上述元件的組合。在一實施例中，處理器53用以執行運算裝置50的所有或部份作業，可載入並執行記憶體51所儲存的各程式碼、軟體模組、檔案及資料，並據以執行本發明實施例的控制方法。在一些實施例中，處理器53的功能可透過軟體或晶片實現。
在一些實施例中，運動器材10及顯示器30中的任一個可與運算裝置50整合成獨立裝置。
下文中，將搭配運動系統1中的各項裝置、元件及模組說明本發明實施例所述之方法。本方法的各個流程可依照實施情
形而隨之調整，且並不僅限於此。
圖2是依據本發明一實施例的基於影像的環境模擬的控制方法的流程圖。請參照圖2，運算裝置50的處理器53依據多張連續影像決定環境資訊(步驟S210)。具體而言，連續影像可以是影片或視訊串流。連續影像是指基於影像擷取裝置或錄製影像的幀率(例如以每秒顯示幀數(Frames Per Second，FPS)或頻率計量)下相鄰影像幀的集合。例如，若幀率為60 FPS，則一秒內的60張幀的那些影像可被稱為連續影像。然而，連續影像也可能是影像擷取裝置在不同時間間距拍攝所得的多張影像。在一些實施例中，連續影像也可能是虛擬動畫。
環境資訊代表那些連續影像的影像內容中的活動在環境下進行的一個或更多個影響因素。影像內容是進行這活動下所拍攝到的畫面，並據以形成連續影像。活動例如是跑步、騎車、開車、飛行、登山、或滑雪，但不以此為限。
此外，在環境中的影響因素可能有很多種，且在不同應用情境下也有不同的影響因素。例如，跑步的道路可能是坡道、彎道或岔路。健行的路徑可能是峭壁或溪谷。因此，影響因素例如是坡度、轉向及/或阻力。而環境資訊可用於量化影響因素。例如，坡度0度、右轉15度或增加力量1公斤。在本發明實施例中，可分析連續影像的影像內容，並據以估測或決定環境中的影響因素。
圖3是依據本發明一實施例的整體程序的流程圖。請參照圖3，在一實施例中，在影像分析(步驟S320)之前，處理器53
可對連續影像進行預處理(步驟S310)，以方便後續影像分析(步驟S320)的處理。
圖4是依據本發明一實施例的影像預處理的流程圖。請參照圖4，在一實施例中，處理器53可降低那些連續影像的單位時間內的幀數(步驟S410)。即，降低幀率。例如，將幀率由每秒90幀畫面降低至每兩秒1幀畫面。藉此，可加速影像分析的讀取及/或運算，並可盡早控制運動器材10。
在一實施例中，處理器53可依據固定形狀裁切那些連續影像(步驟S420)。這固定形狀是矩形，但可依據其他需求而改變。固定形狀的長寬比例可以是1：1、4：3、3：2或16：9。處理器53可將一張或更多張連續影像以置中方式(例如，固定形狀的中心對準原影像的中心)裁切成固定比例。所保留的畫面(即，未受裁切而移除的部分)大致位於未裁切前的影像的中間。
舉例而言，圖5是依據本發明一實施例的影像裁切的示意圖。請參照圖1，影像SC1的長寬比例為1：1，影像SC1的長寬比例為4：3，影像SC1的長寬比例為3：2，且影像SC1的長寬比例為16：9。影像SC1被裁切成4：3後將形成影像CT11，被裁切成3：2後將形成影像CT12，且被裁切成16：9後將形成影像CT13。影像SC2被裁切成1：1後將形成影像CT21，被裁切成3：2後將形成影像CT22，且被裁切成16：9後將形成影像CT23。影像SC3被裁切成1：1後將形成影像CT31，被裁切成4：3後將形成影像CT32，且被裁切成16：9後將形成影像CT33。影像SC4
被裁切成1：1後將形成影像CT41，被裁切成4：3後將形成影像CT42，且被裁切成3：2後將形成影像CT43。
值得注意的是，相較於裁切成1：1，若選擇裁切成其他比例，則受保留的畫面較大，且受切割而移除的畫面較小。因此，相較於1：1，選擇其他比例較有助於評估影響因素。此外，採用相同的形狀可避免或減少分析異常。
須說明的是，圖的形狀及比例僅作為範例說明，在其他實施例中可能有其他變化。
在一實施例中，處理器53可降低那些連續影像的影像尺寸。即，像素壓縮或縮小影像(步驟S430)。例如，處理器53可將2880×2160的影像尺寸壓縮至160×120。由於影像中的像素量減少，因此整體資訊量減少，進而加速影像分析的讀取及/或運算。
在一實施例中，處理器53可篩選影像(步驟S440)。由於地平線是分析及/或校正的判斷依據，因此處理器53判斷連續影像中的一個或更多者是否存在地平線。處理器53可基於物件偵測(例如，基於神經網路的演算法(例如，YOLO(You Only Look Once)、基於區域的卷積神經網路(Region Based Convolutional Neural Networks，R-CNN)、或快速R-CNN(Fast CNN))或是基於特徵匹配的演算法(例如，方向梯度直方圖(Histogram of Oriented Gradient，HOG)、Harr、或加速穩健特徵(Speeded Up Robust Features，SURF)的特徵比對)辨識影像中的物件的類型，進而決定地平線是否存在於影像中。
在一實施例中，處理器53可判斷連續影像中的第一幀(frame)影像及第二幀影像中是否有地平線。第二幀影像接續在第一幀影像，且這兩幀影像之間沒有其他幀的影像。若這兩幀影像皆存在地平線，則處理器53進行傾斜校正(步驟S450)。若這兩幀影像皆未存在地平線，則處理器53禁能/停止/不進行傾斜校正。
此外，若僅第一幀影像有地平線，則處理器53僅針對第一幀影像進行後續影像分析(例如，決定環境資訊)。若僅第二幀影像有地平線，則處理器53僅針對第二幀影像進行後續影像分析(例如，決定環境資訊)。
在一實施例中，處理器53可依據那些連續影像中的一者中的地平線進行畫面傾斜校正(步驟S450)。地平線在影像中可能傾斜，因此需要將傾斜的地平線校正至平行於影像的水平面。
圖6A至圖6C是依據本發明一實施例的傾斜校正的示意圖。請參照圖6A至圖6C，處理器53可辨識第一幀影像(例如，圖6A所示時間t0拍攝的影像)及第二幀影像(例如，圖6B或圖6C所示時間t1拍攝的影像)中的地平線，並比對兩幀影像中的地平線。假設第一幀影像已進行傾斜校正。若第二幀影像的地平線相較於第一幀影像傾斜的角度
超過傾斜門檻值(例如，5度、10度或15度)，則處理器53將第二幀影像旋轉角度-
(如右圖所示順時針旋轉)，使第二幀影像的地平線與影像的水平面平行。校正後的第二幀影像可覆蓋原第二幀影像或直接作為第二幀影像。
須說明的是，在其他實施例中，圖4中的部分步驟可能
省略，或者步驟的順序可能變動。
請參照圖3，在步驟S320中，在一實施例中，處理器53可利用預測模型決定各連續影像的環境資訊。這預測模型是基於機器學習演算法(例如，深度神經網路(Deep Neural Network，DNN)、多層感知器(Multi-Layer Perceptron，MLP)、支持向量機(Support Vector Machine，SVM)或其他機器學習模型)所訓練的。在一實施例中，預測模型可用於影像推論。機器學習演算法可分析訓練樣本以自中獲得規律，從而透過規律對未知資料預測。而預測模型即是經學習後所建構出的機器學習模型，並據以對待評估資料推論。
針對訓練階段，在一實施例中，處理器53可僅將影像作為訓練樣本來建立預測模型。在另一實施例中，處理器53可將影像及偵測資訊(例如，加速度、角速度或磁偏角)作為訓練樣本來建立預測模型。在一實施例中，訓練樣本包括影像及其已標記的環境資訊。例如，訓練影像及影像中的轉向角度。
在一實施例中，針對不同影響因素，處理器53可使用不同預測模型。這些預測模型是分別針對不同影響因素所訓練。
在一實施例中，處理器53可依據訓練樣本訓練初始模型，以產生預測模型。接著，處理器53可依據測試樣本測試訓練模型。訓練樣本與測試樣本可以是不同的影像。測試樣本可用於評估訓練模型的能力。若能力不符合所設定標準(例如，正確率低於80、75或85%)，則處理器53可重新訓練模型。在一實施例中，測試樣本包括測試所用的影像及其已標記的環境資訊。
在一實施例中，處理器53可依據訓練樣本訓練初始模型，以產生訓練模型。處理器53可依據驗證樣本驗證訓練模型，以產生預測模型。驗證樣本可用於評估目前預測模型的學習狀況，例如判斷預測模型是否過擬合(Overfitting)，並依據學習狀況調整模型參數。接著，處理器53可依據測試樣本測試預測模型。訓練樣本、測試樣本及驗證樣本可以是不同的影像。測試樣本可用於評估訓練模型的能力。
在一實施例中，驗證樣本包括驗證所用的影像及其已標註的環境資訊。在一實施例中，驗證樣本包括驗證所用的影像及偵測資訊(例如，加速度、角速度或磁偏角)。
舉例而言，圖7是依據本發明一實施例的多模型分析的示意圖。請參照圖7，針對坡度、轉向及阻力，提出坡道模型RM、轉向模型SM及阻力模型FM。以神經網路為例，其架構包括輸入層、隱藏層及輸入層。不同幀影像(例如，時間t0、t1拍攝的影像)可分別輸入至坡道模型RM、轉向模型SM及阻力模型FM，並由輸出層得出各預測模型的輸出y1、y2、y3。
在一實施例中，處理器53可比較那些連續影像中的第一幀影像及第二幀影像，以取得環境差異。例如，影響因素包括坡度，環境資訊包括坡度訊息，環境差異為地平線差異，且地平線差異包括上升狀態及下降狀態。又例如，影響因素包括方向，環境資訊包括轉向訊息，環境差異為景物偏移，且景物偏移包括向右偏移及向左偏移。如圖7所示不同時間t0、t1的影像分別輸入到坡道模型
RM及轉向模型SM。
圖8是依據本發明一實施例的坡道模型分析的示意圖。請參照圖8，第一幀影像F1(對應於時間t0)及第二幀影像F2(對應於時間t1)分別包括像素a11~amn(m、n為正整數)。處理器53可將第一幀影像F1中的元素a11~amn的資訊(例如，紅綠藍(RGB)的強度或色度-明度-濃度(YUV)的強度)輸入至坡道模型RM(即，預測模型)，以取得第一預測結果。此外，處理器53可將第二幀影像F2中的元素a11~amn的資訊(例如，RGB的強度、YUV的強度)輸入至坡道模型RM，以取得第二預測結果。這兩個預測結果相關於地平面在影像中的高度。
處理器53可依據第一預測結果及第二預測結果決定環境差異。這環境差異可量化成輸出y1(例如，坡度訊息)。例如，坡度訊息是-8至8中的一個整數。不同數值代表不同坡度。例如，「8」相較於「6」的向上坡度更大，且「-8」相較於「-5」的向下坡度更大。
舉例而言，圖9A及圖9B是依據本發明一實施例的坡度分析的示意圖。請參照圖9A及圖9B，圖9A所示的第一預測結果是時間t0具有高度HL1的地平線，且圖9B所示的第二預測結果是時間t1具有高度HL2的地平線。由此可知，時間t0至時間t1的地平線差異(即，環境差異)是上升狀態。反應於所取得的地平線差異為上升狀態，處理器53可決定坡度訊息指示上坡畫面。即，第二幀影像F2的影像內容是上坡畫面。另一方面，若高度HL1高於
高度HL2(圖未示)，則時間t0至時間t1的地平線差異是下降狀態。反應於所取得的地平線差異為下降狀態，處理器53可決定坡度訊息指示下坡畫面。即，第二幀影像F2的影像內容是下坡畫面。
圖10是依據本發明一實施例的轉向模型分析的示意圖。請參照圖10，第一幀影像F1(對應於時間t0)及第二幀影像F2(對應於時間t1)分別包括像素a11~amn(m、n為正整數)。處理器53可將第一幀影像F1中的元素a11~amn的資訊(例如，RGB的強度或YUV的強度)輸入至轉向模型SM(即，預測模型)，以取得第一預測結果。此外，處理器53可將第二幀影像F2中的元素a11~amn的資訊(例如，RGB的強度、YUV的強度)輸入至轉向模型SM，以取得第二預測結果。這兩個預測結果相關於影像中的景物(即，景色及/或物件)的位置。
處理器53可依據第一預測結果及第二預測結果決定環境差異。這環境差異可量化成輸出y2(例如，轉向訊息)。例如，轉向訊息是-9至9中的一個整數。不同數值代表相對於影像中的不同偏移位置。例如，「9」相較於「6」向右偏移更多，且「-9」相較於「-5」向左偏移更多。
舉例而言，圖11A至圖11C是依據本發明一實施例的轉向分析的示意圖。請參照圖11A及圖11B，圖11所示的第一預測結果是在時間t0的物件O1位於位置L1，且圖11B所示的第二預測結果是在時間t1的物件O1位於位置L2。由此可知，時間t0至時間t1的景物偏移(即，環境差異)是向右偏移。反應於所取得的景
物偏移為向右偏移，處理器53可決定轉向訊息指示右轉畫面。即，第二幀影像F2的影像內容是右轉畫面。另一方面，若時間t0的位置位於時間t1的位置右方(圖未示)，則時間t0至時間t1的景物偏移是向左偏移。反應於所取得的景物偏移為向左偏移，處理器53可決定轉向訊息指示左轉畫面。即，第二幀影像F2的影像內容是左轉畫面。請參照圖11C，若第二幀影像F2的影像內容未存在物件O1，則處理器53可直接使用第一幀影像的轉向訊息。
圖12是依據本發明一實施例的阻力模型分析的示意圖。請參照圖12，影響因素包括地面阻力，且環境資訊包括阻力訊息。第一幀影像F1(對應於時間t0)包括像素a11~amn(m、n為正整數)。處理器53可將第一幀影像F1中的元素a11~amn的資訊(例如，RGB的強度或YUV的強度)輸入至阻力模型FM(即，預測模型)，以取得第三預測結果。這預測結果相關於影像中的改變路面阻力的程度。例如，地面反光/光澤的強度。
處理器53可依據第三預測結果決定環境差異。這環境差異可量化成輸出y3(例如，阻力訊息)。例如，阻力訊息是-2至2中的一個整數。不同數值代表不同阻力。例如，「2」相較於「1」的向後阻力更大，且「-2」相較於「-1」的向前助力更大。
圖13是依據本發明一實施例的光澤分析的示意圖。請參照圖13，路面的積水W可能增加影像中的路面的平均灰階值。第三預測結果是在時間t0的路面的平均灰階值高於灰階門檻值，則這連續影像的地面光澤為高光澤。反應於所連續影像中的一者為
高光澤，處理器53可決定轉向訊息指示高光澤畫面。即，第一幀影像F1的影像內容是高光澤畫面。另一方面，若第三預測結果是在時間t0的路面的平均灰階值未高於灰階門檻值，則這連續影像的地面光澤為低光澤。反應於所連續影像中的一者為低光澤，處理器53可決定轉向訊息指示低光澤畫面。即，第一幀影像F1的影像內容是低光澤畫面。由此可知，高光澤及低光澤的決定是依據灰階值比較。
請參照圖2，處理器53依據環境資訊產生控制訊號(步驟S220)。具體而言，控制訊號用以控制運動器材10的運作設定。運作設定可以是速度、方向、力道、強度、重量或其他功能的調節(例如，增加或減少)。
在一實施例中，若坡度訊息指示上坡畫面，則控制訊號用於增加坡度。若坡度訊息指示下坡畫面，則控制訊號用於減少坡度。增加或減少的角度相關於輸出y1的大小。輸出y1與第一變化角度(例如，2度、5度或10度)的乘積可作為控制訊號所欲增加或減少的傾斜角度(正值為增加，負值為減少)。
舉例而言，圖14是依據本發明一實施例的運動器材10的坡度調整的示意圖。請參照圖14，坡度的基準0度為運動器材傾斜0度之位置(如上圖所示)。坡度的輸出非累算，因此坡度訊息有不同數值的改變，並以0度為基準調整至坡度訊息對應的傾斜角度。表(1)是一範例說明坡度訊息的輸出y1與控制訊號對應傾斜角度的對照表：
假設依據第一幀影像及第二幀影像得出坡度訊息的輸出y1為-1，因此控制訊號是將運動器材10的坡度由0度向下5度。而若依據第二幀影像及第三幀影像(接續在第二幀影像之後)得出坡度訊息y1的輸出仍為-1，因此控制訊號是將運動器材10維持在向下5度(即，非累計)。若依據後續其他幀影像得出不同於先前坡度訊息的輸出y1，則控制訊號對應的傾斜角度才會改變。
在一實施例中，若轉向訊息指示右轉畫面，則控制訊號用於朝右偏。若轉向訊息指示左轉畫面，則控制訊號用於朝左偏。偏移的角度相關於輸出y2的大小。輸出y2與第二變化角度(例如，2度、5度或10度)的乘積可作為控制訊號所欲向右或向左的轉向角度(正值為向右，負值為向左)。
舉例而言，圖15是依據本發明一實施例的運動器材10的轉向調整的示意圖。請參照圖15，方向的基準0度為運動器材10可轉向範圍之正中心位置。轉向訊息的輸出y2為非累算，且轉向訊息有不同數值的改變。表(2)是一範例說明轉向訊息的輸出y2與控制訊號對應轉向角度的對照表：
假設依據第一幀影像及第二幀影像得出轉向訊息的輸出y2為-1，因此控制訊號是將運動器材10的由0度向左10度。而若依據第二幀影像及第三幀影像(接續在第二幀影像之後)得出轉向訊息的輸出y2仍為-1，因此控制訊號是將運動器材10維持在向左10度(即，非累計)。此外，若後續影像的輸出y2仍維持不變，則處理器53可將控制訊號的轉向角度逐漸回歸至基準0度。例如，
圖中所示是由向左10度改變成向左5度，再由向左5度回歸至基準0度。另一方面，若依據後續其他幀影像得出不同於先前轉向訊息的輸出y2，則控制訊號對應的轉向角度也會改變。
針對阻力調整，在一實施例中，若阻力訊息指示高光澤畫面，則控制訊號用於減少阻力。若阻力訊息指示低光澤畫面，則控制訊號用於增加阻力。增加或減少的阻力相關於輸出y3的大小。輸出y3與第一變化力量(例如，0.5公斤、1公斤或2公斤)的乘積可作為控制訊號所欲增加或減少的阻力(正值為增加，負值為減少)。阻力的0階基準為運動器材10的阻力預設值。
阻力訊息的輸出y2為非累算，阻力訊息有不同數值的改變，並以0階為基準調整至對應阻力的輸出。表(3)是一範例說明阻力訊息的輸出y3與控制訊號對應阻力控制的對照表：
假設依據第一幀影像得出阻力訊息的輸出y3為-1，因此控制訊號是將運動器材10的阻力由預設值減少1公斤。而若依據第二幀影像得出阻力訊息的輸出y3仍為-1，因此控制訊號是將運動器材10維持在相對於預設值減少1公斤的阻力(即，非累計)。另一方面，若依據後續其他幀影像得出不同於先前阻力訊息的輸
出y3，則控制訊號對應的阻力控制才會改變。
值得注意的是，處理器53可透過顯示器30播放連續影像，並將連續影像的播放時機同步於運動器材10依據控制訊號的調整。在一實施例中，處理器53可依據環境資訊的決定時間及運動器材10依據控制訊號調整的時間的總和決定那些連續影像中的一者的播放時機。也就是說，顯示器30播放某一幀影像的播放時機需等待決定時間及運動器材10的調整時間。
以圖3為例，假設訊號的訊號傳遞時間T3及影像的訊號傳遞時間T4太小而忽略不計，則處理器53大致從某一幀影像進行預處理及影像分析之前的時間點延遲影像分析時間T1及器材調整時間T2的組合(步驟S330)之後，才透過顯示器30播放這一幀影像。藉此，可讓顯示器30所顯示畫面同步於運動器材10的調整。
綜上所述，在本發明實施例的基於影像的環境模擬的運算裝置、運動系統及控制方法中，自連續影像中取得諸如斜度、轉向、阻力等環境因素，並據以提供跑步機、腳踏車機或其他運動器材的運作設定。藉此，可模擬連續影像中的運動軌跡路徑的變化，進而讓使用者運動時可體驗戶外運動的感受。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S210~S220:步驟
Claims (19)
- 一種基於影像的環境模擬的運算裝置，包括：一記憶體，用以儲存一程式碼；以及一處理器，耦接該記憶體，經配置用以載入並執行該程式碼以：依據多張連續影像中的一第一幀(frame)影像及一第二幀影像取得一環境差異，依據該環境差異決定一環境資訊，其中該環境資訊代表該些連續影像的影像內容中的一活動在一環境下進行的至少一影響因素，其中取得該環境差異的步驟為：將該第一幀影像輸入至一預測模型，以取得一第一預測結果，其中該預測模型是基於一機器學習演算法所訓練；將該第二幀影像輸入至該預測模型，以取得一第二預測結果；以及依據該第一預測結果及該第二預測結果決定該環境差異；以及依據該環境資訊產生一控制訊號，其中該控制訊號用以控制一運動器材的運作設定。
- 如請求項1所述的基於影像的環境模擬的運算裝置，其中該至少一影響因素包括坡度，該環境資訊包括一坡度訊息，該環境差異為一地平線差異，該地平線差異包括一上升狀態及一下降狀態，且該處理器更經配用以：反應於所取得的該地平線差異為該上升狀態，決定該坡度訊 息指示一上坡畫面，且該控制訊號用於增加坡度；以及反應於所取得的該地平線差異為該下降狀態，決定該坡度訊息指示一下坡畫面，且該控制訊號用於減少坡度。
- 如請求項1所述的基於影像的環境模擬的運算裝置，其中該至少一影響因素包括方向，該環境資訊包括一轉向訊息，該環境差異為一景物偏移，該景物偏移包括一向右偏移及一向左偏移，且該處理器更經配用以：反應於所取得的該景物偏移為該向右偏移，決定該轉向訊息指示一右轉畫面，且該控制訊號用於朝右偏；以及反應於所取得的該景物偏移為該向左偏移，決定該轉向訊息指示一左轉畫面，且該控制訊號用於朝左偏。
- 如請求項1所述的基於影像的環境模擬的運算裝置，其中該至少一影響因素包括地面阻力，該環境資訊包括一阻力訊息，且該處理器更經配用以：反應於該連續影像中的一者的一地面光澤為一高光澤，決定該阻力訊息指示一高光澤畫面，其中該控制訊號用於增加阻力；以及反應於該連續影像中的一者的該地面光澤為一低光澤，決定該阻力訊息指示一低光澤畫面，其中該控制訊號用於減少阻力，且該高光澤及該低光澤的決定是依據一灰階值比較。
- 如請求項1所述的基於影像的環境模擬的運算裝置，其中該處理器更經配用以： 依據該環境資訊的決定時間及該運動器材依據該控制訊號調整的時間的總和決定該些連續影像中的一者的播放時機。
- 如請求項1所述的基於影像的環境模擬的運算裝置，其中該處理器更經配用以：降低該些連續影像的單位時間內的幀數。
- 如請求項1所述的基於影像的環境模擬的運算裝置，其中該處理器更經配用以：依據一固定形狀裁切該些連續影像。
- 如請求項1所述的基於影像的環境模擬的運算裝置，其中該處理器更經配用以：降低該些連續影像的影像尺寸。
- 如請求項1所述的基於影像的環境模擬的運算裝置，其中該處理器更經配用以：依據該些連續影像中的一者中的地平線進行傾斜校正。
- 一種基於影像的環境模擬的運動系統，包括：一運動器材；一顯示器，用以播放多張連續影像；以及一運算裝置，耦接該運動器材及該顯示器，並經配置用以：依據該些連續影像中的一第一幀(frame)影像及一第二幀影像取得一環境差異，依據該環境差異決定一環境資訊，其中該環境資訊代表該些連續影像的影像內容中的一活動在一環境下進行的至少一影響因素，其中取得該環境差異的步驟為： 將該第一幀影像輸入至一預測模型，以取得一第一預測結果，其中該預測模型是基於一機器學習演算法所訓練；將該第二幀影像輸入至該預測模型，以取得一第二預測結果；以及依據該第一預測結果及該第二預測結果決定該環境差異；以及依據該環境資訊產生一控制訊號，其中該控制訊號用以控制該運動器材的運作設定。
- 如請求項10所述的基於影像的環境模擬的運動系統，其中該至少一影響因素包括坡度，該環境資訊包括一坡度訊息，該環境差異為一地平線差異，該地平線差異包括一上升狀態及一下降狀態，且該運算裝置更經配用以：反應於所取得的該地平線差異為該上升狀態，決定該坡度訊息指示一上坡畫面，且該控制訊號用於增加坡度；以及反應於所取得的該地平線差異為該下降狀態，決定該坡度訊息指示一下坡畫面，且該控制訊號用於減少坡度。
- 如請求項10所述的基於影像的環境模擬的運動系統，其中該至少一影響因素包括方向，該環境資訊包括一轉向訊息，該環境差異為一景物偏移，該景物偏移包括一向右偏移及一向左偏移，且該運算裝置更經配用以：反應於所取得的該景物偏移為該向右偏移，決定該轉向訊息指示一右轉畫面，且該控制訊號用於朝右偏；以及 反應於所取得的該景物偏移為該向左偏移，決定該轉向訊息指示一左轉畫面，且該控制訊號用於朝左偏。
- 如請求項10所述的基於影像的環境模擬的運動系統，其中該至少一影響因素包括地面阻力，該環境資訊包括一阻力訊息，且該運算裝置更經配用以：反應於該連續影像中的一者的一地面光澤為一高光澤，決定該阻力訊息指示一高光澤畫面，其中該控制訊號用於增加阻力；以及反應於該連續影像中的一者的該地面光澤為一低光澤，決定該阻力訊息指示一低光澤畫面，其中該控制訊號用於減少阻力，且該高光澤及該低光澤的決定是依據一灰階值比較。
- 如請求項10所述的基於影像的環境模擬的運動系統，其中該運算裝置更經配置用以：依據該環境資訊的決定時間及該運動器材依據該控制訊號調整的時間的總和決定該顯示器撥放該些連續影像中的一者的播放時機。
- 如請求項10所述的基於影像的環境模擬的運動系統，其中該運算裝置更經配置用以：降低該些連續影像的單位時間內的幀數。
- 如請求項10所述的基於影像的環境模擬的運動系統，其中該運算裝置更經配置用以：依據一固定形狀裁切該些連續影像。
- 如請求項10所述的基於影像的環境模擬的運動系統，其中該運算裝置更經配置用以：降低該些連續影像的影像尺寸。
- 如請求項10所述的基於影像的環境模擬的運動系統，其中該運算裝置更經配置用以：依據該些連續影像中的一者中的地平線進行畫面傾斜校正。
- 一種基於影像的環境模擬的控制方法，包括：依據多張連續影像中的一第一幀(frame)影像及一第二幀影像取得一環境差異，依據該環境差異決定一環境資訊，其中該環境資訊代表該些連續影像的影像內容中的一活動在一環境下進行的至少一影響因素，其中取得該環境差異的步驟為：將該第一幀影像輸入至一預測模型，以取得一第一預測結果，其中該預測模型是基於一機器學習演算法所訓練；將該第二幀影像輸入至該預測模型，以取得一第二預測結果；以及依據該第一預測結果及該第二預測結果決定該環境差異；以及依據該環境資訊產生一控制訊號，其中該控制訊號用以控制一運動器材的運作設定。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111121723A TWI812273B (zh) | 2022-06-10 | 2022-06-10 | 基於影像的環境模擬的運算裝置、運動系統及控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111121723A TWI812273B (zh) | 2022-06-10 | 2022-06-10 | 基於影像的環境模擬的運算裝置、運動系統及控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI812273B true TWI812273B (zh) | 2023-08-11 |
| TW202348285A TW202348285A (zh) | 2023-12-16 |
Family
ID=88585691
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111121723A TWI812273B (zh) | 2022-06-10 | 2022-06-10 | 基於影像的環境模擬的運算裝置、運動系統及控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI812273B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI411292B (zh) * | 2009-12-17 | 2013-10-01 | Chien Hui Chuan | 實景虛擬化的編碼方法 |
| JP2018010486A (ja) * | 2016-07-13 | 2018-01-18 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
| CN108479002A (zh) * | 2018-03-26 | 2018-09-04 | 苏州东巍网络科技有限公司 | 一种智能健身单车系统及使用方法 |
-
2022
- 2022-06-10 TW TW111121723A patent/TWI812273B/zh active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI411292B (zh) * | 2009-12-17 | 2013-10-01 | Chien Hui Chuan | 實景虛擬化的編碼方法 |
| JP2018010486A (ja) * | 2016-07-13 | 2018-01-18 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
| CN108479002A (zh) * | 2018-03-26 | 2018-09-04 | 苏州东巍网络科技有限公司 | 一种智能健身单车系统及使用方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202348285A (zh) | 2023-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Huang et al. | Tracknet: A deep learning network for tracking high-speed and tiny objects in sports applications | |
| US11016563B2 (en) | Image changes based on voice | |
| KR101103115B1 (ko) | 얼굴 화상표시장치, 얼굴 화상표시방법 및 얼굴 화상표시 프로그램 | |
| US20220351535A1 (en) | Light Weight Multi-Branch and Multi-Scale Person Re-Identification | |
| US9324158B2 (en) | Image processing device for performing image processing on moving image | |
| CN103916586B (zh) | 图像解析装置以及图像解析方法 | |
| US11568617B2 (en) | Full body virtual reality utilizing computer vision from a single camera and associated systems and methods | |
| JP6908183B2 (ja) | 学習用画像生成装置、学習用画像生成方法及びプログラム | |
| JP6447515B2 (ja) | 情報処理装置、記録媒体および情報処理方法 | |
| CN111709301B (zh) | 一种冰壶球运动状态估计方法 | |
| KR20200132569A (ko) | 특정 순간에 관한 사진 또는 동영상을 자동으로 촬영하는 디바이스 및 그 동작 방법 | |
| TWI812273B (zh) | 基於影像的環境模擬的運算裝置、運動系統及控制方法 | |
| KR20200061747A (ko) | 스포츠 경기 영상에서 이벤트를 인식하는 장치 및 방법 | |
| CN107862681A (zh) | 一种自拍图像质量推荐方法 | |
| Choudhary et al. | Real time video summarization on mobile platform | |
| JP5240317B2 (ja) | ダイジェスト画像表示装置、ダイジェスト画像表示方法及びプログラム | |
| WO2023187899A1 (ja) | コンピュータビジョンシステム、コンピュータビジョン方法、コンピュータビジョンプログラム及び学習方法 | |
| JP2020135177A (ja) | 動画を解析するためのプログラム、装置、及び方法 | |
| JP3392386B2 (ja) | 球軌跡の解析方法、球軌跡の解析装置、ゲーム実行方法、ゲーム装置、及び記録媒体 | |
| JP7460995B2 (ja) | コンピュータビジョンシステム、コンピュータビジョン方法、コンピュータビジョンプログラム及び学習方法 | |
| US20240042281A1 (en) | User experience platform for connected fitness systems | |
| JP4531804B2 (ja) | ゲーム装置 | |
| KR20010105012A (ko) | 인터넷을 이용한 골프 스윙 비교 분석 비쥬얼 시스템 | |
| JP4650961B2 (ja) | ゲーム装置 | |
| US20230181995A1 (en) | In-Activity Visualizations for Exercise Devices |