TWI815590B

TWI815590B - 跑步機與其速度控制方法

Info

Publication number: TWI815590B
Application number: TW111129282A
Authority: TW
Inventors: 林子皓
Original assignee: 和碩聯合科技股份有限公司
Priority date: 2022-08-04
Filing date: 2022-08-04
Publication date: 2023-09-11
Also published as: EP4316610A1; TW202406598A; US20240042269A1; KR20240019680A; JP2024022506A; CN117504224A

Abstract

一種跑步機與其速度控制方法。跑步機包括跑步機本體、事件視覺感測器以及處理器。跑步機本體包括跑步帶。事件視覺感測器設置於跑步機本體上，並產生一感測影像。處理器耦接事件視覺感測器而獲取感測影像，並對感測影像進行跑者偵測。反應於判定自感測影像偵測到跑者，處理器將感測影像輸入至深度估計模型而獲取跑者相對於跑步帶的位置資訊，並根據跑者的位置資訊控制跑步帶的運轉速度。

Description

跑步機與其速度控制方法

本發明是有關於一種運動器材，且特別是有關於一種跑步機與其速度控制方法。

現代人越來越注重運動的重要性，而跑步機是一種普及率非常高且極受大眾喜愛的運動器材，使用者可於跑步機的跑步帶上快走或跑步而達到運動目的。然而，當使用者的步伐跟不上跑步機或是有異物(例如寵物、小孩、水瓶或其他運動器材等等)靠近跑步機時，可能導致使用者摔倒或小孩寵物被捲入跑步機底部，因而造成不容忽視的傷害。目前來說，跑步機現有的意外防護方式為設置安全鑰匙(safety key)。安全鑰匙的一端插在跑步機上，安全鑰匙的另一端繫在使用者身上。一旦跑步機上的使用者摔倒，安全鑰匙會被拔出，致使跑步機停止運作來避免傷害擴大。但是，由於需要將安全鑰匙繫在使用者身上，也可能因為使用者身體晃動或手部擺動而導致安全鑰匙意外被拔出，因而此種作法並不受使用者歡迎。此外，安全鑰匙並無法偵測到是否有異物靠近運作中的跑步機。

有鑑於此，本發明提出一種跑步機與其速度控制方法，其可根據跑者於跑步機上的位置資訊來自動控制跑步機速度，以提升跑步機的使用安全性。

本發明實施例提供一種跑步機，其包括跑步機本體、事件視覺感測器以及處理器。跑步機本體包括跑步帶。事件視覺感測器設置於跑步機本體上，並產生一感測影像。處理器耦接事件視覺感測器而獲取感測影像，並對感測影像進行跑者偵測。反應於判定自感測影像偵測到跑者，處理器將感測影像輸入至深度估計模型而獲取跑者相對於跑步帶的位置資訊，並根據跑者的位置資訊控制跑步帶的運轉速度。

本發明實施例提供一種跑步機的速度控制方法，所述方法包括下列步驟。透過設置於跑步機上的事件視覺感測器產生一感測影像。對感測影像進行一跑者偵測。反應於判定自感測影像偵測到跑者，將感測影像輸入至深度估計模型而獲取跑者相對於跑步帶的位置資訊。根據跑者的位置資訊控制跑步帶的運轉速度。

基於上述，於本發明的實施例中，事件視覺感測器設置於跑步機本體上來進行拍攝操作而產生感測影像。當自感測影像識別出跑者時，可利用感測影像與訓練完成的深度估計模型來估計跑者相對於跑步帶的位置資訊，以根據跑者的位置資訊決定是否調降跑步帶的運轉速度。基此，當使用者可能即將發生意外的時候，跑步機可提早進行處置或警示，進而提升跑步機的使用安全性。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100:跑步機

110:跑步機本體

111:基座

112:跑步帶

113:輸入裝置

120:事件導向視覺感測器

130:處理器

114:控制台

115:螢幕

B1:入體物件框

Z1:中心區域

Img_1,Img_2,Img_3:感測影像

D1:深度圖

M1:深度估計模型

ZB2,ZB3:背景區域

Obj_m:移動物件

S210~S240,S221~S224,S510~S570:步驟

圖1繪示本發明一實施例的跑步機的示意圖。

圖2繪示本發明一實施例的跑步機的速度控制方法的流程圖。

圖3繪示本發明一實施例的偵測跑者的流程圖。

圖4A與圖4B繪示本發明一實施例的辨識跑者的示意圖。

圖5繪示本發明一實施例的跑步機的速度控制方法的流程圖。

圖6繪示本發明一實施例的產生深度圖的示意圖。

圖7繪示本發明一實施例的對背景區域進行移動偵測的示意圖。

本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的方法與裝置的範例。

圖1繪示本發明一實施例的跑步機的示意圖。請參照圖1，跑步機100包括跑步機本體110、事件視覺感測器(event-based vision sensor)120，以及處理器130。事件視覺感測器120與處理器130設置於跑步機本體110上，且處理器130耦接事件視覺感測器120。

跑步機本體110可包括基座111、跑步帶112、輸入裝置113、控制台114以及螢幕115。基座111設置有跑步帶112。當跑步機100運作時，基座111上的跑步帶112受馬達帶動而運轉。跑步帶112供跑者踩踏，跑者之雙腳將隨著跑步帶112的運轉而反覆跨步。螢幕115與輸入裝置113設置於控制台114上。跑者可透過輸入裝置113來輸入設定速度，以控制跑步帶112的運轉速度。輸入裝置113例如是包括按鍵或按鈕的控制面板等等，本發明對此不限制。

事件視覺感測器120例如是動態視覺感測器(dynamic vision sensor，DVS)或動態及主動像素視覺感測器(Dynamic and Active-pixel Vision Sensor，DAVIS)。事件視覺感測器120的拍攝方向與跑者的跑步方向相對，以朝正在使用跑步機100的跑者擷取感測影像。於一些實施例中，事件視覺感測器120可設置於控制台114上。事件視覺感測器120可用以感測拍攝場景中的光強度變化而產生感測影像。換言之，事件視覺感測器120所產生之感測影像中的各像素點代表光強度變化量。事件視覺感測器120具有低資料量、反應時間快速以及低功耗運作等特性，且可保障使用者的個人隱私問題。

處理器130可用以控制跑步機100之各構件的作動，例如是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuit，ASIC)、可程式化邏輯裝置(programmable logic device，PLD)或其他類似元件或上述元件的組合。

於本發明實施例中，事件視覺感測器120可於跑步機100的跑步帶112運轉時持續地產生多張感測影像。處理器130可根據這些感測影像來偵測跑步機100的操作方式或操作環境是否出現異常狀況，以防止意外事件發生。這些意外事件包括跑者摔倒或有異物被捲入跑步機100底部等等。藉此，在使用跑步機100的意外事件發生之前，處理器130可控制跑步帶112降低運轉速度，以防止意外事件的發生或降低意外傷害。

詳細而言，圖2繪示本發明一實施例的跑步機的速度控制方法的流程圖。請同時參照圖1及圖2，本實施例的方法適用於上述的跑步機100。以下即搭配跑步機100的各項元件說明本實施例的跑步機的速度控制方法的詳細步驟。

於步驟S210，透過設置於跑步機100上的事件視覺感測器120產生感測影像。如同前述，事件視覺感測器120可持續進行感測而產生相對於不同感測時間點的多張感測影像。可知的，若有跑者正在跑步機100上運動，事件視覺感測器120可擷取到包括跑者的感測影像。此外，本發明實施例對於感測影像的影像解析度並不加以限制，其可視實際應用而決定。此外，於一些實施例中，事件視覺感測器120可為動態視覺感測器(DVS)，而感測影像即為DVS影像。

於步驟S220，處理器130對感測影像進行跑者偵測。也就是說，透過對感測影像進行跑者偵測，處理器130可判斷是否有跑者正在跑步機100上運動。此外，於一些實施例中，處理器130還可透過其他感測技術的輔助，像是紅外線感測技術或重量感測技術等等，來判斷是否有跑者正在跑步機100上運動。

詳細而言，請參照圖3，其繪示本發明一實施例的偵測跑者的流程圖。圖2所示步驟S220可實施為步驟S221~步驟S224。於步驟S221，處理器130對感測影像進行人體偵測(Person Detection)而獲取感測影像上的人體物件框(Bounding Box)。於一些實施例中，處理器130可將感測影像輸入至訓練完成的深度學習模型來進行人體偵測。深度學習模型例如是卷積層神經網路(Convolution Neural Network，CNN)模型，其可擷取感測影像中的特徵來進行人體偵測。舉例而言，處理器130可應用基於YOLO演算法的深度學習模型來對感測影像進行人體偵測，但本發明不以此為限。若深度學習模型偵測到人體，深度學習模型將利用一個矩形的人體物件框(Bounding Box)來標注人體所在，因而處理器130可根據深度學習模型的輸出來獲取感測影像中的人體物件框。舉例而言，深度學習模型可輸出人體物件框的一個頂點座標、框長度與框寬度。

於步驟S222，處理器130根據人體物件框是否位於感測影像上的預設區域內來判斷是否偵測到跑者。上述預設區域例如是感測影像的中心區域。然而，預設區域的尺寸與位置可根據事件視覺感測器120所設置的位置來設計。透過判斷人體物件框是否位於感測影像上的預設區域內，處理器130可辨識人體物件框所標注的人體是否為跑步機100上的跑者。

若人體物件框位於感測影像上的預設區域內(步驟S222判斷為是)，於步驟S223，處理器130判定偵測到跑者。相反地，若人體物件框並未位於感測影像上的預設區域內(步驟S222判斷為否)，於步驟S224，處理器130判定未偵測到跑者。

舉例而言，圖4A與圖4B繪示本發明一實施例的辨識跑者的示意圖。於此範例中，假設預設區域是感測影像的中心區域。請參照圖4A，處理器130判定人體物件框B1沒有位於感測影像Img_1的中心區域Z1之內，所以處理器130判定未偵測到跑者。相反地，請參照圖4B，處理器130判定人體物件框B1位於感測影像Img_1的中心區域Z1之內，所以處理器130判定偵測到跑者。

回到圖2，於步驟S230，反應於判定自感測影像偵測到跑者，處理器130將感測影像輸入至深度估計模型而獲取跑者相對於跑步帶112的位置資訊。具體而言，當判定有跑者在跑步機100上運動時，處理器130將感測影像輸入至深度估計模型來獲取關於跑者的深度資訊，從而獲取跑者於跑步帶112上的位置資訊。深度估計模型可為應用單目深度估計(Monodepth)演算法的深度學習模型。於一些實施例中，深度估計模型可以將DVS影像作為訓練資料集來進行模型訓練。此外，深度估計模型所產生之跑者的深度資訊為跑者與事件視覺感測器120之間的深度資訊。於一些實施例中，根據事件視覺感測器120的設置位置，處理器130可根據深度估計模型產生的深度資訊來獲取跑者於跑步帶112上的位置資訊。舉例而言，根據事件視覺感測器120與控制台114上一構件之間相對位置關係，跑者的位置資訊可以是跑者與控制台114上該構件之間的距離。

於步驟S240，處理器130根據跑者的位置資訊控制跑步帶112的運轉速度。具體而言，當處理器130根據跑者的位置資訊發現跑者距離控制台114太遠或位於跑步帶112的末端區域時，代表跑者已經跟不上跑步帶112的運轉速度，因此處理器130可自動調降跑步帶112的運轉速度。於一些實施例中，處理器130可逐步調降跑步帶112的運轉速度。此外，於一些實施例中，處理器130還可根據跑者的位置資訊提供一警示，上述警示例如是燈光警示或音效警示等等。藉此，處理器130可即時監控跑者的運動狀態並據以控制跑步帶112的運轉速度或提供警示，以避免跑者跟不上跑步帶112的運轉速度而跌倒。

值得一提的是，於一些實施例中，事件視覺感測器120所產生的感測影像還可用來偵測是否有異物過度接近跑步機100，從而避免異物影響跑者運動而發生意外事件。

詳細而言，圖5繪示本發明一實施例的跑步機的速度控制方法的流程圖。請同時參照圖1及圖5，本實施例的方法適用於上述的跑步機100。以下即搭配跑步機100的各項元件說明本實施例的跑步機的速度控制方法的詳細步驟。

於步驟S510，處理器130透過設置於跑步機100上的事件視覺感測器120產生感測影像。於步驟S520，處理器130對感測影像進行跑者偵測。上述步驟S510~步驟S520的詳細實施方式已於圖2實施例的步驟S210~步驟S220清楚說明，於此不再贅述。

於步驟S530，反應於判定自感測影像偵測到跑者，處理器130將感測影像輸入至深度估計模型而獲取跑者相對於跑步帶112的位置資訊。於此，步驟S530可實施為步驟S531~步驟S532。

於步驟S531，反應於判定自感測影像偵測到跑者，處理器130將感測影像輸入至深度估計模型而獲取深度估計模型輸出的一深度圖。如圖6所示，其繪示本發明一實施例的產生深度圖的示意圖。處理器130可將感測影像Img_1輸入至深度估計模型M1，並獲取深度估計模型M1輸出的深度圖D1。深度圖D1可包括對應至感測影像Img_1中各個像素的深度值，亦即深度圖D1 中的多個深度值分別對應至感測影像Img_1中的多個像素。於一些實施例中，深度圖D1中的深度值可介於0~255。

須說明的是，當感測影像實施為DVS影像，則深度估計模型可以是根據作為訓練資料集的多張DVS影像與對應的解答深度圖(ground truth)來完成模型訓練，上述的解答深度圖可以是根據RGB影像進行深度估測而獲取的深度圖。如此一來，在處理器130應用深度估計模型的時候，處理器130可將事件視覺感測器120產生的DVS影像輸入至深度估計模型而獲取對應的一張深度圖。

於步驟S532，處理器130根據深度圖決定跑者與參考位置之間的第一距離。詳細而言，於一些實施例中，處理器130可根據人體物件框而自深度圖獲取對應於跑者的深度資訊。舉例而言，處理器130可根據人體物件框的中心位置而自深度圖擷取出對應於跑者的一深度值。又或者，處理器130可根據人體物件框的座標位置從深度圖框選出多個深度值，並對這些深度值進行統計運算而獲取對應於跑者的一深度值。

然後，處理器130可根據跑者的深度資訊計算出跑者與參考位置之間的第一距離。具體而言，於一些實施例中，跑者的位置資訊可為跑者與參考位置之間的第一距離，上述參考位置例如是事件視覺感測器120的設置位置或控制台114上其他構件的設置位置。舉例而言，假設跑步機100的控制台114上設置有一螢幕115。在從深度圖獲取跑者的深度資訊之後，基於螢幕115與事件視覺感測器120之間的相對位置關係，處理器130可根據跑者的深度資訊來計算跑者與螢幕115之間的第一距離。於是，處理器130可根據第一距離來即時判斷跑者是否有跟不上跑步帶112的運轉速度的情況發生。

於步驟S540，處理器130根據跑者的位置資訊控制跑步帶的運轉速度。於此，步驟S540可實施為步驟S541~步驟S543。

於步驟S541，處理器130判斷第一距離是否大於第一門檻值。此第一門檻值可根據實際應用而設置，本發明不對此設限。若第一距離大於第一門檻值(步驟S541判斷為是)，代表跑者的步伐可能已經跟不上跑步帶112的運轉速度，於步驟S542，處理器130控制跑步帶112的運轉速度下降。相反地，若第一距離未大於第一門檻值(步驟S541判斷為否)，於步驟S543，處理器130維持跑步帶112的運轉速度，亦即不調整跑步帶112的運轉速度。

另一方面，於步驟S550，反應於判定自感測影像偵測到跑者，處理器130對感測影像中的背景區域進行移動偵測(motion detection)，以在背景區域偵測移動物件。於一些實施例中，處理器130可將感測影像中人體物件框以外的區域作為背景區域。或者，背景區域也可以是感測影像中的一個預先定義好的區域。

於一些實施例中，處理器130可比對當前感測影像的背景區域與先前感測影像的背景區域，以判斷背景區域是否出現移動中的移動物件。舉例而言，處理器130可透過影像相減法或光流法來偵測移動物件，但本發明不以此為限。舉例而言，圖7繪示本發明一實施例的對背景區域進行移動偵測的示意圖。請參照圖7，基於事件視覺感測器120持續的進行感測，處理器130可獲取先前的感測影像Img_2與當前的感測影像Img_3。透過比較先前的感測影像Img_2的背景區域ZB2與當前的感測影像Img_3的背景區域ZB3，處理器130可偵測到移動物件Obj_m。當前的感測影像Img_3的背景區域ZB3可以是人體物件框B1以外的區域。

於步驟S560，反應於偵測到移動物件，處理器130將感測影像輸入至深度估計模型而獲取移動物件的位置資訊。於此，步驟S560可實施為步驟S561~步驟S562。

於步驟S561，反應於偵測到移動物件，處理器130將感測影像輸入至深度估計模型而獲取深度估計模型輸出的深度圖。於步驟S562，處理器130根據深度圖決定移動物件與一參考位置之間的第二距離。須說明的是，在進行移動偵測後處理器130也可獲取用以標注移動物件的物件框，而獲取移動物件的位置資訊的操作方式相似獲取跑者的位置資訊的操作方式。亦即，步驟S561~步驟S562的詳細實施方式相似於步驟S531~步驟S532的詳細實施方式，於此不再贅述。

於步驟S570，處理器130根據移動物件的位置資訊控制跑步帶的運轉速度。於此，步驟S570可實施為步驟S571~步驟S573。於步驟S571，處理器130判斷第二距離是否小於第二門檻值。若第二距離小於第二門檻值(步驟S571判斷為是)，代表移動物件非常靠近跑步機100，於步驟S572，處理器130控制跑步帶112的運轉速度下降。於一些實施例中，若第二距離小於第二門檻值，處理器130也可提供聲光警示給跑者。相反地，若第二距離未小於第二門檻值(步驟S571判斷為否)，於步驟S573，處理器130維持跑步帶112的運轉速度。如此一來，可提早告知跑者有異物接近運作中的跑步機100，以避免異物被跑步帶112捲入基座111底部或避免異物干擾到跑者。

綜上所述，於本發明的實施例中，事件視覺感測器設置於跑步機本體上進行感測。當有跑者於跑步機上運動時，可根據事件視覺感測器產生的感測影像與深度估計模型來估計跑者的位置資訊，以依據跑者的位置資訊來控制跑步機速度。藉此，可提前預防跑者於跑步機上跌倒。此外，當有跑者於跑步機上運動時，可根據事件視覺感測器產生的感測影像來偵測移動物件。透過根據感測影像與深度估計模型來估計移動物件的位置資訊，可依據移動物件的位置資訊來控制跑步機速度。藉此，可提前預防跑者被外來異物干擾或異物被捲入跑步機底部。由此可見，跑步機的使用安全性可明顯提升。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

S210~S240:步驟

Claims

一種跑步機，包括：一跑步機本體，包括一跑步帶；一事件視覺感測器(event-based vision sensor)，設置於該跑步機本體上，感測拍攝場景中的光強度變化而產生一感測影像，其中該感測影像中的各像素點代表光強度變化量；一處理器，耦接該事件視覺感測器而獲取該感測影像，並對該感測影像進行一跑者偵測，反應於判定自該感測影像偵測到一跑者，該處理器將該感測影像輸入至一深度估計模型而獲取該跑者的深度資訊以及該跑者相對於該跑步帶的位置資訊，並根據該跑者的該位置資訊控制該跑步帶的運轉速度。
如請求項1所述的跑步機，其中該處理器對該感測影像進行一人體偵測而獲取該感測影像上的一人體物件框，並根據該人體物件框是否位於該感測影像上的一預設區域內來判斷是否偵測到該跑者。
如請求項2所述的跑步機，其中若該人體物件框並未位於該感測影像上的該預設區域內，該處理器判定未偵測到該跑者；以及若該人體物件框位於該感測影像上的該預設區域內，該處理器判定偵測到該跑者。
如請求項1所述的跑步機，其中反應於判定自該感測影像偵測到一跑者，該處理器將該感測影像輸入至一深度估計模型而獲取該深度估計模型輸出的一深度圖，並根據該深度圖決定該跑者與一參考位置之間的第一距離。
如請求項4所述的跑步機，其中若該第一距離大於一第一門檻值，該處理器控制該跑步帶的運轉速度下降；以及若該第一距離未大於該第一門檻值，該處理器維持該跑步帶的運轉速度。
如請求項1所述的跑步機，其中反應於判定自該感測影像偵測到該跑者，該處理器對該感測影像中的背景區域進行一移動偵測，以在該背景區域偵測一移動物件。
如請求項6所述的跑步機，其中反應於偵測到該移動物件，該處理器將該感測影像輸入至該深度估計模型而獲取該移動物件的位置資訊，以根據該移動物件的該位置資訊控制該跑步帶的運轉速度。
如請求項7所述的跑步機，其中反應於偵測到該移動物件，該處理器將該感測影像輸入至該深度估計模型而獲取該深度估計模型輸出的深度圖，並根據該深度圖決定該移動物件與一參考位置之間的第二距離。
如請求項8所述的跑步機，其中若該第二距離小於一第二門檻值，該處理器控制該跑步帶的運轉速度下降；以及若該第二距離未小於該第二門檻值，該處理器維持該跑步帶的運轉速度。
一種跑步機的速度控制方法，包括：透過設置於該跑步機上的一事件視覺感測器感測拍攝場景中的光強度變化而產生一感測影像，其中該感測影像中的各像素點代表光強度變化量；對該感測影像進行一跑者偵測；反應於判定自該感測影像偵測到一跑者，將該感測影像輸入至一深度估計模型而獲取該跑者的深度資訊以及該跑者相對於該跑步機的跑步帶的位置資訊；以及根據該跑者的該位置資訊控制該跑步帶的運轉速度。