TWI476640B - 時間資料序列的平滑化方法與裝置 - Google Patents

Description

時間資料序列的平滑化方法與裝置

本揭露係關於一種時間資料序列(time data sequence)的平滑化方法與裝置。

追蹤影像中的移動物體常因物體顏色特徵或形狀改變而造成物體定位的不穩定，例如，在類滑鼠移動功能應用上造成不易對準目標的困擾。以往，資料點平滑化技術常使用複雜的平滑化演算法與疊代技巧，例如，使用曲線擬合(curve fitting)以及回歸誤差分析來修飾抖動的曲線，以即時反應使用者的操作軌跡，並描繪於螢幕上。此類資料點平滑化技術需要解聯立方程式，所以計算量及記憶體需求皆較大；雖可達到不錯的平滑效果，但也間接出現時間延遲現象。

第一圖是一種電腦化曲線產生技術的一範例示意圖。如第一圖的流程所示，此技術針對輸入資料，先進行上取樣(upsampling)110後，然後將上取樣後的一系列的樣本通過一濾波器(filter)120，再對濾波後的樣本採用遞迴性曲線內插(curve interpolation)動作130來取得最佳曲線。有些資料點平滑化技術是先收集一段時間的資料量後，再進行資料平滑修正，包括如先進行去雜訊、再進行線段平滑(smoothing the points of segment)和線段曲線擬合，來取得最佳曲線。

滑鼠游標平滑化的技術例如可利用頭戴式標記，並且以頭部面向的方向來控制滑鼠游標。當滑鼠游標進入一支援位置模式時，此技術是根據上一點位置的平均及偵測位置來決定滑鼠游標的新位置。有的滑鼠游標追蹤技術是以指尖來控制滑鼠游標，並且根據目前游標的位置及速度，來推算下個游標位置並且在低取樣頻率時進行補點的動作，以維持游標控制的流暢度。有的滑鼠游標平滑化的技術利用預測游標的方式，來減輕遠端游標控制時，網路傳輸時序抖動(jitter)所造成的影響，並且根據游標之上一點的位置、速度，以及游標之平均加速度來預測游標的下一點位置。

還有一種技術是追蹤移動目標時，用來改善搜尋策略的技術。如第二圖所示，此技術在偵測物體之前，先根據此物體先前軌跡的資料，如真實物體202先前軌跡的四筆資料，來決定搜尋範圍，並且使用最小平方(least-square)的趨勢線210的方向來預測此物體在下一個時間點的可能位置212。

在上述曲線產生技術之平滑化中，有的技術雖可達到不錯的平滑效果，但無法即時平滑資料，對於講求即時感知的手勢類滑鼠軌跡應用，將不符使用者期待。有的滑鼠游標平滑化技術可能會因資料點抖動情況較嚴重時，無法克服抖動的問題，或是因游標的真實位置與預測位置有落差時，無法平滑地修正軌跡。有的滑鼠游標追蹤技術僅以 目前速度方向來推算下個游標位置，可能在轉折處造成較大的誤差。有的移動目標的追蹤技術以趨勢線預測時，也可能在轉折點造成較大的誤差。一般曲線產生技術使用迴歸分析只能獲得方位的預測，對於絕對位置的計算，則無法直接提供。

因此，如何設計一種使用兼顧整體及局部軌跡走勢的預測機制、有效控制時間延遲在少數取樣點內、以及使用簡單的代數運算的軌跡平滑技術，來達到降低運算量的效果等，將會是一個重要的議題。

本揭露實施例提供一種時間資料序列的平滑化方法與裝置。

本揭露的一實施例是關於一種時間資料序列的平滑化方法。此平滑化方法藉由一硬體處理器來執行：平滑化一時間資料序列中的多個原始資料點後，從多個平滑化資料點中判定目前之整體軌跡走勢與局部走勢的多個參考點；根據此多個參考點，計算此時間資料序列的一整體軌跡走向與一局部軌跡走向；以及結合此時間資料序列之此整體軌跡走向及此局部軌跡走向，自適應計算至少一新資料點。

本揭露的另一實施例是關於一種時間資料序列的平 滑化裝置。此平滑化裝置包含以硬體實現(hardware-implemented)的一平滑單元、以及以硬體實現的一預測單元。此平滑單元被配置來平滑化一時間資料序列中的多個原始資料點，並且從此多個平滑化資料點中判定目前之整體軌跡走勢與局部走勢的多個參考點。此預測單元被配置來根據此多個參考點，計算此時間資料序列的一整體軌跡走向與一局部軌跡走向，並且結合此整體軌跡走向及此局部軌跡走向，自適應計算至少一新資料點。

茲配合下列圖示、實施例之詳細說明及申請專利範圍，將上述及本發明之其他優點詳述於後。

本揭露實施例之時間資料序列的平滑化技術是先使用曲線擬合(curve fitting)方法將一時間資料序列的歷史原始資料點做平滑化動作，然後局部取樣以及在平滑化資料點中判定具整體軌跡走勢及目前局部走勢的參考點，再根據所獲得的走勢的參考點，計算整體及目前資料的行進方向，自適應計算新的資料點。

也就是說，本揭露實施例之時間資料序列的平滑化方法如第三圖所示，平滑化一時間資料序列的多個原始資料點後，從多個平滑化資料點中判定目前之整體軌跡走勢與局部走勢的多個參考點(步驟310)；然後，根據此多個參考點，計算此時間資料序列的一整體軌跡走向與一局部軌跡 走向(步驟320)，再結合此整體軌跡走向及此局部軌跡走向，自適應計算至少一新資料點(步驟330)。此平滑化方法係由一硬體處理器來執行步驟310至步驟330。此硬體處理器例如是，但不限定於，一具有計算能力的硬體電路、或是備有至少一中央處理單元與記憶體的一電腦系統等。此平滑化方法還可輸出隨著時間遞增的原始軌跡、平滑後軌跡、擬合曲線等。此新資料序列所構成的軌跡具平滑及即時感知特性，其詳細內容如後續說明。

第四A圖與第四B圖以一範例來說明在第三圖中，原始資料序列平滑化的一示意圖。第四A圖是一範例示意圖，說明利用一曲線擬合技術，例如B-雲形線(B-Spline)曲線擬合方法，針對一時間資料序列402的多個原始資料點做平滑運算後，從中取出多個平滑化資料點。做平滑運算的多個原始資料點例如是7個歷史原始資料點，分別是時間點t-6、t-5、t-4、t-3、t-2、t-1、及t的原始資料點，t為目前時間(current time)；例如曲線410是利用B-Spline曲線擬合技術來平滑化7個歷史原始資料點後，從中取出7筆平滑化資料點。此7筆平滑化資料點分別是B-6、B-5、B-4、B-3、B-2、B-1、及B，其中平滑化資料點B-6是時間點t-6的原始資料點、資料點B是目前時間t的原始資料點。從第四A圖可以看出，此7個平滑化資料點B-6、B-5、B-4、B-3、B-2、B-1、及B因為與處理前之7個歷史原始資料點的資料點數不變，所以7個平滑化資料點的間隔與7個原始資料點的間隔相似，然而平滑化資料點形 成之曲線410的曲率明顯降低很多(也就是較平滑)，並且曲線上的前端與尾端的資料點不變。本揭露實施例之時間資料序列的平滑化方法可以採用如內插、或回歸、或曲線擬合等任一方法，其中資料儲存結構可採用如佇列的資料結構，以先進先出的資料儲存方式來維持不變的取樣點數。也就是說，本揭露實施例在平滑化中，維持做平滑運算的此多個原始資料點的個數等於此多個平滑化資料點的個數。而此多個原始資料點是時間資料序列402自一目前時間點起往回推的多個歷史原始資料點。

承上述第四A圖，第四B圖是下一時間t+1原始資料點輸入的情況。從第四B圖可以看出，平滑化資料點形成之曲線420隨著原始資料點輸入而改變，並且可充分表示目前的原始軌跡狀況。取樣點數只是計算量增加，對於後續處理的需求上，其效果是一樣的，所以取樣點數取其最低計算量的數量即可。

承上述第四A圖與第四B圖，第五A圖與第五B圖以一範例示意圖，進一步說明軌跡趨勢之參考點的判定。將局部取樣資料點做線性回歸分析，可得曲線走勢，如第五A圖中虛線506是由目前時間t往回推至時間t-6的原始資料點的情況，局部取樣原始資料點且做線性回歸分析後，得到可能的軌跡走勢；第五B圖中虛線516為輸入下一時間t+1的原始資料點的情況，局部取樣原始資料點且做線性回歸分析後，得到可能的軌跡走勢。本揭露實施例 在使用曲線擬合獲得絕對的平滑資料點的前提下，可同時提供如迴歸分析般的方位預測效果，其詳細內容如後續說明。

由第五A圖與第五B圖可以看出，B-Spline中的平滑化資料點，由一目前平滑化資料點起往回推數個平滑化資料點之其中兩連續平滑化資料點的連線，例如第二及第三個資料點的連線，即第五B圖中的P2及P3的連線，其方向與回歸分析的結果相似，也就是說，第五A圖之曲線410中的資料點，由目前往回推的第二及第三個資料點的連線，如具代表性的參考區段512所示，其方向與線性回歸分析所得的曲線走勢506相似；而第五B圖之曲線420中的資料點，自一目前資料點起往回推的第二及第三個資料點的連線，如具代表性的參考區段522所示，其方向與線性回歸分析所得的曲線走勢516相似。換言之，直接使用具代表性的參考區段如參考區段512或522的方向即可近似回歸分析的結果，所以可以省略回歸分析步驟來降低計算量。也可以再增加目前往回推的第一個資料點為目前資料趨勢參考點來確保也可即時反應目前的資料趨勢。此範例中，選定目前走勢的三點參考點為自目前資料點起往回推的第一、第二、及第三個資料點，即P1、P2及P3，但不以此為限。

也就是說，根據本揭露實施例，在軌跡趨勢的多個參考點中，有一第一參考點、以及一第二與一第三參考點， 此第一參考點是自一目前時間點起往回推的第一個平滑化資料點，並且可確保也可即時反應目前之局部走勢，而此第二與此第三參考點的連線其方向是對目前之整體軌跡走勢具有代表性的方向。前述軌跡趨勢之參考點其個數可以不限定數量。

獲得此多個參考點如P1、P2及P3後，可計算出如時間資料序列402的整體軌跡走向與局部軌跡走向，進而自適應計算出新的資料點。此自適應計算至少一新資料點，包括如根據此多個參考點來定義此整體軌跡走向及此局部軌跡走向、以及計算一預估長度並且決定一參考方向向量與一位移點。第六圖是根據本揭露一實施例，說明從參考點如P1、P2及P3來計算軌跡走向及距離預測的一示意圖。

在第六圖中，取參考點P2及P3連線的方向為整體軌跡走向，標記為向量；取參考點P1及P2連線的方向為局部軌跡走向，標記為向量。並且可用下列公式來算出新資料點：新資料點=單位參考方向向量×預估長度L+位移點，預估長度單位參考方向向量其中，預估長度L是向量在向量上的投影量，可由向量與單位參考方向向量的內積(inner product)計算出。新資料點計算公式的含意為：採用局部軌跡走向在整體軌跡走向的投影量為此新資料點之預測長度增量(即預估長度L)，並且參照於位移點的位置。在第六圖中，箭頭610所指的三角形記號即是新資料點，而位移點為參考點P2。位移點可以是多個平滑化資料點中，從一目前資料點起往回推的第i個平滑化資料點，並且1<i<多個平滑化資料點的個數。此範例中，位移點為多個平滑化資料點中，從目前資料點起往回推的第二個平滑化資料點，但不以此為限。

上述公式中，使用投影量來計算預估長度L。第七圖是根據本揭露一實施例，說明使用投影方式在原始資料點轉折時的效果的一範例示意圖。在第七圖中，當一原始資料點730有迴轉趨勢時，使用投影量為預估長度的機制將快速反應轉彎狀況，可避免發生預測過度的狀況(預測過度的狀況類似煞不住車的狀況)。從第七圖也可觀察出，局部軌跡走向720不僅可反應當下此原始資料點730的方位，也能提供適當的曲線轉折緩衝而維持後續平滑化資料點一定的平滑度。也就是說，根據本揭露實施例，在局部軌跡走向720的指引下，可明確反應其預估之新資料點 710的長度走勢740，例如，當原始資料軌跡轉彎時，在整體資料序列的方向不變下，自適應計算新資料點的預估長度可自動減短，以利轉彎並維持後續平滑化資料點的平滑特性。

第八圖是根據本揭露一實施例，以一範例說明時間延遲的估算。在第八圖的範例中，黑色圓點連上細實線代表原始資料點的軌跡，方形空心點連上粗實線代表輸出的平滑化資料點軌跡，三角形代表原始資料點到平滑軌跡的最短距離點，虛線為其投影線。假設原始資料點t1相對應的平滑化資料點為s1，原始資料點t1到平滑軌跡的最短距離點為p1，以此類推。每一平滑化資料點與原始資料點的時間延遲計算方式說明如下。由第八圖中三角形與黑色圓點之間的相對關係可觀察出，以平滑化資料點s30的延遲計算為例，因平滑化資料點s30在平滑軌跡上且介於點p29與點p28間，所以平滑化資料點s30到原始資料點t30的時間延遲d30滿足關係式(30-29=1)<d30<(30-28=2)；另一例子以平滑化資料點s27的延遲計算為例，平滑化資料點s27介於點p27與點p26間，所以平滑化資料點s27到原始資料點t27的時間延遲d27滿足關係式0<d27<1。因為平滑化曲線的取樣點間隔分佈與原始資料點的間隔分佈相當，而本揭露實施例取曲線擬合目前資料點起往回推的第二個平滑化資料點為投影位置參考點(即位移點)，所以可推估平均時間延遲約為0至2個取樣點。

第九A圖至第九I圖是根據本揭露一實施例，說明隨著時間遞增的輸入原始軌跡、以及輸出平滑後軌跡的範例示意圖，其中黑色圓點代表原始資料點，原始軌跡係以線段連接原始資料點所形成的軌跡；方形空心點代表平滑化資料點，平滑後軌跡係根據上述本揭露平滑化方法所形成的平滑化資料點的軌跡。假設第九A圖的當下時間點為t的原始軌跡、以及平滑後軌跡，則第九B圖的時間點為下一時間點t+1的原始軌跡、以及平滑後軌跡，以此類推，第九I圖的時間點為t+8的原始軌跡、以及平滑後軌跡。

承上述，第十圖是根據本揭露一實施例，說明一種時間資料序列的平滑化裝置。參考第十圖，平滑化裝置1000包含以硬體實現的一平滑單元1010、以及以硬體實現的一預測單元1020。平滑單元1010被配置來平滑化時間資料序列1012中的多個原始資料點，並且從多個平滑化資料點1014中判定目前之整體軌跡走勢與局部走勢的多個參考點1016。預測單元1020被配置來根據此多個參考點1016，計算時間資料序列1012的整體軌跡走向1022與局部軌跡走向1024，並且結合整體軌跡走向1022及局部軌跡走向1024，自適應計算至少一新資料點1030。預測單元1020還可產生隨著時間遞增的原始軌跡、平滑後軌跡、擬合曲線等。

如之前本揭露實施例所述，此多個原始資料點是時間資料序列1012自一目前時間點起往回推的多個歷史原始 資料點；平滑單元1010可以採用如內插、或回歸、或曲線擬合等平滑化機制，來平滑化這些歷史原始資料點。平滑單元1010也可採用如前述本揭露實施例，來判定整體與局部軌跡趨勢的參考點，此處不再重述；預測單元1020可利用如前述自適應調整機制來計算新資料點，包括如計算預估長度並且決定參考方向向量與位移點，此處不再重述；平滑單元1010也可利用一佇列以先進先出的資料儲存結構來維持此多個原始資料點的個數等於多個平滑化資料點1014的個數，此處不再重述；當一目前原始資料點有迴轉趨勢時，在整體軌跡走向不變下，此自適應調整機制也會將新資料點1030的預估長度減短，以利轉彎並維持後續平滑化資料點的平滑特性。

承上述，本揭露實施例之平滑化方法與裝置是一種使用兼顧整體及局部軌跡走勢的預測機制、以及使用簡單的代數運算的時間資料序列平滑化技術。此平滑化技術可應用在如電腦輸入裝置、遊戲機、家電操控、互動看板等。

綜上所述，本揭露實施例提供一種時間資料序列的平滑化方法與裝置。其技術使用整體及局部軌跡走勢預測機制，有效達到即時及平滑軌跡的效果；並且使用曲線擬合的特定具代表性區段為趨勢線，取代既有的回歸分析步驟，來降低計算量；以及僅使用簡單的代數運算，相較於需要使用聯立方程式求解的技術與疊代最佳化的技術，所需運算量較低。在本揭露實施例之平滑化方法與裝置中，時間資 料序列不僅保有好的平滑效果，並且不論物體移動快慢，皆能將每一平滑化資料點與原始資料點的時間延遲有效控制在0至2個取樣點之間。

以上所述者僅為本揭露實施例，當不能依此限定本揭露實施之範圍。即舉凡本發明申請專利範圍所作之均等變化與修飾，皆應仍屬本發明專利涵蓋之範圍。

110‧‧‧進行上取樣

120‧‧‧將上取樣後的一系列的樣本通過一濾波器

130‧‧‧對濾波後的樣本採用遞迴性曲線內插動作

202‧‧‧真實物體

210‧‧‧最小平方的趨勢線

212‧‧‧下一個時間點的可能位置

310‧‧‧平滑化一時間資料序列中的多個原始資料點後，從多 個平滑化資料點中判定目前之整體軌跡走勢與局部 走勢的多個參考點

320‧‧‧根據此多個參考點，計算此時間資料序列的一整體軌 跡走向與一局部軌跡走向

330‧‧‧結合此時間資料序列之此整體軌跡走向及此局部軌 跡走向，自適應計算至少一新資料點

402‧‧‧時間資料序列

410、420‧‧‧平滑化資料點形成之曲線

t-6、t-5、t-4、t-3、t-2、t-1、t‧‧‧歷史原始資料點

B-6、B-5、B-4、B-3、B-2、B-1、B‧‧‧平滑化資料點

506、516‧‧‧線性回歸分析所得的曲線走勢

512、522‧‧‧具代表性的參考區段

P1、P2、P3‧‧‧三個參考點

‧‧‧整體軌跡走向

‧‧‧局部軌跡走向

610‧‧‧新資料點

620‧‧‧位移點

710‧‧‧新資料點

720‧‧‧局部軌跡走向

730‧‧‧原始資料點

740‧‧‧新資料點的長度走勢

t1、t21~t31‧‧‧原始資料點

s1、s21~s31‧‧‧平滑化資料點

p1、p21~p31‧‧‧原始資料點到平滑軌跡的最短距離點

1000‧‧‧平滑化裝置

1010‧‧‧平滑單元

1012‧‧‧時間資料序列

1014‧‧‧平滑化資料點

1016‧‧‧參考點

1020‧‧‧預測單元

1022‧‧‧整體軌跡走向

1024‧‧‧局部軌跡走向

1030‧‧‧新資料點

第一圖是一種電腦化曲線產生技術的一範例示意圖。

第二圖是一種追蹤移動目標時，用來改善搜尋策略之技術的一範例示意圖。

第三圖是根據本揭露一實施例，說明一種時間資料序列的平滑化方法。

第四A圖與第四B圖是根據本揭露一實施例，以一範例來說明在第三圖中，原始資料序列平滑化的一示意圖。

第五A圖與第五B圖是根據本揭露一實施例，以一範例示意圖，進一步說明軌跡趨勢之參考點的判定。

第六圖是根據本揭露一實施例，說明從參考點來計算軌跡的走向及距離預測的一示意圖。

第七圖是根據本揭露一實施例說明使用投影方式在原始資料點轉折時的效果的一示意圖。

第八圖是根據本揭露一實施例，說明時間延遲的估算。

第九A圖至第九I圖是一範例示意圖，說明隨著時間遞增的輸入原始軌跡、輸出平滑後軌跡。

第十圖是根據本揭露一實施例，說明一種時間資料序列的平滑化裝置。

310‧‧‧平滑化一時間資料序列的多個原始資料點後，從平滑化資料點中判定目前之整體軌跡走勢與局部走勢的多個參考點

320‧‧‧根據此多個參考點，計算此時間資料序列的一整體軌跡走向與一局部軌跡走向

330‧‧‧結合此時間資料序列之此整體軌跡走向及此局部軌跡走向，自適應計算新資料點

Claims (17)

1. 一種時間資料序列的平滑化方法，該平滑化方法藉由一硬體處理器來執行：平滑化一時間資料序列中的多個原始資料點後，從多個平滑化資料點中判定目前之整體軌跡走勢與局部走勢的多個參考點；根據該多個參考點，計算該時間資料序列的一整體軌跡走向與一局部軌跡走向；以及結合該整體軌跡走向及該局部軌跡走向，自適應計算至少一新資料點；其中在該多個參考點中，有一第一參考點、一第二參考點以及一第三參考點，該第一參考點是自一目前時間點起往回推的第一個平滑化資料點，並且確保即時反應該目前之局部走勢，而該第二參考點與該第三參考點的連線其方向是對該目前之整體軌跡走勢具有代表性之參考區段的方向。
2. 如申請專利範圍第1項所述之平滑化方法，其中在平滑化該時間資料序列中的該多個原始資料點的步驟中，該多個原始資料點的個數等於該多個平滑化資料點的個數。
3. 如申請專利範圍第1項所述之平滑化方法，其中該自適應計算至少一新資料點還包括：根據該多個參考點，定義該整體軌跡走向及該局部軌跡走向；以及計算一預估長度並且決定一參考方向向量與一位移點。
4. 如申請專利範圍第1項所述之平滑化方法，其中該多個原始資料點是該時間資料序列自一目前時間點起往回推的多個歷史原始資料點。
5. 如申請專利範圍第3項所述之平滑化方法，其中該預估長度是該局部軌跡走向在該整體軌跡走向的投影量。
6. 如申請專利範圍第2項所述之平滑化方法，其中該平滑化的步驟是利用一佇列以先進先出的資料儲存方式，來維持該多個原始資料點的個數等於該多個平滑化資料點的個數。
7. 如申請專利範圍第3項所述之平滑化方法，其中該位移點是該多個平滑化資料點中，自一目前資料點起往回推的第i個平滑化資料點，並且i大於1且小於該多個平滑化資料點的個數。
8. 如申請專利範圍第1項所述之平滑化方法，其中該局部軌跡走向反應出一目前資料點的方位，並且提供曲線轉折緩衝來維持後續平滑化資料點一定的平滑度。
9. 如申請專利範圍第1項所述之平滑化方法，其中該平滑化方法還輸出隨著時間遞增的一原始軌跡、以及一平滑後軌跡。
10. 一種時間資料序列的平滑化裝置，包含：以硬體實現的一平滑單元，被配置來平滑化一時間資料序列的多個原始資料點，並且從該多個平滑化資料點中判定目前之整體軌跡走勢與局部走勢的多個參考點；以及以硬體實現的一預測單元，被配置來根據該多個參考 點，計算該時間資料序列的一整體軌跡走向與一局部軌跡走向，並且結合該整體軌跡走向及該局部軌跡走向，自適應計算至少一新資料點；其中該多個參考點至少包含一第一參考點、一第二參考點以及一第三參考點，該第一參考點是自一目前時間點起往回推的第一個平滑化資料點，而該第二與該第三參考點是由一目前平滑化資料點起往回推數個平滑化資料點之其中兩連續平滑化資料點。
11. 如申請專利範圍第10項所述之平滑化裝置，其中該預測單元利用一自適應調整機制來計算該至少一新資料點，包括計算一預估長度並且決定一參考方向向量與一位移點。
12. 如申請專利範圍第11項所述之平滑化裝置，其中該自適應調整機制使用該局部軌跡走向在該整體軌跡走向的投影量來計算該預估長度。
13. 如申請專利範圍第10項所述之平滑化裝置，其中該第一參考點確保也即時反應該目前之局部走勢，該第二與該第三參考點的連線其方向是對該目前之整體軌跡走勢具有代表性的方向。
14. 如申請專利範圍第10項所述之平滑化裝置，其中該多個原始資料點是該時間資料序列自一目前時間點起往回推的多個歷史原始資料點。
15. 如申請專利範圍第10項所述之平滑化裝置，其中當一目前原始資料點有迴轉趨勢時，在該整體軌跡走向不變下，該自適應調整機制將該至少一新資料點的預估 長度減短，以維持後續平滑化資料點的平滑特性。
16. 如申請專利範圍第10項所述之平滑化裝置，其中該預測單元利用一佇列，以先進先出的資料儲存結構來維持該多個原始資料點的個數等於該多個平滑化資料點的個數。
17. 如申請專利範圍第10項所述之平滑化裝置，其中該預測單元還產生隨著時間遞增的一原始軌跡、以及一平滑後軌跡。