TW200530927A - Processing gesture signals - Google Patents

Description

200530927 九、發明說明： 【發明所屬之技術領域】 本發明有關於處理一手勢信號之方法。此外，本發明有 關用以實施該方法之一軟體程式與有關包含此程式之資料 載體。本發明進一步朽關用於處理手勢信號之裝置與有關 一手寫辨識系統。 【先前技術】 本發明可用於處理從例如一個人電腦滑鼠、在觸摸螢幕 上一手指或筆、或在壁上的一光指向器的低品質取得裝置 獲得的手勢信號。用於處理手勢信號的方法是在nThe DataPaper: living in the Virtual World1' by Mark Green and Chris Shaw (Proceedings of Graphics Interface f90? pages 123-130, Halifax, Nova-Scotia, May 1990 of the Canadian Human Computer Communication Society)提出。格林與蕭伯 納揭示一方法，其中從一資料手套獲得的一手勢信號是經 由一 FIR濾、波器而渡波，為了要抑制不想要的信號元件。 【發明内容】 本發明的一目的是要提供用於處理手勢信號的一改善方 法。此目的是根據本發明，其實施在於處理具有一個或多 個片段的手勢信號之方法包含下列步驟：在一順向與一逆 向時間方向中，施加一無限脈衝響應濾波器而將一個或多 個片段濾波，以產生一頻帶限制手勢信號。 本發明是根據IIR濾波器的計算複雜度小於FIR濾波器。 因此，相較於一 FIR濾波器，符合該需要的阻帶衰耗與轉折 97023.doc 200530927 頻帶需求具較少的點是可能的。本發明是進一步根據IIR濾 波器可能造成該處理手勢信號的非線性相位誤差，根據本 發明，該非線性相位誤差能被取消，以在順向與逆向方向 將在時域中的手勢信號予以IIR濾波。 在根據本發明的另一具體實施例中，該方法尚包含預備 步驟： 插入該手勢信號；及 重新取樣該手勢信號； 如此產生一手勢信號具有定義明確的取樣率。該手勢信 號可為稀疏與不均勻的取樣信號。如果不均勻的取樣信號 處㈣好像他們是平均取樣，钱些取樣取得的任何結果 會嚴重失真。另-方面’稀疏取樣手勢信號通常認為不適 合進-步處理。透過插入一稀疏取樣信號，可在重新取樣 步驟中取得額外的信號值。即使最初的取樣是不平均隔 開’這些額外取樣能被平均隔開。t在—相當高頻實施重 新取樣時，較最初的取樣是稀疏取#，可獲得一充份的 取樣數量。 在根據本發明的另 信號的的一向下取樣 擾0 在根據本發明的具體實施例中，該插人手勢信號之步驟 包括-線性插人。線性插人是―相當簡單且數字穩定方 法，其允許額外取樣能在重新取樣步_間容易取得。 —具體實施例中’該方法尚包含遽波 ，以滿足夏倫的標準，如此可避免干 該方法尚包含將信號壓 在根據本發明的具體實施例中 97023.doc 200530927 縮之步驟，其優點是能儲存與傳送手勢信號。壓縮信號的 /驟此使用例如差別編碼或__致性編碼的各種不同來源編 碼技術而實施。 、、本毛月進_步提供··_軟體程式，用以實施根據先前請 农頁任何項之方法，·以及一資料載體，該資料載體包含 軟體私4本發明額外提供用於處理手勢信號之裝置與系 統、。該裝置合併前述的軟體程式。或者，根據本發明的裝 置被配置成用於處理包含安一個或多個片段之手勢信號， 每一片段包含一個或多個取樣，該裝置包含在一順向與一 逆向時間方向中，透過施加一無限脈衝響應;慮波器而將一 個或多個片段濾波之裝置，以產生一頻帶限制手勢信號。 【實施方式】 根據本發明的一手勢信號濾波方法只經由圖1的非限制 1巳例而描述。如圖丨所示的濾波方法可為包括額外步驟的一 部份k號處理方法。特別是，圖丨的濾波方法構成圖2-4的 濾波步驟3。 圖1描述的濾波方法包含步驟31-35。步驟32包括使用本 質上已知的一 IIR濾波器，以將手勢信號予以順向濾波。在 步驟34中，透過使用一 HR濾波器而將手勢信號與以逆向濾 波。順向與逆向IIR濾波器可完全相同。然而，亦可使用個 別的順向與逆向IIR濾波器。在步驟33與35的取樣時間順序 是顛倒的。透過將取樣順序顛倒及具有一順向與一逆向渡 波操作，一零相位濾波操作便可獲得。熟諳此技者了解到， 既然特別是一手勢片段的開始與結束點包含較多資訊，所 97023.doc 200530927 以手勢信號濾波應該儘可能維持手勢片段的長度。因此， 濾波器的不正確應用可能造成資訊損失，並在手勢片段結 束點上造成”間隙”。熟諳此技者了解到，這些間隙會導致 已知的’’遺失結束點問題”，因此應該避免此發生。 根據本發明’順向與逆向濾波器的初始條件是在步驟3 1 符合。注意，此比對步驟是在濾波步驟前。熟諳此技可確 認’循環或IIR濾波器具有影響濾波結果的初始狀態。若要 避免任何暫態，本發明提議在施加濾波器前將這些初始狀 態予以設定。在一第一具體實施例中，將初始狀態設定成 零。在一第二具體實施例中，初始條件能符合：它嘗試使 逆向濾波器的初始條件能與順向濾波器的初始條件相同。 最好是，此可經由使用例如佛雷吉克加斯特福森在1996年4 月4日第4號第44冊名稱"Determining the Initial加以化

Forward-Backward Filtering, IEEE Transactions on Signal Processing"文獻中討論的已知最小平方技術達成。 步驟3U5最好是以軟體實施，即是，在能於適當電腦上 執行的軟體程式。或者，-些或所有步驟31_35能以專屬的 硬體實施。熟諳此技者了解到如圖鳩示的據波步驟的順序 可改變，且不必然:對應如圖所示的序列。例如包含㈣ 31-33-32·35·34的—㈣亦將可能順序，以在每 或者，步—^ 97023.doc 200530927 式使用，每一取樣包含例如一對坐標χ，y與一時間參考值 t。最初未處理的手勢信號取樣稱為原始取樣。進一步假設 最初的手勢信號是不均勻及/或稀疏取樣。然而，對於手勢 仍號的成功處理而言，信號取樣最好能使用超過6〇赫茲的 取樣率。 然而，下述方法亦可施加於不均勻及/或稀疏取樣的信 號。 在一插入步驟1中，插入最初的取樣，此可透過（但是未 侷限於）一線性函數達成。 在一重新取樣步驟2中，取樣數量能透過在步驟丨的插入 基礎上增加取樣而增加，以形成增大組取樣。新的取樣可 透過使用步驟1的數學函數在選擇的時間t上計算坐標χ，y 而產生。在這些時間上的這些選擇點之間的時間間隔可決 定增大組取樣的取樣頻率（或重新取樣頻率）。這些時間間隔 最好是所有相同持續時間，以提供一平均的（重新）取樣。一 特殊適當時間間隔是50毫秒，且對應2〇〇赫茲的（重新）取樣 頻率。其他時間間隔與對應的重新取樣頻率可使用，例如 100赫茲、300赫茲、500赫茲、i仟赫或甚至更高的頻率。 典型上，最初的取樣是與新的取樣組合以形成一增大組 的取樣。然而，當形成增大組時，_些或所彳最初的取樣 都會被忽略，在此情況，原始取樣只用來決定在步驟丨的數 學函數。 插入步驟1與重新取樣步驟2是共同構成一 t，向上取樣，，步 驟造成具有一較高、不變取樣而允許濾波及/或其他處理步 97023.doc -10- 200530927 驟的一增大組取樣。 在/慮波步驟3中，信號是被低通遽波。此遽波步驟最好 包含在圖1描述的步驟31_35。遽波步驟用來移除任何高頻 雜訊，並移除經由重新取樣步驟所造成的任何人為影塑。 發明家發現手動具有典型不超過赫兹的頻㈣。透過施加 具有大約1〇赫兹截止頻率(典型3分貝頻率)的一低通攄波， 雜几可只貝移除，而不會衰減最初的手勢信號。當缺，其 _止頻率亦可制’且熟諳此技者了解到在雜訊抑制與 "ί吕號失真之間的取捨。恭μ相、玄 Γ ., J取括戳止頻率亦可低到大約6赫茲與高到 大約14赫餘，但是從8至12赫茲的範圍是較佳。 遽波步驟2最好能使用一無限脈衝響應(叫慮波器實 2，特別適於如前述的數位濾波手勢信號。在一較佳具體 貝把例中，遞歸遽波器是被施加兩次，一次是順向與一此 逆向此a le成零相位濾波，即是，m不造成任何 相位失真。結果，可移除任何信號失真。 透過圖2的方法產生的手勢信號是由具有一不變與相當 高取樣頻率的一組取樣所組成。此一信號適合例如一手寫 辨識裝置（未在圖顯示）的進一步處理。 除了額外的向下取樣步驟4之外，圖3描述的具體實施例 是大部份與圖2顯㈣相同。此額外㈣可減少信號取樣數 量，如此可減少用以儲存信號所需的記憶體量、及/或傳送 信號所需的頻寬量。取樣數量可透過例如選擇每讀取樣之 中的一者而減少，其中n可為2，3，4， .，8，9，1〇，， 20,此是因在步驟2所使用的重新取樣頻率、與在步驟”斤 97023.doc -11 - 200530927 使用的截止頻率而定。例如，當使用200赫兹的一重新取樣 頻率時，η最好是等於8(8: i的一向下取樣率），造成Μ赫兹 的取樣頻率。在1 〇赫茲的一濾波器截止頻率上，所有俨號 元件將低於取樣頻率的一半，即是低於125赫兹，並可避 免干擾。了解到，在一較低的濾波器截止頻率上，從向下 取樣造成的取樣頻率亦會較低。 在向下取樣步驟期間選取的開始取樣會被選擇，使得在 取樣的向下取樣組中的取樣數量能最大化，且時序誤差在 兩端是大約相等。此是在圖5顯示，其顯示六個取樣i〇a_i〇f 的一組範例。此組是以3 :丨的取樣率予以取樣，其表示選 擇三個取樣之一。明顯的選擇將是取樣1〇&與1〇(1，第一與 第四取樣，如X所示。然而表示，此會在取樣組結束造成一 ”間隙” ’其中未選擇最後兩個取樣l〇e與1 Of。在本發明的方 法中，最好是在取樣組上展開選擇的取樣，以減少在取樣 組的開始及/或結束上的，，間隙”。因此，選擇取樣1〇]3與1(^， 在取要組的每一結束上留下一未被選擇的取樣。對熟諳此 技者顯然的疋在手勢信號的開始與結束點上的”間隙”會造 成眾所周知的”遺失結束點問題”；因此，如可能可避免。 除了額外壓縮步驟5之外，圖4描述的具體實施例是大部 份與圖3顯示的相同。壓縮步驟用來進一步減少必須傳送及 /或儲存的資料量。各種不同資料壓縮技術是已知，且許多 這些技術可施加於根據本發明產生的手寫信號取樣。然 而，較佳技術是根據不同的編碼，即是，產生只包含一表 考取樣差資訊的一壓縮取樣。參考取樣可為取樣組的先前 97023.doc -12. 200530927 取樣或第取樣。例如，當一特殊取樣具有空間坐標x<23 與y-315，且先前取樣具有空間坐標χ=2ι〇與产時，那麼 只有較小的不同值心=13與^=14能被傳送。或者，信號可 經由一致性編碼而壓縮，其中該一致性編碼是一無損失壓 縮技術，且使用較少位元數量將時常發生的資料編碼。這 些碼典型是被儲存在—碼書’並透過使用從手勢信號獲得 的統計而演繹構成。如前述，壓縮步驟5是選擇性，並可依 需要而省略。 根據本發明方法處理的一手勢信號範例是在圖6 a _ d顯 示在圖6a中，最初的取樣是構成字母，，a，，。由讀取在繪圖 板上發生滑鼠游標位置的程式所產生的此字母會在大約10 赫茲上被不均勻與稀疏取樣。這些取樣不適合用於手寫信 號辨識的辨識器進一步處理。典型上，這類辨識器需要具 亦超過60赫茲取樣率的平坦取樣信號。然而，根據本發明， 這些達成的取樣適合與這種辨識器的進一步處理。透過施 加本發明的插入、重新取樣與濾波步驟，可獲得圖6b顯示 字母。可看出，圖6b的字母是非常平穩，但是已保留尖端。 在向下取樣圖6b的字母後，圖6(：的字母結果只由十個取 樣點所組成。然而，當這些取樣點是根據本發明產生時， 他們包含最初手寫信號的所有資訊。結果，將手勢信號重 建。重建的信號可保留所有特徵，包括如圖6d所示的尖端。 在圖7顯示的範例系統20包含一輸入裝置21、一預處理裝 置22、與一手寫辨識裝置23。顯示的輸入裝置21是一電腦， 該電腦具有一螢幕25、一鍵盤26與一指向裝置（滑鼠）27。指 97023.doc •13- 200530927 向裝置2 7可控制一游標2 8在蕃复9 ς u , 在螢幕25上的移動。使用者可透 過使用指向裝置27而在螢暮上”耷，，^ 赏參上焉一字母。電腦採用手寫 信號的取樣，即是，產生—連串取樣（x，y,t)，此―連串取 樣具與螢幕25上游標位置有關的坐標，與決定特殊營 幕位置（x，y)瞬間的-時間參考t。最好是，這些取樣（x，y，t) 是等時間距，即是，他們是被相等的時間間隔分開。然而， 如前述，此不會始終是由於多卫而電腦作業系統延遲採取 -取樣，以造成一不均勻取樣信號的情況。而且，電腦不 能在高於H)赫兹的頻率上將信號取樣，造成—稀疏取樣信 號。本發明允許用於手寫辨識目的的此不平均及/或稀疏取 樣的信號。 為了此目的，本發明提供一預處理裝置22,其連接到輸 入裝置21與手寫辨識裝置23。預處理裝置可為一般目的電 腦’該-般目的電腦可被程控實施圖Η的方法。為了此目 的 軟碟片的資料載 一適當的軟體程式是從例如一 CD或一 體傳送給預處縣置22。或者，如果裝置21是—電腦，預 j理裝置22便可整合在輸入裝置21，纟中該電腦是如圖7 範例所示’執行用於實施本發明方法的—適當軟體程式的 電腦21。 手寫辨識裝置23可為一傳統手寫辨識裝置、或一電腦執 行傳統手寫辨識軟體。 除了圖7顯示的電腦21之外的其他輸入裝置可連同本發 明使用，例如個人數位辅助（pDAs)、例如3G行動電話的行 動電信裝置、膝上型與筆記本電腦、與其他裝置。除了一 97023.doc •14- 200530927 滑鼠之外的其他指向裝置可使用，例如軌跡球、觸塾等。 本發明亦可有效利與觸摸式螢幕使用。 本發明是根據甚至稀疏或不平均取樣手寫信號典型包含 充份貧訊以產生適於進一步處理的信號。本發明可從進一 步了解此手寫行動信號典型傷限於不超過工〇赫兹的頻率而 獲显，即使原始取樣是大約（平均）100毫秒、或甚至進一步 不同’此允許將手寫信號重建。 y 主忍，在此文獻使用的任何術語不應該構成對本發明範 圍的限制。特別是’·’包含"字眼並未排除未明確描述的任 何2件。單一（電路）元件可使用多重（電路）元件或使用他們 的等效f路取代。在請求項巾的㈣參考符號應該不構成 對請求項範圍的限制。 熟諳此技者了解到本發明並未侷限於前述具體實施例， 且弄多修改與增加可達成，而不致脫離如文後請求項所定 義本發明的範圍。 【圖式簡單說明】 本發明將參考連同附圖描述的具體實施例而說明，其中： 圖1顯示本發明的濾波方法之一較佳具體實施例。 圖2顯示合併濾波方法的本發明信號處理方法的一第一 具體實施例。 圖3顯示本發明的信號處理方法的一第二具體實施例。 圖4顯示本發明的信號處理方法的一第三具體實施例。 圖5顯示使用在本發明的一向下取樣處理。 圖6a-d顯示根據本發明處理的手寫範例。 97023.doc -15- 200530927 圖7是根據本發明顯示一手勢信號處理系統。 【主要元件符號說明】 10a，10b，10c，10d，10e，10f 取樣 20 21 28 25 22 23 27 26 系統 輸入裝置 游標 螢幕

預處理裝置 手寫辨識裝置 指向裝置（滑鼠） 鍵盤

97023.doc -16-

Claims (1)

1. 200530927 、申請專利範圍·· 1. 2. 3. 4. 一種處理包含一個 一片 或夕個片段的手勢信號之方法，其每 . —夕個取樣，該方法包含下列步驟：透 過在一順向盘一逆士 /、 问吩間方向中施加一無限脈衝響應濾 /反器而將一個或$柄u γ 0. 固片段濾波，以產生一頻帶限制手勢 1吕號0 如請求項1之方法，1 ”中該在順向時間方向施加的無限脈 '曰騎波器具有順向初始條件，且在逆向時間方向施 的…、限脈衝響應據波器具有逆向初始條件，該方法尚 已否符σ該等順向與逆向初始條件的步驟。 士明求項1之方法’其尚包含下列預備步驟： 插入該取樣的信號；及 在相當面頻上將該插入信號重新取樣； 汝此產生一手勢信號具有一定義明確的取樣率，然後 被適當濾波。 如凊求項3之方法，其中該插入取樣信號的步驟包括一線 性插入。 5 ·如％求項1之方法，其尚包含該向下取樣該濾波信號的步 驟。 6·如請求項丨之方法，其尚包含該壓縮信號的步驟。 7·如請求項6之方法，其中該壓縮信號的步驟包括差別及/ 或一致性編碼。 8·如請求項3之方法，其尚包含該在該插入、重新取樣與濾 波信號的基礎上辨識手寫之步驟。 97023.doc 200530927 200530927 9· 10. 11. ::實施如請求項1之方法之軟體程式。 一：…請求項9之軟體程式之資料载體。 -種用於處理手勢信號之裝 之軟體程式。 。亥裝置包含如相求項10 12 ·種用於處理包含一個或多個Η 1 > u 片&得手勢信號之裝置， 株，田、+ U取樣，該裝置包含濾波構 用以在一順向與一逆向時 @ ]方向中，透過施加一益 限脈衝響應濾波器而 無 招* 1U ^夕個片段濾波，以產生— 頻T限制手勢信號。 ^ Ί 12之$置’其中在_順向時間方向中施加的— 門：：響顧波器具有順向初始條件，且在一逆 曰1方向中施加的一無限脈衝響 技# 可a應，慮波裔具有逆向初始條 牛，忒哀置尚包含用於符合順向盥 ^ 14 /、逆向仞始條件之構件。 14.如以項12之裝置，其尚包含用於下列之裝置： 插入該取樣信號；及 在攄波前，於一相當高頻上將該插入的信號 =以產生-手勢信號具有一定義明確的取樣 被適當濾波。 後 15. 如請求項14之裝置，其 配置用於一線性插入。 中該用於插入取樣信號之構件是 其尚包含用於向下取樣該 其尚包含用於壓縮信號之 16 ·如請求項12中任一項之裝置， 濾波信號之構件。 17·如請求項12中任一項之裝置， 構件。 97023.doc 200530927 18. 19. 20. 士明求項17之裝置，其中該用於壓縮信號之構件是配置 用於差別及/或一致性編碼。 如睛求項13中任一項之裝置，其尚包含用以在該插入、 重新取樣與壚波信號的基礎上辨識手寫之構件。 種手寫辨識系統，其包含··一輸入裝置（21)，用以輸入 手寫^ 5虎’與一辨識裝置（23)，用以辨識手寫信號，該系 充尚包έ如凊求項1卜19中任何一項之處理裝置（22)。 97023.doc