TW409226B - Universal voice operated command and control engine - Google Patents

Description

409226 A7 B7 五、發明説明（1 ) 此爲申請於1 9 9 7年7月2 4日所提出之美臨時申 請書序號6 0/0 5 3，6 2 1之優先權之申請書。 技術部份 v " , 本發明一般係有關電腦系統用之軟體，此提供圖畫使 用者介面，諸如”微軟視窗”基礎之環境之語音操作控制 。更明確言之，本發明係有關一種系統，此自一語t音辨認 軟體包中取出符合標準”微軟言語應用程式介面”之命令 ，並引導其至一目標應用，以控制該目標應用> 發明背景 在電腦言語辨認工藝中之言語辨認技術一般有二應用 :1 )聽寫應用及2 )命令及控制應用。聽寫應用辨認電 腦使用者之言語，以再生此等文字於電腦應用軟體，諸如 文字處理器中。故此，使用者可對電腦口述文字，而非手 動打字。另一方面，命令及控制應用辨認電腦使用者之言 t 1 ' 經濟部中央標準局員工消費合作社印製 (請先5v背面之注意事項再填寫本頁) 語，以操作電腦本身。故此，使用者可對電腦發出命令， 諸如執行一程式，儲存一檔案，或改變聽寫文字之字型， 而，.非手動使用鏈盤或滑鼠，以發出該命令。用以執行此二 工作S之言語辨認可大爲增加電腦使用者之生產率。 語音辨認軟體，諸如I BM之 ''語音打字〃或"龍系 統'之，自然發話"爲本技藝中所熟悉。一般言之，語音 辨認軟體聯同電腦系統變換類比信號爲能與電腦系統互動 之數位資料。並有軟體使電腦之使用者能對操作系統發出 本紙張尺度適用中國國家標準（CNS ) A4規格（210X：297公釐） 409226 A7 B7 五、發明説明（2 ) 事件呼叫，此模擬熟悉之電腦輸入裝置，諸如滑鼠或鍵盤 之動作，從而使電腦之使用者能經由語音控制與圖畫使用 者介互動。 ' 然而，並無電腦應用軟體，使使用者能使用標準寫字 語言，製造新語音命令，或改變現語音命令之行爲。使用 標準寫字語言之能力可製造局部及通用之變數，此可由不 同之語音命令共用，以製造更廣博之語音命令。 而且，並無電腦應用軟體可：1 )連續監視一操作系 統或應用軟體狀態及其副視窗狀態，由語音控制列出可有 效發出之語音命令，及2 )當受控制之操作系統或軟體改 變時，機動維持該語音命令之表單。受控制之操作系統或 應用軟體之狀態之追蹤使命令可拫據操作系統或應用軟體 之狀態發出。 發明槪要 本發明係有關電腦軟體，.用以變換口述命令爲能指揮 特定電腦系統之任何電腦應用之圖畫使用者介面之命令。 經濟部中央標準局員工消費合作杜印製 {請先閲讀背面之注意事項再填寫本頁) 明確言之，本發明包含：用以接收由一標準語音辨認 系統所發送之語音命f之裝麗；用以監視一目標應用之狀 態之裝置；用以決定來自目標應用之狀態之現用語音命令 之裝置；用以決定所發送之語音命令是否爲現用語音命令 之裝置；用以使每一現用語音命令與一塊文字碼資料相關 聯之裝置；及當決定所發送之語音命令爲現用語音命令時 ，用以發送與所發送之語音命令相關聯之文字碼資料至圖 本紙張尺度適用中國國家標隼（CNS ) A4规格（210Χ297公釐） 經淤部中^-榀準而只工消Φ：合竹社卬ΐ'ί 409226 A7 ______________ ___B7_ 五、發明説明（3·) 畫使用者介面之裝置。 而且’本發明爲現技術之一改良，以其處理附帶之操 作系m之事件之方法，:及其適應〜幾乎任何以應r用爲基礎之 '微軟視窗乏能·力鳥基礎。本發明由使用工業標準之寫 字語言達成此點。而且，本發明監視目標應用，根據目標 應用狀態’決定何語音命令可有效發出。本發明如此作在 於防止-無效之命令發給目標應用，而不管原應用是否欲由 語音控制。 於閱讀以下附圖之說明及發明之詳細說明後，可明瞭 本發明之其他優點及方面。 附圖簡述 圖1顯示本發明與外部組成件之相互關聯； 圖2顯示本發明之內部作用； 圖3爲本發明之一桌面圖符之平面圖； 圖4声本發明之組態對話匣之平面圖； 圖5爲本發明之語音命令對話匣之平面圖； 圖6顯示本發明之一指令模組資料檔之內容； 圖7爲本發明之指令模組編輯器之平面圖。 主要元件對照表 10 通用語音操作命令及控制引擎 12 語音控制引擎 14 指令模組 本紙張尺度適扣中國國家標準（CNS > A4規格（210X297公釐） (锖先閱讀背面之注意事項再填寫本頁) ο :裝

、-ST 經濟部中央標準局員工消費合作社印製 #9226 A7 B7 五、發明说明（4 ) 1 6 應用對象 18 語音控制軟體 2.0 電腦 ' : 2 8 現用語音命令更新器 — ~ ' 30 辨認語音命令處理器 ' 32 剖析及索引器 34 訊息分發器 - 36 現應用狀態監視器 38 載入/容器 4 2 圖符 4 4 系統盤 46 使用者介面 詳細說明 雖本發明可有許多不同形態之實施例，但附圖顯示及 在此詳細說明丨本發明之一較佳實施例，且明瞭本說明應視 ! * ► 爲本發明之原理之一例，而非意在限制本發明之廣泛層面 於圖解之實施例》 參考圖1，通用語音操作命令及控制引擎10由二主 要組成件構成：一語音控制引擎（ν V C Ε /) 1 2及一 指令模組（〜D Μ" ) 1 4。爲使用.者由語音命令控制一 應用目標1 6，使用者由所連接之微音器2 2發出語音命 令，此然後轉送至電腦2 0上所執行之語音控制軟體1 8 。語音控制軟體1 8然後辨認言語圖形，並轉送結果至通 本紙張尺度適用中國國家標準（CNS ) Α4规格（210X29Xj>^ > (請先閱讀背面之注意事項再填寫本頁)

Ja

經濟部中央標準局貝工消費合作社印製 409226 A7 B7 五、發明説明（5.) 用語音操作命令及控制引擎1 0。在本發明中，語音控制 軟體1 8可爲任何市面上可獲得之語音辨認軟體，此符合 微軟之言語應用，程式介面” s A P I 〃）標準’諸如 龍系統之 '' 自然發話"及I B Μ之π語音打字"。/符合 SAP I意爲使用者選擇之言語辨認軟體爲VCE 1 2所 明瞭，假定言語辨軟體之販賣者適當遵守S A P I標準。 如以下更詳細說明，V C E 1 2然後決定該命令量否 適當，由詢問目標應用1 6，以決定其現狀態來達成。如 語音命令爲適當，則通用語音操作命令及控制引擎1 0執 行DM 1 4內所含之電腦碼之與特定目標應用1 6相對應 之部份，以控制應用對象1 6，俾執行語音命令。被執行 之電腦碼宜以應用視基（）碼寫成，唯其他寫 字語言，諸如Javascript亦可使用。 語音控制引擎 參考圖2，VCE 1 2爲運轉時間軟體，用以接收來 自語音控制軟體1 8之資訊，分發合成鍵盤及滑鼠訊息至 操作系統（'' 0 S 〃）或目標應用1 6，並監視現應用對 象狀態1 6 ' 二 . 明確言之'¥〇£12經由3厶1?控制器26與一 標準SA I P介面2 4配接語音辨認軟體1 8。SA I P 控制器2 6包_含介面碼，以發動與SA I P介面2 4交談 ，監視SA I P介面2 4之成功狀態，及產生來自 SAI P介面24之通知回叫。SAI P介面24之成功 本紙張尺度適用中國國家標準（CNS ) Λ4规格（210X297公^ ) (請先閲讀背面之注意事項再填{巧本ΪΓ) 訂· A7 409226 B7 _ 五、發明説明) 狀態指示經由S A I P介面2 4所發送之命令是否成功。 當應用對象1 6之狀態改變時，S A P I控制器亦接收來 (請先閱讀背面之注意事項再填寫本頁) 自現Μ語音命令更新器2 8 f更新之現用語音命令。一旦 ... 由乂 P I控制器26發動交談，SAP I控制器2 6接 收來II語音辨認軟體1 8之命令，並比較自SAP I介面 接收之語音命令及由現用語音命令更新器2 8所提供之命 令。 如所接收;έ語音命令與由現用語音命令更新器2 8所 提供之命令相符，則此爲現有效之語音命令，及S A Ρ I 控制器轉送該命令至一辨認語音命令處理器3 0。如語音 命令爲 '' 簡單〃，且不含變數資料，則辨認語音命令處理 器3 0傳遞該命令至一 D Μ剖析及索引器3 2。然而，如 語音命令含有變數資料，諸如設定字型大小於（數字） 經濟部中央標準局員工消費合作社印製 "，則辨認語音命令處理器3 0預處理語音命令，然後轉 送其至D Μ剖析.及索引器3 2。如所接收之語音命令與由 現用語音命令更新器2 8所提供之命令不.相符，則此並非 現有效之語音命令，及SAP I控制器2 6可不採取行動 ，或回覆一訊息至SA I P介面2 4，指該命令無效。 D_ Μ剖析及索引器3 2然後接受說·語音命令，並使用 j· 與現用應用相對應之D Μ 1 4，決定與^接收之語音命令 相對應之寫字碼部份，並發送該寫字碼至訊息分發器3 4 。訊息分發器3 4然後發送假滑鼠及/霉鍵盤訊息至操作 系統或目標應用1 6。訊息分發器3 4經由標準 WIN32 ΑΡI呼叫，諸如發送訊息〇或佈告訊息〇 本紙張尺度適用中國國家標準（CNS ) Λ4規格（2丨0^7公龄1 ~ 409226 A7 B7 五、發明説明（7 ) ，達成此點。 _ 當D Μ剖析及索引器3 2接收來自現應用狀態監視器 3 6之現用語眘命令之更新表時丨D Μ剖¥及索引器3 2 亦轉送硯用語音命令表至"現用語#命令更新器2 8。現應 用狀態監視器不斷點詢現用對秦程式1 6，以決定萁狀態 ，並維持現用語音命令表。現應用狀態監視器3 6由決定 目標應用1 6中現時開放何對話及形態來執行此點，並發 送命令，此可有效地發送至DM剖析及索引器3 2。 —DM載入器/容器3 8保持DM1 4，俾由DM剖 析及索引器3 2剖析及標示，及載入或卸下，每當D Μ剖 析及索引器3 2辨霹一新目標應用1 6時，載入或卸下， 俾可提供DM1 4。DM載入器/容器3 8自一電子媒體 » .. 儲存器4 0，諸如電腦之硬碟機取出DM1 4。 經濟部中央標準局貝工消费合作社印裝 如所述，VCE 1 2無電腦2 0之使用者可見之控制 。然而，如在視窗9 5平台，.宜在系羞盤4 4中可見一小 圖符，如顯示於圖火，以對使用者指示V C E 1 2已載入 。而且，該圖符可由滑鼠左鈕點擊，以顯示可能之命令選 擇之一小選單，諸如：一選擇用以顯示一使用者介面4 6 ，以現示現用命令表，一停止語音命令選擇，一開始語音 命令選擰，一選擇用以打開^使用者可定義之變數對話匣 48(圖4)，一選擇用於線上求助，及一選擇用於卸下 V C E 1- 2。 如顯示於圖4，使用者可定義之變數對話匣4 8包含 一選擇用以要求証實每一語音命令，一使用者可定義証實 本紙張尺度適用中國國家標準（CNS ) Λ4规格< 21〇X297^i ) (請先閲讀背面之注意事項再填寫本ΪΓ) -10—- 409226 Α7 Α7 Β7 五、發明説明（8 ) 敘述用於証實，一選擇用以顯示每次v c E 1 2開始載入 時，現用命令表對話匣’一選擇用以打開語音辨認軟體. 1 8之辨認參數視窗，一選擇用以執行一 s' A P I微音器“ 變數調整ψ話匣’二選擇用以設定,語音辨認軟體1 8-之製·^ 作者’及一安裝之DM 1 4及用以使所安裝之DM 14之 任一個不作用之裝置之表。 最後，如上述，V C E 1 2之使用者介面4 6對語匣 (如圖5所示）包含語音命令可有效發出之現用命令表。 使用者介面1 2 2對語匣並有設置，用以由滑鼠或鍵盤選 擇現用命令，以發出該命令，而非由語音發出。經由一拉 下選單及/或工具桿，提供；一選擇用以依字《，或最常 用之命令在先之順序排列命令之表，一選擇用以保持對語 匣可見，即使該對話匣並非現用時亦然，對話匣之一精靈 定位功能，及一選擇用以穩藏視窗。在精靈定位功能，對 話匣嘗試置其本身於螢幕上不阻礙使用者視線之一部份上 (請先聞讀背面之注意事項再填寫本頁) 訂 - 經濟部中央標率局员工消費合作社印敦 指令模組格式 如上述，DM14各爲一分離之資料檔，此包含有關 各別目標應用之資訊。DM1 4之佈置顯示於圖6。 ^ DM 1. 4包含標頭資料，形式樣板資料，及文字碼資料。 標爾資料每含諸如D Μ 1 4之製造日.期及版本之資訊’有 關目標應用16之資料，諸如目標應用名稱，版本’目標 應用可執行檔之位置等，形式樣板資料之開始位置之指標 本紙張尺度適用中國國家標準（CNS ) Λ4規枯（210X 297公筇）_ ^ _ 409226 經濟部中央標準局員工消費合作社印装 A7 B7 五、發明説明（9 ) ，及文字碼資料之開始位置之指標。 在形式樣板資料內，儲存有關一應用對話匣及形式之 資訊，供V B A文'字碼使用，諸如各個別形式或對話匣內 之命令鈕之位置，表單匣之內容等。文字碼部份內爲文字 碼，用以執行目標應用1 6內之語音命令。文碼經由標準 WIN32 AP I呼叫，諸如發送訊息〇或佈告訊息〇 ，轉送至目標應用。而且，最受愛好之寫字語言爲VBA ，然而，Javasc rip或任何其他寫字語言亦可實施。 指令模組編輯器 而且，如顯示於圖7，其中顯示一指令模組編輯器（ "D Μ E " ) 100 應用。DME100 在執行 V C Ε 1 2之功能上並無需要，但用作發展工具，以編輯 DM1 4。DME 1 〇 ◦含有載入DM之能力，用以添加 或移去DM1 4中之語音命令，及該命令所屬之文字碼。 DME 1 0 0宜包含：一命令視窗1 0 2，其中列出，可用 之命令，一形式樣板視窗1 0 4，其中顯示欲控制之目標 應用之形式或對話匣，及一文字碼視窗1 0 6。使用者然 後可編輯DM 1 Q 〇，以包括更複雜之命令或命令組，以 增加單一語音命令之功能' 唯已圖解及說明特定之實施例，但可想出許多修改’ 而不明顯脫離本發明之精_神，_且保護範圍僅由隨附之申請 專利範圍限制。 (請先閲讀背面之注意事項再填寫本頁)

本纸張尺度適用中國國家梯準（CNS ) A4規格（210X297公釐） -12-

Claims (1)

1. 經濟部中央標準局貝工消費合作社印製 本紙張尺度逋用中國國家椟準（CNS ) A4規格（210X297公釐） 409226 . A8 B8 C8 D8 六、申請專利範圍 1 . 一種用以控制圖畫使用者介面之系統，包含： 用以接收語者命令之裝置； 用以決定現用語音命务之裝置；· 用以決是所·接收之語音命令是否爲現用語音命令之裝 置；及 ' 用以執行所接收之語音命令之裝置，如所接收之語音 命令爲現用語音命令。 2 .如申請專利範圍第1項所述之系統，其中，用以 執行所接收之語音命令之裝置包含： 用以使語音命令與一塊文字碼資料關聯之裝置；及 ^ 當決定所接收之語音命令爲現用語音命令時，用以發 送與所接收之語音命令關聯之該塊文字碼資料至圖畫使用 者介面之裝置。 3 .如申請專利範圍第2項所述之系統，其中： 用以決定現用華音命令之裝置包含用以決定目標應用 內所含之變數資料之能力；及 * 用以發送該塊文字碼資料之裝置包含用以將該變數資 料倂入文字碼資料內之能力。 4 .如申請_利範圍第1項所述之系統，其中，用以 .二 接收所發送;之語音命令之裝置爲一標準語音辨認系4統。 1 5 .如申請專利範圍第4項所述之系統，其中，該標 準語音辨認系統爲一 S A P I符合之語音辨認系統。 6 .如申請專利範圍第1項所述之系統，其中，用以 決定現用語音命令之裝置包含用以監視目標應用之狀態之 - (請先閱讀背面之注意事項再填寫本頁) 裝. 訂_ 409226 A8 B8 C8 D8 六、申請專利範圍 裝置。 7 . —種用以控制圓畫使用者介面之系統，包含： 一指令模組，包含文字碼資料；：·: " ' 一語音控制引擎，包含： —， ' 用以接收語音命令之裝置； _ 用以決定現用語音命令之裝置； 用以決定所接收之語者命令是否爲現用語音命令之裝 置；及 如所接收之語音命令爲現用語音命令，用以執行所接 收之語音命令之裝置。 8 .如申請專利範圍第7項所述之系統，其中，用以 執行所接收之語音命令之裝置包含： 用以使語音命令與該塊文字碼資料關聯之裝置；及 當決定所接收之語音命令爲現用語音命令時，用以發 送與所接收之語音命令相關聯之該塊文字碼資料至圖畫使 用者介面之裝置。 1 > 9 .如申請專利範圍第8項所述之系統，其中： 用以決定現用語音命令之裝置包含決定目標應用內所 含之變數資料之能力；及 用以發送該塊文字碼資料之裝置_.包含將該變數資料併 入文字碼資料內之能力。 。 1 0 .如申請專利範圍第7項所述之系統，其中，用 以接收所發送之語音命令之裝置爲一標準語音辨認系統。 1 1 .如申請專利範圍第1 0項所述之系統，其中， - 1!10 裝—丨|!1 (請先閎讀背面之注意事項再填寫本頁) 經濟部中央標準局員工消費合作社印製 本紙張尺度逋用中國國家操準（CNS ) Α4規格（2丨ΟΧ297公嫠） A8 B8 C8 D8 &、申請專利範圍 該標準語音辨認系統爲一符合S A P I之語音辨認系統。 1 2 .如申請專利範圍第7項所述之系統，其..中， 以決定現用語音命令之裝置包含： · 用以監視目標應用之狀_'態之裝置；及；/ 用以比較目標應用之狀態及指令模組內之文字碼資料 ’以獲得現用語音命令之裝置。 (諫先閱讀背面之注意事項再填寫本買) •裝. 訂 抹 經濟部中央標準局員工消費合作社印製 本紙張尺度適用中國國家揉準（CNS ) A4规格（210X297公釐）