TW201351205A

TW201351205A - 語音輔助鍵盤輸入

Info

Publication number: TW201351205A
Application number: TW102107084A
Authority: TW
Inventors: Henry P Largey; Gabriel Rivera
Original assignee: Nvidia Corp
Priority date: 2012-02-29
Filing date: 2013-02-27
Publication date: 2013-12-16
Also published as: US20130225240A1; DE102013002962A1; CN103297579A

Abstract

一種電子裝置經組態以自鍵盤按鍵接收資料，其中該按鍵與第一及第二字母數字字元相關聯。該裝置包括一鍵盤介面及一資料輸入處理器。該鍵盤介面經組態以在按鍵被按時確定該第一及該第二字母數字字元。該資料輸入處理器經組態以在語音辨識器確定口語輸入確認該第一字母數字字元時，從該第一及該第二字母數字字元當中選擇該第一字母數字字元。

Description

語音輔助鍵盤輸入

本申請案一般有關用於控制電子裝置之操作的裝置、系統及方法。

各種電子裝置包括用於資料輸入的鍵盤(keypad)。鍵盤可在諸如電話撥號的一些背景中用以輸入單一字母數字字元(alphanumeric character)，如，對應於各按鍵的數字(digit)。在其他背景中，按鍵可與兩個或兩個以上字母數字字元相關聯。例如，在熟悉的電話鍵盤上，“數字2”按鍵與“A”、“B”、“C”及“2”相關聯。使用按鍵修飾符(key modifier)，按鍵亦可與“a”、“b”及“c”相關聯。資料輸入有時包括首先按下要按的按鍵，及接著再按下此按鍵一或多次以選擇所要字母數字字元。此種資料輸入對於此類裝置的一些使用者而言既麻煩又不可靠。

一具體實施例提供一種電子裝置，其經組態以自鍵盤按鍵(keypad key)接收資料，其中按鍵與第一及第二字母數字字元相關聯。該裝置包括一鍵盤介面(keypad interface)及一資料輸入處理器(data entry processor)。該鍵盤介面經組態以在按鍵被按時確定(determine)該第一及該第二字母數字字元。該資料輸入處理器經組態以在語音辨識器(speech recognizer)確定口語輸入(spoken entry)確認(identify)該第一字母數字字元時，從該第一及該第二字母數字字元當中選擇該第一字母數字字元。

另一具體實施例提供一種用於將資料輸入電子裝置的系統。該系統包括接收器、資料鑑別器(data discriminator)、語音辨識器及字元傳輸器(character transmitter)。接收器經組態以自電子裝置接收鍵盤輸入資料(keypad entry data)。資料鑑別器經組態以從鍵盤的至少第一按鍵及第二按鍵當中確定所按下的按鍵。語音辨識器經組態以接收口語輸入，其對應於與所按下按鍵相關聯的第一或第二字母數字字元。字元傳輸器經組態以將信號傳輸至電子裝置，此信號指示(indicate)第一及第二字母數字字元之何者被口語輸入所指定(designate)。

又另一具體實施例提供一種如用於形成鍵盤操作之電子裝置的方法。該方法包括鍵盤介面，組態以確定鍵盤按鍵已被按下。提供一種語音辨識器，其經組態以處理口語輸入，其包括與按鍵相關聯之第一字母數字字元之口語同等物(spoken equivalent)。資料輸入處理器耦合至語音辨識器。該資料輸入處理器經組態以在語音辨識器確定口語輸入確認第一字母數字字元時，從與按鍵相關聯的複數個字母數字字元當中選擇第一字母數字字元。

100‧‧‧字母數字字元鍵盤

200‧‧‧鍵盤

300‧‧‧電子裝置

310‧‧‧鍵盤

320‧‧‧鍵盤介面

330‧‧‧STT介面

340‧‧‧變換器

350‧‧‧資料輸入處理器

500‧‧‧系統

510‧‧‧電子裝置

515‧‧‧傳輸器

520‧‧‧伺服器

525‧‧‧無線連接

530‧‧‧接收器

540‧‧‧字元鑑別器

550‧‧‧STT介面

560‧‧‧傳輸器

現參考結合附圖進行的以下說明，圖中：圖1及2根據不同具體實施例分別圖解可由電子裝置採用的字母數字字元鍵盤及全鍵盤(full keyboard)；圖3圖解根據一代表性具體實施例的電子裝置，其中使用所按下的按鍵及口語輸入確定所選字元；圖4圖解如可以圖3之電子裝置實施之用於確定所選字元的方法；圖5圖解包括電子裝置及遠端伺服器的系統，其中伺服器從裝置上按下的按鍵及口語輸入確定所選字元；及圖6圖解如用於形成諸如圖3之裝置之電子裝置之方法的代表性具體實施例。

本文說明的不同具體實施例提供用於改良採用用於資料輸入之鍵盤的電子裝置其資料輸入的裝置、系統及方法。隨著手持電子裝置變得越來越小且包括越來越多的特徵件(feature)，此類裝置之資料輸入的複雜度已經增加。此類資料有時包括如電話號碼、電子郵件訊息、文字訊息、及位址資訊。輸入此類資料的困難增加正確輸入資料所需的時間，及有時讓使用者覺得很挫敗。

可以使用一些減輕資料輸入負擔的可行對策，但這些對策卻在一或多個方面有所欠缺。例如，一些行動電話採用多次按鍵按壓的方法，諸如先按下要按的按鍵，及接著再按下該按鍵一或多次以選擇所要字母數字字元。這種系統不僅麻煩，且對手指較大的使用者而言，可能很難或幾乎不可能確實地按下單一按鍵。語音辨識(speech recognition)在理論上是可能的，但通常需要複雜的演算法、更強大的處理硬體、更大的記憶體、及相對安靜的環境。

本發明人等瞭解到，可藉由結合按鍵輸入與目標語音辨識改良電子裝置的資料輸入。在本發明的不同具體實施例中，可先按下一個按鍵。該按鍵被指派給一個字母數字字元並與一或多個其他字母數字字元相關聯。在使用者按下該按鍵後，使用者可說出被指派的或其他相關聯的字母數字字元。電子裝置或與該電子裝置通信的伺服器接著確定口語字元(spoken character)，使字元搜尋限定於被指派且相關聯的字元。搜尋因此可變得比較快及/或需要更少硬體及/或計算資源。此外，藉由限定字元搜尋，預期可使所選字元的確定不會因為可能使口語字元模糊不清的背景噪音而明顯受到影響。當確定所選(如，口語)字元時，裝置可接著將字元暫存在記憶體中。

此處，在不失一般性的情況下，可將術語「字母數字字元」縮短成「字元」。此處，在字母數字字元背景中的用語「相關聯」是指：1)指派給鍵盤之單一按鍵的字元，或2)指派給與所按下按鍵直接相鄰之按鍵的字元。因此，如下文參考圖1進一步說明，在電話按鍵“2”的一實例中，字元“A”、“B”及“C”可指派給電話按鍵“2”，字元“2”、“A”、“B”及“C”全部與“2”按鍵相關聯。在另一實例中，在QWERTY鍵盤上，“G”按鍵因字元“T”、“Y”、“H”、“B”、“V”及“F”與“G”直接相鄰而與這些按鍵相關聯，且因字元“G”指派給該按鍵而與字元“G”相關聯。為了申請專利範圍的目的，按鍵並不僅因為其出現在相同按鍵布局或相同裝置中而「相關聯」，也不因為其是相同字元集的成員而「相關聯」。

現在參考圖式提出本發明的不同具體實施例。這些圖式可包括各種功能模組(functional module)，及其討論可包括這些模組的參照並說明各種模組功能與模組間的關係。熟習本技術者將明白，此類模組間的界限僅為說明性，及替代具體實施例可合併模組或分割模組的功能性。例如，本文討論的模組可分成多個子模組，其係作為多個計算程序執行及視情況在多個電子裝置(如，積體電路)上執行。此外，替代具體實施例可結合特定模組或子模組的多個例子。再者，熟習本技術者將明白，實例具體實施例中說明的功能僅是為了解說。根據本發明，可將多個操作組合或以額外功能分散多個功能的功能性。

看到圖1，圖解字母數字字元鍵盤100的非限制性實例，其在不同具體實施例中可由電子裝置使用。鍵盤100可在如行動電話上使用，但本發明的具體實施例並不因此受限。鍵盤100遵照ISO/IEC 9995-9：2009鍵盤布局標準，但本發明的具體實施例不限於遵照此標準的鍵盤。

每一個按鍵“2”至“9”與若干字元相關聯。例如，這些按鍵的每一個具有主要指派字元，如，“2”…”9”。此外，每一個按鍵包括若干次要字元。例如，指派給“2”按鍵的次要字元有“A”、“B”及“C”。照慣例，可藉由上述多次按鍵按壓的技術，將這些字元輸入不同資料欄位。在一些情況中，亦可使用多次按鍵按壓方法輸入圖解次要字元的小寫體。

圖2圖解可在不同具體實施例中使用的習用鍵盤200。鍵盤200與鍵盤100的不同之處在於每個羅馬字母均有一個按鍵。在此及申請專利範圍中，此種鍵盤不論按鍵的大小或特定型樣，均稱為全鍵盤。以熟悉的QWERTY布局圖解鍵盤200，但具體實施例並不因此受限。例如，替代布局包括如Dvorak布局。鍵盤200中的字元可以至少兩個方式相關聯。第一，如針對鍵盤100說明，一個按鍵可具有如“6”的主要指派字元及如“^”的次要指派字元。在一些情況中，次要字元可以是主要字元的不同字體，如，“H”及“h”。字元亦可因接近性而相關聯。因此，如上文說明，“G”按鍵可與“G”、“T”、“Y”、“F”、“H”、“V”及“B”相關聯。

圖3圖解如行動電話的電子裝置300。儘管以下說明可指行動電話的具體實施例，但具體實施例並不因此受限。例如，裝置300可以是符合本發明之範疇使用用於資料輸入之鍵盤的任何電子裝置。事實上，以下具體實施例中說明的鍵盤可以是虛擬(如，以圖形顯現的)鍵盤。電子裝置的非限制性實例包括如平板電腦(如，Android^TM裝置或Apple iPad^TM)、或Apple iPod Touch^TM。在不失一般性的情況下，在此可將此類裝置稱為「小型計算裝置(small computing device)」。

裝置300包括鍵盤310(如，鍵盤100)、鍵盤介面320、語音轉文字(speech-to-text，STT)介面330、變換器(transducer)340及資料輸入處理器350。變換器340可包括如習用的麥克風元件及類比轉數位轉換器(analog-to-digital converter，ADC)。如熟習相關技術者周知，可以處理器及記憶體實施鍵盤介面320、STT介面330及資料輸入處理器350。本發明的具體實施例不限於任何特定實施，其可包括(但不限於)如：商用或專有積體電路、狀態機、可程式邏輯、微控制器或數位信號處理器(digital signal processor，DSP)。

鍵盤310具有一字元集，其可藉由適當選擇按鍵而產生。例如，全集(complete set)可包括a…z、A…Z、0…9及一些標點符號字元。鍵盤介面320偵測鍵盤310上的按鍵按壓。鍵盤介面320經組態以從字元集選擇字元子集，其包括指派給所按字元的主要字元以及任何次要字元。因此，例如在“5”按鍵被按時，鍵盤介面320可將字元子集{5,j,k,l,J,K,L}報告給STT介面330。

在按下按鍵後，裝置300的使用者接著可說出與所按下按鍵相關聯的字元之一。繼續先前的實例，在按下“5”按鍵後，使用者可說出 “j”(發音如“jay”)。STT介面330自鍵盤介面320接收字元子集，及自變換器340接收口語字元。STT介面330接著使用語音辨識演算法確定口語字元。

如熟習相關技術者所瞭解，語音辨識可包括實施諸如隱藏式馬可夫模型(hidden Markov model，HMM)之計算模型的演算法。HMM可包括確定音跡(acoustic signature)及對應字之間之最可能適配的維特比(Viterbi)演算法。

與習用的語音辨識演算法不同，STT介面330的語音辨識演算法經組態以從鍵盤介面320提供的字元子集當中選擇字元。因此，不僅所有可能字元相對於全字元集有所限定，且STT介面330亦僅需偵測及適配少數的聲音。例如，英文字母有許多字母發為帶有獨特前導子音的長音“E”(國際音標i)。由於全字元集中出現之獨特聲音的數量、及字元子集中之聲音數量的進一步減少，STT介面330的複雜度相對於傳統組態的語音辨識演算法明顯減少。因此，可比習用的語音辨識演算法使用明顯較少的計算及硬體資源來實施STT介面330。

在一些具體實施例中，STT介面330可經組態以另外辨識少數的修飾符關鍵字(modifier keyword)。例如，按下“2”按鍵並說出“bee”可預設指示小寫“b”。使用者可按下“2”按鍵並說出“upper bee”以指示需要大寫“B”。STT介面330可經組態以辨識用字“upper”並據此修改所選字元。替代地，STT介面330可預設選擇大寫字元，並僅在使用者說出“lower”時選擇小寫字元。因此，在不同具體實施例中，口語輸入可包括修飾符關鍵字及要修改的字元。熟習相關技術者將瞭解可在不脫離本發明的範疇下，以許多不同方式實施此對策。

在STT介面330確認由按鍵按壓及口語字元之組合所指定的字元後，資料輸入處理器350從STT介面330接收所選字元。資料輸入處理器350視需要與裝置300的其他部分接合以實行字元輸入，如，與資料記憶體或顯示器記憶體(未顯示)接合。

圖4繼續參考圖3提出方法400，以根據一非限制性具體實施例圖解裝置300的操作。在步驟410，鍵盤介面輪詢(poll)鍵盤310以確定按鍵是否已被按下。如果沒有按鍵被按，則方法400仍留在步驟410。如果偵測到按鍵按壓，則方法400前進到步驟420。

在步驟420，鍵盤介面320確定哪一個按鍵被按。在步驟430，鍵盤介面確定與所按下按鍵相關聯的字元子集。在步驟440，鍵盤介面將字元子集傳送到STT介面330。STT介面330經組態以將接收的口語字元僅與字元子集中的字元作匹配比對。

在步驟450，變換器340接收口語輸入並產生所接收字元的數位表示。在步驟460，STT介面330試著將所接收口語字元匹配於與所按下按鍵相關聯之字元子集中的一個字元。匹配比對可包括確定所接收口語輸入是否包括修飾符關鍵字，諸如先前說明的“upper”。因此，STT介面330可包括限制性剖析常式(limited parsing routine)以確定在接收修飾符關鍵字時要採取的適當行動。如果有足夠的把握確定匹配確實存在，則方法400前進至步驟470，在此將匹配的字元報告給資料輸入處理器350。如果找不到任何匹配，則方法400返回步驟450以接收另一口語字元。在未顯示的步驟中，方法400可視情況包括計數器以確定匹配比對嘗試的數目是否超過預定最大值。如果超過，則方法400可返回步驟410以重新開始字元確認程序。

圖5圖解系統500的具體實施例，其中由遠端伺服器執行指定字元的確定。系統500包括電子裝置510(如，行動電話或小型計算裝置)及伺服器520。伺服器520可利用如由UMTS、CDMA或GMS標準控管的無線連接525連結至裝置510。替代地，裝置510及伺服器520可經由Wi-Fi連接(如，其不同修訂版其中之一者的802.11)連結至網際網路。

裝置510可共用關於裝置300說明的不同特徵件，如，鍵盤、處理器及記憶體(未顯示)。裝置510亦包括傳輸器(transmitter)515，其經組態以經由連接525與伺服器520通信。

伺服器520包括接收器530、字元鑑別器540、STT介面550及傳輸器560。可由如控制器或微處理器結合儲存程式指令及暫態資料的記憶體來實施鑑別器540及STT介面550。

裝置510可經組態以將所按下的按鍵的辨識碼(identity)傳輸至伺服器520。可利用符合連接525之性質的任何方法確認按鍵。例如，當裝置510是電話時，此按鍵可於音頻帶內被確認，例如藉由DTMF信號傳輸確認，或藉由一控制信號頻道而於頻帶外被確認。其他類型的電子裝置可如經由網際網路資料封包序列來報告所按下的按鍵。接收器530從裝置510接收指示所按下按鍵的信號。

裝置510的使用者可接著說出與所按下按鍵相關聯的所要字元。裝置510經由連接525(如，利用蜂巢式連接或網際網路)將口語字元傳遞至接收器530。接收器530將所按下按鍵的辨識碼及口語字元傳送至鑑別器540。鑑別器540以與鍵盤介面320類似方式而進行操作以確定與所按下按鍵相關聯的字元子集，及將此子集傳送至STT介面550。

STT介面550亦自接收器530接收口語命令。STT介面550以與STT介面330類似方式而進行操作以從口語字元確定使用者選擇與所按下按鍵相關聯的哪一個字元。STT介面550將確認字元傳送至字元傳輸器560。字元傳輸器560如經由頻帶外信號(out of band signal)或網際網路訊息(internet message)將所選字元傳輸至裝置510。裝置510可接著藉由將字元儲存在記憶體中及/或顯示字元而暫存所選字元。

看到圖6，提出如用於形成上述具體實施例(諸如裝置300)的方法600。參考本文(如圖3-5)先前說明的元件以非限制性方式說明方法600的步驟。方法600的步驟可以圖解順序以外的另一順序執行，及在一些具體實施例中可完全省略。

在步驟610，鍵盤介面經組態以確定鍵盤按鍵(如，鍵盤310的按鍵)已被按下。在步驟620，語音辨識器經組態以處理包括與該按鍵相關聯之第一字母數字字元之口語同等物的口語輸入。例如，鍵盤310的“2”按鍵可與“2”、“A”、“B”、或“C”相關聯，及口語輸入可包括這些字元之一者的口語同等物。在步驟630，資料輸入處理器經組態以在語音辨識器確定口語輸入確認第一字母數字字元時，從與該按鍵相關聯的複數個字母數字字元(如，“2”、“A”、“B”、或“C”)當中選擇第一字母數字字元。

在一些具體實施例中，方法600另外包括步驟640，其中語音辨識器經組態以限定可能字母數字字元之匹配比對僅於與所按下按鍵相關聯的字母數字字元。

在一些以上說明的具體實施例中，語音辨識器係與遠離電子裝置的伺服器共同設置。

在一些以上說明的具體實施例中，鍵盤係電話鍵盤(telephone keypad)。

在一些以上說明的具體實施例中，電子裝置及伺服器經組態以經由蜂巢式通信鏈路進行通信。

熟習本申請案相關技術者將瞭解可對說明的具體實施例進行其他及進一步新增、刪除、替代及修改。