JP4829901B2 - マニュアルでエントリされた不確定なテキスト入力を音声入力を使用して確定する方法および装置 - Google Patents

マニュアルでエントリされた不確定なテキスト入力を音声入力を使用して確定する方法および装置 Download PDF

Info

Publication number
JP4829901B2
JP4829901B2 JP2007554347A JP2007554347A JP4829901B2 JP 4829901 B2 JP4829901 B2 JP 4829901B2 JP 2007554347 A JP2007554347 A JP 2007554347A JP 2007554347 A JP2007554347 A JP 2007554347A JP 4829901 B2 JP4829901 B2 JP 4829901B2
Authority
JP
Japan
Prior art keywords
user input
user
text
candidate
candidates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007554347A
Other languages
English (en)
Other versions
JP2008537806A (ja
Inventor
ジェームズ ステファニック
リチャード エイロー
デーヴィッド ジョン ケー
ムルス ピム ファン
イーザン ブラッドフォード
マイケル アール ロング
Original Assignee
テジック コミュニケーションズ インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US11/143,409 external-priority patent/US7881936B2/en
Application filed by テジック コミュニケーションズ インク filed Critical テジック コミュニケーションズ インク
Publication of JP2008537806A publication Critical patent/JP2008537806A/ja
Application granted granted Critical
Publication of JP4829901B2 publication Critical patent/JP4829901B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/274—Converting codes to words; Guess-ahead of partial word inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/987—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns with the intervention of an operator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Character Discrimination (AREA)
  • Document Processing Apparatus (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Position Input By Displaying (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、デジタルデータ処理デバイスを使用しての、ユーザによるテキストのマニュアルエントリに関する。より詳細には、本発明は、本質的に不確定なユーザのマニュアルでのテキストエントリを音声入力によって補足して、ユーザのテキストエントリの複数の異なる可能な解釈の間の不確定さを解消する、コンピュータによって実行される動作に関する。
長年にわたり、ポータブルコンピュータは、小型化が進んでいる。無線産業の驚異的な成長により、携帯電話、携帯情報端末（PDA）、グローバルポジショニングシステム（GPS）ユニットなど、信頼性が高く便利で、ほぼあらゆる場所で使われているモバイルデバイスが生み出された。真に有用なポータブルコンピュータを作製するうえで、サイズを制限するコンポーネントはキーボードである。
標準キーボードを備えていないポータブルコンピュータにおいてデータを入力するため、多数の解決策が開発されてきた。このような方法の1つは、キーが少ないキーボード（「キー数削減キーボード」）を使用することである。いくつかのキー数削減ボードは、プッシュホン式電話のレイアウトに似た、3行4列のキーを使用する。キー数削減ボードは、サイズが縮小する点でメリットがあるが、いくつかの問題がある。例えば、キー配列における各キーには、複数の文字が割当てられている。例えば、「2」キーは、「a」、「b」、および「c」を表す。従って、ユーザによってエントリされる各々のシーケンスは、本質的に不確定である。なぜなら、各々のキーストロークが、1つの数字またはいくつかの異なる文字を示すからである。
T9（登録商標）テキスト入力技術は、電話のキーパッドなどのキー数削減ボードのための、単語レベルの不確定さを確定することを特に目的としている。T9テキスト入力技術は、特許文献１など、さまざまな米国特許文書に記載されている。英語の単語、および英語以外のアルファベットをベースとする単語の場合、ユーザはT9テキストエントリを以下のように使用する。
単語を入力するとき、ユーザは、各々のキーが複数の文字を表していることを無視して、単語を構成している文字に対応するキーを押す。例えば、文字「a」をエントリさせるため、ユーザは、「2」キーが「b」および「c」を表しうることを無視して、「2」キーをエントリさせる。T9テキスト入力技術では、ユーザのキーストロークエントリによって示される可能な文字の組合せすべてを求め、これらを既知の単語の辞書と比較して、どの組合せが意味をなすかを調べることによって、意図された単語を確定する。
基本的な用途以外に、T9テキスト入力は、複数の改良を経てきた。さらに、T9テキスト入力および類似する製品は、アルファベット文字以外の表意文字による言語（例：中国語）のキー数削減ボードデバイスにおいても利用されている。しかしながら、T9テキスト入力は、すべてのユーザによって要求される、データ入力の速度および容易さの申し分のないレベルを必ずしも提供できないことがある。
まったく異なる方法として、いくつかの小型デバイスでは、ユーザの手書き文字を受け取るデジタイジング面(digitizing surface)を採用している。この方法では、ユーザは、ポータブルコンピュータの大きさによって許容される小さな領域の中ではあるが、自然に書くことができる。手書き文字認識アルゴリズムは、デジタイジング面へのユーザによる接触に基づいて、ユーザのエントリの幾何学的特性を分析し、各々の文字または単語を決定する。残念ながら、現在の手書き文字認識ソリューションには問題がある。第一に、手書き文字は、一般的にタイプ入力よりも遅い。また、十分な信頼性の手書き文字認識精度を達成することが難しい。さらには、手書き文字認識アルゴリズムにおいて、ユーザが文字ストロークの所定のパターンおよび順序を守ることが要求される場合、ユーザによっては、これを実行することがめんどうである、あるいは習得することが難しいと感じる。
フルサイズキーボードを備えていない小型デバイスを使用してデータを入力するためのまったく異なる方法は、何らかのタイプのキーボードオーバーレイが印刷されているタッチパネル（ｔｏｕｃｈ−ｓｅｎｓｉｔｉｖｅ ｐａｎｅｌ)、あるいはキーボードオーバーレイが表示されるタッチスクリーン（ｔｏｕｃｈ−ｓｅｎｓｉｔｉｖｅ ｓｃｒｅｅｎ)を使用することである。ユーザは、指またはスタイラスを使用して、目的のキーまたは文字に関連付けられている領域において、パネルまたはディスプレイ画面と対話する。このようなキーボードの全体的なサイズが小さいため、個々のキーが非常に小さいことがある。これにより、平均的なユーザが正確かつ高速にタイプ入力することが難しくなることがある。
タッチスクリーンおよびオーバーレイキーボード用の単語予測は、数多くの内蔵型製品およびアドオン製品によって提供される。ユーザが単語の最初の文字を慎重にタップすると、予測システムは、その文字から始まる最も可能性の高い完全な単語のリストを表示する。しかしながら、選択肢が多すぎる場合、ユーザは、目的の単語が現れるまで、または単語の最後まで入力するまで、タイプ入力を続けなければならない。しかしながら、ユーザは、1文字ごとにタッチスクリーンキーボードと完全な単語のリストとの間で視点を切り替えなければならないため、テキストエントリは加速されずに遅くなる。結果として、ユーザによっては、タッチスクリーンおよびオーバーレイキーボードがややめんどうである、あるいは間違いやすいと感じることがある。
米国特許第5,818,437号明細書 米国特許出願第10／775,663号「ジョイスティックを使用して中国語を入力するシステムおよび方法（System and Method for Chinese Input Using a Joystick）」（出願人：Pim van Meurs、出願日：2004年2月9日） 米国特許第6,081,190号明細書 米国特許出願第10／631,543号「表音入力の不確定さを解消するシステムおよび方法（System and Method for Disambiguating Phonetic Input）」（出願日：2003年7月30日） 米国特許出願第10／803,255号「中国の文字および句の表音入力およびストローク入力の方法（Phonetic and Stroke Input Methods of Chinese Characters and Phrases）」（出願日：2004年3月17日） 米国特許出願第60／675,059号「手書き文字の場合の単語および句の予測システム（Word and Phrase Prediction System for Handwriting）」（出願日：2005年4月25日） 米国特許出願第10／775,483号「自動訂正機能を備えたキーボードシステム（Keyboard System with Automatic Correction）」（出願日：2004年2月9日） 米国特許出願第10／775,663号「ジョイスティックを使用して中国語を入力するシステムおよび方法（System and Method for Chinese Input Using a Joystick）」（出願日：2004年2月9日）
上記の問題を考えると、この領域における大きな技術的進歩にもかかわらず、ユーザは、ポータブルコンピュータにおいてテキストをマニュアルでエントリさせるとき、キー数削減のキーパッド、手書きデジタイザ、およびタッチスクリーン／オーバーレイキーボードの本質的な制限に起因して、依然として入力が難しい、あるいは入力を間違えることがある。
デジタルデータ処理デバイスは、テキストエントリツールから、本質的に不確定なユーザ入力を受け取る。このデバイスは、受け取ったユーザ入力を、他のユーザ入力とは無関係に、語彙に照らして解釈し、候補、例えば、（ユーザ入力が単語全体または一部（例：語根、語幹、音節、接辞）を形成している）単語、あるいはユーザ入力を1つの単語として含む句を求める。デバイスは、これらの候補を表示し、発声されたユーザ入力に音声認識を適用する。認識された音声が候補の1つを含む場合、その候補が選択される。認識された音声が候補の拡張形(extension)を形成する場合、その拡張された候補が選択される。認識された音声が別の入力を含む場合、さまざまな別のアクションが行われる。
本開示の1つの観点は、ユーザによって動作させるテキストエントリツールを提供するハンドヘルドモバイルデバイスに関する。このデバイスは、さまざまなハードウェアコンポーネントおよび相互接続によって具体化することができ、一例が、図1に記載されている。図1のハンドヘルドモバイルデバイスは、さまざまな処理サブコンポーネントを含んでおり、サブコンポーネントの各々は、1つ以上のハードウェアデバイス、ソフトウェアデバイス、1つ以上のハードウェアデバイスまたはソフトウェアデバイスの一部分、またはこれらの組合せによって実施することができる。これらのサブコンポーネントの構成は、例示的なデジタルデータ処理装置と、論理回路と、信号担持媒体(signal bearing media)とを参照しながら、後からさらに詳しく説明されている。
全体的な構造
図1は、マニュアルでエントリされた不確定なテキスト入力を音声入力を使用して確定する例示的なシステム100を示している。このシステム100は、携帯情報端末、携帯電話、AM／FMラジオ、MP3プレーヤー、GPS、カーコンピュータ(automotive computer)、あるいは、ユーザのテキストエントリが何らかの本質的な不確定さを含む縮小サイズのキーボードまたはその他のエントリ装置を有する実質的にあらゆるその他のデバイス、として実施することができる。完全な図とするため、ユーザは101として示されているが、実際には、ユーザはシステム100の一部を形成していない。ユーザ101は、単語、句、文、または段落の全体または一部を、ユーザインタフェース102を使用してエントリさせる。ユーザエントリの各々が間違った文字、数字、記号などを表している可能性があるので、データエントリは、本質的に正確ではない。
ユーザインタフェース
ユーザインタフェース102は、プロセッサ140に結合されており、さまざまなコンポーネントを含む。インタフェース102は、少なくとも、ユーザの音声入力のためのデバイスと、ユーザのマニュアル入力のためのデバイスと、ユーザへの出力のためのデバイスとを含む。ユーザのマニュアル入力を受け取るため、インタフェース102は、1つ以上のテキストエントリツールを含むことができる。一例は、デジタイジング面などの手書き文字デジタイザ102aである。テキストエントリツールの別のオプションは、キー入力102b（例：電話のキーパッド）、ユーザが設定可能な一連のボタン、キー数削減セットのキーボード、またはキー数削減サイズのキーボード（キーの各々が複数の英数字を表す）である。テキストエントリツールの別の例は、ソフトキーボード、すなわち、デジタイザに結合されている、コンピュータによって生成されるキーボードであり、いくつかの例として、ソフトキーボード、タッチスクリーンキーボード、オーバーレイキーボード、自動訂正キーボードなどが挙げられる。キー入力102bのさらなる例としては、マウス、トラックボール、ジョイスティック、または、テキストをマニュアルでエントリさせるためのその他の非キーデバイスが挙げられ、この意味において、コンポーネントの名称「キー入力」は、何らの制限を意図することなく使用されている。マニュアルでテキストをエントリさせるためのジョイスティックの使用は、参考文献である特許文献２に記載されており、この文献は、その全体が本文書に参照文献として組み込まれている。キー入力102bは、上記のコンポーネントのうちの1つ、または組合せを含むことができる。
上に挙げたテキストエントリツールは、本質的に何らかの不確定さを含む。例えば、手書き文字入力デバイスによってエントリされた文字は、100％の確率で識別されることはない。同様に、キー数削減のキーボードによってエントリされた英数字は不確定である。なぜなら、ほとんどのキーの各々には一般には3つの文字と1つの数字とが関連付けられているためである。文字が小さい、または文字同士が接近して配置されているキーボードにおいては、不確定さが生じることがあり、ユーザが間違えやすい。
ユーザ101への出力を提供するため、インタフェース102は、オーディオ出力102d（例：1つ以上のスピーカー）を含む。ユーザへの出力のための別のオプションまたは追加のオプションは、ディスプレイ102e（例：液晶スクリーン、CRT、プラズマディスプレイ、あるいは、人が読むことのできる英数字、表意文字、および／またはグラフィックを提示するその他のデバイス）である。
プロセッサ
システム100は、ユーザインタフェース102とデジタルデータ記憶装置150とに結合されているプロセッサ140を含む。プロセッサ140は、さまざまなエンジンと、その他の処理エンティティとを含んでおり、これらについては後から詳しく説明されている。記憶装置150は、さまざまなデジタルデータコンポーネントを含んでおり、これらについても後から詳しく説明されている。処理エンティティのいくつか（例：後から説明されるエンジン115）は、プロセッサ140のセクションで説明されるのに対して、それ以外（例：プログラム152）は記憶装置150のセクションで説明される。しかしながら、これは単なる一例であり、通常の技能を有する者は、記載されている処理エンティティの実施形態を、（プロセッサ140と同様に）回路にハードコードされる、あるいは（記憶装置150と同様に）記憶装置から取得されて実行されるものとして変更することができる。
以下では、プロセッサ140および記憶装置150の図示されているコンポーネントが、説明される。
デジタイザ105は、ユーザ101からの音声をデジタル化し、例えば、アナログ−デジタル変換器を備えている。オプションとして、デジタイザ105は、音声入力機能102cに統合することができる。復号器109は、音響モデル（図示していない）を適用し、かつ105からのデジタル化された音声信号、すなわち、ユーザの発声を表音データに変換する手段、を備えている。音素認識エンジン134は、音声入力における音素を認識するように機能する。音素認識エンジンは、この技術分野において公知の任意の手法を採用して、例えば、音素の各入力に対する候補のリストと、それに関連付けられる合致確率とを提供することができる。認識エンジン111は、109からのデータを、言語データベース119における辞書および／または言語モデルに基づいて分析し、このような分析は、オプションとして、使用頻度あるいは使用の最新性(recency)、テキストバッファ113における前後の文脈などを含む。1つの実施例においては、エンジン111は、1つ以上のN−best仮説リストを生成する。
システム100の別のコンポーネントは、デジタイザ107である。このデジタイザは、手書き文字入力102aに基づいてデジタル出力を提供する。ストローク／文字認識エンジン130は、デジタイザ107によって出力されるブロック文字、草書体、縮小文字、表意文字、またはその他の手書き文字に対して、手書き文字認識を実行するモジュールである。ストローク／文字認識エンジン130は、この技術分野において公知の任意の手法を採用して、ストロークおよび文字の各入力に対する候補のリストと、それに関連付けられる合致確率とを提供することができる。
プロセッサ140は、さまざまな不確定さ解消エンジン115、例えば、この例においては、単語の不確定さ解消エンジン115a、句の不確定さ解消エンジン115b、文脈の不確定さ解消エンジン115c、およびマルチモード不確定さ解消エンジン115dを、さらに含む。
不確定さ解消エンジン115は、言語データベース119（後から説明されている）の中の、好ましくは使用頻度または使用の最新性を含む辞書および／または言語モデルに基づき、オプションとして、テキストバッファ113における前後の文脈に基づいて、マニュアル入力および／または音声入力の可能な解釈を求める。一例として、エンジン115は、ディスプレイ102eを介してユーザ101に表示できるように、最良の解釈をテキストバッファ113に追加する。すべての解釈は、後から選択および訂正できるようにテキストバッファ113に格納しておくことができ、確認できるようにディスプレイ102eを介してユーザ101に提示することができる。
マルチモード不確定さ解消エンジン115dは、不確定な入力シーケンスおよび／または解釈を、認識エンジン111からの音声認識の最良の解釈またはN−best解釈と比較し、修正された解釈を、インタフェース102を介して対話式に確認できるように、ユーザ101に提示する。代替実施例においては、認識エンジン111は、不確定さ解消エンジン115に組み込まれており、より多様な、または効果的なアルゴリズムを提供する目的で、各々のモードからの入力処理の固有部分として、相互の不確定さ解消が行われる。別の実施例においては、エンジン115の機能は、認識エンジン111に組み込むことができ、この場合、複合的な仮説探索のため、不確定な入力およびベクトルまたは音素タグが音声認識システムに送られる。
別の実施例においては、認識エンジン111は、マルチモード不確定さ解消エンジン115dからの不確定な解釈を使用して、言語データベース119からの辞書をフィルタリングまたは抜粋し、それを使用して1つ以上のN−bestリストを生成する。別の実施例においては、マルチモード不確定さ解消エンジン115dは、N−bestリストの中の不確定な解釈および／または単語の文字（グラフ）を、認識エンジン111によって解釈できるようにベクトルまたは音素にマッピングする。
認識エンジン111および不確定さ解消エンジン115は、ユーザ101が明示的に綴った、または予測された新規の単語または句を追加するためと、ユーザ101によってエントリされたまたは訂正された単語および句の使用頻度または使用の最新性を反映させるために、1つ以上の言語データベース119を更新することができる。エンジン111, 115によるこのアクションは、自動的に行う、またはユーザの特定の指示時に行うことができる。
1つの実施例においては、エンジン115は、認識プロセスおよび／または不確定さ解消プロセスのさまざまな部分のための個別のモジュールを含んでおり、この例においては、単語ベースの不確定さ解消エンジン115a、句ベースの認識または不確定さ解消エンジン115b、文脈ベースの認識または不確定さ解消エンジン115c、マルチモード不確定さ解消エンジン115d、その他を含む。一例においては、認識および不確定さ解消のためのコンポーネント115a〜115dのいくつか、またはすべては、音声認識およびキー数削減パッド入力という異なる入力モード間で共有されている。
1つの実施例においては、文脈ベースの不確定さ解消エンジン115cは、ユーザのアクションの状況的側面を、入力の不確定さ解消に向けて適用する。例えば、複数の語彙156（後に説明される）が存在する場合、エンジン115cは、選択されたユーザの場所（例：ユーザが仕事中か、または在宅中か）、時刻（例：勤務時間か、または自由時間か）、メッセージの受信者などの条件に基づいて、語彙のうちの1つを選択する。
記憶装置
記憶装置150は、アプリケーションプログラム152と、語彙156と、言語データベース119と、テキストバッファ113と、オペレーティングシステム154とを含む。アプリケーションプログラムの例としては、ワードプロセッサ、メッセージングクライアント、外国語翻訳器、音声合成ソフトウェアなどが挙げられる。
テキストバッファ113は、デバイス100によって実行されているいずれかまたはすべてのアプリケーションの1つ以上の入力フィールドの内容を含む。テキストバッファ113は、すでにエントリされた文字と、テキストを再編集するために必要な支援情報、例えば、元のマニュアル入力または音声入力の記録、あるいは文脈的な予測または段落の書式設定のための記録を含む。
言語データベース119は、辞書、言語モデル、その他の言語情報などの情報を含む。語彙156の各々は、複数の所定の単語、文字、句、あるいは、デバイス100の特定の用途に適切なその他の言語上の構成要素を含む、または生成することができる。語彙156の1つの特定の例は、単語リスト156a、句リスト156b、表音／音調テーブル156cを使用する。システム100は、適切な場合、複数の異なる用途、例えば、異なる言語、異なる産業（例：医学、法律、部品番号）用の語彙を含むことができる。「単語」は、任意の言語オブジェクト、例えば、単語、語幹、接頭辞または接尾辞、音節、略語、チャットスラング、顔文字、ユーザIDまたはその他のデータ識別子、URL、または表意文字シーケンスを形成する、1つ以上の文字または記号の文字列、を言及するために使用されている。同様に、「句」は、言語またはアプリケーションの表記規則に応じてスペースまたは何らかのその他の区切り子によって隔てられている単語のシーケンスを言及するために使用されている。後から詳しく説明するように、単語156aは、表意言語の文字を含むこともでき、その場合、句は、そのような文字の論理的なグループによって形成される句を含む。オプションとして、語彙の単語リストおよび／または句リストは、データベース119に格納しておく、またはデータベース119から生成することができる。
一例においては、単語リスト156aは、入力モードの間で語彙の違いが存在しないように、すべてのモードを対象とする、言語における既知の単語のリストを含む。単語リスト156aは、言語における対応する単語の使用頻度をさらに含むことができる。1つの実施例においては、言語の単語リスト156aの中にない単語は、頻度がゼロであると見なされる。これに代えて、未知の単語または新たに追加された単語に、非常に小さい使用頻度を割り当てることができる。未知の単語に対して、想定上の使用頻度を用いることにより、既知の単語と未知の単語とを実質的に類似する方式で処理することができる。使用の最新性も、頻度を計算および比較するうえでの要因とすることができる。単語リスト156aは、単語ベースの認識または不確定さ解消エンジン115aと一緒に使用して、パターン認識エンジン（例：ストローク／文字認識エンジン130または音素認識エンジン134）の結果に基づいて決定された単語候補を順位付けする、削除する、および／または選択することができ、また、ユーザ入力の一部に基づいて単語を予測して単語を完成させることができる。
同様に、句リスト156bは、2つ以上の単語を含む句のリストと、使用頻度情報とを含むことができ、句ベースの認識または不確定さ解消エンジン115bは、これらのリストおよび情報を使用して、単語を予測して句を完成させることができる。
表音／音調テーブル156cは、表意要素に対して相互参照されている表音情報のさまざまな要素をリストしている、テーブル、リンクされたリスト、データベース、またはその他の任意のデータ構造を含む。表意要素としては、表意文字、表意部首(ideographic radical)、表語文字、一字一語法の記号(lexigraphic symbol)などが含まれ、これらは、例えば、単語リスト156aにリストすることができる。表音情報の要素の各々は、関連付けられる表意要素の発音、および／または、1つ以上の音調の発音などを含む。テーブル156cはオプションであり、システム100が英語言語、あるいはその他の表意言語でないアプリケーションに限定される場合、語彙156から省くことができる。
1つの実施例においては、プロセッサ140は、語彙156を自動的に更新する。一例においては、選択モジュール132は、更新の実行／要求の動作時に語彙を更新して、使用の最新性を追跡する、あるいは、タップしたままの単語が選択されたときに（後から詳しく説明されている）それを追加することができる。より一般的な例においては、プロセッサ140は、インストール時、あるいは、テキストメッセージまたはその他のデータを受け取ったときに継続的に、または別の時点において、自身の語彙に追加される単語がないか、情報ファイル（図示していない）を走査する。このような情報ファイルを走査する方法は、この技術分野において公知である。この例においては、オペレーティングシステム154または各アプリケーション152は、テキスト走査機能を起動する。走査中に新しい単語が見つかると、これらは低頻度単語として語彙モジュールに追加され、従って、それらの単語が関連付けられる単語リストの最後に置かれる。走査中に特定の新しい単語が検出される回数に応じて、関連付けられているリスト内でその単語を昇格させることによって、その単語により高い優先順位が割り当てられ、従って、情報のエントリ時に単語選択肢リストにその単語が現れる確率が増す。システムは、コンテキスト、例えば、メッセージにおけるXMLタグあるいは前後のテキストに応じて、新しい単語を関連付ける適切な言語を決定することができる。新規の単語には、以降の認識においてその表音形式に到達する目的で、現在の言語または決定された言語の標準的な発音規則を適用することができる。オプションとして、プロセッサ140は、ユーザの設定入力に応答して、可能性のある単語のリストの先頭または最後に、例えば特殊な配色または強調表示を用いて追加の語彙単語を表示させることができ、あるいは、システムは、直前の受け入れられた、または訂正された1つ以上の単語をどの語彙モジュールが供給したかに基づいて、単語の順位または順序を自動的に変更することができる。
1つの実施例においては、一般的な綴り誤りおよびキーエントリの誤りのための置換単語を含むこともできる。語彙156は、デバイス100の製造業者において設定するか、インストール時、初期設定時、再設定時、またはそれ以外の機会に設定することができる。さらに、語彙156は、Web接続、ダウンロード、拡張カードの装着、ユーザ入力、またはその他のイベントによって、更新された情報を検出したとき、自身で更新を行うことができる。
例示的なデジタルデータ処理装置
上述したように、本開示に記載されているデータ処理エンティティは、さまざまな形態に実施することができる。一例は、図5のデジタルデータ処理装置500のハードウェアコンポーネントおよび相互接続によって例示されているデジタルデータ処理装置である。
装置500は、デジタルデータ記憶装置504に結合されているプロセッサ502（例：マイクロプロセッサ、パーソナルコンピュータ、ワークステーション、コントローラ、マイクロコントローラ、状態機械、またはその他の処理機械）を含む。本例においては、記憶装置504は、高速アクセス記憶装置506と不揮発性記憶装置508とを含む。高速アクセス記憶装置506は、ランダムアクセスメモリ（「RAM」）を備えていることができ、プロセッサ502によって実行されるプログラミング命令を格納するために使用することができる。不揮発性記憶装置508は、例えば、バッテリバックアップRAM、EEPROM、フラッシュPROM、1つ以上の磁気データ記憶ディスク（例：ハードディスク）、テープドライブ、またはその他の任意の適切な記憶装置を備えていることができる。装置500は、入力／出力510、例えば、ライン、バス、ケーブル、電磁リンク、あるいはプロセッサ502が装置500の外部の別のハードウェアとデータを交換するためのその他の手段、も含む。
上記の特定の説明にもかかわらず、（本開示の恩恵を有する）通常の技能を有する者は、上に説明されている装置を、本発明の範囲から逸脱することなく、別の構造の機械に実施できることを認識するであろう。具体的な例として、コンポーネント506, 508の一方を省略することができ、さらには、記憶装置504、506、および／または508をプロセッサ502に組み込む、あるいは装置500の外側に設けることもできる。
信号担持媒体
上に説明されているデジタルデータ処理装置とは異なり、本開示の別の観点は、そのようなデジタル処理装置によって実行可能な機械可読命令のプログラムを明白に具体化している1つ以上の信号担持媒体に関する。一例においては、機械可読命令は、後から詳しく説明されている動作など、本開示に関連するさまざまな機能が行われるように実行することができる。別の例においては、命令が実行されると、ソフトウェアプログラムがコンピュータにインストールされ、そのようなソフトウェアプログラムは、後から説明されている動作など、本開示に関連する別の機能が行われるように独立して実行することができる。
いずれの場合にも、信号担持媒体は、さまざまな形態をとることができる。図5のコンテキストにおいては、そのような信号担持媒体は、例えば、記憶装置504、あるいは、プロセッサ502によって直接的または間接的にアクセス可能である別の信号担持媒体（例：光記憶ディスク300（図3））を備えていることができる。命令は、記憶装置506、ディスク300、またはそれ以外の場所に含まれているかにかかわらず、さまざまな機械可読データ記憶媒体に格納することができる。いくつかの例として、直接アクセス記憶装置（例：従来のハードディスク、安価なディスクの冗長アレイ（「RAID」）、または別の直接アクセス記憶装置（「DASD」））、シリアルアクセス記憶装置（例：磁気テープまたは光テープ、不揮発性メモリ（例：ROM、EPROM、フラッシュPROM、EEPROM）、バッテリバックアップ式RAM、光記憶装置（例：CD−ROM、WORM、DVD、デジタル光テープ）、またはその他の適切な信号担持媒体が挙げられる。1つの実施例においては、機械可読命令は、言語（例：アセンブリ言語、C）からの、コンパイル済みのソフトウェアオブジェクトコードを含むことができる。
論理回路
上に説明されている信号担持媒体およびデジタルデータ処理装置とは異なり、本開示の別の実施例では、コンピュータによって実行される命令の代わりに、論理回路を使用して、本開示の処理エンティティを実施する。この論理回路は、速度、コスト、ツーリングコストなどの領域における、アプリケーションの特定の要件に応じて、数千の小さな集積トランジスタを有する特定用途向け集積回路（ASIC）を構築することによって実施することができる。図4は、回路400の形式における一例を示している。このようなASICは、CMOS、TTL、VLSI、またはそれ以外の適切な構造を使用して実施することができる。別の代替構造としては、デジタル信号処理チップ（DSP）、個別回路（例：抵抗器、キャパシタ、ダイオード、インダクター、トランジスタ）、フィールドプログラマブルゲートアレイ（FPGA）、プログラマブルロジックアレイ（PLA）、プログラマブル論理デバイス（PLD）などが挙げられる。
動作
ここまで、本開示の構造上の特徴について説明してきたが、以下では、本開示の動作の面について説明する。上述されているように、本開示の動作の面には、一般的には、ハンドヘルドモバイルデバイスのテキストエントリツールによりエントリされた本質的に不確定なユーザ入力を確定するためのさまざまな手法が含まれる。
動作シーケンス
図6は、本開示の方法の一例を説明するためのシーケンス600を示している。1つの用途においては、このシーケンスは、ハンドヘルドデジタルデータ処理デバイスのテキストエントリツールによりエントリされた本質的に不確定なユーザ入力を確定するように機能する。説明を容易にするため、図6の例は、上に説明されている図1のデバイスのコンテキストにおいて説明されているが、これは何らの制限を意図するものではない。
ステップ602において、ユーザインタフェース102のテキスト入力ツール（例：デバイス102aおよび／または102b）は、文字の複数の可能な組合せを表しているユーザ入力を受け取る。デバイスの構造に応じて、ステップ602のいくつかの例として、キーの各々が複数の英数字に対応している電話のキーパッドを介してユーザ入力を受け取るステップ、あるいは、手書き文字デジタイザを介して入力を受け取るステップ、あるいは、コンピュータディスプレイおよび同一場所に位置するデジタイジング面を介して入力を受け取ることステップなどが挙げられる。
ステップ604において、デバイスは、受け取ったユーザ入力を、他のユーザ入力とは無関係に、語彙156および／または言語データベース119に照らして解釈し、複数の単語候補を求め、これらの単語候補は、「入力シーケンスの解釈」または「選択リストの選択肢」と称することもできる。より具体的な例として、単語リスト156aを使用することができる。
1つの実施例においては、エンジン130、115a、115bのうちの1つが、ユーザエントリを処理し（ステップ604）、ここまでのユーザ入力に対する可能な解釈を求める。各々の単語候補は、以下のうちの1つを含む。
（1）ユーザ入力が、語幹、語根、音節、または接辞を形成している単語
（2）ユーザ入力が、1つ以上の単語または単語の一部を形成している句
（3）ユーザ入力によって表される完全な単語
従って、「単語候補」における用語「単語」は、簡便に説明する目的で使用されており、技術的な意味における「単語」には必ずしも制限されない。いくつかの実施例においては、例えば、膠着言語、あるいは句構造が動詞を中心としており、目的語および主語、ならびにその他の不変化詞が後ろまたは前に付く言語では、「ルート」単語のみのユーザ入力（ステップ602）が必要とされる。さらに、解釈604は、（1）候補の各々が、ユーザ入力に対応する文字から始まる、（2）候補の各々が、ユーザ入力に対応する文字を含んでおり、それらの文字が候補の先頭の文字と最後の文字との間に現れる、ように実行することができる。
さまざまな実施例においては、例えば、マニュアルキー入力102bが、タッチスクリーンデバイスに表示される自動訂正キーボードであるとき、解釈604は、（ユーザの入力の最良の解釈である各文字（例：スタイラスによる各タップに最も近い文字）を含む文字シーケンス（不確定でない解釈または「タップしたままの」シーケンス）を含んでおり、ユーザは、目的の単語が言語データベース119にまだ存在しない場合、（ステップ614において）このシーケンスを選択することができる。いくつかの実施例においては、例えば、マニュアルキー入力102bがキー数削減ボード（例：標準の電話キーパッド）であるとき、不確定でない解釈は、キーシーケンスの2つのキーまたは複数タップ解釈である。いくつかの実施例においては、ユーザがそのような不確定でない解釈を選択すると（ステップ614、後述されている）、デバイスは、自動的に、またはユーザが要求あるいは確認したときに、その不確定でない解釈を、選択モジュール132の指示のもとに語彙に追加する。
一例においては、解釈ステップ604では、発音区別記号が必要であることをユーザが指示することなしに、各単語の正しい文字の上に付加記号（例：母音アクセント）を付ける。
ステップ606において、エンジン115、130、115a、115bのうちの1つ以上は、ユーザの意図を表している確率に従って、候補単語を順位付けする。順位付け動作606では、基準、例えば、候補単語が語彙156の中に存在しているか、一般的な使用における候補単語の使用頻度、そのユーザによる候補単語の使用頻度などを用いることができる。順位付け動作606のための使用頻度およびそれ以外のそのようなデータは、語彙モジュール156および／または言語データベース119から取得することができる。ステップ606は、オプションであり、処理量、処理時間、メモリなどを節約するために省くことができる。
ステップ608においては、プロセッサ140は、ユーザが見ることができるように候補をインタフェース102に視覚的に提示する。候補が（ステップ606に従って）順位付けされる実施例においては、ステップ608の提示は、その順序に従うことができる。オプションとして、ステップ608では、最も高く順位付けされた候補に注意が向けられるように、例えば、表示されているカーソルの位置にその候補を挿入する、あるいは別の手法（例：太字、強調表示、下線）を使用することによって、最も高く順位付けされた候補を表示することができる。
ステップ610においては、プロセッサ140は、ディスプレイ102eまたはオーディオ出力102dを使用して、入力を発声するようにユーザに指示する。さらに、ステップ610においては、プロセッサ140は、音声入力デバイス102cおよびフロントエンドデジタイザ105とを介して、ユーザの発声された入力を受け取る。一例においては、ステップ610は、可聴プロンプト（例：「単語を選択してください」と発声する合成音声）、視覚メッセージ（例：「句を発声して選択してください」と表示する）、アイコンメッセージ（例：カーソルの外観を変化させる、LEDを点灯する）、グラフィックメッセージ（例：表示の外観、色などを変化させる）、またはその他の適切なプロンプトを含む。1つの実施例においては、ステップ610におけるユーザ入力の要求は省略することができ、その場合、そのようなプロンプトが使用される。
1つの実施例においては、デバイス100は、少数、すなわち、キー数削減パッド上のキーの数、あるいは、文語における一意の文字の数、または口語における子音および母音の数、の一意の入力を表す限られた一連の音声発声を要求する、または発声することができる。少数の個別の発声は、混同性を低くし、結果的に認識精度を高めるために選択され、単語ベースおよび／または句ベースの不確定さ解消エンジンを使用して、テキストに変換される。この機能は、ノイズの多い環境、あるいはプライベートでない環境において特に有用であり、また、音声の使用が限られる、一時的または永久的な障害をもつ人にとって極めて重要である。認識される発声としては、舌打ち(mouth click)、その他の言葉以外の音が挙げられる。
ステップ612において、言語パターン認識エンジン111は、ステップ610からのユーザの発声された入力を表しているデータに、音声認識を適用する。一例においては、音声認識612では、156a, 156bにおける単語の語彙および／または句の語彙を使用する。別の例においては、音声認識612では、限られた語彙、例えば、（602からの）最初のマニュアル入力と合致する最も可能性の高い解釈、またはステップ608において表示された候補を使用する。これに代えて、可能性のある単語および／または句、または最初のマニュアル入力と合致する最も可能性の高い解釈のみを、音声認識ステップの辞書として使用する。このことは、発声された入力の間違った解釈および無関係の解釈を排除するうえで役立つ。
1つの実施例においては、ステップ612は、文脈が与えられたとき、音響入力信号を、可能性のある音声に合致するベクトルのデジタルシーケンスに変換する復号器109などのコンポーネントによって実行される。復号器109は、表音形態を辞書および言語モデルに照らして合致を見つけ、各発声に対する単語および／または句のN−bestリストを作成する。マルチモード不確定さ解消エンジン115dは、両方のリストに現れている単語のみが保持されるように、これらをマニュアル入力に照らしてフィルタリングする。
従って、電話キーの各々にマッピングされている文字（例：「2」キーにおける「A B C」）は、一般には音響的に似ていないため、システムは、一般的には不確定な音、例えば破裂音／b／または／p／が「p」である可能性を効果的に除外することができ、なぜなら、ユーザが（「P Q R S」を含む）「7」キーではなく（「A B C」を含む）「2」キーを押したためである。同様に、システムは、確定すべき不確定な文字が、自動訂正QWERTYキーボードにおける隣接キー「I O P」ではなく隣接キー「V B N」をタップすることによって入力されたとき、「p」を除外することができる。同様に、システムは、不確定な手書き文字が、「P」または「R」よりも「B」または「3」に近いとき、「p」を除外することができる。
オプションとして、ユーザが、言語における適切な入力（スペースなど）によって区切られた2つ以上の不完全または完全な単語を連続して入力する場合、言語パターン認識エンジン111またはマルチモード不確定さ解消エンジン115dは、その情報をガイドとして使用して、ユーザの連続的な音声を分割し、単語の間の境界を探す。例えば、前後の音素の解釈が、スペースによって区切られた2つの部分的入力に強く合致する場合、システムは、連続的な発声を2つの個別の単語に分割するための最良の場所を求める。別の実施例においては、最も高く順位付けされる音声認識解釈に良好に合致させる目的で、例えば、マニュアル入力シーケンスにおいてユーザが誤って文字を追加する、あるいは文字が抜けることに対処するため、「soundex」規則によって、マニュアル入力の解釈を見直す、または優先させる。
ステップ614は、マルチモード不確定さ解消エンジン115d、選択モジュール132などのコンポーネントによって実行される。ステップ614では、以下のアクションのうちの1つ以上を実行する。1つの実施例においては、認識された音声が、候補の1つに合致する発声を形成している場合、それに応答して、デバイスは、その候補を選択する。言い換えれば、ユーザが、表示された候補の1つを発声した場合、その候補が選択される。別の実施例においては、認識された音声が候補の拡張形を形成している場合、それに応答して、デバイスは、その拡張された候補を選択する。この例として、表示されている候補リストに「national」が含まれているときに、ユーザが「nationality」と発声すると、デバイスは、「nationality」を選択する。別の実施例においては、認識された音声が、候補の1つを拡張するコマンドを形成している場合、それに応答して、マルチモード不確定さ解消エンジン115d、またはコンポーネント115, 132の一方は、語彙156または言語データベース119から、その候補を一部分として含む1つ以上の単語または句を取得し、ユーザが選択できるようにそれらを視覚的に提示する。拡張形としては、候補が接頭辞、接尾辞、語根、音節、またはその他の構成要素となっている単語が挙げられる。
オプションとして、音素認識エンジン134および言語パターン認識エンジン111は、実際に選択される単語または句の解釈を元の表音データと比較することによって認識精度を高めるため、公知の音声認識機能を採用することができる。
動作の例
図7〜図11は、図6を説明するためのさまざまな例示的なシナリオを示している。図7は、文字をエントリさせるための手書きの使用と、そのエントリを完成させるための音声の使用とを説明するため、ディスプレイ701の内容（102eの一例である）を示している。最初に、ステップ602において、デバイスは、ユーザ入力として、デジタイザ700において手書きされた文字「t e c」を受け取る。デバイス100は、これらの文字を解釈し（604）、順位付けし（606）、順位付けされた候補の視覚的な出力702／704を提供する。スクリーンサイズの制限のため、リスト702／704にはすべての候補は提示されない。
「tec」は語彙中の単語ではないが、デバイスは、これを候補単語704の1つとして含める（ステップ604）。すなわち、「tec」は、「タップしたままの」単語の選択肢、すなわち個々の文字の各々の最良の解釈として示される。デバイス100は、最も高く順位付けされた候補（702）を、それが他と区別されるような方式で自動的に提示する。この例においては、最も高く順位付けされている候補「the」が、リスト704の最初に提示される。
ステップ610において、ユーザは、システムによって提示された単語「the」ではなく、ステップ602においてエントリされた単語を選択する目的で、／tek／と発声する。これに代えて、ユーザは、「二番目（second）」と発声する（「tec」はリスト704における二番目であるため）、または、リスト704から「tec」を選択するための別の入力を行うことができる。デバイス100は、この単語をユーザの選択として受け入れ（ステップ614）、図8に示されているように、カーソル位置に「t−e−c」とエントリさせる。ステップ614の一部として、デバイスは、候補リスト704の提示を削除する。
別の実施例においては、図7を参照して、ユーザは、完全な単語「technology」をエントリさせる過程として、「t」、「e」、「c」とエントリさせる（ステップ602）。この実施例においては、デバイスは、順位付けされた候補の視覚的な出力702／704を提供し、最も高く順位付けされた候補を、図7におけるようにカーソルの横に（702）自動的にエントリさせる。しかしながら、次いで、ユーザは、図8とは異なり、これを「tec」の拡張形として選択する目的で、
Figure 0004829901
と発声する（610）。リスト702／704には視覚的に示されていないが、単語「technology」は、実際には候補のリストに含まれており、ユーザがリストをスクロールすることによって表示させることができる。この場合、ユーザは、スクロールを行わずに
Figure 0004829901
と発声し、この時点で、デバイスは、ユーザの選択として「technology」を受け入れ（ステップ614）、図9に示されているように、カーソル位置に「technology」をエントリさせる。ステップ614の一部として、デバイスは、候補リスト704の提示を削除する。
図10は、文字をエントリさせるためのオンスクリーンキーボードの使用と、そのエントリを完成させるための音声の使用とを説明するための別の例を示している。オンスクリーンキーボードは、例えば、特許文献３に教示されているように実施することができる。図10の例においては、ユーザは、スタイラスによって文字シーケンス「t」、「e」、「c」をタップする（ステップ602）。これに応答して、デバイスは、単語選択肢リスト1002、すなわち、「rev、tec、technology、received、recent、record」を提示する（ステップ608）。リスト1002の中の単語、例えば、「technology」（リスト1002の中に表示されている）あるいは「technical」（リスト1002の中に存在するが表示されていない）をユーザが発声する（610）ことに応答して、デバイスは、その単語をユーザの意図として受け入れ（ステップ614）、その単語をカーソル位置1104にエントリさせる。
図11は、文字をエントリさせるためのキー数削減（キーの各々が複数の英数字に対応している）のキーボードの使用と、そのエントリを完成させるための音声の使用とを説明するための別の例を示している。この例においては、ユーザは、ハードキー8 、3、 2とエントリさせ、文字シーケンス「t」、「e」、「c」を示す（ステップ602）。これに応答して、デバイスは、単語選択肢リスト1102を提示する（ステップ608）。リスト1102の中の単語、例えば、「technology」（リスト1102の中に表示されている）あるいは「teachers」（リスト1102の中に存在するが表示されていない）をユーザが発声する（610）ことに応答して、デバイスは、その単語をユーザの意図として受け入れ（ステップ614）、選択された単語をカーソル位置1104にエントリさせる。
表意言語の場合の例
広義には、本開示の多くの観点は、キー数削減ボードまたは手書き文字認識器を有するデバイスにおいて表意文字によって書かれる言語用のテキストエントリシステムに適用することができる。例えば、標準の電話キー「7」（「7」キーにはピンイン文字「P Q R S」がマッピングされている）を押すと、音節「qing」あるいは「ping」のエントリが始まる。目的の音節／tsing／を発声すると、システムは、最初の書記素が「p」ではなく実際には「q」であることをただちに判断することができる。同様に、筆順入力システム(stroke−order input system)では、ユーザが目的の文字の最初のストロークカテゴリを表す1つ以上のキーを押した後、音声認識エンジンは、そのようなストロークカテゴリで始まる中国文字のみの発音に照らして合致を見つけることができ、両方の入力のより良好な解釈を提供することができる。同様に、手書き表意文字の認識エンジンを使用して1つ以上の文字を書き始めることにより、音声の解釈をガイドする、またはフィルタリングする、あるいは分析する辞書を見直すことができる。
不確定な筆順エントリシステムまたは手書き文字認識エンジンは、どの手書きストロークが意図されたのかを明確に決定することはできないが、ストロークの解釈と音響解釈の組合せによって、2つの入力モードの不確定さが十分に確定されて、意図された文字がユーザに提示される。本開示の1つの実施例においては、音声認識ステップは、表意言語のための従来の筆順エントリシステムまたは手書き文字システムにおける入力シーケンスに基づいて表示されている文字、単語、または句から、文字、単語、または句を選択するために使用される。別の実施例においては、音声認識ステップは、表音入力システムにおける不確定さをさらに解消するため、音調情報を追加する目的で使用される。表意言語に関連する実施の詳細は、以下にさらに詳しく説明されている。
図12は、本開示の方法の観点の別の例を説明するためのシーケンス1200を示している。このシーケンスは、表意文字から成る単語および句のユーザエントリを支援する目的で、本質的に不確定なユーザ入力を確定するように機能する。これらの例においては用語「表意」が使用されているが、動作1200は、多くの異なる表語体系、表意体系、一字一語体系、形態音節体系(morpho−syllabic)、あるいは、個々の単語、概念、音節、形態素などを表すのに文字を使用するその他の書記体系において、実施することができる。本文書における「表意文字」は、制限なしに使用されており、中国の象形文字、中国の表意文字、中国語の直説法(Chinese indicative)、中国の音形複合文字(sound−shape compounds)（音韻文字(phonologograms)）、日本の文字（漢字）、韓国の文字（ハンジャ）、およびその他のそのような体系を含むものとする。さらに、システム100は、特定の標準、例えば、伝統的な中国文字、簡略化された中国文字、または別の標準を対象として実施することができる。説明を容易にするため、図12の例は、上述されている図1のコンテキストにおいて説明されているが、何らの制限を意図するものではない。
ステップ1202において、入力デバイス102a／102bの一方は、1つ以上の意図された表意文字または構成要素を識別するために使用されるユーザ入力を受け取る。ユーザ入力は、手書きストローク、手書きストロークのカテゴリ、表音綴り(phonetic spelling)、音調入力などを指定することができる。このアクションは、デバイス100の構造に応じて、さまざまな方法において実行することができる。一例として、キーの各々がストロークカテゴリに対応する電話のキーパッド（102b）を介してユーザエントリを受け取る。例えば、特定のキーが、下向きに傾いたストロークすべてを表すことができる。別の例として、手書き文字デジタイザ（102a）、あるいはジョイスティックなどの方向入力デバイス102（動作の各々がストロークカテゴリにマッピングされている）を介して、ユーザエントリを受け取る。一例においては、ステップ1202では、ユーザが目的の1つ以上の表意文字をエントリさせるために行う手書きストロークエントリを、インタフェース102が受け取る。さらに別のオプションとして、ステップ1202は、タッチ面または一連の小さな機械式キーのための自動訂正キーボードシステム（102b）によって実行することができ、この場合、ユーザは、1つ以上の表意文字の表音綴り、構成要素、またはストロークの一部またはすべてをおおまかにエントリさせる。
ステップ1202において入力を受け取るためのさまざまなオプションは、参考文書、すなわち、特許文献４、特許文献５、特許文献６、特許文献７、および特許文献８に記載されており、各文書は、本文書に参照文献として組み込まれている。
さらに、ステップ1202においては、デバイスは、受け取ったユーザ入力を、他のユーザ入力には関係なく、第一語彙に照らして解釈し、各々が少なくとも1つの表意文字を含む複数の候補を生成する。より具体的には、デバイスは、受け取ったストローク、ストロークカテゴリ、綴り、音調、またはユーザによるその他のマニュアル入力を、語彙156（例：156a）からの文字リストに照らして解釈し、ユーザのマニュアル入力に矛盾しない、語彙中の候補を識別する。ステップ1202では、オプションとして、手書き入力に対するパターン認識および／またはストロークフィルタリングを実行し、その時点までのユーザの入力を表しうる候補の文字を識別することができる。
オプションであるステップ1204においては、不確定さ解消エンジン115は、（1202からの）識別された候補の文字を、ユーザが自身のエントリによって意図した文字をこれらの文字が表している確率に基づいて、順序づける。この順位付けは、情報、例えば、（1）さまざまな文語形態または口語形態における各文字の一般的な使用頻度、（2）ユーザ自身の使用頻度または使用の最新性、（3）先行する文字および／または後に続く文字によって形成される文脈、（4）その他の要因、に基づくことができる。頻度情報は、言語データベース119に暗黙的または明示的に格納しておくことができ、または、必要なときに計算することができる。
ステップ1206において、プロセッサ140は、利用可能な表示空間のサイズおよびその他の制約に応じて、（1202または1204からの）候補のいくつかまたはすべてを、ディスプレイ102eに視覚的に提示する。オプションとして、デバイス100は、スクロールリストの形式で候補を提示することができる。
1つの実施例においては、ステップ1206の表示アクションは、提示される候補のセット（1204, 1206）を継続的に更新し（およびほとんどの場合には絞り）、かつユーザが候補の文字を選択するかまたは入力を続行できる（1202）ようにするため、新たなユーザ入力の各々の後に繰り返される。別の実施例では、システムにおいて、構成する文字のいずれか1つ以上を表示する（1206）前に、単語全体または句全体を入力する（1202）ことができる。
1つの実施例においては、ステップ1202、1204、および1206は、1文字の候補と複数文字の候補の両方に対応することができる。この場合、現在の入力シーケンスが、単語または句の複数の文字を表している場合、ステップ1202、1204、および1206では、1文字の候補ではなく複数文字の候補を識別する、順位付けする、および表示する。この実施例を実施するため、ステップ1202では、ユーザが先行する文字の入力（例：ストローク）を停止して次の文字のエントリを開始するであろうことのシステムへの信号として、所定の区切り子を認識する。このような区切り子は、明示的にエントリされる（例：スペースまたはその他の所定のキー）か、または、ユーザエントリの状況（例：表示される別のボックスまたは画面領域に別の文字をエントリさせることによる）から暗黙的に判定することができる。
ユーザは、音声認識機能（後から説明されている）を起動させることなく、インタフェース102を動作させるステップ（1212）に進み、ステップ1206において提示された選択の1つを受け入れることができる。これに代えて、ユーザが選択を行わない（1212）場合、ステップ1206から自動的にステップ1208に進み、音声入力を受け取ることができる。さらに別のオプションとして、ステップ1206において、インタフェース102は、可聴プロンプト、視覚メッセージ、アイコンメッセージ、グラフィックメッセージ、またはその他のプロンプトによって、発声するようにユーザを自動的に指示することができる。ユーザが発声した時点で、シーケンス1200は、1206から1208に進む。さらに別の代替オプションとして、インタフェース102は、「発声」ボタンを押す、または、マイクロフォンを使用可能にする他のアクションを行って音声認識ステップ1208を起動するように、ユーザに要求する（ステップ1206）ことができる。別の実施例においては、マニュアル入力と音声入力は、ほぼ同時である、または重なる。実際には、ユーザは、タイプ入力している文字を発声する。
ステップ1208において、システムは、ユーザの発声された入力をフロントエンドデジタイザ105を介して受け取り、言語パターン認識エンジン111は、ユーザの発声された入力を表すデータに音声認識を適用する。1つの実施例においては、言語パターン認識エンジン111は、表音形態を、音節および単語の辞書（言語データベース119に格納されている）に照らして合致を見つけ、各発声に対する、音節、単語、および／または句のN−bestリストを作成する。次いで、不確定さ解消エンジン115は、表音形態がN−bestリストに現れている候補のみが保持される（またはステップ1210において最も高く順位付けされる）ように、そのN−bestリストを使用して、ストローク入力からの1文字または複数文字の候補の表音綴りの一致を見つける。別の実施例においては、システムは、マニュアルでエントリされた表音綴りを辞書および言語モデルとして使用し、発声された入力を認識する。
1つの実施例においては、マニュアル入力モードからの入力の一部またはすべては、各音節の最初の文字のみ、または各単語の子音のみを表している。システムは、音節または子音のマーカー(consonant marker)を使用して音声入力を認識および順位付けし、単語または句の正しい付加文字または母音を入力する。例えば、日本語のテキストをエントリさせる場合、キーパッドのキーの各々は、50音表における子音の行にマッピングされており、音声認識は、各音節の正しい母音または「列」を決定するうえで役立つ。別の実施例においては、マニュアル入力モードからの入力の一部またはすべては、不確定ではない。これにより、図1における単語不確定さ解消エンジン115aの必要性を低減する、または排除することができるが、マルチモード不確定さ解消エンジン115dは、目的の完全な単語または句に、他のすべての可能性のある候補よりも高い優先順位を与える目的で、あるいは間に入っている母音を識別する目的で、音声入力の合致を見つけるために依然として必要である。
さらに、インド系言語などのいくつかの言語においては、語彙モジュールは、先行する入力と、考慮されている単語候補とが与えられたときに、単語の構成要素のどの候補が可能であるかまたは可能性が高いかを判断するための、単語の構成要素の有効なシーケンスのテンプレートを採用することができる。別の言語においては、性別に基づく発音規則は、目的のテキスト形式の不確定さをさらに確定して認識するうえで役立つ。
ステップ1208は、さまざまな方法において実行することができる。1つのオプションにおいては、認識された音声が、1206からの候補の1つの発音を含む発声を形成するとき、プロセッサ102は、その候補を選択する。別のオプションにおいては、認識された音声が、いずれかの候補の表音形態の発音を含む発声を形成するとき、プロセッサは、それらの候補以外の文字が表示されないように（1206からの）表示を更新する。さらに別のオプションにおいては、認識された音声が、候補のうちのいくつかを発音している可能性のある発声であるとき、プロセッサは、そのいくつかの候補以外が表示されないように表示を更新する。別のオプションにおいては、認識された音声が、1つ以上の候補に対応する1つ以上の音調特性を含む発声であるとき、プロセッサ102は、それらの候補以外の文字が表示されないように（1206からの）表示を更新する。
ステップ1208の後、ステップ1210において、残っている候補を、音声入力などの要因に従って順位付けする。例えば、ストロークまたはそれ以外のユーザ入力の最も可能性の高い解釈と、音声入力の最も可能性の高い解釈が、各文字、単語、または句の頻度情報と組み合わされて、ユーザが選択するための最も可能性の高い候補が提供されるように、言語パターン認識エンジン111は、確率情報をマルチモード不確定さ解消エンジン115dに提供することができる。追加の例として、順位付け（1210）は、別の要因または追加の要因、例えば、さまざまな文語形態または口語形態における各文字の一般的な使用頻度、ユーザ自身の使用頻度または使用の最新性、先行する文字および／または後に続く文字によって形成される文脈などを含むことができる。
ステップ1210の後、ステップ1210において生成された文字／句の候補を表示する目的で、ステップ1206を繰り返す。次いで、ステップ1212において、デバイスは、目的の候補をスタイラスによってタップするなど、何らかの入力手段102a／102c／102bによって示される、1文字または複数文字の候補のユーザの選択を受け入れる。システムは、選択を行うように、あるいは、追加のストロークまたは音声を入力するように、上述されている可視手段、可聴手段、またはその他の手段によってユーザに指示することができる。
1つの実施例においては、最も高く順位付けされた候補は、ユーザが次の文字のマニュアル入力シーケンスを開始したときに自動的に選択される。別の実施例においては、1210においてマルチモード不確定さ解消エンジン115dが1つの候補を識別してそれを他の候補よりも高く順位付けする場合、システム100は、さらなるユーザ入力を待つことなく、ステップ1212においてその候補を自動的に選択することができる。1つの実施例においては、選択された1つ以上の表意文字は、現在のアプリケーションにおけるテキストエントリフィールドの挿入ポイントに追加され、入力シーケンスがクリアされる。次いで、表示されている候補リストに、いま選択された1つ以上の文字に続く最も可能性の高い文字を表示することができる。
その他の実施例
上記の開示は、説明のための複数の実施例を示しているが、当業者には、請求項によって定義される本発明の範囲から逸脱することなく、本文書においてさまざまな変更および修正を行うことができることが明らかであろう。さらに、本明細書および請求項では、本発明の要素が1つであるとして記載されているが、1つに制限されることが明示的に述べられていない限りは、複数の存在が考慮されている。さらには、説明および請求項の記載を目的として、動作のシーケンスを何らかの特定の順序で記述しなければならないが、本発明は、そのような特定の順序以外のさまざまな変更を考慮していることが、通常の技能を有する者には認識されるであろう。
さらには、関連する技術分野における通常の技能を有する者には、情報および信号をさまざまな別の技術および手法を使用して表すことができることが理解されるであろう。例えば、本文書において言及されているデータ、命令、コマンド、情報、信号、ビット、記号、およびチップは、電圧、電流、電磁波、磁界または磁性粒子、光場または光学粒子、その他の要素、またはこれらの組合せによって表すことができる。
さらには、通常の技能を有する者には、本文書に説明されている例示的な論理ブロック、モジュール、回路、およびプロセスステップを、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実施できることが理解されるであろう。ハードウェアおよびソフトウェアのこの相互交換性を明確に示すため、上記の説明上のさまざまなコンポーネント、ブロック、モジュール、回路、およびステップは、一般にその機能面について説明されている。このような機能がハードウェアとして実施されるか、あるいはソフトウェアとして実施されるかは、特定の用途と、システム全体に課される設計上の制約とに依存する。当業者は、説明されている機能を、特定の各々の用途においてさまざまな方法で実施することができるが、そのような実施上の決定は、それに起因して本発明の範囲から逸脱するとは解釈されないものとする。
本文書に開示されている実施例に関連して説明されている、さまざまな説明上の論理ブロック、モジュール、および回路は、本文書に記載されている機能を実行するように設計されている汎用プロセッサ、デジタル信号プロセッサ（DSP）、特定用途向け集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）またはその他のプログラマブルロジックデバイス、個別のゲートロジックまたはトランジスタロジック、個別のハードウェアコンポーネント、あるいはこれらの任意の組合せによって、実施する、または実行することができる。汎用プロセッサは、マイクロプロセッサとすることができるが、代替形態においては、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械とすることができる。さらに、プロセッサは、コンピューティングデバイスの組合せ、例えば、DSPとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、1つ以上のマイクロプロセッサとDSPコアの併用、または他のそのような任意の構成として実施することもできる。
本文書に開示されている実施例に関連して説明されている方法のステップまたはアルゴリズムは、ハードウェアに直接具体化する、またはプロセッサによって実行されるソフトウェアモジュールに具体化する、または双方の組合せに具体化することができる。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD−ROM、またはこの技術分野において公知である任意のその他の形式の記憶媒体に格納することができる。例示的な記憶媒体はプロセッサに結合されており、従って、プロセッサは、記憶媒体から情報を読み取る、および記憶媒体に情報を書き込むことができる。代替形態においては、記憶媒体は、プロセッサに一体化することができる。プロセッサおよび記憶媒体は、ASICに属していることができる。ASICは、無線通信デバイスに属していることができる。代替形態においては、プロセッサおよび記憶媒体は、無線通信デバイスにおける個別のコンポーネントとして存在していることができる。
ここまでに開示されている実施例は、当業者が本発明を実施する、または利用することができるように説明されている。当業者には、これらの実施例へのさまざまな変更が明らかであり、本文書に定義されている一般的な原理は、本発明の概念または範囲から逸脱することなく別の実施例に適用することができる。従って、本発明は、本文書に示されている実施例に制限されるようには意図されておらず、その範囲は、本文書に開示されている原理および新規の特徴に矛盾しない最も広い範囲である。
マニュアルでエントリされた不確定なテキスト入力を音声入力を使用して確定する例示的なシステムのいくつかのコンポーネントを示しているブロック図である。 例示的な信号担持媒体を示しているブロック図である。 別の例示的な信号担持媒体を示しているブロック図である。 例示的な論理回路の斜視図である。 例示的なデジタルデータ処理装置のブロック図である。 マニュアルでエントリされた不確定なテキスト入力を音声入力を使用して確定する、コンピュータによって実行されるシーケンスのフローチャートである。 ユーザ入力の受け取りおよび処理のさまざまな例を示している。 ユーザ入力の受け取りおよび処理のさまざまな例を示している。 ユーザ入力の受け取りおよび処理のさまざまな例を示している。 ユーザ入力の受け取りおよび処理のさまざまな例を示している。 ユーザ入力の受け取りおよび処理のさまざまな例を示している。 マニュアルでエントリされた表意文字の不確定な入力を音声入力を使用して確定する、コンピュータによって実行されるシーケンスのフローチャートである。
101 ユーザ
102 ユーザインタフェース
102A 手書き文字入力
102B キー入力
102C 音声入力
102D オーディオ出力
102E ディスプレイ
105 デジタイザ
107 物理入力デジタイザ
109 復号器
111 言語パターン認識エンジン
113 テキストバッファ
115 不確定さ解消エンジン
115A 単語
115B 句
115C 文脈
115D マルチモード
119 言語データベース
130 ストローク／文字認識エンジン
132 選択モジュール
134 音素認識エンジン
140 プロセッサ
150 記憶装置
152 アプリケーションプログラム
154 OS
156 語彙
156A 単語リスト
156B 句リスト
156C 表音／音調テーブル
200 信号担持媒体
300 信号担持媒体
400 回路
500 デジタルデータ処理装置
502 プロセッサ
504 記憶装置
506 高速アクセス記憶装置
508 不揮発性記憶装置
510 入力／出力
700 デジタイザ
701 ディスプレイ
702 リスト
704 リスト
1002 単語選択肢リスト
1004 カーソル位置
1102 単語選択肢リスト
1104 カーソル位置

Claims (26)

  1. マニュアルで動作させるテキストエントリツールにより受け取られる、不確定なユーザ入力を確定する動作を実行するようにプログラムされているデジタルデータ処理デバイスであって、前記動作が、
    前記マニュアルで動作させるテキストエントリツールにより、ユーザが意図するテキストオブジェクトを表すマニュアルでエントリされたユーザ入力を受け取るステップであって、前記受け取られたユーザ入力が、複数の異なったテキストの組み合わせを表すので、前記ユーザ入力が不確定である、ステップと、
    前記ユーザが意図したテキストオブジェクトに対応する複数の解釈候補を発生させるために、前記受け取られたユーザ入力を、他の如何なるユーザ入力とも無関係に、テキスト語彙に照らして解釈するステップであって、前記解釈候補が、以下のタイプ、すなわち、
    （1）前記ユーザ入力が、語根、語幹、音節、接辞のうちの1つを形成する単語、
    （2）前記ユーザ入力が形成する単語の句、
    （3）前記ユーザ入力によって表される単語、
    のうちの1つ以上のタイプで発生する、
    ステップと、
    前記ユーザが見ることができるように前記解釈するステップの結果を提示するステップであって、当該結果が、前記ユーザが意図したテキストオブジェクトに対応する当該解釈候補のリストを含む、ステップと、
    前記デバイスが、発声されたユーザ入力を受け取ると、前記発声されたユーザ入力の音声認識を実行するステップと、
    前記解釈候補の1つを指定する発話を備える、前記認識された音声に応答して、前記指定された解釈候補を備えるテキスト出力を視覚的に提供するアクションを含む、少なくとも1つのアクションを実行するステップと、
    を備える、デジタルデータ処理デバイス。
  2. 当該発話に応答して、語根の単語として当該候補を有する新規な単語を備えるテキスト出力を視覚的に提供するステップを備える少なくとも１つの追加のアクションを実行するように、前記デバイスが、さらに、プログラムされている、請求項１に記載のデバイス。
  3. 語根の単語として当該候補を有する新規な単語を選択するコマンドを備える前記認識された音声に応答して、当該候補を一部分として含むエントリを語彙内で検索し、かつ、前記検索によって見出された1つ以上のエントリを視覚的に提示するステップと、
    拡張コマンドを形成する前記認識された音声に応答して、前記リスト内の1つ以上の候補について、単語の完成形、接辞の追加形、句の完成形、前記候補と同じ語根を有する追加の単語、のうちの少なくとも1つを視覚的に提示するステップと、
    を備える少なくとも１つの追加のアクションを実行するように、前記デバイスが、さらに、プログラムされている、請求項１に記載のデバイス。
  4. 前記候補の前記リストと、前記音声認識動作からの可能性のある結果のリストとを比較して、候補の当該リストと可能性のある結果の当該リストの両方のリストに発生する如何なるエントリも識別するステップと、
    前記識別されたエントリのリストを視覚的に提示するステップと、
    を備える少なくとも１つの追加のアクションを実行するように、前記デバイスが、さらに、プログラムされている、請求項１に記載のデバイス。
  5. 前記候補の任意のサブセットを発音している可能性のある発話を含む認識された音声に応答して、前記サブセット内の候補のリストを視覚的に提示するステップ、
    を備える少なくとも１つの追加のアクションを実行するように、前記デバイスが、さらに、プログラムされている、請求項１に記載のデバイス。
  6. 音声認識を実行する前記動作が、
    前記発声されたユーザ入力の音声認識を語彙を利用して実行するステップと、
    前記音声認識動作の結果によって表されない候補が省かれるように前記候補を見直すステップと、
    前記絞られた候補のリストを視覚的に提示するステップと、
    を備える、請求項１に記載のデバイス。
  7. 音声認識を実行する前記動作が、
    実質的に当該候補に限定されている語彙を利用して、前記発声されたユーザ入力の音声認識を実行するステップ、
    を備える、請求項１に記載のデバイス。
  8. 前記解釈動作が、候補の各々が前記ユーザ入力に対応する文字から始まるように、実行される、請求項１に記載のデバイス。
  9. 前記解釈動作が、複数の前記候補が、単語の先頭位置および最後の位置以外において、前記ユーザ入力を表す文字を含む単語であるように、実行される、請求項１に記載のデバイス。
  10. 前記解釈動作が、候補のタイプが英数字テキストの文字列をさらに含むように実行される、請求項１に記載のデバイス。
  11. 前記解釈動作が、前記タイプが表意文字と表意文字の句の少なくとも１つをさらに含むように、実行される、請求項１に記載のデバイス。
  12. ２つ以上の文字に関連するキーを有する、キー数が削減されたキーボードと、
    コンピュータによって生成されるイメージを視覚的に提示する表示手段と、
    次のステップを備える動作を実行する処理手段とを
    備えるデジタルデータ処理デバイスであって、前記動作が、
    当該キー数が削減されたキーボードにより、ユーザが意図するテキストオブジェクトを表すマニュアルでエントリされたユーザ入力を受け取るステップであって、前記受け取られたユーザ入力が、複数の異なったテキストの組み合わせを表すので、前記ユーザ入力が不確定となる、ステップと、
    前記ユーザが意図したテキストオブジェクトに対応する複数の解釈候補を発生させるために、前記受け取られたユーザ入力を、他の如何なるユーザ入力とも無関係に、テキスト語彙に照らして解釈するステップであって、前記解釈候補が、以下のタイプ、すなわち、
    （1）前記ユーザ入力が、語根、語幹、音節、接辞のうちの1つを形成する単語、
    （2）前記ユーザ入力が形成する単語の句、
    （3）前記ユーザ入力によって表される単語、
    のうちの1つ以上のタイプで発生する、
    ステップと、
    前記解釈動作の結果を視覚的に提示するように前記表示手段を動作させるステップであって、当該結果が、前記ユーザが意図したテキストオブジェクトに対応する当該解釈候補のリストを含む、ステップと、
    発声されたユーザ入力を受け取ったことに応答して、前記発声されたユーザ入力の音声認識を実行する、ステップと、
    前記解釈候補の1つを指定する発話を備える、前記認識された音声に応答して、前記指定された候補を備えるテキスト出力を視覚的に提供するように前記表示手段を動作させるアクションを含む、少なくとも１つのアクションを実行する、ステップと、
    を備える、
    デジタルデータ処理デバイス。
  13. マニュアルで動作させるテキストエントリツールにより受け取られる、不確定なユーザ入力を確定する動作を実行するようにデジタルデータ処理デバイスを動作させるように構成されている、相互接続されている導電性の複数の要素の回路であって、前記動作が、
    マニュアルで動作させるテキストエントリツールにより、ユーザが意図するテキストオブジェクトを表すマニュアルでエントリされたユーザ入力を受け取るステップであって、前記受け取られたユーザ入力が、複数の異なったテキストの組み合わせを表すので、前記ユーザ入力が不確定となる、ステップと、
    前記ユーザが意図したテキストオブジェクトに対応する複数の解釈候補を発生させるために、前記受け取られたユーザ入力を、他の如何なるユーザ入力とも無関係に、テキスト語彙に照らして解釈するステップであって、前記解釈候補が、以下のタイプ、すなわち、
    （1）前記ユーザ入力が、語根、語幹、音節、接辞のうちの1つを形成する単語、
    （2）前記ユーザ入力が形成する単語の句、
    （3）前記ユーザ入力によって表される単語、
    のうちの1つ以上のタイプで発生する、
    ステップと、
    前記ユーザが見ることができるように前記解釈動作の結果を提示するステップであって、当該結果が、前記ユーザが意図したテキストオブジェクトに対応する当該解釈候補のリストを含む、ステップと、
    発声されたユーザ入力を受け取ったことに応答して、前記発声されたユーザ入力の音声認識を実行するステップと、
    前記解釈候補の1つを指定する発話を備える、前記認識された音声に応答して、前記指定された候補を備えるテキスト出力を視覚的に提供するアクションを含む、少なくとも１つのアクションを実行するステップと、
    を備える、回路。
  14. マニュアルで動作させるテキストエントリツールにより受け取られる、不確定なユーザ入力を確定する動作を実行するようにプログラムされているデジタルデータ処理デバイスであって、前記動作が、
    キーボードにより、ユーザが意図するテキストオブジェクトを表すマニュアルでエントリされたユーザ入力を受け取るステップであって、前記受け取られたユーザ入力が、複数の異なったテキストの組み合わせを表すので、前記ユーザ入力が不確定であり、前記ユーザ入力が、文字の一部を構成する1つ以上の手書きストロークのデジタル表示、一組の手書きストロークを規定するカテゴリの表示、その表音綴りにより綴られた単語、及び音調入力、の内の少なくとも１つを表す、ステップと、
    前記ユーザが意図したテキストオブジェクトに対応する複数の解釈候補を発生させるために、前記受け取られたユーザ入力を、他の如何なるユーザ入力とも無関係に、テキスト語彙に照らして解釈するステップであって、各候補が、1つ以上の表意文字、又は表意文字の1つ以上の部首、のうちの1つ以上を備える、ステップと、
    前記ユーザが見ることができるように前記解釈動作の結果を提示するステップであって、当該結果が、前記ユーザが意図したテキストオブジェクトに対応する当該解釈候補のリストを含む、ステップと、
    発声されたユーザ入力を受け取ったことに応答して、前記発声されたユーザ入力の音声認識を実行するステップと、
    前記解釈候補の1つを指定する発話を備える、前記認識された音声に応答して、前記指定された候補を備えるテキスト出力を視覚的に提供するアクションを含む、少なくとも１つのアクションを実行するステップと、
    を備える、デジタルデータ処理デバイス。
  15. 当該発話に応答して、語根の単語として当該候補を有する新規な単語を備えるテキスト出力を視覚的に提供するステップを備える少なくとも１つの追加のアクションを実行するように、前記デバイスが、さらに、プログラムされている、請求項１４に記載のデバイス。
  16. 語根の単語として当該候補を有する新規な単語を選択するコマンドを備える前記認識された音声に応答して、当該候補を一部分として含むエントリを語彙内で検索し、かつ、前記検索によって見出された1つ以上のエントリを視覚的に提示するステップ、
    をさらに備える、請求項１４に記載のデバイス。
  17. 前記認識された音声が、前記候補の1つおよびその他の発声を含む発音、前記候補の1つの拡張形を含む発音、前記候補の1つのバリエーションを含む発音、のうちの1つを含むか否かを判定するステップと、
    それを含む場合には、前記候補の拡張形と、前記候補のバリエーション、のうちの少なくとも一方の対応する候補を視覚的に提示するステップと、
    をさらに含む、請求項１４に記載のデバイス。
  18. 前記候補のリストと、前記音声認識動作からの、可能性のある結果のリストとを比較し、両方のリストに発生する如何なるエントリも識別するステップと、
    前記識別されたエントリのリストを視覚的に提示するステップと、
    をさらに備える、請求項１４に記載のデバイス。
  19. 前記候補の任意のサブセットを発音している可能性のある発話を含む認識された音声に応答して、前記サブセット内の候補のリストを視覚的に提示するステップ、
    をさらに含む、請求項１４に記載のデバイス。
  20. 前記候補のサブセットに排他的に対応する表音入力を含む認識された音声に応答して、前記サブセットの候補のリストを視覚的に提示するステップ、
    をさらに含む、請求項１４に記載のデバイス。
  21. 前記デバイスが、
    表音情報の複数の要素を含み、かつ、表音情報の各要素と1つ以上の表意要素とが相互参照されている、少なくとも1つのデータ構造であって、表意要素の各々が、1つ以上の表意文字と、1つ以上の表意部首、のうちの少なくとも一方を含む、データ構造を含むデジタルデータ記憶装置をさらに含み、
    表音情報の要素のそれぞれが、1つ以上の表意要素の発音、1つ以上の表意要素に関連付けられる1つ以上の音調の発音、のうちの一方を含み、
    前記発声されたユーザ入力の音声認識を実行する前記動作が、1つ以上の相互参照されている表意要素を識別する目的で、前記認識された音声の表音情報に従って前記データ構造を検索するステップをさらに備える、
    請求項１４に記載のデバイス。
  22. 音声認識を実行する前記動作が、
    前記発声されたユーザ入力の音声認識を、当該候補に実質的に限定された語彙を利用して実行するステップ、
    を備える、請求項１４に記載のデバイス。
  23. キーボードと、
    コンピュータによって生成されるイメージを視覚的に提示する表示手段と、
    動作を実行する処理手段と
    を備える、デジタルデータ処理デバイスであって、前記動作が、
    前記キーボードにより、ユーザが意図するテキストオブジェクトを表すマニュアルでエントリされたユーザ入力を受け取るステップであって、前記受け取られたユーザ入力が、複数の異なるテキストの組み合わせを表すので、前記ユーザ入力が不確定であり、前記ユーザ入力が、文字の一部を構成する1つ以上の手書きストロークのデジタル表示、手書きストロークの組を規定するカテゴリの表示、その表音綴りに従って綴られた単語、および音調入力の内の少なくとも１つを表す、ステップと、
    前記ユーザが意図したテキストオブジェクトに対応する複数の解釈候補を発生させるために、前記受け取られたユーザ入力を、他の如何なるユーザ入力とも無関係に、テキスト語彙に照らして解釈するステップであって、各解釈候補が、以下のタイプ、すなわち、1つ以上の表意文字、表意文字の1つ以上の部首のうちの1つ以上を備える、ステップと、
    前記解釈動作の結果を前記表示手段に提示させるステップであって、当該結果が、前記ユーザが意図したテキストオブジェクトに対応する当該候補のリストを含む、ステップと、
    発声されたユーザ入力を受け取ると、前記発声されたユーザ入力の音声認識を実行する、ステップと、
    前記解釈候補の1つを指定する発話を備える、前記認識された音声に応答して、前記指定された候補を備えるテキスト出力を視覚的に提供するアクションを含む、少なくとも１つのアクションを実行するステップと、
    を備える、デジタルデータ処理デバイス。
  24. マニュアルで動作させるテキストエントリツールにより受け取られる、不確定なユーザ入力を確定する動作を実行するようにデジタルデータ処理デバイスを動作させるように構成されている、相互接続されている導電性の複数の要素の回路であって、前記動作が、
    キーボードにより、ユーザが意図するテキストオブジェクトを表すマニュアルでエントリされたユーザ入力を受け取るステップであって、前記ユーザ入力が複数の異なったテキストの組み合わせを表すので、前記ユーザ入力が不確定となり、前記ユーザ入力が、文字の一部を構成する1つ以上の手書きストロークのデジタル表示、手書きストロークの組を規定するカテゴリの表示、その表音綴りに従って綴られた単語、および音調入力、の内の少なくとも１つを表す、ステップと、
    前記ユーザが意図したテキストオブジェクトに対応する複数の解釈候補を発生させるために、前記受け取られたユーザ入力を、他の如何なるユーザ入力とも無関係に、テキスト語彙に照らして解釈するステップであって、各候補が、以下のタイプ、すなわち、1つ以上の表意文字、表意文字の1つ以上の部首、の内の1つ以上を備える、ステップと、
    前記ユーザが見ることができるように前記解釈動作の結果を提示するステップであって、当該結果が、前記ユーザが意図したテキストオブジェクトに対応する当該解釈候補のリストを含む、ステップと、
    発声されたユーザ入力を受け取ったことに応答して、前記発声されたユーザ入力の音声認識を実行するステップと、
    前記解釈候補の1つを指定する発話を備える、前記認識された音声に応答して、前記指定された候補を備えるテキスト出力を視覚的に提供するアクションを含む、少なくとも１つのアクションを実行するステップと、
    を備える、回路。
  25. マニュアルで動作させるテキストエントリツールにより受け取られる、本質的に不確定なユーザ入力を確定する動作を実行するようにプログラムされているデジタルデータ処理装置であって、前記動作が、
    ２つ以上の文字に関連するキーを有する、キー数が削減されたキーボードにより、当該キーからの異なったテキストの組み合わせが可能であることから本質的に不確定であるユーザ入力を受け取る、ステップと、
    次のテキストの異なった可能な組み合わせ、すなわち、
    （1）語彙エントリが、前記ユーザ入力が語根、語幹、音節、接辞のうちの1つを形成する単語である、組み合わせ、
    （2）語彙エントリが、前記ユーザ入力が単語を形成する句である、組み合わせ、または、
    （3）語彙エントリが、前記ユーザ入力によって表される単語である、組み合わせ、
    の何れかに対応する全てのエントリを、他の如何なるユーザ入力とも無関係に、既定のテキスト語彙内で識別する、ステップと、
    前記ユーザが見ることができるように前記認識された前記語彙のエントリのリストを視覚的に提示する、ステップと、
    前記リストを視覚的に提示した後に、前記デバイスが、発話の形態で発声されたユーザ入力を受け取ると、前記発声されたユーザ入力の音声認識を実行し、次いで、前記視覚的に提示されたエントリの1つを指定する前記認識された音声に応答して、前記指定されたエントリを備える出力を視覚的に提供する、ステップと、
    を備える、デジタルデータ処理装置。
  26. マニュアルで動作させるテキストエントリツールにより受け取られる、本質的に不確定なユーザ入力を確定する動作を実行するようにプログラムされているデジタルデータ処理装置であって、前記動作が、
    手書きストローク、手書きストロークのカテゴリ、表音綴り、音調入力の内の少なくとも１つの異なる組み合わせが可能であることから本質的に不確定であるユーザ入力を、２つ以上の文字に関連するキーを有する、キー数が削減されたキーボードにより受け取る、ステップと、
    次の異なる可能な組み合わせ、すなわち、
    （1）語彙エントリが少なくとも１つの表意文字であり、かつ前記ユーザ入力が1つ以上の表意文字の全てまたは一部を形成する、組み合わせ、及び
    （2）語彙エントリが表意文字の1つ以上の表意部首であり、かつ前記ユーザ入力が1つ以上の表意部首の全てまたは一部を形成する、組み合わせ、
    に対応する全てのエントリを、他の如何なるユーザ入力とも無関係に、既定のテキスト語彙において識別する、ステップと、
    前記ユーザが見ることができるように前記識別された前記語彙のエントリのリストを視覚的に提示する、ステップと、
    前記リストを視覚的に提示した後に、前記デバイスが、発話の形態で発声されたユーザ入力を受け取ると、前記発声されたユーザ入力の音声認識を実行し、次いで、前記視覚的に提示されたエントリの1つを指定する前記認識された音声に応答して、前記指定されたエントリを備える出力を視覚的に提供する、ステップと、
    を備える、デジタルデータ処理装置。
JP2007554347A 2005-02-08 2006-02-08 マニュアルでエントリされた不確定なテキスト入力を音声入力を使用して確定する方法および装置 Expired - Fee Related JP4829901B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US65130205P 2005-02-08 2005-02-08
US60/651,302 2005-02-08
US11/143,409 US7881936B2 (en) 1998-12-04 2005-06-01 Multimodal disambiguation of speech recognition
US11/143,409 2005-06-01
US11/350,234 2006-02-07
US11/350,234 US7720682B2 (en) 1998-12-04 2006-02-07 Method and apparatus utilizing voice input to resolve ambiguous manually entered text input
PCT/US2006/004501 WO2006086511A2 (en) 2005-02-08 2006-02-08 Method and apparatus utilizing voice input to resolve ambiguous manually entered text input

Publications (2)

Publication Number Publication Date
JP2008537806A JP2008537806A (ja) 2008-09-25
JP4829901B2 true JP4829901B2 (ja) 2011-12-07

Family

ID=36793694

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007554347A Expired - Fee Related JP4829901B2 (ja) 2005-02-08 2006-02-08 マニュアルでエントリされた不確定なテキスト入力を音声入力を使用して確定する方法および装置

Country Status (7)

Country Link
US (1) US7720682B2 (ja)
EP (1) EP1849155A4 (ja)
JP (1) JP4829901B2 (ja)
KR (1) KR20070098904A (ja)
BR (1) BRPI0607643A2 (ja)
CA (1) CA2596740A1 (ja)
WO (1) WO2006086511A2 (ja)

Families Citing this family (114)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7030863B2 (en) * 2000-05-26 2006-04-18 America Online, Incorporated Virtual keyboard system with automatic correction
US7821503B2 (en) 2003-04-09 2010-10-26 Tegic Communications, Inc. Touch screen and graphical user interface
US7286115B2 (en) 2000-05-26 2007-10-23 Tegic Communications, Inc. Directional input system with automatic correction
US7750891B2 (en) * 2003-04-09 2010-07-06 Tegic Communications, Inc. Selective input system based on tracking of motion parameters of an input device
EP2264896A3 (en) * 1999-10-27 2012-05-02 Systems Ltd Keyless Integrated keypad system
US20020095473A1 (en) * 2001-01-12 2002-07-18 Stuart Berkowitz Home-based client-side media computer
US7490296B2 (en) * 2003-01-31 2009-02-10 Microsoft Corporation Utility object for specialized data entry
US8200865B2 (en) * 2003-09-11 2012-06-12 Eatoni Ergonomics, Inc. Efficient method and apparatus for text entry based on trigger sequences
TWM253165U (en) * 2004-01-16 2004-12-11 Aviquest Technology Co Ltd Integrated multi-media micro computer
NZ582991A (en) * 2004-06-04 2011-04-29 Keyless Systems Ltd Using gliding stroke on touch screen and second input to choose character
US20060036438A1 (en) * 2004-07-13 2006-02-16 Microsoft Corporation Efficient multimodal method to provide input to a computing device
US8942985B2 (en) 2004-11-16 2015-01-27 Microsoft Corporation Centralized method and system for clarifying voice commands
US7778821B2 (en) * 2004-11-24 2010-08-17 Microsoft Corporation Controlled manipulation of characters
US7747437B2 (en) * 2004-12-16 2010-06-29 Nuance Communications, Inc. N-best list rescoring in speech recognition
US8275618B2 (en) * 2004-12-22 2012-09-25 Nuance Communications, Inc. Mobile dictation correction user interface
US9606634B2 (en) * 2005-05-18 2017-03-28 Nokia Technologies Oy Device incorporating improved text input mechanism
US8374846B2 (en) 2005-05-18 2013-02-12 Neuer Wall Treuhand Gmbh Text input device and method
US8036878B2 (en) 2005-05-18 2011-10-11 Never Wall Treuhand GmbH Device incorporating improved text input mechanism
US8117540B2 (en) * 2005-05-18 2012-02-14 Neuer Wall Treuhand Gmbh Method and device incorporating improved text input mechanism
EP2393204A3 (en) * 2005-06-16 2013-03-06 Systems Ltd Keyless Data entry system
JP4702936B2 (ja) * 2005-06-28 2011-06-15 キヤノン株式会社 情報処理装置及び制御方法、プログラム
CA2630683C (en) * 2005-11-23 2014-10-28 Anthony Scriffignano System and method for searching and matching data having ideogrammatic content
US8370125B2 (en) * 2006-01-13 2013-02-05 Research In Motion Limited Handheld electronic device and method for disambiguation of text input providing artificial variants comprised of characters in a core alphabet
US7925975B2 (en) 2006-03-10 2011-04-12 Microsoft Corporation Searching for commands to execute in applications
US8108204B2 (en) * 2006-06-16 2012-01-31 Evgeniy Gabrilovich Text categorization using external knowledge
US20080141125A1 (en) * 2006-06-23 2008-06-12 Firooz Ghassabian Combined data entry systems
US7665037B2 (en) * 2006-06-30 2010-02-16 Research In Motion Limited Method of learning character segments from received text, and associated handheld electronic device
US7565624B2 (en) * 2006-06-30 2009-07-21 Research In Motion Limited Method of learning character segments during text input, and associated handheld electronic device
US7747445B2 (en) * 2006-07-12 2010-06-29 Nuance Communications, Inc. Distinguishing among different types of abstractions consisting of plurality of commands specified by particular sequencing and or timing or no timing and sequencing using voice commands
US20080282154A1 (en) * 2006-09-11 2008-11-13 Nurmi Mikko A Method and apparatus for improved text input
US7793228B2 (en) * 2006-10-13 2010-09-07 Apple Inc. Method, system, and graphical user interface for text entry with partial word display
US8571862B2 (en) * 2006-11-30 2013-10-29 Ashwin P. Rao Multimodal interface for input of text
US9830912B2 (en) * 2006-11-30 2017-11-28 Ashwin P Rao Speak and touch auto correction interface
US20080153465A1 (en) * 2006-12-26 2008-06-26 Voice Signal Technologies, Inc. Voice search-enabled mobile device
US20080154612A1 (en) * 2006-12-26 2008-06-26 Voice Signal Technologies, Inc. Local storage and use of search results for voice-enabled mobile communications devices
US20080154608A1 (en) * 2006-12-26 2008-06-26 Voice Signal Technologies, Inc. On a mobile device tracking use of search results delivered to the mobile device
US20080154870A1 (en) * 2006-12-26 2008-06-26 Voice Signal Technologies, Inc. Collection and use of side information in voice-mediated mobile search
KR100897553B1 (ko) * 2007-01-04 2009-05-15 삼성전자주식회사 사용자의 기기 사용 패턴을 이용한 음성 인식 방법 및 장치
US8074172B2 (en) 2007-01-05 2011-12-06 Apple Inc. Method, system, and graphical user interface for providing word recommendations
US8225203B2 (en) * 2007-02-01 2012-07-17 Nuance Communications, Inc. Spell-check for a keyboard system with automatic correction
US8201087B2 (en) * 2007-02-01 2012-06-12 Tegic Communications, Inc. Spell-check for a keyboard system with automatic correction
US20080243281A1 (en) * 2007-03-02 2008-10-02 Neena Sujata Kadaba Portable device and associated software to enable voice-controlled navigation of a digital audio player
US9423996B2 (en) * 2007-05-03 2016-08-23 Ian Cummings Vehicle navigation user interface customization methods
TWI336048B (en) * 2007-05-11 2011-01-11 Delta Electronics Inc Input system for mobile search and method therefor
US20080294982A1 (en) * 2007-05-21 2008-11-27 Microsoft Corporation Providing relevant text auto-completions
US8782171B2 (en) * 2007-07-20 2014-07-15 Voice Enabling Systems Technology Inc. Voice-enabled web portal system
EP2031486A1 (en) * 2007-08-31 2009-03-04 Research In Motion Limited Handheld electric device and associated method providing advanced text editing function in a text disambiguation environment
IL188523A0 (en) * 2008-01-01 2008-11-03 Keyless Systems Ltd Data entry system
US8606562B2 (en) * 2007-10-25 2013-12-10 Blackberry Limited Disambiguated text message retype function
DE102008051756A1 (de) * 2007-11-12 2009-05-14 Volkswagen Ag Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
JP4503069B2 (ja) * 2007-12-27 2010-07-14 シャープ株式会社 文字入力装置、システム、及び文字入力制御方法
US8219407B1 (en) * 2007-12-27 2012-07-10 Great Northern Research, LLC Method for processing the output of a speech recognizer
US10544677B2 (en) * 2017-09-01 2020-01-28 United Technologies Corporation Turbine disk
US8232973B2 (en) 2008-01-09 2012-07-31 Apple Inc. Method, device, and graphical user interface providing word recommendations for text input
WO2009096761A2 (ko) * 2008-02-01 2009-08-06 문자열 예측 입력방법 및 그 방법이 구현되는 전자장치
DE102008009445A1 (de) * 2008-02-15 2009-08-20 Volkswagen Ag Verfahren zur Schrift- und Spracherkennung
US8224656B2 (en) * 2008-03-14 2012-07-17 Microsoft Corporation Speech recognition disambiguation on mobile devices
US20090287626A1 (en) * 2008-05-14 2009-11-19 Microsoft Corporation Multi-modal query generation
ATE501478T1 (de) * 2008-06-11 2011-03-15 Exb Asset Man Gmbh Vorrichtung und verfahren mit verbessertem texteingabemechanismus
US9922640B2 (en) 2008-10-17 2018-03-20 Ashwin P Rao System and method for multimodal utterance detection
EP2350779A4 (en) * 2008-11-25 2018-01-10 Jeffrey R. Spetalnick Methods and systems for improved data input, compression, recognition, correction, and translation through frequency-based language analysis
US8589157B2 (en) * 2008-12-05 2013-11-19 Microsoft Corporation Replying to text messages via automated voice search techniques
US9189472B2 (en) * 2009-03-30 2015-11-17 Touchtype Limited System and method for inputting text into small screen devices
US9519353B2 (en) * 2009-03-30 2016-12-13 Symbol Technologies, Llc Combined speech and touch input for observation symbol mappings
GB0917753D0 (en) 2009-10-09 2009-11-25 Touchtype Ltd System and method for inputting text into electronic devices
GB0905457D0 (en) 2009-03-30 2009-05-13 Touchtype Ltd System and method for inputting text into electronic devices
US10191654B2 (en) 2009-03-30 2019-01-29 Touchtype Limited System and method for inputting text into electronic devices
US9424246B2 (en) 2009-03-30 2016-08-23 Touchtype Ltd. System and method for inputting text into electronic devices
US8412531B2 (en) * 2009-06-10 2013-04-02 Microsoft Corporation Touch anywhere to speak
DE102009059792A1 (de) * 2009-12-21 2011-06-22 Continental Automotive GmbH, 30165 Verfahren und Vorrichtung zur Bedienung technischer Einrichtungen, insbesondere eines Kraftfahrzeugs
US8423351B2 (en) * 2010-02-19 2013-04-16 Google Inc. Speech correction for typed input
US8428936B2 (en) * 2010-03-05 2013-04-23 Motorola Mobility Llc Decoder for audio signal including generic audio and speech frames
KR101477530B1 (ko) 2010-03-12 2014-12-30 뉘앙스 커뮤니케이션즈, 인코포레이티드 이동 전화의 터치 스크린과 함께 사용하기 위한 다중 모드 문자 입력 시스템
US20150279354A1 (en) * 2010-05-19 2015-10-01 Google Inc. Personalization and Latency Reduction for Voice-Activated Commands
WO2012037200A2 (en) 2010-09-15 2012-03-22 Spetalnick Jeffrey R Methods of and systems for reducing keyboard data entry errors
US20120089400A1 (en) * 2010-10-06 2012-04-12 Caroline Gilles Henton Systems and methods for using homophone lexicons in english text-to-speech
SG184583A1 (en) * 2011-03-07 2012-10-30 Creative Tech Ltd A device for facilitating efficient learning and a processing method in association thereto
US9236045B2 (en) * 2011-05-23 2016-01-12 Nuance Communications, Inc. Methods and apparatus for proofing of a text input
US9164983B2 (en) 2011-05-27 2015-10-20 Robert Bosch Gmbh Broad-coverage normalization system for social media language
JP5642037B2 (ja) * 2011-09-22 2014-12-17 株式会社東芝 検索装置、検索方法およびプログラム
US8972263B2 (en) * 2011-11-18 2015-03-03 Soundhound, Inc. System and method for performing dual mode speech recognition
CN102521577A (zh) * 2011-12-20 2012-06-27 安徽科大讯飞信息科技股份有限公司 一种交互式多媒体设备的笔迹识别、合成和跟踪方法
US20130179148A1 (en) * 2012-01-09 2013-07-11 Research In Motion Limited Method and apparatus for database augmentation and multi-word substitution
US8996356B1 (en) * 2012-04-10 2015-03-31 Google Inc. Techniques for predictive input method editors
US10354650B2 (en) 2012-06-26 2019-07-16 Google Llc Recognizing speech with mixed speech recognition models to generate transcriptions
US9202298B2 (en) 2012-07-27 2015-12-01 Semantic Compaction Systems, Inc. System and method for effectively navigating polysemous symbols across a plurality of linked electronic screen overlays
US9135912B1 (en) * 2012-08-15 2015-09-15 Google Inc. Updating phonetic dictionaries
KR102150289B1 (ko) * 2012-08-30 2020-09-01 삼성전자주식회사 사용자 단말에서 사용자 인터페이스 장치 및 이를 지원하는 방법
US8498864B1 (en) 2012-09-27 2013-07-30 Google Inc. Methods and systems for predicting a text
US9570076B2 (en) * 2012-10-30 2017-02-14 Google Technology Holdings LLC Method and system for voice recognition employing multiple voice-recognition techniques
CN103077165A (zh) * 2012-12-31 2013-05-01 威盛电子股份有限公司 自然语言对话方法及其系统
US9330659B2 (en) 2013-02-25 2016-05-03 Microsoft Technology Licensing, Llc Facilitating development of a spoken natural language interface
CN104035551A (zh) * 2013-03-08 2014-09-10 联想(北京)有限公司 一种输入方法及电子设备
US9542947B2 (en) 2013-03-12 2017-01-10 Google Technology Holdings LLC Method and apparatus including parallell processes for voice recognition
JP6028658B2 (ja) * 2013-03-28 2016-11-16 富士通株式会社 端末装置、変換文字候補同期方法及び変換文字候補同期プログラム
US9058805B2 (en) 2013-05-13 2015-06-16 Google Inc. Multiple recognizer speech recognition
US20150025876A1 (en) * 2013-07-21 2015-01-22 Benjamin Firooz Ghassabian Integrated keypad system
CN104345875A (zh) * 2013-08-07 2015-02-11 联想(北京)有限公司 信息处理的方法及电子设备
US10255267B2 (en) 2014-05-30 2019-04-09 Apple Inc. Device, method, and graphical user interface for a predictive keyboard
US9583105B2 (en) * 2014-06-06 2017-02-28 Microsoft Technology Licensing, Llc Modification of visual content to facilitate improved speech recognition
US11429883B2 (en) 2015-11-13 2022-08-30 Microsoft Technology Licensing, Llc Enhanced computer experience from activity prediction
GB201610984D0 (en) 2016-06-23 2016-08-10 Microsoft Technology Licensing Llc Suppression of input images
US10831366B2 (en) * 2016-12-29 2020-11-10 Google Llc Modality learning on mobile devices
JP6585112B2 (ja) * 2017-03-17 2019-10-02 株式会社東芝 音声キーワード検出装置および音声キーワード検出方法
US10410635B2 (en) 2017-06-09 2019-09-10 Soundhound, Inc. Dual mode speech recognition
US20190147858A1 (en) * 2017-11-16 2019-05-16 Honeywell International Inc. Methods, systems and apparatuses for improving speech recognition using touch-based predictive modeling
EP3506279A1 (en) * 2018-01-02 2019-07-03 Koninklijke Philips N.V. Automatic diagnosis report preparation
US11195530B1 (en) 2018-02-19 2021-12-07 State Farm Mutual Automobile Insurance Company Voice analysis systems and methods for processing digital sound data over a communications network
US10740381B2 (en) * 2018-07-18 2020-08-11 International Business Machines Corporation Dictionary editing system integrated with text mining
US11176466B2 (en) * 2019-01-08 2021-11-16 International Business Machines Corporation Enhanced conversational bots processing
US11194467B2 (en) 2019-06-01 2021-12-07 Apple Inc. Keyboard management user interfaces
US11817100B2 (en) * 2020-06-26 2023-11-14 International Business Machines Corporation System for voice-to-text tagging for rich transcription of human speech
US11429780B1 (en) 2021-01-11 2022-08-30 Suki AI, Inc. Systems and methods to briefly deviate from and resume back to amending a section of a note
CN113946230A (zh) * 2021-09-01 2022-01-18 北京新氧科技有限公司 一种文字与语音的混合输入方法、装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58134371A (ja) * 1982-02-03 1983-08-10 Nec Corp 日本語入力装置
JPS60189070A (ja) * 1984-03-08 1985-09-26 Fujitsu Ltd 文字入力装置
WO1992005517A1 (en) * 1990-09-26 1992-04-02 Roth Richard G Audio-augmented handwriting recognition
JPH07311656A (ja) * 1994-05-17 1995-11-28 Toshiba Corp マルチモーダル文字入力装置
JPH09198468A (ja) * 1996-01-22 1997-07-31 Toshiba Corp 情報入力装置および自動取引装置
JP2000508093A (ja) * 1995-07-26 2000-06-27 テジック・コミュニケーションズ・インコーポレーテッド 減少型キーボード曖昧さ除去システム
JP2001249920A (ja) * 1999-10-05 2001-09-14 Microsoft Corp 推測入力源からのテキストに対して候補を提供する方法およびシステム
JP2002117026A (ja) * 2000-06-23 2002-04-19 Microsoft Corp 確率的入力方法によって生成された候補リストからフィルタリングおよび選択を行うための方法およびシステム
JP2006515073A (ja) * 2002-09-06 2006-05-18 ヴォイス シグナル テクノロジーズ インコーポレーティッド 音声認識を実行するための方法、システム、及びプログラミング

Family Cites Families (191)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3967273A (en) * 1974-03-29 1976-06-29 Bell Telephone Laboratories, Incorporated Method and apparatus for using pushbutton telephone keys for generation of alpha-numeric information
US4164025A (en) * 1977-12-13 1979-08-07 Bell Telephone Laboratories, Incorporated Spelled word input directory information retrieval system with input word error corrective searching
US4191854A (en) * 1978-01-06 1980-03-04 Coles George A Telephone-coupled visual alphanumeric communication device for deaf persons
JPS6239467Y2 (ja) * 1978-11-20 1987-10-08
US4360892A (en) 1979-02-22 1982-11-23 Microwriter Limited Portable word-processor
US4464070A (en) * 1979-12-26 1984-08-07 International Business Machines Corporation Multi-character display controller for text recorder
JPS56143044A (en) * 1980-04-08 1981-11-07 Sony Corp Input device of english typewriter
US4442506A (en) * 1980-09-18 1984-04-10 Microwriter Limited Portable word-processor
JPS57109031A (en) 1980-12-26 1982-07-07 Sharp Corp Input equipment
US4427848B1 (en) * 1981-12-29 1994-03-29 Telephone Lottery Company Inc Telephonic alphanumeric data transmission system
JPS58175074A (ja) * 1982-04-07 1983-10-14 Toshiba Corp 構文分析方式
US5067103A (en) 1983-01-21 1991-11-19 The Laitram Corporation Hand held computers with alpha keystroke
US4891786A (en) * 1983-02-22 1990-01-02 Goldwasser Eric P Stroke typing system
USRE32773E (en) 1983-02-22 1988-10-25 Method of creating text using a computer
US4544276A (en) 1983-03-21 1985-10-01 Cornell Research Foundation, Inc. Method and apparatus for typing Japanese text using multiple systems
US5289394A (en) * 1983-05-11 1994-02-22 The Laitram Corporation Pocket computer for word processing
US4649563A (en) * 1984-04-02 1987-03-10 R L Associates Method of and means for accessing computerized data bases utilizing a touch-tone telephone instrument
JPS619753A (ja) * 1984-06-26 1986-01-17 Hitachi Ltd 文書処理装置における頻発熟語の自動登録方法
US4791556A (en) 1984-08-29 1988-12-13 Vilkaitis John V Method for operating a computer which searches for operational symbols and executes functions corresponding to the operational symbols in response to user inputted signal
US4661916A (en) * 1984-10-15 1987-04-28 Baker Bruce R System for method for producing synthetic plural word messages
US4669901A (en) * 1985-09-03 1987-06-02 Feng I Ming Keyboard device for inputting oriental characters by touch
US4677659A (en) * 1985-09-03 1987-06-30 John Dargan Telephonic data access and transmission system
US4674112A (en) * 1985-09-06 1987-06-16 Board Of Regents, The University Of Texas System Character pattern recognition and communications apparatus
US4969097A (en) 1985-09-18 1990-11-06 Levin Leonid D Method of rapid entering of text into computer equipment
US4754474A (en) * 1985-10-21 1988-06-28 Feinson Roy W Interpretive tone telecommunication method and apparatus
US4807181A (en) * 1986-06-02 1989-02-21 Smith Corona Corporation Dictionary memory with visual scanning from a selectable starting point
US4817129A (en) * 1987-03-05 1989-03-28 Telac Corp. Method of and means for accessing computerized data bases utilizing a touch-tone telephone instrument
US4852173A (en) 1987-10-29 1989-07-25 International Business Machines Corporation Design and construction of a binary-tree system for language modelling
US4866759A (en) * 1987-11-30 1989-09-12 Riskin Bernard N Packet network telecommunication system having access nodes with word guessing capability
US5031206A (en) * 1987-11-30 1991-07-09 Fon-Ex, Inc. Method and apparatus for identifying words entered on DTMF pushbuttons
JPH01167898A (ja) * 1987-12-04 1989-07-03 Internatl Business Mach Corp <Ibm> 音声認識装置
US4872196A (en) 1988-07-18 1989-10-03 Motorola, Inc. Telephone keypad input technique
US5109352A (en) * 1988-08-09 1992-04-28 Dell Robert B O System for encoding a collection of ideographic characters
JPH02150899A (ja) * 1988-12-02 1990-06-11 Toshiba Corp 音声認識方式
US5255310A (en) 1989-08-11 1993-10-19 Korea Telecommunication Authority Method of approximately matching an input character string with a key word and vocally outputting data
US5163084A (en) 1989-08-11 1992-11-10 Korea Telecommunication Authority Voice information service system and method utilizing approximately matched input character string and key word
US5339358A (en) * 1990-03-28 1994-08-16 Danish International, Inc. Telephone keypad matrix
US5392338A (en) * 1990-03-28 1995-02-21 Danish International, Inc. Entry of alphabetical characters into a telephone system using a conventional telephone keypad
US5131045A (en) * 1990-05-10 1992-07-14 Roth Richard G Audio-augmented data keying
US5303299A (en) * 1990-05-15 1994-04-12 Vcs Industries, Inc. Method for continuous recognition of alphanumeric strings spoken over a telephone network
US5218538A (en) * 1990-06-29 1993-06-08 Wei Zhang High efficiency input processing apparatus for alphabetic writings
US5305205A (en) * 1990-10-23 1994-04-19 Weber Maria L Computer-assisted transcription apparatus
US5229936A (en) * 1991-01-04 1993-07-20 Franklin Electronic Publishers, Incorporated Device and method for the storage and retrieval of inflection information for electronic reference products
US5200988A (en) * 1991-03-11 1993-04-06 Fon-Ex, Inc. Method and means for telecommunications by deaf persons utilizing a small hand held communications device
US5141045A (en) * 1991-04-05 1992-08-25 Williams Johnie E Drapery bracket assembly and method of forming window treatment
US5258748A (en) 1991-08-28 1993-11-02 Hewlett-Packard Company Accessing and selecting multiple key functions with minimum keystrokes
US5528235A (en) 1991-09-03 1996-06-18 Edward D. Lin Multi-status multi-function data processing key and key array
US5963671A (en) 1991-11-27 1999-10-05 International Business Machines Corporation Enhancement of soft keyboard operations using trigram prediction
US5535421A (en) * 1993-03-16 1996-07-09 Weinreich; Michael Chord keyboard system using one chord to select a group from among several groups and another chord to select a character from the selected group
JPH0756957A (ja) * 1993-08-03 1995-03-03 Xerox Corp ユーザへの情報提供方法
US5388061A (en) * 1993-09-08 1995-02-07 Hankes; Elmer J. Portable computer for one-handed operation
GB2283598A (en) 1993-11-03 1995-05-10 Ibm Data entry workstation
CA2137981C (en) 1993-12-22 2001-04-17 Steven A. Shaiman Method and system for presenting alternatives for selection using adaptive learning
US5847697A (en) 1995-01-31 1998-12-08 Fujitsu Limited Single-handed keyboard having keys with multiple characters and character ambiguity resolution logic
US5748512A (en) * 1995-02-28 1998-05-05 Microsoft Corporation Adjusting keyboard
US5786776A (en) 1995-03-13 1998-07-28 Kabushiki Kaisha Toshiba Character input terminal device and recording apparatus
US5559512A (en) * 1995-03-20 1996-09-24 Venturedyne, Ltd. Method and apparatus for entering alpha-numeric data
US6734881B1 (en) * 1995-04-18 2004-05-11 Craig Alexander Will Efficient entry of words by disambiguation
US6392640B1 (en) * 1995-04-18 2002-05-21 Cognitive Research & Design Corp. Entry of words with thumbwheel by disambiguation
US5825353A (en) 1995-04-18 1998-10-20 Will; Craig Alexander Control of miniature personal digital assistant using menu and thumbwheel
SE516771C2 (sv) * 1995-05-30 2002-02-26 Minec Systems Ab Alfanumeriskt tangentbord
US5680511A (en) 1995-06-07 1997-10-21 Dragon Systems, Inc. Systems and methods for word recognition
US5918240A (en) 1995-06-28 1999-06-29 Xerox Corporation Automatic method of extracting summarization using feature probabilities
US5828991A (en) 1995-06-30 1998-10-27 The Research Foundation Of The State University Of New York Sentence reconstruction using word ambiguity resolution
US5797098A (en) * 1995-07-19 1998-08-18 Pacific Communication Sciences, Inc. User interface for cellular telephone
US5818437A (en) 1995-07-26 1998-10-06 Tegic Communications, Inc. Reduced keyboard disambiguating computer
US5917941A (en) * 1995-08-08 1999-06-29 Apple Computer, Inc. Character segmentation technique with integrated word search for handwriting recognition
US5855000A (en) 1995-09-08 1998-12-29 Carnegie Mellon University Method and apparatus for correcting and repairing machine-transcribed input using independent or cross-modal secondary input
WO1997012361A1 (en) * 1995-09-29 1997-04-03 At & T Corp. Telephone network service for converting speech to touch-tones
US5917890A (en) * 1995-12-29 1999-06-29 At&T Corp Disambiguation of alphabetic characters in an automated call processing environment
US6073101A (en) * 1996-02-02 2000-06-06 International Business Machines Corporation Text independent speaker recognition for transparent command ambiguity resolution and continuous access control
JP3113814B2 (ja) 1996-04-17 2000-12-04 インターナショナル・ビジネス・マシーンズ・コーポレ−ション 情報検索方法及び情報検索装置
TW490643B (en) 1996-05-21 2002-06-11 Hitachi Ltd Estimated recognition device for input character string
US5664896A (en) * 1996-08-29 1997-09-09 Blumberg; Marvin R. Speed typing apparatus and method
US5950160A (en) * 1996-10-31 1999-09-07 Microsoft Corporation Method and system for displaying a variable number of alternative words during speech recognition
US5926566A (en) * 1996-11-15 1999-07-20 Synaptics, Inc. Incremental ideographic character input method
US5952942A (en) * 1996-11-21 1999-09-14 Motorola, Inc. Method and device for input of text messages from a keypad
US5953541A (en) 1997-01-24 1999-09-14 Tegic Communications, Inc. Disambiguating system for disambiguating ambiguous input sequences by displaying objects associated with the generated input sequences in the order of decreasing frequency of use
US6009444A (en) 1997-02-24 1999-12-28 Motorola, Inc. Text input device and method
CN1227914C (zh) 1997-03-19 2005-11-16 西门子公司 具有用于文字和/或数字和/或特殊字符输入工具的设备
US5937422A (en) * 1997-04-15 1999-08-10 The United States Of America As Represented By The National Security Agency Automatically generating a topic description for text and searching and sorting text by topic using the same
US6054941A (en) * 1997-05-27 2000-04-25 Motorola, Inc. Apparatus and method for inputting ideographic characters
US5937380A (en) * 1997-06-27 1999-08-10 M.H. Segan Limited Partenship Keypad-assisted speech recognition for text or command input to concurrently-running computer application
US5936556A (en) * 1997-07-14 1999-08-10 Sakita; Masami Keyboard for inputting to computer means
US6044347A (en) * 1997-08-05 2000-03-28 Lucent Technologies Inc. Methods and apparatus object-oriented rule-based dialogue management
US6098086A (en) * 1997-08-11 2000-08-01 Webtv Networks, Inc. Japanese text input method using a limited roman character set
US5999950A (en) 1997-08-11 1999-12-07 Webtv Networks, Inc. Japanese text input method using a keyboard with only base kana characters
US6120297A (en) 1997-08-25 2000-09-19 Lyceum Communication, Inc. Vocabulary acquistion using structured inductive reasoning
US6738952B1 (en) * 1997-09-02 2004-05-18 Denso Corporation Navigational map data object selection and display system
ATE221222T1 (de) 1997-09-25 2002-08-15 Tegic Communications Inc System zur unterdrückung der vieldeutigkeit in einer verringerten tastatur
CA2219008C (en) * 1997-10-21 2002-11-19 Bell Canada A method and apparatus for improving the utility of speech recognition
US6005498A (en) 1997-10-29 1999-12-21 Motorola, Inc. Reduced keypad entry apparatus and method
US6377965B1 (en) * 1997-11-07 2002-04-23 Microsoft Corporation Automatic word completion system for partially entered data
US5896321A (en) * 1997-11-14 1999-04-20 Microsoft Corporation Text completion system for a miniature computer
US5945928A (en) * 1998-01-20 1999-08-31 Tegic Communication, Inc. Reduced keyboard disambiguating system for the Korean language
US7257528B1 (en) 1998-02-13 2007-08-14 Zi Corporation Of Canada, Inc. Method and apparatus for Chinese character text input
US6104317A (en) * 1998-02-27 2000-08-15 Motorola, Inc. Data entry device and method
US6574597B1 (en) * 1998-05-08 2003-06-03 At&T Corp. Fully expanded context-dependent networks for speech recognition
JP3191284B2 (ja) 1998-06-23 2001-07-23 日本電気株式会社 文字入力装置
US6169538B1 (en) 1998-08-13 2001-01-02 Motorola, Inc. Method and apparatus for implementing a graphical user interface keyboard and a text buffer on electronic devices
SE514377C2 (sv) 1998-08-26 2001-02-19 Gunnar Sparr Teckenigenkänning
US6178401B1 (en) * 1998-08-28 2001-01-23 International Business Machines Corporation Method for reducing search complexity in a speech recognition system
US6684185B1 (en) * 1998-09-04 2004-01-27 Matsushita Electric Industrial Co., Ltd. Small footprint language and vocabulary independent word recognizer using registration by word spelling
US6646573B1 (en) 1998-12-04 2003-11-11 America Online, Inc. Reduced keyboard text input system for the Japanese language
US6636162B1 (en) 1998-12-04 2003-10-21 America Online, Incorporated Reduced keyboard text input system for the Japanese language
US7679534B2 (en) * 1998-12-04 2010-03-16 Tegic Communications, Inc. Contextual prediction of user words and user actions
US6885317B1 (en) * 1998-12-10 2005-04-26 Eatoni Ergonomics, Inc. Touch-typable devices based on ambiguous codes and methods to design such devices
US6219731B1 (en) * 1998-12-10 2001-04-17 Eaton: Ergonomics, Inc. Method and apparatus for improved multi-tap text input
US6362752B1 (en) 1998-12-23 2002-03-26 Motorola, Inc. Keypad with strokes assigned to key for ideographic text input
US6801659B1 (en) 1999-01-04 2004-10-05 Zi Technology Corporation Ltd. Text input system for ideographic and nonideographic languages
GB2347240A (en) * 1999-02-22 2000-08-30 Nokia Mobile Phones Ltd Communication terminal having a predictive editor application
GB2388938B (en) 1999-02-22 2004-03-17 Nokia Corp A communication terminal having a predictive editor application
GB2347247A (en) 1999-02-22 2000-08-30 Nokia Mobile Phones Ltd Communication terminal with predictive editor
US6567075B1 (en) * 1999-03-19 2003-05-20 Avaya Technology Corp. Feature access control in a display-based terminal environment
US6204848B1 (en) * 1999-04-14 2001-03-20 Motorola, Inc. Data entry apparatus having a limited number of character keys and method
AU5299700A (en) * 1999-05-27 2000-12-18 America Online, Inc. Keyboard system with automatic correction
US6172625B1 (en) * 1999-07-06 2001-01-09 Motorola, Inc. Disambiguation method and apparatus, and dictionary data compression techniques
US6421672B1 (en) * 1999-07-27 2002-07-16 Verizon Services Corp. Apparatus for and method of disambiguation of directory listing searches utilizing multiple selectable secondary search keys
US6424743B1 (en) 1999-11-05 2002-07-23 Motorola, Inc. Graphical handwriting recognition user interface
US6633846B1 (en) 1999-11-12 2003-10-14 Phoenix Solutions, Inc. Distributed realtime speech recognition system
US6304844B1 (en) 2000-03-30 2001-10-16 Verbaltek, Inc. Spelling speech recognition apparatus and method for communications
US6985933B1 (en) * 2000-05-30 2006-01-10 International Business Machines Corporation Method and system for increasing ease-of-use and bandwidth utilization in wireless devices
JP4105841B2 (ja) * 2000-07-11 2008-06-25 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声認識方法、音声認識装置、コンピュータ・システムおよび記憶媒体
US6686852B1 (en) 2000-09-15 2004-02-03 Motorola, Inc. Keypad layout for alphabetic character input
US6728348B2 (en) * 2000-11-30 2004-04-27 Comverse, Inc. System for storing voice recognizable identifiers using a limited input device such as a telephone key pad
US20020072395A1 (en) * 2000-12-08 2002-06-13 Ivan Miramontes Telephone with fold out keyboard
SE521911C2 (sv) 2001-01-15 2003-12-16 Decuma Ab Ideon Res Park Metod, anordning och datorprogram för igenkänning av ett handskrivet tecken
US7027976B1 (en) 2001-01-29 2006-04-11 Adobe Systems Incorporated Document based character ambiguity resolution
SE519014C2 (sv) 2001-03-07 2002-12-23 Decuma Ab Ideon Res Park Metod och anordning för igenkänning av ett handskrivet mönster
US6502118B1 (en) 2001-03-22 2002-12-31 Motorola, Inc. Fast system and method for producing a logarithmic signal approximation with variable precision
US6982658B2 (en) 2001-03-22 2006-01-03 Motorola, Inc. Keypad layout for alphabetic symbol input
US7103534B2 (en) 2001-03-31 2006-09-05 Microsoft Corporation Machine learning contextual approach to word determination for text input via reduced keypad keys
US7117144B2 (en) 2001-03-31 2006-10-03 Microsoft Corporation Spell checking for text input via reduced keypad keys
US7385591B2 (en) * 2001-03-31 2008-06-10 Microsoft Corporation Out-of-vocabulary word determination and user interface for text input via reduced keypad keys
US20020152075A1 (en) 2001-04-16 2002-10-17 Shao-Tsu Kung Composite input method
US20030023426A1 (en) 2001-06-22 2003-01-30 Zi Technology Corporation Ltd. Japanese language entry mechanism for small keypads
US20040169635A1 (en) 2001-07-12 2004-09-02 Ghassabian Benjamin Firooz Features to enhance data entry through a small data entry unit
US6947771B2 (en) 2001-08-06 2005-09-20 Motorola, Inc. User interface for a portable electronic device
US6757544B2 (en) 2001-08-15 2004-06-29 Motorola, Inc. System and method for determining a location relevant to a communication device and/or its associated user
US20030054830A1 (en) 2001-09-04 2003-03-20 Zi Corporation Navigation system for mobile communication devices
US7225130B2 (en) * 2001-09-05 2007-05-29 Voice Signal Technologies, Inc. Methods, systems, and programming for performing speech recognition
JP2003108472A (ja) * 2001-09-28 2003-04-11 Canon Inc 通信装置、その制御方法、情報機器、その制御方法、通信システム、及び制御プログラム
US7152213B2 (en) 2001-10-04 2006-12-19 Infogation Corporation System and method for dynamic key assignment in enhanced user interface
US7006820B1 (en) * 2001-10-05 2006-02-28 At Road, Inc. Method for determining preferred conditions for wireless programming of mobile devices
US6744423B2 (en) * 2001-11-19 2004-06-01 Nokia Corporation Communication terminal having a predictive character editor application
US7149550B2 (en) * 2001-11-27 2006-12-12 Nokia Corporation Communication terminal having a text editor application with a word completion feature
US7075520B2 (en) 2001-12-12 2006-07-11 Zi Technology Corporation Ltd Key press disambiguation using a keypad of multidirectional keys
GB2383459B (en) 2001-12-20 2005-05-18 Hewlett Packard Co Speech recognition system and method
US6934564B2 (en) * 2001-12-20 2005-08-23 Nokia Corporation Method and apparatus for providing Hindi input to a device using a numeric keypad
US20030119561A1 (en) 2001-12-21 2003-06-26 Richard Hatch Electronic device
US7111248B2 (en) 2002-01-15 2006-09-19 Openwave Systems Inc. Alphanumeric information input method
US7949513B2 (en) 2002-01-22 2011-05-24 Zi Corporation Of Canada, Inc. Language module and method for use with text processing devices
US6807529B2 (en) 2002-02-27 2004-10-19 Motorola, Inc. System and method for concurrent multimodal communication
US6912581B2 (en) 2002-02-27 2005-06-28 Motorola, Inc. System and method for concurrent multimodal communication session persistence
US6864809B2 (en) 2002-02-28 2005-03-08 Zi Technology Corporation Ltd Korean language predictive mechanism for text entry by a user
EP1347361A1 (en) 2002-03-22 2003-09-24 Sony Ericsson Mobile Communications AB Entering text into an electronic communications device
EP1347362B1 (en) 2002-03-22 2005-05-11 Sony Ericsson Mobile Communications AB Entering text into an electronic communications device
US7272564B2 (en) 2002-03-22 2007-09-18 Motorola, Inc. Method and apparatus for multimodal communication with user control of delivery modality
SG125895A1 (en) 2002-04-04 2006-10-30 Xrgomics Pte Ltd Reduced keyboard system that emulates qwerty-type mapping and typing
US7020849B1 (en) * 2002-05-31 2006-03-28 Openwave Systems Inc. Dynamic display for communication devices
US7061403B2 (en) * 2002-07-03 2006-06-13 Research In Motion Limited Apparatus and method for input of ideographic Korean syllables from reduced keyboard
FI20021759A0 (fi) * 2002-10-03 2002-10-03 Nokia Corp Menetelmä ja käyttöliittymä tekstin syöttämiseen
US7095403B2 (en) 2002-12-09 2006-08-22 Motorola, Inc. User interface of a keypad entry system for character input
US20040163032A1 (en) * 2002-12-17 2004-08-19 Jin Guo Ambiguity resolution for predictive text entry
US20040127198A1 (en) * 2002-12-30 2004-07-01 Roskind James A. Automatically changing a mobile device configuration based on environmental condition
US6927763B2 (en) * 2002-12-30 2005-08-09 Motorola, Inc. Method and system for providing a disambiguated keypad
US20040127197A1 (en) * 2002-12-30 2004-07-01 Roskind James A. Automatically changing a mobile device configuration
US20040153963A1 (en) 2003-02-05 2004-08-05 Simpson Todd G. Information entry mechanism for small keypads
US20040153975A1 (en) 2003-02-05 2004-08-05 Williams Roland E. Text entry mechanism for small keypads
US7256769B2 (en) 2003-02-24 2007-08-14 Zi Corporation Of Canada, Inc. System and method for text entry on a reduced keyboard
US7386279B2 (en) 2003-04-02 2008-06-10 Sun Microsystems, Inc. Context based main screen for mobile device
US6955602B2 (en) 2003-05-15 2005-10-18 Zi Technology Corporation Ltd Text entry within a video game
EP1634195A1 (en) 2003-06-18 2006-03-15 ZI Corporation Configurable information identification system and method
TWI319537B (en) 2003-06-18 2010-01-11 Zi Corp Canada Inc Text entry system and method
US7057607B2 (en) 2003-06-30 2006-06-06 Motorola, Inc. Application-independent text entry for touch-sensitive display
US7395203B2 (en) 2003-07-30 2008-07-01 Tegic Communications, Inc. System and method for disambiguating phonetic input
US7389235B2 (en) 2003-09-30 2008-06-17 Motorola, Inc. Method and system for unified speech and graphic user interfaces
US7831679B2 (en) * 2003-10-15 2010-11-09 Microsoft Corporation Guiding sensing and preferences for context-sensitive services
US6973332B2 (en) 2003-10-24 2005-12-06 Motorola, Inc. Apparatus and method for forming compound words
US8136050B2 (en) 2003-11-21 2012-03-13 Nuance Communications, Inc. Electronic device and user interface and input method therefor
US7890492B2 (en) 2004-11-15 2011-02-15 Zi Corporation Of Canada, Inc. Organizing pointers to objects in an array to improve the speed of object retrieval
US20060129928A1 (en) 2004-12-02 2006-06-15 Weigen Qiu Use of pointing device to identify ideographic characters
RU2007125666A (ru) 2004-12-07 2009-01-20 Зи Корпорейшн Оф Канада, Инк. (Ca) Пользовательский интерфейс с расширенными характеристиками поиска
US20060155536A1 (en) 2004-12-20 2006-07-13 Williams Roland E Method and device for displaying a telephone number
US7466859B2 (en) 2004-12-30 2008-12-16 Motorola, Inc. Candidate list enhancement for predictive text input in electronic devices
CN101128838B (zh) 2005-02-28 2011-11-16 Zi德库玛股份公司 辨认图
RU2007135946A (ru) 2005-02-28 2009-04-10 Зи Декума Аб (Se) Распознавание на основе сегментации
EP1952651A4 (en) 2005-11-21 2010-06-02 Zi Corp Canada Inc INFORMATION DISTRIBUTION SYSTEM AND METHOD FOR MOBILE DEVICES
US8018439B2 (en) 2006-03-22 2011-09-13 Zi Corporation Of Canada, Inc. Mobile appliance system and method enabling efficient entry
US8166418B2 (en) 2006-05-26 2012-04-24 Zi Corporation Of Canada, Inc. Device and method of conveying meaning
EP2097853A4 (en) 2006-12-01 2011-06-29 Zi Decuma Ab METHOD FOR RECOGNIZING CHARACTERS

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58134371A (ja) * 1982-02-03 1983-08-10 Nec Corp 日本語入力装置
JPS60189070A (ja) * 1984-03-08 1985-09-26 Fujitsu Ltd 文字入力装置
WO1992005517A1 (en) * 1990-09-26 1992-04-02 Roth Richard G Audio-augmented handwriting recognition
JPH07311656A (ja) * 1994-05-17 1995-11-28 Toshiba Corp マルチモーダル文字入力装置
JP2000508093A (ja) * 1995-07-26 2000-06-27 テジック・コミュニケーションズ・インコーポレーテッド 減少型キーボード曖昧さ除去システム
JPH09198468A (ja) * 1996-01-22 1997-07-31 Toshiba Corp 情報入力装置および自動取引装置
JP2001249920A (ja) * 1999-10-05 2001-09-14 Microsoft Corp 推測入力源からのテキストに対して候補を提供する方法およびシステム
JP2002117026A (ja) * 2000-06-23 2002-04-19 Microsoft Corp 確率的入力方法によって生成された候補リストからフィルタリングおよび選択を行うための方法およびシステム
JP2006515073A (ja) * 2002-09-06 2006-05-18 ヴォイス シグナル テクノロジーズ インコーポレーティッド 音声認識を実行するための方法、システム、及びプログラミング

Also Published As

Publication number Publication date
JP2008537806A (ja) 2008-09-25
US7720682B2 (en) 2010-05-18
EP1849155A4 (en) 2008-10-29
CA2596740A1 (en) 2006-08-17
BRPI0607643A2 (pt) 2009-09-22
WO2006086511A8 (en) 2007-03-01
WO2006086511A3 (en) 2007-09-07
EP1849155A2 (en) 2007-10-31
US20060190256A1 (en) 2006-08-24
WO2006086511A2 (en) 2006-08-17
KR20070098904A (ko) 2007-10-05

Similar Documents

Publication Publication Date Title
JP4829901B2 (ja) マニュアルでエントリされた不確定なテキスト入力を音声入力を使用して確定する方法および装置
TWI266280B (en) Multimodal disambiguation of speech recognition
US8311829B2 (en) Multimodal disambiguation of speech recognition
US7319957B2 (en) Handwriting and voice input with automatic correction
CA2556065C (en) Handwriting and voice input with automatic correction
KR100996212B1 (ko) 음성인식을 위한 방법, 시스템 및 프로그램
US20050192802A1 (en) Handwriting and voice input with automatic correction
JP2005202917A (ja) 表音入力の曖昧さを除くためのシステムおよび方法
CN102272827B (zh) 利用语音输入解决模糊的手工输入文本输入的方法和装置
JP2008547096A (ja) データ入力システム
JP2003513389A (ja) 言語入力ユーザインタフェース
JP2008539477A (ja) すべてより少ない文字、もしくは、与えられた（１つ以上の）文字のすべてより少ないストローク、またはその両方を供給することによる、表意言語の句の省略された手書き入力
JP3762300B2 (ja) テキスト入力処理装置及び方法並びにプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110913

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110916

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140922

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees