JP4920154B2 - 言語入力ユーザインタフェース - Google Patents

言語入力ユーザインタフェース Download PDF

Info

Publication number
JP4920154B2
JP4920154B2 JP2001535148A JP2001535148A JP4920154B2 JP 4920154 B2 JP4920154 B2 JP 4920154B2 JP 2001535148 A JP2001535148 A JP 2001535148A JP 2001535148 A JP2001535148 A JP 2001535148A JP 4920154 B2 JP4920154 B2 JP 4920154B2
Authority
JP
Japan
Prior art keywords
text
input
language
output
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001535148A
Other languages
English (en)
Other versions
JP2003513389A5 (ja
JP2003513389A (ja
Inventor
ワン ジアン
ザン ガオ
ハン ジアン
チェン ズエン
リン シャノニン
リー カイ−フ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2003513389A publication Critical patent/JP2003513389A/ja
Publication of JP2003513389A5 publication Critical patent/JP2003513389A5/ja
Application granted granted Critical
Publication of JP4920154B2 publication Critical patent/JP4920154B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/018Input/output arrangements for oriental characters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/232Orthographic correction, e.g. spell checking or vowelisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/53Processing of non-Latin text
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/183Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/187Phonemic context, e.g. pronunciation rules, phonotactical constraints or phoneme n-grams

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Document Processing Apparatus (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Machine Translation (AREA)

Description

【0001】
(関連事例)
本出願は、1999年11月5日出願の米国仮特許出願第60/163,588号の特典を主張する。
【0002】
本特許出願はさらに、「Language Input Architecture For Converting One Text Form to Another Text Form With Tolerance To Spelling,Typographical,And Conversion Errors」という表題の____年__月__日に同時に出願された米国特許出願第____号および「Language Input Architecture For Converting One Text Form to Another Text Form With Modeless Entry」という表題の____年__月__日に同時に出願された米国特許出願第____号との同時係属出願でもある。これらの同時係属出願は両方とも、引用により本出願に取り込まれている。
【0003】
(技術分野)
本発明は、言語入力ユーザインタフェースに関する。より具体的には、本発明は、言語固有または多言語文書処理システム(word processing systems)、電子メールシステム、ブラウザなどで使用できる、表音文字テキスト(phonetic text)を入力し、言語テキスト(language text)に変換する言語入力ユーザインタフェースに関する。
【0004】
(発明の背景)
英数字キーボード(たとえば、英語QWERTYキーボード)を利用する言語固有文書処理システムは何年も前から存在している。英数字キーボードは、欧文文字セットなどの小さなアルファベットを採用している言語ではうまく機能する。しかし残念なことに、すべての言語が小さなキャラクタベース(character base)を持つわけではない。たとえば、中国語、日本語、韓国語などのキャラクタベース言語(記号言語(symbol languages)ともいう)は、数千文字で構成される。多くの異なる文字に対し別々のキーをサポートするキーボードを組み立てることは実際上不可能であるため、キャラクタベース言語には言語固有キーボードが存在していない。
【0005】
費用のかかる言語および方言固有のキーボードを設計するのではなく、言語固有の文書処理システムではむしろ、ユーザが小さな文字セットキーボード(たとえば、QWERTYキーボード)から表音文字テキストを入力し、その表音文字テキストをキャラクタベース言語の言語テキストに変換するようにできる。「表音文字テキスト」は、所定の言語を発話したときに発生する音声を表すが、「言語テキスト」はテキストに表示されるとおり実際に書かれた文字を表す。たとえば、中国語では、ピンインは表音文字テキストの一例であり、漢字は言語テキストの一例である。通常、表音文字テキストを表すのに必要な文字セットは、言語テキストを表すのに使用される文字セットに比べてかなり小さい。表音文字テキストを言語テキストに変換することにより、多くの異なる言語を、従来のコンピュータおよび標準QWERTYキーボードを使用する言語固有のワードプロセッサにより処理できる。
【0006】
表音文字テキストのユーザ入力を容易にするため、言語固有文書処理システムは言語入力ユーザインタフェース(UI)を採用することが多い。しかし、既存の言語入力UIは、学習が簡単でなく、高速タイピングに適していないためあまり使い勝手がよいとはいえない。このような使い勝手の悪さの例として、一部の従来型言語入力ユーザインタフェースでの表音文字テキスト入力と変換済み言語テキスト出力との分離が挙げられる。たとえば、ユーザが表示画面上のある場所に表音文字テキストを入力すると、言語テキストの変換済み文字が画面上の別のはっきりと区別される場所に表示される。2つの場所は、その場所に固有のローカルカーソルを備えている場合さえある。この二重表示方式は、入力を実際にどこで行っているかということに関してユーザを混乱させることがある。さらに、ユーザは画面上の場所から場所へ連続的に見て行く必要がある。
【0007】
そのため、既存の言語入力UIは、多くの場合、日々のパーソナルコンピュータ(PC)ユーザではなくプロのタイピストでしか使用されない。キャラクタベース言語の国々では、これらの問題は、PCの普及に大きな影響を及ぼす。
【0008】
一般に、言語入力ユーザインタフェースには、(1)コードベースのユーザインタフェースと(2)モードベースのユーザインタフェースの2種類がある。コードベースのユーザインタフェースでは、ユーザが言語の単語に関係するコードを記憶する。コードは、入力デバイスを使用して入力され、目的の言語テキストに変換される。この種のユーザインタフェースでは、ユーザはいったんコードを記憶してしまうとテキストを非常に高速に入力できる。しかし、これらのコードは、記憶するのは簡単でなく、忘れるのは簡単であるという場合が多い。
【0009】
モードベースのユーザインタフェースでは、表音文字テキストが入力され、目的の言語テキストに変換される。モードベースのユーザインタフェースでは、ユーザがコードを記憶する必要はないが、通常、ユーザが言語テキストを入力するモードと編集するモードとを切り替える必要がある。モードベースのユーザインタフェースの一例は、中国語など表音文字テキスト−言語テキスト変換機能を利用して外国語用に改造されたMicrosoft社の「ワード」ブランドの文書処理プログラムがある。表音文字を「ワード」プログラムに入力するときに、ユーザが表音文字(たとえば、中国語ピンイン)を入力する入力モードとユーザが認識および変換プロセスの結果ときおり発生する不可避な誤りを修正するための編集モードとを切り替えるためのローカライズされたツールバーがユーザに対して表示される。
【0010】
このような従来のインタフェースの短所の一つは、現在のモード−入力または編集−を意識し、テキスト入力とは無関係な追加ステップ(つまり、ツールバーコントロールボタンをクリックすること)を実行してモードを切り替える必要があるという点である。このインタフェースのせいで、ユーザに余分な仕事が生じ、ユーザの注意がテキスト入力から他の周辺的な制御面にそらされ、入力速度が著しく低下する。
【0011】
モードベースのユーザインタフェースと関連する他の問題として、ユーザインタフェースの観点から、不可避な変換エラーの処理法法に関するものがある。変換エラーは、認識および変換エンジンが表音文字テキストを不正な言語文字に変換するときに発生する。これは、指定された言語の性質と、表音文字テキストを使用して意図した文字を予測する精度から、きわめてよくあることである。ユーザが編集モードに切り替えた後、ユーザインタフェースは通常、ユーザが文字を修正するための何らかの手段を用意する。たとえば、中国語用のMicrosoftの「ワード」ブランドの文書処理プログラムは、可能な代替文字が表示されているボックスをユーザに対し提示する。この文字のリストが長い場合、ボックスには、可能な文字のリスト内をスクロールするためのコントロールが表示される。
【0012】
従来のモードベースのユーザインタフェースの他の短所として、異なる言語を入力するためにはモード切替をする必要があるという点が挙げられる。表音文字テキストを入力していて、第2の言語のテキストを入力したくなった場合、ユーザは第2の言語を入力するためにモードを切り替える必要がある。たとえば、Microsoftの「ワード」の文脈では、ローカライズされたツールバーに、ユーザが第1の言語(たとえば中国語ピンイン)の入力と第2の言語(たとえば英語)の入力を切り替えるためのコントロールボタンが用意されている。ユーザは、意図した言語を単語認識エンジンに知らせるために意識的にコントロールをアクティブにする必要がある。
【0013】
特にプロでないタイピストの観点からの言語入力UIに関係する問題として他に、タイピング誤りがある。表音文字テキスト入力UIの平均的ユーザは、特にタイポを入力しがちである。タイピングの誤りを犯す理由の1つは、ユーザの地域が異なれば使用するキャラクタベース言語の方言も異なることである。ユーザは、ユーザが使用している方言のせいで表音文字テキストのスペルを誤る。表音文字テキストが少しでも違うと、文字テキストはまったく違ったものになることがある。
【0014】
したがって、言語入力ユーザインタフェースを改善する必要がある。
【0015】
(発明の概要)
本発明は、ユーザが入力した表音文字テキストと、表音文字テキストから同じ画面領域に変換された言語テキストとを使いやすく統合する言語入力ユーザインタフェースに関するものである。このユーザインタフェースは、ユーザが入力モードと編集モードを切り替える必要がないという点でモードレスである。このモードレスのユーザインタフェースはさらに、言語間の明示的なモード切替なしで複数の言語の入力に対応できる。そのため、ユーザインタフェースは、ユーザにとって直観的であり、学習しやすく、また使い勝手もよい。
【0016】
一実装では、言語入力ユーザインタフェース(UI)は、表音文字テキストと変換された言語テキストとを統合するインライン入力機能を備える。特に、ユーザが入力中の表音文字テキストはすでに入力されている表音文字テキストおよびすでに変換されている言語テキストと並行して、同じ行に表示される。入力された表音文字テキストを同じ行にすでに変換された言語テキストとともに表示することで、ユーザは自分の目の焦点を同じ行に合わせることができ、より直観的で自然なユーザインタフェースとなる。
【0017】
言語入力UIでは、1)言語テキストを追加する、2)言語テキストを削除する、3)選択した言語テキストを1つまたは複数の置換言語テキスト候補に置き換えるなどの言語テキスト編集操作機能をサポートしている。ユーザインタフェースを使用することで、ユーザは言語テキストを選択し、手動で新規表音文字テキストをタイプしてこれを新規言語テキストに変換することにより置き換えることができる。それとは別に、このユーザインタフェースは言語テキスト候補の1つまたは複数のリストを備える。まずフローティングリストが、選択した変更する言語テキストと関連して表示される。この方法で、言語テキスト候補は、シーケンス構造内の適所に表示され、ユーザは文法上の文脈で修正を視覚化することができる。候補のリストは、選択したものが実際にユーザが元々意図したものである可能性についてのランクまたはスコアに応じた並べ替え順序で表示される。階層は、確率、文字ストローク、またはその他の測定基準に基づく。上位の候補は、そのセンテンスに最高スコアが付けられた候補であり、それに続いて、2番目の候補は、センテンスに次に高いスコアを付け、という具合に進む。
【0018】
ユーザがリストをスクロールすると、リストはコンテキストメニュー内で更新される。さらに、現在表示されている選択項目が、スクロール動作の方向にアニメーションで動くように表示される。このアニメーションにより、ユーザはリストのスクロール量またはスクロール速度を確認できる。ユーザが置換テキストを選択した後、そのテキストがセンテンス内の言語テキストの代わりに挿入され、ユーザは編集している単一行に注目することができる。
【0019】
言語入力UIの他の機能として、ユーザが編集している言語テキストのすでに入力された表音文字テキストを表示する機能がある。ユーザは、すでに入力されている表音文字テキストを選択し、選択した後、すでに入力されている表音文字テキストが言語テキストの代わりに表示される。続いて、表音文字テキストを編集し、新規言語テキストに変換することができる。
【0020】
言語入力ユーザインタフェースの他の機能として、センテンスベースの自動変換機能がある。センテンスベースの自動変換では、後続の表音文字テキストを入力した後センテンス内のすでに変換されている言語テキストをさらに自動的に異なる言語テキストに変換できる。センテンスがピリオドで完了したことが示されると、そのセンテンス内の言語テキストが固定され、後のセンテンス内に入力テキストを入力した結果、異なる言語テキストにさらに自動的に変換されることはない。語句ベースまたは類似の自動変換を他の実施形態でも使用できることは明白であろう。
【0021】
言語入力ユーザインタフェースの他の機能として、言語テキスト確認のあるセンテンスベースの自動変換機能がある。表音文字テキストが言語テキストに変換された後、ユーザは変換されたばかりの言語テキストを確認し、センテンスの文脈に照らして、変換されたばかりの言語テキストがさらに自動的に変換されることのないようにすることができる。
【0022】
言語入力ユーザインタフェースの他の機能として、モード切替なしで複数の言語を取り扱える機能がある。第2の言語の単語または記号は、表音文字テキストと混ぜて使用した場合、特別な言語入力テキストとして取り扱われ、第2の言語テキストとして表示される。したがって、ユーザは、異なる言語を入力するときにモードを切り替える必要がない。
【0023】
これらの機能やその他のさまざまな機能とさらに、本発明を特徴付ける利点は、以下の詳細な説明を読み、関連する図面を参照することにより明白になるであろう。
【0024】
図全体を通して類似の構成要素および特徴を参照するのに同じ番号を使用している。
【0025】
(好ましい実施形態の詳細な説明)
本発明は、表音文字テキスト入力および言語テキストへの変換を容易にする言語入力ユーザインタフェースに関する。説明のため、汎用コンピュータで実行される文書処理プログラムの一般的文脈で本発明を説明する。ただし、本発明は、文書処理以外の異なる多くの環境(たとえば、電子メールシステム、ブラウザなど)に実装することができ、またさまざまな種類のデバイスで実施することができる。
【0026】
システムのアーキテクチャ
図1は、中央処理装置(CPU)102、メモリ104、および入出力(I/O)インタフェース106を備えるコンピュータシステム実施例100を示している。CPU 102は、メモリ104およびI/Oインタフェース106と通信する。メモリ 104は、揮発性メモリ(たとえば、RAM)および不揮発性メモリ(たとえば、ROM、ハードディスクなど)を表す。
【0027】
コンピュータシステム100は、I/Oインタフェース106を介して接続された1つまたは複数の周辺装置を備える。周辺装置実施例は、マウス110、キーボード112(たとえば、英数字QWERTYキーボード、表音文字キーボードなど)、ディスプレイモニタ114、プリンタ116、周辺記憶装置118、およびマイクロホン120を備える。たとえば、コンピュータシステムは、汎用コンピュータっで実装できる。したがって、コンピュータシステム100は、メモリ104に格納され、CPU 102で実行されるコンピュータのオペレーティングシステム(図に示されていない)を実装する。オペレーティングシステムは、ウィンドウ操作環境をサポートするマルチタスクオペレーティングシステムであるのが好ましい。適当なオペレーティングシステムの例として、Microsoft Corporation社のWindows(登録商標)ブランドのオペレーティングシステムがある。
【0028】
ハンドヘルドデバイス、マルチプロセッサシステム、マイクロプロセッサベースのまたはプログラム可能な家電製品、ネットワークPC、ミニコンピュータ、メインフレームコンピュータなど、他のコンピュータシステム構成を使用できることに注意されたい。さらに、図1にはスタンドアローンのコンピュータが示されているが、通信ネットワーク(たとえば、LAN、インターネットなど)を介してリンクされているリモート処理デバイスによってタスクが実行される分散コンピューティング環境で言語入力UIを実用することもできる。分散コンピューティング環境では、プログラムモジュールをローカルとリモートの両方のメモリ記憶デバイスに配置できる。
【0029】
データまたは文書処理プログラム130は、メモリ104に格納され、CPU 102で実行される。他のプログラム、データ、ファイルなども、メモリ104に格納できるが、説明を簡単にするため示していない。文書処理プログラム130は、表音文字テキストを受け取り、自動的に言語テキストに変換するように構成されている。より具体的には、文書処理プログラム130は、説明のためメモリ内に格納されプロセッサによって実行されるコンピュータソフトウェアとして実装されている言語入力アーキテクチャを実装する。文書処理プログラム130は、アーキテクチャ131に加えて他のコンポーネントも備えることができるが、そのようなコンポーネントは、文書処理プログラムに標準のものであると考えられるため、図に詳細に示したり、詳細に説明していない。
【0030】
文書処理プログラム130の言語入力アーキテクチャ131は、ユーザインタフェース(UI)132、検索エンジン134、言語モデル136、およびタイピングモデル137を備える。アーキテクチャ131は、言語独立である。UI 132および検索エンジン134は、汎用であり、どの言語でも使用できる。アーキテクチャ131は、言語モデル136およびタイピングモデル137を変更することにより特定の言語に合わせる。このアーキテクチャの詳細は、本発明に引用により取り込まれている「Language Input Architecture For Converting One Text Form to Another Text Form With Tolerance To Spelling,Typographical,And Conversion Errors」という表題の米国同時係属出願第____号および「Language Input Architecture For Converting One Text Form to Another Text Form With Modeless Entry」という表題の米国同時係属出願第____号で説明されている。
【0031】
検索エンジン134、言語モジュール136、およびタイピングモデル137はいっしょに使用することで、表音文字テキスト−言語テキスト間のコンバータ138を形成する。この開示の目的のために、「テキスト」は、1つまたは複数の文字および/または文字以外の記号とする。「表音文字テキスト」は一般に、所定の言語を話すときに生じる音声を表す英数字テキストである。「言語テキスト」は、書き言葉を表す文字と非文字記号である。「非表音文字テキスト」は、所定の言語を話すときに生じる音声を表さない英数字テキストである。非表音文字テキストは、言語テキスト以外の書き言葉を表す句読点、特殊文字、および英数字テキストを含む場合がある。
【0032】
図27は、表音文字テキスト、変換された言語テキスト、および非表音文字テキストの一例を示している。この例では、表音文字テキストは中国語ピンインテキストであり、「hello」と翻訳される。この文字テキスト実施例は、漢字テキストであり、これも「hello」と翻訳される。非表音文字テキスト実施例は、英数字記号テキスト文字列「@3m」である。説明の目的のために、ワードプロセッサ130は、中国語ベースのワードプロセッサの文脈で説明し、言語入力アーキテクチャ131はピンインを漢字に変換するように構成されている。つまり、表音文字テキストはピンインであり、言語テキストは漢字である。
【0033】
しかし、言語入力アーキテクチャは、言語独立であり、他の言語にも使用できる。たとえば、表音文字テキストは日本語の話し言葉の形態でよいが、言語テキストは漢字などの日本語の書き言葉を表す。それだけには限らないが、アラビア語、韓国語、インド語、その他のアジア言語など他の例も多数存在する。
【0034】
たぶん、より一般的に述べると、表音文字テキストは、書いたときに欧文文字ベースの文字セットを使用しない所定の言語を話したときに出る音声を表す欧文文字セット(たとえば、英語のアルファベット)で表された英数字でよい。言語テキストは、所定の言語に対応する書かれた記号である。
【0035】
表音文字テキストは、マウス110、キーボード112、またはマイクロホン120などの1つまたは複数の周辺入力デバイスを介して入力する。この方法で、ユーザは、キー入力または音声による表音文字テキスト入力が可能である。音声入力の場合、コンピュータシステムはさらに、話し言葉を受け取る音声認識モジュール(図に示されていない)を実装し、表音文字テキストに変換することができる。以下の説明では、キーボード112によるテキストの入力をフルサイズの標準英数字QWERTYキーボードで実行すると想定している。
【0036】
UI 132では、表音文字テキストを入力と同時に表示する。このUIは、グラフィカルユーザインタフェースであるのが好ましい。ユーザインタフェース132は、表音文字テキスト(P)を検索エンジン134に渡し、さらに、これは表音文字テキストをタイピングモデル137に渡す。タイピングモデル137は、表音文字テキストに誤りが含まれていると思われる場合にユーザが意図した表音文字テキストの適当な編集結果と考えられるさまざまなタイピング候補(TC1,...,TCN)を生成する。タイピングモデル137は、タイピング候補を検索エンジン13に渡し、さらに、これはタイピング候補を言語モデル136に渡す。言語モデル136は、ユーザが意図した表音文字テキストの変換された形式を表すと考えられる言語テキストで書かれているさまざまな変換候補(CC1,...,CCN)を生成する。変換候補は、タイピング候補と関連付けられている。表音文字テキストから言語テキストへの変換は1対1変換ではない。同じあるいは類似した表音文字テキストが言語テキスト内の多数の文字または記号を表すことがある。したがって、表音文字テキストの文脈は、言語テキストへの変換前に解釈される。他方、非表音文字テキストの変換は、通常、表示される英数字テキストが英数字入力と同じである直接的な1対1変換となる。
【0037】
変換候補(CC1,...CCN)が検索エンジン134に戻され、このエンジンにより、タイピング候補および変換候補のうちどれがユーザが意図するものである確率が最も高いかを判別する統計分析が実行される。確率が計算されると、検索エンジン134により、確率が最も高い候補が選択され、変換候補の言語テキストがUI 132に返される。UI 132では、表音文字テキストを変換候補の言語テキストに置き換え、同じ行に表示する。一方で、新規入力した表音文字テキストが新規挿入された言語テキストの前の行に表示され続ける。
【0038】
ユーザが言語テキストを検索エンジン134で選択したものから変更したい場合、ユーザインタフェース132に、選択が実際に意図した回答である可能性の高さの順序でランク付けられた他の高確率の候補の第1のリストが表示される。ユーザがまだ可能な候補に満足しない場合、UI 132は可能なすべての選択肢を与える第2のリストを表示する。第2のリストは、確率またはその他の測定基準(たとえば、ストロークカウントまたは中国語文字の複雑さ)に関してランク付けることができる。
【0039】
言語入力ユーザインタフェース
これ以降では、特にユーザインタフェース132の機能を説明する。とりわけ、ユーザインタフェース132では、入力された表音文字テキストと、変換された言語テキストとを統合して画面上の同じ行に視覚的に表示する。これらの機能の多くは、ウィンドウやメニューまたはカーソルの存在および場所など、画面に視覚的に表示する方法について説明されている。このような機能は、ユーザインタフェース132単独で、またはオペレーティングシステムでサポートされていることに留意されたい。
【0040】
図2〜10は、言語入力ユーザインタフェース132の実施例のさまざまな画面表示を示している。UIで入力され表示されているが、まだ言語テキストには変換されていない表音文字テキストを表すために記号「P」を図2〜10全体をとおして使用している。記号「C」は、入力表音文字テキストPから変換された変換された言語テキストを表す。下付きは、表音文字テキストP、たとえば、P1、P2、...、PNおよび変換された言語テキストC、たとえば、C1、C2,...CNと、それぞれで使用し、表音文字テキストと変換された言語テキストの個々のものを表す。
【0041】
統合されたインラインテキスト入出力
図2は、言語入力UI 132単独で、またはオペレーティングシステムで表示される画面表示200を示している。この図では、画面表示200は、MicrosoftのWindows(登録商標)ブランドのオペレーティングシステムで生成されたものなど、カスタムグラフィックウィンドウと似ている。グラフィックウィンドウは、言語入力の文脈での使用に合わせて手直しされており、表音文字テキストを入力しその後言語テキストに変換するインライン入力領域202を表す。インライン領域202は、平行な波線で絵として表されている。
【0042】
入力カーソル204は、次の表音文字テキスト入力が行われる現在の位置をマークする。グラフィックUIはさらに、ツールバー206、208、210、212、またはその他の機能などの複数のツールバーを、アプリケーション、たとえば、ワードプロセッサ、データプロセッサ、表計算ソフト、インターネットブラウザ、電子メール、オペレーティングシステムなどに応じて備えることができる。ツールバーは、一般に、文書処理技術またはデータ処理技術として知られており、ここでは詳述しない。
【0043】
インライン入力領域202は、表音文字テキストPの入力と変換された言語テキストCの出力を統合したものである。このため、ユーザが画面の単一の領域注意を集中できて便利である。ユーザが表音文字を(キー入力または音声で)入力すると、表音文字テキストPは第1の方向(たとえば、画面上で水平方向に)インラインで表示される。入力カーソル204は、変換された言語テキストC12および入力表音文字テキストP123により、またはそれと合わせて配置される。図2では、入力シーケンスは左から右であり、入力カーソル204は、すでに入力された表音文字テキストP123の右側に配置される。テキストを所定の言語を読み取るのと同じ方向に入力することは本発明の範囲内にあること、また本実装で説明している「左から右への」入力シーケンスは一例にすぎないことは明白であろう。さらに、言語入力UIは、それだけには限らないが、垂直、対角線方向など実質的にどのような方向でもインライン入力することができることは明白であろう。インライン入力機能がユーザから見て離れて行くまたは向かってくるように見えるさまざまな3次元形式などその他のインライン形式を考えることができる。
【0044】
自動変換
ユーザが表音文字テキストPを入力すると、コンバータ138は自動的に表音文字テキストを変換済み言語テキストCに変換する。通常、少数の表音文字テキストエレメントP(たとえば、1から6個の表音文字テキストエレメントP)を入力してから、表音文字テキストPを言語テキストCに変換する。
【0045】
変換を行うときに、変換済み言語テキストCがインライン領域202によって示されているように、表音文字テキストPと同じ行に表示される。ユーザが表音文字テキストを入力し続けると、一番最近の入力表音文字テキストPがすでに変換された言語テキストCとインラインで表示される。たとえば、図2で、表音文字テキストP123は、一番最近に変換された言語テキストC12とインラインで表示される。入力された表音文字テキストPを同じ行にすでに変換された言語テキストCとともに表示することで、ユーザは自分の目の焦点を同じ行に合わせることができ、入力プロセスがより直観的で自然になるだけでなく入力が高速化される。
【0046】
ユーザが表音文字テキストPを入力し続けると、ユーザインタフェースは自動的に表音文字テキストPをリアルタイムで言語テキストCに変換し、ユーザはモードを切り替える必要がない。図3の例に示されているように、ユーザが表音文字テキストP4を入力するとすぐに、表音文字テキストP123が自動的に言語テキストC3に変換される。ユーザは、モードを切り替えたり、躊躇することなく、表音文字テキストP4567を入力し続ける。
【0047】
表音文字テキストから言語テキストへの変換は、言語モデル136によって制御される自動プロセスである。言語テキストC3は、可能なすべての言語テキストのうち最高の確率を持つものとして選択され、したがって、自動変換で使用される。ただし、ユーザのタイピングが多いほど、考慮する文脈は大きくなる。したがって、言語テキストC3は、P4567などの表音文字テキストをさらに入力した後異なる言語テキストに変更される場合がある。
【0048】
言語入力アーキテクチャ131は、追加入力テキストの入力への応答として変換済み言語テキストを変更する頻度が最小になるように構成することができる。文脈によっては、変換された言語テキストを入力テキストのそれぞれの入力文字とともに変更し、本質的に、所定の文脈でユーザが意図しているおおよそ等しい確率の2つまたはそれ以上の可能な解釈を切り替えることが可能である。言語テキストの一定の切り替えは、ユーザは視覚的に気を散らされる可能性がある。
【0049】
テキスト切り替え作業を最小限に抑えるために、コンバータ138は、他の文脈が意図される確率が有意でない限り現在の言語テキストを維持することを規定する1つまたは複数の確率ベースの規則を実装することができる。このようにして、コンバータ138は、第2の言語テキストが統計的な観点からわずかしかよくない場合に、変換された言語テキストを第2の言語テキストに変更しにくい。有意性の度合いは文脈とともに変化する。たとえば、コンバータ138は、修正された言語テキストの可能性が置き換える言語テキストよりも少なくとも5パーセントポイント以上高いときのみ言語テキストを修正するように構成できる。
【0050】
センテンスベースおよび確認済み自動変換
ユーザは、非常に長いテキスト文字列(たとえば、テキストの段落)が変換の対象となる場合に快適に感じられないことがある。ユーザインタフェースの一実装では、表音文字テキストPから言語テキストCへの自動変換はセンテンスベースの自動変換である。つまり、センテンスが完了すると、そのセンテンス内の言語テキストCは、後のセンテンス内に表音文字テキストPを入力したときに異なる言語テキストCにさらに自動的に変換されることはない。センテンスベースの自動変換機能を使用すると、ユーザのタイピング誤りが減るだけでなく、前のセンテンスが連続的に自動変換されることもなくなる。
【0051】
センテンスは他にもいろいろ多くの方法で定義できることは明白である。たとえば、センテンスは、2つのピリオドに挟まれたテキスト文字列、さまざまな定義済み句読点に挟まれたテキスト文字列、いくつかのテキストエレメントを含むテキスト文字列などある種の定義済み句読点で挟まれたテキスト文字列として定義することができる。ユーザが句読点を入力すると、句読点と前の句読点との間に入力したテキスト文字列は、もしあれば、センテンスとして処理することができる。そのセンテンス内の変換済み言語テキスト文字列Cは、ユーザが表音文字テキストを後のセンテンスに入力した際にさらに自動的に変換されることはない。当業者であれば、必要ならば自動変換を2つまたはそれ以上のセンテンスに基づいて行うようにできることは理解できるであろう。
【0052】
図4は、センテンスが句読点で確認される表示画面200の位置を示している。センテンスを確認して、句読点を入力すると、通常、センテンスの終わりにある表音文字テキストPが言語テキストCに自動的に変換される。たとえば、図4に示されているように、カンマ400を入力した後、表音文字テキストP4567が言語テキストC4に変換される。すると、言語テキスト文字列C1234はセンテンスとして取り扱われる。変換済み言語テキストC1234は、さらに自動的に変換されることはなくなる。
【0053】
センテンスベースの自動変換に加えて、ユーザは入力した表音文字テキストPから変換した後、変換済み言語テキストCのうち1つまたは複数を明示的に確認することができる。ユーザはキーボードでユーザコマンドを入力して(たとえば、スペースバーを押して)変換されたばかりの言語テキストCを確認し、センテンスの文脈に照らして、変換されたばかりの言語テキストCがさらに自動的に変換されることのないようにすることができる。この機能の詳細については、図20および図24を参照して後述する。
【0054】
遅延変換
多くの言語では、ユーザは通常、表音文字テキストよりも言語テキストのほうが、読み修正する作業に慣れている。表音文字テキストを入力するときに、ユーザは、ふつう、変換が行われるのを待ってそれから、入力されたテキストが正確かどうかを判別しようとする。これは、特に、ピンイン文字よりも、漢字のほうの読み、修正する作業を好む中国語ユーザの場合にあてはまる。
【0055】
このユーザ特性に照らして、言語入力アーキテクチャ131は表音文字テキストを言語テキストに変換する時期を考慮するように設計されている。一般に、変換は、変換済み言語テキストがユーザの意図したものであることが十分確実であるとコンバータ側で判別したときに行われる。UIの文脈では、最終的な変換によりユーザ入力がより表音文字的なテキストとなったときに修正されそうにない確度の高い言語テキストが得られるように表音文字テキストのうち何文字を一度に表示すべきかという問題が特徴的なものとなっている。変換の開始時期が早すぎると、変換された言語テキスト内の誤りが増えて、ユーザが変換された言語テキストの強制的修正を行う頻度が高まる。変換開始時期が遅すぎると、ユーザに対し目的の言語テキストではなく長い表音文字テキスト文字列が表示されることになり使いにくい。
【0056】
変換開始が早すぎるのと変換開始が遅すぎるのとの妥協として、高い変換精度が保証される最適な数の表音文字が入力されるまで変換を遅らせるように言語入力アーキテクチャを構成することができる。実際、このアーキテクチャは、最小の文字数分を入力してから最大の文字数分を入力する前までに表音文字テキストの代わりに変換された言語テキストを選択して表示する操作を遅らせるように設計されている。一実施例として、少なくとも1つのピンイン文字と高々6個のピンイン文字が入力されUIに表示されるときにピンインテキストを漢字テキストに変換するように構成した中国語用に手直しされた言語入力アーキテクチャが示されている。
【0057】
一実装では、言語入力アーキテクチャは、与えられた文脈について、変換された言語テキストを選択して表示するまでに入力可能な表音文字の最適な個数を決定する一組の規則を実装している。規則は以下のようにまとめられる。
【0058】
規則1:最後の(つまり、一番最近に入力した)入力文字を常に表示する。
【0059】
規則2:複数の入力文字を入力し表示した後、一致すると思われる候補内の1つまたは複数の文字について上位N個の変換候補を評価する。少なくとも1つの変換された文字がN個の変換候補すべてについて同じであれば、入力テキストの一部を形成する少なくとも1つの入力文字を出力テキスト内の一致する変換済み文字に変換する。
【0060】
規則3:第1の最も確度の高い変換候補のスコアが第2の最も確度の高い候補よりも著しく大きい場合、少なくとも1つの入力文字を第1の変換候補の文字に変換する。
【0061】
モードレス編集
図5〜9は、このアーキテクチャでサポートしているモードレス編集機能の実施例を示している。このユーザインタフェースを使用することにより、ユーザは、明示的なモード切替操作を行わずに、入力モードから編集モードへの継ぎ目のない遷移を行うことが可能である。さらに、編集モードは、言語テキストの追加、削除、および置換などの従来の編集機能をサポートしている。本発明では、新規表音文字テキストを入力するか、または少なくとも1つの置換言語テキスト候補のリストから置換言語テキストを選択することにより、言語テキストを置換できる。
【0062】
インプレース誤り修正
図5は、さまざまな編集機能のある画面表示200を示している。説明のため、ユーザは句読点400を入力して言語テキストC1234(前には図4の)を確認しており、また確認された言語テキストC1234を編集したいと仮定する。ユーザは、カーソル204の位置を確認済み言語テキストC1234内の目的の位置に変更する。カーソルの位置決めは、それだけには限らないが、矢印キー、マウスのクリック、または音声コマンドなどさまざまな方法で行える。図5は、編集用にこの文字を選択するため言語文字C3の前に位置が変更されたカーソル204を示している。
【0063】
カーソル204の位置を言語文字C3の前に変更した後、ユーザは1つまたは複数のユーザコマンドを入力して、編集する文字を含むテキスト内の位置にあるインライン領域202上またはそのあたりにスーパーインポーズされる編集ウィンドウまたはボックス500を呼び出す。ユーザコマンドは、それだけには限らないが、キーボード112のエスケープキー「ESC」を押すなどの、当業でよく知られているいくつかの方法で実行できる。
【0064】
図解されている実装では、編集ウィンドウまたはボックス500は、インラインテキストの第1の方向(たとえば、水平方向)に直交する第2の方向(たとえば、垂直方向)で言語文字C3の隣りにポップアップする。ポップアップ編集ウィンドウ500は、入力テキストヒントウィンドウ502とスクロール可能な候補ウィンドウ504の2つの部分に分かれる。これら2つの部分は、共通のユーザコマンドで同時に呼び出されるのが好ましい。文字C3の対応する表音文字テキストP123は、すでにユーザによって入力されており、編集している言語文字C3の真上に、縦に揃えられて、入力テキストヒントウィンドウ502内に表示される。入力表音文字テキストP123を表示することで、ユーザは言語テキストC3に対しすでに何を入力しているかを確認し、必要ならば編集することができる。入力テキストヒントウィンドウ502は、スクロールアップバー506が上部に配置されている。このスクロールアップバー506を起動することで、表音文字テキストP123がセンテンス内のスライドし、言語テキスト文字C3を置き換える。
【0065】
候補ウィンドウ504は、少なくとも1つの置換言語テキスト候補C3 a、C3 b、C3 c、C3 dのスクロール可能なリストが配置され、言語テキストC3と同じまたは類似した表音文字テキストがある。候補ウィンドウ504は、言語テキストC1234を含み、言語文字C3の真下に縦方向に揃えられた、インライン入力領域202に直交する形で配列されている。上付きを使用して、C3 a、C3 b、C3 c、C3 dなど異なる言語テキスト文字を表す。候補ウィンドウ504に表示できる以上の候補がある場合、スクロールダウンバー508が候補ウィンドウ504の下部に表示される。ユーザはスクロールダウンバー508を選択(たとえば、クリック)して、追加置換言語テキストを表示できる。インプレースウィンドウ502および504の機能の1つでは、スクロール操作をアニメーション化し、候補またはテキストが上下に移動する状態を見せることができる。これにより、リストが一度に1項目ずつスクロールする視覚的フィードバックがユーザに返される。
【0066】
入力テキストヒントウィンドウ502内の表音文字テキストP123および候補ウィンドウ504内の置換言語テキスト候補C3 a、C3 b、C3 c、C3 dは、さらに、図に示されているように、番号0、1、2、3、4で追加参照される。置換言語テキストの番号付け方法と候補ウィンドウ504のサイズは、いろいろな方法で設定できる。一実装では、候補ウィンドウ504はサイズが制限されており、置換言語テキストの上位4つの最高確率のみをリスト表示する。
【0067】
候補ウィンドウ504内の言語テキスト候補C3 a、C3 b、C3 c、C3 dは、何らかの順序またはランク付けで配列するのが好ましい。たとえば、順序は、候補が実際にユーザが最初に意図したものである確率または可能性に基づくことができる。この確率は、言語モデル136によって返される候補とともに、検索エンジン134によって計算される。与えられた文脈でのある置換言語テキストの確率が与えられた文脈での他の置換言語テキストの確率よりも高い場合、確率が高いほうの置換言語テキストが編集対象の言語テキストの近くに、低い参照番号で表示される。
【0068】
ユーザは、オプションにより、適切な参照番号を入力して文字テキストC3を置き換えるか、または他の一般的な手法(選択したオプションをポイントしてクリックする)により、表音文字テキストP123を選択するか、または置換言語テキストC3 a、C3 b、C3 c、C3 dのうちから1つ選択することができる。選択した置換が、インラインテキスト内で文字C3の代わりになる。ユーザが候補を選択した後、ポップアップウィンドウ500が自動的に閉じるが、修正したテキストを残すように構成できる。それとは別に、ユーザは、ウィンドウ502および504の外でマウスをクリックするなどの従来の方法を使用して、テキストヒントウィンドウ502と候補ウィンドウ504を明示的に閉じることもできる。
【0069】
インプレースウィンドウ502および504で実装されるテキスト置換機能は、インプレース誤り修正機能(in−place error correction feature)と呼ばれる。選択した表音文字テキストP123または置換言語テキストC3 a、C3 b、C3 c、C3 dのうちから選択した1つが置換対象の言語テキストC3のある場所にインプレースで表示される。インプレース誤り修正機能を使用すると、ユーザは編集する言語テキストが含まれる言語テキスト文字列を一般的に近似することに集中できる。
【0070】
第2候補リスト
図6は、図5に示されているのと似た画面表示200を示しているが、第1の候補ウィンドウ504から分離され、隣接する第2の候補ウィンドウ600をさらに示している。第2の候補ウィンドウ600には、編集する文字テキストC3の対応する表音文字テキストP123と同じまたは類似する表音文字テキストを持つ置換言語テキストのより大きなまたはたぶん完全なリストが表示される。入力テキストヒントウィンドウ502内の表音文字テキストP123および候補ウィンドウ504内の置換言語テキスト候補C3 a、C3 b、C3 c、C3 dはさらに第2の候補ウィンドウ600内に表示される。他の実施形態では、追加置換候補のみ、第2の候補ウィンドウ600内にリスト表示される。
【0071】
第2の候補ウィンドウ600を開くために、ユーザは、候補ウィンドウ504内でアクティブになっている状態で、キーボードの右矢印キーを押すなど、コマンドを入力する。ユーザは、その後、マウスのクリックやキー入力などの適当なコマンドで目的の置換言語テキストを選択することができる。ユーザは、テキスト文字列からテキスト文字へフォーカス602を移すことができる。
【0072】
第2の候補ウィンドウ600内の候補はさらに、何らかの順序で配列することもできるが、必ずしも、第1の候補ウィンドウ504で使用したのと同じランク付け方法に従うわけではない。通常、第1の候補ウィンドウ504の候補でも行っているような確率スコアで並べ替える操作は、多数の候補の違いが小さく、いくぶん意味がないため、完全な候補ウィンドウ600には役立たない場合がある。ユーザは、この設定で特定の候補を見つけることについて直観的感覚を持たない場合がある。したがって、第2の候補ウィンドウ600では、目的の候補の直観的発見を可能にする他の何らかの方法で候補のランク付けを行おうとする。
【0073】
第2の候補ウィンドウ600内の候補をランク付けるために使用できる基準の1つは、特に日本語および中国語の文脈において、文字または記号の複雑さの測定基準となっている。たとえば、中国語テキスト候補のリストについては、候補を形成するのに必要なストローク数に応じて候補をリスト表示することができる。ストロークの順序により、目的の言語テキストを探索しているユーザはある種の明確な感覚をつかめる。ユーザは、一見似た複雑さを持つ文字が納められているウィンドウ600の特定の領域をざっと見ることができる。このランク付け基準は、ユーザが正確なストローク数を数えたり、それを知るようにすることを意図したものではなく、強い、首尾一貫した、視覚的に認識可能な並べ替え順序を与えることのみを意図している。
【0074】
ウィンドウ600を閉じるために、ユーザは、ウィンドウ600の外でキーボードでキー入力したり、マウスをクリックするなどコマンドを入力する。ウィンドウの開閉、ウィンドウ内の上下および左右のスクロール、ウィンドウ内の上下のスクロールは、当業で知られており、ここでは詳述しないことは理解されるであろう。
【0075】
インプレース表音文字テキスト修正
図7〜9は、図5に示されている表音文字テキストP123のインプレース表音文字テキスト修正を説明するさまざまな事例での一連の画面表示200を示している。この例では、ユーザは、入力テキストヒントウィンドウ502内の表音文字テキストP123が正しくないと判断している。正しい表音文字テキストはP1 a23であるべきである。表音文字テキストを修正するために、ユーザはまず、入力テキストヒントウィンドウ502から表音文字テキストP123を選択する。
【0076】
図7は、選択した表音文字テキストP123が、編集しているテキスト文字C3の場所にインプレースで表示されることを示している。ユーザは、P1をP1 aに変更して表音文字テキストを編集することができる。
【0077】
図8は、表音文字テキストがP1 aに変更された後のUIを示している。テキストヒントウィンドウ502がさらに更新され、変更を反映する。編集操作の結果、同じまたは類似の編集された表音文字テキストP1 a23を持つ少なくとも1つの新規置換言語テキストC3 jが候補ウィンドウ504に表示される。その後、ユーザは、候補ウィンドウ504内の置換言語テキスト(たとえば、C3 j)を選択できる。
【0078】
図9は、編集された表音文字テキストP1 a23と置き換わる選択した置換テキストC3 jを示している。他の実施形態では、編集された表音文字テキストは、最も有望な新規置換言語テキストに自動的に変換できる。
【0079】
混合言語入力
言語入力アーキテクチャは、さらに、2つまたはそれ以上の言語を区別するように構成できる。第1の言語を表音文字テキストとして検出して言語テキストに変換し、第2の言語を非表音文字テキストとして検出してそのまま保持する。UI 132は、この2つの言語をユーザがテキストを入力したときと同じ行に同時に表示する。この手法は、多言語テキストを入力するときに2つの入力モードを切り替えずに済むという利点がある。ユーザに関する限り、ユーザインタフェースはモードレスである。
【0080】
図10は、ユーザインタフェースの画面表示200を示しており、2つの異なる言語の混合テキストの統合された取り扱いと表示を示している。記号「A」は、第2の言語テキストの文字を表している。第2の言語Aは、第2の言語テキストAがユーザによる入力時に表示される非表音文字言語である。たとえば、第1の言語は漢字であり、第2の言語は英語である。多言語を任意個数の異なる言語とすることができることは明白であろう。
【0081】
一実装では、ユーザは混合言語テキストを入力することができ、そのうちの1つは言語テキストC(たとえば、漢字)に変換可能な表音文字テキストP(たとえば、ピンイン)である。文字ベース言語の表音文字テキストPは、表音文字テキストPが言語テキストCに自動変換されるまで言語テキストAとともにインラインに表示され、言語テキストCは第2の言語の言語テキストAとインラインに表示される。図10は、入力表音文字テキストP、変換された言語テキストC、および同じインライン領域202内にある第2の言語テキストAを示している。
【0082】
異なるフォントまたは色を使用して、表音文字テキストPと非表音文字テキストAとを区別することができる。たとえば、表音文字テキストPは、第1のフォントまたは色で表示され、非表音文字テキストAは、第1のフォントまたは色と異なる第2のフォントまたは色で表示される。フォントおよび色の他に、表音文字テキストPと非表音文字テキストAとを視覚的に区別する他の手法を使用することもできる。
【0083】
一般的なUI操作
図11〜19は、言語入力アーキテクチャによって実行される方法を示している。これらの方法を言語入力ユーザインタフェースの一部として実行し表音文字テキストの入力および編集を簡単に行えるようにする他に、変換された言語テキストの編集も行えるようにする。図11は、一般的なプロセスを示しているが、図12〜19は操作のいくつかをより詳細に説明している。これらの方法については、図2〜10の画面表示をさらに参照して説明している。
【0084】
図11は、言語入力ユーザインタフェースを介してテキストを入力する方法100を示している。操作1102で、ユーザインタフェースにより、ユーザは共通のインライン領域202内にテキストを入力できる。説明している実装では、入力テキストは、中国語ピンインなどのであることを特徴とする表音文字テキストである。入力テキストは、漢字などの文字ベースの言語の言語テキストに自動的に変換される(操作1104)。この変換の一実施例については、図1を参照して上で説明している。読者がこれに関心がある場合、このアーキテクチャの詳細について、本発明に取り込まれている「Language Input Architecture For Converting One Text Form to Another Text Form With Tolerance To Spelling,Typographical,And Conversion Errors」という表題の米国同時係属出願第____号および「Language Input Architecture For Converting One Text Form to Another Text Form With Modeless Entry」という表題の米国同時係属出願第____号を参照されたい。
【0085】
操作1106では、カーソルの位置変更または明示的コマンドにより示されるとおり、変換後言語テキストをユーザが編集するかどうかを判別する。編集する場合(つまり、操作1106からの「はい」の経路)、UIは編集する文字に近いカーソルのユーザの位置変更を受け取る(操作1108)。図5に示されているように、カーソルは言語テキスト文字の前に位置変更できる。
【0086】
操作1110で、UIは図5に示されているようにユーザコマンドへの応答として編集ウィンドウ500を開く。編集ウィンドウ500は、言語テキストを置換するための第1の候補リスト504を含む。適当な置換候補が候補リスト504に表示されない場合、ユーザは図6に示されているような第2の候補リストウィンドウ600を呼び出すことを決めることができる。操作1112により、ユーザが第2の候補ウィンドウ600を要求したかどうかを判別する。適当な候補が第1の候補リスト504にあり、ユーザが候補リストウィンドウを開かないことに決めた場合(つまり、操作1112からの「いいえ」の分岐)、ユーザは第1の候補リストウィンドウから置換言語テキストを選択して、編集する言語テキストを置換することができる(操作1114)。
【0087】
他方、ユーザが第2の候補ウィンドウを呼び出した場合(つまり、操作1112からの「はい」の分岐)、UIは第2の候補リストウィンドウを開き、ユーザは編集中の言語テキストを置換する置換言語テキストを選択できる(操作1116)。第1の候補リストウィンドウ504または第2の候補リストウィンドウ600から選択した置換言語テキストが、インライン領域202内の言語テキストの場所にインプレースで表示される(操作1118)。操作の流れは操作1106で続く。
【0088】
ユーザがテキストを編集したくない場合(つまり、操作1106からの「いいえ」経路)、ユーザがテキスト入力を続けるかどうかをUIで判別するが、これは、ユーザがカーソル位置を変更して文字を入力し続けることで示される(操作1120)。ユーザの動作はテキスト入力を続けることを示唆する傾向がある場合は、カーソルは現在のセクションの終わりのところの入力位置戻り(操作1122)、操作の流れは入力インライン操作1102で続く。ユーザが続行したくない場合、プロセスは終了する。
【0089】
インライン入力:操作1102および1104
図12は、インライン入力サブプロセス1200を示しているが、これは、図11の操作1102および1104の一実施例である。このサブプロセスを示す画面表示例が図2と図3に示されている。
【0090】
操作1202で、UIは、入力デバイス(たとえば、キーボード、音声認識)から表音文字テキスト(たとえば、ピンイン)の入力文字列を受け取る。言語入力UIは、すでに変換されている言語テキストと同じインライン領域202内に表音文字テキストを表示する(操作1204)。表音文字テキストから言語テキストへのコンバータ138は、操作1206で表音文字テキスト文字列を言語テキスト(たとえば、漢字)に変換する。言語入力UIは、表音文字テキストを変換済み言語テキスト文字列に置き換え、インライン領域202内にその言語テキストを表示する(操作1208)。そこでサブプロセス1200は終了する。
【0091】
センテンスベースの変換:操作1104
図13は、自動変換サブプロセス1300を示しているが、これは、操作1104の他の実施例である。このサブプロセスを示す画面表示例が図3と図4に示されている。
【0092】
操作1302で、言語入力アーキテクチャは、入力デバイスを介してユーザによる表音文字テキスト入力文字列を受け取る。言語入力UIは、インライン領域202内に入力表音文字テキストを表示する(操作1304)。操作1306で、言語入力アーキテクチャは、表音文字が既存のセンテンスに属すのかそれとも新規センテンスに属すのかを判別する。この判別は、ピリオドやカンマなどの何らかの句読点をユーザが入力したかどうかに基づいて行うことができる。
【0093】
入力表音文字テキストが新規センテンスに属している場合(つまり、操作1306からの「新規」経路)、入力された表音文字テキストは、前のセンテンスがあればその中の前のテキストの内容を考慮することなく自動的に言語テキストに変換される(操作1308)。逆に、入力表音文字テキストが新規センテンスに属していない場合(つまり、操作1306からの「既存」経路)、センテンス内の表音文字テキストは、そのセンテンスの文脈内で自動的に変換される(操作1310)。この変換の一部として、追加テキストがセンテンス全体の意図した意味を変更し続けるのと同時に、すでに変換されている言語テキストをさらに修正することができる。操作の流れは、変換操作1308および1310に続いて終了する。
【0094】
確認済み変換:操作1104
図14は、自動変換サブプロセス1400を示しているが、ここではユーザが変換済み言語テキストを確認する。サブプロセス1400は、操作1104の他の実施例である。
【0095】
操作1402で、言語入力アーキテクチャは、入力デバイスを介してユーザによる表音文字テキスト入力文字列を受け取る。言語入力UIは、インライン領域202内に入力表音文字テキストを表示する(操作1404)。対応する未確認言語テキストの表音文字テキストは、文字ベースの言語の言語テキストに自動的に変換される(操作1406)。
【0096】
操作1408で、言語入力UIは、ユーザが変換済み言語テキストを確認したかどうかを判別する。確認されていない場合、サブプロセスは終了する。そうでなく、ユーザが言語テキストを確認している場合(つまり、操作1408からの「はい」経路)、UIでは、変換された言語テキストを確認し、追加表音文字テキストが入力されるとともに他の文脈上の考察からその言語テキストを削除する(操作1410)。そこで操作の流れが終了する。
【0097】
インプレース誤り修正:操作1108〜1118
図15〜18は、インプレース誤り修正サブプロセスの異なる実装を示しているが、これは、図11の操作1108〜1118の一実施例である。図15および16のサブプロセスは、言語テキストを修正するための第1と第2の候補リストの使用に関するものである。図17および18のサブプロセスは、表音文字テキストヒントウィンドウを使用して表音文字テキストを修正することに関するものである。
【0098】
図15は、他の言語テキストをポップアップ候補ウィンドウで提供することにより変換済み言語テキストを修正するインプレース誤り修正サブプロセス1500を示している。このサブプロセス1500を示す画面表示例が図5に示されている。
【0099】
操作1502で、ユーザがカーソルをすでに入力している言語テキストの近くに移動することに応えて(たとえば、文字の前)、言語入力UIでは、編集する言語テキストを選択または識別する。このUIは、編集する言語テキストの真下にある第1の候補ウィンドウを含む編集ウィンドウ500を開き、選択した言語テキストの置換候補のリストを表示する(操作1504)。
【0100】
操作1506で、UIは第1の候補ウィンドウ504から置換候補のユーザによる選択を受け取る。言語入力UIは、表音文字テキストを同じインライン領域202内で、選択された言語テキストの代わりに、選択した置換言語テキスト候補を表示する(操作1508)。そこで操作の流れが終了する。
【0101】
図16は、他の言語テキストを他の言語テキストの完全なリストを二次の大きなポップアップ候補ウィンドウで提供することにより変換済み言語テキストを修正するインプレース誤り修正サブプロセス1600を示している。このサブプロセス1600を示す画面表示例が図6に示されている。
【0102】
操作1602で、ユーザがカーソルをすでに入力している言語テキストの近くに移動することに応えて(たとえば、文字の前)、言語入力UIでは、編集する言語テキストを選択または識別する。このUIは、編集する言語テキストの真下にある第1の候補ウィンドウ504を含む編集ウィンドウ500を開き、選択した言語テキストの置換候補の短いリストを表示する(操作1604)。ユーザが適切な置換候補を見つけられない場合、ユーザは置換言語テキスト候補の第2の候補ウィンドウ600を呼び出すことができる(操作1606)。第2の候補リストは、第1の候補ウィンドウよりも大きなまたはより完全な置換言語テキスト候補のリストを含む。
【0103】
操作1608で、UIは第2の候補ウィンドウ600から置換候補のユーザによる選択を受け取る。言語入力UIは、表音文字テキストを同じインライン領域202内に選択された言語テキストの代わりに選択した置換言語テキスト候補を表示する(操作1610)。そこで操作の流れが終了する。
【0104】
図17は、ポップアップヒントウィンドウを介してすでに入力されている表音文字テキストを編集することにより変換済み言語テキストを修正するインプレース誤り修正サブプロセス1700を示している。このサブプロセス1700を示す画面表示例が図7に示されている。
【0105】
操作1702で、ユーザがカーソルをすでに入力している言語テキストの近くに移動することに応えて(たとえば、文字の前)、言語入力UIでは、編集する言語テキストを選択または識別する。このUIは、編集する言語テキストの真上にある表音文字テキストヒントウィンドウ502を含む編集ウィンドウ500を開き、ユーザが入力したとおりに表音文字テキストを表示する(操作1704)。
【0106】
ヒントウィンドウ502で表音文字テキストをユーザが選択した後(つまり、操作1706からの「はい」経路)、UIは編集している言語テキストの代わりに表音文字テキストを表示する(操作1708)。これにより、ユーザはインライン領域202内で表音文字テキストを修正できる。そこで操作の流れが終了する。
【0107】
図18は、すでに入力されている表音文字テキストを編集し、編集後の候補の新規セットを表示することにより変換済み言語テキストを修正するインプレース誤りサブプロセス1800を示している。このサブプロセス1800を示す画面表示例が図8と図9に示されている。
【0108】
操作1802で、ユーザがカーソルをすでに入力している言語テキストの近くに移動することに応えて(たとえば、文字の前)、言語入力UIでは、編集する言語テキストを選択または識別する。このUIは、選択した言語テキストの真上にある表音文字テキストヒントウィンドウ502および言語テキストの真下にある第1の候補ウィンドウ504を含む、編集ウィンドウ500を開く(操作1804)。
【0109】
ヒントウィンドウ502で表音文字テキストをユーザが選択した後(つまり、操作1806からの「はい」経路)、UIは編集している言語テキストの代わりに表音文字テキストを表示する(操作1808)。UIは、表音文字テキストのユーザ編集結果を受け取ってインライン編集領域202内に表示する(操作1810)。編集への応答として、UIは第1の候補ウィンドウ504に置換言語テキスト候補の新規リストを表示する(操作1812)。ユーザは、さらに、必要な場合に第2の候補ウィンドウ600を呼び出すことができる。
【0110】
操作1814で、UIは第1の候補ウィンドウ504の新規リストから置換候補のユーザによる選択を受け取る。言語入力UIは、表音文字テキストを同じインライン領域202内に選択された言語テキストの代わりに選択した置換言語テキスト候補を表示する(操作1610)。そこで操作の流れが終了する。
【0111】
多言語入力
図19は、2つまたはそれ以上の異なる言語をインライン入力UIを使用して入力する多言語入力サブプロセス1900を示している。このサブプロセス1900を示す画面表示例が図10に示されている。
【0112】
操作1902で、言語入力アーキテクチャは、入力デバイスを介してユーザによる表音文字テキストと非表音文字テキストの混合入力文字列を受け取る。言語入力UIは、すでに変換されている言語テキストと同じインライン領域202内に混合テキストを表示する(操作1904)。
【0113】
操作1906で、言語入力アーキテクチャは、入力テキストが非表音文字テキスト(たとえば、英語)に対して表音文字テキスト(たとえば、ピンイン)かどうかを判別する。入力テキストが表音文字テキストである場合(つまり、操作1906からの「はい」経路)、言語入力アーキテクチャにより、表音文字テキストは言語テキストに変換される(操作1908)。UIは、入力された表音文字テキストの代わりに、また前のテキストとインラインに言語テキストを表示する(操作1910)。他方、入力テキストが表音文字テキストである場合(つまり、操作1906からの「いいえ」経路)、言語入力アーキテクチャでは変換せず、UIは前のテキストとインラインに非表音文字テキストを表示する(操作1912)。そこで操作の流れが終了する。
【0114】
中国語ベースの実施例
図20〜26は、中国語の文脈における言語入力アーキテクチャとUIの実施例を示している。この文脈では、表音文字テキストは中国語ピンインであり、言語テキストは漢字である。
【0115】
図20は、インライン入力機能の一例を示す、中国語入力ユーザインタフェースの実装である。表2000は、インライン入力領域に表示されるとおりのユーザによるピンインテキスト2002および2004入力および対応する変換された漢字テキスト2006および2008の2つの文字列を含む。表示画面例2010は、表2000の下に示されており、変換された漢字テキスト2008を含む。カーソルバー2012のところで入力しているピンインテキストは変換された中国語テキストとインラインに表示されることに注意されたい。表示画面2010に示される他の特性は、文書処理技術の分野では知られている。
【0116】
図21は、変換された漢字テキストが現在インライン入力領域2102に表示されている中国語UI画面2100を示している。ユーザは、編集のためカーソルを移動して中国語文字テキスト2104を選択し、ピンインテキストヒントウィンドウ2108と第1の漢字テキスト候補ウィンドウ2110からなるポップアップ編集ウィンドウ2106を呼び出している。選択した中国語文字テキスト2104と関連するピンインテキスト2112が、ピンインテキストヒントウィンドウ2108に表示される。
【0117】
図22は、インプレース誤り修正機能の一例を示す、中国語入力ユーザインタフェースの一実装である。表2200では、表音文字ヒントおよび候補リストを含む編集ウィンドウを開くアクション2202および候補リストから項目「1」を選択するアクション2204の2つのユーザアクションを左の列に示している。左の列のユーザアクションへの応答として、表2200の右の列は、対応するスクリーンショット例2206および2208を示している。
【0118】
スクリーンショット2206に関して、ユーザは、カーソルを文字テキスト2210の前に移動し、編集対象の中国語文字テキスト2210を選択する。ユーザは、ピンインテキストヒントウィンドウ2212および第1の候補リストウィンドウ2214を含む編集ウィンドウを開くコマンドを入力する。次に、ユーザは候補リスト2214から項目「1」を選択し、項目「1」と関連する第1の候補2216が元の選択したテキスト2210と置き換わる。さらに、リスト2208内の候補が更新され(つまり、上へ1項目分スクロール)、選択した候補2216がインライン入力領域内に移動することにも注意されたい。更新作業がアニメーション化され、選択された候補2216がインライン領域に移動することが視覚的に示される。
【0119】
図23は、ピンインテキストのインプレース修正を示す、中国語入力ユーザインタフェースの他の実装である。表2300の左の列は、5つのユーザアクション列2302〜2310を含み、右の列は、ユーザアクションで得られる対応するスクリーンショット例2312〜2320を示している。
【0120】
ユーザが文字テキストを編集することに決めた場合、ユーザはカーソルを編集する文字テキストの前に移動する(アクション2302)。ユーザが編集する中国語文字テキスト2330を選択するとする(UIスクリーンショット2312)。文字テキスト2330の前にカーソルを移動した後、ユーザはコマンドを入力し(たとえば、「ESC」キーを押す)、編集ウィンドウを呼び出す(アクション2304)。その結果、ピンインテキストヒントウィンドウ2332および第1の候補リストウィンドウ2334が、UIスクリーンショット2314に示されているように開かれる。
【0121】
次に、ユーザは「0」(アクション2306)を入力して、ピンインテキストヒントウィンドウ2332でピンインテキスト2336を選択する。選択したピンインテキスト2336が、UIスクリーンショット2316で示されているように選択した文字2330に取って代わる。このときに、ユーザは元のピンインテキストを自由に編集できる。
【0122】
ユーザがピンインテキスト2336内にアポストロフィを追加し(アクション2308)、UIスクリーンショット2318に示されているようなテキスト2336′を出力すると仮定する。編集されたピンインテキスト2336′が、インライン領域と、ピンインテキストヒントウィンドウ2332の両方に表示される。編集の後、第1の候補ウィンドウ2334が文字テキスト候補の新規リストで更新される。この例では、編集されたピンインテキスト2336′に対応する新規文字テキスト候補2338が、第1の候補リストウィンドウ2334に表示される。
【0123】
最後に、ユーザは、たとえば「1」を入力して第1の候補リストウィンドウ2334で目的の文字テキスト2338を選択する(アクション2310)。その結果、選択した文字テキスト2338が、UIスクリーンショット2320に示されているように、編集されたピンインテキスト2336′の場所にインプレースで表示される。この方法で、新規文字テキスト2338が実際に、元の言語テキスト2330の代わりに表示される。
【0124】
図24は、中国語と英語などの混合言語の入力を示す、中国語入力ユーザインタフェースの他の実装である。表2400の左の列は、2つのユーザアクション列2402および2404を含み、右の列は、ユーザアクションで得られる対応するスクリーンショット例2406および2408を示している。
【0125】
ユーザがアクション2402で示されているようにピンインテキスト2410と英語テキスト2412の混合テキストを入力すると仮定する。ユーザは、中国語入力と英語入力のモード切替を行うことなく混合テキストを言語入力UIに入力できる。つまり、ユーザは、停止することなく、同じ行にピンインテキストと英語テキストを簡単に入力できる。ピンインテキスト2410は、UIスクリーンショット2406に示されているように、中国語テキスト2414に変換され、同じインライン領域内に表示される。英語テキスト2412は、言語入力アーキテクチャで変換されず、入力したとおりに表示される。
【0126】
その後、ユーザはモードを切り替えずに、ピンインテキスト2416、英語テキスト2418、およびピンインテキスト2420の混合テキストを入力する(アクション2404)。ピンインテキスト2416および2420は、UIスクリーンショット2408に示されているように、中国語テキスト2422および2424に変換される。英語テキスト2418は、変更されずそのままであり、変換された中国語テキストとインラインに表示される。
【0127】
一実装により、表音文字テキストと非表音文字テキストが異なった形で表され、区別できる。たとえば、図20の表2000および図24の表2400内の混合テキストを比較する。ピンインテキスト(たとえば、図20の2612)は狭い太字フォントで表示されるが、英語テキスト(たとえば、図24の2412または2418)は細いcourierタイプのフォントで表示される。
【0128】
図25は、第1と第2の候補リストのインプレース編集を示す、中国語入力ユーザインタフェースの他の実装である。表2500の左の列は、2つのユーザアクション列2502および2504を含み、右の列は、ユーザアクションで得られる対応するスクリーンショット例2506および2508を示している。
【0129】
アクション2502で、ユーザは編集する中国語テキストを選択し、ピンインテキストヒントウィンドウ2510と第1の文字テキスト候補リスト2512を開くコマンドを入力する。ウィンドウ2510および2512は、UIスクリーンショット2506に示されているように、それぞれ、インライン入力領域の上および下に表示される。
【0130】
次に、アクション2504で、ユーザは、第2の文字テキスト候補リストを開くコマンドを入力する。第2の文字テキスト候補リストウィンドウ2514が、UIスクリーンショット2508に示されているように、第1の候補リスト2512の隣りにポップアップで開く。その後、ユーザは第2の文字テキスト候補リストウィンドウ2514から文字テキスト候補を選択することができる。
【0131】
図26は、確認済み文字テキストのあるセンテンスベースの自動変換を示す、中国語入力ユーザインタフェースの他の実装である。表2600の左の列は、5つのユーザアクション列2602〜2610を含み、右の列は、ユーザアクションで得られる対応するスクリーンショット例2612〜2620を示している。
【0132】
アクション2602で、ユーザはピンインテキスト2622および2624を入力する。UIスクリーンショット2612に示されているように、ピンインテキスト2622は自動的に文字テキスト2626に変換され、ピンインテキスト2624はさらにユーザ入力があるまで変換されずそのままである。アクション2604で、ユーザは続いてピンインテキスト2628を入力する。すると、すでに変換されている文字テキスト2626は、ピンインテキスト2628を追加することにより文脈が変更された結果、異なる中国語文字テキスト2630に自動的に変換される。変換された文字テキストのこのような修正は、UIスクリーンショット2614に示される。ピンテキスト2624および2628は、この時点では変換されずそのままであり、修正された言語テキストとインラインに表示され続ける。
【0133】
次に、アクション2606で、ユーザは、変換したばかりの文字テキスト2630を確認する確認コマンド(たとえば、スペースバーを押す)を入力する。一方、ピンインテキスト2624および2628は、ここまでのセンテンスの文脈に基づいてそれぞれ自動的に中国語テキスト2632および2634に変換される。これは、スクリーンショット2616に示されている。
【0134】
その後、アクション2608で、ユーザが追加ピンインテキスト(図に示されていない)を同じセンテンス内に入力し、ピンインテキストが、UIスクリーンショット2618に示されているように、文字テキスト2636に変換される。確認済みの文字テキスト2630はピンインテキストを後から入力しても変更されないことに注意されたい。
【0135】
比較のため、文字テキスト2630はユーザアクション2606によって確認されないと仮定する(たとえば、ユーザがスペースバーを押さない)。その代わりに、ユーザは、文字テキスト2630の確認をせずに、追加ピンインテキストを入力する。この場合、UIスクリーンショット2620に示されているように、文字テキスト2626は変更されずそのままであり、テキスト2630に修正されない。これは、ピンインテキストから文字テキストへの自動変換がセンテンスベースであり、文字テキスト2626がセンテンスの一部であるためである。センテンスがアクティブである限り(つまり、句読点でセンテンスが終わっていないか、または新しいセンテンスがまだ開始していない)、現在のセンテンス内のすでに変換された文字テキストは、ユーザが変換済み文字テキストを確認しない限り、さらに修正を受ける。
【0136】
結論
上の説明では、構造機能および/または方法論的動作に固有の言語を使用しているが、付属の特許請求の範囲で定義されている本発明は説明した特定の機能または動作に限られるわけではない。むしろ、特定の機能および動作は、本発明を実装する実施例として開示されている。
【図面の簡単な説明】
【図1】 言語入力アーキテクチャを実装する言語固有のワードプロセッサを備えるコンピュータシステムのブロック図である。言語入力アーキテクチャは、言語入力ユーザインタフェース(UI)を備える。
【図2】 言語入力ユーザインタフェースの一実装の画面表示を示す図である。図2は、言語入力UIのインライン入力機能を示している。
【図3】 自動変換機能を示す言語入力UIの画面表示を示す図である。
【図4】 センテンスベースの自動変換機能を示す言語入力UIの画面表示を示す図である。
【図5】 インプレースエラー修正機能および表音文字ヒント機能を示す、言語入力UIの画面表示を示す図である。
【図6】 第2の候補リスト機能を示す、言語入力UIの画面表示を示す図である。
【図7】 インプレース表音文字テキスト修正機能を示す言語入力UIの画面表示を示す図である。
【図8】 図7のインプレース表音文字テキスト修正機能の後続の画面を示す言語UIの画面表示を示す図である。
【図9】 図7および図8のインプレース表音文字テキスト修正機能の後続の画面を示す言語UIの画面表示を示す図である。
【図10】 複数の異なる言語を含む混合テキストの入力を示す言語入力UIの画面表示を示す図である
【図11】 言語入力ユーザインタフェースを使用してテキストを入力する方法の流れ図である。
【図12】 インライン入力サブプロセスの流れ図である。
【図13】 自動変換サブプロセスの流れ図である。
【図14】 文字テキスト確認を行う自動変換サブプロセスの流れ図である。
【図15】 インプレースエラー修正サブプロセスの流れ図である。
【図16】 第2の候補リストがあるインプレースエラー修正サブプロセスの流れ図である。
【図17】 表音文字テキストヒントサブプロセスの流れ図である。
【図18】 インプレース表音文字テキスト修正サブプロセスの流れ図である。
【図19】 インライン入力混合言語テキストサブプロセスの流れ図である。
【図20】 インライン入力機能の一例を示す、ユーザ入力の実施例と中国語入力ユーザインタフェース実施例の実行結果のスクリーンショットの図である。
【図21】 ピンインテキストヒント機能の一例を示す中国語入力ユーザインタフェース実施例の画面表示例である。
【図22】 インプレースエラー修正機能の一例を示す、ユーザ入力の実施例と中国語入力ユーザインタフェース実施例の実行結果のスクリーンショットの図である。
【図23】 インプレースピンインテキスト修正機能の一例を示す、ユーザ入力の実施例と中国語入力ユーザインタフェース実施例の実行結果のスクリーンショットの図である。
【図24】 英語/中国語混合入力機能の一例を示す、ユーザ入力の実施例と中国語入力ユーザインタフェース実施例の実行結果のスクリーンショットの図である。
【図25】 第2の候補リスト機能の一例を示す、ユーザ入力の実施例と中国語入力ユーザインタフェース実施例の実行結果のスクリーンショットの図である。
【図26】 文字確認機能のあるセンテンスベースの自動変換一例を示す、ユーザ入力の実施例と中国語入力ユーザインタフェース実施例の実行結果のスクリーンショットの図である。
【図27】 表音文字テキスト(たとえば、中国語ピンインテキスト)とその対応する文字テキスト(たとえば、中国語文字テキスト)の定義と、非表音文字テキスト(たとえば、英数字テキスト)の定義を示す図である。

Claims (35)

  1. ユーザにより入力された入力テキストを入力デバイスにより受け取るステップ、
    前記入力テキストを、該入力テキストに対応する出力テキストにプロセッサにより変換するステップ、および
    前記入力テキストと前記出力テキストを共通の入力行内に表示装置の表示画面上で表示するステップ
    を有し、前記変換するステップは、
    第1の測定基準に基づいて第1の候補リスト内の出力テキスト候補を前記プロセッサにより順序付けるステップであって、前記第1の候補リスト内の複数の出力テキスト候補は当該複数の出力テキスト候補内の1つをポインティングデバイスにより前記出力テキストとして選択することが可能な出力テキストの候補である、順序付けるステップと
    前記第1の測定基準と異なる第2の測定基準に基づいて第2の候補リスト内の出力テキスト候補を前記プロセッサにより配列するステップであって、前記第2の候補リスト内の複数の出力テキスト候補は当該複数の出力テキスト候補内の1つをポインティングデバイスにより前記出力テキストとして選択することが可能な出力テキストの候補である、配列するステップと
    前記第1の候補リストおよび前記第2の候補リストを前記表示装置の表示画面に表示するステップ、および
    前記表示装置の表示画面に表示されている第1の候補リストおよび第2の候補リストの内の1つの出力テキスト候補を前記入力テキストから変換される出力テキストとしてポインティングデバイスにより選択するステップ
    を有することを特徴とする方法。
  2. 前記入力テキストが表音文字テキストを含み、前記出力テキストが文字ベースの言語テキストを含むことを特徴とする請求項1に記載の方法。
  3. 前記入力テキストが中国語ピンインを含み、前記出力テキストが漢字を含むことを特徴とする請求項1に記載の方法。
  4. 前記入力テキストおよび前記出力テキストを表示するステップでは前記入力テキストと前記出力テキストを共通の水平行内に共に表示することを特徴とする請求項1に記載の方法。
  5. 前記入力テキストおよび前記出力テキストを表示するステップでは、出力テキストへ変換する入力テキストの代わりに前記出力テキストを示すことを特徴とする請求項1に記載の方法。
  6. さらに追加入力テキストが前記入力デバイスにより入力された時に前記出力テキストを別の出力テキストに前記プロセッサにより修正し、前記別の出力テキストは以前に入力された入力テキストおよび追加入力テキストから変換された出力テキストであることを特徴とする請求項1に記載の方法。
  7. さらにユーザが句読点を前記入力デバイスにより入力したことに応答して追加入力テキストを入力するとき前記出力テキストをさらに修正するのを前記プロセッサにより中止することを特徴とする請求項6に記載の方法。
  8. さらに以前に修正された前記出力テキストを前記入力デバイスにより確認応答して追加入力テキストを入力するとき前記出力テキストをさらに修正するのを前記プロセッサにより中止することを特徴とする請求項6に記載の方法。
  9. さらに、変換されていない入力テキストを修正するためにアクティブのまま残しながら、ユーザが前記出力テキストを前記入力デバイスにより確認応答して前記出力テキストをさらに修正するのを前記プロセッサにより中止することを特徴とする請求項6に記載の方法。
  10. 加入力テキストを入力するとき前記出力テキストを選択的に前記プロセッサにより修正するステップであって、当該修正は予め用意された複数の候補の1つを、候補について予め定めた変換の正確度に基づいて選択することにより行われ、予め定めた高い変換の正確度が得られない場合には修正を行わないようにすることを特徴とする請求項1に記載の方法。
  11. 入力モードと編集モードを切り替えずに、前記共通の入力行内で前記出力テキストを前記プロセッサにより編集可能とすることを特徴とする請求項1に記載の方法。
  12. さらに編集対象の出力テキストをユーザが前記ポインティングデバイスにより選択したことに応答して、前記入力行内の前記選択した出力テキストの隣りの編集ウィンドウを前記表示デバイスの表示画面上で示すことを特徴とする請求項1に記載の方法。
  13. 前記入力行が第1の方向を向いており、さらに前記編集ウィンドウは第1の方向と直交する第2の方向に向いていることを特徴とする請求項12に記載の方法。
  14. さらに編集対象の出力テキストをユーザが前記ポインティングデバイスにより選択したことに応答して、前記入力行内の前記選択した出力テキストの隣りに入力テキストヒントウィンドウを前記表示デバイスの表示画面上で表示し、前記入力テキストヒントウィンドウに前記選択した出力テキストが変換された前記入力テキストが含まれることを特徴とする請求項1に記載の方法。
  15. さらに編集対象の出力テキストをユーザが選択したことに応答して、前記入力行内の前記選択した出力テキストの隣りに第1の候補リストを前記表示デバイスの表示画面上で表示し、前記第1の候補リストに前記選択したテキストの代わりにできる1つまたは複数の代替え出力テキストが含まれることを特徴とする請求項1に記載の方法。
  16. さらにその候補が出力テキストであることの確率に基づき前記第1の候補リスト内で前記出力テキスト候補を前記プロセッサにより順序づけることを特徴とする請求項15に記載の方法。
  17. 前記第1の候補リストが前記表示デバイスの表示画面上でスクロール可能であり、さらに前記リストがスクロールされるときに前記出力テキスト候補の移動を前記表示デバイスの表示画面上でアニメーション化することを特徴とする請求項15に記載の方法。
  18. 前記入力行が第1の方向を向いており、さらに編集のためユーザが出力テキストを前記入力デバイスにより選択したことに応答して、
    前記第1の方向に直交する第2の方向で前記選択した出力テキストの上にある入力テキストヒントウィンドウを前記表示デバイスの表示画面上に表示し、前記入力テキストヒントウィンドウに前記選択した出力テキストが前記プロセッサにより変換された前記入力テキストが含まれ、および
    第2の方向に前記選択した出力テキストの下に第1の候補ウィンドウを前記表示デバイスの表示画面上に表示し、前記第1の候補ウィンドウに前記選択した出力テキストの代わりにできる1つまたは複数の代替え出力テキスト候補が含まれることを特徴とする請求項1に記載の方法。
  19. 前記入力テキストが表音文字テキストと非表音文字テキストを含み、さらに、
    前記表音文字テキストを言語テキストに前記プロセッサにより変換し、および
    言語テキスト、非表音文字テキスト、および新規入力した表音文字テキストを共通の入力行内に前記表示装置の表示画面上で表示することを特徴とする請求項1に記載の方法。
  20. さらにユーザが第1の言語の第1の入力モードと第2の言語の第2の入力モードを切り替えずに、複数の言語が含まれる入力テキストを前記入力デバイスにより入力できるようにすることを特徴とする請求項1に記載の方法。
  21. 前記入力テキストが個々の入力文字を含み、さらに、1個から6個までの入力文字が前記表示デバイスの表示画面上に表示されるときに、前記1個から6個までの入力文字を前記出力テキストに前記プロセッサにより変換することを特徴とする請求項1に記載の方法。
  22. 前記入力テキストが個々の入力文字を含み、さらに、
    文字照合のため複数の変換候補を前記プロセッサにより評価し、
    両方の変換候補の1つまたは複数の文字が一致する場合に、1つまたは複数の入力文字を一致する文字に前記プロセッサにより変換することを特徴とする請求項1に記載の方法。
  23. 前記入力テキストが個々の入力文字を含み、さらに、一番最近入力した入力文字を常に前記表示デバイスの表示画面上に表示することを特徴とする請求項1に記載の方法。
  24. 前記入力テキストが個々の入力文字を含み、さらに、第1の最も可能性の高い変換候補のスコアが2番目に可能性が高い変換候補よりも著しく大きい場合に、1つまたは複数の入力文字を前記第1の最も可能性の高い変換候補の前記出力テキストに前記プロセッサにより変換することを特徴とする請求項1に記載の方法。
  25. プロセッサに請求項1に記載の前記方法をコンピュータに実行させるための実行可能命令を記録したことを特徴とする1つまたは複数のコンピュータ読み取り可能媒体。
  26. 表音文字テキストをユーザが入力デバイスにより表音文字テキストを入力したとおりに前記表示デバイスの表示画面上に表示するステップ、
    表音文字テキストから対応する言語テキストにプロセッサにより変換した後当該変換された言語テキストを前記表示デバイスの表示画面上に表示するステップ、
    前記言語テキストを、変換される表音文字テキストの代わりに前記表示デバイスの表示画面上に表示するステップ、および
    前記言語テキストおよび未変換の表音文字テキストをいっしょに前記表示デバイスの表示画面上に表示するステップ
    を有し、前記対応する言語テキストに変換するステップは、
    第1の測定基準に基づいて第1の候補リスト内言語テキスト候補を前記プロセッサにより順序付けるステップであって、前記第1の候補リスト内の複数の言語テキスト候補は当該複数の言語テキスト候補内の1つをポインティングデバイスにより前記言語テキストとして選択することが可能な言語テキストの候補である、順序付けるステップと
    前記第1の測定基準と異なる第2の測定基準に基づいて第2の候補リスト内言語テキスト候補を前記プロセッサにより配列するステップであって、前記第2の候補リスト内の複数の言語テキスト候補は当該複数の言語テキスト候補内の1つをポインティングデバイスにより前記言語テキストとして選択することが可能な言語テキストの候補である、配列するステップと
    前記第1の候補リストおよび前記第2の候補リストを前記表示装置の表示画面に表示するステップ、および
    前記表示装置の表示画面に表示されている第1の候補リストおよび第2の候補リストの内の1つの言語テキスト候補を前記表音文字テキストから変換される言語テキストとしてポインティングデバイスにより選択するステップ
    を有することを特徴とする方法。
  27. 前記表音文字テキストが中国語ピンインを含み、前記言語テキストが漢字を含むことを特徴とする請求項26に記載の方法。
  28. さらに前記未変換の表音文字テキストと前記言語テキストを共通の水平行内にいっしょに前記表示装置の表示画面に表示することを特徴とする請求項26に記載の方法。
  29. さらに追加表音文字テキストが前記入力デバイスにより入力された時に前記言語テキストを別の言語テキストに前記プロセッサにより修正し、前記別の言語テキストは以前に入力された表音文字テキストおよび追加表音文字テキストから変換された言語テキストであることを特徴とする請求項26に記載の方法。
  30. さらにユーザが句読点を前記入力デバイスにより入力したことに応答して追加表音文字テキストを入力するとき前記言語テキストをさらに修正するのを前記プロセッサにより中止することを特徴とする請求項29に記載の方法。
  31. さらにユーザが前記言語テキストを入力デバイスにより確認応答して追加表音文字テキストを入力するとき前記言語テキストをさらに修正するのを前記プロセッサにより中止することを特徴とする請求項29に記載の方法。
  32. さらに、変換されていない表音文字テキストを修正するためにアクティブのまま残しながら、ユーザが前記言語テキストを前記入力デバイスにより確認応答して前記言語テキストをさらに修正するのを前記プロセッサにより中止することを特徴とする請求項29に記載の方法。
  33. さらに入力モードと編集モードを切り替えずに、前記言語テキストを前記プロセッサにより編集できるようにすることを特徴とする請求項26に記載の方法。
  34. さらに編集対象の言語テキストをユーザが選択したことに応答して、前記選択した言語テキストの隣りに編集ウィンドウを表示することを特徴とする請求項26に記載の方法。
  35. プロセッサ上で実行すると請求項24に記載の前記方法をコンピュータに実行させるためのコンピュータ実行可能命令を備えることを特徴とする1つまたは複数のコンピュータ読み取り可能媒体。
JP2001535148A 1999-11-05 2000-11-03 言語入力ユーザインタフェース Expired - Fee Related JP4920154B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US16358899P 1999-11-05 1999-11-05
US60/163,588 1999-11-05
US09/606,811 US7403888B1 (en) 1999-11-05 2000-06-28 Language input user interface
US09/606,811 2000-06-28
PCT/US2000/030465 WO2001033324A2 (en) 1999-11-05 2000-11-03 Language input user interface

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010238515A Division JP5021802B2 (ja) 1999-11-05 2010-10-25 言語入力装置

Publications (3)

Publication Number Publication Date
JP2003513389A JP2003513389A (ja) 2003-04-08
JP2003513389A5 JP2003513389A5 (ja) 2007-12-27
JP4920154B2 true JP4920154B2 (ja) 2012-04-18

Family

ID=39619596

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2001535148A Expired - Fee Related JP4920154B2 (ja) 1999-11-05 2000-11-03 言語入力ユーザインタフェース
JP2010238515A Expired - Lifetime JP5021802B2 (ja) 1999-11-05 2010-10-25 言語入力装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2010238515A Expired - Lifetime JP5021802B2 (ja) 1999-11-05 2010-10-25 言語入力装置

Country Status (5)

Country Link
US (2) US7403888B1 (ja)
JP (2) JP4920154B2 (ja)
CN (1) CN100593167C (ja)
AU (1) AU1361401A (ja)
WO (1) WO2001033324A2 (ja)

Families Citing this family (177)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7051360B1 (en) * 1998-11-30 2006-05-23 United Video Properties, Inc. Interactive television program guide with selectable languages
US7030863B2 (en) 2000-05-26 2006-04-18 America Online, Incorporated Virtual keyboard system with automatic correction
US7286115B2 (en) 2000-05-26 2007-10-23 Tegic Communications, Inc. Directional input system with automatic correction
US7610194B2 (en) * 2002-07-18 2009-10-27 Tegic Communications, Inc. Dynamic database reordering system
US7750891B2 (en) * 2003-04-09 2010-07-06 Tegic Communications, Inc. Selective input system based on tracking of motion parameters of an input device
US7821503B2 (en) * 2003-04-09 2010-10-26 Tegic Communications, Inc. Touch screen and graphical user interface
WO2000074240A1 (en) 1999-05-27 2000-12-07 America Online Keyboard system with automatic correction
US6714214B1 (en) * 1999-12-07 2004-03-30 Microsoft Corporation System method and user interface for active reading of electronic content
US7028267B1 (en) * 1999-12-07 2006-04-11 Microsoft Corporation Method and apparatus for capturing and rendering text annotations for non-modifiable electronic content
US9424240B2 (en) 1999-12-07 2016-08-23 Microsoft Technology Licensing, Llc Annotations for electronic content
US7337389B1 (en) 1999-12-07 2008-02-26 Microsoft Corporation System and method for annotating an electronic document independently of its content
US7243299B1 (en) * 2000-04-21 2007-07-10 Microsoft Corporation Methods and apparatus for displaying multiple contexts in electronic documents
US7234108B1 (en) 2000-06-29 2007-06-19 Microsoft Corporation Ink thickness rendering for electronic annotations
KR100498323B1 (ko) * 2001-01-16 2005-07-01 엘지전자 주식회사 이동통신 단말기의 특수문자 선택방법
US20020099552A1 (en) * 2001-01-25 2002-07-25 Darryl Rubin Annotating electronic information with audio clips
GB0111012D0 (en) * 2001-05-04 2001-06-27 Nokia Corp A communication terminal having a predictive text editor application
US7119794B2 (en) * 2003-04-30 2006-10-10 Microsoft Corporation Character and text unit input correction system
US7884804B2 (en) 2003-04-30 2011-02-08 Microsoft Corporation Keyboard with input-sensitive display device
FI115274B (fi) * 2003-12-19 2005-03-31 Nokia Corp Puhekäyttöliittymällä varustettu elektroninen laite ja menetelmä elektronisessa laitteessa käyttöliittymäkieliasetuksien suorittamiseksi
US8200475B2 (en) 2004-02-13 2012-06-12 Microsoft Corporation Phonetic-based text input method
US7478033B2 (en) * 2004-03-16 2009-01-13 Google Inc. Systems and methods for translating Chinese pinyin to Chinese characters
JP4614950B2 (ja) * 2004-04-27 2011-01-19 パナソニック株式会社 アプリケーション装置と入力サーバとからなる文字列処理システム、入力サーバ及び入力サーバの文字列表示方法並びにアプリケーション装置の制御方法
US20050289463A1 (en) * 2004-06-23 2005-12-29 Google Inc., A Delaware Corporation Systems and methods for spell correction of non-roman characters and words
US8942985B2 (en) 2004-11-16 2015-01-27 Microsoft Corporation Centralized method and system for clarifying voice commands
US9471566B1 (en) * 2005-04-14 2016-10-18 Oracle America, Inc. Method and apparatus for converting phonetic language input to written language output
US7703037B2 (en) * 2005-04-20 2010-04-20 Microsoft Corporation Searchable task-based interface to control panel functionality
US7242404B2 (en) * 2005-09-15 2007-07-10 Microsoft Corporation Enlargement of font characters
US20070106664A1 (en) * 2005-11-04 2007-05-10 Minfo, Inc. Input/query methods and apparatuses
US7792971B2 (en) * 2005-12-08 2010-09-07 International Business Machines Corporation Visual channel refresh rate control for composite services delivery
US7809838B2 (en) 2005-12-08 2010-10-05 International Business Machines Corporation Managing concurrent data updates in a composite services delivery system
US8189563B2 (en) 2005-12-08 2012-05-29 International Business Machines Corporation View coordination for callers in a composite services enablement environment
US7877486B2 (en) 2005-12-08 2011-01-25 International Business Machines Corporation Auto-establishment of a voice channel of access to a session for a composite service from a visual channel of access to the session for the composite service
US10332071B2 (en) 2005-12-08 2019-06-25 International Business Machines Corporation Solution for adding context to a text exchange modality during interactions with a composite services application
US20070132834A1 (en) * 2005-12-08 2007-06-14 International Business Machines Corporation Speech disambiguation in a composite services enablement environment
US8005934B2 (en) * 2005-12-08 2011-08-23 International Business Machines Corporation Channel presence in a composite services enablement environment
US8259923B2 (en) 2007-02-28 2012-09-04 International Business Machines Corporation Implementing a contact center using open standards and non-proprietary components
US20070133769A1 (en) * 2005-12-08 2007-06-14 International Business Machines Corporation Voice navigation of a visual view for a session in a composite services enablement environment
US7827288B2 (en) 2005-12-08 2010-11-02 International Business Machines Corporation Model autocompletion for composite services synchronization
US20070136449A1 (en) * 2005-12-08 2007-06-14 International Business Machines Corporation Update notification for peer views in a composite services delivery environment
US20070133773A1 (en) * 2005-12-08 2007-06-14 International Business Machines Corporation Composite services delivery
US7890635B2 (en) 2005-12-08 2011-02-15 International Business Machines Corporation Selective view synchronization for composite services delivery
US11093898B2 (en) 2005-12-08 2021-08-17 International Business Machines Corporation Solution for adding context to a text exchange modality during interactions with a composite services application
US7818432B2 (en) 2005-12-08 2010-10-19 International Business Machines Corporation Seamless reflection of model updates in a visual page for a visual channel in a composite services delivery system
US7925975B2 (en) 2006-03-10 2011-04-12 Microsoft Corporation Searching for commands to execute in applications
US7881923B2 (en) 2006-03-31 2011-02-01 Research In Motion Limited Handheld electronic device including toggle of a selected data source, and associated method
US20070244691A1 (en) * 2006-04-17 2007-10-18 Microsoft Corporation Translation of user interface text strings
US7822434B2 (en) * 2006-05-09 2010-10-26 Research In Motion Limited Handheld electronic device including automatic selection of input language, and associated method
US20070277118A1 (en) * 2006-05-23 2007-11-29 Microsoft Corporation Microsoft Patent Group Providing suggestion lists for phonetic input
US7801722B2 (en) * 2006-05-23 2010-09-21 Microsoft Corporation Techniques for customization of phonetic schemes
US7831423B2 (en) * 2006-05-25 2010-11-09 Multimodal Technologies, Inc. Replacing text representing a concept with an alternate written form of the concept
US8395586B2 (en) * 2006-06-30 2013-03-12 Research In Motion Limited Method of learning a context of a segment of text, and associated handheld electronic device
US7565624B2 (en) 2006-06-30 2009-07-21 Research In Motion Limited Method of learning character segments during text input, and associated handheld electronic device
KR100837750B1 (ko) * 2006-08-25 2008-06-13 엔에이치엔(주) 성조를 이용하여 중국어를 검색하는 방법 및 상기 방법을수행하는 시스템
US8626486B2 (en) * 2006-09-05 2014-01-07 Google Inc. Automatic spelling correction for machine translation
CN101149660B (zh) * 2006-09-21 2011-08-17 乐金电子(中国)研究开发中心有限公司 适用于双向书写体语种的虚拟键盘及其实现方法
US20080082335A1 (en) * 2006-09-28 2008-04-03 Howard Engelsen Conversion of alphabetic words into a plurality of independent spellings
US8672682B2 (en) 2006-09-28 2014-03-18 Howard A. Engelsen Conversion of alphabetic words into a plurality of independent spellings
US8078451B2 (en) 2006-10-27 2011-12-13 Microsoft Corporation Interface and methods for collecting aligned editorial corrections into a database
JP2008152670A (ja) * 2006-12-19 2008-07-03 Fujitsu Ltd 翻訳文入力支援プログラム、該プログラムを記録した記憶媒体、翻訳文入力支援装置、および翻訳文入力支援方法
US8594305B2 (en) 2006-12-22 2013-11-26 International Business Machines Corporation Enhancing contact centers with dialog contracts
US8201087B2 (en) 2007-02-01 2012-06-12 Tegic Communications, Inc. Spell-check for a keyboard system with automatic correction
US8225203B2 (en) 2007-02-01 2012-07-17 Nuance Communications, Inc. Spell-check for a keyboard system with automatic correction
US9055150B2 (en) 2007-02-28 2015-06-09 International Business Machines Corporation Skills based routing in a standards based contact center using a presence server and expertise specific watchers
US9247056B2 (en) 2007-02-28 2016-01-26 International Business Machines Corporation Identifying contact center agents based upon biometric characteristics of an agent's speech
US20080221866A1 (en) * 2007-03-06 2008-09-11 Lalitesh Katragadda Machine Learning For Transliteration
CN101286154B (zh) * 2007-04-09 2016-08-10 谷歌股份有限公司 输入法编辑器用户档案
CN105117376B (zh) * 2007-04-10 2018-07-10 谷歌有限责任公司 多模式输入法编辑器
CN101286092A (zh) 2007-04-11 2008-10-15 谷歌股份有限公司 具有第二语言模式的输入法编辑器
US8457946B2 (en) * 2007-04-26 2013-06-04 Microsoft Corporation Recognition architecture for generating Asian characters
US8583415B2 (en) * 2007-06-29 2013-11-12 Microsoft Corporation Phonetic search using normalized string
US8103498B2 (en) * 2007-08-10 2012-01-24 Microsoft Corporation Progressive display rendering of processed text
EP2031486A1 (en) * 2007-08-31 2009-03-04 Research In Motion Limited Handheld electric device and associated method providing advanced text editing function in a text disambiguation environment
CN101398715B (zh) * 2007-09-24 2010-06-02 普天信息技术研究院有限公司 多类型字符的混合输入方法
US8335682B2 (en) * 2007-10-30 2012-12-18 Sercomm Corporation Multi-language interfaces switch system and method therefor
US8010465B2 (en) 2008-02-26 2011-08-30 Microsoft Corporation Predicting candidates using input scopes
US8289283B2 (en) * 2008-03-04 2012-10-16 Apple Inc. Language input interface on a device
CN101576783B (zh) * 2008-05-09 2012-11-28 诺基亚公司 用于手写输入的用户接口、设备和方法
US9355090B2 (en) * 2008-05-30 2016-05-31 Apple Inc. Identification of candidate characters for text input
US8918383B2 (en) * 2008-07-09 2014-12-23 International Business Machines Corporation Vector space lightweight directory access protocol data search
JP5224283B2 (ja) * 2008-11-21 2013-07-03 キヤノンソフトウェア株式会社 情報処理システム、情報処理装置、情報処理システムの制御方法、情報処理装置の制御方法、及び、プログラム
US20120113011A1 (en) * 2009-03-20 2012-05-10 Genqing Wu Ime text entry assistance
US9189472B2 (en) 2009-03-30 2015-11-17 Touchtype Limited System and method for inputting text into small screen devices
US10191654B2 (en) 2009-03-30 2019-01-29 Touchtype Limited System and method for inputting text into electronic devices
US9424246B2 (en) 2009-03-30 2016-08-23 Touchtype Ltd. System and method for inputting text into electronic devices
US8798983B2 (en) * 2009-03-30 2014-08-05 Microsoft Corporation Adaptation for statistical language model
GB0905457D0 (en) * 2009-03-30 2009-05-13 Touchtype Ltd System and method for inputting text into electronic devices
GB0917753D0 (en) 2009-10-09 2009-11-25 Touchtype Ltd System and method for inputting text into electronic devices
US20110035209A1 (en) * 2009-07-06 2011-02-10 Macfarlane Scott Entry of text and selections into computing devices
TWI412955B (zh) * 2009-08-19 2013-10-21 Inventec Appliances Corp 漢字書寫筆順之提示方法、電子裝置及電腦程式產品
US9317116B2 (en) * 2009-09-09 2016-04-19 Immersion Corporation Systems and methods for haptically-enhanced text interfaces
US7809550B1 (en) * 2009-10-08 2010-10-05 Joan Barry Barrows System for reading chinese characters in seconds
CN102667753B (zh) * 2009-12-23 2016-08-24 诺基亚技术有限公司 便于文本编辑的方法和装置
EP3091535B1 (en) 2009-12-23 2023-10-11 Google LLC Multi-modal input on an electronic device
US11416214B2 (en) 2009-12-23 2022-08-16 Google Llc Multi-modal input on an electronic device
US20110202839A1 (en) * 2010-02-18 2011-08-18 Alkazi Sulaiman Configurable multilingual keyboard
KR20110100394A (ko) * 2010-03-04 2011-09-14 삼성전자주식회사 휴대용 단말기에서 이모티콘 편집을 위한 장치 및 방법
EP2367118A1 (en) 2010-03-15 2011-09-21 GMC Software AG Method and devices for generating two-dimensional visual objects
US8487877B2 (en) * 2010-06-10 2013-07-16 Michael William Murphy Character specification system and method that uses a limited number of selection keys
US8463592B2 (en) * 2010-07-27 2013-06-11 International Business Machines Corporation Mode supporting multiple language input for entering text
US8438008B2 (en) * 2010-08-03 2013-05-07 King Fahd University Of Petroleum And Minerals Method of generating a transliteration font
US9058105B2 (en) * 2010-10-31 2015-06-16 International Business Machines Corporation Automated adjustment of input configuration
US10949514B2 (en) 2010-11-29 2021-03-16 Biocatch Ltd. Device, system, and method of differentiating among users based on detection of hardware components
US10685355B2 (en) 2016-12-04 2020-06-16 Biocatch Ltd. Method, device, and system of detecting mule accounts and accounts used for money laundering
US20140317744A1 (en) * 2010-11-29 2014-10-23 Biocatch Ltd. Device, system, and method of user segmentation
US10586036B2 (en) 2010-11-29 2020-03-10 Biocatch Ltd. System, device, and method of recovery and resetting of user authentication factor
US11223619B2 (en) 2010-11-29 2022-01-11 Biocatch Ltd. Device, system, and method of user authentication based on user-specific characteristics of task performance
US12101354B2 (en) * 2010-11-29 2024-09-24 Biocatch Ltd. Device, system, and method of detecting vishing attacks
US10069852B2 (en) 2010-11-29 2018-09-04 Biocatch Ltd. Detection of computerized bots and automated cyber-attack modules
US11210674B2 (en) 2010-11-29 2021-12-28 Biocatch Ltd. Method, device, and system of detecting mule accounts and accounts used for money laundering
US10970394B2 (en) 2017-11-21 2021-04-06 Biocatch Ltd. System, device, and method of detecting vishing attacks
US10747305B2 (en) 2010-11-29 2020-08-18 Biocatch Ltd. Method, system, and device of authenticating identity of a user of an electronic device
US10069837B2 (en) * 2015-07-09 2018-09-04 Biocatch Ltd. Detection of proxy server
US10728761B2 (en) 2010-11-29 2020-07-28 Biocatch Ltd. Method, device, and system of detecting a lie of a user who inputs data
US10897482B2 (en) 2010-11-29 2021-01-19 Biocatch Ltd. Method, device, and system of back-coloring, forward-coloring, and fraud detection
US10621585B2 (en) 2010-11-29 2020-04-14 Biocatch Ltd. Contextual mapping of web-pages, and generation of fraud-relatedness score-values
US10776476B2 (en) 2010-11-29 2020-09-15 Biocatch Ltd. System, device, and method of visual login
US10917431B2 (en) * 2010-11-29 2021-02-09 Biocatch Ltd. System, method, and device of authenticating a user based on selfie image or selfie video
US10474815B2 (en) 2010-11-29 2019-11-12 Biocatch Ltd. System, device, and method of detecting malicious automatic script and code injection
US10834590B2 (en) 2010-11-29 2020-11-10 Biocatch Ltd. Method, device, and system of differentiating between a cyber-attacker and a legitimate user
US11269977B2 (en) 2010-11-29 2022-03-08 Biocatch Ltd. System, apparatus, and method of collecting and processing data in electronic devices
US20190158535A1 (en) * 2017-11-21 2019-05-23 Biocatch Ltd. Device, System, and Method of Detecting Vishing Attacks
US10949757B2 (en) 2010-11-29 2021-03-16 Biocatch Ltd. System, device, and method of detecting user identity based on motor-control loop model
US8352245B1 (en) 2010-12-30 2013-01-08 Google Inc. Adjusting language models
US8296142B2 (en) 2011-01-21 2012-10-23 Google Inc. Speech recognition using dock context
CN102693123B (zh) * 2011-03-24 2017-09-22 微软技术许可有限责任公司 提示信息的控制方法及控制装置
US8738356B2 (en) 2011-05-18 2014-05-27 Microsoft Corp. Universal text input
JP5901333B2 (ja) * 2012-02-13 2016-04-06 三菱電機株式会社 文字入力装置、文字入力方法及び文字入力プログラム
US8996356B1 (en) * 2012-04-10 2015-03-31 Google Inc. Techniques for predictive input method editors
CN102750088B (zh) * 2012-06-04 2017-01-25 华为终端有限公司 一种提示字符输入的方法和电子设备
US8965693B2 (en) * 2012-06-05 2015-02-24 Apple Inc. Geocoded data detection and user interfaces for same
CN103631802B (zh) * 2012-08-24 2015-05-20 腾讯科技(深圳)有限公司 歌曲信息检索方法、装置及相应的服务器
US20150331590A1 (en) * 2013-01-25 2015-11-19 Hewlett-Packard Development Company, L.P. User interface application launcher and method thereof
JP2015022590A (ja) * 2013-07-19 2015-02-02 株式会社東芝 文字入力装置、文字入力方法、及び文字入力プログラム
US9372672B1 (en) * 2013-09-04 2016-06-21 Tg, Llc Translation in visual context
US9384191B2 (en) * 2013-09-25 2016-07-05 International Business Machines Corporation Written language learning using an enhanced input method editor (IME)
WO2015052817A1 (ja) * 2013-10-10 2015-04-16 株式会社東芝 音訳作業支援装置、音訳作業支援方法及びプログラム
US9842592B2 (en) 2014-02-12 2017-12-12 Google Inc. Language models using non-linguistic context
CN103885608A (zh) 2014-03-19 2014-06-25 百度在线网络技术(北京)有限公司 一种输入方法及系统
US9412365B2 (en) 2014-03-24 2016-08-09 Google Inc. Enhanced maximum entropy models
WO2015192313A1 (en) * 2014-06-17 2015-12-23 Google Inc. Input method editor for inputting names of geographic locations
US10002543B2 (en) * 2014-11-04 2018-06-19 Knotbird LLC System and methods for transforming language into interactive elements
US9503504B2 (en) * 2014-11-19 2016-11-22 Diemsk Jean System and method for generating visual identifiers from user input associated with perceived stimuli
US20160147741A1 (en) * 2014-11-26 2016-05-26 Adobe Systems Incorporated Techniques for providing a user interface incorporating sign language
GB2533370A (en) * 2014-12-18 2016-06-22 Ibm Orthographic error correction using phonetic transcription
CN104714940A (zh) * 2015-02-12 2015-06-17 深圳市前海安测信息技术有限公司 智能交互系统中未登录词的识别方法和装置
US10134394B2 (en) 2015-03-20 2018-11-20 Google Llc Speech recognition using log-linear model
US9703394B2 (en) * 2015-03-24 2017-07-11 Google Inc. Unlearning techniques for adaptive language models in text entry
WO2016176357A1 (en) 2015-04-30 2016-11-03 Murphy Michael William Systems and methods for word identification that use button press type error analysis
GB2539705B (en) 2015-06-25 2017-10-25 Aimbrain Solutions Ltd Conditional behavioural biometrics
KR20180082455A (ko) * 2015-10-15 2018-07-18 인터랙티브 인텔리전스 그룹, 인코포레이티드 다국어 통신 시퀀싱 시스템 및 방법
US9978367B2 (en) 2016-03-16 2018-05-22 Google Llc Determining dialog states for language models
GB201610984D0 (en) 2016-06-23 2016-08-10 Microsoft Technology Licensing Llc Suppression of input images
GB2552032B (en) 2016-07-08 2019-05-22 Aimbrain Solutions Ltd Step-up authentication
SG11201900484VA (en) * 2016-07-21 2019-02-27 Oslabs Pte Ltd A system and method for multilingual conversion of text data to speech data
US10832664B2 (en) 2016-08-19 2020-11-10 Google Llc Automated speech recognition using language models that selectively use domain-specific model components
KR101791930B1 (ko) 2016-09-23 2017-10-31 (주)신성이노테크 문자입력 장치
KR101717488B1 (ko) * 2016-09-23 2017-03-17 (주)신성이노테크 문자입력 방법 및 장치
US20180089172A1 (en) * 2016-09-27 2018-03-29 Intel Corporation Communication system supporting blended-language messages
US10579784B2 (en) 2016-11-02 2020-03-03 Biocatch Ltd. System, device, and method of secure utilization of fingerprints for user authentication
KR102471989B1 (ko) * 2016-12-07 2022-11-29 주식회사 알티캐스트 클라우드 기반 유저 인터페이스 제공 시스템 및 그 방법
CN106601254B (zh) * 2016-12-08 2020-11-06 阿里巴巴(中国)有限公司 信息输入方法和装置及计算设备
US10311860B2 (en) 2017-02-14 2019-06-04 Google Llc Language model biasing system
KR102362850B1 (ko) * 2017-04-14 2022-02-15 삼성전자주식회사 디스플레이장치, 디스플레이 시스템 및 디스플레이장치의 제어방법
CN108803890B (zh) * 2017-04-28 2024-02-06 北京搜狗科技发展有限公司 一种输入方法、输入装置和用于输入的装置
EP3625652B1 (en) 2017-05-19 2022-09-14 Michael William Murphy An interleaved character selection interface
CN110892407A (zh) 2017-07-20 2020-03-17 松下知识产权经营株式会社 翻译装置、翻译方法以及程序
JP2019066917A (ja) * 2017-09-28 2019-04-25 京セラドキュメントソリューションズ株式会社 電子機器、及び翻訳支援方法
US10635305B2 (en) * 2018-02-01 2020-04-28 Microchip Technology Incorporated Touchscreen user interface with multi-language support
US11922007B2 (en) 2018-11-29 2024-03-05 Michael William Murphy Apparatus, method and system for inputting characters to an electronic device
CN109917982B (zh) * 2019-03-21 2021-04-02 科大讯飞股份有限公司 一种语音输入方法、装置、设备及可读存储介质
US11126794B2 (en) * 2019-04-11 2021-09-21 Microsoft Technology Licensing, Llc Targeted rewrites
WO2021021666A1 (en) * 2019-07-26 2021-02-04 See Word Design, LLC Reading proficiency system and method
JP7332486B2 (ja) * 2020-01-08 2023-08-23 株式会社東芝 記号列変換装置および記号列変換方法
CN111667828B (zh) * 2020-05-28 2021-09-21 北京百度网讯科技有限公司 语音识别方法和装置、电子设备和存储介质
KR102633219B1 (ko) * 2020-12-03 2024-02-02 경인전자 주식회사 인풋 디바이스
CN112651854B (zh) * 2020-12-23 2024-06-21 讯飞智元信息科技有限公司 语音调度方法、装置、电子设备和存储介质
US11606353B2 (en) 2021-07-22 2023-03-14 Biocatch Ltd. System, device, and method of generating and utilizing one-time passwords

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS619758A (ja) * 1984-06-25 1986-01-17 Ricoh Co Ltd カナ漢字変換処理装置
JPS63155262A (ja) * 1986-12-18 1988-06-28 Ricoh Co Ltd 日本語処理方法および装置
WO1995017729A1 (en) * 1993-12-22 1995-06-29 Taligent, Inc. Input methods framework
JPH10232863A (ja) * 1996-12-19 1998-09-02 Omron Corp かな漢字変換装置および方法、並びに記録媒体

Family Cites Families (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4383307A (en) 1981-05-04 1983-05-10 Software Concepts, Inc. Spelling error detector apparatus and methods
GB2158776A (en) 1984-02-24 1985-11-20 Chang Chi Chen Method of computerised input of Chinese words in keyboards
JPH0664585B2 (ja) * 1984-12-25 1994-08-22 株式会社東芝 翻訳編集装置
CA1251570A (en) * 1985-05-14 1989-03-21 Kouji Miyao Bilingual translation system with self intelligence
US5175803A (en) 1985-06-14 1992-12-29 Yeh Victor C Method and apparatus for data processing and word processing in Chinese using a phonetic Chinese language
US5384701A (en) * 1986-10-03 1995-01-24 British Telecommunications Public Limited Company Language translation system
US4833610A (en) * 1986-12-16 1989-05-23 International Business Machines Corporation Morphological/phonetic method for ranking word similarities
US4864503A (en) * 1987-02-05 1989-09-05 Toltran, Ltd. Method of using a created international language as an intermediate pathway in translation between two national languages
US5218536A (en) 1988-05-25 1993-06-08 Franklin Electronic Publishers, Incorporated Electronic spelling machine having ordered candidate words
JPH02140868A (ja) * 1988-11-22 1990-05-30 Toshiba Corp 機械翻訳システム
US5095432A (en) 1989-07-10 1992-03-10 Harris Corporation Data processing system implemented process and compiling technique for performing context-free parsing algorithm based on register vector grammar
US5258909A (en) 1989-08-31 1993-11-02 International Business Machines Corporation Method and apparatus for "wrong word" spelling error detection and correction
US5278943A (en) * 1990-03-23 1994-01-11 Bright Star Technology, Inc. Speech animation and inflection system
US5572423A (en) 1990-06-14 1996-11-05 Lucent Technologies Inc. Method for correcting spelling using error frequencies
US5270927A (en) 1990-09-10 1993-12-14 At&T Bell Laboratories Method for conversion of phonetic Chinese to character Chinese
NL9101286A (nl) * 1991-07-23 1993-02-16 Oce Nederland Bv Werkwijze voor het verbuigen van woorden, alsmede een data-verwerkings-eenheid voor het uitvoeren van een dergelijke werkwijze.
TW268115B (ja) 1991-10-14 1996-01-11 Omron Tateisi Electronics Co
US5267345A (en) 1992-02-10 1993-11-30 International Business Machines Corporation Speech recognition apparatus which predicts word classes from context and words from word classes
US5459739A (en) * 1992-03-18 1995-10-17 Oclc Online Computer Library Center, Incorporated Merging three optical character recognition outputs for improved precision using a minimum edit distance function
US5535119A (en) 1992-06-11 1996-07-09 Hitachi, Ltd. Character inputting method allowing input of a plurality of different types of character species, and information processing equipment adopting the same
JPH0689302A (ja) 1992-09-08 1994-03-29 Hitachi Ltd 辞書メモリ
US5675815A (en) * 1992-11-09 1997-10-07 Ricoh Company, Ltd. Language conversion system and text creating system using such
US5568383A (en) * 1992-11-30 1996-10-22 International Business Machines Corporation Natural language translation system and document transmission network with translation loss information and restrictions
US5671426A (en) 1993-06-22 1997-09-23 Kurzweil Applied Intelligence, Inc. Method for organizing incremental search dictionary
DE4323241A1 (de) 1993-07-12 1995-02-02 Ibm Verfahren und Computersystem zur Suche fehlerhafter Zeichenketten in einem Text
US5704007A (en) * 1994-03-11 1997-12-30 Apple Computer, Inc. Utilization of multiple voice sources in a speech synthesizer
US5930755A (en) * 1994-03-11 1999-07-27 Apple Computer, Inc. Utilization of a recorded sound sample as a voice source in a speech synthesizer
US6154758A (en) 1994-05-13 2000-11-28 Apple Computer, Inc. Text conversion method for computer systems
US5521816A (en) 1994-06-01 1996-05-28 Mitsubishi Electric Research Laboratories, Inc. Word inflection correction system
US5510998A (en) 1994-06-13 1996-04-23 Cadence Design Systems, Inc. System and method for generating component models
JP2773652B2 (ja) * 1994-08-04 1998-07-09 日本電気株式会社 機械翻訳装置
JPH0877173A (ja) 1994-09-01 1996-03-22 Fujitsu Ltd 文字列修正システムとその方法
AU3734395A (en) 1994-10-03 1996-04-26 Helfgott & Karas, P.C. A database accessing system
SG42314A1 (en) 1995-01-30 1997-08-15 Mitsubishi Electric Corp Language processing apparatus and method
CA2170669A1 (en) 1995-03-24 1996-09-25 Fernando Carlos Neves Pereira Grapheme-to phoneme conversion with weighted finite-state transducers
US5774588A (en) * 1995-06-07 1998-06-30 United Parcel Service Of America, Inc. Method and system for comparing strings with entries of a lexicon
US5893133A (en) 1995-08-16 1999-04-06 International Business Machines Corporation Keyboard for a system and method for processing Chinese language text
US5806021A (en) 1995-10-30 1998-09-08 International Business Machines Corporation Automatic segmentation of continuous text using statistical approaches
US5875443A (en) 1996-01-30 1999-02-23 Sun Microsystems, Inc. Internet-based spelling checker dictionary system with automatic updating
JPH09259126A (ja) * 1996-03-21 1997-10-03 Sharp Corp データ処理装置
US5933525A (en) 1996-04-10 1999-08-03 Bbn Corporation Language-independent and segmentation-free optical character recognition system and method
US6161083A (en) * 1996-05-02 2000-12-12 Sony Corporation Example-based translation method and system which calculates word similarity degrees, a priori probability, and transformation probability to determine the best example for translation
US5987403A (en) * 1996-05-29 1999-11-16 Sugimura; Ryoichi Document conversion apparatus for carrying out a natural conversion
US5956739A (en) 1996-06-25 1999-09-21 Mitsubishi Electric Information Technology Center America, Inc. System for text correction adaptive to the text being corrected
US6085162A (en) * 1996-10-18 2000-07-04 Gedanken Corporation Translation system and method in which words are translated by a specialized dictionary and then a general dictionary
US5907705A (en) * 1996-10-31 1999-05-25 Sun Microsystems, Inc. Computer implemented request to integrate (RTI) system for managing change control in software release stream
JPH10154144A (ja) * 1996-11-25 1998-06-09 Sony Corp 文章入力装置及び方法
US6003049A (en) * 1997-02-10 1999-12-14 Chiang; James Data handling and transmission systems employing binary bit-patterns based on a sequence of standard decomposed strokes of ideographic characters
CN1193779A (zh) 1997-03-13 1998-09-23 国际商业机器公司 中文语句分词方法及其在中文查错系统中的应用
CN1161701C (zh) * 1997-03-14 2004-08-11 欧姆龙株式会社 语言识别装置和语言识别方法
US6047300A (en) 1997-05-15 2000-04-04 Microsoft Corporation System and method for automatically correcting a misspelled word
US6054941A (en) * 1997-05-27 2000-04-25 Motorola, Inc. Apparatus and method for inputting ideographic characters
CA2242065C (en) 1997-07-03 2004-12-14 Henry C.A. Hyde-Thomson Unified messaging system with automatic language identification for text-to-speech conversion
US5974413A (en) * 1997-07-03 1999-10-26 Activeword Systems, Inc. Semantic user interface
US6131102A (en) 1998-06-15 2000-10-10 Microsoft Corporation Method and system for cost computation of spelling suggestions and automatic replacement
US6490563B2 (en) * 1998-08-17 2002-12-03 Microsoft Corporation Proofreading with text to speech feedback
US7191393B1 (en) * 1998-09-25 2007-03-13 International Business Machines Corporation Interface for providing different-language versions of markup-language resources
US6356866B1 (en) * 1998-10-07 2002-03-12 Microsoft Corporation Method for converting a phonetic character string into the text of an Asian language
US6148285A (en) * 1998-10-30 2000-11-14 Nortel Networks Corporation Allophonic text-to-speech generator
JP4302326B2 (ja) 1998-11-30 2009-07-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ テキストの自動区分
US6204848B1 (en) * 1999-04-14 2001-03-20 Motorola, Inc. Data entry apparatus having a limited number of character keys and method
US6782505B1 (en) * 1999-04-19 2004-08-24 Daniel P. Miranker Method and system for generating structured data from semi-structured data sources
US6401065B1 (en) * 1999-06-17 2002-06-04 International Business Machines Corporation Intelligent keyboard interface with use of human language processing
US6562078B1 (en) * 1999-06-29 2003-05-13 Microsoft Corporation Arrangement and method for inputting non-alphabetic language
US6848080B1 (en) * 1999-11-05 2005-01-25 Microsoft Corporation Language input architecture for converting one text form to another text form with tolerance to spelling, typographical, and conversion errors
US7165019B1 (en) * 1999-11-05 2007-01-16 Microsoft Corporation Language input architecture for converting one text form to another text form with modeless entry
US6573844B1 (en) 2000-01-18 2003-06-03 Microsoft Corporation Predictive keyboard
US6646572B1 (en) 2000-02-18 2003-11-11 Mitsubish Electric Research Laboratories, Inc. Method for designing optimal single pointer predictive keyboards and apparatus therefore
US7047493B1 (en) 2000-03-31 2006-05-16 Brill Eric D Spell checker with arbitrary length string-to-string transformations to improve noisy channel spelling correction
US7277732B2 (en) * 2000-10-13 2007-10-02 Microsoft Corporation Language input system for mobile devices
CN1121004C (zh) * 2000-12-21 2003-09-10 国际商业机器公司 用于小键盘的汉字输入方法
US7076731B2 (en) 2001-06-02 2006-07-11 Microsoft Corporation Spelling correction system and method for phrasal strings using dictionary looping
US7136803B2 (en) * 2001-09-25 2006-11-14 Apple Computer, Inc. Japanese virtual dictionary
US20030088398A1 (en) * 2001-11-08 2003-05-08 Jin Guo User interface of a keypad entry system for korean text input
US6934564B2 (en) * 2001-12-20 2005-08-23 Nokia Corporation Method and apparatus for providing Hindi input to a device using a numeric keypad
US20050057512A1 (en) * 2003-07-17 2005-03-17 Min-Wen Du Browsing based Chinese input method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS619758A (ja) * 1984-06-25 1986-01-17 Ricoh Co Ltd カナ漢字変換処理装置
JPS63155262A (ja) * 1986-12-18 1988-06-28 Ricoh Co Ltd 日本語処理方法および装置
WO1995017729A1 (en) * 1993-12-22 1995-06-29 Taligent, Inc. Input methods framework
JPH10232863A (ja) * 1996-12-19 1998-09-02 Omron Corp かな漢字変換装置および方法、並びに記録媒体

Also Published As

Publication number Publication date
CN1387639A (zh) 2002-12-25
AU1361401A (en) 2001-05-14
WO2001033324A9 (en) 2002-08-08
CN100593167C (zh) 2010-03-03
US7403888B1 (en) 2008-07-22
JP2011060308A (ja) 2011-03-24
JP5021802B2 (ja) 2012-09-12
US20050060138A1 (en) 2005-03-17
WO2001033324A2 (en) 2001-05-10
WO2001033324A3 (en) 2002-02-14
JP2003513389A (ja) 2003-04-08

Similar Documents

Publication Publication Date Title
JP4920154B2 (ja) 言語入力ユーザインタフェース
US20210073467A1 (en) Method, System and Apparatus for Entering Text on a Computing Device
JP4463795B2 (ja) 減少型キーボード曖昧さ除去システム
US7385531B2 (en) Entering text into an electronic communications device
JP2007133884A5 (ja)
EP1347361A1 (en) Entering text into an electronic communications device
US20050162395A1 (en) Entering text into an electronic communications device
WO1998033111A9 (en) Reduced keyboard disambiguating system
US7616190B2 (en) Asian language input using keyboard
EP1347362B1 (en) Entering text into an electronic communications device
JP5331654B2 (ja) 電子機器および電子機器の制御方法
JP4133523B2 (ja) キャラクター入力装置
JP2003288155A (ja) 文字列入力プログラム
AU2013270614A1 (en) Method system and apparatus for entering text on a computing device
AU2015221542A1 (en) Method system and apparatus for entering text on a computing device
MXPA99006904A (en) Reduced keyboard disambiguating system
KR20040016715A (ko) 불완전하고 불명확한 발음 표기들에 대한 비교 기능을갖는 중국어 발음 표기 입력 시스템 및 방법
JP2000187660A (ja) かな漢字変換方法、かな漢字変換装置、及び記憶媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071105

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071105

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100625

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100927

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110222

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110523

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110715

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120127

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120201

R150 Certificate of patent or registration of utility model

Ref document number: 4920154

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150210

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees