JP4063551B2 - 文字列予測装置及び方法並びに当該方法を具現化するコンピュータ実行可能なプログラム - Google Patents

文字列予測装置及び方法並びに当該方法を具現化するコンピュータ実行可能なプログラム Download PDF

Info

Publication number
JP4063551B2
JP4063551B2 JP2002040304A JP2002040304A JP4063551B2 JP 4063551 B2 JP4063551 B2 JP 4063551B2 JP 2002040304 A JP2002040304 A JP 2002040304A JP 2002040304 A JP2002040304 A JP 2002040304A JP 4063551 B2 JP4063551 B2 JP 4063551B2
Authority
JP
Japan
Prior art keywords
pattern
character string
string
prediction
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002040304A
Other languages
English (en)
Other versions
JP2003242446A (ja
Inventor
尚美 岩山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2002040304A priority Critical patent/JP4063551B2/ja
Publication of JP2003242446A publication Critical patent/JP2003242446A/ja
Application granted granted Critical
Publication of JP4063551B2 publication Critical patent/JP4063551B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Character Discrimination (AREA)
  • Machine Translation (AREA)
  • Document Processing Apparatus (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、文字や音声等の各種パターン情報を認識して文字列に変換する文字列予測装置及びその方法並びに当該方法を具現化するコンピュータ実行可能なプログラムに関する。
【0002】
【従来の技術】
昨今のコンピュータ技術の急速な進展に伴い、CPUにおける演算処理速度についても非常に高速化してきている。このような処理の高速化に伴って、従来処理速度の観点からパターン認識には不向きであるとされていた一般家庭用のパーソナルコンピュータでさえ、手書き入力や音声入力等を用いた各種のアプリケーションを容易に用いることができる環境が整いつつある。
【0003】
かかる環境下において、タブレットから入力された筆跡パターンやマイクから入力された音声パターン等の各種パターンを認識して文字列に変換する技術が日々開発されている。さらに、パターンによる入力効率をより高めるために、予測辞書を参照することによってパターンとして入力されていない部分を予測して提示することにより、すべてのパターンを入力しなくても、入力したい文字列を入力することができるようにすることも考えられている。
【0004】
例えば、特開平7−192095号公報においては、手書きで入力したパターン列に対して認識処理を行って文字列に変換し、変換された文字列を先頭部分にもつ単語を単語辞書を参照することによって抽出して、最終的に入力されるべき文字列を予測する方法が開示されている。
【0005】
また、特開平10−91728号公報においては、ユーザが入力したパターン列の各パターンを認識して複数の候補文字に変換し、候補文字を組み合わせることによって入力されたパターン列に対する複数の文字列を生成し、生成された文字列を先頭部分にもつ単語を単語辞書から検索して、最終的に入力されるべき文字列を予測する方法が開示されている。
【0006】
さらに、特開平2000―57133号公報においては、キーボード等から文字列を入力し、入力された文字列について文字列連鎖情報を用いて部分文字列に分割し、分割された最後尾の部分文字列を先頭とする文字列を予測辞書から検索することにより、入力した文字列の任意の位置から予測辞書の検索を行うことができる方法が開示されている。
【0007】
【発明が解決しようとする課題】
しかしながら、上述したような入力されたパターン列に基づいて最終的に入力されるべき文字列を予測する方法においては、一般に入力したパターン列の先頭部分から予測を行うことは可能であるが、入力したパターン列における任意の部分から予測を行うことはできないという問題点があった。すなわち、パターン列としてではなく、通常の文字列として入力された場合には、文字列連鎖情報を用いることによって部分文字列に分割することができ、文字列における任意の部分から最終的に入力されるべき文字列を予測することができるものの、パターン列として入力された場合には、たとえ文字列連鎖情報を用いたとしてもパターン列を部分パターン列へと分割することができず、パターン列の先頭部分から予測を行うことしかできないからである。
【0008】
例えば、上述した特開平2000―57133号公報に開示されている方法では、入力されるものが文字列であることを前提としている。したがって、文字列について文字列連鎖情報を用いて部分文字列に分割することにより、文字列の任意の部分からの予測を行うことができるようになっている。しかし、入力されるものがパターン列である場合には、文字列連鎖情報を用いても部分文字列に分割することはできないことから、パターン列の任意の部分から予測辞書の参照を行うことができないことになる。
【0009】
また、特開平7−192095号公報に開示されている方法では、パターンを認識した結果が正しい認識結果であるという条件下において、前述した特開平2000―57133号公報に開示されている方法と組み合わせることによって、入力したパターン列の任意の部分から予測を行うことも考えられる。すなわち、事前にパターンを認識文字列に変換しておくことで、文字列の任意の部分を用いて予測辞書の検索を行うことになる。しかし、パターンを認識した結果が常に正しいという保証はできず、誤認識が含まれている場合においては予測辞書の検索結果についても信頼性が低くなり、最終的に入力されるべき文字列を得ることができないという問題点が残されている。
【0010】
さらに、特開平10−91728号公報に開示されている方法では、パターン認識の曖昧性を考慮した上で予測を行うことから、パターンを認識した候補文字列が正しい認識結果でない場合であっても所定の精度を維持しながら予測辞書の検索を行うことができるものと考えられる。しかし、予測辞書の検索時において、キー情報としての候補文字列における開始位置が、入力されたパターンの先頭文字に限定されていることから、入力されたパターン列の任意の位置から予測辞書の検索を行うことはできないという問題点は残されている。
【0011】
そこで本発明は、上述したような問題点を解決するために、パターン列が入力された場合であっても、当該パターン列の任意の位置から予測辞書の検索を行うことを可能とする文字列予測装置及び方法を提供することを目的とする。
【0012】
【課題を解決するための手段】
上記目的を達成するために本発明にかかる文字列予測装置は、複数のパターンにより構成されるパターン列を入力するパターン入力部と、パターン入力部から入力されたパターン列に基づいてパターン認識用辞書を照会し、認識候補文字ごとに評価値を算出するとともに評価値の高い順に認識候補文字を出力するパターン認識部と、入力されたパターン列について、任意の位置を分割位置として、空きパターン列も含む前後2つの部分パターン列に分割するパターン列分割部と、パターン列分割部において分割された前方の部分パターン列に相当する範囲に対して、パターン認識部から出力された認識候補文字に基づいて、文脈辞書を参照しながら文脈処理を行う文脈処理部と、パターン列分割部において分割された後方の部分パターン列と、パターン認識部から出力された認識候補文字とを組み合わせて、検索文字列を生成する検索文字列生成部と、検索文字列生成部により生成された検索文字列をキー情報として予測辞書を照会し、予測候補文字列を抽出する予測辞書検索部と、文脈処理部における文脈処理の結果と、予測辞書検索部において抽出された予測候補文字列に基づいて、一又は複数の候補文字列を表示する結果表示部とを含むことを特徴とする。
【0013】
かかる構成により、入力されたパターン列のうち、任意の位置にあるパターンを先頭パターンとする部分パターン列すべてについて認識候補文字を組み合わせて検索文字列を生成することになることから、パターン列が入力された場合であっても、パターン列の任意の位置から予測辞書の検索を行うことができ、予測精度の向上が期待できる。
【0014】
また、本発明にかかる文字列予測装置は、表示された一又は複数の候補文字列からユーザが選択指示した候補文字列が入力されるべき文字列である入力文字列として確定する結果確定部と、確定された入力文字列を予測辞書に登録する予測辞書登録部をさらに含むことが好ましい。入力文字列として認識された結果を次回以降の処理に反映させるためである。
【0015】
また、本発明にかかる文字列予測装置は、文脈処理の結果出力された文字列を分割する文字列分割部と、分割された最後の文字列の先頭位置を、入力パターン列を前後2つの部分パターン列に分割するパターン分割位置として定める分割パターン位置決定部とをさらに含み、文脈処理部において、パターン入力部から入力されたパターン列全体に対して文脈処理を行い、文字列分割部において文脈処理の結果出力された文字列を分割し、分割パターン位置決定部において、パターン分割位置を決定し、パターン列分割部において分割された後方の部分パターン列と、パターン認識部から出力された認識候補文字とを組み合わせて、検索文字列を生成して、予測辞書検索部において予測辞書の検索を行うことが好ましい。文脈処理の結果に基づいてパターン分割位置を決定することにより、入力されたパターン列の適切な位置から予測辞書の検索を行うことができるようになり、予測辞書を検索するための演算処理負荷を軽減することができるからである。
【0016】
また、本発明は、上記のような文字列予測装置の機能をコンピュータの処理ステップとして実行するソフトウェアを特徴とするものであり、具体的には、複数のパターンにより構成されるパターン列を入力する工程と、入力されたパターン列に基づいてパターン認識用辞書を照会し、認識候補文字ごとに評価値を算出するとともに評価値の高い順に認識候補文字を出力する工程と、入力されたパターン列について、任意の位置を分割位置として、空きパターン列も含む前後2つの部分パターン列に分割する工程と、分割された前方の部分パターン列に相当する範囲に対して、認識候補文字に基づいて、文脈辞書を参照しながら文脈処理を行う工程と、分割された後方の部分パターン列と認識候補文字とを組み合わせて、検索文字列を生成する工程と、生成された検索文字列をキー情報として予測辞書を照会し、予測候補文字列を抽出する工程と、文脈処理の結果と抽出された予測候補文字列に基づいて、一又は複数の候補文字列を表示する工程とを含む文字列予測方法並びにそのような工程を具現化するコンピュータ実行可能なプログラムであることを特徴とする。
【0017】
かかる構成により、コンピュータ上へ当該プログラムをロードさせ実行することで、入力されたパターン列のうち、任意の位置にあるパターンを先頭パターンとする部分パターン列すべてについて認識候補文字を組み合わせて検索文字列を生成することになることから、パターン列が入力された場合であっても、パターン列の任意の位置から予測辞書の検索を行うことができ、予測精度の向上が期待できる文字列予測装置を実現することが可能となる。
【0018】
【発明の実施の形態】
(実施の形態1)
以下、本発明の実施の形態1にかかる文字列予測装置について、図面を参照しながら説明する。図1は本発明の実施の形態1にかかる文字列予測装置の構成図である。なお、本実施の形態1においては、入力されるパターン列として、手書き文字による入力を想定した場合について説明する。
【0019】
図1において、1はパターン入力部を示しており、ペン型タブレットやマウス等の手書き文字入力媒体を意味している。2はパターン認識部を示しており、入力されたパターン列に基づいてパターン認識用辞書3を参照して、認識候補文字列を出力するものである。
【0020】
また、4はパターン列分割部を示しており、入力されたパターン列を任意の位置で分割するものである。なお、パターン列分割部4における分割においては、前方あるいは後方の部分パターン列が空きパターンであっても良い。
【0021】
5は文脈処理部を示しており、前方の部分パターン列に対応する範囲について文脈辞書6を参照しながら文脈処理を行うものである。
【0022】
また、7は検索文字列生成部を示しており、後方の部分パターン列に対して、認識候補文字を組み合わせて、予測辞書9を照会するためのキー情報となる検索文字列を生成するものである。予測辞書9の照会は、予測辞書検索部8で実施され、予測候補文字列が出力される。
【0023】
そして、10は前述したパターン入力部1と同時に表示可能な結果表示部を示しており、一又は複数の候補文字列が表示されることになる。
【0024】
図1において、パターン入力部1からは、認識すべきパターンが入力される。本実施の形態1においては、入力されるパターンとして手書き文字列を想定しているが、特にこれに限定されるものではなく、音声パターン等、認識することが可能なパターン列であれば何でも良い。そして、入力されたパターンはパターン認識部2に送られる。
【0025】
本実施の形態1において、図2に示すような手書き文字「このオ」がパターン列として入力された場合について説明する。なお、図2においては、枠の中に手書きの文字を一文字入力するような入力形態となっているが、特にこれに限定されるわけではなく、枠がない入力部分に手書き文字列を入力する形態であっても良い。
【0026】
パターン認識部2では、パターン認識用辞書3の内容を参照して、入力されたパターン列を照合し、抽出された認識候補文字と、それぞれの認識候補文字に対応するパターン評価値を出力することになる。認識候補文字の抽出には、一般的に用いられるOCR認識エンジンやオンライン認識エンジン等、どのような認識エンジンを用いても良い。また、パターン評価値の算出方法についても特に限定されるものではなく、入力されたパターンとパターン認識用辞書3に登録されているパターンとの間で距離計算を行ったり、特徴点に基づいて算出したり、様々な方法が考えられる。
【0027】
図3に、図2に示す手書き文字「このオ」がパターン列として入力された場合の認識結果の一例を示す。図3において、各認識候補文字の横に表示されている数字は、それぞれの認識候補文字のパターン評価値を示すものであり、数字が大きいほど認識文字として選択される可能性が高いことを示している。
【0028】
次に、パターン列分割部4では、任意の位置を分割位置として、入力されたパターン列を前後2つの部分パターン列に分割することになる。図4に、パターン列分割部4において部分パターン列に分割された場合の一例を示す。
【0029】
次に、文脈処理部5では、パターン列分割部4で分割された、前方の部分パターン列に対応する範囲について、文脈辞書6を参照しながら文脈処理を行うことになる。文脈処理の結果については、分割位置と一対として記憶することになる。すなわち、図4に示す例の場合、前方の部分パターン列に対する文脈処理の結果「この」と、分割位置‘3’とを一対のデータとして記憶することになる。
【0030】
次に、検索文字列生成部7では、任意の位置で分割された後方の部分パターン列に対して、認識候補文字の組み合わせによって検索文字列を生成することになる。図3に示す認識候補文字からは、図5に示すような検索文字列が生成される。
【0031】
図5において、分割位置‘1’とは入力されたパターン列「このオ」の第一文字「こ」の前で分割されたことを意味しており、分割位置‘2’とは入力されたパターン列「このオ」の第二文字「の」の前で分割されたことを、分割位置‘3’とは入力されたパターン列「このオ」の第三文字「オ」の前で分割されたことを、それぞれ意味している。また、ここで生成される検索文字列は、文字列生成時に使用した認識候補文字に対応するパターン評価値の合計とともに生成される。
【0032】
次に、予測辞書検索部8では、予測辞書9から順次文字列を読み出し、検索文字列生成部7で生成された検索文字列との照合を行う。予測辞書9の検索方法としては、検索文字列と予測辞書9から読み出した文字列を前方一致照合する方法でも良いし、検索文字列と予測辞書9から読み出した文字列と完全一致照合する方法でも良い。完全一致照合する方法の場合は、予測辞書9には、文字列とそれに後続する文字列を対で記憶しておくことになる。検索文字列と予測辞書9から読み出した文字列とが完全一致した場合に、当該一致した文字列に後続する文字列を検索することができるからである。
【0033】
図6に検索された予測候補文字列の例を示している。図6において、「能」、「色兼備」、「ンライン」、「フライン」はパターン列として入力されていない予測部分であることを示している。
【0034】
最後に結果表示部10においては、予測辞書検索部8において抽出された予測候補文字列と、文脈処理部5において処理された文脈処理結果を参照しながら、予測結果としての候補文字列を表示することになる。図7に、候補文字列の画面への表示例を示している。ここでは「この才能」及び「このオンライン」が候補文字列として表示されている。図7の例においては、予測辞書9との照合で取得した予測候補文字列の前に、その予測候補文字列と同じ分割位置を有する文脈処理結果文字列を結合して表示されている。
【0035】
また、候補文字列を表示する際には、ユーザが入力したパターン列に対応する文字列部分と、本実施の形態にかかる文字列予測装置が予測して出力した文字列部分との区別がつくように表示することも考えられる。表示されている候補文字列のうち、どこまでがユーザが入力した部分に対応している部分なのかが、容易に認識できるからである。
【0036】
図8に、候補文字列の他の画面表示例を示している。図8においては、「才能」、「オンライン」、及び「オフライン」の3つが候補文字列として表示されている。図8の例においては、予測辞書9との照合により得られた予測候補文字列が候補文字列として表示されている。
【0037】
このように、予測辞書9との照合により得られた予測候補文字列を候補文字列として表示することによって、候補文字列を表示する領域が小さい場合であっても、より多くの候補文字列を表示することが可能となると同時に、ユーザにとっては、候補文字列が入力されるべき文字列か否かの判断が容易になるというメリットが生じる。
【0038】
なお、表示方法としては、図7や図8に示すように、所定の優先順位によって並列して表示する方法に限定されるものではなく、選択可能な表示方法であればどのような方法であっても良い。
【0039】
また、分割位置が異なる予測候補文字列が存在する場合には、分割位置がより前に位置する、すなわち分割位置を示す値がより小さい予測候補文字列の表示優先順位を高くすることが考えられる。分割位置がより前に位置する予測候補文字列であればあるほど、予測辞書9と照合した文字数が多いことから、より信頼性が高いものと判断できるからである。
【0040】
さらに、過去に用いられた頻度が異なる予測候補文字列がある場合には、用いられた頻度が大きい予測候補文字列の表示優先順位を高くすることが考えられる。用いられた頻度が大きい予測候補文字列の方がより信頼性が高いからである。この場合、頻度に関する情報については、履歴情報として保存しておく必要が生じる。
【0041】
また、図6における「オ」と「才」のように、パターン評価値が異なるパターンに対する予測候補文字列がある場合には、よりパターン評価値が高いパターンに対する予測候補文字列の表示優先順位を高くすることが好ましい。パターン評価値が高い予測候補文字列の方がより信頼性が高いものと判断できるからである。
【0042】
この後の処理としては、例えば結果表示部10に表示された候補文字列をユーザが選択することによって、選択された候補文字列を現在の入力位置に文字列として入力するような処理を行う。すなわち、図9に示すように、図8で示された候補文字列のうち「このオンライン」が選択されると、カーソルが位置している表示領域にユーザが確定した文字列として「このオンライン」が表示されることになる。
【0043】
また、予測精度の向上を図るために、ユーザが確定した文字列を次回以降のパターン認識に活用することも考えられる。この場合、ユーザが確定した文字列を予測辞書9に登録する必要が生じる。
【0044】
図10は、本発明の他の実施例にかかる文字列予測装置の構成図である。図10においては、図1に示す基本的構成に、さらに結果確定部11と予測辞書登録部12を含んでいる点に特徴を有している。
【0045】
図10において、結果表示部10に表示された候補文字列が入力されるべき文字列であるとユーザが判断した場合、ユーザは結果確定部11において、確定処理を行うことができる。ここで「確定処理」とは、表示されている候補文字列が、ユーザによって入力されるべき文字列として確定したという指示を行う処理を意味する。したがって、ユーザによって明示的に確定指示を行う方法に特に限定されるものではなく、例えば修正処理を行うことなく次のパターン列を入力した際に確定したとみなす方法であっても良いし、出力された予測候補文字列から特定の文字列が選択された場合に確定したものとみなす方法であっても良い。
【0046】
そして、結果確定部11において候補文字列が確定されたという確定処理が行われると、予測辞書登録部12において、その文字列が予測辞書9に登録される。図8にも示すように、予測辞書9との照合により得られた予測候補文字列が候補文字列として表示されている場合であっても、内部的には、表示されている各予測候補文字列に対して、その予測候補文字列と同じ分割位置を有する文脈処理結果文字列を結合した文字列の情報を保持していることから、いずれかの予測候補文字列が選択された場合には、選択された予測候補文字列の前に、その予測候補文字列と同じ分割位置を有する文脈処理結果文字列を結合した文字列が確定されたという確定処理が行われることになる。これにより、予測辞書9に新たな文字列を登録することができ、次回以降の検索時において、より精度良く予測を行うことが期待できる。
【0047】
また、予測辞書9とは別個に、学習辞書を設けることも考えられる。学習辞書を設ける場合の文字列予測装置の構成図を図11に示す。
【0048】
図11では、さらに学習辞書13を含んでいる点に特徴を有する。学習辞書登録部14は、ユーザが確定した文字列を予測辞書9とは別の学習辞書13に登録する。そして、学習辞書検索部15において学習辞書13を照会することにより抽出された予測候補文字列と、予測辞書検索部8において予測辞書9を照会することにより抽出された予測候補文字列の両方が存在する場合には、学習辞書13を照会することにより抽出された予測候補文字列の表示優先順位を高くすることが好ましい。学習辞書13を照会することにより抽出された予測候補文字列の方が、当該ユーザにとってより最近用いた文字列であることから、より信頼性の高い予測候補文字列であると考えられるからである。
【0049】
また、学習辞書登録部14において学習辞書13にユーザが確定した文字列を登録する際に、登録時のタイムスタンプも同時に登録することが考えられる。そして、学習辞書13を照会することにより抽出された予測候補文字列が複数存在する場合には、当該タイムスタンプが新しい予測候補文字列の表示優先順位を高くすることが好ましい。タイムスタンプが新しい予測候補文字列の方が、ユーザの意思に沿った認識を行うことができる可能性がより高いものと考えられるからである。
【0050】
次に、本発明の実施の形態1にかかる文字列予測装置を実現するプログラムの処理の流れについて説明する。図12は本発明の実施の形態1にかかる文字列予測装置における処理の流れ図である。
【0051】
図12において、まずユーザによって手書き文字や音声入力等のパターン列が入力され(ステップS121)、入力されたパターン列についてパターン認識用辞書を参照してパターン認識を行う(ステップS122)。
【0052】
当該パターン列の先頭の前を分割位置と定め(ステップS123)、パターン列を当該分割位置で前後2つの部分パターン列に分割する(ステップS124)。
【0053】
次に、分割された前方の部分パターン列が存在するか否かを判定し(ステップS125)、部分パターン列が存在すると判定された場合には(ステップS125:Yes)、前方の部分パターン列に対応する範囲のパターン認識結果に対して文脈処理を実行することになる(ステップS126)。
【0054】
また、分割された後方の部分パターン列が存在するか否かを判定し(ステップS127)、部分パターン列が存在すると判定された場合には(ステップS127:Yes)、後方の部分パターン列に対応する認識候補文字を組み合わせて検索文字列を生成することになる(ステップS128)。そして、当該分割位置が入力されたパターン列における最後のパターンの後方であるか否かについて判定することになる(ステップS129)。
【0055】
当該分割位置が最後のパターンの後方ではないと判定された場合には(ステップS129:No)、パターン列の分割位置を一パターン右へシフトし(ステップS130)、当該分割位置で前後2つの部分パターン列に分割することになる(ステップS124)。
【0056】
以下、上述した処理を当該分割位置が最後のパターンの後方であると判定されるまで継続し、最後のパターンの後方であると判定された場合には(ステップS129:Yes)、予測辞書9の検索を行うことになる(ステップS131)。そして、予測辞書9の検索結果と文脈処理結果とを統合して表示することになる(ステップS132)。
【0057】
以上のように本実施の形態1によれば、入力されたパターン列のうち、任意の位置を分割位置として前後2つに分割された、後方の部分パターン列すべてについて認識候補文字を組み合わせて検索文字列を生成することになることから、パターン列が入力された場合であっても、パターン列の任意の位置から予測辞書9の検索を行うことができ、予測精度の向上が期待できる。
【0058】
(実施の形態2)
次に、本発明の実施の形態2にかかる文字列予測装置について、図面を参照しながら説明する。図13は、本発明の実施の形態2にかかる文字列予測装置の構成図である。図13に示すように、本実施の形態2は実施の形態1と異なり、文字列分割部16とパターン分割位置決定部17を含んでいる点に特徴を有している。なお、図13において、実施の形態1と同様の機能を有する構成要素については、符号を同一にすることで詳細な説明を省略する。
【0059】
図13に示すように、パターン入力部1からは、認識すべきパターンが入力され、パターン認識部2に送られる。そして、パターン認識部2では、パターン認識用辞書3の内容を参照して、入力されたパターン列を照合し、抽出された認識候補文字と、それぞれの認識候補文字に対応するパターン評価値を出力することになる。
【0060】
次に、入力されたパターン列全体に対して文脈処理部5により文脈処理を行うことになる。本実施の形態2においては、文脈処理を行った結果に対して、複数の文字列に分割する点にも特徴を有する。すなわち、入力されたパターン列全体に対して、可能なすべての分割位置においてパターン列を部分パターン列に分割することは演算処理量が過大となってしまうことから、文脈処理を行った結果に基づいて分割位置を決定することによって、適切な位置でパターンを分割することができ、すべての分割位置においてパターン列を部分パターン列に分割したのと同様の効果を得ることができるようにしたものである。
【0061】
具体的には、文字列分割部16において、パターン列全体に対して文脈処理を行った結果として出力される文字列が、複数の文字列に分割されることになる。文字列分割部16における文字列の分割方法は、特に特定の方法に限定されるものではなく、例えば形態素解析を行って品詞ごとに分割する方法であっても良いし、あるいは文字種の変化点を区切りとして分割する方法であっても良い。
【0062】
例えば図3に示すようなパターン認識結果が得られた場合であって、文脈処理部8における文脈処理の結果が、入力されたパターン列全体である「このオ」であるとすると、文字列分割部16において文字種の変化点を区切りとする分割方法で分割した場合には、2つの文字列である「この」と「オ」に分割されることになる。
【0063】
そして、パターン分割位置決定部17では、文字列分割部16により分割された分割文字列群のうち、分割された最後の文字列の先頭に対応するパターンの前に対応する位置を、予測辞書を検索する場合における部分パターン列の開始位置として決定する。
【0064】
例えば2つの文字列「この」と「オ」を分割文字列群とする場合には、当該分割文字列のうち、最後の文字列「オ」の先頭に対応する分割位置が‘3’であることから、パターンを前後2つに分割する場合における分割位置についても‘3’と決定することになる。
【0065】
パターン分割位置決定部17において、パターン分割位置が決定すると、当該分割位置においてパターンを前後2つに分割し、分割された後方の部分パターン列に対して、パターン認識部3から出力された候補文字を組み合わせて新たに検索文字列を生成することになる。
【0066】
例えば図3に示すような認識結果に対しては、分割位置が‘3’であることから、生成される検索文字列は、「オ」と「才」となる。
【0067】
予測辞書検索部8では、生成された検索文字列「オ」又は「才」に基づいて予測辞書9を検索し、検索された予測候補文字列と文脈処理部5において処理された結果とを統合して、結果表示部10において最終的な候補文字列を表示することになる。
【0068】
また、実施の形態1と同様に、ユーザが確定した文字列を次回以降の文字列予測に活用することも考えられる。この場合、ユーザが確定した文字列についても予測辞書9に登録する必要が生じる。
【0069】
そこで、図14は本発明の他の実施例にかかる文字列予測装置の構成図を示しており、図10と同様、結果確定部11と予測辞書登録部12を含んでいる点に特徴を有している。
【0070】
図14においては、結果表示部10に表示された結果表示部10に表示された候補文字列が入力されるべき文字列であるとユーザが判断した場合、ユーザは結果確定部11において、確定処理を行うことになる。
【0071】
そして、結果確定部11において候補文字列が確定されたという確定処理が行われると、文字列分割部81において確定した文字列が複数の部分文字列に分割されることになる。予測辞書登録部12における文字列の登録は、当該分割された各部分文字列を登録することになる。
【0072】
このようにしておくことで、予測辞書9に登録されている文字列の区切りと、予測辞書9を検索するための検索文字列の区切りが一致するようになることから、予測辞書9の検索時において照合する可能性がより高まることになる。
【0073】
もちろん、実施の形態1と同様に、予測辞書9とは別個に、学習辞書13を設けて、学習辞書13にユーザが確定した文字列を登録するような構成であっても良い。
【0074】
次に、本発明の実施の形態2にかかる文字列予測装置を実現するプログラムの処理の流れについて説明する。図15は、本発明の実施の形態2にかかる文字列予測装置における処理の流れ図を示す。
【0075】
図15において、まずユーザによって手書き文字や音声入力等のパターン列が入力され(ステップS151)、入力されたパターン列についてパターン認識用辞書を参照してパターン認識を行う(ステップS152)。
【0076】
次に、認識候補文字に基づいて文脈処理を実行して(ステップS153)、文脈処理の結果として出力される文字列を所定の基準に基づいて分割することになる(ステップS154)。
【0077】
そして、分割された最後の文字列の先頭に位置するパターンの前の位置をパターンの分割位置として定め(ステップS155)、当該分割位置において、入力パターン列を前後2つの部分パターン列に分割する(ステップS156)。
【0078】
次に、分割された後方の部分パターン列に対して、認識候補文字を組み合わせた検索文字列を生成して(ステップS157)、予測辞書9の検索を実行する(ステップS158)。そして、予測辞書9の検索結果と文脈処理の結果を統合して表示することにより処理を終了する(ステップ159)。
【0079】
以上のように本実施の形態2によれば、入力されたパターン列について文脈処理を行った結果に対して複数の文字列へと分割することによって、適切なパターン分割位置を得ることができ、予測精度を落とすことなく演算処理量を減少させることが期待できる。
【0080】
なお、本発明の実施の形態にかかる文字列予測装置を実現するプログラムは、図16に示すように、CD−ROM162−1やフレキシブルディスク162−2等の可搬型記録媒体162だけでなく、通信回線の先に備えられた他の記憶装置161や、コンピュータ163のハードディスクやRAM等の記録媒体164のいずれに記憶されるものであっても良く、プログラム実行時には、プログラムはローディングされ、主メモリ上で実行される。
【0081】
また、本発明の実施の形態にかかる文字列予測装置により用いられる、あるいは更新される予測辞書や学習辞書等についても、図16に示すように、CD−ROM162−1やフレキシブルディスク162−2等の可搬型記録媒体162だけでなく、通信回線の先に備えられた他の記憶装置161や、コンピュータ163のハードディスクやRAM等の記録媒体164のいずれに記憶されるものであっても良く、例えば本発明にかかる文字列予測装置を利用する際にコンピュータ163により読み取られる。
【0082】
(付記1) 複数のパターンにより構成されるパターン列を入力するパターン入力部と、
前記パターン入力部から入力された前記パターン列に基づいてパターン認識用辞書を照会し、認識候補文字ごとに評価値を算出するとともに前記評価値の高い順に前記認識候補文字を出力するパターン認識部と、
入力された前記パターン列について、任意の位置を分割位置として、空きパターン列も含む前後2つの部分パターン列に分割するパターン列分割部と、
前記パターン列分割部において分割された前方の部分パターン列に相当する範囲に対して、前記パターン認識部から出力された前記認識候補文字に基づいて、文脈辞書を参照しながら文脈処理を行う文脈処理部と、
前記パターン列分割部において分割された後方の部分パターン列と、前記パターン認識部から出力された前記認識候補文字とを組み合わせて、検索文字列を生成する検索文字列生成部と、
前記検索文字列生成部により生成された前記検索文字列をキー情報として予測辞書を照会し、予測候補文字列を抽出する予測辞書検索部と、
前記文脈処理部における文脈処理の結果と、前記予測辞書検索部において抽出された前記予測候補文字列に基づいて、一又は複数の候補文字列を表示する結果表示部とを含むことを特徴とする文字列予測装置。
(付記2) 前記結果表示部において、前記予測辞書検索部により抽出された前記予測候補文字列に対応する検索開始位置に基づいて表示の優先順位を決定する付記1記載の文字列予測装置。
【0083】
(付記3) 前記結果表示部において、前記予測辞書検索部により抽出された前記予測候補文字列に関する過去に用いられた頻度に関する情報に基づいて表示の優先順位を決定する付記1記載の文字列予測装置。
【0084】
(付記4) 前記結果表示部において、前記予測辞書検索部において抽出された前記予測候補文字列のキー情報となった検索文字列におけるパターン評価値に基づいて表示の優先順位を決定する付記1記載の文字列予測装置。
【0085】
(付記5) 表示された一又は複数の前記候補文字列からユーザが選択指示した前記候補文字列が入力されるべき文字列である入力文字列として確定する結果確定部と、
確定された前記入力文字列を前記予測辞書に登録する予測辞書登録部をさらに含む付記1から4のいずれか一項に記載の文字列予測装置。
(付記6) ユーザが選択指示した前記候補文字列が入力されるべき文字列であるとユーザが判断した場合において、前記候補文字列を入力文字列として確定するユーザによる意思入力を行う結果確定部と、
確定された前記文字列を学習辞書に登録する学習辞書登録部をさらに含み、
前記結果表示部において、前記予測辞書検索部により抽出された前記予測候補文字列が、前記予測辞書から抽出されたか、あるいは前記学習辞書から抽出されたかに基づいて表示の優先順位を決定する付記1記載の文字列予測装置。
【0086】
(付記7) 前記結果表示部において、前記予測辞書検索部により抽出された前記予測候補文字列のうち、前記学習辞書から抽出されたものについては、最近アクセスされた前記予測候補文字列に基づいて表示の優先順位を決定する付記6に記載の文字列予測装置。
【0087】
(付記8) 前記文脈処理の結果出力された文字列を分割する文字列分割部と、
分割された最後の文字列の先頭位置を、入力パターン列を前後2つの部分パターン列に分割するパターン分割位置として定める分割パターン位置決定部とをさらに含み、
前記文脈処理部において、前記パターン入力部から入力された前記パターン列全体に対して文脈処理を行い、
前記文字列分割部において前記文脈処理の結果出力された文字列を分割し、
前記分割パターン位置決定部において、パターン分割位置を決定し、
前記パターン列分割部において分割された後方の部分パターン列と、前記パターン認識部から出力された前記認識候補文字とを組み合わせて、検索文字列を生成して、前記予測辞書検索部において予測辞書の検索を行う付記1から7のいずれか一項に記載の文字列予測装置。
(付記9) 前記文字列分割部において、ユーザにより確定された前記文字列を部分文字列に分割し、分割された前記部分文字列を前記予測辞書登録部において前記予測辞書に登録する付記5又は8に記載の文字列予測装置。
【0088】
(付記10) 前記文字列分割部において、ユーザにより確定された前記文字列を部分文字列に分割し、分割された前記部分文字列を前記学習辞書登録部において前記学習辞書に登録する付記6又は7に記載の文字列予測装置。
【0089】
(付記11) 前記結果表示部において、ユーザが入力したパターン列に対応する文字列部分と、予測して出力された文字列部分の区別ができるように表示される付記1から10のいずれか一項に記載の文字列予測装置。
【0090】
(付記12) 前記結果表示部において、前記予測辞書と照合することにより得られた予測候補文字列を候補文字列として表示し、いずれかの予測候補文字列が選択された場合には、選択された前記予測候補文字列の前に、選択された前記予測候補文字列と同じ分割位置を有する文脈処理結果文字列を結合した文字列を確定した文字列として表示する付記1から11のいずれか一項に記載の文字列予測装置。
【0091】
(付記13) 複数のパターンにより構成されるパターン列を入力する工程と、
入力された前記パターン列に基づいてパターン認識用辞書を照会し、認識候補文字ごとに評価値を算出するとともに前記評価値の高い順に前記認識候補文字を出力する工程と、
入力された前記パターン列について、任意の位置を分割位置として、空きパターン列も含む前後2つの部分パターン列に分割する工程と、
分割された前方の部分パターン列に相当する範囲に対して、前記認識候補文字に基づいて、文脈辞書を参照しながら文脈処理を行う工程と、
分割された後方の部分パターン列と前記認識候補文字とを組み合わせて、検索文字列を生成する工程と、
生成された前記検索文字列をキー情報として予測辞書を照会し、予測候補文字列を抽出する工程と、
前記文脈処理の結果と抽出された前記予測候補文字列に基づいて、一又は複数の候補文字列を表示する工程とを含むことを特徴とする文字列予測方法。
(付記14) 複数のパターンにより構成されるパターン列を入力するステップと、
入力された前記パターン列に基づいてパターン認識用辞書を照会し、認識候補文字ごとに評価値を算出するとともに前記評価値の高い順に前記認識候補文字を出力するステップと、
入力された前記パターン列について、任意の位置を分割位置として、空きパターン列も含む前後2つの部分パターン列に分割するステップと、
分割された前方の部分パターン列に相当する範囲に対して、前記認識候補文字に基づいて、文脈辞書を参照しながら文脈処理を行うステップと、
分割された後方の部分パターン列と前記認識候補文字とを組み合わせて、検索文字列を生成するステップと、
生成された前記検索文字列をキー情報として予測辞書を照会し、予測候補文字列を抽出するステップと、
前記文脈処理の結果と抽出された前記予測候補文字列に基づいて、一又は複数の候補文字列を表示するステップとを含むことを特徴とする文字列予測方法を具現化するコンピュータ実行可能なプログラム。
【0092】
【発明の効果】
以上のように本発明にかかる文字列予測装置によれば、入力されたパターン列のうち、任意の位置で前後2つに分割された後方の部分パターン列すべてについて認識候補文字を組み合わせて検索文字列を生成することになることから、パターン列が入力された場合であっても、パターン列の任意の位置から予測辞書の検索を行うことができ、予測精度の向上が期待できる。
【図面の簡単な説明】
【図1】 本発明の実施の形態1にかかる文字列予測装置の構成図
【図2】 本発明の実施の形態1にかかる文字列予測装置における手書き文字入力パターン列の例示図
【図3】 本発明の実施の形態1にかかる文字列予測装置における認識候補文字の例示図
【図4】 本発明の実施の形態1にかかる文字列予測装置におけるパターン分割の例示図
【図5】 本発明の実施の形態1にかかる文字列予測装置における検索文字列の例示図
【図6】 本発明の実施の形態1にかかる文字列予測装置における予測候補文字列の例示図
【図7】 本発明の実施の形態1にかかる文字列予測装置における予測候補文字列の表示例示図
【図8】 本発明の実施の形態1にかかる文字列予測装置における予測候補文字列の表示例示図
【図9】 本発明の実施の形態1にかかる文字列予測装置における予測候補文字列選択時の表示例示図
【図10】 本発明の他の実施例にかかる文字列予測装置の構成図
【図11】 本発明の他の実施例にかかる文字列予測装置の構成図
【図12】 本発明の実施の形態1にかかる文字列予測装置における処理の流れ図
【図13】 本発明の実施の形態2にかかる文字列予測装置の構成図
【図14】 本発明の他の実施例にかかる文字列予測装置の構成図
【図15】 本発明の実施の形態2にかかる文字列予測装置における処理の流れ図
【図16】 コンピュータ環境の例示図
【符号の説明】
1 パターン入力部
2 パターン認識部
3 パターン認識用辞書
4 パターン列分割部
5 文脈処理部
6 文脈辞書
7 検索文字列生成部
8 予測辞書検索部
9 予測辞書
10 結果表示部
11 結果確定部
12 予測辞書登録部
13 学習辞書
14 学習辞書登録部
15 学習辞書検索部
16 文字列分割部
17 パターン分割位置決定部
161 回線先の記憶装置
162 CD−ROMやフレキシブルディスク等の可搬型記録媒体
162−1 CD−ROM
162−2 フレキシブルディスク
163 コンピュータ
164 コンピュータ上のRAM/ハードディスク等の記録媒体

Claims (5)

  1. 複数のパターンにより構成されるパターン列を入力するパターン入力部と、
    前記パターン入力部から入力された前記パターン列に基づいてパターン認識用辞書を照会し、認識候補文字ごとに評価値を算出するとともに前記評価値の高い順に前記認識候補文字を出力するパターン認識部と、
    入力された前記パターン列について、任意の位置を分割位置として、空きパターン列も含む前後2つの部分パターン列に分割するパターン列分割部と、
    前記パターン列分割部において分割された前方の部分パターン列に相当する範囲に対して、前記パターン認識部から出力された前記認識候補文字に基づいて、文脈辞書を参照しながら文脈処理を行う文脈処理部と、
    前記パターン列分割部において分割された後方の部分パターン列と、前記パターン認識部から出力された前記認識候補文字とを組み合わせて、検索文字列を生成する検索文字列生成部と、
    前記検索文字列生成部により生成された前記検索文字列をキー情報として予測辞書を照会し、予測候補文字列を抽出する予測辞書検索部と、
    前記文脈処理部における文脈処理の結果と、前記予測辞書検索部において抽出された前記予測候補文字列に基づいて、一又は複数の候補文字列を表示する結果表示部とを含むことを特徴とする文字列予測装置。
  2. 表示された一又は複数の前記候補文字列からユーザが選択指示した前記候補文字列が入力されるべき文字列である入力文字列として確定する結果確定部と、
    確定された前記入力文字列を前記予測辞書に登録する予測辞書登録部をさらに含む請求項1記載の文字列予測装置。
  3. 前記文脈処理の結果出力された文字列を分割する文字列分割部と、
    分割された最後の文字列の先頭位置を、入力パターン列を前後2つの部分パターン列に分割するパターン分割位置として定める分割パターン位置決定部とをさらに含み、
    前記文脈処理部において、前記パターン入力部から入力された前記パターン列全体に対して文脈処理を行い、
    前記文字列分割部において前記文脈処理の結果出力された文字列を分割し、
    前記分割パターン位置決定部において、パターン分割位置を決定し、
    前記パターン列分割部において分割された後方の部分パターン列と、前記パターン認識部から出力された前記認識候補文字とを組み合わせて、検索文字列を生成して、前記予測辞書検索部において予測辞書の検索を行う請求項1又は2に記載の文字列予測装置。
  4. 複数のパターンにより構成されるパターン列を入力する工程と、
    入力された前記パターン列に基づいてパターン認識用辞書を照会し、認識候補文字ごとに評価値を算出するとともに前記評価値の高い順に前記認識候補文字を出力する工程と、
    入力された前記パターン列について、任意の位置を分割位置として、空きパターン列も含む前後2つの部分パターン列に分割する工程と、
    分割された前方の部分パターン列に相当する範囲に対して、前記認識候補文字に基づいて、文脈辞書を参照しながら文脈処理を行う工程と、
    分割された後方の部分パターン列と前記認識候補文字とを組み合わせて、検索文字列を生成する工程と、
    生成された前記検索文字列をキー情報として予測辞書を照会し、予測候補文字列を抽出する工程と、
    前記文脈処理の結果と抽出された前記予測候補文字列に基づいて、一又は複数の候補文字列を表示する工程とを含むことを特徴とする文字列予測方法。
  5. 複数のパターンにより構成されるパターン列を入力するステップと、
    入力された前記パターン列に基づいてパターン認識用辞書を照会し、認識候補文字ごとに評価値を算出するとともに前記評価値の高い順に前記認識候補文字を出力するステップと、
    入力された前記パターン列について、任意の位置を分割位置として、空きパターン列も含む前後2つの部分パターン列に分割するステップと、
    分割された前方の部分パターン列に相当する範囲に対して、前記認識候補文字に基づいて、文脈辞書を参照しながら文脈処理を行うステップと、
    分割された後方の部分パターン列と前記認識候補文字とを組み合わせて、検索文字列を生成するステップと、
    生成された前記検索文字列をキー情報として予測辞書を照会し、予測候補文字列を抽出するステップと、
    前記文脈処理の結果と抽出された前記予測候補文字列に基づいて、一又は複数の候補文字列を表示するステップとを含むことを特徴とする文字列予測方法を具現化するコンピュータ実行可能なプログラム。
JP2002040304A 2002-02-18 2002-02-18 文字列予測装置及び方法並びに当該方法を具現化するコンピュータ実行可能なプログラム Expired - Fee Related JP4063551B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002040304A JP4063551B2 (ja) 2002-02-18 2002-02-18 文字列予測装置及び方法並びに当該方法を具現化するコンピュータ実行可能なプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002040304A JP4063551B2 (ja) 2002-02-18 2002-02-18 文字列予測装置及び方法並びに当該方法を具現化するコンピュータ実行可能なプログラム

Publications (2)

Publication Number Publication Date
JP2003242446A JP2003242446A (ja) 2003-08-29
JP4063551B2 true JP4063551B2 (ja) 2008-03-19

Family

ID=27781084

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002040304A Expired - Fee Related JP4063551B2 (ja) 2002-02-18 2002-02-18 文字列予測装置及び方法並びに当該方法を具現化するコンピュータ実行可能なプログラム

Country Status (1)

Country Link
JP (1) JP4063551B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102731358B (zh) * 2012-07-18 2014-05-14 山东师范大学 一种从南极磷虾中提取虾青素二酯的方法
CN102731361B (zh) * 2012-07-18 2014-06-18 山东师范大学 一种从南极磷虾中快速富集虾青素及其酯的方法
CN102746205B (zh) * 2012-07-18 2014-07-23 山东师范大学 一种从南极磷虾中提取虾青素一酯的方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4519504B2 (ja) * 2003-12-25 2010-08-04 パナソニック株式会社 携帯端末装置
JP5488077B2 (ja) 2010-03-15 2014-05-14 オムロン株式会社 文字列検知装置、文字評価装置、画像処理装置、文字列検知方法、文字評価方法、制御プログラムおよび記録媒体
JP2012150761A (ja) 2011-01-21 2012-08-09 Fujitsu Ltd 情報処理装置および情報処理プログラム
US9489571B2 (en) 2012-05-17 2016-11-08 Sharp Kabushiki Kaisha Display control device, recording medium and display device control method
JP6430199B2 (ja) * 2014-09-30 2018-11-28 株式会社東芝 電子機器、方法及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102731358B (zh) * 2012-07-18 2014-05-14 山东师范大学 一种从南极磷虾中提取虾青素二酯的方法
CN102731361B (zh) * 2012-07-18 2014-06-18 山东师范大学 一种从南极磷虾中快速富集虾青素及其酯的方法
CN102746205B (zh) * 2012-07-18 2014-07-23 山东师范大学 一种从南极磷虾中提取虾青素一酯的方法

Also Published As

Publication number Publication date
JP2003242446A (ja) 2003-08-29

Similar Documents

Publication Publication Date Title
US11514698B2 (en) Intelligent extraction of information from a document
Bharath et al. HMM-based lexicon-driven and lexicon-free word recognition for online handwritten Indic scripts
JP4421134B2 (ja) 文書画像検索装置
TWI321294B (en) Method and device for determining at least one recognition candidate for a handwritten pattern
JP5716328B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP2734386B2 (ja) 文字列読み取り装置
EP2698692A1 (en) System and method for implementing sliding input of text based upon on-screen soft keyboard on electronic equipment
EP1564675A1 (en) Apparatus and method for searching for digital ink query
KR20070110398A (ko) 세그먼트화-기반 인식
WO2015117855A1 (en) Method and apparatus for recognising music symbols
JP4063551B2 (ja) 文字列予測装置及び方法並びに当該方法を具現化するコンピュータ実行可能なプログラム
US8411958B2 (en) Apparatus and method for handwriting recognition
JP6451316B2 (ja) 文字認識プログラム、文字認識方法及び文字認識装置
JP2008225695A (ja) 文字認識誤り修正装置およびプログラム
JP4640593B2 (ja) 多言語文書検索装置および多言語文書検索方法、並びに、多言語文書を検索するプログラム
JP6735775B2 (ja) 重畳手書き入力認識技術のためのシステム及び方法
JPH1166238A (ja) 手書き文字認識方法
JP2004133565A (ja) インターネットを利用した文字認識の後処理装置
JP5594134B2 (ja) 文字列検索装置,文字列検索方法および文字列検索プログラム
JP4682627B2 (ja) 文書検索装置および方法
JP2013025390A (ja) 手書き入力方法
Nguyen et al. Semi-incremental recognition of on-line handwritten Japanese text
JP3955410B2 (ja) 類似情報照合装置、類似情報照合方法、及び、類似情報照合プログラムを記録した記録媒体
JP7095450B2 (ja) 情報処理装置、文字認識方法、および文字認識プログラム
JP3897999B2 (ja) 手書き文字認識方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071225

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110111

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110111

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120111

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130111

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130111

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140111

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees