JP3982307B2 - 文字入力装置 - Google Patents

文字入力装置 Download PDF

Info

Publication number
JP3982307B2
JP3982307B2 JP2002108949A JP2002108949A JP3982307B2 JP 3982307 B2 JP3982307 B2 JP 3982307B2 JP 2002108949 A JP2002108949 A JP 2002108949A JP 2002108949 A JP2002108949 A JP 2002108949A JP 3982307 B2 JP3982307 B2 JP 3982307B2
Authority
JP
Japan
Prior art keywords
voice
character
kana
recognition result
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002108949A
Other languages
English (en)
Other versions
JP2003304331A (ja
Inventor
孝行 肴場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2002108949A priority Critical patent/JP3982307B2/ja
Publication of JP2003304331A publication Critical patent/JP2003304331A/ja
Application granted granted Critical
Publication of JP3982307B2 publication Critical patent/JP3982307B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Document Processing Apparatus (AREA)
  • Telephonic Communication Services (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、文字入力装置に関し、特に、音声を入力することによって文字を入力する文字入力装置に関する。
【0002】
【従来の技術】
特開2002−16701号公報には、携帯電話機から入力された音声を文字データに変換する変換装置が示されている。この変換装置は、電話回線を通して入力される音声情報を一旦録音し、その録音した音声情報を文字情報に変換するものである。また、特開2001−350493号公報には、1本の電話回線網を用いて、音声データと文字データをあわせてやり取りする装置が示されている。
【0003】
【発明が解決しようとする課題】
このように、携帯電話機から入力された音声情報を文字情報に変換する装置には、携帯電話機との間で複数の無線回線を同時に開くことができないことや、その無線回線の伝送速度の面で制約があるといった問題があった。即ち、音声通信回線、若しくはデータ通信回線のみで作業を行う必要があったため、一旦、変換装置(コンピュータ等)に音声情報を録音してから文字情報への変換を行っていた。その変換作業は、データ通信回線の制約のため、利用者の意図を反映し辛く、ほぼコンピュータの変換性能に依存する作業となっていたため、音声情報から文字情報への変換時の誤変換、及び文字情報に基づいたかな漢字変換時の誤変換が重複し、変換精度の向上が困難となって、結局、変換された文字列に対してボタン操作による文字入力(文字列修正)が必要となる場合があった。
【0004】
特開2002−16701号公報に記載の装置は、電話回線を通して入力された音声情報を一旦録音し、その録音した音声情報を文字情報に変換する。また、音声情報から文字情報への変換時には利用者の意志は反映されない。
【0005】
また、特開2001−350493号公報に記載の装置では、1本の電話回線を用いて音声データと文字データをあわせてやり取りする装置が示されている。この装置では、1本の電話回線で音声データと文字データのやり取りを行うため、携帯電話機では現状困難と言える。また、先に示した特開2002−16701号公報の場合と同様、音声データから文字データへの変換時には利用者の意志が反映されず、誤変換された場合には、結局、携帯電話機のボタン操作による文字入力に頼ることになる。また、作成された文字データに対するかな漢字変換は、携帯電話機が行うようになっている。
【0006】
特開2001−309049では、音声データから文字データへの変換率向上手法について示されている。この手法を用いる場合、利用者は予め自身で利用する変換辞書を指定することによって変換率の向上が図られるとしている。しかしながら、変換そのものには利用者の意志は反映されず、変換の結果としての文字データを入手した後に、利用者は添削の必要が生じる。その場合、音声データから文字データへの変換時の誤変換と、文字データからかな漢字交じり文への変換時の誤変換の2重の誤変換が相乗している可能性のある文章の添削が必要となる。また、その添削結果を、再度、通信回線を通して変換装置(メール作成装置)に戻し、再変換要求をするなど、非常に手間がかかる。
【0007】
本発明はこのような状況に鑑みてなされたものであり、携帯電話機等の情報端末での文字入力を音声によって簡単かつ迅速に行うことができるようにするものである。
【0008】
【課題を解決するための手段】
請求項1に記載の文字入力装置は、遠隔地にある情報処理装置と音声回線を介して音声通話を行い、パケット回線を介してデータ通信を行うことによって、音声を文字情報に変換する文字入力装置であって、文字入力装置は、音声を入力する入力手段と、入力手段によって入力された音声を音声回線を介して情報処理装置に送信する送信手段と、情報処理装置からパケット回線を介して返送されてきた音声の認識結果を受信する第1の受信手段と、認識結果を所定の表示装置に表示させる認識結果表示手段と、認識結果の修正を指示する修正情報をパケット回線を介して情報処理装置に送信する修正指示手段と、修正情報に基づいて修正された修正後の認識結果に対して、かな漢字変換の開始を指示する変換指示手段と、情報処理装置からパケット回線を介して返送されてきた認識結果に対するかな漢字変換結果を受信する第2の受信手段と、かな漢字変換結果を表示装置に表示させるかな漢字変換結果表示手段とを備えることを特徴とする。
また、修正情報は、認識結果に対応する文字列の修正すべき誤った文字の位置を示す情報と、正しい文字を示す情報の組み合わせによって構成されるようにすることができる。
また、音声の認識結果は、情報処理装置による音声認識によって得られた音声に対応する文字情報とすることができる。
また、音声回線による音声通話と、パケット回線によるデータ通信とは同時に並行して行われるようにすることができる。
請求項5に記載の文字入力システムは、所定の文字入力装置が遠隔地にある情報処理装置と音声回線を介して音声通話を行い、パケット回線を介してデータ通信を行うことによって、音声を文字情報に変換する文字入力システムであって、文字入力装置は、音声を入力する入力手段と、入力手段によって入力された音声を音声回線を介して情報処理装置に送信する送信手段と、情報処理装置からパケット回線を介して返送されてきた音声の認識結果を受信する第1の受信手段と、認識結果を所定の表示装置に表示させる認識結果表示手段と、認識結果の修正を指示する修正情報をパケット回線を介して情報処理装置に送信する修正指示手段と、修正情報に基づいて修正された修正後の認識結果に対して、かな漢字変換の開始を指示する変換指示手段と、情報処理装置からパケット回線を介して返送されてきた認識結果に対するかな漢字変換結果を受信する第2の受信手段と、かな漢字変換結果を表示装置に表示させるかな漢字変換結果表示手段とを備え、情報処理装置は、文字入力装置から音声回線を介して送信されてきた音声を受信する第3の受信手段と、第3の受信手段によって受信された音声を認識する音声認識手段と、音声認識手段によって認識された認識結果をパケット回線を介して文字入力装置に返送する第1の返送手段と、文字入力装置からパケット回線を介して送信されてきた認識結果の修正を指示する修正情報を受信する第4の受信手段と、第4の受信手段によって受信された修正情報に基づいて認識結果を修正する修正手段と、文字入力装置の変換指示手段による指示に応じて、修正手段によって修正された認識結果をかな漢字変換するかな漢字変換手段と、かな漢字変換手段によって変換されたかな漢字変換結果を文字入力装置にパケット回線を介して送信する第3の送信手段とを備えることを特徴とする。
また、文字入力装置は、情報処理装置のかな漢字変換手段によるかな漢字変換結果を所定のアドレスに情報処理装置に送信するよう指示する指示手段をさらに備え、情報処理装置は、指示手段によって指示されたアドレスにかな漢字変換結果を送信する変換結果送信手段をさらに備えるようにすることができる。
請求項7に記載の文字入力方法は、所定の文字入力装置が遠隔地にある情報処理装置と音声回線を介して音声通話を行い、パケット回線を介してデータ通信を行うことによって、音声を文字情報に変換する文字入力方法であって、文字入力装置は、音声を入力する入力ステップと、入力ステップにおいて入力された音声を音声回線を介して情報処理装置に送信する第1の送信ステップと、情報処理装置からパケット回線を介して返送されてきた音声の認識結果を受信する第1の受信ステップと、認識結果を所定の表示装置に表示させる認識結果表示ステップと、認識結果の修正を指示する修正情報をパケット回線を介して情報処理装置に送信する修正指示ステップと、修正情報に基づいて修正された修正後の認識結果に対して、かな漢字変換の開始を指示する変換指示ステップと、情報処理装置からパケット回線を介して返送されてきた認識結果に対するかな漢字変換結果を受信する第2の受信ステップと、かな漢字変換結果を表示装置に表示させるかな漢字変換結果表示ステップとを備えることを特徴とする。
請求項8に記載の文字入力プログラムは、遠隔地にある情報処理装置と音声回線を介して音声通話を行い、パケット回線を介してデータ通信を行うことによって、音声を文字情報に変換する文字入力装置を制御する文字入力制御プログラムであって、文字入力装置に、音声を入力する入力ステップと、入力ステップにおいて入力された音声を音声回線を介して情報処理装置に送信する第1の送信ステップと、情報処理装置からパケット回線を介して返送されてきた音声の認識結果を受信する第1の受信ステップと、認識結果を所定の表示装置に表示させる認識結果表示ステップと、認識結果の修正を指示する修正情報をパケット回線を介して情報処理装置に送信する修正指示ステップと、修正情報に基づいて修正された修正後の認識結果に対して、かな漢字変換の開始を指示する変換指示ステップと、情報処理装置からパケット回線を介して返送されてきた認識結果に対するかな漢字変換結果を受信する第2の受信ステップと、かな漢字変換結果を表示装置に表示させるかな漢字変換結果表示ステップとを実行させることを特徴とする。
【0009】
【発明の実施の形態】
現在、普及が始まったいわゆる第3世代携帯電話機では、音声通信とパケット通信を同時に行うことが可能となり、あわせてパケット通信の回線速度の大幅な向上をも果たしている。本発明は、この機能を用いることにより、音声によって入力した音声情報を音声通信により遠隔地にあるコンピュータに送信し、音声情報の文字情報への変換結果である文字列をパケット通信により返送してもらうことで、リアルタイムな操作性と入力結果の確認を行うことを可能とし、また、かな漢字変換のコントロールも可能としている。
【0010】
また、本発明では、音声情報から文字情報への変換は、リアルタイムで行われることを想定している。また、音声情報から文字情報への変換時には、パケット通信回線を通して、かな漢字変換の制御や文字編集機能の利用を可能としている。
【0011】
また、本発明では、電話回線とパケット通信回線の2回線を使うことによって、利用者が手にしている携帯電話機のみで、音声の文字データへの変換のコントロールと、文字データのかな漢字変換のコントロールを可能としている。そのため、利用者には、あたかも手元の携帯電話機のみで、良好な操作性とかな漢字交じり文の取得が可能となっているような感覚を与えることができる。
【0012】
また、本発明では、音声から文字データへの変換時、或いはかな漢字交じり文への変換時には、各々利用者の意志通りに変換と修正を可能としているので、誤変換を修正するためのより良好な操作性を実現している。
【0013】
本発明の特長は、携帯電話機で特定の箇所へ音声電話をかけることによって、話した内容を文字で受け取ることを可能とし、その結果、煩わしい携帯電話機での文字入力による労力を大幅に軽減できることである。
【0014】
以下、本発明の実施の形態について図面を参照して詳細に説明する。図1は、本発明を応用した通信システムの第1の実施の形態の構成例を示すブロック図である。
【0015】
図1に示すように、本実施の形態は、メールや文字データを扱うことができる携帯電話機1と、携帯電話機1の通信相手となる、携帯電話機1と電話回線(音声回線)4で接続された自動応答機能を有する変調装置2と、変調装置2と接続されるとともに、インターネット等の通信回線5とも接続され、音声認識やかな漢字変換処理等を行うコンピュータ3等により構成されている。携帯電話機1は、音声データを電話回線4を経由して変調装置2を介してコンピュータ3に送信することができるようになっている。また、携帯電話機1は、文字データや画像データ等を、通信回線5を介してコンピュータ3との間でやり取りすることができるようになっている。
【0016】
ここで、電話回線4は、一般的な電話回線網を想定している。アナログ回線の場合もあるし、ISDNや光回線のようなデジタル回線の場合もあり得る。ただし、最終的には、一般の電話のように、変調装置2にはアナログ音声として届くことを想定している。そのため、引き込み回線がアナログであれば、変調装置2はA/D変換を行うモデムになり、引き込み回線がISDN(integrated services digital network)や光回線であれば、変調装置2はD/D変換を行うTA(terminal adapter)のようなものとなる。
【0017】
携帯電話機1は、後述する各部を制御し、各種情報を保管するCPU(central processing unit)&メモリ部11と、各種情報を表示するディスプレイ12と、利用者が所定のデータやコマンドを入力するときに操作される複数のボタンからなるボタン操作部13と、音声を入力し、対応する電気信号に変換して出力するマイク14と、ボタン操作部13のボタンが押されたときに、トーン音を発するトーン音発信部15と、文字編集を行うソフトウェアを含む文字編集部16と、メールの送受信を行うソフトウェアを含むメール送受信部17と、無線音声通信を行う音声通信部18と、無線パケット通信を行うパケット通信部19とから構成されている。
【0018】
一方、コンピュータ3は、後述する各部を制御し、各種情報を保管するCPU&メモリ部31と、音声を認識し、認識結果に対応する文字情報に変換するソフトウェアを含む音声認識部32と、かな漢字変換機能を持つ文字編集部33と、メールの送信を行うソフトウェアを含むメール送信部34と、パケット通信を行うパケット通信部35とから構成されている。
【0019】
次に、本実施の形態の動作について詳細に説明する。本実施の形態では、まず、携帯電話機1より、自動応答機能を持つ変調装置2に電話回線4を介して音声電話をかける。変調装置2は、携帯電話機1から音声電話がかかってきたとき、自動応答機能に従って、携帯電話機1に対して音声により認証を要求する。この認証要求に対して、携帯電話機1の利用者(ユーザ)は、ボタン操作部13より所定のボタン操作を行ってトーン音を発し、認証要求に対して応答する。
【0020】
この認証要求に対する応答に対応する応答データは、電話回線4を介して変調装置2に送信される。変調装置2は、携帯電話機1から電話回線4を介して送信されてきた応答データをデジタルのデータに変換した後、コンピュータ3へ供給する。コンピュータ3のCPU&メモリ部31は、変調装置2から供給されたデジタルのデータに変換された応答データに対して、認証処理を行い、携帯電話機1の利用者が正当な利用者であるか否かを確認する。このとき、他の認証方法、例えば、電話回線開通時に得られる携帯電話機1が通知する発信者番号に基づいて認証処理を行うことにより、認証処理を簡略化することも可能である。また、認証が不要なら、これらの認証処理を削除することも可能である。
【0021】
認証処理が完了した後、携帯電話機1から送信されてくる音声通話の内容は、変調装置2によってデジタルデータ化され、音声データとして、逐次、コンピュータ3に入力される。コンピュータ3上では、音声データから文字データへの変換のために、音声認識部32によって音声認識機能を実現する音声認識プログラムが起動されており、この音声認識機能によって携帯電話機1からの音声データが逐次文字データに変換され、変換された文字データが文字編集部33に供給される。また、文字データは、パケット通信部35より通信回線5を介して携帯電話機1に返送される。文字編集部33においては、文字編集部33に搭載されているかな漢字変換ソフトウェアによって、上記文字データが適当なかな漢字交じり文に変換される。
【0022】
また、認証が完了したタイミングで、デジタルデータを送受信することが可能なパケット通信を行う通信回線5(インターネットなど)を、携帯電話機1のパケット通信部19とコンピュータ3のパケット通信部35との間で開いておく。
【0023】
コンピュータ3のパケット通信部35は、コンピュータ3の文字編集部33によって音声データから文字データに変換された変換結果を取得し、取得した変換結果をパケット通信により携帯電話機1のパケット通信部19へ通信回線5を介して送信する。携帯電話機1のパケット通信部19は、通信回線5を介して受信した変換結果としての文字データを文字編集部16に供給する。文字編集部16は、パケット通信部19より供給された文字データを編集し、ディスプレイ12に表示する。これにより、利用者は、音声によって入力した内容を文字データで確認することができる。
【0024】
また、文字編集部33のかな漢字変換ソフトウェアが文字データをかな漢字交じり文に変換した変換結果が、パケット通信により携帯電話機1のパケット通信部19へ通信回線5を介して送信される。携帯電話機1のパケット通信部19は、通信回線5を介して受信した変換結果としてのかな漢字交じり文を文字編集部16に供給する。文字編集部16は、パケット通信部19より供給されたかな漢字交じり文を編集し、ディスプレイ12に表示する。これにより、利用者は、音声によって入力した内容に対応する文字データがかな漢字変換された変換結果を確認することができる。
【0025】
このとき、携帯電話機1のボタン操作部13から入力したデータを、パケット通信部19から通信回線5を経由して、コンピュータ3のパケット通信部35を介して文字編集部33へフィードバックすることによって、携帯電話機1で行われるボタン操作により、コンピュータ3上で行われる音声データから文字データへの変換、及び文字データからかな漢字交じり文へのかな漢字変換を操作することが可能となる。また、同様に、コンピュータ3の文字編集部33における文字編集作業をも操作することが可能となる。
【0026】
これにより、携帯電話機1を用いて音声を入力する利用者は、あたかも携帯電話機1単体で、音声による文字入力、かな漢字変換、及び文字編集が行われているかのような感覚で操作することができ、良好な操作性を実現することができる。
【0027】
次に、図2に示したフローチャートを参照して、本実施の形態の動作について詳細に説明する。以下では、変調装置2は、コンピュータ3に含まれるものとする。なお、図2において、三角マークが付されたステップS13乃至S17、ステップS19、及びステップS21乃至S25は、パケット通信によって行われる処理であることを示している。まず最初に、利用者は、文字を入力したい場面で、携帯電話機1のボタン操作部13を操作して音声入力アプリケーション(以下では適宜音声入力アプリと記載する)を起動する(ステップS1)。音声入力アプリは、マイク14を介して入力された音声を処理したり、後述するような各種処理を実行するアプリケーションプログラムであり、CPU&メモリ部11に格納されている。
【0028】
音声入力アプリが起動された後、利用者は、携帯電話機1のボタン操作部13を操作して、変調装置2を介してコンピュータ3へ通常の音声電話をかける(ステップS2)。この音声電話をかける場合、上記音声入力アプリケーションと連動して自動発信するようにすることができる。
【0029】
また、音声入力アプリは、パケット通信を行う機能を有している。そして、パケット通信により、コンピュータ3とデータを送受信する場合には、所定のデータ圧縮を行うことができる。また、そのとき、機密保持のために暗号化するなどの処置を講ずることもできる。
【0030】
また、音声入力アプリは、携帯電話機1の標準搭載機能としてもよいし、Java言語(Javaは、米国Sun Microsystems,Inc.の米国及びその他の国における登録商標又は商標)などで記述され、インターネット等を介して適宜ダウンロードして携帯電話機1に音声入力機能を追加できるようなものでもよい。また、音声入力アプリを利用する際には、現在のかな漢字変換システムと同様のインターフェイス(文字入力の場面で自由に起動が可能)とすることができる。
【0031】
音声電話が、携帯電話機1からコンピュータ3へかかってきたときには、コンピュータ3の変調装置2は、携帯電話機1の利用者に対して、音声による自動案内により認証要求を行い、認証情報の入力を促す(ステップS3)。例えば、「暗証番号を入力してください」等の音声メッセージを携帯電話機1に電話回線4を介して送信し、携帯電話機1の図示せぬスピーカから出力させる。
【0032】
利用者は、携帯電話機1の図示せぬスピーカから出力された音声メッセージを聞くと、携帯電話機1のボタン操作部13の、利用者固有の認証情報(暗証番号)に対応するボタンを操作して、トーン音を発生させることにより、認証情報(暗証番号)を入力し、認証応答を行う(ステップS4)。入力された認証情報は、電話回線4を介してコンピュータ3に送信される。
【0033】
このとき、暗証番号の代わりに、音声電話を受信した際に通知される利用者情報(携帯電話機1の電話番号)等を認証情報として用いることもできる。また、認証が不要なら、この認証作業は省略することもできる。
【0034】
コンピュータ3は、携帯電話機1から電話回線を介して送信されてきた認証情報に基づいて、携帯電話機1の利用者が正規の利用者であるか否かを認証する。利用者が正規の利用者であり、認証が成功し、認証が完了すると(ステップS5)、コンピュータ3のCPU&メモリ部31は、利用者別にセットアップ処理を行う(ステップS6)。例えば、コンピュータ3上で行われる音声認識や、かな漢字変換時に、各ユーザ毎に設定されたユーザ別の変換辞書を用いるようにする。これにより、変換効率を向上させることができる。
【0035】
その後、コンピュータ3は、音声による自動案内やトーン音等により、認証が成功し、セットアップが完了したことを、電話回線4を介して携帯電話機1に通知する(ステップS7)。
【0036】
認証完了後、利用者は、携帯電話機1の特定のボタン操作(例えば、”0#”などのボタン押下)によって発生する一連のトーン音によって、認識開始コマンドを発行する(ステップS8)。この認識開始コマンドは、電話回線4を介してコンピュータ3に送信される。コンピュータ3のCPU&メモリ部31は、この認識開始コマンドを受信すると、音声入力待ちに移行する(ステップS9)。
【0037】
利用者は、例えば、「せんじつのかいぎのけん」等の音声を発し、マイク14から音声入力を行う(ステップS10)。入力された音声は、電話回線4を介して、変調装置2経由でコンピュータ3に供給される。その後、特定のボタン操作(例えば、”9#”などのボタン押下)によってトーン発信部15より発信されるトーン音によって変換コマンドを電話回線4に送出する(ステップS11)。この変換コマンドは、電話回線4を介してコンピュータ3に送信される。
【0038】
音声入力待ちの状態にあるコンピュータ3は、携帯電話機1から電話回線4を介して送信されてきた音声に対応する音声データを変調装置2から受け取ると、音声認識部32において、この音声データに基づいて音声認識を行い、対応する文字列データに変換する(ステップS12)。そして、変換した文字列データを変換済み文字列としてCPU&メモリ部31に蓄積する。
【0039】
その後、携帯電話機1から送信されてきた変換コマンドを受け取ると、それまでCPU&メモリ部31に貯めていた変換済み文字列(例えば、「せんじうおかいぎのけん」)を、パケット通信部35の制御により、パケット通信により通信回線5を介して携帯電話機1に送信する(ステップS13)。このとき、音声データから文字列データへの変換性能や、通信回線負荷などによっては、変換コマンドを用いずに、リアルタイムに音声認識及び文字列データへの変換を行い、変換済み文字列を携帯電話機1に送信するようにしてもよい。
【0040】
携帯電話機1では、音声入力アプリが、通信回線5を介してパケット通信によって送信されてきた、コンピュータ3によって変換された文字列データ(いまの場合、「せんじうおかいぎのけん」)を受信し、文字編集部16に供給する。文字編集部16は、文字データを編集した後、携帯電話機1のディスプレイ12に供給し、表示させる。そして、利用者はディスプレイ12に表示された文字列を確認する(ステップS14)。
【0041】
利用者は、ディスプレイ12に表示された文字列を確認した結果、文字列に誤りがあることが分かった場合、携帯電話機1のボタン操作部13を操作して、文字列の誤りを訂正する。この例の場合、訂正情報(例えば、ボタン操作手順、若しくは、「4つ5の」(4番目を「つ」&5番目を「の」の意味)等の差分情報等)を修正コマンドとして、音声入力アプリがパケット通信部19を介してパケット通信により通信回線5を経由してコンピュータ3に送信する(ステップS16)。
【0042】
例えば、「せんじつのかいぎのけん」と発声し、コンピュータ3において変換され、携帯電話機1に変換結果が返送され、ディスプレイ12に表示された文字列が、例えば、「せんじうおかいぎのけん」であった場合、利用者は、「う」と「お」をそれぞれ修正する必要がある。その修正作業において、ボタン操作が煩雑化したり、修正のため通信量が増加すると本実施の形態を用いることによって得られる効果が薄れるため、修正を指示する修正コマンドとして、差分情報等の訂正情報を送信するようにする。
【0043】
例えば、カーソルが文字列の左端にある場合、ボタン操作部13の図示せぬ右カーソルボタンを3回だけ押下して、4つ目の文字「う」を指定する、そして、所定のボタン操作を行って、「つ」を入力する。さらに、右カーソルを1回だけ押下して、5つ目の文字「お」を指定する。そして、所定のボタン操作を行って、「の」を入力する。これにより、正しい文字列「せんじつのかいぎのけん」を全文送信することなく、訂正情報のみをコンピュータ3に送信して再変換を指示することができる。
【0044】
訂正情報として、ボタン操作手順情報を送信する場合、「右ボタン×3回」+「つ」+「右ボタン×1回」+「の」を送信する。即ち、右ボタンに対応するデータを3回送信し、次に、「つ」に対応するデータを送信し、次に、右ボタンに対応するデータを1回送信し、次に、「の」に対応するデータを送信する。
【0045】
また、訂正情報として、差分情報を送信する場合、「4つ5の」を送信する。即ち、「4」に対応するデータを送信し、次に、「つ」に対応するデータを送信し、次に、「5」に対応するデータを送信し、次に、「の」に対応するデータを送信する。
【0046】
コンピュータ3は、携帯電話機1から通信回線5を介して送信されてきた修正コマンドを受信すると、修正作業を受け付け、修正コマンドに従って修正処理を行う(ステップS19)。
【0047】
又は、利用者が、ディスプレイ12に表示された文字列を確認した結果、文字列を破棄したい場合、携帯電話機1のボタン操作部13を操作して、NGコマンドを発行し、文字列の破棄を指示する。NGコマンドは、音声入力アプリによってパケット通信部19を介してパケット通信により通信回線5を経由してコンピュータ3に送信される(ステップS15)。コンピュータ3は、携帯電話機1から通信回線5を介してNGコマンドを受信すると、NGコマンドの対象となる文字列を破棄する(ステップS18)。
【0048】
或いは、利用者が、ディスプレイ12に表示された文字列を確認した結果、文字列の変換に問題がない場合、携帯電話機1のボタン操作部13を操作して、OKコマンドを発行する。OKコマンドは、音声入力アプリによってパケット通信部19を介してパケット通信により通信回線5を経由してコンピュータ3に送信される(ステップS17)。コンピュータ3は、携帯電話機1から通信回線5を介してOKコマンドを受信すると、OKコマンドの対象となる文字列の変換に問題がなかったことを認識する。
【0049】
このように、コンピュータ3は、ステップS13において携帯電話機1に送信した文字列に対して、携帯電話機1より、修正コマンド(訂正情報)、又はNGコマンド、又はOKコマンドを通信回線5を介してパケット通信により受信する。そして、コンピュータ3は、パケット通信で受け取った文字列の結果情報(訂正情報、又はNGコマンド、又はOKコマンド)に応じて、上述したように、文字列の修正、又は再入力、又はOKの処置を取る。即ち、訂正情報を受け取ったときは文字列を修正し、NGコマンドを受け取ったときは文字列を破棄して再入力処理を行い、OKコマンドを受け取ったときは、その文字列を保持する。
【0050】
携帯電話機1から通信回線5を介して送信されてきたOKコマンドを受け取ると、コンピュータ3は、音声から文字列への変換が正しく行われたとみなし、文字編集部33に搭載されたかな漢字変換ソフトウェアは、上記文字列に対してかな漢字変換処理を開始する(ステップS20)。
【0051】
そして、CPU&メモリ部31は、かな漢字変換処理によって得られたかな漢字変換後の文字列(例えば、「先日の会議の権」)を変換候補として、パケット通信部35の制御により、パケット通信によって通信回線5を介して携帯電話機1へ送信する(ステップS21)。このとき、変換候補としての文字列とともに、変換候補としての文字列の文節の区切りを示す区切り情報を含めたデータを携帯電話機1に送信する。
【0052】
携帯電話機1は、通信回線5を介してパケット通信によって受信した変換候補としての文字列と文節の区切り情報とに基づいて、文字列、例えば、「先日の/会議の/権」をディスプレイ12に表示する。ここで、文字「/」は、文節の区切りを示している。利用者は、ボタン操作部13を操作して、文節の区切り位置の変更や、かな漢字変換操作を行う。かな漢字変換操作のうち、変換後の文字を再変換する変換操作、例えば、「権」を再変換するための操作がなされると、この操作に対応する変換操作情報(いまの場合、「権」を再変換するための操作がなされたことを示す情報)が、音声入力アプリによってパケット通信により通信回線5を介してコンピュータ3にフィードバックされる(ステップS22)。
【0053】
コンピュータ3は、パケット通信により携帯電話機1より通信回線5を介して送信されてきた変換操作情報を受信し、変換作業を受け付けると(ステップS23)、文字編集部33のかな漢字変換ソフトウェアは、この変換操作情報に基づいた文字列変換処理を行い、文字列変換処理の結果を示す変換情報としての変換候補の一覧(いまの場合、「権」の変換候補一覧)をパケット通信部35の制御により通信回線5を介してパケット通信により携帯電話機1へ返信する(ステップS24)。
【0054】
ステップS22における処理と、ステップS23、ステップS24の処理が繰り返し実行されることにより、正しい文字列が作成され、ディスプレイ12に表示される。そして、利用者が携帯電話機1のボタン操作部13を用いて完了操作(例えば、決定ボタンの押下)を行うと、携帯電話機1のCPU&メモリ部11は所定の変換完了コマンドを発行し、この変換完了コマンドが、パケット通信部19の制御により通信回線5を介してパケット通信によりコンピュータ3に送信される(ステップS25)。
【0055】
CPU&メモリ部11は、ステップS25において、所定の変換完了コマンドを発行した後、完成した文字列を文字編集部16に供給する(ステップS26)。文字編集部16は、完成した文字列を編集してディスプレイ12に表示させる。その後、ステップS10に戻り、携帯電話機1は音声入力待ち状態へ移行する。
【0056】
一方、携帯電話機1から通信回線5を介してパケット通信により送信されてきた変換完了コマンドを受け取ったコンピュータ3は、ステップS24において得られた変換結果を、文字編集部33に供給し、ステップS9に戻り、再び音声入力待ち状態へ移行する。
【0057】
ステップS9乃至ステップS26の処理を繰り返し実行することによって、所望する文章が完成すると、利用者は、携帯電話機1のボタン操作部13に対して所定のボタン操作を行い、ボタン操作に応じてトーン音発信部15が発信するトーン音によって、所定の終了コマンドを発行し、音声通信部18の制御により電話回線4を介してコンピュータ3に送信するとともに、使用していたリソース(音声回線/パケット通信回線/音声入力アプリなど)を解放する。
【0058】
コンピュータ3は、電話回線4を介して送信されてきた終了コマンドを受け付けると、使用していたリソース(音声回線/パケット通信回線/内部メモリなど)を解放する。
【0059】
また、上記実施の形態では、携帯電話機1を使用して文字入力を行う場合を想定しているが、携帯電話機1の場合と同様に、音声回線及びパケット通信回線の同時利用が可能であれば他の機器であってもよい。
【0060】
以上説明したように、本実施の形態においては以下に記載するような効果を奏する。第1の効果は、携帯電話機1での煩わしい文字入力を、音声によって簡単に行うことが可能となることである。
【0061】
第2の効果は、音声入力による文章作成を遠隔地のコンピュータ3で行っているにも拘わらず、あたかも手元の携帯電話機1で音声入力による文章作成を行っているような良好な操作性を実現できることである。
【0062】
第3の効果は、音声認識を行って文字列に変換する作業を、携帯電話機1ではなく別のコンピュータ3で行うので、既存の携帯電話機1に何ら改造を行うことなく、本実施の形態の機能を付加することが可能となることである。
【0063】
第4の効果は、音声認識を行って文字列に変換する作業を、携帯電話機1ではなく別のコンピュータ3で行うので、携帯電話機1に比べて強力な演算装置(CPU)や記憶装置(メモリ)を使うことができる。これにより、良好な変換効率を実現することができることである。
【0064】
第5の効果は、音声認識を行って文字列に変換する作業を、携帯電話機1ではなく別のコンピュータ3で行うので、変換機能向上のためにコンピュータ3のかな漢字変換ソフトウェアの性能を向上させるだけで、全ての携帯電話機1のかな漢字変換効率の向上、及び操作性の改善を実現することができることである。また、問題が生じた場合の改修なども、迅速かつ一元的に管理して行うことができ、また、簡易に行うことができることである。
【0065】
第6の効果は、音声認識を行って文字列に変換する作業を、携帯電話機1ではなく別のコンピュータ3で行うので、携帯電話機1への過剰な(高機能を有する)かな漢字変換機能を備える文字編集ソフトウェアの搭載を抑制することができ、メモリの節約や開発にかかるコストの削減を実現することができることである。
【0066】
上記実施の形態では、携帯電話機1の文字編集部16に完成した文字列を渡し、コンピュータ3の文字編集部33上の完成した文字列は利用していないが、上述したように、携帯電話機1が終了コマンドをコンピュータ3に送信するときに、通信回線5を介してパケット通信により電子メールの宛先情報や電子掲示板などの記入フォームへの書き込みコマンドなどをコンピュータ3に送信することにより、作成した文字列をコンピュータ3上から指定した宛先へ電子メールを送信したり、指定した電子掲示板などの記入フォームへの書き込みを行うようにすることも可能である。
【0067】
次に、本発明の第2の実施の形態について説明する。第2の実施の形態の基本的な構成は図1に示した第1の実施の形態の場合と同様である。第2の実施の形態は、音声認識と文字列への変換を行うコンピュータ3が、変換結果を第三者へ電子メールによって送付する機能、及び電子掲示板等の所定の記入フォームに変換結果を書き込む機能を有している。
【0068】
即ち、利用者は、携帯電話機1のボタン操作部13を操作することにより、CPU&メモリ部11に保存されているアドレス帳から所望の宛先のアドレスを読み出し、通信回線5を介してパケット通信によりコンピュータ3に送信することができる。これにより、音声によって入力し、かな漢字変換された変換後の文字列を、コンピュータ3から所望の宛先に電子メールで送信することができる。従って、音声による文字入力の場合と同様の良好な操作性を実現することができ、さらに、アドレス帳の一元性をも実現することができる。
【0069】
また、利用者が、携帯電話機1のボタン操作部13を操作することにより、所定の電子掲示板などの記入フォームへの書き込みコマンドなどをコンピュータ3に送信することにより、作成した文字列をコンピュータ3上から指定した電子掲示板の所定の記入フォームに書き込むことができる。
【0070】
以上説明したように、上記各実施の形態は、携帯電話機1より変調装置2に電話をかけることによって、携帯電話機1のマイク14から入力した音声に対応する音声データを電話回線4を介してコンピュータ3に送信し、コンピュータ3の音声認識部32が、携帯電話機1より電話回線4を介して送信されてきた音声データに基づいて音声を認識し、認識結果に対応する文字列データに変換し、文字列データをかな漢字交じり文に変換する。その際、いわゆる第3世代携帯電話機でサポートされている、音声通信とパケット通信を同時に行うことができる機能を利用することによって、あたかも、携帯電話機1単体で、高度な音声認識を行い、音声による文字入力が行われているかのような良好な操作性を実現することができる。
【0071】
即ち、携帯電話機1のマイク14を介して入力した音声の内容は、コンピュータ3において、文字データに変換されて通信回線5を介してコンピュータ3から携帯電話機1に返送される。そして、携帯電話機1は、通信回線5を介してコンピュータ3から送信されてきた文字データを受信し、文字編集部16において文字編集を行い、ディスプレイ12に表示する。さらに、文字データをコンピュータ3において、かな漢字交じり文に変換し、変換結果が携帯電話機1に返送され、ディスプレイ12に表示される。そして、音声データから文字データへ変換された変換結果、及び文字データからかな漢字交じり文に変換された変換結果を利用者はボタン操作によって適宜修正することができる。
【0072】
これにより、利用者は、従来のボタン操作による文字データの入力の代わりに、音声による文字入力が可能となり、煩わしいボタン操作による文字入力の労力を大幅に軽減することが可能となる。さらに、音声データを音声認識した認識結果として得られた文字データに対して修正を行うことができるので、正しい認識結果に対してかな漢字変換処理が行われるようにすることができ、最終的な変換結果の修正作業を効率良く行うことが可能となる。
【0073】
なお、上記第1の実施の形態では、コンピュータ3上でかな漢字変換作業及び文字編集作業を行い、そのコントロールを携帯電話機1からパケット通信を利用して行うことを提案しているが、音声から文字への変換のみをコンピュータ3上で行い、その作成された文字列をパケット通信を通して携帯電話機1へ受け渡すことで、漢字変換及び文字編集は携帯電話機1上で行うような構成とすることも可能である。
【0074】
また、コンピュータ3上で漢字変換までを行い、その結果を携帯電話機1へ受け渡し、文字編集のみを携帯電話機1上で行うような構成とすることも可能である。
【0075】
また、上記各実施の形態では、音声通信回線(電話回線)4とパケット通信回線(通信回線)5をあわせて用いる構成としているが、何らかの理由により音声通信回線を利用することができない場合などには、通信回線5のみを用いて、デジタル化された音声データをコンピュータ3へ送ることにより、通信回線5を電話回線4の代わりに用いるような構成とすることも可能である。
【0076】
また、上記実施の形態においては、変調装置2は、コンピュータ3の外部に設けるようにしたが、コンピュータ3が変調装置2の機能を備えるようにすることも可能である。
【0077】
また、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更することができることは言うまでもない。
【0078】
【発明の効果】
以上の如く、本発明に係る文字入力装置によれば、音声を入力し、入力された音声を音声回線を介して情報処理装置に送信し、情報処理装置からパケット回線を介して返送されてきた音声の認識結果を受信し、認識結果を所定の表示装置に表示させ、認識結果の修正を指示する修正情報をパケット回線を介して情報処理装置に送信し、修正情報に基づいて修正された修正後の認識結果に対して、かな漢字変換の開始を指示し、情報処理装置からパケット回線を介して返送されてきた認識結果に対するかな漢字変換結果を受信し、かな漢字変換結果を表示装置に表示させるようにしたので、文字入力を音声によって簡単かつ迅速に行うことができる。また、音声を認識して対応する文字情報に変換する処理は文字入力装置ではなく遠隔地にある情報処理装置が行うので、情報処理装置の性能を高め、音声の認識率やかな漢字変換効率を向上させることにより、文字入力装置の文字入力の効率を向上させることができる。
【図面の簡単な説明】
【図1】本発明が適用される通信システムの一実施の形態の構成例を示すブロック図である。
【図2】図1の通信システムの処理手順を説明するためのフローチャートである。
【符号の説明】
1 携帯電話機
2 変調装置
3 コンピュータ
4 電話回線
5 通信回線
11,31 CPU&メモリ部
12 ディスプレイ
13 ボタン操作部
14 マイク
15 トーン音発信部
16,33 文字編集部
17 メール送受信部
18 音声通信部
19,35 パケット通信部
32 音声認識部
34 メール送信部

Claims (8)

  1. 遠隔地にある情報処理装置と音声回線を介して音声通話を行い、パケット回線を介してデータ通信を行うことによって、音声を文字情報に変換する文字入力装置であって、
    前記文字入力装置は、
    音声を入力する入力手段と、
    前記入力手段によって入力された前記音声を前記音声回線を介して前記情報処理装置に送信する送信手段と、
    前記情報処理装置から前記パケット回線を介して返送されてきた前記音声の認識結果を受信する第1の受信手段と、
    前記認識結果を所定の表示装置に表示させる認識結果表示手段と、
    前記認識結果の修正を指示する修正情報を前記パケット回線を介して前記情報処理装置に送信する修正指示手段と、
    前記修正情報に基づいて修正された修正後の前記認識結果に対して、かな漢字変換の開始を指示する変換指示手段と、
    前記情報処理装置から前記パケット回線を介して返送されてきた前記認識結果に対するかな漢字変換結果を受信する第2の受信手段と、
    前記かな漢字変換結果を前記表示装置に表示させるかな漢字変換結果表示手段と
    を備えることを特徴とする文字入力装置。
  2. 前記修正情報は、前記認識結果に対応する文字列の修正すべき誤った文字の位置を示す情報と、正しい文字を示す情報の組み合わせによって構成される
    ことを特徴とする請求項1に記載の文字入力装置。
  3. 前記音声の認識結果は、前記情報処理装置による音声認識によって得られた前記音声に対応する文字情報である
    ことを特徴とする請求項1または2に記載の文字入力装置。
  4. 前記音声回線による音声通話と、前記パケット回線によるデータ通信とは同時に並行して行われる
    ことを特徴とする請求項1,2または3に記載の文字入力装置。
  5. 所定の文字入力装置が遠隔地にある情報処理装置と音声回線を介して音声通話を行い、パケット回線を介してデータ通信を行うことによって、音声を文字情報に変換する文字入力システムであって、
    前記文字入力装置は、
    音声を入力する入力手段と、
    前記入力手段によって入力された前記音声を前記音声回線を介して前記情報処理装置に送信する送信手段と、
    前記情報処理装置から前記パケット回線を介して返送されてきた前記音声の認識結果を受信する第1の受信手段と、
    前記認識結果を所定の表示装置に表示させる認識結果表示手段と、
    前記認識結果の修正を指示する修正情報を前記パケット回線を介して前記情報処理装置に送信する修正指示手段と、
    前記修正情報に基づいて修正された修正後の前記認識結果に対して、かな漢字変換の開始を指示する変換指示手段と、
    前記情報処理装置から前記パケット回線を介して返送されてきた前記認識結果に対するかな漢字変換結果を受信する第2の受信手段と、
    前記かな漢字変換結果を前記表示装置に表示させるかな漢字変換結果表示手段と
    を備え、
    前記情報処理装置は、
    前記文字入力装置から前記音声回線を介して送信されてきた前記音声を受信する第3の受信手段と、
    前記第3の受信手段によって受信された前記音声を認識する音声認識手段と、
    前記音声認識手段によって認識された認識結果を前記パケット回線を介して前記文字入力装置に返送する第1の返送手段と、
    前記文字入力装置から前記パケット回線を介して送信されてきた前記認識結果の修正を指示する修正情報を受信する第4の受信手段と、
    前記第4の受信手段によって受信された前記修正情報に基づいて前記認識結果を修正する修正手段と、
    前記文字入力装置の前記変換指示手段による指示に応じて、前記修正手段によって修正された前記認識結果をかな漢字変換するかな漢字変換手段と、
    前記かな漢字変換手段によって変換されたかな漢字変換結果を前記文字入力装置に前記パケット回線を介して返送する第2の返送手段と、
    を備える
    ことを特徴とする文字入力システム。
  6. 前記文字入力装置は、前記情報処理装置の前記かな漢字変換手段による前記かな漢字変換結果を所定のアドレスに前記情報処理装置に送信するよう指示する指示手段をさらに備え、
    前記情報処理装置は、前記指示手段によって指示された前記アドレスに前記かな漢字変換結果を送信する変換結果送信手段をさらに備える
    ことを特徴とする請求項5に記載の文字入力システム。
  7. 所定の文字入力装置が遠隔地にある情報処理装置と音声回線を介して音声通話を行い、パケット回線を介してデータ通信を行うことによって、音声を文字情報に変換する文字入力方法であって、
    前記文字入力装置は、
    音声を入力する入力ステップと、
    前記入力ステップにおいて入力された前記音声を前記音声回線を介して前記情報処理装置に送信する第1の送信ステップと、
    前記情報処理装置から前記パケット回線を介して返送されてきた前記音声の認識結果を受信する第1の受信ステップと、
    前記認識結果を所定の表示装置に表示させる認識結果表示ステップと、
    前記認識結果の修正を指示する修正情報を前記パケット回線を介して前記情報処理装置に送信する修正指示ステップと、
    前記修正情報に基づいて修正された修正後の前記認識結果に対して、かな漢字変換の開始を指示する変換指示ステップと、
    前記情報処理装置から前記パケット回線を介して返送されてきた前記認識結果に対するかな漢字変換結果を受信する第2の受信ステップと、
    前記かな漢字変換結果を前記表示装置に表示させるかな漢字変換結果表示ステップと
    を備えることを特徴とする文字入力方法。
  8. 遠隔地にある情報処理装置と音声回線を介して音声通話を行い、パケット回線を介してデータ通信を行うことによって、音声を文字情報に変換する文字入力装置を制御する文字入力制御プログラムであって、
    前記文字入力装置に、
    音声を入力する入力ステップと、
    前記入力ステップにおいて入力された前記音声を前記音声回線を介して前記情報処理装置に送信する第1の送信ステップと、
    前記情報処理装置から前記パケット回線を介して返送されてきた前記音声の認識結果を受信する第1の受信ステップと、
    前記認識結果を所定の表示装置に表示させる認識結果表示ステップと、
    前記認識結果の修正を指示する修正情報を前記パケット回線を介して前記情報処理装置に送信する修正指示ステップと、
    前記修正情報に基づいて修正された修正後の前記認識結果に対して、かな漢字変換の開始を指示する変換指示ステップと、
    前記情報処理装置から前記パケット回線を介して返送されてきた前記認識結果に対するかな漢字変換結果を受信する第2の受信ステップと、
    前記かな漢字変換結果を前記表示装置に表示させるかな漢字変換結果表示ステップとを実行させる
    ことを特徴とする文字入力制御プログラム。
JP2002108949A 2002-04-11 2002-04-11 文字入力装置 Expired - Fee Related JP3982307B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002108949A JP3982307B2 (ja) 2002-04-11 2002-04-11 文字入力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002108949A JP3982307B2 (ja) 2002-04-11 2002-04-11 文字入力装置

Publications (2)

Publication Number Publication Date
JP2003304331A JP2003304331A (ja) 2003-10-24
JP3982307B2 true JP3982307B2 (ja) 2007-09-26

Family

ID=29392547

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002108949A Expired - Fee Related JP3982307B2 (ja) 2002-04-11 2002-04-11 文字入力装置

Country Status (1)

Country Link
JP (1) JP3982307B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4197271B2 (ja) * 2003-06-17 2008-12-17 シャープ株式会社 通信端末、通信端末の制御方法、音声認識処理装置、音声認識処理装置の制御方法、通信端末制御プログラム、通信端末制御プログラムを記録した記録媒体、音声認識処理装置制御プログラム、および、音声認識処理装置制御プログラムを記録した記録媒体

Also Published As

Publication number Publication date
JP2003304331A (ja) 2003-10-24

Similar Documents

Publication Publication Date Title
EP1588353B1 (en) Voice browser dialog enabler for a communication system
US7421390B2 (en) Method and system for voice control of software applications
US6801604B2 (en) Universal IP-based and scalable architectures across conversational applications using web services for speech and audio processing resources
US8344851B2 (en) Method for providing remote mobile device access and control
US20030202504A1 (en) Method of implementing a VXML application into an IP device and an IP device having VXML capability
US20040204068A1 (en) Mobile communication system and method, mobile communication terminal, server apparatus and program
KR100485909B1 (ko) 3자 통화 방식의 자동 통역 시스템 및 방법
US20050049879A1 (en) Communication device capable of interworking between voice communications and text communications
JPH1117796A (ja) 音声認識電話装置
JP2004356896A (ja) 自動応答装置およびそれを用いた自動応答システム、テレフォンバンキングシステム
JPH08163252A (ja) Pbx−コンピュータ連動システム
JP2002057693A (ja) メッセージ交換システムおよび記録媒体
JP3982307B2 (ja) 文字入力装置
US7831656B2 (en) Effortless association between services in a communication system and methods thereof
KR100370973B1 (ko) 통화중 음성에 배경음악을 합성해서 전송하는 방법 및 그장치
JP4569655B2 (ja) 情報通信端末
JP6805663B2 (ja) 通信装置、通信システム、通信方法及びプログラム
JP2004032275A (ja) 文字情報作成システムおよび文字情報作成装置
JP2000184069A (ja) 電話スケジュール管理システム
JP2005038067A (ja) 音声入力機能を備えたフォームを提供する電子フォームシステム
JPH11161567A (ja) 情報処理装置及び方法及びシステム
JP2015231083A (ja) 音声合成通話システム、通信端末および音声合成通話方法
JP3975343B2 (ja) 電話番号登録システム、電話機、および電話番号登録方法
JP2004080396A (ja) 情報伝達システム
JP5174395B2 (ja) ネットワークシステム、変換装置及び端末装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050318

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070612

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070625

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100713

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110713

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110713

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120713

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120713

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130713

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees