JP3877975B2 - キーボードレス入力装置とその方法及びこの方法の実行プログラムとその記録媒体 - Google Patents
キーボードレス入力装置とその方法及びこの方法の実行プログラムとその記録媒体 Download PDFInfo
- Publication number
- JP3877975B2 JP3877975B2 JP2001131117A JP2001131117A JP3877975B2 JP 3877975 B2 JP3877975 B2 JP 3877975B2 JP 2001131117 A JP2001131117 A JP 2001131117A JP 2001131117 A JP2001131117 A JP 2001131117A JP 3877975 B2 JP3877975 B2 JP 3877975B2
- Authority
- JP
- Japan
- Prior art keywords
- input
- interface
- user
- keyboardless
- auxiliary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Input From Keyboards Or The Like (AREA)
- Digital Computer Display Output (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、音声入力において誤認識を減少させ、的確な数字、文字及び単語等を入力するための補助インタフェースを具備し、かつ適切な補助インタフェースの設定や提示が容易に可能であり、また音声入力だけでなくタッチパネル方式の入力等も包含したキーボードレス入力インタフェース技術に関するものである。
【０００２】
【従来の技術】
従来のコンピュータや生産機械におけるデータ入力インタフェースの大多数はキーボードあるいはマウスを用いた入力を前提としたものである。しかし、これら入力手法はキーボード等の物理インタフェースに習熟する必要がある。また、屋外等において両手で行わなければならない作業では、作業遂行中にキーボード入力を行うことは極めて困難である。さらに、屋外作業では手袋を着用することも多く、そのような状態でキーボードを扱うことは容易ではない。このように、キーボードによるデータ入力は習熟が必要であり、作業遂行中のデータ入力に向かないといった欠点を有していた。
【０００３】
ところで、産業界における機器保守等のオフィス外作業では、キーボードレスで端末を操作し、電子マニュアル閲覧や作業記録収集等の作業（オペレーション）を実行可能なシステムが強く要求されている。キーボードレス操作を実現する有力な入力手段としては音声入力がある。音声入力は、キーボード入力と比較するとデバイスヘの習熟の必要性は低いという利点がある。
【０００４】
音声による入力方法とキーボード等による入力方法と比較すると、音声による入力は練習の必要が無い簡易な手法である。従来の音声を用いた入力方法としては、ディクテーションと呼ばれる、ユーザが発声した音声をそのままテキスト化する手法が一般的である。
【０００５】
【発明が解決しようとする課題】
しかしながら、ユーザが発声した音声をそのままテキスト化するディクテーションでは、誤認識による入力ミスも多い。さらに、入力後のデータの修正、変更を音声を使って行うのは非常に困難であり、ユーザにとって大きな負担となっていた。故に、音声を入力手段とする場合には誤認識をなくし、的確にデータ入力可能とする工夫が必要となる。
【０００６】
また、ディクテーションにおいて数字入力や英字入力を切り替える場合、一般的にモード切り替え操作をユーザが行う必要がある。例えば、数字を入力する場合には、「数字モード」と発声してモードを切り替えて音声入力する方法が一般的である。しかし、この方法だと上記の例の「数字モード」という単語のように、ユーザがモード切り替えのための特別な単語を覚える必要がある。そこで、ユーザがデータ入力を行う場合には、モードを意識しなくても入力可能な機能が必要となる。
【０００７】
以上のとおり、従来の技術では、キーボードによるデータ入力は習熟が必要であり、ハンズフリー作業に適したものではないという欠点があった。また、ディクテーションによる音声入力技術では誤認識が多い、入力内容の変更が容易ではない、入力モード切り替えが煩雑である、という欠点があった。
【０００８】
本発明はこれらの問題点を解決し、キーボードレス入力、例えば音声入力やタッチパネル入力において容易にデータ入力可能であり、かつ音声入力において問題となる誤認識を減少させる仕組みを具備し、さらに入力項目のデータ形式に応じた補助インタフェースを提示するキーボードレス入力インタフェースを提供することにある。
【０００９】
【課題を解決するための手段】
上記の課題を解決するため本発明によるキーボードレス入力装置では、インタフェース情報が記述されたインタフェース情報ファイルを読み込む読み込み手段と、ユーザから入力項目の指定が入力可能な基本インタフェースをユーザに提示する基本インタフェース手段と、該読み込んだインタフェース情報ファイルのインタフェース情報に従って該ユーザが指定した入力項目のデータ形式に対応した入力用の補助インタフェースを該ユーザに提示しデータ入力を可能とする補助インタフェース手段と、
該基本インタフェース及び該補助インタフェースに対してキーボードレス入力を行う入力手段とを備えることを特徴とするキーボードレス入力装置で、インタフェース情報ファイルは、入力項目の入力方法として少なくとも選択入力、英数字入力、及び数値入力の１以上を記述したものであり、補助インタフェース手段は、補助インタフェースとして、少なくとも該入力に対応した選択入力用インタフェース、英数字入力用インタフェース、及び数値入力用インタフェースのいずれかをユーザが指定した入力項目のデータ形式に対応して提示するものであって、該英数字入力用インタフェース又は該数値入力インタフェースは、音声認識による誤認識を減少させるように特別なキャプションの書かれたボタンを入力可能に配置した構成であることを特徴とする。
【００１０】
また、本発明によるキーボードレス入力方法は、インタフェース情報が記述されたインタフェース情報ファイルを読み込む第1の手順と、ユーザから入力項目の指定が入力可能な基本インタフェースをユーザに提示する第2の手順と、該基本インタフェースに対して音声入力を行う第3の手順と、該読み込んだインタフェース情報ファイルのインタフェース情報に従って該ユーザが指定した入力項目のデータ形式に対応した入力用の補助インタフェースを該ユーザに提示しデータ入力を可能とする第4の手順と、該補助インタフェースに対して音声入力を行う第5の手順を備えることを特徴とするキーボードレス入力方法で、インタフェース情報ファイルは、入力項目の入力方法として少なくとも選択入力、英数字入力、及び数値入力の１以上を記述され、第4の手順では、補助インタフェースとして、少なくとも該入力に対応した選択入力用インタフェース、英数字入力用インタフェース、及び数値入力用インタフェースのいずれかをユーザが指定した入力項目のデータ形式に対応して提示するものであって、音声認識による誤認識を減少させるように特別なキャプションの書かれたボタンを入力可能に配置した該英数字入力用インタフェース又は該数値入力用インタフェースを提示することを特徴とする。
【００２３】
あるいは、上記のキーボードレス入力方法における手順をコンピュータに実行させるためのプログラムとしたことを特徴とする。
【００２４】
さらには、上記のキーボードレス入力方法の実行プログラムを、コンピュータが読み取り可能な記録媒体に記録したことを特徴とする。
【００２５】
音声入力は、キーボード入力と比較するとデバイスヘの習熟の必要性は低い反面、発声による疲労度が高いために、反復入力の回数を少なくするなど、キーボード入力を想定したインタフェースとは別の工夫が必要となる。特に以下の機能が必須と考えられる。
・数値やアルファベットの入力に関しては誤認識を低減させる入力手段又は入力手順
・入力データをできるだけ少ないコマンドで設定するための入力手段又は入力手順
そこで本発明では、ユーザがデータ入力を行う際に、キーボードレス用の補助インタフェースを提示して音声入力やタッチパネル入力等のキーボードレス入力を行えるようにした。また、インタフェースの開発者が容易に設計可能なようにした。例えば、入力データが数字、英数字、あるいはリスト候補から選択する形式のいずれかであるとする。開発者がそれらの入力方法をインタフェース情報ファイルに記述すれば、システムがインタフェース情報ファイルを読み込み、その記述された入力方法に即して音声入力時の誤認識によるデータ入力誤りを低減可能な補助インタフェースをユーザに提示する。例えば、補助インタフェース上に選択候補を表示したり誤認識を低減させる英数字等を表すキャプションが書かれたボタンを表示したりして、これらを読み上げたり、タッチしたりすることでデータ入力を可能とする。また、読み上げたり、タッチしたりすることで選択候補間を移動可能とする。同様に、入力項目や入力データの設定もインタフェース画面に表示されたボタンの読み上げ入力やタッチ入力によって、特に入力モードやコマンドを表す単語等を覚える必要なしに容易に可能とする。
【００２６】
以上により本発明は、キーボードレスによるデータ入力手段として、音声入力やタッチパネル入力のための補助インタフェースを提供するとともに、入力するデータ形式に応じた補助インタフェースを容易に設定可能とし、音声入力時等の誤認識によるデータ入力誤りを低減可能として、キーボードレス入力手段の的確なデータ投入の困難さという課題を克服する。
【００２７】
従来技術とは、キーボードレスな入力手法であり、補助インタフェースを提示することで音声によるデータ入力時の誤認識を低減させ、簡易なデータ入力手段を実現するという点が異なる。
【００２８】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００２９】
図１に本発明による一実施形態例の基本的な構成を示す。図１における構成部分は、本発明を構成する手段の一部もしくは全部を構成する。
【００３０】
図１において、インタフェース情報ファイル１には各入力項目と、その入力項目のデータ種別が書かれている。具体的には、インタフェース情報ファイル１は拡張性が高く、容易に編集可能であるＸＭＬ形式で記述してある。図２にその記述例を示す。
【００３１】
図２に示したインタフェース情報ファイル１の各要素について以下に示す。
・＜Ｄｉａｌｏｇ＞要素
基本インタフェースを示す。Ｎａｍｅ属性は表示される基本インタフェースのタイトルバーに表示される名前を示す。この要素に他の属性を付加すれば、例えば基本インタフェースの大きさや項目を並べる方向等も変更可能である。
・＜Ｉｔｅｍ＞要素
基本インタフェース上に表示される項目を示す。
・＜ＩｎｐｕｔＭｅｔｈｏｄ＞要素
項目に応じた入力データ形式を示す。この要素の内容から表示されるキーボードレス入力用の補助インタフェースが決定される。要素の内容としてはＳｅｌｅｃｔｉｏｎ，Ａｌｐｈａｂｅｔ，Ｎｕｍｂｅｒがあり、図３、図４、図５に対応する。
・＜ＩｎｐｕｔＥｌｅｍｅｎｔ＞要素
＜ＩｎｐｕｔＭｅｔｈｏｄ＞がＳｅｌｅｃｔｉｏｎの場合の選択候補を示す。
・＜ＩｎｐｕｔＲｅｓｕｌｔ＞要素
ユーザにより入力されたデータを示す。
【００３２】
図１において、ファイル読込部２は上記インタフェース情報ファイル１を取得する。この取得したインタフェース情報ファイル１をデータ解析部３で解析し、インタフェース表示部４で基本インタフェースを表示する。
【００３３】
図３にインタフェース表示部４で表示される基本インタフェースの画面例を示す。現在の一般的な市販音声認識ソフトはＧＵＩのボタン、あるいはリストボックス等のキャプション等を読み取り、認識対象とする。それゆえ、「項目名＊」と書かれている部分はボタンになっており、音声認識ソフトにより認識可能としている。
【００３４】
ユーザが「項目名＊」ボタンを音声で指定するユーザ操作を行うと、補助インタフェース表示部５はインタフェース情報ファイル１に記載された入力方法（＜ＩｎｐｕｔＭｅｔｈｏｄ＞要素の内容）を参照し、キーボードレス入力用の補助インタフェースを表示する。
【００３５】
補助インタフェースには、
・入力候補が固定的な選択入力用インタフェース（＜ＩｎｐｕｔＭｅｔｈｏｄ＞要素がＳｅｌｅｃｔｉｏｎの場合）
・英数字入力用インタフェース（＜ＩｎｐｕｔＭｅｔｈｏｄ＞要素がＡｌｐｈａｂｅｔの場合）
・数値入力用インタフェース（＜ＩｎｐｕｔＭｅｔｈｏｄ＞要素がＮｕｍｂｅｒの場合）の３種類がある。
【００３６】
図４にデータ入力候補が決まっている場合の、選択入力用インタフェースの画面例を示す。テキストボックス内の選択候補を直接読み上げるユーザ操作を行うことで候補選択可能である。また、誤認識で直接読み上げによる選択が困難であったり、選択候補が長い文章であったりする場合を考慮して、選択候補間を移動するためのボタンも右側に用意した。このボタンキャプションは少ない回数の音声操作で候補選択可能となるように決定した。
【００３７】
また、図５に英数字入力用インタフェースの画面例を、図６に数値入力用インタフェースの画面例を示す。各補助インタフェースとも音声入力を考慮しており、ボタンキャプションに認識対象となる文字列が表記されている。図５、図６の例では、数値を単独で音声認識することは困難であり誤認識する割合が高いことから、音声認識ソフトで設定されている数値の読み方をキャプションとするボタン群を配置した。また、アルファベットの単独入力も誤認識する割合が高い。そこで、図５では、アルファベットの入力用にフォネティックコードをキャプションとするボタン群を配置した。図５、図６に示すように、数字、英数字を入力するためのフォネティックコード等は、ボタンキャプションという形でユーザに提示される。このため、ユーザがこれらを暗記する必要は無く、画面を見て簡易にデータ入力可能である。
【００３８】
以上のように、これら補助インタフェースには音声入力において誤認識を低減するキャプションがつけられたボタンが配置されており、音声入力によるユーザ操作時に特別な単語を暗記する必要も無い。これらは他のキーボードレス入力手法であるタッチパネル方式の入力においても利用でき、ボタンに触れることでデータ入力可能である。入力データ格納部６では、ユーザが補助インタフェースを用いて入力したデータをインタフェース情報ファイル１の＜ＩｎｐｕｔＲｅｓｕｌｔ＞要素の中身として格納する。
【００３９】
図７に、本発明による一実施形態例の具体的な構成を示す。図１における構成部分は、本発明を構成する手段の一部もしくは全部を構成するものである。
【００４０】
図７による構成と図１による構成を比較すると、アプリケーション２がファイル読込部２の機能を、ＸＭＬパーサ３がデータ解析部３の機能を、インタフェース制御部４が基本インタフェースを表示するインタフェース表示部４の機能を、それぞれ有する。また、補助インタフェース表示部５、入力データ格納部６は同様のものである。
【００４１】
図７において、補助インタフェース表示部５は、選択入力用インタフェースを表示する選択入力用インタフェース部５ａ、数値入力用インタフェースを表示する数値入力用インタフェース部５ｂ、及び英数字入力用インタフェースを表示する英数字入力用インタフェース部５ｃを有する。これらの選択入力用インタフェース、数値入力用インタフェース、及び英数字入力用インタフェースは、インタフェース制御部４からの基本インタフェースと同様に出力制御部１１によりドライバ１２を介してモニタ１６に表示される。
【００４２】
また、音声入力は、マイク１４で音声信号に変換されドライバ７を介して入力されて音声認識エンジン８で文字データとして認識される。認識された文字データは入力制御部１０によりインタフェース制御部４の基本インタフェースや補助インタフェース表示部５の各入力用インタフェースを制御できるようになっている。入力制御１０には、ドライバ９を介してタッチパネルや補助的なマウス、キーボード等の他の入力機器１５も接続されており、これらからも同様に上記の各インタフェースを制御できるようになっている。
【００４３】
以上の１〜１２の構成部分は、パーソナルコンピュータ（ＰＣ）１３等のコンピュータにより構成することができる。
【００４４】
図８に、上記実施形態例での処理フローを示す。
【００４５】
まず、アプリケーション２でインタフェース情報ファイル（ＸＭＬファイル）１を読み込んでＸＭＬパーサ３で解析し、インタフェース制御部４によりモニタ１６に基本インタフェースを表示する。
【００４６】
次に、マイク１４を通して入力されたユーザの音声入力により、基本インタフェースにおいて入力項目ボタンの選択があった場合において、インタフェース情報ファイルにおける選択項目の＜ＩｎｐｕｔＭｅｔｈｏｄ＞の内容がＳｅｌｅｃｔｉｏｎであれば、選択入力用インタフェース部５ａにより選択入力用インタフェースをモニタ１６に表示する。同様に、その内容がＮｕｍｂｅｒであれば、数値入力用インタフェース部５ｂにより数値入力用インタフェースを表示し、Ａｌｐｈａｂｅｔであれば、英数字入力用インタフェース部５ｃにより英数字入力用インタフェースを表示する。
【００４７】
次に、モニタ１６に表示されている入力用インタフェースにおいて、表示された選択候補ボタンに対する発声入力等があった場合には、その選択候補に対応するデータの入力結果を表示し、続いて入力終了（確定）のコマンドボタンが同様に入力されれば前記の入力を確定して補助インタフェースを終了し、基本インタフェースにその入力結果を反映する。
【００４８】
次に、基本インタフェースにおいて入力終了のコマンドボタンの指示入力がなされた場合には、入力データ格納部６により、＜ＩｎｐｕｔＲｅｓｕｌｔ＞に入力結果反映し、別名で保存して処理を終了する。
【００４９】
図９に、上記実施形態例によるモニタ１６の画面の遷移例を示す。
【００５０】
まず、インタフェース情報ファイル（ＸＭＬファイル）が取得されると、このファイルに従って基本インタフェースが表示される。
【００５１】
続いて、この基本インタフェース上の「項目名２」のボタンを音声入力等により押すと、＜Ｉｔｅｍ Ｎａｍｅ＝“項目名２”＞の下の＜ＩｎｐｕｔＭｅｔｈｏｄ＞の内容がＮｕｍｂｅｒであることから、数値入力用インタフェースが表示される。ユーザは「数字の…」ボタンを音声入力等により押して数値入力を行い、「入力終了」ボタンを音声入力等により押して、入力値を確定する。
【００５２】
続いて、数値入力用インタフェースが消えて、基本インタフェース上の「項目名２」のテキストエリアに数値入力用インタフェースで入力した数値が反映される。この基本インタフェースで「ＯＫ」ボタンを音声入力等により押すとＸＭＬファイルの＜Ｉｔｅｍ Ｎａｍｅ＝“項目名２”＞の下の＜ＩｎｐｕｔＲｅｓｕｌｔ＞に入力値が反映される。
【００５３】
以上の実施形態例においては、選択候補、アルファベット、及び数値の入力について説明したが、平仮名や片仮名、あるいは記号等の種々の文字についても同様に入力可能であることは言うまでもない。
【００５４】
なお、図１や図７で示したキーボードレス装置における各部の一部もしくは全部での機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図８で示した処理の手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フロッピーディスク（登録商標））や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能である。また、本発明による上記のプログラムはインターネットや電子メール等によりネットワークを通して配布することが可能である。
【００５５】
【発明の効果】
以上説明したように、本発明によれば、ハンズフリー操作を必須とする作業者に誤認識が少ない音声入力用の補助インタフェースを提示することで、音声による容易なデータ入力を実現できる。これらは、またタッチパネル方式等の他のキーボードレス入力方式としても使用可能である。また、開発側から見ると、インタフェース情報をファイルに記述することにより、様々な入力データ形式に応じた補助インタフェースを提示可能であることから、容易にキーボードレス入力インタフェースを構築可能であるという利点がある。
【図面の簡単な説明】
【図１】本発明による一実施形態例の基本的な構成を示す図である。
【図２】本発明のインタフェース情報ファイルの記述例を示す図である。
【図３】本発明のデータ入力のための基本インタフェースの画面例を示す図である。
【図４】本発明の選択入力のための補助インタフェースの画面例を示す図である。
【図５】本発明の英数字入力のための補助インタフェースの画面例を示す図である。
【図６】本発明の数字入力のための補助インタフェースの画面例を示す図である。
【図７】本発明による一実施形態例の具体的な構成を示す図である。
【図８】図７の構成の実施形態例での処理フローを示す図である。
【図９】本発明の実施形態例における画面遷移例を示す図である。
【符号の説明】
１…インタフェース情報ファイル
２…ファイル読込部、アプリケーション
３…データ解析部、ＸＭＬパーサ
４…インタフェース表示部、インタフェース制御部
５…補助インタフェース表示部
５ａ…選択入力用インタフェース部
５ｂ…数値入力用インタフェース部
５ｃ…英数字入力用インタフェース部
６…入力データ格納部
７，９，１２…ドライバ
８…音声認識エンジン
１０…入力制御部
１１…出力制御部
１３…パーソナルコンピュータ
１４…マイク
１５…他の入力機器
１６…モニタ
【発明の属する技術分野】
本発明は、音声入力において誤認識を減少させ、的確な数字、文字及び単語等を入力するための補助インタフェースを具備し、かつ適切な補助インタフェースの設定や提示が容易に可能であり、また音声入力だけでなくタッチパネル方式の入力等も包含したキーボードレス入力インタフェース技術に関するものである。
【０００２】
【従来の技術】
従来のコンピュータや生産機械におけるデータ入力インタフェースの大多数はキーボードあるいはマウスを用いた入力を前提としたものである。しかし、これら入力手法はキーボード等の物理インタフェースに習熟する必要がある。また、屋外等において両手で行わなければならない作業では、作業遂行中にキーボード入力を行うことは極めて困難である。さらに、屋外作業では手袋を着用することも多く、そのような状態でキーボードを扱うことは容易ではない。このように、キーボードによるデータ入力は習熟が必要であり、作業遂行中のデータ入力に向かないといった欠点を有していた。
【０００３】
ところで、産業界における機器保守等のオフィス外作業では、キーボードレスで端末を操作し、電子マニュアル閲覧や作業記録収集等の作業（オペレーション）を実行可能なシステムが強く要求されている。キーボードレス操作を実現する有力な入力手段としては音声入力がある。音声入力は、キーボード入力と比較するとデバイスヘの習熟の必要性は低いという利点がある。
【０００４】
音声による入力方法とキーボード等による入力方法と比較すると、音声による入力は練習の必要が無い簡易な手法である。従来の音声を用いた入力方法としては、ディクテーションと呼ばれる、ユーザが発声した音声をそのままテキスト化する手法が一般的である。
【０００５】
【発明が解決しようとする課題】
しかしながら、ユーザが発声した音声をそのままテキスト化するディクテーションでは、誤認識による入力ミスも多い。さらに、入力後のデータの修正、変更を音声を使って行うのは非常に困難であり、ユーザにとって大きな負担となっていた。故に、音声を入力手段とする場合には誤認識をなくし、的確にデータ入力可能とする工夫が必要となる。
【０００６】
また、ディクテーションにおいて数字入力や英字入力を切り替える場合、一般的にモード切り替え操作をユーザが行う必要がある。例えば、数字を入力する場合には、「数字モード」と発声してモードを切り替えて音声入力する方法が一般的である。しかし、この方法だと上記の例の「数字モード」という単語のように、ユーザがモード切り替えのための特別な単語を覚える必要がある。そこで、ユーザがデータ入力を行う場合には、モードを意識しなくても入力可能な機能が必要となる。
【０００７】
以上のとおり、従来の技術では、キーボードによるデータ入力は習熟が必要であり、ハンズフリー作業に適したものではないという欠点があった。また、ディクテーションによる音声入力技術では誤認識が多い、入力内容の変更が容易ではない、入力モード切り替えが煩雑である、という欠点があった。
【０００８】
本発明はこれらの問題点を解決し、キーボードレス入力、例えば音声入力やタッチパネル入力において容易にデータ入力可能であり、かつ音声入力において問題となる誤認識を減少させる仕組みを具備し、さらに入力項目のデータ形式に応じた補助インタフェースを提示するキーボードレス入力インタフェースを提供することにある。
【０００９】
【課題を解決するための手段】
上記の課題を解決するため本発明によるキーボードレス入力装置では、インタフェース情報が記述されたインタフェース情報ファイルを読み込む読み込み手段と、ユーザから入力項目の指定が入力可能な基本インタフェースをユーザに提示する基本インタフェース手段と、該読み込んだインタフェース情報ファイルのインタフェース情報に従って該ユーザが指定した入力項目のデータ形式に対応した入力用の補助インタフェースを該ユーザに提示しデータ入力を可能とする補助インタフェース手段と、
該基本インタフェース及び該補助インタフェースに対してキーボードレス入力を行う入力手段とを備えることを特徴とするキーボードレス入力装置で、インタフェース情報ファイルは、入力項目の入力方法として少なくとも選択入力、英数字入力、及び数値入力の１以上を記述したものであり、補助インタフェース手段は、補助インタフェースとして、少なくとも該入力に対応した選択入力用インタフェース、英数字入力用インタフェース、及び数値入力用インタフェースのいずれかをユーザが指定した入力項目のデータ形式に対応して提示するものであって、該英数字入力用インタフェース又は該数値入力インタフェースは、音声認識による誤認識を減少させるように特別なキャプションの書かれたボタンを入力可能に配置した構成であることを特徴とする。
【００１０】
また、本発明によるキーボードレス入力方法は、インタフェース情報が記述されたインタフェース情報ファイルを読み込む第1の手順と、ユーザから入力項目の指定が入力可能な基本インタフェースをユーザに提示する第2の手順と、該基本インタフェースに対して音声入力を行う第3の手順と、該読み込んだインタフェース情報ファイルのインタフェース情報に従って該ユーザが指定した入力項目のデータ形式に対応した入力用の補助インタフェースを該ユーザに提示しデータ入力を可能とする第4の手順と、該補助インタフェースに対して音声入力を行う第5の手順を備えることを特徴とするキーボードレス入力方法で、インタフェース情報ファイルは、入力項目の入力方法として少なくとも選択入力、英数字入力、及び数値入力の１以上を記述され、第4の手順では、補助インタフェースとして、少なくとも該入力に対応した選択入力用インタフェース、英数字入力用インタフェース、及び数値入力用インタフェースのいずれかをユーザが指定した入力項目のデータ形式に対応して提示するものであって、音声認識による誤認識を減少させるように特別なキャプションの書かれたボタンを入力可能に配置した該英数字入力用インタフェース又は該数値入力用インタフェースを提示することを特徴とする。
【００２３】
あるいは、上記のキーボードレス入力方法における手順をコンピュータに実行させるためのプログラムとしたことを特徴とする。
【００２４】
さらには、上記のキーボードレス入力方法の実行プログラムを、コンピュータが読み取り可能な記録媒体に記録したことを特徴とする。
【００２５】
音声入力は、キーボード入力と比較するとデバイスヘの習熟の必要性は低い反面、発声による疲労度が高いために、反復入力の回数を少なくするなど、キーボード入力を想定したインタフェースとは別の工夫が必要となる。特に以下の機能が必須と考えられる。
・数値やアルファベットの入力に関しては誤認識を低減させる入力手段又は入力手順
・入力データをできるだけ少ないコマンドで設定するための入力手段又は入力手順
そこで本発明では、ユーザがデータ入力を行う際に、キーボードレス用の補助インタフェースを提示して音声入力やタッチパネル入力等のキーボードレス入力を行えるようにした。また、インタフェースの開発者が容易に設計可能なようにした。例えば、入力データが数字、英数字、あるいはリスト候補から選択する形式のいずれかであるとする。開発者がそれらの入力方法をインタフェース情報ファイルに記述すれば、システムがインタフェース情報ファイルを読み込み、その記述された入力方法に即して音声入力時の誤認識によるデータ入力誤りを低減可能な補助インタフェースをユーザに提示する。例えば、補助インタフェース上に選択候補を表示したり誤認識を低減させる英数字等を表すキャプションが書かれたボタンを表示したりして、これらを読み上げたり、タッチしたりすることでデータ入力を可能とする。また、読み上げたり、タッチしたりすることで選択候補間を移動可能とする。同様に、入力項目や入力データの設定もインタフェース画面に表示されたボタンの読み上げ入力やタッチ入力によって、特に入力モードやコマンドを表す単語等を覚える必要なしに容易に可能とする。
【００２６】
以上により本発明は、キーボードレスによるデータ入力手段として、音声入力やタッチパネル入力のための補助インタフェースを提供するとともに、入力するデータ形式に応じた補助インタフェースを容易に設定可能とし、音声入力時等の誤認識によるデータ入力誤りを低減可能として、キーボードレス入力手段の的確なデータ投入の困難さという課題を克服する。
【００２７】
従来技術とは、キーボードレスな入力手法であり、補助インタフェースを提示することで音声によるデータ入力時の誤認識を低減させ、簡易なデータ入力手段を実現するという点が異なる。
【００２８】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００２９】
図１に本発明による一実施形態例の基本的な構成を示す。図１における構成部分は、本発明を構成する手段の一部もしくは全部を構成する。
【００３０】
図１において、インタフェース情報ファイル１には各入力項目と、その入力項目のデータ種別が書かれている。具体的には、インタフェース情報ファイル１は拡張性が高く、容易に編集可能であるＸＭＬ形式で記述してある。図２にその記述例を示す。
【００３１】
図２に示したインタフェース情報ファイル１の各要素について以下に示す。
・＜Ｄｉａｌｏｇ＞要素
基本インタフェースを示す。Ｎａｍｅ属性は表示される基本インタフェースのタイトルバーに表示される名前を示す。この要素に他の属性を付加すれば、例えば基本インタフェースの大きさや項目を並べる方向等も変更可能である。
・＜Ｉｔｅｍ＞要素
基本インタフェース上に表示される項目を示す。
・＜ＩｎｐｕｔＭｅｔｈｏｄ＞要素
項目に応じた入力データ形式を示す。この要素の内容から表示されるキーボードレス入力用の補助インタフェースが決定される。要素の内容としてはＳｅｌｅｃｔｉｏｎ，Ａｌｐｈａｂｅｔ，Ｎｕｍｂｅｒがあり、図３、図４、図５に対応する。
・＜ＩｎｐｕｔＥｌｅｍｅｎｔ＞要素
＜ＩｎｐｕｔＭｅｔｈｏｄ＞がＳｅｌｅｃｔｉｏｎの場合の選択候補を示す。
・＜ＩｎｐｕｔＲｅｓｕｌｔ＞要素
ユーザにより入力されたデータを示す。
【００３２】
図１において、ファイル読込部２は上記インタフェース情報ファイル１を取得する。この取得したインタフェース情報ファイル１をデータ解析部３で解析し、インタフェース表示部４で基本インタフェースを表示する。
【００３３】
図３にインタフェース表示部４で表示される基本インタフェースの画面例を示す。現在の一般的な市販音声認識ソフトはＧＵＩのボタン、あるいはリストボックス等のキャプション等を読み取り、認識対象とする。それゆえ、「項目名＊」と書かれている部分はボタンになっており、音声認識ソフトにより認識可能としている。
【００３４】
ユーザが「項目名＊」ボタンを音声で指定するユーザ操作を行うと、補助インタフェース表示部５はインタフェース情報ファイル１に記載された入力方法（＜ＩｎｐｕｔＭｅｔｈｏｄ＞要素の内容）を参照し、キーボードレス入力用の補助インタフェースを表示する。
【００３５】
補助インタフェースには、
・入力候補が固定的な選択入力用インタフェース（＜ＩｎｐｕｔＭｅｔｈｏｄ＞要素がＳｅｌｅｃｔｉｏｎの場合）
・英数字入力用インタフェース（＜ＩｎｐｕｔＭｅｔｈｏｄ＞要素がＡｌｐｈａｂｅｔの場合）
・数値入力用インタフェース（＜ＩｎｐｕｔＭｅｔｈｏｄ＞要素がＮｕｍｂｅｒの場合）の３種類がある。
【００３６】
図４にデータ入力候補が決まっている場合の、選択入力用インタフェースの画面例を示す。テキストボックス内の選択候補を直接読み上げるユーザ操作を行うことで候補選択可能である。また、誤認識で直接読み上げによる選択が困難であったり、選択候補が長い文章であったりする場合を考慮して、選択候補間を移動するためのボタンも右側に用意した。このボタンキャプションは少ない回数の音声操作で候補選択可能となるように決定した。
【００３７】
また、図５に英数字入力用インタフェースの画面例を、図６に数値入力用インタフェースの画面例を示す。各補助インタフェースとも音声入力を考慮しており、ボタンキャプションに認識対象となる文字列が表記されている。図５、図６の例では、数値を単独で音声認識することは困難であり誤認識する割合が高いことから、音声認識ソフトで設定されている数値の読み方をキャプションとするボタン群を配置した。また、アルファベットの単独入力も誤認識する割合が高い。そこで、図５では、アルファベットの入力用にフォネティックコードをキャプションとするボタン群を配置した。図５、図６に示すように、数字、英数字を入力するためのフォネティックコード等は、ボタンキャプションという形でユーザに提示される。このため、ユーザがこれらを暗記する必要は無く、画面を見て簡易にデータ入力可能である。
【００３８】
以上のように、これら補助インタフェースには音声入力において誤認識を低減するキャプションがつけられたボタンが配置されており、音声入力によるユーザ操作時に特別な単語を暗記する必要も無い。これらは他のキーボードレス入力手法であるタッチパネル方式の入力においても利用でき、ボタンに触れることでデータ入力可能である。入力データ格納部６では、ユーザが補助インタフェースを用いて入力したデータをインタフェース情報ファイル１の＜ＩｎｐｕｔＲｅｓｕｌｔ＞要素の中身として格納する。
【００３９】
図７に、本発明による一実施形態例の具体的な構成を示す。図１における構成部分は、本発明を構成する手段の一部もしくは全部を構成するものである。
【００４０】
図７による構成と図１による構成を比較すると、アプリケーション２がファイル読込部２の機能を、ＸＭＬパーサ３がデータ解析部３の機能を、インタフェース制御部４が基本インタフェースを表示するインタフェース表示部４の機能を、それぞれ有する。また、補助インタフェース表示部５、入力データ格納部６は同様のものである。
【００４１】
図７において、補助インタフェース表示部５は、選択入力用インタフェースを表示する選択入力用インタフェース部５ａ、数値入力用インタフェースを表示する数値入力用インタフェース部５ｂ、及び英数字入力用インタフェースを表示する英数字入力用インタフェース部５ｃを有する。これらの選択入力用インタフェース、数値入力用インタフェース、及び英数字入力用インタフェースは、インタフェース制御部４からの基本インタフェースと同様に出力制御部１１によりドライバ１２を介してモニタ１６に表示される。
【００４２】
また、音声入力は、マイク１４で音声信号に変換されドライバ７を介して入力されて音声認識エンジン８で文字データとして認識される。認識された文字データは入力制御部１０によりインタフェース制御部４の基本インタフェースや補助インタフェース表示部５の各入力用インタフェースを制御できるようになっている。入力制御１０には、ドライバ９を介してタッチパネルや補助的なマウス、キーボード等の他の入力機器１５も接続されており、これらからも同様に上記の各インタフェースを制御できるようになっている。
【００４３】
以上の１〜１２の構成部分は、パーソナルコンピュータ（ＰＣ）１３等のコンピュータにより構成することができる。
【００４４】
図８に、上記実施形態例での処理フローを示す。
【００４５】
まず、アプリケーション２でインタフェース情報ファイル（ＸＭＬファイル）１を読み込んでＸＭＬパーサ３で解析し、インタフェース制御部４によりモニタ１６に基本インタフェースを表示する。
【００４６】
次に、マイク１４を通して入力されたユーザの音声入力により、基本インタフェースにおいて入力項目ボタンの選択があった場合において、インタフェース情報ファイルにおける選択項目の＜ＩｎｐｕｔＭｅｔｈｏｄ＞の内容がＳｅｌｅｃｔｉｏｎであれば、選択入力用インタフェース部５ａにより選択入力用インタフェースをモニタ１６に表示する。同様に、その内容がＮｕｍｂｅｒであれば、数値入力用インタフェース部５ｂにより数値入力用インタフェースを表示し、Ａｌｐｈａｂｅｔであれば、英数字入力用インタフェース部５ｃにより英数字入力用インタフェースを表示する。
【００４７】
次に、モニタ１６に表示されている入力用インタフェースにおいて、表示された選択候補ボタンに対する発声入力等があった場合には、その選択候補に対応するデータの入力結果を表示し、続いて入力終了（確定）のコマンドボタンが同様に入力されれば前記の入力を確定して補助インタフェースを終了し、基本インタフェースにその入力結果を反映する。
【００４８】
次に、基本インタフェースにおいて入力終了のコマンドボタンの指示入力がなされた場合には、入力データ格納部６により、＜ＩｎｐｕｔＲｅｓｕｌｔ＞に入力結果反映し、別名で保存して処理を終了する。
【００４９】
図９に、上記実施形態例によるモニタ１６の画面の遷移例を示す。
【００５０】
まず、インタフェース情報ファイル（ＸＭＬファイル）が取得されると、このファイルに従って基本インタフェースが表示される。
【００５１】
続いて、この基本インタフェース上の「項目名２」のボタンを音声入力等により押すと、＜Ｉｔｅｍ Ｎａｍｅ＝“項目名２”＞の下の＜ＩｎｐｕｔＭｅｔｈｏｄ＞の内容がＮｕｍｂｅｒであることから、数値入力用インタフェースが表示される。ユーザは「数字の…」ボタンを音声入力等により押して数値入力を行い、「入力終了」ボタンを音声入力等により押して、入力値を確定する。
【００５２】
続いて、数値入力用インタフェースが消えて、基本インタフェース上の「項目名２」のテキストエリアに数値入力用インタフェースで入力した数値が反映される。この基本インタフェースで「ＯＫ」ボタンを音声入力等により押すとＸＭＬファイルの＜Ｉｔｅｍ Ｎａｍｅ＝“項目名２”＞の下の＜ＩｎｐｕｔＲｅｓｕｌｔ＞に入力値が反映される。
【００５３】
以上の実施形態例においては、選択候補、アルファベット、及び数値の入力について説明したが、平仮名や片仮名、あるいは記号等の種々の文字についても同様に入力可能であることは言うまでもない。
【００５４】
なお、図１や図７で示したキーボードレス装置における各部の一部もしくは全部での機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図８で示した処理の手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フロッピーディスク（登録商標））や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能である。また、本発明による上記のプログラムはインターネットや電子メール等によりネットワークを通して配布することが可能である。
【００５５】
【発明の効果】
以上説明したように、本発明によれば、ハンズフリー操作を必須とする作業者に誤認識が少ない音声入力用の補助インタフェースを提示することで、音声による容易なデータ入力を実現できる。これらは、またタッチパネル方式等の他のキーボードレス入力方式としても使用可能である。また、開発側から見ると、インタフェース情報をファイルに記述することにより、様々な入力データ形式に応じた補助インタフェースを提示可能であることから、容易にキーボードレス入力インタフェースを構築可能であるという利点がある。
【図面の簡単な説明】
【図１】本発明による一実施形態例の基本的な構成を示す図である。
【図２】本発明のインタフェース情報ファイルの記述例を示す図である。
【図３】本発明のデータ入力のための基本インタフェースの画面例を示す図である。
【図４】本発明の選択入力のための補助インタフェースの画面例を示す図である。
【図５】本発明の英数字入力のための補助インタフェースの画面例を示す図である。
【図６】本発明の数字入力のための補助インタフェースの画面例を示す図である。
【図７】本発明による一実施形態例の具体的な構成を示す図である。
【図８】図７の構成の実施形態例での処理フローを示す図である。
【図９】本発明の実施形態例における画面遷移例を示す図である。
【符号の説明】
１…インタフェース情報ファイル
２…ファイル読込部、アプリケーション
３…データ解析部、ＸＭＬパーサ
４…インタフェース表示部、インタフェース制御部
５…補助インタフェース表示部
５ａ…選択入力用インタフェース部
５ｂ…数値入力用インタフェース部
５ｃ…英数字入力用インタフェース部
６…入力データ格納部
７，９，１２…ドライバ
８…音声認識エンジン
１０…入力制御部
１１…出力制御部
１３…パーソナルコンピュータ
１４…マイク
１５…他の入力機器
１６…モニタ
Claims (4)
- インタフェース情報が記述されたインタフェース情報ファイルを読み込む読み込み手段と、
ユーザから入力項目の指定が入力可能な基本インタフェースをユーザに提示する基本インタフェース手段と、
該読み込んだインタフェース情報ファイルのインタフェース情報に従って該ユーザが指定した入力項目のデータ形式に対応した入力用の補助インタフェースを該ユーザに提示しデータ入力を可能とする補助インタフェース手段と、
該基本インタフェース及び該補助インタフェースに対してキーボードレス入力を行う入力手段とを備えることを特徴とするキーボードレス入力装置で、
インタフェース情報ファイルは、入力項目の入力方法として少なくとも選択入力、英数字入力、及び数値入力の１以上を記述したものであり、補助インタフェース手段は、補助インタフェースとして、少なくとも該入力に対応した選択入力用インタフェース、英数字入力用インタフェース、及び数値入力用インタフェースのいずれかをユーザが指定した入力項目のデータ形式に対応して提示するものであって、
該英数字入力用インタフェース又は該数値入力インタフェースは、音声認識による誤認識を減少させるように特別なキャプションの書かれたボタンを入力可能に配置した構成であることを特徴とするキーボードレス入力装置。 - インタフェース情報が記述されたインタフェース情報ファイルを読み込む第1の手順と、
ユーザから入力項目の指定が入力可能な基本インタフェースをユーザに提示する第2の手順と、
該基本インタフェースに対して音声入力を行う第3の手順と、該読み込んだインタフェース情報ファイルのインタフェース情報に従って該ユーザが指定した入力項目のデータ形式に対応した入力用の補助インタフェースを該ユーザに提示しデータ入力を可能とする第4の手順と、
該補助インタフェースに対して音声入力を行う第5の手順を備えることを特徴とするキーボードレス入力方法で、
インタフェース情報ファイルは、入力項目の入力方法として少なくとも選択入力、英数字入力、及び数値入力の１以上を記述され、
第4の手順では、補助インタフェースとして、少なくとも該入力に対応した選択入力用インタフェース、英数字入力用インタフェース、及び数値入力用インタフェースのいずれかをユーザが指定した入力項目のデータ形式に対応して提示するものであって、音声認識による誤認識を減少させるように特別なキャプションの書かれたボタンを入力可能に配置した該英数字入力用インタフェース又該は数値入力用インタフェースを提示することを特徴とするキーボードレス入力方法。 - 請求項２に記載のキーボードレス入力方法における手順をコンピュータに実行させるためのプログラムとしたことを特徴とするキーボードレス入力方法の実行プログラム。
- 請求項３に記載のキーボードレス入力方法の実行プログラムを、コンピュータが読み取り可能な記録媒体に記録したことを特徴とするキーボードレス入力方法の実行プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001131117A JP3877975B2 (ja) | 2001-04-27 | 2001-04-27 | キーボードレス入力装置とその方法及びこの方法の実行プログラムとその記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001131117A JP3877975B2 (ja) | 2001-04-27 | 2001-04-27 | キーボードレス入力装置とその方法及びこの方法の実行プログラムとその記録媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006265713A Division JP4168069B2 (ja) | 2006-09-28 | 2006-09-28 | キーボードレス入力装置とその方法及びこの方法の実行プログラムとその記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002328766A JP2002328766A (ja) | 2002-11-15 |
| JP3877975B2 true JP3877975B2 (ja) | 2007-02-07 |
Family
ID=18979361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001131117A Expired - Lifetime JP3877975B2 (ja) | 2001-04-27 | 2001-04-27 | キーボードレス入力装置とその方法及びこの方法の実行プログラムとその記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3877975B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4520262B2 (ja) * | 2004-09-15 | 2010-08-04 | 株式会社リコー | 画像形成装置、画像形成方法、その方法をコンピュータに実行させるプログラム、画像処理装置、および画像処理システム |
| JP6725672B2 (ja) * | 2016-03-14 | 2020-07-22 | アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． | クレデンシャルを提供する音声入力の識別 |
-
2001
- 2001-04-27 JP JP2001131117A patent/JP3877975B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002328766A (ja) | 2002-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4920154B2 (ja) | 言語入力ユーザインタフェース | |
| JP4416643B2 (ja) | マルチモーダル入力方法 | |
| JPS61107430A (ja) | 音声情報の編集装置 | |
| JP2005055782A (ja) | データ入力装置、ハンディターミナル、データ入力方法、プログラム及び記録媒体 | |
| JP3476007B2 (ja) | 認識単語登録方法、音声認識方法、音声認識装置、認識単語登録のためのソフトウエア・プロダクトを格納した記憶媒体、音声認識のためのソフトウエア・プロダクトを格納した記憶媒体 | |
| WO1999063425A1 (fr) | Procede et appareil de traitement d'informations et support de fourniture d'informations | |
| JPH06138815A (ja) | 手話／単語変換システム | |
| US20020169616A1 (en) | Voice interaction method for a computer graphical user interface | |
| JP2016061855A (ja) | 音声学習装置および制御プログラム | |
| US20060095263A1 (en) | Character string input apparatus and method of controlling same | |
| JP3029824B1 (ja) | 手書き文字処理装置、手書き文字処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP3927800B2 (ja) | 音声認識装置及び方法、プログラム、並びに記憶媒体 | |
| US20200338736A1 (en) | Robot teaching device | |
| JP3877975B2 (ja) | キーボードレス入力装置とその方法及びこの方法の実行プログラムとその記録媒体 | |
| JP4168069B2 (ja) | キーボードレス入力装置とその方法及びこの方法の実行プログラムとその記録媒体 | |
| JP2001014103A (ja) | 文字入力装置及び文字入力方法 | |
| JP4749437B2 (ja) | 音声文字変換装置、音声文字変換方法及び音声文字変換プログラム | |
| JP6710893B2 (ja) | 電子機器およびプログラム | |
| JP4015495B2 (ja) | 入力表示方法、入力表示装置、入力表示プログラム及び入力表示プログラムを記録した記録媒体 | |
| JP2013214187A (ja) | 文字入力装置、文字入力装置の制御方法、制御プログラム、および記録媒体 | |
| JP7106479B2 (ja) | 電子機器、文字入力方法およびプログラム | |
| JPH11250180A (ja) | 手書き文字入力システムおよび手書き文字入力方法 | |
| JP7515242B2 (ja) | 文字入力装置、文字入力支援方法及びプログラム | |
| JP4749438B2 (ja) | 音声文字変換装置、音声文字変換方法及び音声文字変換プログラム | |
| JP4815463B2 (ja) | 音声文字変換装置、音声文字変換方法及び音声文字変換プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060427 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060509 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060707 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060801 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060928 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20061005 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061024 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061101 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3877975 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101110 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101110 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111110 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111110 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121110 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121110 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131110 Year of fee payment: 7 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |