JP3744161B2 - 音声指示装置および音声指示情報記憶媒体 - Google Patents

音声指示装置および音声指示情報記憶媒体 Download PDF

Info

Publication number
JP3744161B2
JP3744161B2 JP33754897A JP33754897A JP3744161B2 JP 3744161 B2 JP3744161 B2 JP 3744161B2 JP 33754897 A JP33754897 A JP 33754897A JP 33754897 A JP33754897 A JP 33754897A JP 3744161 B2 JP3744161 B2 JP 3744161B2
Authority
JP
Japan
Prior art keywords
voice
recognition
movement
instruction
continuous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP33754897A
Other languages
English (en)
Other versions
JPH10326175A (ja
Inventor
浩 長谷川
伊佐央 枝常
満広 稲積
康永 宮沢
直 相澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP33754897A priority Critical patent/JP3744161B2/ja
Publication of JPH10326175A publication Critical patent/JPH10326175A/ja
Application granted granted Critical
Publication of JP3744161B2 publication Critical patent/JP3744161B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、制御対象に対して、連続音声を用いて移動の「方向」「継続」等を指示する音声指示装置および音声指示情報記憶媒体に関する。
【0002】
【背景技術および発明が解決しようとする課題】
従来、例えば、図1に示すように、マウスの代わりに音声でディスプレイ12の画面10上のポインタを動かす場合、「みぎ」と言ってポインタを30から31、32と、一定速度で右への移動を開始させた後、「とまれ」と言ってポインタを37で停止させるという方法が採られていた。この方法は、実際は1つの指示命令で済むものに2つの指示命令を用いているため、実際に手で操作する感覚と著しく異なっていた。また、本当は36の位置でポインタを停止させたかったにも関わらず、実際にポインタの停止した位置は37であったり、停止させたい位置のある程度前で「止まれ」と言わなければならないため、オペレータに緊張感を強いることとなり、使い勝手のよいものとは言えないものであった。
【0003】
本発明の目的は、実際の感覚により近く、使い勝手のよい音声指示装置および音声指示情報記憶媒体を提供することにある。
【0004】
【課題を解決するための手段】
前記目的を達成するため、本発明の音声指示装置は、制御対象の移動方向を指示する認識対象音声と、これに継続する継続音声との連続音声で構成される音声指示命令の入力を受け付ける音声指示装置であって、前記音声指示命令の認識対象音声を認識し、前記制御対象の移動の開始および移動方向を指示する信号を出力する第1の認識指示手段と、前記音声指示命令の継続音声を認識し、その認識期間中は前記制御対象の移動の継続を指示する信号を出力する第2の認識指示手段と、を有し、前記認識対象音声は、発話時間により移動速度を指示するように構成され、前記第1の認識指示手段は、前記認識対象音声の発話時間に基づき指示された移動速度を認識し、前記制御対象の移動方向および移動速度を指示する信号を出力することを特徴とする。
【0005】
本発明によれば、連続音声に含まれる認識対象音声により移動の開始および移動方向を指示し、連続音声に含まれる継続音声を継続して発話している間、制御対象を指示方向への移動を継続させ、発話を止めることにより、移動を止めることができる。このように、制御対象の移動の開始、方向、継続を1回の連続発話で指示できるため、実際の感覚により近く、使い勝手のよい音声指示が行える。
また、使用する認識対象音声の発話時間に基づき、制御対象の移動速度を自在に変更することができる。
【0006】
また、本発明の音声指示装置は、制御対象の移動方向を指示する認識対象音声と、これに継続する継続音声との連続音声で構成される音声指示命令の入力を受け付ける音声指示装置であって、前記音声指示命令の認識対象音声を認識し、前記制御対象の移動の開始および移動方向を指示する信号を出力する第1の認識指示手段と、前記音声指示命令の継続音声を認識し、その認識期間中は前記制御対象の移動の継続を指示する信号を出力する第2の認識指示手段と、を有し、前記継続音声は、音量により移動速度を指示するように構成され、前記第2の認識指示手段は、前記継続音声の音量で指示される移動速度を認識し、前記制御対象の移動速度を指示する信号を出力することを特徴とする。
【0007】
本発明によれば、連続音声に含まれる認識対象音声により移動の開始および移動方向を指示し、連続音声に含まれる継続音声を継続して発話している間、制御対象を指示方向への移動を継続させ、発話を止めることにより、移動を止めることができる。このように、制御対象の移動の開始、方向、継続を1回の連続発話で指示できるため、実際の感覚により近く、使い勝手のよい音声指示が行える。
また、強弱をつけて指示することと同様の感覚で操作指示できるとともに、制御対象の移動速度を可変にすることができるため、実際の感覚により近く、使い勝手がよい。
【0008】
また、本発明の音声指示装置は、制御対象の移動方向を指示する認識対象音声と、これに継続する継続音声との連続音声で構成される音声指示命令の入力を受け付ける音声指示装置であって、前記音声指示命令の認識対象音声を認識し、前記制御対象の移動の開始および移動方向を指示する信号を出力する第1の認識指示手段と、前記音声指示命令の継続音声を認識し、その認識期間中は前記制御対象の移動の継続を指示する信号を出力する第2の認識指示手段と、を有し、前記継続音声は、声の高さにより移動速度を指示するように構成され、前記第2の認識指示手段は、前記継続音声の声の高さで指示される移動速度を認識し、前記制御対象の移動速度を指示する信号を出力することを特徴とする。
【0009】
本発明によれば、連続音声に含まれる認識対象音声により移動の開始および移動方向を指示し、連続音声に含まれる継続音声を継続して発話している間、制御対象を指示方向への移動を継続させ、発話を止めることにより、移動を止めることができる。このように、制御対象の移動の開始、方向、継続を1回の連続発話で指示できるため、実際の感覚により近く、使い勝手のよい音声指示が行える。
【0011】
また、上記の発明において、発話者の平均的な最長連続発話時間に対応して制御対象に所与の距離の移動を行わせるよう、前記制御対象の平均移動速度が設定されていることを特徴とする。
【0012】
本発明によれば、発話者の平均的な最長連続発話時間に応じた移動量を決定できるため、より使い勝手のよい音声指示が行える。例えば、ディスプレイの画面の左端から右端までを平均的な最長連続発話時間で移動できる最大量と設定すると使い勝手がよい。なお、最長連続発話時間は、10秒程度である。
【0013】
また、上記の発明において、入力される前記音声指示命令に基づき、ディスプレイ上に表示されるポインタの移動方向および移動の継続を指示する信号を出力することを特徴とする。
【0014】
本発明によれば、実際のポインタの操作に近い感覚で音声指示ができるため、快適に操作することができる。
【0015】
また、上記の発明において、入力される前記音声指示命令に基づき、ディスプレイの表示画面のスクロール方向およびスクロールの継続を指示する信号を出力することを特徴とする。
【0016】
本発明によれば、小型情報機器などボタンが小さくて操作しにくいものに対しても、音声指示ができるため、快適に操作することができる。
【0017】
また、上記の発明において、入力される前記音声指示命令に基づき、マニピュレータの移動方向および移動の継続を指示する信号を出力することを特徴とする。
【0018】
本発明によれば、実際のマニピュレータの操作に近い感覚で音声指示ができるため、快適に操作することができる。
【0019】
また、本発明の音声指示装置は、制御対象の移動方向を指示する認識対象音声と、これに継続する継続音声との連続音声で構成される音声指示命令の入力を受け付ける音声指示装置であって、複数の符号データに対応した移動方向が予め設定された記憶手段を含み、入力された前記音声指示命令の認識対象音声をワードスポッティングの手法により符号データに変換し、この符号データと前記記憶手段に記憶されたデータに基づき指示された移動方向を認識し、前記制御対象の移動の開始および移動方向を指示する信号を出力する第1の認識指示手段と、前記音声指示命令の継続音声の継続を認識し、その認識期間中は前記制御対象の移動の継続を指示する信号を出力する第2の認識指示手段と、を有し、前記認識対象音声は、発話時間により移動速度を指示するように構成され、前記第1の認識指示手段は、前記認識対象音声の発話時間に基づき指示された移動速度を認識し、前記制御対象の移動方向および移動速度を指示する信号を出力することを特徴とする。
本発明によれば、符号データ同士を比較することにより音声指示できるため、より確実に音声指示できる。
また、連続音声に含まれる認識対象音声により移動の開始および移動方向を指示し、連続音声に含まれる継続音声を継続して発話している間、制御対象を指示方向への移動を継続させ、発話を止めることにより、移動を止めることができる。このように、制御対象の移動の開始、方向、継続を1回の連続発話で指示できるため、実際の感覚により近く、使い勝手のよい音声指示が行える。
また、使用する認識対象音声の発話時間に基づき、制御対象の移動速度を自在に変更することができる。
【0020】
また、本発明の音声指示装置は、制御対象の移動方向を指示する認識対象音声と、これに継続する継続音声との連続音声で構成される音声指示命令の入力を受け付ける音声指示装置であって、複数の符号データに対応した移動方向が予め設定された記憶手段を含み、入力された前記音声指示命令の認識対象音声をワードスポッティングの手法により符号データに変換し、この符号データと前記記憶手段に記憶されたデータに基づき指示された移動方向を認識し、前記制御対象の移動の開始および移動方向を指示する信号を出力する第1の認識指示手段と、前記音声指示命令の継続音声の継続を認識し、その認識期間中は前記制御対象の移動の継続を指示する信号を出力する第2の認識指示手段と、を有し、前記継続音声は、音量により移動速度を指示するように構成され、前記第2の認識指示手段は、前記継続音声の音量で指示される移動速度を認識し、前記制御対象の移動速度を指示する信号を出力することを特徴とする。
本発明によれば、符号データ同士を比較することにより音声指示できるため、より確実に音声指示できる。
また、強弱をつけて指示することと同様の感覚で操作指示できるとともに、制御対象の移動速度を可変にすることができるため、実際の感覚により近く、使い勝手がよい。
また、本発明の音声指示装置は、制御対象の移動方向を指示する認識対象音声と、これに継続する継続音声との連続音声で構成される音声指示命令の入力を受け付ける音声指示装置であって、複数の符号データに対応した移動方向が予め設定された記憶手段を含み、入力された前記音声指示命令の認識対象音声をワードスポッティングの手法により符号データに変換し、この符号データと前記記憶手段に記憶されたデータに基づき指示された移動方向を認識し、前記制御対象の移動の開始および移動方向を指示する信号を出力する第1の認識指示手段と、前記音声指示命令の継続音声の継続を認識し、その認識期間中は前記制御対象の移動の継続を指示する信号を出力する第2の認識指示手段と、を有し、前記継続音声は、声の高さにより移動速度を指示するように構成され、前記第2の認識指示手段は、前記継続音声の声の高さで指示される移動速度を認識し、前記制御対象の移動速度を指示する信号を出力することを特徴とする。
本発明によれば、符号データ同士を比較することにより音声指示できるため、より確実に音声指示できる。
【0021】
また、本発明の情報記憶媒体は、制御対象の移動方向を指示する認識対象音声と、これに継続する継続音声との連続音声で構成される音声指示命令を認識し、実行するプログラムを記憶している情報記憶媒体であって、 入力された前記音声指示命令の情報を記憶する手順と、 前記認識対象音声をワードスポッティングの手法により符号データに変換する手順と、 複数の符号データに対応した移動方向を表す情報と前記変換された符号データとに基づき、指示された移動方向を認識し、前記制御対象の移動の開始および移動方向を指示する第1の指示手順と、前記音声指示命令の継続音声の継続を認識し、その認識期間中は前記制御対象の移動の継続を指示する第2の指示手順と、をコンピュータに実行させるプログラムを記憶しており、前記認識対象音声は、発話時間により移動速度を指示するように構成され、前記第1の指示手順は、前記認識対象音声の発話時間に基づき指示された移動速度を認識し、前記制御対象の移動方向および移動速度を指示することを特徴とする。
本発明によれば、音声認識指示のためのプログラムと音声指示命令を情報記憶媒体内に記憶できるため、この情報記憶媒体を種々のコンピュータに使用した場合でも、新たに音声認識用の学習を行う必要が無く、即座に各話者に応じた音声認識ができる。
【0022】
また、本発明の情報記憶媒体は、制御対象の移動方向を指示する認識対象音声と、これに継続する継続音声との連続音声で構成される音声指示命令を認識し、実行するプログラムを記憶している情報記憶媒体であって、 入力された前記音声指示命令の情報を記憶する手順と、 前記認識対象音声をワードスポッティングの手法により符号データに変換する手順と、 複数の符号データに対応した移動方向を表す情報と前記変換された符号データとに基づき、指示された移動方向を認識し、前記制御対象の移動の開始および移動方向を指示する第1の指示手順と、前記音声指示命令の継続音声の継続を認識し、その認識期間中は前記制御対象の移動の継続を指示する第2の指示手順と、をコンピュータに実行させるプログラムを記憶しており、前記継続音声は、音量により移動速度を指示するように構成され、前記第2の指示手順は、前記継続音声の音量で指示される移動速度を認識し、前記制御対象の移動速度を指示することを特徴とする。
本発明によれば、音声認識指示のためのプログラムと音声指示命令を情報記憶媒体内に記憶できるため、この情報記憶媒体を種々のコンピュータに使用した場合でも、新たに音声認識用の学習を行う必要が無く、即座に各話者に応じた音声認識ができる。
また、本発明の情報記憶媒体は、制御対象の移動方向を指示する認識対象音声と、これに継続する継続音声との連続音声で構成される音声指示命令を認識し、実行するプログラムを記憶している情報記憶媒体であって、 入力された前記音声指示命令の情報を記憶する手順と、 前記認識対象音声をワードスポッティングの手法により符号データに変換する手順と、 複数の符号データに対応した移動方向を表す情報と前記変換された符号データとに基づき、指示された移動方向を認識し、前記制御対象の移動の開始および移動方向を指示する第1の指示手順と、前記音声指示命令の継続音声の継続を認識し、その認識期間中は前記制御対象の移動の継続を指示する第2の指示手順と、をコンピュータに実行させるプログラムを記憶しており、前記継続音声は、声の高さにより移動速度を指示するように構成され、前記第2の指示手順は、前記継続音声の声の高さで指示される移動速度を認識し、前記制御対象の移動速度を指示することを特徴とする。
本発明によれば、音声認識指示のためのプログラムと音声指示命令を情報記憶媒体内に記憶できるため、この情報記憶媒体を種々のコンピュータに使用した場合でも、新たに音声認識用の学習を行う必要が無く、即座に各話者に応じた音声認識ができる。
【0023】
また、前記移動の継続を指示する信号を出力する第2の認識指示手段または前記移動の継続を指示する第2の指示手順に代えて、移動の停止を指示する第2の認識指示手段および移動の継続を指示する第2の手順を用いることもできる。
【0024】
具体的には、前記移動の継続を指示する信号を出力する第2の認識指示手段に代えて、 音声指示命令の継続音声の継続を認識し、その認識が終了した時点で前記制御対象の移動の停止を指示する信号を出力する第2の認識指示手段を有することを特徴とする音声指示装置であり、また、前記移動の継続を指示する第2の手順に代えて、 音声指示命令の継続音声の継続を認識し、その認識が終了した時点で前記制御対象の移動の停止を指示する手順をコンピュータに実行させるプログラムを記憶していることを特徴とする情報記憶媒体である。
【0025】
【発明の実施の形態】
以下、本発明による音声指示装置および音声指示情報記憶媒体を活用した好適な実施の形態について、図面を参照しつつ詳細に説明する。
【0026】
(第1の実施の形態)
本実施の形態では、認識対象語が一つであり、制御対象に移動の開始、方向、継続を指示する音声認識装置について説明する。
【0027】
図2は、本発明による音声指示装置の機能ブロック図を示す。本発明による音声指示装置は、連続音声データを入力する入力手段2と、入力された連続音声データを扱いやすいようにディジタルソースに変換する変換手段4と、変換されたディジタルソースを記憶する第1の記憶手段6と、記憶されたディジタルソースから認識対象音声を認識し、制御対象に指示の信号を出力する認識指示手段8と、認識対象かどうか認識するための参照データが記憶されている第2の記憶手段9とを有する。
【0028】
具体的には、例えば、入力手段2はマイク、変換手段4はA/D変換器、第1の記憶手段6はメモリ、認識指示手段8はCPUおよび認識指示処理用のプログラムを記憶したメモリ、第2の記憶手段9はハードディスク等の外部記憶装置またはメモリである。これらは全て1台のコンピュータ12に内蔵されていてもよいし、入力手段2や第2の記憶手段9は、外部装置としてコンピュータ12と接続されるよう形成してもよい。
【0029】
図3は、音声指示命令として用いられる連続音声100の構成の1例を示す。連続音声100は、基本的には認識対象音声102と、それに継続している継続音声106とから構成される。
【0030】
認識対象音声102としては、「みぎ」、「うえ」等の方向を指示する音声、「はやく」、「ゆっくり」等の速度を指示する音声等がある。これらの認識対象音声102は、図3に示す第1の認識対象語103だけであってもよいし、第1の認識対象語103および第2の認識対象語104のように複数連続して形成してもよい。本実施の形態では第1の認識対象語103のみ用いている。
【0031】
継続音声106は、認識対象音声102に継続して発話される音声である。例えば、連続音声100が「みぎーーー」の場合、「みぎ」が認識対象音声102であり、「ーーー」が継続音声106である。また、図3に示すように場合によっては認識対象音声102の前に「えーと」等の不要音声108が含まれることがある。
【0032】
ここで、制御対象としてのディスプレイ12の画面10上のポインタを連続音声によって右に動かす例をとって説明する。
【0033】
図4は、「みぎーーーーー」という連続音声100が音声認識装置に入力された際のフローチャートである。連続音声100が入力手段2に入力されると(ステップ2)、この連続音声100は、変換手段4によりディジタル変換された後、第1の記憶手段6内のデータ記憶部20に一時的に記憶された後、認識指示手段8に入力される(ステップ4)。
【0034】
連続音声100が入力されている間(ステップ6)、ステップ6〜200のループにおいて、認識対象語103が未確定の間、認識対象音声102の認識指示処理(ステップ8)を行い、認識指示処理(ステップ8)により認識対象語103が確定された後、継続音声106の認識指示処理(ステップ9)を行う。連続音声100の入力が終わるとループを抜け(ステップ200)、音声認識指示処理を終了する。
【0035】
図5(A)は認識対象音声102認識指示処理(ステップ8)を、図5(B)は継続音声106認識指示処理(ステップ9)を具体的に表したフローチャートである。認識指示手段8は、第1の認識指示手段23と第2の認識指示手段24とを含んで構成されている。また、認識の際に比較するデータとしては、第2の記憶手段9内の第1の参照データ28を使用する。第1の参照データとしては、具体的には、「みぎ」「ひだり」等があり、比較を容易にし、より確実に音声指示できるように符号データとして表され、各参照データに基づく指示命令とともに第2の記憶手段9内に記憶されている。
【0036】
認識対象音声102認識指示処理(ステップ8)においては、まず、第1の認識指示手段23を用いて、ワードスポッティングの手法により、1語を認識する(ステップ10)。例えば、「みぎ」の内の「み」である。次に、認識した1語と第1の参照データ28とを比較し(ステップ12)、認識対象語103の可能性がある場合、記憶手段6内の状態記憶部22を認識対象語103の検出中状態とし、比較する参照データ28を次の参照語(例えば「みぎ」の内の「ぎ」)にする等の認識後処理(ステップ14)を行う。この時点で認識対象語103を確定できない場合(ステップ16)、入力された音声の内、次の語も参照データ28と比較する(ステップ12)。認識対象語103が確定された時点で(ステップ16)、記憶手段6内の状態記憶部22を認識対象語103の確定状態とし(ステップ17)、第1の認識指示手段23により、第1の参照データ28内の指示命令を用いて、制御対象に移動の開始および移動方向を指示する信号を出力する(ステップ18)。
【0037】
一方、認識対象語103が確定されない間は、参照データ28と入力された次の語との比較を繰り返す(ステップ12、20)。認識対象語103の確定後は、それに続く音声は継続音声106であるということと、確定という状態が判断できるため(ステップ7)、継続音声106の認識指示処理(ステップ9)を行う。第2の認識指示手段24により、継続音声106を認識し、継続音声106が入力されている間、制御対象に移動継続を指示する信号を出力する(ステップ22)。
【0038】
なお、第2の認識指示手段24を、継続音声106を認識し、継続音声106の入力が終了して認識が終了した時点で移動の停止を指示する信号を出力するよう形成することもできる。
【0039】
図6は、ディスプレイ12の画面10上のポインタの動作を示す。「みぎ」という認識対象語102が確定された時点t1で、ポインタは初期位置40から右方向に移動を開始し、「ー」という継続音声が継続して発話されている間、動作継続が指示され、単位時間当たり一定の移動量で位置41、位置42と右へ移動する。なお、図6では、各ポインタは、単位時間毎のポインタの表示位置を示す(他の図の表示例も同様である)。オペレータは、自分がポインタを止めたい位置46(t2時点)で「みぎーーーーー」という発話を終えることにより、ポインタを位置46で止めることができる。
【0040】
なお、この一定の移動量は、発話者の平均的な最長連続発話時間に対応して定められている。例えば、最長連続発話時間分の発話により、画面10の左端から右端までポインタが移動するよう設定できる。具体的には、最長連続発話時間10秒程度である。
【0041】
このように、オペレータの感覚と制御対象(この例ではポインタ)の操作が同期している上、一つの命令で指示できるため、極めて使い勝手のよい音声指示が行える。しかも、制御対象を止めたい位置で止めることができるため、オペレータに緊張感を強いることもない。
【0042】
さらに、オペレータごとの平均的な最長連続発話時間に対応して移動速度が定められているため、より使い勝手のよい音声指示が行える。
【0043】
(第2の実施の形態)
本実施の形態では、認識対象語が103、104と2つあり、制御対象に移動の開始、方向、継続、速度を指示する音声認識装置について説明する。
【0044】
例えば、制御対象を右に速く動かしたい場合、例えば「みぎはやくーー」という音声指示により所望の移動をさせることができる。「みぎはやくーー」のように認識対象語が2つある場合、認識対象音声102の音声認識指示処理(ステップ8)は図7に示す手順で行われる。なお、他の処理は第1の実施の形態と同様なので省略する。
【0045】
第1の認識対象語103が確定するまでは図5と同様である(ステップ28)。第1の認識対象語103が確定した後(ステップ26)は、第1の認識指示処理(ステップ28)と同様に第2の認識指示処理(ステップ30)を行う。
【0046】
第2の認識指示処理(ステップ30)は、第1の認識対象語103が確定された時点から開始され、第1の認識指示処理(ステップ28)と同様に、ワードスポッティングにより1語を認識し、第2の参照データ29と比較し、第2の認識対象語104と確定するまで認識処理を繰り返す。第2の認識対象語104が確定された時点で、第1の認識対象語103と第2の認識対象語104の両方に基づいた指示命令をする信号を出力する。ここで、第2の参照データ29とは、第2の認識対象語104と比較するためのデータで、例えば、「はやく」「ゆっくり」「みぎ」等の符号データであり、各符号データに基づく指示命令とともに第2の記憶手段9内に記憶されている。なお、最初から2つの認識対象語が確定した時点で指示命令をする信号を出力するように形成してもよい。
【0047】
図8は、「みぎはやくーー」という音声指示に対するポインタの動作例を示す図である。図6と図8を比較すれば分かるように、どちらも一定速度で移動するが、単位時間当たりの移動量は、ポインタ40、41とポインタ60、61を比較すれば分かるように、図8の例の方が大きい。単位時間当たりの移動量とは、すなわち、速度のことである。
【0048】
この場合の連続音声は「みぎ」と「はやく」という2つの認識対象語を含んでいる。このように異なる種別の認識対象語を組み合わせることにより、制御対象の移動速度と移動方向を同時かつ自在に指示することができる。認識対象語の順序は逆でもよく、「はやくみぎーー」でも同様の処理が行える。
【0049】
また、同じ「みぎ」という認識対象語であっても、「みぎみぎ」と2つの認識対象語を発話することにより、同様の認識指示処理を行うことにより、制御対象の移動速度を速くすることができる。もちろん、認識対象語を3つ以上にした場合も同様に認識指示処理が行える。例えば、「みぎみぎみぎ」と発話すると、「みぎみぎ」よりもさらに速く制御対象を右に移動させることができる。
【0050】
(第3の実施の形態)
本実施の形態では、認識対象語103は一つであるが、認識対象語103の発話の継続時間が標準的な値と異なる場合、制御対象に移動の開始、方向、速度を指示するとともに速度を変更できる音声認識装置について説明する。
【0051】
例えば、制御対象を右にゆっくり動かしたい場合、「みーぎー」のように認識対象語103をゆっくり発話すればよい。同じ「みぎ」という認識対象語であっても、ゆっくり発話することにより、制御対象の移動速度を遅くすることができる。逆に移動速度を速くしたい場合は、速く発話すればよい。
【0052】
「みーぎー」のように認識対象語がある程度継続して発話されている場合、図5の認識対象語と判断された後の処理、ステップ14〜18は、図9に示す発話継続時間処理のように処理する。
【0053】
まず、認識対象語と判断したのが初回かどうか判断し(ステップ50)、初回である場合、開始時刻を取得する(ステップ52)。この開始時刻としては、例えば、コンピュータ内部に記憶された現在時刻が使用できる。その後、認識後処理(ステップ14)を行い、認識指示処理を繰り返す。認識対象語が確定した場合(ステップ16)、終了時刻を取得する(ステップ54)。この終了時刻としても、例えば、コンピュータ内部に記憶された現在時刻が使用できる。取得した終了時刻と開始時刻との差をCPUで演算すれば、一つの認識対象語の発話継続時間が求められる。この発話継続時間に基づき、移動速度を決定して指示する信号を出力する(ステップ18)ことができる。これらの認識指示処理は、第1の認識指示手段23を用いて行う。
【0054】
図10は、「みーぎー」という音声指示に対するポインタの動作例を示す図である。図6と図10を比較すれば分かるように、どちらも一定速度で移動するが、単位時間当たりの移動量は、ポインタ40、41とポインタ50、51を比較すれば分かるように、図10の例の方が小さい。単位時間当たりの移動量とは、すなわち、速度のことである。つまり、「みーぎ」とゆっくり発話することにより、「みぎ」と発話するより制御対象をゆっくり動かすことができる。
【0055】
(第4の実施の形態)
本実施の形態では、認識対象語103が一つであり、制御対象に移動の開始、方向、速度を指示するが、継続音声106の音量または高さを測定し、移動中の速度を自在に変更することができる音声認識装置について説明する。
【0056】
図11は、図2に示す音声指示装置の変形例を示す機能ブロック図である。図11に示す音声指示装置は、図2に示す音声指示装置の構成に加え、音声データの音量を測定する測定手段26を有している。この測定手段26は、ピッチ(音声の高さ)を測定することもできる。
【0057】
測定手段26は、入力手段2により入力されて変換手段4によりディジタル変換された音声データから音の振幅を測定するよう形成されている。測定されたデータは、第1の記憶手段6内部のデータ記憶部20に記憶される。
【0058】
このときの処理の流れは、図4および図5で示す連続音声認識指示処理とほぼ同様の処理を行うが、継続音声106の認識指示処理が異なる。
【0059】
図12は、継続音声106の認識指示処理の流れを示すフローチャートである。認識対象語103確定後(ステップ7)、継続音声106の音量を測定し(ステップ60)、その音量に基づいて制御対象の移動速度の変更指示を命令する(ステップ62)。音量が大きいほど制御対象は速く動き、音量が小さいほど制御対象はゆっくり動く。継続音声106および音量の認識は、第2の認識指示手段24により行う。
【0060】
図13は、「みぎーー」という言葉を音量を変化させながら発声したときの指示に対するポインタの動作例を示す図である。データ記憶部20には、「みぎーー」という符号データに加え、測定手段26により測定した発話されたときの音量が時系列データとして記憶される。図13に示すように、音量を大きくすると(図13(B)▲2▼▲3▼区間)、ポインタは速く動き(図13(A)▲2▼▲3▼区間)、音量を小さくすると(図13(B)▲4▼▲5▼区間)、ポインタはゆっくり動く(図13(A)▲4▼▲5▼区間)。すなわち、オペレータが発話の音量を調整することにより、ポインタの移動速度を自分の意志に合わせて制御できる。
【0061】
また、音の高低によって制御することもできる。この場合も音量制御と同様で、データ記憶部20には、「みぎーー」という符号データに加え、測定手段26により測定された発話されたときの音の振動数が時系列データとして記憶される。図13に示すように、声を高く(振動数を大きく)すると、ポインタは速く動き(図13(A)▲2▼▲3▼区間)、声を低く(振動数を小さく)すると、ポインタはゆっくり動く(図13(A)▲2▼▲3▼区間)。すなわち、オペレータが発話の音の高低を調整することにより、ポインタの移動速度を自分の意志に合わせて制御できる。
【0062】
以上のように、オペレータの音量または音声の高低によって、制御対象の移動速度を可変にできるため、よりオペレータの感覚に近い音声指示が行える。
【0063】
(第5の実施の形態)
本実施の形態では、上記の各種音声認識装置を小型情報機器、マニピュレータ、情報記憶媒体等の各種機器に適用した例について説明する。
【0064】
図14は、本発明を小型情報機器に適用した例を示す図である。手のひらサイズの小型情報機器は、機器上のボタンやキー等が必然的に小さくなり、操作し難い。本発明による音声指示装置を内部に組み込むことにより、極めて操作し易い小型情報機器を実現できる。
【0065】
例えば、図14(A)に示す状態で、ユーザが「うえーーーーー」と発話することにより、マイク150から小型情報機器内部の音声認識指示装置に音声データが入力されることにより、画面が上方向にスクロールし、図14(B)に示す状態となる。このように、小さなボタンやキー等を押すことなく、小型情報機器の画面を操作することができ、ユーザにとっては極めて使い勝手がよく、小型情報機器の製造企業にとっては、ボタンやキー等を機器上に配置する必要がなくなるため、より小型の情報機器をユーザに提供することができる。
【0066】
また、上記のポインタ指示や画面のスクロールに限らず、ディジタル時計の時刻合わせ等の連続的に変化するものにも適用できる。
【0067】
上記の制御対象はマニピュレータであってもよい。上記の例と同様に、「みぎーーー」と発話すれば、発話している間マニピュレータを右に動かすことができ、発話を止めることでマニピュレータの動きも止めることができる。
【0068】
本発明によれば、実際のマニピュレータの操作に近い感覚で音声指示ができるため、快適に操作することができる。
【0069】
また、上記の連続音声情報および音声指示プログラムを情報記憶媒体に記憶するよう形成することもできる。
【0070】
具体的にはこの情報記憶媒体は、制御対象の移動方向を指示する認識対象音声と、これに継続する継続音声との連続音声で構成される音声指示命令を認識し、実行するプログラムを記憶している情報記憶媒体であって、入力された前記音声指示命令の情報を記憶する手順と、前記認識対象音声をワードスポッティングの手法により符号データに変換する手順と、複数の符号データに対応した移動方向を表す情報と前記変換された符号データとに基づき、指示された移動方向を認識し、前記制御対象の移動の開始および移動方向を指示する手順と、
前記音声指示命令の継続音声の継続を認識し、その認識期間中は前記制御対象の移動の継続を指示する手順とをコンピュータに実行させるプログラムを記憶している。
【0071】
このような音声指示装置においては、話者ごとの学習に時間がかかるが、本発明による情報記憶媒体を適用することにより、音声認識指示のためのプログラムと音声指示命令を情報記憶媒体内に記憶できるため、この情報記憶媒体を種々のコンピュータに使用した場合でも、新たに音声認識用の学習を行う必要が無く、即座に各話者に応じた音声認識ができる。
【0072】
なお、前記音声指示命令の継続音声の継続を認識し、その認識期間中は前記制御対象の移動の継続を指示する手順を、前記音声指示命令の継続音声の継続を認識し、その認識が終了した時点で前記制御対象の移動の停止を指示する手順として形成することもできる。
【図面の簡単な説明】
【図1】従来の音声指示に対するマウスポインタの動作例を示す図である。
【図2】本発明の実施の形態の一例に係る音声指示装置の機能ブロック図である。
【図3】連続音声の構成を示す概略図である。
【図4】本発明の実施の形態の一例に係る音声指示のフローチャートを示す図である。
【図5】本発明の実施の形態の一例に係る認識指示処理のフローチャートを示す図である。
【図6】本発明の実施の形態の一例に係る「みぎーーー」という音声指示に対するポインタの動作例を示す図である。
【図7】本発明の実施の形態の一例に係る認識対象音声の認識指示処理のフローチャートを示す図である。
【図8】本発明の実施の形態の一例に係る「みぎはやくーー」という音声指示に対するポインタの動作例を示す図である。
【図9】本発明の実施の形態の一例に係る発話時間処理のフローチャートを示す図である。
【図10】本発明の実施の形態の一例に係る「みーぎー」という音声指示に対するポインタの動作例を示す図である。
【図11】図2に示す音声指示装置の変形例を示す機能ブロック図である。
【図12】本発明の実施の形態の一例に係る音量変化による継続音声の認識指示処理のフローチャートを示す図である。
【図13】本発明の実施の形態の一例に係る「みぎーー」という言葉を音量を変化させながら発声したときの指示に対するポインタの動作例を示す図である。
【図14】本発明の実施の形態の一例に係る小型情報機器の操作を示す図である。
【符号の説明】
2 入力手段
4 変換手段
6 第1の記憶手段
8 認識指示手段
9 第2の記憶手段
20 データ記憶部
22 状態記憶部
23 第1の認識指示手段
24 第2の認識指示手段
26 測定手段
28 第1の参照データ
29 第2の参照データ
100 連続音声
102 認識対象音声
103 第1の認識対象語
104 第2の認識対象語
106 継続音声
108 不要音声
150 マイク

Claims (15)

  1. 制御対象の移動方向を指示する認識対象音声と、これに継続する継続音声との連続音声で構成される音声指示命令の入力を受け付ける音声指示装置であって、
    前記音声指示命令の認識対象音声を認識し、前記制御対象の移動の開始および移動方向を指示する信号を出力する第1の認識指示手段と、
    前記音声指示命令の継続音声を認識し、その認識期間中は前記制御対象の移動の継続を指示する信号を出力する第2の認識指示手段と、
    を有し、
    前記認識対象音声は、
    発話時間により移動速度を指示するように構成され、
    前記第1の認識指示手段は、
    前記認識対象音声の発話時間に基づき指示された移動速度を認識し、前記制御対象の移動方向および移動速度を指示する信号を出力することを特徴とする音声指示装置。
  2. 制御対象の移動方向を指示する認識対象音声と、これに継続する継続音声との連続音声で構成される音声指示命令の入力を受け付ける音声指示装置であって、
    前記音声指示命令の認識対象音声を認識し、前記制御対象の移動の開始および移動方向を指示する信号を出力する第1の認識指示手段と、
    前記音声指示命令の継続音声を認識し、その認識期間中は前記制御対象の移動の継続を指示する信号を出力する第2の認識指示手段と、
    を有し、
    前記継続音声は、
    音量により移動速度を指示するように構成され、
    前記第2の認識指示手段は、
    前記継続音声の音量で指示される移動速度を認識し、前記制御対象の移動速度を指示する信号を出力することを特徴とする音声指示装置。
  3. 制御対象の移動方向を指示する認識対象音声と、これに継続する継続音声との連続音声で構成される音声指示命令の入力を受け付ける音声指示装置であって、
    前記音声指示命令の認識対象音声を認識し、前記制御対象の移動の開始および移動方向を指示する信号を出力する第1の認識指示手段と、
    前記音声指示命令の継続音声を認識し、その認識期間中は前記制御対象の移動の継続を指示する信号を出力する第2の認識指示手段と、
    を有し、
    前記継続音声は、
    声の高さにより移動速度を指示するように構成され、
    前記第2の認識指示手段は、
    前記継続音声の声の高さで指示される移動速度を認識し、前記制御対象の移動速度を指示する信号を出力することを特徴とする音声指示装置。
  4. 請求項1〜3のいずれかにおいて、
    発話者の平均的な最長連続発話時間に対応して制御対象に所与の距離の移動を行わせるよう、前記制御対象の平均移動速度が設定されていることを特徴とする音声指示装置。
  5. 請求項1〜4のいずれかにおいて、
    入力される前記音声指示命令に基づき、ディスプレイ上に表示されるポインタの移動方向および移動の継続を指示する信号を出力することを特徴とする音声指示装置。
  6. 請求項1〜4のいずれかにおいて、
    入力される前記音声指示命令に基づき、ディスプレイの表示画面のスクロール方向およびスクロールの継続を指示する信号を出力することを特徴とする音声指示装置。
  7. 請求項1〜4のいずれかにおいて、
    入力される前記音声指示命令に基づき、マニピュレータの移動方向および移動の継続を指示する信号を出力することを特徴とする音声指示装置。
  8. 制御対象の移動方向を指示する認識対象音声と、これに継続する継続音声との連続音声で構成される音声指示命令の入力を受け付ける音声指示装置であって、
    複数の符号データに対応した移動方向が予め設定された記憶手段を含み、入力された前記音声指示命令の認識対象音声をワードスポッティングの手法により符号データに変換し、この符号データと前記記憶手段に記憶されたデータに基づき指示された移動方向を認識し、前記制御対象の移動の開始および移動方向を指示する信号を出力する第1の認識指示手段と、
    前記音声指示命令の継続音声の継続を認識し、その認識期間中は前記制御対象の移動の継続を指示する信号を出力する第2の認識指示手段と、
    を有し、
    前記認識対象音声は、
    発話時間により移動速度を指示するように構成され、
    前記第1の認識指示手段は、
    前記認識対象音声の発話時間に基づき指示された移動速度を認識し、前記制御対象の移動方向および移動速度を指示する信号を出力することを特徴とする音声指示装置。
  9. 制御対象の移動方向を指示する認識対象音声と、これに継続する継続音声との連続音声で構成される音声指示命令の入力を受け付ける音声指示装置であって、
    複数の符号データに対応した移動方向が予め設定された記憶手段を含み、入力された前記音声指示命令の認識対象音声をワードスポッティングの手法により符号データに変換し、この符号データと前記記憶手段に記憶されたデータに基づき指示された移動方向を認識し、前記制御対象の移動の開始および移動方向を指示する信号を出力する第1の認識指示手段と、
    前記音声指示命令の継続音声の継続を認識し、その認識期間中は前記制御対象の移動の継続を指示する信号を出力する第2の認識指示手段と、
    を有し、
    前記継続音声は、
    音量により移動速度を指示するように構成され、
    前記第2の認識指示手段は、
    前記継続音声の音量で指示される移動速度を認識し、前記制御対象の移動速度を指示する信号を出力することを特徴とする音声指示装置。
  10. 制御対象の移動方向を指示する認識対象音声と、これに継続する継続音声との連続音声で構成される音声指示命令の入力を受け付ける音声指示装置であって、
    複数の符号データに対応した移動方向が予め設定された記憶手段を含み、入力された前記音声指示命令の認識対象音声をワードスポッティングの手法により符号データに変換し、この符号データと前記記憶手段に記憶されたデータに基づき指示された移動方向を認識し、前記制御対象の移動の開始および移動方向を指示する信号を出力する第1の認識指示手段と、
    前記音声指示命令の継続音声の継続を認識し、その認識期間中は前記制御対象の移動の継続を指示する信号を出力する第2の認識指示手段と、
    を有し、
    前記継続音声は、
    声の高さにより移動速度を指示するように構成され、
    前記第2の認識指示手段は、
    前記継続音声の声の高さで指示される移動速度を認識し、前記制御対象の移動速度を指示する信号を出力することを特徴とする音声指示装置。
  11. 請求項1〜10のいずれかにおいて、
    前記移動の継続を指示する信号を出力する第2の認識指示手段に代えて、
    音声指示命令の継続音声の継続を認識し、その認識が終了した時点で前記制御対象の移動の停止を指示する信号を出力する第2の認識指示手段を有することを特徴とする音声指示装置。
  12. 制御対象の移動方向を指示する認識対象音声と、これに継続する継続音声との連続音声で構成される音声指示命令を認識し、実行するプログラムを記憶している情報記憶媒体であって、
    入力された前記音声指示命令の情報を記憶する手順と、
    前記認識対象音声をワードスポッティングの手法により符号データに変換する手順と、
    複数の符号データに対応した移動方向を表す情報と前記変換された符号データとに基づき、指示された移動方向を認識し、前記制御対象の移動の開始および移動方向を指示する第1の指示手順と、
    前記音声指示命令の継続音声の継続を認識し、その認識期間中は前記制御対象の移動の継続を指示する第2の指示手順と、
    をコンピュータに実行させるプログラムを記憶しており、
    前記認識対象音声は、
    発話時間により移動速度を指示するように構成され、
    前記第1の指示手順は、
    前記認識対象音声の発話時間に基づき指示された移動速度を認識し、前記制御対象の移動方向および移動速度を指示することを特徴とする情報記憶媒体。
  13. 制御対象の移動方向を指示する認識対象音声と、これに継続する継続音声との連続音声で構成される音声指示命令を認識し、実行するプログラムを記憶している情報記憶媒体であって、
    入力された前記音声指示命令の情報を記憶する手順と、
    前記認識対象音声をワードスポッティングの手法により符号データに変換する手順と、
    複数の符号データに対応した移動方向を表す情報と前記変換された符号データとに基づき、指示された移動方向を認識し、前記制御対象の移動の開始および移動方向を指示する第1の指示手順と、
    前記音声指示命令の継続音声の継続を認識し、その認識期間中は前記制御対象の移動の継続を指示する第2の指示手順と、
    をコンピュータに実行させるプログラムを記憶しており、
    前記継続音声は、
    音量により移動速度を指示するように構成され、
    前記第2の指示手順は、
    前記継続音声の音量で指示される移動速度を認識し、前記制御対象の移動速度を指示することを特徴とする情報記憶媒体。
  14. 制御対象の移動方向を指示する認識対象音声と、これに継続する継続音声との連続音声で構成される音声指示命令を認識し、実行するプログラムを記憶している情報記憶媒体であって、
    入力された前記音声指示命令の情報を記憶する手順と、
    前記認識対象音声をワードスポッティングの手法により符号データに変換する手順と、
    複数の符号データに対応した移動方向を表す情報と前記変換された符号データとに基づき、指示された移動方向を認識し、前記制御対象の移動の開始および移動方向を指示する第1の指示手順と、
    前記音声指示命令の継続音声の継続を認識し、その認識期間中は前記制御対象の移動の継続を指示する第2の指示手順と、
    をコンピュータに実行させるプログラムを記憶しており、
    前記継続音声は、
    声の高さにより移動速度を指示するように構成され、
    前記第2の指示手順は、
    前記継続音声の声の高さで指示される移動速度を認識し、前記制御対象の移動速度を指示することを特徴とする情報記憶媒体。
  15. 請求項12〜14のいずれかにおいて、
    前記移動の継続を指示する手順に代えて、
    音声指示命令の継続音声の継続を認識し、その認識が終了した時点で前記制御対象の移動の停止を指示する手順をコンピュータに実行させるプログラムを記憶していることを特徴とする情報記憶媒体。
JP33754897A 1997-03-28 1997-12-08 音声指示装置および音声指示情報記憶媒体 Expired - Fee Related JP3744161B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP33754897A JP3744161B2 (ja) 1997-03-28 1997-12-08 音声指示装置および音声指示情報記憶媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP9-77572 1997-03-28
JP7757297 1997-03-28
JP33754897A JP3744161B2 (ja) 1997-03-28 1997-12-08 音声指示装置および音声指示情報記憶媒体

Publications (2)

Publication Number Publication Date
JPH10326175A JPH10326175A (ja) 1998-12-08
JP3744161B2 true JP3744161B2 (ja) 2006-02-08

Family

ID=26418652

Family Applications (1)

Application Number Title Priority Date Filing Date
JP33754897A Expired - Fee Related JP3744161B2 (ja) 1997-03-28 1997-12-08 音声指示装置および音声指示情報記憶媒体

Country Status (1)

Country Link
JP (1) JP3744161B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3846868B2 (ja) 2002-05-30 2006-11-15 インターナショナル・ビジネス・マシーンズ・コーポレーション コンピュータ装置、表示制御装置、ポインタの位置制御方法、プログラム
US7921364B2 (en) 2005-11-03 2011-04-05 Nuance Communications, Inc. Controlling a computer user interface with sound
JP2018181219A (ja) * 2017-04-20 2018-11-15 株式会社計数技研 音声操作デバイス及び音声操作プログラム
KR20180124564A (ko) 2017-05-12 2018-11-21 네이버 주식회사 수신된 음성 입력의 입력 음량에 기반하여 출력될 소리의 출력 음량을 조절하는 사용자 명령 처리 방법 및 시스템
JP2019028725A (ja) * 2017-07-31 2019-02-21 有限会社ふりーむ 音量値を使用して表示手段に表示された対象を操作制御する方法及びプログラム

Also Published As

Publication number Publication date
JPH10326175A (ja) 1998-12-08

Similar Documents

Publication Publication Date Title
US6519566B1 (en) Method for hands-free operation of a pointer
US6748361B1 (en) Personal speech assistant supporting a dialog manager
US7684985B2 (en) Techniques for disambiguating speech input using multimodal interfaces
US20020123894A1 (en) Processing speech recognition errors in an embedded speech recognition system
KR100632400B1 (ko) 음성 인식을 이용한 입출력 장치 및 그 방법
JP3581881B2 (ja) 音声補完方法、装置および記録媒体
US10504502B2 (en) Sound control device, sound control method, and sound control program
JPH09265299A (ja) テキスト読み上げ装置
JP3399674B2 (ja) 画面制御装置とその方法
US5870705A (en) Method of setting input levels in a voice recognition system
JP3744161B2 (ja) 音声指示装置および音声指示情報記憶媒体
EP1649436B1 (en) Spoken language system
KR20050015585A (ko) 향상된 음성인식 장치 및 방법
Malkin et al. The vocal joystick engine v1. 0
JP2009104047A (ja) 情報処理方法及び情報処理装置
JP2008051883A (ja) 音声合成制御方法および装置
JPH04311222A (ja) 電子ドキュメントを音声処理するポータブル・コンピュータ装置
JP2000250587A (ja) 音声認識装置及び音声認識翻訳装置
JP2003263308A (ja) 画面制御装置とその方法
WO2000068932A1 (fr) Procede et dispositif de commande, procede et dispositif de traitement d'informations et support
JP3282151B2 (ja) 音声制御方式
JP2001195231A (ja) 音声入力装置
JP3698635B2 (ja) 音声認識処理装置
JP2003202890A5 (ja)
JP2019020475A (ja) 音声認識装置、音声認識方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051114

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091202

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101202

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101202

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111202

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111202

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121202

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121202

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131202

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees