JPH03206521A - 音声認識システム - Google Patents
音声認識システムInfo
- Publication number
- JPH03206521A JPH03206521A JP2261164A JP26116490A JPH03206521A JP H03206521 A JPH03206521 A JP H03206521A JP 2261164 A JP2261164 A JP 2261164A JP 26116490 A JP26116490 A JP 26116490A JP H03206521 A JPH03206521 A JP H03206521A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- data
- keyboard
- key
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000737 periodic effect Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 10
- 238000000034 method Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000019771 cognition Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Input From Keyboards Or The Like (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
致止公立
本発明は、音声認識人力システム又はその一部を有する
コンピュータの音声入力に関する。
コンピュータの音声入力に関する。
鵞』０１歴
従来の音声認識システムでは、音声認識システムはコン
ピュータからの指令により入力された音声を認識する処
理を実行し、その結果をコンピュータに出力した後、次
の命令を待つ様に動作する。
ピュータからの指令により入力された音声を認識する処
理を実行し、その結果をコンピュータに出力した後、次
の命令を待つ様に動作する。
すなわち、音声によるデータ入力が必要なたびにコンピ
ュータから音声認識装置に命令を送って認識動作を行わ
せ、応答として認識結果を受けとる方式が用いられてい
る。従って、コンピュータのプログラムには音声認識シ
ステムに命令を出力し、認識結果を受け取るルーチンと
、音声入力が必要となる毎に入力を促すルーチンを具備
しなければならなかった。従って、各種のプログラムで
これを用いる場合、上記プログラムを各々のプログラム
に具備させねばならず、大幅な修正が必要であるととも
に、キーボードとの並行入力が難しかった。また、従来
、認識終了時に割り込み信号を生成し、その割り込み信
号により認識結果に対応する文字列をキーバッファに転
送する力式をとっていたが、この場合、キー人力と音声
入力を同時に並行して行った場合、送られてくるキーデ
ータの内容がこわれる事が予想され問題であった。
ュータから音声認識装置に命令を送って認識動作を行わ
せ、応答として認識結果を受けとる方式が用いられてい
る。従って、コンピュータのプログラムには音声認識シ
ステムに命令を出力し、認識結果を受け取るルーチンと
、音声入力が必要となる毎に入力を促すルーチンを具備
しなければならなかった。従って、各種のプログラムで
これを用いる場合、上記プログラムを各々のプログラム
に具備させねばならず、大幅な修正が必要であるととも
に、キーボードとの並行入力が難しかった。また、従来
、認識終了時に割り込み信号を生成し、その割り込み信
号により認識結果に対応する文字列をキーバッファに転
送する力式をとっていたが、この場合、キー人力と音声
入力を同時に並行して行った場合、送られてくるキーデ
ータの内容がこわれる事が予想され問題であった。
更に、音声認識結果に対応する文字列は予じめ、他のプ
ログラムで生威されており、変更する事が容易ではなか
った。
ログラムで生威されており、変更する事が容易ではなか
った。
コンピュータに音声を用いて入力する場合の一方法とし
てキーボード入力をエミュレーションする方法が考えら
れる。すでに流通している市販のソフトウェアのコマン
ドはその機能略称をキー人力のために記号化してあり、
これに音声入力を用いる場合、機能略称を発声してその
認識結果としてキー人力記号をシステムに送ればその機
能を実現でき、一般に、これを音声キーエミュレーショ
ンと呼んでいる。
てキーボード入力をエミュレーションする方法が考えら
れる。すでに流通している市販のソフトウェアのコマン
ドはその機能略称をキー人力のために記号化してあり、
これに音声入力を用いる場合、機能略称を発声してその
認識結果としてキー人力記号をシステムに送ればその機
能を実現でき、一般に、これを音声キーエミュレーショ
ンと呼んでいる。
一般に、音声キーエミュレータはキーボードの各々のキ
ーに対応する様に単音節認識を行なう方法、また単語単
位のキーストロークに対応するように単語認識でおこな
う方法などが考えられるが、前者の場合、機能名称に対
し必要なキーストロークを区切って発生することは非常
に不自然となり、５ 一般には単語認識を用いて行う方がより使いやすい。
ーに対応する様に単音節認識を行なう方法、また単語単
位のキーストロークに対応するように単語認識でおこな
う方法などが考えられるが、前者の場合、機能名称に対
し必要なキーストロークを区切って発生することは非常
に不自然となり、５ 一般には単語認識を用いて行う方がより使いやすい。
単語認識によりキーエミュレー夕を実現する場合、終識
に必要な音声辞書の各単語に対する発声ストリングと認
識結果にしたがってキーボードバッファに転送するキー
ストロークストリングが必要となるが（例えば「移動」
に対して発声ストリングは「いどう』キーストロークス
トリングはｒＩＤＯＵＪ ） ，コマンド入力として用
いる場合は発声ストリングに対してキーストロークスト
リングをユーザの必要なキーストローク列に設定して用
いる。つまり「移動」という単語に対して使おうとする
アプリケーションのコマンドが’ｐ／ＳＪであるならば
ｒｐ／ｓＪと設定する。この様に単語認識を用いる場合
、アプリケーションプログラム（例えば、ワープロソフ
トやデータベースソフト）のコマンド操作に置き換える
と大変有効に使える。
に必要な音声辞書の各単語に対する発声ストリングと認
識結果にしたがってキーボードバッファに転送するキー
ストロークストリングが必要となるが（例えば「移動」
に対して発声ストリングは「いどう』キーストロークス
トリングはｒＩＤＯＵＪ ） ，コマンド入力として用
いる場合は発声ストリングに対してキーストロークスト
リングをユーザの必要なキーストローク列に設定して用
いる。つまり「移動」という単語に対して使おうとする
アプリケーションのコマンドが’ｐ／ＳＪであるならば
ｒｐ／ｓＪと設定する。この様に単語認識を用いる場合
、アプリケーションプログラム（例えば、ワープロソフ
トやデータベースソフト）のコマンド操作に置き換える
と大変有効に使える。
さらに、そのコマンドの複合動作にも用いることが可能
である。つまり、アプリケーションの個−６＝ 別のコマンドの「移動」のコマンドキーストロークが”
ｐ ／ ｓ ／改行″「複写』のそれがＩＩ ｆ／改
行″であったとすると、発声ストリング「コピー」を有
する音声辞書に対してこの文字ストリング”ｐ／ｓ／改
行／ｆ／改行″をキーバッファに転送することにより一
回の発声でコマンドの複数駆動が可能となる。
である。つまり、アプリケーションの個−６＝ 別のコマンドの「移動」のコマンドキーストロークが”
ｐ ／ ｓ ／改行″「複写』のそれがＩＩ ｆ／改
行″であったとすると、発声ストリング「コピー」を有
する音声辞書に対してこの文字ストリング”ｐ／ｓ／改
行／ｆ／改行″をキーバッファに転送することにより一
回の発声でコマンドの複数駆動が可能となる。
しかしながら、この様な音声キーエミュレー夕を実現し
ようとする場合、何らかの形で主走行プログラムと認識
プログラムとの並行処理が必要となり、一般には、発声
トリガキーを用いて認識処理プログラムに切り換える。
ようとする場合、何らかの形で主走行プログラムと認識
プログラムとの並行処理が必要となり、一般には、発声
トリガキーを用いて認識処理プログラムに切り換える。
この発声トリガキーは一般には特殊なキー操作（例えば
ＡＬＴ−Ｖ，ＣＴＬ−Ｖ・）を与え、必要に応じて変更
する。
ＡＬＴ−Ｖ，ＣＴＬ−Ｖ・）を与え、必要に応じて変更
する。
更に、第１１図に示す様なキーストロークの編集も同様
に主走行プログラム上で行える様に同様の方法を用いる
。
に主走行プログラム上で行える様に同様の方法を用いる
。
この様に音声キーエミュレー夕を実現するためには、走
行中のプログラムからそのトリガキーを取得せねばなら
ず、主走行プログラムに影響を及ぼさない様にする方法
が難しかった。
行中のプログラムからそのトリガキーを取得せねばなら
ず、主走行プログラムに影響を及ぼさない様にする方法
が難しかった。
目 的
本発明は、上述のごとき実情に鑑みてなされたもので、
キーボードから入力されるキーデータの内容をチェック
し、その内容があらかじめ定められた内容の時のみ音声
認識のためのデータ入力を可能とし認識処理を行う事に
より既存のプログラムを何ら修正せず、又、走行中のプ
ログラムに影響を与えないで、音声入力及び音声認識処
理を実行せしめることのできる音声入力システムを提供
することを目的としてなされたものである。
キーボードから入力されるキーデータの内容をチェック
し、その内容があらかじめ定められた内容の時のみ音声
認識のためのデータ入力を可能とし認識処理を行う事に
より既存のプログラムを何ら修正せず、又、走行中のプ
ログラムに影響を与えないで、音声入力及び音声認識処
理を実行せしめることのできる音声入力システムを提供
することを目的としてなされたものである。
豊一一炭
本発明は、上記目的を達威するために、（１）キーボー
ドなどのキーデータを入力する手段と、演算処理を行う
ＣＰＵと、前記演算処理の結果を表示する表示手段と、
マイクから入力された音声を増幅、補正などを行う信号
処理手段と、得られた信号を周波数解析し、音声の特徴
パラメータを得る手段と、更にこの特徴パラメータをあ
る周期毎に入力する手段と、得られた特徴パラメータ列
から音声区間を検出する手段と、得られたデータに基い
て標準パターンを作成する手段と、その標準パターンを
メモリに格納する手段と、更に未知入力データに対して
標準パターンと比較認識する手段と、認識結果に対する
文字列データを有し、その文字列をキーボードバッファ
に転送する音声認識システムにおいて、キーボードが押
される毎に発生する割り込み信号によりキーボードデー
タの内容を確認し、その内容があらかじめ定められた内
容と合致する時は、割り込みプログラムにより音声入力
の割り込みを許可し、データの入力を行い認識処理を行
う事、更には、（２）前記（１）において、音声入力が
許可された時点では、音声入力の周期割り込みとキーボ
ードの入力割り込みが許可され、音声区間検出手段によ
り音声の始端が検出された時点でキーボード割り込みを
禁止する事、更には、（３）前記（１）又は（２）にお
いて、前記あらかじめ定められたキーとは別のあらかじ
め定めたキーが確認された場合、文字列の９ 変更を可能にする事、或いは、キーボードなどのキーデ
ータを入力する手段と、演算処理を行うＣＰＵと、前記
演算処理の結果を表示する表示手段と、マイクから入力
された音声を増幅、補正などを行う信号処理手段と、得
られた信号を周波数解析し、音声の特徴パラメータを得
る手段と、この特徴パラメータをある周期毎に入力する
手段と、得られた特徴パラメータ列から音声区間を検出
する手段と、得られたデータに基いて標準パターンを作
成する手段と、その標準パターンをメモリに格納する手
段と、未知入力データに対して標準パターンと比較認識
する手段と、認識結果に対する文字列データを有し、そ
の文字列をキーボードバッファに転送する音声認識シス
テムにおいて、キーボードが押される毎に発生する割り
込み信号によりキーボードデータの内容を確認し、その
内容があらかじめ定められた内容と合致する時は、合致
フラグをＯＮとして本割り込みを終了し、このキー割り
込み処理とは別の第三の割り込み処理ルーチン又は主走
行プログラム中で、この合致フラ１０− グを検査してこれがＯＮの時音声入力の割り込みを許可
し、データの入力を行って認識処理を行う事を特徴とす
るものである。以下、本発明の実施例に基いて説明する
。
ドなどのキーデータを入力する手段と、演算処理を行う
ＣＰＵと、前記演算処理の結果を表示する表示手段と、
マイクから入力された音声を増幅、補正などを行う信号
処理手段と、得られた信号を周波数解析し、音声の特徴
パラメータを得る手段と、更にこの特徴パラメータをあ
る周期毎に入力する手段と、得られた特徴パラメータ列
から音声区間を検出する手段と、得られたデータに基い
て標準パターンを作成する手段と、その標準パターンを
メモリに格納する手段と、更に未知入力データに対して
標準パターンと比較認識する手段と、認識結果に対する
文字列データを有し、その文字列をキーボードバッファ
に転送する音声認識システムにおいて、キーボードが押
される毎に発生する割り込み信号によりキーボードデー
タの内容を確認し、その内容があらかじめ定められた内
容と合致する時は、割り込みプログラムにより音声入力
の割り込みを許可し、データの入力を行い認識処理を行
う事、更には、（２）前記（１）において、音声入力が
許可された時点では、音声入力の周期割り込みとキーボ
ードの入力割り込みが許可され、音声区間検出手段によ
り音声の始端が検出された時点でキーボード割り込みを
禁止する事、更には、（３）前記（１）又は（２）にお
いて、前記あらかじめ定められたキーとは別のあらかじ
め定めたキーが確認された場合、文字列の９ 変更を可能にする事、或いは、キーボードなどのキーデ
ータを入力する手段と、演算処理を行うＣＰＵと、前記
演算処理の結果を表示する表示手段と、マイクから入力
された音声を増幅、補正などを行う信号処理手段と、得
られた信号を周波数解析し、音声の特徴パラメータを得
る手段と、この特徴パラメータをある周期毎に入力する
手段と、得られた特徴パラメータ列から音声区間を検出
する手段と、得られたデータに基いて標準パターンを作
成する手段と、その標準パターンをメモリに格納する手
段と、未知入力データに対して標準パターンと比較認識
する手段と、認識結果に対する文字列データを有し、そ
の文字列をキーボードバッファに転送する音声認識シス
テムにおいて、キーボードが押される毎に発生する割り
込み信号によりキーボードデータの内容を確認し、その
内容があらかじめ定められた内容と合致する時は、合致
フラグをＯＮとして本割り込みを終了し、このキー割り
込み処理とは別の第三の割り込み処理ルーチン又は主走
行プログラム中で、この合致フラ１０− グを検査してこれがＯＮの時音声入力の割り込みを許可
し、データの入力を行って認識処理を行う事を特徴とす
るものである。以下、本発明の実施例に基いて説明する
。
第１図は、本発明の一実施例を説明するための構威図で
、図中、ｌはマイクロフォン、２は前処理部、３は特徴
パラメータ抽出部、４は音声区間検出部、５は特徴パラ
メータ入力制御部、６はキーボード割り込み制御部、７
はキーデータチェック部、８は周期信号発生部、９はデ
ータ入力部、１０は入カバッファ、ｌ１は標準パターン
メモリ、１２は認識処理部、１３は結果出力部、１４は
文字列変換部、１５はキー人力データバツファで、マイ
ク１から入力された音声信号は前処理部２において増幅
、補正され、特徴パラメータ抽出部３において周波数解
析を行い、例えば、パワースペクトルやＬＰＧケブスト
ラムなどの認識処理に必要な特徴パラメータ列を生或す
る。一方、前処理部２からの音声信号と、前記特徴パラ
メータに従って音声区間検出部４で音声区間が検出され
特徴パラメータ入力制御部５へその信号が送られる。
、図中、ｌはマイクロフォン、２は前処理部、３は特徴
パラメータ抽出部、４は音声区間検出部、５は特徴パラ
メータ入力制御部、６はキーボード割り込み制御部、７
はキーデータチェック部、８は周期信号発生部、９はデ
ータ入力部、１０は入カバッファ、ｌ１は標準パターン
メモリ、１２は認識処理部、１３は結果出力部、１４は
文字列変換部、１５はキー人力データバツファで、マイ
ク１から入力された音声信号は前処理部２において増幅
、補正され、特徴パラメータ抽出部３において周波数解
析を行い、例えば、パワースペクトルやＬＰＧケブスト
ラムなどの認識処理に必要な特徴パラメータ列を生或す
る。一方、前処理部２からの音声信号と、前記特徴パラ
メータに従って音声区間検出部４で音声区間が検出され
特徴パラメータ入力制御部５へその信号が送られる。
又、パーソナルコンピュータへ入力されるキーデータは
、キーデータチェック部７で一旦データが格納され、そ
の内容がチェックされる。このチェックは具体的にはキ
ーボードが押される事による割り込み信号に基いて、第
２図に示すフローを有する割り込み処理プログラムにお
いて、あらかじめ定めた特定のキーが押されたかどうか
をチェックする（例えば、”ＡＬＴ−Ｖ”などの特殊キ
ーストローク）。
、キーデータチェック部７で一旦データが格納され、そ
の内容がチェックされる。このチェックは具体的にはキ
ーボードが押される事による割り込み信号に基いて、第
２図に示すフローを有する割り込み処理プログラムにお
いて、あらかじめ定めた特定のキーが押されたかどうか
をチェックする（例えば、”ＡＬＴ−Ｖ”などの特殊キ
ーストローク）。
第３図は、特定のキーが押された場合のフローを示す図
で、押されたキーが特殊キーであった場合は、この信号
が特徴パラメータ入力制御部５へ送られ、周期信号発生
部８で生成される周期時間パルスによる割り込みを許可
する。データ入力部９は、この周期信号（例えば５〜２
０ｍｓ周期）に基いて、データの入力を開始する。更に
このデータ入力部９においては音声の入力が開始される
までは音声データとキーデータの入力をチェックし、音
声区間検出部４から区間検出信号に従って音声の始端が
検出された事を確認して音声の特徴パラメータ列を入力
バツファ１０に入れると同時に、認識処理１２を開始さ
せ、第３図に示した音声処理を行う。この時、キーボー
ドからの不用意な割り込みを禁止するために、この時点
でキーボードの割り込みを音声入力より先にキーボード
割り込みが生じた場合はキーデータの読み込みを優先し
て行い、音声入力処理をキャンセルする。この様にして
得られた入カバツファの特徴パラメータ列とあらかじめ
登録されている標準パターン１ｌを認識処理部１２にお
いて認識処理を行い、その結果を結果出力部ｌ３にて求
めてその結果に対応する文字列に文字列変換部ｌ４にお
いて変換し、キー人力データバッファｌ５に転送し、キ
ーボード入力と等価する。
で、押されたキーが特殊キーであった場合は、この信号
が特徴パラメータ入力制御部５へ送られ、周期信号発生
部８で生成される周期時間パルスによる割り込みを許可
する。データ入力部９は、この周期信号（例えば５〜２
０ｍｓ周期）に基いて、データの入力を開始する。更に
このデータ入力部９においては音声の入力が開始される
までは音声データとキーデータの入力をチェックし、音
声区間検出部４から区間検出信号に従って音声の始端が
検出された事を確認して音声の特徴パラメータ列を入力
バツファ１０に入れると同時に、認識処理１２を開始さ
せ、第３図に示した音声処理を行う。この時、キーボー
ドからの不用意な割り込みを禁止するために、この時点
でキーボードの割り込みを音声入力より先にキーボード
割り込みが生じた場合はキーデータの読み込みを優先し
て行い、音声入力処理をキャンセルする。この様にして
得られた入カバツファの特徴パラメータ列とあらかじめ
登録されている標準パターン１ｌを認識処理部１２にお
いて認識処理を行い、その結果を結果出力部ｌ３にて求
めてその結果に対応する文字列に文字列変換部ｌ４にお
いて変換し、キー人力データバッファｌ５に転送し、キ
ーボード入力と等価する。
更に上記キーデータ入力キーとは別に、第４図に示すよ
うに、あらかじめ第２の特定キーを設定しておき（例え
ば、ＣＴＬ−Ｓなど）、そのキーが確認された場合は、
認識結果に対応する文字列データーを例えばディスプレ
イ等で変更できる様構１３ー 成する事により、同様に即座に結果に対する文字列デー
タが変更され有効である。
うに、あらかじめ第２の特定キーを設定しておき（例え
ば、ＣＴＬ−Ｓなど）、そのキーが確認された場合は、
認識結果に対応する文字列データーを例えばディスプレ
イ等で変更できる様構１３ー 成する事により、同様に即座に結果に対する文字列デー
タが変更され有効である。
なお、以上には、特定のキーを用いてパソコン上で走行
しているアプリケーションに割り込む例について説明し
たが、第２図に破線で示したように入力音声の始端を検
出して割り込みをするようにしてもよい。第５図は、そ
の場合のフローを示す図で、周期信号発生部８よりのパ
ルス信号により入力音声の始端を常時検出しており、始
端が検出された場合には、前記キー割り込みと同様にし
て割り込みをかける。この場合、音声入力を行うための
周期割り込みパルスにより駆動させる割り込みプログラ
ムを有しており、この割り込みにより、音声のデータ入
力及び認識処理を行うものであるが、始端が検出される
前にキーボードが押された場合にはキーボードの処理を
行い、また、音声の入力、認識処理が行われている途中
でキー人力があった場合には、上記の処理をキャンセル
する。
しているアプリケーションに割り込む例について説明し
たが、第２図に破線で示したように入力音声の始端を検
出して割り込みをするようにしてもよい。第５図は、そ
の場合のフローを示す図で、周期信号発生部８よりのパ
ルス信号により入力音声の始端を常時検出しており、始
端が検出された場合には、前記キー割り込みと同様にし
て割り込みをかける。この場合、音声入力を行うための
周期割り込みパルスにより駆動させる割り込みプログラ
ムを有しており、この割り込みにより、音声のデータ入
力及び認識処理を行うものであるが、始端が検出される
前にキーボードが押された場合にはキーボードの処理を
行い、また、音声の入力、認識処理が行われている途中
でキー人力があった場合には、上記の処理をキャンセル
する。
而して、以上に説明した例では、ある特定のキ− １４
− 一人力があった場合、音声入力のトリガキーとして受け
つけ、以後、主走行プログラムから音声入力処理ルーチ
ンに処理を切り換えて認識処理を行っており、この場合
、認識処理ルーチンは主走行プログラム又は対象コンピ
ュータの走行環境を考慮しておらず、場合によっては、
クリティヵルな処理を中断し、システムエラーをもたら
す心配があった。つまり、キーボード割り込み処理は、
般には、ハードウェア割り込み処理でキーが押される事
により物理的な信号が発生し割り込み処理を行うもので
あり、従って、本処理ルーチンは、主走行ルーチン又は
その他の環境を考慮していないため、本キー割り込み処
理ルーチン内で音声入力を促す事がシステム（ＰＣ）に
とって良いタイミングとは限らない。つまり、アプリケ
ーション等がキー人力を期待しないフェーズでも発生す
る。
− 一人力があった場合、音声入力のトリガキーとして受け
つけ、以後、主走行プログラムから音声入力処理ルーチ
ンに処理を切り換えて認識処理を行っており、この場合
、認識処理ルーチンは主走行プログラム又は対象コンピ
ュータの走行環境を考慮しておらず、場合によっては、
クリティヵルな処理を中断し、システムエラーをもたら
す心配があった。つまり、キーボード割り込み処理は、
般には、ハードウェア割り込み処理でキーが押される事
により物理的な信号が発生し割り込み処理を行うもので
あり、従って、本処理ルーチンは、主走行ルーチン又は
その他の環境を考慮していないため、本キー割り込み処
理ルーチン内で音声入力を促す事がシステム（ＰＣ）に
とって良いタイミングとは限らない。つまり、アプリケ
ーション等がキー人力を期待しないフェーズでも発生す
る。
以下に、上述のごとき不具合を回避するための実施例に
ついて説明する。
ついて説明する。
前述のように、キー割り込み中で予め設定されているト
リガキーと押されたキーが合致した時にそのまま音声処
理にジャンプさせた場合、走行している主プログラムや
システムの事を考慮せずに音声の入力待ちとなり、これ
が停止するため、不具合を生ずる。従って、本キー人力
割り込み処理では、その場合、別途合致フラグを設け、
合致フラグをＯＮにしてそのキー割り込み処理を抜け、
主プログラムに戻る。つまり、第６図（ａ）に示すキー
割り込み処理ルーチン間で、押されたキーが合致した場
合は合致フラグをＯＮにする事により、この時点では通
常のキー処理ルーチンを実行し、第６図（ｂ）に示す他
割込み処理ルーチン内で、合致フラグを検査し合致フラ
グがＯＮならば音声入力処理を行う。この第６図（ｂ）
に示した処理は、例えば、主走行プログラムが安定状態
にある時に発生する割り込みゃキーボード待ちになった
時に発生する割り込み等を用いる。具体的には、例えば
、ＭＳ−ＤＯＳのシステムコールにおいてＭＳ−ＤＯＳ
状態にある時に発生する割り込みやキー人力待ちになっ
た時に発生するＢＩＯＳ等がある。
リガキーと押されたキーが合致した時にそのまま音声処
理にジャンプさせた場合、走行している主プログラムや
システムの事を考慮せずに音声の入力待ちとなり、これ
が停止するため、不具合を生ずる。従って、本キー人力
割り込み処理では、その場合、別途合致フラグを設け、
合致フラグをＯＮにしてそのキー割り込み処理を抜け、
主プログラムに戻る。つまり、第６図（ａ）に示すキー
割り込み処理ルーチン間で、押されたキーが合致した場
合は合致フラグをＯＮにする事により、この時点では通
常のキー処理ルーチンを実行し、第６図（ｂ）に示す他
割込み処理ルーチン内で、合致フラグを検査し合致フラ
グがＯＮならば音声入力処理を行う。この第６図（ｂ）
に示した処理は、例えば、主走行プログラムが安定状態
にある時に発生する割り込みゃキーボード待ちになった
時に発生する割り込み等を用いる。具体的には、例えば
、ＭＳ−ＤＯＳのシステムコールにおいてＭＳ−ＤＯＳ
状態にある時に発生する割り込みやキー人力待ちになっ
た時に発生するＢＩＯＳ等がある。
第７図及び第８図は、第６図に示した実施例の有効性を
説明するための図で、第７図に示すように、クリティカ
ルなＪＯＢを行っている時に、音声入力のためのキー割
り込みが発生しても、この時はクリティカルなＪＯＢを
行っているため、音声入力処理に移ると不具合が生じる
。つまり、キー割り込みが発声して、その内容が音声入
力の場合かどうかの判断は、第８図に示す割り込み処理
ルーチン内で行うが、その処理を行うかどうかは主走行
プロプログラム又はシステムの状態を鑑みて行う必要が
ある。従って、キー割り込み処理ルーチン内ではその内
容が音声入力を促すものかどうかのみを判断し、主走行
プログラムがキー待ちルーチンに入った時点で音声処理
に移行する方が望ましい。
説明するための図で、第７図に示すように、クリティカ
ルなＪＯＢを行っている時に、音声入力のためのキー割
り込みが発生しても、この時はクリティカルなＪＯＢを
行っているため、音声入力処理に移ると不具合が生じる
。つまり、キー割り込みが発声して、その内容が音声入
力の場合かどうかの判断は、第８図に示す割り込み処理
ルーチン内で行うが、その処理を行うかどうかは主走行
プロプログラム又はシステムの状態を鑑みて行う必要が
ある。従って、キー割り込み処理ルーチン内ではその内
容が音声入力を促すものかどうかのみを判断し、主走行
プログラムがキー待ちルーチンに入った時点で音声処理
に移行する方が望ましい。
第９図は、前述の合致フラグを主走プログラムで検査す
る場合の例を説明するためのフローチャートである。
る場合の例を説明するためのフローチャートである。
この合致フラグは主走行プログラムで検査しても良く、
具体的には主走行プログラムの最も都合−１７ の良いタイミングを待ってその合致フラグのチェックを
行えば良い。この場合、キー割り込みが生じ合致フラグ
がＯＮされて、ユーザの発声を待たせる場合は、例えば
、Ｂｕｓｙ， Ｒｅａｄｙ等の表示を行って多少の入力
タイミングの表示を行っても良い。つまり、主走行プロ
グラムの最も都合の良い時（一般的にはキー人力を要求
している時）に音声入力を促し、その認識結果に対応す
る文字例をキーボードバッファに転送する。而して、上
記処理において、例えば、複数の割り込み処理内で合致
フラグのチェックを行う事も考えられる。つまり、ＭＳ
−ＤＯＳの安定状態に発生する割り込みとキー人力待ち
のＢＩＯＳが呼ばれた時に発生する割り込み等の複数の
割り込みのどれかで検知された場合に、その処理を行う
様にし、その処理が終了したら合致フラグをＯＦＦとす
る。例えば、ＭＳ−ＤＯＳのキー人力待ちには、ＭＳ−
ＤＯＳのシステムコール、キー人力待ちのＢＩＯＳコー
ル等が用意されており、システムコールではＭＳ−ＤＯ
Ｓのコマンド入力待ち時の安定状態で呼ばれる−１８− 内部割り込み等があり、同様にキー人力待ちのコール等
もある。
具体的には主走行プログラムの最も都合−１７ の良いタイミングを待ってその合致フラグのチェックを
行えば良い。この場合、キー割り込みが生じ合致フラグ
がＯＮされて、ユーザの発声を待たせる場合は、例えば
、Ｂｕｓｙ， Ｒｅａｄｙ等の表示を行って多少の入力
タイミングの表示を行っても良い。つまり、主走行プロ
グラムの最も都合の良い時（一般的にはキー人力を要求
している時）に音声入力を促し、その認識結果に対応す
る文字例をキーボードバッファに転送する。而して、上
記処理において、例えば、複数の割り込み処理内で合致
フラグのチェックを行う事も考えられる。つまり、ＭＳ
−ＤＯＳの安定状態に発生する割り込みとキー人力待ち
のＢＩＯＳが呼ばれた時に発生する割り込み等の複数の
割り込みのどれかで検知された場合に、その処理を行う
様にし、その処理が終了したら合致フラグをＯＦＦとす
る。例えば、ＭＳ−ＤＯＳのキー人力待ちには、ＭＳ−
ＤＯＳのシステムコール、キー人力待ちのＢＩＯＳコー
ル等が用意されており、システムコールではＭＳ−ＤＯ
Ｓのコマンド入力待ち時の安定状態で呼ばれる−１８− 内部割り込み等があり、同様にキー人力待ちのコール等
もある。
更に、上記の合致フラグのチェックは、例えば第１０図
に示すように、認識装置２０内に設けられているノイズ
検知装置２ｌからの信号によって行ってもよい。つまり
、ノイズ検知装置により周囲雑音が比較的静かな時に合
致フラグのチェックを行いＯＮならば音声入力処理を行
う。
に示すように、認識装置２０内に設けられているノイズ
検知装置２ｌからの信号によって行ってもよい。つまり
、ノイズ検知装置により周囲雑音が比較的静かな時に合
致フラグのチェックを行いＯＮならば音声入力処理を行
う。
羞−一来
以上の説明から明らかなように、本発明によると、音声
入力を用いたプログラムを修正する事もなく、又、現在
走行中のプログラムに影響を与えずに音声認識結果をキ
ーボード入力と同様に用いる事ができ、更には、現在走
行中のプログラムに影響を与えずに音声入力によるキー
エミュレーションを実現できる。
入力を用いたプログラムを修正する事もなく、又、現在
走行中のプログラムに影響を与えずに音声認識結果をキ
ーボード入力と同様に用いる事ができ、更には、現在走
行中のプログラムに影響を与えずに音声入力によるキー
エミュレーションを実現できる。
第１図は、本発明の一実施例を説明するための構成図、
第２図は、割り込み処理のフローチャート、第３図は、
請求項■及び２に記載のキーが押された時のフローを示
す図、第４図は、請求項３に記載のキーが押された時の
フローを示す図、第５図は、入力音声の始端を検出して
割り込みをする時のフローを示す図、第６図は、キー割
り込み及びキー以外の割り込みルーチンを説明するため
のフローチャート、第７図及び第８図は、第６図に示し
た実施例の有効性を説明するための図、第９図は、合致
フラグを主走査プログラムで検査する場合の例を示す図
、第１０図は、合致フラグチェックを説明するための図
、第１１図は、結集画面の一例を示すための図である。 ｌ・・・マイクロフォン、２・・・前処理部、３・・・
特徴パラメータ抽出部、４・・・音声区間検出部、５・
・・特徴パラメータ入力制御部、６・・・キーボード割
り込み制御部、７・・・キーデータチェック部、８・・
・周期信号発生部、９・・・データ入力部、１０・・・
入カパッファ、１１・・・標準パターンメモリ、１２・
・・認識処理部、１３・・・結果出力部、１４・・・文
字列変換部、１５・・・キー人力データバッファ。 第 ２ 図 ９ 「ｌ−＝ 始端 ：検出！ ・一＋−Ｊ 第 ３ 図 第 ４ 図
第２図は、割り込み処理のフローチャート、第３図は、
請求項■及び２に記載のキーが押された時のフローを示
す図、第４図は、請求項３に記載のキーが押された時の
フローを示す図、第５図は、入力音声の始端を検出して
割り込みをする時のフローを示す図、第６図は、キー割
り込み及びキー以外の割り込みルーチンを説明するため
のフローチャート、第７図及び第８図は、第６図に示し
た実施例の有効性を説明するための図、第９図は、合致
フラグを主走査プログラムで検査する場合の例を示す図
、第１０図は、合致フラグチェックを説明するための図
、第１１図は、結集画面の一例を示すための図である。 ｌ・・・マイクロフォン、２・・・前処理部、３・・・
特徴パラメータ抽出部、４・・・音声区間検出部、５・
・・特徴パラメータ入力制御部、６・・・キーボード割
り込み制御部、７・・・キーデータチェック部、８・・
・周期信号発生部、９・・・データ入力部、１０・・・
入カパッファ、１１・・・標準パターンメモリ、１２・
・・認識処理部、１３・・・結果出力部、１４・・・文
字列変換部、１５・・・キー人力データバッファ。 第 ２ 図 ９ 「ｌ−＝ 始端 ：検出！ ・一＋−Ｊ 第 ３ 図 第 ４ 図
Claims (1)
- 【特許請求の範囲】 １、キーボードなどのキーデータを入力する手段と、演
算処理を行うＣＰＵと、前記演算処理の結果を表示する
表示手段と、マイクから入力された音声を増幅、補正な
どを行う信号処理手段と、得られた信号を周波数解析し
、音声の特徴パラメータを得る手段と、この特徴パラメ
ータをある周期毎に入力する手段と、得られた特徴パラ
メータ列から音声区間を検出する手段と、得られたデー
タに基いて標準パターンを作成する手段と、その標準パ
ターンをメモリに格納する手段と、未知入力データに対
して標準パターンと比較認識する手段と、認識結果に対
する文字列データを有し、その文字列をキーボードバッ
ファに転送する音声認識システムにおいて、キーボード
が押される毎に発生する割り込み信号によりキーボード
データの内容を確認し、その内容があらかじめ定められ
た内容と合致する時は、割り込みプログラムにより音声
入力の割り込みを許可し、データの入力を行って認識処
理を行う事を特徴とする音声認識システム。 ２、音声入力が許可された時点では音声入力の周期割り
込みとキーボードの入力割り込みが許可され、音声区間
検出手段により音声の始端が検出された時点でキーボー
ド割り込みを禁止する事を特徴とする請求項１に記載の
音声認識システム。 ３、前記あらかじめ定められたキーとは別のあらかじめ
定めたキーが確認された場合に、文字列の変更を可能に
する事を特徴とする請求項１又は２に記載の音声認識シ
ステム。 ４、キーボードなどのキーデータを入力する手段と、演
算処理を行うＣＰＵと、前記演算処理の結果を表示する
表示手段と、マイクから入力された音声を増幅、補正な
どを行う信号処理手段と、得られた信号を周波数解析し
、音声の特徴パラメータを得る手段と、この特徴パラメ
ータをある周期毎に入力する手段と、得られた特徴パラ
メータ列から音声区間を検出する手段と、得られたデー
タに基いて標準パターンを作成する手段と、その標準パ
ターンをメモリに格納する手段と、未知入力データに対
して標準パターンと比較認識する手段と、認識結果に対
する文字列データを有し、その文字列をキーボードバッ
ファに転送する音声認識システムにおいて、キーボード
が押される毎に発生する割り込み信号によりキーボード
データの内容を確認し、その内容があらかじめ定められ
た内容と合致する時は、合致フラグをＯＮとして本割り
込みを終了し、このキー割り込み処理とは別の第三の割
り込み処理ルーチン又は主走行プログラム中で、この合
致フラグを検査し、これがＯＮの時は音声入力の割り込
みを許可し、データの入力を行って認識処理を行う事を
特徴とする音声認識システム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26129589 | 1989-10-06 | ||
| JP1-261295 | 1989-10-06 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH03206521A true JPH03206521A (ja) | 1991-09-09 |
| JP3088739B2 JP3088739B2 (ja) | 2000-09-18 |
Family
ID=17359815
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP02261164A Expired - Lifetime JP3088739B2 (ja) | 1989-10-06 | 1990-09-28 | 音声認識システム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5231691A (ja) |
| JP (1) | JP3088739B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5974384A (en) * | 1992-03-25 | 1999-10-26 | Ricoh Company, Ltd. | Window control apparatus and method having function for controlling windows by means of voice-input |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7242988B1 (en) * | 1991-12-23 | 2007-07-10 | Linda Irene Hoffberg | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
| US5920837A (en) * | 1992-11-13 | 1999-07-06 | Dragon Systems, Inc. | Word recognition system which stores two models for some words and allows selective deletion of one such model |
| US5546565A (en) * | 1993-06-21 | 1996-08-13 | Casio Computer Co., Ltd. | Input/output apparatus having a pen, and method of associating and processing handwritten image data and voice data |
| JP3267047B2 (ja) * | 1994-04-25 | 2002-03-18 | 株式会社日立製作所 | 音声による情報処理装置 |
| US5764852A (en) * | 1994-08-16 | 1998-06-09 | International Business Machines Corporation | Method and apparatus for speech recognition for distinguishing non-speech audio input events from speech audio input events |
| US5659665A (en) * | 1994-12-08 | 1997-08-19 | Lucent Technologies Inc. | Method and apparatus for including speech recognition capabilities in a computer system |
| GB2296349A (en) * | 1994-12-19 | 1996-06-26 | Secr Defence | Maintaining order of input data events |
| US5857172A (en) * | 1995-07-31 | 1999-01-05 | Microsoft Corporation | Activation control of a speech recognizer through use of a pointing device |
| US5864815A (en) * | 1995-07-31 | 1999-01-26 | Microsoft Corporation | Method and system for displaying speech recognition status information in a visual notification area |
| US5761641A (en) * | 1995-07-31 | 1998-06-02 | Microsoft Corporation | Method and system for creating voice commands for inserting previously entered information |
| US5748191A (en) * | 1995-07-31 | 1998-05-05 | Microsoft Corporation | Method and system for creating voice commands using an automatically maintained log interactions performed by a user |
| EP2184864A3 (en) | 1996-04-26 | 2011-12-14 | AT & T Corp. | Method and apparatus for data transmission using multiple transmit antennas |
| JPH09330336A (ja) * | 1996-06-11 | 1997-12-22 | Sony Corp | 情報処理装置 |
| US5864807A (en) * | 1997-02-25 | 1999-01-26 | Motorola, Inc. | Method and apparatus for training a speaker recognition system |
| US6856960B1 (en) * | 1997-04-14 | 2005-02-15 | At & T Corp. | System and method for providing remote automatic speech recognition and text-to-speech services via a packet network |
| US8209184B1 (en) | 1997-04-14 | 2012-06-26 | At&T Intellectual Property Ii, L.P. | System and method of providing generated speech via a network |
| US6078886A (en) | 1997-04-14 | 2000-06-20 | At&T Corporation | System and method for providing remote automatic speech recognition services via a packet network |
| US6292857B1 (en) * | 1997-06-05 | 2001-09-18 | Microsoft Corporation | Method and mechanism for coordinating input of asynchronous data |
| US6038534A (en) * | 1997-09-11 | 2000-03-14 | Cowboy Software, Inc. | Mimicking voice commands as keyboard signals |
| DE19914631A1 (de) * | 1999-03-31 | 2000-10-12 | Bosch Gmbh Robert | Eingabeverfahren in ein Fahrerinformationssystem |
| WO2002041610A1 (fr) * | 2000-11-17 | 2002-05-23 | Sanyo Electric Co., Ltd. | Appareil telephonique a commande vocale |
| US8942985B2 (en) | 2004-11-16 | 2015-01-27 | Microsoft Corporation | Centralized method and system for clarifying voice commands |
| US20060123220A1 (en) * | 2004-12-02 | 2006-06-08 | International Business Machines Corporation | Speech recognition in BIOS |
| US7703037B2 (en) * | 2005-04-20 | 2010-04-20 | Microsoft Corporation | Searchable task-based interface to control panel functionality |
| US7925975B2 (en) | 2006-03-10 | 2011-04-12 | Microsoft Corporation | Searching for commands to execute in applications |
| US20080282154A1 (en) * | 2006-09-11 | 2008-11-13 | Nurmi Mikko A | Method and apparatus for improved text input |
| WO2008100518A1 (en) * | 2007-02-13 | 2008-08-21 | Ntera Limited | Voltage feedback circuit for active matrix reflective display devices |
| US11972095B2 (en) * | 2021-03-23 | 2024-04-30 | Microsoft Technology Licensing, Llc | Voice assistant-enabled client application with user view context and multi-modal input support |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CH644246B (fr) * | 1981-05-15 | 1900-01-01 | Asulab Sa | Dispositif d'introduction de mots a commande par la parole. |
| DE3129282A1 (de) * | 1981-07-24 | 1983-02-10 | Siemens AG, 1000 Berlin und 8000 München | Verfahren zur sprecherabhaengigen erkennung von einzelnen gesprochenen worten in fernmeldesystemen |
| DE3129353A1 (de) * | 1981-07-24 | 1983-02-10 | Siemens AG, 1000 Berlin und 8000 München | Verfahren zur sprecherunabhaengigen erkennung von gesprochenen worten in fernmeldesystemen |
| JPS58195957A (ja) * | 1982-05-11 | 1983-11-15 | Casio Comput Co Ltd | 音声によるプログラム実行方式 |
| US4741036A (en) * | 1985-01-31 | 1988-04-26 | International Business Machines Corporation | Determination of phone weights for markov models in a speech recognition system |
| US4776016A (en) * | 1985-11-21 | 1988-10-04 | Position Orientation Systems, Inc. | Voice control system |
| US4931950A (en) * | 1988-07-25 | 1990-06-05 | Electric Power Research Institute | Multimedia interface and method for computer system |
-
1990
- 1990-09-28 JP JP02261164A patent/JP3088739B2/ja not_active Expired - Lifetime
- 1990-10-05 US US07/593,819 patent/US5231691A/en not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5974384A (en) * | 1992-03-25 | 1999-10-26 | Ricoh Company, Ltd. | Window control apparatus and method having function for controlling windows by means of voice-input |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3088739B2 (ja) | 2000-09-18 |
| US5231691A (en) | 1993-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH03206521A (ja) | 音声認識システム | |
| JP3662780B2 (ja) | 自然言語を用いた対話システム | |
| US7260529B1 (en) | Command insertion system and method for voice recognition applications | |
| US5794189A (en) | Continuous speech recognition | |
| US5799279A (en) | Continuous speech recognition of text and commands | |
| US20020123894A1 (en) | Processing speech recognition errors in an embedded speech recognition system | |
| WO2006054724A1 (ja) | 音声認識装置及び方法ならびにプログラム | |
| JPH06259090A (ja) | 音声対話システム | |
| JPH10503033A (ja) | 新ワードのモデル化に基づく音声認識方法及びその装置 | |
| US20020123893A1 (en) | Processing speech recognition errors in an embedded speech recognition system | |
| Chandramouli et al. | Speech recognition based computer keyboard replacement for the Quadriplegics, Paraplegics, paralytics and amputees | |
| JPS60120429A (ja) | 音声入力装置 | |
| JP3071805B2 (ja) | 音声入力システム | |
| KR20020040300A (ko) | 컴퓨터를 이용한 음성인식시스템 및 그 제어방법 | |
| JP2001056698A (ja) | 音声認識装置及びそれに用いられるプログラムを格納した記録媒体 | |
| JPS59116699A (ja) | 音声入力処理方式 | |
| JPH07219584A (ja) | 音声処理装置及び方法 | |
| JPH0430614B2 (ja) | ||
| JPS5864548A (ja) | 音声日本語処理システム | |
| JPH10171492A (ja) | 電子辞書装置とその操作方法 | |
| JPH1011248A (ja) | 対話制御機能を具備した情報処理装置 | |
| CN112489640A (zh) | 语音处理装置以及语音处理方法 | |
| JPH08248990A (ja) | 音声合成装置 | |
| JP2003122391A (ja) | 音声認識装置およびその制御方法ならびにプログラム | |
| JPH07120156B2 (ja) | 特定話者音声登録方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070714 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080714 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090714 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090714 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100714 Year of fee payment: 10 |