JPH0830290A - 音声入力可能な情報処理装置およびそれにおける誤処理検出方法 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、音声認識機能を用いたインターフェ
ースに関し、誤認識時のユーザの操作負担を軽減するこ
とを可能にする。 【構成】誤処理対応判断部２０３に、しきい値１＞しき
い値２となるピッチ周波数（またはパワー）の値を設定
しておく。誤処理対応判断部２０３で、「あっ」や「え
っ」などの特異的な発声のピッチ周波数（またはパワ
ー）の最高値を検出し、しきい値１およびしきい値２と
比較する。しきい値１より大きい場合には直前に行った
処理が誤処理である可能性が高いとして復元処理を行
い、しきい値１より小さくてしきい値２より大きい場合
には復元処理を行うか否かをユーザに問い合わせ、しき
い値２より小さい場合には直前に行った処理が誤処理で
ある可能性が低いとしてそのまま処理を続行する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、パソコン、ワークステ
ーション、ワープロ等の情報処理装置に搭載される音声
認識を利用したアプリケーションや音声応用システム等
の音声認識を利用したユーザインターフェースに関し、
特に、音声認識時に誤認識をした場合のエラー処理に関
する。

【０００２】

【従来の技術】従来、情報処理装置に、音声認識を利用
したユーザインターフェースを搭載したシステムが知ら
れている。通常は、キーボードやマウス等の入力装置
と、音声入力用のユーザインタフェースとを併用して利
用している。この音声入力用のユーザインタフェースで
は、コマンドを音声により入力し、入力された音声を認
識し、認識した音声に対応するコマンドの処理を行って
いる。音声認識は、現状では認識率が１００％ではない
ため誤認識することがあり、誤認識した場合には、誤認
識した音声に対応するコマンドの処理を行うので、ユー
ザの意図とは異なった処理を行う。システムが誤認識に
より誤った処理を行った場合、ユーザは、処理の結果や
途中経過から誤認識が生じたことに気付く。

【０００３】従来、誤認識した場合の対処方法として、
誤った処理が行われた後や誤った処理が行われている途
中に、誤った処理が行われる前の状態へ復帰できるアン
ドゥ機能をシステムが備えている。この場合、システム
側では誤認識したことを検出できないので、ユーザがア
ンドゥの指示をすることにより前の状態へ復帰させ、復
帰後に再度、音声入力もしくはキーボードからのキー入
力を行うことにより、ユーザが意図した処理を行わせて
いる。

【０００４】また、他の対処方法として、認識結果に対
して、処理が行われる前に認識結果の正誤をその都度尋
ねる確認機能を備えているものがある。この場合、誤認
識か否かにかかわらず、認識結果を表示してユーザから
の正誤の確認指示を受けなければならない。

【０００５】

【発明が解決しようとする課題】上述した従来の誤認識
した場合の対処方法では、システム側の問題である音声
の誤認識に対してシステム側ではその誤認識を検出する
ことができないため、ユーザが、アンドゥの指示をした
り、または、処理が行われる度に確認指示の操作を要す
る。このことはスムーズな入力を阻むため、インターフ
ェースの効率が低下する要因となる。さらに、ユーザの
心理的負担の増大につながり、音声認識を利用したイン
ターフェースの欠点となりうる。

【０００６】そこで、本発明は、音声入力可能な情報処
理装置において、誤認識時のユーザの操作負担を軽減す
ることを目的とする。

【０００７】

【課題を解決するための手段】上記の問題を解決するた
めに、本発明は、音声情報を検知する音声情報検知手段
と、前記音声情報検知手段で検知した音声情報を音声認
識する音声認識手段と、前記音声認識手段で認識した音
声に対応する処理を実行する実行手段と、前記実行手段
における処理の実行時に当該実行の直前の状態を記憶す
る記憶手段と、前記記憶手段に記憶する実行直前の状態
を読みだして直前の状態に復元する復元処理を行う復元
手段とを有する音声入力可能な情報処理装置において、
前記音声認識手段による音声情報の誤認識に対応する前
記実行手段による誤処理を、前記音声情報検知手段によ
り検知された、ユーザの音声情報のピッチ周波数もしく
はパワーに基づいて検出する誤処理検出部と、前記誤処
理検出部により前記誤処理を検出したときに、前記復元
手段により前記復元処理を行わせる誤処理対応判断部と
を有する。

【０００８】また、音声情報を音声認識し、認識した音
声に対応する処理を実行する情報処理装置における誤処
理の検出方法としては、音声情報を検知し、検知された
音声情報のピッチ周波数を抽出し、前記抽出されたピッ
チ周波数の最高値もしくは平均値があらかじめ定めたし
きい値より大きいか否かを判定し、前記抽出されたピッ
チ周波数の最高値もしくは平均値があらかじめ定めたし
きい値より大きいと判定されたときに、当該判定におけ
る音声情報の検知の直前の処理の実行が誤処理であった
と検出する。

【０００９】さらに、他の誤処理の検出方法としては、
音声情報を検知し、検知された音声情報のパワーを抽出
し、前記抽出されたパワーの最高値もしくは平均値があ
らかじめ定めたしきい値より大きいか否かを判定し、前
記抽出されたパワーの最高値もしくは平均値があらかじ
め定めたしきい値より大きいと判定されたときに、当該
判定における音声情報の検知の直前の処理の実行が誤処
理であったと検出する。

【００１０】

【作用】音声情報検知手段は、音声情報を検知し、音声
認識手段は、前記音声情報検知手段で検知した音声情報
を音声認識する。実行手段は、音声認識手段で認識した
音声に対応する処理を実行する。記憶手段では、前記実
行手段における処理の実行時に当該実行の直前の状態を
記憶しておく。

【００１１】音声情報を誤認識した場合、実行手段によ
る実行中もしくは実行後に、ユーザは「あっ」や「え
っ」などの特異的な発声を行うと考えられるので、本発
明においては、誤処理検出手段において、これらの特異
的な発声をユーザの音声情報のピッチ周波数もしくはパ
ワーに基づいて検出する。すなわち、誤処理検出手段で
は、音声認識手段による音声情報の誤認識に対応する前
記実行手段による誤処理を、前記音声情報検知手段によ
り検知された、ユーザの音声情報のピッチ周波数もしく
はパワーに基づいて検出する。

【００１２】誤処理対応判断部では、前記誤処理検出部
により前記誤処理を検出したときに、前記復元手段によ
り前記復元処理を行わせる。復元手段では、前記記憶手
段に記憶する実行直前の状態を読みだして復元処理を行
う。

【００１３】このように、誤処理を行ったことをユーザ
の特異的な発声から検出して復元処理を行うので、誤認
識時のユーザの操作負担を軽減することができる。

【００１４】

【実施例】以下、図面を参照して実施例を詳細に説明す
る。

【００１５】図１は、本発明の一実施例を示すシステム
構成図を示している。図１において、マイク１００は、
アナログ信号の音声情報を検知して入力する。A/D変換
装置１０１は、マイク１００より入力されたアナログ信
号をディジタル信号に変換する装置である。入力装置１
０２は、キーボード、電子ペン、マウスなどの音声入力
以外の方法によって文字やコマンド等を入力する装置で
ある。情報処理装置１０３は、例えば、文書作成装置な
どであり、入力された音声情報を検出し、音声認識を行
い、認識した音声に対応するコマンドやキー入力に従っ
て、処理を実行する。また、情報処理装置１０３は、文
書作成装置に限らず、データベース検索、図形編集など
の一般への応用が可能である。情報処理装置１０３で処
理された情報は、画面制御装置１０４を介してディスプ
レイ等の表示装置１０５に表示される。

【００１６】情報処理装置１０３における機能を図２を
参照して説明する。図２は、本発明の一実施例を示すブ
ロック図を示している。図２において、音声入力部２０
０は、音声を入力するのに用いられる、図１に示すマイ
ク１００などである。図１に示す情報処理装置１０３
は、図２に示す音声情報検知部２０１、音声認識部２０
２、誤処理対応判断部２０３、処理再開部２０４、処理
復元部２０５および直前の処理の状態を記憶する文書バ
ッファ２０６を備える。音声情報検知部２０１は、音声
入力部２００により入力された情報から、利用者の音声
区間を検出する部である。音声認識部２０２は、検出さ
れた音声を分析し、相当する単語列およびその他の分析
結果を出力する部である。誤処理対応判断部２０３は、
音声情報検知部２０１において検出された音声情報から
ピッチを抽出し、ピッチの高さなどを判定することによ
り誤処理か否かを検出し、処理の復元あるいは再開（も
しくは処理の実行）などの複数の処理を行わせる。一般
に、振動音源である声帯波のもつ情報は、スペクトルの
微細構造として表され、この情報を表現する音源パラメ
ータは、声帯振動の有無（有声／無声）、有声の場合に
は振動の基本周波数（ピッチ周波数）の２つのパラメー
タに集約され、これらの音源パラメータの抽出はピッチ
抽出とよばれている。誤処理対応判断部２０３について
は後述する。処理再開部２０４は、誤処理対応判断部２
０３の判断に従って、音声認識されたコマンドの処理を
実行するとともに、誤処理を検出していないときには処
理を続行し、また、誤処理を検出したときには処理を中
断する。処理復元部２０５は、誤処理対応判断部２０３
の判断に従って、処理を復元するために用いられる。

【００１７】利用者は一般に、音声によりコマンドを発
声し、その音声がシステムで誤認識されたことがわかっ
た場合、「あっ」や「えっ」などの特異的な発声を行う
と考えられるので、本実施例においては、誤処理対応判
断部２０３でこの特異的な発声を検出することにより、
システムで誤認識して誤処理を行ったことを検出する。

【００１８】つぎに、図２に示す各ブロックの動作を詳
細に説明する。

【００１９】図２において、音声入力部２００を用いて
入力された情報のうち、利用者の音声を音声情報検知部
２０１により検出する。音声情報検知部２０１では、利
用者の音声として、文書作成に関わるコマンド発声だけ
でなく、「あっ」や「えっ」などの冗長語も同時に検出
する。

【００２０】図３に、図２に示す音声認識部２０２のブ
ロック図を示す。図３において、音声分析部３００は、
検出された音声情報を音響的に分析する。パタン照合部
３０１は、音声分析部３００から得られる特徴ベクトル
の時系列パタンと、あらかじめ辞書として持つ標準パタ
ン３０２とを照合する。標準パタン３０２には、特定話
者による複数のコマンドのパタンがあらかじめ記憶され
ている。音声情報検知部２０１により検出された音声情
報は、音声分析部３００において、一定時間間隔ごとに
音響的な分析が行われ、時系列パタンが結果として出力
される。つぎに、音声分析部３００の結果は、検出され
た音声が、標準パタン３０２に記憶するコマンドのうち
どのコマンドであるかを判定するために、パタン照合部
３０１において、標準パタン３０２に記憶する全てのコ
マンドの標準パタンと照合され、各標準パタンに対する
スコアがそれぞれ算出される。算出されたスコアの最も
高い標準パタンに対応した一つのコマンド候補が認識結
果として、パタン照合部３０１から出力される。また、
音声認識部２０２では、音声分析部３００において分析
された時系列パタンがパタン照合部３０１から後段の誤
処理対応判断部２０３に対して出力される。

【００２１】誤処理対応判断部２０３では、検出した音
声が誤処理時に特有な特異的発声であるかどうかを判定
するために、音声認識部２０２のパタン照合部３０１か
ら出力された時系列パタンから音声のピッチ情報を抽出
し、ピッチ周波数の高さを判定する。図４に、誤処理対
応判断部２０３のブロック図を示す。図４において、ピ
ッチ抽出部４００は、図２に示す音声認識部２０２にお
ける音声情報の分析結果からピッチ情報を抽出する。ピ
ッチ判定部４０１は、ピッチ抽出部４００において抽出
されたピッチパタンに基づいて誤認識したか否かを判定
し、判定結果に応じて処理を復元させるかあるいは処理
を続行させるかの対応を判断する。

【００２２】図４において、ピッチ抽出部４００では、
図２に示す音声認識部２０２により分析された音声のパ
ワースペクトルから、ケプストラム法を用いてピッチ情
報を抽出する。ケプストラム分析により、スペクトル包
絡構造と、スペクトル微細構造とが分離されるから、有
声音の場合のスペクトラムはピッチ抽出に相当するケフ
レンシにおいて強いピークを持ち、ピッチ周期が抽出さ
れる。また、他のピッチ抽出方法であるピリオドヒスト
グラムも音声スペクトルに着目したピッチ抽出法であ
る。この方法は、ピッチ周波数の高調波成分のヒストグ
ラムを求め、このヒストグラムに基づいて、高調波周波
数の公約数として基本周波数を求める方法である。

【００２３】なお、ケプストラム法については、”小池
恒彦他、音声情報工学、ＮＴＴ技術移転株式会社、pp42
-43、1987”に詳しく説明されている。また、ピッチ抽
出部４００で用いるピッチ抽出方法に関しては、ケプス
トラム法に限らず、同書のpp56に挙げられているよう
に、波形処理、相関処理、スペクトル処理等の各手法の
適用が可能である。

【００２４】つぎに、ピッチ判定部４０１では、ピッチ
抽出部４００において抽出されたピッチパタンにおける
ピッチ周波数の最高値または平均値と、あらかじめ設定
されているしきい値との比較を行う。比較の結果から、
ピッチ判定部４０１において、処理再開部４０２により
処理再開を行うか、処理復元部４０３により処理復元を
行うかを判断する。

【００２５】ここで、図５を参照して誤処理対応判断部
２０３における処理フローを説明する。図５において
は、ピッチパタンを判定する要素として、ピッチ周波数
の最高値を用いる場合を例にし、しきい値１としきい値
２とをあらかじめ設定しておく。ここで、しきい値１＞
しきい値２であり、しきい値１は、認識した音声が誤処
理時の発声である可能性がより高いピッチパタンを検出
するために設定され、しきい値２は、認識した音声が誤
処理時の発声である可能性が高いとは言えないが、可能
性があると判断するために設定される。本実施例におい
ては、入力された音声のピッチパタンにおけるピッチ周
波数の最高値が、しきい値１より大きい場合には直前に
行った処理が誤処理である可能性が高いとして復元処理
を行い、しきい値１より小さくてしきい値２より大きい
場合には復元処理を行うか否かをユーザに問い合わせ、
しきい値２より小さい場合には直前に行った処理が誤処
理である可能性が低いとしてそのまま処理を続行する。

【００２６】図５において、まず、誤処理対応判断部２
０３では、利用者の音声について、図４に示すピッチ抽
出部４００においてピッチパタンを抽出する（ｓ５０
０）。つぎに、図４に示すピッチ判定部４０１におい
て、抽出されたピッチパタンにおけるピッチ周波数の最
高値を判定する。誤処理時の特異的な発声か否かを判定
するために、認識された音声のピッチ周波数の最高値
と、あらかじめ設定されたしきい値１を越えているか否
かを判定する（ｓ５０１）。ピッチ周波数の最高値がし
きい値１を越えている場合には、認識した音声が誤処理
時の発声である可能性が高いと判断し、つまり誤認識に
より誤った処理を行ったととらえ、図４に示す処理復元
部４０３により処理前の状態を復元させる（ｓ５０
２）。処理復元部２０５では、処理前の状態に復帰する
際に、あらかじめ処理前の文書が記憶されている文書バ
ッファ２０６中の文書を画面に表示することにより復元
を行う。

【００２７】一方、ｓ５０１において、認識された音声
のピッチ周波数の最高値が、あらかじめ設定されたしき
い値１より低い場合には、つぎに、このピッチ周波数の
最高値があらかじめしきい値１より低い値で設定された
しきい値２を越えているか否かを判断する（ｓ５０
３）。最高値がしきい値２を越えている場合は、認識し
た音声が誤処理時の発声である可能性が高いとは言えな
いが、誤処理の可能性があると判断し、つまり誤認識に
より誤った処理が行われた恐れがあるととらえ、実行中
の処理を中断するとともに、中断した処理の再開の確認
を促すような確認メッセージを出力する（ｓ５０４）。
確認メッセージとしては、図７に示すように、「処理を
続けてよいですか。」というようなメッセージを画面上
に表示するようにできる。このメッセージに対して、処
理の再開を要求する回答が利用者から入力された場合
（この入力は、音声による入力でもよいし、キーボード
からのキー入力でもよい）（ｓ５０５）、図４に示す処
理再開部４０２により処理を再開する（ｓ５０６）。ま
た、ｓ５０５において、一定時間の間に、利用者から処
理の再開を要求する回答が入力されなかった場合には、
処理復元部４０３において、特異的な発声の直前の発声
（コマンド）に対する処理を行う前の状態に復元する
（ｓ５０２）。もしくは、確認メッセージとして、「復
元処理を行いますか」というメッセージにより問い合わ
せを行う場合には、利用者から復元処理を要求する回答
が入力されればｓ５０２に移行し、一定時間の間に、回
答が入力されなければｓ５０６に移行するようにしても
よい。または、確認メッセージとして、「復元処理を
行いますか処理を続行しますか」というメッセージに
より問い合わせを行うようにして、もしくはの入力
を受け付けるようにしてもよい。

【００２８】また、ｓ５０３において、認識された音声
のピッチ周波数の最高値が、しきい値２よりも低い場合
には、認識した音声が誤処理時の発声である可能性が低
いと判断し、つまり誤認識は発生せず誤った処理も行わ
れなかったととらえ、図４に示す処理再開部４０２によ
り処理を続行する（ｓ５０６）。

【００２９】また、図６を参照し、ピッチ周波数の最高
値としきい値との比較の具体例を説明する。図６におい
て、音声区間１は、文書の移動を指示する音声コマンド
である「移動」という発話にあたり、音声区間２は、誤
処理への反応の特異的な発声である「あっ」という発話
にあたる。ここでは、しきい値１を１５０[Hz]とし、し
きい値２を１４０[Hz]としている。まず、音声区間１の
ピッチ最高値は１３５[Hz]であり、しきい値１の１５０
[Hz]およびしきい値２の１４０[Hz]を下回る。このた
め、音声区間１の発話は特異的な発声とは判断されず、
処理が続行され、「移動」コマンドに対応する処理が行
われる。このとき、文書バッファ２０６には、「移動」
コマンドに対応する処理の前の状態が記憶されている。
また、音声区間２のピッチ最高値は１７０[Hz]であり、
しきい値１の１５０[Hz]を上回る。この場合、音声区間
２の発話は特異的な発声と判断され、音声区間１の「移
動」に対する処理が誤処理であると判断されて、「移
動」に対する処理の前の状態が文書バッファ２０６より
読みだされて復元される。

【００３０】なお、本実施例においては、しきい値を２
つ設けているが、しきい値を一つだけにして、そのしき
い値より大きい場合に復元処理をして、それより小さい
場合には復元処理を行わないようにしてもよい。あるい
は、しきい値を一つだけにして、そのしきい値より大き
い場合に復元処理を行うか否かの問い合わせを行い、そ
れより小さい場合にはそのまま処理を続行するようにし
てもよい。この場合にも、しきい値より大きい場合にだ
け確認の問い合わせを行うので、従来のように処理の度
に問い合わせをするということが無くなる。

【００３１】また、判断の要素として、ピッチ周波数の
最高値に限らず、ピッチ周波数の平均値の比較でも、上
述したような判定は可能である。

【００３２】また、上記実施例においては、入力された
音声のピッチを抽出することにより、特異的な発声を検
出して誤認識したことを検出しているが、ピッチの代わ
りに音声のパワー（音声信号の振幅値）を検出すること
にり、特異的な発声を検出して誤認識したことを検出す
るようにしてもよい。この場合、誤処理対応判断部にお
いて、ピッチ抽出部４００とピッチ判定部４０１との代
わりに、図２に示す音声認識部２０２における音声情報
の分析結果からパワーを抽出するパワー抽出部と、パワ
ー抽出部において抽出されたパワーの最高値もしくは平
均値に基づいて誤認識したか否かを判定し、判定結果に
応じて処理を復元させるかあるいは中断／再開させるか
の対応を判断するパワー判定部とを設ける。

【００３３】上記実施例によれば、システムにおいて誤
認識をしたことを検出して復元処理を行うので、ユーザ
は復元処理のためのアンドゥの指示をする必要が無くな
る。さらに、異なるしきい値を２つ設けておくことによ
り、誤認識をした可能性が高い場合と低い場合とで、復
元処理をすぐに行う場合と、ユーザに復元処理を行うか
否かの問い合わせをする場合とに分けることができる。

【００３４】また、実際の画面例を図７を参照して説明
する。図７においては、利用者が前述した文書作成の情
報処理装置を利用しているところを示す。図７におい
て、ディスプレイ７００は、文書作成の情報処理装置で
処理された情報を出力する表示出力部であり、図１に示
す表示装置１０５である。ディスプレイ７００は、複数
のウィンドウを表示することができる。ウインドウ７０
１は、一つの文書を表示する領域であり、ウインドウ７
０２は、装置の現在の状態を示す情報を表示する領域で
あり、ウインドウ７０３は、利用者への情報入力要求を
促すメッセージを表示する領域である。

【００３５】図７において、利用者が「ファイル印刷」
と音声によりコマンド命令したところ、装置が「ファイ
ル検索」と誤認識し、ファイル検索処理を開始している
状況を示す。利用者は、ウインドウ７０２に表示された
「検索中」という情報から誤った処理が行われたことを
認識し、その時、利用者が反射的に「あっ」と発声す
る。この「あっ」という特異的な発声を情報処理装置は
検出する。例えば、検出した音声のピッチ最高値が、図
５に示すしきい値１より小さくしきい値２より大きい場
合には、実行中の処理を中断し、処理の再開を確認する
メッセージをウインドウ７０３に出力する。利用者は、
処理の再開を要求する回答を入力しなければ、復元処理
がなされ、音声により入力を行うようにできる。

【００３６】つぎに、第２の実施例を図８および図９を
参照して説明する。第２の実施例においては、図５に示
すしきい値１およびしきい値２を、入力された音声と誤
処理後の処理とにより学習する機能を備える。

【００３７】図８に示すように、本実施例においては、
しきい値自動学習部８００を備える。しきい値自動学習
部８００は、設定したしきい値が不適当なために誤処理
対応判断部において誤処理への対応を誤ったことを判断
し、しきい値を修正する。図９に、図８におけるしきい
値自動学習部８００のフローチャートを示す。

【００３８】図８において、図２に示す誤処理対応判断
部２０３と同様に、誤処理対応判断部２０３では、検出
した音声が誤処理時に特有な特異的発声であるかどうか
を判定するために、音声のピッチ情報を抽出し、ピッチ
の高さを判定する機能を持つ。誤処理対応判断部２０３
で、誤処理時に特有な特異的発声が入力されたと判定す
ると、そのピッチ周波数の最高値の大きさに応じて、直
前に行った処理が誤処理である可能性が低いとして現在
の状態を継続するために処理再開部２０４を用いるか、
あるいは、直前に行った処理が誤処理である可能性が高
いとして、処理前の状態に復帰するために、処理復元部
２０５を用いるかを判断する。処理復元部２０５では、
処理前の状態に復帰する際に、あらかじめ処理前の文書
が記憶されている文書バッファ２０６中の文書を画面に
表示する。さらに、しきい値自動学習部８００では、処
理再開部２０４によって再開された処理、あるいは、処
理復元部２０５によって復元された処理の後の利用者の
操作に基づいて、あらかじめ設定されているしきい値を
修正する。

【００３９】図９に示すフローチャートを参照してしき
い値自動学習部８００の動作を説明する。

【００４０】図９において、まず、利用者の音声につい
て、図４に示すピッチ抽出部４００においてピッチパタ
ンを抽出する（ｓ９００）。つぎに、図４に示すピッチ
判定部４０１において、抽出されたピッチパタンを判定
する。ここでは、ピッチパタンを判定する要素として、
ピッチ周波数の最高値を用いて説明する。まず、誤処理
時の特異的な発声か否かを判定するために、認識された
音声のピッチ周波数の最高値と、あらかじめ初期値が設
定されたしきい値１を越えているか否かを判断する（ｓ
９０１）。ピッチ周波数の最高値がしきい値１を越えて
いる場合には、認識した音声が誤処理時の発声である可
能性が高いと判断し、つまり誤認識により誤った処理を
行ったととらえ、図４に示す処理復元部４０３により処
理前の状態を復元させる（ｓ９０２）。この後、復元前
に行なわれ中断された処理を利用者が再度指示した場合
（ｓ９０３）、しきい値自動学習部において、処理の復
元は誤りであったと判断し、しきい値１の値を、ｓ９０
１で比較された音声のピッチ周波数の最高値と同じ値
（もしくはこの同じ値からあらかじめ定めた値分低い
値）に修正する（ｓ９０４）。すなわち、復元処理を行
った後に、再度利用者が中断した処理を実行するように
音声入力している場合には、音声認識が正しく行われて
いた可能性があり、特異的な発声は、誤認識に対するも
のではないのでしきい値１を大きくするようにしてい
る。

【００４１】一方、ｓ９０１において、認識された音声
のピッチ周波数の最高値が、あらかじめ設定されたしき
い値１より低い場合には、つぎに、このピッチ周波数の
最高値があらかじめしきい値１より低い値で設定された
しきい値２を越えているか否かを判断する（ｓ９０
５）。最高値がしきい値２を越えている場合は、認識し
た音声が誤処理時の発声である可能性が高いとは言えな
いが、可能性があると判断し、つまり誤認識により誤っ
た処理が行われた恐れがあるととらえ、実行中の処理を
中断するとともに、中断した処理の再開の確認を促す確
認メッセージを出力する（ｓ９０６）。このメッセージ
に対して、処理の再開を要求する回答が利用者から入力
された場合（ｓ９０７）、図４に示す処理再開部４０２
により処理を再開する（ｓ９０８）。処理を再開した
後、利用者の処理再開要求に対して、しきい値自動学習
部においては、処理の再開により、認識メッセージを出
力したことは正しかったと判断し、しきい値２の値を、
比較されたピッチ周波数の最高値と同じ値に修正する
（ｓ９０９）。

【００４２】また、ｓ９０７において、利用者から処理
の再開を要求する回答が入力されなかった場合には、処
理前の状態を復元する（ｓ９１０）。処理を復元した
後、利用者の処理復元要求に対して、しきい値自動学習
部８００では、処理の再開の確認は不要であったと判断
し、しきい値１の値をピッチ最高値と同じ値に修正する
（ｓ９１１）。

【００４３】また、ｓ９０５において、認識された音声
のピッチ周波数の最高値が、しきい値２よりも低い場合
には、認識した音声が誤処理時の発声である可能性が低
いと判断し、つまり誤認識は発生せず、誤った処理も行
われなかったととらえ、図４の処理再開部４０２により
処理を続行する（ｓ９１２）。この後、再開した処理を
利用者が中断させた場合（ｓ９１３）、しきい値自動学
習部において、処理の再開は誤りであったと判断し、し
きい値２の値を比較されたピッチ周波数の最高値と同じ
値に修正する（ｓ９１４）。

【００４４】なお、判断の要素として、ピッチ周波数の
最高値に限らず、平均値の比較でも、上記のような判定
は可能である。

【００４５】また、図９に示す処理において、図５に示
す処理と重複する部分は、しきい値自動学習部におい
て、誤処理対応判断部における処理結果を参照すること
により重複した処理を行わないようにできる。

【００４６】このように、しきい値を、利用者の特異的
な発声のくせに合わせて変更していくことにより、誤認
識の検出をより確実に行えることができる。

【００４７】上記各実施例によれば、検知した音声の特
徴量から誤処理時に生じる特異的な発声を検出し、判定
結果に応じて復元、再開などの複数の処理方式に対応さ
せる誤処理対応判断部を備えることにより、誤認識時の
誤った処理に対するユーザの反応から誤認識の発生を判
断し、自動的に復元あるいは再開などの対処を行い、誤
認識時のユーザの操作負担を軽減することができる。

【００４８】

【発明の効果】本発明によれば、音声入力可能な情報処
理装置において、誤認識時の誤った処理に対するユーザ
の反応から誤認識を判断し、処理前の状態に復元するこ
とができる。これにより、誤認識時のユーザの操作負担
を軽減することができる。

【図面の簡単な説明】

【図１】本発明の一実施例を示すシステム構成図

【図２】本発明の情報処理装置の一実施例を示すブロッ
ク図

【図３】音声認識部の一実施例を示すブロック図

【図４】誤処理対応判断部の一実施例を示すブロック図

【図５】誤処理対応判断部の一実施例を示すフローチャ
ート

【図６】ピッチパタンの最高値としきい値の比較を示す
説明図

【図７】本発明装置の一実施例の利用形態を現す説明図

【図８】本発明の情報処理装置の一実施例を示すブロッ
ク図

【図９】しきい値自動学習部の一実施例を示すフローチ
ャート

【符号の説明】

１００…マイク、１０１…Ａ／Ｄ変換装置、１０２…入
力装置、１０３…情報処理装置、１０４…画面制御装
置、１０５…ディスプレイ、２００…音声入力部、２０
１…音声情報検知部、２０２…音声認識部、２０３…誤
認識対応判断部、２０４…処理再開部、２０５…処理復
元部、２０６…文書バッファ。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 松田 泰昌 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所映像メディア研究所内 (72)発明者 大條 成人 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所映像メディア研究所内 (72)発明者 長谷川 司 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所映像メディア研究所内

Claims (14)

【特許請求の範囲】
1. 【請求項１】音声情報を検知する音声情報検知手段と、
   前記音声情報検知手段で検知した音声情報を音声認識す
   る音声認識手段と、前記音声認識手段で認識した音声に
   対応する処理を実行する実行手段と、前記実行手段にお
   ける処理の実行時に当該実行の直前の状態を記憶する記
   憶手段と、前記記憶手段に記憶する実行直前の状態を読
   みだして直前の状態に復元する復元処理を行う復元手段
   とを有する音声入力可能な情報処理装置において、 前記音声認識手段による音声情報の誤認識に対応する前
   記実行手段による誤処理を、前記音声情報検知手段によ
   り検知された、ユーザの音声情報のピッチ周波数もしく
   はパワーに基づいて検出する誤処理検出部と、 前記誤処理検出部により前記誤処理を検出したときに、
   前記復元手段により前記復元処理を行わせる誤処理対応
   判断部とを有することを特徴とする音声入力可能な情報
   処理装置。
2. 【請求項２】請求項１において、前記誤処理検出部は、 前記音声情報検知手段により検知された音声情報のピッ
   チ周波数を抽出するピッチ抽出手段と、 前記ピッチ抽出手段により抽出されたピッチ周波数の最
   高値もしくは平均値があらかじめ定めたしきい値より大
   きいか否かを判定するピッチ判定手段と、 前記ピッチ判定手段により、前記ピッチ抽出手段により
   抽出されたピッチ周波数の最高値もしくは平均値があら
   かじめ定めたしきい値より大きいと判定されたときに、
   前記誤処理が行われたと検出する検出手段とを備えるこ
   とを特徴とする音声入力可能な情報処理装置。
3. 【請求項３】請求項１において、前記誤処理検出部は、 前記音声情報検知手段により検知された音声情報のパワ
   ーを抽出するパワー抽出手段と、 前記パワー抽出手段により抽出されたパワーの最高値も
   しくは平均値があらかじめ定めたしきい値より大きいか
   否かを判定するパワー判定手段と、 前記パワー判定手段により、前記パワー抽出手段により
   抽出されたパワーが、あらかじめ定めたしきい値より大
   きいと判定されたときに、前記誤処理が行われたと検出
   する検出手段とを有することを特徴とする音声入力可能
   な情報処理装置。
4. 【請求項４】請求項１において、前記誤処理検出部によ
   る前記誤処理の検出があったときに、前記復元手段によ
   る復元を行わせるか否かをユーザに問い合わせる問い合
   わせ手段と、 前記問い合わせ手段で問い合わせをしたときにユーザか
   らの前記復元を行わせるか否かの指示を受け付ける受付
   手段とをさらに有し、 前記誤処理対応判断部は、前記誤処理検出部により前記
   誤処理を検出したときに、前記復元手段により前記復元
   処理を行わせる代わりに、前記受付手段で前記復元を行
   わせる旨の指示を受け付けたときに、前記復元手段によ
   り前記復元処理を行わせ、前記受付手段で前記復元を行
   わない旨の指示を受け付けたときに、前記復元を行わせ
   ないで前記実行手段により処理を実行させることを特徴
   とする音声入力可能な情報処理装置。
5. 【請求項５】請求項２において、前記ピッチ判定手段
   は、前記ピッチ抽出手段により抽出されたピッチ周波数
   の最高値もしくは平均値が、前記あらかじめ定めたしき
   い値より値が小さい第２のしきい値より大きいか否かを
   さらに判定し、 前記ピッチ抽出手段により抽出されたピッチ周波数の最
   高値もしくは平均値が、前記あらかじめ定めたしきい値
   より小さく、前記第２のしきい値より大きい場合に、前
   記復元手段による復元を行わせるか否かをユーザに問い
   合わせる問い合わせ手段と、 前記問い合わせ手段で問い合わせをしたときにユーザか
   らの前記復元を行わせるか否かの指示を受け付ける受付
   手段とをさらに有し、 前記誤処理対応判断部は、前記受付手段で前記復元を行
   わせる旨の指示を受け付けたときに、前記復元手段によ
   り前記復元処理を行わせ、前記受付手段で前記復元を行
   わない旨の指示を受け付けたときに、前記復元を行わせ
   ないで前記実行手段により処理を実行させることを特徴
   とする音声入力可能な情報処理装置。
6. 【請求項６】請求項３において、前記パワー判定手段
   は、前記パワー抽出手段により抽出されたパワーの最高
   値もしくは平均値があらかじめ定めたしきい値より大き
   くない場合に、前記パワー抽出手段により抽出されたパ
   ワーの最高値もしくは平均値が、前記あらかじめ定めた
   しきい値より値が小さい第２のしきい値より大きいか否
   かをさらに判定し、 前記パワー抽出手段により抽出されたパワーの最高値も
   しくは平均値が、前記第２のしきい値より大きい場合
   に、前記復元手段による復元を行わせるか否かをユーザ
   に問い合わせる問い合わせ手段と、 前記問い合わせ手段で問い合わせをしたときにユーザか
   らの前記復元を行わせるか否かの指示を受け付ける受付
   手段とをさらに有し、 前記誤処理対応判断部は、前記受付手段で前記復元を行
   わせる旨の指示を受け付けたときに、前記復元手段によ
   り前記復元処理を行わせ、前記受付手段で前記復元を行
   わない旨の指示を受け付けたときに、前記復元を行わせ
   ないで前記実行手段により処理を実行させることを特徴
   とする音声入力可能な情報処理装置。
7. 【請求項７】請求項２または３において、前記復元手段
   による復元処理後に、前記誤処理と同一の処理を前記実
   行手段が再実行したときに、前記あらかじめ定めたしき
   い値を修正するしきい値学習部をさらに有することを特
   徴とする音声入力可能な情報処理装置。
8. 【請求項８】請求項２において、前記あらかじめ定めた
   しきい値を修正するしきい値学習部をさらに有し、 前記しきい値学習部は、前記復元手段による復元処理後
   に、前記誤処理と同一の処理を前記実行手段が再実行し
   たときに、前記あらかじめ定めたしきい値を、前記誤処
   理の検出をしたときの、前記ピッチ判定手段で判定し
   た、前記ピッチ抽出手段により抽出されたピッチ周波数
   の最高値もしくは平均値に更新することにより前記修正
   を行うことを特徴とする音声入力可能な情報処理装置。
9. 【請求項９】請求項３において、前記あらかじめ定めた
   しきい値を修正するしきい値学習部をさらに有し、 前記しきい値学習部は、前記復元手段による復元処理後
   に、前記誤処理と同一の処理を前記実行手段が再実行し
   たときに、前記あらかじめ定めたしきい値を、前記誤処
   理の検出をしたときの、前記パワー判定手段で判定し
   た、前記パワー抽出手段により抽出されたパワーの最高
   値もしくは平均値に更新することにより前記修正を行う
   ことを特徴とする音声入力可能な情報処理装置。
10. 【請求項１０】請求項５または６において、前記あらか
    じめ定めたしきい値と前記第２のしきい値とを、前記復
    元手段による復元処理後の実行と前記受付手段による受
    け付けた指示とに従って修正するしきい値学習部をさら
    に有することを特徴とする音声入力可能な情報処理装
    置。
11. 【請求項１１】請求項５において、前記あらかじめ定め
    たしきい値と前記第２のしきい値とを修正するしきい値
    学習部をさらに有し、 前記しきい値学習部は、前記復元手段による復元処理後
    に、前記誤処理と同一の処理を前記実行手段が再実行し
    たときと、前記問い合わせ手段による問い合わせ後に、
    前記受付手段で前記復元を行わせる指示を受け付けたと
    きとに、前記あらかじめ定めたしきい値を、前記誤処理
    の検出をしたときの、前記ピッチ判定手段で判定した、
    前記ピッチ抽出手段により抽出されたピッチ周波数の最
    高値もしくは平均値に更新し、また、前記問い合わせ手
    段による問い合わせ後に、前記受付手段で前記復元を行
    わせない旨の指示を受け付けたときと、前記ピッチ判定
    手段において、前記ピッチ抽出手段により抽出されたピ
    ッチ周波数の最高値もしくは平均値が第２のしきい値よ
    り小さいと判定されたときとに、前記第２のしきい値
    を、前記誤処理の検出をしたときの、前記ピッチ判定手
    段で判定した、前記ピッチ抽出手段により抽出されたピ
    ッチ周波数の最高値もしくは平均値に更新することを特
    徴とする音声入力可能な情報処理装置。
12. 【請求項１２】請求項６において、前記あらかじめ定め
    たしきい値と前記第２のしきい値とを修正するしきい値
    学習部をさらに有し、 前記しきい値学習部は、前記復元手段による復元処理後
    に、前記誤処理と同一の処理を前記実行手段が再実行し
    たときと、前記問い合わせ手段による問い合わせ後に、
    前記受付手段で前記復元を行わせる指示を受け付けたと
    きとに、前記あらかじめ定めたしきい値を、前記誤処理
    の検出をしたときの、前記パワー判定手段で判定した、
    前記パワー抽出手段により抽出されたパワーの最高値も
    しくは平均値に更新し、また、前記問い合わせ手段によ
    る問い合わせ後に、前記受付手段で前記復元を行わせな
    い旨の指示を受け付けたときと、前記パワー判定手段に
    おいて、前記パワー抽出手段により抽出されたパワーの
    最高値もしくは平均値が第２のしきい値より小さいと判
    定されたときとに、前記第２のしきい値を、前記誤処理
    の検出をしたときの、前記パワー判定手段で判定した、
    前記パワー抽出手段により抽出されたパワーの最高値も
    しくは平均値に更新することを特徴とする音声入力可能
    な情報処理装置。
13. 【請求項１３】音声情報を音声認識し、認識した音声に
    対応する処理を実行する情報処理装置における誤処理の
    検出方法であって、 音声情報を検知し、検知された音声情報のピッチ周波数
    を抽出し、 前記抽出されたピッチ周波数の最高値もしくは平均値が
    あらかじめ定めたしきい値より大きいか否かを判定し、 前記抽出されたピッチ周波数の最高値もしくは平均値が
    あらかじめ定めたしきい値より大きいと判定されたとき
    に、当該判定における音声情報の検知の直前の処理の実
    行が誤処理であったと検出することを特徴とする誤処理
    検出方法。
14. 【請求項１４】音声情報を音声認識し、認識した音声に
    対応する処理を実行する情報処理装置における誤処理の
    検出方法であって、 音声情報を検知し、検知された音声情報のパワーを抽出
    し、 前記抽出されたパワーの最高値もしくは平均値があらか
    じめ定めたしきい値より大きいか否かを判定し、 前記抽出されたパワーの最高値もしくは平均値があらか
    じめ定めたしきい値より大きいと判定されたときに、当
    該判定における音声情報の検知の直前の処理の実行が誤
    処理であったと検出することを特徴とする誤処理検出方
    法。