JP3649032B2 - 音声認識方法 - Google Patents
音声認識方法 Download PDFInfo
- Publication number
- JP3649032B2 JP3649032B2 JP07738199A JP7738199A JP3649032B2 JP 3649032 B2 JP3649032 B2 JP 3649032B2 JP 07738199 A JP07738199 A JP 07738199A JP 7738199 A JP7738199 A JP 7738199A JP 3649032 B2 JP3649032 B2 JP 3649032B2
- Authority
- JP
- Japan
- Prior art keywords
- microphone
- voice
- speech recognition
- acoustic
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は音声認識用マイクロフォンならびにそのマイクロフォンを用いた音声認識方法に関する。
【０００２】
【従来の技術】
従来の音声の認識においては、音声信号を感度よく収録するために、接話型マイクを使用することがあった。
この接話型マイクは、口とマイクを接近させることができるために、比較的周囲の雑音の影響を受けることなく音声だけの信号が得られる利点があった。
【０００３】
【発明が解決しようとする課題】
しかしながら、接話型マイクは話者がマイクロフォンを吹いてしまうと、これは大音量の音声信号となりエラーの原因となる。また、呼吸音や鼻息なども音声信号として検出してしまい、誤認識の原因となっていた。これらの課題を解決する為に特開平１０−６９２９３号公報の「音声認識装置および方法、情報記憶媒体」に示されるようなマイク波形の絶対値から呼吸音や鼻息音を判定する方法があった。
しかし波形のレベルは発話者の声の大きさに依存するため、音の大きな話者や小さな話者などの違いや、口とマイクの位置関係によって左右されるため、呼吸音や鼻息音の正確な判定ができない場合があった。
【０００４】
【課題を解決するための手段】
本発明に係る音声認識方法は、話者の口に近接した位置に主マイクと、前記話者の口と耳との間の呼吸や鼻息の流れから離れた位置に副マイクとをそれぞれ設け、前記主マイクと副マイクから得られた２つの音響信号の短時間音響パワーの比を呼吸音または鼻息音の判定信号として算出する判定信号算出工程と、前記主マイクから得られた音響信号の音響特徴分析、音声発生区間の決定並びに音響特徴パラメータとの照合及び類似性の検証を行い、最も類似している音声の音響特徴パラメータを音声認識候補として得る音声認識候補取得工程と、前記音声認識候補取得工程が決定した各音声発生区間毎に、前記判定信号算出工程の算出した判定信号の平均値を求め、該平均値が所定の値を越えたか否かによって、該当音声発生区間の音声認識候補を呼吸音または鼻息音として識別するか、または音声として識別する音声識別工程とを行って音声認識を行うものである。
その結果、主マイクが検出してしまう話者の吸呼音や鼻息音を除去して正しく音声を認識することができる。
【０００５】
【発明の実施の形態】
実施形態１
実施形態１では、ヘッドセットマイクの主マイクのほかに、その耳受けと主マイクの間のムーブに副マイクを取りつけ、２本のマイク信号の音響パワーの違いを利用して、呼吸音や鼻息音などを安定かつ正確に峻別する。
図１は本発明の実施形態１〜３に係るヘッドセットマイクの構成図であり、図２は図１のヘッドセットマイクを使用した本実施形態１に係る音声認識処理装置の構成図である。
【０００６】
図１において、１０１は主マイク、１０２は副マイク、１０３は主マイク信号出力端子、１０４は副マイク信号出力端子、１０５，１０６は耳当て、１０７はムーブであり、主マイク１０１の位置を調整できるように耳当て１０５に摺動自在に結合されている。なお１０１〜１０７をすべて含んだ構成をヘッドセットマイクという。
図１においては、通常のヘッドセットマイクにおける音声を感度よく収集する主マイク１０１に加えて、耳当て１０５と主マイク１０１を結ぶムーブ１０７上でかつ耳当て１０５に近い部分に副マイク１０２を設置する。また主マイク１０１と副マイク１０２の信号はそれぞれ主マイク信号出力端子１０３と副マイク信号出力端子１０４から取り出す。１０６は耳当て１０５の反対側の耳当てである。
【０００７】
図２において、２０１は音声判定部、２０２は音声認識部、２０３は総合判定部、２０４は副マイク信号、２０５は主マイク信号である。
図２の音声認識処理装置は、副マイク信号２０４と主マイク信号２０５から呼吸音や鼻息音を判定するための判定信号Ｚｆを算出する音声判定部２０１と、主マイク信号２０５から音声認識を行い、認識候補Ｃを求める音声認識部２０２と、判定信号Ｚｆと認識候補Ｃから音声認識結果Ｒを出力する総合判定部２０３からなる。
【０００８】
図１、２により実施形態１の動作を説明する。
図１の主マイク１０１は口と近接しているために、微少な音声の変化も捉える高感度な音声情報を収集できる。その一方で微少な呼吸音や鼻息なども確実に拾ってしまう。逆に副マイク１０２はそれほどの高感度ではないものの、呼吸や鼻息の流れからは離れているために呼吸音や鼻息にはほとんど感知しない。
この２つのマイクの特性を生かすために、図２の音声判定部２０１では、主マイク信号２０５の短時間音響パワーＭｆと副マイク信号２０４の短時間音響パワーＳｆを計算する。
【０００９】
音声判定部２０１では、まず入力される主マイク信号２０５と副マイク信号２０４をそれぞれＡ／Ｄ変換してデジタルの電気信号に変換する。
このデジタル信号に変換後の主マイク信号をＭｔ、副マイク信号をＳｔとすると、フレームと呼ばれる時間間隔Ｔ毎に、まず下記式（１）、（２）により、主マイク信号２０５と副マイク信号２０４の短時間音響パワーＭｆとＳｆを計算し、次に下記式（３）によりＭｆとＳｆの比を判定信号Ｚｆとして求める。なお、式（１）〜（３）におけるｆはフレーム番号である。
【００１０】
【数１】
【００１１】
判定信号Ｚｆは、通常の音声ではある一定値Ｖ以下になるが、呼吸音や鼻息では、主マイクの短時間音響パワーＭｆは大きいが、副マイクの短時間音響パワーＳｆは非常に小さいままであるためＺｆはＶを大幅に超える値をとる。ただし、破裂音（日本語では例えば「パ行音」等）などでは、破裂時点で、主マイク１０１に息がかかることがあるために、瞬間的にＺｆが大きくなることがある。しかし、長時間にわたってＺｆが大きくなることは通常の音声ではありえない。
【００１２】
音声認識部２０２の動作を説明する。
先ず音声認識部２０２は、主マイク信号２０５を音響特徴分析し、フレーム周期ｆ毎にｉ次元の音響特徴パラメータＸｆｉを算出する。この音響特徴パラメータＸｆｉとしては、フーリエ解析や自己相関関数から算出されるＬＰＣケプストラムが用いられるのが一般的である。ＬＰＣケプストラムの算出方法については、例えば“古井貞煕、「ディジタル音声処理」、１９８５年９月、東海大学出版会（以下、文献［１］と称す）、ＰＰ４４〜４８”に示されている。
次に音声認識部２０２は、Ｘｆｉの時間変化から音声が発せられている区間情報ｆｓ，ｆｅを見出す。ｆｓは音声の始端時刻を示すフレーム番号であり、ｆｅは認識候補の音声の終了時刻を示すフレーム番号である。
この音声が発せられている区間を決定することは、ほとんどの音声認識システムでは必須であり、その手法は同業者ならば周知の事項である。具体的には、前記文献［１］のＰＰ１５３〜１５４、などに記載されている手法がある。
【００１３】
次に音声認識部２０２は、音声認識部２０２内部に記憶されている音声の音響特徴パラメータのＡｆｉ（ｗ）と主マイク信号２０５からの音響特徴パラメータＸｆｉを照合し、その類似性を検証する。ここで、ｗは音声の特徴パタンＡｆｉ（ｗ）の内容を示す番号（例えばｗ＝１は「東京」、ｗ＝２は「大阪」など予め取り決めておく）である。この類似性の検証方法も、ほとんどの音声認識システムでは必須であり、その手法は同業者ならば周知の事項である。例えば前記文献［１］のＰＰ１６７〜１６９、などに記載されている。
最後に認識候補ｗ１を決定する。認識候補ｗ１は、もっとも類似している音声の音響特徴パラメータがＡｆｉ（ｗ１）とした場合、その内容を示す番号ｗ１とする。
【００１４】
総合判定部２０３の動作を説明する。
先ず総合判定部２０３は、音声認識部２０２で決定された音声始端フレームｆｓから音声終端フレームｆｅまでの区間に対して、音声判定部２０１で算出された判定信号Ｚｆの平均値ＺＺを次式（４）により計算する。
【００１５】
【数２】
【００１６】
このＺＺが定められた値Ｖより大きい場合、この区間の主マイク信号２０５は呼吸音や鼻息によるものと判断され、最終的な認識結果Ｒは認識候補ｗ１でなく、エラーが発生したと見なす。
逆に、ＺＺがＶより小さい場合、この区間の主マイク信号２０５は音声であるため、最終的な認識結果Ｒは認識候補ｗ１とする。
【００１７】
以上説明したように、本実施形態１によれば、ヘッドセットマイクに主マイク１０１と副マイク１０２の２つのマイクを設け、一方の主マイク１０１は口と近接しているために、微少な音声の変化も捉える高感度な音声情報を収集でき、他方の副マイク１０２はそれほどの高感度ではないものの、呼吸や鼻息の流れからは離れているために呼吸音や鼻息にはほとんど感知しないよう構成される。そしてこの２つのマイク信号を組み合わせて音声認識を行うことで、周囲の雑音の影響を受けることなく音声認識が行え、かつ呼吸音や鼻息による誤認識をなくすことができる音声認識方式が実現できる。
【００１８】
実施形態２
実施形態２では、ヘッドセットマイクの主マイクのほかに、その耳受けと主マイクの間のムーブに副マイクを取りつけ、２本のマイク信号の音響パワーの違いを利用して、呼吸音や鼻息音などを安定かつ正確に峻別するとともに、雑音除去と音声特徴強調も行う。 図３は図１のヘッドセットマイクを用いた本実施形態２に係る音声認識処理装置の構成図であり、図の３０１は音声判定部、３０２は音声認識部、３０３は総合判定部、３０４は副マイク信号、３０５は主マイク信号、３０６は雑音除去部である。
【００１９】
図３の音声認識処理装置は、副マイク信号３０４と主マイク信号３０５から呼吸音や鼻息音の判定するための判定信号Ｚｆを算出する音声判定部３０１と、副マイク信号３０４と主マイク信号３０５とから雑音除去を行い、音声信号を取り出す雑音除去部３０６と、この雑音除去後の音声信号を入力し、音声始端フレームｆｓと音声終端フレームｆｅならびに認識候補ｗ１を求める音声認識部３０２と、音声認識部３０２の出力する認識候補と前記判別信号Ｚｆから音声認識結果Ｒを出力する総合判定部３０３からなる。
【００２０】
図３により実施形態２の動作を説明する。
図３の音声判定部３０１では、実施形態１の音声判定部２０１と同様に主マイク信号３０５の短時間音響パワーＭｆと副マイク信号３０４の短時間音響パワーＳｆならびにその比である判定信号Ｚｆを計算する。
雑音除去部３０６は主マイク信号３０５と副マイク信号３０４の性質の違いから、背景ノイズ分をキャンセルする処理を行い、主マイク信号３０５に混入した推定雑音成分を取り除いた音声信号成分を取り出す。
【００２１】
この雑音除去処理は一般にアクティブ・ノイズ・キャンセラ（ＡＮＣ）と呼ばれ、入力された雑音信号（本実施形態２では副マイク信号３０４）と同振幅、逆位相の逆位相のキャンセル信号を生成し、雑音信号が混入した音声信号（本実施形態２では主マイク信号３０５）にキャンセル信号を加えることで、雑音信号を消しさる技術である。
音声認識にこのＡＮＣを適用した効果については、例えば“日本音響学会講演論文集、平成５年１０月、中山 昭ほか、３−８−１０「適応ノイズキャンセラを用いた騒音下音声認識」、ＰＰ−１４３〜１４４”に示されている。
【００２２】
音声認識部３０２は、雑音除去部３０６で生成された音声信号成分から実施形態１の音声認識部２０２と同様な音声認識処理を行い、音声始端フレームｆｓと音声終端フレームｆｅならびに認識候補ｗ１を求める。
総合判定部３０３は、判定信号Ｚｆと音声始端フレームｆｓと音声終端フレームｆｅならびに認識候補ｗ１から最終的な認識結果Ｒを出力する。ここでの判定ロジックは実施形態１と同様に行えば良い。
【００２３】
以上説明したように、本実施形態２によれば、ヘッドセットマイクには、口に近接した主マイク１０１と口から少し離れた副マイク１０２の２つのマイクを設け、主マイク信号３０５と副マイク信号３０４の両マイク信号から呼吸音や鼻息の判定を行うと同時に、主マイク信号３０５と副マイク信号３０４から背景雑音成分を除去した音声成分を抽出し、この音声成分に対して、音声認識を行うことで、周囲の雑音の高度に除去した音声認識が行え、かつ呼吸音や鼻息による誤認識をなくすことができる音声認識方式が実現できる。
【００２４】
実施形態３
実施形態３では、ヘッドセットマイクの主マイクのほかに、その耳受けと主マイクの間のムーブに副マイクを取りつけ、２本のマイク信号の音響パワーの違いを利用して、呼吸音や鼻息音などを安定かつ正確に峻別する判定信号を音声認識類似度計算に反映させることで、音声の一部分に呼吸音や鼻息がかかった場合でも正しく音声認識を行うことができるようになる。
図４は図１のヘッドセットマイクを用いた本実施形態３に係る音声認識装置の構成図であり、図の４０１は音声判定部、４０２は音声認識部、４０３は総合判定部、４０４は副マイク信号、４０５は主マイク信号である。
【００２５】
図４の音声認識処理装置は、副マイク信号４０４と主マイク信号４０５から呼吸音や鼻息音の判定するための判定信号Ｚｆを算出する音声判定部４０１と、主マイク信号４０５と判定信号Ｚｆを入力し、音声始端フレームｆｓと音声終端フレームｆｅならびに認識候補ｗ１を求める音声認識部４０２と、音声認識部４０２の出力する認識候補と前記判別信号Ｚｆから音声認識結果Ｒを出力する総合判定部４０３からなる。
【００２６】
図４により実施形態３の動作を説明する。
図４の音声判定部４０１では、実施形態１の音声判定部２０１と同様に主マイク信号４０５の短時間音響パワーＭｆと副マイク信号４０４の短時間音響パワーＳｆならびにその比である判定信号Ｚｆを計算する。
音声認識部４０２は、主マイク信号４０５と判定信号Ｚｆから実施形態１の音声認識部２０２と同様な音声認識処理を行う。ただし、判定信号Ｚｆが予め定められたＶより大きいフレームでは、その部分の主マイク信号が呼吸音や鼻息である可能性が高いため、そのフレームでの認識処理は認識候補ｗ１の判定に与える影響を軽減する。
【００２７】
次に音声認識部４０２は、音声認識部４０２内部に記憶されている音声の音響特徴パラメータＡｆｉ（ｗ）と主マイク信号４０５からの音響特徴パラメータＸｆｉを照合し、その類似性を検証する。
一般的な類似性の検証方法では、音響特徴パラメータＸｆｉと音声の音響特徴パラメータＡｆｉ（ｗ）とフレーム毎の局所類似度Ｘｆを計算し、その局所類似度Ｘｆをフレーム毎に算出して順次累積させ、この累積類似度が最大となるｗ１を見出す。
【００２８】
しかし、本実施形態３では、この局所類似度Ｘｆに対して判定信号Ｚｆに応じて重みを掛ける。重みのかけ方としては、例えば、予め定められたＶより大きいフレームｆではＸｆの値に０．３を乗じた値とすることで、そのフレームｆの累積類似度に与える影響を軽減できる。この処理により、呼吸音や鼻息がかかったと想定されるフレームの影響を考慮した累積類似度が算出でき、認識候補ｗ１の判定精度が著しく向上する。
総合判定部４０３は、判定信号Ｚｆと音声始端フレームｆｓと音声終端フレームｆｅならびに認識候補ｗ１から最終的な認識結果Ｒを出力する。ここでの判定ロジックは実施形態１と同様に行えば良い。
【００２９】
以上説明したように、本実施形態３によれば、ヘッドセットマイクには、口に近接した主マイク１０１と口から少し離れた副マイク１０２の２つのマイクを設け、主マイク信号４０５と副マイク信号４０４の両マイク信号から呼吸音や鼻息の判定を行うと同時に、主マイク信号４０５と副マイク信号４０４から求まる判定信号Ｚｆを認識処理の類似度計算に反映させることで、音声の一部分に呼吸音や鼻息がかかった場合でも正しく音声認識を行うことができるようになる。
【００３０】
上記本発明に係る音声認識方法は、あらゆる音声認識装置や音声通話装置に適用して利用することができる。
なお、上記各実施形態では、副マイクは、ヘッドセットマイクの耳受けと主マイクとの間のムーブに取り付ける例を説明したが、本発明はこれに限定されるものではなく、例えばイヤホーンマイク（イヤホーンと一体化された小型マイク）を副マイクとして用いるようにしてもよい。
【００３１】
【発明の効果】
以上のように本発明によれば、話者の口に近接した位置に主マイクと、前記話者の口と耳との間の位置に副マイクとをそれぞれ設け、前記主マイクから得られた音響信号と副マイクから得られた音響信号との音響パワーの相違を利用して前記主マイクから得られた音響信号から話者の呼吸音または鼻息音を弁別して音声認識を行う工程を有するようにしたので、主マイクが検出してしまう話者の呼吸音や鼻息音を除去して正しく音声を認識することができる。
【図面の簡単な説明】
【図１】本発明の実施形態１〜３に係るヘッドセットマイクの構成図である。
【図２】本発明の実施形態１に係る音声認識装置の構成図である。
【図３】本発明の実施形態２に係る音声認識装置の構成図である。
【図４】本発明の実施形態３に係る音声認識装置の構成図である。
【符号の説明】
１０１ 主マイク
１０２ 副マイク
１０３ 主マイク出力端子
１０４ 副マイク出力端子
１０５，１０６ 耳当て
１０７ ムーブ
２０１，３０１，４０１ 音声判定部
２０２，３０２，４０２ 音声認識部
２０３，３０３，４０３ 総合判定部
２０４，３０４，４０４ 副マイク信号
２０５，３０５，４０５ 主マイク信号
３０６ 雑音除去部
【発明の属する技術分野】
本発明は音声認識用マイクロフォンならびにそのマイクロフォンを用いた音声認識方法に関する。
【０００２】
【従来の技術】
従来の音声の認識においては、音声信号を感度よく収録するために、接話型マイクを使用することがあった。
この接話型マイクは、口とマイクを接近させることができるために、比較的周囲の雑音の影響を受けることなく音声だけの信号が得られる利点があった。
【０００３】
【発明が解決しようとする課題】
しかしながら、接話型マイクは話者がマイクロフォンを吹いてしまうと、これは大音量の音声信号となりエラーの原因となる。また、呼吸音や鼻息なども音声信号として検出してしまい、誤認識の原因となっていた。これらの課題を解決する為に特開平１０−６９２９３号公報の「音声認識装置および方法、情報記憶媒体」に示されるようなマイク波形の絶対値から呼吸音や鼻息音を判定する方法があった。
しかし波形のレベルは発話者の声の大きさに依存するため、音の大きな話者や小さな話者などの違いや、口とマイクの位置関係によって左右されるため、呼吸音や鼻息音の正確な判定ができない場合があった。
【０００４】
【課題を解決するための手段】
本発明に係る音声認識方法は、話者の口に近接した位置に主マイクと、前記話者の口と耳との間の呼吸や鼻息の流れから離れた位置に副マイクとをそれぞれ設け、前記主マイクと副マイクから得られた２つの音響信号の短時間音響パワーの比を呼吸音または鼻息音の判定信号として算出する判定信号算出工程と、前記主マイクから得られた音響信号の音響特徴分析、音声発生区間の決定並びに音響特徴パラメータとの照合及び類似性の検証を行い、最も類似している音声の音響特徴パラメータを音声認識候補として得る音声認識候補取得工程と、前記音声認識候補取得工程が決定した各音声発生区間毎に、前記判定信号算出工程の算出した判定信号の平均値を求め、該平均値が所定の値を越えたか否かによって、該当音声発生区間の音声認識候補を呼吸音または鼻息音として識別するか、または音声として識別する音声識別工程とを行って音声認識を行うものである。
その結果、主マイクが検出してしまう話者の吸呼音や鼻息音を除去して正しく音声を認識することができる。
【０００５】
【発明の実施の形態】
実施形態１
実施形態１では、ヘッドセットマイクの主マイクのほかに、その耳受けと主マイクの間のムーブに副マイクを取りつけ、２本のマイク信号の音響パワーの違いを利用して、呼吸音や鼻息音などを安定かつ正確に峻別する。
図１は本発明の実施形態１〜３に係るヘッドセットマイクの構成図であり、図２は図１のヘッドセットマイクを使用した本実施形態１に係る音声認識処理装置の構成図である。
【０００６】
図１において、１０１は主マイク、１０２は副マイク、１０３は主マイク信号出力端子、１０４は副マイク信号出力端子、１０５，１０６は耳当て、１０７はムーブであり、主マイク１０１の位置を調整できるように耳当て１０５に摺動自在に結合されている。なお１０１〜１０７をすべて含んだ構成をヘッドセットマイクという。
図１においては、通常のヘッドセットマイクにおける音声を感度よく収集する主マイク１０１に加えて、耳当て１０５と主マイク１０１を結ぶムーブ１０７上でかつ耳当て１０５に近い部分に副マイク１０２を設置する。また主マイク１０１と副マイク１０２の信号はそれぞれ主マイク信号出力端子１０３と副マイク信号出力端子１０４から取り出す。１０６は耳当て１０５の反対側の耳当てである。
【０００７】
図２において、２０１は音声判定部、２０２は音声認識部、２０３は総合判定部、２０４は副マイク信号、２０５は主マイク信号である。
図２の音声認識処理装置は、副マイク信号２０４と主マイク信号２０５から呼吸音や鼻息音を判定するための判定信号Ｚｆを算出する音声判定部２０１と、主マイク信号２０５から音声認識を行い、認識候補Ｃを求める音声認識部２０２と、判定信号Ｚｆと認識候補Ｃから音声認識結果Ｒを出力する総合判定部２０３からなる。
【０００８】
図１、２により実施形態１の動作を説明する。
図１の主マイク１０１は口と近接しているために、微少な音声の変化も捉える高感度な音声情報を収集できる。その一方で微少な呼吸音や鼻息なども確実に拾ってしまう。逆に副マイク１０２はそれほどの高感度ではないものの、呼吸や鼻息の流れからは離れているために呼吸音や鼻息にはほとんど感知しない。
この２つのマイクの特性を生かすために、図２の音声判定部２０１では、主マイク信号２０５の短時間音響パワーＭｆと副マイク信号２０４の短時間音響パワーＳｆを計算する。
【０００９】
音声判定部２０１では、まず入力される主マイク信号２０５と副マイク信号２０４をそれぞれＡ／Ｄ変換してデジタルの電気信号に変換する。
このデジタル信号に変換後の主マイク信号をＭｔ、副マイク信号をＳｔとすると、フレームと呼ばれる時間間隔Ｔ毎に、まず下記式（１）、（２）により、主マイク信号２０５と副マイク信号２０４の短時間音響パワーＭｆとＳｆを計算し、次に下記式（３）によりＭｆとＳｆの比を判定信号Ｚｆとして求める。なお、式（１）〜（３）におけるｆはフレーム番号である。
【００１０】
【数１】
判定信号Ｚｆは、通常の音声ではある一定値Ｖ以下になるが、呼吸音や鼻息では、主マイクの短時間音響パワーＭｆは大きいが、副マイクの短時間音響パワーＳｆは非常に小さいままであるためＺｆはＶを大幅に超える値をとる。ただし、破裂音（日本語では例えば「パ行音」等）などでは、破裂時点で、主マイク１０１に息がかかることがあるために、瞬間的にＺｆが大きくなることがある。しかし、長時間にわたってＺｆが大きくなることは通常の音声ではありえない。
【００１２】
音声認識部２０２の動作を説明する。
先ず音声認識部２０２は、主マイク信号２０５を音響特徴分析し、フレーム周期ｆ毎にｉ次元の音響特徴パラメータＸｆｉを算出する。この音響特徴パラメータＸｆｉとしては、フーリエ解析や自己相関関数から算出されるＬＰＣケプストラムが用いられるのが一般的である。ＬＰＣケプストラムの算出方法については、例えば“古井貞煕、「ディジタル音声処理」、１９８５年９月、東海大学出版会（以下、文献［１］と称す）、ＰＰ４４〜４８”に示されている。
次に音声認識部２０２は、Ｘｆｉの時間変化から音声が発せられている区間情報ｆｓ，ｆｅを見出す。ｆｓは音声の始端時刻を示すフレーム番号であり、ｆｅは認識候補の音声の終了時刻を示すフレーム番号である。
この音声が発せられている区間を決定することは、ほとんどの音声認識システムでは必須であり、その手法は同業者ならば周知の事項である。具体的には、前記文献［１］のＰＰ１５３〜１５４、などに記載されている手法がある。
【００１３】
次に音声認識部２０２は、音声認識部２０２内部に記憶されている音声の音響特徴パラメータのＡｆｉ（ｗ）と主マイク信号２０５からの音響特徴パラメータＸｆｉを照合し、その類似性を検証する。ここで、ｗは音声の特徴パタンＡｆｉ（ｗ）の内容を示す番号（例えばｗ＝１は「東京」、ｗ＝２は「大阪」など予め取り決めておく）である。この類似性の検証方法も、ほとんどの音声認識システムでは必須であり、その手法は同業者ならば周知の事項である。例えば前記文献［１］のＰＰ１６７〜１６９、などに記載されている。
最後に認識候補ｗ１を決定する。認識候補ｗ１は、もっとも類似している音声の音響特徴パラメータがＡｆｉ（ｗ１）とした場合、その内容を示す番号ｗ１とする。
【００１４】
総合判定部２０３の動作を説明する。
先ず総合判定部２０３は、音声認識部２０２で決定された音声始端フレームｆｓから音声終端フレームｆｅまでの区間に対して、音声判定部２０１で算出された判定信号Ｚｆの平均値ＺＺを次式（４）により計算する。
【００１５】
【数２】
このＺＺが定められた値Ｖより大きい場合、この区間の主マイク信号２０５は呼吸音や鼻息によるものと判断され、最終的な認識結果Ｒは認識候補ｗ１でなく、エラーが発生したと見なす。
逆に、ＺＺがＶより小さい場合、この区間の主マイク信号２０５は音声であるため、最終的な認識結果Ｒは認識候補ｗ１とする。
【００１７】
以上説明したように、本実施形態１によれば、ヘッドセットマイクに主マイク１０１と副マイク１０２の２つのマイクを設け、一方の主マイク１０１は口と近接しているために、微少な音声の変化も捉える高感度な音声情報を収集でき、他方の副マイク１０２はそれほどの高感度ではないものの、呼吸や鼻息の流れからは離れているために呼吸音や鼻息にはほとんど感知しないよう構成される。そしてこの２つのマイク信号を組み合わせて音声認識を行うことで、周囲の雑音の影響を受けることなく音声認識が行え、かつ呼吸音や鼻息による誤認識をなくすことができる音声認識方式が実現できる。
【００１８】
実施形態２
実施形態２では、ヘッドセットマイクの主マイクのほかに、その耳受けと主マイクの間のムーブに副マイクを取りつけ、２本のマイク信号の音響パワーの違いを利用して、呼吸音や鼻息音などを安定かつ正確に峻別するとともに、雑音除去と音声特徴強調も行う。 図３は図１のヘッドセットマイクを用いた本実施形態２に係る音声認識処理装置の構成図であり、図の３０１は音声判定部、３０２は音声認識部、３０３は総合判定部、３０４は副マイク信号、３０５は主マイク信号、３０６は雑音除去部である。
【００１９】
図３の音声認識処理装置は、副マイク信号３０４と主マイク信号３０５から呼吸音や鼻息音の判定するための判定信号Ｚｆを算出する音声判定部３０１と、副マイク信号３０４と主マイク信号３０５とから雑音除去を行い、音声信号を取り出す雑音除去部３０６と、この雑音除去後の音声信号を入力し、音声始端フレームｆｓと音声終端フレームｆｅならびに認識候補ｗ１を求める音声認識部３０２と、音声認識部３０２の出力する認識候補と前記判別信号Ｚｆから音声認識結果Ｒを出力する総合判定部３０３からなる。
【００２０】
図３により実施形態２の動作を説明する。
図３の音声判定部３０１では、実施形態１の音声判定部２０１と同様に主マイク信号３０５の短時間音響パワーＭｆと副マイク信号３０４の短時間音響パワーＳｆならびにその比である判定信号Ｚｆを計算する。
雑音除去部３０６は主マイク信号３０５と副マイク信号３０４の性質の違いから、背景ノイズ分をキャンセルする処理を行い、主マイク信号３０５に混入した推定雑音成分を取り除いた音声信号成分を取り出す。
【００２１】
この雑音除去処理は一般にアクティブ・ノイズ・キャンセラ（ＡＮＣ）と呼ばれ、入力された雑音信号（本実施形態２では副マイク信号３０４）と同振幅、逆位相の逆位相のキャンセル信号を生成し、雑音信号が混入した音声信号（本実施形態２では主マイク信号３０５）にキャンセル信号を加えることで、雑音信号を消しさる技術である。
音声認識にこのＡＮＣを適用した効果については、例えば“日本音響学会講演論文集、平成５年１０月、中山 昭ほか、３−８−１０「適応ノイズキャンセラを用いた騒音下音声認識」、ＰＰ−１４３〜１４４”に示されている。
【００２２】
音声認識部３０２は、雑音除去部３０６で生成された音声信号成分から実施形態１の音声認識部２０２と同様な音声認識処理を行い、音声始端フレームｆｓと音声終端フレームｆｅならびに認識候補ｗ１を求める。
総合判定部３０３は、判定信号Ｚｆと音声始端フレームｆｓと音声終端フレームｆｅならびに認識候補ｗ１から最終的な認識結果Ｒを出力する。ここでの判定ロジックは実施形態１と同様に行えば良い。
【００２３】
以上説明したように、本実施形態２によれば、ヘッドセットマイクには、口に近接した主マイク１０１と口から少し離れた副マイク１０２の２つのマイクを設け、主マイク信号３０５と副マイク信号３０４の両マイク信号から呼吸音や鼻息の判定を行うと同時に、主マイク信号３０５と副マイク信号３０４から背景雑音成分を除去した音声成分を抽出し、この音声成分に対して、音声認識を行うことで、周囲の雑音の高度に除去した音声認識が行え、かつ呼吸音や鼻息による誤認識をなくすことができる音声認識方式が実現できる。
【００２４】
実施形態３
実施形態３では、ヘッドセットマイクの主マイクのほかに、その耳受けと主マイクの間のムーブに副マイクを取りつけ、２本のマイク信号の音響パワーの違いを利用して、呼吸音や鼻息音などを安定かつ正確に峻別する判定信号を音声認識類似度計算に反映させることで、音声の一部分に呼吸音や鼻息がかかった場合でも正しく音声認識を行うことができるようになる。
図４は図１のヘッドセットマイクを用いた本実施形態３に係る音声認識装置の構成図であり、図の４０１は音声判定部、４０２は音声認識部、４０３は総合判定部、４０４は副マイク信号、４０５は主マイク信号である。
【００２５】
図４の音声認識処理装置は、副マイク信号４０４と主マイク信号４０５から呼吸音や鼻息音の判定するための判定信号Ｚｆを算出する音声判定部４０１と、主マイク信号４０５と判定信号Ｚｆを入力し、音声始端フレームｆｓと音声終端フレームｆｅならびに認識候補ｗ１を求める音声認識部４０２と、音声認識部４０２の出力する認識候補と前記判別信号Ｚｆから音声認識結果Ｒを出力する総合判定部４０３からなる。
【００２６】
図４により実施形態３の動作を説明する。
図４の音声判定部４０１では、実施形態１の音声判定部２０１と同様に主マイク信号４０５の短時間音響パワーＭｆと副マイク信号４０４の短時間音響パワーＳｆならびにその比である判定信号Ｚｆを計算する。
音声認識部４０２は、主マイク信号４０５と判定信号Ｚｆから実施形態１の音声認識部２０２と同様な音声認識処理を行う。ただし、判定信号Ｚｆが予め定められたＶより大きいフレームでは、その部分の主マイク信号が呼吸音や鼻息である可能性が高いため、そのフレームでの認識処理は認識候補ｗ１の判定に与える影響を軽減する。
【００２７】
次に音声認識部４０２は、音声認識部４０２内部に記憶されている音声の音響特徴パラメータＡｆｉ（ｗ）と主マイク信号４０５からの音響特徴パラメータＸｆｉを照合し、その類似性を検証する。
一般的な類似性の検証方法では、音響特徴パラメータＸｆｉと音声の音響特徴パラメータＡｆｉ（ｗ）とフレーム毎の局所類似度Ｘｆを計算し、その局所類似度Ｘｆをフレーム毎に算出して順次累積させ、この累積類似度が最大となるｗ１を見出す。
【００２８】
しかし、本実施形態３では、この局所類似度Ｘｆに対して判定信号Ｚｆに応じて重みを掛ける。重みのかけ方としては、例えば、予め定められたＶより大きいフレームｆではＸｆの値に０．３を乗じた値とすることで、そのフレームｆの累積類似度に与える影響を軽減できる。この処理により、呼吸音や鼻息がかかったと想定されるフレームの影響を考慮した累積類似度が算出でき、認識候補ｗ１の判定精度が著しく向上する。
総合判定部４０３は、判定信号Ｚｆと音声始端フレームｆｓと音声終端フレームｆｅならびに認識候補ｗ１から最終的な認識結果Ｒを出力する。ここでの判定ロジックは実施形態１と同様に行えば良い。
【００２９】
以上説明したように、本実施形態３によれば、ヘッドセットマイクには、口に近接した主マイク１０１と口から少し離れた副マイク１０２の２つのマイクを設け、主マイク信号４０５と副マイク信号４０４の両マイク信号から呼吸音や鼻息の判定を行うと同時に、主マイク信号４０５と副マイク信号４０４から求まる判定信号Ｚｆを認識処理の類似度計算に反映させることで、音声の一部分に呼吸音や鼻息がかかった場合でも正しく音声認識を行うことができるようになる。
【００３０】
上記本発明に係る音声認識方法は、あらゆる音声認識装置や音声通話装置に適用して利用することができる。
なお、上記各実施形態では、副マイクは、ヘッドセットマイクの耳受けと主マイクとの間のムーブに取り付ける例を説明したが、本発明はこれに限定されるものではなく、例えばイヤホーンマイク（イヤホーンと一体化された小型マイク）を副マイクとして用いるようにしてもよい。
【００３１】
【発明の効果】
以上のように本発明によれば、話者の口に近接した位置に主マイクと、前記話者の口と耳との間の位置に副マイクとをそれぞれ設け、前記主マイクから得られた音響信号と副マイクから得られた音響信号との音響パワーの相違を利用して前記主マイクから得られた音響信号から話者の呼吸音または鼻息音を弁別して音声認識を行う工程を有するようにしたので、主マイクが検出してしまう話者の呼吸音や鼻息音を除去して正しく音声を認識することができる。
【図面の簡単な説明】
【図１】本発明の実施形態１〜３に係るヘッドセットマイクの構成図である。
【図２】本発明の実施形態１に係る音声認識装置の構成図である。
【図３】本発明の実施形態２に係る音声認識装置の構成図である。
【図４】本発明の実施形態３に係る音声認識装置の構成図である。
【符号の説明】
１０１ 主マイク
１０２ 副マイク
１０３ 主マイク出力端子
１０４ 副マイク出力端子
１０５，１０６ 耳当て
１０７ ムーブ
２０１，３０１，４０１ 音声判定部
２０２，３０２，４０２ 音声認識部
２０３，３０３，４０３ 総合判定部
２０４，３０４，４０４ 副マイク信号
２０５，３０５，４０５ 主マイク信号
３０６ 雑音除去部
Claims (5)
- 話者の口に近接した位置に主マイクと、前記話者の口と耳との間の呼吸や鼻息の流れから離れた位置に副マイクとをそれぞれ設け、
前記主マイクと副マイクから得られた２つの音響信号の短時間音響パワーの比を呼吸音または鼻息音の判定信号として算出する判定信号算出工程と、
前記主マイクから得られた音響信号の音響特徴分析、音声発生区間の決定並びに音響特徴パラメータとの照合及び類似性の検証を行い、最も類似している音声の音響特徴パラメータを音声認識候補として得る音声認識候補取得工程と、
前記音声認識候補取得工程が決定した各音声発生区間毎に、前記判定信号算出工程の算出した判定信号の平均値を求め、該平均値が所定の値を越えたか否かによって、該当音声発生区間の音声認識候補を呼吸音または鼻息音として識別するか、または音声として識別する音声識別工程とを行って音声認識を行うことを特徴とする音声認識方法。 - 話者の口に近接した位置に主マイクと、前記話者の口と耳との間の呼吸や鼻息の流れから離れた位置に副マイクとをそれぞれ設け、
前記主マイクと副マイクから得られた２つの音響信号の短時間音響パワーの比を呼吸音または鼻息音の判定信号として算出する判定信号算出工程と、
前記主マイクより得られた音響信号から前記副マイクより得られた音響信号を減算して混入雑音を除去する雑音除去工程と、
前記雑音除去工程によって主マイクより得られた音響信号から混入雑音の除去された音響信号の音響特徴分析、音声発生区間の決定並びに音響特徴パラメータとの照合及び類似性の検証を行い、最も類似している音声の音響特徴パラメータを音声認識候補として得る音声認識候補取得工程と、
前記音声認識候補取得工程が決定した各音声発生区間毎に、前記判定信号算出工程の算出した判定信号の平均値を求め、該平均値が所定の値を越えたか否かによって、該当音声発生区間の音声認識候補を呼吸音または鼻息音として識別するか、または音声として識別する音声識別工程とを行って音声認識を行うことを特徴とする音声認識方法。 - 話者の口に近接した位置に主マイクと、前記話者の口と耳との間の呼吸や鼻息の流れから離れた位置に副マイクとをそれぞれ設け、
前記主マイクと副マイクから得られた２つの音響信号の短時間音響パワーの比を呼吸音または鼻息音の判定信号として算出する判定信号算出工程と、
前記主マイクから得られた音響信号の音響特徴分析、音声発生区間の決定及び音響パラメータとの照合を行い、次に前記判定信号算出工程の算出した判定信号を重み係数とした類似度計算により前記音響パラメータとの類似性の検証を行い、最も類似している音声の音響特徴パラメータを音声認識候補として得る音声認識候補取得工程と、
前記音声認識候補取得工程が決定した各音声発生区間毎に、前記判定信号算出工程の算出した判定信号の平均値を求め、該平均値が所定の値を越えたか否かによって、該当音声発生区間の音声認識候補を呼吸音または鼻息音として識別するか、または音声として識別する音声識別工程とを行って音声認識を行うことを特徴とする音声認識方法。 - 前記副マイクは、ヘッドセットマイクの耳受けと前記主マイクとの間のムーブに取り付けられたことを特徴とする請求項１から３までのいずれかの請求項に記載の音声認識方法。
- 前記副マイクは、イヤホーンマイクを用いることを特徴とする請求項１から３までのいずれかの請求項に記載の音声認識方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07738199A JP3649032B2 (ja) | 1999-03-23 | 1999-03-23 | 音声認識方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07738199A JP3649032B2 (ja) | 1999-03-23 | 1999-03-23 | 音声認識方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000276191A JP2000276191A (ja) | 2000-10-06 |
| JP3649032B2 true JP3649032B2 (ja) | 2005-05-18 |
Family
ID=13632325
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07738199A Expired - Fee Related JP3649032B2 (ja) | 1999-03-23 | 1999-03-23 | 音声認識方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3649032B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005303574A (ja) * | 2004-04-09 | 2005-10-27 | Toshiba Corp | 音声認識ヘッドセット |
| CN102368793B (zh) * | 2011-10-12 | 2014-03-19 | 惠州Tcl移动通信有限公司 | 手机及其通话信号处理方法 |
| JP6061069B2 (ja) * | 2012-09-21 | 2017-01-18 | 株式会社システック | 極微小音声入力装置 |
| JP6480124B2 (ja) * | 2014-08-19 | 2019-03-06 | 大学共同利用機関法人情報・システム研究機構 | 生体検知装置、生体検知方法及びプログラム |
| KR20180023617A (ko) * | 2016-08-26 | 2018-03-07 | 삼성전자주식회사 | 외부 기기를 제어하는 휴대 기기 및 이의 오디오 신호 처리 방법 |
| CN109087648B (zh) * | 2018-08-21 | 2023-10-20 | 平安科技（深圳）有限公司 | 柜台语音监控方法、装置、计算机设备及存储介质 |
| JP7100746B1 (ja) | 2021-06-21 | 2022-07-13 | アルインコ株式会社 | 無線中継装置及び無線通信システム |
-
1999
- 1999-03-23 JP JP07738199A patent/JP3649032B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000276191A (ja) | 2000-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9959886B2 (en) | Spectral comb voice activity detection | |
| JP5339501B2 (ja) | 音声収集方法、システム及びプログラム | |
| JP3691511B2 (ja) | 休止検出を行う音声認識 | |
| US20090076814A1 (en) | Apparatus and method for determining speech signal | |
| US9384759B2 (en) | Voice activity detection and pitch estimation | |
| JP5649488B2 (ja) | 音声判別装置、音声判別方法および音声判別プログラム | |
| JP2008299221A (ja) | 発話検知装置 | |
| JP4816711B2 (ja) | 通話音声処理装置および通話音声処理方法 | |
| KR20100010136A (ko) | 잡음을 제거하는 장치 및 방법 | |
| US9437213B2 (en) | Voice signal enhancement | |
| JP3649032B2 (ja) | 音声認識方法 | |
| US20200251120A1 (en) | Method and system for individualized signal processing of an audio signal of a hearing device | |
| JPH11249693A (ja) | 収音装置 | |
| JP4752028B2 (ja) | 音声中の非発話音声の判別処理方法 | |
| JP2004325127A (ja) | 音源検出方法、音源分離方法、およびこれらを実施する装置 | |
| JP2005338454A (ja) | 音声対話装置 | |
| Burileanu et al. | An adaptive and fast speech detection algorithm | |
| JP5271734B2 (ja) | 話者方向推定装置 | |
| Maganti et al. | A perceptual masking approach for noise robust speech recognition | |
| JP3520430B2 (ja) | 左右音像方向抽出方法 | |
| CN111226278B (zh) | 低复杂度的浊音语音检测和基音估计 | |
| JP5180139B2 (ja) | 発声検出装置 | |
| Brown et al. | Speech separation based on the statistics of binaural auditory features | |
| Hirsch et al. | Keyword detection for the activation of speech assistants | |
| US20220068270A1 (en) | Speech section detection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041109 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050114 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050201 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050207 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090225 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090225 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100225 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110225 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110225 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120225 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |