JP6430318B2 - 不正音声入力判定装置、方法及びプログラム - Google Patents

Description

この発明は、入力された音声が不正なものであるかを判定する技術に関する。

音声による話者認識（以下、単に話者認識と記載する。）は、照合と識別に大別される。

話者の照合は、本人確認に例えば利用される。話者の照合では、ユーザは、まずシステムに自分のユーザ名を申告する。次にシステムに音声を入力する。システムは、入力音声が本当に申告のあったユーザであるかを判定する。

一方、話者の識別は、入力音声が誰の声であるかを判定するものである。話者の識別では、事前に登録された人物の中から、最も類似した声を持つ人物が結果として返される。

照合と話者の両方を兼ね備える場合もある。この場合、非登録話者であるかどうかが判定（照合）され、さらに登録話者であれば具体的に誰かが判定される（識別）。これらを総じて話者認識と呼ぶ。

話者認識にはテキスト依存型とテキスト非依存型がある。テキスト依存型とは、認識を行う際に所定の文をユーザが読み上げる形式である。一方、テキスト非依存型は、ユーザは任意の言葉を発して良い形式である。

話者認識では音声の事前登録が必要である。登録は１発話以上行われる。利便性のため、登録発話は短く、登録回数が少ない場合でも、適切に認識が行えることが望ましい。

話者認識は、個々の入力音声から特徴量を算出し、既存の外れ値検知やクラス分類アルゴリズム等の技術を用いることで実現される。話者の照合であれば、登録話者かそれ以外かの二値を判定すればよいから、外れ値検知や二値のクラス分類アルゴリズムを用いることができる。話者の識別であれば、多値のクラス分類問題に他ならない。具体的に話者認識で用いられている技術として、例えば非特許文献１，２に記載された技術が知られている。非特許文献２では、話者認識に使用される特徴量についても説明されている。

つぎに、母音区間検出の概要について説明する。母音区間検出は、音声を入力し、その母音の判定区間を検出するものである。基本的に音声に含まれるフォルマント成分に着目し処理が行われる（例えば、非特許文献３参照。）。フォルマントとは、音声をフーリエ変換などで周波数解析をした際に、周波数の低い成分に現れるピークのことである。ピークは、複数現れ、調波性を有する。一般に複数のピークは周波数が低い方から順に第一フォルマント、第二フォルマント・・・と呼ばれる。これら複数のフォルマントの間隔、大きさ、出現した周波数の値など総じて調波構造やフォルマント構造と呼ぶ。フォルマントは母音によく現れる反面、子音には顕著に出現しないため、母音区間検出を行う上で重要な特徴となる。

実際には、子音の中でもフォルマントが抽出されるものもある（有声子音）。そのため、構造を勘案し母音区間が推定される。つまり、母音らしい調波構造を持つかを判定する処理が行われる。

そのため、音声に限らず一般の信号を母音区間検出に入力した場合、母音に類似した調波構造を持つ信号区間に対しては、母音として判定される可能性が高い。例えば、楽器の音などがこれに当たる。逆に、類似の構造を持たなければ母音と判定される可能性は低い。

小川哲司，松井知子，"話者認識で用いる機械学習"，日本音響学会誌69巻7号，pp.349-356，2013． 王龍標，西田昌史，柘植覚，網野加苗，"話者認識におけるロバストネス"，日本音響学会誌69巻7号，pp.357-364，2013． 辻美咲，荒井隆行，程島奈緒，"音声の母音区間に対する簡易的自動検出法 ―残響環境下における音声明瞭度の改善を目的として―"， 日本音響学会秋季研究発表会講演論文集，pp.329-330, 2010/09.

ところで、話者認識は、音声の適切な入力を前提とした技術である。そのため、話者認識システムに対し、音声の適切な入力を判定する機能を具備することは有用である。特に登録時は重要である。登録音声信号が不適切であれば、正しく認識できないからである。

話者認識技術で前提としている音声は、言葉を発している音声であるが、これを厳密に定義することや、ユーザにその点を明確に示し、理解してもらうことは難しい。例えば、子音だけで構成される音声は、言葉を発していると言えるかもしないが、子音のみから話者性を適切に抽出することは困難で、現状の技術水準の話者認識システムとしては、不正な入力とみなしたい。例えば、「スススー（母音’ウ’は発音されず子音’s’だけの発声）」といったものがこれに当たる。更には、母音であっても極端に長音化したものも、技術的には幾分難しい。例えば、「あーーーーー」と数秒言い続けるようなものがこれにあたる。更には、喉を鳴らず音、舌を振動させる音や鳴らす音、息の吹きかけ・吸込み音、口笛、リップ音、咳などの音が支配的な入力も不正な入力と想定される。これらは既存の音声区間検出技術で除去することは難しい。

テキスト依存型の話者認識であれば、音声認識などの技術を利用し、テキストと実際の発話内容を比較するといったことで、入力音声の適切さを判断できる。しかし、テキスト非依存型では、その方法は自明ではない。

この発明の目的は、テキスト非依存型の音声信号処理においても、入力された音声が不正なものであるかを判定することができる不正音声入力判定装置、音声信号処理装置、方法及びプログラムを提供することである。

この発明の一態様による不正音声入力判定装置は、入力された音声信号から有音区間の部分を抜き出すことにより音声区間信号を生成する音声区間検出部と、音声区間信号の母音区間を検出する母音区間検出部と、検出された母音区間の長さに基づいて、音声信号が不正音声であるかどうかを判断する母音区間検出結果分析部と、を備えており、母音区間検出結果分析部は、音声信号が不正音声でないと判断された場合には、音声信号又は音声区間信号を用いて話者認識の処理を行う信号処理部に、入力された音声信号又は音声区間信号を送信する。
この発明の一態様による不正音声入力判定装置は、入力された音声信号から有音区間の部分を抜き出すことにより音声区間信号を生成する音声区間検出部と、音声区間信号の母音区間を検出する母音区間検出部と、検出された母音区間の長さに基づいて、音声信号が不正音声であるかどうかを判断する母音区間検出結果分析部と、を備えており、母音区間検出結果分析部は、音声信号が不正音声でないと判断された場合には、音声信号又は音声区間信号を用いて話者登録の処理を行う信号処理部に、入力された音声信号又は音声区間信号を送信する。

この発明の一態様による音声信号処理装置は、上記の不正音声入力判定装置と、音声信号が不正音声でないと判断された場合には、音声信号を用いて話者認識の処理を行う信号処理部と、を備えている。
この発明の一態様による音声信号処理装置は、上記の不正音声入力判定装置と、音声信号が不正音声でないと判断された場合には、音声信号を用いて話者登録の処理を行う信号処理部と、を備えている。

テキスト非依存型の音声信号処理においても、入力された音声が不正なものであるかを判定することができる。

不正音声入力判定装置、音声信号処理装置の例を説明するためのブロック図。 不正音声入力判定方法、音声信号処理方法の例を説明するための流れ図。

［技術的背景］
本発明は、入力音声に対して母音区間検出技術を適用し、その適用結果を不正音声入力の判定に利用することを特徴の１つとする。母音区間検出では、入力音の調波構造が母音に類似してない限り、母音と判定されにくいという性質が利用される。

話者認識における不正な音声入力のうち、子音のみ音、喉を鳴らず音、舌を振動させる音や鳴らす音、息の吹きかけ・吸込み音、リップ音、咳などは、調波構造が母音とは異なる。そのため、母音区間検出で母音と判定される可能性は小さい。

実際、母音の限りなく少ない音声に対する話者認識は技術的に難しいことから、母音らしい特徴を有していない信号を、話者認識における不正な入力と見なすことは、ひとつの選択肢になりえる。

一方、話者認識における不正な音声入力のうち、母音の極端な長音化や口笛でメロディーをきざむような場合は、連続して長い区間が母音と判定される。通常の言葉は子音を挟むため、連続して長い区間が母音であることは稀であるから、検出された母音区間の長さから、不正な音声と通常の音声を区別することができる。

［実施形態］
音声信号処理装置は、不正音声入力判定装置１及び信号処理部２を例えば備えている。不正音声入力判定装置１は、音声区間検出部１１、母音区間検出部１３及び母音区間検出結果分析部１４を例えば備えている。

＜音声区間検出部１１＞
入力された音声信号は、不正音声入力判定装置１の音声区間検出部１１に渡される。

音声区間検出部１１は、入力された音声信号から有音区間の部分を抜き出すことにより音声区間信号を生成する（ステップＳ１１）。すなわち、音声区間検出部１１は、入力された音声信号から無音部分を除去する。生成された音声区間信号は、母音区間検出部１３に渡される。

有音区間の部分の抜き出しには、既存の技術を用いればよい。例えば、音声信号の大きさが所定の閾値以上の区間を有音区間の部分と判定し、音声信号の大きさが所定の閾値以上の区間を無音区間の部分と判定し、判定された有音区間の部分のみを結合することにより音声区間信号を生成することができる。

＜母音区間検出部１３＞
母音区間検出部１３は、音声区間信号の母音区間を検出する（ステップＳ１３）。検出された母音区間についての情報である母音区間情報は、母音区間検出結果分析部１４に渡される。

母音区間情報は、例えば母音区間の開始時刻と継続長である。音声区間信号の中に複数の母音区間が検出された場合には、複数の母音区間のそれぞれの母音区間情報が生成され母音区間検出結果分析部１４に渡される。以下、Iを１以上の整数とし、検出された母音区間の個数をIとし、i=1,…,Iとして、検出された、i番目の母音区間の継続長をV(i)と表記する。

＜母音区間検出結果分析部１４＞
母音区間検出結果分析部１４は、検出された母音区間の長さに基づいて、音声信号が不正音声であるかどうかを判断する（ステップＳ１４）。

母音区間検出結果分析部１４の具体的な構成方法の１つは、母音区間の占める割合を求めて閾値処理にて不正音声入力の判定を行うものである。今、音声区間信号の長さをLと表記すると母音区間の占める割合Rは、

にて算出できる。母音区間検出結果分析部１４は、Rが、所定の閾値TRより小さいとき、入力された音声信号は不正音声と判断する。そうでない場合には、入力された音声信号は不正音声でないと判断する。Rは、０以上１以下の値を持つ。閾値TRは事前にシステム開発者が決定する数値であり、Rの取り得る範囲で設定される。すなわち、閾値TRは、０以上１以下の所定の値に設定される。閾値TRが大きければ、多くの音声を不正と判定することになる。

この方法は、母音に類似の調波構造を持たない不正な入力の検知を目的とした方法である。

母音区間検出結果分析部１４の具体的な構成方法のもう１つは、正規化された母音区間の長さの最大値を閾値処理する方法である。正規化された母音区間の長さの最大値Mは、例えば、以下のように算出される。

と算出する。母音区間検出結果分析部１４は、Mが所定の閾値TMより大きいとき不正音声と判定する。そうでない場合には、入力された音声信号は不正音声でないと判断する。Mは0以上１以下の値を持つ。閾値TMは、事前にシステム開発者が決定する数値であり、Mの取り得る範囲で設定される。閾値TMが小さければ、多くの音声を不正と判定することになる。

この方法は、母音の極端な長音化などの不正な入力の検知を目的とした方法である。

上述の方法を２段階に適用し、どちらかで不正と判断された音声信号を不正と判断してもよい。すなわち、母音区間検出結果分析部１４は、R<TR又はM>TMの場合に、入力された音声信号は不正音声と判断し、そうでない場合には、入力された音声信号は不正音声でない判断してもよい。

もちろん、上述の方法以外の方法により、母音区間検出の結果を利用して不正音声入力の判定を行ってもよい。

母音区間検出結果分析部１４は、入力された音声信号は不正音声であると判断された場合には、その旨をユーザ等に通知し、入力された音声信号は不正音声でないと判断された場合には、入力された音声信号又は音声区間信号を信号処理部２に渡す。

＜信号処理部２＞
信号処理部２は、入力された音声信号が不正音声でないと判断された場合には、その音
声信号又は音声区間信号を用いて話者認識又は話者登録の処理を行う。

話者認識又は話者登録には、背景技術の欄や例えば非特許文献１，２に記載された既存の技術を用いればよい。

［変形例］
不正音声入力判定装置１は、雑音抑制除去部１２を備えていてもよい。この場合、音声区間検出部１１が生成した音声区間信号は、雑音抑制除去部１２に渡される。雑音抑制除去部１２は、音声区間信号の雑音を抑圧又は除去する（ステップＳ１２）。雑音が抑圧又は除去された音声区間信号は、母音区間検出部１３に渡される。母音区間検出部１３は、上記と同様にして、雑音抑圧除去部１２により雑音が抑圧又は除去された音声区間信号の母音区間を検出する処理を行う。

雑音の抑圧又は除去には、既存の技術を用いればよい。なお、この雑音の抑圧又は除去の処理以降に母音区間検出が適用されるため、母音区間検出の精度低下の要因となる種の雑音（例えば母音と調波構造の類似した雑音信号）を抑圧可能な雑音抑圧手法を用いてもよい。

不正音声入力判定装置、音声信号処理装置及び方法において説明した処理は、記載の順にしたがって時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。

その他、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

[プログラム及び記録媒体]
不正音声入力判定装置、音声信号処理装置における各処理をコンピュータによって実現する場合、その各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、その各処理がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、各処理手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

１ 不正音声入力判定装置
１１ 音声区間検出部
１２ 雑音抑制除去部
１２ 雑音抑圧除去部
１３ 母音区間検出部
１４ 母音区間検出結果分析部
２ 信号処理部

Claims (6)

1. 入力された音声信号から有音区間の部分を抜き出すことにより音声区間信号を生成する音声区間検出部と、
   上記音声区間信号の母音区間を検出する母音区間検出部と、
   上記検出された母音区間の長さに基づいて、上記音声信号が不正音声であるかどうかを判断する母音区間検出結果分析部と、を含み、
   上記母音区間検出結果分析部は、上記音声信号が不正音声でないと判断された場合には、上記音声信号又は上記音声区間信号を用いて話者認識の処理を行う信号処理部に、上記入力された音声信号又は上記音声区間信号を送信する、
   不正音声入力判定装置。
2. 入力された音声信号から有音区間の部分を抜き出すことにより音声区間信号を生成する音声区間検出部と、
   上記音声区間信号の母音区間を検出する母音区間検出部と、
   上記検出された母音区間の長さに基づいて、上記音声信号が不正音声であるかどうかを判断する母音区間検出結果分析部と、を含み、
   上記母音区間検出結果分析部は、上記音声信号が不正音声でないと判断された場合には、上記音声信号又は上記音声区間信号を用いて話者登録の処理を行う信号処理部に、上記入力された音声信号又は上記音声区間信号を送信する、
   不正音声入力判定装置。
3. 請求項１又は２の不正音声入力判定装置であって、
   上記音声区間信号の雑音を抑圧又は除去する雑音抑圧除去部を更に含み、
   上記母音区間検出部は、上記雑音抑圧除去部により雑音が抑圧又は除去された音声区間信号の母音区間を検出する、
   不正音声入力判定装置。
4. 音声区間検出部が、入力された音声信号から有音区間の部分を抜き出すことにより音声区間信号を生成する音声区間検出ステップと、
   母音区間検出部が、上記音声区間信号の母音区間を検出する母音区間検出ステップと、
   母音区間検出結果分析部が、上記検出された母音区間の長さに基づいて、上記音声信号が不正音声であるかどうかを判断する母音区間検出結果分析ステップと、を含み、
   上記母音区間検出結果分析ステップは、上記音声信号が不正音声でないと判断された場合には、上記音声信号又は上記音声区間信号を用いて話者認識の処理を行う信号処理部に、上記入力された音声信号又は上記音声区間信号を送信する、
   不正音声入力判定方法。
5. 音声区間検出部が、入力された音声信号から有音区間の部分を抜き出すことにより音声区間信号を生成する音声区間検出ステップと、
   母音区間検出部が、上記音声区間信号の母音区間を検出する母音区間検出ステップと、
   母音区間検出結果分析部が、上記検出された母音区間の長さに基づいて、上記音声信号が不正音声であるかどうかを判断する母音区間検出結果分析ステップと、を含み、
   上記母音区間検出結果分析ステップは、上記音声信号が不正音声でないと判断された場合には、上記音声信号又は上記音声区間信号を用いて話者登録の処理を行う信号処理部に、上記入力された音声信号又は上記音声区間信号を送信する、
   不正音声入力判定方法。
6. 請求項１から３の何れかの不正音声入力判定装置の各部としてコンピュータを機能させるためのプログラム。

Images