JP4882152B2

JP4882152B2 - 話速検出方法および音声信号処理装置

Info

Publication number: JP4882152B2
Application number: JP2001015927A
Authority: JP
Inventors: 克文近藤; 浩大脇; 晃三木; 晃一河本
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2001-01-24
Filing date: 2001-01-24
Publication date: 2012-02-22
Anticipated expiration: 2021-01-24
Also published as: JP2002221976A

Description

【０００１】
【発明の属する技術分野】
この発明は、話速変換機能を備えた補聴器などの装置において、入力された発話音声の話速を検出する方法およびその装置に関する。
【０００２】
【従来の技術】
聴覚神経および言語理解能力が衰えた高齢者を補助するために、話速変換機能を備えた補聴器が提案されている。発話音声をゆっくりに変換すればするほど高齢者にとって理解度が向上するというものではなく、適正な速度に変換したとき最も理解度が向上し、それよりもゆっくりに変換した場合には却って理解度が低下することが知られている。また、発話音声をゆっくりに変換するためにはその速度に応じたメモリが必要になるという問題点がある。そこで、入力された発話音声の話速を検出し、検出された話速に応じて変換処理を行い、入力された発話音声を適正な話速に変換する必要がある。
【０００３】
話速を検出する方法として、従来より、特開平５−２８９６９１号、特開平１０−７０７９０号、特開平１１−３５３４６８号に示す方式などが既に提案されている。
【０００４】
【発明が解決しようとする課題】
しかし、これらの方式は、話速検出を高精度に検出できるものの、検出に時間がかかり、補聴器など小型でリアルタイム処理が要求される装置には適さないものであった。
【０００５】
この発明は、簡略な処理で話速変換等に必要十分な精度で発話速度を検出することができる話速検出方法および装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１の発明は、発話音声波形の自己相関を示す波形相関値と発話速度の対応関係を表す対応情報を記憶しておき、入力された音声信号の波形相関値を求め、この波形相関値で前記対応情報を参照することによって発話速度を推定し、前記対応情報が表す前記波形相関値と前記発話速度の対応関係は、負の相関関係であることを特徴とする。
請求項２の発明は、記波形相関値は、フレーム長が異なる複数の音声信号から算出された複数の波形相関値のうち、最大となる波形相関値であることを特徴とする。
【０００７】
請求項３の発明は、請求項１または２において、前記対応情報は、波形相関値と発話速度とを対応づけたテーブルであることを特徴とする。
【０００８】
請求項４の発明は、請求項１または２において、前記対応情報は、波形相関値から発話速度を求める演算式であることを特徴とする。
【０００９】
請求項５の発明は、発話音声波形の自己相関を示す波形相関値と発話速度の対応関係を表す対応情報を記憶した記憶手段と、入力された音声信号の波形相関値を求め、この波形相関値で前記対応情報を参照することによって発話速度を推定する処理手段と、を備え、前記対応情報が表す前記波形相関値と前記発話速度の対応関係は、負の相関関係であることを特徴とする。
請求項６の発明は、前記波形相関値は、フレーム長が異なる複数の音声信号から算出された複数の波形相関値のうち、最大となる波形相関値であることを特徴とする。
【００１０】
請求項７の発明は、請求項５または６において、前記記憶手段は、波形相関値と発話速度とを対応づけたテーブルを対応情報として記憶したことを特徴とする。
【００１１】
請求項８の発明は、請求項５または６において、前記記憶手段は、波形相関値から発話速度を求める演算式を対応情報として記憶したことを特徴とする。
【００１２】
一般的に、発話速度（話速）と音声信号の周期性の度合いを示す相関値とは負の相関関係がある。すなわち、ゆっくり話す場合には、発話音声信号は正確に同じ形状の波形の繰り返しになるが、速く話した場合には発話音声信号の波形がくずれてきて、前後区間の波形を比較したとき若干のずれが生じて相関値が低下する。この発話速度と相関値との関係を示すグラフを図１に示す。
これは話速に応じて音声波形相関値がどのように変化するかを実測したグラフである。実験に使用した文章は５〜６音節で構成される２０文であり、Ａ、Ｂ、Ｃ、３名の被験者にゆっくり、中くらいの速さ、早口など複数種類の話速で発話させた。この発話の発生時間と文を構成する母音数から発話速度を算出し、連続する２区間の類似度を相関値として算出した。これによると、話速が５ｍｏｒａ／ｓ程度のときは相関値は０．８８〜０．９であるが、話速が１０ｍｏｒｅ／ｓになると相関値は０．８３程度に低下する。このように発話速度と波形相関値とは負の相関があることに基づき、入力された発話音声の波形相関値を求めることにより、速やかに話速を推定する。
【００１３】
波形相関値から発話速度を求めるためには、波形相関値−発話速度対応テーブルを設け、割り出された波形相関値でこのテーブルを参照して発話速度を推定する方式、波形相関値と発話速度の相関を近似する方程式を求めておき、割り出された波形相関値を変数としてこの方程式に入力することによって発話速度を推定する方式などを採用することができる。
【００１４】
【発明の実施の形態】
図２はこの発明が適用される音声信号処理装置のブロック図である。この音声信号処理装置は、話速変換機能を有する補聴器などに適用されるものであり、入力された発音音声信号の話速を検出するほか、検出された話速に基づいてその発話音声信号の話速を目標話速に変換して出力する機能も有している。ここでは、話速検出機能について説明する。
【００１５】
図２において、入力された発話音声信号はＤＳＰ２に入力される。アナログの発話音声信号はＡ／Ｄ変換器１に入力され、Ａ／Ｄ変換器１がこれをデジタル信号に変換する。また、デジタル化された発話音声信号は、そのまま入力される。入力された（デジタル化された）発話音声信号はフィルタ２によって特定の周波数帯域成分のみがろ波され、その周波数成分のみがＤＳＰ３に入力される。フィルタ２がろ波する周波数帯域成分は、入力された発話音声信号の基本周波数および数次倍音程度の周波数帯域であり、８０〜８００Ｈｚ程度が適当である。この周波数帯域はＤＳＰ３によって制御される。ＤＳＰ３にはＲＡＭ４およびＲＯＭ５が接続されており、入力された発話音声信号をバッファしながら、話速検出・話速変換を行う。話速変換された音声信号は出力端子から出力される。ＲＯＭ５には後述の波形相関値−発話速度対応テーブルが記憶されている。また、ＲＡＭ４は入力された音声信号を数フレーム分バッファする。１フレームの時間は３０ｍｓ程度である。
【００１６】
処理された音声信号は、ｄｉｇｉｔａｌｏｕｔ端子およびａｎａｌｏｇｏｕｔ端子から出力される。ｄｉｇｉｔａｌｏｕｔ端子からはデジタルの音声信号が出力され、ａｎａｌｏｇｏｕｔ端子からはＤ／Ａ変換器６でアナログ信号に変換された音声信号が出力される。なお、Ｄ／Ａ変換器６はバッファメモリを内蔵しており、ＤＳＰ３が話速変換した場合でも、その話速変換された音声信号データをバッファしながらＤ／Ａ変換を行う。
【００１７】
以下、図３〜図６のフローチャートおよび図７，図８の説明図を参照して、ＤＳＰ３の話速検出処理について説明する。
図３は話速検出処理を示すフローチャートである。動作がスタートすると入力された音声信号を取り込み、この音声信号から発話音声がいつスタートするかを監視して発話音声の先頭（文頭）を検出する（ｓ１）。文頭は音声信号のパワーおよび波形相関値に基づいて検出する（詳細は図４のフローチャートで説明する）。発話音声の先頭である文頭を検出すると、それに続いて入力される発話音声信号の１フレームを切り出して、このフレームの信号波形に基づいて発話速度を推定する。この発話速度の推定のためにまず波形相関値を計算する（ｓ２）。波形相関値は、連続する同じ長さの区間の波形を比較することで求めるが、詳細は図５のフローチャートおよび図７の相関計算区間説明図を用いて後で説明する。波形相関値が求めるときに発話音声の周波数が求められるため（ｓ３）、この求められた周波数でフィルタ２のろ波周波数帯域を設定する（ｓ４）。これにより、以後入力される音声信号の処理精度が向上する。そして、求められた波形相関値で図８（Ａ）に示す波形相関値−発話速度対応テーブル（対応テーブル）を参照してこの波形相関値に対応する発話速度を割り出す（ｓ５）。適当な波形相関値が求まり、対応テーブルから発話速度を割り出すことができた場合には、ｓ７に進み、この発話速度が目標の話速に変換されるように発話音声信号の話速を変換する。そして発話音声が終了して文間が検出された場合には（ｓ８）、処理を終了して、次の発話音声の文頭検出に備える（ｓ１）。一方、波形相関値が対応テーブルの範囲外の値であって発話速度を推定できなかった場合には、もう一度発話速度の推定をやり直すためにｓ１に戻る。
【００１８】
ここで、図８（Ａ）に示す波形相関値−発話速度対応テーブルは、図１で説明した発話速度と波形相関値との相関関係を示すグラフをモデル化したテーブルであり、この実験結果を図８（Ｂ）に示すように直線で近似し、それらの中心値をとってテーブルにしている。たとえば、相関値はａ＝０．８から０．０２刻みにｂ＝０．８２、ｃ＝０．８４というように区分され、それぞれその相関値の区分に対応する発話速度がＡ＝無効データ、Ｂ＝１２（ｍｏｒｅ／秒）、Ｃ＝１０などのように記憶されている。ここで、求められた波形相関値Ｘが例えば０．８３であったとするとｂ＜Ｘ≦ｃであり、Ｃの区分に属するため、対応する発話速度としてＣ＝１０が出力される。
【００１９】
以下、文頭検出処理、波形相関値計算処理、文間検出処理等について詳細に説明する。
図４は図３のｓ１で実行される文頭検出処理の詳細を示すフローチャートである。入力された音声信号を取り込み（ｓ１１）、音声パワーを計算する（ｓ１２）。音声パワーは、各サンプルデータの２乗値を所定時間分加算した値を用いる。この音声パワーが一定値以上の場合には発話音声が入力されている可能性があるため、この区間の波形相関値を計算する（ｓ１３）。この波形相関値の計算は図３のｓ２で行う計算とほぼ同じものである。音声パワーが一定値以上であり且つ波形相関値が一定値以上の場合には発話音声が入力されていると考えられるため文頭を検出したとして（ｓ１４）、処理を終了する。一方、音声パワーが一定値以下、または、音声パワーが一定値以上であっても波形相関値が一定値以下の場合には、発話音声区間でなく無音部であるとしてｓ１１にもどる。
【００２０】
図５は波形相関値計算処理を示すフローチャートである。この処理は図３のｓ２、図４のｓ１３および図６のｓ３３で実行される処理である。まず入力された音声信号の先頭から図７に示すように同じ長さの区間を２つ切り出す。最初は短い区間長Ｗa(1)、Ｗb(1)を選択する（ｓ２１）。この２つの区間の相関値を計算する（ｓ２２）。相関値は、
【００２１】
【数１】

【００２２】
の演算式で算出する。この値が大きいほど相関が高い、すなわち２つの区間の波形が同じような形状をしているといえる。なお、相関値の算出式はこれに限定されるものではない。
【００２３】
つぎに波形の相関を比較する区間を図７に示すように、Ｗa(1)、Ｗb(1)のｎに１を加えてＷa(1)をＷa(2)、Ｗb(1)をＷb(2)にして（ｓ２３）、ｓ２２の相関値を計算する。この処理をそれぞれ区間が所定の長さ（Ｗa(N)，Ｗb(N)）になるまで繰り返し行う（ｓ２４）。なお、Ｎはあらかじめ定めた設定値であって波形相関値計算の分析回数である。また、Ｗa(N)、Ｗb(N)のそれぞれの区間の長さは、最も周期が長い音声波形を想定し、例えば、男性音声で想定される一番低い周波数（８０Ｈｚ程度）をカバーできる長さ程度に設定しておく。そして、Ｗa(1)、Ｗb(1)からＷa(N)、Ｗb(N)までの区間のなかに区間のなかに発話音声の波形周期の長さと一致する区間が存在し、この一致する区間の相関値は、他のそれぞれの区間の相関値に比較して最大となる。その相関値を求め、これを波形相関値としてメインルーチンに返して（ｓ２５）、処理を終了する。
【００２４】
図６は文間検出処理動作を示すフローチャートである。この処理は、文間すなわち発話音声が入力されていない無音区間を検出する処理である。入力された音声信号を取り込み（ｓ３１）、音声パワーを計算する（ｓ３２）。この音声パワーが一定値以上の場合には発話音声が入力されている可能性があるため、この区間の波形相関値を計算する（ｓ３３）。音声パワーが所定値以下の場合または音声パワーが所定値以上であっても波形相関値が所定値以下の場合には発話音声が入力されていない無音部であると判定し（ｓ３４）、無音部の継続時間を積算する（ｓ３５）。無音部の継続時間がｔ以上であった場合には発話音声の一瞬の切れ目ではなく、発話された文と次の文との境目である文間と判断して（ｓ３６）、図３のｓ６にこれを通知して処理を終了する。ｓ３４で発話音声区間と判断された場合、またはｓ３６で無音部の継続時間がｔ未満の場合にはｓ３１にもどり、更に無音部を検出する。なお、ｔは１５０ｍｓ以上の適当な値に設定することが好ましい。
【００２５】
なお、波形相関値−発話速度対応テーブルは、汎用的なものを１つ設けてもよいが、特定の話者または特定の話者グループ（男性，女性，大人，子供，一般話者，アナウンサなど）に対応して複数設けるようにしてもよい。その場合、話者に応じて自動または手動で対応テーブルを選択するようにすればよい。
またこの場合において、上記特定の話者または特定の話者グループ毎に文間を検出するためのしきい値ｔを別々に設定するようにしてもよい。
【００２６】
また、対応情報としては上記対応テーブル以外に、図８（Ｂ）の図を近似する方程式ｙ＝ｆ（ｘ）を記憶しておき、割り出された波形相関値を変数ｘとしてこの方程式に入力することによって発話速度ｙを算出するようにしてもよい。
【００２７】
【発明の効果】
以上のようにこの発明によれば、波形相関値に基づいて発話速度を推定することができるため、発話音声の先頭区間を用いた簡略な処理で発話速度を推定することができ、その後の話速変換などの処理を的確且つ迅速に行うことが可能になる。
【図面の簡単な説明】
【図１】この発明の前提となる波形相関値と発話速度の相関関係を示す図
【図２】この発明の実施形態である音声信号処理装置のブロック図
【図３】同音声信号処理装置の動作を示すフローチャート
【図４】同音声信号処理装置の動作を示すフローチャート
【図５】同音声信号処理装置の動作を示すフローチャート
【図６】同音声信号処理装置の動作を示すフローチャート
【図７】同波形相関値を算出する区間を説明する図
【図８】波形相関値−発話速度の対応テーブルの例を示す図
【符号の説明】
１…Ａ／Ｄ変換器、２…フィルタ、３…ＤＳＰ、４…ＲＡＭ、５…ＲＯＭ、６…Ｄ／Ａ変換器

Claims

発話音声波形の自己相関を示す波形相関値と発話速度の対応関係を表す対応情報を記憶しておき、
入力された音声信号の波形相関値を求め、この波形相関値で前記対応情報を参照することによって発話速度を推定する話速検出方法であって、
前記対応情報が表す前記波形相関値と前記発話速度の対応関係は、負の相関関係であることを特徴とする話速検出方法。
前記波形相関値は、フレーム長が異なる複数の音声信号から算出された複数の波形相関値のうち、最大となる波形相関値であることを特徴とする請求項１に記載の話速検出方法。
前記対応情報は、波形相関値と発話速度とを対応づけたテーブルである請求項１または２に記載の話速検出方法。
前記対応情報は、波形相関値から発話速度を求める演算式である請求項１または２に記載の話速検出方法。
発話音声波形の自己相関を示す波形相関値と発話速度の対応関係を表す対応情報を記憶した記憶手段と、
入力された音声信号の波形相関値を求め、この波形相関値で前記対応情報を参照することによって発話速度を推定する処理手段と、
を備えた音声信号処理装置であって、
前記対応情報が表す前記波形相関値と前記発話速度の対応関係は、負の相関関係であることを特徴とする音声信号処理装置。
前記波形相関値は、フレーム長が異なる複数の音声信号から算出された複数の波形相関値のうち、最大となる波形相関値であることを特徴とする請求項５に記載の音声信号処理装置。
前記記憶手段は、波形相関値と発話速度とを対応づけたテーブルを対応情報として記憶している請求項５または６に記載の音声信号処理装置。
前記記憶手段は、波形相関値から発話速度を求める演算式を対応情報として記憶している請求項５または６に記載の音声信号処理装置。