JP4079478B2

JP4079478B2 - 音声信号の処理回路および処理方法

Info

Publication number: JP4079478B2
Application number: JP09914497A
Authority: JP
Inventors: 雅美三浦
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-04-16
Filing date: 1997-04-16
Publication date: 2008-04-23
Anticipated expiration: 2017-04-16
Also published as: JPH10290497A

Description

【０００１】
【発明の属する技術分野】
この発明は、補聴器、電話、拡声器、音声通信などの分野で用いられる音声信号の処理回路に関する。
【０００２】
【従来の技術】
音声を伝送あるいは再生する場合、その伝送系あるいは再生系に残響やエコーが多いと、音声の明瞭度が低下してしまう。そこで、そのようなときには、発話速度を遅くする、連続して発声される語音を細かく分解し、時間をあけて再生するなどの処理が行なわれている。
【０００３】
また、子音のような高域周波数が聞き取りにくいときには、周波数イコライザ処理により高域周波数の強調を行うこともある。さらに、いわゆる継時マスキング（エネルギーの大きい母音と子音とが続くとき、その母音により子音がマスクされる現象）を考慮した重み関数をかける処理も試みられている。
【０００４】
さらに、以上の処理は難聴者や老人を対象に行われることもある。
【０００５】
【発明が解決しようとする課題】
ところが、上述したように、発話速度を遅くしたり、連続して発声される語音を分解したりすると、次のような問題点を生じてしまう。
【０００６】
１．原音声との間に時間のずれを生じ、即時性がなくなってしまう。したがって、会話などを行なうときには使えない。また、放送などを聞く楊合であっても、聞き終わるまでの時間が長くなってしまう。
２．語音の知覚判断には音声成分の変化速度も重要な手がかりになっているので、発話速度を遅くすると、この手がかりが変化して別な語音に知覚されてしまうことがある。
３．語音を分解してゆっくり再生すると、語音のまとまりとしての情報や過渡的な変化部分の情報が失われ、明瞭度の悪くなることがある。
４．周波数イコライザ処理により常に高域周波数を増幅した音声は、音色のバランスがくずれて不快であったり、聞き取りにくいことがある。
５．継時マスキングを考慮した重み関数をかける処理は、少なくとも重み関数の時間長の遅延が生じてしまい、即時性が失われてしまう。この結果、口の動きと処理音との間に時間ずれを生じて明瞭度に悪い影響を与えることがある。また、イヤホンからマイクロフォンへの音響的フィードバックがあるときには、その時間遅れによって残響音のような現象が引き起こされてしまう。
【０００７】
この発明は、このような問題点に対処しようとするものである。
【０００８】
【課題を解決するための手段】
このため、この発明においては、
入力された音声信号の子音成分に対して振幅の変更を行なう振幅変更回路と、
上記音声信号について有声音の開始点を検出する開始点検出回路と、
上記音声信号について上記有声音の終了点を検出する終了点検出回路と、
上記開始点検出回路および上記終了点検出回路の出力にしたがって上記振幅変更回路の利得を制御する制御回路と
を有し、
上記制御回路は、上記開始点検出回路が上記開始点を検出したとき、上記振幅変更回路に対して上記利得を大きくするように制御信号を供給するとともに、
上記終了点検出回路が上記終了点を検出したとき、上記振幅変更回路に対して上記利得を戻すように制御信号を供給する
ようにした音声信号の処理回路
とするものである。
したがって、有声音によるマスキングや継時マスキングに見合う大きさだけ、子音成分が増幅され、言葉の聞き取りが改善される。
【０００９】
【発明の実施の形態】
ところで、通常の会話の音声は、低い周波数の成分と高い周波数の成分との組み合わせで構成されている。また、一般の生活環境に存在する音も、低い周波数の成分と高い周波数の成分との組み合わせになっていることが多い。
【００１０】
そして、聴覚では、低域成分が高域成分をマスクすることが知られており、音声を知覚するときにも、このマスキングが働いている。健聴者では、このマスキングによる妨害は小さく、マスキングがあっても正しく音声を知覚できるが、難聴者では、マスキングによる妨害が大きく、時間的にも長く続くことがあり、言葉の聞き取りを悪くする原因の一つになっている。
【００１１】
また、健聴者でも低域成分の大きい雑音があると、言葉の聞き取りが低下することがある。さらに、いわゆる継時マスキングによっても、言葉の明瞭度が低下する。
【００１２】
そこで、この発明は、このようなマスキングあるいは継時マスキングに起因する明瞭度の低下を抑えようとするものである。
【００１３】
そして、このため、この発明の一形態においては、有声音の開始点から数ミリ秒〜十数ミリ秒の期間を立ち上がり期間とし、有声音の終了点から十数ミリ秒〜数十ミリ秒の期間を立ち下がり期間とするとき、これら立ち上がり期間から立ち下がり期間にかけて、高域成分を増強するものである。
【００１４】
図１は、この発明の一形態を示すもので、処理前の音声信号Ｓ11が、入力端子１１を通じて有声音の帯域を通過帯域とするフィルタ１２に供給されてその有声音の信号成分Ｓ12が取り出され、この信号成分Ｓ12が加算回路１３に供給される。また、端子１１からの信号Ｓ11が、子音の帯域を通過帯域とするフィルタ１４に供給されて子音の信号成分Ｓ14が取り出され、この信号成分Ｓ14が可変利得アンプ１５を通じて加算回路１３に供給される。
【００１５】
したがって、加算回路１３においては、信号成分Ｓ12と信号成分Ｓ14とが加算されるので、可変利得アンプ１５の利得Ｇ15が基準利得（例えば１倍）であるとすれば、加算回路１３からは、音声信号Ｓ11に含まれる有声音の信号成分Ｓ12および子音の信号成分Ｓ14を、等しい割り合いで有する音声信号Ｓ13が得られることになる。そして、この信号Ｓ13が出力端子１６に取り出される。
【００１６】
さらに、端子１１の信号Ｓ11が、前処理のため、バンドパスフィルタ２１およびレベル算出回路２２に順に供給される。この場合、バンドパスフィルタ２１は、有声音の開始点および終了点を検出しやすくし、かつ、雑音による影響が小さくなるように、信号Ｓ11からピッチ成分とフォルマント成分とを、信号Ｓ21として抽出するものである。したがって、バンドパスフィルタ２１の通過帯域は、例えば150Hz 〜1000Hzとされている。
【００１７】
また、レベル算出回路２２は、例えば、信号Ｓ21を両波整流するとともに、その低域成分（例えば60Hz以下の成分）を取り出すことにより、信号Ｓ 21のレベルを示す信号Ｓ22を形成するものである。
【００１８】
そして、このレベル算出回路２２の算出信号Ｓ22が検出回路２３に供給されて有声音の開始点および終了点が検出され、その検出信号Ｓ23が制御回路２４に供給されて制御信号Ｓ24が形成され、この信号Ｓ24が可変利得アンプ１５に利得Ｇ15の制御信号として供給される。
【００１９】
この場合、有声音の開始点および終了点の検出と、アンプ１５の利得Ｇ15の大きさとは、例えば図２に示すような関係とされる。すなわち、算出信号Ｓ22の示す有声音のレベルが開始判定のしきい値より小さいときには、アンプ１５の利得Ｇ15は基準値とされているが、有声音のレベルがその開始判定のしきい値よりも大きくなると、利得Ｇ15は、数ミリ秒から十数ミリ秒の立ち上がり期間をもって最大値まで次第に大きくされる。
【００２０】
また、算出信号Ｓ22の示す有声音のレベルが終了判定のしきい値よりも大きいときには、利得Ｇ15は大きいままとされるが、有声音のレベルがその終了判定のしきい値よりも小さくなると、利得Ｇ15は、数十ミリ秒から200 ミリ秒程度の立ち下がり期間をもって基準値まで次第に小さくされる。
【００２１】
このような構成によれば、処理前の音声信号Ｓ11に有声音の信号成分が含まれているとき、その開始点から終了点までの期間、信号Ｓ24によりアンプ１５の利得Ｇ15が大きくなるので、その開始点から終了点までの期間、アンプ１５を通じる子音の信号成分Ｓ14が大きくなる。
【００２２】
したがって、有声音の開始点から終了点までの期間、端子１６に出力される音声信号Ｓ13の子音の信号成分Ｓ14のレベルが大きくなるので、信号Ｓ13の再生音にマスキングを生じても、そのマスキングに見合う大きさだけ子音が大きくなり、したがって、言葉の聞き取りが改善される。
【００２３】
また、有声音の終了点からの時間間隔が短い期間には、継時マスキングが大きいが、子音の信号成分Ｓ14は大きく増幅されるので、継時マスキングに対しても明瞭度を有効に高めることができる。さらに、次の子音の開始点までの時間間隔の長い期間には、継時マスキングが小さいが、この期間には、子音の信号成分Ｓ14はあまり増幅されないので、音色のバランスのくずれことがない。
【００２４】
図３は、検出回路２３および制御回路２４が、検出信号Ｓ22から制御信号Ｓ24を形成する方法の一形態を示す。すなわち、この場合には、図１に示した回路の全部がデジタル化されるとともに、例えばＤＳＰにより構成される。また、音声信号Ｓ11はもとの処理前のアナログ音声信号をＡ／Ｄ変換したデジタル音声信号とされる。
【００２５】
そして、検出回路２３および制御回路２４においては、デジタル音声信号Ｓ11の１サンプルごとに、図３の処理ルーチン１００が実行され、アンプ１５の利得Ｇ15が例えば図２に示すように制御させる。なお、ルーチン１００および以下の説明において、各変数の意味は以下のとおりである。
【００２６】

【００２７】
すなわち、ルーチン１００においては、まず、ステップ１０１において、第ｉ番目のサンプルの信号レベルe(i)が開始判定のしきい値threshold2よりも小さいかどうかが判別され、小さいときには、処理はステップ１０１からステップ１０２に進む。
【００２８】
そして、このステップ１０２において、第ｉ番目のサンプルの信号レベルe(i)が終了判定のしきい値threshold1よりも小さいかどうかが判別され、小さいときには、処理はステップ１０２からステップ１０３に進み、このステップ１０３において、係数w がステップ幅d1だけ小さくされ、ルーチン１００を終了する。したがって、図２に示すように、有声音の終了点が検出されたときには、以後、利得Ｇ15は次第に小さくなっていく。
【００２９】
また、ステップ１０２において、第ｉ番目のサンプルの信号レベルe(i)が終了判定のしきい値threshold1以上のときには、処理はステップ１０２からこのルーチン１００を終了する。したがって、図２に示すように、有声音の終了が検出されるまでの期間（利得Ｇ15の大きい期間）は、その利得Ｇ15が保持される。
【００３０】
さらに、ステップ１０１において、第ｉ番目のサンプルの信号レベルe(i)が開始判定のしきい値threshold2以上のときには、処理はステップ１０１からステップ１０４に進み、このステップ１０４において、係数w がステップ幅d2だけ大きくされ、ルーチン１００を終了する。したがって、図２に示すように、有声音の開始点が検出されたときには、以後、利得Ｇ15は次第に大きくなっていく。
【００３１】
こうして、ルーチン１００によれば、有声音のレベルにしたがってアンプ１５の利得Ｇ15を制御することにより、子音のレベルを補正しているので、マスキングや継時マスキングによる子音成分の聴感上の減衰を補うことができ、会話の子音部分など音声の明瞭度を向上させることができる。
【００３２】
図４は、音声波形の観測結果を示すもので、図４Ａはルーチン１００による処理を行っていない音声信号Ｓ11の波形、図４Ｂはルーチン１００による処理を行った音声信号Ｓ13の波形の観測例である。なお、このときの発声内容は、「１行目に書いてください」である。
【００３３】
そして、有声音の開始点から終了点までの区間Ｂは、子音の部分が大きく増幅され、有声音の終了点からの短い期間（矢印Ａ、Ｆの部分）は、継時マスキングが大きいので、子音は大きく増幅され、次の子音の始まりまでの長い期間（矢印Ｃ、Ｄ、Ｅの部分）は、継時マスキングが小さいので、子音はあまり増幅されていない。
【００３４】
したがって、上述の処理回路によれば、音声を残響やエコーなどのある系で伝送あるいは再生するとき、あるいは難聴者や老人が音声を聞くとき、以下のような効果を得ることができる。
１．次に発声される音への継時マスキングだけが軽減されるように、子音が強調されるので、音声がはっきりし、明瞭度を改善できる。
２．マスキングが起きているときだけ子音が強調されるので、常に高域が強調されるときのように、音色のバランスが崩れたような不快感がない。
３．原理的に即時処理ができるので、発声者の口の動きと処理音との間に時間差の生じることがない。また、イヤホンからマイクロフォンへの音響的フィードバックがあっても、残響音のような音にはならないので、聞きやすい。
４．語音の知覚判断にとって重要な音声成分の変化速度や、語音のまとまりとしての情報および過渡的な変化部分の情報が失われない。
５．図４の処理ルーチン１００によれば、その処理のステップ数が少ないので、処理が多少遅いＤＳＰであっても、十分に対応することができる。
【００３５】
図５に示すルーチン２００は、
threshold=threshold1=threshold2
とすることにより、ルーチン１００を簡略化した場合である。すなわち、ルーチン２００においては、
threshold ：有声音の開始判定および終了判定のしきい値。信号Ｓ11がこの値よりも小さいと終了と判定し、この値よりも大きいと開始と判定する。
とされ、他はルーチン１００と同様とされる。
【００３６】
そして、ステップ２０１において、第ｉ番目のサンプルの信号レベルe(i)がしきい値threshold と比較され、レベルe(i)がしきい値threshold よりも小さければ、ステップ２０２において、係数w がステップ幅d1だけ小さくされ、そうでなければ、ステップ２０３において、係数w がステップ幅d2だけ大きくされる。
【００３７】
したがって、このルーチン２００によれば、処理がさらに簡単であり、ＤＳＰの負担がより軽くなる。
【００３８】
【発明の効果】
この発明によれば、音声がはっきりし、明瞭度を改善できる。また、常に音声の高域を強調するときのような不快感がない。さらに、発声者の口の動きと処理音との間に時間差の生じることがない。
【００３９】
また、イヤホンからマイクロフォンへの音響的フィードバックがあっても、残響音のようにならず、聞きやすい。さらに、語音の知覚判断などに有効な情報が損なわれない。しかも、デジタル処理する場合の負担を少なくすることができる。
【図面の簡単な説明】
【図１】この発明の一形態を示す系統図である。
【図２】この発明を説明するための図である。
【図３】この発明の一形態の一部を示すフローチャートである。
【図４】この発明を説明するための波形図である。
【図５】この発明の一形態の一部を示すフローチャートである。
【符号の説明】
１２…有声音帯域フィルタ、１３…加算回路、１４…子音帯域フィルタ、１５…可変利得アンプ、２１…バンドパスフィルタ、２２…レベル算出回路、２３…検出回路、２４…制御回路、１００…処理ルーチン

Claims

入力音声信号から、有声音の帯域を通過帯域とし有声音の帯域成分を取り出す第１の取り出し回路と、
上記入力音声信号から、子音の帯域を通過帯域とし子音の帯域成分を取り出す第２の取り出し回路と、
上記第２の取り出し回路によって取り出された上記子音の帯域成分の振幅の変更を行なう振幅変更回路と、
上記第１の取り出し回路によって取り出された有声音の帯域成分と、上記振幅変更回路によって振幅が変更された子音の帯域成分とを加算する加算回路と、
上記入力音声信号のピッチ成分およびフォルマント成分を抽出する抽出回路と、
この抽出回路の抽出出力から上記入力音声信号における上記有声音の開始点を検出する有声音開始点検出回路と、
上記抽出回路の抽出出力から上記入力音声信号における上記有声音の終了点を検出する有声音終了点検出回路と、
上記有声音開始点検出回路および上記有声音終了点検出回路により検出された上記有声音の開始点から終了判定点からの立下りまでの区間のみ、上記振幅変更回路の利得を基準値に対し大きくし、上記有声音終了点検出回路により検出された上記有声音の終了点からの立下り区間において上記振幅変更回路の利得を上記基準値まで下げるように上記振幅変更回路に対して制御を行う制御回路と
を有する音声信号の処理回路。
請求項１に記載の音声信号の処理回路において、
上記有声音開始点検出回路は、上記有声音の信号レベルが所定のしきい値を越えたとき、これを検出して上記開始点の検出信号とする
ようにした音声信号の処理回路。
請求項１に記載の音声信号の処理回路において、
上記有声音終了点検出回路は、上記有声音の信号レベルが所定のしきい値を下回ったとき、これを検出して上記終了点の検出信号とする
ようにした音声信号の処理回路。
請求項１に記載の音声信号の処理回路において、
上記振幅変更回路が可変利得アンプである
ようにした音声信号の処理回路。
請求項１〜請求項４に記載の音声信号の処理回路において、
上記有声音の開始点から数ミリ秒〜十数ミリ秒の期間を立ち上がり期間とし、上記有声音の終了点から十数ミリ秒〜数十ミリ秒の期間を立ち下がり期間とするとき、上記立ち上がり期間から上記立ち下がり期間にかけて、上記振幅変更回路の利得を変更する
ようにした音声信号の処理回路。
入力音声信号から、有声音の帯域を通過帯域とし有声音の帯域成分を取り出す第１の取り出しステップと、
上記入力音声信号から、子音の帯域を通過帯域とし子音の帯域成分を取り出す第２の取り出しステップと、
この第２の取り出しステップによって取り出された上記子音の帯域成分の振幅の変更を行なう振幅変更ステップと、
上記第１の取り出しステップによって取り出された有声音の帯域成分と、上記振幅変更ステップによって振幅が変更された子音の帯域成分とを加算する加算ステップと、
上記入力音声信号のピッチ成分およびフォルマント成分を抽出する抽出ステップと、
この抽出ステップの抽出出力から上記入力音声信号における上記有声音の開始点を検出する有声音開始点検出ステップと、
上記抽出ステップの抽出出力から上記入力音声信号における上記有声音の終了点を検出する有声音終了点検出ステップと、
上記有声音開始点検出ステップおよび上記有声音終了点検出ステップの出力に基づいて上記振幅変更ステップの利得を制御する制御ステップと
を有し、
この制御ステップは、上記有声音開始点検出ステップが上記開始点を検出したとき、上記振幅変更ステップに対して上記利得を基準値よりも大きくするように制御信号を供給するとともに、
上記有声音終了点検出ステップが上記終了点を検出したとき、上記振幅変更ステップに対して上記利得を上記基準値に戻すように上記制御信号を供給する
ことを特徴とした音声信号の処理方法。