JP3875513B2 - デジタルに圧縮されたスピーチの了解度を向上させる方法および装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、包括的にスピーチ処理に関し、より具体的には、処理されたスピーチの了解度を高める技術に関する。
【０００２】
【従来の技術】
人間のスピーチは、一般的に比較的大きなダイナミックレンジを有する。たとえば、いくつかの子音の音（たとえば、無声子音Ｐ、Ｔ、Ｓ、Ｆ）の振幅は、多くの場合、同じ文を話した場合の母音の音の振幅よりも３０ｄＢ小さい。したがって子音の音は、聴取者のスピーチ検出しきい値より低くなることがあり、ひいては、スピーチの了解度を劣悪にする。この問題は、聴取者が難聴である場合、聴取者が雑音の多い環境にいる場合、または聴取者が低い信号強度を受け取る領域にいる場合に悪化する。
【０００３】
伝統的に、スピーチ信号における特定の音の潜在的な非了解度は、信号に対してある形態の振幅圧縮を使用することで克服された。たとえば、１つの従来の方法では、信号の当初の大きさは維持しながら、新しい信号のピークと新しい信号の低い部分との間の差が低減されるように、スピーチ信号の振幅ピークがクリッピングされ、その結果生じた信号が増幅された。しかしながら振幅圧縮は、多くの場合、結果生じた信号内に、信号の高振幅成分を平滑にすることから生じる高調波ひずみなどの他の形態のひずみをもたらす。さらに振幅圧縮技術は、不適切な方法でいくつかの望ましくない低レベル信号成分（たとえば、バックグラウンドノイズ）を増幅する傾向があり、ひいては、結果生じた信号の品質を劣悪にする。
【０００４】
【発明が解決しようとする課題】
したがって、従来の技術に関連する望ましくない効果を生じることなく、処理されたスピーチの了解度を高めることのできる方法および装置が必要とされている。
【０００５】
【課題を解決するための手段】
本発明は、処理されたスピーチの了解度を大幅に高めることのできるシステムに関する。本システムは、線形予測符号化（ＬＰＣ）および符号励振線形予測（ＣＥＬＰ）などの特定の低ビットレートのスピーチ符号化アルゴリズムにおいて一般的に行われるように、まず、スピーチ信号をフレームまたはセグメントに分割する。次いで本システムは、各フレームのスペクトル内容を分析し、そのフレームに関連する音のタイプを判定する。各フレームの分析は、一般的に、対象のフレームを取り囲む１つまたは複数の他のフレームに関連して行われる。分析は、たとえば、フレームに関連する音が母音の音であるか、有声の摩擦音であるか、または無声の破裂音であるかを判定する場合がある。
【０００６】
特定のフレームに関連する音のタイプに基づいて、本システムは、修正によって了解度が高められると考えられる場合にフレームを修正する。たとえば、無声の破裂音は一般的に人間のスピーチ内の他の音よりも小さい振幅を有することが知られている。したがって、無声の破裂音を含んでいると識別されたフレームの振幅は、他のフレームに対してブーストされる。フレームに関連する音のタイプに基づいてそのフレームを修正することに加えて、本システムは、フレームに関連する音のタイプに基づいて、その特定のフレームを取り囲むフレームを修正してもよい。たとえば、対象のフレームが無声の破裂音を含んでいると識別される場合、この対象のフレームに先行するフレームの振幅を低減し、破裂音がスペクトル的に同様の破裂音と間違われないように保証することができる。特定のフレーム内に含まれるスピーチのタイプに対するフレーム修正決定に基づくことによって、振幅に基づいた盲目的な信号修正（たとえば、すべての低レベル信号をブーストすること）によって生じる問題が回避される。すなわち本発明の原理は、フレームが選択的かつ知的に修正され、高められた信号了解度を実現することを可能にする。
【０００７】
【発明の実施の形態】
本発明は、処理されたスピーチの了解度を大幅に高めることのできるシステムに関する。本システムは、スピーチ信号の個々のフレームに関連する音のタイプを判定し、対応する音のタイプに基づいてこれらのフレームを修正する。１つの方法において、本発明の原理は、フレームに基づいたスピーチのデジタル化を行う、ＬＣＰおよびＣＥＬＰアルゴリズムなどの周知のスピーチ符号化アルゴリズムに対する改善形態として実施される。本システムは、従来の振幅クリッピング技術に多くの場合関連するひずみを生成することなく、スピーチ信号の了解度を向上させることができる。本発明の原理は、たとえばメッセージングシステム、ＩＶＲアプリケーション、および無線電話システムを含む様々なスピーチアプリケーションにおいて使用することができる。本発明の原理は、たとえば補聴器および人工耳などの難聴を補助するように設計される装置においても実施することができる。
【０００８】
図１は、本発明の一実施形態によるスピーチ処理システム１０を図示するブロック図である。スピーチ処理システム１０は、入力ポート１２でアナログスピーチ信号を受信し、この信号を出力ポート１４で出力される圧縮デジタルスピーチ信号に変換する。入力信号に対して信号圧縮およびアナログデジタル変換機能を行うことに加えて、システム１０はまた、後の再生のために入力信号の了解度を高める。図示したように、スピーチ処理システム１０は、アナログデジタル（Ａ／Ｄ）コンバータ１６、フレーム分離ユニット１８、フレーム分析ユニット２０、フレーム修正ユニット２２、及び圧縮ユニット２４を備える。図１において図示されるブロックは、実際に機能的であり、別個のハードウェア素子に必ずしも対応するわけではないことを理解されたい。一実施形態において、たとえばスピーチ処理システム１０は、単一のデジタル処理装置内に実装される。しかしながら、ハードウェアの実施もまた可能である。
【０００９】
図１を参照すると、ポート１２で受信されるアナログスピーチ信号は、まずＡ／Ｄコンバータ１６内でサンプリングかつデジタル化され、フレーム分離ユニット１８に分配するためのデジタル波形を生成する。フレーム分離ユニット１８は、デジタル波形を個々の時間に基づいたフレームに分割するように動作する。好適な方法において、これらのフレームは、それぞれ約２０〜２５ミリ秒の長さである。フレーム分析ユニット２０は、フレーム分割ユニット１８からフレームを受け取り、個々のフレームそれぞれに対してスペクトル分析を行い、フレームのスペクトル内容を判定する。次いでフレーム分析ユニット２０は、各フレームのスペクトル情報をフレーム修正ユニット２２に転送する。フレーム修正ユニット２２は、スペクトル分析の結果を使用し、個々のフレームそれぞれに関連する音のタイプ（スピーチのタイプ）を判定する。次いでフレーム修正ユニット２２は、識別された音のタイプに基づいて、選択されたフレームを修正する。フレーム修正ユニット２２は通常、対象のフレームに対応するスペクトル情報と、対象のフレームを取り囲む１つまたは複数のフレームに対応するスペクトル情報とを分析し、対象のフレームに関連する音のタイプを判定する。
【００１０】
フレーム修正ユニット２２は、フレームに関連する音のタイプに基づいて選択されたフレームを修正する規則のセットを含む。一実施形態において、フレーム修正ユニット２２はまた、対象のフレームに関連する音のタイプに基づいて、対象のフレームを取り囲むフレームを修正する規則を含む。フレーム修正ユニット２２によって使用される規則は、システム１０によって生成される出力信号の了解度を増加させるように設計される。したがって修正は、人間の耳がこれらの音を他の類似した音と区別できるようにする特定の音の特性を強調するように意図されている。フレームの多くは、プログラムされる特別な規則によっては、フレーム修正ユニット２２によって修正されないままの場合がある。
【００１１】
修正された、および修正されないフレーム情報は次に、すべてのフレームのスペクトル情報を収集して出力ポート１４で圧縮出力信号を生成するデータ収集ユニット２４に転送される。次いで圧縮出力信号は、通信媒体を介して遠隔地に転送されるか、もしくは後の復号化および再生のために格納されることができる。図１のフレーム修正ユニット２２の了解性を高める機能を、代替的に（または任意選択的に）信号再生中の復号化処理の一部として行うことができることを理解されたい。
【００１２】
一実施形態において、本発明の原理は、線形予測符号化（ＬＰＣ）アルゴリズムおよび符号励振線形予測（ＣＥＬＰ）アルゴリズムなどの特定の周知のスピーチ符号化および／または復号化アルゴリズムに対する改善形態として実施される。実際本発明の原理は、フレームに基づいたスピーチデジタル化に基礎を置いた、実質的に任意の符号化および復号化アルゴリズムとともに使用することができる（すなわち、スピーチを個々の時間に基づいたフレームに分割し、各フレームのスペクトル内容をキャプチャーして、スピーチのデジタル表現を生成する）。典型的には、これらのアルゴリズムは、人間の声道生理学の数学モデルを利用して、全体的な振幅などの人間のスピーチメカニズムの類比の点で各フレームのスペクトル内容（フレームの音が有声であるかまたは無声であるか、有声の場合は音のピッチ）を説明する。次いでこのスペクトル情報は、圧縮デジタルスピーチ信号に収集される。本発明によって修正することができる様々なスピーチデジタル化アルゴリズムのより詳細な説明は、２０００年にロンドンのTaylor & Francisによって出版され、Waldamar Karwowskiによって編集された、International Encyclopedia of Ergonomics and Human Factorsの中の、Paul Michaelisによる論文「Speech Digitization and Compression」において見いだすことができる。
【００１３】
本発明の一実施形態によると、かかるアルゴリズム内で生成されたスペクトル情報（および他のスペクトル情報の場合もある）が、各フレームに関連する音のタイプを判定するために使用される。了解度にとってどの音のタイプが重要であるか、およびどの音のタイプが典型的により聞き取り難いかという知識が、了解度を増加させるような方法で、フレーム情報を修正するための規則を開発するために使用される。次いでその規則は、判定された音のタイプに基づいて、選択されたフレームのフレーム情報を修正するために使用される。各フレームのためのスペクトル情報は、修正されていても修正されていなくても、従来の方法（たとえば、ＬＰＣ、ＣＥＬＰ、または他の同様のアルゴリズムによって典型的に使用される方法）で、圧縮スピーチ信号を開発するために使用される。
【００１４】
図２は、本発明の一実施形態によるアナログスピーチ信号を処理する方法を図示するフローチャートである。まずスピーチ信号がデジタル化され、個々のフレームに分割される（ステップ３０）。次いで、スペクトル分析が個々のフレームに対してそれぞれ行われ、フレームのスペクトル内容を判定する（ステップ３２）。典型的には、音の振幅、ボイシング、ピッチ（もしあれば）などのスペクトルパラメータが、スペクトル分析中に測定される。フレームのスペクトル内容が次に分析され、各フレームに関連する音のタイプを判定する（ステップ３４）。特定のフレームに関連する音のタイプを判定するために、多くの場合、特定のフレームを取り囲む他のフレームのスペクトル内容が考慮される。フレームに関連する音のタイプに基づいて、そのフレームに対応する情報を、出力信号の了解度を向上させるために修正してもよい（ステップ３６）。対象のフレームを取り囲むフレームに対応する情報を、対象のフレームの音のタイプに基づいて修正してもよい。典型的には、フレーム情報の修正は、対応するフレームの振幅のブーストまたは低減を含む。しかしながら、他の修正技術もまた可能である。たとえば、スペクトルフィルタリングを決定する反射係数を、本発明によって修正することができる。次いでフレームに対応するスペクトル情報が、修正されていても修正されていなくても、圧縮スピーチ信号に収集される（ステップ３８）。この圧縮スピーチ信号は、後に復号化され、高められた了解度を有する可聴スピーチ信号を生成する。
【００１５】
図３および図４は、本発明の一実施形態によるスピーチ信号の了解度を高める際に使用される方法を図示するフローチャートの部分である。本方法は、スピーチ信号内の無声の摩擦音と、有声および無声の破裂音とを識別し、スピーチ信号の対応するフレームの振幅を調節して了解度を高めるように動作する。無声の摩擦音および無声の破裂音は、スピーチ信号における他の音よりも、スピーチ信号において典型的により小さい音量の音である。さらにこれらの音は通常、基底をなすスピーチの了解度にとって非常に重要である。有声のスピーチ音は、息を吐きながら声帯を緊張させることによって、すなわち音に声帯の震動によって生じる特定のピッチを与えることによって生成されるものである。したがって有声スピーチ音のスペクトルは、基本的なピッチとその高調波を含む。無声のスピーチ音は、声道における可聴乱流によって生成されるものであり、声帯は弛緩したままである。無声のスピーチ信号のスペクトルは、典型的に、ホワイトノイズのそれと同様である。
【００１６】
図３を参照すると、アナログスピーチ信号がまず受信され（ステップ５０）、次いでデジタル化される（ステップ５２）。次いでデジタル波形が、個々のフレームに分離される（ステップ５４）。好適な方法において、これらのフレームは、それぞれ約２０〜２５ミリ秒の長さである。次いでフレーム毎の分析が行われ、振幅、ボイシング、ピッチおよびスペクトルフィルタリングデータなどのフレームからのデータを抽出および符号化する（ステップ５６）。抽出されたデータが、フレームが無声の摩擦音を含むと示す場合、フレームの振幅は、結果生じるスピーチ信号における音の大きさが聴取者の検出しきい値を超える尤度を増加させるように設計された方法で増加する（ステップ５８）。フレームの振幅を、たとえば所定の利得値によって所定の振幅値まで増加するか、あるいは振幅を、同じスピーチ信号内の他のフレームの振幅に依存する量だけ増加させることができる。摩擦音は、可聴乱流を生成する声道の狭窄部を通して肺から空気を押し出すことによって生成される。無声の摩擦音の例として、ファット（fat）の「ｆ」、サット（sat）の「ｓ」、チャット（chat）の「ｃｈ」が挙げられる。摩擦音は、多数のサンプル期間にわたって振幅が比較的一定であることによって特徴づけられる。したがって無声の摩擦音は、フレームが無声音に対応するという決定がなされた後に多数の連続的なフレームの振幅を比較することによって識別することができる。
【００１７】
抽出されたデータが、フレームが有声の破裂音の頭の成分であることを示す場合、有声の破裂音に先行するフレームの振幅が低減される（ステップ６０）。破裂音は、息を完全に止めた後に急に吐き出すことによって生成される音である。したがって破裂音は、スピーチ信号において振幅が急に下降した後、振幅が急に上昇することによって特徴付けられる。有声の破裂音の例として、ベイト（bait）の「ｂ」、デート（date）の「ｄ」、ゲート（gate）の「ｇ」が挙げられる。破裂音は、スピーチ信号内の隣接するフレームの振幅を比較することによって、信号内において識別される。有声の破裂音に先行するフレームの振幅を低減させることによって、破裂音を特徴づける振幅の「スパイク」に強勢が置かれ、その結果、了解度が高まる。
【００１８】
抽出されたデータが、フレームが無声の破裂音の頭の成分であることを示す場合、無声の破裂音に先行するフレームの振幅が低減され、無声の破裂音を含むフレームの振幅が増加される（ステップ６２）。無声の破裂音に先行するフレームの振幅は、上述したように低減され、破裂音の振幅の「スパイク」を強調する。無声の破裂音の頭の成分を含むフレームの振幅が増加され、結果生じるスピーチ信号における音の大きさが聴取者の検出しきい値を超える尤度を増加させる。
【００１９】
図４を参照すると、次にデジタル波形のフレーム毎の再構成が、たとえば振幅、ボイシング、ピッチ、スペクトルフィルタリングデータを用いて行われる（ステップ６４）。次いで個々のフレームが、完全なデジタルシーケンスにつなぎ合わされる（ステップ６６）。次いでデジタルアナログ変換が行われ、アナログ出力信号を生成する（ステップ６８）。図３および図４に図示される方法は、リアルタイム了解度強化手順の一部としてすべて一度に行うことができるか、あるいは、異なる時間において多数の副次的な手順で行うことができる。たとえば本方法が補聴器において実施される場合、全体的な方法が使用され、補聴器をつけたユーザによって検出されるように、入力アナログ信号を強化された出力アナログスピーチ信号に変換する。代替的な実施例において、ステップ５０からステップ６２をスピーチ信号復号化手順の一部として行ってもよく、一方、ステップ６４からステップ６８は、次のスピーチ信号復号化手順の一部として行われる。別の代替的な実施例において、ステップ５０からステップ５６は、スピーチ信号符号化手順の一部として行われ、一方、ステップ５８からステップ６８は、次のスピーチ復号化手順の一部として行われる。符号化手順と復号化手順との間の期間において、スピーチ信号をメモリユニット内に格納するか、あるいは、通信チャネルを介して遠隔位置間で転送することができる。好適な実施例において、ステップ５０からステップ５６は、周知のＬＰＣまたはＣＥＬＰ符号化技術を用いて行われる。同様に、ステップ６４からステップ６８は、周知のＬＰＣまたはＣＥＬＰ復号化技術を用いて行うことが好ましい。
【００２０】
上述したものと同様の方法で、本発明の原理を、他の音のタイプの了解度を高めるために使用することができる。特定の音のタイプが了解度の問題を表すことが判定されると、次に、どのようにしてその音のタイプをスピーチ信号のフレーム内で識別できるかが判定される（たとえば、スペクトル分析技術の使用、および隣接するフレーム間の比較を用いて）。次いで、圧縮信号が後に復号化されて再生される場合、かかる音を含むフレームが、音の了解度を高めるためにどのようにして修正される必要があるかが判定される。他のタイプのフレーム修正も本発明により可能であるが（たとえば、スペクトルフィルタリングを決定する反射係数に対する修正）、典型的には、修正は、対応するフレームの振幅の単純なブーストを含む。
【００２１】
本発明の重要な特徴は、通常、本発明の原理を用いて生成された圧縮スピーチ信号を、本発明にしたがって修正されていない従来のデコーダ（たとえば、ＬＰＣまたはＣＥＬＰデコーダ）を用いて復号化できることである。さらに、本発明にしたがって修正されたデコーダを、本発明の原理を用いずに生成された圧縮スピーチ信号を復号化するために使用することもできる。したがって本発明の技術を用いるシステムは、システム内に普及している、信号の非互換性を気にすることなく、経済的な方法で断片的に向上することができる。
【００２２】
本発明をその好適な実施形態とともに説明してきたが、当業者であれば容易に理解されるように、本発明の精神および範囲を逸脱せずに修正および変形を用いることが可能であることを理解されたい。かかる修正および変形は、本発明および添付した特許請求の範囲の権限および範囲内にあると考えられる。
【図面の簡単な説明】
【図１】本発明の一実施形態によるスピーチ処理システムを図示したブロック図である。
【図２】本発明の一実施形態によるスピーチ信号を処理する方法を図示したフローチャートである。
【図３】本発明の一実施形態によるスピーチ信号の了解度を高める際に使用される方法を図示したフローチャートの部分である。
【図４】本発明の一実施形態によるスピーチ信号の了解度を高める際に使用される方法を図示したフローチャートの部分である。
【符号の説明】
１０ スピーチ処理システム
１２ 入力ポート
１４ 出力ポート
１６ アナログデジタルコンバータ
１８ フレーム分離ユニット
２０ フレーム分析ユニット
２２ フレーム修正ユニット
２４ 圧縮ユニット

Claims (5)

1. スピーチ信号を処理する方法であって、
   処理されるスピーチ信号を受信するステップと、
   前記スピーチ信号を多数のフレームに分割するステップと、
   前記分割するステップにおいて生成された前記フレームの各々を分析し、前記フレームに関連する音のタイプを判定するステップと、
   出力信号の了解度を高めるために、前記音のタイプに基づいて前記フレームの少なくとも２つのものの音のパラメータを修正するステップとを含み、
   前記音のパラメータを修正するステップは、
   （ｉ）選択されたフレームが、無声の破裂音を含むと判定される場合に、この選択されたフレームの振幅をブーストするサブステップ、および
   （ii）前記選択されたフレームが有声又は無声の破裂音を含むと判定される場合に、先行するフレームの振幅を低減させるサブステップ、
   の両方を含むものであることを特徴とする方法。
2. 前記分析するステップが、
   前記多数のフレームの各々に対してスペクトル分析を行い、前記多数のフレームの各々のスペクトル内容を判定するステップと、
   前記フレームの各々のスペクトル内容を検査して、前記フレームが有声音または無声音を含んでいるか否かを判定するステップとを含む、請求項１に記載の方法。
3. 前記分析するステップが、
   前記フレームの各々の振幅を判定し、前記フレームの各々の振幅を先行するフレームの振幅と比較し、前記フレームが破裂音を含むか否かを判定するステップを含み、前記修正するステップが、前記多数のフレームの各々の振幅を個別に修正する処理を含む、請求項１に記載の方法。
4. スピーチ信号を処理するシステムであって、
   時間に基づいたフレームに分割されるスピーチ信号を取得する手段と、
   前記フレームのそれぞれに関連する発話された音のタイプを判定する手段と、
   信号了解度を高めるために、発話された音のタイプに基づいて、少なくとも２つの選択されたフレームの音のパラメータを修正する手段とを含み、前記修正する手段は、
   （ｉ）選択されたフレームが、無声の破裂音を含むと決定される場合に、この選択されたフレームの振幅をブーストする機能、および
   （ii）前記選択されたフレームが有声又は無声の破裂音を含むと決定される場合に、先行するフレームの振幅を低減させる機能、
   の両方を遂行するものであることを特徴とするシステム。
5. 処理装置において実行される際、請求項１ないし３のいずれか１項に記載の方法に含まれる一連の処理ステップを、コンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能媒体。

Images