JP4523257B2

JP4523257B2 - 音声データ処理方法、プログラム及び音声信号処理システム

Info

Publication number: JP4523257B2
Application number: JP2003345865A
Authority: JP
Inventors: ワイ・シー・チュー; ラシュカリコスロウ
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2002-10-03
Filing date: 2003-10-03
Publication date: 2010-08-11
Anticipated expiration: 2023-10-03
Also published as: US20080133251A1; US20080133252A1; JP2004126595A; US7426470B2; US20040068412A1

Description

本発明は音声信号の加工方法に関するものであって、特に、信号エネルギーに基づいた、音声信号の非一様時間領域での圧縮処理に関する。

元の音声特性を保ちつつ音声信号の再生速度を変化させるように、音声信号を加工する技術がある。具体的には、時間領域での圧縮（以下、単に「時間圧縮」という場合がある）を行った場合、圧縮処理後の音声信号が再生されると、聴覚者にとっては元の速度よりも音声の再生速度が速く知覚される。反対に、時間領域での伸張を行った場合は、元の速度よりも遅く知覚されることになる。

この時間領域信号処理の応用例としては、ユーザの好みに応じてメッセージの再生速度を上げる（または下げる）ことのできる電話ボイスメールシステムや留守番電話装置等がある。最近では、ローカルリソースあるいはインターネット等のネットワーク上のリソース内でのマルチメディアデータの検索において、このような音声信号や映像信号の時間領域での信号処理技術が用いられている。この技術は、また、マルチメディア素材のストリーミング配信においても有用である。時間領域での信号処理に基づいたシステムおよび方法を用いることにより、大規模データベースから音声素材を非常に効率的に抽出することが可能となる。

このような時間領域での信号処理を行うための技術には、様々なものが存在する。一般に、時間領域信号処理は、線形（リニア）アルゴリズムを用いたものと非線形（ノンリニア）アルゴリズムを用いたものとに大別される。リニアアルゴルリズムにおいては、所定の再生速度倍率の下、全ての音声信号列に対し一様に時間圧縮・時間伸張処理が施される。

最も基本的な圧縮方法としては、音声サンプルを例えば一つおきに削除することにより、録音された際のサンプリングレートよりも低いサンプリングレートで音声を再生する場合がある。しかしながら、この場合は、再生される音声はその音高が上昇するため、不明瞭となり娯楽性に欠けるものとなってしまう。

その他の圧縮方法としては、短い固定長の音声信号セグメントの一部を廃棄し、残ったセグメントを接合する信号処理技術がある。しかしながら、このようなセグメントの廃棄および接合を行うと、接合箇所において音声信号が不連続となり、聴感できるクリック音等のノイズが発生してしまう。そこで、信号処理後の音声信号の質を改善するため、窓関数や平滑化フィルタを接合箇所に適用する技術がある。その中でも、ＯＬＡ（overlap and add）、ＳＯＬＡ（synchronized overlap and add）、ＷＳＯＬＡ（waveform-similarity overlap and add）と呼ばれる信号処理技術がある（例えば非特許文献１参照）。これらのＯＬＡ型のアルゴリズムは、シンプルでかつ高効率という特徴がある。このようなアルゴリズムの設計および実装にあたっては、音声信号の信号処理に必要なプロセッサのリソースおよびデータを記憶するための記憶装置の容量が、重要な要素として考慮される。

W. Verhelst, M Roelands著, 「An Overlap-Add Technique Based on Waveform Similarity (WSOLA) for high Time-Scale Modification of Speech」, IEEE Proceedings of ICASSP-93, vol. II, pp. 554-557, 1993

一方、ノンリニア時間領域圧縮においては、音声信号列の解析が行われるため、ある時点の圧縮率と他の時点の圧縮率とは一般に異なる。例えば、音声の空白部分や長母音等の冗長部分は相対的に圧縮率が高くなる。

典型的なＷＳＯＬＡアルゴリズムにおいては、入力信号のうち、ｎ＝０, Ｔ_x, ２Ｔ_x, …,（Ｔ_x＞０）のぞれぞれの近傍の信号から固定長セグメントを抽出する。ここで、Ｔ_xはこのアルゴリズムで用いられるパラメータである。上記各時点の最も近傍におけるセグメント同士を一部重ね合わせることによって出力信号が形成される。この処理を図２に示す。同図に示すように、一様に分割されたセグメントの各々において、入力信号に対し信号処理を施すのである。この信号処理に係る時間スケール比ρは以下の式で定義される。

ここで、ρは時間圧縮では１以下であり、時間伸張では１以上となる。

従来の時間領域信号処理に用いられるアルゴリズムでは、低いビットレート（すなわち高い圧縮率、例えばρ＜０.５）を設定した場合、出力音声の品質を維持することは困難である。出力される音声は、商業的利用に耐えられないほど不明瞭なものとなってしまうのである。従って、従来の、音声信号を時間圧縮する方法および装置を改良することが求められている。

本発明は上述した現状に鑑み、圧縮率が高い場合であっても、良好な再生音声品質が得られるように音声信号を処理する方法および装置を提供することを目的とする。
本発明に係る音声データ処理方法は、入力音声信号に対応するデータを受信するステップと、該データを複数のセグメントに分割するステップと、前記セグメントのエネルギーが閾値よりも大きい場合には、予め与えられた時間スケール比と出力セグメント長から計算される参照入力セグメント長よりも小さい入力セグメント長を設定し、当該エネルギーが当該閾値よりも小さい場合には、当該参照入力セグメント長よりも大きい入力セグメント長を設定するステップと、前記設定された入力セグメント長を用いて前記データを圧縮し、圧縮済みのデータを生成するステップとを有する。
本発明に係る音声データ処理方法は、入力音声信号に対応する音声データのフレームを受信するステップと、前記音声データを複数のセグメントに分割するステップと、前記フレームのエネルギーに関連する値であるエネルギー関連値を算出するステップと、前記フレームの予測ピークエネルギーを決定するステップと、該予測ピークエネルギーに基づいて、前記フレームのエネルギー閾値を決定するステップと、該エネルギー関連値が該エネルギー閾値よりも大きい場合には、予め与えられた時間スケール比と出力セグメント長から計算される参照入力セグメント長よりも小さい入力セグメント長を設定し、該エネルギー関連値が該エネルギー閾値よりも小さい場合には、当該参照入力セグメント長よりも大きい入力セグメント長を設定する設定ステップと、前記設定された入力セグメント長を用いて前記音声データを圧縮し、圧縮済みの音声データを生成するステップとを有する。
本発明に係る音声データ処理方法において、前記設定ステップでは、前記フレームのエネルギー関連値が前記エネルギー閾値よりも大きい場合であって、１つ前までのフレームにおける前記参照入力セグメント長に対する前記入力セグメント長の剰余分又は不足分の累積値を含む変数が上限値よりも小さい場合には、前記参照入力セグメント長よりも小さい入力セグメント長を設定し、当該エネルギー関連値が当該エネルギー閾値よりも小さい場合であって、当該変数が下限値よりも大きい場合には、当該参照入力セグメント長よりも大きい入力セグメント長を設定してもよい。

本発明は、また、コンピュータ装置を、入力音声信号に対応するデータを受信する手段と、該データを複数のセグメントに分割する手段と、前記セグメントのエネルギーが閾値よりも大きい場合には、予め与えられた時間スケール比と出力セグメント長から計算される参照入力セグメント長よりも小さい入力セグメント長を設定し、当該エネルギーが当該閾値よりも小さい場合には、当該参照入力セグメント長よりも大きい入力セグメント長を設定する手段と、前記設定された入力セグメント長を用いて前記データを圧縮し、圧縮済みのデータを生成する手段として機能させるためのプログラムおよび当該プログラムをコンピュータ読み取可能に格納した記憶媒体を提供する。

本発明は、また、受信した入力音声信号に対応するデータを複数のセグメントに分割し、前記セグメントのエネルギーが閾値よりも大きい場合には、予め与えられた時間スケール比と出力セグメント長から計算される参照入力セグメント長よりも小さい入力セグメント長を設定し、当該エネルギーが当該閾値よりも小さい場合には、当該参照入力セグメント長よりも大きい入力セグメント長を設定し、前記設定された入力セグメント長を用いて前記データを圧縮し、圧縮済みのデータを生成するようにプログラムされたプロセッサと、プログラムおよびデータのいずれか一が記憶された、前記プロセッサがアクセス可能な記憶部とを有する音声信号処理システムを提供する。

本発明によれば、圧縮率を高く設定した場合であっても、良好な音質の再生音声を得ることができる。

以下、図面を参照しつつ本発明の実施形態について説明する。図１は、音声信号処理システム１００のブロック図である。音声信号処理システム１００は、プロセッサ１０２、メモリ１０４、および記憶装置１０６から構成される。音声信号処理システム１００は、以下に述べる時間加工方法および装置を用いたシステムの一例にすぎず、他の装置に接続されて、高機能な複合システムを形成する構成であってもよい。例えば、音声信号処理システム１００は、ネットワークを介したデータ通信を行う装置、マイクロフォンおよびスピーカ等の再生機器を含む録音装置、およびユーザインタフェースを有するデジタルボイスメールシステムに組み込まれていてもよい。

プロセッサ１０２は、音声データ処理を行うプロセッサであって、種々の好適なものを用いることができる。本実施形態においては、プロセッサ１０２はデジタル信号処理を行う。プロセッサ１０２は、格納されたデータと、入力部１０８から受信した、音声データに対し音声処理を行う旨の指示とに応じて動作する。メモリ１０４は、データおよびプロセッサを制御するための指示を格納する。プロセッサ１０２は、メモリ１０４に格納されている指示の下、受信したデータに対して後述する音声圧縮アルゴリズム等の演算アルゴリズムを実行し、加工処理を行った圧縮済み音声データを記憶装置１０６に格納する。この後、プロセッサ１０２は、加工処理を行った音声データを記憶装置１０６から抽出し、再生用音声データを出力部１１０へ供給する。例えば、プロセッサ１０２は、この音声データに対し復元処理または伸張処理を行い、可聴信号に対応するデータを生成する。

ある態様においては、プロセッサ１０２はデジタル信号処理を行う集積回路であり、メモリ１０４および記憶装置１０６は半導体メモリから構成される。他の態様においては、プロセッサ１０２は好適にプログラムされた汎用プロセッサにより構成される。あるいは、プロセッサ１０２は、モノリシック集積回路上に形成された他の回路と組み合わされ、種々の追加機能を有していてもよい。メモリ１０４および記憶装置１０６は、プロセッサ１０２に組み込まれ、一つの装置を構成していてもよい。また、メモリ１０４および記憶装置１０６は、好適なリード・ライト装置から構成される。また、圧縮された音声データを記憶装置１０６へ格納するのではなく、他の演算処理ユニットや圧縮音声信号への変換等を行う装置等へ引き渡す構成であってもよい。

図２は、ＷＳＯＬＡ（waveform-similarity overlap-and-add）アルゴリズムを用いた時間領域圧縮処理を示す。図２の上段の図は、圧縮されていない音声を含む入力信号ｘ（ｎ）を表す。この未圧縮音声は、いくつかの一様な時間セグメントＴ_xに跨っている。図２の下段図に示すように、ＷＳＯＬＡアルゴリズムを用いて圧縮処理を行って得られた出力信号ｙ（ｎ）は、時間軸上で圧縮された元のセグメントを含んでいる。

上述したように、各時刻Ｔ_x付近に存在する「最良セグメント」を重ね合わせることにより、出力信号ｙ（ｎ）が形成される。この最良セグメントとは、波形が最も類似する箇所に対応するセグメントのことを指す。オーバーラップ長Ｍは、隣り合うセグメントと重なっている部分の時間の長さ、または重なっている間の信号サンプル数、と定義される。出力信号ｙ（ｎ）は、複数のセグメントＴ_yに分割される。時間スケール比ρは、ρ＝Ｔ_y／Ｔ_xと定義される。セグメントの重なり部分の処理は、単純な足し算であってもよいし、あるいは隣接セグメント間に対し各種スケーリング処理を適用してもよい。図２に示すアルゴリズムは、一様な時間セグメント長を用いて、図１に示す音声信号処理システム１００によって実行されてもよい。

ρが１に近い場合は、図２に示す一様な時間セグメント長を用いて得られる再生音声の品質は良好である。ところが、ρが０.５程度よりも小さくなると、有音間の信号がかなり省かれていく。すなわち、廃棄される信号サンプルの数が増加する。結果として、再生音声の明瞭さは急激に失われる。さらに、信号中の歪み（アーティファクト）として知られている、ギクシャク感が再生音声に表れる。
そこで、セグメント長音声信号の特性を利用して、非一様補正方法を導入することにより、従来の一様補正方法を改善することが行われている。具体的には、聴覚上あまり重要でないセグメントにおいては圧縮率を上げ、聴覚上重要なセグメントに対しては圧縮率を下げる。このような考えを利用した技術に、過渡検出や音素認識がある。このようなアプローチにおいては、ある時刻における信号の特性に基づいて時間スケール比が補正される。

しかしながら、従来の非一様時間圧縮アルゴリズムにおいては、低いビットレートでの聴覚上の音声品質が向上するという利点があるものの、多くの演算量を必要とするという欠点があった。この欠点を克服するため、本発明のアルゴリズムにおいては、スケール比を補正するにあたり、短期間の入力音声信号のエネルギーを用いる。一般的に音声信号は高エネルギーセグメントと低エネルギーセグメントとを含んでいるが、高エネルギーセグメントの方が聴覚上重要な役割を担っているので、セグメントのエネルギーに基づいて時間スケール比の補正処理を行うことにより、聴覚上の音質を改善することができる。具体的には、高エネルギーセグメントにおいては、低エネルギーセグメントまたは無音セグメントに比べて圧縮率を下げる処理を行う。これにより、再生音声の明瞭度が向上する。

この処理の具体例を図３に示す。同図には、ＷＳＯＬＡに基づいた時間領域圧縮アルゴリズムが示されている。同図において、上段の図は入力信号ｘ［ｎ］を示したものである。中段の図は、入力信号ｘ［ｎ］に係る複数のセグメントを示したものである。同中段図に示されるように、この入力信号は非一様時間セグメントＴ’［ｎ］に分割される。図３の下段図に示すように、入力信号ｘ［ｎ］はoverlap-and-addの手法を用いて圧縮され、圧縮処理された出力信号ｙ［ｎ］を生成する。ここで、与えられたρに対して適切なセグメント列Ｔ_x’［ｍ］（ｍ＝１，２，３，．．．）をどのように決定するかが問題となる。

以下では、所望の時間スケール比ρ、出力セグメント長Ｔ_y、およびオーバーラップ長Ｍは既知であるとする。なお、Ｔ_yおよびＭの選び方は予め与えられていてもよいし、他の手法を用いて算出してもよい。ここでは、狭帯域（８ｋＨｚ）の音声信号を扱う場合を考え、一例としてＴ_y＝Ｍ＝１５０を用いることとする。すると、参照入力セグメント長Ｔ_xは以下の式から計算される。

信号エネルギーは、ｍ番目の出力セグメントにおける直前のＭ個のサンプル、すなわち（ｍ+１）番目のセグメントと重ね合わされるサンプルから計算され、以下の式で与えられる。

すなわち、エネルギーＥ［ｍ］は、区間｛ｍ×Ｔ_y、ｍ×Ｔ_y＋ｍ−１｝における信号ｙ［ｎ］のエネルギーである。

上式から分かるように、エネルギーは、入力信号サンプル数の２乗の合計値として算出される。本実施形態では、すべてのセグメントがゼロの場合に生じる数値計算上の問題を回避するため、微小な正の数として０.０１を２乗の合計値に加えることとしている。ここで、数値計算上の他の便宜や使用できる記憶装置の容量等を考慮して、上記数式を変形して用いることも可能である。例えば、信号のエネルギーに関連する数値（以下、エネルギー関連値という）を算出してもよい。このような変形は、コンピュータにかかる演算負荷や使用できる記憶領域の制限に応じて、あるいは入力信号の種類やデータ形式に応じて適宜行うことが可能である。

さらに、予測ピークエネルギーＥ_p［ｍ］を以下の式で定義する。

ここで、α_pはピークエネルギー減少係数を、Ｅ_p,minは最少ピークエネルギーをそれぞれ表す。この式から分かるように、現在のフレームの予測ピークエネルギーは、（１）直前の予測ピークエネルギーにα_pを乗じたもの、（２）現在のフレームのエネルギー、および（３）最少ピークエネルギー、のいずれかから選択される。係数α_pは適応速度を決定するものであって、α_p＜１である。Ｅ_p,minは、取り得る最も低いエネルギー予測値であって、初期条件Ｅ_P［０］＝０を満たす。

次に、予測最低エネルギーを次式により定義する。

ここで、α_bは最低エネルギー増加係数であって、α_b＞１である。上式から分かるように、現在の予測最低エネルギー値は、直前の予測最低エネルギー値に係数を乗じた値、または現在のエネルギー値のいずれかに等しい。また、Ｅ_b［ｍ］は境界条件E_b［０］＝ ∞を満たす。

次に、エネルギー閾値Ｅ_thを次式で定義する。

ここで、α_thはエネルギー閾値係数であって、α_th＞１を満たす。フレームのエネルギーをこの閾値と比較することにより、現フレームに係る時間スケール比または入力セグメント長が決定される。

上述したように、入力セグメント長Ｔ’［ｍ］はエネルギーに応じて変化する。これはすなわち時間スケール比が一定ではないことを意味する。しかしながら、アルゴリズム上の要請から、全ての時間スケール比の平均は、元の時間スケール比ρに等しくなければならない。そこで、このように時間変化する入力セグメント長を取り扱うため、「リザーバ」と呼ばれる変数列Ｒ［ｍ］を導入する。この変数列Ｒ［ｍ］は初期条件Ｒ［０］＝０を満たす。第ｍ番目のフレームにおけるＲ［ｍ］は次式で表される。

上式から分かるように、リザーバ列には参照入力セグメント長Ｔ_xに対する剰余分または不足分の累積値が含まれる。現在のフレームの入力セグメント長は、以下の規則に従ってリザーバの値およびエネルギーの値から決定される。

ここでθ（Ｒ）は、リザーバの値に依存するスケール係数であって、以下の式で与えられる。

現在のエネルギーがエネルギー閾値以上である場合（Ｅ［ｍ］＞Ｅ_th［ｍ］）であって、且つ、リザーバの値がリザーバの取り得る最大値よりも小さい場合（Ｒ［ｍ−１］＜Ｒ_max；Ｒ_maxは正の定数）、時間スケール比が大きくなるように、Ｔ_x’の値はα₁Ｔ_xに等しくなるように設定される。ここでα₁＜１である。

一方、現在のエネルギーが閾値以下であって（Ｅ［ｍ］＜Ｅ_th［ｍ］）、且つリザーバの値がリザーバの取り得る最小値よりも大きい場合（Ｒ［ｍ−１］＞Ｒ_min；Ｒ_minは負の定数）、時間スケール比を小さくするように、Ｔ_x’はα₂Ｔ_xに等しい値に設定される。なお、α₂＞１である。その他の場合は、リザーバの値が最大値の半分よりも大きくなるまで（Ｒ＞Ｒ_max／２）、Ｔ_x’＝Ｔ_xとする。この場合、次に入力される高エネルギーフレームに対応するため、リザーバの値は急速に減少する。このような制御メカニズムを採用することにより、エネルギーの異なるセグメントに対応した信号処理を行うことが可能となるのである。

上述した手法を用いることにより、信号処理に起因する累積的効果を監視し、この累積的効果に対して適切に対応することが可能となる。これにより、時間スケール比の平均を圧縮前の値に近い値になるように保ちつつ、最高の再生音声信号の品質を得ることができる。とはいうものの、本発明のアルゴリズムの有する効果を最大限発揮させるためには、選択する制御パラメータが重要となる。そこで、設定パラメータを選択する際の基準の一例を以下に示す。

・ピークエネルギーピーク減少係数（α_p）：予測エネルギーピーク値の適応速度を決定する。０.９〜０.９９９が標準的。
・最低エネルギー増加係数（α_b）：最低エネルギー値の適応速度を決定する。１.００１〜１.１が標準的。
・最少ピークエネルギー値（Ｅ_p,min）：エネルギーピーク値が取り得る最も低い値を表し、低エネルギーセグメントに係る信号処理に対して影響を与える。
・エネルギー閾値算出係数α_th：エネルギーの範囲｛Ｅ_b、Ｅ_p｝においてエネルギー閾値の相対的な大きさを制御する。ここで、α_th＝１のときＥ_th＝Ｅ_pであり、α_th→∞のときＥ_th→Ｅ_bとなる。１.３〜２.０が標準的。
・入力セグメント長補正係数（α₁およびα₂）：セグメント長を調節するパラメータであって、α₁は高エネルギーセグメントに対応し、α₂は低エネルギーセグメントに対応する。α₁は０.２〜０.８が標準的、α₂は１.５〜２.０が標準的。
・リザーバの最大値および最小値（Ｒ_min、Ｒ_max）：リザーバの取り得る値の上限値および下限値を表す。リザーバの値がこれらの値を超えると、元の圧縮率（伸張率）で信号処理がなされる。これ以外の場合は、現在のエネルギーに応じた圧縮率（伸張率）で信号処理がなされる。Ｒ_minは「−２０００」〜「−５００」、Ｒ_maxは「２００」〜「１０００」が標準的。

上述のパラメータ値は例示であって、これに限られるものではない。最適な効果を得るためには、時間スケール比に応じて最適なパラメータ値を選ぶ必要がある。また、種々の入力条件や出力条件に応じて、異なるパラメータ値を選択するようにしてもよい。上述したパラメータ値の例示を特定の用途へ応用することは、当業者にとって容易である。

上述した音声信号処理システムおよび音声処理方法に係る一つのモデルを以下に示す。アルゴリズムの性格を説明するために、このモデルにおいては、一般的な音声信号を用いることとする。図４は、ρ＝３のときのエネルギー、予測ピークエネルギー、予測最低エネルギー、およびエネルギー閾値を示したものである。予測ピークエネルギー値、予測最低エネルギー、およびこれら２つの予測値から算出されたエネルギー閾値によって、信号のエネルギーが監視される。ここでは、パラメータ値の一例として、α_p＝０.９８、α_b＝１.０３、Ｅ_p、_min＝１３、α_th＝１４、α₁＝０.４３、α₂＝１.５７、Ｒ_min＝−８００、Ｒ_max＝１０００を選択した。

図５は、入力セグメント長の時間変化を表す。同図から明らかのように、入力セグメント長は、各時点でのエネルギー（局所エネルギー）に応じて、４つの値のいずれかをとる。換言すれば、入力セグメント長は４つの値の間で振動する。この例では、４つの値とは、２１５、５００、７５０、および７８５である。図６はリザーバの値を示す図である。リザーバの値は、初期の低エネルギー領域に対応して負の値から始まり、高エネルギーセグメントが出現すると増加してゆく。リザーバの値は上限値であるＲ_maxを越えると、それ以上増加することができない。この場合、低エネルギーセグメントの出現を待ち、このセグメントにおいて圧縮率を高く設定することによってリザーバの値を下げる。信号処理の終了時点でリザーバの値はほぼ０となっており、これは時間スケール比ρの平均が所望の値（０.３）に近いことを意味している。

図７は、ρの値ごとに、一様時間圧縮方法および非一様時間圧縮方法を用いて圧縮した音声のどちらが高品質であるかを被験者に選択させる実験を行った結果を示したものである。音声として、４つのセンテンスを用いた。また、音声の主に関して、男性と女性は半々である。同図に示すように、時間スケール比ρの値が小さくなるにしたがって、非一様圧縮時間方法を用いたアルゴリズムの方が音声品質を選択した被験者の数は増加する。ρ＝０.４および０.５においては、多少の相違はあるものの、非一様時間圧縮方法を用いてた方が途切れがなく滑らかな音声を得ることができる。しかしながら、通常の発声速度において生じる突発的な歪みのために、被験者の感じる音声品質は低下する。よって、一様時間圧縮方法および非一様時間圧縮方法により得られる音声品質が近いため、そのどちらも選ばない被験者が多くなっている。

ρ＝０.３および０.２の場合、一様時間圧縮においては、明瞭度が低下し、概して音量は小さくなり、不自然さを感じさせる多数の人工的な音が出現し、これにより音声の話者を区別することもできなくなる。これに対し非一様時間圧縮においては、ほぼ同じ音量を保ちつつ、滑らかな音声を得ることができる。加えて、元の高エネルギーセグメントに係る信号がほとんどそのまま保たれているので、話者をはっきりと区別することができる。これらのρの値において、一様時間圧縮および非一様時間圧縮のいずれも選択しなかった被験者の数が劇的に減少しているのは、両者の方法の間に非常に明確な差異があるためである。

ρ＝０.１においては、元の音声の内容を理解することは実際上無理である。にもかかわらず、非一様時間圧縮においては、その再生音声が人間のものであるということを認識することができ、また、ほとんどの場合、話者を識別することが可能であるということもあり、多くの被験者は非一様時間圧縮の方を選択している。一方、一様時間圧縮においては、音声は不快感を感じるほど不自然なものとなり、話者の声の特徴も著しく失われる。

以上、新規な時間領域圧縮アルゴリズムが開示された。このアルゴリズムにおいては、低い時間スケール比（高い圧縮率）においても聴覚上の品質の向上が達成される。このアルゴリズムにおいては、信号のエネルギーを算出し、算出したエネルギーを用いて、各時点における時間スケール比（局所スケール比）を決定する。また、所望の時間スケール比を達成するために、リザーバという変数を導入して局所信号処理における累積効果を監視する。そして、このリザーバの値を考慮に入れて局所スケール比を決定する。上述した実施例はＷＳＯＬＡに基づいたものであったが、本発明の原理を他の種類のアルゴリズムに拡張して適用することも可能である。

時間圧縮は、音声素材および映像素材の高速再生において鍵となる技術である。本発明のシステムおよび方法は、コンピュータにかかる負荷が少ないため、既存の多くのシステムに適用することができる。例えば、デジタルの留守番電話機装置やボイスメールシステムに適用し、本願において開示された実施形態や種々の変形を用いて、録音された音声の再生速度を制御することが考えられる。

本発明に係るシステムおよび方法は、上述した演算処理等を実行するようにプログラムされた、プロセッサやロジックデバイスとして実現されてもよい。あるいは、ソフトウェアプログラムコードおよび演算処理を実行するように構成されたデータとして、あるいは、このようなプログラムコードやデータを記憶したフロッピー(登録商標）ディスクや光学ディスク等のコンピュータ読み取り可能な記憶媒体として実現されてもよい。あるいは、本発明にかかるシステムおよび方法は、上記ソフトトウェアプログラムコードおよびデータをエンコードした電気信号として実現され、この電気信号はローカルエリアネットワーク（ＬＡＮ）やインターネット等の有線通信網または無線通信網を介して送受信されてもよい。

以上、本発明の実施形態を説明したが、本発明の技術的範囲はこれに拘泥されず、上記実施例に対して種々の変形を行うことが可能であることは言うまでもない。

音声信号処理システムのブロック図である。一様時間領域圧縮処理を説明するための図である。非一様時間領域圧縮処理を説明するための図である。時間領域圧縮システムにおいて用いられる制御パラメータを説明するための図である。時間領域圧縮システムにおける入力セグメント長の値の変移を示す図である。時間領域圧縮システムにおけるリザーバの値の変移を示す図である。聞き取り実験の結果を示す図である。

符号の説明

１００・・・・・・音声信号処理システム、１０２・・・・・・プロセッサ、１０４・・・・・・メモリ、１０６・・・・・・記憶装置、１０８・・・・・・入力部、１１０・・・・・・出力部。

Claims

入力音声信号に対応するデータを受信するステップと、
該データを複数のセグメントに分割するステップと、
前記セグメントのエネルギーが閾値よりも大きい場合には、予め与えられた時間スケール比と出力セグメント長から計算される参照入力セグメント長よりも小さい入力セグメント長を設定し、当該エネルギーが当該閾値よりも小さい場合には、当該参照入力セグメント長よりも大きい入力セグメント長を設定するステップと、
前記設定された入力セグメント長を用いて前記データを圧縮し、圧縮済みのデータを生成するステップと
を有する音声データ処理方法。
入力音声信号に対応する音声データのフレームを受信するステップと、
前記音声データを複数のセグメントに分割するステップと、
前記フレームのエネルギーに関連する値であるエネルギー関連値を算出するステップと、
前記フレームの予測ピークエネルギーを決定するステップと、
該予測ピークエネルギーに基づいて、前記フレームのエネルギー閾値を決定するステップと、
該エネルギー関連値が該エネルギー閾値よりも大きい場合には、予め与えられた時間スケール比と出力セグメント長から計算される参照入力セグメント長よりも小さい入力セグメント長を設定し、該エネルギー関連値が該エネルギー閾値よりも小さい場合には、当該参照入力セグメント長よりも大きい入力セグメント長を設定する設定ステップと、
前記設定された入力セグメント長を用いて前記音声データを圧縮し、圧縮済みの音声データを生成するステップと
を有する音声データ処理方法。
前記設定ステップでは、前記フレームのエネルギー関連値が前記エネルギー閾値よりも大きい場合であって、１つ前までのフレームにおける前記参照入力セグメント長に対する前記入力セグメント長の剰余分又は不足分の累積値を含む変数が上限値よりも小さい場合には、前記参照入力セグメント長よりも小さい入力セグメント長を設定し、当該エネルギー関連値が当該エネルギー閾値よりも小さい場合であって、当該変数が下限値よりも大きい場合には、当該参照入力セグメント長よりも大きい入力セグメント長を設定する
ことを特徴とする請求項２に記載の音声データ処理方法。
コンピュータ装置を、
入力音声信号に対応するデータを受信する手段と、
該データを複数のセグメントに分割する手段と、
前記セグメントのエネルギーが閾値よりも大きい場合には、予め与えられた時間スケール比と出力セグメント長から計算される参照入力セグメント長よりも小さい入力セグメント長を設定し、当該エネルギーが当該閾値よりも小さい場合には、当該参照入力セグメント長よりも大きい入力セグメント長を設定する手段と、
前記設定された入力セグメント長を用いて前記データを圧縮し、圧縮済みのデータを生成する手段と
して機能させるためのプログラム。
受信した入力音声信号に対応するデータを複数のセグメントに分割し、前記セグメントのエネルギーが閾値よりも大きい場合には、予め与えられた時間スケール比と出力セグメント長から計算される参照入力セグメント長よりも小さい入力セグメント長を設定し、当該エネルギーが当該閾値よりも小さい場合には、当該参照入力セグメント長よりも大きい入力セグメント長を設定し、前記設定された入力セグメント長を用いて前記データを圧縮し、圧縮済みのデータを生成するようにプログラムされたプロセッサと、
プログラムおよびデータのいずれか一が記憶された、前記プロセッサがアクセス可能な記憶部と
を有する音声信号処理システム。