JP3875890B2 - 音声信号加工装置、音声信号加工方法及びプログラム - Google Patents
音声信号加工装置、音声信号加工方法及びプログラム Download PDFInfo
- Publication number
- JP3875890B2 JP3875890B2 JP2002012196A JP2002012196A JP3875890B2 JP 3875890 B2 JP3875890 B2 JP 3875890B2 JP 2002012196 A JP2002012196 A JP 2002012196A JP 2002012196 A JP2002012196 A JP 2002012196A JP 3875890 B2 JP3875890 B2 JP 3875890B2
- Authority
- JP
- Japan
- Prior art keywords
- subband
- phoneme
- signal
- deleted
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、音声信号加工装置、音声信号加工方法及びプログラムに関する。
【０００２】
【従来の技術】
近年、規則合成方式や録音編集合成方式などの手法を用いて合成された音声が広く利用されている。これらは、音声の構成要素（音素など）を連結することにより音声を合成する手法である。
そして一般に、合成音声は、電子すかし等の技術を用いて適宜の付加情報を埋め込まれた上で用いられる。情報の埋め込みは、合成音声と人が実際に発声した音声とを区別するため、あるいは、合成音声の素材となった音素等の発声者や合成音声の作成者を識別したり、合成音声にかかる権利の帰属を示すなどの目的で行われる。
【０００３】
電子すかしは、人の聴覚の性質上、強度が大きな成分に周波数が近接しており強度が小さな成分は知覚されないという効果（マスキング効果）を利用して施される。具体的には、合成音声のスペクトルのうち、強度が大きな成分に周波数が近接していて、この成分より強度が小さい成分を削除し、削除した成分と同じ帯域を占める付加信号を挿入することにより行われる。
なお、挿入される付加信号は、予め、合成音声の占める帯域の上限前後の周波数の有する搬送波を付加情報で変調することにより生成する。
【０００４】
また、合成音声の素材となった音素等の発声者を識別したり、合成音声にかかる権利の帰属を明らかにしたりする手法としては、当該音素等を表すデータを暗号化し、発声者や、合成音声にかかる権利の権利者のみがこのデータを復号化するための復号鍵を保持するようにする、という手法も考えられる。
【０００５】
【発明が解決しようとする課題】
しかし、上述の電子すかしの手法では、付加信号を挿入された合成音声を圧縮した場合、圧縮により付加信号の内容が破壊されてしまい、付加情報を復元することができない。また、合成音声を更にサンプリングすると、サンプリングの周波数によっては、付加信号の生成に用いた搬送波に起因する成分が異音として人に聞こえるようになってしまう。合成音声は圧縮を施された上で用いられる場合が多いので、上述の電子すかしの手法では、合成音声に付加された付加情報が適切に再現できない場合が多くなってしまう。
【０００６】
また、合成音声の素材となる音素等を表すデータを暗号化する手法は、このデータの復号鍵を保持しない者にこのデータを試用させることが困難である。また、
この手法では、合成音声の品質が非常に高い場合、合成音声と人が実際に発声した音声との区別をすることができない。
【０００７】
この発明は、上記実状に鑑みてなされたものであり、音声の情報の暗号化を要せずに、音声の構成要素の配列を並べ替えても音声の発声者等を同定できるように音声の情報を加工するための音声信号加工装置及び音声信号加工方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成すべく、この発明の第１の観点にかかる音声信号加工装置は、
音素の波形を表す加工対象の音声信号の基本周波数成分及び高調波成分の強度の時間変化を表すサブバンド信号を生成するサブバンド抽出手段と、
前記サブバンド抽出手段が生成したサブバンド信号のうち、当該サブバンド信号が表す音素に対応付けられた削除対象の高調波成分の時間変化を表す部分を削除した結果を表す削除済みサブバンド信号を生成する削除手段と、を備え、
特定の話者が発声した各音素と、各該音素に対応付けられている削除対象の高調波成分との対応関係は、当該話者に固有のものである、
ことを特徴とする。
【００１０】
また、この発明の第２の観点にかかる音声信号加工装置は、
音素の波形を表す加工対象の音声信号の基本周波数成分及び高調波成分の強度の時間変化を表すサブバンド信号を生成するサブバンド抽出手段と、
前記サブバンド抽出手段が生成したサブバンド信号のうち、当該サブバンド信号が表す音素に対応付けられた削除対象の高調波成分の時間変化を表す部分を削除した結果を表す削除済みサブバンド信号を生成する削除手段と、を備え、
前記削除手段は、特定の話者が発声した各音素と、各該音素に対応付けられている削除対象の高調波成分との対応関係を表すテーブルを書き換え可能に記憶し、自己が記憶するテーブルが表す対応関係に従って、前記削除済みサブバンド信号を生成する、
ことを特徴とする。
【００１１】
前記削除手段は、前記フィルタリングされたサブバンド信号を非線形量子化したもののうち、当該サブバンド信号が表す音素に対応付けられた削除対象の高調波成分の時間変化を表す部分を削除した結果を表す前記削除済みサブバンド信号を生成するものであってもよい。
【００１２】
前記削除手段は、前記削除済みサブバンド信号を取得し、取得した当該削除済みサブバンド信号のデータ量に基づいて、前記非線形量子化の量子化特性を決定し、決定した量子化特性に合致するように前記非線形量子化を行うものであってもよい。
【００１３】
前記音声信号加工装置は、前記加工対象の音声信号のうち摩擦音を表す部分を特定し、特定した部分を、前記削除対象の高調波成分の時間変化を表す部分を削除する対象から除外する手段を備えるものであってもよい。
【００１４】
前記音声信号加工装置は、前記加工対象の音声信号を取得し、当該音声信号の単位ピッチ分にあたる区間の時間長を実質的に同一に揃えることにより、当該音声信号をピッチ波形信号へと加工するピッチ波形信号生成手段を備えていてもよい。
この場合、前記サブバンド抽出手段は、前記ピッチ波形信号に基づいて前記サブバンド信号を生成するものであってもよい。
【００１５】
前記サブバンド抽出手段は、
制御に従って周波数特性を変化させ、前記加工対象の音声信号をフィルタリングすることにより、加工する対象である音声の基本周波数成分を抽出する可変フィルタと、
前記可変フィルタにより抽出された基本周波数成分に基づいて前記音声の基本周波数を特定し、特定した基本周波数近傍の成分以外が遮断されるような周波数特性になるように前記可変フィルタを制御するフィルタ特性決定手段と、
前記加工対象の音声信号を、当該音声信号の基本周波数成分の値に基づき、単位ピッチ分の音声信号からなる区間へと区切るピッチ抽出手段と、
前記加工対象の音声信号の各前記区間内を互いに実質的に同数の標本でサンプリングすることにより、各該区間内の時間長が実質的に同一に揃ったピッチ波形信号を生成するピッチ長固定部と、を備えるものであってもよい。
【００１６】
前記音声信号加工装置は、ピッチ波形信号の各前記区間の元の時間長を特定するためのピッチ情報を生成して出力するピッチ情報出力手段を備えるものであってもよい。
【００１７】
また、この発明の第３の観点にかかる音声信号加工方法は、
音素の波形を表す加工対象の音声信号の基本周波数成分及び高調波成分の強度の時間変化を表すサブバンド信号を生成するサブバンド抽出ステップと、
生成したサブバンド信号のうち、当該サブバンド信号が表す音素に対応付けられた削除対象の高調波成分の時間変化を表す部分を削除した結果を表す削除済みサブバンド信号を生成する削除ステップと、より構成され、
特定の話者が発声した各音素と、各該音素に対応付けられている削除対象の高調波成分との対応関係は、当該話者に固有のものである、
ことを特徴とする。
また、この発明の第４の観点にかかる音声信号加工方法は、
音素の波形を表す加工対象の音声信号の基本周波数成分及び高調波成分の強度の時間変化を表すサブバンド信号を生成するサブバンド抽出ステップと、
生成したサブバンド信号のうち、当該サブバンド信号が表す音素に対応付けられた削除対象の高調波成分の時間変化を表す部分を削除した結果を表す削除済みサブバンド信号を生成する削除ステップと、より構成され、
前記削除ステップでは、特定の話者が発声した各音素と、各該音素に対応付けられている削除対象の高調波成分との対応関係を表すテーブルを書き換え可能に記憶し、自己が記憶するテーブルが表す対応関係に従って、前記削除済みサブバンド信号を生成する、
ことを特徴とする。
【００１８】
また、この発明の第５の観点にかかるプログラムは、
コンピュータを、
音素の波形を表す加工対象の音声信号の基本周波数成分及び高調波成分の強度の時間変化を表すサブバンド信号を生成するサブバンド抽出手段と、
前記サブバンド抽出手段が生成したサブバンド信号のうち、当該サブバンド信号が表す音素に対応付けられた削除対象の高調波成分の時間変化を表す部分を削除した結果を表す削除済みサブバンド信号を生成する削除手段と、
して機能させるためのプログラムであって、
特定の話者が発声した各音素と、各該音素に対応付けられている削除対象の高調波成分との対応関係は、当該話者に固有のものである、
ことを特徴とする。
また、この発明の第６の観点にかかるプログラムは、
コンピュータを、
音素の波形を表す加工対象の音声信号の基本周波数成分及び高調波成分の強度の時間変化を表すサブバンド信号を生成するサブバンド抽出手段と、
前記サブバンド抽出手段が生成したサブバンド信号のうち、当該サブバンド信号が表す音素に対応付けられた削除対象の高調波成分の時間変化を表す部分を削除した結果を表す削除済みサブバンド信号を生成する削除手段と、
して機能させるためのプログラムであって、
前記削除手段は、特定の話者が発声した各音素と、各該音素に対応付けられている削除対象の高調波成分との対応関係を表すテーブルを書き換え可能に記憶し、自己が記憶するテーブルが表す対応関係に従って、前記削除済みサブバンド信号を生成する、
ことを特徴とする。
【００１９】
【発明の実施の形態】
以下、この発明の実施の形態を、音素データエンコーダを例とし、図面を参照して説明する。
【００２０】
図１は、この音素データエンコーダの構成を示す図である。図示するように、この音素データエンコーダは、音素データ入力部１と、ピッチ抽出部２と、リサンプリング部３と、サブバンド解析部４と、エンコード部５とより構成されている。
【００２１】
音素データ入力部１は、例えば、記録媒体（例えば、フレキシブルディスクやＭＯ（Magneto Optical disk）など）に記録されたデータを読み取る記録媒体ドライバ（フレキシブルディスクドライブや、ＭＯドライブなど）と、ＣＰＵ（Central Processing Unit）等のプロセッサと、ＲＡＭ（Random Access Memory）等のメモリとより構成されている。
【００２２】
音素データ入力部１は、音声の構成単位である音素の波形を表す音素データと、この音素データが表す音素を識別するデータである音素ラベルとを取得する。そして、取得した音素データをピッチ抽出部２に供給し、取得した音素ラベルをエンコード部５に供給する。
【００２３】
なお、音素データは、ＰＣＭ（Pulse Code Modulation）変調されたディジタル信号の形式を有しており、音素のピッチより十分短い一定の周期でサンプリングされた音素を表しているものとする。
【００２４】
ピッチ抽出部２、リサンプリング部３、サブバンド解析部４及びエンコード部５は、いずれも、ＤＳＰ（Digital Signal Processor）やＣＰＵ等のプロセッサと、ＲＡＭ等のメモリとより構成されている。
なお、単一のプロセッサや単一のメモリが音素データ入力部１、ピッチ抽出部２、リサンプリング部３、サブバンド解析部４及びエンコード部５の一部又は全部の機能を行うようにしてもよい。
【００２５】
ピッチ抽出部２は、機能的には、たとえば図２に示すように、ヒルベルト変換部２１と、ケプストラム解析部２２と、自己相関解析部２３と、重み計算部２４と、ＢＰＦ（Band Pass Filter：バンドパスフィルタ）係数計算部２５と、バンドパスフィルタ２６と、波形相関解析部２７と、位相調整部２８と、摩擦音検出部２９とより構成されている。
【００２６】
なお、単一のプロセッサや単一のメモリがヒルベルト変換部２１、ケプストラム解析部２２、自己相関解析部２３、重み計算部２４、ＢＰＦ（Band Pass Filter）係数計算部２５、バンドパスフィルタ２６、波形相関解析部２７、位相調整部２８及び摩擦音検出部２９の一部又は全部の機能を行うようにしてもよい。
【００２７】
ヒルベルト変換部２１は、音素データ入力部１より供給される音素データをヒルベルト変換した結果を求め、求めた結果に基づき、この音素データが表す音声が途切れる時点を特定し、この音素データを、この特定した時点にあたる部分で区切ることにより、複数の区間へと分割する。そして、分割した音素データを、ケプストラム解析部２２、自己相関解析部２３、バンドパスフィルタ２６、波形相関解析部２７、位相調整部２８及び摩擦音検出部２９へと供給する。
【００２８】
なお、ヒルベルト変換部２１は、例えば、音素データをヒルベルト変換した結果が極小値をとる時点を、この音素データが表す音声が途切れる時点であるものとして特定すればよい。
【００２９】
ケプストラム解析部２２は、ヒルベルト変換部２１より供給される音素データにケプストラム分析を施すことにより、この音素データが表す音素の基本周波数及びフォルマント周波数を特定する。そして、特定した基本周波数を示すデータを生成して重み計算部２４へと供給し、また、特定したフォルマント周波数を示すデータを生成して摩擦音検出部２９及びサブバンド解析部４（より具体的には、後述の圧縮率設定部４６）へと供給する。
【００３０】
具体的には、ケプストラム解析部２２は、ヒルベルト変換部２１より音素データを供給されると、まず、この音素データのスペクトルを、高速フーリエ変換の手法（あるいは、離散的変数をフーリエ変換した結果を表すデータを生成する他の任意の手法）により求める。
【００３１】
次に、ケプストラム解析部２２は、求められたスペクトルの各成分の強度を、それぞれの元の値の対数にあたる値へと変換する。（対数の底は任意であり、例えば常用対数などでよい。）
次に、ケプストラム解析部２２は、値が変換されたスペクトルに逆フーリエ変換を施した結果（すなわち、ケプストラム）を、高速逆フーリエ変換の手法（あるいは、離散的変数を逆フーリエ変換した結果を表すデータを生成する他の任意の手法）により求める。
【００３２】
そして、ケプストラム解析部２２は、得られたケプストラムに基づいて、このケプストラムが表す音素の基本周波数を特定し、特定した基本周波数を示すデータを生成して重み計算部２４へと供給する。
具体的には、ケプストラム解析部２２は、例えば、得られたケプストラムをフィルタリング（すなわちリフタリング）することにより、このケプストラムのうち所定のケフレンシ以上の周波数成分（長成分）を抽出し、抽出された長成分ピークの位置に基づいて基本周波数を特定すればよい。
【００３３】
また、ケプストラム解析部２２は、例えば、得られたケプストラムをリフタリングすることにより、このケプストラムのうち所定のケフレンシ以下の成分（短成分）を抽出する。そして、抽出された短成分のピークの位置に基づいて、フォルマント周波数を特定し、特定したフォルマント周波数を示すデータを生成して、摩擦音検出部２９及びサブバンド解析部４へと供給する。
【００３４】
自己相関解析部２３は、ヒルベルト変換部２１より音素データを供給されると、音素データの波形の自己相関関数に基づいて、この音素データが表す音素の基本周波数を特定し、特定した基本周波数を示すデータを生成して重み計算部２４へと供給する。
【００３５】
具体的には、自己相関解析部２３は、ヒルベルト変換部２１より音素データを供給されるとまず、数式１の右辺により表される自己相関関数ｒ（ｌ）を特定する。
【００３６】
【数１】
【００３７】
次に、自己相関解析部２３は、自己相関関数ｒ（ｌ）をフーリエ変換した結果得られる関数（ピリオドグラム）の極大値を与える周波数のうち、所定の下限値を超える最小の値を基本周波数として特定し、特定した基本周波数を示すデータを生成して重み計算部２４へと供給する。
【００３８】
重み計算部２４は、ケプストラム解析部２２及び自己相関解析部２３より基本周波数を示すデータを１個ずつ合計２個供給されると、これら２個のデータが示す基本周波数の逆数の絶対値の平均を求める。そして、求めた値（すなわち、平均ピッチ長）を示すデータを生成し、ＢＰＦ係数計算部２５へと供給する。
【００３９】
ＢＰＦ係数計算部２５は、平均ピッチ長を示すデータを重み計算部２４より供給され、波形相関解析部２７より後述のゼロクロス信号を供給されると、供給されたデータやゼロクロス信号に基づき、平均ピッチ長とピッチ信号とゼロクロスの周期とが互いに所定量以上異なっているか否かを判別する。そして、異なっていないと判別したときは、ゼロクロスの周期の逆数を中心周波数（バンドパスフィルタ２６の通過帯域の中央の周波数）とするように、バンドパスフィルタ２６の周波数特性を制御する。一方、所定量以上異なっていると判別したときは、平均ピッチ長の逆数を中心周波数とするように、バンドパスフィルタ２６の周波数特性を制御する。
【００４０】
バンドパスフィルタ２６は、中心周波数が可変なＦＩＲ（Finite Impulse Response）型のフィルタの機能を行う。
具体的には、バンドパスフィルタ２６は、自己の中心周波数を、ＢＰＦ係数計算部２５の制御に従った値に設定する。そして、ヒルベルト変換部２１より供給される音素データをフィルタリングして、フィルタリングされた音素データ（ピッチ信号）を、波形相関解析部２７へと供給する。ピッチ信号は、音素データのサンプルリング間隔と実質的に同一のサンプリング間隔を有するディジタル形式のデータからなるものとする。
なお、バンドパスフィルタ２６の帯域幅は、バンドパスフィルタ２６の通過帯域の上限が音素データの表す音声の基本周波数の２倍以内に常に収まるような帯域幅であることが望ましい。
【００４１】
波形相関解析部２７は、バンドパスフィルタ２６から供給されたピッチ信号の瞬時値が０となる時刻（ゼロクロスする時刻）が来るタイミングを特定し、特定したタイミングを表す信号（ゼロクロス信号）を、ＢＰＦ係数計算部２５へと供給する。
ただし、波形相関解析部２６は、ピッチ信号の瞬時値が０でない所定の値となる時刻が来るタイミングを特定し、特定したタイミングを表す信号を、ゼロクロス信号に代えてＢＰＦ係数計算部２５へと供給するようにしてもよい。
【００４２】
また、波形相関解析部２７は、ヒルベルト変換部２１より音素データを供給されると、バンドパスフィルタ２６より供給されたピッチ信号の単位周期（例えば１周期）の境界が来るタイミングでこの音素データを区切る。そして、区切られてできる区間のそれぞれについて、この区間内の音素データの位相を種々変化させたものとこの区間内のピッチ信号との相関を求め、最も相関が高くなるときの音素データの位相を、この区間内の音素データの位相として特定する。
【００４３】
具体的には、波形相関解析部２７は、それぞれの区間毎に、例えば、数式２の右辺により表される値ｃｏｒを、位相を表すφ（ただし、φは０以上の整数）の値を種々変化させた場合それぞれについて求める。そして、波形相関解析部２７は、値ｃｏｒが最大になるようなφの値Ψを特定し、値Ψを示すデータを生成して、この区間内の音素データの位相を表す位相データとして位相調整部２８に供給する。
【００４４】
【数２】
【００４５】
なお、区間の時間的な長さは、１ピッチ分程度であることが望ましい。区間が長いほど、区間内のサンプル数が増えてピッチ波形データ（後述）のデータ量が増大し、あるいは、サンプリング間隔が増大してピッチ波形データが表す音素が不正確になる、という問題が生じる。
【００４６】
位相調整部２８は、ヒルベルト変換部２１より音素データを供給され、波形相関解析部２７より音素データの各区間の位相Ψを示すデータを供給されると、それぞれの区間の音素データの位相を、位相データが示すこの区間の位相Ψに等しくなるように移相する。そして、移相された音素データ（ピッチ波形データ）をリサンプリング部３に供給する。
【００４７】
摩擦音検出部２９は、この音素データエンコーダに入力された音素データが摩擦音を表すものか否かを判別する。そして、摩擦音を表すと判別すると、この音素データが摩擦音であることを表す情報（摩擦音情報）を、サブバンド解析部４の後述するブロック化部４３に供給する。
【００４８】
摩擦音の波形は、白色雑音のような幅広いスペクトルを有する一方、基本周波数成分や高調波成分を多く含まないという特徴がある。従って、摩擦音検出部２９は、たとえば、エンコードする対象の音素の全強度に対する高調波成分の強度の割合が所定割合以下であるか否かを判別し、所定割合以下であると判別したとき、この音素データエンコーダに入力された音素データが摩擦音を表すと判別し、所定割合を超えると判別したとき、摩擦音を表さないと判別するようにすればよい。
【００４９】
摩擦音検出部２９は、エンコードする対象の音素の全強度を求めるため、具体的には、たとえばヒルベルト変換部２１より音素データを取得する。そして、取得した音素データにＦＦＴ（Fast Fourier Transform）（あるいは、離散的変数をフーリエ変換した結果を表すデータを生成する他の任意の手法）による変換を施すことによって、この音素データのスペクトル分布を表すスペクトルデータを生成し、生成したスペクトルデータに基づき、この音素データの高調波成分（具体的には、ケプストラム解析部２２が供給するデータが示す周波数を有する成分）の強度を特定するものとする。
この場合、摩擦音検出部２９は、この音素データエンコーダに入力された音素データが摩擦音を表すと判別すると、自ら生成した上述のスペクトルデータを、摩擦音情報としてブロック化部４３に供給すればよい。
【００５０】
リサンプリング部３は、機能的には、図３に示すように、データ共通化部３１と、補間部３２とより構成されている。
なお、単一のプロセッサや単一のメモリがデータ共通化部３１及び補間部３２の一部又は全部の機能を行うようにしてもよい。
【００５１】
データ共通化部３１は、位相調整部２８より供給されたピッチ波形データに含まれる区間相互間の相関の強さ（具体的には、例えば、相関係数の大きさ）を個々の音素データ毎に求め、相関が一定程度以上強い（具体的には、例えば、相関係数が一定値以上である）区間の組を、音素データ毎に特定する。そして、特定した組に属する区間内のサンプルの値を変更して、この組に属する各区間の波形が、この組を代表する１個の区間内の波形と実質的に同一になるようにし、補間部３２に供給する。なお、データ共通化部３１は、組を代表する区間を任意に決定してよい。
【００５２】
補間部３２は、データ共通化部３１より供給された音素データの各区間をサンプリングし直し（リサンプリングし）、リサンプリングされたピッチ波形データを、サブバンド解析部４（より具体的には、後述の直交変換部４１）に供給する。
【００５３】
ただし、補間部３２は、音素データの各区間のサンプル数が互いにほぼ等しい一定数になるようにして、同一区間内では等間隔になるようリサンプリングする。サンプル数がこの一定数に満たない区間については、時間軸上で隣接するサンプル間をラグランジェ補間するような値を有するサンプルを追加することにより、この区間のサンプル数をこの一定数に揃える。
【００５４】
また、補間部３２は、各区間の元のサンプル数を示すデータを生成し、生成したデータを、各区間の元のピッチ長を表す情報（ピッチ情報）としてエンコード部５（より具体的には、後述の算術符号化部５２）に供給する。
【００５５】
サブバンド解析部４は、機能的には、図４に示すように、直交変換部４１と、振幅調整部４２と、ブロック化部４３と、帯域制限部４４と、非線形量子化部４５と、圧縮率設定部４６とより構成されている。
なお、単一のプロセッサや単一のメモリが直交変換部４１、振幅調整部４２、ブロック化部４３、帯域制限部４４、非線形量子化部４５及び圧縮率設定部４６の一部又は全部の機能を行うようにしてもよい。
【００５６】
直交変換部４１は、リサンプリング部３（補間部３２）より供給されたピッチ波形データにＤＣＴ（Discrete Cosine Transform）等の直交変換を施すことにより、サブバンドデータを生成して、生成したサブバンドデータを、振幅調整部４２へと供給する。
【００５７】
サブバンドデータは、サブバンド解析部４に供給されたピッチ波形データが表す音素の基本周波数成分の強度の時間変化を表すデータと、この音声のｎ個（ｎは自然数）の高調波成分の強度の時間変化を表すｎ個のデータとを含むデータである。従って、サブバンドデータは、音声の基本周波数成分（又は高調波成分）の強度の時間変化がないとき、この基本周波数成分（又は高調波成分）の強度を、直流信号の形で表す。
【００５８】
振幅調整部４２は、サブバンドデータを直交変換部４１より供給されると、このサブバンドデータを構成する（ｎ＋１）個のデータのそれぞれに比例定数を乗じることにより、このサブバンドデータが表す各周波数成分の強度の値を変更する。そして、強度の値が変更されたサブバンドデータをブロック化部４３及び圧縮率設定部４６に供給する。また、どのサブバンドデータのうちの何番目のデータにどのような値の比例定数を乗じたかを示す比例定数データを生成して、エンコード部５に供給する。
【００５９】
１個のサブバンドデータに含まれる（ｎ＋１）個のデータに乗じる（ｎ＋１）個の比例定数は、これら（ｎ＋１）個のデータが表す各周波数成分の強度の実効値が、互いに共通した一定値になるように決定する。すなわち、例えばこの一定値をＪとした場合、振幅調整部４２は、この一定値Ｊを、これら（ｎ＋１）個のデータのうちのｋ番目（ｋは１以上（ｎ＋１）以下の整数）音素データの区間の振幅の実効値Ｋ（ｋ）で除した値｛Ｊ／Ｋ（ｋ）｝を求める。この値｛Ｊ／Ｋ（ｋ）｝が、ｋ番目のデータに乗じる比例定数である。
【００６０】
ブロック化部４３は、振幅調整部４２よりサブバンドデータを供給されると、このサブバンドデータを、同一の音素データから生成されたもの毎にブロック化して帯域制限部４４に供給する。
ただし、ブロック化部４３は、このサブバンドデータが表す音素が摩擦音であることを表す上述の摩擦音情報が摩擦音検出部２９より供給されたときは、サブバンドデータを帯域制限部４４に供給する代わりに、この摩擦音情報を非線形量子化部４５に供給する。
【００６１】
帯域制限部４４は、たとえばＦＩＲ型のディジタルフィルタの機能を行うものであり、ブロック化部４３より供給されるサブバンドデータを構成する上述の計（ｎ＋１）個のデータをそれぞれフィルタリングし、フィルタリングされたサブバンドデータを、非線形量子化部４５へと供給する。
帯域制限部４４がフィルタリングを行うことにより、サブバンドデータが表す（ｎ＋１）個の各周波数成分（基本周波数成分又は高調波成分）の強度の時間変化のうち、所定のカットオフ周波数を超える成分が実質的に除去される。
【００６２】
非線形量子化部４５は、フィルタリングされたサブバンドデータを帯域制限部４４より供給され、あるいは、摩擦音情報をブロック化部４３より供給されると、このサブバンドデータが表す各周波数成分の瞬時値（又は、摩擦音情報が表すスペクトルの各成分の強度）に非線形な圧縮を施して得られる値（具体的には、たとえば、瞬時値やスペクトルの各成分の強度を上に凸な関数に代入して得られる値）を量子化したものに相当するサブバンドデータ（又は摩擦音情報）を生成する。そして、生成したサブバンドデータや摩擦音情報（非線形量子化後のサブバンドデータあるいは摩擦音情報）を、エンコード部５（より具体的には、後述のバンド削除部５１）へと供給する。ただし、非線形量子化後の摩擦音情報には、当該摩擦音情報を識別するための摩擦音フラグを付した上でエンコード部５に供給する。
【００６３】
なお、非線形量子化部４５は、瞬時値の圧縮前の値と圧縮後の値との対応関係を特定するための圧縮特性データを圧縮率設定部４６より取得し、このデータにより特定される対応関係に従って圧縮を行うものとする。
【００６４】
具体的には、例えば、非線形量子化部４５は、数式３の右辺に含まれる関数ｇｌｏｂａｌ＿ｇａｉｎ（ｘｉ）を特定するデータを、圧縮特性データとして圧縮率設定部４６より取得する。そして、非線形圧縮後の各周波数成分の瞬時値を、数式３の右辺に示す関数Ｘｒｉ（ｘｉ）を量子化した値に実質的に等しくなるようなものへと変更することにより非線形量子化を行う。
【００６５】
【数３】
Ｘｒｉ（ｘｉ）＝ｓｇｎ（ｘｉ）・｜ｘｉ｜４／３・２｛ｇｌｏｂａｌ＿ｇａｉｎ（ｘｉ）｝／４
（ただし、ｓｇｎ（α）＝（α／｜α｜）、ｘｉは、帯域制限部４４が供給するサブバンドデータが表す周波数成分の瞬時値、ｇｌｏｂａｌ＿ｇａｉｎ（ｘｉ）は、フルスケールを設定するためのｘｉの関数）
【００６６】
圧縮率設定部４６は、非線形量子化部４５による瞬時値の圧縮前の値と圧縮後の値との対応関係（以下、圧縮特性と呼ぶ）を特定するための上述の圧縮特性データを生成し、非線形量子化部４５及び後述の算術符号化部５２に供給する。具体的には、例えば、上述の関数ｇｌｏｂａｌ＿ｇａｉｎ（ｘｉ）を特定する圧縮特性データを生成して、非線形量子化部４５及び算術符号化部５２に供給する。
【００６７】
なお、圧縮率設定部４６は、非線形量子化部４５による圧縮後のサブバンドデータのデータ量が、仮に非線形量子化部４５が圧縮を施すことなく量子化を行ったとした場合のデータ量に比べて１００分の１程度になるように（すなわち、圧縮率が１００分の１程度になるように）、圧縮特性を決定することが望ましい。
【００６８】
圧縮特性を決定するため、圧縮率設定部４６は、たとえば、算術符号（arithmetic code）に変換されたサブバンドデータをエンコード部５より（より具体的には、後述の算術符号化部５２より）取得する。そして、振幅調整部４２より取得したサブバンドデータのデータ量に対する、エンコード部５より取得したサブバンドデータのデータ量の比を求め、求めた比が、目標とする圧縮率（たとえば、約１００分の１）より大きいか否かを判別する。求めた比が目標とする圧縮率より大きいと判別すると、圧縮率設定部４６は、圧縮率が現在より小さくなるように圧縮特性を決定する。一方、求めた比が目標とする圧縮率以下であると判別すると、圧縮率が現在より大きくなるように、圧縮特性を決定する。
【００６９】
また、圧縮率設定部４６は、圧縮する対象のサブバンドデータが表す音素を特徴付ける上で重要性が高いスペクトルの品質の劣化が少なくなるように、圧縮特性を決定するものとする。具体的には、例えば、圧縮率設定部４６は、ケプストラム解析部２２が供給する上述のデータを取得して、このデータが示すフォルマント周波数に近いスペクトルほど大きなビット数で量子化されるように圧縮特性を決定したり、あるいは、周波数がこのフォルマント周波数から一定の範囲内にあるスペクトルを、他のスペクトルより大きなビット数で量子化されるように圧縮特性を決定したりすればよい。
【００７０】
エンコード部５は、機能的には、図５に示すように、バンド削除部５１と、算術符号化部５２とより構成されている。
なお、単一のプロセッサや単一のメモリがバンド削除部５１及び算術符号化部５２の一部又は全部の機能を行うようにしてもよい。
【００７１】
バンド削除部５１は、更に、ハードディスク装置やＲＯＭ（Read Only Memory）等の不揮発性メモリを備える。
バンド削除部５１は、音素ラベルと、この音素ラベルが示す音素のうち削除する対象の高調波成分を指定する削除バンド指定情報とを互いに対応付けて格納する削除バンドテーブルを記憶する。なお、１種類の音素につき複数の高調波成分が削除の対象になっていても差し支えなく、また、高調波成分の削除が行われない音素が存在しても差し支えない。
【００７２】
そして、バンド削除部５１は、非線形量子化後のサブバンドデータあるいは摩擦音情報を非線形量子化部４５より供給され、音素ラベルを表す変調波を音素データ入出力部１より供給されると、非線形量子化部４５より供給されたデータ（非線形量子化後のサブバンドデータあるいは摩擦音情報）に摩擦音フラグが付されているか否かを判別する。そして、付されていない（すなわち、当該データが非線形量子化後のサブバンドデータである）と判別すると、供給された音素ラベルに対応付けられている削除バンド指定情報を特定する。そして、非線形量子化部４５より供給されたサブバンドデータのうち、特定した削除バンド指定情報が示す高調波成分を表すデータを除いたデータを、音素ラベルと共に算術符号化部５２に供給する。
【００７３】
一方、バンド削除部５１は、非線形量子化部４５より供給されたデータに摩擦音フラグが付されている（すなわち、当該データが非線形量子化後の摩擦音情報である）と判別すると、この非線形量子化後の摩擦音情報を、摩擦音フラグが付された状態で、音素ラベルと共に算術符号化部５２に供給する。
【００７４】
算術符号化部５２は、サブバンドデータ等の後述のデータを格納するための音声データベースＤＢを記憶する、ハードディスク装置やフラッシュメモリ等の不揮発性メモリ等に着脱可能に接続される。
【００７５】
算術符号化部５２は、バンド削除部５１より供給された音素ラベル及びサブバンドデータ（又は摩擦音情報）と、補間部３２より供給されたピッチ情報と、振幅調整部４２より供給された比例定数データと、圧縮率設定部４６より供給された圧縮特性データとを算術符号へと変換し、得られた各算術符号を、同一の音素データについてのもの毎に互いに対応付けて音声データベースＤＢに格納する。
【００７６】
以上説明した動作により、この音素データエンコーダは、音素データをサブバンドデータへと変換し、サブバンドデータから、音素毎に所定の高調波成分を除去することにより、音素データをエンコードする。
そして、削除バンドテーブルを、音声データベースＤＢに格納されているサブバンドデータが表す音素を発声した発声者（あるいはこの音声データベースＤＢの所持者等の特定人）等に固有のものとすれば、音声データベースＤＢに格納されているサブバンドデータを用いて合成された合成音声から、この発声者等を特定することが可能になる。
【００７７】
具体的には、この合成音声を音素に分解し、分解して得られた各音素をフーリエ変換して、各音素がどの高調波成分を除去されているかを音素毎に特定することにより、この合成音声に含まれる各音素と、これらの音素から除去されている高調波成分との対応関係を特定する。そして、特定した対応関係と矛盾しない内容を有する削除バンドテーブルを特定することにより、特定された削除バンドテーブルを自己に固有のものとして割り当てられている者が特定されれば、この者が、合成音声の合成に用いられた音素の発声者等であると特定される。
従って、合成音声が十分多数の種類の音素を含んでいれば、合成音声が表す文章の内容や音素の配列にかかわらず、この合成音声の合成に用いられた音素の発声者等が特定される。
【００７８】
また、人の聴覚は、音素データの高調波成分の欠如には敏感でないという性質を有する。従って、この音素データエンコーダにより高調波成分を削除されたサブバンドデータに基づいて合成された音声は、聴覚的にみて異音が少なくなる。
【００７９】
また、音声データベースＤＢに格納されたサブバンドデータを用いて合成された合成音声は、この合成音声を構成する音素の一部の高調波成分が除去されている。従って、音声を構成する音素の一部の高調波成分が除去されているか否かを判別することにより、この音声が合成音声であるか、あるいは人が実際に発声した音声であるかを区別することが可能となる。
【００８０】
なお、この音素データエンコーダの構成は上述のものに限られない。
たとえば、音素データ入力部１は、電話回線、専用回線、衛星回線等の通信回線を介して外部より音素データを取得するようにしてもよい。この場合、音素データ入力部１は、例えばモデムやＤＳＵ（Data Service Unit）等からなる通信制御部を備えていればよい。
【００８１】
また、バンド削除部５１は、削除バンドテーブルを書き換え可能に記憶するものとしてもよく、音素データ入力部１に供給される音素データが表す音素の発声者等が変わるたびに、従前記憶していた削除バンドテーブルをバンド削除部５１から消去し、この発声者等に固有の削除バンドテーブルを新たにバンド削除部５１に記憶させるようにすれば、複数の発声者等に固有の音声データベースＤＢを構築することが可能となる、
【００８２】
また、ブロック化部４３は、音素ラベルをたとえば音声データ入力部１より取得して、取得した音素ラベルに基づき、自己に供給されたサブバンドデータが摩擦音を表すものか否かを判別してもよい
【００８３】
また、音素データ入力部１は、マイクロフォン、ＡＦ（Audio Frequency）増幅器、サンプラー、Ａ／Ｄ（Analog-to-Digital）コンバータ及びＰＣＭエンコーダなどからなる集音装置を備えていてもよい。集音装置は、自己のマイクロフォンが集音した音声を表す音声信号を増幅し、サンプリングしてＡ／Ｄ変換した後、サンプリングされた音声信号にＰＣＭ変調を施すことにより、音素データを取得すればよい。なお、音素データ入力部１が取得する音素データは、必ずしもＰＣＭ信号である必要はない。
【００８４】
また、ピッチ抽出部２は、ケプストラム解析部２２（又は自己相関解析部２３）を備えていなくてもよく、この場合、重み計算部２４は、ケプストラム解析部２２（又は自己相関解析部２３）が求めた基本周波数の逆数をそのまま平均ピッチ長として扱うようにすればよい。
また、波形相関解析部２７は、バンドパスフィルタ２６から供給されたピッチ信号を、そのままゼロクロス信号としてケプストラム解析部２２へと供給するようにしてもよい。
【００８５】
以上、この発明の実施の形態を説明したが、この発明にかかる音声信号加工装置は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。
例えば、パーソナルコンピュータに上述の音素データ入力部１、ピッチ抽出部２、リサンプリング部３、サブバンド解析部４及びエンコード部５の動作を実行させるためのプログラムを格納した媒体（ＣＤ−ＲＯＭ、ＭＯ、フレキシブルディスク等）から該プログラムをインストールすることにより、上述の処理を実行する音素データエンコーダを構成することができる。
【００８６】
また、例えば、通信回線の掲示板（ＢＢＳ）に該プログラムを掲示し、これを通信回線を介して配信してもよく、また、該プログラムを表す信号により搬送波を変調し、得られた変調波を伝送し、この変調波を受信した装置が変調波を復調して該プログラムを復元するようにしてもよい。
そして、該プログラムを起動し、ＯＳの制御下に、他のアプリケーションプログラムと同様に実行することにより、上述の処理を実行することができる。
【００８７】
なお、ＯＳが処理の一部を分担する場合、あるいは、ＯＳが本願発明の１つの構成要素の一部を構成するような場合には、記録媒体には、その部分を除いたプログラムを格納してもよい。この場合も、この発明では、その記録媒体には、コンピュータが実行する各機能又はステップを実行するためのプログラムが格納されているものとする。
【００８８】
【発明の効果】
以上説明したように、この発明によれば、音声の情報の暗号化を要せずに、音声の構成要素の配列を並べ替えても音声の発声者等を同定できるように音声の情報を加工するための音声信号加工装置及び音声信号加工方法が実現される。
【図面の簡単な説明】
【図１】この発明の実施の形態に係る音素データエンコーダの構成を示すブロック図である。
【図２】ピッチ抽出部の構成を示すブロック図である。
【図３】リサンプリング部の構成を示すブロック図である。
【図４】サブバンド解析部の構成を示すブロック図である。
【図５】エンコード部の構成を示すブロック図である。
【符号の説明】
１ 音素データ入力部
２ ピッチ抽出部
２１ ヒルベルト変換部
２２ ケプストラム解析部
２３ 自己相関解析部
２４ 重み計算部
２５ ＢＰＦ係数計算部
２６ バンドパスフィルタ
２７ 波形相関解析部
２８ 位相調整部
２９ 摩擦音検出部
３ リサンプリング部
３１ データ共通化部
３２ 補間部
４ サブバンド解析部
４１ 直交変換部
４２ 振幅調整部
４３ ブロック化部
４４ 帯域制限部
４５ 非線形量子化部
４６ 圧縮率設定部
５ エンコード部
５１ バンド削除部
５２ 算術符号化部
ＤＢ 音声データベース
【発明の属する技術分野】
この発明は、音声信号加工装置、音声信号加工方法及びプログラムに関する。
【０００２】
【従来の技術】
近年、規則合成方式や録音編集合成方式などの手法を用いて合成された音声が広く利用されている。これらは、音声の構成要素（音素など）を連結することにより音声を合成する手法である。
そして一般に、合成音声は、電子すかし等の技術を用いて適宜の付加情報を埋め込まれた上で用いられる。情報の埋め込みは、合成音声と人が実際に発声した音声とを区別するため、あるいは、合成音声の素材となった音素等の発声者や合成音声の作成者を識別したり、合成音声にかかる権利の帰属を示すなどの目的で行われる。
【０００３】
電子すかしは、人の聴覚の性質上、強度が大きな成分に周波数が近接しており強度が小さな成分は知覚されないという効果（マスキング効果）を利用して施される。具体的には、合成音声のスペクトルのうち、強度が大きな成分に周波数が近接していて、この成分より強度が小さい成分を削除し、削除した成分と同じ帯域を占める付加信号を挿入することにより行われる。
なお、挿入される付加信号は、予め、合成音声の占める帯域の上限前後の周波数の有する搬送波を付加情報で変調することにより生成する。
【０００４】
また、合成音声の素材となった音素等の発声者を識別したり、合成音声にかかる権利の帰属を明らかにしたりする手法としては、当該音素等を表すデータを暗号化し、発声者や、合成音声にかかる権利の権利者のみがこのデータを復号化するための復号鍵を保持するようにする、という手法も考えられる。
【０００５】
【発明が解決しようとする課題】
しかし、上述の電子すかしの手法では、付加信号を挿入された合成音声を圧縮した場合、圧縮により付加信号の内容が破壊されてしまい、付加情報を復元することができない。また、合成音声を更にサンプリングすると、サンプリングの周波数によっては、付加信号の生成に用いた搬送波に起因する成分が異音として人に聞こえるようになってしまう。合成音声は圧縮を施された上で用いられる場合が多いので、上述の電子すかしの手法では、合成音声に付加された付加情報が適切に再現できない場合が多くなってしまう。
【０００６】
また、合成音声の素材となる音素等を表すデータを暗号化する手法は、このデータの復号鍵を保持しない者にこのデータを試用させることが困難である。また、
この手法では、合成音声の品質が非常に高い場合、合成音声と人が実際に発声した音声との区別をすることができない。
【０００７】
この発明は、上記実状に鑑みてなされたものであり、音声の情報の暗号化を要せずに、音声の構成要素の配列を並べ替えても音声の発声者等を同定できるように音声の情報を加工するための音声信号加工装置及び音声信号加工方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成すべく、この発明の第１の観点にかかる音声信号加工装置は、
音素の波形を表す加工対象の音声信号の基本周波数成分及び高調波成分の強度の時間変化を表すサブバンド信号を生成するサブバンド抽出手段と、
前記サブバンド抽出手段が生成したサブバンド信号のうち、当該サブバンド信号が表す音素に対応付けられた削除対象の高調波成分の時間変化を表す部分を削除した結果を表す削除済みサブバンド信号を生成する削除手段と、を備え、
特定の話者が発声した各音素と、各該音素に対応付けられている削除対象の高調波成分との対応関係は、当該話者に固有のものである、
ことを特徴とする。
【００１０】
また、この発明の第２の観点にかかる音声信号加工装置は、
音素の波形を表す加工対象の音声信号の基本周波数成分及び高調波成分の強度の時間変化を表すサブバンド信号を生成するサブバンド抽出手段と、
前記サブバンド抽出手段が生成したサブバンド信号のうち、当該サブバンド信号が表す音素に対応付けられた削除対象の高調波成分の時間変化を表す部分を削除した結果を表す削除済みサブバンド信号を生成する削除手段と、を備え、
前記削除手段は、特定の話者が発声した各音素と、各該音素に対応付けられている削除対象の高調波成分との対応関係を表すテーブルを書き換え可能に記憶し、自己が記憶するテーブルが表す対応関係に従って、前記削除済みサブバンド信号を生成する、
ことを特徴とする。
【００１１】
前記削除手段は、前記フィルタリングされたサブバンド信号を非線形量子化したもののうち、当該サブバンド信号が表す音素に対応付けられた削除対象の高調波成分の時間変化を表す部分を削除した結果を表す前記削除済みサブバンド信号を生成するものであってもよい。
【００１２】
前記削除手段は、前記削除済みサブバンド信号を取得し、取得した当該削除済みサブバンド信号のデータ量に基づいて、前記非線形量子化の量子化特性を決定し、決定した量子化特性に合致するように前記非線形量子化を行うものであってもよい。
【００１３】
前記音声信号加工装置は、前記加工対象の音声信号のうち摩擦音を表す部分を特定し、特定した部分を、前記削除対象の高調波成分の時間変化を表す部分を削除する対象から除外する手段を備えるものであってもよい。
【００１４】
前記音声信号加工装置は、前記加工対象の音声信号を取得し、当該音声信号の単位ピッチ分にあたる区間の時間長を実質的に同一に揃えることにより、当該音声信号をピッチ波形信号へと加工するピッチ波形信号生成手段を備えていてもよい。
この場合、前記サブバンド抽出手段は、前記ピッチ波形信号に基づいて前記サブバンド信号を生成するものであってもよい。
【００１５】
前記サブバンド抽出手段は、
制御に従って周波数特性を変化させ、前記加工対象の音声信号をフィルタリングすることにより、加工する対象である音声の基本周波数成分を抽出する可変フィルタと、
前記可変フィルタにより抽出された基本周波数成分に基づいて前記音声の基本周波数を特定し、特定した基本周波数近傍の成分以外が遮断されるような周波数特性になるように前記可変フィルタを制御するフィルタ特性決定手段と、
前記加工対象の音声信号を、当該音声信号の基本周波数成分の値に基づき、単位ピッチ分の音声信号からなる区間へと区切るピッチ抽出手段と、
前記加工対象の音声信号の各前記区間内を互いに実質的に同数の標本でサンプリングすることにより、各該区間内の時間長が実質的に同一に揃ったピッチ波形信号を生成するピッチ長固定部と、を備えるものであってもよい。
【００１６】
前記音声信号加工装置は、ピッチ波形信号の各前記区間の元の時間長を特定するためのピッチ情報を生成して出力するピッチ情報出力手段を備えるものであってもよい。
【００１７】
また、この発明の第３の観点にかかる音声信号加工方法は、
音素の波形を表す加工対象の音声信号の基本周波数成分及び高調波成分の強度の時間変化を表すサブバンド信号を生成するサブバンド抽出ステップと、
生成したサブバンド信号のうち、当該サブバンド信号が表す音素に対応付けられた削除対象の高調波成分の時間変化を表す部分を削除した結果を表す削除済みサブバンド信号を生成する削除ステップと、より構成され、
特定の話者が発声した各音素と、各該音素に対応付けられている削除対象の高調波成分との対応関係は、当該話者に固有のものである、
ことを特徴とする。
また、この発明の第４の観点にかかる音声信号加工方法は、
音素の波形を表す加工対象の音声信号の基本周波数成分及び高調波成分の強度の時間変化を表すサブバンド信号を生成するサブバンド抽出ステップと、
生成したサブバンド信号のうち、当該サブバンド信号が表す音素に対応付けられた削除対象の高調波成分の時間変化を表す部分を削除した結果を表す削除済みサブバンド信号を生成する削除ステップと、より構成され、
前記削除ステップでは、特定の話者が発声した各音素と、各該音素に対応付けられている削除対象の高調波成分との対応関係を表すテーブルを書き換え可能に記憶し、自己が記憶するテーブルが表す対応関係に従って、前記削除済みサブバンド信号を生成する、
ことを特徴とする。
【００１８】
また、この発明の第５の観点にかかるプログラムは、
コンピュータを、
音素の波形を表す加工対象の音声信号の基本周波数成分及び高調波成分の強度の時間変化を表すサブバンド信号を生成するサブバンド抽出手段と、
前記サブバンド抽出手段が生成したサブバンド信号のうち、当該サブバンド信号が表す音素に対応付けられた削除対象の高調波成分の時間変化を表す部分を削除した結果を表す削除済みサブバンド信号を生成する削除手段と、
して機能させるためのプログラムであって、
特定の話者が発声した各音素と、各該音素に対応付けられている削除対象の高調波成分との対応関係は、当該話者に固有のものである、
ことを特徴とする。
また、この発明の第６の観点にかかるプログラムは、
コンピュータを、
音素の波形を表す加工対象の音声信号の基本周波数成分及び高調波成分の強度の時間変化を表すサブバンド信号を生成するサブバンド抽出手段と、
前記サブバンド抽出手段が生成したサブバンド信号のうち、当該サブバンド信号が表す音素に対応付けられた削除対象の高調波成分の時間変化を表す部分を削除した結果を表す削除済みサブバンド信号を生成する削除手段と、
して機能させるためのプログラムであって、
前記削除手段は、特定の話者が発声した各音素と、各該音素に対応付けられている削除対象の高調波成分との対応関係を表すテーブルを書き換え可能に記憶し、自己が記憶するテーブルが表す対応関係に従って、前記削除済みサブバンド信号を生成する、
ことを特徴とする。
【００１９】
【発明の実施の形態】
以下、この発明の実施の形態を、音素データエンコーダを例とし、図面を参照して説明する。
【００２０】
図１は、この音素データエンコーダの構成を示す図である。図示するように、この音素データエンコーダは、音素データ入力部１と、ピッチ抽出部２と、リサンプリング部３と、サブバンド解析部４と、エンコード部５とより構成されている。
【００２１】
音素データ入力部１は、例えば、記録媒体（例えば、フレキシブルディスクやＭＯ（Magneto Optical disk）など）に記録されたデータを読み取る記録媒体ドライバ（フレキシブルディスクドライブや、ＭＯドライブなど）と、ＣＰＵ（Central Processing Unit）等のプロセッサと、ＲＡＭ（Random Access Memory）等のメモリとより構成されている。
【００２２】
音素データ入力部１は、音声の構成単位である音素の波形を表す音素データと、この音素データが表す音素を識別するデータである音素ラベルとを取得する。そして、取得した音素データをピッチ抽出部２に供給し、取得した音素ラベルをエンコード部５に供給する。
【００２３】
なお、音素データは、ＰＣＭ（Pulse Code Modulation）変調されたディジタル信号の形式を有しており、音素のピッチより十分短い一定の周期でサンプリングされた音素を表しているものとする。
【００２４】
ピッチ抽出部２、リサンプリング部３、サブバンド解析部４及びエンコード部５は、いずれも、ＤＳＰ（Digital Signal Processor）やＣＰＵ等のプロセッサと、ＲＡＭ等のメモリとより構成されている。
なお、単一のプロセッサや単一のメモリが音素データ入力部１、ピッチ抽出部２、リサンプリング部３、サブバンド解析部４及びエンコード部５の一部又は全部の機能を行うようにしてもよい。
【００２５】
ピッチ抽出部２は、機能的には、たとえば図２に示すように、ヒルベルト変換部２１と、ケプストラム解析部２２と、自己相関解析部２３と、重み計算部２４と、ＢＰＦ（Band Pass Filter：バンドパスフィルタ）係数計算部２５と、バンドパスフィルタ２６と、波形相関解析部２７と、位相調整部２８と、摩擦音検出部２９とより構成されている。
【００２６】
なお、単一のプロセッサや単一のメモリがヒルベルト変換部２１、ケプストラム解析部２２、自己相関解析部２３、重み計算部２４、ＢＰＦ（Band Pass Filter）係数計算部２５、バンドパスフィルタ２６、波形相関解析部２７、位相調整部２８及び摩擦音検出部２９の一部又は全部の機能を行うようにしてもよい。
【００２７】
ヒルベルト変換部２１は、音素データ入力部１より供給される音素データをヒルベルト変換した結果を求め、求めた結果に基づき、この音素データが表す音声が途切れる時点を特定し、この音素データを、この特定した時点にあたる部分で区切ることにより、複数の区間へと分割する。そして、分割した音素データを、ケプストラム解析部２２、自己相関解析部２３、バンドパスフィルタ２６、波形相関解析部２７、位相調整部２８及び摩擦音検出部２９へと供給する。
【００２８】
なお、ヒルベルト変換部２１は、例えば、音素データをヒルベルト変換した結果が極小値をとる時点を、この音素データが表す音声が途切れる時点であるものとして特定すればよい。
【００２９】
ケプストラム解析部２２は、ヒルベルト変換部２１より供給される音素データにケプストラム分析を施すことにより、この音素データが表す音素の基本周波数及びフォルマント周波数を特定する。そして、特定した基本周波数を示すデータを生成して重み計算部２４へと供給し、また、特定したフォルマント周波数を示すデータを生成して摩擦音検出部２９及びサブバンド解析部４（より具体的には、後述の圧縮率設定部４６）へと供給する。
【００３０】
具体的には、ケプストラム解析部２２は、ヒルベルト変換部２１より音素データを供給されると、まず、この音素データのスペクトルを、高速フーリエ変換の手法（あるいは、離散的変数をフーリエ変換した結果を表すデータを生成する他の任意の手法）により求める。
【００３１】
次に、ケプストラム解析部２２は、求められたスペクトルの各成分の強度を、それぞれの元の値の対数にあたる値へと変換する。（対数の底は任意であり、例えば常用対数などでよい。）
次に、ケプストラム解析部２２は、値が変換されたスペクトルに逆フーリエ変換を施した結果（すなわち、ケプストラム）を、高速逆フーリエ変換の手法（あるいは、離散的変数を逆フーリエ変換した結果を表すデータを生成する他の任意の手法）により求める。
【００３２】
そして、ケプストラム解析部２２は、得られたケプストラムに基づいて、このケプストラムが表す音素の基本周波数を特定し、特定した基本周波数を示すデータを生成して重み計算部２４へと供給する。
具体的には、ケプストラム解析部２２は、例えば、得られたケプストラムをフィルタリング（すなわちリフタリング）することにより、このケプストラムのうち所定のケフレンシ以上の周波数成分（長成分）を抽出し、抽出された長成分ピークの位置に基づいて基本周波数を特定すればよい。
【００３３】
また、ケプストラム解析部２２は、例えば、得られたケプストラムをリフタリングすることにより、このケプストラムのうち所定のケフレンシ以下の成分（短成分）を抽出する。そして、抽出された短成分のピークの位置に基づいて、フォルマント周波数を特定し、特定したフォルマント周波数を示すデータを生成して、摩擦音検出部２９及びサブバンド解析部４へと供給する。
【００３４】
自己相関解析部２３は、ヒルベルト変換部２１より音素データを供給されると、音素データの波形の自己相関関数に基づいて、この音素データが表す音素の基本周波数を特定し、特定した基本周波数を示すデータを生成して重み計算部２４へと供給する。
【００３５】
具体的には、自己相関解析部２３は、ヒルベルト変換部２１より音素データを供給されるとまず、数式１の右辺により表される自己相関関数ｒ（ｌ）を特定する。
【００３６】
【数１】
次に、自己相関解析部２３は、自己相関関数ｒ（ｌ）をフーリエ変換した結果得られる関数（ピリオドグラム）の極大値を与える周波数のうち、所定の下限値を超える最小の値を基本周波数として特定し、特定した基本周波数を示すデータを生成して重み計算部２４へと供給する。
【００３８】
重み計算部２４は、ケプストラム解析部２２及び自己相関解析部２３より基本周波数を示すデータを１個ずつ合計２個供給されると、これら２個のデータが示す基本周波数の逆数の絶対値の平均を求める。そして、求めた値（すなわち、平均ピッチ長）を示すデータを生成し、ＢＰＦ係数計算部２５へと供給する。
【００３９】
ＢＰＦ係数計算部２５は、平均ピッチ長を示すデータを重み計算部２４より供給され、波形相関解析部２７より後述のゼロクロス信号を供給されると、供給されたデータやゼロクロス信号に基づき、平均ピッチ長とピッチ信号とゼロクロスの周期とが互いに所定量以上異なっているか否かを判別する。そして、異なっていないと判別したときは、ゼロクロスの周期の逆数を中心周波数（バンドパスフィルタ２６の通過帯域の中央の周波数）とするように、バンドパスフィルタ２６の周波数特性を制御する。一方、所定量以上異なっていると判別したときは、平均ピッチ長の逆数を中心周波数とするように、バンドパスフィルタ２６の周波数特性を制御する。
【００４０】
バンドパスフィルタ２６は、中心周波数が可変なＦＩＲ（Finite Impulse Response）型のフィルタの機能を行う。
具体的には、バンドパスフィルタ２６は、自己の中心周波数を、ＢＰＦ係数計算部２５の制御に従った値に設定する。そして、ヒルベルト変換部２１より供給される音素データをフィルタリングして、フィルタリングされた音素データ（ピッチ信号）を、波形相関解析部２７へと供給する。ピッチ信号は、音素データのサンプルリング間隔と実質的に同一のサンプリング間隔を有するディジタル形式のデータからなるものとする。
なお、バンドパスフィルタ２６の帯域幅は、バンドパスフィルタ２６の通過帯域の上限が音素データの表す音声の基本周波数の２倍以内に常に収まるような帯域幅であることが望ましい。
【００４１】
波形相関解析部２７は、バンドパスフィルタ２６から供給されたピッチ信号の瞬時値が０となる時刻（ゼロクロスする時刻）が来るタイミングを特定し、特定したタイミングを表す信号（ゼロクロス信号）を、ＢＰＦ係数計算部２５へと供給する。
ただし、波形相関解析部２６は、ピッチ信号の瞬時値が０でない所定の値となる時刻が来るタイミングを特定し、特定したタイミングを表す信号を、ゼロクロス信号に代えてＢＰＦ係数計算部２５へと供給するようにしてもよい。
【００４２】
また、波形相関解析部２７は、ヒルベルト変換部２１より音素データを供給されると、バンドパスフィルタ２６より供給されたピッチ信号の単位周期（例えば１周期）の境界が来るタイミングでこの音素データを区切る。そして、区切られてできる区間のそれぞれについて、この区間内の音素データの位相を種々変化させたものとこの区間内のピッチ信号との相関を求め、最も相関が高くなるときの音素データの位相を、この区間内の音素データの位相として特定する。
【００４３】
具体的には、波形相関解析部２７は、それぞれの区間毎に、例えば、数式２の右辺により表される値ｃｏｒを、位相を表すφ（ただし、φは０以上の整数）の値を種々変化させた場合それぞれについて求める。そして、波形相関解析部２７は、値ｃｏｒが最大になるようなφの値Ψを特定し、値Ψを示すデータを生成して、この区間内の音素データの位相を表す位相データとして位相調整部２８に供給する。
【００４４】
【数２】
なお、区間の時間的な長さは、１ピッチ分程度であることが望ましい。区間が長いほど、区間内のサンプル数が増えてピッチ波形データ（後述）のデータ量が増大し、あるいは、サンプリング間隔が増大してピッチ波形データが表す音素が不正確になる、という問題が生じる。
【００４６】
位相調整部２８は、ヒルベルト変換部２１より音素データを供給され、波形相関解析部２７より音素データの各区間の位相Ψを示すデータを供給されると、それぞれの区間の音素データの位相を、位相データが示すこの区間の位相Ψに等しくなるように移相する。そして、移相された音素データ（ピッチ波形データ）をリサンプリング部３に供給する。
【００４７】
摩擦音検出部２９は、この音素データエンコーダに入力された音素データが摩擦音を表すものか否かを判別する。そして、摩擦音を表すと判別すると、この音素データが摩擦音であることを表す情報（摩擦音情報）を、サブバンド解析部４の後述するブロック化部４３に供給する。
【００４８】
摩擦音の波形は、白色雑音のような幅広いスペクトルを有する一方、基本周波数成分や高調波成分を多く含まないという特徴がある。従って、摩擦音検出部２９は、たとえば、エンコードする対象の音素の全強度に対する高調波成分の強度の割合が所定割合以下であるか否かを判別し、所定割合以下であると判別したとき、この音素データエンコーダに入力された音素データが摩擦音を表すと判別し、所定割合を超えると判別したとき、摩擦音を表さないと判別するようにすればよい。
【００４９】
摩擦音検出部２９は、エンコードする対象の音素の全強度を求めるため、具体的には、たとえばヒルベルト変換部２１より音素データを取得する。そして、取得した音素データにＦＦＴ（Fast Fourier Transform）（あるいは、離散的変数をフーリエ変換した結果を表すデータを生成する他の任意の手法）による変換を施すことによって、この音素データのスペクトル分布を表すスペクトルデータを生成し、生成したスペクトルデータに基づき、この音素データの高調波成分（具体的には、ケプストラム解析部２２が供給するデータが示す周波数を有する成分）の強度を特定するものとする。
この場合、摩擦音検出部２９は、この音素データエンコーダに入力された音素データが摩擦音を表すと判別すると、自ら生成した上述のスペクトルデータを、摩擦音情報としてブロック化部４３に供給すればよい。
【００５０】
リサンプリング部３は、機能的には、図３に示すように、データ共通化部３１と、補間部３２とより構成されている。
なお、単一のプロセッサや単一のメモリがデータ共通化部３１及び補間部３２の一部又は全部の機能を行うようにしてもよい。
【００５１】
データ共通化部３１は、位相調整部２８より供給されたピッチ波形データに含まれる区間相互間の相関の強さ（具体的には、例えば、相関係数の大きさ）を個々の音素データ毎に求め、相関が一定程度以上強い（具体的には、例えば、相関係数が一定値以上である）区間の組を、音素データ毎に特定する。そして、特定した組に属する区間内のサンプルの値を変更して、この組に属する各区間の波形が、この組を代表する１個の区間内の波形と実質的に同一になるようにし、補間部３２に供給する。なお、データ共通化部３１は、組を代表する区間を任意に決定してよい。
【００５２】
補間部３２は、データ共通化部３１より供給された音素データの各区間をサンプリングし直し（リサンプリングし）、リサンプリングされたピッチ波形データを、サブバンド解析部４（より具体的には、後述の直交変換部４１）に供給する。
【００５３】
ただし、補間部３２は、音素データの各区間のサンプル数が互いにほぼ等しい一定数になるようにして、同一区間内では等間隔になるようリサンプリングする。サンプル数がこの一定数に満たない区間については、時間軸上で隣接するサンプル間をラグランジェ補間するような値を有するサンプルを追加することにより、この区間のサンプル数をこの一定数に揃える。
【００５４】
また、補間部３２は、各区間の元のサンプル数を示すデータを生成し、生成したデータを、各区間の元のピッチ長を表す情報（ピッチ情報）としてエンコード部５（より具体的には、後述の算術符号化部５２）に供給する。
【００５５】
サブバンド解析部４は、機能的には、図４に示すように、直交変換部４１と、振幅調整部４２と、ブロック化部４３と、帯域制限部４４と、非線形量子化部４５と、圧縮率設定部４６とより構成されている。
なお、単一のプロセッサや単一のメモリが直交変換部４１、振幅調整部４２、ブロック化部４３、帯域制限部４４、非線形量子化部４５及び圧縮率設定部４６の一部又は全部の機能を行うようにしてもよい。
【００５６】
直交変換部４１は、リサンプリング部３（補間部３２）より供給されたピッチ波形データにＤＣＴ（Discrete Cosine Transform）等の直交変換を施すことにより、サブバンドデータを生成して、生成したサブバンドデータを、振幅調整部４２へと供給する。
【００５７】
サブバンドデータは、サブバンド解析部４に供給されたピッチ波形データが表す音素の基本周波数成分の強度の時間変化を表すデータと、この音声のｎ個（ｎは自然数）の高調波成分の強度の時間変化を表すｎ個のデータとを含むデータである。従って、サブバンドデータは、音声の基本周波数成分（又は高調波成分）の強度の時間変化がないとき、この基本周波数成分（又は高調波成分）の強度を、直流信号の形で表す。
【００５８】
振幅調整部４２は、サブバンドデータを直交変換部４１より供給されると、このサブバンドデータを構成する（ｎ＋１）個のデータのそれぞれに比例定数を乗じることにより、このサブバンドデータが表す各周波数成分の強度の値を変更する。そして、強度の値が変更されたサブバンドデータをブロック化部４３及び圧縮率設定部４６に供給する。また、どのサブバンドデータのうちの何番目のデータにどのような値の比例定数を乗じたかを示す比例定数データを生成して、エンコード部５に供給する。
【００５９】
１個のサブバンドデータに含まれる（ｎ＋１）個のデータに乗じる（ｎ＋１）個の比例定数は、これら（ｎ＋１）個のデータが表す各周波数成分の強度の実効値が、互いに共通した一定値になるように決定する。すなわち、例えばこの一定値をＪとした場合、振幅調整部４２は、この一定値Ｊを、これら（ｎ＋１）個のデータのうちのｋ番目（ｋは１以上（ｎ＋１）以下の整数）音素データの区間の振幅の実効値Ｋ（ｋ）で除した値｛Ｊ／Ｋ（ｋ）｝を求める。この値｛Ｊ／Ｋ（ｋ）｝が、ｋ番目のデータに乗じる比例定数である。
【００６０】
ブロック化部４３は、振幅調整部４２よりサブバンドデータを供給されると、このサブバンドデータを、同一の音素データから生成されたもの毎にブロック化して帯域制限部４４に供給する。
ただし、ブロック化部４３は、このサブバンドデータが表す音素が摩擦音であることを表す上述の摩擦音情報が摩擦音検出部２９より供給されたときは、サブバンドデータを帯域制限部４４に供給する代わりに、この摩擦音情報を非線形量子化部４５に供給する。
【００６１】
帯域制限部４４は、たとえばＦＩＲ型のディジタルフィルタの機能を行うものであり、ブロック化部４３より供給されるサブバンドデータを構成する上述の計（ｎ＋１）個のデータをそれぞれフィルタリングし、フィルタリングされたサブバンドデータを、非線形量子化部４５へと供給する。
帯域制限部４４がフィルタリングを行うことにより、サブバンドデータが表す（ｎ＋１）個の各周波数成分（基本周波数成分又は高調波成分）の強度の時間変化のうち、所定のカットオフ周波数を超える成分が実質的に除去される。
【００６２】
非線形量子化部４５は、フィルタリングされたサブバンドデータを帯域制限部４４より供給され、あるいは、摩擦音情報をブロック化部４３より供給されると、このサブバンドデータが表す各周波数成分の瞬時値（又は、摩擦音情報が表すスペクトルの各成分の強度）に非線形な圧縮を施して得られる値（具体的には、たとえば、瞬時値やスペクトルの各成分の強度を上に凸な関数に代入して得られる値）を量子化したものに相当するサブバンドデータ（又は摩擦音情報）を生成する。そして、生成したサブバンドデータや摩擦音情報（非線形量子化後のサブバンドデータあるいは摩擦音情報）を、エンコード部５（より具体的には、後述のバンド削除部５１）へと供給する。ただし、非線形量子化後の摩擦音情報には、当該摩擦音情報を識別するための摩擦音フラグを付した上でエンコード部５に供給する。
【００６３】
なお、非線形量子化部４５は、瞬時値の圧縮前の値と圧縮後の値との対応関係を特定するための圧縮特性データを圧縮率設定部４６より取得し、このデータにより特定される対応関係に従って圧縮を行うものとする。
【００６４】
具体的には、例えば、非線形量子化部４５は、数式３の右辺に含まれる関数ｇｌｏｂａｌ＿ｇａｉｎ（ｘｉ）を特定するデータを、圧縮特性データとして圧縮率設定部４６より取得する。そして、非線形圧縮後の各周波数成分の瞬時値を、数式３の右辺に示す関数Ｘｒｉ（ｘｉ）を量子化した値に実質的に等しくなるようなものへと変更することにより非線形量子化を行う。
【００６５】
【数３】
Ｘｒｉ（ｘｉ）＝ｓｇｎ（ｘｉ）・｜ｘｉ｜４／３・２｛ｇｌｏｂａｌ＿ｇａｉｎ（ｘｉ）｝／４
（ただし、ｓｇｎ（α）＝（α／｜α｜）、ｘｉは、帯域制限部４４が供給するサブバンドデータが表す周波数成分の瞬時値、ｇｌｏｂａｌ＿ｇａｉｎ（ｘｉ）は、フルスケールを設定するためのｘｉの関数）
【００６６】
圧縮率設定部４６は、非線形量子化部４５による瞬時値の圧縮前の値と圧縮後の値との対応関係（以下、圧縮特性と呼ぶ）を特定するための上述の圧縮特性データを生成し、非線形量子化部４５及び後述の算術符号化部５２に供給する。具体的には、例えば、上述の関数ｇｌｏｂａｌ＿ｇａｉｎ（ｘｉ）を特定する圧縮特性データを生成して、非線形量子化部４５及び算術符号化部５２に供給する。
【００６７】
なお、圧縮率設定部４６は、非線形量子化部４５による圧縮後のサブバンドデータのデータ量が、仮に非線形量子化部４５が圧縮を施すことなく量子化を行ったとした場合のデータ量に比べて１００分の１程度になるように（すなわち、圧縮率が１００分の１程度になるように）、圧縮特性を決定することが望ましい。
【００６８】
圧縮特性を決定するため、圧縮率設定部４６は、たとえば、算術符号（arithmetic code）に変換されたサブバンドデータをエンコード部５より（より具体的には、後述の算術符号化部５２より）取得する。そして、振幅調整部４２より取得したサブバンドデータのデータ量に対する、エンコード部５より取得したサブバンドデータのデータ量の比を求め、求めた比が、目標とする圧縮率（たとえば、約１００分の１）より大きいか否かを判別する。求めた比が目標とする圧縮率より大きいと判別すると、圧縮率設定部４６は、圧縮率が現在より小さくなるように圧縮特性を決定する。一方、求めた比が目標とする圧縮率以下であると判別すると、圧縮率が現在より大きくなるように、圧縮特性を決定する。
【００６９】
また、圧縮率設定部４６は、圧縮する対象のサブバンドデータが表す音素を特徴付ける上で重要性が高いスペクトルの品質の劣化が少なくなるように、圧縮特性を決定するものとする。具体的には、例えば、圧縮率設定部４６は、ケプストラム解析部２２が供給する上述のデータを取得して、このデータが示すフォルマント周波数に近いスペクトルほど大きなビット数で量子化されるように圧縮特性を決定したり、あるいは、周波数がこのフォルマント周波数から一定の範囲内にあるスペクトルを、他のスペクトルより大きなビット数で量子化されるように圧縮特性を決定したりすればよい。
【００７０】
エンコード部５は、機能的には、図５に示すように、バンド削除部５１と、算術符号化部５２とより構成されている。
なお、単一のプロセッサや単一のメモリがバンド削除部５１及び算術符号化部５２の一部又は全部の機能を行うようにしてもよい。
【００７１】
バンド削除部５１は、更に、ハードディスク装置やＲＯＭ（Read Only Memory）等の不揮発性メモリを備える。
バンド削除部５１は、音素ラベルと、この音素ラベルが示す音素のうち削除する対象の高調波成分を指定する削除バンド指定情報とを互いに対応付けて格納する削除バンドテーブルを記憶する。なお、１種類の音素につき複数の高調波成分が削除の対象になっていても差し支えなく、また、高調波成分の削除が行われない音素が存在しても差し支えない。
【００７２】
そして、バンド削除部５１は、非線形量子化後のサブバンドデータあるいは摩擦音情報を非線形量子化部４５より供給され、音素ラベルを表す変調波を音素データ入出力部１より供給されると、非線形量子化部４５より供給されたデータ（非線形量子化後のサブバンドデータあるいは摩擦音情報）に摩擦音フラグが付されているか否かを判別する。そして、付されていない（すなわち、当該データが非線形量子化後のサブバンドデータである）と判別すると、供給された音素ラベルに対応付けられている削除バンド指定情報を特定する。そして、非線形量子化部４５より供給されたサブバンドデータのうち、特定した削除バンド指定情報が示す高調波成分を表すデータを除いたデータを、音素ラベルと共に算術符号化部５２に供給する。
【００７３】
一方、バンド削除部５１は、非線形量子化部４５より供給されたデータに摩擦音フラグが付されている（すなわち、当該データが非線形量子化後の摩擦音情報である）と判別すると、この非線形量子化後の摩擦音情報を、摩擦音フラグが付された状態で、音素ラベルと共に算術符号化部５２に供給する。
【００７４】
算術符号化部５２は、サブバンドデータ等の後述のデータを格納するための音声データベースＤＢを記憶する、ハードディスク装置やフラッシュメモリ等の不揮発性メモリ等に着脱可能に接続される。
【００７５】
算術符号化部５２は、バンド削除部５１より供給された音素ラベル及びサブバンドデータ（又は摩擦音情報）と、補間部３２より供給されたピッチ情報と、振幅調整部４２より供給された比例定数データと、圧縮率設定部４６より供給された圧縮特性データとを算術符号へと変換し、得られた各算術符号を、同一の音素データについてのもの毎に互いに対応付けて音声データベースＤＢに格納する。
【００７６】
以上説明した動作により、この音素データエンコーダは、音素データをサブバンドデータへと変換し、サブバンドデータから、音素毎に所定の高調波成分を除去することにより、音素データをエンコードする。
そして、削除バンドテーブルを、音声データベースＤＢに格納されているサブバンドデータが表す音素を発声した発声者（あるいはこの音声データベースＤＢの所持者等の特定人）等に固有のものとすれば、音声データベースＤＢに格納されているサブバンドデータを用いて合成された合成音声から、この発声者等を特定することが可能になる。
【００７７】
具体的には、この合成音声を音素に分解し、分解して得られた各音素をフーリエ変換して、各音素がどの高調波成分を除去されているかを音素毎に特定することにより、この合成音声に含まれる各音素と、これらの音素から除去されている高調波成分との対応関係を特定する。そして、特定した対応関係と矛盾しない内容を有する削除バンドテーブルを特定することにより、特定された削除バンドテーブルを自己に固有のものとして割り当てられている者が特定されれば、この者が、合成音声の合成に用いられた音素の発声者等であると特定される。
従って、合成音声が十分多数の種類の音素を含んでいれば、合成音声が表す文章の内容や音素の配列にかかわらず、この合成音声の合成に用いられた音素の発声者等が特定される。
【００７８】
また、人の聴覚は、音素データの高調波成分の欠如には敏感でないという性質を有する。従って、この音素データエンコーダにより高調波成分を削除されたサブバンドデータに基づいて合成された音声は、聴覚的にみて異音が少なくなる。
【００７９】
また、音声データベースＤＢに格納されたサブバンドデータを用いて合成された合成音声は、この合成音声を構成する音素の一部の高調波成分が除去されている。従って、音声を構成する音素の一部の高調波成分が除去されているか否かを判別することにより、この音声が合成音声であるか、あるいは人が実際に発声した音声であるかを区別することが可能となる。
【００８０】
なお、この音素データエンコーダの構成は上述のものに限られない。
たとえば、音素データ入力部１は、電話回線、専用回線、衛星回線等の通信回線を介して外部より音素データを取得するようにしてもよい。この場合、音素データ入力部１は、例えばモデムやＤＳＵ（Data Service Unit）等からなる通信制御部を備えていればよい。
【００８１】
また、バンド削除部５１は、削除バンドテーブルを書き換え可能に記憶するものとしてもよく、音素データ入力部１に供給される音素データが表す音素の発声者等が変わるたびに、従前記憶していた削除バンドテーブルをバンド削除部５１から消去し、この発声者等に固有の削除バンドテーブルを新たにバンド削除部５１に記憶させるようにすれば、複数の発声者等に固有の音声データベースＤＢを構築することが可能となる、
【００８２】
また、ブロック化部４３は、音素ラベルをたとえば音声データ入力部１より取得して、取得した音素ラベルに基づき、自己に供給されたサブバンドデータが摩擦音を表すものか否かを判別してもよい
【００８３】
また、音素データ入力部１は、マイクロフォン、ＡＦ（Audio Frequency）増幅器、サンプラー、Ａ／Ｄ（Analog-to-Digital）コンバータ及びＰＣＭエンコーダなどからなる集音装置を備えていてもよい。集音装置は、自己のマイクロフォンが集音した音声を表す音声信号を増幅し、サンプリングしてＡ／Ｄ変換した後、サンプリングされた音声信号にＰＣＭ変調を施すことにより、音素データを取得すればよい。なお、音素データ入力部１が取得する音素データは、必ずしもＰＣＭ信号である必要はない。
【００８４】
また、ピッチ抽出部２は、ケプストラム解析部２２（又は自己相関解析部２３）を備えていなくてもよく、この場合、重み計算部２４は、ケプストラム解析部２２（又は自己相関解析部２３）が求めた基本周波数の逆数をそのまま平均ピッチ長として扱うようにすればよい。
また、波形相関解析部２７は、バンドパスフィルタ２６から供給されたピッチ信号を、そのままゼロクロス信号としてケプストラム解析部２２へと供給するようにしてもよい。
【００８５】
以上、この発明の実施の形態を説明したが、この発明にかかる音声信号加工装置は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。
例えば、パーソナルコンピュータに上述の音素データ入力部１、ピッチ抽出部２、リサンプリング部３、サブバンド解析部４及びエンコード部５の動作を実行させるためのプログラムを格納した媒体（ＣＤ−ＲＯＭ、ＭＯ、フレキシブルディスク等）から該プログラムをインストールすることにより、上述の処理を実行する音素データエンコーダを構成することができる。
【００８６】
また、例えば、通信回線の掲示板（ＢＢＳ）に該プログラムを掲示し、これを通信回線を介して配信してもよく、また、該プログラムを表す信号により搬送波を変調し、得られた変調波を伝送し、この変調波を受信した装置が変調波を復調して該プログラムを復元するようにしてもよい。
そして、該プログラムを起動し、ＯＳの制御下に、他のアプリケーションプログラムと同様に実行することにより、上述の処理を実行することができる。
【００８７】
なお、ＯＳが処理の一部を分担する場合、あるいは、ＯＳが本願発明の１つの構成要素の一部を構成するような場合には、記録媒体には、その部分を除いたプログラムを格納してもよい。この場合も、この発明では、その記録媒体には、コンピュータが実行する各機能又はステップを実行するためのプログラムが格納されているものとする。
【００８８】
【発明の効果】
以上説明したように、この発明によれば、音声の情報の暗号化を要せずに、音声の構成要素の配列を並べ替えても音声の発声者等を同定できるように音声の情報を加工するための音声信号加工装置及び音声信号加工方法が実現される。
【図面の簡単な説明】
【図１】この発明の実施の形態に係る音素データエンコーダの構成を示すブロック図である。
【図２】ピッチ抽出部の構成を示すブロック図である。
【図３】リサンプリング部の構成を示すブロック図である。
【図４】サブバンド解析部の構成を示すブロック図である。
【図５】エンコード部の構成を示すブロック図である。
【符号の説明】
１ 音素データ入力部
２ ピッチ抽出部
２１ ヒルベルト変換部
２２ ケプストラム解析部
２３ 自己相関解析部
２４ 重み計算部
２５ ＢＰＦ係数計算部
２６ バンドパスフィルタ
２７ 波形相関解析部
２８ 位相調整部
２９ 摩擦音検出部
３ リサンプリング部
３１ データ共通化部
３２ 補間部
４ サブバンド解析部
４１ 直交変換部
４２ 振幅調整部
４３ ブロック化部
４４ 帯域制限部
４５ 非線形量子化部
４６ 圧縮率設定部
５ エンコード部
５１ バンド削除部
５２ 算術符号化部
ＤＢ 音声データベース
Claims (12)
- 音素の波形を表す加工対象の音声信号の基本周波数成分及び高調波成分の強度の時間変化を表すサブバンド信号を生成するサブバンド抽出手段と、
前記サブバンド抽出手段が生成したサブバンド信号のうち、当該サブバンド信号が表す音素に対応付けられた削除対象の高調波成分の時間変化を表す部分を削除した結果を表す削除済みサブバンド信号を生成する削除手段と、を備え、
特定の話者が発声した各音素と、各該音素に対応付けられている削除対象の高調波成分との対応関係は、当該話者に固有のものである、
ことを特徴とする音声信号加工装置。 - 音素の波形を表す加工対象の音声信号の基本周波数成分及び高調波成分の強度の時間変化を表すサブバンド信号を生成するサブバンド抽出手段と、
前記サブバンド抽出手段が生成したサブバンド信号のうち、当該サブバンド信号が表す音素に対応付けられた削除対象の高調波成分の時間変化を表す部分を削除した結果を表す削除済みサブバンド信号を生成する削除手段と、を備え、
前記削除手段は、特定の話者が発声した各音素と、各該音素に対応付けられている削除対象の高調波成分との対応関係を表すテーブルを書き換え可能に記憶し、自己が記憶するテーブルが表す対応関係に従って、前記削除済みサブバンド信号を生成する、
ことを特徴とする音声信号加工装置。 - 前記削除手段は、前記フィルタリングされたサブバンド信号を非線形量子化したもののうち、当該サブバンド信号が表す音素に対応付けられた削除対象の高調波成分の時間変化を表す部分を削除した結果を表す前記削除済みサブバンド信号を生成する、
ことを特徴とする請求項１又は２に記載の音声信号加工装置。 - 前記削除手段は、前記削除済みサブバンド信号を取得し、取得した当該削除済みサブバンド信号のデータ量に基づいて、前記非線形量子化の量子化特性を決定し、決定した量子化特性に合致するように前記非線形量子化を行う、
ことを特徴とする請求項３に記載の音声信号加工装置。 - 前記加工対象の音声信号のうち摩擦音を表す部分を特定し、特定した部分を、前記削除対象の高調波成分の時間変化を表す部分を削除する対象から除外する手段を備える、
ことを特徴とする請求項１乃至４のいずれか１項に記載の音声信号加工装置。 - 前記加工対象の音声信号を取得し、当該音声信号の単位ピッチ分にあたる区間の時間長を実質的に同一に揃えることにより、当該音声信号をピッチ波形信号へと加工するピッチ波形信号生成手段を備え、
前記サブバンド抽出手段は、前記ピッチ波形信号に基づいて前記サブバンド信号を生成する、
ことを特徴とする請求項１乃至５のいずれか１項に記載の音声信号加工装置。 - 前記サブバンド抽出手段は、
制御に従って周波数特性を変化させ、前記加工対象の音声信号をフィルタリングすることにより、加工する対象である音声の基本周波数成分を抽出する可変フィルタと、
前記可変フィルタにより抽出された基本周波数成分に基づいて前記音声の基本周波数を特定し、特定した基本周波数近傍の成分以外が遮断されるような周波数特性になるように前記可変フィルタを制御するフィルタ特性決定手段と、
前記加工対象の音声信号を、当該音声信号の基本周波数成分の値に基づき、単位ピッチ分の音声信号からなる区間へと区切るピッチ抽出手段と、
前記加工対象の音声信号の各前記区間内を互いに実質的に同数の標本でサンプリングすることにより、各該区間内の時間長が実質的に同一に揃ったピッチ波形信号を生成するピッチ長固定部と、を備える、
ことを特徴とする請求項６に記載の音声信号加工装置。 - ピッチ波形信号の各前記区間の元の時間長を特定するためのピッチ情報を生成して出力するピッチ情報出力手段を備える、
ことを特徴とする請求項７に記載の音声信号加工装置。 - 音素の波形を表す加工対象の音声信号の基本周波数成分及び高調波成分の強度の時間変化を表すサブバンド信号を生成するサブバンド抽出ステップと、
生成したサブバンド信号のうち、当該サブバンド信号が表す音素に対応付けられた削除対象の高調波成分の時間変化を表す部分を削除した結果を表す削除済みサブバンド信号を生成する削除ステップと、より構成され、
特定の話者が発声した各音素と、各該音素に対応付けられている削除対象の高調波成分との対応関係は、当該話者に固有のものである、
ことを特徴とする音声信号加工方法。 - 音素の波形を表す加工対象の音声信号の基本周波数成分及び高調波成分の強度の時間変化を表すサブバンド信号を生成するサブバンド抽出ステップと、
生成したサブバンド信号のうち、当該サブバンド信号が表す音素に対応付けられた削除対象の高調波成分の時間変化を表す部分を削除した結果を表す削除済みサブバンド信号を生成する削除ステップと、より構成され、
前記削除ステップでは、特定の話者が発声した各音素と、各該音素に対応付けられている削除対象の高調波成分との対応関係を表すテーブルを書き換え可能に記憶し、自己が記憶するテーブルが表す対応関係に従って、前記削除済みサブバンド信号を生成する、
ことを特徴とする音声信号加工方法。 - コンピュータを、
音素の波形を表す加工対象の音声信号の基本周波数成分及び高調波成分の強度の時間変化を表すサブバンド信号を生成するサブバンド抽出手段と、
前記サブバンド抽出手段が生成したサブバンド信号のうち、当該サブバンド信号が表す音素に対応付けられた削除対象の高調波成分の時間変化を表す部分を削除した結果を表す削除済みサブバンド信号を生成する削除手段と、
して機能させるためのプログラムであって、
特定の話者が発声した各音素と、各該音素に対応付けられている削除対象の高調波成分との対応関係は、当該話者に固有のものである、
ことを特徴とするプログラム。 - コンピュータを、
音素の波形を表す加工対象の音声信号の基本周波数成分及び高調波成分の強度の時間変化を表すサブバンド信号を生成するサブバンド抽出手段と、
前記サブバンド抽出手段が生成したサブバンド信号のうち、当該サブバンド信号が表す音素に対応付けられた削除対象の高調波成分の時間変化を表す部分を削除した結果を表す削除済みサブバンド信号を生成する削除手段と、
して機能させるためのプログラムであって、
前記削除手段は、特定の話者が発声した各音素と、各該音素に対応付けられている削除対象の高調波成分との対応関係を表すテーブルを書き換え可能に記憶し、自己が記憶するテーブルが表す対応関係に従って、前記削除済みサブバンド信号を生成する、
ことを特徴とするプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002012196A JP3875890B2 (ja) | 2002-01-21 | 2002-01-21 | 音声信号加工装置、音声信号加工方法及びプログラム |
| US10/248,297 US7421304B2 (en) | 2002-01-21 | 2003-01-07 | Audio signal processing device, signal recovering device, audio signal processing method and signal recovering method |
| US11/534,219 US7606711B2 (en) | 2002-01-21 | 2006-09-22 | Audio signal processing device, signal recovering device, audio signal processing method and signal recovering method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002012196A JP3875890B2 (ja) | 2002-01-21 | 2002-01-21 | 音声信号加工装置、音声信号加工方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003216172A JP2003216172A (ja) | 2003-07-30 |
| JP3875890B2 true JP3875890B2 (ja) | 2007-01-31 |
Family
ID=27649463
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002012196A Expired - Fee Related JP3875890B2 (ja) | 2002-01-21 | 2002-01-21 | 音声信号加工装置、音声信号加工方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3875890B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4508599B2 (ja) * | 2003-10-20 | 2010-07-21 | 富士通テン株式会社 | データ圧縮方法 |
| JP2010503881A (ja) * | 2006-09-13 | 2010-02-04 | テレフオンアクチーボラゲット エル エム エリクソン（パブル） | 音声・音響送信器及び受信器のための方法及び装置 |
| JP4973376B2 (ja) * | 2007-08-09 | 2012-07-11 | ヤマハ株式会社 | 音声の基本周期を検出する装置およびその基本周期を用いて話速変換を行う装置 |
| US11417345B2 (en) * | 2018-01-17 | 2022-08-16 | Nippon Telegraph And Telephone Corporation | Encoding apparatus, decoding apparatus, fricative sound judgment apparatus, and methods and programs therefor |
| CN113286242A (zh) * | 2021-04-29 | 2021-08-20 | 佛山博智医疗科技有限公司 | 分解言语信号修饰音节提升语音信号清晰度的装置 |
-
2002
- 2002-01-21 JP JP2002012196A patent/JP3875890B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003216172A (ja) | 2003-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7606711B2 (en) | Audio signal processing device, signal recovering device, audio signal processing method and signal recovering method | |
| Johnston | Transform coding of audio signals using perceptual noise criteria | |
| CN1838239B (zh) | 一种用于增强信源解码器的设备及方法 | |
| EP1422690B1 (en) | Apparatus and method for generating pitch waveform signal and apparatus and method for compressing/decompressing and synthesizing speech signal using the same | |
| US7676361B2 (en) | Apparatus, method and program for voice signal interpolation | |
| US20040165737A1 (en) | Audio compression | |
| EP1422693A1 (en) | PITCH WAVEFORM SIGNAL GENERATION APPARATUS, PITCH WAVEFORM SIGNAL GENERATION METHOD, AND PROGRAM | |
| RU2289858C2 (ru) | Способ и устройство кодирования аудиосигнала с использованием извлечения гармоник | |
| US20140211967A1 (en) | Method for dynamically adjusting the spectral content of an audio signal | |
| JP3875890B2 (ja) | 音声信号加工装置、音声信号加工方法及びプログラム | |
| JP3955967B2 (ja) | 音声信号雑音除去装置、音声信号雑音除去方法及びプログラム | |
| JP4256189B2 (ja) | 音声信号圧縮装置、音声信号圧縮方法及びプログラム | |
| JP4736699B2 (ja) | 音声信号圧縮装置、音声信号復元装置、音声信号圧縮方法、音声信号復元方法及びプログラム | |
| JP2000132193A (ja) | 信号符号化装置及び方法、並びに信号復号装置及び方法 | |
| JP3994332B2 (ja) | 音声信号圧縮装置、音声信号圧縮方法、及び、プログラム | |
| JP3976169B2 (ja) | 音声信号加工装置、音声信号加工方法及びプログラム | |
| Xu et al. | Content-based digital watermarking for compressed audio | |
| JP2003216171A (ja) | 音声信号加工装置、信号復元装置、音声信号加工方法、信号復元方法及びプログラム | |
| JP3624884B2 (ja) | 音声データ処理装置 | |
| JP3806607B2 (ja) | 音素データ処理装置、音素データ処理方法及びプログラム | |
| JP2004233570A (ja) | デジタルデータの符号化装置 | |
| JP2007110451A (ja) | 音声信号調整装置、音声信号調整方法及びプログラム | |
| JP2000132195A (ja) | 信号符号化装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040427 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060327 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060418 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060615 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060815 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060822 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061003 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061027 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3875890 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131102 Year of fee payment: 7 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |