JP6589404B2 - 音響信号の符号化装置 - Google Patents
音響信号の符号化装置 Download PDFInfo
- Publication number
- JP6589404B2 JP6589404B2 JP2015121870A JP2015121870A JP6589404B2 JP 6589404 B2 JP6589404 B2 JP 6589404B2 JP 2015121870 A JP2015121870 A JP 2015121870A JP 2015121870 A JP2015121870 A JP 2015121870A JP 6589404 B2 JP6589404 B2 JP 6589404B2
- Authority
- JP
- Japan
- Prior art keywords
- spectrum
- intensity
- unit section
- frequency
- section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Auxiliary Devices For Music (AREA)
Description
本発明は、音響信号の符号化技術に関し、特に、ＭＩＤＩ形式等の符号コードに符号化するのに好適な符号化技術に関する。
従来、ＭＩＤＩ音源を用いて音響信号を再生することを可能とするため、音響信号をＭＩＤＩ符号等の符号コードに変換することが行われている（特許文献１〜４参照）。ＭＩＤＩ音源では、３２和音など限定された周波数で再生されるため、符号化の際には、限定された数の周波数を選択して符号化することが必要となる。出願人も、音響信号から限定された数の周波数を選択して符号化する技術について提案している（特許文献１、４参照）。
特に、特許文献４に記載の技術においては、解析対象のサンプルを時間方向に増大（信号波形の時間方向への拡大）させて時間分解能を高めることが行われている。
しかしながら、上記特許文献４に記載の技術では、サンプル数を増大させて解析するため、処理負荷が増加するという問題がある。また、連続する単位区間において重複する周波数成分が含まれるため、時間分解能が十分でなく、再現される音が明瞭でないという問題がある。
そこで、本発明は、限定された数の周波数で再生される音源を用いて音を再現する際に、時間分解能を向上させて、音をより明瞭に再現することが可能な音響信号の符号化装置を提供することを課題とする。
上記課題を解決するため、本発明第１の態様では、所定のサンプリング周波数でデジタル化された時系列のサンプル列として与えられる音響信号を符号化するための符号化装置であって、
前記サンプル列に対して、所定数Ｔ個のサンプルで構成される単位区間を、隣接する単位区間と時間軸方向に前記Ｔ個より少ない所定数のサンプルを重複させながら設定する区間設定手段と、
前記単位区間に対して、解析対象とする少なくともＮ種類の各周波数ｆ（ｎ）について周波数解析を行い、所定の選出条件を満たす単位区間である選出単位区間に対するスペクトル強度を算出するスペクトル算出手段と、
前記Ｎ種類の周波数ごとに、対象とする選出単位区間（ｑ−１）に対して算出されたスペクトル強度（Ｅ２(ｑ−１，ｎ)）と、当該選出単位区間（ｑ−１）と一部が重複する所定区間に対して算出されたスペクトル強度（Ｅ２(ｑ´，ｎ)）との相乗平均値（Ｅ２´(ｑ−１，ｎ)）を算出し、前記対象とする選出単位区間に対して算出されたスペクトル強度（Ｅ２(ｑ−１，ｎ)）に対して、前記相乗平均値（Ｅ２´(ｑ−１，ｎ)）に基づいて補正を行い、重複する選出単位区間の影響を減少させた補正スペクトル強度（Ｅ２´´(ｑ−１，ｎ)）を算出するスペクトル補正手段と、
前記選出単位区間の補正スペクトル強度に基づいて強度値を定義した、所定の形式の符号コードを生成する符号化手段と、
を有することを特徴とする音響信号の符号化装置を提供する。
前記サンプル列に対して、所定数Ｔ個のサンプルで構成される単位区間を、隣接する単位区間と時間軸方向に前記Ｔ個より少ない所定数のサンプルを重複させながら設定する区間設定手段と、
前記単位区間に対して、解析対象とする少なくともＮ種類の各周波数ｆ（ｎ）について周波数解析を行い、所定の選出条件を満たす単位区間である選出単位区間に対するスペクトル強度を算出するスペクトル算出手段と、
前記Ｎ種類の周波数ごとに、対象とする選出単位区間（ｑ−１）に対して算出されたスペクトル強度（Ｅ２(ｑ−１，ｎ)）と、当該選出単位区間（ｑ−１）と一部が重複する所定区間に対して算出されたスペクトル強度（Ｅ２(ｑ´，ｎ)）との相乗平均値（Ｅ２´(ｑ−１，ｎ)）を算出し、前記対象とする選出単位区間に対して算出されたスペクトル強度（Ｅ２(ｑ−１，ｎ)）に対して、前記相乗平均値（Ｅ２´(ｑ−１，ｎ)）に基づいて補正を行い、重複する選出単位区間の影響を減少させた補正スペクトル強度（Ｅ２´´(ｑ−１，ｎ)）を算出するスペクトル補正手段と、
前記選出単位区間の補正スペクトル強度に基づいて強度値を定義した、所定の形式の符号コードを生成する符号化手段と、
を有することを特徴とする音響信号の符号化装置を提供する。
本発明第１の態様によれば、単位区間に対して、Ｎ種類の各周波数ｆ（ｎ）について周波数解析を行い、所定の選出条件を満たす単位区間である選出単位区間に対するスペクトル強度を算出し、Ｎ種類の周波数ごとに、対象とする選出単位区間に対して算出されたスペクトル強度と、選出単位区間と一部が重複する所定区間に対して算出されたスペクトル強度との相乗平均値を算出し、対象とする選出単位区間に対して算出されたスペクトル強度に対して、相乗平均値に基づいて補正を行い、重複する選出単位区間の影響を減少させた補正スペクトル強度を算出し、選出単位区間の補正スペクトル強度に基づいて強度値を定義した、所定の形式の符号コードを生成するようにしたので、音響信号を、３２和音などの限定された周波数で再生される音源（例えばＭＩＤＩ音源）を用いてより明瞭に再現することが可能となる。
また、本発明第２の態様では、本発明第１の態様において、前記スペクトル補正手段は、前記対象とする選出単位区間（ｑ−１）の直後の選出単位区間（ｑ）と重複させずに連続するように、前記直後の選出単位区間（ｑ）よりＴサンプルだけ前方にずらしたＴ個のサンプルで構成される隣接単位区間（ｑ´）を前記一部が重複する所定区間として前記相乗平均値（Ｅ２´(ｑ−１，ｎ)）を算出し、単位区間の解析サンプル数（Ｔ(ｎ)）を、前記対象とする選出単位区間（ｑ−１）と後続の選出単位区間（ｑ）との時間差に対応するサンプル数（（Ｐ（ｑ）−Ｐ（ｑ−１））・Ｗ）で除した値を（Ｐ（ｑ）は選出単位区間ｑに対応する単位区間におけるインデックス番号）、前記相乗平均値に乗じることにより、前記対象とする選出単位区間（ｑ−１）に対して算出されたスペクトル強度を補正するようにしていることを特徴とする。
本発明第２の態様によれば、対象とする選出単位区間の直後の選出単位区間と重複させずに連続するように、直後の単位区間よりＴサンプルだけ前方にずらしたＴ個のサンプルで構成される隣接単位区間のスペクトル強度と、対象とする選出単位区間のスペクトル強度の相乗平均値に対して、単位区間の解析サンプル数を、対象とする選出単位区間と後続の選出単位区間との時間差に対応するサンプル数で除した値を、乗じることにより、対象とする選出単位区間に対して算出されたスペクトル強度を補正するようにしたので、対象とする選出単位区間における、直後の選出単位区間と重複しない部分を強調した周波数成分を大きく反映させることになる。このため、結果として、連続する選出単位区間において重複する周波数成分を、相対的に減少させることができ、時間分解能を向上させることが可能となる。
また、本発明第３の態様では、本発明第１の態様において、前記スペクトル補正手段は、前記一部が重複する所定区間として前記対象とする選出単位区間（ｑ−１）の直後の選出単位区間（ｑ）を用い、単位区間の解析サンプル数（Ｔ(ｎ) ）から、選出単位区間（ｑ−１）と後続の選出単位区間（ｑ）との時間差に対応するサンプル数（（Ｐ（ｑ）−Ｐ（ｑ−１））・Ｗ）を減算したものを、前記相乗平均値（Ｅ２´(ｑ−１，ｎ)）に乗じた後、元のスペクトル強度（Ｅ２(ｑ−１，ｎ)）と単位区間の解析サンプル数（Ｔ(ｎ)）を乗じたものから減算する演算を行い、当該演算の結果を、選出単位区間（ｑ−１）と後続の選出単位区間（ｑ）との時間差に対応するサンプル数（（Ｐ（ｑ）−Ｐ（ｑ−１））・Ｗ）で除した値に基づいて前記対象とする選出単位区間（ｑ−１）に対して算出されたスペクトル強度を補正するようにしていることを特徴とする。
本発明第３の態様によれば、一部が重複する所定区間として対象とする選出単位区間の直後の選出単位区間を用い、単位区間の解析サンプル数から、選出単位区間と後続の選出単位区間との時間差に対応するサンプル数を減算したものを、相乗平均値に乗じた後、元のスペクトル強度と単位区間の解析サンプル数を乗じたものから減算する演算を行い、当該演算の結果を、選出単位区間と後続の選出単位区間との時間差に対応するサンプル数で除した値に基づいて対象とする選出単位区間に対して算出されたスペクトル強度を補正するようにしたので、対象とする選出単位区間と直後の選出単位区間の重複部分の成分を直接除去し、連続する選出単位区間において重複する周波数成分を減少させることができ、時間分解能を向上させることが可能となる。
また、本発明第４の態様では、
所定のサンプリング周波数でデジタル化された時系列のサンプル列として与えられる音響信号を符号化するための符号化装置であって、
前記サンプル列に対して、所定数Ｔ個のサンプルで構成される単位区間を、隣接する単位区間と時間軸方向に前記Ｔ個より少ない所定数のサンプルを重複させながら設定する区間設定手段と、
前記単位区間に対して、解析対象とする少なくともＮ種類の各周波数について周波数解析を行い、所定の選出条件を満たす単位区間である選出単位区間に対するスペクトル強度を算出するスペクトル算出手段と、
前記Ｎ種類の周波数ごとに、対象とする選出単位区間に対して算出されたスペクトル強度と、前記対象とする選出単位区間（ｑ−１）の直後の選出単位区間（ｑ）と重複させずに連続するように前記直後の選出単位区間よりＴサンプルだけ前方にずらしたＴ個のサンプルで構成される隣接単位区間（ｑ´）に対して算出されたスペクトル強度との相乗平均値（Ｅ２´(ｑ−１，ｎ)）を算出し、単位区間の解析サンプル数（Ｔ(ｎ)）を、前記対象とする選出単位区間（ｑ−１）と後続の選出単位区間（ｑ）との時間差に対応するサンプル数（（Ｐ（ｑ）−Ｐ（ｑ−１））・Ｗ）で除した値を、前記相乗平均値に乗じることにより、前記対象とする選出単位区間（ｑ−１）に対して算出されたスペクトル強度を補正し、重複する選出単位区間の影響を減少させた補正スペクトル強度を算出するスペクトル補正手段と、
前記選出単位区間の補正スペクトル強度に基づいて強度値を定義した、所定の形式の符号コードを生成する符号化手段と、
を有することを特徴とする音響信号の符号化装置を提供する。
所定のサンプリング周波数でデジタル化された時系列のサンプル列として与えられる音響信号を符号化するための符号化装置であって、
前記サンプル列に対して、所定数Ｔ個のサンプルで構成される単位区間を、隣接する単位区間と時間軸方向に前記Ｔ個より少ない所定数のサンプルを重複させながら設定する区間設定手段と、
前記単位区間に対して、解析対象とする少なくともＮ種類の各周波数について周波数解析を行い、所定の選出条件を満たす単位区間である選出単位区間に対するスペクトル強度を算出するスペクトル算出手段と、
前記Ｎ種類の周波数ごとに、対象とする選出単位区間に対して算出されたスペクトル強度と、前記対象とする選出単位区間（ｑ−１）の直後の選出単位区間（ｑ）と重複させずに連続するように前記直後の選出単位区間よりＴサンプルだけ前方にずらしたＴ個のサンプルで構成される隣接単位区間（ｑ´）に対して算出されたスペクトル強度との相乗平均値（Ｅ２´(ｑ−１，ｎ)）を算出し、単位区間の解析サンプル数（Ｔ(ｎ)）を、前記対象とする選出単位区間（ｑ−１）と後続の選出単位区間（ｑ）との時間差に対応するサンプル数（（Ｐ（ｑ）−Ｐ（ｑ−１））・Ｗ）で除した値を、前記相乗平均値に乗じることにより、前記対象とする選出単位区間（ｑ−１）に対して算出されたスペクトル強度を補正し、重複する選出単位区間の影響を減少させた補正スペクトル強度を算出するスペクトル補正手段と、
前記選出単位区間の補正スペクトル強度に基づいて強度値を定義した、所定の形式の符号コードを生成する符号化手段と、
を有することを特徴とする音響信号の符号化装置を提供する。
本発明第４の態様によれば、本発明第２の態様と同様、対象とする選出単位区間における、直後の選出単位区間と重複しない部分を強調した周波数成分を大きく反映させることになる。このため、結果として、連続する選出単位区間において重複する周波数成分を、相対的に減少させることができ、時間分解能を向上させることが可能となる。
また、本発明第５の態様では、
所定のサンプリング周波数でデジタル化された時系列のサンプル列として与えられる音響信号を符号化するための符号化装置であって、
前記サンプル列に対して、所定数Ｔ個のサンプルで構成される単位区間を、隣接する単位区間と時間軸方向に前記Ｔ個より少ない所定数のサンプルを重複させながら設定する区間設定手段と、
前記単位区間に対して、解析対象とする少なくともＮ種類の各周波数について周波数解析を行い、所定の選出条件を満たす単位区間である選出単位区間に対するスペクトル強度を算出するスペクトル算出手段と、
前記Ｎ種類の周波数ごとに、対象とする選出単位区間に対して算出されたスペクトル強度と、前記対象とする選出単位区間（ｑ−１）の直後の選出単位区間（ｑ）に対して算出されたスペクトル強度との相乗平均値（Ｅ２´(ｑ−１，ｎ)）を算出し、単位区間の解析サンプル数（Ｔ(ｎ)）から、対象とする選出単位区間（ｑ−１）と後続の選出単位区間（ｑ）との時間差に対応するサンプル数（（Ｐ（ｑ）−Ｐ（ｑ−１））・Ｗ）を減算したものを、前記相乗平均値に乗じた後、元のスペクトル強度（Ｅ２(ｑ−１，ｎ)）と単位区間の解析サンプル数（Ｔ(ｎ)）を乗じたものから減算する演算を行い、当該演算の結果を、選出単位区間（ｑ−１）と後続の選出単位区間（ｑ）との時間差に対応するサンプル数（（Ｐ（ｑ）−Ｐ（ｑ−１））・Ｗ）で除した値に基づいて前記対象とする選出単位区間に対して算出されたスペクトル強度を補正し、重複する選出単位区間の影響を減少させた補正スペクトル強度を算出するスペクトル補正手段と、
前記選出単位区間の補正スペクトル強度に基づいて強度値を定義した、所定の形式の符号コードを生成する符号化手段と、
を有することを特徴とする音響信号の符号化装置を提供する。
所定のサンプリング周波数でデジタル化された時系列のサンプル列として与えられる音響信号を符号化するための符号化装置であって、
前記サンプル列に対して、所定数Ｔ個のサンプルで構成される単位区間を、隣接する単位区間と時間軸方向に前記Ｔ個より少ない所定数のサンプルを重複させながら設定する区間設定手段と、
前記単位区間に対して、解析対象とする少なくともＮ種類の各周波数について周波数解析を行い、所定の選出条件を満たす単位区間である選出単位区間に対するスペクトル強度を算出するスペクトル算出手段と、
前記Ｎ種類の周波数ごとに、対象とする選出単位区間に対して算出されたスペクトル強度と、前記対象とする選出単位区間（ｑ−１）の直後の選出単位区間（ｑ）に対して算出されたスペクトル強度との相乗平均値（Ｅ２´(ｑ−１，ｎ)）を算出し、単位区間の解析サンプル数（Ｔ(ｎ)）から、対象とする選出単位区間（ｑ−１）と後続の選出単位区間（ｑ）との時間差に対応するサンプル数（（Ｐ（ｑ）−Ｐ（ｑ−１））・Ｗ）を減算したものを、前記相乗平均値に乗じた後、元のスペクトル強度（Ｅ２(ｑ−１，ｎ)）と単位区間の解析サンプル数（Ｔ(ｎ)）を乗じたものから減算する演算を行い、当該演算の結果を、選出単位区間（ｑ−１）と後続の選出単位区間（ｑ）との時間差に対応するサンプル数（（Ｐ（ｑ）−Ｐ（ｑ−１））・Ｗ）で除した値に基づいて前記対象とする選出単位区間に対して算出されたスペクトル強度を補正し、重複する選出単位区間の影響を減少させた補正スペクトル強度を算出するスペクトル補正手段と、
前記選出単位区間の補正スペクトル強度に基づいて強度値を定義した、所定の形式の符号コードを生成する符号化手段と、
を有することを特徴とする音響信号の符号化装置を提供する。
本発明第５の態様によれば、本発明第３の態様と同様、対象とする選出単位区間と直後の選出単位区間の重複部分の成分を直接除去し、連続する選出単位区間において重複する周波数成分を減少させることができ、時間分解能を向上させることが可能となる。
また、本発明第６の態様では、本発明第１から第５のいずれかの態様において、前記スペクトル算出手段は、
個々の単位区間ごとに、解析対象とする少なくともＮ種類の各周波数ｆ（ｎ）について、周波数解析を行うことにより、ｐ番目の単位区間ｐに対して、前記Ｎ種類の周波数ｆ（ｎ）に対応した第１のスペクトル強度Ｅ１（ｐ，ｎ）を算出する第１のスペクトル算出手段と、
対象とする単位区間ｐの直前に位置する単位区間ｐ−１における第１のスペクトル強度Ｅ１（ｐ−１，ｎ）との対応する周波数ごとの変化に基づく評価値が、所定のしきい値より大きいことを前記選出条件とし、前記対象とする単位区間ｐを選出単位区間ｑ（ｑ≦ｐ）として選出し、少なくとも前記Ｎ種類の各周波数ｆ（ｎ）について、前記第１のスペクトル算出手段における周波数解析に比較して高精度な周波数解析を行うことにより、前記Ｎ種類の周波数に対応した第２のスペクトル強度Ｅ２（ｑ，ｎ）を、前記選出単位区間に対するスペクトル強度として算出する第２のスペクトル算出手段と、
を有することを特徴とする。
個々の単位区間ごとに、解析対象とする少なくともＮ種類の各周波数ｆ（ｎ）について、周波数解析を行うことにより、ｐ番目の単位区間ｐに対して、前記Ｎ種類の周波数ｆ（ｎ）に対応した第１のスペクトル強度Ｅ１（ｐ，ｎ）を算出する第１のスペクトル算出手段と、
対象とする単位区間ｐの直前に位置する単位区間ｐ−１における第１のスペクトル強度Ｅ１（ｐ−１，ｎ）との対応する周波数ごとの変化に基づく評価値が、所定のしきい値より大きいことを前記選出条件とし、前記対象とする単位区間ｐを選出単位区間ｑ（ｑ≦ｐ）として選出し、少なくとも前記Ｎ種類の各周波数ｆ（ｎ）について、前記第１のスペクトル算出手段における周波数解析に比較して高精度な周波数解析を行うことにより、前記Ｎ種類の周波数に対応した第２のスペクトル強度Ｅ２（ｑ，ｎ）を、前記選出単位区間に対するスペクトル強度として算出する第２のスペクトル算出手段と、
を有することを特徴とする。
本発明第６の態様によれば、設定された各単位区間に対して簡易な第１の周波数解析を行い、その強度が直前の単位区間と比較して所定の基準以上に大きい場合に、選出単位区間として選出し、その選出単位区間に対してより高精度な第２の周波数解析を行って、得られた解析結果を基に符号コードを生成するようにしたので、固定間隔で音響信号全体に渡って情報を解析しつつ、特徴的な部分のみを符号化することになるため、和音を含む音響信号や、音声信号の周波数変化をより適切に解析することが可能となる。
また、本発明第７の態様では、本発明第６の態様において、
前記符号化手段は、隣接する２つの選出単位区間ｑ−１と選出単位区間ｑに対して、後続の選出単位区間ｑにおける対象周波数ｆ（ｎ）に対応する前記第２のスペクトル強度Ｅ２（ｑ，ｎ）から、直前の選出単位区間ｑ−１における前記Ｎ種類の周波数のうち前記対象周波数と同周波数ｆ（ｎ）、１つ低い周波数ｆ（ｎ−１）、１つ高い周波数ｆ（ｎ＋１）にそれぞれ対応する前記第２のスペクトル強度Ｅ２（ｑ−１，ｎ）、Ｅ２（ｑ−１，ｎ−１）、Ｅ２（ｑ−１，ｎ＋１）のいずれかを減じた減算値を、前記後続の選出単位区間ｑの第２のスペクトル強度Ｅ２（ｑ，ｎ）と前記直前の選出単位区間ｑ−１の第２のスペクトル強度Ｅ２（ｑ−１，ｎ）、Ｅ２（ｑ−１，ｎ−１）、Ｅ２（ｑ−１，ｎ＋１）のいずれかとの和である加算値で除した値が所定のしきい値（Ｌｄｉｆ）未満で、かつ前記直前の選出単位区間ｑ−１の第２のスペクトル強度Ｅ２（ｑ−１，ｎ）、Ｅ２（ｑ−１，ｎ−１）、Ｅ２（ｑ−１，ｎ＋１）のいずれか、および前記後続の選出単位区間ｑの第２のスペクトル強度Ｅ２（ｑ，ｎ）が所定のしきい値（Ｌｍｉｎ）より大きい場合、前記選出単位区間ｑを選出単位区間ｑ−１に連結することを特徴とする。
前記符号化手段は、隣接する２つの選出単位区間ｑ−１と選出単位区間ｑに対して、後続の選出単位区間ｑにおける対象周波数ｆ（ｎ）に対応する前記第２のスペクトル強度Ｅ２（ｑ，ｎ）から、直前の選出単位区間ｑ−１における前記Ｎ種類の周波数のうち前記対象周波数と同周波数ｆ（ｎ）、１つ低い周波数ｆ（ｎ−１）、１つ高い周波数ｆ（ｎ＋１）にそれぞれ対応する前記第２のスペクトル強度Ｅ２（ｑ−１，ｎ）、Ｅ２（ｑ−１，ｎ−１）、Ｅ２（ｑ−１，ｎ＋１）のいずれかを減じた減算値を、前記後続の選出単位区間ｑの第２のスペクトル強度Ｅ２（ｑ，ｎ）と前記直前の選出単位区間ｑ−１の第２のスペクトル強度Ｅ２（ｑ−１，ｎ）、Ｅ２（ｑ−１，ｎ−１）、Ｅ２（ｑ−１，ｎ＋１）のいずれかとの和である加算値で除した値が所定のしきい値（Ｌｄｉｆ）未満で、かつ前記直前の選出単位区間ｑ−１の第２のスペクトル強度Ｅ２（ｑ−１，ｎ）、Ｅ２（ｑ−１，ｎ−１）、Ｅ２（ｑ−１，ｎ＋１）のいずれか、および前記後続の選出単位区間ｑの第２のスペクトル強度Ｅ２（ｑ，ｎ）が所定のしきい値（Ｌｍｉｎ）より大きい場合、前記選出単位区間ｑを選出単位区間ｑ−１に連結することを特徴とする。
本発明第７の態様によれば、符号コードを生成する際、隣接する２つの選出単位区間のうち、後続の選出単位区間とその直前の選出単位区間の強度の差が所定のしきい値未満で、後続の選出単位区間の強度とその直前の選出単位区間の強度がともに所定のしきい値より大きい場合に、隣接する２つの選出単位区間を連結するようにしたので、適切に音成分を連結することが可能になる。
また、本発明第８の態様では、本発明第７の態様において、前記第１のスペクトル算出手段および第２のスペクトル算出手段はＮ種類の各周波数ｆ（ｎ）を主周波数とし、隣接する主周波数を超えない範囲でＭ種類の副周波数ｆ（ｎ，ｍ）を設定し、前記第１のスペクトル強度Ｅ１（ｐ，ｎ）および第２のスペクトル強度Ｅ２（ｑ，ｎ）として、前記Ｍ種類の副周波数の中で最も大きい強度を示す副周波数に対応する強度値を算出し、
前記符号化手段は、前記第２のスペクトル強度Ｅ２（ｑ，ｎ）を決定する副周波数と、前記第２のスペクトル強度Ｅ２（ｑ−１，ｎ）、Ｅ２（ｑ−１，ｎ−１）、Ｅ２（ｑ−１，ｎ＋１）を決定する副周波数のいずれかとの差が所定のしきい値（Ｎｄｉｆ）未満という条件をさらに満たした場合に、前記後続の選出単位区間ｑを直前の選出単位区間ｑ−１を連結することを特徴とする。
前記符号化手段は、前記第２のスペクトル強度Ｅ２（ｑ，ｎ）を決定する副周波数と、前記第２のスペクトル強度Ｅ２（ｑ−１，ｎ）、Ｅ２（ｑ−１，ｎ−１）、Ｅ２（ｑ−１，ｎ＋１）を決定する副周波数のいずれかとの差が所定のしきい値（Ｎｄｉｆ）未満という条件をさらに満たした場合に、前記後続の選出単位区間ｑを直前の選出単位区間ｑ−１を連結することを特徴とする。
本発明第８の態様によれば、解析する周波数の間隔を微細に設定することにより、より詳細な周波数解析が可能となり、さらに、音成分の連結条件として、後続の選出単位区間とその直前の選出単位区間の副周波数との差がしきい値未満であることを追加したので、より精度の高い解析結果に基づいて音成分を連結することが可能となる。
また、本発明第９の態様では、本発明第８の態様において、
前記直前の選出単位区間ｑ−１が、既に他の選出単位区間と連結されている場合、前記直前の選出単位区間ｑ−１が連結されている先頭の選出単位区間をｑｏとし、
前記符号化手段は、前記第２のスペクトル強度Ｅ２（ｑ，ｎ）を決定する副周波数と前記第２のスペクトル強度Ｅ２（ｑｏ，ｎ）、Ｅ２（ｑｏ，ｎ−１）、Ｅ２（ｑｏ，ｎ＋１）を決定する副周波数のいずれか１つとの差が所定のしきい値（Ｎａｄｉｆ）未満という条件をさらに満たした場合に限り、前記後続の選出単位区間ｑを直前の選出単位区間ｑ−１に連結することを特徴とする。
前記直前の選出単位区間ｑ−１が、既に他の選出単位区間と連結されている場合、前記直前の選出単位区間ｑ−１が連結されている先頭の選出単位区間をｑｏとし、
前記符号化手段は、前記第２のスペクトル強度Ｅ２（ｑ，ｎ）を決定する副周波数と前記第２のスペクトル強度Ｅ２（ｑｏ，ｎ）、Ｅ２（ｑｏ，ｎ−１）、Ｅ２（ｑｏ，ｎ＋１）を決定する副周波数のいずれか１つとの差が所定のしきい値（Ｎａｄｉｆ）未満という条件をさらに満たした場合に限り、前記後続の選出単位区間ｑを直前の選出単位区間ｑ−１に連結することを特徴とする。
本発明第９の態様によれば、さらに、音成分の連結条件として、前方の選出単位区間が、既に他の選出単位区間と連結されている場合、後続の選出単位区間とその直前の選出単位区間が連結されている先頭の選出単位区間の副周波数との差がしきい値未満であることを追加したので、隣接する選出単位区間どうしでは副周波数が緩やかに変化する程度であっても、先頭の選出単位区間からは累積して周波数が大きく異なる場合において、後続の選出単位区間を誤って連結することを防ぎ、より精度の高い音成分の連結を実現することが可能となる。
また、本発明第１０の態様では、本発明第７から第９のいずれかの態様において、
前記符号化手段は、前記選出単位区間の連結に基づいて補正された符号コードを含む生成される符号コードの先頭時刻から先頭時刻に時間差を加えた終了時刻までを時間区間とすると、ある時刻ｔにおいて、所定の個数以上の符号コードの時間区間が重複する場合、前記重複する全ての符号コードに対して、先頭時刻から前記時刻ｔまでの経過時間に基づいて当該符号コードの強度値を補正した変動強度値（Ｖｃ（ｈ，ｔ））を算出し、変動強度値が最も小さい符号コードの時間差を当該符号コードの先頭時刻から前記時刻ｔまでの経過時間になるよう補正するようにしていることを特徴とする。
前記符号化手段は、前記選出単位区間の連結に基づいて補正された符号コードを含む生成される符号コードの先頭時刻から先頭時刻に時間差を加えた終了時刻までを時間区間とすると、ある時刻ｔにおいて、所定の個数以上の符号コードの時間区間が重複する場合、前記重複する全ての符号コードに対して、先頭時刻から前記時刻ｔまでの経過時間に基づいて当該符号コードの強度値を補正した変動強度値（Ｖｃ（ｈ，ｔ））を算出し、変動強度値が最も小さい符号コードの時間差を当該符号コードの先頭時刻から前記時刻ｔまでの経過時間になるよう補正するようにしていることを特徴とする。
本発明第１０の態様によれば、前記選出単位区間の連結に基づいて補正された符号コードを含む生成される符号コードの先頭時刻から先頭時刻に時間差を加えた終了時刻までを時間区間とすると、ある時刻ｔにおいて、所定の個数以上の符号コードの時間区間が重複する場合、前記重複する全ての符号コードに対して、先頭時刻から前記時刻ｔまでの経過時間に基づいて当該符号コードの強度値を補正した変動強度値を算出し、変動強度値が最も小さい符号コードの時間差を当該符号コードの先頭時刻から前記時刻ｔまでの経過時間になるよう補正するようにしたので、連結された音成分の減衰を考慮して、同時発音可能な数に収まるように音成分の数を制限することが可能となる。
また、本発明第１１の態様では、本発明第６から第１０のいずれかの態様において、前記第１のスペクトル算出手段は、前記単位区間の区間信号の構成要素となるべきＮ種類の要素信号を、各々当該周波数ｆ（ｎ）の周期の整数倍に対応し、前記単位区間のサンプル数Ｔに最も近いＴ（ｎ）個のサンプルとして準備し、
前記Ｎ個の各周波数ｆ（ｎ）に対応する要素信号と、それぞれ対応する前記単位区間ｐのＴ（ｎ）個のサンプルで構成される区間信号との相関演算を行うことにより、第１のスペクトル強度Ｅ１（ｐ，ｎ）を算出するものであり、
前記第２のスペクトル算出手段は、
前記Ｎ個の各周波数ｆ（ｎ）に対応する要素信号と、それぞれ対応する前記選出単位区間ｑのＴ（ｎ）個のサンプルで構成される区間信号との相関演算を行い、相関値が最も高い周波数ｆ（ｎｍａｘ）に対応する要素信号を調和信号として選出し、
前記選出された調和信号と当該調和信号について得られた相関値との積で与えられるＴ（ｎｍａｘ）個のサンプルを含有信号とし、当該含有信号を前記区間信号から減じることにより、Ｔ（ｎｍａｘ）個のサンプルで構成される差分信号を算出し、
前記Ｔ（ｎｍａｘ）個のサンプルを反映させ更新されたＴ（ｎ）個のサンプルを新たな区間信号として、前記調和信号の選出および差分信号の算出を実行して新たな含有信号および差分信号を得る処理を繰り返し行うことによりＮ個の含有信号を求め、求められた含有信号の相関値に基づいて、前記Ｎ種類の周波数に対応した第２のスペクトル強度Ｅ２（ｑ，ｎ）を算出することを特徴とする。
前記Ｎ個の各周波数ｆ（ｎ）に対応する要素信号と、それぞれ対応する前記単位区間ｐのＴ（ｎ）個のサンプルで構成される区間信号との相関演算を行うことにより、第１のスペクトル強度Ｅ１（ｐ，ｎ）を算出するものであり、
前記第２のスペクトル算出手段は、
前記Ｎ個の各周波数ｆ（ｎ）に対応する要素信号と、それぞれ対応する前記選出単位区間ｑのＴ（ｎ）個のサンプルで構成される区間信号との相関演算を行い、相関値が最も高い周波数ｆ（ｎｍａｘ）に対応する要素信号を調和信号として選出し、
前記選出された調和信号と当該調和信号について得られた相関値との積で与えられるＴ（ｎｍａｘ）個のサンプルを含有信号とし、当該含有信号を前記区間信号から減じることにより、Ｔ（ｎｍａｘ）個のサンプルで構成される差分信号を算出し、
前記Ｔ（ｎｍａｘ）個のサンプルを反映させ更新されたＴ（ｎ）個のサンプルを新たな区間信号として、前記調和信号の選出および差分信号の算出を実行して新たな含有信号および差分信号を得る処理を繰り返し行うことによりＮ個の含有信号を求め、求められた含有信号の相関値に基づいて、前記Ｎ種類の周波数に対応した第２のスペクトル強度Ｅ２（ｑ，ｎ）を算出することを特徴とする。
本発明第１１の態様によれば、全ての単位区間に対する第１のスペクトル算出を、簡易な離散フーリエ変換により行い、選出単位区間に対する第２のスペクトル算出を高精度な一般化調和解析により行うようにしたので、全ての単位区間の解析結果を参考にしつつ、選出単位区間の情報を高精度に得ることを、全体として効率的に行うことが可能となる。
また、本発明第１２の態様では、本発明第６から第１１のいずれかの態様において、 前記第１のスペクトル算出手段は、
直前の単位区間ｐ−１における各周波数ｆ（ｎ）に対応する直前相関演算結果に対し、前記直前の単位区間ｐ−１における先頭Ｗサンプルに対応する相関演算を行い、各周波数ごとの相関値を前記直前相関演算結果より減算するとともに、前記単位区間ｐにおける最後尾Ｗサンプルに対応する相関演算を行い、各周波数ごとの相関値を前記直前相関演算結果に加算することにより、前記単位区間ｐにおける各周波数ｆ（ｎ）に対応する相関演算結果を取得し、当該相関演算結果に基づいて前記第１のスペクトル強度Ｅ１（ｐ，ｎ）を算出することを特徴とする。
直前の単位区間ｐ−１における各周波数ｆ（ｎ）に対応する直前相関演算結果に対し、前記直前の単位区間ｐ−１における先頭Ｗサンプルに対応する相関演算を行い、各周波数ごとの相関値を前記直前相関演算結果より減算するとともに、前記単位区間ｐにおける最後尾Ｗサンプルに対応する相関演算を行い、各周波数ごとの相関値を前記直前相関演算結果に加算することにより、前記単位区間ｐにおける各周波数ｆ（ｎ）に対応する相関演算結果を取得し、当該相関演算結果に基づいて前記第１のスペクトル強度Ｅ１（ｐ，ｎ）を算出することを特徴とする。
本発明第１２の態様によれば、第１のスペクトル算出における各単位区間に対する簡易な相関演算を行う際、直前の単位区間に対して行われた相関演算結果を利用し、直前相関演算結果の先頭部分を除去するとともに、当該単位区間の最後尾に対する相関演算を行って、その結果を直前相関演算結果に加算するようにしたので、直前の単位区間の相関演算結果の大部分を流用することができ、全ての単位区間に対する演算処理を高速化することが可能となる。
また、本発明第１３の態様では、本発明第１から第１２のいずれかの態様において、前記スペクトル算出手段は、
前記Ｎ種類の各周波数ｆ（ｎ）に対して、整数ｋを用いてｆ（ｎ）／ｋなる所定数の低域周波数を定義し、前記低域周波数ｆ（ｎ）／ｋに対応するスペクトル強度が存在する場合、前記低域周波数ｆ（ｎ）／ｋに対応するスペクトル強度に基づいて前記Ｎ種類の各周波数ｆ（ｎ）に対応するスペクトル強度を所定の割合だけ減衰させるように補正を行い、倍音補正されたスペクトル強度を作成することを特徴とする。
前記Ｎ種類の各周波数ｆ（ｎ）に対して、整数ｋを用いてｆ（ｎ）／ｋなる所定数の低域周波数を定義し、前記低域周波数ｆ（ｎ）／ｋに対応するスペクトル強度が存在する場合、前記低域周波数ｆ（ｎ）／ｋに対応するスペクトル強度に基づいて前記Ｎ種類の各周波数ｆ（ｎ）に対応するスペクトル強度を所定の割合だけ減衰させるように補正を行い、倍音補正されたスペクトル強度を作成することを特徴とする。
本発明第１３の態様によれば、Ｎ種類の各周波数ｆ（ｎ）に対して、整数ｋを用いてｆ（ｎ）／ｋなる所定数の低域周波数を定義し、低域周波数ｆ（ｎ）／ｋに対応するスペクトル強度が存在する場合、低域周波数ｆ（ｎ）／ｋに対応するスペクトル強度に基づいてｆ（ｎ）に対応するスペクトル強度を所定の割合だけ減衰させるように補正を行い、倍音補正されたスペクトル強度を作成するようにしたので、音響信号を、倍音が除去された状態で、より明瞭に再現することが可能となる。
本発明によれば、限定された数の周波数で再生される音源を用いて音を再現する際に、時間分解能を向上させて、音をより明瞭に再現することが可能となるという効果を有する。
以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。
＜１．装置構成＞
図１は、本発明の一実施形態における音響信号の符号化装置のハードウェア構成図である。本実施形態に係る音響信号の符号化装置は、汎用のコンピュータで実現することができ、図１に示すように、ＣＰＵ（Central Processing Unit）１と、コンピュータのメインメモリであるＲＡＭ（Random Access Memory）２と、ＣＰＵ１が実行するプログラムやデータを記憶するためのハードディスク、フラッシュメモリ等の大容量の記憶装置３と、キーボード、マウス等のキー入力Ｉ／Ｆ（インターフェース）４と、外部デバイス（データ記憶媒体）とデータ通信するためのデータ入出力Ｉ／Ｆ５と、液晶ディスプレイ等の表示デバイスである表示部６と、を備え、互いにバスを介して接続されている。
＜１．装置構成＞
図１は、本発明の一実施形態における音響信号の符号化装置のハードウェア構成図である。本実施形態に係る音響信号の符号化装置は、汎用のコンピュータで実現することができ、図１に示すように、ＣＰＵ（Central Processing Unit）１と、コンピュータのメインメモリであるＲＡＭ（Random Access Memory）２と、ＣＰＵ１が実行するプログラムやデータを記憶するためのハードディスク、フラッシュメモリ等の大容量の記憶装置３と、キーボード、マウス等のキー入力Ｉ／Ｆ（インターフェース）４と、外部デバイス（データ記憶媒体）とデータ通信するためのデータ入出力Ｉ／Ｆ５と、液晶ディスプレイ等の表示デバイスである表示部６と、を備え、互いにバスを介して接続されている。
図２は、本実施形態に係る音響信号の符号化装置の構成を示す機能ブロック図である。図２において、１０は区間設定手段、２０はスペクトル算出手段、３０はスペクトル補正手段、４０は符号化手段、５０は記憶手段、５１は音響信号記憶部、５２は符号コード記憶部である。
区間設定手段１０は、音響信号から所定数のサンプルを１単位区間として読み込む機能を有している。スペクトル算出手段２０は、区間設定手段１０が音響信号から読み込んだサンプルを単位区間ごとにフーリエ変換等により周波数解析して周波数次元の複素数のスペクトル強度を算出する機能を有している。スペクトル算出手段２０は、２種類の周波数解析を実行するものであり、第１のスペクトル強度を算出する第１のスペクトル算出手段、第２のスペクトル強度を算出する第２のスペクトル算出手段を含む。スペクトル補正手段３０は、スペクトル算出手段２０により算出されたスペクトル強度を補正して補正スペクトル強度を算出する機能を有している。符号化手段４０は、算出された補正スペクトル強度を所定の符号コードに符号化する機能を有している。
記憶手段５０は、音響信号を記憶した音響信号記憶部５１と、符号コードを記憶する符号コード記憶部５２を有しており、その他処理に必要な各種情報を記憶するものである。
図２に示した各構成手段は、現実には図１に示したように、コンピュータおよびその周辺機器等のハードウェアに専用のプログラムを搭載することにより実現される。すなわち、コンピュータが、専用のプログラムに従って各手段の内容を実行することになる。
図１の記憶装置３には、ＣＰＵ１を動作させ、コンピュータを、音響信号の符号化装置として機能させるための専用のプログラムが実装されている。この専用のプログラムを実行することにより、ＣＰＵ１は、区間設定手段１０、スペクトル算出手段２０、スペクトル補正手段３０、符号化手段４０、記憶手段５０としての機能を実現することになる。また、記憶装置３は、処理に必要な様々なデータを記憶する。
＜２．処理動作＞
図３は、本実施形態に係る音響信号の符号化装置の処理動作を示すフローチャートである。まず、区間設定手段１０が、処理対象であるデジタル音響信号を、音響信号記憶部５１から読み込む（ステップＳ１）。デジタル音響信号は、アナログ音響信号を所定のサンプリング周波数、量子化ビット数でサンプリングしたものであり、本実施形態では、サンプリング周波数４４．１ｋＨｚ、量子化ビット数１６ビットでサンプリングした場合を例にとって以下説明していく。サンプリング周波数４４．１ｋＨｚでサンプリングした場合、デジタル音響信号は、１秒間に４４１００個のサンプル（信号強度値）を有するサンプル列（サンプルの配列：強度配列）として構成されることになる。
図３は、本実施形態に係る音響信号の符号化装置の処理動作を示すフローチャートである。まず、区間設定手段１０が、処理対象であるデジタル音響信号を、音響信号記憶部５１から読み込む（ステップＳ１）。デジタル音響信号は、アナログ音響信号を所定のサンプリング周波数、量子化ビット数でサンプリングしたものであり、本実施形態では、サンプリング周波数４４．１ｋＨｚ、量子化ビット数１６ビットでサンプリングした場合を例にとって以下説明していく。サンプリング周波数４４．１ｋＨｚでサンプリングした場合、デジタル音響信号は、１秒間に４４１００個のサンプル（信号強度値）を有するサンプル列（サンプルの配列：強度配列）として構成されることになる。
音響信号の符号化装置は、続くステップＳ２〜Ｓ５において、所定の区間に対して周波数解析を行う。本実施形態では、単位区間を設定した後、所定の選出条件を満たす単位区間を選出単位区間として選出することにより、周波数解析の対象とする区間の設定を行う。
本実施形態では、特許文献４と同様、図４に示すように、固定間隔で単位区間を設定し、各単位区間に対して離散フーリエ変換を実行して解析結果を得る。そして、その解析結果を直前の単位区間と比較して、所定の条件を満たす場合に、選出単位区間として選出する。図４の例では、単位区間１、５、６がそれぞれ選出単位区間１、２、３として選出されている。そして、選出単位区間に対して一般化調和解析を実行して解析結果としてスペクトル強度を得る。
具体的には、まず、区間設定手段１０が、時系列のサンプル列上に単位区間を設定する（ステップＳ２）。単位区間長（＝サンプル数）Ｔは、サンプリング周波数との関係で設定されるが、サンプリング周波数が４４．１ｋＨｚの場合、低域部まで忠実に解析するためには、４０９６サンプル以上必要である。しかし、本実施形態では、時間分解能を高めるため、１単位区間のサンプル数Ｔ＝１０２４として単位区間を設定している。１単位区間のサンプル数を、基準とする４０９６より減らすことにより、単位区間が短い時間間隔で設定されるため、この単位区間単位で解析を行うことにより時間分解能が高まる。１単位区間のサンプル数を減らすと、低域部を忠実に解析することは難しくなるが、低域部に周波数成分が少ない音声や、音楽であってもあまり低域部が表現されていないものについては、十分な解析を行うことができる。
単位区間の設定は、特許文献１、３、４に開示されているように、デジタル音響信号の先頭から順次サンプルを抽出することにより行われる。単位区間は、全てのサンプルを漏らさず設定し、好ましくは、連続する単位区間においてサンプルが重複するように設定する。本実施形態では、各単位区間の先頭の間隔（シフト幅という）を固定値で設定する。すなわち、重複させるサンプル数を一定として設定する。本実施形態では、シフト幅Ｗ＝１６の固定値とする。これにより、Ｔ＝１０２４の場合、先頭の単位区間をｊ＝０〜１０２３、２番目の単位区間をｊ＝１６〜１０３９、３番目の単位区間をｊ＝３２〜１０５５というように、１００８個のサンプルを重複させながら、設定することになる。そして、各サンプルの値ｘ（ｊ）を各単位区間ｐ（ｐは０以上の整数）ごとの値ｘ（ｐ，ｉ）（０≦ｉ≦Ｔ−１）と表現する。
次に、スペクトル算出手段２０が、設定された各単位区間を対象として第１の周波数解析である離散フーリエ変換を実行し、各単位区間のスペクトル強度を算出する（ステップＳ３）。すなわち、ステップＳ３においては、２種類の周波数解析を行うスペクトル算出手段２０が有する第１のスペクトル算出手段が、第１のスペクトル強度を算出する。各単位区間のスペクトル強度の算出は、特許文献１〜３に開示されているように、ＭＩＤＩのノートナンバーｎに対応する１２８種類の解析周波数ｆ（ｎ）＝４４０・２(n-69)/12の要素信号（要素関数）を基本にした離散フーリエ変換により、１２８個の成分を抽出することにより行う。“１２８種類”“１２８個”というのは一例であり、例えば、ＭＩＤＩ規格の場合、ノートナンバーｎ＝０〜１２７の範囲に対応するが、グランドピアノを再現するための規格音域は、ノートナンバーｎ＝２１〜１０８の範囲である。したがって、この場合、８８種類の解析周波数を用いて８８個の成分を抽出することになる。
ノートナンバーｎに対応して解析周波数を設定した場合、周波数が高くなるにつれ、ノートナンバー間の周波数間隔が広くなるため、特に、ｎが６０を超えると解析精度が低下してしまう。そこで、本実施形態では、特許文献３に開示したように、ノートナンバー間をＭ個の微分音（副周波数）に分割した１２８Ｍ種類の解析周波数ｆ（ｎ，ｍ）＝４４０・２(n-69+m/M)/12の要素信号を用いて解析を行い、１２８Ｍ個の成分を抽出する。後述するステップＳ１１の符号コード作成処理においてピッチベンド符号の付加など特殊な符号化を行わない限り、各ノートナンバーにおけるＭ個の微分音の情報は不要であるため、Ｍ個の微分音の成分の最大値を当該ノートナンバーにおける成分として代表させ、結果的に１２８個の成分を抽出する。
スペクトル算出手段２０による具体的な処理手順としては、各単位区間ｐごとに、まず、ノートナンバー分の強度値の配列Ｅ１（ｐ，ｎ）（０≦ｎ≦１２７）と副周波数配列Ｓ（ｐ，ｎ）を設定し、初期値を全て０とする。続いて、０≦ｎ≦１２７および０≦ｍ≦Ｍ−１に対して以下の〔数式１〕に従った処理を実行し、Ｅ１（ｐ，ｎ，ｍ）を最大にする（ｎｍａｘ，ｍｍａｘ）を求める。
〔数式１〕
Ａ(ｐ，ｎ，ｍ)＝(１／Ｔ（ｎ）)・Σi=0,T(n)-1ｘ(ｐ，ｉ)・ sin(２πｆ（ｎ，ｍ）（ｉ＋ｐＷ）／ｆｓ)
Ｂ(ｐ，ｎ，ｍ)＝(１／Ｔ（ｎ）)・Σi=0,T(n)-1ｘ(ｐ，ｉ) ・cos(２πｆ（ｎ，ｍ）（ｉ＋ｐＷ）／ｆｓ)
Ｅ１(ｐ，ｎ，ｍ)＝｛Ａ(ｐ，ｎ，ｍ)｝2＋｛Ｂ(ｐ，ｎ，ｍ)｝2
Ａ(ｐ，ｎ，ｍ)＝(１／Ｔ（ｎ）)・Σi=0,T(n)-1ｘ(ｐ，ｉ)・ sin(２πｆ（ｎ，ｍ）（ｉ＋ｐＷ）／ｆｓ)
Ｂ(ｐ，ｎ，ｍ)＝(１／Ｔ（ｎ）)・Σi=0,T(n)-1ｘ(ｐ，ｉ) ・cos(２πｆ（ｎ，ｍ）（ｉ＋ｐＷ）／ｆｓ)
Ｅ１(ｐ，ｎ，ｍ)＝｛Ａ(ｐ，ｎ，ｍ)｝2＋｛Ｂ(ｐ，ｎ，ｍ)｝2
上記〔数式１〕においてＴ（ｎ）は解析フレーム長であり、要素信号（要素関数）の１周期が単位区間長Ｔ以下の場合、単位区間長Ｔを超えない範囲で要素信号の周期の最大の整数倍になるようにＴ（ｎ）＝ｇ×ｆｓ／ｆ（ｎ，ｍ）で設定する。ただし、要素信号の１周期が単位区間長Ｔより大きい場合、Ｔ（ｎ）＝Ｔで与え、Ａ(ｐ，ｎ，ｍ)＝Ｂ(ｐ，ｎ，ｍ)＝０に設定する。なお、ｇは１以上の整数値、ｆｓはサンプリング周波数（例えば、４４．１ｋＨｚ）である。
上記〔数式１〕に従った処理を各単位区間に対して実行し、Ａ(ｐ，ｎ，ｍ)、Ｂ(ｐ，ｎ，ｍ)、Ｅ１(ｐ，ｎ，ｍ)を求めることも可能である。ここで、本実施形態における単位区間と解析範囲の関係を図５に示す。図５において、上端の波形は原音響信号、下端の波形は要素信号をそれぞれ模式的に示したものである。図５の例では、対象とする単位区間である対象単位区間と、その直前の単位区間である直前単位区間のみを示してあるが、それぞれの相関計算範囲は、矩形の横方向の長さになる。本実施形態では、相関計算範囲である単位区間長Ｔを１０２４サンプル、シフト幅Ｗを１６サンプルとしているため、重複部分が非常に大きい。そこで、本実施形態では、重複部分については、直前単位区間における解析結果を利用することにより、解析処理の効率化を図っている。
本実施形態における単位区間の解析処理の様子を図６に示す。図６に示すように、対象単位区間における解析結果を得る際に、直前単位区間の重複部分を利用する。具体的には、対象単位区間と重複しない直前単位区間の先頭部分を削除し、直前単位区間と重複しない対象単位区間の最後尾部分のみ、相関演算を行って追加する。従って、単位区間内全体に渡って相関演算を行うのは、先頭の単位区間（ｐ＝０）に対してだけということになる。
ｐ≧１の場合、すなわち、２番目以降の単位区間ｐについて処理する場合、直前の単位区間（ｐ−１）についてのＡ(ｐ−１，ｎ，ｍ)、Ｂ(ｐ−１，ｎ，ｍ)が既に算出されている。本実施形態では、Ａ(ｐ−１，ｎ，ｍ)、Ｂ(ｐ−１，ｎ，ｍ)を用いて、以下の〔数式２〕に従った処理を実行することにより、単位区間ｐについてのＡ(ｐ，ｎ，ｍ) 、Ｂ(ｐ，ｎ，ｍ)を算出する。
〔数式２〕
Ａ(ｐ，ｎ，ｍ)＝Ａ(ｐ−１，ｎ，ｍ) −(１／Ｗ)・Σi=0,W-1ｘ(ｐ−１，ｉ) ・sin(２πｆ（ｎ，ｍ）（ｉ＋（ｐ−１）Ｗ）／ｆｓ)＋(１／Ｗ)・Σi=T(n)-W,T(n)-1ｘ(ｐ，ｉ)・ sin(２πｆ（ｎ，ｍ）（ｉ＋ｐＷ）／ｆｓ)
Ｂ(ｐ，ｎ，ｍ)＝Ｂ(ｐ−１，ｎ，ｍ) −(１／Ｗ)・Σi=0,W-1ｘ(ｐ−１，ｉ) ・cos(２πｆ（ｎ，ｍ）（ｉ＋（ｐ−１）Ｗ）／ｆｓ)＋(１／Ｗ)・Σi=T(n)-W,T(n)-1ｘ(ｐ，ｉ)・ cos(２πｆ（ｎ，ｍ）（ｉ＋ｐＷ）／ｆｓ)
Ｅ１(ｐ，ｎ，ｍ)＝｛Ａ(ｐ，ｎ，ｍ)｝2＋｛Ｂ(ｐ，ｎ，ｍ)｝2
Ａ(ｐ，ｎ，ｍ)＝Ａ(ｐ−１，ｎ，ｍ) −(１／Ｗ)・Σi=0,W-1ｘ(ｐ−１，ｉ) ・sin(２πｆ（ｎ，ｍ）（ｉ＋（ｐ−１）Ｗ）／ｆｓ)＋(１／Ｗ)・Σi=T(n)-W,T(n)-1ｘ(ｐ，ｉ)・ sin(２πｆ（ｎ，ｍ）（ｉ＋ｐＷ）／ｆｓ)
Ｂ(ｐ，ｎ，ｍ)＝Ｂ(ｐ−１，ｎ，ｍ) −(１／Ｗ)・Σi=0,W-1ｘ(ｐ−１，ｉ) ・cos(２πｆ（ｎ，ｍ）（ｉ＋（ｐ−１）Ｗ）／ｆｓ)＋(１／Ｗ)・Σi=T(n)-W,T(n)-1ｘ(ｐ，ｉ)・ cos(２πｆ（ｎ，ｍ）（ｉ＋ｐＷ）／ｆｓ)
Ｅ１(ｐ，ｎ，ｍ)＝｛Ａ(ｐ，ｎ，ｍ)｝2＋｛Ｂ(ｐ，ｎ，ｍ)｝2
続いて、ノートナンバーｎごとに、０≦ｍ≦Ｍ−１の範囲で、Ｅ（ｐ，ｎ，ｍ）を最大にする（ｐ，ｎ，ｍｍａｘ）を求め、Ｅ１(ｐ，ｎ)＝Ｅ１(ｐ，ｎ，ｍｍａｘ)、Ｓ（ｐ，ｎ）＝ｍｍａｘとする処理を行う。そして、算出されたＥ１(ｐ，ｎ)、Ｓ（ｐ，ｎ）をメモリ（ＲＡＭ２、記憶装置３等）に一時保存する。メモリに一時保存されたＥ１(ｐ，ｎ)、Ｓ（ｐ，ｎ）は、後述する単音成分連結処理において用いる。
次に、スペクトル算出手段２０は、単位区間ｐにおいて算出されたスペクトル強度Ｅ１(ｐ，ｎ)と、直前区間（ｐ−１）において算出されたスペクトル強度Ｅ１(ｐ−１，ｎ)との変化の評価を行う（ステップＳ４）。具体的には、まず、以下の〔数式３〕に従った処理を実行することにより、単位区間ｐの直前区間（ｐ−１）との変化評価値ｄＥ(ｐ−１，ｐ)を算出する。
〔数式３〕
ｄＥ(ｐ−１，ｐ)＝（１００／Ｎ）・Σn=0,N-1｛（Ｅ１(ｐ，ｎ)−Ｅ１(ｐ−１，ｎ)）／（Ｅ１(ｐ，ｎ)＋Ｅ１(ｐ−１，ｎ)）｝
ｄＥ(ｐ−１，ｐ)＝（１００／Ｎ）・Σn=0,N-1｛（Ｅ１(ｐ，ｎ)−Ｅ１(ｐ−１，ｎ)）／（Ｅ１(ｐ，ｎ)＋Ｅ１(ｐ−１，ｎ)）｝
上記〔数式３〕において、｛｝内の分子（Ｅ１(ｐ，ｎ)−Ｅ１(ｐ−１，ｎ)）は差分値であるため、負値となる場合もある。これは、音が大きくなる部分は変化評価値に反映させるが、音が小さくなる部分は変化評価値に反映させないようにするためである。
そして、得られた変化評価値ｄＥ(ｐ−１，ｐ)が、所定のしきい値（例えば〔数式３〕のように“１００”に正規化している場合“４０”）未満である場合は、ｐ←ｐ＋１としてＳ２に戻り、次の単位区間ｐの設定を行う。
一方、得られた変化評価値ｄＥ(ｐ−１，ｐ)が、所定のしきい値以上である場合は、スペクトル算出手段２０は、その単位区間ｐを選出単位区間ｑとして選出し、選出単位区間ｑについて第２の周波数解析である一般化調和解析を実行し、各選出単位区間のスペクトルを算出する（ステップＳ５）。すなわち、ステップＳ５においては、２種類の周波数解析を行うスペクトル算出手段２０が有する第２のスペクトル算出手段が、第２のスペクトル強度を算出する。ｑの値は最初に選出された選出単位区間を０とし、以降は選出されるごとに１ずつ加算した値を与える。
具体的には、まず、Ｓ３において設定されたＥ１(ｐ，ｎ)が最大になるＥ１(ｐ，ｎｍａｘ)を求める。すなわち、０≦ｎ≦１２７の全てのｎのうち、Ｅ１(ｐ，ｎ)が最大になるｎの値をｎｍａｘとして求めるとともに、そのときのＥ１(ｐ，ｎ)をＥ１(ｐ，ｎｍａｘ)として求める。これは、上記〔数式１〕の処理を全てのｎに対して実行し、算出されたｎ個のＥ１(ｐ，ｎ)のうち最大のものを選択することにより行われる。さらに、求めたｎｍａｘを用いて、ｍｍａｘ＝Ｓ（ｐ，ｎｍａｘ）と設定する。
そして、得られたｎｍａｘ、ｍｍａｘを用いて以下の〔数式４〕に従った処理を実行することにより、Ａ(ｐ，ｎｍａｘ，ｍｍａｘ)、Ｂ(ｐ，ｎｍａｘ，ｍｍａｘ)を算出する。〔数式４〕に従った処理を実行するに際し、まず、単位区間ｐはｑ番目に選出された選出単位区間ｑであるとした場合に、インデックス番号Ｐ（ｑ）＝ｐと設定し、選出単位区間ｑにおいてノートナンバー分の相関強度配列Ｅ２（ｑ，ｎ）を定義し、初期値を全て０未満の値（例えば−１）に設定しておく。
〔数式４〕
Ａ(ｐ，ｎｍａｘ，ｍｍａｘ)＝(１／Ｔ（ｎｍａｘ）)・Σi=0,T(nmax)-1ｘ(ｐ，ｉ)・ sin(２πｆ（ｎｍａｘ，ｍｍａｘ）ｉ／ｆｓ)
Ｂ(ｐ，ｎｍａｘ，ｍｍａｘ)＝(１／Ｔ（ｎｍａｘ）)・Σi=0,T(nmax)-1ｘ(ｐ，ｉ) ・cos(２πｆ（ｎｍａｘ，ｍｍａｘ）ｉ／ｆｓ)
Ｅ２(ｑ，ｎｍａｘ)＝｛Ａ(ｐ，ｎｍａｘ，ｍｍａｘ)｝2＋｛Ｂ(ｐ，ｎｍａｘ，ｍｍａｘ)｝2
Ａ(ｐ，ｎｍａｘ，ｍｍａｘ)＝(１／Ｔ（ｎｍａｘ）)・Σi=0,T(nmax)-1ｘ(ｐ，ｉ)・ sin(２πｆ（ｎｍａｘ，ｍｍａｘ）ｉ／ｆｓ)
Ｂ(ｐ，ｎｍａｘ，ｍｍａｘ)＝(１／Ｔ（ｎｍａｘ）)・Σi=0,T(nmax)-1ｘ(ｐ，ｉ) ・cos(２πｆ（ｎｍａｘ，ｍｍａｘ）ｉ／ｆｓ)
Ｅ２(ｑ，ｎｍａｘ)＝｛Ａ(ｐ，ｎｍａｘ，ｍｍａｘ)｝2＋｛Ｂ(ｐ，ｎｍａｘ，ｍｍａｘ)｝2
そして、算出されたＡ(ｐ，ｎｍａｘ，ｍｍａｘ)、Ｂ(ｐ，ｎｍａｘ，ｍｍａｘ)を用いて、以下の〔数式５〕に従った処理を実行することにより、単位区間ｐ内のサンプル（ｐ，ｉ）の値ｘ（ｐ，ｉ）を０≦ｉ≦Ｔ（ｎｍａｘ）−１に渡って更新する。
〔数式５〕
ｘ(ｐ，ｉ)←ｘ(ｐ，ｉ)−Ａ(ｐ，ｎｍａｘ，ｍｍａｘ) ・sin(２πｆ（ｎｍａｘ，ｍｍａｘ）ｉ／ｆｓ)−Ｂ(ｐ，ｎｍａｘ，ｍｍａｘ) ・cos(２πｆ（ｎｍａｘ，ｍｍａｘ）ｉ／ｆｓ)
ｘ(ｐ，ｉ)←ｘ(ｐ，ｉ)−Ａ(ｐ，ｎｍａｘ，ｍｍａｘ) ・sin(２πｆ（ｎｍａｘ，ｍｍａｘ）ｉ／ｆｓ)−Ｂ(ｐ，ｎｍａｘ，ｍｍａｘ) ・cos(２πｆ（ｎｍａｘ，ｍｍａｘ）ｉ／ｆｓ)
〔数式５〕の処理は、元の音響信号から含有信号を除去する処理である。含有成分を除去した後の音響信号に対して、さらに処理したｎｍａｘの値以外のｎを対象としてＥ２(ｑ，ｎ)が最大になる新たなＥ２(ｑ，ｎｍａｘ)を求め、その新たなｎｍａｘを用いて、〔数式４〕〔数式５〕に従った処理を実行する。この結果、さらに含有信号が音響信号から除去される。スペクトル算出手段２０は、このような処理を１２８個全てのｎに対して実行し、Ｅ２(ｑ，ｎ)を得る。
本実施形態では、処理負荷を軽減するため、Ｍの値については、ノートナンバーに基づいて可変に設定し、例えば解析する周波数間隔が１００Ｈｚ程度になるようにしている。そして、ノートナンバー６０以下は分割せずＭ＝１にする。また、精度は若干落ちるが、スペクトル強度Ｅ１(ｐ，ｎ)を決定するための〔数式１〕の処理でＳ（ｐ，ｎ）を決定し、スペクトル強度Ｅ２(ｑ，ｎ)を決定するための〔数式４〕の処理は、ｍ＝Ｓ（ｐ，ｎ）に固定して行い、微分音解析を省略するようにしても良い。また、〔数式４〕の処理で、既に同一ノートナンバーに対して副周波数が異なる信号成分が複数回に渡って解析される可能性があるが、Ｅ２(ｑ，ｎ)に既に値がセットされている場合は、Ｅ１（ｐ，ｎ）の最大値の選定候補から除外するようにしても良い。
ここで、単位区間における解析フレーム（解析対象サンプル）の設定について説明する。なお、以下の説明は上述の選出単位区間においても同様に適用される。図７は、音響信号から抽出した単位区間における区間信号であるサンプル列と調和信号の対応関係を示す図である。このうち、図７（ａ）は、音響信号から抽出した単位区間における区間信号であるサンプル列である。各サンプルにおけるサンプル値（例えば１０２４個）を結ぶことにより、図７（ａ）に示すような波形状で示される。１２８個の調和信号のうち、図７（ｂ）に示すような１周期が単位区間長Ｔ以下の高音部の解析調和信号と相関演算を行う際、および単位区間より選出された調和信号である含有信号を減算する際には、調和信号の１周期が単位区間長Ｔを超えない範囲まで周期を整数倍（図７（ｂ）では５倍）した長さを解析サンプル数Ｔ（ｎ）とし、単位区間の先頭からサンプルＴ（ｎ）個を抽出して、解析フレームとする。調和信号の１周期が単位区間長Ｔより大きい場合、上述のように、無条件にＡ(ｐ，ｎ，ｍ)＝Ｂ(ｐ，ｎ，ｍ)＝０に設定する。
各選出単位区間ｑについて解析サンプル数を変化させながら周波数解析を行い、スペクトル（１２８個の周波数成分）が算出されたら、スペクトル算出手段２０は、各選出単位区間ｑにおける解析結果に対して倍音成分の補正を行う（ステップＳ６）。具体的には、〔数式４〕〔数式５〕に従った処理を実行して得られた０≦ｎ≦１２７の全てのＥ２(ｑ，ｎ)に対して、２，３，４，５，６，７，８，９，１０分の１の周波数に対応する９個のノートナンバー・オフセットテーブルＮｏ（ｋ）（整数ｋ＝２，・・・，１０）を定義する。Ｎｏ（ｋ）の具体例は、Ｎｏ（ｋ）＝｛１２，１９，２４，２８，３１，３４，４６，３８，４０｝である。そして、以下の〔数式６〕に従った処理を実行することにより、各選出単位区間ｑにおけるＥ２(ｑ，ｎ)を０≦ｎ≦１２７に渡って更新する。
〔数式６〕
Ｅ２(ｑ，ｎ)←Ｅ２(ｑ，ｎ)−Σk=2,10｛Ｅ２(ｑ，ｎ)・Ｅ２(ｑ，ｎ−Ｎｏ（ｋ）)｝1/2・γ
Ｅ２(ｑ，ｎ)←Ｅ２(ｑ，ｎ)−Σk=2,10｛Ｅ２(ｑ，ｎ)・Ｅ２(ｑ，ｎ−Ｎｏ（ｋ）)｝1/2・γ
上記〔数式６〕に従った処理の結果、Ｅ２(ｑ，ｎ)＜０となった場合には、Ｅ２(ｑ，ｎ)＝０に設定する。なお、ステップＳ６における倍音成分の補正は、対象となる音響信号が音声でない場合には、省略してもよい。
各選出単位区間ｑについて倍音成分の補正が行われたら、符号化手段４０が、個々の選出単位区間ごとに、得られたスペクトルに基づいて、Ｎ種類の各周波数に対応して、各周波数を特定可能な周波数情報と、各々に対応するスペクトル強度、および当該選出単位区間の開始と終了を特定可能な時間情報で構成される単音成分を作成する（ステップＳ７）。具体的には、算出したスペクトルに、各ノートナンバーｎの時刻、音長の情報を追加し、[開始時刻，音長，主周波数ｎ，副周波数Ｓ（Ｐ（ｑ），ｎ），強度Ｅ２（ｑ，ｎ）]で構成される単音成分を作成する。「開始時刻」としては選出単位区間の先頭の時刻を、デジタル音響信号全体において特定できる情報であれば良く、本実施形態では、単位区間の先頭サンプル（ｉ＝０）に付されたデジタル音響信号全体におけるサンプル番号（絶対サンプルアドレス：ｊに対応）を記録している。この絶対サンプルアドレスをサンプリング周波数（４４１００）で除算することにより、音響信号先頭からの時刻が得られる。音長は、本実施形態では選出単位区間ごとに可変で与えられることを特徴とし、直後に後続する一般化調和解析を行った選出単位区間の開始時刻までの差分（後続する選出単位区間の開始時刻−当該選出単位区間の開始時刻）で与えられる。すなわち、音長は｛Ｐ（ｑ）−Ｐ（ｑ−１）｝・Ｗで定義される。直後に後続する選出単位区間が存在しない場合（最終の選出単位区間である場合）、単位区間のシフト幅Ｗを音長として与える。
各選出単位区間ｑについて単音成分が作成されたら、符号化手段４０は、選出単位区間ｑに対する連結条件パラメータＣ（ｑ，ｎ）を算出する（ステップＳ８）。連結条件パラメータＣ（ｑ，ｎ）は、直前の選出単位区間ｑ−１との連結可否の判定を行うためのものであり、Ｃ（ｑ，ｎ）＝｛０，１，２，３｝のいずれかの値をとる。Ｃ（ｑ，ｎ）＝０は、“連結不可”であることを示し、Ｃ（ｑ，ｎ）＝１は、“同一ノートナンバーとの単音成分と連結可能”であることを示し、Ｃ（ｑ，ｎ）＝２は、“選出単位区間ｑ−１のノートナンバーｎ−１の単音成分と連結可能”であることを示し、Ｃ（ｑ，ｎ）＝３は、“選出単位区間ｑ−１のノートナンバーｎ＋１の単音成分と連結可能”であることを示す。
選出単位区間ｑ−１において周波数解析されたノートナンバーｎの単音成分を［時刻Ｐ（ｑ−１）・Ｗ，主周波数ｎ，副周波数Ｓ(Ｐ（ｑ−１）, ｎ)，強度Ｅ２（ｑ−１, ｎ) ，連結条件パラメータＣ（ｑ−１，ｎ）］とし、選出単位区間qにおいて周波数解析されたノートナンバーｎの単音成分を［時刻Ｐ（ｑ）・Ｗ，主周波数ｎ，副周波数Ｓ(Ｐ（ｑ）, ｎ)，強度Ｅ２（ｑ, ｎ)，連結条件パラメータＣ（ｑ，ｎ）］とする。時間的に隣接するこれら２つの単音成分に対して、ノートナンバーｎに対して上下±１の変移を考慮し、副周波数を考慮した、隣接する選出単位区間同士の周波数の差が所定値Ｎｄｉｆ未満で、双方の強度が所定のしきい値Ｌｍｉｎより大きく、かつ双方の強度の和に対する強度の差の比率が所定値Ｌｄｉｆ未満である場合、両者の連続性が認められるため連結可能と判定する。具体的には、以下の〔数式７〕に従った条件を満たす場合に、連結条件パラメータＣ（ｑ，ｎ）＝１に設定する。
〔数式７〕
｜Ｓ（Ｐ（ｑ），ｎ）−Ｓ（Ｐ（ｑ−１），ｎ）｜＜Ｎｄｉｆ、かつ、
Ｅ２（ｑ−１，ｎ）＞Ｌｍｉｎ、かつ、Ｅ２（ｑ，ｎ）＞Ｌｍｉｎ、かつ、
｛Ｅ２（ｑ，ｎ）−Ｅ２（ｑ−１，ｎ）｝／｛Ｅ２（ｑ，ｎ）＋Ｅ２（ｑ−１，ｎ）｝＜Ｌｄｉｆ
｜Ｓ（Ｐ（ｑ），ｎ）−Ｓ（Ｐ（ｑ−１），ｎ）｜＜Ｎｄｉｆ、かつ、
Ｅ２（ｑ−１，ｎ）＞Ｌｍｉｎ、かつ、Ｅ２（ｑ，ｎ）＞Ｌｍｉｎ、かつ、
｛Ｅ２（ｑ，ｎ）−Ｅ２（ｑ−１，ｎ）｝／｛Ｅ２（ｑ，ｎ）＋Ｅ２（ｑ−１，ｎ）｝＜Ｌｄｉｆ
そして、〔数式７〕に従った条件の判定後、さらに以下の〔数式８〕または〔数式９〕に従った条件を満たす場合に、連結条件パラメータＣ（ｑ，ｎ）＝２に設定する。
〔数式８〕
｜Ｓ（Ｐ（ｑ），ｎ）−Ｓ（Ｐ（ｑ−１），ｎ−１）−Ｍ｜＜Ｎｄｉｆ、かつ、
Ｅ２（ｑ−１，ｎ−１）＞Ｌｍｉｎ、かつ、Ｅ２（ｑ，ｎ）＞Ｌｍｉｎ、かつ、
｛Ｅ２（ｑ，ｎ）−Ｅ２（ｑ−１，ｎ−１）｝／｛Ｅ２（ｑ，ｎ）＋Ｅ２（ｑ−１，ｎ−１）｝＜Ｌｄｉｆ、かつ、
Ｃ（ｑ，ｎ）＝０
｜Ｓ（Ｐ（ｑ），ｎ）−Ｓ（Ｐ（ｑ−１），ｎ−１）−Ｍ｜＜Ｎｄｉｆ、かつ、
Ｅ２（ｑ−１，ｎ−１）＞Ｌｍｉｎ、かつ、Ｅ２（ｑ，ｎ）＞Ｌｍｉｎ、かつ、
｛Ｅ２（ｑ，ｎ）−Ｅ２（ｑ−１，ｎ−１）｝／｛Ｅ２（ｑ，ｎ）＋Ｅ２（ｑ−１，ｎ−１）｝＜Ｌｄｉｆ、かつ、
Ｃ（ｑ，ｎ）＝０
〔数式９〕
｜Ｅ２（ｑ，ｎ）−Ｅ２（ｑ−１，ｎ−１）｜／｛Ｅ２（ｑ，ｎ）＋Ｅ２（ｑ−１，ｎ−１）｝＜｜Ｅ２（ｑ，ｎ）−Ｅ２（ｑ−１，ｎ）｜／｛Ｅ２（ｑ，ｎ）＋Ｅ２（ｑ−１，ｎ）｝、かつ、
Ｃ（ｑ，ｎ）＝１
｜Ｅ２（ｑ，ｎ）−Ｅ２（ｑ−１，ｎ−１）｜／｛Ｅ２（ｑ，ｎ）＋Ｅ２（ｑ−１，ｎ−１）｝＜｜Ｅ２（ｑ，ｎ）−Ｅ２（ｑ−１，ｎ）｜／｛Ｅ２（ｑ，ｎ）＋Ｅ２（ｑ−１，ｎ）｝、かつ、
Ｃ（ｑ，ｎ）＝１
そして、〔数式８〕および〔数式９〕に従った条件の判定後、さらに以下の〔数式１０〕〔数式１１〕〔数式１２〕のいずれか一つ以上に従った条件を満たす場合に、連結条件パラメータＣ（ｑ，ｎ）＝３に設定する。
〔数式１０〕
｜Ｓ（Ｐ（ｑ），ｎ）−Ｓ（Ｐ（ｑ−１），ｎ＋１）＋Ｍ｜＜Ｎｄｉｆ、かつ、
Ｅ２（ｑ−１，ｎ＋１）＞Ｌｍｉｎ、かつ、Ｅ２（ｑ，ｎ）＞Ｌｍｉｎ、かつ、
｛Ｅ２（ｑ，ｎ）−Ｅ２（ｑ−１，ｎ＋１）｝／｛Ｅ２（ｑ，ｎ）＋Ｅ２（ｑ−１，ｎ＋１）｝＜Ｌｄｉｆ、かつ、
Ｃ（ｑ，ｎ）＝０
｜Ｓ（Ｐ（ｑ），ｎ）−Ｓ（Ｐ（ｑ−１），ｎ＋１）＋Ｍ｜＜Ｎｄｉｆ、かつ、
Ｅ２（ｑ−１，ｎ＋１）＞Ｌｍｉｎ、かつ、Ｅ２（ｑ，ｎ）＞Ｌｍｉｎ、かつ、
｛Ｅ２（ｑ，ｎ）−Ｅ２（ｑ−１，ｎ＋１）｝／｛Ｅ２（ｑ，ｎ）＋Ｅ２（ｑ−１，ｎ＋１）｝＜Ｌｄｉｆ、かつ、
Ｃ（ｑ，ｎ）＝０
〔数式１１〕
｜Ｅ２（ｑ，ｎ）−Ｅ２（ｑ−１，ｎ＋１）｜／｛Ｅ２（ｑ，ｎ）＋Ｅ２（ｑ−１，ｎ＋１）｝＜｜Ｅ２（ｑ，ｎ）−Ｅ２（ｑ−１，ｎ）｜／｛Ｅ２（ｑ，ｎ）＋Ｅ２（ｑ−１，ｎ）｝、かつ、
Ｃ（ｑ，ｎ）＝１
｜Ｅ２（ｑ，ｎ）−Ｅ２（ｑ−１，ｎ＋１）｜／｛Ｅ２（ｑ，ｎ）＋Ｅ２（ｑ−１，ｎ＋１）｝＜｜Ｅ２（ｑ，ｎ）−Ｅ２（ｑ−１，ｎ）｜／｛Ｅ２（ｑ，ｎ）＋Ｅ２（ｑ−１，ｎ）｝、かつ、
Ｃ（ｑ，ｎ）＝１
〔数式１２〕
｜Ｅ２（ｑ，ｎ）−Ｅ２（ｑ−１，ｎ＋１）｜／｛Ｅ２（ｑ，ｎ）＋Ｅ２（ｑ−１，ｎ＋１）｝＜｜Ｅ２（ｑ，ｎ）−Ｅ２（ｑ−１，ｎ−１）｜／｛Ｅ２（ｑ，ｎ）＋Ｅ２（ｑ−１，ｎ−１）｝、かつ、
Ｃ（ｑ，ｎ）＝２
｜Ｅ２（ｑ，ｎ）−Ｅ２（ｑ−１，ｎ＋１）｜／｛Ｅ２（ｑ，ｎ）＋Ｅ２（ｑ−１，ｎ＋１）｝＜｜Ｅ２（ｑ，ｎ）−Ｅ２（ｑ−１，ｎ−１）｜／｛Ｅ２（ｑ，ｎ）＋Ｅ２（ｑ−１，ｎ−１）｝、かつ、
Ｃ（ｑ，ｎ）＝２
連結条件としての具体的なしきい値は、本実施形態では、Ｌｄｉｆ＝１０[単位：１２８段階ベロシティ換算]、Ｌｍｉｎ＝１[単位：１２８段階ベロシティ換算]、Ｎｄｉｆ＝４／２５[単位：ノートナンバー換算]としている。連結処理は、符号コードへの変換前に行うものであるため、各しきい値は、ノートナンバー、ベロシティに換算したものである。
上記〔数式７〕から〔数式１２〕のうち、必須条件となるのは、〔数式７〕〔数式８〕〔数式１０〕のそれぞれ第２式〜第４式である。すなわち、単音成分がそれぞれＬｍｉｎより大きく、差分がＬｄｉｆより小さい場合である。この場合、副周波数を用いた周波数解析を行う必要がないため、少ない処理負荷で連結処理を行うことができる。
さらに上記〔数式７〕から〔数式１２〕のうち、追加条件として、〔数式７〕〔数式８〕〔数式１０〕のそれぞれ第１式がある。〔数式７〕〔数式８〕〔数式１０〕のそれぞれ第１式のように、後続の選出単位区間とその直前の単位区間の副周波数との差がしきい値未満であることを追加することにより、より精度の高い解析結果に基づいて音成分を連結することが可能となる。
選出単位区間ｑに対する連結条件パラメータＣ（ｑ，ｎ）が算出されたら、スペクトル補正手段３０が、単音成分の補正処理を行う（ステップＳ９）。単音成分の補正処理は、選出単位区間ｑ−１における選出単位区間ｑとの重複成分を削減することにより行う。ステップＳ９における単音成分の補正処理には、２通りの手法がある。まず、第１の手法について図８のフローチャートを用いて説明する。まず、スペクトル補正手段３０は、選出単位区間ｑ−１の音長を確認する（ステップＳ２１）。選出単位区間ｑ−１の音長は、後続の選出単位区間ｑと重ならない部分であるので、｛Ｐ（ｑ）−Ｐ（ｑ−１）｝・Ｗとして算出される。この音長｛Ｐ（ｑ）−Ｐ（ｑ−１）｝・Ｗが選出単位区間ｑ−１の単位区間長であるサンプル数Ｔ以上であるか否かを判定する。｛Ｐ（ｑ）−Ｐ（ｑ−１）｝・Ｗが選出単位区間ｑの単位区間長であるサンプル数Ｔ以上である場合は、選出単位区間ｑ−１と選出単位区間ｑが１サンプルも重複していないことを意味するので、選出単位区間ｑ−１に対して重複成分の削減は行わない。
｛Ｐ（ｑ）−Ｐ（ｑ−１）｝・Ｗが選出単位区間ｑ−１の区間長であるサンプル数Ｔより小さい場合は、選出単位区間ｑ−１と選出単位区間ｑが少なくとも１サンプル以上重複していることを意味するので、重複成分の削減を行うことになる。この場合、まず、スペクトル補正手段３０は、隣接単位区間ｑ´を設定する（ステップＳ２２）。隣接単位区間ｑ´とは、選出単位区間ｑの直前に設定される単位区間であり、選出単位区間ｑ−１と１サンプル以上重複することになる。すなわち、隣接単位区間ｑ´の先頭のサンプルは、選出単位区間ｑよりＴサンプル前であり、隣接単位区間ｑ´の最後のサンプルは、選出単位区間ｑの先頭のサンプルの直前となる。
ここで、選出単位区間ｑ−１、選出単位区間ｑ、隣接単位区間ｑ´の関係を図９に示す。図９において、横方向が時間軸であり、図面右方向に進むにつれて時間が進むように設定されている。Ｐ（ｑ−１）・Ｗは、選出単位区間ｑ−１の開始時刻、Ｐ（ｑ）・Ｗは、選出単位区間ｑの開始時刻、Ｐ（ｑ）・Ｗ−Ｔは、隣接単位区間ｑ´の開始時刻である。解析サンプル数Ｔ（ｎ）は、周波数ｎの場合の解析サンプル数である。選出単位区間ｑ、隣接単位区間ｑ´において網掛けを施した箇所は、選出単位区間ｑ、隣接単位区間ｑ´の周波数ｎにおける解析対象サンプルの重複部分である。
続いて、スペクトル補正手段３０は、設定された隣接単位区間ｑ´に対して、一般化調和解析を実行する（ステップＳ２３）。具体的には、隣接単位区間ｑ´に対してステップＳ５において実行されたのと同様な手法により一般化調和解析を実行し、解析結果としてスペクトル強度Ｅ２(ｑ´，ｎ)を得る。
次に、スペクトル補正手段３０は、各選出単位区間ｑにおけるスペクトル強度に対して倍音成分の除去を行う（ステップＳ２４）。具体的には、隣接単位区間ｑ´におけるスペクトル強度Ｅ２(ｑ´，ｎ)に対して、ステップＳ６において実行されたのと同様な手法により倍音成分の補正を実行する。なお、ステップＳ２４における倍音成分の補正は、対象となる音響信号が音声でない場合には、省略してもよい。
次に、スペクトル補正手段３０は、隣接単位区間ｑ´における解析結果であるスペクトル強度Ｅ２(ｑ´，ｎ)と選出単位区間ｑ−１における解析結果であるスペクトル強度Ｅ２(ｑ−１，ｎ)の相乗平均値を算出する（ステップＳ２５）。具体的には、以下の〔数式１３〕に従った処理を実行することにより、相乗平均値Ｅ２´(ｑ−１，ｎ)を算出する。
〔数式１３〕
Ｅ２´(ｑ−１，ｎ)＝［Ｅ２(ｑ−１，ｎ)・Ｅ２(ｑ´，ｎ) ］1/2
Ｅ２´(ｑ−１，ｎ)＝［Ｅ２(ｑ−１，ｎ)・Ｅ２(ｑ´，ｎ) ］1/2
次に、スペクトル補正手段３０は、算出された相乗平均値を、単位区間の解析サンプル数を、選出単位区間ｑ−１の音長に相当するサンプル数で除した値を用いて補正する（ステップＳ２６）。具体的には、以下の〔数式１４〕に従った処理を実行することにより、補正スペクトル強度Ｅ２´´(ｑ−１，ｎ)を算出する。
〔数式１４〕
Ｅ２´´(ｑ−１，ｎ)＝Ｅ２´(ｑ−１，ｎ)・［Ｔ(ｎ)／｛（Ｐ（ｑ）−Ｐ（ｑ−１））・Ｗ｝］1/2
Ｅ２´´(ｑ−１，ｎ)＝Ｅ２´(ｑ−１，ｎ)・［Ｔ(ｎ)／｛（Ｐ（ｑ）−Ｐ（ｑ−１））・Ｗ｝］1/2
上記〔数式１４〕では、［］内において、単位区間の解析サンプル数Ｔ(ｎ)を、選出単位区間ｑ−１の音長に相当するサンプル数（Ｐ（ｑ）−Ｐ（ｑ−１））・Ｗで除している。すなわち、［］内は、単位区間の解析サンプル数Ｔ(ｎ)の、選出単位区間ｑ−１の音長に相当するサンプル数（Ｐ（ｑ）−Ｐ（ｑ−１））・Ｗに対する比率となっている。音長に相当するサンプル数（Ｐ（ｑ）−Ｐ（ｑ−１））・Ｗとは、選出単位区間ｑ−１と後続の選出単位区間ｑとの時間差に対応するサンプル数である。上記〔数式１４〕においては、この比率の１／２乗を相乗平均値Ｅ２´(ｑ−１，ｎ)に乗じている。上記比率を１／２乗するのは、相乗平均値の乗数のオーダーと合わせるためである。これにより、選出単位区間ｑ−１の正味の周波数成分として、選出単位区間ｑとの重複成分を削減した補正スペクトル強度Ｅ２´´(ｑ−１，ｎ)が得られる。すなわち、対象とする選出単位区間ｑ−１における、直後の選出単位区間ｑと重複しない部分を強調した周波数成分を大きく反映させているため、連続する選出単位区間ｑ−１と選出単位区間ｑにおいて重複する周波数成分を、相対的に減少させることができ、時間分解能を向上させた補正スペクトル強度Ｅ２´´(ｑ−１，ｎ)が得られる。
次に、スペクトル補正手段３０は、正味の周波数成分が算出された選出単位区間ｑ−１について、連結条件パラメータＣ（ｑ，ｎ）を再算出する（ステップＳ２７）。具体的には、上記ステップＳ８における連結条件パラメータＣ（ｑ，ｎ）の算出処理と同様の処理を再度実行し、ステップＳ８において算出済みの連結条件パラメータＣ（ｑ，ｎ）と置き換える。
次に、ステップＳ９における重複成分の補正の第２の手法について図１０のフローチャートを用いて説明する。まず、スペクトル補正手段３０は、選出単位区間ｑ−１の音長を確認する（ステップＳ３１）。具体的には、第１の手法のステップＳ２１と同様な処理を行うことにより選出単位区間ｑ−１の音長を確認する。そして、第１の手法と同様、選出単位区間ｑ−１の音長｛Ｐ（ｑ）−Ｐ（ｑ−１）｝・Ｗが選出単位区間ｑの区間長であるサンプル数Ｔ以上である場合は、選出単位区間ｑ−１と選出単位区間ｑが１サンプルも重複していないことを意味するので、選出単位区間ｑ−１に対して重複成分の補正は行わない。
｛Ｐ（ｑ）−Ｐ（ｑ−１）｝・Ｗが選出単位区間ｑの区間長であるサンプル数Ｔより小さい場合は、選出単位区間ｑ−１と選出単位区間ｑが少なくとも１サンプル以上重複していることを意味するので、重複成分の補正を行うことになる。
ここで、選出単位区間ｑ−１、選出単位区間ｑの関係を図１１に示す。図１１において、横方向が時間軸であり、図面右方向に進むにつれて時間が進むように設定されている。図９と同様、Ｐ（ｑ−１）・Ｗは選出単位区間ｑ−１の開始時刻、Ｐ（ｑ）・Ｗは選出単位区間ｑの開始時刻である。解析サンプル数Ｔ（ｎ）は、周波数ｎの場合の解析サンプル数である。選出単位区間ｑ−１と選出単位区間ｑの重複部分の長さである重複長は、Ｔ(ｎ)−｛（Ｐ（ｑ）−Ｐ（ｑ−１）｝・Ｗである。
ステップＳ３１において、｛Ｐ（ｑ）−Ｐ（ｑ−１）｝・Ｗが選出単位区間ｑの単位区間長であるサンプル数Ｔより小さい場合、スペクトル補正手段３０は、まず、選出単位区間ｑ−１における解析結果であるスペクトル強度Ｅ２(ｑ−１，ｎ)と選出単位区間ｑにおける解析結果であるスペクトル強度Ｅ２(ｑ，ｎ)の相乗平均値を算出する（ステップＳ３２）。具体的には、以下の〔数式１５〕に従った処理を実行することにより、相乗平均値Ｅ２´(ｑ−１，ｎ)を算出する。
〔数式１５〕
Ｅ２´(ｑ−１，ｎ)＝［Ｅ２(ｑ−１，ｎ)4・Ｅ２(ｑ，ｎ) 4］1/2
Ｅ２´(ｑ−１，ｎ)＝［Ｅ２(ｑ−１，ｎ)4・Ｅ２(ｑ，ｎ) 4］1/2
上記〔数式１５〕では、［］内において、強度値Ｅ２(ｑ−１，ｎ)、強度値Ｅ２(ｑ，ｎ)をそれぞれ４乗したもの同士を乗じている。
次に、スペクトル補正手段３０は、ステップＳ３２において算出された相乗平均値に対して、重複部分に応じた補正を行う（ステップＳ３３）。具体的には、以下の〔数式１６〕に従った処理を実行することにより、補正スペクトル強度Ｅ２´´(ｑ−１，ｎ)を算出する。
〔数式１６〕
Ｅ２´´(ｑ−１，ｎ)＝［Ｅ２(ｑ−１，ｎ)・Ｔ(ｎ)−Ｅ２´(ｑ−１，ｎ)・｛Ｔ(ｎ)−（Ｐ（ｑ）−Ｐ（ｑ−１））・Ｗ｝］／｛（Ｐ（ｑ）−Ｐ（ｑ−１））・Ｗ｝1/4
Ｅ２´´(ｑ−１，ｎ)＝［Ｅ２(ｑ−１，ｎ)・Ｔ(ｎ)−Ｅ２´(ｑ−１，ｎ)・｛Ｔ(ｎ)−（Ｐ（ｑ）−Ｐ（ｑ−１））・Ｗ｝］／｛（Ｐ（ｑ）−Ｐ（ｑ−１））・Ｗ｝1/4
上記〔数式１６〕では、［］内において、単位区間の解析サンプル数Ｔ(ｎ)から、選出単位区間ｑ−１の音長に相当するサンプル数（Ｐ（ｑ）−Ｐ（ｑ−１））・Ｗを減算したものを、相乗平均値Ｅ２´(ｑ−１，ｎ)に乗じた後、元のスペクトル強度Ｅ２(ｑ−１，ｎ)と単位区間の解析サンプル数Ｔ(ｎ)を乗じたものから減算している。音長に相当するサンプル数（Ｐ（ｑ）−Ｐ（ｑ−１））・Ｗとは、上述のように、選出単位区間ｑ−１と後続の選出単位区間ｑとの時間差に対応するサンプル数である。これにより、選出単位区間ｑ−１の正味の周波数成分として補正スペクトル強度Ｅ２´´(ｑ−１，ｎ)が得られる。すなわち、対象とする選出単位区間ｑ−１と直後の選出単位区間ｑの重複部分の成分を直接除去し、選出単位区間ｑ−１における重複する周波数成分を減少させることができ、時間分解能を向上させた補正スペクトル強度Ｅ２´´(ｑ−１，ｎ)が得られる。
次に、スペクトル補正手段３０は、正味の周波数成分が算出された選出単位区間ｑ−１について、連結条件パラメータＣ（ｑ，ｎ）を再算出する（ステップＳ３４）。具体的には、第１の手法におけるステップＳ２７と同様、上記ステップＳ８における連結条件パラメータＣ（ｑ，ｎ）の算出処理と同様の処理を再度実行し、ステップＳ８において算出済みの連結条件パラメータＣ（ｑ，ｎ）と置き換える。
第１、第２の手法のいずれかにより重複成分の削減を行ったら、次に、連続する選出単位区間において単音成分を連結（統合）する処理を行う（ステップＳ１０）。具体的には、前方の選出単位区間における連結条件パラメータＣ（ｑ，ｎ）の値に従って２つの単音成分を連結する。
具体的には、まず、選出単位区間ｑにおいて周波数解析されたノートナンバーｎの単音成分を［開始時刻Ｐ（ｑ）・Ｗ，音長Ｐ（ｑ＋１）・Ｗ−Ｐ（ｑ）・Ｗ，主周波数ｎ，副周波数Ｓ(Ｐ（ｑ）, ｎ)，強度Ｅ２（ｑ, ｎ) ，連結条件パラメータＣ（ｑ，ｎ）］とし、選出単位区間ｑｏの単音成分を起点にｒ番目（ｑｏ＜ｒ＜ｑ）の単音成分まで連結された音成分を［開始時刻Ｐ（ｑｏ）・Ｗ，音長Ｐ（ｒ＋１）・Ｗ−Ｐ（ｑｏ）・Ｗ，主周波数ｎ，副周波数Ｓ(Ｐ（ｑｏ）, ｎ)，強度Ｅ２（ｑｏ, ｎ)，連結条件パラメータＣ（ｑｏ，ｎ）］とする。そして、選出単位区間ｑの単音成分と、選出単位区間ｑｏの単音成分を起点にｒ番目の単音成分まで連結された音成分が、以下の〔数式１７〕〔数式１８〕〔数式１９〕のいずれかに示した条件を満たす場合に、単音成分の連結を行う。
〔数式１７〕
Ｃ（ｑ，ｎ）＝１、かつ、
｜Ｐ（ｑ）・Ｗ−Ｐ（ｒ＋１）・Ｗ｜＜Ｔｍａｘ、かつ、
｜Ｓ（Ｐ（ｑ），ｎ）−Ｓ（Ｐ（ｑｏ），ｎ）｜＜Ｎａｄｉｆ
Ｃ（ｑ，ｎ）＝１、かつ、
｜Ｐ（ｑ）・Ｗ−Ｐ（ｒ＋１）・Ｗ｜＜Ｔｍａｘ、かつ、
｜Ｓ（Ｐ（ｑ），ｎ）−Ｓ（Ｐ（ｑｏ），ｎ）｜＜Ｎａｄｉｆ
〔数式１８〕
Ｃ（ｑ，ｎ）＝２、かつ、
｜Ｐ（ｑ）・Ｗ−Ｐ（ｒ＋１）・Ｗ｜＜Ｔｍａｘ、かつ、
｜Ｓ（Ｐ（ｑ），ｎ）−Ｓ（Ｐ（ｑｏ），ｎ−１）−Ｍ｜＜Ｎａｄｉｆ
Ｃ（ｑ，ｎ）＝２、かつ、
｜Ｐ（ｑ）・Ｗ−Ｐ（ｒ＋１）・Ｗ｜＜Ｔｍａｘ、かつ、
｜Ｓ（Ｐ（ｑ），ｎ）−Ｓ（Ｐ（ｑｏ），ｎ−１）−Ｍ｜＜Ｎａｄｉｆ
〔数式１９〕
Ｃ（ｑ，ｎ）＝３、かつ、
｜Ｐ（ｑ）・Ｗ−Ｐ（ｒ＋１）・Ｗ｜＜Ｔｍａｘ、かつ、
｜Ｓ（Ｐ（ｑ），ｎ）−Ｓ（Ｐ（ｑｏ），ｎ＋１）＋Ｍ｜＜Ｎａｄｉｆ
Ｃ（ｑ，ｎ）＝３、かつ、
｜Ｐ（ｑ）・Ｗ−Ｐ（ｒ＋１）・Ｗ｜＜Ｔｍａｘ、かつ、
｜Ｓ（Ｐ（ｑ），ｎ）−Ｓ（Ｐ（ｑｏ），ｎ＋１）＋Ｍ｜＜Ｎａｄｉｆ
連結条件としての具体的なしきい値は、本実施形態では、Ｔｍａｘ＝Ｔ／２＝５１２[単位：サンプル数換算]、Ｎａｄｉｆ＝８／２５[単位：ノートナンバー換算]としている。
上記〔数式１７〕〔数式１８〕〔数式１９〕は、上記〔数式７〕から〔数式１２〕に、追加的に加えられる条件となる。条件を追加する程精度は高くなるが、処理負荷も高くなる。したがって、〔数式１７〕〔数式１８〕〔数式１９〕の条件を判定するか否かについては、事前に設定しておくことが可能である。
上記〔数式１７〕〔数式１８〕〔数式１９〕はそれぞれ３条件を有するが、２条件目は、全て共通であり、選出単位区間ｑの発音開始時刻Ｐ（ｑ）・Ｗと、選出単位区間ｑｏの単音成分を起点にｒ番目の単音成分まで連結された音成分の発音終了時刻Ｐ（ｒ＋１）・Ｗの差の絶対値が所定時間Ｔｍａｘ未満であることを条件としている。
上記〔数式１７〕に示した条件を満たした場合は、選出単位区間ｑの主周波数ｎに対応する単音成分は、選出単位区間ｑｏの単音成分を起点にｒ番目の単音成分まで連結された主周波数ｎの音成分と連結される。上記〔数式１８〕に示した条件を満たした場合は、選出単位区間ｑの主周波数ｎに対応する単音成分は、選出単位区間ｑｏの単音成分を起点にｒ番目の単音成分まで連結された主周波数ｎ−１の音成分と連結される。上記〔数式１９〕に示した条件を満たした場合は、選出単位区間ｑの主周波数ｎに対応する単音成分は、選出単位区間ｑｏの単音成分を起点にｒ番目の単音成分まで連結された主周波数ｎ＋１の音成分と連結される。
連結後の音成分の主周波数，副周波数，強度は、強度が大きい方の各値を採用する。すなわち、強度Ｅ２（ｑ, ｎ)＞Ｅ２（ｑｏ, ｎ)の場合、選出単位区間ｑの各値を採用し、強度Ｅ２（ｑ, ｎ)≦Ｅ２（ｑｏ, ｎ)の場合、選出単位区間ｑｏの単音成分を起点にｒ番目の単音成分まで連結された音成分の中で最大の強度を与える各値を採用する。時間長は双方の和、すなわち、選出単位区間ｑの時間長（Ｐ（ｑ＋１）・Ｗ−Ｐ（ｑ）・Ｗ）＋選出単位区間ｑｏの単音成分を起点にｒ番目の単音成分まで連結された主周波数ｎ＋１の音成分の時間長（Ｐ（ｒ＋１）・Ｗ−Ｐ（ｑｏ）・Ｗ）で与えられる。ステップＳ１０における連結処理の結果、連結処理されなかった単音成分はそのまま残ることになる。
同一または上下１ノートナンバーまでの連結処理は、上記〔数式１７〕〔数式１８〕〔数式１９〕のいずれかも満たさず、不連続と判定されるまで後続する複数の単音成分に対して繰り返し行われる。そして、最終的に連結完了した連結音成分は、単音成分と同様、[開始時刻Ｐ（ｑｏ）・Ｗ，音長Ｐ（ｒ＋１）Ｗ−Ｐ（ｑｏ）・Ｗ，主周波数ｎ，副周波数Ｓ（Ｐ（ｑｏ），ｎ），強度Ｅ２（ｑｏ，ｎ）]で構成され、このうち音長が単音成分より大きい値を有することになる。連結処理により、単音成分と連結音成分が混在することになるが、以降これらをまとめて音成分と呼ぶことにする。なお、ステップＳ１０における連結処理については、実行した方が、長音の音符で表現することになり、符号量が少なくなりＭＩＤＩ音源で円滑で自然な演奏が行われるようになるため、一般に望ましいが、ピッチベンド符号の付加などが行われないと、逆にビブラートなど音の微妙な時間的変化が消失するためＭＩＤＩ音源で不自然に聞こえる場合もあるため、必ずしも必須ではない。ステップＳ１０における連結処理を行わない場合、全てが短い音符として表現されることになる。
ステップＳ１０の連結処理を終えたら、最終的に得られた[開始時刻Ｐ（ｑｏ）Ｗ，音長Ｐ（ｒ＋１）・Ｗ−Ｐ（ｑｏ）・Ｗ，主周波数ｎ，副周波数Ｓ（Ｐ（ｑ），ｎ），強度Ｅ２（ｑｏ，ｎ）]の音成分を、符号コードに変換する（ステップＳ１１）。符号コードの形式としては、周波数情報と、各周波数に対応するスペクトル強度、および単位区間の開始と終了を特定可能な時間情報を有するものであれば、どのような形式のものであっても良いが、本実施形態では、ＭＩＤＩ形式に変換する。ＭＩＤＩでは、発音開始と発音終了を別のイベントとして発生するため、本実施形態では、１つの音成分を２つのＭＩＤＩノートイベントに変換する。具体的には、「開始時刻」で、ノートナンバーｎのノートオンイベントを発行し、ベロシティ値は強度Ｅ２（ｑｏ，ｎ）の最大値をＥｍａｘとして、１２８・｛Ｅ２（ｑｏ，ｎ）／Ｅｍａｘ｝1/4で与える。時刻については、Standard MIDI Fileでは、直前イベントとの相対時刻（デルタタイム）で与える必要があり、その時刻単位は任意の整数値で定義でき、例えば、１／１５３６[秒]の単位に変換して与える。そして、絶対時刻が「開始時刻」＋「音長」で特定される終了時刻で（デルタタイムでは「音長」で与えられる終了時刻で）、ノートナンバーｎのノートオフイベントを発行する。この際、音長には、０以上１以下の実数を乗じる。これは、使用するＭＩＤＩ音源の音色にも依存するが、ＭＩＤＩ音源の余韻を考慮して早めにノートオフ指示をするためである。音長をそのまま用いてもＭＩＤＩ音源の処理上問題はないが、発音の際、後続音と部分的に重なる場合がある。
ステップＳ１１の符号コード変換処理を終えたら、次に、符号コードに対して調整処理を行う（ステップＳ１２）。例えば、符号コードとしてＭＩＤＩ符号に変換する際、ＭＩＤＩ音源で処理可能な同時発音数についても考慮するため、同時発音数の調整を行う必要がある。ＭＩＤＩ音源で処理可能な同時発音数が３２である場合、時間軸方向に発音期間中（ノートオン状態）のノートイベントの個数を連続的にカウントし、同時に３２個を超えるノートイベントが存在する箇所が見つかった場合は、ノートオン時のベロシティ値に対してノートオン時刻からの経過時間で補正した補正ベロシティ値を算出し、補正ベロシティ値で優先度を評価し、指定和音数以下になるよう優先度の低いノートイベント対を強制的にノートオフさせる補正処理を行う。この際、ベロシティ値またはデュレーション値のいずれかが所定の下限値より低い場合、優先度に関係なく削除する処理も行う。
なお、ｈ番目のノートイベントＥｖ（ｈ）のノートオン時刻をＥｖ（ｈ）．ｔｉｍｅ、ベロシティ値をＥｖ（ｈ）．ｖｅｌｏｃｉｔｙとすると、時刻ｔにおけるノートイベントＥｖ（ｈ）の補正ベロシティ値Ｖｃ（ｈ，ｔ）は、以下の〔数式２０〕に従った処理を実行することにより算出される。
〔数式２０〕
Ｖｃ（ｈ，ｔ）＝Ｅｖ（ｈ）．ｖｅｌｏｃｉｔｙ・ｅｘｐ｛（ｔ−Ｅｖ（ｈ）．ｔｉｍｅ）・τ｝
Ｖｃ（ｈ，ｔ）＝Ｅｖ（ｈ）．ｖｅｌｏｃｉｔｙ・ｅｘｐ｛（ｔ−Ｅｖ（ｈ）．ｔｉｍｅ）・τ｝
上記〔数式２０〕において、τは補正係数であり、例えば−１／１５３６が与えられる。
さらに、符号コードで処理可能なビットレートについても考慮するため、ビットレートの調整を行う。ＭＩＤＩ符号に変換する場合、時間軸方向に、例えば１秒間隔にノートイベント対の個数をカウントし、各々の符号コードのデータ量を平均５バイト（４０ビット）とし、ＭＩＤＩ音源で処理可能な最大ビットレートを９０００［ｂｐｓ（ビット／秒）］とすると、１秒間あたりイベント数が９０００／４０＝２２５個を超えている区間が見つかった場合は、その区間に存在するノートオンまたはノートオフイベントと各々対になるノートオフまたはノートオンイベントを近傍区間内で探索し、各ノートイベント対のベロシティ値とデュレーション値（ノートオフ時刻−ノートオン時刻）の積（エネルギー値）で優先度を評価し、指定イベント個数（この場合“２２５”）以下になるように優先度の低い（エネルギー値の小さい）ノートイベント対を局所的に削除する処理を行う。この際、ベロシティ値またはデュレーション値のいずれかが所定の下限値より低い場合、優先度に関係なく削除する処理も行う。
＜３．処理例＞
本発明に係る音響信号の符号化装置により得られたＭＩＤＩ形式の符号データについて、図１２〜図１７を用いて説明する。図１２は、男声のアナウンス音声をサンプリング周波数４４．１ｋＨｚ、量子化ビット数１６ビットでサンプリングしたデジタルの音響信号の波形を示す図である。図１２において、横軸が時間軸であり、縦軸が振幅値である。図１２に示した音響信号を、特許文献４に示した従来方式を基本としてＭＩＤＩ形式で符号化した符号データの例、本発明に係る音響信号の符号化装置によりＭＩＤＩ形式で符号化した符号データの例を、それぞれ図１３、図１４に示す。図１４は前述の重複成分の補正の第２の手法を適用した結果であるが、第１の手法を適用した結果も図１４と見かけ上の差異は殆ど無い。図１３においては、サンプルの時間軸方向への拡大を４倍としている。図１４においては、図１３との比較のため、単位区間のサンプル数を上記実施形態のように、単位区間Ｔ＝１０２４サンプルとして、基本となる４０９６サンプルにした場合に比べて４倍拡大相当としている。図１３、図１４においては、いずれも横軸が時間軸であり、配置されている矩形の位置は縦軸がノートナンバー（周波数）、矩形の横方向の幅が音長、矩形の縦方向の幅がベロシティ（強度値）である。
本発明に係る音響信号の符号化装置により得られたＭＩＤＩ形式の符号データについて、図１２〜図１７を用いて説明する。図１２は、男声のアナウンス音声をサンプリング周波数４４．１ｋＨｚ、量子化ビット数１６ビットでサンプリングしたデジタルの音響信号の波形を示す図である。図１２において、横軸が時間軸であり、縦軸が振幅値である。図１２に示した音響信号を、特許文献４に示した従来方式を基本としてＭＩＤＩ形式で符号化した符号データの例、本発明に係る音響信号の符号化装置によりＭＩＤＩ形式で符号化した符号データの例を、それぞれ図１３、図１４に示す。図１４は前述の重複成分の補正の第２の手法を適用した結果であるが、第１の手法を適用した結果も図１４と見かけ上の差異は殆ど無い。図１３においては、サンプルの時間軸方向への拡大を４倍としている。図１４においては、図１３との比較のため、単位区間のサンプル数を上記実施形態のように、単位区間Ｔ＝１０２４サンプルとして、基本となる４０９６サンプルにした場合に比べて４倍拡大相当としている。図１３、図１４においては、いずれも横軸が時間軸であり、配置されている矩形の位置は縦軸がノートナンバー（周波数）、矩形の横方向の幅が音長、矩形の縦方向の幅がベロシティ（強度値）である。
図１３と図１４を比較すると、図１４に示した本発明では、図１３に示した従来方式に比べて、矩形の縦方向の幅の変化が大きい。これは、音の強弱のコントラストが大きいことを示している。また、図１４に示した本発明では、図１３に示した従来方式に比べて、矩形の横方向の幅が狭い。これは、１つの音の発音時間が短いことを示している。したがって、本発明では、従来方式に比べて、音の強弱のコントラストが大きく、発音時間が短いため、音がより明瞭に再現されることになる。一方、従来方式では、１つの音の発音時間が長いため、若干エコーがかかったような状態になる。
図１５は、女声のアナウンス音声をサンプリング周波数４４．１ｋＨｚ、量子化ビット数１６ビットでサンプリングしたデジタルの音響信号の波形を示す図である。図１５においては、図１２と同様、横軸が時間軸であり、縦軸が振幅値である。図１５に示した音響信号を、特許文献４に示した従来方式を基本としてＭＩＤＩ形式で符号化した符号データの例、本発明に係る音響信号の符号化装置によりＭＩＤＩ形式で符号化した符号データの例を、それぞれ図１６、図１７に示す。図１７は前述の重複成分の補正の第２の手法を適用した結果であるが、第１の手法を適用した結果も図１７と見かけ上の差異は殆ど無い。図１６においても、図１３と同様、サンプルの時間軸方向への拡大を４倍としている。図１７においては、図１６との比較のため、単位区間のサンプル数を上記実施形態のように、単位区間Ｔ＝１０２４サンプルとして、基本となる４０９６サンプルにした場合に比べて４倍拡大相当としている。図１６、図１７においては、図１３、図１４と同様、いずれも横軸が時間軸であり、配置されている矩形の位置は縦軸がノートナンバー（周波数）、矩形の横方向の幅が音長、矩形の縦方向の幅がベロシティ（強度値）である。
図１６と図１７を比較すると、図１７に示した本発明では、図１６に示した従来方式に比べて、矩形の縦方向の幅の変化が大きい。これは、音の強弱のコントラストが大きいことを示している。また、図１７に示した本発明では、図１６に示した従来方式に比べて、矩形の横方向の幅が狭い。これは、１つの音の発音時間が短いことを示している。したがって、本発明では、従来方式に比べて、音の強弱のコントラストが大きく、発音時間が短いため、音がより明瞭に再現されることになる。一方、従来方式では、１つの音の発音時間が長いため、若干エコーがかかったような状態になる。
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されず、種々の変形が可能である。例えば、上記実施形態では、ノートナンバー間をＭ個の微分音（副周波数）を用いて解析を行うようにしたが、微分音を用いず、ノートナンバーに対応したＮ種類の周波数のみで解析するようにしても良い。この場合、解析精度は若干落ちるが、解析対象の周波数の数が減るため、処理負荷は軽減される。微分音を用いない場合、ステップＳ１０の単音成分の連結処理の判断において、〔数式８〕、〔数式１０〕では、いずれも１行目の式は判断しないことになる。
また、上記実施形態では、スペクトルの算出（周波数解析）を第１のスペクトル算出と第２のスペクトル算出に分け、第１のスペクトル算出の結果、所定の条件を満たした選出単位区間に対して第２のスペクトル算出を実行するようにしたが、各単位区間を全て選出単位区間として、特許文献１〜３に開示されているような公知の周波数解析を実行してスペクトル算出を行うようにしても良い。
１・・・ＣＰＵ
２・・・ＲＡＭ
３・・・記憶装置
４・・・キー入力Ｉ／Ｆ
５・・・データ入出力Ｉ／Ｆ
６・・・表示部
１０・・・区間設定手段
２０・・・スペクトル算出手段
３０・・・スペクトル補正手段
４０・・・符号化手段
５０・・・記憶手段
５１・・・音響信号記憶部
５２・・・符号コード記憶部
２・・・ＲＡＭ
３・・・記憶装置
４・・・キー入力Ｉ／Ｆ
５・・・データ入出力Ｉ／Ｆ
６・・・表示部
１０・・・区間設定手段
２０・・・スペクトル算出手段
３０・・・スペクトル補正手段
４０・・・符号化手段
５０・・・記憶手段
５１・・・音響信号記憶部
５２・・・符号コード記憶部
Claims (14)
- 所定のサンプリング周波数でデジタル化された時系列のサンプル列として与えられる音響信号を符号化するための符号化装置であって、
前記サンプル列に対して、所定数Ｔ個のサンプルで構成される単位区間を、隣接する単位区間と時間軸方向に前記Ｔ個より少ない所定数のサンプルを重複させながら設定する区間設定手段と、
前記単位区間に対して、解析対象とする少なくともＮ種類の各周波数について周波数解析を行い、所定の選出条件を満たす単位区間である選出単位区間に対するスペクトル強度を算出するスペクトル算出手段と、
前記Ｎ種類の周波数ごとに、対象とする選出単位区間に対して算出されたスペクトル強度と、当該選出単位区間と一部が重複する所定区間に対して算出されたスペクトル強度との相乗平均値を算出し、前記対象とする選出単位区間に対して算出されたスペクトル強度に対して、前記相乗平均値に基づいて補正を行い、重複する選出単位区間の影響を減少させた補正スペクトル強度を算出するスペクトル補正手段と、
前記選出単位区間の補正スペクトル強度に基づいて強度値を定義した、所定の形式の符号コードを生成する符号化手段と、
を有することを特徴とする音響信号の符号化装置。 - 前記スペクトル補正手段は、前記対象とする選出単位区間の直後の選出単位区間と重複させずに連続するように、前記直後の選出単位区間よりＴサンプルだけ前方にずらしたＴ個のサンプルで構成される隣接単位区間を前記一部が重複する所定区間として前記相乗平均値を算出し、単位区間の解析サンプル数を、前記対象とする選出単位区間と後続の選出単位区間との時間差に対応するサンプル数で除した値を、前記相乗平均値に乗じることにより、前記対象とする選出単位区間に対して算出されたスペクトル強度を補正するようにしていることを特徴とする請求項１に記載の音響信号の符号化装置。
- 前記スペクトル補正手段は、前記一部が重複する所定区間として前記対象とする選出単位区間の直後の選出単位区間を用い、単位区間の解析サンプル数から、対象とする選出単位区間と後続の選出単位区間との時間差に対応するサンプル数を減算したものを、前記相乗平均値に乗じた後、元のスペクトル強度と単位区間の解析サンプル数を乗じたものから減算する演算を行い、当該演算の結果を、選出単位区間と後続の選出単位区間との時間差に対応するサンプル数で除した値に基づいて前記対象とする選出単位区間に対して算出されたスペクトル強度を補正するようにしていることを特徴とする請求項１に記載の音響信号の符号化装置。
- 所定のサンプリング周波数でデジタル化された時系列のサンプル列として与えられる音響信号を符号化するための符号化装置であって、
前記サンプル列に対して、所定数Ｔ個のサンプルで構成される単位区間を、隣接する単位区間と時間軸方向に前記Ｔ個より少ない所定数のサンプルを重複させながら設定する区間設定手段と、
前記単位区間に対して、解析対象とする少なくともＮ種類の各周波数について周波数解析を行い、所定の選出条件を満たす単位区間である選出単位区間に対するスペクトル強度を算出するスペクトル算出手段と、
前記Ｎ種類の周波数ごとに、対象とする選出単位区間に対して算出されたスペクトル強度と、前記対象とする選出単位区間の直後の選出単位区間と重複させずに連続するように前記直後の選出単位区間よりＴサンプルだけ前方にずらしたＴ個のサンプルで構成される隣接単位区間に対して算出されたスペクトル強度との相乗平均値を算出し、単位区間の解析サンプル数を、前記対象とする選出単位区間と後続の選出単位区間との時間差に対応するサンプル数で除した値を、前記相乗平均値に乗じることにより、前記対象とする選出単位区間に対して算出されたスペクトル強度を補正し、重複する選出単位区間の影響を減少させた補正スペクトル強度を算出するスペクトル補正手段と、
前記選出単位区間の補正スペクトル強度に基づいて強度値を定義した、所定の形式の符号コードを生成する符号化手段と、
を有することを特徴とする音響信号の符号化装置。 - 所定のサンプリング周波数でデジタル化された時系列のサンプル列として与えられる音響信号を符号化するための符号化装置であって、
前記サンプル列に対して、所定数Ｔ個のサンプルで構成される単位区間を、隣接する単位区間と時間軸方向に前記Ｔ個より少ない所定数のサンプルを重複させながら設定する区間設定手段と、
前記単位区間に対して、解析対象とする少なくともＮ種類の各周波数について周波数解析を行い、所定の選出条件を満たす単位区間である選出単位区間に対するスペクトル強度を算出するスペクトル算出手段と、
前記Ｎ種類の周波数ごとに、対象とする選出単位区間に対して算出されたスペクトル強度と、前記対象とする選出単位区間の直後の選出単位区間に対して算出されたスペクトル強度との相乗平均値を算出し、単位区間の解析サンプル数から、対象とする選出単位区間と後続の選出単位区間との時間差に対応するサンプル数を減算したものを、前記相乗平均値に乗じた後、元のスペクトル強度と単位区間の解析サンプル数を乗じたものから減算する演算を行い、当該演算の結果を、選出単位区間と後続の選出単位区間との時間差に対応するサンプル数で除した値に基づいて前記対象とする選出単位区間に対して算出されたスペクトル強度を補正し、重複する選出単位区間の影響を減少させた補正スペクトル強度を算出するスペクトル補正手段と、
前記選出単位区間の補正スペクトル強度に基づいて強度値を定義した、所定の形式の符号コードを生成する符号化手段と、
を有することを特徴とする音響信号の符号化装置。 - 前記スペクトル算出手段は、
個々の単位区間ごとに、解析対象とする少なくともＮ種類の各周波数ｆ（ｎ）について周波数解析を行うことにより、ｐ番目の単位区間ｐに対して、前記Ｎ種類の周波数ｆ（ｎ）に対応した第１のスペクトル強度Ｅ１（ｐ，ｎ）を算出する第１のスペクトル算出手段と、
前記単位区間ｐに対して直前に位置する単位区間ｐ−１における第１のスペクトル強度Ｅ１（ｐ−１，ｎ）との対応する周波数ごとの変化に基づく評価値が、所定のしきい値より大きいことを前記選出条件とし、当該単位区間ｐをｑ（ｑ≦ｐ）番目の選出単位区間ｑとして選出し、少なくとも前記Ｎ種類の各周波数ｆ（ｎ）について、前記第１のスペクトル算出手段における周波数解析に比較して高精度な周波数解析を行うことにより、前記Ｎ種類の周波数ｆ（ｎ）に対応した第２のスペクトル強度Ｅ２（ｑ，ｎ）を、前記選出単位区間に対するスペクトル強度として算出する第２のスペクトル算出手段と、
を有することを特徴とする請求項１から請求項５のいずれか一項に記載の音響信号の符号化装置。 - 前記符号化手段は、隣接する２つの選出単位区間ｑ−１と選出単位区間ｑに対して、後続の選出単位区間ｑにおける対象周波数ｆ（ｎ）に対応する前記第２のスペクトル強度Ｅ２（ｑ，ｎ）から、直前の選出単位区間ｑ−１における前記Ｎ種類の周波数のうち前記対象周波数と同周波数ｆ（ｎ）、１つ低い周波数ｆ（ｎ−１）、１つ高い周波数ｆ（ｎ＋１）にそれぞれ対応する前記第２のスペクトル強度Ｅ２（ｑ−１，ｎ）、Ｅ２（ｑ−１，ｎ−１）、Ｅ２（ｑ−１，ｎ＋１）のいずれかを減じた減算値を、前記後続の選出単位区間ｑの第２のスペクトル強度Ｅ２（ｑ，ｎ）と前記直前の選出単位区間ｑ−１の第２のスペクトル強度Ｅ２（ｑ−１，ｎ）、Ｅ２（ｑ−１，ｎ−１）、Ｅ２（ｑ−１，ｎ＋１）のいずれかとの和である加算値で除した値が所定のしきい値未満で、かつ前記直前の選出単位区間ｑ−１の第２のスペクトル強度Ｅ２（ｑ−１，ｎ）、Ｅ２（ｑ−１，ｎ−１）、Ｅ２（ｑ−１，ｎ＋１）のいずれか、および前記後続の選出単位区間ｑの第２のスペクトル強度Ｅ２（ｑ，ｎ）が所定のしきい値より大きい場合、前記選出単位区間ｑを選出単位区間ｑ−１に連結することを特徴とする請求項６に記載の音響信号の符号化装置。
- 前記第１のスペクトル算出手段および第２のスペクトル算出手段はＮ種類の各周波数ｆ（ｎ）を主周波数とし、隣接する主周波数を超えない範囲でＭ種類の副周波数ｆ（ｎ，ｍ）を設定し、前記第１のスペクトル強度Ｅ１（ｐ，ｎ）および第２のスペクトル強度Ｅ２（ｑ，ｎ）として、前記Ｍ種類の副周波数の中で最も大きい強度を示す副周波数に対応する強度値を算出し、
前記符号化手段は、前記第２のスペクトル強度Ｅ２（ｑ，ｎ）を決定する副周波数と、
前記第２のスペクトル強度Ｅ２（ｑ−１，ｎ）、Ｅ２（ｑ−１，ｎ−１）、Ｅ２（ｑ−１，ｎ＋１）を決定する副周波数のいずれか１つとの差が所定のしきい値未満という条件をさらに満たした場合に、前記後続の選出単位区間ｑを直前の選出単位区間ｑ−１に連結することを特徴とする請求項７に記載の音響信号の符号化装置。 - 前記直前の選出単位区間ｑ−１が、既に他の選出単位区間と連結されている場合、前記直前の選出単位区間ｑ−１が連結されている先頭の選出単位区間をｑｏとし、
前記符号化手段は、前記第２のスペクトル強度Ｅ２（ｑ，ｎ）を決定する副周波数と前記第２のスペクトル強度Ｅ２（ｑｏ，ｎ）、Ｅ２（ｑｏ，ｎ−１）、Ｅ２（ｑｏ，ｎ＋１）を決定する副周波数のいずれか１つとの差が所定のしきい値未満という条件をさらに満たした場合に、前記後続の選出単位区間ｑを直前の選出単位区間ｑ−１に連結することを特徴とする請求項８に記載の音響信号の符号化装置。 - 前記符号化手段は、前記選出単位区間の連結に基づいて補正された符号コードを含む生成される符号コードの先頭時刻から先頭時刻に時間差を加えた終了時刻までを時間区間とすると、ある時刻ｔにおいて、所定の個数以上の符号コードの時間区間が重複する場合、前記重複する全ての符号コードに対して、先頭時刻から前記時刻ｔまでの経過時間に基づいて当該符号コードの強度値を補正した変動強度値を算出し、変動強度値が最も小さい符号コードの時間差を当該符号コードの先頭時刻から前記時刻ｔまでの経過時間になるよう補正するようにしていることを特徴とする請求項７から請求項９のいずれか一項に記載の音響信号の符号化装置。
- 前記第１のスペクトル算出手段は、前記単位区間の区間信号の構成要素となるべきＮ種類の要素信号を、各々当該周波数ｆ（ｎ）の周期の整数倍に対応し、前記単位区間のサンプル数Ｔに最も近いＴ（ｎ）個のサンプルとして準備し、
前記Ｎ種類の各周波数ｆ（ｎ）に対応する要素信号と、それぞれ対応する前記単位区間ｐのＴ（ｎ）個のサンプルで構成される区間信号との相関演算を行うことにより、第１のスペクトル強度Ｅ１（ｐ，ｎ）を算出するものであり、
前記第２のスペクトル算出手段は、
前記Ｎ種類の各周波数ｆ（ｎ）に対応する要素信号と、それぞれ対応する前記選出単位区間ｑのＴ（ｎ）個のサンプルで構成される区間信号との相関演算を行い、相関値が最も高い周波数ｆ（ｎｍａｘ）に対応する要素信号を調和信号として選出し、
前記選出された調和信号と当該調和信号について得られた相関値との積で与えられるＴ（ｎｍａｘ）個のサンプルを含有信号とし、当該含有信号を前記区間信号から減じることにより、Ｔ（ｎｍａｘ）個のサンプルで構成される差分信号を算出し、
前記Ｔ（ｎｍａｘ）個のサンプルを反映させ更新されたＴ（ｎ）個のサンプルを新たな区間信号として、前記調和信号の選出および差分信号の算出を実行して新たな含有信号および差分信号を得る処理を繰り返し行うことによりＮ種類の含有信号を求め、求められた含有信号の相関値に基づいて、前記Ｎ種類の周波数に対応した第２のスペクトル強度Ｅ２（ｑ，ｎ）を算出することを特徴とする請求項６から請求項１０のいずれか一項に記載の音響信号の符号化装置。 - 前記第１のスペクトル算出手段は、
直前の単位区間ｐ−１における各周波数ｆ（ｎ）に対応する直前相関演算結果に対し、
前記直前の単位区間ｐ−１における先頭Ｗサンプルに対応する相関演算を行い、各周波数ごとの相関値を前記直前相関演算結果より減算するとともに、前記単位区間ｐにおける最後尾Ｗサンプルに対応する相関演算を行い、各周波数ごとの相関値を前記直前相関演算結果に加算することにより、前記単位区間ｐにおける各周波数ｆ（ｎ）に対応する相関演算結果を取得し、当該相関演算結果に基づいて前記第１のスペクトル強度Ｅ１（ｐ，ｎ）を算出することを特徴とする請求項６から請求項１１のいずれか一項に記載の音響信号の符号化装置。 - 前記スペクトル算出手段は、
前記Ｎ種類の各周波数ｆ（ｎ）に対して、整数ｋを用いてｆ（ｎ）／ｋなる所定数の低域周波数を定義し、当該低域周波数ｆ（ｎ）／ｋに対応するスペクトル強度が存在する場合、前記低域周波数ｆ（ｎ）／ｋに対応するスペクトル強度に基づいて周波数ｆ（ｎ）に対応するスペクトル強度を所定の割合だけ減衰させるように補正を行い、倍音補正されたスペクトル強度を作成することを特徴とする請求項１から請求項１２のいずれか一項に記載の音響信号の符号化装置。 - 請求項１から請求項１３のいずれか一項に記載の音響信号の符号化装置としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015121870A JP6589404B2 (ja) | 2014-07-10 | 2015-06-17 | 音響信号の符号化装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014141954 | 2014-07-10 | ||
| JP2014141954 | 2014-07-10 | ||
| JP2015121870A JP6589404B2 (ja) | 2014-07-10 | 2015-06-17 | 音響信号の符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016028269A JP2016028269A (ja) | 2016-02-25 |
| JP6589404B2 true JP6589404B2 (ja) | 2019-10-16 |
Family
ID=55360724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015121870A Expired - Fee Related JP6589404B2 (ja) | 2014-07-10 | 2015-06-17 | 音響信号の符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6589404B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6950180B2 (ja) * | 2016-12-26 | 2021-10-13 | カシオ計算機株式会社 | 楽音データ処理方法及び楽音データ処理装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6047863B2 (ja) * | 2011-07-13 | 2016-12-21 | 大日本印刷株式会社 | 音響信号の符号化方法および装置 |
-
2015
- 2015-06-17 JP JP2015121870A patent/JP6589404B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016028269A (ja) | 2016-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2906970B2 (ja) | サウンドの分析及び合成方法並びに装置 | |
| JP5846043B2 (ja) | 音声処理装置 | |
| JP6589404B2 (ja) | 音響信号の符号化装置 | |
| JP2012208177A (ja) | 帯域拡張装置及び音声補正装置 | |
| JPH0777979A (ja) | 音声制御音響変調装置 | |
| JPWO2008010413A1 (ja) | 音声合成装置、方法、およびプログラム | |
| JP6047863B2 (ja) | 音響信号の符号化方法および装置 | |
| JP5552794B2 (ja) | 音響信号の符号化方法および装置 | |
| JP5163606B2 (ja) | 音声分析合成装置、及びプログラム | |
| Penttinen et al. | Acoustic guitar plucking point estimation in real time | |
| JP5732910B2 (ja) | 音響信号の符号化方法および装置 | |
| JP5609280B2 (ja) | 音響信号の符号化方法および装置 | |
| JP4513556B2 (ja) | 音声分析合成装置、及びプログラム | |
| JP2002049399A (ja) | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 | |
| JP2001282246A (ja) | 波形データ時間伸張圧縮装置 | |
| JP5533021B2 (ja) | 音響信号の符号化方法および装置 | |
| CN113178183B (zh) | 音效处理方法、装置、存储介质和计算设备 | |
| JP3779058B2 (ja) | 音源システム | |
| JP5211437B2 (ja) | 音声処理装置およびプログラム | |
| JP3304709B2 (ja) | 楽音信号分析方法 | |
| JP2766648B2 (ja) | 高調波係数抽出装置、高調波係数合成装置、高調波係数抽出方法及び高調波係数合成方法 | |
| JP2003241777A (ja) | 楽音のフォルマント抽出方法、記録媒体及び楽音のフォルマント抽出装置 | |
| JP2689709B2 (ja) | 電子楽器 | |
| JP4156268B2 (ja) | 時系列信号の周波数解析方法および音響信号の符号化方法 | |
| JP3226255B2 (ja) | 楽音合成システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180426 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190312 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190417 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190820 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190902 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6589404 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |