JP5609280B2 - 音響信号の符号化方法および装置 - Google Patents

Description

本発明は、音響信号の符号化技術に関し、特に、ＭＩＤＩ形式等の符号データに符号化するのに好適な符号化技術に関する。

音響信号をMIDI符号等の符号データに変換する方法として、出願人は、音響信号に対してフーリエ変換などの周波数解析を施す技術を提案している（特許文献１参照）。しかし、与えられる音響信号はデジタルサンプリングされたものであるため、周波数が高い領域では調和信号との相関計算において周期あたりのサンプル数が少なくなり解析精度が顕著に悪化するという問題があった。これに対し、出願人は、MIDI符号で使用される平均律音階と同様な対数尺度の周波数で周波数解析を行うことにより、周波数が高い領域では参照する調和信号の周波数間隔を増大させ、隣接する周波数（MIDIノートナンバー）を判定する技術を提案している（特許文献２参照）。これに伴い、解析対象の主周波数間（半音間）を微細な周波数に分割して解析する方法を提案し、主として隣接する周波数間隔が広い周波数が高い領域における解析精度を改善している（特許文献３参照）。更に、出願人は、一般化調和解析を用いる技術を提案し、フーリエ変換では擬似的な周波数成分を過剰に抽出してしまう問題を改善している（特許文献４参照）。

上記提案手法により定常的な信号における周波数解析を高精度に行うことは可能になったが、音響信号は時系列に周波数が変動するため、理想的には、ある時刻における瞬間周波数を計測することが望まれるが、それは実現不可能である。そのため上記いずれの提案においても、ある時刻の近傍に単位区間という微小区間を設定して、その単位区間で短時間の周波数解析を行う方法をとっている。この時、周波数解析精度（特に低音周波数）を向上させるためには単位区間（サンプル数）は長いほど良いが、一方時間分解能を向上させるためには単位区間は短いほど良い。即ち、周波数分解能と時間分解能はトレードオフの関係になる（不確定性の原理）。そこで、出願人は、単位区間長はMIDI符号の最低音を解析可能な程度に固定値(44.1kHzサンプリングで4096サンプル)に設定し、単位区間を可変のステップで送りながら、時間分解能を改善する方法を提案した（特許文献５参照）。

特許第３７９５２０１号公報 特許第４０３７５４２号公報 特許第４１５６２６８号公報 特許第４１３２３６２号公報 特許第４０６１０７０号公報

しかしながら、上記特許文献５に記載の発明では、多数の周波数成分が混ざり合っていない信号成分に対しては、適切に解析を行うことが可能であるが、複数の楽器音が混じった和音を含む音響信号や、フォルマントを有する音声信号の周波数変化を適切にとらえることができず、適切な単位区間の設定が行われない場合があることがわかってきた。また、特許文献５においては、単位区間に基づいて得られた単音成分を隣接する単音成分と連結して長時間に渡る音成分を生成するが、可変で単位区間の位置を設定するため、隣接する単音成分との時間的距離が大きくなり、連結判断が適切に行われないという問題もある。

そこで、本発明は、和音信号や、音声信号の周波数変化をより適切に解析することが可能な音響信号の符号化方法および装置を提供することを課題とする。

上記課題を解決するため、本発明第１の態様では、所定のサンプリング周波数でデジタル化されたＪ個の時系列のサンプル列として与えられる音響信号を符号化するにあたり、前記サンプル列に対して、所定数Ｔ（Ｔ＜Ｊ）個のサンプルで構成される単位区間を、隣接する単位区間と時間軸方向に所定数Ｗ（Ｗ＜Ｔ）個のサンプルを重複させながら設定し、個々の単位区間ごとに、解析対象とする少なくともＮ種類の各周波数ｆ（ｎ）について、周波数変換を行うことにより、単位区間ｐに対して、前記Ｎ種類の周波数に対応した第１のスペクトル強度Ｅ１（ｐ，ｎ）を算出し、前記単位区間ｐに対して直前に位置する単位区間ｐ−１における第１のスペクトル強度Ｅ１（ｐ−１，ｎ）との対応する周波数ごとの変化に基づく評価値が、所定のしきい値より大きい場合に限り、当該単位区間ｐをｑ（ｑ≦ｐ）番目の選出単位区間ｑとして選出し、解析対象とする少なくともＮ種類の各周波数ｆ（ｎ）について、前記第１のスペクトル強度算出における周波数変換に比較して高精度な周波数変換を行うことにより、前記Ｎ種類の周波数に対応した第２のスペクトル強度Ｅ２（ｑ，ｎ）を算出し、前記選出単位区間ｑの先頭時刻と直後の選出単位区間ｑ＋１の先頭時刻との時間差と、前記選出単位区間ｑの第２のスペクトル強度Ｅ２（ｑ，ｎ）に基づいて、所定の形式の符号コードを生成するようにしたことを特徴とする。

本発明第１の態様によれば、単位区間を等間隔で設定し、各単位区間に対して簡易な第１の周波数変換を行い、その強度が直前の単位区間と比較して所定の基準以上に大きい場合に、選出単位区間として選出し、その選出単位区間に対してより高精度な第２の周波数変換を行って、得られた解析結果を基に符号コードを生成するようにしたので、固定間隔で音響信号全体に渡って情報を解析しつつ、特徴的な部分のみを符号化することになるため、和音を含む音響信号や、音声信号の周波数変化をより適切に解析することが可能となる。

また、本発明第２の態様では、本発明第１の態様において、前記第１のスペクトル算出および第２のスペクトル算出を、Ｎ種類の各周波数ｆ（ｎ）に対して隣接する周波数を超えない範囲で所定のＭ種類の微細周波数ｆ（ｎ，ｍ）を設定し、前記第１のスペクトル強度Ｅ１（ｐ，ｎ）および第２のスペクトル強度Ｅ２（ｑ，ｎ）として、前記Ｍ種類の微細周波数の中で最も大きい強度を示す微細周波数に対応する強度値を算出するようにしたことを特徴とする。

本発明第２の態様によれば、解析する周波数の間隔を微細に設定することにより、より詳細な周波数解析が可能となり、適切な周波数成分を特定することができる。

また、本発明第３の態様では、本発明第１の態様において、前記符号コードを生成する際、隣接する２つの選出単位区間ｑと選出単位区間ｑ＋１に対して、前記選出単位区間ｑがｐ番目の単位区間ｐであった場合に、Ｐ（ｑ）＝ｐと定義し、前記選出単位区間ｑ＋１における周波数ｆ（ｎ）、ｆ（ｎ−１）、ｆ（ｎ＋１）に対応する前記第１のスペクトル強度Ｅ１（Ｐ（ｑ＋１），ｎ）、Ｅ１（Ｐ（ｑ＋１），ｎ−１）、Ｅ１（Ｐ（ｑ＋１），ｎ＋１）のいずれかと、当該選出単位区間ｑ＋１の直前に位置する単位区間Ｐ（ｑ＋１）−１における周波数ｆ（ｎ）に対応する前記第１のスペクトル強度Ｅ１（Ｐ（ｑ＋１）−１，ｎ）との差が所定のしきい値Ｌｄｉｆ未満で、かつ前記第１のスペクトル強度Ｅ１（Ｐ（ｑ＋１），ｎ）、Ｅ１（Ｐ（ｑ＋１），ｎ−１）、Ｅ１（Ｐ（ｑ＋１），ｎ＋１）のいずれかおよび前記第１のスペクトル強度Ｅ１（Ｐ（ｑ＋１）−１，ｎ）が所定のしきい値Ｌｍｉｎより大きい場合、前記選出単位区間ｑと選出単位区間ｑ＋１を連結し、前記符号コードの基礎となる時間差として、前記選出単位区間ｑに定義された選出単位区間ｑの先頭時刻と、選出単位区間ｑ＋１の直後の選出単位区間ｑ＋２の先頭時刻との時間差を用いるようにしていることを特徴とする。

本発明第３の態様によれば、符号コードを生成する際、隣接する２つの選出単位区間のうち、後続の選出単位区間とその直前の単位区間の強度の差が所定のしきい値未満で、後続の選出単位区間の強度とその直前の単位区間の強度がともに所定のしきい値より大きい場合に、隣接する２つの選出単位区間を連結するようにしたので、選出されていないものの、時間的に最も近い単位区間が連結判断の際に考慮されることとなり、適切に音成分を連結することが可能になる。

また、本発明第４の態様では、本発明第３の態様において、前記第１のスペクトル算出および第２のスペクトル算出は、Ｎ種類の各周波数ｆ（ｎ）に対して隣接する周波数を超えない範囲で所定のＭ種類の微細周波数ｆ（ｎ，ｍ）を設定し、前記第１のスペクトル強度Ｅ１（ｐ，ｎ）および第２のスペクトル強度Ｅ２（ｑ，ｎ）として、前記Ｍ種類の微細周波数の中で最も大きい強度を示す微細周波数に対応する強度値を算出するものであり、前記符号コードを生成する際、前記第１のスペクトル強度Ｅ１（Ｐ（ｑ＋１），ｎ）、Ｅ１（Ｐ（ｑ＋１），ｎ−１）、Ｅ１（Ｐ（ｑ＋１），ｎ＋１）のいずれか決定する微細周波数と、前記第１のスペクトル強度Ｅ１（Ｐ（ｑ＋１）−１，ｎ）を決定する微細周波数との差が所定のしきい値Ｎｄｉｆ未満という条件をさらに満たした場合に限り、前記選出単位区間ｑと選出単位区間ｑ＋１を連結するようにしていることを特徴とする。

本発明第４の態様によれば、解析する周波数の間隔を微細に設定することにより、より詳細な周波数解析が可能となり、さらに、音成分の連結条件として、後続の選出単位区間とその直前の単位区間の微細周波数との差がしきい値未満であることを追加したので、より精度の高い解析結果に基づいて音成分を連結することが可能となる。

また、本発明第５の態様では、本発明第１の態様において、前記第１のスペクトル算出を、前記単位区間の区間信号の構成要素となるべきＮ種類の要素信号を、各々当該周波数ｆ（ｎ）の周期の整数倍に対応し、前記Ｔに最も近いＴ（ｎ）個のサンプルとして準備する要素信号の準備と、前記Ｎ個の各周波数ｆ（ｎ）に対応する要素信号と、それぞれ対応する前記単位区間ｐのＴ（ｎ）個のサンプルで構成される区間信号との相関演算を行うことにより、第１のスペクトル強度Ｅ１（ｐ，ｎ）を算出し、前記第２のスペクトルの算出を、前記要素信号の準備と、前記Ｎ個の各周波数ｆ（ｎ）に対応する要素信号と、それぞれ対応する前記選出単位区間ｑのＴ（ｎ）個のサンプルで構成される区間信号との相関演算を行い、相関値が最も高い周波数ｆ（ｎｍａｘ）に対応する要素信号を調和信号として選出する調和信号の選出と、前記選出された調和信号と当該調和信号について得られた相関値との積で与えられるＴ（ｎｍａｘ）個のサンプルを含有信号とし、当該含有信号を前記区間信号から減じることにより、Ｔ（ｎｍａｘ）個のサンプルで構成される差分信号を求める差分信号の演算により行い、前記Ｔ（ｎｍａｘ）個のサンプルを反映させ更新されたＴ（ｎ）個のサンプルを新たな区間信号として、前記調和信号選出段階および差分信号演算段階を実行して新たな含有信号および差分信号を得る処理を繰り返し行うことによりＮ個の含有信号を求め、求められた含有信号の相関値に基づいて、前記Ｎ種類の周波数に対応した第２のスペクトル強度Ｅ２（ｑ，ｎ）を算出することを特徴とする。

本発明第５の態様によれば、全ての単位区間に対する第１のスペクトル算出を、簡易な離散フーリエ変換により行い、選出単位区間に対する第２のスペクトル算出を高精度な一般化調和解析により行うようにしたので、全ての単位区間の解析結果を参考にしつつ、選出単位区間の情報を詳細に得ることを、全体として効率的に行うことが可能となる。

また、本発明第６の態様では、本発明第５の態様において、前記相関の演算を、直前に位置する単位区間ｐ−１における各周波数ｆ（ｎ）に対応する直前相関演算結果に対し、前記単位区間ｐ−１における先頭Ｗサンプルに対応する相関演算を行い、各周波数ごとの相関値を前記直前相関演算結果より減算するとともに、前記単位区間ｐにおけるＴ（ｎ）サンプル中の最後尾Ｗサンプルに対応する相関演算を行い、各周波数ごとの相関値を前記直前相関演算結果に加算することにより、前記単位区間ｐにおける各周波数ｆ（ｎ）に対応する相関演算結果を取得し、当該相関演算結果に基づいて前記第１のスペクトル強度Ｅ１（ｐ，ｎ）を算出することにより行うことを特徴とする。

本発明第６の態様によれば、各単位区間に対する簡易な相関演算を行う際、直前の単位区間に対して行われた相関演算結果を利用し、直前相関演算結果の先頭部分を除去するとともに、当該単位区間の最後尾に対する相関演算を行って、その結果を直前相関演算結果に加算するようにしたので、直前の単位区間の相関演算結果の大部分を流用することができ、全体の演算処理を高速化することが可能となる。

本発明によれば、和音信号や、音声信号の周波数変化をより適切に解析することが可能な音響信号の符号化方法および装置を提供することが可能となるという効果を有する。

従来技術と比較した本発明の基本概念を示す図である。 本発明に係る音響信号の符号化方法の概要を示すフローチャートである。 時間軸方向の拡大、周波数の増加・時間情報の縮小の概念を示す図である。 本実施形態における解析周波数の論理的／物理的範囲の関係を示す図である。 本実施形態における単位区間と解析範囲の関係を示す図である。 本実施形態における単位区間の解析処理の様子を示す図である。 時間軸拡大処理後の音響信号から抽出した単位区間におけるサンプル列と、調和信号の対応関係を示す図である。 単位区間長Ｔが調和信号の１／２周期以上で３／４周期未満の場合の解析フレームの時間軸延長を説明する図である。 単位区間長Ｔが調和信号の１／４周期以上で１／２周期未満の場合の解析フレームの時間軸延長を説明する図である。 連結判断の対象とする選出単位区間と単位区間との関係を示す図である。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。
まず、最初に、本発明の基本概念を、特許文献５に代表される従来技術と比較して説明する。図１は、従来技術と比較した本発明の基本概念を示す図である。従来の場合も本発明も、後述するように、サンプリングにより得られた所定数のサンプルを単位区間として設定し、単位区間ごとに周波数解析を行う点は同一である。図１（ａ）に示すように、特許文献５に開示されている従来技術では、ゼロ交差点を特定し、そのゼロ交差点を利用して単位区間の設定位置を可変とする。図１（ａ）では例として３つの単位区間が設定されているが、これらの開始位置（左端）の間隔は均一ではない。そして、設定された各単位区間に対して、離散フーリエ変換及び一般化調和解析の両方を実行して解析結果を得る。

これに対して、図１（ｂ）に示すように、本発明では、固定間隔で単位区間を設定し、各単位区間に対して離散フーリエ変換を実行して解析結果を得る。そして、その解析結果を直前の単位区間と比較して、所定の条件を満たす場合に、選出単位区間として選出する。図１（ｂ）の例では、単位区間１、５、６がそれぞれ選出単位区間１、２、３として選出されている。そして、選出単位区間に対して一般化調和解析を実行して解析結果を得る。

ここから、本発明に係る音響信号の符号化方法および符号化装置について詳細に説明していく。図２は、本実施形態に係る音響信号の符号化方法の概要を示すフローチャートである。本実施形態に係る音響信号の符号化方法は、図２に示した各ステップ（各段階）の詳細な手順を記録したプログラムを、コンピュータが実行することにより、行われる。コンピュータとしては、演算処理を行うためのＣＰＵやメモリ、プログラムやデータを記憶するハードディスク等の記憶装置、音響信号等のデータ入力を行うためのデータ入力機器、指示入力を行うキーボード、マウス等の入力機器、必要な情報を画面に表示する液晶ディスプレイ等の表示機器を備えた汎用のコンピュータを用いることができる。また、図２に示した各ステップ（各段階）の詳細な手順を記録したプログラムが組み込まれた汎用のコンピュータにより本実施形態に係る音響信号の符号化装置が実現される。

まず、コンピュータ（符号化装置）は、処理対象であるデジタル音響信号を、データ入力機器から読み込む。デジタル音響信号は、アナログ音響信号を所定のサンプリング周波数、量子化ビット数でサンプリングしたものであり、本実施形態では、サンプリング周波数４４．１ｋＨｚ、量子化ビット数１６ビットでサンプリングした場合を例にとって以下説明していく。サンプリング周波数４４．１ｋＨｚでサンプリングした場合、デジタル音響信号は、１秒間に４４１００個のサンプル（強度値）を有するサンプル列（サンプルの配列：強度配列）として構成されることになる。

デジタル音響信号を読み込んだら、コンピュータ（符号化装置）は、デジタル音響信号を時間軸方向に所定の倍率Ｑ（Ｑは整数）だけ拡大する（Ｓ１）。具体的には、デジタル音響信号を構成するサンプルの数をＱ倍にする。そして、Ｑ個ごとに、元のサンプルと同じ値のものを配置し、その間の（Ｑ−１）個のサンプルの値としては、両側に位置する元のサンプルの値を用いて線形補間したものを与える。原音響信号の各サンプルｊ（ｊ＝０・・・Ｊ−１）についてのサンプル値をｘ（ｊ）とすると、コンピュータは、以下の〔数式１〕に従った処理を実行することにより、拡大後の音響信号の各サンプルｊ・Ｑ＋ｋ（０≦ｋ≦Ｑ−１）についてのサンプル値ｘ´（ｊ・Ｑ＋ｋ）を算出する。以下の〔数式１〕において、ｗはｋ／Ｑで与えられる０≦ｗ≦１の値をとる実数値とする。

〔数式１〕
ｘ´（ｊ・Ｑ＋ｋ）＝（１−ｗ）・ｘ（ｊ）＋ｗ・ｘ（ｊ＋１）

Ｓ１における処理の結果、デジタル音響信号を構成するＪ個のサンプルは、Ｊ×Ｑ個に拡大される。図３（ａ）にＳ１における拡大処理による波形の変化を示す。図３（ａ）における波形は、サンプルの値をプロットしたものを線分で結んだものであるが、サンプル数が多いため、曲線状に表現されるものである。上記〔数式１〕に従った処理を実行することにより、左側に示したような波形が右側に示したような波形に変化することになる。なお、図３の例では、説明の便宜上Ｑ＝２の場合を示している。

次に、コンピュータ（符号化装置）は、時間軸方向に拡大されたサンプル上に単位区間を設定する（Ｓ２）。単位区間の長さ（サンプル数Ｔ）は、サンプリング周波数との関係で設定されるが、サンプリング周波数が４４．１ｋＨｚの場合、低域部まで忠実に解析するためには、４０９６サンプル以上必要である。そこで、本実施形態では、１単位区間のサンプル数Ｔ＝４０９６として単位区間を設定している。

単位区間の設定は、特許文献１〜５に開示されているように、デジタル音響信号の先頭から順次サンプルを抽出することにより行われる。単位区間は、全てのサンプルを漏らさず設定し、好ましくは、連続する単位区間においてサンプルが重複するように設定する。本発明では、各単位区間の先頭の間隔（シフト幅という）を固定値で設定する。すなわち、重複させるサンプル数を一定として設定する。本実施形態では、シフト幅Ｗ＝６４の固定値とする。これにより、Ｔ＝４０９６の場合、先頭の単位区間をｊ＝０〜４０９５、２番目の単位区間をｊ＝６４〜４１５９、３番目の単位区間をｊ＝１２８〜４２２３というように、６４個のサンプルを重複させながら、設定することになる。そして、各サンプルの値ｘ（ｊ）を各単位区間ｐ（ｐは０以上の整数）ごとの値ｘ（ｐ，ｉ）（０≦ｉ≦Ｔ−１）と表現する。

次に、設定された各単位区間を対象として第１の周波数解析である離散フーリエ変換を実行し、各単位区間のスペクトルを算出する（Ｓ３）。各単位区間のスペクトルの算出は、特許文献１〜５に開示されているように、ＭＩＤＩのノートナンバーｎに対応する１２８種の解析周波数ｆ（ｎ）＝４４０・２^(n-69)/12の調和信号（調和関数）を基本にした離散フーリエ変換により、１２８個の成分を抽出することにより行う。“１２８種”“１２８個”というのは一例であり、例えば、ＭＩＤＩ規格の場合、ノートナンバーｎ＝０〜１２７の範囲に対応するが、グランドピアノを再現するための規格音域は、ノートナンバーｎ＝２１〜１０８の範囲である。したがって、この場合、８８種類の解析周波数を用いて８８個の成分を抽出することになる。また、前述したように、音響信号を時間軸方向に所定の倍率Ｑだけ拡大して周波数解析を行う場合、後述する時間軸拡大処理を省略すると、低音部に位置する解析周波数では解析不能になるため解析周波数の種類は更に少なくなる。例えば、Ｑ＝４の場合、解析周波数はＭＩＤＩ規格上でもノートナンバーｎ＝２４〜１２７（１０４種類）の範囲に制限され、更にグランドピアノの規格音域では、ノートナンバーｎ＝２４〜１０８（６４種類）の範囲に制限される。

本実施形態では、音響信号を時間軸方向にＱ倍に拡大したことに伴い、ｎの上限、下限をそれぞれαだけ下方に移動させる。αは、α＝１２・ｌｏｇ₂Ｑ（例えばＱ＝４の場合α＝２４）で定義される整数である。したがって、特許文献１〜５では、０≦ｎ≦１２７であるが、本実施形態では、−α≦ｎ≦１２７−αである。これにより各調和信号の周波数は、１／Ｑ倍に設定されることになる。ここで、本実施形態における解析周波数の論理的／物理的範囲の関係を図４に示す。図４に示すように、グランドピアノの規格音域は、ｎ＝２１〜１０８の範囲であるため、通常の解析を行う場合は、ｎ＝２１〜１０８の範囲で行うことになる。ところが、本発明では、時間軸拡大することにより周波数を低音側にシフトして解析処理を行う。また、ノートナンバーｎ＝２１以下については、対応する調和信号の１周期が単位区間より長くなるため、時間軸延長（後述）による長周期解析を行う。この結果、ｎ＝−３〜８４について周波数成分が得られるが、最終的に補正処理を行うことにより、ｎ＝２１〜１０８の範囲周波数成分が得られる。

ノートナンバーｎに対応して解析周波数を設定した場合、周波数が高くなるにつれ、ノートナンバー間の周波数間隔が広くなるため、特に、ｎが６０を超えると解析精度が低下してしまう。そこで、本実施形態では、特許文献３に開示したように、ノートナンバー間をＭ個の微分音（微細周波数）に分割した１２８Ｍ個の要素信号ｆ（ｎ，ｍ）＝４４０・２^{(n-69+m/M)/12}を用いて解析を行い、１２８Ｍ個の成分を抽出する。後述するＳ９の符号コード作成処理においてピッチベンド符号の付加など特殊な符号化を行わない限り、各ノートナンバーにおけるＭ個の微分音の情報は不要であるため、Ｍ個の微分音の成分の合算値を当該ノートナンバーにおける成分として代表させ、結果的に１２８個の成分を抽出する。

コンピュータ（符号化装置）による具体的な処理手順としては、各単位区間ｐごとに、まず、ノートナンバー分の強度値の配列Ｅ１（ｐ，ｎ）（−α≦ｎ≦１２７−α）と副周波数配列Ｓ（ｐ，ｎ）を設定し、初期値を全て０とする。続いて、−α≦ｎ≦１２７−αおよび０≦ｍ≦Ｍ−１に対して以下の〔数式２〕に従った処理を実行し、Ｅ１（ｐ，ｎ，ｍ）を最大にする（ｎｍａｘ，ｍｍａｘ）を求める。ただし、処理負荷との関係から、低音部分を必要としない場合は、ｎ＜０については処理を省略することにより、処理負荷を軽減することもできる。

〔数式２〕
Ａ(ｐ，ｎ，ｍ)＝(１／Ｔ（ｎ）)・Σ_i=0,T(n)-1ｘ(ｐ，ｉ) sin(２πｆ（ｎ，ｍ）（ｉ＋ｐＷ）／ｆｓ)
Ｂ(ｐ，ｎ，ｍ)＝(１／Ｔ（ｎ）)・Σ_i=0,T(n)-1ｘ(ｐ，ｉ) cos (２πｆ（ｎ，ｍ）（ｉ＋ｐＷ）／ｆｓ)
Ｅ１(ｐ，ｎ，ｍ)＝｛Ａ(ｐ，ｎ，ｍ)｝²＋｛Ｂ(ｐ，ｎ，ｍ)｝²

上記〔数式２〕においてＴ（ｎ）は解析フレーム長であり、調和信号（調和関数）の１周期が単位区間長Ｔ以下の場合、単位区間長Ｔを超えない範囲で調和信号の周期の最大の整数倍になるように設定する。ただし、本発明では、時間軸拡大することにより周波数を低音側にシフトして解析処理を行うため、調和信号（調和関数）の１周期が単位区間長Ｔを超える場合が発生する。具体的には、調和信号の１周期が単位区間長Ｔより大きい場合、Ｔ（ｎ）＝ｋ×ｆｓ／ｆ（ｎ，ｍ）で与え、Ｔ＜Ｔ（ｎ）におけるｘ(ｉ)の値については、後述する時間軸延長処理に基づき設定する。なお、ｆｓはサンプリング周波数（例えば、４４．１ｋＨｚ）である。

上記〔数式２〕に従った処理を各単位区間に対して実行し、Ａ(ｐ，ｎ，ｍ)、Ｂ(ｐ，ｎ，ｍ)、Ｅ１(ｐ，ｎ，ｍ)を求めることも可能である。ここで、本実施形態における単位区間と解析範囲の関係を図５に示す。図５において、上端の波形は原音響信号、下端の波形は調和関数をそれぞれ模式的に示したものである。図５の例では、対象とする単位区間である対象単位区間と、その直前の単位区間である直前単位区間のみを示してあるが、それぞれの相関計算範囲は、矩形の横方向の長さになる。本実施形態では、相関計算範囲Ｔを４０９６サンプル、シフト幅Ｗを６４サンプルとしているため、重複部分が非常に大きい。そこで、本実施形態では、重複部分については、直前単位区間における解析結果を利用することにより、解析処理の効率化を図っている。

本実施形態における単位区間の解析処理の様子を図６に示す。図６に示すように、対象単位区間における解析結果を得る際に、直前単位区間の重複部分を利用する。具体的には、対象単位区間と重複しない直前単位区間の先頭部分を削除し、直前単位区間と重複しない対象単位区間の最後尾部分のみ、相関演算を行って追加する。従って、単位区間内全体に渡って相関演算を行うのは、先頭の単位区間（ｐ＝０）に対してだけということになる。

ｐ≧１の場合、すなわち、２番目以降の単位区間ｐについて処理する場合、直前の単位区間（ｐ−１）についてのＡ(ｐ−１，ｎ，ｍ)、Ｂ(ｐ−１，ｎ，ｍ)が既に算出されている。本実施形態では、Ａ(ｐ−１，ｎ，ｍ)、Ｂ(ｐ−１，ｎ，ｍ)を用いて、以下の〔数式３〕に従った処理を実行することにより、単位区間ｐについてのＡ(ｐ，ｎ，ｍ) 、Ｂ(ｐ，ｎ，ｍ)を算出する。

〔数式３〕
Ａ(ｐ，ｎ，ｍ)＝Ａ(ｐ−１，ｎ，ｍ) −(１／Ｔ（ｎ）)・Σ_i=0,W-1ｘ(ｐ−１，ｉ) sin(２πｆ（ｎ，ｍ）（ｉ＋（ｐ−１）Ｗ）／ｆｓ)＋(１／Ｔ（ｎ）)・Σ_{i=T(n)-W,T(n)-1}ｘ(ｐ，ｉ) sin(２πｆ（ｎ，ｍ）（ｉ＋ｐＷ）／ｆｓ)
Ｂ(ｐ，ｎ，ｍ)＝Ｂ(ｐ−１，ｎ，ｍ) −(１／Ｔ（ｎ）)・Σ_i=0,W-1ｘ(ｐ−１，ｉ) cos (２πｆ（ｎ，ｍ）（ｉ＋（ｐ−１）Ｗ）／ｆｓ)＋(１／Ｔ（ｎ）)・Σ_{i=T(n)-W,T(n)-1}ｘ(ｐ，ｉ) cos (２πｆ（ｎ，ｍ）（ｉ＋ｐＷ）／ｆｓ)
Ｅ１(ｐ，ｎ，ｍ)＝｛Ａ(ｐ，ｎ，ｍ)｝²＋｛Ｂ(ｐ，ｎ，ｍ)｝²

続いて、ノートナンバーｎごとに、０≦ｍ≦Ｍ−１の範囲で、Ｅ（ｐ，ｎ，ｍ）を最大にする（ｐ，ｎ，ｍｍａｘ）を求め、Ｅ１(ｐ，ｎ)＝Ｅ１(ｐ，ｎ，ｍｍａｘ)、Ｓ（ｐ，ｎ）＝ｍｍａｘとする処理を行う。そして、算出されたＥ１(ｐ，ｎ)、Ｓ（ｐ，ｎ）をメモリに一時保存する。メモリに一時保存されたＥ１(ｐ，ｎ)、Ｓ（ｐ，ｎ）は、後述する単音成分連結処理において用いる。

次に、単位区間ｐにおいて算出されたスペクトル強度Ｅ１(ｐ，ｎ)と、直前区間（ｐ−１）において算出されたスペクトル強度Ｅ１(ｐ−１，ｎ)との変化の評価を行う（Ｓ４）。具体的には、まず、以下の〔数式４〕に従った処理を実行することにより、単位区間ｐの直前区間（ｐ−１）との変化評価値ｄＥ(ｐ−１，ｐ)を算出する。

〔数式４〕
ｄＥ(ｐ−１，ｐ)＝（１００／Ｎ）・Σ_n=0,N-1｛｜Ｅ１(ｐ，ｎ)−Ｅ１(ｐ−１，ｎ)｜／（Ｅ１(ｐ，ｎ)＋Ｅ１(ｐ−１，ｎ)）｝

そして、得られた変化評価値ｄＥ(ｐ−１，ｐ)が、所定のしきい値（例えば４０）未満である場合は、ｐ←ｐ＋１としてＳ１に戻り、次の単位区間ｐの設定を行う。

一方、得られた変化評価値ｄＥ(ｐ−１，ｐ)が、所定のしきい値以上である場合は、その単位区間ｐを選出単位区間ｑとして選出し、選出単位区間ｑについて一般化調和解析を行う（Ｓ５）。ｑの値は最初に選出された選出単位区間を０とし、以降は選出されるごとに１ずつ加算した値を与える。具体的には、まず、Ｓ３において設定されたＥ１(ｐ，ｎ)が最大になるＥ１(ｐ，ｎｍａｘ)を求める。すなわち、−α≦ｎ≦１２７−αの全てのｎのうち、Ｅ１(ｐ，ｎ)が最大になるｎの値をｎｍａｘとして求めるとともに、そのときのＥ１(ｐ，ｎ)をＥ１(ｐ，ｎｍａｘ)として求める。これは、上記〔数式２〕の処理を全てのｎに対して実行し、算出されたｎ個のＥ１(ｐ，ｎ)のうち最大のものを選択することにより行われる。さらに、求めたｎｍａｘを用いて、ｍｍａｘ＝Ｓ（ｐ，ｎｍａｘ）と設定する。

そして、得られたｎｍａｘ、ｍｍａｘを用いて以下の〔数式５〕に従った処理を実行することにより、Ａ(ｐ，ｎｍａｘ，ｍｍａｘ)、Ｂ(ｐ，ｎｍａｘ，ｍｍａｘ)を算出する。〔数式５〕に従った処理を実行するに際し、まず、単位区間ｐはｑ番目に選出された選出単位区間ｑであるとした場合に、Ｐ（ｑ）＝ｐと設定し、選出単位区間ｑにおいてノートナンバー分の相関配列Ｅ２（ｑ，ｎ）を定義し、初期値を全て０未満の値（例えば−１）に設定しておく。

〔数式５〕
Ａ(ｐ，ｎｍａｘ，ｍｍａｘ)＝(１／Ｔ（ｎｍａｘ）)・Σ_{i=0,T(nmax)-1}ｘ(ｐ，ｉ)・ sin(２πｆ（ｎｍａｘ，ｍｍａｘ）ｉ／ｆｓ)
Ｂ(ｐ，ｎｍａｘ，ｍｍａｘ)＝(１／Ｔ（ｎｍａｘ）)・Σ_{i=0,T(nmax)-1}ｘ(ｐ，ｉ) cos (２πｆ（ｎｍａｘ，ｍｍａｘ）ｉ／ｆｓ)
Ｅ２(ｑ，ｎｍａｘ)＝｛Ａ(ｐ，ｎｍａｘ，ｍｍａｘ)｝²＋｛Ｂ(ｐ，ｎｍａｘ，ｍｍａｘ)｝²

そして、算出されたＡ(ｐ，ｎｍａｘ，ｍｍａｘ)、Ｂ(ｐ，ｎｍａｘ，ｍｍａｘ)を用いて、以下の〔数式６〕に従った処理を実行することにより、単位区間ｐ内のサンプル（ｐ，ｉ）の値ｘ（ｐ，ｉ）を０≦ｉ≦Ｔ（ｎｍａｘ）−１に渡って更新する。

〔数式６〕
ｘ(ｐ，ｉ)←ｘ(ｐ，ｉ)−Ａ(ｐ，ｎｍａｘ，ｍｍａｘ) ・sin(２πｆ（ｎｍａｘ，ｍｍａｘ）ｉ／ｆｓ)−Ｂ(ｐ，ｎｍａｘ，ｍｍａｘ) ・cos (２πｆ（ｎｍａｘ，ｍｍａｘ）ｉ／ｆｓ)

〔数式６〕の処理は、元の音響信号から含有信号を除去する処理である。含有成分を除去した後の音響信号に対して、さらに処理したｎｍａｘの値以外のｎを対象としてＥ２(ｑ，ｎ)が最大になる新たなＥ２(ｑ，ｎｍａｘ)を求め、その新たなｎｍａｘを用いて、〔数式５〕〔数式６〕に従った処理を実行する。この結果、さらに含有信号が音響信号から除去される。コンピュータ（符号化装置）は、このような処理を１２８個全てのｎに対して実行し、Ｅ２(ｑ，ｎ)を得る。

本実施形態では、処理負荷を軽減するため、Ｍの値については、ノートナンバーに基づいて可変に設定し、例えば解析する周波数間隔が１００Ｈｚ程度になるようにしている。そして、ノートナンバー６０以下は分割せずＭ＝１にする。また、精度は若干落ちるが、強度配列Ｅ１(ｐ，ｎ)を決定するための〔数式２〕の処理でＳ（ｐ，ｎ）を決定し、強度配列Ｅ２(ｑ，ｎ)を決定するための〔数式５〕の処理は、ｍ＝Ｓ（ｐ，ｎ）に固定して行い、微分音解析を省略するようにしても良い。また、〔数式５〕の処理で、既に同一ノートナンバーに対して副周波数が異なる信号成分が複数回に渡って解析される可能性があるが、Ｅ２(ｑ，ｎ)に既に値がセットされている場合は、Ｅ１（ｐ，ｎ）の最大値の選定候補から除外するようにしても良い。

ここで、単位区間における解析フレームの設定について説明する。尚、以下説明は前述の選出単位区間においても同様に適用される。図７は、時間軸拡大処理後の音響信号から抽出した単位区間におけるサンプル列と、調和信号の対応関係を示す図である。このうち、図７（ａ）は、時間軸拡大処理後の音響信号から抽出した単位区間におけるサンプル列である。各サンプルにおけるサンプル値（４０９６個）を結ぶことにより、図７（ａ）に示すような波形状で示される。１２８個の調和信号のうち、図７（ｂ）に示すような１周期が単位区間長Ｔ以下の高音部の解析調和信号と相関演算を行う際、および単位区間Ｔより選出された調和信号である含有信号を減算する際には、調和信号の１周期が単位区間長Ｔを超えない範囲まで周期を整数倍した長さを解析フレーム長Ｔ（ｎ）とし、単位区間Ｔの先頭からサンプルＴ（ｎ）個を抽出して、解析フレームとする。

調和信号の１周期が単位区間長Ｔより大きい場合、相関計算区間である解析フレーム長Ｔ（ｎ）を調和信号の１周期分とするため、単位区間長ＴにＴ（ｎ）−Ｔ個のサンプル数を追加することにより時間軸延長処理を行う。この場合、調和信号の１周期を４つの分割区間Ｋ１−Ｋ４として設定する。そして、図７（ｄ）に示すように、単位区間長Ｔが、調和信号の３／４周期に相当する場合は、調和信号の分割区間Ｋ３（１／２周期から３／４周期の区間）に対応する単位区間のサンプルを、調和信号の３／４周期（２７０度：分割区間Ｋ３と分割区間Ｋ４の境界）の時点において時間軸方向に反転させたサンプルを追加する。２７０度の時点において時間軸方向に反転させるのは、調和信号の１周期が正弦波であると仮定すると、分割区間Ｋ３と分割区間Ｋ４（３／４周期から１周期の区間）は２７０度を軸に時間軸方向に左右対称である特徴を利用したものである。このようにして時間軸延長が行われ、図７（ｃ）に示すような波形の解析フレーム（５４６１サンプル）が得られる。図７（ｃ）（ｄ）の例では、単位区間長Ｔが、調和信号の３／４周期に相当する場合を示したが、単位区間長Ｔが、調和信号の３／４周期以上である場合は、同様に処理が行われ、解析フレーム長Ｔ（ｎ）は最大５４６１サンプルとなる。この場合、調和信号の３／４周期を超えた部分の単位区間のサンプルは、単位区間内のいずれかのサンプルが重複して使用されることになる。

また、図８（ｂ）に示すように、単位区間長Ｔが、調和信号の１／２周期以上で３／４周期未満に相当する場合（単位区間の最終サンプルが分割区間Ｋ３に属する場合）は、分割区間Ｋ４全体と分割区間Ｋ３の一部が欠損しているため、分割区間Ｋ２（１／４周期から１／２周期の区間）に対応する単位区間のサンプルを、調和信号の１／２周期（１８０度：分割区間Ｋ２と分割区間Ｋ３の境界）の時点において時間軸および振幅軸方向に反転させたサンプルを分割区間Ｋ３に追加し、さらに追加された分割区間Ｋ３のサンプルを、調和信号の３／４周期（２７０度）の時点において反転させたサンプルを追加する。１８０度の時点において時間軸および振幅軸方向に反転させるのは、調和信号の１周期が正弦波であると仮定すると、分割区間Ｋ２と分割区間Ｋ３は１８０度を軸に時間軸および振幅軸方向に１８０度回転させた対称形である特徴を利用したものである。このようにして時間軸延長が行われ、図８（ａ）に示すような波形の解析フレーム（最大８１９２サンプル）が得られる。この場合、調和信号の１／２周期を超えた部分の単位区間のサンプルは、単位区間内のいずれかのサンプルが重複して使用されることになる。

また、図９（ｂ）に示すように、単位区間長Ｔが、調和信号の１／４周期以上で１／２周期未満に相当する場合（単位区間の最終サンプルが分割区間Ｋ２に属する場合）は、分割区間Ｋ３・Ｋ４全体と分割区間Ｋ２の一部が欠損しているため、Ｋ１区間（先頭から１／４周期の区間）に対応する単位区間のサンプルを、調和信号の１／４周期（９０度：分割区間Ｋ１と分割区間Ｋ２の境界）の時点において時間軸方向に反転させたサンプルを分割区間Ｋ２に追加し、さらに追加された分割区間Ｋ２のサンプルを、調和信号の１／２周期（１８０度）の時点において時間軸および振幅軸方向に反転させたサンプルを分割区間Ｋ３に追加し、さらに追加された分割区間Ｋ３のサンプルを、調和信号の３／４周期（２７０度）の時点において時間軸方向に反転させたサンプルを追加する。９０度の時点において時間軸方向に反転させるのは、調和信号の１周期が正弦波であると仮定すると、分割区間Ｋ１と分割区間Ｋ２は９０度を軸に時間軸方向に左右対称である特徴を利用したものである。このようにして時間軸延長が行われ、図９（ａ）に示すような波形の解析フレーム（最大１６３８４サンプル）が得られる。この場合、調和信号の１／４周期を超えた部分の単位区間のサンプルは、単位区間内のいずれかのサンプルが重複して使用されることになる。
尚、単位区間長Ｔが、調和信号の１／４周期未満に相当する場合（単位区間の最終サンプルが分割区間Ｋ１に属する場合）も起こり得るが、これをもとに時間軸延長を行って相関計算を行っても、ソースとなる情報量が少なすぎて、有意な相関値が得られないため、単位区間長Ｔが、調和信号の１／４周期未満に相当する周波数に対しては解析対象としないものとする。

各選出単位区間ｑについて解析フレームを変化させながら周波数解析を行い、スペクトル（１２８個の周波数成分）が算出されたら、個々の選出単位区間ごとに、Ｓ５において算出されたスペクトルに基づいて、Ｎ種類の各周波数に対応して、各周波数を特定可能な周波数情報と、各々に対応するスペクトル強度、および当該選出単位区間の開始と終了を特定可能な時間情報で構成される単音成分を作成する（Ｓ６）。具体的には、算出したスペクトルに、各ノートナンバーｎの時刻、時間長の情報を追加し、[開始時刻，時間長，主周波数ｎ，副周波数Ｓ（Ｐ（ｑ），ｎ），強度Ｅ２（ｑ，ｎ）]で構成される単音成分を作成する。「開始時刻」としては選出単位区間の先頭の時刻を、デジタル音響信号全体において特定できる情報であれば良く、本実施形態では、単位区間の先頭サンプル（ｉ＝０）に付されたデジタル音響信号全体におけるサンプル番号（絶対サンプルアドレス：ｊに対応）を記録している。この絶対サンプルアドレスをサンプリング周波数（４４１００）で除算することにより、音響信号先頭からの時刻が得られる。時間長は、本実施形態では選出単位区間ごとに可変で与えられることを特徴とし、直後に後続する一般化調和解析を行った選出単位区間の開始時刻までの差分（後続する選出単位区間の開始時刻−当該選出単位区間の開始時刻）で与えられる。直後に後続する選出単位区間が存在しない場合（最終の選出単位区間）、単位区間のシフト幅Ｗを時間長として与える。

続いて、時間軸方向に拡大して処理されたことによる変動を是正するため、各単音成分を補正する処理を行う（Ｓ７）。単音成分が作成されたら、全ての周波数情報（ノートナンバー値に対応）に１２・ｌｏｇ₂Ｑだけ加算する処理を行う。例えば、Ｑ＝４の場合、２４半音（２オクターブ）だけ全体的に音高を上げる。この処理は、Ｓ１においてサンプル数をＱ倍したことにより周波数が１／Ｑになっているため、周波数をＱ倍にして元の状態に戻すために行う。この補正によりノートナンバーが規格値上限の１２７を超えるノートナンバーをもつ符号コードは削除する。具体的には補正前のノートナンバーが１２８−１２・ｌｏｇ₂Ｑ以上の符号コードが削除される。

続いて、全ての開始時刻，時間長に１／Ｑを乗算する。これにより、後述する符号化処理によりＭＩＤＩ符号に変換した場合、ＭＩＤＩ符号全体の演奏時間、および各ノートイベントの発音時間が１／Ｑに縮小される。この処理は、Ｓ１においてサンプル数をＱ倍したことにより全体の演奏時間がＱ倍になっているため、時刻を１／Ｑにして元の状態に戻すために行う。

Ｓ７における処理の結果、周波数（音高）はＱ倍になるとともに、時間情報は１／Ｑになる。Ｓ７の補正処理による音成分の変化の様子を図３（ｂ）に示す。図３（ｂ）においては、Ｑ＝２の場合の音成分の変化を、音符により示している。Ｓ７の補正処理により左側の“ミ”の音符は、右側では１オクターブ高い（周波数が２倍）“ミ”の音符に変化している。一方、左側の四分音符が、右側では時間的に１／２の八分音符に変化している。

各単音成分の周波数をＱ倍、時間軸を１／Ｑ倍にする処理を行ったら、次に、連続する選出単位区間において単音成分を連結（統合）する処理を行う（Ｓ８）。具体的には、連続する選出単位区間における単音成分が、所定の連結条件を満たす場合、２つの単音成分を連結する。ここで、連結判断の対象とする選出単位区間と単位区間との関係を図１０に示す。

図１０は、図１（ｂ）と同様、単位区間１−６のうち、単位区間１、５、６がそれぞれ選出単位区間１、２、３として選出された例を示している。本実施形態では、連結判断の対象を音成分として選出される選出単位区間の間ではなく、選出単位区間と隣接する単位区間の間で行う点に特徴がある。図１０の例では、選出単位区間１と選出単位区間２（単位区間５）を連結するかどうか判断する際に、選出単位区間１と選出単位区間２（単位区間５）の間で連結条件を判断するのではなく、選出単位区間２（単位区間５）とその直前の単位区間４の間で連結条件を判断する。これにより、時間的に最も近い単位区間が連結判断の際に考慮されることとなり、適切に音成分を連結することが可能になる。

連結条件としては、同一の音として連続性を有する状態を適宜設定することができる。本実施形態では、選出単位区間ｑと選出単位区間ｑ＋１を連結するか否かを判断するにあたり、選出単位区間ｑ＋１（単位区間としてはＰ（ｑ＋１））における単音成分の強度から直前の単位区間Ｐ（ｑ＋１）−１における単音成分の強度を減じた値が所定のしきい値Ｌｄｉｆ未満で、かつ双方の強度が所定のしきい値Ｌｍｉｎより大きく、かつノートナンバーに対して上下１の変移を考慮し、副周波数を考慮した周波数（主周波数＋副周波数）の差が所定の閾値Ｎｄｉｆ未満である場合に、連続性を有するとして、後続の単音成分を前方の単音成分に連結する。本実施形態では、以下の〔数式７〕〜〔数式９〕に従った条件を満たすかどうかを判断することにより連結を行うか否かを決定する。

〔数式７〕
Ｅ１（Ｐ（ｑ＋１），ｎ）−Ｅ１（Ｐ（ｑ＋１）−１，ｎ）＜Ｌｄｉｆ
Ｅ１（Ｐ（ｑ＋１）−１，ｎ）＞ＬｍｉｎかつＥ１（Ｐ（ｑ＋１），ｎ）＞Ｌｍｉｎ
｜Ｓ（Ｐ（ｑ＋１）−１，ｎ）−Ｓ（Ｐ（ｑ＋１），ｎ）｜＜Ｎｄｉｆ

上記〔数式７〕において１行目の式は、後続の単音成分の強度から前方の単音成分の強度を減じた値が所定のしきい値Ｌｄｉｆ未満であることを示し、２行目の式は、前方の単音成分と後続の単音成分の強度がともに所定のしきい値Ｌｍｉｎより大きいことを示し、３行目の式は、副周波数を考慮した周波数（主周波数＋副周波数）の差が所定の閾値Ｎｄｉｆ未満であることを示している。

〔数式８〕
Ｅ１（Ｐ（ｑ＋１），ｎ−１）−Ｅ１（Ｐ（ｑ＋１）−１，ｎ）＜Ｌｄｉｆ
Ｅ１（Ｐ（ｑ＋１）−１，ｎ）＞ＬｍｉｎかつＥ１（Ｐ（ｑ＋１），ｎ−１）＞Ｌｍｉｎ
｜Ｓ（Ｐ（ｑ＋１）−１，ｎ）−Ｓ（Ｐ（ｑ＋１），ｎ−１）−Ｍ｜＜Ｎｄｉｆ

上記〔数式７〕が同一ノートナンバー同士で比較しているのに対して、上記〔数式８〕においては、後続の単音成分として１ノートナンバー分下げたものを対象としている点が異なっている。

〔数式９〕
Ｅ１（Ｐ（ｑ＋１），ｎ＋１）−Ｅ１（Ｐ（ｑ＋１）−１，ｎ）＜Ｌｄｉｆ
Ｅ１（Ｐ（ｑ＋１）−１，ｎ）＞ＬｍｉｎかつＥ１（Ｐ（ｑ＋１），ｎ＋１）＞Ｌｍｉｎ
｜Ｓ（Ｐ（ｑ＋１）−１，ｎ）−Ｓ（Ｐ（ｑ＋１），ｎ＋１）＋Ｍ｜＜Ｎｄｉｆ

上記〔数式７〕が同一ノートナンバー同士で比較しているのに対して、上記〔数式９〕においては、後続の単音成分として１ノートナンバー分上げたものを対象としている点が異なっている。

本実施形態における具体的な処理手順としては、まず、〔数式７〕に示した条件を全て満たすかどうかを判断する。そして、満たす場合には、連結処理へ進む。〔数式７〕に示した条件のうち１つでも満たさないものがある場合は、〔数式８〕に示した条件を全て満たすかどうかを判断する。そして、満たす場合には、連結処理へ進む。〔数式８〕に示した条件のうち１つでも満たさないものがある場合は、〔数式９〕に示した条件を全て満たすかどうかを判断する。そして、満たす場合には、連結処理へ進む。〔数式９〕に示した条件のうち１つでも満たさないものがある場合は、連結を行わないという決定を行う。

連結後の主周波数、副周波数、強度は大きい方の単音成分の各値を採用し、時間長は双方の和で与える。連結条件としての具体的なしきい値は、本実施形態では、Ｎｄｉｆ＝４／２５[単位：ノートナンバー換算]、Ｌｍｉｎ＝１[単位：１２８段階ベロシティ換算]、Ｌｄｉｆ＝１０[単位：１２８段階ベロシティ換算]としている。連結処理は、符号コードへの変換前に行うものであるため、各しきい値は、ノートナンバー、ベロシティに換算したものである。Ｓ８における連結処理の結果、連結処理されなかった単音成分はそのまま残ることになる。また、連結により連結音成分が得られることになるが、連結音成分は、単音成分と同様、[開始時刻，時間長，主周波数ｎ，副周波数Ｓ（Ｐ（ｑ），ｎ），強度Ｅ２（ｑ，ｎ）]で構成され、このうち時間長が単音成分より大きい値を有することになる。連結処理により、単音成分と連結音成分が混在することになるが、以降これらをまとめて音成分と呼ぶことにする。なお、Ｓ８における連結処理については、実行した方が、長音の音符で表現することになり、符号量が少なくなりＭＩＤＩ音源で円滑で自然な演奏が行われるようになるため、一般に望ましいが、ピッチベンド符号の付加などが行われないと、逆にビブラートなど音の微妙な時間的変化が消失するためＭＩＤＩ音源で不自然に聞こえる場合もあるため、必ずしも必須ではない。Ｓ８における連結処理を行わない場合、全てが短い音符として表現されることになる。

Ｓ８の連結処理を終えたら、最終的に得られた[開始時刻，時間長，主周波数ｎ，副周波数Ｓ（Ｐ（ｑ），ｎ），強度Ｅ２（ｑ，ｎ）]の音成分を、符号コードに変換する（Ｓ９）。符号コードの形式としては、周波数情報と、各周波数に対応するスペクトル強度、および単位区間の開始と終了を特定可能な時間情報を有するものであれば、どのような形式のものであっても良いが、本実施形態では、ＭＩＤＩ形式に変換する。ＭＩＤＩでは、発音開始と発音終了を別のイベントとして発生するため、本実施形態では、１つの音成分を２つのＭＩＤＩノートイベントに変換する。具体的には、「開始時刻」で、ノートナンバーｎのノートオンイベントを発行し、ベロシティ値は強度Ｅ２（ｑ，ｎ）の最大値をＥｍａｘとして、１２８・｛Ｅ２（ｑ，ｎ）／Ｅｍａｘ｝^1/4で与える。時刻については、Standard MIDI Fileでは、直前イベントとの相対時刻（デルタタイム）で与える必要があり、その時刻単位は任意の整数値で定義でき、例えば、１／１５３６[秒]の単位に変換して与える。そして、絶対時刻が「開始時刻」＋「時間長」で特定される終了時刻で（デルタタイムでは「時間長」で与えられる終了時刻で）、ノートナンバーｎのノートオフイベントを発行する。この際、時間長には、０以上１以下の実数を乗じる。これは、使用するＭＩＤＩ音源の音色にも依存するが、ＭＩＤＩ音源の余韻を考慮して早めにノートオフ指示をするためである。時間長をそのまま用いてもＭＩＤＩ音源の処理上問題はないが、発音の際、後続音と部分的に重なる場合がある。

Ｓ９の符号コード変換処理を終えたら、次に、符号コードに対して必要な調整を行う（Ｓ１０）。例えば、符号コードとしてＭＩＤＩ符号に変換する際、ＭＩＤＩ音源で処理可能な同時発音数についても考慮するため、同時発音数の調整を行う必要がある。ＭＩＤＩ音源で処理可能な同時発音数が３２である場合、時間軸方向に発音期間中（ノートオン状態）のノートイベントの個数を連続的にカウントし、同時に３２個を超えるノートイベントが存在する箇所が見つかった場合は、各々対になるノートオフイベントを近傍区間内で探索し、各ノートイベント対のベロシティ値とデュレーション値（ノートオフ時刻−ノートオン時刻）の積（エネルギー値）で優先度を評価し、指定和音数（この場合“３２”）以下になるように優先度の低い（エネルギー値の小さい）ノートイベント対を局所的に削除する処理を行う。“局所的に”とは、３２を超えるノートイベント対が存在する部分に限りという意味である。この際、ベロシティ値またはデュレーション値のいずれかが所定の下限値より低い場合、優先度に関係なく削除する処理も行う。

さらに、符号コードで処理可能なビットレートについても考慮するため、ビットレートの調整を行う。ＭＩＤＩ符号に変換する場合、時間軸方向に、例えば１秒間隔にノートイベント対の個数をカウントし、各々の符号データ量を平均５バイト（４０ビット）とし、ＭＩＤＩ音源で処理可能な最大ビットレートを９０００［ｂｐｓ（ビット／秒）］とすると、１秒間あたりイベント数が９０００／４０＝２２５個を超えている区間が見つかった場合は、その区間に存在するノートオンまたはノートオフイベントと各々対になるノートオフまたはノートオンイベントを近傍区間内で探索し、各ノートイベント対のベロシティ値とデュレーション値（ノートオフ時刻−ノートオン時刻）の積（エネルギー値）で優先度を評価し、指定イベント個数（この場合“２２５”）以下になるように優先度の低い（エネルギー値の小さい）ノートイベント対を局所的に削除する処理を行う。この際、ベロシティ値またはデュレーション値のいずれかが所定の下限値より低い場合、優先度に関係なく削除する処理も行う。

以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されず、種々の変形が可能である。例えば、上記実施形態では、ノートナンバー間をＭ個の微分音（微細周波数）を用いて解析を行うようにしたが、微分音を用いず、ノートナンバーに対応したＮ種類の周波数のみで解析するようにしても良い。この場合、解析精度は若干落ちるが、解析対象の周波数の数が減るため、処理負荷は軽減される。微分音を用いない場合、Ｓ８の単音成分の連結処理の判断において、〔数式７〕〜〔数式９〕では、いずれも３行目の式は判断しないことになる。

また、上記実施形態では、単位区間の設定前に、Ｓ１において時系列方向へのサンプル数の拡大処理を行い、単音成分の作成後、Ｓ７において単音成分の補正として各単音成分の周波数をＱ倍、時間軸を１／Ｑ倍にする処理を行っているが、このＳ１、Ｓ７における処理は必ずしも行う必要はない。

本発明は、ＰＣＭ等により得られた音響信号を、ＭＩＤＩ符号等の符号コードに変換する技術を用い、放送メディア（地上・ＢＳなどによるデジタルラジオ・テレビ放送など）、通信メディア（ＣＳ放送、インターネット・ストリーミング放送、携帯電話サービス、携帯音楽配信サービスなど）、パッケージメディア（ＣＤ、ＤＶＤ、ＢｌｕｅＲａｙ、メモリＩＣカードなど）向けのオーディオコンテンツ制作産業に利用することができる。

Claims (16)

1. 所定のサンプリング周波数でデジタル化されたＪ個の時系列のサンプル列として与えられる音響信号を符号化するための符号化方法であって、
   前記サンプル列に対して、所定数Ｔ（Ｔ＜Ｊ）個のサンプルで構成される単位区間を、隣接する単位区間と時間軸方向に所定数Ｗ（Ｗ＜Ｔ）個のサンプルを重複させながら設定する区間設定段階と、
   個々の単位区間ごとに、解析対象とする少なくともＮ種類の各周波数ｆ（ｎ）について、周波数変換を行うことにより、単位区間ｐに対して、前記Ｎ種類の周波数に対応した第１のスペクトル強度Ｅ１（ｐ，ｎ）を算出する第１のスペクトル算出段階と、
   前記単位区間ｐに対して直前に位置する単位区間ｐ−１における第１のスペクトル強度Ｅ１（ｐ−１，ｎ）との対応する周波数ごとの変化に基づく評価値が、所定のしきい値より大きい場合に限り、当該単位区間ｐをｑ（ｑ≦ｐ）番目の選出単位区間ｑとして選出し、解析対象とする少なくともＮ種類の各周波数ｆ（ｎ）について、前記第１のスペクトル算出段階における周波数変換に比較して高精度な周波数変換を行うことにより、前記Ｎ種類の周波数に対応した第２のスペクトル強度Ｅ２（ｑ，ｎ）を算出する第２のスペクトル算出段階と、
   前記選出単位区間ｑの先頭時刻と直後の選出単位区間ｑ＋１の先頭時刻との時間差と、前記選出単位区間ｑの第２のスペクトル強度Ｅ２（ｑ，ｎ）に基づいて、所定の形式の符号コードを生成する符号化段階と、
   を有することを特徴とする音響信号の符号化方法。
2. 請求項１において、
   前記第１のスペクトル算出段階および第２のスペクトル算出段階はＮ種類の各周波数ｆ（ｎ）に対して隣接する周波数を超えない範囲で所定のＭ種類の微細周波数ｆ（ｎ，ｍ）を設定し、前記第１のスペクトル強度Ｅ１（ｐ，ｎ）および第２のスペクトル強度Ｅ２（ｑ，ｎ）として、前記Ｍ種類の微細周波数の中で最も大きい強度を示す微細周波数に対応する強度値を算出することを特徴とする音響信号の符号化方法。
3. 請求項１において、
   前記符号化段階は、隣接する２つの選出単位区間ｑと選出単位区間ｑ＋１に対して、前記選出単位区間ｑがｐ番目の単位区間ｐであった場合に、Ｐ（ｑ）＝ｐと定義し、前記選出単位区間ｑ＋１における周波数ｆ（ｎ）、ｆ（ｎ−１）、ｆ（ｎ＋１）に対応する前記第１のスペクトル強度Ｅ１（Ｐ（ｑ＋１），ｎ）、Ｅ１（Ｐ（ｑ＋１），ｎ−１）、Ｅ１（Ｐ（ｑ＋１），ｎ＋１）のいずれかと、当該選出単位区間ｑ＋１の直前に位置する単位区間Ｐ（ｑ＋１）−１における周波数ｆ（ｎ）に対応する前記第１のスペクトル強度Ｅ１（Ｐ（ｑ＋１）−１，ｎ）との差が所定のしきい値Ｌｄｉｆ未満で、かつ前記第１のスペクトル強度Ｅ１（Ｐ（ｑ＋１），ｎ）、Ｅ１（Ｐ（ｑ＋１），ｎ−１）、Ｅ１（Ｐ（ｑ＋１），ｎ＋１）のいずれかおよび前記第１のスペクトル強度Ｅ１（Ｐ（ｑ＋１）−１，ｎ）が所定のしきい値Ｌｍｉｎより大きい場合、前記選出単位区間ｑと選出単位区間ｑ＋１を連結し、前記符号コードの基礎となる時間差として、前記選出単位区間ｑに定義された選出単位区間ｑの先頭時刻と、選出単位区間ｑ＋１の直後の選出単位区間ｑ＋２の先頭時刻との時間差を用いることを特徴とする音響信号の符号化方法。
4. 請求項３において、
   前記第１のスペクトル算出段階および第２のスペクトル算出段階はＮ種類の各周波数ｆ（ｎ）に対して隣接する周波数を超えない範囲で所定のＭ種類の微細周波数ｆ（ｎ，ｍ）を設定し、前記第１のスペクトル強度Ｅ１（ｐ，ｎ）および第２のスペクトル強度Ｅ２（ｑ，ｎ）として、前記Ｍ種類の微細周波数の中で最も大きい強度を示す微細周波数に対応する強度値を算出するものであり、
   前記符号化段階は、前記第１のスペクトル強度Ｅ１（Ｐ（ｑ＋１），ｎ）、Ｅ１（Ｐ（ｑ＋１），ｎ−１）、Ｅ１（Ｐ（ｑ＋１），ｎ＋１）のいずれか決定する微細周波数と、前記第１のスペクトル強度Ｅ１（Ｐ（ｑ＋１）−１，ｎ）を決定する微細周波数との差が所定のしきい値Ｎｄｉｆ未満という条件をさらに満たした場合に限り、前記選出単位区間ｑと選出単位区間ｑ＋１を連結することを特徴とする音響信号の符号化方法。
5. 請求項１において、
   前記第１のスペクトル算出段階は、前記単位区間の区間信号の構成要素となるべきＮ種類の要素信号を、各々当該周波数ｆ（ｎ）の周期の整数倍に対応し、前記Ｔに最も近いＴ（ｎ）個のサンプルとして準備する要素信号準備段階と、
   前記Ｎ個の各周波数ｆ（ｎ）に対応する要素信号と、それぞれ対応する前記単位区間ｐのＴ（ｎ）個のサンプルで構成される区間信号との相関演算を行うことにより、第１のスペクトル強度Ｅ１（ｐ，ｎ）を算出する相関演算段階により構成され、
   前記第２のスペクトル算出段階は、
   前記要素信号準備段階と、
   前記Ｎ個の各周波数ｆ（ｎ）に対応する要素信号と、それぞれ対応する前記選出単位区間ｑのＴ（ｎ）個のサンプルで構成される区間信号との相関演算を行い、相関値が最も高い周波数ｆ（ｎｍａｘ）に対応する要素信号を調和信号として選出する調和信号選出段階と、
   前記選出された調和信号と当該調和信号について得られた相関値との積で与えられるＴ（ｎｍａｘ）個のサンプルを含有信号とし、当該含有信号を前記区間信号から減じることにより、Ｔ（ｎｍａｘ）個のサンプルで構成される差分信号を求める差分信号演算段階と、を有し、
   前記Ｔ（ｎｍａｘ）個のサンプルを反映させ更新されたＴ（ｎ）個のサンプルを新たな区間信号として、前記調和信号選出段階および差分信号演算段階を実行して新たな含有信号および差分信号を得る処理を繰り返し行うことによりＮ個の含有信号を求め、求められた含有信号の相関値に基づいて、前記Ｎ種類の周波数に対応した第２のスペクトル強度Ｅ２（ｑ，ｎ）を算出することを特徴とする音響信号の符号化方法。
6. 請求項５において、
   前記相関演算段階は、
   直前に位置する単位区間ｐ−１における各周波数ｆ（ｎ）に対応する直前相関演算結果に対し、前記単位区間ｐ−１における先頭Ｗサンプルに対応する相関演算を行い、各周波数ごとの相関値を前記直前相関演算結果より減算するとともに、前記単位区間ｐにおけるＴ（ｎ）サンプル中の最後尾Ｗサンプルに対応する相関演算を行い、各周波数ごとの相関値を前記直前相関演算結果に加算することにより、前記単位区間ｐにおける各周波数ｆ（ｎ）に対応する相関演算結果を取得し、当該相関演算結果に基づいて前記第１のスペクトル強度Ｅ１（ｐ，ｎ）を算出することを特徴とする音響信号の符号化方法。
7. 請求項１から請求項６のいずれかにおいて、
   前記符号化段階は、前記符号コードとしてＭＩＤＩ形式を用いて符号化を行い、前記符号コードの前記周波数の情報としてノートナンバーを用い、前記第２のスペクトル強度としてベロシティを用い、前記選出単位区間ｑの先頭時刻と直後の選出単位区間ｑ＋１の先頭時刻との時間差を各々直前のＭＩＤＩイベントからの相対時刻であるデルタタイム１とデルタタイム２で定義し、これらの定義されたノートナンバー、ベロシティ、デルタタイム１を基にＭＩＤＩのノートオンイベントを作成するとともに、ノートナンバー、デルタタイム２を基にＭＩＤＩのノートオフイベントを作成するようにしていることを特徴とする音響信号の符号化方法。
8. 所定のサンプリング周波数でデジタル化されたＪ個の時系列のサンプル列として与えられる音響信号を符号化するための符号化装置であって、
   前記サンプル列に対して、所定数Ｔ（Ｔ＜Ｊ）個のサンプルで構成される単位区間を、隣接する単位区間と時間軸方向に所定数Ｗ（Ｗ＜Ｔ）個のサンプルを重複させながら設定する区間設定手段と、
   個々の単位区間ごとに、解析対象とする少なくともＮ種類の各周波数ｆ（ｎ）について、周波数変換を行うことにより、単位区間ｐに対して、前記Ｎ種類の周波数に対応した第１のスペクトル強度Ｅ１（ｐ，ｎ）を算出する第１のスペクトル算出手段と、
   前記単位区間ｐに対して直前に位置する単位区間ｐ−１における第１のスペクトル強度Ｅ１（ｐ−１，ｎ）との対応する周波数ごとの変化に基づく評価値が、所定のしきい値より大きい場合に限り、当該単位区間ｐをｑ（ｑ≦ｐ）番目の選出単位区間ｑとして選出し、解析対象とする少なくともＮ種類の各周波数ｆ（ｎ）について、前記第１のスペクトル算出段階における周波数変換に比較して高精度な周波数変換を行うことにより、前記Ｎ種類の周波数に対応した第２のスペクトル強度Ｅ２（ｑ，ｎ）を算出する第２のスペクトル算出手段と、
   前記選出単位区間ｑの先頭時刻と直後の選出単位区間ｑ＋１の先頭時刻との時間差と、前記選出単位区間ｑの第２のスペクトル強度Ｅ２（ｑ，ｎ）に基づいて、所定の形式の符号コードを生成する符号化手段と、
   を有することを特徴とする音響信号の符号化装置。
9. 請求項８において、
   前記第１のスペクトル算出手段および第２のスペクトル算出手段はＮ種類の各周波数ｆ（ｎ）に対して隣接する周波数を超えない範囲で所定のＭ種類の微細周波数ｆ（ｎ，ｍ）を設定し、前記第１のスペクトル強度Ｅ１（ｐ，ｎ）および第２のスペクトル強度Ｅ２（ｑ，ｎ）として、前記Ｍ種類の微細周波数の中で最も大きい強度を示す微細周波数に対応する強度値を算出することを特徴とする音響信号の符号化装置。
10. 請求項８において、
    前記符号化手段は、隣接する２つの選出単位区間ｑと選出単位区間ｑ＋１に対して、前記選出単位区間ｑがｐ番目の単位区間ｐであった場合に、Ｐ（ｑ）＝ｐと定義し、前記選出単位区間ｑ＋１における周波数ｆ（ｎ）、ｆ（ｎ−１）、ｆ（ｎ＋１）に対応する前記第１のスペクトル強度Ｅ１（Ｐ（ｑ＋１），ｎ）、Ｅ１（Ｐ（ｑ＋１），ｎ−１）、Ｅ１（Ｐ（ｑ＋１），ｎ＋１）のいずれかと、当該選出単位区間ｑ＋１の直前に位置する単位区間Ｐ（ｑ＋１）−１における周波数ｆ（ｎ）に対応する前記第１のスペクトル強度Ｅ１（Ｐ（ｑ＋１）−１，ｎ）との差が所定のしきい値Ｌｄｉｆ未満で、かつ前記第１のスペクトル強度Ｅ１（Ｐ（ｑ＋１），ｎ）、Ｅ１（Ｐ（ｑ＋１），ｎ−１）、Ｅ１（Ｐ（ｑ＋１），ｎ＋１）のいずれかおよび前記第１のスペクトル強度Ｅ１（Ｐ（ｑ＋１）−１，ｎ）が所定のしきい値Ｌｍｉｎより大きい場合、前記選出単位区間ｑと選出単位区間ｑ＋１を連結し、前記符号コードの基礎となる時間差として、前記選出単位区間ｑに定義された選出単位区間ｑの先頭時刻と、選出単位区間ｑ＋１の直後の選出単位区間ｑ＋２の先頭時刻との時間差を用いることを特徴とする音響信号の符号化装置。
11. 請求項１０において、
    前記第１のスペクトル算出手段および第２のスペクトル算出手段はＮ種類の各周波数ｆ（ｎ）に対して隣接する周波数を超えない範囲で所定のＭ種類の微細周波数ｆ（ｎ，ｍ）を設定し、前記第１のスペクトル強度Ｅ１（ｐ，ｎ）および第２のスペクトル強度Ｅ２（ｑ，ｎ）として、前記Ｍ種類の微細周波数の中で最も大きい強度を示す微細周波数に対応する強度値を算出するものであり、
    前記符号化手段は、前記第１のスペクトル強度Ｅ１（Ｐ（ｑ＋１），ｎ）、Ｅ１（Ｐ（ｑ＋１），ｎ−１）、Ｅ１（Ｐ（ｑ＋１），ｎ＋１）のいずれか決定する微細周波数と、前記第１のスペクトル強度Ｅ１（Ｐ（ｑ＋１）−１，ｎ）を決定する微細周波数との差が所定のしきい値Ｎｄｉｆ未満という条件をさらに満たした場合に限り、前記選出単位区間ｑと選出単位区間ｑ＋１を連結することを特徴とする音響信号の符号化装置。
12. 請求項８において、
    前記第１のスペクトル算出手段は、前記単位区間の区間信号の構成要素となるべきＮ種類の要素信号を、各々当該周波数ｆ（ｎ）の周期の整数倍に対応し、前記Ｔに最も近いＴ（ｎ）個のサンプルとして準備する要素信号準備手段と、
    前記Ｎ個の各周波数ｆ（ｎ）に対応する要素信号と、それぞれ対応する前記単位区間ｐのＴ（ｎ）個のサンプルで構成される区間信号との相関演算を行うことにより、第１のスペクトル強度Ｅ１（ｐ，ｎ）を算出する相関演算手段により構成され、
    前記第２のスペクトル算出手段は、
    前記要素信号準備手段と、
    前記Ｎ個の各周波数ｆ（ｎ）に対応する要素信号と、それぞれ対応する前記選出単位区間ｑのＴ（ｎ）個のサンプルで構成される区間信号との相関演算を行い、相関値が最も高い周波数ｆ（ｎｍａｘ）に対応する要素信号を調和信号として選出する調和信号選出手段と、
    前記選出された調和信号と当該調和信号について得られた相関値との積で与えられるＴ（ｎｍａｘ）個のサンプルを含有信号とし、当該含有信号を前記区間信号から減じることにより、Ｔ（ｎｍａｘ）個のサンプルで構成される差分信号を求める差分信号演算手段と、を有し、
    前記Ｔ（ｎｍａｘ）個のサンプルを反映させ更新されたＴ（ｎ）個のサンプルを新たな区間信号として、前記調和信号選出手段および差分信号演算手段による処理を実行して新たな含有信号および差分信号を得る処理を繰り返し行うことによりＮ個の含有信号を求め、求められた含有信号の相関値に基づいて、前記Ｎ種類の周波数に対応した第２のスペクトル強度Ｅ２（ｑ，ｎ）を算出することを特徴とする音響信号の符号化装置。
13. 請求項１２において、
    前記相関演算手段は、
    直前に位置する単位区間ｐ−１における各周波数ｆ（ｎ）に対応する直前相関演算結果に対し、前記単位区間ｐ−１における先頭Ｗサンプルに対応する相関演算を行い、各周波数ごとの相関値を前記直前相関演算結果より減算するとともに、前記単位区間ｐにおけるＴ（ｎ）サンプル中の最後尾Ｗサンプルに対応する相関演算を行い、各周波数ごとの相関値を前記直前相関演算結果に加算することにより、前記単位区間ｐにおける各周波数ｆ（ｎ）に対応する相関演算結果を取得し、当該相関演算結果に基づいて前記第１のスペクトル強度Ｅ１（ｐ，ｎ）を算出することを特徴とする音響信号の符号化装置。
14. 請求項８から請求項１３のいずれかにおいて、
    前記符号化手段は、前記符号コードとしてＭＩＤＩ形式を用いて符号化を行い、前記符号コードの前記周波数の情報としてノートナンバーを用い、前記第２のスペクトル強度としてベロシティを用い、前記選出単位区間ｑの先頭時刻と直後の選出単位区間ｑ＋１の先頭時刻との時間差を各々直前のＭＩＤＩイベントからの相対時刻であるデルタタイム１とデルタタイム２で定義し、これらの定義されたノートナンバー、ベロシティ、デルタタイム１を基にＭＩＤＩのノートオンイベントを作成するとともに、ノートナンバー、デルタタイム２を基にＭＩＤＩのノートオフイベントを作成するようにしていることを特徴とする音響信号の符号化装置。
15. 請求項１から請求項７のいずれかに記載の音響信号の符号化方法をコンピュータに実行させるためのプログラム。
16. 請求項８から請求項１４のいずれかに記載の音響信号の符号化装置としてコンピュータを機能させるためのプログラム。

Images