JP5732910B2 - Method and apparatus for encoding acoustic signal - Google Patents
Method and apparatus for encoding acoustic signal Download PDFInfo
- Publication number
- JP5732910B2 JP5732910B2 JP2011043549A JP2011043549A JP5732910B2 JP 5732910 B2 JP5732910 B2 JP 5732910B2 JP 2011043549 A JP2011043549 A JP 2011043549A JP 2011043549 A JP2011043549 A JP 2011043549A JP 5732910 B2 JP5732910 B2 JP 5732910B2
- Authority
- JP
- Japan
- Prior art keywords
- frequency
- signal
- encoding
- spectrum
- unit section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Auxiliary Devices For Music (AREA)
Description
本発明は、音響信号の符号化技術に関し、特に、MIDI形式等の符号データに符号化するのに好適な符号化技術に関する。 The present invention relates to an audio signal encoding technique, and more particularly to an encoding technique suitable for encoding into code data of MIDI format or the like.
従来、MIDI音源を用いて音響信号を再生することを可能とするため、音響信号をMIDI符号等の符号データに変換することが行われている(特許文献1〜3参照)。MIDI音源では、32和音など限定された周波数で再生されるため、符号化の際には、限定された数の周波数を選択して符号化することが必要となる。出願人も、音響信号から限定された数の周波数を選択して符号化する技術について提案している(特許文献1参照)。
Conventionally, in order to be able to reproduce an acoustic signal using a MIDI sound source, the acoustic signal is converted into code data such as a MIDI code (see
しかしながら、上記特許文献1に記載の発明では、先に選択された強度が大きい周波数の周辺の信号成分を一律に減衰させることにより、互いに隣接する周波数成分がなるべく選択されないようにしている。そのため、ボーカル再生において子音を表現するのに本来必要な成分も削除されてしまい、返って再現性が低下するという問題を抱えていた。
However, in the invention described in
一方、ヒトの聴覚は24本の聴覚神経系で周波数弁別を行っており、理論的には24個の帯域フィルタで近似することができ、24個の出力信号の割合で複数(同時には12種未満)の周波数成分の識別を行っていることが知られている(非特許文献1参照)。すなわち、各帯域フィルタ内に含まれる周波数成分は同時刻では単一周波数成分しか認識できず、同一帯域フィルタに含まれる複数の周波数成分は時間差をもって認識される(うなり音またはビートとして、個人差はあるが同一帯域内の1/4半音程度の周波数の微細な相違が認識される)。 On the other hand, human hearing is frequency-discriminated by 24 auditory nervous systems, and can be theoretically approximated by 24 bandpass filters. It is known that the frequency component is less than (see Non-Patent Document 1). That is, the frequency component included in each band filter can recognize only a single frequency component at the same time, and a plurality of frequency components included in the same band filter are recognized with a time difference (as a beat sound or a beat, However, a minute difference in frequency of about ¼ semitone within the same band is recognized).
そこで、本発明は、ヒトの聴覚特性を利用することにより、子音成分を限定された数の周波数で再生される音源を用いて忠実に再現することが可能な音響信号の符号化方法および装置を提供することを課題とする。 Therefore, the present invention provides an audio signal encoding method and apparatus capable of faithfully reproducing a consonant component using a sound source reproduced at a limited number of frequencies by utilizing human auditory characteristics. The issue is to provide.
上記課題を解決するため、本発明第1の態様では、所定のサンプリング周波数でデジタル化されたJ個の時系列のサンプル列として与えられる音響信号を符号化するにあたり、前記サンプル列に対して、所定数T(T<J)個のサンプルで構成される単位区間を、隣接する単位区間と時間軸方向に所定数W(W<T)個のサンプルを重複させながら設定し、個々の単位区間ごとに、解析対象とする少なくともN種類の各周波数f(n)について、周波数変換を行うことにより、各単位区間に対して、前記N種類の周波数に対応したスペクトル強度を算出し、前記N種類の各周波数f(n)を互いに重複しないように所定数の周波数グループに分割し、前記各単位区間に対して、各周波数グループに含まれる周波数のスペクトル強度の中で最大値をとる周波数以外のスペクトル強度に所定の割合だけ減衰させるように補正を行い、補正スペクトル強度を作成し、前記単位区間の先頭時刻と直後の単位区間の先頭時刻との時間差と、前記単位区間の補正スペクトル強度に基づいて、所定の形式の符号コードを生成するようにしたことを特徴とする。 In order to solve the above-described problem, in the first aspect of the present invention, when encoding an acoustic signal given as a sample sequence of J time series digitized at a predetermined sampling frequency, for the sample sequence, A unit interval composed of a predetermined number T (T <J) samples is set by overlapping a predetermined number W (W <T) samples in the time axis direction with an adjacent unit interval, and each unit interval For each unit section, by performing frequency conversion for at least N types of frequencies f (n) to be analyzed, spectrum intensities corresponding to the N types of frequencies are calculated for each unit section, and the N types Are divided into a predetermined number of frequency groups so that they do not overlap with each other, and the maximum of the spectrum intensities of the frequencies included in each frequency group for each unit section. Is corrected so as to be attenuated by a predetermined ratio to the spectrum intensity other than the frequency taking the frequency, and the corrected spectrum intensity is created, and the time difference between the start time of the unit interval and the start time of the immediately following unit interval is determined. A code code of a predetermined format is generated based on the corrected spectrum intensity.
本発明第1の態様によれば、各単位区間に対して周波数変換を行ってN種類の周波数に対応したスペクトル強度を算出し、N種類の各周波数f(n)を互いに重複しないように所定数の周波数グループに分割し、各周波数グループに含まれる周波数のスペクトル強度の中で最大値をとる周波数以外のスペクトル強度に所定の割合だけ減衰させるように補正を行い、得られた解析結果を基に符号コードを生成するようにしたので、音響信号の子音成分を、32和音などの限定された周波数で再生される音源(例えばMIDI音源)を用いて忠実に再現することが可能となる。 According to the first aspect of the present invention, frequency conversion is performed on each unit section to calculate spectrum intensities corresponding to N types of frequencies, and the N types of frequencies f (n) are determined so as not to overlap each other. The frequency spectrum is divided into a number of frequency groups, and correction is made so as to attenuate the spectrum intensity other than the frequency having the maximum value among the spectrum intensities included in each frequency group by a predetermined ratio, and the obtained analysis results are used as a basis. Since the code code is generated, the consonant component of the acoustic signal can be faithfully reproduced using a sound source (for example, a MIDI sound source) reproduced at a limited frequency such as 32 chords.
また、本発明第2の態様では、本発明第1の態様において、前記所定数の周波数グループは、ヒト聴覚系の特性に基づき、前記nの値を規格上のノートナンバーと定義して、17,45,57,64,69,72,76,79,82,85,88,91,93,96,98,101,104,106,109,113,116,119,123,127,128を境界とする24個で設定されることを特徴とする。 Further, in the second aspect of the present invention, in the first aspect of the present invention, the predetermined number of frequency groups are defined based on the characteristics of the human auditory system and the value of n is defined as a standard note number. , 45, 57, 64, 69, 72, 76, 79, 82, 85, 88, 91, 93, 96, 98, 101, 104, 106, 109, 113, 116, 119, 123, 127, 128 It is characterized by being set by 24.
また、本発明第3の態様では、本発明第1の態様において、前記所定数の周波数グループは、ヒト聴覚系の特性に基づき、周波数f(n)の値が20,100,200,300,400,510,630,770,920,1080,1270,1480,1720,2000,2320,2700,3150,3700,4400,5300,6400,7700,9500,12000,15500Hzを境界とする24個で設定されることを特徴とする。 According to a third aspect of the present invention, in the first aspect of the present invention, the predetermined number of frequency groups have a frequency f (n) value of 20, 100, 200, 300, based on characteristics of the human auditory system. 400,510,630,770,920,1080,1270,1480,1720,2000,2320,2700,3150,3700,4400,5300,6400,7700,9500,12000,15500Hz It is characterized by that.
本発明第2、第3の態様によれば、ヒト聴覚系の特性に基づき24個の周波数グループに分類するようにして補正を行うようにしたので、ヒトの聴覚特性に適した最適な周波数成分で符号化を行うことができる。特に、本発明第2の態様によれば、周波数グループの分類を、再生音源のMIDI規格に対応したノートナンバーnで行っているため、再生MIDI音源に適した符号化を行うことができる。 According to the second and third aspects of the present invention, the correction is performed by classifying into 24 frequency groups based on the characteristics of the human auditory system, so that the optimum frequency component suitable for the human auditory characteristics is obtained. It is possible to perform encoding. In particular, according to the second aspect of the present invention, since the frequency group is classified by the note number n corresponding to the MIDI standard of the reproduction sound source, encoding suitable for the reproduction MIDI sound source can be performed.
また、本発明第4の態様では、本発明第1から第3のいずれかの態様において、前記スペクトル強度の算出を、個々の単位区間ごとに、解析対象とする少なくともN種類の各周波数f(n)について、周波数変換を行うことにより、単位区間pに対して、前記N種類の周波数に対応した第1のスペクトル強度E1(p,n)を算出し、前記単位区間pに対して直前に位置する単位区間p−1における第1のスペクトル強度E1(p−1,n)との対応する周波数ごとの変化に基づく評価値が、所定のしきい値より大きい場合に限り、当該単位区間pをq(q≦p)番目の選出単位区間qとして選出し、解析対象とする少なくともN種類の各周波数f(n)について、前記第1のスペクトル算出段階における周波数変換に比較して高精度な周波数変換を行うことにより、前記N種類の周波数に対応した第2のスペクトル強度E2(q,n)を算出することにより、前記スペクトル強度として第2のスペクトル強度E2(q,n)を算出するものであり、前記スペクトルの補正は、前記第2のスペクトル強度E2(q,n)に対して所定の割合だけ減衰させるように補正を行い、前記補正スペクトル強度として補正スペクトル強度E‘(q,n)を作成するようにしていることを特徴とする。 Also, in the fourth aspect of the present invention, in any one of the first to third aspects of the present invention, the calculation of the spectral intensity is performed for each unit section at least N types of frequencies f ( n), a first spectral intensity E1 (p, n) corresponding to the N kinds of frequencies is calculated for the unit interval p by performing frequency conversion, and immediately before the unit interval p. Only when the evaluation value based on the change for each corresponding frequency with the first spectrum intensity E1 (p-1, n) in the unit interval p-1 located is larger than the predetermined threshold value, the unit interval p Is selected as the q (q ≦ p) -th selection unit interval q, and at least N types of frequencies f (n) to be analyzed are more accurate than the frequency conversion in the first spectrum calculation stage. frequency By calculating the second spectral intensity E2 (q, n) corresponding to the N kinds of frequencies by performing conversion, the second spectral intensity E2 (q, n) is calculated as the spectral intensity. The spectrum is corrected so as to be attenuated by a predetermined ratio with respect to the second spectrum intensity E2 (q, n), and the corrected spectrum intensity E ′ (q, n) is used as the corrected spectrum intensity. ) Is created.
本発明第4の態様によれば、設定された各単位区間に対して簡易な第1の周波数変換を行い、その強度が直前の単位区間と比較して所定の基準以上に大きい場合に、選出単位区間として選出し、その選出単位区間に対してより高精度な第2の周波数変換を行って、得られた解析結果を基に符号コードを生成するようにしたので、固定間隔で音響信号全体に渡って情報を解析しつつ、特徴的な部分のみを符号化することになるため、和音を含む音響信号や、音声信号の周波数変化をより適切に解析することが可能となる。 According to the fourth aspect of the present invention, a simple first frequency conversion is performed for each set unit section, and the selection is performed when the intensity is larger than a predetermined reference compared to the immediately preceding unit section. Since it was selected as a unit interval, and the second frequency conversion with higher accuracy was performed on the selected unit interval, and a code code was generated based on the obtained analysis result, the entire acoustic signal was fixed at a fixed interval. Thus, only the characteristic part is encoded while analyzing the information over time, so that it is possible to more appropriately analyze the acoustic signal including chords and the frequency change of the audio signal.
また、本発明第5の態様では、本発明第4の態様において、前記第1のスペクトル算出および第2のスペクトル算出を、N種類の各周波数f(n)に対して隣接する周波数を超えない範囲で所定のM種類の副周波数f(n,m)を設定し、前記第1のスペクトル強度E1(p,n)および第2のスペクトル強度E2(q,n)として、前記M種類の副周波数の中で最も大きい強度を示す副周波数に対応する強度値を算出するようにしたことを特徴とする。 In the fifth aspect of the present invention, in the fourth aspect of the present invention, the first spectrum calculation and the second spectrum calculation do not exceed frequencies adjacent to each of the N types of frequencies f (n). A predetermined M types of sub-frequency f (n, m) are set in a range, and the M types of sub-frequency f1 (p, n) and second spectrum strength E2 (q, n) are set as the first spectrum strength E1 (p, n). An intensity value corresponding to a sub-frequency indicating the greatest intensity among the frequencies is calculated.
本発明第5の態様によれば、解析する周波数の間隔を微細に設定することにより、より詳細な周波数解析が可能となり、適切な周波数成分を特定することができる。 According to the fifth aspect of the present invention, by setting the interval of the frequency to be analyzed finely, more detailed frequency analysis can be performed and an appropriate frequency component can be specified.
また、本発明第6の態様では、本発明第4または第5の態様において、前記符号コードを生成する際、隣接する2つの選出単位区間qと選出単位区間q+1に対して、前記選出単位区間qがp番目の単位区間pであった場合に、P(q)=pと定義し、前記選出単位区間q+1における周波数f(n)、f(n−1)、f(n+1)に対応する前記第1のスペクトル強度E1(P(q+1),n)、E1(P(q+1),n−1)、E1(P(q+1),n+1)のいずれかと、当該選出単位区間q+1の直前に位置する単位区間P(q+1)−1における周波数f(n)に対応する前記第1のスペクトル強度E1(P(q+1)−1,n)との差が所定のしきい値Ldif未満で、かつ前記第1のスペクトル強度E1(P(q+1),n)、E1(P(q+1),n−1)、E1(P(q+1),n+1)のいずれかおよび前記第1のスペクトル強度E1(P(q+1)−1,n)が所定のしきい値Lminより大きい場合、前記選出単位区間qと選出単位区間q+1を連結し、前記符号コードの基礎となる時間差として、前記選出単位区間qに定義された選出単位区間qの先頭時刻と、選出単位区間q+1の直後の選出単位区間q+2の先頭時刻との時間差を用いるようにしていることを特徴とする。 In addition, in the sixth aspect of the present invention, when the code code is generated in the fourth or fifth aspect of the present invention, the selection unit section with respect to two adjacent selection unit sections q and selection unit section q + 1. When q is the p-th unit interval p, it is defined as P (q) = p and corresponds to the frequencies f (n), f (n−1), and f (n + 1) in the selected unit interval q + 1. Any one of the first spectral intensities E1 (P (q + 1), n), E1 (P (q + 1), n-1), E1 (P (q + 1), n + 1) and a position immediately before the selected unit interval q + 1 A difference from the first spectral intensity E1 (P (q + 1) -1, n) corresponding to the frequency f (n) in the unit interval P (q + 1) -1 to be less than a predetermined threshold Ldif, and First spectral intensity E1 (P (q + 1), n) Any of E1 (P (q + 1), n−1), E1 (P (q + 1), n + 1) and the first spectral intensity E1 (P (q + 1) −1, n) is greater than a predetermined threshold value Lmin. If it is larger, the selection unit interval q and the selection unit interval q + 1 are connected, and the start time of the selection unit interval q defined in the selection unit interval q and the selection unit interval q + 1 It is characterized in that the time difference from the head time of the immediately subsequent selection unit section q + 2 is used.
本発明第6の態様によれば、符号コードを生成する際、隣接する2つの選出単位区間のうち、後続の選出単位区間とその直前の単位区間の強度の差が所定のしきい値未満で、後続の選出単位区間の強度とその直前の単位区間の強度がともに所定のしきい値より大きい場合に、隣接する2つの選出単位区間を連結するようにしたので、選出されていないものの、時間的に最も近い単位区間が連結判断の際に考慮されることとなり、適切に音成分を連結することが可能になる。 According to the sixth aspect of the present invention, when the code code is generated, the difference in intensity between the subsequent selected unit section and the immediately preceding unit section of the two adjacent selected unit sections is less than the predetermined threshold value. When the intensity of the subsequent selected unit section and the intensity of the previous unit section are both greater than a predetermined threshold, the two adjacent selected unit sections are connected so that the time is not selected. Therefore, the closest unit section is taken into consideration when determining the connection, and the sound components can be appropriately connected.
また、本発明第7の態様では、本発明第6の態様において、前記第1のスペクトル算出および第2のスペクトル算出は、N種類の各周波数f(n)に対して隣接する周波数を超えない範囲で所定のM種類の副周波数f(n,m)を設定し、前記第1のスペクトル強度E1(p,n)および第2のスペクトル強度E2(q,n)として、前記M種類の副周波数の中で最も大きい強度を示す副周波数f1(n,mmax1)およびf2(n,mmax2)に対応する強度値を算出するものであり、前記符号コードを生成する際、前記第1のスペクトル強度E1(P(q+1),n)、E1(P(q+1),n−1)、E1(P(q+1),n+1)を決定する副周波数ナンバーmmax1、mmax2、mmax3の少なくともいずれか1つと、前記第1のスペクトル強度E1(P(q+1)−1,n)を決定する副周波数ナンバーmmax0との差が所定のしきい値Ndif未満という条件をさらに満たした場合に限り、前記選出単位区間qと選出単位区間q+1を連結するようにしていることを特徴とする。 In the seventh aspect of the present invention, in the sixth aspect of the present invention, the first spectrum calculation and the second spectrum calculation do not exceed frequencies adjacent to each of the N types of frequencies f (n). A predetermined M types of sub-frequency f (n, m) are set in a range, and the M types of sub-frequency f1 (p, n) and second spectrum strength E2 (q, n) are set as the first spectrum strength E1 (p, n). An intensity value corresponding to the sub-frequency f1 (n, mmax1) and f2 (n, mmax2) indicating the highest intensity among the frequencies is calculated, and the first spectral intensity is generated when the code code is generated. E1 (P (q + 1), n), E1 (P (q + 1), n-1), at least one of the sub-frequency numbers mmax1, mmax2, mmax3 for determining E1 (P (q + 1), n + 1); Only when the condition that the difference from the sub-frequency number mmax0 for determining the first spectral intensity E1 (P (q + 1) -1, n) is less than a predetermined threshold value Ndif is satisfied, the selection unit interval q And the selected unit interval q + 1 are connected.
本発明第7の態様によれば、解析する周波数の間隔を微細に設定することにより、より詳細な周波数解析が可能となり、さらに、音成分の連結条件として、後続の選出単位区間とその直前の単位区間の副周波数との差がしきい値未満であることを追加したので、より精度の高い解析結果に基づいて音成分を連結することが可能となる。 According to the seventh aspect of the present invention, it is possible to perform more detailed frequency analysis by finely setting the frequency interval to be analyzed, and further, as a sound component connection condition, the subsequent selection unit interval and the immediately preceding selection unit interval Since it is added that the difference from the sub-frequency of the unit section is less than the threshold value, it is possible to connect sound components based on a more accurate analysis result.
また、本発明第8の態様では、本発明第7の態様において、前記選出単位区間qが、既に他の選出単位区間と連結されている場合、前記選出単位区間qが連結されている先頭の選出単位区間をqoとし、前記符号化段階は、前記第1のスペクトル強度E1(P(q+1),n)、E1(P(q+1),n−1)、E1(P(q+1),n+1)を決定する副周波数ナンバーmmax1、mmax2、mmax3の少なくともいずれか1つと、前記第1のスペクトル強度E1(P(qo),n)を決定する副周波数ナンバーmmaxoとの差が所定のしきい値Nadif未満という条件をさらに満たした場合に限り、前記選出単位区間qと選出単位区間q+1を連結することを特徴とする。 Further, in the eighth aspect of the present invention, in the seventh aspect of the present invention, when the selection unit section q is already connected to another selection unit section, the head of the selection unit section q is connected. The selected unit interval is qo, and the encoding step includes the first spectral intensities E1 (P (q + 1), n), E1 (P (q + 1), n−1), E1 (P (q + 1), n + 1). A difference between at least one of the sub-frequency numbers mmax1, mmax2, and mmax3 for determining the first spectral intensity E1 (P (qo), n) and the sub-frequency number mmmax for determining the first spectrum intensity is a predetermined threshold value Nadif The selection unit interval q and the selection unit interval q + 1 are connected only when the condition of less than is further satisfied.
本発明第8の態様によれば、さらに、音成分の連結条件として、前方の選出単位区間が、既に他の選出単位区間と連結されている場合、後続の選出単位区間とその直前の選出単位区間が連結されている先頭の選出単位区間の副周波数との差がしきい値未満であることを追加したので、副周波数が緩やかに変化する異なる音成分に属する後続の選出単位区間を誤って連結することを防ぎ、より精度の高い音成分の連結を実現することが可能となる。 According to the eighth aspect of the present invention, as the sound component connection condition, when the preceding selection unit interval is already connected to another selection unit interval, the subsequent selection unit interval and the immediately preceding selection unit Since the difference between the sub-frequency of the first selection unit section to which the section is connected is less than the threshold value, the subsequent selection unit section belonging to different sound components whose sub-frequency changes slowly is mistakenly It is possible to prevent the connection and to achieve a more accurate connection of sound components.
また、本発明第9の態様では、本発明第4から第8のいずれかの態様において、前記第1のスペクトル算出を、前記単位区間の区間信号の構成要素となるべきN種類の要素信号を、各々当該周波数f(n)の周期の整数倍に対応し、前記Tに最も近いT(n)個のサンプルとして準備し、前記N個の各周波数f(n)に対応する要素信号と、それぞれ対応する前記単位区間pのT(n)個のサンプルで構成される区間信号との相関演算を行うことにより、第1のスペクトル強度E1(p,n)を算出し、前記第2のスペクトルの算出を、前記準備された前記N個の各周波数f(n)に対応する要素信号と、それぞれ対応する前記選出単位区間qのT(n)個のサンプルで構成される区間信号との相関演算を行い、相関値が最も高い周波数f(nmax)に対応する要素信号を調和信号として選出し、前記選出された調和信号と当該調和信号について得られた相関値との積で与えられるT(nmax)個のサンプルを含有信号とし、当該含有信号を前記区間信号から減じることにより、T(nmax)個のサンプルで構成される差分信号を演算により求め、前記T(nmax)個のサンプルを反映させ更新されたT(n)個のサンプルを新たな区間信号として、前記調和信号の選出および差分信号の演算を実行して新たな含有信号および差分信号を得る処理を繰り返し行うことによりN個の含有信号を求め、求められた含有信号の相関値に基づいて、前記N種類の周波数に対応した第2のスペクトル強度E2(q,n)を算出することを特徴とする。 Also, in the ninth aspect of the present invention, in any one of the fourth to eighth aspects of the present invention, the first spectrum calculation is performed using N types of element signals to be constituent elements of the section signal of the unit section. , Each corresponding to an integral multiple of the period of the frequency f (n), prepared as T (n) samples closest to the T, and element signals corresponding to the N frequencies f (n); A first spectrum intensity E1 (p, n) is calculated by performing a correlation operation with a section signal composed of T (n) samples of the corresponding unit section p, and the second spectrum. Is calculated by correlating the prepared element signal corresponding to each of the N frequencies f (n) and the section signal composed of T (n) samples of the corresponding selection unit section q. Calculate the frequency f () with the highest correlation value element) corresponding to max) is selected as a harmonic signal, and T (nmax) samples given by the product of the selected harmonic signal and the correlation value obtained for the harmonic signal are used as the inclusion signal, By subtracting the signal from the interval signal, a differential signal composed of T (nmax) samples is obtained by calculation, and T (n) samples updated to reflect the T (nmax) samples are obtained. As the new interval signal, the selection of the harmonic signal and the calculation of the difference signal are performed to repeatedly obtain the new inclusion signal and the difference signal, thereby obtaining N inclusion signals, and the correlation of the obtained inclusion signals. A second spectrum intensity E2 (q, n) corresponding to the N types of frequencies is calculated based on the value.
本発明第9の態様によれば、全ての単位区間に対する第1のスペクトル算出を、簡易な離散フーリエ変換により行い、選出単位区間に対する第2のスペクトル算出を高精度な一般化調和解析により行うようにしたので、全ての単位区間の解析結果を参考にしつつ、選出単位区間の情報を高精度に得ることを、全体として効率的に行うことが可能となる。 According to the ninth aspect of the present invention, the first spectrum calculation for all unit sections is performed by simple discrete Fourier transform, and the second spectrum calculation for the selected unit section is performed by high-precision generalized harmonic analysis. As a result, it is possible to efficiently obtain information on the selected unit section with high accuracy while referring to the analysis results of all the unit sections.
また、本発明第10の態様では、本発明第9の態様において、前記第1のスペクトル算出における前記相関の演算を、直前に位置する単位区間p−1における各周波数f(n)に対応する直前相関演算結果に対し、前記単位区間p−1における先頭Wサンプルに対応する相関演算を行い、各周波数ごとの相関値を前記直前相関演算結果より減算するとともに、前記単位区間pにおけるT(n)サンプル中の最後尾Wサンプルに対応する相関演算を行い、各周波数ごとの相関値を前記直前相関演算結果に加算することにより、前記単位区間pにおける各周波数f(n)に対応する相関演算結果を取得し、当該相関演算結果に基づいて前記第1のスペクトル強度E1(p,n)を算出することにより行うことを特徴とする。 In the tenth aspect of the present invention, in the ninth aspect of the present invention, the calculation of the correlation in the first spectrum calculation corresponds to each frequency f (n) in the unit interval p-1 located immediately before. A correlation calculation corresponding to the first W sample in the unit interval p-1 is performed on the previous correlation calculation result, and a correlation value for each frequency is subtracted from the previous correlation calculation result, and T (n in the unit interval p ) Correlation calculation corresponding to each frequency f (n) in the unit interval p by performing correlation calculation corresponding to the last W sample in the sample and adding the correlation value for each frequency to the previous correlation calculation result This is performed by obtaining a result and calculating the first spectral intensity E1 (p, n) based on the correlation calculation result.
本発明第10の態様によれば、第1のスペクトル算出における各単位区間に対する簡易な相関演算を行う際、直前の単位区間に対して行われた相関演算結果を利用し、直前相関演算結果の先頭部分を除去するとともに、当該単位区間の最後尾に対する相関演算を行って、その結果を直前相関演算結果に加算するようにしたので、直前の単位区間の相関演算結果の大部分を流用することができ、全ての単位区間に対する演算処理を高速化することが可能となる。 According to the tenth aspect of the present invention, when performing a simple correlation calculation for each unit section in the first spectrum calculation, the correlation calculation result performed for the previous unit section is used, and the previous correlation calculation result is calculated. Since the head part is removed and the correlation calculation is performed on the tail of the unit interval, and the result is added to the previous correlation calculation result, most of the correlation calculation result of the previous unit interval is used. It is possible to speed up the arithmetic processing for all unit sections.
本発明によれば、和音信号や、音声信号の周波数変化をより適切に解析することが可能な音響信号の符号化方法および装置を提供することが可能となるという効果を有する。 According to the present invention, there is an effect that it is possible to provide a method and an apparatus for encoding an acoustic signal that can more appropriately analyze a frequency change of a chord signal or an audio signal.
以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。
図1は、本発明の一実施形態における音響信号の符号化装置のハードウェア構成図である。音響信号の符号化装置は、汎用のコンピュータで実現することができ、図1に示すように、CPU1(CPU: Central Processing Unit)と、コンピュータのメインメモリであるRAM2(RAM: Random Access Memory)と、データを記憶するための大容量のデータ記憶装置3(例えば,ハードディスク)と、CPUが実行するプログラムを記憶するためのプログラム記憶装置4(例えば,ハードディスク)と、キーボード、マウス等のキー入力I/F5と、外部デバイス(データ記憶媒体)とデータ通信するためのデータ入出力インターフェース6と、表示デバイス(ディスプレイ)に情報を送出するための表示出力インターフェース7と、を備え、互いにバスを介して接続されている。
DESCRIPTION OF EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a hardware configuration diagram of an audio signal encoding device according to an embodiment of the present invention. The audio signal encoding apparatus can be realized by a general-purpose computer. As shown in FIG. 1, a CPU 1 (CPU: Central Processing Unit) and a computer main memory RAM 2 (RAM: Random Access Memory) A large-capacity data storage device 3 (for example, a hard disk) for storing data, a program storage device 4 (for example, a hard disk) for storing a program executed by the CPU, and a key input I such as a keyboard and a mouse / F5, a data input /
音響信号の符号化装置のプログラム記憶装置4には、CPU1を動作させ、コンピュータを、音響信号の符号化装置として機能させるための専用のプログラムが実装されている。専用のプログラムを実行することにより、CPU1は、区間設定手段、第1のスペクトル算出手段(要素信号準備手段、相関演算手段を含む)、第2のスペクトル算出手段(要素信号準備手段、調和信号選出手段、差分信号演算手段を含む)、スペクトル補正手段、符号化手段としての機能を実現することになる。また、データ記憶装置3は、処理に必要な様々なデータを記憶する。
The
図2は、本実施形態に係る音響信号の符号化方法の概要を示すフローチャートである。本実施形態に係る音響信号の符号化方法は、図2に示した各ステップ(各段階)の詳細な手順を記録したプログラムを、コンピュータが実行することにより、行われる。コンピュータとしては、演算処理を行うためのCPUやメモリ、プログラムやデータを記憶するハードディスク等の記憶装置、音響信号等のデータ入力を行うためのデータ入力機器、指示入力を行うキーボード、マウス等の入力機器、必要な情報を画面に表示する液晶ディスプレイ等の表示機器を備えた汎用のコンピュータを用いることができる。また、図2に示した各ステップ(各段階)の詳細な手順を記録したプログラムが組み込まれた汎用のコンピュータにより本実施形態に係る音響信号の符号化装置が実現される。 FIG. 2 is a flowchart showing an outline of an audio signal encoding method according to this embodiment. The audio signal encoding method according to the present embodiment is performed by a computer executing a program that records the detailed procedure of each step (each stage) shown in FIG. As a computer, a CPU and memory for performing arithmetic processing, a storage device such as a hard disk for storing programs and data, a data input device for inputting data such as acoustic signals, a keyboard for inputting instructions, a mouse, etc. A general-purpose computer including a device and a display device such as a liquid crystal display that displays necessary information on a screen can be used. Also, the audio signal encoding apparatus according to the present embodiment is realized by a general-purpose computer in which a program recording the detailed procedure of each step (each stage) shown in FIG. 2 is incorporated.
まず、コンピュータ(符号化装置)は、処理対象であるデジタル音響信号を、データ入力機器から読み込む。デジタル音響信号は、アナログ音響信号を所定のサンプリング周波数、量子化ビット数でサンプリングしたものであり、本実施形態では、サンプリング周波数44.1kHz、量子化ビット数16ビットでサンプリングした場合を例にとって以下説明していく。サンプリング周波数44.1kHzでサンプリングした場合、デジタル音響信号は、1秒間に44100個のサンプル(強度値)を有するサンプル列(サンプルの配列:強度配列)として構成されることになる。 First, a computer (encoding device) reads a digital audio signal to be processed from a data input device. The digital audio signal is obtained by sampling an analog audio signal at a predetermined sampling frequency and the number of quantization bits. In the present embodiment, the sampling is performed with a sampling frequency of 44.1 kHz and a quantization bit number of 16 bits as an example. I will explain. When sampling is performed at a sampling frequency of 44.1 kHz, the digital acoustic signal is configured as a sample row (sample array: intensity array) having 44100 samples (intensity values) per second.
デジタル音響信号を読み込んだら、コンピュータ(符号化装置)は、デジタル音響信号を時間軸方向に所定の倍率K(Kは整数)だけ拡大する(S1)。具体的には、デジタル音響信号を構成するサンプルの数をK倍にする。そして、K個ごとに、元のサンプルと同じ値のものを配置し、その間の(K−1)個のサンプルの値としては、両側に位置する元のサンプルの値を用いて線形補間したものを与える。原音響信号の各サンプルj(j=0・・・J−1)についてのサンプル値をx(j)とすると、コンピュータは、以下の〔数式1〕に従った処理を実行することにより、拡大後の音響信号の各サンプルj・K+k(0≦k≦K−1)についてのサンプル値x´(j・K+k)を算出する。以下の〔数式1〕において、wはk/Kで与えられる0≦w≦1の値をとる実数値とする。 After reading the digital sound signal, the computer (encoding device) expands the digital sound signal by a predetermined magnification K (K is an integer) in the time axis direction (S1). Specifically, the number of samples constituting the digital acoustic signal is multiplied by K. Then, every K samples having the same value as the original sample are arranged, and (K-1) sample values between them are linearly interpolated using the values of the original sample located on both sides. give. Assuming that the sample value for each sample j (j = 0... J-1) of the original sound signal is x (j), the computer expands by executing the processing according to the following [Equation 1]. A sample value x ′ (j · K + k) for each sample j · K + k (0 ≦ k ≦ K−1) of the subsequent acoustic signal is calculated. In the following [Equation 1], w is a real value taking a value of 0 ≦ w ≦ 1 given by k / K.
〔数式1〕
x´(j・K+k)=(1−w)・x(j)+w・x(j+1)
[Formula 1]
x ′ (j · K + k) = (1−w) · x (j) + w · x (j + 1)
S1における処理の結果、デジタル音響信号を構成するJ個のサンプルは、J×K個に拡大される。図3(a)にS1における拡大処理による波形の変化を示す。図3(a)における波形は、サンプルの値をプロットしたものを線分で結んだものであるが、サンプル数が多いため、曲線状に表現されるものである。上記〔数式1〕に従った処理を実行することにより、左側に示したような波形が右側に示したような波形に変化することになる。なお、図3の例では、説明の便宜上K=2の場合を示している。このように、音響信号を時間軸方向に拡大して解析を行うことにより、元の音響信号に対してそのまま解析を行う場合と同等な周波数解析精度を維持しながら、解析における時間分解能を向上させ、周波数変動を高精度に抽出することが可能となる。 As a result of the processing in S1, J samples constituting the digital audio signal are expanded to J × K. FIG. 3A shows a change in waveform due to the enlargement process in S1. The waveform in FIG. 3A is obtained by connecting sampled values plotted with line segments, but is expressed in a curved line due to the large number of samples. By executing the processing according to the above [Equation 1], the waveform shown on the left side changes to the waveform shown on the right side. In the example of FIG. 3, the case of K = 2 is shown for convenience of explanation. In this way, by performing analysis by expanding the acoustic signal in the time axis direction, the time resolution in the analysis is improved while maintaining the same frequency analysis accuracy as when performing the analysis directly on the original acoustic signal. Thus, it is possible to extract frequency fluctuations with high accuracy.
コンピュータ(符号化装置)は、続くS2〜S5において、所定の区間に対して周波数解析を行う。本実施形態では、周波数解析の対象とする区間の設定を、単位区間を設定した後、所定の条件を満たす単位区間を選出単位区間として選出することにより行う。本実施形態における解析対象とする区間の設定の概念を、特許文献2に代表される従来技術と比較して説明する。図4は、従来技術と比較した本実施形態の区間設定の概念を示す図である。従来の場合も本実施形態も、後述するように、サンプリングにより得られた所定数のサンプルを単位区間として設定し、単位区間ごとに周波数解析を行う点は同一である。図4(a)に示すように、特許文献2に開示されている従来技術では、ゼロ交差点を特定し、そのゼロ交差点を利用して単位区間の設定位置を可変とする。図4(a)では例として3つの単位区間が設定されているが、これらの開始位置(左端)の間隔は均一ではない。そして、設定された各単位区間に対して、離散フーリエ変換及び一般化調和解析の両方を実行して解析結果を得る。
The computer (encoding device) performs frequency analysis on a predetermined section in subsequent S2 to S5. In the present embodiment, the section to be subjected to frequency analysis is set by selecting a unit section satisfying a predetermined condition as the selected unit section after setting the unit section. The concept of setting the section to be analyzed in the present embodiment will be described in comparison with the prior art represented by
これに対して、図4(b)に示すように、本実施形態では、固定間隔で単位区間を設定し、各単位区間に対して離散フーリエ変換を実行して解析結果を得る。そして、その解析結果を直前の単位区間と比較して、所定の条件を満たす場合に、選出単位区間として選出する。図4(b)の例では、単位区間1、5、6がそれぞれ選出単位区間1、2、3として選出されている。そして、選出単位区間に対して一般化調和解析を実行して解析結果を得る。
On the other hand, as shown in FIG. 4B, in this embodiment, unit intervals are set at fixed intervals, and discrete Fourier transform is performed on each unit interval to obtain an analysis result. Then, the analysis result is compared with the immediately preceding unit section, and when a predetermined condition is satisfied, it is selected as the selected unit section. In the example of FIG. 4B,
具体的には、まず、コンピュータ(符号化装置)が、時間軸方向に拡大されたサンプル上に単位区間を設定する(S2)。単位区間の長さ(サンプル数T)は、サンプリング周波数との関係で設定されるが、サンプリング周波数が44.1kHzの場合、低域部まで忠実に解析するためには、4096サンプル以上必要である。そこで、本実施形態では、1単位区間のサンプル数T=4096として単位区間を設定している。 Specifically, first, the computer (encoding device) sets a unit interval on the sample expanded in the time axis direction (S2). The length of the unit interval (number of samples T) is set in relation to the sampling frequency. However, if the sampling frequency is 44.1 kHz, 4096 samples or more are required to faithfully analyze the low frequency region. . Therefore, in this embodiment, the unit interval is set as the number of samples T per unit interval T = 4096.
単位区間の設定は、特許文献1、3に開示されているように、デジタル音響信号の先頭から順次サンプルを抽出することにより行われる。単位区間は、全てのサンプルを漏らさず設定し、好ましくは、連続する単位区間においてサンプルが重複するように設定する。本発明では、各単位区間の先頭の間隔(シフト幅という)を固定値で設定する。すなわち、重複させるサンプル数を一定として設定する。本実施形態では、シフト幅W=64の固定値とする。これにより、T=4096の場合、先頭の単位区間をj=0〜4095、2番目の単位区間をj=64〜4159、3番目の単位区間をj=128〜4223というように、64個のサンプルを重複させながら、設定することになる。そして、各サンプルの値x(j)を各単位区間p(pは0以上の整数)ごとの値x(p,i)(0≦i≦T−1)と表現する。
Setting of the unit section is performed by sequentially extracting samples from the head of the digital sound signal as disclosed in
次に、設定された各単位区間を対象として第1の周波数解析である離散フーリエ変換を実行し、各単位区間のスペクトルを算出する(S3)。各単位区間のスペクトルの算出は、特許文献1〜3に開示されているように、MIDIのノートナンバーnに対応する128種の解析周波数f(n)=440・2(n-69)/12の調和信号(調和関数)を基本にした離散フーリエ変換により、128個の成分を抽出することにより行う。“128種”“128個”というのは一例であり、例えば、MIDI規格の場合、ノートナンバーn=0〜127の範囲に対応するが、グランドピアノを再現するための規格音域は、ノートナンバーn=21〜108の範囲である。したがって、この場合、88種類の解析周波数を用いて88個の成分を抽出することになる。また、前述したように、音響信号を時間軸方向に所定の倍率Kだけ拡大して周波数解析を行う場合、後述する時間軸拡大処理を省略すると、低音部に位置する解析周波数では解析不能になるため解析周波数の種類は更に少なくなる。例えば、K=4の場合、解析周波数はMIDI規格上でもノートナンバーn=24〜127(104種類)の範囲に制限され、更にグランドピアノの規格音域では、ノートナンバーn=24〜108(64種類)の範囲に制限される。
Next, discrete Fourier transform, which is the first frequency analysis, is executed for each set unit section, and the spectrum of each unit section is calculated (S3). As disclosed in
本実施形態では、音響信号を時間軸方向にK倍に拡大したことに伴い、nの上限、下限をそれぞれαだけ下方に移動させる。αは、α=12・log2K(例えばK=4の場合α=24)で定義される整数である。したがって、特許文献1〜3では、0≦n≦127であるが、本実施形態では、−α≦n≦127−αである。これにより各調和信号の周波数は、1/K倍に設定されることになる。ここで、本実施形態における解析周波数の論理的/物理的範囲の関係を図5に示す。図5に示すように、グランドピアノの規格音域は、n=21〜108の範囲であるため、通常の解析を行う場合は、n=21〜108の範囲で行うことになる。ところが、本発明では、時間軸拡大することにより周波数を低音側にシフトして解析処理を行う。また、ノートナンバーn=21以下については、対応する調和信号の1周期が単位区間より長くなるため、時間軸延長(後述)による長周期解析を行う。この結果、n=−3〜84について周波数成分が得られるが、最終的に補正処理を行うことにより、n=21〜108の範囲周波数成分が得られる。
In the present embodiment, as the acoustic signal is expanded K times in the time axis direction, the upper and lower limits of n are respectively moved downward by α. α is an integer defined by α = 12 · log 2 K (for example, α = 24 when K = 4). Therefore, in
ノートナンバーnに対応して解析周波数を設定した場合、周波数が高くなるにつれ、ノートナンバー間の周波数間隔が広くなるため、特に、nが60を超えると解析精度が低下してしまう。そこで、本実施形態では、特許文献3に開示したように、ノートナンバー間をM個の微分音(副周波数)に分割した128M個の要素信号f(n,m)=440・2(n-69+m/M)/12を用いて解析を行い、128M個の成分を抽出する。後述するS10の符号コード作成処理においてピッチベンド符号の付加など特殊な符号化を行わない限り、各ノートナンバーにおけるM個の微分音の情報は不要であるため、M個の微分音の成分の最大値を当該ノートナンバーにおける成分として代表させ、結果的に128個の成分を抽出する。
When the analysis frequency is set in correspondence with the note number n, the frequency interval between the note numbers becomes wider as the frequency becomes higher. In particular, when n exceeds 60, the analysis accuracy decreases. Therefore, in the present embodiment, as disclosed in
コンピュータ(符号化装置)による具体的な処理手順としては、各単位区間pごとに、まず、ノートナンバー分の強度値の配列E1(p,n)(−α≦n≦127−α)と副周波数配列S(p,n)を設定し、初期値を全て0とする。続いて、−α≦n≦127−αおよび0≦m≦M−1に対して以下の〔数式2〕に従った処理を実行し、E1(p,n,m)を最大にする(nmax,mmax)を求める。ただし、処理負荷との関係から、低音部分を必要としない場合は、n<0については処理を省略することにより、処理負荷を軽減することもできる。 As a specific processing procedure by the computer (encoding device), for each unit section p, first, an array of intensity values E1 (p, n) (−α ≦ n ≦ 127−α) corresponding to the note number and sub The frequency array S (p, n) is set and all initial values are set to 0. Subsequently, the processing according to the following [Formula 2] is executed for -α ≦ n ≦ 127-α and 0 ≦ m ≦ M−1 to maximize E1 (p, n, m) (nmax , Mmax). However, if the bass portion is not required due to the relationship with the processing load, the processing load can be reduced by omitting the processing for n <0.
〔数式2〕
A(p,n,m)=(1/T(n))・Σi=0,T(n)-1x(p,i) sin(2πf(n,m)(i+pW)/fs)
B(p,n,m)=(1/T(n))・Σi=0,T(n)-1x(p,i) cos (2πf(n,m)(i+pW)/fs)
E1(p,n,m)={A(p,n,m)}2+{B(p,n,m)}2
[Formula 2]
A (p, n, m) = (1 / T (n)). Σi = 0, T (n) −1 x (p, i) sin (2πf (n, m) (i + pW) / fs)
B (p, n, m) = (1 / T (n)). Σi = 0, T (n) −1 x (p, i) cos (2πf (n, m) (i + pW) / fs)
E1 (p, n, m) = {A (p, n, m)} 2 + {B (p, n, m)} 2
上記〔数式2〕においてT(n)は解析フレーム長であり、調和信号(調和関数)の1周期が単位区間長T以下の場合、単位区間長Tを超えない範囲で調和信号の周期の最大の整数倍になるように設定する。ただし、本発明では、時間軸拡大することにより周波数を低音側にシフトして解析処理を行うため、調和信号(調和関数)の1周期が単位区間長Tを超える場合が発生する。具体的には、調和信号の1周期が単位区間長Tより大きい場合、T(n)=g×fs/f(n,m)で与え、T<T(n)におけるx(i)の値については、後述する時間軸延長処理に基づき設定する。なお、gは1以上の整数値、fsはサンプリング周波数(例えば、44.1kHz)である。 In the above [Equation 2], T (n) is the analysis frame length. When one period of the harmonic signal (harmonic function) is equal to or shorter than the unit section length T, the maximum period of the harmonic signal is within a range not exceeding the unit section length T. Set to be an integer multiple of. However, in the present invention, the time axis is expanded to shift the frequency to the bass side and the analysis process is performed, so that one period of the harmonic signal (harmonic function) exceeds the unit interval length T. Specifically, when one period of the harmonic signal is larger than the unit section length T, it is given by T (n) = g × fs / f (n, m), and the value of x (i) at T <T (n) Is set based on the time axis extension process described later. Note that g is an integer value of 1 or more, and fs is a sampling frequency (for example, 44.1 kHz).
上記〔数式2〕に従った処理を各単位区間に対して実行し、A(p,n,m)、B(p,n,m)、E1(p,n,m)を求めることも可能である。ここで、本実施形態における単位区間と解析範囲の関係を図6に示す。図6において、上端の波形は原音響信号、下端の波形は調和関数をそれぞれ模式的に示したものである。図6の例では、対象とする単位区間である対象単位区間と、その直前の単位区間である直前単位区間のみを示してあるが、それぞれの相関計算範囲は、矩形の横方向の長さになる。本実施形態では、相関計算範囲Tを4096サンプル、シフト幅Wを64サンプルとしているため、重複部分が非常に大きい。そこで、本実施形態では、重複部分については、直前単位区間における解析結果を利用することにより、解析処理の効率化を図っている。 The processing according to the above [Equation 2] is executed for each unit section, and A (p, n, m), B (p, n, m), E1 (p, n, m) can be obtained. It is. Here, the relationship between the unit interval and the analysis range in the present embodiment is shown in FIG. In FIG. 6, the waveform at the upper end schematically shows the original sound signal, and the waveform at the lower end schematically shows the harmonic function. In the example of FIG. 6, only the target unit section that is the target unit section and the immediately preceding unit section that is the immediately preceding unit section are shown, but each correlation calculation range has a rectangular horizontal length. Become. In this embodiment, since the correlation calculation range T is 4096 samples and the shift width W is 64 samples, the overlapping portion is very large. Therefore, in the present embodiment, the efficiency of the analysis process is improved by using the analysis result in the immediately preceding unit section for the overlapping portion.
本実施形態における単位区間の解析処理の様子を図7に示す。図7に示すように、対象単位区間における解析結果を得る際に、直前単位区間の重複部分を利用する。具体的には、対象単位区間と重複しない直前単位区間の先頭部分を削除し、直前単位区間と重複しない対象単位区間の最後尾部分のみ、相関演算を行って追加する。従って、単位区間内全体に渡って相関演算を行うのは、先頭の単位区間(p=0)に対してだけということになる。 FIG. 7 shows a state of the unit interval analysis processing in the present embodiment. As shown in FIG. 7, when obtaining the analysis result in the target unit section, the overlapping part of the immediately preceding unit section is used. Specifically, the head part of the previous unit section that does not overlap with the target unit section is deleted, and only the tail part of the target unit section that does not overlap with the previous unit section is added by performing correlation calculation. Therefore, the correlation calculation is performed only for the head unit interval (p = 0) over the entire unit interval.
p≧1の場合、すなわち、2番目以降の単位区間pについて処理する場合、直前の単位区間(p−1)についてのA(p−1,n,m)、B(p−1,n,m)が既に算出されている。本実施形態では、A(p−1,n,m)、B(p−1,n,m)を用いて、以下の〔数式3〕に従った処理を実行することにより、単位区間pについてのA(p,n,m) 、B(p,n,m)を算出する。 When p ≧ 1, that is, when processing for the second and subsequent unit intervals p, A (p−1, n, m) and B (p−1, n, m) for the immediately preceding unit interval (p−1). m) has already been calculated. In the present embodiment, by using A (p−1, n, m) and B (p−1, n, m), the processing according to the following [Equation 3] is executed, so that the unit interval p is obtained. A (p, n, m) and B (p, n, m) are calculated.
〔数式3〕
A(p,n,m)=A(p−1,n,m) −(1/T(n))・Σi=0,W-1x(p−1,i) sin(2πf(n,m)(i+(p−1)W)/fs)+(1/T(n))・Σi=T(n)-W,T(n)-1x(p,i) sin(2πf(n,m)(i+pW)/fs)
B(p,n,m)=B(p−1,n,m) −(1/T(n))・Σi=0,W-1x(p−1,i) cos (2πf(n,m)(i+(p−1)W)/fs)+(1/T(n))・Σi=T(n)-W,T(n)-1x(p,i) cos (2πf(n,m)(i+pW)/fs)
E1(p,n,m)={A(p,n,m)}2+{B(p,n,m)}2
[Formula 3]
A (p, n, m) = A (p-1, n, m) − (1 / T (n)) · Σ i = 0, W−1 x (p−1, i) sin (2πf (n , M) (i + (p-1) W) / fs) + (1 / T (n)). Σi = T (n) -W, T (n) -1 x (p, i) sin (2πf (N, m) (i + pW) / fs)
B (p, n, m) = B (p-1, n, m) − (1 / T (n)) · Σ i = 0, W−1 x (p−1, i) cos (2πf (n , M) (i + (p-1) W) / fs) + (1 / T (n)). Σi = T (n) -W, T (n) -1 x (p, i) cos (2πf (N, m) (i + pW) / fs)
E1 (p, n, m) = {A (p, n, m)} 2 + {B (p, n, m)} 2
続いて、ノートナンバーnごとに、0≦m≦M−1の範囲で、E(p,n,m)を最大にする(p,n,mmax)を求め、E1(p,n)=E1(p,n,mmax)、S(p,n)=mmaxとする処理を行う。そして、算出されたE1(p,n)、S(p,n)をメモリに一時保存する。メモリに一時保存されたE1(p,n)、S(p,n)は、後述する単音成分連結処理において用いる。 Subsequently, for each note number n, (p, n, mmax) that maximizes E (p, n, m) in the range of 0 ≦ m ≦ M−1 is obtained, and E1 (p, n) = E1 Processing is performed such that (p, n, mmax) and S (p, n) = mmax. Then, the calculated E1 (p, n) and S (p, n) are temporarily stored in the memory. E1 (p, n) and S (p, n) temporarily stored in the memory are used in a single-tone component connection process to be described later.
次に、単位区間pにおいて算出されたスペクトル強度E1(p,n)と、直前区間(p−1)において算出されたスペクトル強度E1(p−1,n)との変化の評価を行う(S4)。具体的には、まず、以下の〔数式4〕に従った処理を実行することにより、単位区間pの直前区間(p−1)との変化評価値dE(p−1,p)を算出する。 Next, a change between the spectral intensity E1 (p, n) calculated in the unit interval p and the spectral intensity E1 (p-1, n) calculated in the immediately preceding interval (p-1) is evaluated (S4). ). Specifically, first, a change evaluation value dE (p−1, p) with the immediately preceding section (p−1) of the unit section p is calculated by executing processing according to the following [Formula 4]. .
〔数式4〕
dE(p−1,p)=(100/N)・Σn=0,N-1{|E1(p,n)−E1(p−1,n)|/(E1(p,n)+E1(p−1,n))}
[Formula 4]
dE (p−1, p) = (100 / N) · Σ n = 0, N−1 {| E1 (p, n) −E1 (p−1, n) | / (E1 (p, n) + E1 (p-1, n))}
そして、得られた変化評価値dE(p−1,p)が、所定のしきい値(例えば40)未満である場合は、p←p+1としてS2に戻り、次の単位区間pの設定を行う。 If the obtained change evaluation value dE (p−1, p) is less than a predetermined threshold value (for example, 40), the process returns to S2 as p ← p + 1, and the next unit interval p is set. .
一方、得られた変化評価値dE(p−1,p)が、所定のしきい値以上である場合は、その単位区間pを選出単位区間qとして選出し、選出単位区間qについて一般化調和解析を行う(S5)。qの値は最初に選出された選出単位区間を0とし、以降は選出されるごとに1ずつ加算した値を与える。具体的には、まず、S3において設定されたE1(p,n)が最大になるE1(p,nmax)を求める。すなわち、−α≦n≦127−αの全てのnのうち、E1(p,n)が最大になるnの値をnmaxとして求めるとともに、そのときのE1(p,n)をE1(p,nmax)として求める。これは、上記〔数式2〕の処理を全てのnに対して実行し、算出されたn個のE1(p,n)のうち最大のものを選択することにより行われる。さらに、求めたnmaxを用いて、mmax=S(p,nmax)と設定する。 On the other hand, when the obtained change evaluation value dE (p−1, p) is equal to or greater than a predetermined threshold value, the unit interval p is selected as the selected unit interval q, and the generalized harmony is selected for the selected unit interval q. Analysis is performed (S5). The value of q is 0 for the first selected unit interval, and thereafter, a value obtained by adding 1 each time it is selected is given. Specifically, first, E1 (p, nmax) that maximizes E1 (p, n) set in S3 is obtained. That is, among all n of −α ≦ n ≦ 127−α, the value of n that maximizes E1 (p, n) is obtained as nmax, and E1 (p, n) at that time is determined as E1 (p, n). nmax). This is performed by executing the process of [Formula 2] for all n and selecting the largest of the calculated n E1 (p, n). Further, using the obtained nmax, mmax = S (p, nmax) is set.
そして、得られたnmax、mmaxを用いて以下の〔数式5〕に従った処理を実行することにより、A(p,nmax,mmax)、B(p,nmax,mmax)を算出する。〔数式5〕に従った処理を実行するに際し、まず、単位区間pはq番目に選出された選出単位区間qであるとした場合に、P(q)=pと設定し、選出単位区間qにおいてノートナンバー分の相関強度配列E2(q,n)を定義し、初期値を全て0未満の値(例えば−1)に設定しておく。 Then, A (p, nmax, mmax) and B (p, nmax, mmax) are calculated by executing processing according to the following [Equation 5] using the obtained nmax and mmax. When executing the processing according to [Formula 5], first, assuming that the unit interval p is the q-th selected unit interval q, P (q) = p is set, and the selected unit interval q , The correlation intensity array E2 (q, n) for the note number is defined, and the initial values are all set to values less than 0 (eg, −1).
〔数式5〕
A(p,nmax,mmax)=(1/T(nmax))・Σi=0,T(nmax)-1x(p,i)・ sin(2πf(nmax,mmax)i/fs)
B(p,nmax,mmax)=(1/T(nmax))・Σi=0,T(nmax)-1x(p,i) cos (2πf(nmax,mmax)i/fs)
E2(q,nmax)={A(p,nmax,mmax)}2+{B(p,nmax,mmax)}2
[Formula 5]
A (p, nmax, mmax) = (1 / T (nmax)) · Σi = 0, T (nmax) −1 x (p, i) · sin (2πf (nmax, mmax) i / fs)
B (p, nmax, mmax) = (1 / T (nmax)) · Σi = 0, T (nmax) −1 x (p, i) cos (2πf (nmax, mmax) i / fs)
E2 (q, nmax) = {A (p, nmax, mmax)} 2 + {B (p, nmax, mmax)} 2
そして、算出されたA(p,nmax,mmax)、B(p,nmax,mmax)を用いて、以下の〔数式6〕に従った処理を実行することにより、単位区間p内のサンプル(p,i)の値x(p,i)を0≦i≦T(nmax)−1に渡って更新する。 Then, by using the calculated A (p, nmax, mmax) and B (p, nmax, mmax), a process in accordance with the following [Equation 6] is performed, whereby a sample (p , I), the value x (p, i) is updated over 0 ≦ i ≦ T (nmax) −1.
〔数式6〕
x(p,i)←x(p,i)−A(p,nmax,mmax) ・sin(2πf(nmax,mmax)i/fs)−B(p,nmax,mmax) ・cos (2πf(nmax,mmax)i/fs)
[Formula 6]
x (p, i) ← x (p, i) −A (p, nmax, mmax) · sin (2πf (nmax, mmax) i / fs) −B (p, nmax, mmax) · cos (2πf (nmax , Mmax) i / fs)
〔数式6〕の処理は、元の音響信号から含有信号を除去する処理である。含有成分を除去した後の音響信号に対して、さらに処理したnmaxの値以外のnを対象としてE2(q,n)が最大になる新たなE2(q,nmax)を求め、その新たなnmaxを用いて、〔数式5〕〔数式6〕に従った処理を実行する。この結果、さらに含有信号が音響信号から除去される。コンピュータ(符号化装置)は、このような処理を128個全てのnに対して実行し、E2(q,n)を得る。 The process of [Formula 6] is a process of removing the contained signal from the original acoustic signal. A new E2 (q, nmax) that maximizes E2 (q, n) is obtained for n other than the processed nmax value for the acoustic signal after removing the contained components, and the new nmax is obtained. Is used to execute processing according to [Equation 5] and [Equation 6]. As a result, the contained signal is further removed from the acoustic signal. The computer (encoding device) executes such a process for all 128 n to obtain E2 (q, n).
本実施形態では、処理負荷を軽減するため、Mの値については、ノートナンバーに基づいて可変に設定し、例えば解析する周波数間隔が100Hz程度になるようにしている。そして、ノートナンバー60以下は分割せずM=1にする。また、精度は若干落ちるが、相関強度配列E1(p,n)を決定するための〔数式2〕の処理でS(p,n)を決定し、相関強度配列E2(q,n)を決定するための〔数式5〕の処理は、m=S(p,n)に固定して行い、微分音解析を省略するようにしても良い。また、〔数式5〕の処理で、既に同一ノートナンバーに対して副周波数が異なる信号成分が複数回に渡って解析される可能性があるが、E2(q,n)に既に値がセットされている場合は、E1(p,n)の最大値の選定候補から除外するようにしても良い。
In the present embodiment, in order to reduce the processing load, the value of M is variably set based on the note number, for example, the frequency interval to be analyzed is about 100 Hz. And note
ここで、単位区間における解析フレームの設定について説明する。尚、以下説明は前述の選出単位区間においても同様に適用される。図8は、時間軸拡大処理後の音響信号から抽出した単位区間におけるサンプル列と、調和信号の対応関係を示す図である。このうち、図8(a)は、時間軸拡大処理後の音響信号から抽出した単位区間におけるサンプル列である。各サンプルにおけるサンプル値(4096個)を結ぶことにより、図8(a)に示すような波形状で示される。128個の調和信号のうち、図8(b)に示すような1周期が単位区間長T以下の高音部の解析調和信号と相関演算を行う際、および単位区間Tより選出された調和信号である含有信号を減算する際には、調和信号の1周期が単位区間長Tを超えない範囲まで周期を整数倍した長さを解析フレーム長T(n)とし、単位区間Tの先頭からサンプルT(n)個を抽出して、解析フレームとする。 Here, the setting of the analysis frame in the unit section will be described. The following description is similarly applied to the aforementioned selection unit section. FIG. 8 is a diagram illustrating a correspondence relationship between a sample sequence in a unit section extracted from an acoustic signal after time axis expansion processing and a harmonic signal. Among these, Fig.8 (a) is a sample row | line | column in the unit area extracted from the acoustic signal after a time-axis expansion process. By connecting the sample values (4096) in each sample, a wave shape as shown in FIG. Among the 128 harmonic signals, a harmonic signal selected from the unit interval T when performing a correlation operation with an analysis harmonic signal of a treble part whose period is equal to or less than the unit interval length T as shown in FIG. When subtracting a certain contained signal, the analysis frame length T (n) is a length obtained by multiplying the period of the harmonic signal by an integer up to a range in which the period does not exceed the unit section length T. (N) Extract them and use them as analysis frames.
調和信号の1周期が単位区間長Tより大きい場合、相関計算区間である解析フレーム長T(n)を調和信号の1周期分とするため、単位区間長TにT(n)−T個のサンプル数を追加することにより時間軸延長処理を行う。この場合、調和信号の1周期を4つの分割区間Q1−Q4として設定する。そして、図8(d)に示すように、単位区間長Tが、調和信号の3/4周期に相当する場合は、調和信号の分割区間Q3(1/2周期から3/4周期の区間)に対応する単位区間のサンプルを、調和信号の3/4周期(270度:分割区間Q3と分割区間Q4の境界)の時点において時間軸方向に反転させたサンプルを追加する。270度の時点において時間軸方向に反転させるのは、調和信号の1周期が正弦波であると仮定すると、分割区間Q3と分割区間Q4(3/4周期から1周期の区間)は270度を軸に時間軸方向に左右対称である特徴を利用したものである。このようにして時間軸延長が行われ、図8(c)に示すような波形の解析フレーム(5461サンプル)が得られる。図8(c)(d)の例では、単位区間長Tが、調和信号の3/4周期に相当する場合を示したが、単位区間長Tが、調和信号の3/4周期以上である場合は、同様に処理が行われ、解析フレーム長T(n)は最大5461サンプルとなる。この場合、調和信号の3/4周期を超えた部分の単位区間のサンプルは、単位区間内のいずれかのサンプルが重複して使用されることになる。 When one period of the harmonic signal is larger than the unit section length T, the analysis frame length T (n) that is the correlation calculation section is set to one period of the harmonic signal, so that the unit section length T is T (n) −T. Extend the time axis by adding the number of samples. In this case, one period of the harmonic signal is set as four divided sections Q1-Q4. Then, as shown in FIG. 8D, when the unit section length T corresponds to 3/4 period of the harmonic signal, the harmonic signal division section Q3 (1/2 period to 3/4 period) A sample obtained by inverting the sample of the unit section corresponding to に in the time axis direction at the time of 3/4 period of the harmonic signal (270 degrees: boundary between the divided sections Q3 and Q4) is added. Assuming that one period of the harmonic signal is a sine wave, inversion in the time axis direction at the time of 270 degrees is 270 degrees in divided sections Q3 and Q4 (3/4 period to 1 period). It uses a feature that is symmetrical with respect to the axis in the time axis direction. In this way, the time axis is extended, and a waveform analysis frame (5461 samples) as shown in FIG. 8C is obtained. In the examples of FIGS. 8C and 8D, the case where the unit section length T corresponds to 3/4 period of the harmonic signal is shown, but the unit section length T is 3/4 period or more of the harmonic signal. In this case, the same processing is performed, and the analysis frame length T (n) is 5461 samples at the maximum. In this case, any sample in the unit section of the portion exceeding the 3/4 period of the harmonic signal is used by overlapping one of the samples in the unit section.
また、図9(b)に示すように、単位区間長Tが、調和信号の1/2周期以上で3/4周期未満に相当する場合(単位区間の最終サンプルが分割区間Q3に属する場合)は、分割区間Q4全体と分割区間Q3の一部が欠損しているため、分割区間Q2(1/4周期から1/2周期の区間)に対応する単位区間のサンプルを、調和信号の1/2周期(180度:分割区間Q2と分割区間Q3の境界)の時点において時間軸および振幅軸方向に反転させたサンプルを分割区間Q3に追加し、さらに追加された分割区間Q3のサンプルを、調和信号の3/4周期(270度)の時点において反転させたサンプルを追加する。180度の時点において時間軸および振幅軸方向に反転させるのは、調和信号の1周期が正弦波であると仮定すると、分割区間Q2と分割区間Q3は180度を軸に時間軸および振幅軸方向に180度回転させた対称形である特徴を利用したものである。このようにして時間軸延長が行われ、図9(a)に示すような波形の解析フレーム(最大8192サンプル)が得られる。この場合、調和信号の1/2周期を超えた部分の単位区間のサンプルは、単位区間内のいずれかのサンプルが重複して使用されることになる。 Also, as shown in FIG. 9B, when the unit section length T corresponds to more than 1/2 cycle and less than 3/4 period of the harmonic signal (when the last sample of the unit section belongs to the divided section Q3). Since the entire divided section Q4 and a part of the divided section Q3 are missing, a unit section sample corresponding to the divided section Q2 (a section from a quarter cycle to a half cycle) is converted to 1 / of the harmonic signal. Samples that are inverted in the time axis and amplitude axis directions at the time of two periods (180 degrees: the boundary between the divided sections Q2 and Q3) are added to the divided sections Q3, and the samples of the added divided sections Q3 are harmonized. An inverted sample is added at the time of 3/4 period (270 degrees) of the signal. Inversion in the time axis and amplitude axis directions at the time of 180 degrees assumes that one period of the harmonic signal is a sine wave, the divided sections Q2 and Q3 are 180 degrees in the time axis and amplitude axis directions. A characteristic that is a symmetrical shape rotated 180 degrees is used. The time axis is extended in this way, and a waveform analysis frame (up to 8192 samples) as shown in FIG. 9A is obtained. In this case, any sample in the unit section of the portion exceeding the half period of the harmonic signal is used by overlapping one of the samples in the unit section.
また、図10(b)に示すように、単位区間長Tが、調和信号の1/4周期以上で1/2周期未満に相当する場合(単位区間の最終サンプルが分割区間Q2に属する場合)は、分割区間Q3・Q4全体と分割区間Q2の一部が欠損しているため、Q1区間(先頭から1/4周期の区間)に対応する単位区間のサンプルを、調和信号の1/4周期(90度:分割区間Q1と分割区間Q2の境界)の時点において時間軸方向に反転させたサンプルを分割区間Q2に追加し、さらに追加された分割区間Q2のサンプルを、調和信号の1/2周期(180度)の時点において時間軸および振幅軸方向に反転させたサンプルを分割区間Q3に追加し、さらに追加された分割区間Q3のサンプルを、調和信号の3/4周期(270度)の時点において時間軸方向に反転させたサンプルを追加する。90度の時点において時間軸方向に反転させるのは、調和信号の1周期が正弦波であると仮定すると、分割区間Q1と分割区間Q2は90度を軸に時間軸方向に左右対称である特徴を利用したものである。このようにして時間軸延長が行われ、図10(a)に示すような波形の解析フレーム(最大16384サンプル)が得られる。この場合、調和信号の1/4周期を超えた部分の単位区間のサンプルは、単位区間内のいずれかのサンプルが重複して使用されることになる。
尚、単位区間長Tが、調和信号の1/4周期未満に相当する場合(単位区間の最終サンプルが分割区間Q1に属する場合)も起こり得るが、これをもとに時間軸延長を行って相関計算を行っても、ソースとなる情報量が少なすぎて、有意な相関値が得られないため、単位区間長Tが、調和信号の1/4周期未満に相当する周波数に対しては解析対象としないものとする。
Also, as shown in FIG. 10 (b), when the unit section length T corresponds to not less than ¼ period and less than ½ period of the harmonic signal (when the last sample of the unit section belongs to the divided section Q2). Since the whole of the divided sections Q3 and Q4 and a part of the divided section Q2 are missing, the unit section samples corresponding to the Q1 section (section having a quarter period from the head) are used as the quarter period of the harmonic signal. The sample inverted in the time axis direction at the time of (90 degrees: the boundary between the divided section Q1 and the divided section Q2) is added to the divided section Q2, and the added sample of the divided section Q2 is ½ of the harmonic signal. Samples inverted in the time axis and amplitude axis directions at the time of the period (180 degrees) are added to the divided section Q3, and the added samples of the divided section Q3 are added to the 3/4 period (270 degrees) of the harmonic signal. Time at time To add a sample obtained by reversing the direction. The reason for inversion in the time axis direction at the time of 90 degrees is that if one period of the harmonic signal is a sine wave, the divided sections Q1 and Q2 are symmetrical in the time axis direction about 90 degrees. Is used. The time axis is extended in this way, and a waveform analysis frame (maximum 16384 samples) as shown in FIG. 10A is obtained. In this case, any sample in the unit section of the portion exceeding the quarter period of the harmonic signal is used by overlapping any sample in the unit section.
Note that the unit interval length T may correspond to less than ¼ period of the harmonic signal (when the last sample of the unit interval belongs to the divided interval Q1), but the time axis is extended based on this. Even if the correlation calculation is performed, the amount of information used as a source is too small to obtain a significant correlation value. Therefore, the unit section length T is analyzed for frequencies corresponding to less than a quarter cycle of the harmonic signal. It shall not be covered.
各選出単位区間qについて解析フレームを変化させながら周波数解析を行い、スペクトル(128個の周波数成分)が算出されたら、個々の選出単位区間ごとに、S5において算出されたスペクトルに基づいて、N種類の各周波数に対応して、各周波数を特定可能な周波数情報と、各々に対応するスペクトル強度、および当該選出単位区間の開始と終了を特定可能な時間情報で構成される単音成分を作成する(S6)。具体的には、算出したスペクトルに、各ノートナンバーnの時刻、時間長の情報を追加し、[開始時刻,時間長,主周波数n,副周波数S(P(q),n),強度E2(q,n)]で構成される単音成分を作成する。「開始時刻」としては選出単位区間の先頭の時刻を、デジタル音響信号全体において特定できる情報であれば良く、本実施形態では、単位区間の先頭サンプル(i=0)に付されたデジタル音響信号全体におけるサンプル番号(絶対サンプルアドレス:jに対応)を記録している。この絶対サンプルアドレスをサンプリング周波数(44100)で除算することにより、音響信号先頭からの時刻が得られる。時間長は、本実施形態では選出単位区間ごとに可変で与えられることを特徴とし、直後に後続する一般化調和解析を行った選出単位区間の開始時刻までの差分(後続する選出単位区間の開始時刻−当該選出単位区間の開始時刻)で与えられる。直後に後続する選出単位区間が存在しない場合(最終の選出単位区間)、単位区間のシフト幅Wを時間長として与える。 When frequency analysis is performed while changing the analysis frame for each selected unit section q and the spectrum (128 frequency components) is calculated, N types are selected for each selected unit section based on the spectrum calculated in S5. Corresponding to each frequency, a single-tone component composed of frequency information that can specify each frequency, spectrum intensity corresponding to each frequency, and time information that can specify the start and end of the selected unit section is created ( S6). Specifically, the time and time length information of each note number n is added to the calculated spectrum, and [start time, time length, main frequency n, sub frequency S (P (q), n), intensity E2 A single tone component composed of (q, n)] is created. The “start time” may be any information that can identify the start time of the selected unit section in the entire digital sound signal, and in this embodiment, the digital sound signal attached to the start sample (i = 0) of the unit section. The sample number (corresponding to absolute sample address: j) in the whole is recorded. By dividing this absolute sample address by the sampling frequency (44100), the time from the head of the acoustic signal is obtained. In this embodiment, the length of time is variably given for each selected unit section. The time length is the difference up to the start time of the selected unit section that has been subjected to the generalized harmonic analysis that immediately follows (the start of the subsequent selected unit section). Time-start time of the selected unit section). When there is no subsequent selection unit section immediately after (the last selection unit section), the shift width W of the unit section is given as the time length.
続いて、時間軸方向に拡大して処理されたことによる変動を是正するため、各単音成分を補正する処理を行う(S7)。単音成分が作成されたら、全ての周波数情報(ノートナンバー値に対応)に12・log2Kだけ加算する処理を行う。例えば、K=4の場合、24半音(2オクターブ)だけ全体的に音高を上げる。この処理は、S1においてサンプル数をK倍したことにより周波数が1/Kになっているため、周波数をK倍にして元の状態に戻すために行う。この補正によりノートナンバーが規格値上限の127を超えるノートナンバーをもつ符号コードは削除する。具体的には補正前のノートナンバーが128−12・log2K以上の符号コードが削除される。
Subsequently, in order to correct the variation caused by the processing being enlarged in the time axis direction, processing for correcting each single tone component is performed (S7). When a single tone component is created, a process of adding 12 · log 2 K to all frequency information (corresponding to the note number value) is performed. For example, when K = 4, the overall pitch is raised by 24 semitones (2 octaves). This process is performed to restore the original state by multiplying the frequency by K times because the frequency is 1 / K by multiplying the number of samples by K in S1. By this correction, the code code having the note number whose note number exceeds the standard value
続いて、全ての開始時刻,時間長に1/Kを乗算する。これにより、後述する符号化処理によりMIDI符号に変換した場合、MIDI符号全体の演奏時間、および各ノートイベントの発音時間が1/Kに縮小される。この処理は、S1においてサンプル数をK倍したことにより全体の演奏時間がK倍になっているため、時刻を1/Kにして元の状態に戻すために行う。 Subsequently, all start times and time lengths are multiplied by 1 / K. As a result, when converted to a MIDI code by an encoding process described later, the performance time of the entire MIDI code and the sounding time of each note event are reduced to 1 / K. This process is performed in order to set the time to 1 / K and return to the original state because the total performance time is K times by multiplying the number of samples by K in S1.
S7における処理の結果、周波数(音高)はK倍になるとともに、時間情報は1/Kになる。S7の補正処理による音成分の変化の様子を図3(b)に示す。図3(b)においては、K=2の場合の音成分の変化を、音符により示している。S7の補正処理により左側の“ミ”の音符は、右側では1オクターブ高い(周波数が2倍)“ミ”の音符に変化している。一方、左側の四分音符が、右側では時間的に1/2の八分音符に変化している。 As a result of the processing in S7, the frequency (pitch) becomes K times and the time information becomes 1 / K. FIG. 3B shows how the sound component changes due to the correction process in S7. In FIG. 3B, the change of the sound component in the case of K = 2 is indicated by a note. As a result of the correction processing in S7, the left "mi" note is changed to the "mi" note that is one octave higher (double the frequency) on the right side. On the other hand, the left quarter note is changed to a half eighth note on the right side.
各単音成分の周波数をK倍、時間軸を1/K倍にする処理を行ったら、次に、聴覚フィルタ補正を行う(S8)。具体的には、S7までの処理により得られた0≦n≦127の周波数範囲を24個の帯域に分割し、各帯域単位でE2(q,n)に対して補正を行う。
Once the processing of making the frequency of each single tone component K times and the
本実施形態において聴覚フィルタ補正に用いる帯域フィルタについて説明しておく。非特許文献1を基に作成された帯域フィルタを図11に示す。図11においては、24個の帯域に帯域番号1〜24を付し、各帯域番号で特定される24個の帯域について、下限周波数、中心周波数、上限周波数、帯域幅を示している。下限周波数、上限周波数はそれぞれ、各帯域の下限の周波数、上限の周波数を示しており、各帯域の下限周波数、上限周波数はそれぞれ各帯域フィルタにおける上下のカットオフ周波数、当該周波数より上側または下側の周波数成分は通さない(フィルタ利得dB値がマイナス無限大に近い)ときの上限周波数、下限周波数に一致している。中心周波数は、帯域フィルタ内で最も信号成分を通す(フィルタ利得dB値がプラス無限大に近い)ピーク周波数である。帯域幅は、各帯域の幅であり、下限周波数と上限周波数の差分値となっている。
A band-pass filter used for auditory filter correction in this embodiment will be described. FIG. 11 shows a bandpass filter created based on
図12は、図11に示した帯域フィルタをMIDIノートナンバー単位に変換したものである。すなわち、図11に示した周波数f(n)(単位Hz)と、図12に示したノートナンバーnの関係は、f(n)=440・2(n-69)/12を満たすものとなっている。ただし、ノートナンバーが複数の帯域で重複しないように、各帯域の上限音高を1つ高い帯域の下限音高よりも1だけ減じた値としている。 FIG. 12 shows the band filter shown in FIG. 11 converted into MIDI note number units. That is, the relationship between the frequency f (n) (unit: Hz) shown in FIG. 11 and the note number n shown in FIG. 12 satisfies f (n) = 440 · 2 (n−69) / 12. ing. However, the upper limit pitch of each band is set to a value obtained by subtracting 1 from the lower limit pitch of one higher band so that the note numbers do not overlap in a plurality of bands.
各帯域は、帯域番号bを用いてNr(b)≦n<Nr(b+1)のノートナンバーnの範囲で特定される。25個の帯域境界値Nr(b)(b=1,・・・,25)は、Nr(b)={17,45,57,64,69,72,76,79,82,85,88,91,93,96,98,101,104,106,109,113,116,119,123,127,128}である。25個の帯域境界値Nr(b)のうち、b=1〜24に対応するものは、各帯域の下限音高を示し、b=25に対応する帯域境界値“128”のみ、帯域の中心音高を示している。図11、図12に示した帯域フィルタは典型例であり、上限、中心、下限の数値は適宜変更することができる。また、帯域の数についても、24個が現状は定説であるが、これに限定されず、新たな知見に基づいて変更することができる。 Each band is specified in the range of note number n such that Nr (b) ≦ n <Nr (b + 1) using band number b. The 25 band boundary values Nr (b) (b = 1,..., 25) are Nr (b) = {17, 45, 57, 64, 69, 72, 76, 79, 82, 85, 88. , 91, 93, 96, 98, 101, 104, 106, 109, 113, 116, 119, 123, 127, 128}. Of the 25 band boundary values Nr (b), the one corresponding to b = 1 to 24 indicates the lower limit pitch of each band, and only the band boundary value “128” corresponding to b = 25 is the center of the band. The pitch is shown. The bandpass filters shown in FIGS. 11 and 12 are typical examples, and the numerical values of the upper limit, the center, and the lower limit can be changed as appropriate. Also, regarding the number of bands, 24 is currently the established theory, but is not limited to this, and can be changed based on new knowledge.
図13は、S8における聴覚フィルタ補正の詳細を示すフローチャートである。まず、帯域番号bを1に設定する(S21)。これにより一番低い帯域である帯域番号1から処理が行われることになる。次に、帯域番号bに対応する下限音高Nr(b)から上限音高Nr(b+1)−1の範囲内で相関値配列E2(q,n)が最大となる極大ノートナンバーnbmaxを探索する(S22)。
FIG. 13 is a flowchart showing details of the auditory filter correction in S8. First, the band number b is set to 1 (S21). As a result, processing is performed from
続いて、帯域番号bに対応する下限音高Nr(b)から上限音高Nr(b+1)−1の範囲内で極大ノートナンバーnbmax以外のノートナンバーnに対応する相関値配列E2(q,n)の値を所定の割合だけ減衰する(S23)。具体的には、極大ノートナンバーnbmax以外の各ノートナンバーnに対応する相関値配列E2(q,n)に1未満の所定の実数値γを乗算して減衰補正する。実数値γは減衰補正を行うためのものであるので、1未満の値であれば適宜設定することができるが、本実施形態では、γ=0.1に設定されている。したがって、S23における処理により、極大ノートナンバーnbmax以外のノートナンバーnに対応する各相関値E2(q,n)は、1/10に減衰されることになる。 Subsequently, the correlation value array E2 (q, n) corresponding to the note number n other than the maximum note number nbmax within the range from the lower limit pitch Nr (b) corresponding to the band number b to the upper limit pitch Nr (b + 1) −1. ) Is attenuated by a predetermined ratio (S23). Specifically, attenuation correction is performed by multiplying the correlation value array E2 (q, n) corresponding to each note number n other than the maximum note number nbmax by a predetermined real value γ less than 1. Since the real value γ is for performing attenuation correction, any value less than 1 can be set as appropriate. However, in this embodiment, γ = 0.1 is set. Therefore, the correlation value E2 (q, n) corresponding to the note number n other than the maximum note number nbmax is attenuated to 1/10 by the processing in S23.
帯域番号bについて、極大ノートナンバーnbmaxの探索および他のノートナンバーに対応する相関値の減衰を行ったら、帯域番号bをカウントアップ(b←b+1)する(S24)。そして、最も高い帯域である帯域番号24と帯域番号bとの比較を行う(S25)。S25における比較の結果、bが24以下であれば、S22に戻って次の帯域について、極大ノートナンバーnbmaxの探索(S22)および他のノートナンバーに対応する相関値の減衰処理(S23)を行う。一方、S25における比較の結果、bが25以上であれば、全ての帯域について処理を行ったことになるので、聴覚フィルタ補正処理を終了する。
When band number b is searched for maximum note number nbmax and correlation values corresponding to other note numbers are attenuated, band number b is counted up (b ← b + 1) (S24). Then, the
S8における聴覚フィルタ補正処理の結果は、補正相関強度配列E‘(q,n)として出力される。補正相関強度配列E‘(q,n)における各補正相関値は、128個のE2(q,n)のうち、104個は減衰され、残る24個は減衰されない状態のものとなる。 The result of the auditory filter correction process in S8 is output as a corrected correlation strength array E ′ (q, n). Of the 128 E2 (q, n), 104 corrected correlation values in the corrected correlation intensity array E ′ (q, n) are attenuated and the remaining 24 are not attenuated.
聴覚フィルタ補正処理を行ったら、次に、連続する選出単位区間において単音成分を連結(統合)する処理を行う(S9)。具体的には、連続する選出単位区間における単音成分が、所定の連結条件を満たす場合、2つの単音成分を連結する。ここで、連結判断の対象とする選出単位区間と単位区間との関係を図14に示す。 Once the auditory filter correction processing has been performed, processing for connecting (integrating) the single tone components in successive selection unit sections is performed (S9). Specifically, when a single sound component in consecutive selected unit sections satisfies a predetermined connection condition, two single sound components are connected. Here, FIG. 14 shows the relationship between the selected unit section and the unit section that are subject to the connection determination.
図14は、図4(b)と同様、単位区間1−6のうち、単位区間1、5、6がそれぞれ選出単位区間1、2、3として選出された例を示している。本実施形態では、連結判断の対象を音成分として選出される選出単位区間の間ではなく、選出単位区間と隣接する単位区間の間で行う点に特徴がある。図14の例では、選出単位区間1と選出単位区間2(単位区間5)を連結するかどうか判断する際に、選出単位区間1と選出単位区間2(単位区間5)の間で連結条件を判断するのではなく、選出単位区間2(単位区間5)とその直前の単位区間4の間で連結条件を判断する。これにより、時間的に最も近い単位区間が連結判断の際に考慮されることとなり、適切に音成分を連結することが可能になる。
FIG. 14 shows an example in which
連結条件としては、同一の音として連続性を有する状態を適宜設定することができる。本実施形態では、選出単位区間qと選出単位区間q+1を連結するか否かを判断するにあたり、4つの条件について判断する。第1の条件は、選出単位区間q+1(単位区間としてはP(q+1))における単音成分の強度から直前の単位区間P(q+1)−1における単音成分の強度を減じた値が所定のしきい値Ldif未満であること。第2の条件は、その双方の強度が所定のしきい値Lminより大きいこと。第3の条件は、ノートナンバーに対して上下1の変移を考慮し、副周波数を考慮した周波数の差が所定の閾値Ndif未満であること。第4の条件は、選出単位区間qが既に他の選出単位区間と連結されている場合、選出単位区間qと連結されている先頭の選出単位区間qoと選出単位区間q+1の副周波数を考慮した周波数の差が所定の閾値Nadif未満であること。以上4つの条件を全て満たす場合に、連続性を有するとして、後続の単音成分を前方の単音成分に連結する。第1の条件と第2の条件においても、ノートナンバーに対して上下1の変移を考慮する。本実施形態では、ノートナンバーの変移を考慮した以下の〔数式7〕〜〔数式9〕に従った4条件を満たすかどうかを判断することにより連結を行うか否かを決定する。
As a connection condition, a state having continuity as the same sound can be appropriately set. In the present embodiment, four conditions are determined when determining whether or not to connect the selection unit interval q and the selection unit
〔数式7〕
E1(P(q+1),n)−E1(P(q+1)−1,n)<Ldif
E1(P(q+1)−1,n)>LminかつE1(P(q+1),n)>Lmin
|S(P(q+1)−1,n)−S(P(q+1),n)|<Ndif
|S(P(qo),n)−S(P(q+1),n)|<Nadif
[Formula 7]
E1 (P (q + 1), n) -E1 (P (q + 1) -1, n) <Ldif
E1 (P (q + 1) -1, n)> Lmin and E1 (P (q + 1), n)> Lmin
| S (P (q + 1) -1, n) -S (P (q + 1), n) | <Ndif
| S (P (qo), n) -S (P (q + 1), n) | <Nadif
上記〔数式7〕において1行目の式は、後続の単音成分の強度から前方の単音成分の強度を減じた値が所定のしきい値Ldif未満であることを示し、2行目の式は、前方の単音成分と後続の単音成分の強度がともに所定のしきい値Lminより大きいことを示し、3行目の式は、副周波数を考慮したノートナンバー単位の周波数の差が所定の閾値Ndif未満であることを示している。4行目の式は、前方の選出単位区間がそれより前方の選出単位区間と既に連結されている場合に、先頭の選出単位区間qoと後続の選出単位区間q+1の副周波数を考慮したノートナンバー単位の周波数の差が所定の閾値Nadif未満であることを示している。 In the above [Equation 7], the expression on the first line indicates that the value obtained by subtracting the intensity of the preceding single sound component from the intensity of the subsequent single sound component is less than a predetermined threshold Ldif. , Indicating that the intensity of both the preceding single sound component and the subsequent single sound component is larger than the predetermined threshold value Lmin, and the expression in the third row indicates that the frequency difference in note number units considering the sub frequency is a predetermined threshold value Ndif. It shows that it is less than. The expression on the fourth line is a note number that takes into account the sub-frequency of the head selection unit section qo and the subsequent selection unit section q + 1 when the front selection unit section is already connected to the front selection unit section. It shows that the difference in unit frequency is less than a predetermined threshold value Nadif.
〔数式8〕
E1(P(q+1),n−1)−E1(P(q+1)−1,n)<Ldif
E1(P(q+1)−1,n)>LminかつE1(P(q+1),n−1)>Lmin
|S(P(q+1)−1,n)−S(P(q+1),n−1)−M|<Ndif
|S(P(qo),n)−S(P(q+1),n−1)−M|<Nadif
[Formula 8]
E1 (P (q + 1), n-1) -E1 (P (q + 1) -1, n) <Ldif
E1 (P (q + 1) -1, n)> Lmin and E1 (P (q + 1), n-1)> Lmin
| S (P (q + 1) -1, n) -S (P (q + 1), n-1) -M | <Ndif
| S (P (qo), n) -S (P (q + 1), n-1) -M | <Nadif
上記〔数式7〕が同一ノートナンバー同士で比較しているのに対して、上記〔数式8〕においては、後続の単音成分として1ノートナンバー分下げたものを対象としている点が異なっている。3行目の式は、周波数をノートナンバー単位にすると、第1のスペクトル強度E1(P(q+1),n−1)を決定する周波数S(P(q+1),n−1)と、第1のスペクトル強度E1(P(q+1)−1,n)を決定する副周波数S(P(q+1)−1,n)との差が所定のしきい値Ndif未満であることを示している。4行目の式は、周波数をノートナンバー単位にすると、第1のスペクトル強度E1(P(q+1),n−1)を決定する周波数S(P(q+1),n−1)と、第1のスペクトル強度E1(P(qo),n)を決定する副周波数S(P(qo),n)との差が所定のしきい値Nadif未満であることを示している。 The above [Equation 7] compares the same note numbers, whereas the above [Equation 8] differs in that the following single-tone component is reduced by one note number. The expression in the third row is obtained by calculating the frequency S (P (q + 1), n−1) for determining the first spectral intensity E1 (P (q + 1), n−1) and the first The difference from the sub-frequency S (P (q + 1) -1, n) that determines the spectrum intensity E1 (P (q + 1) -1, n) is less than a predetermined threshold value Ndif. The expression in the fourth row is obtained by calculating the frequency S (P (q + 1), n−1) for determining the first spectral intensity E1 (P (q + 1), n−1) and the first It is shown that the difference from the sub-frequency S (P (qo), n) that determines the spectrum intensity E1 (P (qo), n) is less than a predetermined threshold value Nadif.
〔数式9〕
E1(P(q+1),n+1)−E1(P(q+1)−1,n)<Ldif
E1(P(q+1)−1,n)>LminかつE1(P(q+1),n+1)>Lmin
|S(P(q+1)−1,n)−S(P(q+1),n+1)+M|<Ndif
|S(P(qo),n)−S(P(q+1),n+1)+M|<Nadif
[Formula 9]
E1 (P (q + 1), n + 1) -E1 (P (q + 1) -1, n) <Ldif
E1 (P (q + 1) -1, n)> Lmin and E1 (P (q + 1), n + 1)> Lmin
| S (P (q + 1) -1, n) -S (P (q + 1), n + 1) + M | <Ndif
| S (P (qo), n) -S (P (q + 1), n + 1) + M | <Nadif
上記〔数式7〕が同一ノートナンバー同士で比較しているのに対して、上記〔数式9〕においては、後続の単音成分として1ノートナンバー分上げたものを対象としている点が異なっている。3行目の式は、周波数をノートナンバー単位にすると、第1のスペクトル強度E1(P(q+1),n+1)を決定する周波数S(P(q+1),n+1)と、第1のスペクトル強度E1(P(q+1)−1,n)を決定する副周波数S(P(q+1)−1,n)との差が所定のしきい値Ndif未満であることを示している。4行目の式は、周波数をノートナンバー単位にすると、第1のスペクトル強度E1(P(q+1),n+1)を決定する周波数S(P(q+1),n+1)と、第1のスペクトル強度E1(P(qo),n)を決定する副周波数S(P(qo),n)との差が所定のしきい値Nadif未満であることを示している。 While the above [Equation 7] compares the same note numbers, the above [Equation 9] is different in that the subsequent single sound component is increased by one note number. The expression in the third row is obtained by calculating the frequency S (P (q + 1), n + 1) for determining the first spectral intensity E1 (P (q + 1), n + 1) and the first spectral intensity E1 when the frequency is in note number units. It shows that the difference from the sub-frequency S (P (q + 1) -1, n) for determining (P (q + 1) -1, n) is less than a predetermined threshold value Ndif. The expression in the fourth row is expressed as follows: when the frequency is in note number units, the frequency S (P (q + 1), n + 1) for determining the first spectral intensity E1 (P (q + 1), n + 1) and the first spectral intensity E1 It shows that the difference from the sub-frequency S (P (qo), n) for determining (P (qo), n) is less than a predetermined threshold value Nadif.
本実施形態における具体的な処理手順としては、まず、〔数式7〕に示した条件を全て満たすかどうかを判断する。そして、満たす場合には、連結処理へ進む。〔数式7〕に示した条件のうち1つでも満たさないものがある場合は、〔数式8〕に示した条件を全て満たすかどうかを判断する。そして、満たす場合には、連結処理へ進む。〔数式8〕に示した条件のうち1つでも満たさないものがある場合は、〔数式9〕に示した条件を全て満たすかどうかを判断する。そして、満たす場合には、連結処理へ進む。〔数式9〕に示した条件のうち1つでも満たさないものがある場合は、連結を行わないという決定を行う。 As a specific processing procedure in the present embodiment, first, it is determined whether or not all the conditions shown in [Formula 7] are satisfied. And when satisfy | filling, it progresses to a connection process. If any of the conditions shown in [Formula 7] does not satisfy one of the conditions, it is determined whether or not all the conditions shown in [Formula 8] are satisfied. And when satisfy | filling, it progresses to a connection process. If any of the conditions shown in [Formula 8] does not satisfy one of the conditions, it is determined whether or not all the conditions shown in [Formula 9] are satisfied. And when satisfy | filling, it progresses to a connection process. If any of the conditions shown in [Equation 9] does not satisfy one of the conditions, it is determined that the connection is not performed.
連結後の主周波数、副周波数、強度は大きい方の単音成分の各値を採用し、時間長は双方の和で与える。この時、強度は聴覚フィルタ補正を行った後の値を使用する。連結条件としての具体的なしきい値は、本実施形態では、Ldif=10[単位:128段階ベロシティ換算]、Lmin=1[単位:128段階ベロシティ換算]、Ndif=4/25[単位:ノートナンバー換算] 、Nadif=8/25[単位:ノートナンバー換算]としている。連結処理は、符号コードへの変換前に行うものであるため、各しきい値は、ノートナンバー、ベロシティに換算したものである。S9における連結処理の結果、連結処理されなかった単音成分はそのまま残ることになる。また、連結により連結音成分が得られることになるが、連結音成分は、単音成分と同様、[開始時刻,時間長,主周波数n,副周波数S(P(q),n),強度E‘(q,n)]で構成され、このうち時間長が単音成分より大きい値を有することになる。連結処理により、単音成分と連結音成分が混在することになるが、以降これらをまとめて音成分と呼ぶことにする。なお、S9における連結処理については、実行した方が、長音の音符で表現することになり、符号量が少なくなりMIDI音源で円滑で自然な演奏が行われるようになるため、一般に望ましいが、ピッチベンド符号の付加などが行われないと、逆にビブラートなど音の微妙な時間的変化が消失するためMIDI音源で不自然に聞こえる場合もあるため、必ずしも必須ではない。S9における連結処理を行わない場合、全てが短い音符として表現されることになる。 The main frequency, sub frequency, and intensity after connection are each taken from the value of the larger single tone component, and the time length is given as the sum of both. At this time, the intensity is the value after the auditory filter correction is performed. In this embodiment, specific threshold values as connection conditions are as follows: Ldif = 10 [unit: 128 step velocity conversion], Lmin = 1 [unit: 128 step velocity conversion], Ndif = 4/25 [unit: note number] Conversion], Nadif = 8/25 [unit: note number conversion]. Since the concatenation process is performed before conversion to a code code, each threshold value is converted into a note number and velocity. As a result of the connecting process in S9, the single sound components that have not been connected remain. In addition, a connected sound component is obtained by connection, and the connected sound component is [start time, time length, main frequency n, sub frequency S (P (q), n), intensity E, as with the single sound component. '(Q, n)], of which the time length has a value greater than the single tone component. By the connection process, a single sound component and a connected sound component are mixed, and these are hereinafter collectively referred to as a sound component. It should be noted that the connection processing in S9 is generally preferable because it is expressed by a long note, and the amount of codes is reduced, so that a smooth and natural performance can be performed with a MIDI sound source. If a code is not added, subtle temporal changes in sound such as vibrato disappear, and it may sound unnatural with a MIDI sound source. When the connection process in S9 is not performed, all are expressed as short notes.
S9の連結処理を終えたら、最終的に得られた[開始時刻,時間長,主周波数n,副周波数S(P(q),n),強度E‘(q,n)]の音成分を、符号コードに変換する(S10)。符号コードの形式としては、周波数情報と、各周波数に対応するスペクトル強度、および単位区間の開始と終了を特定可能な時間情報を有するものであれば、どのような形式のものであっても良いが、本実施形態では、MIDI形式に変換する。MIDIでは、発音開始と発音終了を別のイベントとして発生するため、本実施形態では、1つの音成分を2つのMIDIノートイベントに変換する。具体的には、「開始時刻」で、ノートナンバーnのノートオンイベントを発行し、ベロシティ値は強度E‘(q,n)の最大値をEmaxとして、128・{E‘(q,n)/Emax}1/4で与える。時刻については、Standard MIDI Fileでは、直前イベントとの相対時刻(デルタタイム)で与える必要があり、その時刻単位は任意の整数値で定義でき、例えば、1/1536[秒]の単位に変換して与える。そして、絶対時刻が「開始時刻」+「時間長」で特定される終了時刻で(デルタタイムでは「時間長」で与えられる終了時刻で)、ノートナンバーnのノートオフイベントを発行する。この際、時間長には、0以上1以下の実数を乗じる。これは、使用するMIDI音源の音色にも依存するが、MIDI音源の余韻を考慮して早めにノートオフ指示をするためである。時間長をそのまま用いてもMIDI音源の処理上問題はないが、発音の際、後続音と部分的に重なる場合がある。 When the connection process of S9 is completed, the sound component of [start time, time length, main frequency n, sub frequency S (P (q), n), intensity E ′ (q, n)] obtained finally is obtained. And converted into a code code (S10). The format of the code code may be any format as long as it has frequency information, spectrum intensity corresponding to each frequency, and time information that can specify the start and end of a unit section. However, in this embodiment, the data is converted to the MIDI format. In MIDI, sound generation start and sound generation end are generated as separate events, so in this embodiment, one sound component is converted into two MIDI note events. Specifically, a note-on event of note number n is issued at the “start time”, and the velocity value is 128 · {E ′ (q, n) with the maximum value of intensity E ′ (q, n) as Emax. / Emax} is given by 1/4 . In Standard MIDI File, it is necessary to give the time as a relative time (delta time) with the immediately preceding event, and the time unit can be defined by an arbitrary integer value, for example, converted to 1/1536 [seconds]. Give. Then, the note-off event of the note number n is issued at the end time specified by “start time” + “time length” (the end time given by “time length” in the delta time). At this time, the time length is multiplied by a real number between 0 and 1. This is because a note-off instruction is given early in consideration of the reverberation of the MIDI sound source, although it depends on the tone color of the MIDI sound source to be used. Even if the time length is used as it is, there is no problem in the processing of the MIDI sound source.
S10の符号コード変換処理を終えたら、次に、符号コードに対して必要な調整を行う(S11)。例えば、符号コードとしてMIDI符号に変換する際、MIDI音源で処理可能な同時発音数についても考慮するため、同時発音数の調整を行う必要がある。MIDI音源で処理可能な同時発音数が32である場合、時間軸方向に発音期間中(ノートオン状態)のノートイベントの個数を連続的にカウントし、同時に32個を超えるノートイベントが存在する箇所が見つかった場合は、各々対になるノートオフイベントを近傍区間内で探索し、各ノートイベント対のベロシティ値とデュレーション値(ノートオフ時刻−ノートオン時刻)の積(エネルギー値)で優先度を評価し、指定和音数(この場合“32”)以下になるように優先度の低い(エネルギー値の小さい)ノートイベント対を局所的に削除する処理を行う。“局所的に”とは、32を超えるノートイベント対が存在する部分に限りという意味である。この際、ベロシティ値またはデュレーション値のいずれかが所定の下限値より低い場合、優先度に関係なく削除する処理も行う。この段階で、本願で提案した聴覚フィルタ補正の効果が顕著に働き、選択される32個のノートイベントのうち24個のノートイベントは、図12で定義される24個の各帯域内に含まれるノートナンバーより各々より少なくとも1つずつ選択され、残りの8個のノートナンバーは、いずれか8種の帯域より重複して選択される可能性が高くなる。実際には、図5に示されるように、符号化対象のノートナンバーをピアノの音域である21〜108の範囲に限定することが多く、その場合、図12で有効な帯域は1〜18番に制限されるため、18個の各帯域内に含まれるノートナンバーより各々より少なくとも1つずつ選択され、残りの14個のノートナンバーは、いずれか14種の帯域より重複して選択される可能性が高くなる。ただし、これはあくまで、このように選択される確率が高くなるように補正をしたということで、選出単位区間によっては、選択されるノートイベントは18種未満のいずれかの帯域から選択されたり、1つの帯域から3種以上のノートナンバーが重複して選択されることもあり得る。このように符号化されたMIDIデータを、32和音以上同時発音可能なMIDI音源を用いて再生すると、特定の周波数帯域に限定されず、ヒト聴覚系が同時に聴取できる全ての周波数帯域の音域をカバーするため、ヒトが符号化前の原音響信号をそのまま聴取するのと同等な臨場感で明瞭に聴取することが可能になる。 After completing the code code conversion process of S10, next, necessary adjustments are made to the code code (S11). For example, when converting to a MIDI code as a code code, it is necessary to adjust the number of simultaneous sounds in order to consider the number of simultaneous sounds that can be processed by a MIDI sound source. When the number of simultaneous sounds that can be processed by the MIDI sound source is 32, the number of note events during the sound generation period (note-on state) is continuously counted in the time axis direction, and there are simultaneously more than 32 note events. Is found, each pair of note-off events is searched in the neighborhood, and the priority is determined by the product (energy value) of the velocity value and duration value (note-off time-note-on time) of each note event pair. Evaluation is performed, and a note event pair having a low priority (low energy value) is locally deleted so as to be equal to or less than the specified number of chords (in this case, “32”). “Locally” means that only a part where there are more than 32 note event pairs exists. At this time, if either the velocity value or the duration value is lower than the predetermined lower limit value, the deletion process is also performed regardless of the priority. At this stage, the effect of the auditory filter correction proposed in this application works remarkably, and 24 note events among the 32 note events to be selected are included in each of the 24 bands defined in FIG. At least one is selected from each of the note numbers, and the remaining eight note numbers are more likely to be selected redundantly from any of the eight types of bands. In practice, as shown in FIG. 5, the note numbers to be encoded are often limited to the range of 21 to 108 that is the piano range, and in this case, the effective bands in FIG. Therefore, at least one note number is selected from each of the 18 note numbers included in each of the 18 bands, and the remaining 14 note numbers can be selected redundantly from any of the 14 bands. Increases nature. However, this is to the extent that the correction is made so that the probability of being selected in this way is high, and depending on the selected unit section, the note event to be selected is selected from any band of less than 18 types, It is possible that three or more types of note numbers are selected in duplicate from one band. When the MIDI data encoded in this way is reproduced using a MIDI sound source capable of simultaneously generating 32 chords or more, it is not limited to a specific frequency band, and covers the frequency range of all frequency bands that can be heard simultaneously by the human auditory system. Therefore, it becomes possible to hear clearly with a sense of presence equivalent to a human being listening to the original sound signal before encoding as it is.
さらに、符号コードで処理可能なビットレートについても考慮するため、ビットレートの調整を行う。MIDI符号に変換する場合、時間軸方向に、例えば1秒間隔にノートイベント対の個数をカウントし、各々の符号データ量を平均5バイト(40ビット)とし、MIDI音源で処理可能な最大ビットレートを9000[bps(ビット/秒)]とすると、1秒間あたりイベント数が9000/40=225個を超えている区間が見つかった場合は、その区間に存在するノートオンまたはノートオフイベントと各々対になるノートオフまたはノートオンイベントを近傍区間内で探索し、各ノートイベント対のベロシティ値とデュレーション値(ノートオフ時刻−ノートオン時刻)の積(エネルギー値)で優先度を評価し、指定イベント個数(この場合“225”)以下になるように優先度の低い(エネルギー値の小さい)ノートイベント対を局所的に削除する処理を行う。この際、ベロシティ値またはデュレーション値のいずれかが所定の下限値より低い場合、優先度に関係なく削除する処理も行う。この段階でも、本願で提案した聴覚フィルタ補正の効果が顕著に働き、図12で定義される24個(ピアノ音域に限定した運用の場合は18個)の各帯域内に含まれる少なくとも1つのノートナンバーのノートイベントは削除されず残存する可能性が高くなる。 Furthermore, the bit rate is adjusted in order to consider the bit rate that can be processed by the code code. When converting to MIDI code, the number of note event pairs is counted in the time axis direction, for example, at 1-second intervals, and the average amount of code data is 5 bytes (40 bits). Is 9000 [bps (bits / second)], when a section in which the number of events per second exceeds 9000/40 = 225 is found, it is paired with a note-on or note-off event existing in the section. Searches for note-off or note-on events that become in the neighborhood, evaluates the priority by the product (energy value) of the velocity value and duration value (note-off time-note-on time) of each note event pair, and designates the event Note event pairs with low priority (low energy value) to be less than the number (in this case "225") It performs a process of deleting Tokoro manner. At this time, if either the velocity value or the duration value is lower than the predetermined lower limit value, the deletion process is also performed regardless of the priority. Even at this stage, the effect of the auditory filter correction proposed in the present application works remarkably, and at least one note included in each of the 24 bands (18 in the case of operation limited to the piano sound range) defined in FIG. Number note events are not deleted and are more likely to remain.
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されず、種々の変形が可能である。例えば、上記実施形態では、ノートナンバー間をM個の微分音(副周波数)を用いて解析を行うようにしたが、微分音を用いず、ノートナンバーに対応したN種類の周波数のみで解析するようにしても良い。この場合、解析精度は若干落ちるが、解析対象の周波数の数が減るため、処理負荷は軽減される。微分音を用いない場合、S9の単音成分の連結処理の判断において、〔数式7〕〜〔数式9〕では、いずれも3行目、4行目の式は判断しないことになる。 The preferred embodiments of the present invention have been described above. However, the present invention is not limited to the above embodiments, and various modifications can be made. For example, in the above embodiment, the analysis between the note numbers is performed using M differential sounds (sub-frequency), but the differential sounds are not used and the analysis is performed using only N types of frequencies corresponding to the note numbers. You may do it. In this case, the analysis accuracy is slightly reduced, but the processing load is reduced because the number of frequencies to be analyzed is reduced. In the case where the differential sound is not used, in the determination of the connection processing of the single sound component in S9, in the [Equation 7] to [Equation 9], the expressions of the third and fourth lines are not determined.
また、上記実施形態では、単位区間の設定前に、S1において時系列方向へのサンプル数の拡大処理を行い、単音成分の作成後、S7において単音成分の補正として各単音成分の周波数をK倍、時間軸を1/K倍にする処理を行っているが、特別に高い時間分解能を必要としない場合、必ずしも実行しなくても良い。 In the above embodiment, before setting the unit section, the number of samples in the time series direction is expanded in S1, and after the creation of the single sound component, the frequency of each single sound component is multiplied by K times as the correction of the single sound component in S7. Although the processing for increasing the time axis to 1 / K is performed, it is not always necessary to perform the processing when a particularly high time resolution is not required.
また、上記実施形態では、周波数解析を第1の周波数解析と第2の周波数解析に分け、第1の周波数解析の結果、所定の条件を満たした選出単位区間に対して第2の周波数解析を実行するようにしたが、各単位区間に対して、特許文献1〜3に開示されているような公知の周波数解析を実行するようにしても良い。 In the above embodiment, the frequency analysis is divided into the first frequency analysis and the second frequency analysis. As a result of the first frequency analysis, the second frequency analysis is performed on the selected unit section that satisfies a predetermined condition. Although it was made to perform, you may make it perform the well-known frequency analysis which is disclosed by patent documents 1-3 with respect to each unit area.
本発明は、PCM等により得られた音響信号を、MIDI符号等の符号コードに変換する技術を用い、放送メディア(地上・BSなどによるデジタルラジオ・テレビ放送など)、通信メディア(CS放送、インターネット・ストリーミング放送、携帯電話サービス、携帯音楽配信サービスなど)、パッケージメディア(CD、DVD、BlueRay、メモリICカードなど)向けのオーディオコンテンツ制作産業に利用することができる。 The present invention uses a technology for converting an acoustic signal obtained by PCM or the like into a code code such as a MIDI code, and uses broadcast media (digital radio / television broadcast such as terrestrial / BS) and communication media (CS broadcast, Internet). -Streaming broadcasting, mobile phone service, portable music distribution service, etc.) and audio media production industry for package media (CD, DVD, BlueRay, memory IC card, etc.).
1・・・CPU
2・・・RAM
3・・・データ記憶装置
4・・・プログラム記憶装置
5・・・キー入力I/F
6・・・データ入出力I/F
7・・・表示出力I/F
1 ... CPU
2 ... RAM
3 ...
6 ... Data I / O I / F
7 ... Display output I / F
Claims (22)
前記サンプル列に対して、所定数T(T<J)個のサンプルで構成される単位区間を、隣接する単位区間と時間軸方向に所定数W(W<T)個のサンプルを重複させながら設定する区間設定段階と、
個々の単位区間ごとに、解析対象とする少なくともN種類の各周波数f(n)について、周波数変換を行うことにより、単位区間pに対して、前記N種類の周波数に対応した第1のスペクトル強度E1(p,n)を算出する第1のスペクトル算出段階と、
前記単位区間pに対して直前に位置する単位区間p−1における第1のスペクトル強度E1(p−1,n)との対応する周波数ごとの変化に基づく評価値が、所定のしきい値より大きい場合に限り、当該単位区間pをq(q≦p)番目の選出単位区間qとして選出し、解析対象とする少なくともN種類の各周波数f(n)について、前記第1のスペクトル算出段階における周波数変換に比較して高精度な周波数変換を行うことにより、前記N種類の周波数に対応した第2のスペクトル強度E2(q,n)を算出する第2のスペクトル算出段階と、
前記N種類の各周波数f(n)を互いに重複しないように所定数の周波数グループに分割し、前記各単位区間に対して、各周波数グループに含まれる周波数の第2のスペクトル強度E2(q,n)の中で最大値をとる周波数以外の第2のスペクトル強度E2(q,n)に所定の割合だけ減衰させるように補正を行い、補正スペクトル強度E‘(q,n)を作成するスペクトル補正段階と、
前記単位区間の先頭時刻と直後の単位区間の先頭時刻との時間差と、前記単位区間の補正スペクトル強度に基づいて、所定の形式の符号コードを生成する符号化段階と、
を有することを特徴とする音響信号の符号化方法。 An encoding method for encoding an acoustic signal given as a sample sequence of J time series digitized at a predetermined sampling frequency,
A unit section composed of a predetermined number T (T <J) samples with respect to the sample sequence, while overlapping a predetermined number W (W <T) samples in the time axis direction with an adjacent unit section. Section setting stage to be set,
For each unit section, by performing frequency conversion for at least N types of frequencies f (n) to be analyzed , the first spectral intensity corresponding to the N types of frequencies for the unit section p. A first spectrum calculation stage for calculating E1 (p, n);
An evaluation value based on a change for each frequency corresponding to the first spectral intensity E1 (p-1, n) in the unit section p-1 located immediately before the unit section p is greater than a predetermined threshold value. Only when it is larger, the unit interval p is selected as the q (q ≦ p) -th selection unit interval q, and at least N kinds of frequencies f (n) to be analyzed are selected in the first spectrum calculation stage. A second spectrum calculation step of calculating a second spectrum intensity E2 (q, n) corresponding to the N kinds of frequencies by performing a frequency conversion with higher accuracy than the frequency conversion;
The N types of frequencies f (n) are divided into a predetermined number of frequency groups so as not to overlap each other, and the second spectral intensity E2 (q, n) A spectrum that corrects the second spectrum intensity E2 (q, n) other than the frequency having the maximum value in n) so as to be attenuated by a predetermined ratio to generate a corrected spectrum intensity E ′ (q, n). A correction stage;
An encoding step of generating a code code of a predetermined format based on the time difference between the start time of the unit section and the start time of the immediately following unit section, and the corrected spectrum intensity of the unit section;
A method for encoding an acoustic signal, comprising:
前記所定数の周波数グループは、ヒト聴覚系の特性に基づき、前記nの値を規格上のノートナンバーと定義して、17,45,57,64,69,72,76,79,82,85,88,91,93,96,98,101,104,106,109,113,116,119,123,127,128を境界とする24個で設定されることを特徴とする音響信号の符号化方法。 In claim 1,
The predetermined number of frequency groups are based on the characteristics of the human auditory system, and the value of n is defined as a standard note number, and 17, 45, 57, 64, 69, 72, 76, 79, 82, 85 , 88, 91, 93, 96, 98, 101, 104, 106, 109, 113, 116, 119, 123, 127, 128. Method.
前記所定数の周波数グループは、ヒト聴覚系の特性に基づき、周波数f(n)の値が20,100,200,300,400,510,630,770,920,1080,1270,1480,1720,2000,2320,2700,3150,3700,4400,5300,6400,7700,9500,12000,15500Hzを境界とする24個で設定されることを特徴とする音響信号の符号化方法。 In claim 1,
The predetermined number of frequency groups have frequency f (n) values of 20, 100, 200, 300, 400, 510, 630, 770, 920, 1080, 1270, 1480, 1720, based on characteristics of the human auditory system. An acoustic signal encoding method characterized by being set at 24 with 2000, 2320, 2700, 3150, 3700, 4400, 5300, 6400, 7700, 9500, 12000, and 15500 Hz as boundaries.
前記第1のスペクトル算出段階および第2のスペクトル算出段階はN種類の各周波数f(n)に対して隣接する周波数を超えない範囲で所定のM種類の副周波数f(n,m)を設定し、前記第1のスペクトル強度E1(p,n)および第2のスペクトル強度E2(q,n)として、前記M種類の副周波数の中で最も大きい強度を示す副周波数に対応する強度値を算出することを特徴とする音響信号の符号化方法。 In any one of Claims 1-3 ,
In the first spectrum calculation stage and the second spectrum calculation stage, predetermined M types of sub-frequency f (n, m) are set in a range not exceeding adjacent frequencies for each of the N types of frequencies f (n). Then, as the first spectral intensity E1 (p, n) and the second spectral intensity E2 (q, n), intensity values corresponding to the sub-frequency indicating the highest intensity among the M types of sub-frequency are obtained. A method for encoding an acoustic signal, comprising: calculating an acoustic signal.
前記符号化段階は、隣接する2つの選出単位区間qと選出単位区間q+1に対して、前記選出単位区間qがp番目の単位区間pであった場合に、P(q)=pと定義し、前記選出単位区間q+1における周波数f(n)、f(n−1)、f(n+1)に対応する前記第1のスペクトル強度E1(P(q+1),n)、E1(P(q+1),n−1)、E1(P(q+1),n+1)のいずれかと、当該選出単位区間q+1の直前に位置する単位区間P(q+1)−1における周波数f(n)に対応する前記第1のスペクトル強度E1(P(q+1)−1,n)との差が所定のしきい値Ldif未満で、かつ前記第1のスペクトル強度E1(P(q+1),n)、E1(P(q+1),n−1)、E1(P(q+1),n+1)のいずれかおよび前記第1のスペクトル強度E1(P(q+1)−1,n)が所定のしきい値Lminより大きい場合、前記選出単位区間qと選出単位区間q+1を連結し、前記符号コードの基礎となる時間差として、前記選出単位区間qに定義された選出単位区間qの先頭時刻と、選出単位区間q+1の直後の選出単位区間q+2の先頭時刻との時間差を用いることを特徴とする音響信号の符号化方法。 In any one of Claims 1-4 ,
The encoding step defines P (q) = p when the selection unit interval q is the p-th unit interval p with respect to two adjacent selection unit intervals q and selection unit interval q + 1. , First spectral intensities E1 (P (q + 1), n), E1 (P (q + 1), n corresponding to frequencies f (n), f (n-1), f (n + 1) in the selected unit interval q + 1. n-1), E1 (P (q + 1), n + 1) and the first spectrum corresponding to the frequency f (n) in the unit section P (q + 1) -1 located immediately before the selected unit section q + 1 The difference from the intensity E1 (P (q + 1) -1, n) is less than a predetermined threshold Ldif, and the first spectrum intensity E1 (P (q + 1), n), E1 (P (q + 1), n -1), E1 (P (q + 1), n + 1) and When the first spectral intensity E1 (P (q + 1) -1, n) is greater than a predetermined threshold value Lmin, the selection unit interval q and the selection unit interval q + 1 are connected, and the time difference that is the basis of the code code And a method of encoding an acoustic signal using a time difference between a head time of a selected unit section q defined in the selected unit section q and a head time of a selected unit section q + 2 immediately after the selected unit section q + 1. .
前記符号化段階は、前記第1のスペクトル強度E1(P(q+1),n)、E1(P(q+1),n−1)、E1(P(q+1),n+1)を決定する副周波数の少なくともいずれか1つと、前記第1のスペクトル強度E1(P(q+1)−1,n)を決定する副周波数とのノートナンバー単位の差が所定のしきい値Ndif未満という条件をさらに満たした場合に限り、前記選出単位区間qと選出単位区間q+1を連結することを特徴とする音響信号の符号化方法。 In claim 5 ,
The encoding step includes at least sub-frequency determining the first spectral intensities E1 (P (q + 1), n), E1 (P (q + 1), n−1), E1 (P (q + 1), n + 1). When the condition that the difference in note number units between any one and the sub-frequency that determines the first spectral intensity E1 (P (q + 1) -1, n) is less than a predetermined threshold value Ndif is further satisfied As long as the selection unit interval q and the selection unit interval q + 1 are connected, the method of encoding an acoustic signal is characterized.
前記選出単位区間qが、既に他の選出単位区間と連結されている場合、前記選出単位区間qが連結されている先頭の選出単位区間をqoとし、
前記符号化段階は、前記第1のスペクトル強度E1(P(q+1),n)、E1(P(q+1),n−1)、E1(P(q+1),n+1)を決定する副周波数の少なくともいずれか1つと、前記第1のスペクトル強度E1(P(qo),n)を決定する副周波数とのノートナンバー単位の差が所定のしきい値Nadif未満という条件をさらに満たした場合に限り、前記選出単位区間qと選出単位区間q+1を連結することを特徴とする音響信号の符号化方法。 In claim 6 ,
When the selection unit interval q is already connected to another selection unit interval, the first selection unit interval to which the selection unit interval q is connected is defined as qo,
The encoding step includes at least sub-frequency determining the first spectral intensities E1 (P (q + 1), n), E1 (P (q + 1), n−1), E1 (P (q + 1), n + 1). Only when the condition that the difference in note number units between any one and the sub-frequency that determines the first spectral intensity E1 (P (qo), n) is less than a predetermined threshold value Nadif is satisfied A method for encoding an acoustic signal, comprising connecting the selection unit interval q and the selection unit interval q + 1.
前記第1のスペクトル算出段階は、前記単位区間の区間信号の構成要素となるべきN種類の要素信号を、各々当該周波数f(n)の周期の整数倍に対応し、前記Tに最も近いT(n)個のサンプルとして準備する要素信号準備段階と、
前記N個の各周波数f(n)に対応する要素信号と、それぞれ対応する前記単位区間pのT(n)個のサンプルで構成される区間信号との相関演算を行うことにより、第1のスペクトル強度E1(p,n)を算出する相関演算段階により構成され、
前記第2のスペクトル算出段階は、
前記要素信号準備段階と、
前記N個の各周波数f(n)に対応する要素信号と、それぞれ対応する前記選出単位区間qのT(n)個のサンプルで構成される区間信号との相関演算を行い、相関値が最も高い周波数f(nmax)に対応する要素信号を調和信号として選出する調和信号選出段階と、
前記選出された調和信号と当該調和信号について得られた相関値との積で与えられるT(nmax)個のサンプルを含有信号とし、当該含有信号を前記区間信号から減じることにより、T(nmax)個のサンプルで構成される差分信号を求める差分信号演算段階と、を有し、
前記T(nmax)個のサンプルを反映させ更新されたT(n)個のサンプルを新たな区間信号として、前記調和信号選出段階および差分信号演算段階を実行して新たな含有信号および差分信号を得る処理を繰り返し行うことによりN個の含有信号を求め、求められた含有信号の相関値に基づいて、前記N種類の周波数に対応した第2のスペクトル強度E2(q,n)を算出することを特徴とする音響信号の符号化方法。 In any one of claims 1 to 7,
In the first spectrum calculation step, N element signals to be constituent elements of the section signal of the unit section correspond to integer multiples of the period of the frequency f (n), respectively, and T closest to the T (N) an element signal preparation stage to prepare as samples;
By performing a correlation operation between the element signal corresponding to each of the N frequencies f (n) and a section signal composed of T (n) samples of the corresponding unit section p, It is constituted by a correlation calculation stage for calculating the spectral intensity E1 (p, n),
The second spectrum calculation step includes:
The element signal preparation step;
Correlation is performed between the element signal corresponding to each of the N frequencies f (n) and the section signal composed of T (n) samples of the corresponding selection unit section q, and the correlation value is the highest. A harmonic signal selection step of selecting an element signal corresponding to the high frequency f (nmax) as a harmonic signal;
By using T (nmax) samples given by the product of the selected harmonic signal and the correlation value obtained for the harmonic signal as an inclusion signal, and subtracting the inclusion signal from the interval signal, T (nmax) A differential signal calculation step for obtaining a differential signal composed of a number of samples,
Using the T (n) samples updated to reflect the T (nmax) samples as new interval signals, the harmonic signal selection step and the difference signal calculation step are executed to obtain new inclusion signals and difference signals. N content signals are obtained by repeatedly performing the obtained process, and the second spectrum intensity E2 (q, n) corresponding to the N kinds of frequencies is calculated based on the correlation values of the obtained content signals. A method of encoding an acoustic signal characterized by the above.
前記相関演算段階は、
直前に位置する単位区間p−1における各周波数f(n)に対応する直前相関演算結果に対し、前記単位区間p−1における先頭Wサンプルに対応する相関演算を行い、各周波数ごとの相関値を前記直前相関演算結果より減算するとともに、前記単位区間pにおけるT(n)サンプル中の最後尾Wサンプルに対応する相関演算を行い、各周波数ごとの相関値を前記直前相関演算結果に加算することにより、前記単位区間pにおける各周波数f(n)に対応する相関演算結果を取得し、当該相関演算結果に基づいて前記第1のスペクトル強度E1(p,n)を算出することを特徴とする音響信号の符号化方法。 In claim 8 ,
The correlation calculation step includes:
A correlation calculation corresponding to the first W sample in the unit interval p-1 is performed on the previous correlation calculation result corresponding to each frequency f (n) in the unit interval p-1 located immediately before, and a correlation value for each frequency is obtained. Is subtracted from the previous correlation calculation result, a correlation calculation corresponding to the last W sample in the T (n) samples in the unit interval p is performed, and a correlation value for each frequency is added to the previous correlation calculation result. Thus, a correlation calculation result corresponding to each frequency f (n) in the unit interval p is acquired, and the first spectral intensity E1 (p, n) is calculated based on the correlation calculation result. A method for encoding an acoustic signal.
前記符号化段階は、前記符号コードとしてMIDI形式を用いて符号化を行い、前記符号コードの前記周波数の情報としてノートナンバーを用い、前記第2のスペクトル強度としてベロシティを用い、前記選出単位区間qの先頭時刻と直後の選出単位区間q+1の先頭時刻との時間差を各々直前のMIDIイベントからの相対時刻であるデルタタイム1とデルタタイム2で定義し、これらの定義されたノートナンバー、ベロシティ、デルタタイム1を基にMIDIのノートオンイベントを作成するとともに、ノートナンバー、デルタタイム2を基にMIDIのノートオフイベントを作成するようにしていることを特徴とする音響信号の符号化方法。 In any one of claims 1 to 9,
The encoding step performs encoding using the MIDI format as the code code, uses a note number as the frequency information of the code code, uses velocity as the second spectral intensity, and selects the selected unit interval q Delta time 1 and delta time 2 that are relative times from the immediately preceding MIDI event, respectively, and the defined note number, velocity, delta A method for encoding an audio signal, wherein a MIDI note-on event is created based on time 1 and a MIDI note-off event is created based on note number and delta time 2.
前記サンプル列に対して、所定数T(T<J)個のサンプルで構成される単位区間を、隣接する単位区間と時間軸方向に所定数W(W<T)個のサンプルを重複させながら設定する区間設定手段と、
個々の単位区間ごとに、解析対象とする少なくともN種類の各周波数f(n)について、周波数変換を行うことにより、各単位区間に対して、前記N種類の周波数に対応したスペクトル強度を算出するスペクトル算出手段と、
前記N種類の各周波数f(n)を互いに重複しないように所定数の周波数グループに分割し、前記各単位区間に対して、各周波数グループに含まれる周波数のスペクトル強度の中で最大値をとる周波数以外のスペクトル強度に所定の割合だけ減衰させるように補正を行い、補正スペクトル強度を作成するスペクトル補正手段と、
前記単位区間の先頭時刻と直後の単位区間の先頭時刻との時間差と、前記単位区間の補正スペクトル強度に基づいて、所定の形式の符号コードを生成する符号化手段と、を有し、
前記所定数の周波数グループは、ヒト聴覚系の特性に基づき、前記nの値を規格上のノートナンバーと定義して、17,45,57,64,69,72,76,79,82,85,88,91,93,96,98,101,104,106,109,113,116,119,123,127,128を境界とする24個で設定されることを特徴とする音響信号の符号化装置。 An encoding device for encoding an acoustic signal given as a sample sequence of J time series digitized at a predetermined sampling frequency,
A unit section composed of a predetermined number T (T <J) samples with respect to the sample sequence, while overlapping a predetermined number W (W <T) samples in the time axis direction with an adjacent unit section. Section setting means to set;
For each unit section, spectrum conversion corresponding to the N types of frequencies is calculated for each unit section by performing frequency conversion for at least N types of frequencies f (n) to be analyzed. Spectrum calculation means;
The N types of frequencies f (n) are divided into a predetermined number of frequency groups so as not to overlap with each other, and the maximum value among the spectrum intensities of the frequencies included in each frequency group is obtained for each unit section. Spectrum correction means for performing correction so as to attenuate the spectrum intensity other than the frequency by a predetermined ratio, and creating corrected spectrum intensity;
And time difference between the start time and the start time of the unit segment immediately following the unit segment, based on the corrected spectrum intensity of the unit section, possess encoding means for generating a predetermined format code code, and,
The predetermined number of frequency groups are based on the characteristics of the human auditory system, and the value of n is defined as a standard note number, and 17, 45, 57, 64, 69, 72, 76, 79, 82, 85 , coding of audio signals, characterized in Rukoto set in 24 bounded by 88,91,93,96,98,101,104,106,109,113,116,119,123,127,128 apparatus.
前記サンプル列に対して、所定数T(T<J)個のサンプルで構成される単位区間を、隣接する単位区間と時間軸方向に所定数W(W<T)個のサンプルを重複させながら設定する区間設定手段と、
個々の単位区間ごとに、解析対象とする少なくともN種類の各周波数f(n)について、周波数変換を行うことにより、各単位区間に対して、前記N種類の周波数に対応したスペクトル強度を算出するスペクトル算出手段と、
前記N種類の各周波数f(n)を互いに重複しないように所定数の周波数グループに分割し、前記各単位区間に対して、各周波数グループに含まれる周波数のスペクトル強度の中で最大値をとる周波数以外のスペクトル強度に所定の割合だけ減衰させるように補正を行い、補正スペクトル強度を作成するスペクトル補正手段と、
前記単位区間の先頭時刻と直後の単位区間の先頭時刻との時間差と、前記単位区間の補正スペクトル強度に基づいて、所定の形式の符号コードを生成する符号化手段と、を有し、
前記所定数の周波数グループは、ヒト聴覚系の特性に基づき、周波数f(n)の値が20,100,200,300,400,510,630,770,920,1080,1270,1480,1720,2000,2320,2700,3150,3700,4400,5300,6400,7700,9500,12000,15500Hzを境界とする24個で設定されることを特徴とする音響信号の符号化装置。 An encoding device for encoding an acoustic signal given as a sample sequence of J time series digitized at a predetermined sampling frequency,
A unit section composed of a predetermined number T (T <J) samples with respect to the sample sequence, while overlapping a predetermined number W (W <T) samples in the time axis direction with an adjacent unit section. Section setting means to set;
For each unit section, spectrum conversion corresponding to the N types of frequencies is calculated for each unit section by performing frequency conversion for at least N types of frequencies f (n) to be analyzed. Spectrum calculation means;
The N types of frequencies f (n) are divided into a predetermined number of frequency groups so as not to overlap with each other, and the maximum value among the spectrum intensities of the frequencies included in each frequency group is obtained for each unit section. Spectrum correction means for performing correction so as to attenuate the spectrum intensity other than the frequency by a predetermined ratio, and creating corrected spectrum intensity;
And time difference between the start time and the start time of the unit segment immediately following the unit segment, based on the corrected spectrum intensity of the unit section, possess encoding means for generating a predetermined format code code, and,
The predetermined number of frequency groups have frequency f (n) values of 20, 100, 200, 300, 400, 510, 630, 770, 920, 1080, 1270, 1480, 1720, based on characteristics of the human auditory system. encoding apparatus of an audio signal, wherein Rukoto set in 24 bounded by 2000,2320,2700,3150,3700,4400,5300,6400,7700,9500,12000,15500Hz.
前記サンプル列に対して、所定数T(T<J)個のサンプルで構成される単位区間を、隣接する単位区間と時間軸方向に所定数W(W<T)個のサンプルを重複させながら設定する区間設定手段と、
個々の単位区間ごとに、解析対象とする少なくともN種類の各周波数f(n)について、周波数変換を行うことにより、単位区間pに対して、前記N種類の周波数に対応した第1のスペクトル強度E1(p,n)を算出する第1のスペクトル算出手段と、
前記単位区間pに対して直前に位置する単位区間p−1における第1のスペクトル強度E1(p−1,n)との対応する周波数ごとの変化に基づく評価値が、所定のしきい値より大きい場合に限り、当該単位区間pをq(q≦p)番目の選出単位区間qとして選出し、解析対象とする少なくともN種類の各周波数f(n)について、前記第1のスペクトル算出手段における周波数変換に比較して高精度な周波数変換を行うことにより、前記N種類の周波数に対応した第2のスペクトル強度E2(q,n)を算出する第2のスペクトル算出手段と、
前記N種類の各周波数f(n)を互いに重複しないように所定数の周波数グループに分割し、前記各単位区間に対して、各周波数グループに含まれる周波数の第2のスペクトル強度E2(q,n)の中で最大値をとる周波数以外の第2のスペクトル強度E2(q,n)に所定の割合だけ減衰させるように補正を行い、補正スペクトル強度E‘(q,n)を作成するスペクトル補正手段と、
前記単位区間の先頭時刻と直後の単位区間の先頭時刻との時間差と、前記単位区間の補正スペクトル強度に基づいて、所定の形式の符号コードを生成する符号化手段と、
を有することを特徴とする音響信号の符号化装置。 An encoding device for encoding an acoustic signal given as a sample sequence of J time series digitized at a predetermined sampling frequency,
A unit section composed of a predetermined number T (T <J) samples with respect to the sample sequence, while overlapping a predetermined number W (W <T) samples in the time axis direction with an adjacent unit section. Section setting means to set;
For each unit section, by performing frequency conversion for at least N types of frequencies f (n) to be analyzed , the first spectral intensity corresponding to the N types of frequencies for the unit section p. First spectrum calculating means for calculating E1 (p, n);
An evaluation value based on a change for each frequency corresponding to the first spectral intensity E1 (p-1, n) in the unit section p-1 located immediately before the unit section p is greater than a predetermined threshold value. Only when it is larger, the unit interval p is selected as the q (q ≦ p) -th selection unit interval q, and at least N types of frequencies f (n) to be analyzed are selected in the first spectrum calculation means. Second spectrum calculation means for calculating a second spectrum intensity E2 (q, n) corresponding to the N types of frequencies by performing a frequency conversion with higher accuracy than the frequency conversion;
The N types of frequencies f (n) are divided into a predetermined number of frequency groups so as not to overlap each other, and the second spectral intensity E2 (q, n) A spectrum that corrects the second spectrum intensity E2 (q, n) other than the frequency having the maximum value in n) so as to be attenuated by a predetermined ratio to generate a corrected spectrum intensity E ′ (q, n). Correction means;
Encoding means for generating a code code of a predetermined format based on the time difference between the start time of the unit section and the start time of the immediately following unit section, and the corrected spectrum intensity of the unit section;
A device for encoding an acoustic signal, comprising:
前記第1のスペクトル算出手段および第2のスペクトル算出手段はN種類の各周波数f(n)に対して隣接する周波数を超えない範囲で所定のM種類の副周波数f(n,m)を設定し、前記第1のスペクトル強度E1(p,n)および第2のスペクトル強度E2(q,n)として、前記M種類の副周波数の中で最も大きい強度を示す副周波数に対応する強度値を算出することを特徴とする音響信号の符号化装置。 According to claim 1 3,
The first spectrum calculating means and the second spectrum calculating means set predetermined M kinds of sub-frequency f (n, m) within a range not exceeding adjacent frequencies for each of the N kinds of frequencies f (n). Then, as the first spectral intensity E1 (p, n) and the second spectral intensity E2 (q, n), intensity values corresponding to the sub-frequency indicating the highest intensity among the M types of sub-frequency are obtained. An apparatus for encoding an acoustic signal, comprising: calculating an acoustic signal.
前記符号化手段は、隣接する2つの選出単位区間qと選出単位区間q+1に対して、前記選出単位区間qがp番目の単位区間pであった場合に、P(q)=pと定義し、前記選出単位区間q+1における周波数f(n)、f(n−1)、f(n+1)に対応する前記第1のスペクトル強度E1(P(q+1),n)、E1(P(q+1),n−1)、E1(P(q+1),n+1)のいずれかと、当該選出単位区間q+1の直前に位置する単位区間P(q+1)−1における周波数f(n)に対応する前記第1のスペクトル強度E1(P(q+1)−1,n)との差が所定のしきい値Ldif未満で、かつ前記第1のスペクトル強度E1(P(q+1),n)、E1(P(q+1),n−1)、E1(P(q+1),n+1)のいずれかおよび前記第1のスペクトル強度E1(P(q+1)−1,n)が所定のしきい値Lminより大きい場合、前記選出単位区間qと選出単位区間q+1を連結し、前記符号コードの基礎となる時間差として、前記選出単位区間qに定義された選出単位区間qの先頭時刻と、選出単位区間q+1の直後の選出単位区間q+2の先頭時刻との時間差を用いることを特徴とする音響信号の符号化装置。 According to claim 1 3 or claim 1 4,
The encoding means defines P (q) = p when the selection unit interval q is the p-th unit interval p for two adjacent selection unit intervals q and selection unit interval q + 1. , First spectral intensities E1 (P (q + 1), n), E1 (P (q + 1), n corresponding to frequencies f (n), f (n-1), f (n + 1) in the selected unit interval q + 1. n-1), E1 (P (q + 1), n + 1) and the first spectrum corresponding to the frequency f (n) in the unit section P (q + 1) -1 located immediately before the selected unit section q + 1 The difference from the intensity E1 (P (q + 1) -1, n) is less than a predetermined threshold Ldif, and the first spectrum intensity E1 (P (q + 1), n), E1 (P (q + 1), n -1), E1 (P (q + 1), n + 1) and When the first spectral intensity E1 (P (q + 1) -1, n) is greater than a predetermined threshold value Lmin, the selection unit interval q and the selection unit interval q + 1 are connected, and the time difference that is the basis of the code code And a time difference between the start time of the selected unit section q defined in the selected unit section q and the start time of the selected unit section q + 2 immediately after the selected unit section q + 1 is used. .
前記符号化手段は、前記第1のスペクトル強度E1(P(q+1),n)、E1(P(q+1),n−1)、E1(P(q+1),n+1)を決定する副周波数の少なくともいずれか1つと、前記第1のスペクトル強度E1(P(q+1)−1,n)を決定する副周波数とのノートナンバー単位の差が所定のしきい値Ndif未満という条件をさらに満たした場合に限り、前記選出単位区間qと選出単位区間q+1を連結することを特徴とする音響信号の符号化装置。 In claim 15 ,
The encoding means includes at least a sub-frequency for determining the first spectral intensity E1 (P (q + 1), n), E1 (P (q + 1), n-1), E1 (P (q + 1), n + 1). When the condition that the difference in note number units between any one and the sub-frequency that determines the first spectral intensity E1 (P (q + 1) -1, n) is less than a predetermined threshold value Ndif is further satisfied As long as the selection unit interval q and the selection unit interval q + 1 are connected, the apparatus for encoding an acoustic signal is characterized.
前記選出単位区間qが、既に他の選出単位区間と連結されている場合、前記選出単位区間qが連結されている先頭の選出単位区間をqoとし、
前記符号化手段は、前記第1のスペクトル強度E1(P(q+1),n)、E1(P(q+1),n−1)、E1(P(q+1),n+1)を
決定する副周波数の少なくともいずれか1つと、前記第1のスペクトル強度E1(P(qo),n)を決定する副周波数とのノートナンバー単位の差が所定のしきい値Nadif未満という条件をさらに満たした場合に限り、前記選出単位区間qと選出単位区間q+1を連結することを特徴とする音響信号の符号化装置。 In claim 16 ,
When the selection unit interval q is already connected to another selection unit interval, the first selection unit interval to which the selection unit interval q is connected is defined as qo,
The encoding means includes at least a sub-frequency for determining the first spectral intensity E1 (P (q + 1), n), E1 (P (q + 1), n-1), E1 (P (q + 1), n + 1). Only when the condition that the difference in note number units between any one and the sub-frequency that determines the first spectral intensity E1 (P (qo), n) is less than a predetermined threshold value Nadif is satisfied An apparatus for encoding an acoustic signal, wherein the selection unit interval q and the selection unit interval q + 1 are connected.
前記第1のスペクトル算出手段は、前記単位区間の区間信号の構成要素となるべきN種類の要素信号を、各々当該周波数f(n)の周期の整数倍に対応し、前記Tに最も近いT(n)個のサンプルとして準備する要素信号準備手段と、
前記N個の各周波数f(n)に対応する要素信号と、それぞれ対応する前記単位区間pのT(n)個のサンプルで構成される区間信号との相関演算を行うことにより、第1のスペクトル強度E1(p,n)を算出する相関演算手段により構成され、
前記第2のスペクトル算出手段は、
前記要素信号準備手段と、
前記N個の各周波数f(n)に対応する要素信号と、それぞれ対応する前記選出単位区間qのT(n)個のサンプルで構成される区間信号との相関演算を行い、相関値が最も高い周波数f(nmax)に対応する要素信号を調和信号として選出する調和信号選出手段と、
前記選出された調和信号と当該調和信号について得られた相関値との積で与えられるT(nmax)個のサンプルを含有信号とし、当該含有信号を前記区間信号から減じることにより、T(nmax)個のサンプルで構成される差分信号を求める差分信号演算手段と、を有し、
前記T(nmax)個のサンプルを反映させ更新されたT(n)個のサンプルを新たな区間信号として、前記調和信号選出手段および差分信号演算手段による処理を実行して新たな含有信号および差分信号を得る処理を繰り返し行うことによりN個の含有信号を求め、求められた含有信号の相関値に基づいて、前記N種類の周波数に対応した第2のスペクトル強度E2(q,n)を算出することを特徴とする音響信号の符号化装置。 In claims 1 to 3 any one of claims 1-7,
The first spectrum calculating means corresponds to N element signals to be constituent elements of the section signal of the unit section, each corresponding to an integral multiple of the period of the frequency f (n), and T closest to the T (N) Element signal preparation means for preparing as samples,
By performing a correlation operation between the element signal corresponding to each of the N frequencies f (n) and a section signal composed of T (n) samples of the corresponding unit section p, It is comprised by the correlation calculating means which calculates spectrum intensity | strength E1 (p, n),
The second spectrum calculation means includes:
The element signal preparation means;
Correlation is performed between the element signal corresponding to each of the N frequencies f (n) and the section signal composed of T (n) samples of the corresponding selection unit section q, and the correlation value is the highest. Harmonic signal selection means for selecting an element signal corresponding to a high frequency f (nmax) as a harmonic signal;
By using T (nmax) samples given by the product of the selected harmonic signal and the correlation value obtained for the harmonic signal as an inclusion signal, and subtracting the inclusion signal from the interval signal, T (nmax) Differential signal calculation means for obtaining a differential signal composed of a number of samples,
The T (nmax) samples updated to reflect the T (nmax) samples are used as new section signals, and the processing by the harmonic signal selection means and the difference signal calculation means is executed to obtain new inclusion signals and differences. N content signals are obtained by repeatedly performing the signal obtaining process, and the second spectrum intensity E2 (q, n) corresponding to the N types of frequencies is calculated based on the correlation values of the obtained content signals. An apparatus for encoding an acoustic signal.
前記相関演算手段は、
直前に位置する単位区間p−1における各周波数f(n)に対応する直前相関演算結果に対し、前記単位区間p−1における先頭Wサンプルに対応する相関演算を行い、各周波数ごとの相関値を前記直前相関演算結果より減算するとともに、前記単位区間pにおけるT(n)サンプル中の最後尾Wサンプルに対応する相関演算を行い、各周波数ごとの相関値を前記直前相関演算結果に加算することにより、前記単位区間pにおける各周波数f(n)に対応する相関演算結果を取得し、当該相関演算結果に基づいて前記第1のスペクトル強度E1(p,n)を算出することを特徴とする音響信号の符号化装置。 In claim 18 ,
The correlation calculation means includes
A correlation calculation corresponding to the first W sample in the unit interval p-1 is performed on the previous correlation calculation result corresponding to each frequency f (n) in the unit interval p-1 located immediately before, and a correlation value for each frequency is obtained. Is subtracted from the previous correlation calculation result, a correlation calculation corresponding to the last W sample in the T (n) samples in the unit interval p is performed, and a correlation value for each frequency is added to the previous correlation calculation result. Thus, a correlation calculation result corresponding to each frequency f (n) in the unit interval p is acquired, and the first spectral intensity E1 (p, n) is calculated based on the correlation calculation result. An apparatus for encoding an acoustic signal.
前記符号化手段は、前記符号コードとしてMIDI形式を用いて符号化を行い、前記符号コードの前記周波数の情報としてノートナンバーを用い、前記第2のスペクトル強度としてベロシティを用い、前記選出単位区間qの先頭時刻と直後の選出単位区間q+1の先頭時刻との時間差を各々直前のMIDIイベントからの相対時刻であるデルタタイム1とデルタタイム2で定義し、これらの定義されたノートナンバー、ベロシティ、デルタタイム1を基にMIDIのノートオンイベントを作成するとともに、ノートナンバー、デルタタイム2を基にMIDIのノートオフイベントを作成するようにしていることを特徴とする音響信号の符号化装置。 In any one of claims 19 claims 1 to 3,
The encoding means performs encoding using the MIDI format as the code code, uses a note number as the frequency information of the code code, uses velocity as the second spectral intensity, and selects the selected unit interval q Delta time 1 and delta time 2 that are relative times from the immediately preceding MIDI event, respectively, and the defined note number, velocity, delta An apparatus for encoding an audio signal, wherein a MIDI note-on event is created based on time 1 and a MIDI note-off event is created based on note number and delta time 2.
A program for causing a computer to function as the acoustic signal encoding device according to any one of claims 11 to 20 .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011043549A JP5732910B2 (en) | 2011-03-01 | 2011-03-01 | Method and apparatus for encoding acoustic signal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011043549A JP5732910B2 (en) | 2011-03-01 | 2011-03-01 | Method and apparatus for encoding acoustic signal |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012181304A JP2012181304A (en) | 2012-09-20 |
JP5732910B2 true JP5732910B2 (en) | 2015-06-10 |
Family
ID=47012563
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011043549A Expired - Fee Related JP5732910B2 (en) | 2011-03-01 | 2011-03-01 | Method and apparatus for encoding acoustic signal |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5732910B2 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001007704A (en) * | 1999-06-24 | 2001-01-12 | Matsushita Electric Ind Co Ltd | Adaptive audio encoding method for tone component data |
DE102004049517B4 (en) * | 2004-10-11 | 2009-07-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Extraction of a melody underlying an audio signal |
JP5552794B2 (en) * | 2009-10-23 | 2014-07-16 | 大日本印刷株式会社 | Method and apparatus for encoding acoustic signal |
-
2011
- 2011-03-01 JP JP2011043549A patent/JP5732910B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012181304A (en) | 2012-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2490729C2 (en) | Apparatus and method for determining plurality of local centre of gravity frequencies of spectrum of audio signal | |
JP2018510374A (en) | Apparatus and method for processing an audio signal to obtain a processed audio signal using a target time domain envelope | |
JP5228432B2 (en) | Segment search apparatus and program | |
JP4645241B2 (en) | Voice processing apparatus and program | |
JPH07248794A (en) | Method for processing voice signal | |
Ebner et al. | Audio inpainting with generative adversarial network | |
CN112382257A (en) | Audio processing method, device, equipment and medium | |
JP2004184510A (en) | Device and method for preparing musical data | |
JP4735398B2 (en) | Acoustic signal analysis apparatus, acoustic signal analysis method, and acoustic signal analysis program | |
JP5732910B2 (en) | Method and apparatus for encoding acoustic signal | |
JP5552794B2 (en) | Method and apparatus for encoding acoustic signal | |
JP6047863B2 (en) | Method and apparatus for encoding acoustic signal | |
US20180061385A1 (en) | Method for audio sample playback using mapped impulse responses | |
JP6589404B2 (en) | Acoustic signal encoding device | |
JP5609280B2 (en) | Method and apparatus for encoding acoustic signal | |
JP2006505818A (en) | Method and apparatus for generating audio components | |
JP7533440B2 (en) | Signal processing device, method, and program | |
JP2000293188A (en) | Chord real time recognizing method and storage medium | |
JP5533021B2 (en) | Method and apparatus for encoding acoustic signal | |
JP5251381B2 (en) | Sound processing apparatus and program | |
JPH1173200A (en) | Acoustic signal encoding method and record medium readable by computer | |
CN115206345B (en) | Music and human voice separation method, device, equipment and medium based on time-frequency combination | |
JP4152502B2 (en) | Sound signal encoding device and code data editing device | |
WO2017164216A1 (en) | Acoustic processing method and acoustic processing device | |
JP2013041128A (en) | Discriminating device for plurality of sound sources and information processing device interlocking with plurality of sound sources |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20130823 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140110 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141010 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150317 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150330 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5732910 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |