JP4649859B2 - 信号処理装置および方法、記録媒体、並びにプログラム - Google Patents

信号処理装置および方法、記録媒体、並びにプログラム Download PDF

Info

Publication number
JP4649859B2
JP4649859B2 JP2004089292A JP2004089292A JP4649859B2 JP 4649859 B2 JP4649859 B2 JP 4649859B2 JP 2004089292 A JP2004089292 A JP 2004089292A JP 2004089292 A JP2004089292 A JP 2004089292A JP 4649859 B2 JP4649859 B2 JP 4649859B2
Authority
JP
Japan
Prior art keywords
octave
frequency component
frequency
sampling
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004089292A
Other languages
English (en)
Other versions
JP2005275068A5 (ja
JP2005275068A (ja
Inventor
由幸 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004089292A priority Critical patent/JP4649859B2/ja
Priority to US11/082,763 priority patent/US7482530B2/en
Publication of JP2005275068A publication Critical patent/JP2005275068A/ja
Publication of JP2005275068A5 publication Critical patent/JP2005275068A5/ja
Application granted granted Critical
Publication of JP4649859B2 publication Critical patent/JP4649859B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10GREPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G3/00Recording music in notation form, e.g. recording the mechanical operation of a musical instrument
    • G10G3/04Recording music in notation form, e.g. recording the mechanical operation of a musical instrument using electrical means
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/02Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/06Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
    • G10H1/12Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by filtering complex waveforms
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03HIMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H17/00Networks using digital techniques
    • H03H17/02Frequency selective networks
    • H03H17/0248Filters characterised by a particular frequency response or filtering method
    • H03H17/0264Filter sets with mutual related characteristics
    • H03H17/0266Filter banks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/541Details of musical waveform synthesis, i.e. audio waveshape processing from individual wavetable samples, independently of their origin or of the sound they represent
    • G10H2250/631Waveform resampling, i.e. sample rate conversion or sample depth conversion

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

本発明は、信号処理装置および方法、記録媒体、並びにプログラムに関し、特に、少ない演算量で、オーディオ信号の各音程の信号成分を得ることができるようにする信号処理装置および方法、記録媒体、並びにプログラムに関する。
所定のサンプリング周波数でサンプリングされたディジタルのオーディオ(音楽)信号を、例えば、C,C#,D,D#,E,F,F#,G,G#,A,A#,B(それぞれが、いわゆるド、ド#、レ、レ#、ミ、ファ、ファ#、ソ、ソ#、ラ、ラ#、シに相当するもの)などの各音程(音階)の信号に分離する、音程の推定方法は、従来から、いくつか提案されている。このオーディオ信号の音程の推定は、例えば、自動採譜や音楽解析(メロディ解析)に利用されている。
ここで、C,C#,D,D#,E,F,F#,G,G#,A,A#,Bの12の音程は、1オクターブを構成するものであり、1オクターブの音程は、それより1オクターブ低い音程より、周波数が倍となる関係がある。換言すれば、音程は、周波数に対して、対数(指数)で分布する。例えば、あるオクターブのA(ラ)の音程の周波数(中心周波数)が440Hzであるとすれば、その1オクターブ高いA(ラ)の音程の周波数は、440Hzの2倍の880Hzとなる。また、例えば、隣り合うC4(ド)とC#4(ド#)の周波数(中心周波数)の差は、低域側であるオクターブ2では、約6Hzとなり、高域側であるオクターブ6では、約123Hzとなっている。
さらに、あるオクターブの各音程の周波数帯域(帯域幅)も、その1オクターブ低い各音程の周波数帯域の2倍となる。
ところで、オーディオ信号の音程(オーディオ信号に含まれる各音程の信号成分)の推定方法としては、例えば、短時間フーリエ変換を用いる方法やウェーブレット変換を用いる方法などがある。
短時間フーリエ変換を用いる音程の推定方法では、音程が上述したように周波数に対して対数で分布するのに対して、短時間フーリエ変換は、等間隔の周波数における周波数成分を解析するものであるため、周波数解像度が、低域(低周波数帯域)側で不足し、高域(高周波数帯域)側で過多になる傾向がある。
即ち、短時間フーリエ変換では、高い音程、つまり、周波数帯域の広い音程についても、低い音程、つまり周波数帯域の狭い音程についても、等間隔の周波数で解析が行われるため、高い音程の周波数解像度は、相対的に高くなり、低い音程の周波数解像度は、相対的に低くなる。
一方、低域側の周波数解像度を十分にしようとすれば、時間解像度が低域側で過多となる。また、高域側の周波数解像度を必要十分にしようとすれば、時間解像度が高域側で不足する。
さらに、短時間フーリエ変換を用いて音程を推定する場合には、音程が、周波数に対して対数で分布することを考慮して、フーリエ変換による、等間隔の周波数成分の解析結果に非線形な処理を施す必要がある。この非線形な処理のために、短時間フーリエ変換を用いた音程の推定方法は、処理が複雑になってしまうという問題がある。
そこで、ウェーブレット変換を用いる音程の推定方法によれば、1/12オクターブ(1つの音程)を抽出することができる基底関数を用いることにより、理想的な時間軸解像度と周波数解像度で音程を推定することができると考えられる。
その他、オーディオ信号の音程の推定方法としては、例えば、特許文献1に記載されているように、単純に、各オクターブの各音程に対して1つのBPF(Band Pass Filter)を設けたBPFバンクを用いて、各オクターブの各音程の信号成分を得る方法がある。但し、単純に、BPFバンクを用いる場合には、例えば、オクターブごとに適切な時間解像度と周波数解像度が得られるように、BPFを設計する必要がある。
特公昭61−26067号公報
しかしながら、ウェーブレット変換やBPFバンクを用いる方法では、例えば、可聴周波数全体の音程の解析を行う場合には、膨大な演算量を必要とするため、実用的ではない。
本発明は、このような状況に鑑みてなされたものであり、少ない演算量で、オーディオ信号における各音程の信号成分を得ることができるようにするものである。
本発明の信号処理装置は、入力信号を、その周波数帯域を等分する高周波数成分と低周波数成分とに分割し、高周波数成分と低周波数成分のそれぞれについて、サンプル数を半分にするダウンサンプリングを行い、ダウンサンプリング後の高周波数成分をオクターブの信号として出力し、ダウンサンプリング後の低周波数成分をさらに、高周波数成分と低周波数成分とに分割し、ダウンサンプリングを行い、ダウンサンプリング後の高周波数成分をオクターブの信号として出力する処理を繰り返すことにより、オーディオ信号を複数のオクターブの信号に分割するオクターブ分割手段と、複数のオクターブの信号それぞれについて、ダウンサンプリングの結果、音程の高低の並び方が逆になった高周波数成分に対して複数の音程それぞれの周波数範囲のオーディオ信号を通過帯域とする複数のバンドパスフィルタを用いてフィルタリングすることにより、複数の音程信号を抽出するフィルタ手段とを備えることを特徴とする。
この信号処理装置には、オーディオ信号を再サンプリングする再サンプリング手段をさらに設け、再サンプリング手段には、オーディオ信号を、オクターブの境界の周波数の2のべき乗倍のサンプリング周波数で再サンプリングさせることができる。
フィルタ手段には、12の音程それぞれの周波数範囲のオーディオ信号を通過帯域とする12のバンドパスフィルタを有するようにさせることができる。
本発明の信号処理方法は、入力信号を、その周波数帯域を等分する高周波数成分と低周波数成分とに分割し、高周波数成分と低周波数成分のそれぞれについて、サンプル数を半分にするダウンサンプリングを行い、ダウンサンプリング後の高周波数成分をオクターブの信号として出力し、ダウンサンプリング後の低周波数成分をさらに、高周波数成分と低周波数成分とに分割し、ダウンサンプリングを行い、ダウンサンプリング後の高周波数成分をオクターブの信号として出力する処理を繰り返すことにより、オーディオ信号を複数のオクターブの信号に分割するオクターブ分割ステップと、複数のオクターブの信号それぞれについて、ダウンサンプリングの結果、音程の高低の並び方が逆になった高周波数成分に対して複数の音程それぞれの周波数範囲のオーディオ信号を通過帯域とする複数のバンドパスフィルタを用いてフィルタリングすることにより、複数の音程信号を抽出するフィルタステップとを含むことを特徴とする。
本発明の記録媒体、入力信号を、その周波数帯域を等分する高周波数成分と低周波数成分とに分割し、高周波数成分と低周波数成分のそれぞれについて、サンプル数を半分にするダウンサンプリングを行い、ダウンサンプリング後の高周波数成分をオクターブの信号として出力し、ダウンサンプリング後の低周波数成分をさらに、高周波数成分と低周波数成分とに分割し、ダウンサンプリングを行い、ダウンサンプリング後の高周波数成分をオクターブの信号として出力する処理を繰り返すことにより、オーディオ信号を複数のオクターブの信号に分割するオクターブ分割ステップと、複数のオクターブの信号それぞれについて、ダウンサンプリングの結果、音程の高低の並び方が逆になった高周波数成分に対して複数の音程それぞれの周波数範囲のオーディオ信号を通過帯域とする複数のバンドパスフィルタを用いてフィルタリングすることにより、複数の音程信号を抽出するフィルタステップとを実行させるためのプログラムを記録したコンピュータ読み取り可能なものである
本発明のプログラムは、入力信号を、その周波数帯域を等分する高周波数成分と低周波数成分とに分割し、高周波数成分と低周波数成分のそれぞれについて、サンプル数を半分にするダウンサンプリングを行い、ダウンサンプリング後の高周波数成分をオクターブの信号として出力し、ダウンサンプリング後の低周波数成分をさらに、高周波数成分と低周波数成分とに分割し、ダウンサンプリングを行い、ダウンサンプリング後の高周波数成分をオクターブの信号として出力する処理を繰り返すことにより、オーディオ信号を複数のオクターブの信号に分割するオクターブ分割ステップと、複数のオクターブの信号それぞれについて、ダウンサンプリングの結果、音程の高低の並び方が逆になった高周波数成分に対して複数の音程それぞれの周波数範囲のオーディオ信号を通過帯域とする複数のバンドパスフィルタを用いてフィルタリングすることにより、複数の音程信号を抽出するフィルタステップとを実行させるためのものである
本発明においては、入力信号を、その周波数帯域を等分する高周波数成分と低周波数成分とに分割し、高周波数成分と低周波数成分のそれぞれについて、サンプル数を半分にするダウンサンプリングを行い、ダウンサンプリング後の高周波数成分をオクターブの信号として出力し、ダウンサンプリング後の低周波数成分をさらに、高周波数成分と低周波数成分とに分割し、ダウンサンプリングを行い、ダウンサンプリング後の高周波数成分をオクターブの信号として出力する処理を繰り返すことにより、オーディオ信号が複数のオクターブの信号に分割される。また、複数のオクターブの信号それぞれについて、ダウンサンプリングの結果、音程の高低の並び方が逆になった高周波数成分に対して複数の音程それぞれの周波数範囲のオーディオ信号を通過帯域とする複数のバンドパスフィルタを用いてフィルタリングすることにより、複数の音程信号が抽出される。
本発明によれば、少ない演算量で、オーディオ信号の各音程の信号成分を得ることができる。
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
請求項1に記載の信号処理装置は、
オーディオ信号の処理を行う信号処理装置(例えば、図2の信号処理装置11)において、
入力信号を、その周波数帯域を等分する高周波数成分と低周波数成分とに分割し、前記高周波数成分と低周波数成分のそれぞれについて、サンプル数を半分にするダウンサンプリングを行い、ダウンサンプリング後の前記高周波数成分をオクターブの信号として出力し、ダウンサンプリング後の前記低周波数成分をさらに、前記高周波数成分と低周波数成分とに分割し、前記ダウンサンプリングを行い、ダウンサンプリング後の前記高周波数成分をオクターブの信号として出力する処理を繰り返すことにより、前記オーディオ信号を複数のオクターブの信号に分割するオクターブ分割手段(例えば、図2のオクターブ分割ブロック22)と、
前記複数のオクターブの信号それぞれについて、前記ダウンサンプリングの結果、音程の高低の並び方が逆になった高周波数成分に対して複数の音程それぞれの周波数範囲のオーディオ信号を通過帯域とする複数のバンドパスフィルタを用いてフィルタリングすることにより、複数の音程信号を抽出するフィルタ手段(例えば、図2のBPFB231乃至BPFB238)と
を備えることを特徴とする。
請求項2に記載の信号処理装置は、
前記オーディオ信号を再サンプリングする再サンプリング手段(例えば、図2の再標本化部21)をさらに備え、前記再サンプリング手段は、前記オーディオ信号を、前記オクターブの境界の周波数の2のべき乗倍のサンプリング周波数で再サンプリングする
ことを特徴とする。
請求項に記載の信号処理装置は、
前記フィルタ手段は、12の音程それぞれの周波数範囲のオーディオ信号を通過帯域とする12のバンドパスフィルタ(例えば、図7のBPF1011乃至10112)を有する
ことを特徴とする。
請求項に記載の信号処理方法は、
オーディオ信号の処理を行う信号処理装置の信号処理方法において、
入力信号を、その周波数帯域を等分する高周波数成分と低周波数成分とに分割し、前記高周波数成分と低周波数成分のそれぞれについて、サンプル数を半分にするダウンサンプリングを行い、ダウンサンプリング後の前記高周波数成分をオクターブの信号として出力し、ダウンサンプリング後の前記低周波数成分をさらに、前記高周波数成分と低周波数成分とに分割し、前記ダウンサンプリングを行い、ダウンサンプリング後の前記高周波数成分をオクターブの信号として出力する処理を繰り返すことにより、前記オーディオ信号を複数のオクターブの信号に分割するオクターブ分割ステップ(例えば、図10のステップS2の処理)と、
前記複数のオクターブの信号それぞれについて、前記ダウンサンプリングの結果、音程の高低の並び方が逆になった高周波数成分に対して複数の音程それぞれの周波数範囲のオーディオ信号を通過帯域とする複数のバンドパスフィルタを用いてフィルタリングすることにより、複数の音程信号を抽出するフィルタステップ(例えば、図10のステップS3の処理)とを含むことを特徴とする。
請求項に記載の記録媒体のプログラム、請求項に記載のプログラムの各ステップの具体例も、請求項に記載の信号処理方法の各ステップの発明の実施の形態における具体例と同様である。
以下、図を参照して、本発明の実施の形態について説明する。
初めに、図1を参照して、音程と周波数との関係について説明する。
図1では、63.55Hz乃至16267.4Hzの範囲の周波数が、オクターブ1乃至8(以下、O1乃至O8とも称する)の8オクターブに分割されている。また、1オクターブには、周波数の低い方から、C(ド),C#,D(レ),D#,E(ミ),F(ファ),F#,G(ソ),G#,A(ラ),A#,B(シ)の12の音程(音)が含まれるものとする。ここで、例えば、オクターブ1(O1)のC,C#,D,D#,E,F,F#,G,G#,A,A#,Bの12の音程を、それぞれ、C1,C#1,D1,D#1,E1,F1,F#1,G1,G#1,A1,A#1,B1と称し、オクターブ2(O2)のC,C#,D,D#,E,F,F#,G,G#,A,A#,Bの12の音程を、それぞれ、C2,C#2,D2,D#2,E2,F2,F#2,G2,G#2,A2,A#2,B2と称する。オクターブ3(O3)乃至8(O8)についても同様である。
図1において、オクターブ1乃至8それぞれの12の音程の周波数は、例えば、オクターブ3のA3(ラ)を基準音とし、その周波数(中心周波数)を440Hzとして次のように決定されている。
音程は、上述したように周波数に対して対数で分布するので、1オクターブを12の音に分類する場合、隣り合う音程どうしの周波数の比(中心周波数の比)は、1:12√2(2の12乗根)となる。また、各音程の周波数範囲も、隣り合う音程どうしの比は、1:12√2(2の12乗根)となる。
例えば、図1に示すように、オクターブ3のA3の音程の1つ高い音程A#3の周波数(中心周波数)は、A3の周波数440.0の12√2倍の466.2Hzとなり、A#3の音程の1つ高い音程B3の周波数は、A#3の12√2倍の493.9Hzとなる。同様にして、例えば、図1に示されている、オクターブ3のA3乃至オクターブ5のC5の各音程について周波数が決定される。
そして、C(ド)の音程からB()まで12の音程ごとの区切りを1オクターブとするので、オクターブ4の周波数範囲は、C4の周波数範囲の最低周波数からB4の周波数範囲の最高周波数(オクターブ5の周波数範囲の最低周波数)までの、508.6Hz乃至1016.7Hzである。なお、本実施の形態において、周波数に関するfa[Hz]乃至fb[Hz]の記載は、fa[Hz]以上fb[Hz]未満を表すものとする。
また、オクターブ4のC4の1オクターブ上となる、オクターブ5のC5の中心周波数と周波数範囲は、それぞれ、C4の2倍の、1046.5Hzと1016.7Hz乃至1077.2Hzとなる。同様にして、オクターブ1乃至8のその他のオクターブについても、オクターブの周波数範囲と、オクターブ内の12の音程それぞれの中心周波数および周波数範囲が決定されている。ここで、図1の508.4Hzや1016.7Hzなどの各オクターブの境となる周波数の値をオクターブの境界の周波数(境界周波数)ということにする。
なお、図1において、オクターブ4と、オクターブ3および5の一部の音程を除いて、オクターブ1乃至8それぞれの12の音程の中心周波数と周波数範囲の図示が省略されている。
図2は、本発明を適用した信号処理装置11の一実施の形態の構成例を示している。
信号処理装置11は、再標本化部21、オクターブ分割ブロック22、およびBPFB(Band Pass Filter Bank)231乃至238で構成されている。
信号処理装置11に入力されるオーディオ信号(入力信号)は、所定のサンプリングレートでサンプリングされたオーディオ信号である。ここでは、例えば、入力信号がCD(Compact Disk)により再生された信号であるとして、入力信号のサンプリング周波数は、44.1kHzである。
再標本化部21は、入力されるオーディオ信号のサンプリング周波数44.1kHzと異なる所望のサンプリング周波数で再サンプリング(再標本化)する。そして、再標本化部21は、所望のサンプリング周波数で再サンプリングされたオーディオ信号を、オクターブ分割ブロック22に出力する。
ここで、再標本化部21で行われる再サンプリングのサンプリング周波数は、次のようにして決定される。
再標本化部21の後段のオクターブ分割ブロック22では、後述するように、そこに入力される入力信号を高周波数成分と低周波数成分とに2分割し、それぞれを、入力信号のサンプリング周波数の1/2のサンプリング周波数でダウンサンプリングすることにより、高周波成分のダウンサンプリング結果が、1オクターブの信号として抽出される。
一方、低周波数成分のダウンサンプリング結果は、さらに、高周波数成分と低周波数成分とに2分割され、1/2にダウンサンプリングされる。そして、やはり、高周波数成分のダウンサンプリング結果が、前回よりも1オクターブ低いオクターブの信号として抽出される。オクターブ分割ブロック22では、以下、同様にして、複数のオクターブの信号が抽出される。
オクターブ分割ブロック22では、このように、高周波数成分と低周波数成分とへの周波数帯域分割と、1/2のダウンサンプリングが繰り返されることにより、オクターブの信号の抽出が行われるので、オクターブ分割ブロック22に入力されるオーディオ信号のサンプリング周波数を2n(n=1,2,・・)で割った値が、オクターブの境界周波数となる。仮に、再標本化部21において、入力されたオーディオ信号が、所望のサンプリング周波数で再サンプリングされずに、44.1kHzのサンプリング周波数そのままで、オクターブ分割ブロック22に供給された場合、オクターブ分割ブロック22では、そのオーディオ信号が周波数帯域分割されることにより、高周波数成分として、44.1kHz/2乃至(44.1kHz/2)/2の周波数範囲の信号が得られる。そして、この場合、高周波数成分の最低周波数と最高周波数は、図1で示したオクターブ1乃至8のいずれの境界周波数とも一致しない。その結果、その高周波数成分の低域側や高域側は、所望のオクターブの音程の信号の一部の周波数成分が欠けたもの、あるいは、所望のオクターブに隣接する他のオクターブの音程の信号の一部の周波数成分が含まれたものとなり、その後の、音程ごとの信号を抽出する処理が複雑になる。
そこで、再標本化部21では、その後段のオクターブ分割ブロック22において、信号の周波数帯域分割とダウンサンプリングとの繰り返しごとに得られる高周波数成分の最低周波数と最高周波数が、あるオクターブの最高周波数と最低周波数にそれぞれ一致するようにするため、元のオーディオ信号を、オクターブの境界周波数の2のべき乗倍のサンプリング周波数で再サンプリングする。
本実施の形態では、再標本化部21は、例えば、オクターブ4と5との間の境界周波数である1016.7Hzの25倍、即ち、32534.7Hzのサンプリング周波数でオーディオ信号を再サンプリングするものとする。なお、オクターブの境界周波数の2のべき乗倍のサンプリング周波数として、どのような値を採用するかは、例えば、どの高さの音程を含むオクターブを抽出するか等によって決定する。
オクターブ分割ブロック22は、再標本化部21から出力されるオーディオ信号を、オクターブ1乃至8の信号成分(オーディオ信号)それぞれに分割する。そして、オクターブ分割ブロック22は、オクターブi(i=1乃至8の整数)のオーディオ信号をBPFB23iに出力する。即ち、オクターブ分割ブロック22は、オクターブ1のオーディオ信号をBPFB231に、オクターブ2のオーディオ信号をBPFB232に、同様にして、オクターブ3乃至8のオーディオ信号をBPFB233乃至238に、それぞれ出力する。
BPFB23iは、C,C#,D,D#,E,F,F#,G,G#,A,A#,Bの12の音程それぞれの周波数範囲のオーディオ信号を通過帯域とする12のBPF(Band Pass Filter)を有し、オクターブ分割ブロック22から入力されるオクターブiのオーディオ信号を、フィルタリングすることにより、12の音程のオーディオ信号を抽出する。
換言すれば、BPFB23iでは、12のBPFによって、オクターブiの12の音程のオーディオ信号それぞれが抽出される。例えば、BPF231では、図2に示すように、C1,C#1,D1,D#1,E1,F1,F#1,G1,G#1,A1,A#1,B1の音程の信号成分が抽出される。また、例えば、BPF238では、C8,C#8,D8,D#8,E8,F8,F#8,G8,G#8,A8,A#8,B8の音程の信号成分が抽出される。
以上のように構成される図2の信号処理装置11では、再標本化部21において、オーディオ信号が再サンプリングされ、オクターブ分割ブロック22において、オクターブ1乃至8それぞれの信号に分割される。さらに、BPFB231乃至BPFB238において、オクターブ1乃至8の信号それぞれから、12の音程の信号が抽出されて出力される。
図3は、図2のオクターブ分割ブロック22の詳細な構成例を示すブロック図である。
オクターブ分割ブロック22は、7つのオクターブ分割部511乃至517により構成されている。この7つのオクターブ分割部511乃至517それぞれは、基本的に同様の処理を行う。
オクターブ分割部51j(j=1,2,・・・,6,7)は、入力されたオーディオ信号を、高域側の高周波数成分と低域側の低周波数成分とに分割する。また、オクターブ分割部51jは、高周波数成分のオーディオ信号(以下、高域のオーディオ信号と称する)と低周波数成分のオーディオ信号(以下、低域のオーディオ信号と称する)のそれぞれを、サンプル数を1/2にするダウンサンプリングを行う。
さらに、オクターブ分割部51jは、ダウンサンプリング後の高域のオーディオ信号をオクターブ[9−j]のオーディオ信号として、BPFB239-j(図2)に出力する。また、オクターブ分割部51jは、ダウンサンプリング後の低域のオーディオ信号をオクターブ分割部51j+1に出力する。但し、j=7の場合、即ち、オクターブ分割部517は、ダウンサンプリング後の低域のオーディオ信号をオクターブ1のオーディオ信号として、BPFB231(図2)に出力する。
次に、オクターブ分割部51jの処理を説明する。
再標本化部21から入力された、32534.7Hzのサンプリング周波数で再サンプリングされたオーディオ信号は、オクターブ分割部511に入力される。オクターブ分割部511は、入力されたオーディオ信号を、その周波数帯域を2等分するように周波数帯域分割する。即ち、オクターブ分割部511は、そこに入力されるオーディオ信号のサンプリング周波数をfsと表すことにすると、そのオーディオ信号をfs/2乃至(fs/2)/2の高域側の高周波数成分と、0乃至(fs/2)/2の低域側の低周波数成分とに分割する。さらに、オクターブ分割部511は、周波数分割によって得られた高周波数成分のオーディオ信号と、低周波数成分のオーディオ信号のそれぞれを、例えば、そのサンプルを間引くことにより、1/2にダウンサンプリングする。
そして、オクターブ分割部511は、ダウンサンプリング後の高域周波数成分のオーディオ信号を、1オクターブのオーディオ信号として、BPFB238(=9-1)(図2)に出力する。さらに、オクターブ分割部511は、ダウンサンプリング後の低周波数成分のオーディオ信号を、オクターブ分割部512(=1+1)に出力する。
オクターブ分割部512乃至517も、それぞれ、前段のオクターブ分割部511乃至516から供給されるオーディオ信号を対象に、オクターブ分割部511における場合と同様の処理を行う。但し、オクターブ分割部517は、ダウンサンプリング後の低周波数成分のオーディオ信号を、さらに周波数帯域分割し、その結果得られる高周波数成分のオーディオ信号を1/2にダウンサンプリングする。そして、オクターブ分割部517は、ダウンサンプリング後の高周波数成分のオーディオ信号を、BPFB231(図2)に出力する。
オクターブ分割ブロック22において、以上のような処理が行われることにより、元のオーディオ信号のうちのオクターブ8(O8)の周波数範囲、即ち、8133.7Hz乃至16267.4Hzのオーディオ信号が、オクターブ分割部511からBPFB238(図2)に出力される。
同様に、4066.8Hz乃至8133.7Hzの周波数範囲の、オクターブ7(O7)のオーディオ信号がBPFB237に、2033.4Hz乃至4066.8Hzの周波数範囲の、オクターブ6(O6)のオーディオ信号がBPFB236に、1016.7Hz乃至2033.4Hzの周波数範囲の、オクターブ5(O5)のオーディオ信号がBPFB235に、508.4Hz乃至1016.7Hzの周波数範囲の、オクターブ4(O4)のオーディオ信号がBPFB234に、254.2Hz乃至508.4Hzの周波数範囲の、オクターブ3(O3)のオーディオ信号がBPFB233に、127.1Hz乃至254.2Hzの周波数範囲の、オクターブ2(O2)のオーディオ信号がBPFB232に、63.55Hz乃至127.1Hzの周波数範囲の、オクターブ1(O1)のオーディオ信号が、BPFB231に、それぞれ出力される。
即ち、オクターブ分割ブロック22は、入力信号を、高域側の高周波数成分と、低域側の低周波数成分とに分割し、高周波数成分と低周波成分のそれぞれをダウンサンプリングすることを繰り返すことにより、オーディオ信号を、8のオクターブの信号に分割する。
従って、オクターブ分割ブロック22では、音程の周波数の対数分布に対応させて、オクターブ1乃至8の8オクターブを抽出することができる。換言すれば、オクターブ分割ブロック22では、各オクターブのオーディオ信号を、各オクターブが持つ情報量に比例した時間軸解像度および周波数解像度で抽出することができる。
図4は、図3のオクターブ分割部511乃至517の詳細な構成例を示している。
オクターブ分割部51j(j=1,2,・・・,6,7)それぞれは、HPF(High Pass Filter)71j,DS(ダウンサンプリング)部72j,LPF(Low Pass Filter)73j、およびDS部74jにより構成されている。ただし、オクターブ分割部517は、さらに、HPF75とDS部76を有している。
オクターブ分割部51jのHPF71jおよびLPF73jには、その前段からオーディオ信号が入力される。HPF71jおよびLPF73jにおいて、入力されたオーディオ信号が周波数帯域分割される。
即ち、HPF71jは、入力されたオーディオ信号のうちの、その周波数帯域の1/2以上の高域のオーディオ信号を抽出し、DS部72jに出力する。また、LPF73jは、入力されたオーディオ信号のうちの、その周波数帯域の1/2以下の低域のオーディオ信号を抽出し、DS部74jに出力する。
DS部72jまたはDS部74jそれぞれは、HPF71jまたはLPF73jから入力されたオーディオ信号を、そのサンプリング周波数の1/2のサンプリング周波数でダウンサンプリングする。
DS部72jは、ダウンサンプリング後のオーディオ信号をオクターブ[9−j]のオーディオ信号として、BPFB239-j(図2)に出力する。DS部74jは、ダウンサンプリング後のオーディオ信号を、後段のオクターブ分割部51j+1のHPF71j+1およびLPF73j+1に出力する。但し、オクターブ分割部517では、DS部747は、ダウンサンプリング後のオーディオ信号を、HPF75に出力する。そして、HPF75は、DS部747からのダウンサンプリング後のオーディオ信号のうちの、その周波数帯域の1/2以上の高域のオーディオ信号を抽出し、DS部76に出力する。DS部76は、HPF75からのオーディオ信号を、そのサンプリング周波数の1/2のサンプリング周波数でダウンサンプリングし、オクターブ1のオーディオ信号として、BPFB231(図2)に出力する。
図5と図6は、図4のHPF71jおよびDS部72j(j=1,2,・・・,6,7)によるオーディオ信号の処理結果を概念的に示したものである。
HPF71jでは、図5に示すように、入力されるオーディオ信号の、高域側の周波数成分と低域側の周波数成分のうちの、高域側の高周波数成分のオーディオ信号が、1オクターブのオーディオ信号として抽出される(通過する)。この1オクターブのオーディオ信号は、オクターブ[9−j]のオーディオ信号であり、図5に示すように、C,C#,D,D#,E,F,F#,G,G#,A,A#,Bの12の音程を含むものである。
そして、HPF71jを通過した、図5の高周波数成分のオーディオ信号は、DS部72jによって、1/2のサンプリング周波数でダウンサンプリングされる。
図6は、DS部72jによるダウンサンプリング後の1オクターブ分のオーディオ信号を示している。図5の高周波成分のオーディオ信号は、DS部72jによるダウンサンプリングによって、低域側に折り返して現れる。従って、ダウンサンプリング後の高周波数成分のオーディオ信号においては、周波数軸上の音程の信号成分の並びが、図6に示すように、ダウンサンプリング前の並びC,C#,D,D#,E,F,F#,G,G#,A,A#,Bの逆になっている。即ち、音程の高低の並びが逆になっている。
次に、BPFB231乃至238の詳細な構成例について説明する。BPFB231乃至238それぞれは、同様の構成を有しており、図7は、そのうちのBPFB231の詳細な構成例を示している。
BPFB231は、12の音程C1,C#1,D1,D#1,E1,F1,F#1,G1,G#1,A1,A#1,B1それぞれの周波数範囲に応じた通過帯域を有する12のBPF1011乃至10112により構成されている。
即ち、BPF1011は、オクターブ分割ブロック22(図3)から入力されるオクターブ1のオーディオ信号から、C1の音程のオーディオ信号を抽出し、外部に出力する。
また、BPF1012は、オクターブ1のオーディオ信号から、C#1の音程のオーディオ信号を抽出し、外部に出力する。同様に、BPF1013乃至10112それぞれは、D1,D#1,E1,F1,F#1,G1,G#1,A1,A#1,B1の音程のオーディオ信号を抽出し、外部に出力する。
図8と図9を参照して、図7のBPFB231の処理について説明する。図8と図9は、BPFB231の処理を概念的に示したものである。
図8の上側の図は、オクターブ分割ブロック22からBPFB231に供給されるオクターブ1のオーディオ信号の周波数成分を示している。図6で説明したように、オクターブ分割ブロック22が出力するオクターブ1のオーディオ信号においては、周波数軸上の音程の並びが、高低逆になっている。
このため、図7のBPF1011乃至10112それぞれは、図8下側に示すような、フィルタ特性を有する。即ち、図7のBPF1011乃至10112それぞれは、高低の並びが逆になっているC1,C#1,D1,D#1,E1,F1,F#1,G1,G#1,A1,A#1,B1の周波数範囲の周波数成分を通過させるフィルタとなっている。
即ち、BPF1011は、オクターブ分割ブロック22が出力するオクターブ1のオーディオ信号から、最も高い周波数帯域の信号を抽出することで、最も低い音程のC1の周波数成分を得る。BPF1011は、オクターブ分割ブロック22が出力するオクターブ1のオーディオ信号から、次に高い周波数帯域の信号を抽出することで、次に低い音程C#1の周波数成分を得る。以下、同様にして、BPF1011は、オクターブ分割ブロック22が出力するオクターブ1のオーディオ信号から、最も低い周波数帯域の信号を抽出することで、最も高い音程B1の周波数成分を得る。
図8下側に示したフィルタ特性を有するBPF1013乃至10112を、図7のブロック図に対応させて図示すると、図9に示すようになる。
なお、BPFB231乃至238それぞれにおいて、対応するBPFB23k(k=1,2,・・・,12)の通過帯域は異なる。即ち、オクターブiのオーディオ信号を処理するBPFB23iのBPF101kと、オクターブ[i+1]のオーディオ信号を処理するBPFB23i+1のBPF101kとでは、通過帯域は、2倍だけ異なる。つまり、BPFB23i+1のBPF101kの通過帯域は、BPFB23iのBPF101kの通過帯域の2倍である。
次に、図10のフローチャートを参照して、図2の信号処理装置11の音程解析処理について説明する。図10の音程解析処理は、例えば、図2の信号処理装置11にオーディオ信号が入力された場合に開始される。
初めに、ステップS1において、再標本化部21は、そこに入力されるオーディオ信号を、所望のサンプリング周波数(本実施の形態では、32534.7Hz)で再サンプリング(再標本化)する。そして、再標本化部21は、所望のサンプリング周波数で再サンプリングされたオーディオ信号を、オクターブ分割ブロック22に出力して、ステップS2に進む。
ステップS2において、オクターブ分割ブロック22は、再標本化部21から出力されるオーディオ信号を、オクターブ1乃至8のそれぞれに分割する。そして、オクターブ分割ブロック22は、オクターブi(i=1乃至8の整数)のオーディオ信号をBPFB23iに出力して、ステップS3に進む。
ステップS3において、BPFB23iは、C,C#,D,D#,E,F,F#,G,G#,A,A#,Bの12の音程それぞれの周波数範囲のオーディオ信号を通過帯域とする12のBPF(Band Pass Filter)によって、オクターブ分割ブロック22から入力されるオクターブiのオーディオ信号から、12の音程それぞれのオーディオ信号を抽出して、処理を終了する。
次に、図11のフローチャートを参照して、図3のオクターブ分割ブロック22のオクターブ分割の処理について説明する。なお、このオクターブ分割の処理は、図10のステップS2の処理に対応するものである。
初めに、ステップS21において、オクターブ分割部511は、再標本化部21から入力されたオーディオ信号を、高域のオーディオ信号と低域のオーディオ信号に分割する。また、オクターブ分割部511は、高域のオーディオ信号と低域のオーディオ信号のそれぞれを、サンプル数を1/2にするダウンサンプリングを行う。さらに、ステップS21では、オクターブ分割部511は、ダウンサンプリング後の高域のオーディオ信号をオクターブ8(O8)のオーディオ信号として、BPFB231(図2)に出力し、ダウンサンプリング後の低域のオーディオ信号を、オクターブ分割部512に出力して、ステップS22に進む。
ステップS22乃至S26それぞれにおいて、オクターブ分割部51j(j=2,・・・,6)は、そこに入力されたオーディオ信号(前段のオクターブ分割部51j-1において、周波数分割によって得られた低周波成分のオーディオ信号)を、高域のオーディオ信号と低域のオーディオ信号に分割する。また、オクターブ分割部51jは、高域のオーディオ信号と低域のオーディオ信号のそれぞれを、サンプル数を1/2にするダウンサンプリングを行う。さらに、オクターブ分割部51jは、ダウンサンプリング後の高域のオーディオ信号を、オクターブ[9−j]のオーディオ信号として、BPFB239-j(図2)に出力し、ダウンサンプリング後の低域のオーディオ信号を、オクターブ分割部51j+1に出力する。
ステップS26の後、ステップS27に進み、オクターブ分割部517は、オクターブ分割部516から入力されたオーディオ信号を、高域のオーディオ信号と低域のオーディオ信号に分割する。また、オクターブ分割部517は、高域のオーディオ信号と低域のオーディオ信号のそれぞれを、サンプル数を1/2にするダウンサンプリングを行う。さらに、オクターブ分割部517は、ダウンサンプリング後の高域のオーディオ信号を、オクターブ2のオーディオ信号として、BPFB232(図2)に出力して、ステップS28に進む。
ステップS28において、オクターブ分割部517は、ダウンサンプリング後の低周波成分のオーディオ信号を、さらに周波数帯域分割し、その結果得られる高周波数成分のオーディオ信号を1/2にダウンサンプリングする。そして、オクターブ分割部517は、ダウンサンプリング後の高周波数成分のオーディオ信号を、オクターブ1のオーディオ信号として、BPFB231(図2)に出力して、処理を終了する。
次に、図12のフローチャートを参照して、図4のオクターブ分割部511におけるオクターブ8の抽出処理について説明する。なお、このオクターブ8の抽出処理は、図11のステップS21の処理に対応するものである。
初めに、ステップS41において、HPF711は、再標本化部21から入力されたオーディオ信号のうちの、その周波数帯域の1/2以上の高域のオーディオ信号を抽出し、DS部721に出力して、ステップS42に進む。
ステップS42において、DS部721は、HPF711から入力されたオーディオ信号を、そのサンプリング周波数の1/2のサンプリング周波数でダウンサンプリングし、ダウンサンプリング後のオーディオ信号をオクターブ8のオーディオ信号としてBPFB238に出力して、ステップS43に進む。
ステップS43において、LPF731は、再標本化部21から入力されたオーディオ信号のうちの、その周波数帯域の1/2以下の低域のオーディオ信号を抽出し、DS部741に出力して、ステップS44に進む。
ステップS44において、DS部741は、ダウンサンプリング後のオーディオ信号を、オクターブ分割部512のHPF712およびLPF732に出力して、処理を終了する。
ステップS41乃至S44の処理と同様の処理が、オクターブ分割部512乃至517においても行われる。但し、オクターブ分割部517では、上述したように、DS部747は、ダウンサンプリング後のオーディオ信号を、HPF75に出力する。そして、HPF75は、DS部747からのダウンサンプリング後のオーディオ信号のうちの、その周波数帯域の1/2以上の高域のオーディオ信号を抽出し、DS部76に出力する。DS部76は、HPF75からのオーディオ信号を、そのサンプリング周波数の1/2のサンプリング周波数でダウンサンプリングし、オクターブ1のオーディオ信号として、BPFB231(図2)に出力する。
次に、図13のフローチャートを参照して、図7のBPFB231の音程抽出処理について説明する。この処理は、図10のステップS3の音程抽出処理のなかの、BPFB231が行う音程抽出処理に相当するものであるが、その他のBPFB232乃至238も、オクターブ2乃至8のそれぞれについて、図13の音程抽出処理と同様の処理を行う。
初めに、ステップS61において、BPF1011は、C1の音程のオーディオ信号を抽出する。即ち、BPF1011は、オクターブ分割ブロック22(図2)から入力されるオクターブ1のオーディオ信号から、C1の音程のオーディオ信号を抽出して、ステップS62に進む。
ステップS62乃至S72それぞれにおいて、ステップS61のC1の音程のオーディオ信号の抽出と同様に、BPF1012乃至10112それぞれが、C#1,D1,D#1,E1,F1,F#1,G1,G#1,A1,A#1,B1の音程のオーディオ信号を抽出して、処理を終了する。
なお、ステップS61乃至S72の処理それぞれは、図13で説明した順序以外の任意の順序で処理をすることもできるし、ステップS61乃至S72の処理を並列(同時に)に行うこともできる。
以上のようにして、信号処理装置11は、そこに入力されたオーディオ信号をオクターブ1乃至8の8オクターブに分割し、さらにオクターブ1乃至8のそれぞれについて、C,C#,D,D#,E,F,F#,G,G#,A,A#,Bの12の音程のオーディオ信号に抽出することができる。即ち、信号処理装置11は、そこに入力されたオーディオ信号の各音程の信号成分を、時系列に得ることができる。
信号処理装置11から出力される信号は、オクターブ1乃至8の各オクターブのC,C#,D,D#,E,F,F#,G,G#,A,A#,Bの12の音程の信号であるので、信号処理装置11からの出力を受ける装置では、その音程の信号(音程情報)をそのまま、自動採譜やメロディ解析などのアプリケーションで使用することができる。
次に、図14乃至図16を参照して、オクターブ1乃至8の各オクターブの12の音程について、1つの音程ごとに1つのBPFを用いて、各音程のオーディオ信号を抽出する、単純なBPFバンクによる手法(以下、従来手法と称する)と、図1の信号処理装置11により、各音程のオーディオ信号を抽出する手法(以下、本手法と称する)とにおいて、オクターブ1乃至8の全8オクターブそれぞれの12の音程のオーディオ信号を抽出するために、元のオーディオ信号の1サンプルあたりに行われる演算回数を比較する。なお、演算回数は、1回の加算と1回の乗算とのセットを1回とカウントするものとする。
図14は、従来手法による演算回数を示している。
従来手法では、ダウンサンプリングが行われないため、ダウンサンプリング数DSは、オクターブ1乃至8の各オクターブにおいて、1である。ここで、ダウンサンプリング数DSは、元のオーディオ信号のサンプル数に対して、処理対象のオーディオ信号のサンプル数が何分の1倍になっているかを表している。即ち、従来手法では、元のオーディオ信号が、そのまま、各オクターブの各音程の信号を抽出するBPFの処理対象となるため、ダウンサンプリング数DSは、常に1である。
また、従来手法では、オクターブ8の各音程のオーディオ信号を抽出するBPFとして、例えば、128タップ(Tap)のFIR(Finite Impulse Response)フィルタを使用するものとする。いま、オクターブ1乃至7のそれぞれについて、オクターブ8と同程度の周波数解像度が得られるようにするものとすると、オクターブ8から1オクターブ低くなるごとに、BPFのタップ数は、オクターブ8の各音程を抽出するBPFのタップ数の倍にする必要がある。従って、オクターブ8の各音程を抽出するBPFのタップ数を、上述のように128タップとすると、オクターブ1乃至7のタップ数Tapは、それぞれ、16384,8192,4096,2048,1024,512,256となる。
このような条件の下、各オクターブの12の各音程を求めるために、元のオーディオ信号の1サンプルあたりに行われる乗算および加算の演算回数は、Tap÷DS×12により算出することができる。従って、オクターブ1乃至8の各オクターブについての演算回数(オクターブの12の音程それぞれを求めるために必要となる、元のオーディオ信号の1サンプルあたりの演算回数)は、図14に示すように、それぞれ、196608,98304,49152,24576,12288,6144,3072,1536となる。よって、従来手法によれば、オクターブ1乃至8の8オクターブそれぞれの12の音程それぞれを求めるために必要となる、元のオーディオ信号の1サンプルあたりの演算回数は、それらの和の391680回となる。
図15は、本手法のオクターブ分割部51j(j=1,2,・・・,6,7)のHPF71jおよびLPF73jにおける演算回数を示している。なお、ここでは、LPF737の演算回数には、HPF75の演算回数も含むものとする。
本手法において、図14の従来手法と同等の音程の抽出精度(性能)とするためには、HPF71jおよびLPF73jは、256程度のタップ数を必要とする。そこで、図15では、HPF71jとLPF73jのタップ数Tapを、いずれも256としている。
また、図4で説明したように、各オクターブ分割部51jそれぞれにおいて、1/2のダウンサンプリングが行われるため、最も周波数帯域の高いオクターブ8のダウンサンプリング数DSは、2であり、以下、低い周波数帯域のオクターブに下がるごとに倍になる。従って、オクターブ1乃至8のダウンサンプリング数DSは、それぞれ、256,128,64,32,16,8,4,2となる。
HPF71jとLPF73jの両方の、元のオーディオ信号の1サンプルあたりに行われる乗算および加算の演算回数は、Tap÷DS×2で求められる。従って、オクターブ1乃至8について、HPF71jとLPF73jの両方で、元のオーディオ信号の1サンプルあたりに行われる乗算および加算の演算回数は、図15に示すように、それぞれ、2,4,8,16,32,64,128,256となる。従って、オクターブ分割ブロック22において、周波数帯域分割のために元のオーディオ信号の1サンプルあたりに行われる乗算および加算の演算回数は、各オクターブの演算回数の和の510回となる。
図16は、本手法のBPFB231乃至238における演算回数を示している。
オクターブ1乃至8のダウンサンプリング数DSは、それぞれ、図15と同様の、256,128,64,32,16,8,4,2となる。また、オクターブ1乃至8の各音程を抽出するBPFB231乃至238のタップ数Tapは、いずれも64となる。
従って、本手法のオクターブ1乃至8のBPFB231乃至238についての演算回数(オクターブの12の音程それぞれを求めるために必要となる、元のオーディオ信号の1サンプルあたりの演算回数)は、図16に示すように、Tap÷DS×12により算出され、それぞれ、3,6,12,24,48,96,192,384となる。従って、本手法によれば、オクターブ1乃至8の8オクターブそれぞれの12の音程それぞれを求めるために必要となる、元のオーディオ信号の1サンプルあたりの演算回数は、それらの和の765回となる。
以上から、本手法による演算回数は、図15に示すオクターブ分割ブロック22のHPF71jとLPF73jにおける演算回数の510回と、図16に示すBPFB231乃至238における演算回数の765回との合計の1275回である。
本手法の演算回数(元のオーディオ信号の1サンプルの入力に対して行われる演算回数)は、1275回であり、図14の従来の手法の演算回数の391680回に比べて、極めて少ない演算回数とすることができる。即ち、ダウンサンプリングすることにより、従来手法より少ない演算量で、元のオーディオ信号から各音程の信号を抽出することができる。換言すれば、本手法によれば、従来手法よりも各音程の信号の抽出に要する演算(能力)を大幅に低減することができる。
図10乃至図13に示した一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアによって行う場合、例えば、その一連の処理は、図17に示されるような(パーソナル)コンピュータにプログラムを実行させることにより実現することができる。
図17において、CPU(Central Processing Unit)301は、ROM(Read Only Memory)302に記憶されているプログラム、または記憶部308からRAM(Random Access Memory)303にロードされたプログラムに従って各種の処理を実行する。RAM303にはまた、CPU301が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU301、ROM302、およびRAM303は、バス304を介して相互に接続されている。このバス304にはまた、入出力インタフェース305も接続されている。
入出力インタフェース305には、キーボード、マウスなどよりなる入力部306、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部307、ハードディスクなどより構成される記憶部308、モデム、ターミナルアダプタなどより構成される通信部309が接続されている。通信部309は、インターネットなどのネットワークを介しての通信処理を行う。
入出力インタフェース305にはまた、必要に応じてドライブ310が接続され、磁気ディスク321、光ディスク322、光磁気ディスク323、或いは半導体メモリ324などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部308にインストールされる。
上述した実施の形態では、C(ド)の音程からB()まで12の音程ごとの区切りを1オクターブとしたが、1オクターブは、その他の音程の区切りでもよい。例えば、F(ファ)の音程からE(ミ)の音程までを区切りとした場合も、周波数は対数の分布となるので、1オクターブということができる。
また、再標本化部21における再サンプリングのサンプリング周波数も、オクターブの境界周波数の2のべき乗倍でなくてもよい。即ち、再標本化部21における再サンプリングのサンプリング周波数は、例えば、隣接する音程どうしの境界の周波数の2のべき乗倍であってもよい。
さらに、元のオーディオ信号のサンプリング周波数が、オクターブの境界周波数または隣接する音程どうしの境界の周波数の2のべき乗倍の周波数であれば、再標本化部21を設けずに、信号処理装置11を構成することができる。
なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
オーディオ信号の各音程と周波数を説明する図である。 本発明を適用した信号処理装置11の一実施の形態の構成例を示すブロック図である。 オクターブ分割ブロック22の詳細な構成例を示すブロック図である。 オクターブ分割部511乃至517の詳細な構成例を示すブロック図である。 オーディオ信号の処理結果を概念的に示す図である。 オーディオ信号の処理結果を概念的に示す図である。 BPFB231の詳細な構成例を示すブロック図である。 BPFB231の処理を概念的に示す図である。 BPFB231の処理を概念的に示す図である。 信号処理装置11の音程解析処理を説明するフローチャートである。 オクターブ分割の処理を説明するフローチャートである。 オクターブ8の抽出処理を説明するフローチャートである。 音程抽出処理を説明するフローチャートである。 従来手法による演算回数を説明する図である。 本手法による演算回数を説明する図である。 本手法による演算回数を説明する図である。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
符号の説明
11 信号処理回路, 21 再標本化部, 22 オクターブ分割ブロック, 231乃至238 BPFB(Band Pass Filter Bank), 511乃至517 オクターブ分割部, 711乃至717 HPF, 721乃至727 DS部, 731乃至737 LPF, 741乃至747 DS部, 75 HPF, 76 DS部

Claims (6)

  1. オーディオ信号の処理を行う信号処理装置において、
    入力信号を、その周波数帯域を等分する高周波数成分と低周波数成分とに分割し、前記高周波数成分と低周波数成分のそれぞれについて、サンプル数を半分にするダウンサンプリングを行い、ダウンサンプリング後の前記高周波数成分をオクターブの信号として出力し、ダウンサンプリング後の前記低周波数成分をさらに、前記高周波数成分と低周波数成分とに分割し、前記ダウンサンプリングを行い、ダウンサンプリング後の前記高周波数成分をオクターブの信号として出力する処理を繰り返すことにより、前記オーディオ信号を複数のオクターブの信号に分割するオクターブ分割手段と、
    前記複数のオクターブの信号それぞれについて、前記ダウンサンプリングの結果、音程の高低の並び方が逆になった高周波数成分に対して複数の音程それぞれの周波数範囲のオーディオ信号を通過帯域とする複数のバンドパスフィルタを用いてフィルタリングすることにより、複数の音程信号を抽出するフィルタ手段と
    を備えることを特徴とする信号処理装置。
  2. 前記オーディオ信号を再サンプリングする再サンプリング手段をさらに備え
    前記再サンプリング手段は、前記オーディオ信号を、前記オクターブの境界の周波数の2のべき乗倍のサンプリング周波数で再サンプリングする
    ことを特徴とする請求項1に記載の信号処理装置。
  3. 前記フィルタ手段は、12の音程それぞれの周波数範囲のオーディオ信号を通過帯域とする12のバンドパスフィルタを有する
    ことを特徴とする請求項1に記載の信号処理装置。
  4. オーディオ信号の処理を行う信号処理装置の信号処理方法において、
    入力信号を、その周波数帯域を等分する高周波数成分と低周波数成分とに分割し、前記高周波数成分と低周波数成分のそれぞれについて、サンプル数を半分にするダウンサンプリングを行い、ダウンサンプリング後の前記高周波数成分をオクターブの信号として出力し、ダウンサンプリング後の前記低周波数成分をさらに、前記高周波数成分と低周波数成分とに分割し、前記ダウンサンプリングを行い、ダウンサンプリング後の前記高周波数成分をオクターブの信号として出力する処理を繰り返すことにより、前記オーディオ信号を複数のオクターブの信号に分割するオクターブ分割ステップと、
    前記複数のオクターブの信号それぞれについて、前記ダウンサンプリングの結果、音程の高低の並び方が逆になった高周波数成分に対して複数の音程それぞれの周波数範囲のオーディオ信号を通過帯域とする複数のバンドパスフィルタを用いてフィルタリングすることにより、複数の音程信号を抽出するフィルタステップと
    を含むことを特徴とする信号処理方法。
  5. オーディオ信号の処理を実行させるコンピュータに、
    入力信号を、その周波数帯域を等分する高周波数成分と低周波数成分とに分割し、前記高周波数成分と低周波数成分のそれぞれについて、サンプル数を半分にするダウンサンプリングを行い、ダウンサンプリング後の前記高周波数成分をオクターブの信号として出力し、ダウンサンプリング後の前記低周波数成分をさらに、前記高周波数成分と低周波数成分とに分割し、前記ダウンサンプリングを行い、ダウンサンプリング後の前記高周波数成分をオクターブの信号として出力する処理を繰り返すことにより、前記オーディオ信号を複数のオクターブの信号に分割するオクターブ分割ステップと、
    前記複数のオクターブの信号それぞれについて、前記ダウンサンプリングの結果、音程の高低の並び方が逆になった高周波数成分に対して複数の音程それぞれの周波数範囲のオーディオ信号を通過帯域とする複数のバンドパスフィルタを用いてフィルタリングすることにより、複数の音程信号を抽出するフィルタステップと
    実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  6. オーディオ信号の処理を実行させるコンピュータに、
    入力信号を、その周波数帯域を等分する高周波数成分と低周波数成分とに分割し、前記高周波数成分と低周波数成分のそれぞれについて、サンプル数を半分にするダウンサンプリングを行い、ダウンサンプリング後の前記高周波数成分をオクターブの信号として出力し、ダウンサンプリング後の前記低周波数成分をさらに、前記高周波数成分と低周波数成分とに分割し、前記ダウンサンプリングを行い、ダウンサンプリング後の前記高周波数成分をオクターブの信号として出力する処理を繰り返すことにより、前記オーディオ信号を複数のオクターブの信号に分割するオクターブ分割ステップと、
    前記複数のオクターブの信号それぞれについて、前記ダウンサンプリングの結果、音程の高低の並び方が逆になった高周波数成分に対して複数の音程それぞれの周波数範囲のオーディオ信号を通過帯域とする複数のバンドパスフィルタを用いてフィルタリングすることにより、複数の音程信号を抽出するフィルタステップと
    実行させるためのプログラム。
JP2004089292A 2004-03-25 2004-03-25 信号処理装置および方法、記録媒体、並びにプログラム Expired - Fee Related JP4649859B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004089292A JP4649859B2 (ja) 2004-03-25 2004-03-25 信号処理装置および方法、記録媒体、並びにプログラム
US11/082,763 US7482530B2 (en) 2004-03-25 2005-03-18 Signal processing apparatus and method, recording medium and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004089292A JP4649859B2 (ja) 2004-03-25 2004-03-25 信号処理装置および方法、記録媒体、並びにプログラム

Publications (3)

Publication Number Publication Date
JP2005275068A JP2005275068A (ja) 2005-10-06
JP2005275068A5 JP2005275068A5 (ja) 2007-05-17
JP4649859B2 true JP4649859B2 (ja) 2011-03-16

Family

ID=34988244

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004089292A Expired - Fee Related JP4649859B2 (ja) 2004-03-25 2004-03-25 信号処理装置および方法、記録媒体、並びにプログラム

Country Status (2)

Country Link
US (1) US7482530B2 (ja)
JP (1) JP4649859B2 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4948118B2 (ja) * 2005-10-25 2012-06-06 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP4465626B2 (ja) 2005-11-08 2010-05-19 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4735398B2 (ja) * 2006-04-28 2011-07-27 日本ビクター株式会社 音響信号分析装置、音響信号分析方法、及び音響信号分析用プログラム
JP4315180B2 (ja) 2006-10-20 2009-08-19 ソニー株式会社 信号処理装置および方法、プログラム、並びに記録媒体
JP4214491B2 (ja) 2006-10-20 2009-01-28 ソニー株式会社 信号処理装置および方法、プログラム、並びに記録媒体
JP4811433B2 (ja) 2007-09-05 2011-11-09 ソニー株式会社 画像選択装置、画像選択方法、およびプログラム
JP4375471B2 (ja) 2007-10-05 2009-12-02 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
JP5141195B2 (ja) 2007-11-09 2013-02-13 ソニー株式会社 情報処理装置、楽曲配信システム、楽曲配信方法およびコンピュータプログラム
JP4748146B2 (ja) 2007-12-11 2011-08-17 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP4623124B2 (ja) 2008-04-07 2011-02-02 ソニー株式会社 楽曲再生装置、楽曲再生方法および楽曲再生プログラム
JP4640463B2 (ja) 2008-07-11 2011-03-02 ソニー株式会社 再生装置、表示方法および表示プログラム
EP2159719B1 (en) * 2008-08-27 2013-01-09 Sony Corporation Method for graphically displaying pieces of music
JP2010117973A (ja) * 2008-11-14 2010-05-27 Sony Corp 情報処理装置、画像表示方法およびコンピュータプログラム
JP5463655B2 (ja) 2008-11-21 2014-04-09 ソニー株式会社 情報処理装置、音声解析方法、及びプログラム
JP5625235B2 (ja) 2008-11-21 2014-11-19 ソニー株式会社 情報処理装置、音声解析方法、及びプログラム
JP2012103603A (ja) 2010-11-12 2012-05-31 Sony Corp 情報処理装置、楽曲区間抽出方法、及びプログラム
JP2014010275A (ja) * 2012-06-29 2014-01-20 Sony Corp 情報処理装置、情報処理方法及びプログラム
TR201700645A2 (tr) * 2017-01-16 2018-07-23 Dokuz Eyluel Ueniversitesi Rektoerluegue Herhangi̇ bi̇r müzi̇k di̇zi̇si̇ni̇n perdeleri̇ni̇ adlandirabi̇len algori̇tmi̇k bi̇r yöntem
KR20180088184A (ko) * 2017-01-26 2018-08-03 삼성전자주식회사 전자 장치 및 그 제어 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61120185A (ja) * 1984-11-15 1986-06-07 日本ビクター株式会社 楽音分析装置
JPS61120188A (ja) * 1984-11-15 1986-06-07 日本ビクター株式会社 楽音分析装置
JPS63212825A (ja) * 1987-02-13 1988-09-05 Kawai Musical Instr Mfg Co Ltd ピッチ検出測定装置
JPH07234672A (ja) * 1994-02-24 1995-09-05 Yamaha Corp ピッチ検出装置
JPH08328593A (ja) * 1995-06-02 1996-12-13 Oki Electric Ind Co Ltd スペクトル分析方法
JPH09127994A (ja) * 1995-10-26 1997-05-16 Sony Corp 信号符号化方法及び装置
JP2002091433A (ja) * 2000-09-19 2002-03-27 Fujitsu Ltd メロディー情報の抽出方法その装置

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3821797A (en) * 1967-11-08 1974-06-28 Victor Co Ltd System for recording and reproducing a wide band signal
US3976863A (en) * 1974-07-01 1976-08-24 Alfred Engel Optimal decoder for non-stationary signals
US4216691A (en) * 1978-01-09 1980-08-12 C. G. Conn, Ltd. Octave assignment system for electronic musical instrument
US4315452A (en) * 1979-08-02 1982-02-16 Whirlpool Corporation Electronic organ percussive modulator
JPS58201032A (ja) 1982-05-19 1983-11-22 Sharp Corp 音程弁別装置
US4674125A (en) * 1983-06-27 1987-06-16 Rca Corporation Real-time hierarchal pyramid signal processing apparatus
US4599567A (en) * 1983-07-29 1986-07-08 Enelf Inc. Signal representation generator
GB2158980B (en) * 1984-03-23 1989-01-05 Ricoh Kk Extraction of phonemic information
JP2707911B2 (ja) * 1992-03-03 1998-02-04 ヤマハ株式会社 楽音合成装置
US5355329A (en) * 1992-12-14 1994-10-11 Apple Computer, Inc. Digital filter having independent damping and frequency parameters
US5473759A (en) * 1993-02-22 1995-12-05 Apple Computer, Inc. Sound analysis and resynthesis using correlograms
US6046395A (en) * 1995-01-18 2000-04-04 Ivl Technologies Ltd. Method and apparatus for changing the timbre and/or pitch of audio signals
WO1997017692A1 (en) * 1995-11-07 1997-05-15 Euphonics, Incorporated Parametric signal modeling musical synthesizer
US5886276A (en) * 1997-01-16 1999-03-23 The Board Of Trustees Of The Leland Stanford Junior University System and method for multiresolution scalable audio signal encoding
US7242782B1 (en) * 1998-07-31 2007-07-10 Onkyo Kk Audio signal processing circuit
US6868163B1 (en) * 1998-09-22 2005-03-15 Becs Technology, Inc. Hearing aids based on models of cochlear compression
JP2000330599A (ja) * 1999-05-21 2000-11-30 Sony Corp 信号処理方法及び装置、並びに情報提供媒体
US6513004B1 (en) * 1999-11-24 2003-01-28 Matsushita Electric Industrial Co., Ltd. Optimized local feature extraction for automatic speech recognition
US6581081B1 (en) * 2000-01-24 2003-06-17 3Com Corporation Adaptive size filter for efficient computation of wavelet packet trees
US7076315B1 (en) * 2000-03-24 2006-07-11 Audience, Inc. Efficient computation of log-frequency-scale digital filter cascade
US7136493B2 (en) * 2000-06-28 2006-11-14 Peavey Electronics Corporation Sub-harmonic generator and stereo expansion processor
US6915264B2 (en) * 2001-02-22 2005-07-05 Lucent Technologies Inc. Cochlear filter bank structure for determining masked thresholds for use in perceptual audio coding
US6976046B2 (en) * 2001-06-01 2005-12-13 Nokia Corporation Architectures for discrete wavelet transforms
JP2003152544A (ja) * 2001-11-12 2003-05-23 Sony Corp データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
US20050228518A1 (en) * 2002-02-13 2005-10-13 Applied Neurosystems Corporation Filter set for frequency analysis
US7242779B2 (en) * 2002-05-30 2007-07-10 Peavey Electronics Corporation Methods and apparatus for sub-harmonic generation, stereo expansion and distortion
US7558441B2 (en) * 2002-10-24 2009-07-07 Canon Kabushiki Kaisha Resolution conversion upon hierarchical coding and decoding
FR2851094B1 (fr) * 2003-02-07 2005-04-15 Thales Sa Diviseur de frequence a structure entonnoir
JP4191592B2 (ja) * 2003-12-26 2008-12-03 株式会社メガチップス 圧縮符号化装置、圧縮符号化方法およびプログラム
FR2865326B1 (fr) * 2004-01-20 2006-07-21 Thales Sa Procede et dispositif de division de frequence
US7026536B2 (en) * 2004-03-25 2006-04-11 Microsoft Corporation Beat analysis of musical signals
US7792375B2 (en) * 2005-01-19 2010-09-07 Megachips Corporation Rate control system
KR100832360B1 (ko) * 2006-09-25 2008-05-26 삼성전자주식회사 음원 재생기에서의 이퀄라이저 조정 방법 및 그 시스템

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61120185A (ja) * 1984-11-15 1986-06-07 日本ビクター株式会社 楽音分析装置
JPS61120188A (ja) * 1984-11-15 1986-06-07 日本ビクター株式会社 楽音分析装置
JPS63212825A (ja) * 1987-02-13 1988-09-05 Kawai Musical Instr Mfg Co Ltd ピッチ検出測定装置
JPH07234672A (ja) * 1994-02-24 1995-09-05 Yamaha Corp ピッチ検出装置
JPH08328593A (ja) * 1995-06-02 1996-12-13 Oki Electric Ind Co Ltd スペクトル分析方法
JPH09127994A (ja) * 1995-10-26 1997-05-16 Sony Corp 信号符号化方法及び装置
JP2002091433A (ja) * 2000-09-19 2002-03-27 Fujitsu Ltd メロディー情報の抽出方法その装置

Also Published As

Publication number Publication date
US20050211077A1 (en) 2005-09-29
US7482530B2 (en) 2009-01-27
JP2005275068A (ja) 2005-10-06

Similar Documents

Publication Publication Date Title
JP4649859B2 (ja) 信号処理装置および方法、記録媒体、並びにプログラム
US10418040B2 (en) Method for reduction of aliasing introduced by spectral envelope adjustment in real-valued filterbanks
JP4375471B2 (ja) 信号処理装置、信号処理方法、およびプログラム
EP3989223B1 (en) Efficient combined harmonic transposition
JP5638787B2 (ja) サブバンド信号処理
JP5908472B2 (ja) 信号を解析し、瞬時周波数および短時間フーリエ変換を提供するための方法、ならびに信号を解析するためのデバイス
US20160240183A1 (en) Multi-rate system for audio processing
CN105745706A (zh) 用于扩展频带的装置、方法和程序
CN108429995A (zh) 音响处理装置、音响处理方法以及存储介质
US5323467A (en) Method and apparatus for sound enhancement with envelopes of multiband-passed signals feeding comb filters
JPWO2007029796A1 (ja) 帯域拡張装置、帯域拡張方法および帯域拡張プログラム
Bruschi et al. Linear-Phase Octave Graphic Equalizer
JP3707135B2 (ja) カラオケ採点装置
JP3082625B2 (ja) 音声信号処理回路
JP5711645B2 (ja) オーディオ信号出力装置およびオーディオ信号出力方法
US20200090637A1 (en) Method and system for implementing a modal processor
JPH08328593A (ja) スペクトル分析方法
Venkatesh et al. Real-time low-latency music source separation using Hybrid spectrogram-TasNet
dos Santos et al. A modified constant-Q transform for audio signals
RU2772356C2 (ru) Усовершенствованное гармоническое преобразование на основе блока поддиапазонов
JPS6014300A (ja) 音声の特徴抽出方法
KR100201414B1 (ko) 오디오 디코더의 스펙트럼 추출 장치
Alku et al. Linear predictive method with low-frequency emphasis.
JP2004328361A (ja) 倍音生成方法および倍音生成装置
JPH10143171A (ja) 信号処理装置および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101116

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101129

R151 Written notification of patent or utility model registration

Ref document number: 4649859

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131224

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees