JPH0922298A - 音高認識方法及び装置 - Google Patents
音高認識方法及び装置Info
- Publication number
- JPH0922298A JPH0922298A JP8021750A JP2175096A JPH0922298A JP H0922298 A JPH0922298 A JP H0922298A JP 8021750 A JP8021750 A JP 8021750A JP 2175096 A JP2175096 A JP 2175096A JP H0922298 A JPH0922298 A JP H0922298A
- Authority
- JP
- Japan
- Prior art keywords
- zero
- pitch
- value
- cross
- waveform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H5/00—Instruments in which the tones are generated by means of electronic generators
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H3/00—Instruments in which the tones are generated by electromechanical means
- G10H3/12—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument
- G10H3/125—Extracting or recognising the pitch or fundamental frequency of the picked up signal
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S84/00—Music
- Y10S84/18—Tuning
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
- Measuring Frequencies, Analyzing Spectra (AREA)
Abstract
って励振される楽器などから発生された音信号の音高認
識(ピッチ検出)を簡単かつ確実に可能にする。 【解決手段】 入力された音信号の信号波形のゼロクロ
ス間の間隔を該音信号の周期長さ測定値として使用する
ことによって音高を認識する方法または装置において、
前記信号波形の傾斜の大きさを、ゼロクロスの領域のそ
れぞれについて検出し、検出した前記傾斜の大きさを評
価規準として使用して、評価すべきゼロクロス(すなわ
ち音高認識に使用するゼロクロス)を選択する。
Description
作または打ち鳴らし操作によって励振される楽器のよう
な適宜の音発生源から発生された音信号の音高(すなわ
ちピッチ)を認識する方法及び装置に関し、特に、該音
信号の信号波形のゼロクロス間の間隔を該音信号の周期
長さ測定値として使用することによって該音高を認識す
る方法及び装置に関する。
は、各キーに対して明確に定義された音が割り当てられ
た鍵盤楽器が基準楽器として使用されていたが、長い
間、合成音を発生するために他の種類の楽器を使用する
試みがなされてきた。このような楽器の一例としては、
指またはピックを使用した爪弾き操作または打ち鳴らし
操作によって、張設された弦が振動されるギターがあ
る。既知のように、ギターの場合、その弦の有効振動長
さを変えることによって、様々な音高を発生できる。伝
統的なアコースティックギターの場合、弦の振動はギタ
ー本体の共鳴によって直接的に耳に聞こえる楽音を発生
するが、電子的な楽音合成技術を適用しようとする場合
には、励振された弦の振動周波数(すなわち音高若しく
はピッチ)を検出する必要がある。音高が検出されれ
ば、その音高情報に対応する楽音信号を適宜の楽音合成
技術を利用して合成することができ、さらに適宜に処理
することができる。ギターのみならず、例えばハープ、
ベース、チターなどの爪弾き操作または打ち鳴らし操作
される他の弦楽器についても同様の課題があるであろ
う。また、ドラムの場合にも、音高認識が重要になるこ
とがある。更に、原則的には、このような音高認識方法
は、いわゆる“ボイスフォロア(voice follower)”で
さらに処理可能な人間の音声における音高認識にとって
も必要であり、その他すべての音信号(すなわちオーデ
ィオ信号)に適用可能である。しかし、便宜上、ここで
はギターにおける音高認識について以下に説明する。
ロクロスを検出する音高認識方法が開示されている。こ
の特許によると、同一方向の2つのゼロクロス間の間隔
が音信号の周期長さ測定値として考慮される。この周期
の逆数が周波数に相当する。
示されたような音高認識方法の問題点は、周期を決定す
るゼロクロスに加えて、例えば高調波に起因するゼロク
ロスも1つの周期内に発生する、ということである。従
って、上記音高認識方法にあっては、ゼロクロスの時点
のみならず、信号波形の振幅最大値をも検出する必要が
ある。この場合、“エンベロープフォロア(envelope f
ollower)”とも呼ばれる一種のエンベロープ曲線が発
生される。その結果、ある特定のゼロクロスが1つの周
期の境目を表わしているか否かを判定するために、付加
的な規準が使用されている。2つの連続した周期が所定
量以上異なっていないときに、音高信号が発生される。
すます、ディジタル的に行われるようになっている。公
知の音高認識方法にあっては、計算のために相当量のエ
ネルギが必要である。1つの弦だけてはなく複数の弦に
ついて継続的に計算のためのエネルギを確保しなければ
ならないので、今日利用可能なプロセッサによっては、
経済的な解決を実現することは実質的に不可能である。
この発明は上述の点に鑑みてなされたもので、簡単に、
確実な音高認識をおこなうことができる方法及び装置を
提供することを目的とする。
に、この発明に係る方法は、入力された音信号の信号波
形のゼロクロス間の間隔を該音信号の周期長さ測定値と
して使用することによって音高を認識する音高認識方法
において、前記信号波形の傾斜の大きさをゼロクロスの
領域のそれぞれについて検出し、検出した前記傾斜の大
きさを、評価すべきゼロクロスを選択するための評価規
準として使用することを特徴とするものである。
音信号の信号波形のゼロクロス間の間隔を該音信号の周
期長さ測定値として使用することによって音高を認識す
る音高認識方法において、前記信号波形の傾斜の大きさ
をゼロクロスの領域のそれぞれについて検出するステッ
プと、検出した前記信号波形の傾斜の最大値を判定し、
該傾斜の最大値に基づいて減衰関数を発生し、現時点に
おける前記減衰関数の値を超える大きさの傾斜を有する
ゼロクロスについてのみ以後の処理を行い、こうして評
価すべきゼロクロスを選択するステップとを備えたこと
を特徴とするものである。更に、この発明に係る方法
は、入力された音信号の信号波形のゼロクロス間の間隔
を該音信号の周期長さ測定値として使用することによっ
て音高を認識する音高認識方法において、前記信号波形
の傾斜の大きさをゼロクロスの領域のそれぞれについて
検出する処理と、検出した前記傾斜の大きさを、評価す
べきゼロクロスを選択するための評価規準として使用す
る処理と、重要なゼロクロスの時点を補間によって決定
する処理とを備えたことを特徴とするものである。
しての振幅値A(t)からなる波形によって表わされる
楽音の音高を決定するための音高認識装置であって、前
記波形が前記音高を定義する略等しい長さの複数の周期
を有し、前記波形の各周期がA(t)=0である複数の
ゼロクロスを有し、(a)前記波形の少なくとも1つの
周期における前記波形のゼロクロスを検出するゼロクロ
ス検出手段と、(b)各前記ゼロクロスごとに前記波形
の急峻度値を求める急峻度算出手段と、(c)しきい値
を発生するしきい値発生手段と、(d)前記急峻度算出
手段によって求められた急峻度値を前記しきい値と比較
することによって、前記検出されたゼロクロスのうち前
記しきい値未満の急峻度値を有するゼロクロスを弁別
し、これにより、前記少なくとも1つの周期における最
終的なゼロクロスを決定する弁別手段と、(e)前記少
なくとも1つの周期の長さを定義する前記最終的なゼロ
クロスに基づいて、前記音高を算出する演算手段とを具
備したものである。更に、この発明に係る装置は、上記
しきい値発生手段が、ゼロクロスが発生するごとに変更
される動的なしきい値を発生することを特徴とする。
的は、前記信号波形の傾斜の大きさをゼロクロスの領域
のそれぞれについて検出し、検出した前記傾斜の大きさ
を、評価すべきゼロクロスを選択するための評価規準と
して使用することによって達成される。必要とされる計
算エネルギは、米国特許第5,014,589号に開示された方
法に比べて約1/10以下に大幅に減少可能である。つ
まり、サンプル値をディジタル変換した信号としての音
信号は、ゼロクロス領域についてのみ評価される。ゼロ
クロスは、2つの連続したサンプル値の極性を比較する
ことによって容易に検出可能である。その他のサンプル
値はすべて、評価の対象から除外される。精度を高める
ために必要な場合、ゼロクロス領域内の数個の値が付加
的に考慮される。同様に、ゼロクロスの傾斜も比較的容
易に検出可能である。一定のサンプリング周波数を前提
とした場合、原則的に、ゼロクロスの前、後の2つのサ
ンプル値の間の間隔を検出すればよい。音信号の波形
は、周期を規定するゼロクロスにおいて最も急峻になる
からである。従って、考慮すべきことは、同じ極性の最
も急峻なゼロクロスだけである。こうして、これらのゼ
ロクロスの間の間隔が、周期長さとして決定される。こ
のようにして、ある特定のゼロクロスが周期長さを求め
るために重要であるか否かを判定するために必要な情報
は、ゼロクロスにおける信号波形から直接的に得られ
る。このように、ゼロクロスまたはその直ぐ近辺に位置
するサンプル値のみを計算対象とすればよいので、必要
な計算エネルギを大幅に減少させることができる。
ち、信号波形の傾斜が最も大きなゼロクロスを使用する
ことによって、信号波形の乱れによる影響を最小にでき
る、という利点がある。最も簡単な構成例において、こ
のような乱れをオフセット(すなわち、信号波形の正方
向または負方向におけるズレ)とみなした場合、平坦な
信号波形がゼロ軸に交差する際のズレは、急峻な信号波
形のゼロクロスより大きくなる。このような急峻なゼロ
クロスに制限することによって、音高認識の精度が高め
られる。
信号波形についての情報は必要とされないので、比較的
粗い分解能、すなわち、低いサンプリングレートによる
適切な処理が可能である。人間の耳は、自己の周波数帯
域において、比較的細かな分解能を有する。このため、
音高情報は、約1セント、すなわち、半音の1/100
の精度で実現されなければならない。80Hz〜1kH
zの周波数帯域を有するギターの場合、このような目的
のためには、1.7MHzのサンプリングレートが必要
であり、必要な計算の複雑さは莫大である。この発明に
係る方法を使用することによって、従来の方法に比べて
はるかに少ない数のサンプル値だけで、適切な処理を行
うことができる。この場合、約10kHzのサンプリン
グレートが適当である。
るために、好ましくは前記傾斜の最大値が検出され、こ
の最大値に基づいて減衰関数が発生され、現時点におけ
る減衰関数の値を超える傾斜値を有するゼロクロスのみ
が、以後の処理を受ける。一方、前記減衰関数によっ
て、小さすぎる傾斜を有するすべてのゼロクロスが除外
される。さらに、前記以後の処理の間、これらのゼロク
ロスのための計算エネルギは必要でない。このようにし
て、重要ではないゼロクロスの除外は比較的早期に行わ
れる。さらに、固定したしきい値とは対照的に、前記減
衰関数は、実際の楽器のダイナミックレンジが考慮され
る、という利点を有する。また、前記信号波形の傾斜
は、とりわけ、楽器の演奏音量によって決定される。さ
らに、弦が打ち鳴らし操作された瞬間には、前記傾斜に
スパイクが発生することがある。このようなスパイクは
基本的に重要な(意義ある)ものではない。前記減衰関
数は、楽器のダイナミックレンジとの整合にも関わら
ず、小さすぎる傾斜を有するゼロクロスの除外を可能に
するが、上述したスパイクがこの音高認識方法の実施を
妨害しないことを保証する。
にのみ前記減衰関数の値を小さくすることが特に好まし
い。このようにして、計算エネルギを節約でき、一方、
前記減衰関数を段階的に小さくすることもできる。さら
に、前記減衰関数を小さくしようとする毎に、前記減衰
関数の値に一定の係数を乗じることも好ましい。このよ
うにして、初期的には大幅な値の減少を行い、その後に
は、穏やかな値の減少を行うような、指数的な減衰が実
現される。従って、スパイクはより速く除去される。
やり方で少なくとももう一度、減衰関数と比較されるの
が好ましい。こりようにして、評価能力を高めることが
できる。特に打ち鳴らし操作によるスタート領域におけ
る音信号の自然な不均等性の結果、前記傾斜値に比較的
大きな分散が生じる。前記しきい値が大きすぎ値である
場合、認識されるべき重要なゼロクロスが認識され得な
い。音信号が多数のゼロクロスを有する場合、前記減衰
関数は高速で小さすぎる値に達するので、前記減衰関数
と前記傾斜との比較のによって、重要ではないゼロクロ
スが間違って“重要”と分類されることになる。二次的
(付加的)な“フィルタ処理”は、依然として正しくな
い、すなわち、不必要な値を除外するが、重要な値はす
べて確実に保持する。原則として、周期長さの決定に使
用される最も急峻なゼロクロスを実際に検出するために
は、1回の二次的な比較で十分である。
は、該ゼロクロスの近辺の音信号の複数の傾斜値によっ
て補間される。ベースがゼロクロス領域における基本的
にリニアな信号波形である場合には、2つの値に基づく
1回の傾斜検出で十分である。しかし、この領域におけ
る信号波形が比較的急な曲率を有するものである場合、
このような簡単な傾斜検出ではエラーが発生する。
る前記傾斜が次のゼロクロスの傾斜の大きさの所定比率
に達しない場合、前記特定のゼロクロスは重要ではない
ものとして除外される。このようにして、スパイク、す
なわち、通常の信号波形に適合しない値が、容易且つ速
やかに除外され得る。好ましくは、重要なゼロクロスの
時点は、補間によって決定される。しかし、このような
補間は、重要なゼロクロスが検出された場合にのみ必要
である。このため、有用な結果が実際に予期されている
ときにのみ、計算エネルギが必要になる。
間間隔が相互比較し、所定のリミット未満の差がある場
合にのみ、音高が決定される。これは、音高およびこれ
に関連した周期長さがテーブルに格納される場合、特に
有利である。前記周期長さが変化しない限り、音高は変
化しない。従って、必要な情報は既に存在しているの
で、情報を得るための新たな計算またはサーチは不必要
である。これも、相当な計算時間の節約になる。
音信号について固定したサンプリング周波数が使用さ
れ、前記時間間隔において決定された音高が平均化され
ることによって、所定の長さを有する時間間隔の終わり
にのみ、音高オリジナル値が発生される。前記時間間隔
は、例えば8〜15msの長さを有するものである。固
定したサンプリング周波数では、音が低くなればなるほ
ど周期当たりのサンプル値が多くなの、音が高くなれば
なるほど周期当たりのサンプル値が少なくなる。従っ
て、本質的に、音が高くなればなるほど音高認識精度が
低くなる。この不都合は、固定した時間間隔内に平均化
することによって補償される。個々の周期における相対
的な精度は、明らかに幾分低いものになる。しかし、高
い音の場合については、固定した時間間隔内により多く
の周期が含まれるという事実によって、実際の音高によ
り忠実に近づくよう再度の平均化が行われる。
直ぐ前に通過させられた音高オリジナル値から所定の量
だけ異なる場合にのみ、インターフェイスを介して前記
音高オリジナル値が通過させられる。このようなインタ
ーフェイスは、例えば、MIDI(Musical Instrument
Digital Interface)であってよく、他の形態の信号伝
送に依然として広く使用されているものである。伝送さ
れるデータの変化を制限することによって、前記インタ
ーフェイスを空き状態にし続けることができる。
フィルタ処理されるのが好ましい。このようなローパス
フィルタ処理は、例えば2極IIRフィルタを使用する
ことによって、極めて情報を過剰に除外することを回避
するよう極めて慎重に行う必要がある。参考的な数字と
して、このフィルタ処理の後、10を超えるゼロクロス
が残らないようにしてよい。
方向の両方に評価される。明らかに、この評価法は、1
つの極性だけの評価する場合より、多くの計算エネルギ
を必要とする。しかし、精度向上に貢献する付加的な情
報が得られる。特に好ましくは、ある特定のゼロクロス
の傾斜が直ぐ前のゼロクロスの逆極性の傾斜の半分未満
である場合、前記特定のゼロクロスは評価されない。従
って、この場合、周期長さを決定するためゼロクロスの
使用は行われない。しかし、他方の極性のゼロクロスの
間の間隔から周期長さを決定できるので、この情報ロス
に対処できる。
明の実施の形態を詳細に説明しよう。図1は、各周期T
ごとに複数のゼロクロスが存在する典型的な音信号(オ
ーディオ信号)の波形例を示す図。ここに例示された音
信号は、簡単な2極IIRフィルタを使用した低域通過
フィルタ処理が既になされたものである。前記フィルタ
は乱れを起こす高調波を除去する。この音信号は、以後
の処理のためにディジタル化される。すなわち、様々な
時点P0,P1,P2,P3,...における振幅値A
0,A1,A2,A3,...が検出され(図3)、ディ
ジタル値に変換される。これらのディジタル値は、3つ
以上の値を格納するシフトレジスタまたはFIFOバッ
ファに格納されることができる。
つの連続したサンプル値を相互比較することによって容
易に検出可能である。つまり、例えばA0とA1、A2
とA3のように2つの連続したサンプル値が同一の極性
を有する場合、ゼロクロスは存在しない。ゼロクロスの
直ぐ近辺における例外を無視する場合、このような値は
除外することができる。周期長さTは、2つのゼロクロ
ス間のインターバル、すなわち、例えば、X21P−X
11P,X22P−X12P,X21N−X11Nまた
はX22N−X12N間のインターバルである。このよ
うな周期長さの検出は任意の方法で行ってもよいが、X
21PとX11PまたはX21NとX11Nの1対の値
を使用する場合、最も正確な結果が得られる。というの
は、前記信号波形は、これらの時点のゼロクロスにおい
て最も大きな傾斜度を有し、ここでは、波形の乱れによ
る影響が最も小さいからである。すなわち、ゼロクロス
のオフセットが小さければ小さいほど、該ゼロクロスに
おける信号波形の傾斜が急になる。
検出に使用される比較的簡単な方法について説明する。
図2の(A)は、各周期ごとに複数のゼロクロスを有す
る典型的な信号波形を示し、さらに、各ゼロクロスにお
ける信号波形の傾斜の大きさを示す図。図2の(B)は
正の傾斜値を示す。各図示例において、これらの傾斜値
は、それぞれのゼロクロスに隣接した2つのサンプル値
を減算することによって、簡単に決定される。この実施
の形態におけるサンプリングレートは10kHzの一定
レートであるので、前記減算によって得られる差は、前
記傾斜についてのステートメントを作成するのに十分な
ものになる。
よって、それ以上の評価のために大量の情報が必要でな
くなる、ということが理解されるであろう。こうして、
大量の情報のための計算エネルギが必要でなくなる。図
2の(C)は、図2の(B)の傾斜値を示すと共に、破
線によって減衰関数の値を示す。該減衰関数は次のよう
にして形成される。ここで、Dは傾斜値、ENV1は減
衰関数の値、F1は例えば11/16である一定の減衰
係数を示す。
値Dに設定される。二番目のゼロクロスにおいて、 ENV1=F1×ENV1 によって表わされるように、前記減衰関数が変更され
る。ここで、D>ENV1 ならば、ENV1=D が
設定される。この例は、二番目のゼロクロスについて示
されている。もし、D<ENV1ならば、これは、重要
ではないものと考えられる小さな傾斜を有するゼロクロ
スである。従って、この箇所は以後の評価から除外され
る。
ような最初のフィルタ処理の後、一番目、二番目、五番
目、六番目、九番目、十番目等のゼロクロスのみが残
り、その他のゼロクロスはすべて除去された状態にな
る。重要なものとして残された前記ゼロクロスは、上記
と同様に、 ENV2=F2×ENV2 によって表わされるように、次のフィルタ処理(図2の
(E))を受ける。ここで、ENV2は減衰関数の値、
F2は減衰係数を示す。D>ENV2の場合にのみ、対
応するゼロクロスはさらに評価され、D>ENV2では
ない場合、対応するゼロクロスは重要ではないものとし
て除外される。
の(E)の後には、最も急峻なゼロクロスのみが最終的
に残る。これらのゼロクロスの間の間隔は周期長さTで
あり、該周期長さTが音高の測定値である。音高測定精
度を高めるために、ゼロクロスの近傍の時点を使用して
もよい。例えば、隣接した2つの時点P1,P2そのも
のではなく、これらの前後の時点P0,P3を使用して
よい。
の間の距離) とすると、傾斜値Dは、 D=(D21+dx×D10+(1−dx)×D32)/
2 となる。浮動小数点演算を回避したい場合において、1
6回の“オーバサンプリング”をシミュレートすると
き、整数演算を使用した補間を行ってもよい。絶対的な
傾斜に注目せず、個々の傾斜値の間の比に注目する場
合、2による除算を回避できる。この場合、 dx=(A2<<4)/(A2−A1) D={dx×(A2−A0)+(16−dx)×(A3−A
1)} を設定することができる。ここで、記号“<<”は、二
進数の“左シフト”演算を示す。左方向に4ビットシフ
トすることは16を掛けることに等しく、ゼロクロスの
時点は、 T=(1X<<4)−dx となる。ここで、1Xは時点P2におけるサンプリング
指数である。このようにして検出された2つの連続した
ゼロクロス時点の差によって、周期長さが得られる。
(例えば40〜60セント)未満である場合、上記のよ
うに検出された周期長さは、実際に、弦の振動周期の長
さに対応する、ものであるとみなすことができる。この
場合、小さな誤差を除去するために、前記周期長さは、
2つの連続した周期長さの平均値とされる。
に相互比較することによって提供される。例えば、傾斜
値50,35,27のシーケンスが考えられる。これ
は、高速で減衰している信号に対応する。一方、傾斜値
50,35,48のシーケンスは、比較的あり得ないも
のである。この場合、二番目の傾斜値“35”はその信
号に適当ではなく、従って、これに関連するゼロクロス
を除外する必要がある。これは、前の値を現在値の所定
比率と比較することによって、比較的容易に実現可能で
ある。F3が例えば3/4である1より小さい一定値で
あるとした場合において、 F3×D(n)>D(n−1) のとき、傾斜値D(n−1)に関連するゼロクロスが除
外される。
/32Tである。なお、ここで、Tはサンプリング周期
である。また、相対的な精度は周波数に左右される。つ
まり、低い周波数にあっては相対的な精度が高くなり、
従って、1セント(半音の1/100)の誤差の信号を
発生するのに十分である。しかし、周波数が高くなるの
につれて相対的な誤差が大きくなり、正しくない音高情
報が発生するおそれがある。この誤差は、例えば8〜1
5msの一定長さの“タイムスロット”の終わり以外の
各周期の終わりに、音高信号の発生を停止することによ
って克服される。いずれにせよ、後続の処理は対応する
時間を取るので、音高情報を高速で供給する必要はな
い。このようなタイムスロットにあっては、周波数が低
ければ低いほど、高い相対的精度で少ない周期が検出さ
れる。逆に、周波数が高ければ高いほど、低いい相対的
精度で多くの周期が検出される。各々のタイムスロット
における周期長さが平均化される場合、人間の耳にとっ
て不快でなくなる程度まで誤差を解決できる。
を持つゼロクロスおよび負の傾斜を持つゼロクロスの両
方から得られる。これらの傾斜の大きさが互いに著しく
異なる情況が、時折起こる。一方の傾斜量が他方の傾斜
量に比べて3倍以上大きい場合、傾斜量が小さい方のゼ
ロクロスは考慮されない。音高決定中にゼロクロスが評
価されるようにするためには存在しなければならない最
小の傾斜を定義することもできる。この最小の傾斜は、
前のタイムスロットの最大傾斜の1/2を次のタイムス
ロットの最小傾斜として使用することによって、動的に
変化可能である。
すブロック図である。ギター等の弦楽器のピックアップ
から入力された波形信号は、音声入力信号としてA/D
変換器1に与えられ、該A/D変換器1において、一定
のサンプリングレートでサンプリングされ、ディジタル
信号に変換される。該ディジタル信号は、乱れを起こす
高調波を除去するために、ローパスフィルタ2でフィル
タ処理される。図2の(A)に示すような波形を有する
該ローパスフィルタ2の出力は、ゼロクロス検出器3a
と急峻度演算器3bとで構成される演算ユニット3に与
えられる。該ユニット3において、前記ゼロクロス検出
器3aは、前記ローパスフィルタ2の出力のゼロクロス
を検出し、上述した方法のうちの1つに従って、ゼロク
ロスのタイミングを検出する。前記急峻度演算器3b
は、各ゼロクロスごとに、該ゼロクロスの波形における
急峻度を算出する。該急峻度を算出するためのいくつか
の方法は、上述されている。前記急峻度を算出する最も
簡単な方法は、対応するゼロクロスの直ぐ近辺における
2つのサンプル値の絶対値を算出する方法である。
算器3bは、前記ローパスフィルタ2から与えられるデ
ータの量を大幅に減少させる。前記演算ユニット3の出
力は一例のデータ対からなり、各データ対の一番目のデ
ータはゼロクロスのタイミング位置を示し、二番目のデ
ータは対応するゼロクロスの波形の急峻度を示す。比較
的小さな急峻度を有するゼロクロスを除外するために、
前記演算ユニット3の出力は弁別器4に与えられる。該
弁別器4は、所定のしきい値より小さな急峻度を有する
ゼロクロスのすべてを除外するためのものである。しき
い値発生器5は、上述した方法に従って、しきい値EN
V1を発生する。短く言えば、前記しきい値ENV1
は、各ゼロクロスごとに一定係数F1ずつ小さくされ、
また、急峻度値が前のしきい値より大きくなった場合に
そのゼロクロスの急峻度値にまで大きくされる。
タの量に減少するよう、前記弁別器4は、比較的小さな
急峻度を有するすべてのゼロクロスを除外する。他の弁
別器6およびしきい値発生器7による上記と同じ種類の
二回目のフィルタ処理によって、最終的には、図2の
(F)に例示されるようなデータセットが残る。前記弁
別器6の出力に残った図2の(F)に例示したゼロクロ
スは、楽音の周期長さを定義する基本的なゼロクロスで
ある。演算器8は、前記残ったゼロクロスのうち少なく
とも2つのゼロクロスの間の時間間隔を検出し、その逆
数を求める。該逆数は、その波形を分析すべき楽音の基
本周波数に直接対応するものである。その結果としての
周波数信号は、前記演算器8によって出力される音高信
号に容易に変換されることができる。
操作によって励振される楽器(例えばギターのような弦
楽器)から発生された音信号を入力してその音高を認識
する場合において好適である。そのような場合、自然楽
器から発生された該音信号から認識した音高情報を基に
して様々な処理(例えば音高情報に基づく新たな楽音合
成処理)を行なうように、利用できる。勿論、これに限
らず、どのような音発生源から発生された音信号に対し
ても、本発明を適用することができる。
実に音高認識を行うことができる、という優れた効果を
奏する。
示す図。
処理手順を説明する図。
示すブロック図。
Claims (18)
- 【請求項1】 入力された音信号の信号波形のゼロクロ
ス間の間隔を該音信号の周期長さ測定値として使用する
ことによって音高を認識する音高認識方法において、 前記信号波形の傾斜の大きさをゼロクロスの領域のそれ
ぞれについて検出し、 検出した前記傾斜の大きさを、評価すべきゼロクロスを
選択するための評価規準として使用することを特徴とす
る音高認識方法。 - 【請求項2】 入力された音信号の信号波形のゼロクロ
ス間の間隔を該音信号の周期長さ測定値として使用する
ことによって音高を認識する音高認識方法において、 前記信号波形の傾斜の大きさをゼロクロスの領域のそれ
ぞれについて検出するステップと、 検出した前記信号波形の傾斜の最大値を判定し、該傾斜
の最大値に基づいて減衰関数を発生し、現時点における
前記減衰関数の値を超える大きさの傾斜を有するゼロク
ロスについてのみ以後の処理を行い、こうして評価すべ
きゼロクロスを選択するステップとを備えた音高認識方
法。 - 【請求項3】 ゼロクロスが発生した時にのみ、前記減
衰関数の値を小さくする請求項2に記載の音高認識方
法。 - 【請求項4】 前記減衰関数の値を小さくしようとする
毎に、該減衰関数の値に一定の係数を乗ずる請求項3に
記載の音高認識方法。 - 【請求項5】 前記減衰関数の値を超える傾斜値を、同
じやり方で少なくとももう一度、前記減衰関数と比較す
る請求項2に記載の音高認識方法。 - 【請求項6】 ゼロクロスにおける前記傾斜を、該ゼロ
クロスの近辺における前記音信号の複数の傾斜値によっ
て補間する請求項1に記載の音高認識方法。 - 【請求項7】 ある特定のゼロクロスにおける前記傾斜
が次のゼロクロスの傾斜の大きさの所定比率に達しない
場合、前記特定のゼロクロスを除外する請求項1に記載
の音高認識方法。 - 【請求項8】 ゼロクロスの間の連続した時間間隔を相
互比較し、前記時間間隔の間の差が所定のリミット未満
である場合にのみ、音高を決定する請求項1に記載の音
高認識方法。 - 【請求項9】 前記音信号について固定したサンプリン
グ周波数を使用し、前記時間間隔において決定された音
高を平均化することによって、所定の長さを有する時間
間隔の終わりにのみ、音高オリジナル値を発生する請求
項1に記載の音高認識方法。 - 【請求項10】 前記音高オリジナル値が直ぐ前に通過
させられた音高オリジナル値から所定の量だけ異なる場
合にのみ、インターフェイスを介して前記音高オリジナ
ル値を通過させる請求項9に記載の音高認識方法。 - 【請求項11】 音高決定の前に、前記音信号をローパ
スフィルタ処理する請求項1に記載の音高認識方法。 - 【請求項12】 ゼロクロスを正方向および負方向の両
方向に評価する請求項1に記載の音高認識方法。 - 【請求項13】 ある特定のゼロクロスの傾斜が、直ぐ
前のゼロクロスの逆極性の傾斜の半分未満である場合、
前記特定のゼロクロスを評価しないようにする請求項1
2に記載の音高認識方法。 - 【請求項14】 入力された音信号の信号波形のゼロク
ロス間の間隔を該音信号の周期長さ測定値として使用す
ることによって音高を認識する音高認識方法において、 前記信号波形の傾斜の大きさをゼロクロスの領域のそれ
ぞれについて検出する処理と、 検出した前記傾斜の大きさを、評価すべきゼロクロスを
選択するための評価規準として使用する処理と、 重要なゼロクロスの時点を補間によって決定する処理と
を備えた音高認識方法。 - 【請求項15】 爪弾きまたは打ち鳴らし操作によって
励振される楽器から発生された楽音信号を前記音信号と
して入力する請求項1乃至14のいずれかに記載の音高
認識方法。 - 【請求項16】 時間関数としての振幅値A(t)から
なる波形によって表わされる楽音の音高を決定するため
の音高認識装置であって、前記波形が前記音高を定義す
る略等しい長さの複数の周期を有し、前記波形の各周期
がA(t)=0である複数のゼロクロスを有し、(a)
前記波形の少なくとも1つの周期における前記波形のゼ
ロクロスを検出するゼロクロス検出手段と、(b)各前
記ゼロクロスごとに前記波形の急峻度値を求める急峻度
算出手段と、(c)しきい値を発生するしきい値発生手
段と、(d)前記急峻度算出手段によって求められた急
峻度値を前記しきい値と比較することによって、前記検
出されたゼロクロスのうち前記しきい値未満の急峻度値
を有するゼロクロスを弁別し、これにより、前記少なく
とも1つの周期における最終的なゼロクロスを決定する
弁別手段と、(e)前記少なくとも1つの周期の長さを
定義する前記最終的なゼロクロスに基づいて、前記音高
を算出する演算手段とを具備する音高認識装置。 - 【請求項17】 時間関数としての振幅値A(t)から
なる波形によって表わされる楽音の音高を決定するため
の音高認識装置であって、前記波形が前記音高を定義す
る略等しい長さの複数の周期を有し、前記波形の各周期
がA(t)=0である複数のゼロクロスを有し、(a)
前記波形の少なくとも1つの周期における前記波形のゼ
ロクロスを検出するゼロクロス検出手段と、(b)各前
記ゼロクロスごとに前記波形の急峻度値を求める急峻度
算出手段と、(c)ゼロクロスが発生するごとに変更さ
れる動的なしきい値を発生するしきい値発生手段と、
(d)前記急峻度算出手段によって求められた急峻度値
を前記しきい値と比較することによって、前記検出され
たゼロクロスのうち前記しきい値未満の急峻度値を有す
るゼロクロスを弁別し、これにより、前記少なくとも1
つの周期における最終的なゼロクロスを決定する弁別手
段と、(e)前記少なくとも1つの周期の長さを定義す
る前記最終的なゼロクロスに基づいて、前記音高を算出
する演算手段とを具備する音高認識装置。 - 【請求項18】 前記動的なしきい値を、前記しきい値
を超える急峻度値を有するゼロクロスが発生するごとに
大きくなり、次のゼロクロスの急峻度値と比較する前毎
に小さくなるよう、変更する請求項17に記載の音高認
識装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19500750.6-51 | 1995-01-12 | ||
DE19500750A DE19500750C2 (de) | 1995-01-12 | 1995-01-12 | Verfahren zur Tonhöhenerkennung, insbesondere bei zupf- oder schlagerregten Musikinstrumenten |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0922298A true JPH0922298A (ja) | 1997-01-21 |
JP2799364B2 JP2799364B2 (ja) | 1998-09-17 |
Family
ID=7751357
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP8021750A Expired - Fee Related JP2799364B2 (ja) | 1995-01-12 | 1996-01-12 | 音高認識方法及び装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US5780759A (ja) |
EP (1) | EP0722161B1 (ja) |
JP (1) | JP2799364B2 (ja) |
KR (1) | KR100189796B1 (ja) |
DE (2) | DE19500750C2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002049383A (ja) * | 2000-08-02 | 2002-02-15 | Sony Corp | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 |
JP2006113416A (ja) * | 2004-10-18 | 2006-04-27 | New Japan Radio Co Ltd | 周波数検出方法および装置 |
JP2006145851A (ja) * | 2004-11-19 | 2006-06-08 | Nintendo Co Ltd | 息吹きかけ判別プログラム、息吹きかけ判別装置、ゲームプログラムおよびゲーム装置 |
US7397483B1 (en) | 1998-07-02 | 2008-07-08 | Canon Kabushiki Kaisha | Image data conversion using interpolation |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19649296C2 (de) * | 1996-11-28 | 2002-01-17 | Blue Chip Music Gmbh | Verfahren zur Tonhöhenerkennung bei zupf- oder schlagerregten Saiteninstrumenten |
US20050120870A1 (en) * | 1998-05-15 | 2005-06-09 | Ludwig Lester F. | Envelope-controlled dynamic layering of audio signal processing and synthesis for music applications |
US6766288B1 (en) | 1998-10-29 | 2004-07-20 | Paul Reed Smith Guitars | Fast find fundamental method |
US6836056B2 (en) | 2000-02-04 | 2004-12-28 | Viking Technologies, L.C. | Linear motor having piezo actuators |
US6465723B2 (en) | 2000-03-07 | 2002-10-15 | Lynn M. Milano | Automatic string instrument tuner kit |
AU2001243481A1 (en) | 2000-03-07 | 2001-09-17 | Viking Technologies, Inc. | Method and system for automatically tuning a stringed instrument |
US6529843B1 (en) | 2000-04-12 | 2003-03-04 | David J. Carpenter | Beat rate tuning system and methods of using same |
US6613971B1 (en) | 2000-04-12 | 2003-09-02 | David J. Carpenter | Electronic tuning system and methods of using same |
US6627806B1 (en) | 2000-04-12 | 2003-09-30 | David J. Carpenter | Note detection system and methods of using same |
US6717332B2 (en) | 2000-04-18 | 2004-04-06 | Viking Technologies, L.C. | Apparatus having a support structure and actuator |
US6548938B2 (en) | 2000-04-18 | 2003-04-15 | Viking Technologies, L.C. | Apparatus having a pair of opposing surfaces driven by a piezoelectric actuator |
US6759790B1 (en) | 2001-01-29 | 2004-07-06 | Viking Technologies, L.C. | Apparatus for moving folded-back arms having a pair of opposing surfaces in response to an electrical activation |
US6479738B1 (en) | 2001-06-27 | 2002-11-12 | Donald A. Gilmore | Piano tuner |
EP1466261B1 (en) * | 2002-01-08 | 2018-03-07 | Seven Networks, LLC | Connection architecture for a mobile network |
US6559369B1 (en) | 2002-01-14 | 2003-05-06 | Donald A. Gilmore | Apparatus and method for self-tuning a piano |
JP4202111B2 (ja) * | 2002-12-20 | 2008-12-24 | 株式会社コルグ | チューナ |
JP4190426B2 (ja) * | 2004-01-08 | 2008-12-03 | ローランド株式会社 | 電子打楽器 |
JP4504052B2 (ja) * | 2004-03-15 | 2010-07-14 | セイコーインスツル株式会社 | 調律装置及び調律方法 |
RS20060577A (en) * | 2006-10-19 | 2009-05-06 | U.S. Music Corporation, | Method for signal period measuring with adaptive triggers |
WO2008051766A2 (en) * | 2006-10-19 | 2008-05-02 | U.S. Music Corporation | Adaptive triggers method for signal period measuring |
US7732703B2 (en) | 2007-02-05 | 2010-06-08 | Ediface Digital, Llc. | Music processing system including device for converting guitar sounds to MIDI commands |
WO2011060130A1 (en) | 2009-11-12 | 2011-05-19 | Paul Reed Smith Guitars Limited Partnership | Domain identification and separation for precision measurement of waveforms |
WO2011060145A1 (en) * | 2009-11-12 | 2011-05-19 | Paul Reed Smith Guitars Limited Partnership | A precision measurement of waveforms using deconvolution and windowing |
US8620976B2 (en) | 2009-11-12 | 2013-12-31 | Paul Reed Smith Guitars Limited Partnership | Precision measurement of waveforms |
US8873821B2 (en) | 2012-03-20 | 2014-10-28 | Paul Reed Smith Guitars Limited Partnership | Scoring and adjusting pixels based on neighborhood relationships for revealing data in images |
CN111261191A (zh) * | 2019-11-22 | 2020-06-09 | 惠州市德赛西威智能交通技术研究院有限公司 | 车载多媒体系统声音拼接和无声的自动化检测方法及系统 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4688464A (en) * | 1986-01-16 | 1987-08-25 | Ivl Technologies Ltd. | Pitch detection apparatus |
US4817484A (en) * | 1987-04-27 | 1989-04-04 | Casio Computer Co., Ltd. | Electronic stringed instrument |
US4882965A (en) * | 1987-09-02 | 1989-11-28 | Mcclish Richard E D | Direction of bowing detection method and apparatus |
JPH0196700A (ja) * | 1987-10-08 | 1989-04-14 | Casio Comput Co Ltd | 電子楽器の入力制御装置 |
JPH01177082A (ja) * | 1987-12-28 | 1989-07-13 | Casio Comput Co Ltd | 音高決定装置 |
JP2734521B2 (ja) * | 1988-03-31 | 1998-03-30 | カシオ計算機株式会社 | 楽音制御装置 |
US5001960A (en) * | 1988-06-10 | 1991-03-26 | Casio Computer Co., Ltd. | Apparatus for controlling reproduction on pitch variation of an input waveform signal |
US5349130A (en) * | 1991-05-02 | 1994-09-20 | Casio Computer Co., Ltd. | Pitch extracting apparatus having means for measuring interval between zero-crossing points of a waveform |
-
1995
- 1995-01-12 DE DE19500750A patent/DE19500750C2/de not_active Expired - Fee Related
- 1995-12-19 US US08/574,590 patent/US5780759A/en not_active Expired - Lifetime
-
1996
- 1996-01-10 KR KR1019960000377A patent/KR100189796B1/ko not_active IP Right Cessation
- 1996-01-10 DE DE69607223T patent/DE69607223T2/de not_active Expired - Lifetime
- 1996-01-10 EP EP96100291A patent/EP0722161B1/en not_active Expired - Lifetime
- 1996-01-12 JP JP8021750A patent/JP2799364B2/ja not_active Expired - Fee Related
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7397483B1 (en) | 1998-07-02 | 2008-07-08 | Canon Kabushiki Kaisha | Image data conversion using interpolation |
JP2002049383A (ja) * | 2000-08-02 | 2002-02-15 | Sony Corp | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 |
JP4645867B2 (ja) * | 2000-08-02 | 2011-03-09 | ソニー株式会社 | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 |
JP2006113416A (ja) * | 2004-10-18 | 2006-04-27 | New Japan Radio Co Ltd | 周波数検出方法および装置 |
JP2006145851A (ja) * | 2004-11-19 | 2006-06-08 | Nintendo Co Ltd | 息吹きかけ判別プログラム、息吹きかけ判別装置、ゲームプログラムおよびゲーム装置 |
JP4630646B2 (ja) * | 2004-11-19 | 2011-02-09 | 任天堂株式会社 | 息吹きかけ判別プログラム、息吹きかけ判別装置、ゲームプログラムおよびゲーム装置 |
Also Published As
Publication number | Publication date |
---|---|
EP0722161A2 (en) | 1996-07-17 |
EP0722161B1 (en) | 2000-03-22 |
KR100189796B1 (ko) | 1999-06-01 |
US5780759A (en) | 1998-07-14 |
DE19500750A1 (de) | 1996-07-18 |
EP0722161A3 (en) | 1996-11-27 |
DE19500750C2 (de) | 1999-07-15 |
DE69607223T2 (de) | 2000-12-21 |
JP2799364B2 (ja) | 1998-09-17 |
KR960030072A (ko) | 1996-08-17 |
DE69607223D1 (de) | 2000-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2799364B2 (ja) | 音高認識方法及び装置 | |
Marolt | A connectionist approach to automatic transcription of polyphonic piano music | |
US6930236B2 (en) | Apparatus for analyzing music using sounds of instruments | |
JP4767691B2 (ja) | テンポ検出装置、コード名検出装置及びプログラム | |
US4688464A (en) | Pitch detection apparatus | |
US6124544A (en) | Electronic music system for detecting pitch | |
Klapuri et al. | Robust multipitch estimation for the analysis and manipulation of polyphonic musical signals | |
Foster et al. | Toward an intelligent editor of digital audio: Signal processing methods | |
Traube et al. | Estimating the plucking point on a guitar string | |
US5929360A (en) | Method and apparatus of pitch recognition for stringed instruments and storage medium having recorded on it a program of pitch recognition | |
JP3552837B2 (ja) | 周波数分析方法及び装置並びにこれを用いた複数ピッチ周波数検出方法及び装置 | |
US7214870B2 (en) | Method and device for generating an identifier for an audio signal, method and device for building an instrument database and method and device for determining the type of an instrument | |
KR100189797B1 (ko) | 타악기/현악기의 악음 개시 및 악음 종료 인지방법 및 그장치 | |
JPH09244634A (ja) | 弦楽器型電子楽器 | |
Stöter et al. | Unison Source Separation. | |
Pertusa et al. | Recognition of note onsets in digital music using semitone bands | |
JP4198046B2 (ja) | 電子弦楽器 | |
JP6135312B2 (ja) | 電子弦楽器、楽音制御方法及びプログラム | |
EP0264955B1 (en) | Apparatus for determining the pitch of a substantially periodic input signal | |
JP3028041B2 (ja) | 楽音要素抽出装置 | |
JP2555553B2 (ja) | 入力波形信号制御装置 | |
JPS58109821A (ja) | ピツチ測定装置及び方法 | |
JP2734526B2 (ja) | ピッチ抽出装置 | |
JP3534932B2 (ja) | 電子弦楽器の楽音制御装置 | |
JP6361109B2 (ja) | 電子弦楽器、楽音制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090710 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090710 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100710 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100710 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110710 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110710 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120710 Year of fee payment: 14 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130710 Year of fee payment: 15 |
|
LAPS | Cancellation because of no payment of annual fees |