JP3996221B2 - ピッチ検出装置 - Google Patents
ピッチ検出装置 Download PDFInfo
- Publication number
- JP3996221B2 JP3996221B2 JP00524896A JP524896A JP3996221B2 JP 3996221 B2 JP3996221 B2 JP 3996221B2 JP 00524896 A JP00524896 A JP 00524896A JP 524896 A JP524896 A JP 524896A JP 3996221 B2 JP3996221 B2 JP 3996221B2
- Authority
- JP
- Japan
- Prior art keywords
- pitch
- signal
- pitch period
- zero cross
- interval data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
Description
【発明の属する技術分野】
この発明は、音声波形のピッチ周期またはピッチ周波数を検出するピッチ検出装置に関する。
【0002】
【従来の技術】
音声波形を特徴付けるパラメータの1つとしてピッチ周期(あるいはピッチ周波数)があり、この音声波形のピッチ周期を検出する技術が音声分析・合成システム、音声符号化システム等において一般的に使用されている。また、最近では、カラオケシステムにも、歌唱者の音声のピッチ周期の検出を行うものがあり、歌唱の採点等に利用されている。
【0003】
従来、音声のピッチ周期を検出する方法として以下のものがあった。
(1)零クロス法
音声波形が正弦波に非常に近いものと仮定すると、音声波形は零レベル線を負方向から正方向に横切り、次いで正方向から負方向に横切り、再び負方向から正方向に横切るという単調な変化を繰り返すため、零レベル線を同一方向に横切る時間間隔によってピッチ周期が与えられる。零クロス法は、この考えに従い、単純に2つの零クロス間隔を計測してピッチ周期とする方法である。また、これと同様な発想として、音声波形の瞬時値が極大値または極小値となるタイミングの間隔を計測してピッチ周期とする方法もある。
【0004】
(2)自己相関法
この自己相関法においては、音声波形を一定のサンプリング周期毎にサンプリングすることによって得られる時系列サンプルx(1),x(2),…を用い、以下の自己相関関数R(r)の演算を行うことにより、ピッチ周期を求める。
R(r)=1/N・Σ {x(n)・x(n+r)}
(ただし、上記式において、Σはn=1〜N・rの範囲で{}内の総和を求める演算子である。)
すなわち、rを各種変化させ、各rについて自己相関関数R(r)を求め、R(r)が最大(すなわち、自己相関が最大)になるときのrから音声波形のピッチ周期を算出する。
【0005】
【発明が解決しようとする課題】
ところで、上述した零クロス法は、比較的安価にしかも高速にピッチ周期を検出することができる反面、人間の音声は多くの倍音成分を多く含んでいるため正確なピッチ周期を検出することができないという問題があった。また、上述した自己相関法は、ある程度正確にピッチ周期を検出することが可能であるが、計算量が膨大であるとともに、検出時間が多くかかる。また、コスト的にも高くなる。
【0006】
この発明は、上記2つのピッチ検出手法の問題点を克服し、安価な構成で、正確かつ高速にピッチ周期を検出することが可能なピッチ検出装置を提供することを目的とする。
【0007】
【課題を解決するための手段】
請求項1に係る発明は、音声波形の連続する零クロス間隔t1,t2,…を計測する零クロス間隔計測手段と、
n(nは1以上の整数)を各種変化させ、各nについて、2n個の零クロス間隔の総和T=(t1+t2+・・t2n)をピッチ周期と仮定し、前記零クロス間隔t1,t2,…に基づいて、隣接するm周期(mは2以上の整数)分の各ピッチ周期間での前記音声波形の一致の程度を算出し、音声波形の一致の程度が最も高いnを選択することによりピッチ周期を求める手段であって、前記nの値が所定値より大きくなったときには、前記mを減少させて前記ピッチ周期を求めるための処理を行うピッチ演算手段と
を具備することを特徴とするピッチ検出装置を要旨とする。
請求項2に係る発明は、前記ピッチ演算手段が、音声波形の一致の程度が最も高いnを選択した後、各々2n個の零クロス間隔の総和であるm周期分のピッチ周期を平均化する平均化手段を具備することを特徴とする請求項1記載のピッチ検出装置を要旨とする。
【0008】
【発明の実施の形態】
以下、本発明を更に理解しやすくするため、実施の形態について説明する。
かかる実施の形態は、本発明の一態様を示すものであり、この発明を限定するものではなく、本発明の範囲で任意に変更可能である。
【0009】
A.実施形態の構成
図1はこの発明をカラオケシステムに適用した実施形態の構成を示すブロック図である。本実施形態は、カラオケシステムの構成部分のうち歌唱者の歌の採点をする部分に関するものである。図1において、1はデジタル音楽信号が記録されたCD(コンパクトディスク)である。このCD1に記録されたデジタル音楽信号はサンプリング周波数fs=44.1kHzのクロックに同期して順次再生される。2はボーカル抽出部であり、CD1から再生されたデジタル音楽信号からボーカル音に相当する信号(以下、デジタルお手本信号という。)を抽出する。一例として、CD1から再生されたデジタル音楽信号の音声帯域を含む周波数帯域の信号をバンドパスフィルタにより抽出するという処理によりデジタルお手本信号を得ることができる。また、ボーカル音のみを記録したメディアを利用可能な場合は、そのメディアから再生されたデジタル音楽信号をそのままデジタルお手本信号として使用すればよい。3はマイクロホンであり、CD1の再生に合わせて歌う歌唱者の歌声を採取し、アナログ音声信号として出力する。4はA/D変換器であり、マイクロホン1からアナログ音声信号を、CD1の再生の場合と同様なサンプリング周波数fs=44.1kHzのクロックに同期してサンプリングし、デジタル音声信号に変換する。
【0010】
5はDC除去部であり、順次供給されるデジタル音声信号およびデジタルお手本信号に対してDC除去処理を施し、DCとみなせる低い周波数帯域、例えば0Hz〜50Hzの帯域の成分の除去されたデジタル音声信号およびデジタルお手本信号を各々出力する。6はLPF(ローパスフィルタ)であり、DC除去部5によって出力されたデジタル音声信号およびデジタルお手本信号の各々から例えば500kHz以上の周波数の成分を除去して出力する。これらのDC除去部5およびLPF6により、デジタル音声信号およびデジタルお手本信号の各々について、50〜500Hzの帯域内の成分のみが選択され、出力される。
【0011】
7は4倍オーバーサンプリング部であり、LPF6を通過したデジタル音声信号およびデジタルお手本信号(いずれもサンプリング周波数fs=44.1kHz)に対して補間演算を施し、4倍のサンプリング周波数の信号に変換して出力する。
【0012】
図2はこの4倍オーバーサンプリング部7のうちデジタル音声信号またはデジタルお手本信号の一方(以下、入力デジタル信号という。)の処理を行うのに必要な回路構成を例示したものである。この図において、ラッチ71は、サンプリング周波数fsに対応したクロックが与えられることにより、入力デジタル信号を取り込んで保持する。遅延器72,72,…は図示の通りラッチ71の後段にカスケード接続されている。これらの遅延器72は、各々サンプリング周波数fsの4倍の周波数のクロックが与えられることにより、ラッチ71に保持された入力信号を順次シフトし、該入力信号を1クロック周期ずつ順次遅延させた遅延信号を各々出力する。73,73,…は乗算器、74,74,…は加算器であり、これらによりラッチ71および遅延器72,72,…の各出力信号に所定の補間係数列を畳み込む補間演算が実行される。以上の構成により、サンプリング周波数fsの4倍の周波数のクロックに同期して補間演算が実行され、補間のなされたデジタル信号が最終段の加算器74から順次出力される。
【0013】
この4倍オーバーサンプリング部7は、ピッチ周期を求める際の精度を高めるために設けられた手段である。すなわち、本実施形態においては、デジタル音声信号およびデジタルお手本信号の各々の零クロス点の時間間隔を測定することにより各デジタル信号のピッチ周期を求める。このため、ピッチ周期の測定精度を高めるためには、時間軸上における零クロス点の位置の検出精度を高める必要がある。そこで、この4倍オーバーサンプリング部7を介挿することにより、デジタル音声信号およびデジタルお手本信号の各々のサンプルの時間密度を4倍にし、各々の零クロス点の位置の検出精度を高めている。この例では曲線補間によりオーバーサンプリングを行っているが、コストの問題に鑑みて、ある程度の精度が得られる直線補間を用いることもできる。
【0014】
8は2値化部であり、4倍オーバーサンプリング部7から出力されるデジタル音声信号およびデジタルお手本信号のレベルの2値化を行う。この2値化は、基本的には、零レベルを基準として入力デジタル信号の正負判定を行い、入力デジタル信号が正の場合は“1”を、負の場合は“0”を出力するものである。すなわち、この2値化部8は入力デジタル信号が零レベルを横切る毎に“0”/“1”が反転する2値信号を出力する手段である。ただし、本実施形態においては2値化を行う際に零レベルを中心に±Δの範囲をマスキング帯とし、入力デジタル信号にこの±Δのマスキング帯内の微小な振動があったとしても、かかる微小な振動によっては2値信号を反転させないようにしている。
【0015】
図3はこの2値化部8のうちデジタル音声信号またはデジタルお手本信号の一方(以下、入力デジタル信号という。)の処理を行うのに必要な回路構成を例示したものである。この図において、81は入力デジタル信号の絶対値を検出する絶対値検出部である。82は比較部であり、絶対値検出部81によって検出された入力デジタル信号の絶対値を所定値Δと比較し、絶対値がΔを越えている場合には“1”を、越えていない場合には“0”を出力する。83はサンプルホールド部であり、比較部82から“1”が出力されている期間は入力デジタル信号をそのまま出力し(サンプル状態)、比較部82から“0”が出力されている期間は比較部82の出力信号が“1”から“0”に変化する直前の入力デジタル信号を保持し出力する(ホールド状態)。84は比較部であり、零レベルを基準としてサンプルホールド部83の出力信号の正負判定を行い、正の場合は“1”を、負の場合は“0”の2値信号を出力する。
【0016】
以上の構成によれば、入力デジタル信号が±Δの範囲外にある場合にはサンプルホールド部83を介してそのまま出力される。また、入力デジタル信号が零レベル±Δのマスキング帯内に入った場合には、その直前の入力デジタル信号の値がサンプルホールド部83によって保持され、この保持動作が行われている期間中は比較部84が出力する2値信号が反転することはない。従って、入力デジタル信号が零レベル±Δのマスキング帯を横切って変化する場合はマスキング帯を横切り終えた時点で2値信号が反転することとなる。一方、入力デジタル信号が零レベル±Δのマスキング帯に入ったがこれを横切ることなくマスキング帯内を上下動するような場合には、たとえ入力デジタル信号が零レベルを横切ったとしてもサンプルホールド部83の出力信号値が零レベルを横切ることはないため、2値信号の反転は起こらない。
【0017】
図3において比較部84よりも前段にある回路は、図4に示すものに置き換えてもよい。この図4において、85および86は比較部であり、各々、入力デジタル信号を基準レベルと比較し、入力デジタル信号が基準レベルより高いときには“1”を、基準レベルより低いときには“0”を出力する。比較部85に対しては基準レベルとして+Δが与えられ、比較部86に対しては基準レベルとして−Δが与えられる。87は入力デジタル信号を保持するラッチ、88は入力デジタル信号またはラッチ87の出力信号を選択して出力するセレクタである。89は制御部であり、比較部85および86の各出力信号に基づいてラッチ87およびセレクタ88の制御を行う。すなわち、次の通りである。
【0018】
a.比較部85および86の出力信号がいずれも“1”、あるいはいずれも“0”である場合
入力デジタル信号が零レベル±Δのマスキング帯の外側にある場合である。この場合、制御部89は、ラッチ87をサンプル状態とし、セレクタ88には入力デジタル信号を出力させる。
b.比較部85の出力信号が“0”であり、かつ、比較部86の出力信号が“1”である場合
入力デジタル信号が零レベル±Δのマスキング帯の内側にある場合である。この場合、制御部89は、入力デジタル信号がマスキング帯内に入った時点でラッチ87をホールド状態とし、セレクタ88にはラッチ87の出力信号を出力させる。
【0019】
図1において、9はデジタル音声信号およびデジタルお手本信号に対応した2値化部8の各出力信号の反転が起こる時間間隔、すなわち、これらの各デジタル信号の零クロス点の発生する時間間隔を計時するためのタイマであり、10はタイマ9の計時結果を記憶するRAMである。
【0020】
図5はタイマ9およびRAM10をそれらの制御系と共に示したブロック図である。なお、この図は、デジタル音声信号およびデジタルお手本信号の一方に対応した処理に必要な部分のみが示されている。図5において、91は遅延器、92は排他的論理和回路である。これらは2値化部8が出力する2値信号を微分する微分回路90を構成しており、2値信号の反転が起こる毎にパルスを出力する。タイマ9は、微分回路90からの出力パルスが与えられる毎にリセットされ、このリセットの後、次にリセットされるまでの間は、一定周波数4fsのクロックをカウントする。
【0021】
タイマ9のカウント値は、ラッチ93に対し入力データとして与えられる。ラッチ93は、微分回路90からの出力パルスが与えられることにより、リセット直前のタイマ9のカウント値を取り込んで保持する。このラッチ93に保持されるカウント値は、前回の2値信号の反転が検出されてから今回の反転が検出されるまでの間に出力された周波数4fsのクロックの個数であるから、零クロス点が発生する時間間隔を表していると言える。従って、以下では、このラッチ93の保持データを零クロス間隔データと呼ぶ。
【0022】
書込制御部94は、微分回路90からの出力パルスが与えられる毎に、ラッチ93内の零クロス間隔データを順次読み出し、一定範囲内の零クロス間隔データが所定値以上(タイマ9のカウント値が大)のときはリミットを設けてRAM10に書込み、また、所定値未満(タイマ9のカウント値が小)のときはリミットを設けてRAM10への書込みを行わず廃棄する。このように一定範囲内の零クロス間隔データのみをRAM10へ書込むようにしたのは、音声信号の零クロス点の時間間隔として妥当でない零クロス間隔データが演算に使用され、誤ったピッチ周期が演算されてしまうのを防止するためである。
【0023】
図1におけるピッチ演算部11は、RAM10に蓄積された零クロス間隔データを参照することにより、デジタル音声信号およびデジタルお手本信号の各々のピッチ周期を演算する。
【0024】
ここで、デジタル音声信号等が正弦波であるとすると、1周期分の正弦波の始点と終点において零レベル線とクロスする他、これらの零クロス点の中間において1回だけ零レベル線とクロスする。従って、連続した2個の零クロス間隔データを加算することによりピッチ周期を求めることができる。
【0025】
しかしながら、人間の音声波形を表したデジタル音声信号等は、多くの倍音成分を含んでいるため、1ピッチ周期分の波形がそのピッチ周期の始点と終点の間に3個以上の零クロス点を含んでいる場合があり、かかる場合には連続した2個の零クロス間隔データを加算しても正しいピッチ周期が得られない。
【0026】
そこで、本実施形態においては、複数種類の整数nの各々について、1ピッチ周期が2n個の零クロス間隔データの和に相当する長さを有するものと仮定する。そして、各々の仮定の下でピッチ周期を求め、1ピッチ周期内の各零クロス点の発生タイミングが各ピッチ周期間でどの程度一致しているかを求める。なお、この零クロス点の発生タイミングの一致の程度の検出の詳細については後述する。そして、この一致の程度が最も高いピッチ周期を真のピッチ周期として選択する。これは、短い時間内であれば大きな波形の変化は生じないという音声信号の性質を前提としたものである。
【0027】
次に、図1において、12はレベル検出部であり、A/D変換器4によって出力されたデジタル音声信号およびボーカル抽出部2によって出力されたデジタルお手本信号の各々のレベルを検出し、各レベルを表す信号を出力する。
【0028】
13は採点部であり、ピッチ演算部11によって求められたデジタル音声信号およびデジタルお手本信号の各々のピッチ周期のずれと、レベル検出部12によって求められた両信号レベルのずれを総合評価し、歌唱者の歌を採点する。この採点結果は表示部14に表示される。
【0029】
B.実施形態の動作
以下、本実施形態の動作を説明する。歌唱者によって選曲が行われると、その曲に対応したCD1からデジタル音楽信号が順次再生される。そして、ボーカル抽出部2により、デジタル音楽信号からデジタルお手本信号が抽出され、DC除去部5およびレベル検出部12へ出力される。一方、CD1の再生により歌唱者が歌唱を開始し、その歌声がマイクロホン3によって採取され、アナログ音声信号として出力される。このアナログ音声信号は、A/D変換器4を介すことにより、デジタル音声信号に変換され、DC除去部5およびレベル検出部12へ出力される。
【0030】
デジタル音声信号およびデジタルお手本信号は、DC除去部5およびLPF6を順次介すことにより、不要な周波数帯域の信号が除去され、人の声の周波数帯域内の成分のみからなる波形を表すデジタル信号となって4倍オーバーサンプリング部7へ各々出力される。
【0031】
そして、デジタル音声信号およびデジタルお手本信号は、4倍オーバーサンプリング部7により、各々時間軸上において補間され、4倍のサンプリング周波数の信号に変換されて出力され、2値化部8によって2値信号に変換される。
【0032】
図6はこの4倍オーバーサンプリング部7の動作を例示したものである。図6(a)において、水平方向の直線は零レベル線である。また、正弦波状の信号波形に沿って○印のプロットが示されているが、後者のプロットはデジタル音声信号(デジタルお手本信号)を構成する個々の原サンプルを表しており、前者はこれらの原サンプルの母体である本来の信号波形を表している。また、各原サンプルを表す○印のプロットの間には、3個の×印のプロットが介挿されているが、これらは4倍オーバーサンプリング部7によって求められた補間サンプルを各々表している。
【0033】
図6(b)は、4倍オーバーサンプリングを行わず、原サンプル(○印)のみを2値化部8に与えた場合に得られる2値信号を示しており、図6(c)は4倍オーバーサンプリングを行い、原サンプル(○印)および補間サンプル(×印)を2値化部8に与えた場合に得られる2値信号を示している。なお、これらの図は、説明の便宜のため、デジタル音声信号(デジタルお手本信号)が2値化部8のマスキング帯よりも小さなレベルの振動を含んでいない場合の例を示している。
【0034】
デジタル音声信号等は信号波形と無関係に一定のサンプリング周期毎にサンプリングされたものである。従って、デジタル音声信号等が同一波形を繰り返すものである場合に、図6(a)に示すように、いずれのタイミングの瞬時値がサンプリングされるかは各波形により区々になる。このため、サンプリング周期が粗いと、図6(b)に示すように、ピッチ周期が切り換わると同一波形であるにも拘わらず異なった波形の2値信号が得られてしまう場合がある。しかしながら、本実施形態のようにデジタル音声信号等の4倍オーバーサンプリングを行った後で2値化を行う場合には、図6(c)に示すように本来の零クロス点に近いタイミングで反転する2値信号が得られ、図6(b)に示したような不具合は防止される。
【0035】
図7(a)〜(d)は2値化部8の動作を例示したものである。まず、図7(a)において正弦波状の信号波形は4倍オーバーサンプリング部7から出力されるデジタル音声信号(デジタルお手本信号)を表しており、水平線は零レベル線を表している。図7(b)は図3におけるサンプルホールド部83の動作を示すものである。この図に示すように、サンプルホールド部83は、入力信号たるデジタル音声信号(デジタルお手本信号)が零レベル±Δのマスキング帯の外側にある場合にはサンプル状態とされ(同図において“S”と表記)、零レベル±Δのマスキング帯の内側にある場合にはホールド状態とされる(同図において“H”と表記)される。このようなサンプルホールド部83の制御が行われる結果、比較部84へ入力される信号波形は図7(c)に例示するものとなり、比較部84から得られる2値信号は図7(d)に例示するものとなる。このようにデジタル音声信号(デジタルお手本信号)が零レベル±Δのマスキング帯を横切って変化する場合はマスキング帯を横切り終えた時点で2値信号が反転することとなる。また、仮にデジタル音声信号(デジタルお手本信号)に±Δ以下の振幅の微小な振動部分を含んでいたとしても、デジタル音声信号(デジタルお手本信号)が零レベル±Δのマスキング帯内にある場合にはサンプルホールド部83が前値保持動作を行うため、振動部分において2値信号が反転することはない。
【0036】
本実施形態においては、零クロス間隔を使用してピッチ周期を演算するため、1ピッチ周期相当の入力デジタル信号波形についてあまりの多くの零クロス間隔が検出されてしまうと、ピッチ周期の演算の負担が大きくなってしまう。しかしながら、本実施形態においては、上記のようにマスキング帯を有する2値化部8によって2値信号を生成しているので、入力デジタル信号中、ピッチ周期の演算にとって重要でない零レベル近傍の微動が無視され、“0”/“1”反転箇所を必要以上に多く含まない2値信号が得られ、ピッチ周期の演算にとって適度な数の零クロス間隔を検出することが可能となる。
【0037】
以上のようにデジタル音声信号およびデジタルお手本信号の各々に基づいて2値信号が生成される。そして、各2値信号毎に、“1”/“0”反転が生じる時間間隔がタイマ9によって順次計時され、その計時結果たる零クロス間隔データが図5に示すラッチ93に順次保持される。このようにしてラッチ93に順次保持される零クロス間隔データが、書込制御部94による制御の下、RAM10に順次書込まれる。すなわち、書込制御部94は、2値信号の反転によって微分回路90からパルスが出力されるのに応答し、図8にフローを示す書込制御ルーチンを実行する。まず、書込制御部94は、ラッチ93から零クロス間隔データtを取り込み(ステップS1)、この零クロス間隔データtが下限値「8」以上か否かを判断する。この判断結果が「NO」の場合は零クロス間隔データtの書込みを行うことなくルーチンを終了する。ステップS2の判断結果が「YES」の場合はステップS3に進み、零クロス間隔データtが上限値「8192」より大きいか否かを判断する。この判断結果が「NO」の場合は零クロス間隔データtをRAM10へ書込み(ステップS4)、ルーチンを終了する。一方、ステップS3の判断結果が「YES」の場合は、取り込んだ零クロス間隔データtの代りに「8192」をRAM10に書込み(ステップS5)、ルーチンを終了する。以上の制御により、「8」〜「8192」の範囲内の零クロス間隔データのみがRAM10へ書込まれるため、音声信号の零クロス点の時間間隔として妥当でない零クロス間隔データが演算に使用され、誤ったピッチ周期が演算されてしまうのを防止することができる。
【0038】
このようにしてRAM10に蓄積される零クロス間隔データがピッチ演算部11によって参照され、デジタル音声信号およびデジタルお手本信号の各々のピッチ周期が求められる。ここで、図9を参照し、デジタル音声信号のピッチ周期の算出処理を例にその概要を説明する。図9(a)に例示するようなデジタル音声信号が2値化部8に与えられたとすると、現時点までに発生された零クロス間隔データt1,t2,…がRAM10内に蓄積されている。ピッチ演算部11は、これらの零クロス間隔データt1,t2,…とデジタル音声信号のピッチ周期との間の関係について以下の4通りの仮定を設け、各々の妥当性を検討するという手順に従ってピッチ周期を求める。
【0039】
▲1▼仮定1
デジタル音声信号のピッチ周期は、2個の零クロス間隔データt1,t2の和に相当する長さT1を有する。すなわち、図9(b1)に示す時間T11,T12,…がデジタル音声信号のピッチ周期である。
▲2▼仮定2
デジタル音声信号のピッチ周期は、4個の零クロス間隔データt1〜t4の和に相当する長さT2を有する。すなわち、図9(b2)に示す時間T21,T22,…がデジタル音声信号のピッチ周期である。
▲3▼仮定3
デジタル音声信号のピッチ周期は、6個の零クロス間隔データt1〜t6の和に相当する長さT3を有する。すなわち、図9(b3)に示す時間T31,T32,…がデジタル音声信号のピッチ周期である。
▲4▼仮定4
デジタル音声信号のピッチ周期は、8個の零クロス間隔データt1〜t8の和に相当する長さT4を有する。すなわち、図9(b4)に示す時間T41,T42,…がデジタル音声信号のピッチ周期である。
【0040】
上記各仮定の妥当性の検討およびこの検討結果に基づくピッチ周期の算出は図10に示すフローに従って実行される。まず、ピッチ演算部11は、上記仮定1を前提とした場合のデジタル音声信号の波形の再現率CR1を算出する(ステップS101)。この再現率は、上記各仮定に従った場合に各ピッチ周期に対応した各デジタル音声信号波形がどの程度一致しているかを表す数値であり、本実施形態においては、零クロス間隔データt1,t2,…に基づいて算出する。
【0041】
ここで、図11のフローチャートを参照し、ステップS101において行われる再現率CR1を求める演算の手順について説明する。まず、ステップS201に進み、カウンタCNTおよび制御変数iに対し、初期値として「0」および「1」を各々設定する。
【0042】
次にステップS202に進み、制御変数iを「2」だけ増加させ、i=「3」とする。次にステップS203に進み、0.9t1−ti<0なる条件を満たすか否か、すなわち、零クロス間隔データt3が零クロス間隔データt1の90%よりも大きいか否かを判断する。そして、この判断結果が「YES」の場合はカウンタCNTを「1」だけ増加させ(ステップS204)、ステップS205へ進み、「NO」の場合はステップS204を介すことなくステップS205に進む。次にステップS205に進むと、−1.1t1+ti<0なる条件を満たすか否か、すなわち、零クロス間隔データt3が零クロス間隔データt1の110%よりも小さいか否かを判断する。そして、この判断結果が「YES」の場合はカウンタCNTを「1」だけ増加させ(ステップS206)、ステップS207へ進み、「NO」の場合はステップS206を介すことなくステップS207に進む。
【0043】
次にステップS207に進むと、制御変数iが「7」となったか否かを判断し、この判断結果が「NO」の場合はステップS202に戻る。以後、2回に亙ってステップS202〜S207が実行され、零クロス間隔データt5およびt7の各々について上記ステップS203およびS205の判断が行われ、各零クロス間隔データが零クロス間隔データt1の90%より大きい場合または110%よりも小さい場合にカウンタCNTのインクリメントが行われる(ステップS204,S206)。
【0044】
そして、i=「7」となると、ステップS207の判断結果が「YES」となってステップS208へ進み、制御変数iに「2」を設定する。
【0045】
次いでステップS209に進み、制御変数iを「2」だけ増加させ、i=「4」とする。次にステップS210に進み、0.9t2−ti<0なる条件を満たすか否か、すなわち、零クロス間隔データt4が零クロス間隔データt2の90%よりも大きいか否かを判断する。そして、この判断結果が「YES」の場合はカウンタCNTを「1」だけ増加させ(ステップS211)、ステップS212へ進み、「NO」の場合はステップS211を介すことなくステップS212に進む。次にステップS212に進むと、−1.1t2+ti<0なる条件を満たすか否か、すなわち、零クロス間隔データt4が零クロス間隔データt2の110%よりも小さいか否かを判断する。そして、この判断結果が「YES」の場合はカウンタCNTを「1」だけ増加させ(ステップS213)、ステップS214へ進み、「NO」の場合にはステップS213を介すことなくステップS214に進む。
【0046】
次にステップS214に進むと、制御変数iが「8」となったか否かを判断し、この判断結果が「NO」の場合はステップS209に戻る。以後、2回に亙ってステップS209〜S214が実行され、零クロス間隔データt6およびt8の各々について上記ステップS210およびS212の判断が行われ、各零クロス間隔データが零クロス間隔データt2の90%より大きい場合または110%よりも小さい場合にカウンタCNTのインクリメントが行われる(ステップS211,S213)。
【0047】
そして、i=「8」となると、ステップS214の判断結果が「YES」となってステップS215へ進み、カウンタCNTの値を零クロス間隔データについての判断の回数によって正規化し、その結果を再現率CR1とする。このフローの場合、判断は12回行われるので、CNT/12が再現率CR1とされる。
【0048】
ここで、ピッチ周期の長さを2個の零クロス間隔データの和T1とした仮定が正しく、かつ、ピッチ周期が4回切り換わってもデジタル音声信号の波形が変化しない理想状態においては、t1=t3=t5=t7かつt2=t4=t6=t8となる。従って、この場合に上記処理によって得られる再現率CR1は100%となる。また、各零クロス間隔データに多少の誤差があっても、t3,t5およびt7がt1±10%の範囲内に収っており、かつ、t4,t6およびt8がt2±10%の範囲内に収っている場合には再現率CR1は100%となる。一方、上記仮定が誤りであるとすると、ピッチ周期が切り換わることによって相互に対応する零クロス間隔データ間に大きな差が生じることとなる。このため、上記ステップS203等において否定的な判断がされ易くなり、そのような否定的な判断のなされる回数の増加に応じて再現率CR1が低下することとなる。
【0049】
このようにして再現率CR1の算出が終了すると、図10のフローに戻ってステップS102に進み、上記仮定2を前提とした場合のデジタル音声信号の波形の再現率CR2を算出する。すなわち、ピッチ周期が4個の零クロス間隔データの和に相当する長さT2を有していると仮定する。そして、第1番目のピッチ周期に対応した零クロス間隔データt1〜t4を各々基準とし、第2番目,第3番目および第4番目の各ピッチ周期に対応した零クロス間隔データt5〜t8,t9〜t12およびt13〜t15の各々が基準と所定の誤差範囲内で一致しているか否かを判断する。そして、肯定的な判断結果の得られた回数をカウントし、全判断回数によって正規化し、再現率CR2を求める。
【0050】
ピッチ周期の長さを4個の零クロス間隔データの和とした仮定が正しく、かつ、ピッチ周期が4回切り換わってもデジタル音声信号の波形が変化しない理想状態においては、
t1=t5=t9=t13
t2=t6=t10=t14
t3=t7=t11=t15
t4=t8=t12=t16
なる条件を全て満たし、再現率CR2は100%となる。また、各零クロス間隔データに多少の誤差があっても、±10%の範囲内に収っている場合には再現率CR2は100%となる。ピッチ周期が切り換わることによって基準(すなわち、第1番目のピッチ周期に対応した零クロス間隔データ)から大きくずれた零クロス間隔データが生じる場合には、その個数に応じて再現率CR2が低下することとなる。
【0051】
次にステップS103に進み、上記仮定3を前提とした場合のデジタル音声信号の波形の再現率CR3を算出する。すなわち、ピッチ周期が6個の零クロス間隔データの和に相当する長さT3を有していると仮定する。そして、第1番目のピッチ周期に対応した零クロス間隔データt1〜t6を各々基準とし、第2番目,第3番目および第4番目の各ピッチ周期に対応した零クロス間隔データt7〜t12,t13〜t18およびt19〜t24の各々が基準と所定の誤差範囲内で一致しているか否かを判断する。そして、肯定的な判断結果の得られた回数をカウントし、全判断回数によって正規化し、再現率CR3を求める。
【0052】
この再現率CR3は、
t1=t7=t13=t19
t2=t8=t14=t20
t3=t9=t15=t21
t4=t10=t16=t22
t5=t11=t17=t23
t6=t12=t18=t24
なる条件を全て満たす場合あるいは各零クロス間隔データに多少の誤差があっても±10%の範囲内の誤差である場合には再現率CR3は100%となる。また、誤差の大きな零クロス間隔データが生じる場合にはその個数に応じて再現率CR3が低下する。
【0053】
次にS104に進み、上記仮定4を前提とした場合のデジタル音声信号の波形の再現率CR3を算出する。すなわち、ピッチ周期が8個の零クロス間隔データの和に相当する長さT4を有していると仮定する。そして、第1番目のピッチ周期に対応した零クロス間隔データt1〜t8を各々基準とし、第2番目および第3番目の各ピッチ周期に対応した零クロス間隔データt9〜t16およびt17〜t24の各々が基準と所定の誤差範囲内で一致しているか否かを判断する。そして、肯定的な判断結果の得られた回数をカウントし、全判断回数によって正規化し、再現率CR4を求める。
【0054】
上記ステップS101〜S103までの各処理においては4個分のピッチ周期を処理対象としたが、このステップS104においては3個分のピッチ周期(図9(b4)におけるT41〜T43)を処理対象としている。これは次の理由によるものである。すなわち、ステップS104においては、ピッチ周期として8個分の零クロス間隔データに相当する長い時間を仮定している。従って、仮にステップS104において4個分のピッチ周期を処理対象とすると、たとえ仮定4が正しい場合であっても、4個分のピッチ周期という極めて長時間に亙ってデジタル音声信号波形が安定していないと再現率CR4が低下することとなる。しかし、デジタル音声信号の波形は、ある程度の短時間の間は同一波形を維持し得るが、ある程度の時間が経つと波形に変化が生じるものである。このため、4個分のピッチ周期を処理対象とした場合には、たとえ仮定4が正しかったとしても、デジタル音声信号の波形の時間的変化の影響によって不当に低い再現率CR4が演算されてしまう可能性が高い。そこで、ステップS104においては、上述の通り3個分のピッチ周期を処理対象としている。
【0055】
ステップS104において、再現率CR4は、
t1=t9=t17
t2=t10=t18
t3=t11=t19
t4=t12=t20
t5=t13=t21
t6=t14=t22
t7=t15=t23
t8=t16=t24
なる条件を全て満たす場合あるいは各零クロス間隔データに多少の誤差があっても±10%の範囲内の誤差である場合には再現率CR4は100%となる。また、誤差の大きな零クロス間隔データが生じる場合にはその個数に応じて再現率CR4が低下する。
【0056】
次にステップS105に進み、以上のようにして求めた再現率CR1〜CR4に基づき、仮定1〜4のいずれが妥当であるか否かを判断する。この判断の詳細なフローを図12に示す。まず、ステップS301に進み、再現率CR1〜CR4のうちどれが最大であるかを判断する。そして、再現率CR1が最大である場合は、このCR1が所定の基準値refよりも大きいか否かを判断し(ステップS302)、この判断結果が「YES」の場合には仮定1に従うこと、すなわち、2個分の零クロス間隔データの長さT1によりピッチ周期を求めることとする。他の再現率CR2〜CR4が最大である場合も同様であり、CR2等が所定の基準値refよりも大きいか否かを判断し(ステップS303〜S305)、この判断結果が「YES」の場合には、各再現率の算出の前提となった仮定に従い、4個分の零クロス間隔データの長さT2、6個分の零クロス間隔データの長さT3あるいは8個分の零クロス間隔データの長さT4によりピッチ周期を求めることとする。万一、再現率が同じ場合には、その優先順位は、CR1>CR2>CR3>CR4(CR1が最優先)である。
【0057】
一方、再現率CR1〜CR4のうち最大のものが基準値ref以下である場合には、ステップS302〜S305のいずれに進んだとしても判断結果が「NO」となる。この場合、仮定1〜4のいずれが妥当であるか結論を出すことができず、該当なしという判断結果となる。
【0058】
以上の判断が終了すると、図10に示すフローに戻り、判断結果に対応したステップへ進む。すなわち、2個分の零クロス間隔データの長さT1によりピッチ周期を求めることと判断した場合にはステップS106に進み、各々2個分の零クロス間隔データからなるピッチ周期を4周期分求め(図9(b1)のT11〜T14に相当)、これらの平均値をデジタル音声信号のピッチ周期とする。また、4個分の零クロス間隔データの長さT2によりピッチ周期を求めることと判断した場合にはステップS107に進み、この判断結果に従ってピッチ周期を4周期分求め(図9(b2)のT21〜T24に相当)、これらの平均値をデジタル音声信号のピッチ周期とする。また、6個分の零クロス間隔データの長さT3によりピッチ周期を求めることと判断した場合にはステップS108に進み、この判断結果に従ってピッチ周期を4周期分求め(図9(b3)のT31〜T34に相当)、これらの平均値をデジタル音声信号のピッチ周期とする。そして、8個分の零クロス間隔データの長さT4によりピッチ周期を求めることと判断した場合にはステップS109に進み、この判断結果に従ってピッチ周期を3周期分求め(図9(b4)のT41〜T43に相当)、これらの平均値をデジタル音声信号のピッチ周期とする。
【0059】
以上の処理が終了すると、ステップS101へ戻り、同様の処理を繰り返す。このようにして、デジタル音声信号のピッチ周期が連続的に出力される訳である。一方、図12の判断において、「該当なし」との結論が得られた場合にはピッチ周期の演算は行わず、ピッチ周期の演算を行わなかった旨を示す信号を出力し、ステップS101に戻る。なお、上記においては、デジタル音声信号の場合を例にピッチ周期の演算処理を説明したが、デジタルお手本信号についても全く同様な処理によりピッチ周期が演算される。
【0060】
以上のように、本実施形態は、仮定1〜4のすべてについて再現率を求め、最も高い再現率の得られた仮定を選択し、この選択した仮定に基づくピッチ演算を当該再現率が許容範囲内である場合に限って実施し、許容範囲外である場合は実施しないという慎重な手順を踏むものである。このような慎重な手順を踏むこととした理由は次の通りである。
【0061】
a.上記手順以外のものとして、例えば仮定1〜4に対応した各再現率を順次演算してゆき、許容範囲内の再現率が得られた時点で演算を終了し、その再現率の得られた仮定を選択してピッチ周期を求めるような代替案が考えられる。しかしながら、音声波形によっては、例えば仮定1および3に対応した再現率が許容範囲内にあり、しかも仮定3に対応した再現率の方が仮定1のものよりも高いという状況の生じることが有り得る。かかる場合にこの代替案に従うとすると、仮定1を選択し、誤ったピッチ周期を求めることとなる。仮定の選択が正しくなされるように許容範囲を狭く設定することも考えられるが、その場合には「該当なし」と判断されるケースが続出するおそれがある。
【0062】
b.また、仮定1〜4に対応した各再現率をすべて演算し、最大の再現率の得られた仮定を無条件に採用し、ピッチ周期を求めるという代替案も考えられる。しかしながら、いずれの仮定に対応した再現率も一様に低く、特定の仮定に対応した再現率が僅かに他より勝っているようなケースが生じる場合が考えられ、このような場合に特定の仮定を採用して無理にピッチ周期を求めたとしても果たして正確なピッチ周期が得られるか、その保証はない。例えばピッチ周期をデジタル音声信号の波形が急激に変化した場合等においては、上記仮定のいずれにおいても再現率が低くなる可能性が高い。
【0063】
c.そこで、本実施形態においては、上述の手順に従ってピッチ周期の演算をすることとし、不適当なピッチ周期の出力を防止している。
【0064】
以上のようにして求められるデジタル音声信号およびデジタルお手本信号の各ピッチ周期が採点部13に順次報告され、この両信号のピッチ周期のずれとレベル検出部12によって求められた両信号レベルのずれとの総合評価により、歌唱者の歌が採点され、採点結果が表示部14に表示される。
【0065】
C.本実施形態に係る装置の評価結果
以上説明したピッチ周期検出装置について各部の動作条件を種々設定し、ピッチ周期の検出時間および検出誤差の評価を行った。図13〜図16はその結果を示すものである。まず、図13は、4倍オーバーサンプリング部7として直線補間を行う回路を使用し、この回路のオーバーサンプリング周波数を種々に変化させ、実用域でのピッチ周期の検出誤差を測定した結果である。この結果より、4倍オーバーサンプリング程度の補間を行えば実用域での検出誤差を充分に小さくすることができることがわかる。次に図14は、ピッチ周期を3周期間の相関により求めた場合(m=3)と4周期間の相関により求めた場合(m=4)の各々について、ピッチ周期が検出されるまでの遅れ時間を入力周波数毎に測定した結果を示すものである。この実験結果が示すように、m=3または4程度であれば、検出遅れを問題のない範囲に収めることができる。また、図15は、平均化の回数とピッチ周期の抽出誤差との関係を示している。また、図16は、過去何周期(ピッチ周期)分の波形と比較をすれば正確にピッチ周期を抽出できるかを実験した結果を示すものである。この実験結果は、過去2周期程度を比較したのでは誤差が多く、過去5周期以上の入力波形を比較したのでは波形が古過ぎて却ってピッチ周期を誤ってしまい、結局のところ、過去3〜4周期に亙って入力波形の比較を行うことが正確なピッチ抽出を行う上で最適であることを物語っている。
【0066】
D.変形例
(1)上記実施形態においては、1ピッチ周期を構成する各零クロス間隔データが各ピッチ周期間でどの程度一致しているかにより、ピッチ周期を2n個分の零クロス間隔データの和とした仮定が妥当か否かの判断を行った。この方法の代りに、各nについて、2n個分の零クロス間隔データの和を演算することにより所定個数のピッチ周期を求め、これらのピッチ周期のばらつきが最も少ないnを選択し、ピッチ周期を選択するようにしてもよい。すなわち、図9(b1)〜(b4)において、T11〜T14のばらつきが最も小さい場合はT11〜T14の平均値をピッチ周期とし、T21〜T24のばらつきが最も小さい場合はT21〜T24の平均値をピッチ周期とし、…という具合にピッチ周期を求める訳である。また、上記実施形態において開示した零クロス間隔データに基づく判定方法とこのピッチ周期のばらつきに求める判定方法を併用し、零クロス間隔データおよびピッチ周期の長さのピッチ周期間ばらつきを総合評価し、ピッチ周期を選択するようにしてもよい。
【0067】
(2)上記実施形態において、2値化部8のマスキング帯の幅Δを固定とした。しかし、零レベル付近に生じる音声波形の微小な上下動の振幅は、音声波形全体の振幅に依存するため、適切なΔを決めるのが困難な場合もある。そこで、デジタル音声信号またはデジタルお手本信号の振幅を検出し、この振幅値に所定の係数を乗じ、その結果をΔとする等の方法により、2値化部8のマスキング帯の幅Δの制御を行うのが好ましい。
(3)上記実施形態ではデジタル処理によりピッチ周期を求めたが、零クロス間隔をアナログ音声波形から直接求め、その結果に基づいてピッチ周期を求めるようにしてもよい。
【0068】
【発明の効果】
以上説明したように、本発明によれば、音声波形の連続した零クロス間隔を求め、各種のnについて、ピッチ周期を2n個分の零クロス間隔データの和と仮定し、各零クロス間隔に基づき、mピッチ周期間での音声波形の一致度を求め、最も優れた一致度の得られる仮定を採用してピッチ周期を求め、しかもnが大きいときにはmを減少させるようにしたので、音声波形が倍音成分を含んだ複雑な波形である場合においても、安価な構成で、高速かつ正確にピッチ周期を求めることができるという効果がある。
【図面の簡単な説明】
【図1】 この発明の一実施形態の構成を示すブロック図である。
【図2】 同実施形態における4倍オーバーサンプリング部の構成例を示すブロック図である。
【図3】 同実施形態における2値化部の構成を例示するブロック図である。
【図4】 同実施形態における2値化部の構成を例示するブロック図である。
【図5】 同実施形態におけるタイマ、RAMおよびこれらの制御系を示すブロック図である。
【図6】 同実施形態における4倍オーバーサンプリング部の動作を示す図である。
【図7】 同実施形態における2値化部の動作を示す図である。
【図8】 同実施形態における書込制御部の動作を示す図である。
【図9】 同実施形態におけるピッチ周期の算出処理の概要を説明する図である。
【図10】 同実施形態におけるピッチ周期の算出処理を示すフローチャートである。
【図11】 同実施形態におけるピッチ周期の算出処理を示すフローチャートである。
【図12】 同実施形態におけるピッチ周期の算出処理を示すフローチャートである。
【図13】 同実施形態の性能評価結果を示す図である。
【図14】 同実施形態の性能評価結果を示す図である。
【図15】 同実施形態の性能評価結果を示す図である。
【図16】 同実施形態の性能評価結果を示す図である。
【符号の説明】
1……CD、2……ボーカル抽出部、3……マイクロホン、4……A/D変換器、5……DC除去部、6……LPF、7……4倍オーバーサンプリング部、8……2値化部、9……タイマ(零クロス間隔計測手段)、10……RAM(零クロス間隔計測手段)、11……ピッチ演算部(ピッチ演算手段)、12……レベル検出部、13……採点部、14……表示部。
Claims (2)
- 音声波形の連続する零クロス間隔t1,t2,…を計測する零クロス間隔計測手段と、
n(nは1以上の整数)を各種変化させ、各nについて、2n個の零クロス間隔の総和T=(t1+t2+・・t2n)をピッチ周期と仮定し、前記零クロス間隔t1,t2,…に基づいて、隣接するm周期(mは2以上の整数)分の各ピッチ周期間での前記音声波形の一致の程度を算出し、音声波形の一致の程度が最も高いnを選択することによりピッチ周期を求める手段であって、前記nの値が所定値より大きくなったときには、前記mを減少させて前記ピッチ周期を求めるための処理を行うピッチ演算手段と
を具備することを特徴とするピッチ検出装置。 - 前記ピッチ演算手段が、音声波形の一致の程度が最も高いnを選択した後、各々2n個の零クロス間隔の総和であるm周期分のピッチ周期を平均化する平均化手段を具備することを特徴とする請求項1記載のピッチ検出装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP00524896A JP3996221B2 (ja) | 1996-01-16 | 1996-01-16 | ピッチ検出装置 |
TW86100383A TW312009B (ja) | 1996-01-16 | 1997-01-15 | |
CNB971004285A CN1136536C (zh) | 1996-01-16 | 1997-01-16 | 音调检测装置 |
KR1019970001192A KR100406655B1 (ko) | 1996-01-16 | 1997-01-16 | 피치검출장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP00524896A JP3996221B2 (ja) | 1996-01-16 | 1996-01-16 | ピッチ検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09198092A JPH09198092A (ja) | 1997-07-31 |
JP3996221B2 true JP3996221B2 (ja) | 2007-10-24 |
Family
ID=11605915
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP00524896A Expired - Fee Related JP3996221B2 (ja) | 1996-01-16 | 1996-01-16 | ピッチ検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3996221B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5956936B2 (ja) * | 2013-01-28 | 2016-07-27 | シナノケンシ株式会社 | 音声データ再生速度変換方法および音声データ再生速度変換装置 |
-
1996
- 1996-01-16 JP JP00524896A patent/JP3996221B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH09198092A (ja) | 1997-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2799364B2 (ja) | 音高認識方法及び装置 | |
JP4767691B2 (ja) | テンポ検出装置、コード名検出装置及びプログラム | |
WO2007010637A1 (ja) | テンポ検出装置、コード名検出装置及びプログラム | |
KR101008022B1 (ko) | 유성음 및 무성음 검출방법 및 장치 | |
JP3707121B2 (ja) | ピッチ検出装置 | |
CN114882905A (zh) | 一种基于神经网络的音乐节拍速度检测方法 | |
JP3996221B2 (ja) | ピッチ検出装置 | |
JP3707120B2 (ja) | ピッチ検出装置 | |
JP3996222B2 (ja) | ピッチ検出装置 | |
KR100406655B1 (ko) | 피치검출장치 | |
JP3235445B2 (ja) | ピッチ検出装置 | |
EP1370989B1 (en) | Method and apparatus for identifying electronic files | |
KR100659884B1 (ko) | 음악에서의 비브라토 자동 검출방법 | |
JPH09198094A (ja) | ピッチ検出装置 | |
JP3645364B2 (ja) | 周波数検出装置 | |
KR0154991B1 (ko) | 전자노래 반주기의 가창상태 표시장치 및 방법 | |
JPH08263076A (ja) | 歌唱練習装置 | |
JP4214606B2 (ja) | テンポ算出方法及びテンポ算出装置 | |
JP2002287744A (ja) | 波形データ分析方法、波形データ分析装置およびプログラム | |
JP7516802B2 (ja) | テンポ検出装置、方法、及びプログラム | |
JP3919359B2 (ja) | 楽音信号のアタック位置検出装置 | |
JPH11305794A (ja) | ピッチ検出装置及び情報媒体 | |
JPH06295194A (ja) | 信号比較装置 | |
JP4381383B2 (ja) | 判別装置、判別方法、プログラム、及び記録媒体 | |
JPH04329599A (ja) | ピッチ抽出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040713 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040720 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050308 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070802 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100810 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100810 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100810 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110810 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120810 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130810 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |