JP3945905B2

JP3945905B2 - Pitch detection device

Info

Publication number: JP3945905B2
Application number: JP11852198A
Authority: JP
Inventors: 浩一藤山
Original assignee: Korg Inc
Current assignee: Korg Inc
Priority date: 1998-04-28
Filing date: 1998-04-28
Publication date: 2007-07-18
Anticipated expiration: 2018-04-28
Also published as: JPH11311988A

Description

【０００１】
【発明の属する技術分野】
本発明は、音声信号や楽音信号等のオーディオ信号のピッチを検出するピッチ検出装置に係り、特に高精度なピッチ検出を可能とする技術に関する。
【０００２】
【従来の技術】
近年、カラオケ装置が多く普及する中で、単に楽音演奏を出力するのみならず、歌唱者の要望に応じた各種機能を備えたものが使用されつつある。例えば、「キーコントロール」機能を具備することにより、楽音の音程が歌唱者の発声音域に合わない場合には、楽音の音程を変化させることにより、歌唱者にとって歌い易い音域に合わせることができるようになる。
【０００３】
更に、昨今においては、一人の歌唱者により発音された音声信号を基に、ハーモニーを奏でる機能を有するカラオケ装置が考案され、実用に共されている。この機能は、歌唱者が発音した音階を主とした和音を自動的に作成して出力するものであり、例えば、歌唱者が「ド」の音階を発声した場合には、この音声入力信号から「ミ」、「ソ」の音階を作成し、「ド、ミ、ソ」の和音として出力する。従って、独唱音を合唱音とすることができるので、臨場感を増大させることができる。
【０００４】
入力された音声信号を基に和音を作成する際には、入力された音声信号のピッチを検出し、検出されたピッチに周波数変調を加えて、和音を構成する楽音信号を生成するという操作が必要となる。従って、入力信号のピッチを精度良く検出することが必須の条件となる。
【０００５】
ピッチを検出するために用いられるピッチ検出装置として、従来より、入力信号の振幅の正負それぞれの最大値、または、それぞれの任意のスレッショルド点を交差するタイミング間隔をカウントし、その値を基準データとし、過去のピッチデータと比較して極端な信号波形の変化を排除した上で、次回、基準データと同一の間隔を有する信号が発生するまでの間隔を測定し、この間隔を当該入力信号のピッチとする方法を採用しているものが知られている。
【０００６】
しかしながら、上記のピッチ検出方法では、入力波形の特定の条件における瞬時値を利用しているだけなので、入力信号にパルス性のノイズが混入した場合にはこれを排除することができるものの、持続性のあるノイズが重畳した場合には、これを排除することができないことが多く、高精度なピッチ検出ができないという問題が発生していた。
【０００７】
【発明が解決しようとする課題】
上記したように、従来におけるピッチ検出装置では、ノイズの影響等により高精度なピッチ検出ができないことがある。従って、このピッチ検出装置を例えばカラオケ装置に搭載した場合には、歌唱中に突然音程がずれてしまい、歌唱者に不快感を与えたり、また、このピッチ検出装置を電子楽器に搭載してハーモナイザ（ハーモニーを自動で演奏する装置）として機能させる場合には、ライブ演奏中に突然音程がずれてしまうというトラブルが発生してしまうという欠点があった。
【０００８】
この発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、入力信号のピッチを高精度で検出することのできるピッチ検出装置を提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、本願請求項１に記載の発明は、入力されるオーディオ信号のピッチを検出するピッチ検出装置において、前記オーディオ信号を第ｎ（ｎは自然数）のカットオフ周波数「ｆｃ（ｎ）；ｆｃ（ｎ）＞ｆｃ（ｎ＋１）」で濾過するｎ個のローパスフィルタを縦続的に配置し、前記各ローパスフィルタの出力側に、この出力信号のピッチを検出するピッチ検出手段をそれぞれ設置し、更に、各ピッチ検出手段より得られたピッチに基づいて最適となるピッチを求め、ピッチ決定値として出力するピッチ決定手段を具備し、前記各ピッチ検出手段は、入力信号に基づいてテンプレートを作成すると共に、当該テンプレートと以後の入力信号との相関関係の有無によりピッチを検出し、更に、検出されるピッチの値のばらつき具合を安定度として設定し、前記ピッチ決定手段は、前記各ピッチ検出手段より与えられる安定度から、より安定であるとされたピッチ検出手段より得られたピッチをピッチ決定値として出力することを特徴とする。
【００１０】
また、請求項２に記載の発明は、入力されるオーディオ信号のピッチを検出するピッチ検出装置において、前記オーディオ信号を第ｎ（ｎは自然数）のカットオフ周波数「ｆｃ（ｎ）；ｆｃ（ｎ）＞ｆｃ（ｎ＋１）」で濾過するｎ個のローパスフィルタを、前記入力信号に対して並列的に配置し、前記各ローパスフィルタの出力側に、この出力信号のピッチを検出するピッチ検出手段をそれぞれ設置し、更に、各ピッチ検出手段より得られたピッチに基づいて最適となるピッチを求め、ピッチ決定値として出力するピッチ決定手段を具備し、前記各ピッチ検出手段は、入力信号に基づいてテンプレートを作成すると共に、当該テンプレートと以後の入力信号との相関関係の有無によりピッチを検出し、更に、検出されるピッチの値のばらつき具合を安定度として設定し、前記ピッチ決定手段は、前記各ピッチ検出手段より与えられる安定度から、より安定であるとされたピッチ検出手段より得られたピッチをピッチ決定値として出力することを特徴とする。
【００１１】
請求項３に記載の発明は、前記ピッチ決定手段には、前記各ピッチ検出手段より与えられる安定度を指標する安定度基準値が設定され、前記各ピッチ検出手段より与えられる安定度が、全て当該安定度基準値よりも小さいと判断された場合には、各ピッチ検出手段より与えられる各ピッチのうち、最も近接する２つのピッチを選択し、これらの平均値をピッチ決定値とすることを特徴とする。
【００１３】
上記の如く構成された本願請求項１に記載の発明は、オーディオ信号が入力信号として与えられると、この入力信号はカットオフ周波数が順次小さく設定されるｎ個のローパスフィルタにより順次高周波成分が濾過され、そして、各ローパスフィルタの後段側に設置されたピッチ検出手段により、それぞれの波形のピッチが検出される。つまり、各ピッチ検出手段では、それぞれ異なる周波数帯域成分を含む波形に基づいてピッチを検出することになり、ピッチ決定手段は、これらの各ピッチ検出手段にて求められたピッチのうち最適のものを選択してピッチ決定値とする。より具体的には、各ピッチ検出手段に与えられた入力信号に対してテンプレートを用いた相関が計算され、この相関関係の有無から入力信号のピッチを求めると共に、経時的に検出されるピッチとの比較を逐次行い、ピッチのばらつき具合を示す「安定度」を設定する。即ち、検出されるピッチの値がほぼ同一でありばらつきが少ない場合は安定度を大きく設定し、検出されるピッチの値が離散している場合は安定度を小さく設定する。そして、ピッチ決定手段では、各ピッチ検出手段にて得られるピッチから、最も安定度の高いものを選択してピッチ決定値としている。したがって、突発的なノイズが重畳した場合や、持続性成分を有するノイズが重畳した場合においてもこれらの影響を受け難い精度の高いピッチ検出が可能になる。また、請求項２に記載の発明では、ローパスフィルタの接続を入力信号に対して並列接続としている。
【００１５】
請求項３に記載の発明では、各ピッチ検出手段にて得られた安定度が予め設定されている安定度基準値よりも小さい場合には、各ピッチ検出手段にて得られたピッチの値は、全て信頼性が低いと判断し、この場合には、各ピッチ検出手段より得られたピッチのうち、最も近接する２つのピッチを選択し、これらの平均値をピッチ決定値としている。
【００１６】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。図１は、本発明の一実施形態に係るピッチ検出装置８及びこれに接続される各機器の構成を示すブロック図である。
同図に示す装置は、音声信号を集音するマイク１と、該マイク１にて集音された音声信号を増幅するアンプ２と、アンプ２より出力されるアナログの音声信号をディジタル信号に変換するＡ／Ｄ変換器３と、ディジタル化された音声信号の直流成分を除去するハイパスフィルタ（以下、ＨＰＦと略す）４とを具備しており、このＨＰＦ４の出力信号はピッチ検出装置８に出力される。
【００１７】
ピッチ検出装置８は、ＨＰＦ４の後段側に縦続的に接続される第１のローパスフィルタ５ａ（以下、ローパスフィルタをＬＰＦと略す）、第２のＬＰＦ５ｂ及び第３のＬＰＦ５ｃと、各ＬＰＦ５ａ〜５ｃの後段側に接続され、各ＬＰＦ５ａ〜ＬＰＦ５ｃより出力される音声信号のピッチを検出する第１のピッチ検出器６ａ、第２のピッチ検出器６ｂ及び第３のピッチ検出器６ｃと、各ピッチ検出器６ａ〜６ｃにて検出されたピッチから、最適なピッチを求めるピッチ決定部７と、から構成されている。
【００１８】
第１のＬＰＦ５ａ、第２のＬＰＦ５ｂ及び第３のＬＰＦ５ｃは、入力信号中に含まれる高周波成分を除去するものであり、各ＬＰＦ５ａ〜５ｃにて設定されている各カットオフ周波数ｆc1、ｆc2、ｆc3は、ｆc1＞ｆc2＞ｆc3なる関係を有しており、本実施形態では、一例としてｆc1＝９００Ｈｚ、ｆc2＝３００Ｈｚ、ｆc3＝１００Ｈｚに設定している。そして、ＬＰＦ５ａ〜ＬＰＦ５ｃとしてバタワース型のフィルタを使用した場合、図２に示す如くのカットオフ特性を得ることができる。同図において、曲線Ｓ１はＨＰＦ４とＬＰＦ５ａとを通過した時の特性曲線であり、Ｓ２はＨＰＦ４とＬＰＦ５ｂとを通過した時の特性曲線であり、Ｓ３はＨＰＦ４とＬＰＦ５ｃとを通過した時の特性曲線である。なお、ＨＰＦ４のカットオフ周波数は２０Ｈｚに設定している。
【００１９】
図３に示す特性曲線Ｓ４〜Ｓ６は、それぞれ図１に示す（ＨＰＦ＋ＬＰＦ５ａ）、（ＨＰＦ＋ＬＰＦ５ａ＋ＬＰＦ５ｂ）及び（ＨＰＦ＋ＬＰＦ５ａ＋ＬＰＦ５ｂ＋ＬＰＦ５ｃ）によるカットオフ特性を示しており、図示のように、曲線Ｓ４は図２に示す曲線Ｓ１と同一であるが、図３の曲線Ｓ５は図２の曲線Ｓ２よりも周波数変化に対して急峻に下降するカーブを描いており、同様に、図３の曲線Ｓ６は図２の曲線Ｓ３よりも周波数変化に対して急峻に下降するカーブを描いていることが理解できる。
【００２０】
図４は、ＩＩＲ型の二次フィルタの構成を示すブロック図であり、同図に示すフィルタの伝達関数Ｈ（Ｚ）は、次の（１）式にて示されることが知られている。

そして、（１）式における各係数ａ_０、ａ_１、ａ_２、ｂ_１、ｂ_２を以下に示すように設定することにより、上記のカットオフ特性を得ることができる。
１）ＨＰＦ４ｆｃ＝２０［Ｈｚ］
ａ_０＝ 0.997302393873
ａ_１＝-1.994604787746
ａ_２＝ 0.997302393873
ｂ_１＝-1.994597510654
ｂ_２＝ 0.994612064838
２）第１のＬＰＦ５ａｆｃ＝９００［Ｈｚ］
ａ_０＝ 0.006574544547
ａ_１＝ 0.013149089094
ａ_２＝ 0.006574544547
ｂ_１＝-1.757889215790
ｂ_２＝ 0.784187393978
３）第２のＬＰＦ５ｂｆｃ＝３００［Ｈｚ］
ａ_０＝ 0.000788720212
ａ_１＝ 0.001577440424
ａ_２＝ 0.000788720212
ｂ_１＝-1.919004215489
ｂ_２＝ 0.922159096337
４）第３のＬＰＦ５ｃｆｃ＝１００［Ｈｚ］
ａ_０＝ 0.000089991332
ａ_１＝ 0.000179982663
ａ_２＝ 0.000089991332
ｂ_１＝-1.972989097506
ｂ_２＝ 0.973349062833
【００２１】
また、図１に示すピッチ検出器６ａ〜６ｃは、入力されるディジタル信号から、後述する方法でテンプレートを作成し、経時的に得られる入力信号との間で共相関計算を行い、「相関有り」と判断された場合には、この入力信号が得られるまでの時間間隔をピッチとして検出する。
【００２２】
次に、上記の如く構成された本実施形態の作用について説明する。図５は、各ピッチ検出器６ａ〜６ｃにおけるピッチ検出の手順を示すフローチャートであり、同図に示すフロー（スタートからエンドまでの処理）はデータが１サンプル与えられる毎に実行される。具体例として、入力信号のサンプリング周波数を３２．８９５［ｋＨｚ］とした場合には、サンプリング周期は３０．４［μ秒］であるから、この周期で図５に示すフローが実行されることになる。
【００２３】
ピッチ検出が開始されると、まず、テンプレートが既に作成されているかどうか判断され（ステップＳＴ１）、テンプレートが作成されていなければ（ステップＳＴ１で「無」）テンプレートを作成する処理を実行する。テンプレートの作成方法は種々のものが考えられるが、本実施形態では入力信号がゼロレベルと交差する点を検出し、この点から遡って６サンプル間隔で全１０サンプルを取り出し、これをテンプレートとしている。これを、図６に示す説明図を参照しながら説明すると、同図（ａ）に示すように、入力信号Ｓ１０が与えられ、時刻ｔ１にてこの入力信号Ｓ１０とゼロレベルとの交差が検出された場合には（図５のステップＳＴ１４でＹＥＳ）、この時刻ｔ１から６サンプル間隔で全１０サンプル、即ち、１８２．４［μ秒］（３０．４×６＝１８２．４）間隔で、１０サンプル遡ったデータ（Ｄ１）を取り出してこれをテンプレートとする（ステップＳＴ８）。
【００２４】
次いで、ステップ８にて求められたテンプレートの自乗和を演算し（ステップＳＴ９）、この値が所定の基準値以上であるかどうかが判定される（ステップＳＴ１０）。そして、自乗和の値が基準値以上であると判定された場合には（ステップＳＴ１０でＹＥＳ）、ステップ８にて求められたテンプレートを以後使用するテンプレートとして決定し、変数「Sample」の値をゼロにリセットする（ステップＳＴ１１）。一方、自乗和の値が基準値よりも小さいと判定された場合には（ステップＳＴ１０でＮ０）、ステップＳＴ８で求めたテンプレートは無効であると判断し、テンプレート無しとする。同時に、変数「Pitch 」をゼロに設定する（Pitch ＝０は、ピッチが依然求められていない状態を意味する）（ステップＳＴ１２）。ここで、自乗和の値が基準値よりも小さいということは、入力信号がゼロレベルに対してあまり大きく振幅していないことを示すので、データとして意味の無いものであるからテンプレートとして使用するには相応しくないと判断し、テンプレートを無効とするのである。
【００２５】
そして、上記の手順を繰り返すことにより、テンプレートが作成されると、ステップＳＴ１で「有」となるから、「Sample」の値がインクリメントされ（ステップＳＴ２）、現在の「Sample」の値が設定値よりも小さいかどうかが判定される（ステップＳＴ３）。なお、このステップＳＴ３における処理の詳細については後述する。
【００２６】
次いで、サンプリングされたデータにゼロクロスが発生したかどうかが判定され（ステップＳＴ４）、ゼロクロスが発生すると（ステップＳＴ４でＹＥＳ）、この時点における入力波形と、既に決定されているテンプレート（データＤ１）との間で共相関を計算する（ステップＳＴ５）。図６に示した例で説明すると、同図（ｂ）に示すように、入力信号Ｓ１０は時刻ｔ２にてゼロクロスするので、この時点の波形とテンプレートとで共相関が計算され、相関が無ければピッチデータとして採用せず、引き続きピッチ検出を継続する（ステップＳＴ６でＮＯ）。なお、共相関の計算手法は周知であるからここでは説明を省略する。図６（ｂ）では、入力信号Ｓ１０とテンプレートとはほとんど一致していないので相関関係は無く、従ってピッチデータとして採用しない。
【００２７】
同様の手順を繰り返すと、図６（ｃ）、（ｄ）に示すように、時刻ｔ３、ｔ４にてゼロクロスが検出されることになるが、共にテンプレートとの相関が無いと判断されるので、やはりピッチデータとして採用しない。そして、同図（ｅ）に示す時刻ｔ５においては、サンプリングデータのゼロクロスが検出され、且つ、入力信号Ｓ１０とテンプレートとがほぼ一致するので、「相関有り」と判定されることになるから（ステップＳＴ６でＹＥＳ）、現時点での「Sample」の値を「Pitch 」とする（ステップＳＴ７）。即ち、前記したように、テンプレートが決定された時点で（ステップＳＴ１１）で「Sample」の値をゼロにリセットしており、また、ステップＳＴ２においてこの「Sample」の値をサンプリング周期毎にインクリメントしているので、図６（ｅ）の時刻ｔ５における「Sample」の値は、時刻ｔ１〜ｔ５の間のサンプル数ということになり、これが入力信号Ｓ１０のピッチＰ１ということになる。
【００２８】
次いで、前記したテンプレート作成手順と同様に、時刻ｔ５から６サンプル間隔で遡って全１０サンプルを取り出し、このデータを新たなテンプレートとして更新し、且つ、「Sample」をゼロにリセットする（ステップＳＴ８〜ＳＴ１１）。ここで、テンプレートを更新する理由は、入力信号の波形が徐々に変化した場合でもこれに追従させるためである。つまり、図６（ｅ）の時刻ｔ５にて入力信号Ｓ１０とテンプレートとの間に相関関係があると判断されたが、これらは全く同一の波形ということでは無く、若干の誤差が発生しており、以後使用するテンプレートとしては、できるだけ新しいデータを使用した方が共相関計算時の精度を向上させることができるので、新たに得られたデータに基づきテンプレートを改めて作成しているのである。
【００２９】
また、上記の例では、時刻ｔ５にて相関関係が得られた場合について説明したが、もし、テンプレートとの間で一定の相関関係が得られる波形が存在しない場合には、ステップＳＴ２において「Sample」の値がインクリメントされ続けることになり、この値が設定値以上となると（ステップＳＴ３でＮＯ）、既に設定されているテンプレートをクリアし、且つ、「Pitch 」をゼロ（即ち、ピッチ未検出の状態）とする（ステップＳＴ１３）。これは、長時間ピッチが検出されない場合に、これ以上現在のテンプレートを使用したピッチの検出を行わず、テンプレートを作成し直すための処理である。
【００３０】
例えば、入力信号が人間の音声である場合を例にとると、人間の発声音の周波数は約６０Ｈｚ以上であることが知られており、この周期は１６．６７［ｍ秒］以下であり、前記したように入力信号のサンプリング周期は３０．４［μ秒］であることから、１６６７０／３０．４＝５４８が得られ、入力信号が人間の音声である場合には、ピッチが「５４８」サンプル以上となることは無いということができる。よって、「Sample」の値が「５４８」以上となってもなお且つピッチが検出されない場合には、現時点にて設定されているテンプレートを使用したこれ以上のピッチ検出は意味が無いものと判断される。従って、設定値を「５４８」に設定しておけば、たとえテンプレートと相関を持つ波形が検出されなくても、不要なピッチ検出の演算を回避することができることになる。本実施形態では、演算の都合上、この設定値を「５１２」としており、ステップＳＴ３において「Sample」の値が「５１２」以上となった場合には、現時点で設定されているテンプレートをクリアし、且つ、Pitch ＝０とした後（ステップＳＴ１３）、ステップＳＴ１４以降の処理にて再度テンプレートの作成を行う。
【００３１】
また、ステップＳＴ６における処理にて、「相関有り」と判断されると、その都度新たなピッチ検出データが得られることになり、新たに得られるピッチに更新するかどうかの処理は、図７に示すフローチャートの手順に沿って実行される。図示のように、ピッチの更新処理では、まず、現在の「Pitch 」がゼロ（ピッチが未設定）であるかどうかが判定され（ステップＳＴ２１）、Pitch ＝０である場合には（ステップＳＴ２１でＮＯ）、安定度を示す変数「Stab」をゼロとし、新たに得られた「Sample」の値を「Pitch 」とする（ステップＳＴ２９）。また、「Pitch 」がゼロでない場合（ステップＳＴ２１でＹＥＳ）には、今回求められた「Sample」の値と現時点で設定されている「Pitch 」との比較が行われ（ステップＳＴ２２）、両者が近い値であれば（ステップＳＴ２２でＹＥＳ）、「Stab」の値をインクリメントし（ステップＳＴ２３）予め設定されている上限基準値との比較を行う（ステップＳＴ２４）。なお、上限基準値は適宜設定することができるものであり、この例では「１６」に設定している。
【００３２】
そして、「Stab」の値が上限基準値「１６」以下である場合には（ステップＳＴ２４でＹＥＳ）新たに求められた「Sample」を新たな「Pitch 」として更新する（ステップＳＴ２５）。また「Stab」の値が上限基準値「１６」よりも大きい場合には（ステップＳＴ２４でＮＯ）、Stab＝１６とした後（ステップＳＴ２６）やはり、新たに求められた「Sample」を新たな「Pitch 」として更新する（ステップＳＴ２５）。
【００３３】
また、「Sample」の値が現時点で設定されている「Pitch 」と近い値では無い場合には（ステップＳＴ２２でＮＯ）、ピッチ検出の安定性が悪いと判断し、現在設定されてる「Stab」の値をデクリメントして（ステップＳＴ２７）この値が下限基準値（「０」に設定している）以下であるかどうかの判定が行われる（ステップＳＴ２８）。そして、「Stab」の値が「０」よりも大きいと判断された場合には（ステップＳＴ２８でＮＯ）、ピッチの更新は行わず、一方、「０」以下であると判断された場合には（ステップＳＴ２８でＹＥＳ）、「Stab＝０」に設定し、かつ、求められた「Sample」の値を「Pitch 」として設定する（ステップＳＴ２９）。こうして、ピッチの更新が行われるのである。
【００３４】
上記の方法によれば、近似したピッチが複数回得られると安定度を示す変数「Stab」が増加し、反対にばらつきのあるピッチの値が得られると安定度「Stab」は減少する。即ち、「Stab」は、検出されるピッチの値のばらつきの度合いを指標する変数ということができる。
【００３５】
そして、図１に示される各ピッチ検出器６ａ〜６ｃでは、図５，図７に示した手順にてピッチが検出され、この求められた「Pitch 」及び「Stab」はピッチ決定部７に出力される。以下、図８に示すフローチャートを参照しながら、ピッチ決定部７における処理手順について説明する。ここで、ピッチ検出器６ａより得られる「Pitch 」をＰａ、「Stab」をＳａと表し、ピッチ検出器６ｂより得られる「Pitch 」をＰｂ、「Stab」をＳｂと表し、また、ピッチ検出器６ｃより得られる「Pitch 」をＰｃ、「Stab」をＳｃと表すことにする。また、図８に示すフローチャートでは、ピッチを示す変数を「PITCH 」と、大文字で示す。
【００３６】
ピッチ決定部７における処理では、まず、以下の処理で使用する最大安定度「STAB MAX」を安定度基準値（ここでは「１」としている）に設定し、且つ、PITCH ＝０（即ち、ピッチ未設定の状態）とする（ステップＳＴ３１）。次いで、Ｓａ（ピッチ検出器６ａより与えられる「Stab」）と最大安定度「１」との比較が行われ（ステップＳＴ３２）、Ｓａ≧１であれば（ステップＳＴ３２でＹＥＳ）「STAB MAX＝Ｓａ」とし、且つ、「PITCH 」をＰａに設定する。
【００３７】
次いで、ステップＳＴ３４〜ＳＴ３７にて、ピッチ検出器６ｂ，６ｃの出力についても同様の処理を行う。その結果、各ピッチ検出器６ａ〜６ｃにて求められたピッチＰａ〜Ｐｃのうち、最も安定度「Stab」の大きいピッチ検出器６ａ〜６ｃにて得られたピッチが「PITCH 」として設定されることになり、この「PITCH 」がピッチ決定部７におけるピッチ決定値（出力値）となる（ステップＳＴ３８でＮＯ、ステップＳＴ４６）。ここで、図８のステップＳＴ３２〜ＳＴ３７に示す処理手順から容易理解されるように、各ピッチ検出器６ａ〜６ｃにて得られた「Stab」Ｓａ、Ｓｂ、Ｓｃの値が同一である場合には、より下位にあるものが選択されることになる。例えば、Ｓａ＝Ｓｂ＝Ｓｃである場合には、STAB MAX＝Ｓｃとされるので、Ｐｃが「PITCH 」として選択されることになる。これは、テンプレートによるピッチの検出エラーは、一般的に高周波帯域にて発生しやすいことを考慮したものであり、「Stab」の値が同一である場合には、より下位にあるものを選択することにより、ピッチの検出精度を向上させている。
【００３８】
一方、安定度Ｓａ〜Ｓｃがすべて安定度基準値「１」よりも小さい場合には、上記ステップＳＴ３１〜ＳＴ３７の処理では「PITCH 」にデータが書き込まれないことになるので（即ち、ステップＳＴ３２，ＳＴ３４，ＳＴ３６で全てＮＯ）、「PITCH ＝０」とされており（ステップＳＴ３８でＹＥＳ）、この場合には、まず、以下の処理で使用するピッチ誤差許容値を示す変数「PITCH DIF」を設定する（ステップＳＴ３９）。なお、ここでは一例として「PITCH DIF＝３」としている。そして、
イ）Ｐａ≠０
ロ）Ｐｂ≠０
ハ）｜Ｐａ−Ｐｂ｜≦PITCH DIF
上記イ）〜ハ）の３つの条件が成立した場合には（ステップＳＴ４０でＹＥＳ）、
ニ）PITCH DIF＝｜Ｐａ−Ｐｂ｜
ホ）PITCH ＝（Ｐａ＋Ｐｂ）／２
とする（ステップＳＴ４１）。上記イ）〜ホ）の処理では、ピッチ検出器６ａ及び６ｂの出力を対象としており、Ｐａ、Ｐｂが共にゼロでなく、これらの差分の絶対値が「PITCH DIF」の値（ここでは、「３」）以下である場合には、ＰａとＰｂとの平均を「PITCH 」として設定している。
【００３９】
そして、上記イ）〜ホ）と同様の操作をピッチ検出器６ａと６ｃ、及びピッチ検出器６ｂと６ｃでそれぞれ行い（ステップＳＴ４２〜ＳＴ４５）、最も差分の小さいものどうしの平均から得られる「PITCH 」を、ピッチ決定部７の出力とする（ステップＳＴ４６）。つまり、上記のステップＳＴ３９〜ＳＴ４６の処理では、各ピッチ検出器６ａ〜６ｃにて得られたピッチＰａ〜Ｐｃの安定度が全て安定度基準値「１」よりも小さい場合には、このうちの接近した２つのピッチの平均値を演算し、この平均値を最終的なピッチとしている。こうして、ピッチ決定部７では、各ピッチ検出器６ａ〜６ｃより与えられるピッチの値から最適なピッチを求め、これをピッチ決定値として出力する。
【００４０】
次に、図１に示した各ＬＰＦ５ａ〜５ｃより出力される波形の具体例について説明すると、例えば、Ａ／Ｄ変換後の入力信号として、図９（ａ）に示す如くの波形が得られた場合には、ＬＰＦ５ａの出力信号は同図（ｂ）、ＬＰＦ５ｂの出力信号は同図（ｃ）、そしてＬＰＦ５ｃの出力信号は同図（ｄ）に示す如くの波形というように、順次高周波成分が除去された波形となる。そして、各ピッチ検出器６ａ〜６ｃでは、図９（ｂ）〜（ｄ）に示すそれぞれの波形を基にピッチを検出しており、ピッチ決定部７では各ピッチ検出器６ａ〜６ｃにて求められたピッチの中から最適なピッチを求めている。
【００４１】
このようにして、本実施形態に係るピッチ検出装置では、複数段のＬＰＦ５ａ〜５ｃを用いて入力信号の波形を変形させ、変形された各信号に基づいてそれぞれピッチを検出し、求められた各ピッチから最適なピッチを求めるようにしているので、ノイズ等の影響を受け難くすることができ、従来のピッチ検出装置と比較して、より精度の高いピッチの検出が可能となる。
【００４２】
図１０は、本実施形態のピッチ検出装置を、カラオケ装置に搭載した例を示しており、図１に示したピッチ検出装置８は同図に示すディジタルシグナルプロセッサ（ＤＳＰ）１１内に搭載されている。このカラオケ装置は、制御中枢となるＣＰＵ１７、所望の曲を選択する選曲部１８、外部記憶装置１９、データの一時的な記憶を行うＲＡＭ２０、システムプログラムが記憶されるＲＯＭ２１、楽音信号を生成して出力する音源装置１６、画面表示する画像を生成する画像処理装置２２、Ｄ／Ａ変換器１２、楽音信号と音声信号とを合成するミキサ１３、カラオケ画像を画面表示するビデオモニタ２３、ミキサ１３の出力を増幅するアンプ１４、及びスピーカ１５から構成されている。
【００４３】
そして、このようなカラオケ装置に、本実施形態のピッチ検出装置を適用すれば、歌唱者より入力される音声信号に基づき、これを基準とした和音を自動的に作成して発音させることができるので、一人の音声で合唱音を生成でき、臨場感を増大させることができるようになる。また、採点機能付きカラオケ装置においては、ピッチ検出の精度を向上させることにより、歌唱者の実力に則したより高度な採点をすることができるようになる。
【００４４】
図１１は、本発明に係るピッチ検出装置の変形例の構成を示すブロック図であり、図示のようにこのピッチ検出装置は、ＨＰＦ４の出力を３系統に分岐させ、分岐された各経路上にそれぞれカットオフ特性の相違するＬＰＦ５ａ〜５ｃを設置し、これらのＬＰＦ５ａ〜５ｃの出力側にピッチ検出器６ａ〜６ｃを配設している。そして、このような構成によれば、図２及び図３に示したように、ＬＰＦ５ａ〜５ｃを縦続的に接続した場合と比較して、周波数のカットオフ特性が若干低下することになるが、実際には、フィルタのカットオフ特性が多少低下しても高い精度でピッチを検出することができるから、その効果は極めて大である。
【００４５】
なお、上記した実施形態では、ローパスフィルタ及びピッチ検出器の個数を３個とする例について説明したが、本発明はこれに限定されるものでは無く、２個以上であれば、適用できることは自明である。また、入力信号としてカラオケ装置のマイクより入力される音声信号を例に説明したが、本発明はこれに限定されるものではなく、各種の入力信号に対して適用できるものである。
【００４６】
また、図１に示したローパスフィルタの代わりにバンドパスフィルタを使用して帯域分割し、同様の効果を得ることもできるが、バンドパスフィルタはローパスフィルタとハイパスフィルタとの組み合わせにて構成されるものであるから、バンドパスフィルタを使用すると図１に示すピッチ検出装置８が搭載されるＤＳＰ１１（図１０参照）における計算量が著しく増大し、実現化が困難である。即ち、本発明はバンドパスフィルタを使用して帯域分割した場合と比較すると、より少ない計算量で高精度なピッチ検出が可能になるという効果も達成し得る。
【００４７】
【発明の効果】
以上説明したように、本発明のピッチ検出装置では、入力信号に対してローパスフィルタを縦続的または並列的に複数段設置し、これら各ローパスフィルタの後段側にピッチ検出手段を接続し、各ピッチ検出手段より得られるピッチに基づき最適なピッチを求めている。従って、入力信号に突発的なノイズが重畳したり、持続性ノイズが重畳した場合においても、各ピッチ検出装置では、それぞれ異なるカットオフ周波数で高周波成分が除去された入力信号からピッチを検出しているので、これらのノイズの影響を受け難くなり、高精度なピッチ検出が可能となる。
【００４８】
また、各ピッチ検出手段にて検出されるピッチのばらつき具合を「安定度」で評価し、各ピッチ検出手段にて検出されたピッチの中から、最も安定度が高いと判断されたピッチを選択する構成としているので、各ピッチ検出手段にて得られたピッチから確実に最適なものを選択することができる。
【００４９】
更に、各ピッチ検出手段にて検出されたピッチの安定度が、安定度基準値よりも小さいと判断された場合には、全てのピッチについて信頼性が低いと判断されるので、各ピッチ検出手段にて検出されたピッチからどれかを選択するのでは無く、検出された各ピッチの中から最も接近している２つのピッチを取り出し、これらの平均値をピッチ決定値としているので、一つのピッチ検出結果に支配されない、より高精度なピッチ検出が可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るピッチ検出装置の構成を示すブロック図。
【図２】各ＬＰＦ５ａ〜５ｃの周波数のカットオフ特性を示す特性図。
【図３】ＬＰＦ５ａ、（ＬＰＦ５ａ＋ＬＰＦ５ｂ）、（ＬＰＦ５ａ＋ＬＰＦ５ｂ＋ＬＰＦ５ｃ）のそれぞれの周波数のカットオフ特性を示す特性図。
【図４】ＩＩＲ型二次フィルタの一般的な構成を示すブロック図。
【図５】ピッチ検出器におけるピッチ検出の手順を示すフローチャート。
【図６】テンプレートの作成方法及びテンプレートと入力波形との相関関係の有無を示す説明図。
【図７】ピッチを更新する際の操作手順を示すフローチャート。
【図８】ピッチ決定部における操作手順を示すフローチャート。
【図９】入力信号及び第１のＬＰＦ〜第３のＬＰＦより出力される信号波形を示す説明図。
【図１０】カラオケ装置の構成を示すブロック図。
【図１１】本発明の変形例の構成を示すブロック図。
【符号の説明】
１マイク
２アンプ
３Ａ／Ｄ変換器
４ハイパスフィルタ（ＨＰＦ）
５ａ〜５ｃ第１〜第３のローパスフィルタ（ＬＰＦ）
６ａ〜６ｃ第１〜第３のピッチ検出器
７ピッチ決定部
８ピッチ検出装置
１１ディジタルシグナルプロセッサ（ＤＳＰ）
１２Ｄ／Ａ変換器
１３ミキサ
１４アンプ
１５スピーカ
１６音源装置
１７ＣＰＵ
１８選曲部
１９外部記憶装置
２０ＲＡＭ
２１ＲＯＭ
２２画像処理装置
２３ビデオモニタ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a pitch detection device that detects the pitch of an audio signal such as an audio signal or a musical tone signal, and more particularly to a technique that enables highly accurate pitch detection.
[0002]
[Prior art]
In recent years, with many karaoke apparatuses becoming popular, not only outputting musical tone performances but also those having various functions according to the demands of singers are being used. For example, by providing a “key control” function, if the pitch of the musical tone does not match the vocal range of the singer, the musical pitch can be changed to match the range that is easy for the singer to sing. become.
[0003]
Furthermore, in recent years, a karaoke apparatus having a function of playing a harmony based on an audio signal generated by a single singer has been devised and put into practical use. This function automatically creates and outputs a chord mainly composed of the scale produced by the singer. For example, when the singer utters a scale of “do”, the voice input signal Create a scale of “Mi” and “So” and output it as a chord of “Do, Mi, Seo”. Accordingly, since the solo sound can be used as the chorus sound, the sense of reality can be increased.
[0004]
When creating a chord based on an input audio signal, the operation of detecting the pitch of the input audio signal and applying frequency modulation to the detected pitch to generate a tone signal that constitutes the chord is performed. Necessary. Therefore, it is an essential condition to accurately detect the pitch of the input signal.
[0005]
As a pitch detection device used to detect pitch, the maximum value of the positive and negative values of the input signal, or the timing interval that crosses each arbitrary threshold point is counted, and that value is used as reference data. Measure the interval until the next generation of a signal with the same interval as the reference data after eliminating extreme changes in the signal waveform compared to the past pitch data, and use this interval as the pitch of the input signal. The one that adopts the method is known.
[0006]
However, since the above pitch detection method only uses an instantaneous value under a specific condition of the input waveform, it can be eliminated when pulsed noise is mixed in the input signal, but it is sustainable. In the case where a certain noise is superimposed, it is often impossible to eliminate the noise, and there has been a problem that a highly accurate pitch cannot be detected.
[0007]
[Problems to be solved by the invention]
As described above, the conventional pitch detection device may not be able to detect the pitch with high accuracy due to the influence of noise or the like. Therefore, when this pitch detection device is mounted on, for example, a karaoke device, the pitch suddenly shifts during singing, causing the singer to feel uncomfortable, or the pitch detection device is mounted on an electronic musical instrument. In the case of functioning as (a device for automatically playing harmony), there is a drawback that a trouble occurs that the pitch suddenly shifts during live performance.
[0008]
The present invention has been made to solve such a conventional problem, and an object of the present invention is to provide a pitch detection device capable of detecting the pitch of an input signal with high accuracy.
[0009]
[Means for Solving the Problems]
In order to achieve the above object, according to the first aspect of the present invention, in the pitch detection device for detecting the pitch of the input audio signal, the audio signal is divided into the nth (n is a natural number) cut-off frequency “fc ( n); fc (n)> fc (n + 1) ”n low-pass filters are arranged in cascade, and pitch detection means for detecting the pitch of the output signals is provided on the output side of each low-pass filter, respectively. And a pitch determining means for obtaining an optimum pitch based on the pitch obtained from each pitch detecting means and outputting it as a pitch determined value. The pitch detection means creates a template based on the input signal, detects the pitch based on the presence or absence of a correlation between the template and the subsequent input signal, and further detects the variation in the detected pitch value. The pitch determination means outputs the pitch obtained from the pitch detection means determined to be more stable as the pitch determination value from the stability given from each pitch detection means. thing The Characteristic Toss The
[0010]
According to a second aspect of the present invention, in the pitch detection device for detecting the pitch of the input audio signal, the audio signal is divided into the nth (n is a natural number) cut-off frequency “fc (n); fc (n )> Fc (n + 1) ”, n low-pass filters arranged in parallel with the input signal, and a pitch detecting means for detecting the pitch of the output signal on the output side of each low-pass filter. In addition, a pitch determining means is provided for obtaining an optimum pitch based on the pitch obtained from each pitch detecting means and outputting it as a pitch determined value. The pitch detection means creates a template based on the input signal, detects the pitch based on the presence or absence of a correlation between the template and the subsequent input signal, and further detects the variation in the detected pitch value. The pitch determination means outputs the pitch obtained from the pitch detection means determined to be more stable as the pitch determination value from the stability given from each pitch detection means. It is characterized by that.
[0011]
The invention described in claim 3 The pitch determination means is set with a stability reference value indicating the stability given from each pitch detection means, and the stability given from each pitch detection means is all smaller than the stability reference value. If it is determined, the two closest pitches are selected from the pitches given by the pitch detection means, and the average value of these is set as the pitch determination value. It is characterized by that.
[0013]
According to the first aspect of the present invention configured as described above, when an audio signal is given as an input signal, the input signal is sequentially filtered of high-frequency components by n low-pass filters whose cut-off frequencies are sequentially set to be small. And the pitch of each waveform is detected by the pitch detection means installed on the downstream side of each low-pass filter. That is, each pitch detection means detects a pitch based on waveforms including different frequency band components, and the pitch determination means selects the optimum one of the pitches obtained by each pitch detection means. Select a pitch decision value. More specifically, a correlation using a template is calculated for the input signal given to each pitch detection means, the pitch of the input signal is obtained from the presence or absence of this correlation, and the pitch detected over time The “stability” indicating the degree of pitch variation is set. That is, when the detected pitch values are almost the same and there is little variation, the stability is set large, and when the detected pitch values are discrete, the stability is set small. Then, the pitch determining means selects a pitch having the highest stability from the pitches obtained by the pitch detecting means and uses it as a pitch determined value. Therefore, even when sudden noise is superimposed or when noise having a persistent component is superimposed, it is possible to detect the pitch with high accuracy that is not easily affected by these effects. . In the invention described in claim 2, the low-pass filter is connected in parallel to the input signal.
[0015]

Claim

3 In the invention described in the above, if the stability obtained by each pitch detection means is smaller than a preset stability reference value, the pitch values obtained by each pitch detection means are all reliable. In this case, the two closest pitches are selected from the pitches obtained by the pitch detection means, and the average value of these is used as the pitch determination value.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a pitch detection device 8 according to an embodiment of the present invention and each device connected thereto.
The apparatus shown in the figure includes a microphone 1 that collects an audio signal, an amplifier 2 that amplifies the audio signal collected by the microphone 1, and an analog audio signal output from the amplifier 2 into a digital signal. An A / D converter 3 that performs this operation, and a high-pass filter (hereinafter abbreviated as HPF) 4 that removes the DC component of the digitized audio signal. The output signal of this HPF 4 is output to the pitch detection device 8. Is done.
[0017]
The pitch detection device 8 includes a first low-pass filter 5a (hereinafter, the low-pass filter is abbreviated as LPF), a second LPF 5b, a third LPF 5c, and LPFs 5a to 5c that are connected in cascade to the downstream side of the HPF 4. A first pitch detector 6a, a second pitch detector 6b, a third pitch detector 6c, which are connected to the rear stage side and detect the pitch of the audio signal output from each LPF 5a to LPF 5c, and each pitch detector The pitch determination unit 7 calculates an optimum pitch from the pitches detected in 6a to 6c.
[0018]
The first LPF 5a, the second LPF 5b, and the third LPF 5c remove high frequency components contained in the input signal, and the cutoff frequencies fc1, fc2, fc3 set in the LPFs 5a to 5c. Have a relationship of fc1>fc2> fc3. In this embodiment, fc1 = 900 Hz, fc2 = 300 Hz, and fc3 = 100 Hz are set as an example. When a Butterworth filter is used as the LPF 5a to LPF 5c, a cutoff characteristic as shown in FIG. 2 can be obtained. In the figure, curve S1 is a characteristic curve when passing through HPF4 and LPF5a, S2 is a characteristic curve when passing through HPF4 and LPF5b, and S3 is a characteristic curve when passing through HPF4 and LPF5c. It is. The cut-off frequency of HPF 4 is set to 20 Hz.
[0019]
Characteristic curves S4 to S6 shown in FIG. 3 show cut-off characteristics according to (HPF + LPF5a), (HPF + LPF5a + LPF5b) and (HPF + LPF5a + LPF5b + LPF5c) shown in FIG. 1, respectively, and as shown in FIG. However, the curve S5 in FIG. 3 depicts a curve that drops more rapidly than the curve S2 in FIG. 2, and similarly, the curve S6 in FIG. 3 is more than the curve S3 in FIG. It can be understood that a curve steeply descending with respect to the frequency change is drawn.
[0020]
FIG. 4 is a block diagram showing the configuration of an IIR type second-order filter. It is known that the transfer function H (Z) of the filter shown in FIG. 4 is expressed by the following equation (1).

And each coefficient a in the equation (1) ₀ , A ₁ , A ₂ , B ₁ , B ₂ By setting as follows, the above-mentioned cut-off characteristics can be obtained.
1) HPF4 fc = 20 [Hz]
a ₀ = 0.997302393873
a ₁ = -1.994604787746
a ₂ = 0.997302393873
b ₁ = -1.994597510654
b ₂ = 0.994612064838
2) First LPF 5a fc = 900 [Hz]
a ₀ = 0.006574544547
a ₁ = 0.013149089094
a ₂ = 0.006574544547
b ₁ = -1.757889215790
b ₂ = 0.784187393978
3) Second LPF 5b fc = 300 [Hz]
a ₀ = 0.000788720212
a ₁ = 0.001577440424
a ₂ = 0.000788720212
b ₁ = -1.919004215489
b ₂ = 0.922159096337
4) Third LPF 5c fc = 100 [Hz]
a ₀ = 0.000089991332
a ₁ = 0.000179982663
a ₂ = 0.000089991332
b ₁ = -1.972989097506
b ₂ = 0.973349062833
[0021]
In addition, the pitch detectors 6a to 6c shown in FIG. 1 create a template from an input digital signal by a method described later and perform a co-correlation calculation with the input signal obtained over time. Is determined as a pitch, the time interval until the input signal is obtained is detected as a pitch.
[0022]
Next, the operation of the present embodiment configured as described above will be described. FIG. 5 is a flowchart showing a pitch detection procedure in each of the pitch detectors 6a to 6c. The flow shown in FIG. 5 (processing from start to end) is executed every time one sample of data is given. As a specific example, when the sampling frequency of the input signal is 32.895 [kHz], the sampling cycle is 30.4 [μ seconds], and therefore the flow shown in FIG. 5 is executed in this cycle. Become.
[0023]
When pitch detection is started, it is first determined whether or not a template has already been created (step ST1). If a template has not been created ("No" in step ST1), a process for creating a template is executed. There are various template creation methods. In this embodiment, a point where the input signal crosses the zero level is detected, and all 10 samples are extracted at intervals of 6 samples from this point, and this is used as a template. . This will be described with reference to the explanatory diagram shown in FIG. 6. As shown in FIG. 6A, an input signal S10 is given, and at time t1, an intersection between the input signal S10 and the zero level is detected. If this is the case (YES in step ST14 in FIG. 5), all 10 samples from the time t1 at intervals of 6 samples, that is, 102.4 at intervals of 182.4 [μ seconds] (30.4 × 6 = 182.4). Sampled data (D1) is taken out and used as a template (step ST8).
[0024]
Next, the sum of squares of the template obtained in step 8 is calculated (step ST9), and it is determined whether this value is equal to or greater than a predetermined reference value (step ST10). If it is determined that the value of the sum of squares is greater than or equal to the reference value (YES in step ST10), the template obtained in step 8 is determined as a template to be used later, and the value of the variable “Sample” is determined. Reset to zero (step ST11). On the other hand, when it is determined that the value of the sum of squares is smaller than the reference value (N0 in step ST10), it is determined that the template obtained in step ST8 is invalid, and there is no template. At the same time, the variable “Pitch” is set to zero (Pitch = 0 means that the pitch is not yet obtained) (step ST12). Here, the value of the sum of squares being smaller than the reference value indicates that the input signal does not have a large amplitude with respect to the zero level, so it is meaningless as data, so it can be used as a template. Decides that it is not suitable and invalidates the template.
[0025]
When the template is created by repeating the above procedure, “Yes” is set in step ST1, so the value of “Sample” is incremented (step ST2), and the current value of “Sample” is set to the set value. Is determined (step ST3). Details of the process in step ST3 will be described later.
[0026]
Next, it is determined whether or not zero crossing has occurred in the sampled data (step ST4). If zero crossing has occurred (YES in step ST4), the input waveform at this point in time and the template (data D1) already determined are determined. Are calculated (step ST5). In the example shown in FIG. 6, as shown in FIG. 6B, the input signal S10 zero-crosses at time t2, and therefore, the co-correlation is calculated between the waveform at this time and the template, and there is no correlation. The pitch detection is continued without being adopted as pitch data (NO in step ST6). Since the method for calculating the co-correlation is well known, the description thereof is omitted here. In FIG. 6B, since the input signal S10 and the template hardly coincide with each other, there is no correlation, and therefore, it is not adopted as pitch data.
[0027]
When the same procedure is repeated, as shown in FIGS. 6C and 6D, zero crosses are detected at times t3 and t4, but it is determined that there is no correlation with the template. It is not adopted as pitch data. Then, at time t5 shown in FIG. 5E, the zero crossing of the sampling data is detected, and the input signal S10 and the template substantially coincide with each other, so that “correlation exists” is determined (step) “YES” in ST6), the current “Sample” value is set to “Pitch” (step ST7). That is, as described above, when the template is determined (step ST11), the value of “Sample” is reset to zero, and in step ST2, the value of “Sample” is incremented for each sampling period. Therefore, the value of “Sample” at time t5 in FIG. 6E is the number of samples between times t1 and t5, and this is the pitch P1 of the input signal S10.
[0028]
Next, similarly to the template creation procedure described above, all 10 samples are extracted retroactively from the time t5 at an interval of 6 samples, this data is updated as a new template, and “Sample” is reset to zero (steps ST8 to ST8). ST11). Here, the reason for updating the template is to make it follow even when the waveform of the input signal gradually changes. That is, it is determined that there is a correlation between the input signal S10 and the template at time t5 in FIG. 6E, but these are not exactly the same waveform, and a slight error has occurred. As a template to be used thereafter, the accuracy at the time of co-correlation calculation can be improved by using as much new data as possible. Therefore, the template is newly created based on the newly obtained data.
[0029]
Further, in the above example, the case where the correlation is obtained at time t5 has been described. However, if there is no waveform that can obtain a certain correlation with the template, in step ST2, “Sample” ”Will continue to be incremented. If this value exceeds the set value (NO in step ST3), the already set template is cleared and“ Pitch ”is set to zero (that is, the pitch is not detected). State) (step ST13). This is a process for re-creating a template without detecting the pitch using the current template any more when the pitch is not detected for a long time.
[0030]
For example, taking the case where the input signal is a human voice as an example, it is known that the frequency of a human voice is about 60 Hz or more, and this period is 16.67 [msec] or less. As described above, since the sampling period of the input signal is 30.4 [μ seconds], 16670 / 30.4 = 548 is obtained. When the input signal is a human voice, the pitch is “548”. It can be said that there is no more than a sample. Therefore, even if the value of “Sample” is “548” or more and the pitch is not detected, it is determined that further pitch detection using the template set at the present time is meaningless. The Therefore, if the set value is set to “548”, unnecessary calculation of pitch detection can be avoided even if a waveform having a correlation with the template is not detected. In the present embodiment, this setting value is set to “512” for the convenience of calculation. If the value of “Sample” becomes “512” or more in step ST3, the currently set template is cleared. In addition, after Pitch = 0 (step ST13), a template is created again in the processing after step ST14.
[0031]
In addition, when it is determined that there is “correlation” in the process in step ST6, new pitch detection data is obtained each time, and the process of whether or not to update to the newly obtained pitch is shown in FIG. It is executed according to the procedure of the flowchart shown. As shown in the figure, in the pitch update process, first, it is determined whether or not the current “Pitch” is zero (pitch is not set) (step ST21). If Pitch = 0 (step ST21). NO), the variable “Stab” indicating the stability is set to zero, and the newly obtained value of “Sample” is set to “Pitch” (step ST29). If “Pitch” is not zero (YES in step ST21), the value of “Sample” obtained this time is compared with “Pitch” currently set (step ST22). If it is a close value (YES in step ST22), the value of “Stab” is incremented (step ST23) and compared with a preset upper reference value (step ST24). The upper limit reference value can be set as appropriate, and is set to “16” in this example.
[0032]
If the value of “Stab” is equal to or less than the upper reference value “16” (YES in step ST24), the newly obtained “Sample” is updated as a new “Pitch” (step ST25). If the value of “Stab” is larger than the upper reference value “16” (NO in step ST24), after setting Stab = 16 (step ST26), the newly obtained “Sample” is again replaced with a new “Sample”. Pitch "is updated (step ST25).
[0033]
If the value of “Sample” is not close to the currently set “Pitch” (NO in step ST22), it is determined that the stability of pitch detection is poor, and the currently set “Stab”. Is decremented (step ST27), and it is determined whether or not this value is equal to or lower than the lower limit reference value (set to “0”) (step ST28). If it is determined that the value of “Stab” is greater than “0” (NO in step ST28), the pitch is not updated, whereas if it is determined that the value is “0” or less. (YES in step ST28), “Stab = 0” is set, and the obtained value of “Sample” is set as “Pitch” (step ST29). In this way, the pitch is updated.
[0034]
According to the above method, the variable “Stab” indicating the stability increases when the approximate pitch is obtained a plurality of times, and conversely, the stability “Stab” decreases when the pitch value having variations is obtained. That is, “Stab” can be said to be a variable that indicates the degree of variation in the detected pitch value.
[0035]
The pitch detectors 6 a to 6 c shown in FIG. 1 detect the pitch by the procedure shown in FIGS. 5 and 7, and the obtained “Pitch” and “Stab” are output to the pitch determination unit 7. Is done. Hereinafter, the processing procedure in the pitch determination unit 7 will be described with reference to the flowchart shown in FIG. Here, “Pitch” obtained from the pitch detector 6a is represented as Pa, “Stab” is represented as Sa, “Pitch” obtained from the pitch detector 6b is represented as Pb, “Stab” is represented as Sb, and the pitch detector “Pitch” obtained from 6c is represented as Pc, and “Stab” as Sc. In the flowchart shown in FIG. 8, the variable indicating the pitch is indicated as “PITCH” in capital letters.
[0036]
In the processing in the pitch determination unit 7, first, the maximum stability “STAB MAX” used in the following processing is set to the stability reference value (here, “1”), and PITCH = 0 (that is, pitch) Unset state) (step ST31). Next, Sa (“Stab” given from the pitch detector 6a) is compared with the maximum stability “1” (step ST32). If Sa ≧ 1 (YES in step ST32), “STAB MAX = Sa And “PITCH” is set to Pa.
[0037]
Next, in steps ST34 to ST37, the same processing is performed for the outputs of the pitch detectors 6b and 6c. As a result, the pitches obtained by the pitch detectors 6a to 6c having the highest stability “Stab” among the pitches Pa to Pc obtained by the pitch detectors 6a to 6c are set as “PITCH”. Therefore, this “PITCH” becomes the pitch determination value (output value) in the pitch determination unit 7 (NO in step ST38, step ST46). Here, as easily understood from the processing procedure shown in steps ST32 to ST37 of FIG. 8, when the values of “Stab” Sa, Sb, and Sc obtained by the pitch detectors 6a to 6c are the same. Is selected at a lower level. For example, when Sa = Sb = Sc, since STAB MAX = Sc, Pc is selected as “PITCH”. This is because it is considered that the pitch detection error due to the template is generally likely to occur in the high frequency band, and if the “Stab” value is the same, select the lower one As a result, the pitch detection accuracy is improved.
[0038]
On the other hand, when the stability Sa to Sc are all smaller than the stability reference value “1”, data is not written to “PITCH” in the processing of steps ST31 to ST37 (that is, steps ST32, ST32, All of ST34 and ST36 are NO), and “PITCH = 0” is set (YES in step ST38). In this case, first, a variable “PITCH DIF” indicating a pitch error allowable value used in the following processing is set. (Step ST39). In this example, “PITCH DIF = 3” is set as an example. And
B) Pa ≠ 0
B) Pb ≠ 0
C) | Pa-Pb | ≤ PITCH DIF
When the above three conditions a) to c) are satisfied (YES in step ST40),
D) PITCH DIF = | Pa-Pb |
E) PITCH = (Pa + Pb) / 2
(Step ST41). In the processes (a) to (e) above, the outputs of the pitch detectors 6a and 6b are targeted, Pa and Pb are not zero, and the absolute value of the difference between them is the value of “PITCH DIF” (here, “ 3 ") or less, the average of Pa and Pb is set as" PITCH ".
[0039]
Then, operations similar to the above (i) to (e) are performed by the pitch detectors 6a and 6c and the pitch detectors 6b and 6c (steps ST42 to ST45), respectively, and "PITCH" obtained from the average of the smallest differences. "Is the output of the pitch determination unit 7 (step ST46). That is, in the processing of steps ST39 to ST46, when the stability of the pitches Pa to Pc obtained by the pitch detectors 6a to 6c is all smaller than the stability reference value “1”, An average value of two close pitches is calculated, and this average value is used as a final pitch. In this way, the pitch determination unit 7 obtains an optimum pitch from the pitch values given from the pitch detectors 6a to 6c, and outputs this as a pitch determination value.
[0040]
Next, specific examples of waveforms output from the LPFs 5a to 5c shown in FIG. 1 will be described. For example, waveforms as shown in FIG. 9A were obtained as input signals after A / D conversion. In this case, the output signal of the LPF 5a has a waveform as shown in FIG. 5B, the output signal of the LPF 5b has the waveform shown in FIG. 5C, and the output signal of the LPF 5c has a waveform as shown in FIG. The waveform is removed. The pitch detectors 6a to 6c detect pitches based on the waveforms shown in FIGS. 9B to 9D, and the pitch determination unit 7 obtains the pitches from the pitch detectors 6a to 6c. The optimum pitch is obtained from the determined pitches.
[0041]
In this way, in the pitch detection apparatus according to the present embodiment, the waveform of the input signal is deformed using the plurality of stages of LPFs 5a to 5c, and the pitch is detected based on each of the deformed signals. Since the optimum pitch is obtained from the pitch, it can be made less susceptible to noise and the like, and the pitch can be detected with higher accuracy than the conventional pitch detection device.
[0042]
FIG. 10 shows an example in which the pitch detection device of this embodiment is mounted on a karaoke device, and the pitch detection device 8 shown in FIG. 1 is mounted in a digital signal processor (DSP) 11 shown in FIG. Yes. This karaoke device generates a CPU 17 as a control center, a music selection unit 18 for selecting a desired song, an external storage device 19, a RAM 20 for temporarily storing data, a ROM 21 for storing system programs, and a tone signal. A sound source device 16 for outputting, an image processing device 22 for generating an image to be displayed on the screen, a D / A converter 12, a mixer 13 for synthesizing a musical sound signal and an audio signal, a video monitor 23 for displaying a karaoke image on the screen, and a mixer 13 It comprises an amplifier 14 for amplifying the output and a speaker 15.
[0043]
And if the pitch detection apparatus of this embodiment is applied to such a karaoke apparatus, based on the audio | voice signal input from a singer, the chord based on this can be produced automatically and can be pronounced. Therefore, it is possible to generate a chorus sound with one person's voice and increase the sense of reality. Moreover, in the karaoke apparatus with a scoring function, by improving the accuracy of pitch detection, it becomes possible to perform more advanced scoring according to the ability of the singer.
[0044]
FIG. 11 is a block diagram showing a configuration of a modified example of the pitch detection apparatus according to the present invention. As shown in the figure, this pitch detection apparatus branches the output of the HPF 4 into three systems, and on each branched path. LPFs 5a to 5c having different cut-off characteristics are installed, and pitch detectors 6a to 6c are arranged on the output side of these LPFs 5a to 5c. And according to such a structure, as shown in FIG.2 and FIG.3, compared with the case where LPF5a-5c is connected in cascade, the frequency cutoff characteristic will fall a little, Actually, the pitch can be detected with high accuracy even if the cutoff characteristic of the filter is somewhat deteriorated, and the effect is extremely great.
[0045]
In the above-described embodiment, an example in which the number of low-pass filters and pitch detectors is three has been described. However, the present invention is not limited to this, and it is obvious that the present invention can be applied to two or more. It is. Moreover, although the audio | voice signal input from the microphone of a karaoke apparatus was demonstrated to the example as an input signal, this invention is not limited to this, It can apply with respect to various input signals.
[0046]
Further, a band-pass filter can be used instead of the low-pass filter shown in FIG. 1 to divide the band, and the same effect can be obtained. Therefore, if a band-pass filter is used, the amount of calculation in the DSP 11 (see FIG. 10) on which the pitch detection device 8 shown in FIG. 1 is mounted is remarkably increased, which is difficult to realize. That is, the present invention can also achieve an effect that a highly accurate pitch detection can be performed with a smaller calculation amount as compared with the case where band division is performed using a bandpass filter.
[0047]
【The invention's effect】
As described above, in the pitch detection apparatus of the present invention, a plurality of low-pass filters are installed in cascade or in parallel with respect to the input signal, and pitch detection means is connected to the downstream side of each low-pass filter, and each pitch is detected. The optimum pitch is obtained based on the pitch obtained from the detecting means. Therefore, even when sudden noise or persistent noise is superimposed on the input signal, each pitch detection device detects the pitch from the input signal from which the high frequency components have been removed at different cutoff frequencies. Therefore, it becomes difficult to be affected by these noises, and highly accurate pitch detection is possible.
[0048]
Also, the degree of variation in pitch detected by each pitch detection means is evaluated by “stability”, and the pitch that is judged to have the highest stability is selected from the pitches detected by each pitch detection means. Therefore, it is possible to reliably select an optimum pitch from the pitches obtained by the pitch detecting means.
[0049]
Further, when it is determined that the stability of the pitch detected by each pitch detection means is smaller than the stability reference value, it is determined that the reliability is low for all pitches. Rather than selecting one of the pitches detected in step 2, the two closest pitches are extracted from the detected pitches, and the average value of these is used as the pitch decision value. More accurate pitch detection that is not controlled by the detection result is possible.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a pitch detection apparatus according to an embodiment of the present invention.
FIG. 2 is a characteristic diagram showing frequency cutoff characteristics of LPFs 5a to 5c.
FIG. 3 is a characteristic diagram showing cut-off characteristics of respective frequencies of LPF 5a, (LPF 5a + LPF 5b), and (LPF 5a + LPF 5b + LPF 5c).
FIG. 4 is a block diagram showing a general configuration of an IIR secondary filter.
FIG. 5 is a flowchart showing a pitch detection procedure in the pitch detector.
FIG. 6 is an explanatory diagram showing a template creation method and the presence / absence of a correlation between the template and the input waveform.
FIG. 7 is a flowchart showing an operation procedure when the pitch is updated.
FIG. 8 is a flowchart showing an operation procedure in a pitch determination unit.
FIG. 9 is an explanatory diagram showing an input signal and signal waveforms output from the first LPF to the third LPF.
FIG. 10 is a block diagram illustrating a configuration of a karaoke apparatus.
FIG. 11 is a block diagram showing a configuration of a modified example of the present invention.
[Explanation of symbols]
1 microphone
2 Amplifier
3 A / D converter
4 High-pass filter (HPF)
5a-5c 1st-3rd low pass filter (LPF)
6a-6c 1st-3rd pitch detector
7 Pitch determination part
8 Pitch detection device
11 Digital signal processor (DSP)
12 D / A converter
13 Mixer
14 Amplifier
15 Speaker
16 Sound source device
17 CPU
18 music selection section
19 External storage
20 RAM
21 ROM
22 Image processing device
23 Video monitor

Claims

In a pitch detector for detecting the pitch of an input audio signal,
N low-pass filters for filtering the audio signal with an n-th (n is a natural number) cut-off frequency “fc (n); fc (n)> fc (n + 1)” are arranged in cascade;
Pitch detection means for detecting the pitch of this output signal is installed on the output side of each low-pass filter,
Furthermore, it comprises a pitch determining means for obtaining an optimum pitch based on the pitch obtained from each pitch detecting means and outputting it as a pitch determined value .
Each of the pitch detection means creates a template based on the input signal, detects the pitch based on the presence or absence of a correlation between the template and the subsequent input signal, and stabilizes the variation in the detected pitch value. Set as degrees,
The pitch determination means outputs the pitch obtained from the pitch detection means determined to be more stable as the pitch determination value based on the stability given from each pitch detection means .

In a pitch detector for detecting the pitch of an input audio signal,
In parallel with the input signal, n low-pass filters that filter the audio signal with an n-th (n is a natural number) cut-off frequency “fc (n); fc (n)> fc (n + 1)”. Place and
Pitch detection means for detecting the pitch of this output signal is installed on the output side of each low-pass filter,
Furthermore, it comprises a pitch determining means for obtaining an optimum pitch based on the pitch obtained from each pitch detecting means and outputting it as a pitch determined value .
Each of the pitch detection means creates a template based on the input signal, detects the pitch based on the presence or absence of a correlation between the template and the subsequent input signal, and stabilizes the variation in the detected pitch value. Set as degrees,
The pitch determination means outputs the pitch obtained from the pitch detection means determined to be more stable as the pitch determination value based on the stability given from each pitch detection means .

The apparatus according to claim 1 or 2,
The pitch determination means is set with a stability reference value indicating the stability given from each pitch detection means, and the stability given from each pitch detection means is all smaller than the stability reference value. If determined , the pitch detecting device is characterized in that two closest pitches are selected from each pitch given by each pitch detecting means, and an average value thereof is set as a pitch determination value .