JP4565846B2 - ピッチ変換装置 - Google Patents

Description

本発明は、音声信号や楽音信号等のピッチを変換するピッチ変換装置に関する。

従来、ピッチ変換装置としては、種々のものが提案されている。例えば特許第３３２９６３５号公報（特許文献１）には、入力されたオーディオ信号をメモリに記憶するとともに、そのオーディオ信号のピッチ（周期）を検出し、その検出された周期に対応する区間をメモリから切り出して、新たに指定されたピッチに応じた周期でその切り出した区間を合成することによりピッチを変換して再生する効果装置が開示されている。なお、本明細書中では、新たに指定されたピッチを目標ピッチといい、この目標ピッチは、入力されたオーディオ信号のピッチとは関係のない絶対音高を指すものとする。ピッチを指定する方法としては、入力されたオーディオ信号のピッチに対する相対値で指定する方法もあり、この方法と区別するためである。

また、特許第３２８７２３０号公報（特許文献２）には、歌唱者が発生すべきボーカル音のピッチを指定する情報およびそのボーカル音に付与すべきハーモニー音のピッチを指定する情報を入力し、歌唱者が発声したボーカル音のピッチを検出して、そのピッチと歌唱者が発生すべきボーカル音のピッチとの比率を求め、その比率に圧縮処理を施すことにより得られる情報をボーカル音に付与すべきハーモニー音のピッチを指定する情報に付与してハーモニー音のピッチを変換するようにしたコーラス効果装置が開示されている。したがって、この装置では歌唱者が発声したボーカル音のピッチが揺らいでいる場合には、歌唱者のピッチと発声すべきボーカル音のピッチとの比率により歌唱者のピッチの揺らぎが抽出され、この抽出された揺らぎがハーモニー音に付与される。
特許第３３２９６３５号公報（図１０等） 特許第３２８７２３０号公報

しかしながら、特許文献１に記載されている効果装置では、切り出されたオーディオ信号を、新たに指定された目標ピッチに応じた周期で合成するように構成されているため、変換された音声は一定のピッチで発生され、あたかもロボットが発声しているかのような音声になっていた。特に、カラオケなどで効果装置として用いられるコーラス付加装置の場合は、付加されるコーラスのピッチが一定となるため、不自然で違和感があるという問題点があった。

また、特許文献２に記載されているコーラス効果付与装置では、歌唱者が発生すべきボーカル音のピッチと、歌唱者が発生したボーカル音のピッチとの比率を求め、この比率に基づいてハーモニー音に揺らぎを与えるので、歌唱者が発生すべきボーカル音のピッチを指定する情報が必要であるという問題点があった。

本発明は、上記問題点を解決するためになされたもので、音声信号や楽音信号等のオーディオ信号のピッチを変換するに際し、簡単な構成で自然な揺らぎを残したまま音声のピッチを変換することができるピッチ変換装置を提供することを目的とする。

上記の目的を達成するために、本発明の請求項１記載のピッチ変換装置は、オーディオ信号を入力する入力手段と、その入力手段に入力されたオーディオ信号のピッチを順次検出するピッチ検出手段と、そのピッチ検出手段により検出されたピッチを平滑化し、平滑化ピッチ情報を求めるピッチ平滑手段と、目標ピッチを指定する目標ピッチ指定手段と、前記入力手段に入力されたオーディオ信号のピッチを変換するピッチ変換手段と、前記入力されたオーディオ信号のピッチが、前記ピッチ平滑手段により平滑化された平滑化ピッチ情報の示すピッチと前記目標ピッチ指定手段により指定された目標ピッチとの比に対応して変換されるように、前記ピッチ変換手段を制御する制御手段とを備えている。

この請求項１記載のピッチ変換装置によれば、入力されたオーディオ信号のピッチを順次検出し、そのピッチを平滑化する平滑化手段を備え、平滑化されたピッチと指定された目標ピッチとの比に対応して、入力されたオーディオ信号のピッチ変換を行うものである。

請求項２記載のピッチ変換装置は、請求項１記載のピッチ変換装置において、前記平滑化手段は、前記ピッチ検出手段により今回検出されたピッチの値から前回平滑化された値を引いた差分値に所定の係数を乗算することにより平滑化ピッチ情報を得るものである。

請求項３記載のピッチ変換装置は、請求項１又は２に記載のピッチ変換装置において、前記ピッチ変換手段は、前記ピッチ検出手段により検出されたピッチに基づいて、前記オーディオ信号の所定区間を切り出し、前記検出されたピッチに基づく周期を前記ピッチ平滑手段により平滑化された平滑化ピッチ情報の示すピッチと前記目標ピッチ指定手段により指定された目標ピッチとの比に対応して変更した周期で、前記切り出した区間を合成するものである。

請求項４記載のピッチ変換装置は、請求項１又は２に記載のピッチ変換装置において 、前記ピッチ変換手段は、波形記憶手段に記憶されたオーディオ信号を、前記ピッチ平滑手段により平滑化された平滑化ピッチ情報の示すピッチと前記目標ピッチ指定手段により指定された目標ピッチとの比に対応した速さで読み出すものである。

請求項１記載のピッチ変換装置によれば、入力されたオーディオ信号のピッチを順次検出し、そのピッチを平滑化するピッチ平滑手段を備え、平滑化されたピッチと指定された目標ピッチとの比に対応して、入力されたオーディオ信号のピッチ変換を行うので、入力されたオーディオ信号のピッチが指定された目標ピッチに変換されるとともに、入力されたオーディオ信号のピッチが揺らいでいる場合には、変換されたオーディオ信号のピッチも揺らぐようにすることができるという効果がある。

請求項２記載のピッチ変換装置は、請求項１記載のピッチ変換装置の奏する効果に加え、ピッチ平滑手段は、ピッチ検出手段により今回検出されたピッチの値から前回平滑化された値を引いた差分値に所定の係数を乗算することにより平滑化ピッチ情報を得るものであるので、単純な演算により平滑化処理を行うことができるという効果がある。

請求項３記載のピッチ変換装置は、請求項１又は２に記載のピッチ変換装置の奏する効果に加え、ピッチ変換手段は、ピッチ検出手段により検出されたピッチに基づいて、オーディオ信号の所定区間を切り出し、検出されたピッチに基づく周期をピッチ平滑手段により平滑化された平滑化ピッチ情報の示すピッチと目標ピッチ指定手段により指定された目標ピッチとの比に対応して変更した周期で、切り出した区間を合成するものであるので、入力されたオーディオ信号のフォルマントを変更せずにピッチだけを変換することができるという効果がある。

請求項４記載のピッチ変換装置は、請求項１又は２に記載のピッチ変換装置において、ピッチ変換手段は、波形記憶手段に記憶されたオーディオ信号を、ピッチ平滑手段により平滑化された平滑化ピッチ情報の示すピッチと目標ピッチ指定手段により指定された目標ピッチとの比に対応した速さで読み出すものであるので、入力されたオーディオ信号のフォルマントも同時に変換されるが構成が簡単であるという効果がある。

本発明の第１の実施形態は、図１（ａ）に示すように、アナログの楽音信号または音声信号等のオーディオ信号（可聴周波数信号）が入力される入力端子２を有し、この入力端子２に供給されたオーディオ信号が、Ａ／Ｄ変換器４によってデジタルオーディオ信号（サンプリングデータ）に変換される。このＡ／Ｄ変換器４と入力端子２との間には、オーディオ信号をＡ／Ｄ変換器４におけるサンプリング周波数（例えば４８ｋＨｚ）の１／２以下の周波数に制限して、エイリアスの発生を防止するために、ローパスフィルタ６が設けられている。

Ａ／Ｄ変換器４によりデジタル化されたサンプリングデータは、ＤＳＰ（デジタル信号処理装置）８に供給され、ＤＳＰ８からＲＡＭ１２に供給される。このＲＡＭ１２は、入力されたサンプリングデータを順次記憶するリングメモリとして使用されている。

次に、ＤＳＰ８は、このリングメモリに一時的に記憶したサンプリングデータを読出して、処理を行い、Ｄ／Ａ変換器１４に供給する。Ｄ／Ａ変換器１４は、ＤＳＰ８で処理されたサンプリングデータをアナログのオーディオ信号に変換し、ローパスフィルタ１６に供給する。このアナログのオーディオ信号は、ローパスフィルタ１６により不要な信号成分が除去された後、出力端子１８から出力され、図示しないアンプにより増幅されてスピーカ等から放音される。

ＤＳＰ８は、予め設定されているプログラムに従ってサンプリングデータを処理する。その処理には、例えば使用者が操作する操作子２８によって設定されたフォルマント変更係数ＦＯＲＭＡＮＴ−ＶＲや目標ピッチ情報ＳＰＩＴＣＨ等のパラメータが使用される。これらフォルマント変更係数ＦＯＲＭＡＮＴ−ＶＲや目標ピッチ情報ＳＰＩＴＣＨは、それぞれを設定するボリュームツマミが設けられており、それらのボリュームツマミにより設定されている値がＣＰＵ２２によって検出され、ＤＳＰ８に供給され、ＤＳＰ８内のレジスタに記憶される。なお、目標ピッチ情報ＳＰＩＴＣＨは、目標ピッチ（周波数）に対応する周期であり、目標とするピッチの逆数である。

ＣＰＵ２２には、プログラム等を記憶したＲＯＭ２４とＲＡＭ２６がバスを経由して接続され、ＲＯＭ２４に記憶されたプログラムを実行することによりピッチ変換装置の制御を行う。ＣＰＵ２２が実行する処理としては、上述の通り操作子２８により設定されている値を検出し、その設定に応じたパラメータをＤＳＰ８に供給するなどのＤＳＰ８の制御と、設定されたパラメータを表示器（図示なし）に表示を行うなどの処理がある。

図１（ｂ）は、ＤＳＰ８が実行する機能を機能ブロック図で示したもので、本発明の基本となる実施形態を示したものである。なお、この実施例では、入力端子２３に入力されるサンプリングデータをＲＡＭ１２のリングメモリに順次記憶する機能ブロックを有しているが、説明を容易にするため、図１（ｂ）ではその機能ブロックを省略している。

同図（ｂ）に示す基本実施形態では、入力端子２３と、ピッチ変換手段３６と、ピッチ検出手段３０と、ピッチ平滑手段３２と、制御手段３４と、出力端子２９とが、設けられている。

ピッチ検出手段３０は、サンプリングデータからゼロクロス点を検出し、ゼロクロス点の間隔がほぼ同一となる周期を順次検出するものである。ピッチ平滑手段３２は、ピッチ検出手段３０が検出した周期を順次入力し平滑化を行うものである。入力されたオーディオ信号のピッチが揺らいでいる場合には、揺らぎが除かれ、平滑化（平均化）されたピッチ（周期）が得られる。

制御手段３４は、ピッチ検出手段３０からのピッチ検出信号とピッチ平滑手段３２により平滑化された平滑化ピッチ情報ｌｐや、ＣＰＵ２２を介して操作子２８の操作によって設定されたフォルマント変更係数ＦＯＲＭＡＮＴ−ＶＲや目標ピッチ情報ＳＰＩＴＣＨ等のパラメータを用いてピッチ変換手段３６を制御するものである。

ピッチ変換手段３６は、リングメモリに記憶されているサンプリングデータからピッチ検出手段３０により検出されたピッチに対応する周期に基づいて所望の区間を音素として切り出し、制御手段３４の制御に基づいて、切り出された区間を所望のフォルマントに対応する速度で読み出すと共に、再生ピッチ情報ＷＩＤＴＨに対応した周期で合成する。

ピッチ平滑手段３２は、上述の通りピッチ検出手段３０により順次検出されたオーディオ信号のピッチに対応する周期を平滑化（平均化）するもので、ローパスフィルタ（低域通過フィルタ）を用いることができる。このローパスフィルタの一例として、今回検出されたピッチ（周期）をＰＩＴＣＨ、平滑率をα（０より大きく１．０より小さい所定の値の係数）とすると平滑化された平滑ピッチｌｐ（平滑化ピッチ情報）は、
ｌｐ＝（ＰＩＴＣＨ−ｌｐ）×α＋ｌｐ （１）
として求めることができる。

ここで、平滑率αの値を１．０とすれば、ｌｐは、平滑化されない検出されたピッチの値そのものとなり、平滑率αの値を０に近い値に設定すると、検出されたピッチの変化に追従しない平滑化ピッチ情報となる。この平滑率を適切な値に設定することにより、入力されたオーディオ信号のピッチが揺らいでいる場合には、その揺らぎが除かれたピッチ、言換えれば中心ピッチが求められる。

制御手段３４は、その揺らぎが除かれたピッチを指定された目標ピッチに変換するようにピッチ変換手段３６を制御する。その結果、ピッチ変換されたオーディオ信号に、入力されたオーディオ信号のピッチの揺らぎが保持されることになる。

なお、この基本実施形態では、上記音素の再生を、第１の波形を再生するための処理経路と、第２の波形を再生するための処理経路とを使用し、それぞれの処理経路では、再生しようとする周期の２倍の周期で音素を再生し、これらを合成するようにしている。

この効果付加の動作を、図２、図３及び図４に示すフローチャートに基づいて説明する。ＤＳＰ８は、サンプリングデータの検出ピッチに対応する周期を記憶するレジスタＰＩＴＣＨ、リングメモリからサンプリングデータを切り出す（読出）アドレスを記憶するレジスタＳＡＤＲＳを備えている。更に、後述する再生ピッチ周期長に達したかをカウントするためのレジスタＰＨＡＳＥ、第１の波形の位相をカウントするためのレジスタＰＨ１、第２の波形の位相をカウントするためのレジスタＰＨ２も設けられている。

また、ピッチ検出手段３０によって検出された周期ＰＩＴＣＨに目標ピッチ情報ＳＰＩＴＣＨを乗算し、その積を平滑化ピッチ情報ｌｐで除算することによって求めた再生ピッチ情報を記憶するためのレジスタＷＩＤＴＨ、検出した周期とフォルマント係数ＦＯＲＭＡＮＴ−ＶＲとから定めたエンベロープの長さを記憶するレジスタＬＥＮＧＴＨ、平滑化されたピッチである平滑化ピッチ情報を記憶するレジスタｌｐ、第１の波形のエンベロープを記憶するためのレジスタＥＮＶ１、及び第２の波形のエンベロープを記憶するためのレジスタＥＮＶ２が、設けられている。

更に、第１の波形のエンベロープの形状を決定するためのレジスタＷＩＮＤＯＷ１、第２の波形のエンベロープの形状を決定するためのレジスタＷＩＮＤＯＷ２、ＬＥＮＧＴＨの値に基づいて定めたＷＩＮＤＯＷ１、ＷＩＮＤＯＷ２の歩進率を記憶するレジスタＷ−ＲＡＴＥ、第１の波形の切り出し開始アドレスを記憶するレジスタＳＡＤＲＳ１、第２の波形の切り出し開始アドレスを記憶するレジスタＳＡＤＲＳ２、第１及び第２の波形の切り出しの開始位置等の決定のために使用するフラグＦ等も設けられている。

これらは、電源の投入の際に、初期化が行われる。即ち、フラグＦは１に、他のものは０に、それぞれ設定される。なお、以下の説明では、各レジスタには、既に適当な値が記憶されているとして説明する。また、図２及び図３に示すフローチャートの各ステップは、ＤＳＰ８にＡ／Ｄ変換器４からサンプリングデータが入力されるごとに実行される。

図２において、サンプリングデータがＡ／Ｄ変換器４から供給されると、これをリングメモリに書き込む（Ｓ２）。次に、この入力されたサンプリングデータに基づいてピッチ検出処理を行う（Ｓ４）。このＳ４の処理がピッチ検出手段３０に相当する。このピッチ検出処理は、ピッチを検出したときにゼロクロス位置のアドレスであるＳＡＤＲＳと検出したピッチに対応する周期であるＰＩＴＣＨとを出力するものである。

このピッチ検出処理は、例えば隣接するゼロクロス間の時間間隔を順次比較するものである。例えば、図５（ａ）は、入力されたオーディオ信号の波形を表すもので、横軸に時間を、縦軸に波形の振幅値を表示している。この図において、入力信号のゼロクロス間の時間間隔がａ０、ｂ０、ｃ０、ｄ０、ａ１、ｂ１、ｃ１、ｄ１であるとする。最初のゼロクロス間の時間間隔ａ０と次のゼロクロス間の時間間隔ｂ０とを比較し、両者が異なると、次にそれらを加算した時間間隔（ａ０＋ｂ０）と隣接する時間間隔（ｃ０＋ｄ０）とを比較する。この比較においても両者が異なると、時間間隔（ａ０＋ｂ０＋ｃ０）と隣接する時間間隔（ｄ０＋ａ１＋ｂ１）とを比較する。やはり両者が異なると、時間間隔（ａ０＋ｂ０＋ｃ０＋ｄ０）と隣接する時間間隔（ａ１＋ｂ１＋ｃ１＋ｄ１）とを比較する。この比較で両者がほぼ一致すると、時間間隔（ａ１＋ｂ１＋ｃ１＋ｄ１）をＰＩＴＣＨ、時刻ｔ０に対応するアドレスをゼロクロス位置のアドレスとして出力する。

その他、例えば特開平３−２８８２００号公報に開示されているように、サンプリングデータのゼロクロス位置と、波形信号のピーク位置とを検出し、これらゼロクロス位置とピーク位置との時間間隔を、以前に検出したゼロクロス位置との時間間隔と比較することによって、ピッチを検出するものも使用することができる。

Ｓ４の処理においてピッチ検出が行われたか否かを判断し（Ｓ６）、ピッチ検出された場合（Ｓ６：Ｙｅｓ）は、Ｓ４の処理で検出されたゼロクロス位置を切り出しアドレスとし、これによってレジスタＳＡＤＲＳの値を更新し、かつ検出ピッチを１周期長として、これでＰＩＴＣＨの値を更新する（Ｓ８）。

ピッチ検出が行われなかった場合（Ｓ６：Ｎｏ）、またはピッチ検出が行われ、上記の両レジスタの更新が行われた場合、レジスタＰＨＡＳＥ、ＰＨ１、ＰＨ２の値をそれぞれ１歩進させる（Ｓ１０）。

次にレジスタＰＨＡＳＥが、ＷＩＤＴＨの値と等しいかまたは大きいかを判断する（Ｓ１２）。ＷＩＤＴＨは、後述するように再生するピッチに対応する１周期長を記憶しており、ＰＨＡＳＥの値がこのＷＩＤＴＨの値に達しているか否かを判断している。即ち、所定の再生ピッチにＰＨＡＳＥの値が達しているか否かを判断している。このＷＩＤＴＨの値が再生ピッチ情報に相当する。

ＰＨＡＳＥの値がＷＩＤＴＨの値に達していないと（Ｓ１２：Ｎｏ）、後述する図３に記載のフローチャートのＳ３２の波形処理へ進む。ＰＨＡＳＥの値がＷＩＤＴＨの値に達していると（Ｓ１２：Ｙｅｓ）、レジスタＰＨＡＳＥの値を０とする（Ｓ１４）。

次に、ピッチ平滑化処理を行う。この処理は、レジスタＰＩＴＣＨの値からレジスタｌｐの値を引いた値に係数αを乗算し、その値にレジスタｌｐの値を加算した値を新たなｌｐとするものであり、この処理によりレジスタＰＩＴＣＨに順次記憶される値が平滑化される。この平滑化された値ｌｐをレジスタｌｐに記憶する（Ｓ１６）。

そして新たなＷＩＤＴＨの値を決定するために、ＰＩＴＣＨの値と目標ピッチ情報ＳＰＩＴＣＨとを乗算し、その積を平滑化ピッチ情報ｌｐの値で除算する。これをレジスタＷＩＤＴＨに記憶させると共に、第１の波形のエンベロープ、第２の波形のエンベロープの周期を決定するために、ＰＩＴＣＨの値をフォルマント係数ＦＯＲＭＡＮＴ−ＶＲで除算し、レジスタＬＥＮＧＴＨに記憶させる（Ｓ１８）。

次に図３に記載するフローチャートに進み、レジスタＬＥＮＧＴＨの値がレジスタＷＩＤＴＨの値より大きいか否かを判断する（Ｓ２０）。ＬＥＮＧＴＨの値がＷＩＤＴＨの値よりも大きいと（Ｓ２０：Ｙｅｓ）、ＬＥＮＧＴＨの値をＷＩＤＴＨの値とする（Ｓ２２）。これは、ＬＥＮＧＴＨの値がＷＩＤＴＨの値を超えないようにするためである。即ち、後述するＳ３２の波形読み出し処理において波形を加算するための処理経路が２つしか用意していないため、２つ以上の波形が重ならないようにするためである。

なお、ＬＥＮＧＴＨの値がＷＩＤＴＨの値以下であると、Ｓ２２のような処理を行わずに、Ｓ２４の処理を行う。また、Ｓ２２の処理に続いて、Ｓ２４の処理も行われる。Ｓ２４の処理では、ＬＥＮＧＴＨの値の逆数を求め、レジスタＷ−ＲＡＴＥに記憶させる。このＷ−ＲＡＴＥの値は、後述するようにＷＩＮＤＯＷ１、ＷＩＮＤＯＷ２の値を歩進させるために使用する。また、Ｓ２４の処理では、フラグＦの値を今までの値と反転させることも行う。

次に、Ｓ２４の処理で反転させたフラグＦの値が１であるか、−１であるかを判断する（Ｓ２６）。フラグＦが１であると（Ｓ２６：Ｙｅｓ）、第１の波形の読出開始のため、レジスタＰＨ１、ＷＩＮＤＯＷ１をそれぞれ０とし、Ｓ８の処理で決定したＳＡＤＲＳの値（切り出しアドレス）を切り出し開始アドレスレジスタＳＡＤＲＳ１に記憶させる（Ｓ２８）。

またＳ２４の処理で反転させたＦの値が−１であると（Ｓ２６：Ｎｏ）、第２の波形の読出開始のため、レジスタＰＨ２、ＷＩＮＤＯＷ２をそれぞれ０とし、Ｓ８で決定したレジスタＳＡＤＲＳの値（切り出しアドレス）を切り出し開始アドレスレジスタＳＡＤＲＳ２に記憶させる（Ｓ３０）。

このようなステップＳ１２、Ｓ１４、Ｓ１６、Ｓ１８、Ｓ２０、Ｓ２２、Ｓ２４、Ｓ２６、Ｓ２８、Ｓ３０によって、２再生ピッチの周期長に相当する時間（ＷＩＤＴＨの値の２倍）経過ごとに、第１及び第２の波形データの切り出し開始アドレスが更新され、ＰＨＡＳＥの値がＷＩＤＴＨの値に達するごとにフラグＦの値が反転されることになる。

Ｓ２８またはＳ３０の処理に続いて、またはＳ１２の処理においてレジスタＰＨＡＳＥの値がレジスタＷＩＤＴＨの値に達していないと判断された場合、波形読出処理を行う（Ｓ３２）。このように波形読みだし処理は、ＰＨＡＳＥの値がＷＩＤＴＨに達するまでは、ＷＩＤＴＨの値、ＬＥＮＧＴＨの値（ひいてはＷ−ＲＡＴＥの値）を変更せずに行われる。

後述する波形読み出し処理では、Ｗ−ＲＡＴＥの値で、第１及び第２の波形のエンベロープＥＮＶ１、ＥＮＶ２の値が制御される。

そして、Ｗ−ＲＡＴＥ、ひいてはＬＥＮＧＴＨの値は、Ｓ１８において検出ピッチをフォルマント変更係数ＦＯＲＭＡＮＴ−ＶＲによって変更したものであるので、波形読出処理される波形のピッチは、フォルマント変更係数ＦＯＲＭＡＮＴ−ＶＲに応じたものとなる。

次に図４を参照して、この波形読出処理について説明する。まずカウンタＷＩＮＤＯＷ１の値をＷ−ＲＡＴＥの値だけ歩進させる（Ｓ３４）。そして、歩進させたＷＩＮＤＯＷ１の値が１より小さいか、１以上であって２より小さいか、２以上であるかを判定する（Ｓ３６）。

１より小さい場合、ＷＩＮＤＯＷ１の値をレジスタＥＮＶ１に記憶させ（Ｓ３８）、１以上であって２より小さいとき、２からＷＩＮＤＯＷ１の値を減算した値をレジスタＥＮＶ１に記憶させ（Ｓ４０）、２以上のとき、ＥＮＶ１の値を０とする（Ｓ４２）。

Ｓ３４乃至Ｓ４０の処理は、Ｗ−ＲＡＴＥの値ずつ値が増加する鋸歯状波を作成し、これの値を１で折り返すことによって、ＥＮＶ１を作成している。但し、ＷＩＮＤＯＷ１の値が２を超えた場合には、Ｓ４２の処理によってＥＮＶ１を０としている。即ち、フォルマント係数ＦＯＲＭＡＮＴ−ＶＲと検出ピッチとに基づいて定めたＬＥＮＧＴＨの値の逆数であるＷ−ＲＡＴＥずつ１まで増加し、その後、Ｗ−ＲＡＴＥずつ０まで減少する三角波を第１の波形のエンベロープとして作成している。

また、Ｓ３８、Ｓ４０またはＳ４２の処理に続いて、レジスタＰＨ１の値（切り出しアドレスの歩進値）にフォルマント係数ＦＯＲＭＡＮＴ−ＶＲを乗算した値を、第１の波形の切り出し開始アドレスを記憶しているレジスタＳＡＤＲＳ１の値と加算して、第１の波形の切り出しアドレスを記憶するレジスタＡＤＲＳ１に記憶させる（Ｓ４４）。これに続いて、リングメモリから切り出しアドレスＡＤＲＳ１で第１の波形の波形データＤＡＴＡ１を読み出す（Ｓ４６）。

このように読出アドレスはフォルマント係数ＦＯＲＭＡＮＴ−ＶＲによって変更されているので、結果的には波形データＤＡＴＡ１の読出速度が、フォルマント係数ＦＯＲＭＡＮＴ−ＶＲによって変更されている。

これに続いて、ＷＩＮＤＯＷ２の値をＷ−ＲＡＴＥだけ歩進させる（Ｓ４８）。歩進させたＷＩＮＤＯＷ２の値が１より小さいか、１以上で２未満であるか、または２以上であるか判断する（Ｓ５０）。そして、ＷＩＮＤＯＷ２の値が１より小さいと、ＷＩＮＤＯＷ２の値をレジスタＥＮＶ２に記憶させ（Ｓ５２）、ＷＩＮＤＯＷ２の値が１以上で２未満であると、２からＷＩＮＤＯＷ２の値を減算した値をレジスタＥＮＶ２の記憶させ（Ｓ５４）、ＷＩＮＤＯＷ２の値が２以上であると、ＥＮＶ２の値を０とする（Ｓ５６）。このようにして、第２の波形のエンベロープを準備する。

Ｓ５２、Ｓ５４またはＳ５６の処理に続いて、レジスタＰＨ２の値にフォルマント係数ＦＯＲＭＡＮＴ−ＶＲを乗算した値と第２の波形データ用の切り出し開始アドレスＳＡＤＲＳ２の値とを加算した値を、第２の波形データ用の切り出しアドレス用のレジスタＡＤＲＳ２に記憶させる（Ｓ５８）。そして、リングメモリからアドレスＡＤＲＳ２で第２の波形の波形データ（ＤＡＴＡ２）を読み出す（Ｓ６０）。

このようにして読出されたＤＡＴＡ１にＥＮＶ１の値を乗算したものと、ＤＡＴＡ２にＥＮＶ２の値を乗算したものとを、加算したものを出力ＯＵＴとする（Ｓ６２）。このような波形読出処理が行われた後、図３に示すように出力ＯＵＴを送出する（Ｓ６４）。

図５は、目標ピッチ情報ＳＰＩＴＣＨに応じて設定されたＷＩＤＴＨが、検出された周期ＰＩＴＣＨより長く設定され、フォルマント変更係数ＦＯＲＭＡＮＴ−ＶＲが１に設定された場合の各部の波形を示すものである。すなわち、この図５では、入力されたオーディオ信号のピッチを低く変換し、フォルマント特性は元のままとする場合を示している。

図５（ａ）は、入力波形であり、時刻ｔ０からｔ１までが１周期であってその周期をＰ０、次に時刻ｔ１からｔ２までが次の１周期であり、その周期をＰ１として示している。
以下同様である。
（ｂ）は、レジスタＰＨＡＳＥの値の変化であり、再生される楽音のピッチに対応する周期であるＷＩＤＴＨを周期とする鋸歯状波である。この周期毎の時刻をｔｗ０、ｔｗ１・・・とする。
（ｃ）は、ＰＨ１、（ｄ）は、ＰＨ２を示す図で、ＷＩＤＴＨの２倍の周期の鋸歯状波であって、ＰＨ１とＰＨ２とは、位相がＷＩＤＴＨだけ異なっている。

（ｅ）は、ＥＮＶ１を表す図であり、ＬＥＮＧＴＨは、入力されたオーディオ信号のピッチに対応する周期に設定されている。このＬＥＮＧＴＨの期間に入力されたオーディオ信号の１周期が、ここでは入力されたサンプリング周期と同じ周期で読み出される。

時刻がｔｗ２の時、入力波形のＰ０の周期が確定されるので、この時点でＬＥＮＧＴＨの値が、Ｐ０に設定され、切り出しアドレスＳＡＤＲＳは、時刻ｔ０にリングメモリに記憶したアドレスに設定される。
（ｆ）は、ＥＮＶ２を表す図であり、ＥＮＶ１と同様にＬＥＮＧＴＨは、入力されたオーディオ信号のピッチに対応する周期に設定されている。ＥＮＶ１とＥＮＶ２とは、位相がＷＩＤＴＨだけ異なっており、読出された波形に乗算されるエンベロープ波形であり、ＥＮＶ１とＥＮＶ２とでエンベロープがクロスフェードされる。

（ｇ）、（ｈ）は、それぞれのエンベロープＥＮＶ１およびＥＮＶ２が読出された音素に乗算された様子を示すもので、これらの波形が合成されて出力される。

以上説明したように、この実施例では、出力される信号のピッチは、ピッチ検出手段により検出された周期であるＰＩＴＣＨと設定された目標ピッチ情報ＳＰＩＴＣＨとを乗算し、その積を平滑化ピッチ情報ｌｐにより除算した値であるＷＩＤＴＨの値により定められ、出力される信号の読出速度は、フォルマント変更係数ＦＯＲＭＡＮＴ−ＶＲによって定められる。

したがって、入力されたオーディオ信号のピッチが揺らいでいる場合には、出力される信号のピッチは、その中心ピッチが目標ピッチに変換されつつも平滑率に対応した揺らぎが維持される。

図６は、本発明の第２の実施形態について説明するためのもので、本発明をコーラス効果装置に応用した実施例を示すブロック図である。図１（ｂ）と異なる点は、ピッチ変換手段は、４つのコーラスチャネル３６ａ、３６ｂ、３６ｃ、３６ｄを備えている点である。その他のピッチ検出手段３０、ピッチ平滑手段３２は、同じであり制御手段３４は、それぞれのコーラスチャネルに検出されたピッチ情報ＰＩＴＣＨとそれぞれの再生ピッチ情報ＷＩＤＴＨを供給する。

例えば、カラオケ装置にこのコーラス効果装置を応用する場合は、カラオケ装置に備えられたシーケンサから曲の進行に合わせて複数のハーモニーに対応する音高情報がＭＩＤＩ規格により規定されるノートナンバにより供給される。ＣＰＵ２２は、これらのノートナンバに対応する目標ピッチ情報ＳＰＩＴＣＨを求め、制御手段３４に供給する。制御手段３４は、それぞれの目標ピッチ情報ＳＰＩＴＣＨについて、検出されたピッチＰＩＴＣＨおよび平滑化ピッチｌｐに対応する再生ピッチ情報ＷＩＤＴＨを求め各コーラスチャネルに供給する。

また、複数のハーモニーのフォルマントをそれぞれ変更設定することにより、フォルマントを変更することができる。例えば、入力されるボーカルが男性の声であれば、ハーモニーのフォルマントを女性、または子供のフォルマントに設定すれば、あたかも男性のボーカルに女性、あるいは子供のハーモニーが付加されたような効果を得ることができる。

図７は、本発明の第３の実施形態について説明するためのもので、本発明を電子楽器に応用した実施例のブロック図である。図１（ａ）と異なる点は、オーディオ信号が予め記憶手段であるストレージ３８に記憶されている点と、目標ピッチを指定する手段が鍵盤４０である点であり、その他の構成は、図１（ａ）と同じであり同じ部番を付している。図１（ａ）では、オーディオ信号が外部から入力され、そのオーディオ信号のピッチを変換する場合の実施例であるが、図７の場合は、例えばハードディスクなどの大容量のメモリに多数のサンプリングされた波形を記憶し、いずれかの波形を選択し、目標とするピッチを鍵盤４０に備えられた鍵を押下することにより指定するものである。

この場合には、ストレージ３８に記憶された波形の中から選択された波形を読出し、ピッチを順次検出してそのピッチを平滑化し、その平滑化された平滑化ピッチと、鍵盤４０により指定された目標ピッチとに基づいてピッチ変換する。このことにより、ストレージ３８に記憶されている波形のピッチの揺らぎを、ピッチ変換されて出力する波形のピッチに付与することができる。

なお、以上の実施例では、ピッチ変換装置として、オーディオ信号の所定区間を切り出し、その切り出した区間を再生ピッチに対応する周期で合成する方式のものとしたが、メモリにオーディオ信号を所定のサンプリング周波数でサンプリングして記憶し、そのサンプリング周波数とは異なるサンプリング周波数で読み出すことによりピッチを変換する方式のものとしてもよい。例えば、特許第２５１９４４１号に開示されたコーラス効果装置は、この方式を採用したものである。この公報では、目標ピッチをｆ１、入力されたオーディオ信号のピッチをｆ２とし、ピッチ変換量Ｐをｆ１／ｆ２とし、入力されたオーディオ信号を所定のサンプリング周波数Ｆ１でメモリに記憶し、読み出す場合は、このピッチ変換量ＰをＦ１に乗算したサンプリング周波数Ｆ２で読出している。この方式に、本発明を適用するには、検出されたピッチｆ２をピッチ平滑手段３２により平滑化されたピッチに置き換えればよい。なお、ここでは、サンプリング周波数を変更するいわゆる可変サンプリング方式であるが、サンプリング周波数は一定で、歩進するアドレスの幅を、再生する速度に対応する幅とし、サンプル点がアドレスの少数点になる場合には、補間方法によりその小数点のアドレスに対応する振幅値を求める固定サンプリング方式としてもよい。

なお、請求項１記載の入力手段は、図１（ｂ）の入力端子２３が該当し、目標ピッチ指定手段は、図１（ａ）の操作子２８、または図６を参照して説明したＭＩＤＩ情報や図７の鍵盤４０が該当する。

以上、実施例に基づき本発明を説明したが、本発明は上述した実施例に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良変更が可能であることは容易に推察できるものである。

例えば、上記実施例では、ピッチ検出手段３０をＤＳＰ８に設けたものとしたが、この処理をＣＰＵ２２により実行するようにしてもよい。その場合には、ＤＳＰ８からゼロクロス間の時間情報や波形のピークの時間などをＣＰＵ２２に送り、ＣＰＵ２２は、これらの値から自己相関を演算により求め、周期を抽出する。

また、同様に上記実施例では、ピッチ平滑手段３２をＤＳＰ８に設けたものとしたが、この処理をＣＰＵ２２により実行するようにしてもよい。その場合には、ＤＳＰ８に設けたピッチ検出手段により検出されたピッチの値をＣＰＵ２２が読み取り、平滑化した平滑化ピッチ情報を制御手段３４に供給すればよい。また、同様に、制御手段３４により行われる処理をＣＰＵ２２により実行されるようにしてもよい。

また、順次検出されるピッチの値を平滑化する低域通過フィルタの演算式（１）を例示したが、上記に代わる演算式として、
ｌｐ ＝ ＰＩＴＣＨ×α ＋（１ーα）×ｌｐ
を用いてもよいし、その他の平滑化演算方法を用いてもよい。

（ａ）は、本発明によるピッチ変換装置のブロック図、（ｂ）は、ＤＳＰにおける処理を説明するためのブロック図である。 ＤＳＰが実行する処理の一部を示すフローチャートである。 図２に示すフローチャートに続くフローチャートである。 図３のフローチャートにおける波形読出し処理の詳細を示すフローチャートである。 ＤＳＰにおいて実行される処理の部分毎の波形を示す図である。 本発明を応用したコーラス効果装置のブロック図を示す図である。 本発明を応用した電子楽器のブロック図を示す図である。

８ ＤＳＰ
２２ ＣＰＵ
２３ 入力端子（入力手段）
３０ ピッチ検出手段
３２ ピッチ平滑手段
３４ 制御手段
３６ ピッチ変換手段

Claims (4)

1. オーディオ信号を入力する入力手段と、
   その入力手段に入力されたオーディオ信号のピッチを順次検出するピッチ検出手段と、
   そのピッチ検出手段により検出されたピッチを平滑化し、平滑化ピッチ情報を求めるピッチ平滑手段と、
   目標ピッチを指定する目標ピッチ指定手段と、
   前記入力手段に入力されたオーディオ信号のピッチを変換するピッチ変換手段と、
   前記入力されたオーディオ信号のピッチが、前記ピッチ平滑手段により平滑化された平滑化ピッチ情報の示すピッチと前記目標ピッチ指定手段により指定された目標ピッチとの比に対応して変換されるように、前記ピッチ変換手段を制御する制御手段とを備えていることを特徴とするピッチ変換装置。
2. 前記ピッチ平滑手段は、前記ピッチ検出手段により今回検出されたピッチの値から前回平滑化された値を引いた差分値に所定の係数を乗算することにより平滑化ピッチ情報を求めるものであることを特徴とする請求項１記載のピッチ変換装置。
3. 前記ピッチ変換手段は、前記ピッチ検出手段により検出されたピッチに基づいて、前記オーディオ信号の所定区間を切り出し、前記検出されたピッチに基づく周期を前記ピッチ平滑手段により平滑化された平滑化ピッチ情報の示すピッチと前記目標ピッチ指定手段により指定された目標ピッチとの比に対応して変更した周期で、前記切り出した区間を合成するものであることを特徴とする請求項１又は２に記載のピッチ変換装置。
4. 前記ピッチ変換手段は、波形記憶手段に記憶されたオーディオ信号を、前記ピッチ平滑手段により平滑化された平滑化ピッチ情報の示すピッチと前記目標ピッチ指定手段により指定された目標ピッチとの比に対応した速さで読み出すものであることを特徴とする請求項１又は２に記載のピッチ変換装置。
   
   

Images