JPH11502632A

JPH11502632A - 音響信号の音色および／またはピッチを変える方法および装置

Info

Publication number: JPH11502632A
Application number: JP8521935A
Authority: JP
Inventors: チャールズギブソン、ブライアン; マイケルジュビエン、クリストファー; ジョンローデン、ブライアン
Original assignee: アイブイエルテクノロジーズエルティーディー．
Priority date: 1995-01-18
Filing date: 1996-01-18
Publication date: 1999-03-02
Also published as: EP0750776B1; BR9603819A; ATE205324T1; DE69614938T2; US5567901A; US5986198A; WO1996022592A1; KR100368046B1; CN1106001C; US5641926A; DE69614938D1; EP0750776A1; AU4428196A; CN1145679A

Abstract

(57)【要約】入力信号の音色および／またはピッチを変更する方法は、入力信号を第１の速度でサンプリングし、その標本をメモリバッファ（１２２）に格納する。デジタルシグナルプロセッサ（１８０）は、入力の調子が元々サンプリングされた第１の速度とは異なる速度で格納された入力信号を再サンプリングし、再サンプリングされた入力信号を第２のメモリバッファ（１２８）に格納する。ピッチ変更装置（２００）は、出力信号を造るために、ウインドウ関数（１９６、１３４）によって再サンプリングされた入力信号を周期的に調整することによって、入力信号のピッチを変える。再サンプリングされたデータがウインドウ関数によって複製される速度は、出力信号のピッチを決める。

Description

【発明の詳細な説明】発明の名称音響信号の音色および／またはピッチを変える方法および装置発明の分野本発明は、一般的には、電子音響効果に関し、特に音響信号の音色（timbre）および／またはピッチ（高さ：pitch）を変更する音楽効果に関する。発明の背景いかなる周期的な音楽の調子（note）においても、その調子の特有のピッチを決定する基本周波数と、その調子に特色すなわち音色を与える多くの高調波（倍音）とが存在する。基本周波数と高調波の周波数との特定の組み合わせが、例えば、同じ調子を演奏しているギターとバイオリンとを互いに異なって聞こえさせる。楽器または声によって作られる高調波の振幅に対する基本周波数成分の振幅の関係をスペクトル包絡（Spectral Envelope）という。ギター、フルートまたはサクソホーン等の楽器においては、その楽器によって演奏された調子のスペクトル包絡は、その調子のピッチが高低するに比例して多かれ少なかれ拡張し縮小する。電子ピッチ変更装置は、ある入力の調子を受け取って異なるピッチの出力の調子を作る音楽効果である。そのような効果は、一人の演奏家が数人の演奏家のように聞こえるようにするのにしばしば使用される。楽器にとって、楽器からの音をサンプリングして記録し、サンプリングされ記録された音を、サンプルが記録された速度よりも速いまたは遅いある速度で再生することによって調子のピッチを変えることができる。この技術によって作られる出力の調子は、かなり自然に聞こえる。なぜならば、ピッチが変えられた音のスペクトル包絡は、楽器によって作られた音のスペクトル包絡がピッチと共にいかに変化するかをまねているからである。楽器によって作られる調子とは異なり、声の調子または音声のスペクトル包絡は、声の調子のピッチが変化するのとは比例して変化しない。しかしながら、このスペクトル包絡を構成している個々の周波数の相対的な振幅は変化し得る。ある調子を歌われたまたは話されたままにサンプリングし、そして異なる速度でサンプルを再生することによって声の調子のピッチを変化させても、自然には聞こえない。なぜならば、この方法はピッチの変化量に比例してスペクトル包絡の形状を変化させるからである。音声のピッチを現実的に変化させるためには、スペクトル包絡の全体の形状をほんのわずかに変化させながら基本周波数を変化させる方法が要求される。声の調子のピッチを変化させてリアルタイムでハーモニーを作る装置が我々の先の米国特許第５，２３１，６７１号（「’６７１特許」）に記載されている。 ’６７１特許に記載されたピッチを変える方法は、レント，ケー．（Lent，K.）「デジタル的にサンプリングされた音のピッチを変更する効率的な方法（An Eff icient Method for Pitch Shifting Digitally Sampled Sounds）」、コンピュータミュージックジャーナル（Computer Music Journal）、第１３巻、第４号、（１９８９）の記事（「レント（Lent）法」）を応用したものである。レント法によれば、デジタル的にサンプリングされた音のピッチを、スペクトル包絡を変えることなく、変化させられる。手短に言えば、レント法は、格納された入力信号の一部を基本的周波数の入力の調子よりも速いまたは遅い速度で複製することによって声の調子のピッチを変えるのに使用され得る。声の調子のピッチを変えるこの方法はよく機能するが、ピッチが変えられた調子は完全には自然に聞こえない。なぜならば、調子のピッチが変えられた時にスペクトル包絡は固定されたままであるからである。上述したように、調子のピッチを電子的に変える２つの方法がある。最初の方法は、再サンプリングと呼ばれ、ピッチの変化量に比例してスペクトル包絡を修正する。第２の、レント法は、ピッチの変化量にはかかわりなく、多かれ少なかれスオエクトル包絡を維持する。これらのいずれの方法によっても、スペクトル包絡を制御可能な方法で変化させることができない。従って、調子のピッチに依存しない、音楽の調子のスペクトル包絡を変える方法が必要である。そのような方法によれば、さらに現実的なハーモニーを造ることができる。加えて、出力のピッチを変えてまたは変えずに、調子の音色の変化させることによって、一楽器を他の楽器のように聞こえさせることができ、また、ある人の声を他の人の声のように聞こえさせることができる。発明の概要声の調子および楽器によって作られた調子の両方の音色を変えるために、本発明は、信号のサンプリング速度を変えることによるピッチ変更と、レント法によるピッチ変更との新規な組み合わせを使用する。好ましい実施例においては、入力信号は、第１の速度（レート：rate）でサンプリングされ、この結果得られるデジタル表現はメモリバッファに格納される。格納されたデジタルの入力信号は、その後、ユーザによって決定される第２の速度で再サンプリングされる。再サンプリングされた入力信号は、その後、第２のメモリバッファに格納される。再サンプリングされた入力信号のピッチは、その後、再サンプリングされた入力信号を、所望の出力の調子の基本周波数に等しい速度でもって、ウインドウ関数（窓関数：window function）で調整（scale）することによって変えられる。もし、調子の音色のみを変え、調子のピッチを変えないことを望むのならば、再サンプリングされた入力信号がウインドウ関数で調整される速度は、入力の調子の基本周波数と同じである。もし、出力の調子の音色だけでなく、ピッチも変えることを望むのならば、再サンプリングされた入力信号がウインドウ関数で調整される速度は、入力の調子の基本周波数とは異なる。本発明の他の局面によれば、入力音響信号の音色および／またはピッチを、ＭＩＤＩチャネル上で受け取ったピッチと整合させるために修正できる効果発生装置が開示されている。好ましくは、効果発生装置は、効果発生装置にメロディーまたはハーモニーの調子の流れを供給するＭＩＤＩカラオケ装置と共に使用される。効果発生装置は、ＭＩＤＩチャネル上の調子を読み、自動的にその調子に音色の変化量を割り当てる。この割り当ては、ハーモニーの調子のピッチを１以上の閾値とまたはカラオケ装置のユーザから受け取った入力音響信号のピッチと比較することによって行うことができる。各調子に割り当てられた音色の量は、ハーモニーの調子を入力音響信号とは異なって聞こえるようにすることができ、または、もしピッチが高くなりまたは低くなった場合に、入力音響信号がどのように変化するかをまねることができる。図面の簡単な説明本発明の上述の局面および多くの付随する利点は、付随する図面と共に次の詳細な説明を参照すれば、よりよく理解され、より容易に理解される。図１Ａ−１Ｄは、本発明の音色／ピッチ変更技術および従来技術の音色／ピッチ変更技術の結果として、いかにスペクトル包絡が変化するかを示す音声信号のスペクトルの代表的な図であり、図２Ａは、入力の調子の音色および／ピッチを変更するために本発明によって実行されるステップのフローチャートであり、図２Ｂは、入力の音声の調子から、音色が変更されたハーモニーの調子を造るために本発明によって実行されるステップのフローチャートであり、図３は、本発明の方法で音声ハーモニーを作る音楽効果発生装置のブロック図であり、図４Ａおよび図４Ｂは、本発明の方法のステップでいかにして入力音声信号が再サンプリングされるのかを示す図とそれに対応するメモリーチャート図であり、図５は、本発明の方法によってプログラムされたデジタルシグナルプロセッサによって遂行される機能を示すブロック図であり、図６は、デジタルシグナルプロセッサ内のウインドウ利用（windowed）音響発生ユニットによって遂行される機能を示すブロック図であり、図７Ａおよび図７Ｂは、本発明によって、デジタル的にサンプリングされた音声信号のピッチを変える方法を示すグラフ図であり、図８Ａおよび図８Ｂは、本発明の方法において、メモリ内でどのようにしてハニングウインドウ（Hanning Window）が造られ格納されるかを示す図であり、図９Ａおよび図９Ｂは、調子に与えられる音色変化の量を動的（dynamically ）に選択する音楽効果のブロック図である。好適な実施例の詳細な説明本発明は、既知の装置によって作られた音色変更よりもさらに現実的に聞こえる方法で調子の音色を変更する装置を提供する。その最も単純な形態においては、本方法は、調子のピッチは変更しないが、調子の音色を変更するのに使用され得る。例えば、本方法は、男性によって歌われまたは話された音声信号を、まるで同じ調子が女性によって歌われまたは話されているかのように聞こえさせるのに使用され得る。調子の音色の変更に加えて、本発明の方法は、調子のピッチと音色を変更するのに使用され得る。例えば、本方法は、女性によって歌われた調子を、男性によって歌われた他の調子のように聞こえさせるようにするのに使用され得る。最後に、本発明の好ましい実施例は、入力の調子から音色が変更されたハーモニー（harmony）の調子を造るのに使用される。以下の記述は、主として入力の音声の調子からハーモニーの調子を作るのに向けられているが、調子は必ずしも音声の調子である必要はなく、いかなるソースからも作られることができ、また、出力の調子は入力の調子と必ずしも異なっている必要もなく、または調和している必要もないことは理解されるであろう。図１Ａ−１Ｄは、従来技術と本発明の方法によって調子のピッチが変えられたときに、どのように音声の調子のスペクトル包絡が変化するかを比較ししている。図１Ａは、典型的な音声の調子を表す周波数スペクトル３０ａを示している。このスペクトルの全体的な形状は、１以上のフォルマント（formant）すなわちピーク３２ａによって定められる。音声の調子の特性すなわち音色は、調子の基本周波数および高調波（矢印３４ａで表す）の相対的な振幅と位置によって定められる。音声の調子のピッチを現実みを持たせて変えるには、スペクトルのフォルマントを元の音声の調子のそれらと近いように維持しながら、調子の基本周波数を変える必要がある。図１Ｂは、ピッチが変えられた音声の調子であって、図１Ａに示されたスペクトルと結びつく調子よりも音楽的に５音程低い調子のスペクトル３０ｂを示している。スペクトル３０ｂと結びつく調子はサンプリングされた元の音声の調子の再生速度を遅くすることによって造られる。個々の高調波３４ｂだけでなく、フォルマント３２ｂによって定められる全体のスペクトル包絡も圧縮され、より低い周波数にシフトしていることがわかる。フォルマントのシフトの結果、ピッチが変えられた音声の調子は不自然に聞こえるようになされている。図１Ｃは、ピッチが変えられた音声の調子であって、図１Ａに示されたスペクトルに結びつく調子よりも音楽的に５音程低い調子であり、そして’６７１特許に記載された方法によって発生させられた調子のスペクトル３０ｃを示している。スペクトル３０ｃに結びつく、ピッチが変えられた音声の調子は、元の入力の音声の調子の基本周波数よりも遅い速度で入力の音声の調子の一部を複製することによって造られた。スペクトル３０ｃにおいては、’６７１特許に記載されているように、高調波３４ｃの周波数のみが変えられている。スペクトルの全体の形状は、図１Ａに示されたスペクトルと同じままである。スペクトル３０ｃに結びつく、ピッチが変えられた音声の調子は、図１Ｂに示されたスペクトル３０ｂに結びつく調子によって作られた、ピッチが変えられた音声の調子よりも、より自然に聞こえる。しかしながら、このピッチが変えられた音声の調子は、完全には自然に聞こえない。’６７１特許に記載された方法によって作られた、ピッチが変えられた音声の調子は、それが作られた入力の音声信号に非常に類似した音色を持つ傾向にある。従って、全てのピッチが変えられた音声の調子は、オリジナルの変形（altered variation）のように聞こえる。調子の音色を現実みがあるように聞こえるような方法で変えるために、本発明は、それによって音声の調子の再生速度が変えられる再サンプリングピッチ変更と、’６７１特許に記載された方法との新規な組み合わせを使用する。その結果、音色が変えられた調子は、より低音でより男性らしく聞こえるようにすることができ、また、より高く、より女性らしく聞こえるようにすることができる。図１Ｄは、図１Ａに示されたスペクトルに結びつく入力の音声の調子よりも音楽的に５音程低い周波数を持つ、ピッチが変えられた音声の調子であって、本発明によって造られた調子である。さらに詳細に記述されるように、スペクトル３０ｄに対応する、ピッチが変えられた音声の調子は、元々のサンプリング速度よりもわずかに遅い速度で、前もって格納されていた入力の音声の調子を再サンプリングし、そして再サンプリングされたデータをメモリバッファに格納することによって得られた。再サンプリングされたデータの一部は、その後、入力の調子のピッチよりも音楽的に５音程低い基本周波数に等しい速度で複製される。スペクトル３０ｄは、元のスペクトル３０ａよりもわずかに圧縮されているが、類似していることがわかる。その結果、ピッチが変えられた音声の調子は自然に聞こえ、元々の入力の調子の複製バージョンのようには聞こえない。入力信号から音色および／またはピッチが変えられた出力信号を造るための本発明の主要なステップは、図２Ａに示されたフローチャートに記載されている。この方法は、入力信号がＡ−Ｄ変換器によって最初の速度でサンプリングされるステップ５０で始まる。入力信号は、フルートやギター等の楽器やから作られてもよく、ユーザーによって話されたまたは歌われた音声の調子でもよく、またはシンセサイザー等のデジタルソースによって作られてもよい。入力信号をサンプリング（標本化：sampling）した後、入力信号に対応するデジタル表現が、ステップ５２でデジタルメモリに格納される。次に、格納された入力信号は、入力信号が元々サンプリングされた最初の速度とは異なる第２の速度で再サンプリングされる。再サンプリングの速度は、元々のサンプリング速度よりも数パーセント大きくまたは小さいように固定してもよい。また、そうではなくて、再サンプリング速度は、ユーザーによって選択されてもよい。再サンプリングされたデータは、ステップ５６でデジタルメモリに格納される。最後に、ステップ５８で、音色が変えられた出力信号が、所望の出力信号の基本周波数に等しい速度で再サンプリングされたデータの一部を複製することによって作られる。例えば、もし入力信号の音色を変えることのみが望まれるのなら、再サンプリングされたデータの一部が複製される速度は、入力信号の基本周波数に等しい。そうではなくて、入力信号の音色およびピッチを変えることが望まれるかもしれず、その場合には、再サンプリングされたデータの一部が複製される速度は、入力信号の基本周波数に等しくはない。最後に、本発明の方法がハーモニー効果発生装置に使用される場合には、再サンプリングされたデータの一部が複製される速度は、入力信号の基本周波数に調和して関連する（harmonically related）ある基本周波数に設定される。本発明の現在の具体化においては、音色変更技術は、ユーザーによって歌われた入力の音声の調子からハーモニーの調子を造るのに使用されている。従って、以下の記述は、音色が変えられた音声のハーモニーの調子を作ることに向けられているが、本発明の方法は、入力信号のピッチに調和して関連しない方法で、入力信号の音色のみを変えるため、または入力信号の音色およびピッチを変えるためにも使用され得ることは理解されよう。図２Ｂは、本発明において、音色が変えられた音声のハーモニーを作るために実行される主なステップのフローチャートである。この方法は、アナログ入力の音声の調子が第１の速度でサンプリングされ、デジタル化されるステップ６０で始まる。ステップ６２においては、デジタルサンプル（標本：sample）は第１のメモリーバッファに格納される。ステップ６４においては、格納された標本は、入力の音声の調子のピッチを決定するために解析される。ピッチが決定された後に、ステップ６６で、入力の音声の調子と共に作られることになるハーモニーの調子が選択される。ある与えられた入力の調子のために作られた特定のハーモニーが、予めプログラムされていてもよく、ユーザによって個々に選択され、または、シンセサイザー、シーケンサー、またはコンピュータディスク、レーザディスク等の外部記憶装置等の外部ソースから受け取ってもよい。ハーモニーの調子が選択された後に、ステップ６８で、ユーザーによって選択されているサンプリング速度の百分率（パーセント）増減が決定される。サンプリング速度は、ハーモニーの調子により女性的な特質を与えるために増加されてもよく、より男性的な音でもってハーモニーの調子を作るために減少されてもよい。ステップ７０では、ステップ６２で格納された、デジタル化された入力の音声の調子が、ユーザーによって選択された新しい速度で再サンプリングされる。再サンプリングされたデータは第２のメモリバッファに格納される。例えば、もしユーザーがサンプリング速度を減少することを選択したならば、第２のメモリバッファにはより少ないデータサンプルが存在し、それによって、デジタル化された入力の音声の調子を格納するのに要求されるメモリーの量が減少する。同様に、もしユーザーがサンプリング速度を増加することを選択したならば、第１のバッファのデータは、そのデータが元々サンプリングされた速度よりも高い速度で再サンプリングされ、それによって、より多くのサンプル（標本）を必要とし、デジタル化された入力の音声の調子を第２のバッファに格納するのに要求されるメモリの量が増加する。サンプルがメモリから読まれる速度が同じであるとすれば、データがより多くのメモリスペースを占めると、調子のピッチは低くなる。再サンプリングされたデータは、ステップ７２で第２のメモリバッファに格納される。最後に、ステップ７４で、再サンプリングされた入力の音声の調子の一部が、ステップ６６で選択されたハーモニーの調子の基本周波数と等しい速度で複製されることによってハーモニーの調子が造られる。今度は図３に目を向ければ、本発明の方法によって音色が変えられたハーモニーの調子を作る音楽効果発生装置１００は、ユーザーによって歌われた入力の音声の調子を受け取る。一般的に、効果発生装置は、以下に詳細に記述するように、多音声の出力を作るために入力の音声の調子と組み合わせられるある数のハーモニーの調子１０５ａ、１０５ｂ、１０５ｃ、および１０５ｄを作るために、デジタルシグナルプロセッサ（ＤＳＰ）１８０およびランダムアクセスメモリ（ＲＡＭ）１２１と接続されるマイコロプロセッサすなわちＣＰＵ１３８を有している。マイクロプロセッサ１３８は、それ自身のリードオンリーメモリ（ＲＯＭ）１４０とランダムアクセスメモリ（ＲＡＭ）１４４とを含んでいる。一組の入力制御装置１４８はマイクロプロセッサと結合されており、それによってユーザーは音楽効果発生装置の操作パラメータを変更することができる。これらのパラメータは、与えられた入力の調子のためのいずれかのハーモニーの調子の選択と、左右のステレオチャンネル間のハーモニーの調子の分配とを含んでいる。一組のディスプレイ１５０はマイクロプロセッサによって操作される。このディスプレイは、効果発生装置がいかに動作しているかということと何のオプションがユーザーによって選択されたかということの視覚的な表示を与える。１以上のＭＩＤＩポート１５４がマイクロプロセッサと結合されており、それによって、効果発生装置が他のＭＩＤＩ互換の装置または効果からＭＩＤＩデータを受け取ることができる。ＭＩＤＩポートの詳細は、当業者によく知られており、従って、さらに詳細に論じる必要はない。最後に、効果発生装置は、一組の「性変更（gender shift）」制御装置１５６を含んでいる。性変更制御装置によって、ユーザーは作られた各ハーモニーの調子に与えられる再サンプリングピッチ変更の量を選択することができる。性変更制御装置の操作はさらに十分に以下において論じる。デジタルシグナルプロセッサ１８０は、種々の機能を遂行する特殊なコンピュータチップである。このデジタルシグナルプロセッサを動作させるプログラムコードは、マイクロプロセッサに結合されたＲＯＭ１４０の一部であるＲＯＭ１４１に常駐している。効果発生装置が立ち上がると、マイクロプロセッサ１３８は、本発明の方法によるハーモニーの調子を作るために適切なコンピュータプログラムをデジタルシグナルプロセッサにロードする。効果発生装置１００は、ユーザーの入力の音声の調子を受け取りそれを対応するアナログの電気音声信号に変換するマイクロフォン１１０を含んでいる。入力の音声信号は、また、「ドライ（dry）」音声信号とも呼ばれる。入力の音声信号は、高周波の、本来とは無関係ないかなるノイズを除去するローパスフィルタ１１４に供給される。濾過された入力の音声信号は、入力の音声信号を周期的にサンプリングしてそれをデジタル形式に変換するＡ−Ｄ（Ａ／Ｄ）コンバータ１１８に送られる。Ａ／Ｄコンバータが一つの新しいサンプルをレディー（ready ）とする毎に、Ａ／ＤコンバータはＤＳＰ１８０に割り込み、ＤＳＰにそのサンプルを読み込ませ、それを効果発生装置のランダムアクセスメモリの一部である第１メモリバッファ１２２に格納させる。一旦入力の音声信号がサンプリングされ、第１のメモリバッファ１２２に格納されると、デジタルシグナルプロセッサ１８０は、メモリバッファ１２２に格納されたデータを解析しそのピッチを決定するピッチ認識ルーチン１８８を実行する。調子のピッチを決定するために使用される方法は、米国特許第４，６８８，４６４号に十分に記述されており、ここにこの文献を引用してその内容を組み込む。この明細書の目的にとって、調子の「ピッチ（pitch）」という用語と「基本周波数（fundamental frequency）」という用語とは交換可能である。入力の音声の調子のピッチから調子の周期が計算される。従来は、調子の周期は、秒で表現されたその基本周波数の単なる逆数である。しかしながら、本発明の本実施例においては、周期は、入力の音声信号の完全な１サイクルを格納するのに要求されるメモリ位置の数という点から計算され格納される。例えば、調子Ａ４４０Ｈｚの完全は１サイクルは、４８ｋＨｚでサンプリングされると（１／４４０×４８，０００）、１０９のメモリ位置を占める。従って、Ａ４４０Ｈｚの周期は１０９として格納される。調子のピッチと周期を決定するのに加えて、デジタルシグナルプロセッサは、入力の音声信号の新しいサイクルが始まるメモリ内の位置のポインターである周期マーカー（periodmark er）も計算する。まず最初に、周期マーカーは入力音声が格納されているメモリバッファの頭の部分を指し示すように設定される。次の周期マーカーは、入力の音声信号の１サイクル（すなわち、１周期）内のデータサンプル（標本）の数を、前の周期マーカーに加えることによって計算される。周期マーカーは、次の使用可能なメモリーの位置を指し示す書き込みポインターからわずかな遅延を引いたものが、新しい周期マーカーが指し示すであろう所を超えた場合に、更新される。周期マーカーは、後に記述されるように、ハーモニーの調子を作るためにＤＳＰ１８０によって使用される。ピッチ認識ルーチン１８８の結果、すなわち、第１のバッファ１２２内に格納された入力の音声信号のピッチの信号、はマイクロプロセッサ１３８に供給される。マイクロプロセッサのＲＯＭ１４０内には、入力の音声信号のピッチとＭＩＤＩの調子とを互いに関係づけるルックアップテーブルが存在する。本発明の好ましい本実施例においては、各ＭＩＤＩの調子には０と１２７との間の数が割り当てられる。例えば、調子Ａ４４０Ｈｚは、ＭＩＤＩの調子の数６９である。もし、入力信号が正確にピッチ上にない場合には、調子は最も近いＭＩＤＩの調子に丸められるか小数点以下の数字が割り当てられるかのいずれかである。例えば、Ａ４４０Ｈｚのわずかにフラット（flat）な調子は、マイクロプロセッサによって６８．８８７等の数が割り当てられるであろう。一旦マイクロプロセッサが入力の音声信号に調子を割り当てると、マイクロプロセッサは、どのハーモニーの調子が作られるべきかを決定する。作られる特定のハーモニーの調子はユーザーによって個々にプログラムされることができ、または１以上の予め定められたハーモニーの「規則（rules）」から選択されることもできる。例えば、ユーザーは、入力の調子よりも音楽的に３音程高い調子、入力の調子よりも音楽的に５音程高い調子、入力の調子よりも音楽的に７音程高い調子および入力の調子よりも音楽的に３音程低い調子の４つのハーモニーの調子を作るようにマイクロプロセッサをプログラムしてもよい。また、その代わりに、ユーザーは、入力のメロディーラインの上下の和音のトーンであるハーモニーの調子を常に作る「和音のハーモニー（chordal harmony）」の規則等の規則を選択してもよい。和音のハーモニーの規則等の規則を使用するために、ユーザーは歌われるべき和音を入力し、それによってマイクロプロセッサは正しい和音のトーンを決定できるようになることは理解されよう。予め定められたハーモニーの規則はＲＯＭ１４０内に格納され、ユーザーによって入力制御装置１４８を用いて作動させられる。作られるべきハーモニーの調子を選択する他の方法は、ＭＩＤＩポート１５４の使用によるものである。このポートを使用して、マイクロプロセッサは、外部ソースから、どのハーモニーの調子を作るべきかの指示を受け取ることができる。これらの調子は、シンセサイザー、シーケンサーまたは他のいかなるＭＩＤＩ互換性のある装置から受け取ることができる。効果発生装置１００は、入力の音声信号を、受け取ったハーモニーの調子のピッチに等しいピッチを持つように変える。または、どのハーモニーの調子を作るべきかの命令は、コンピュータに格納されてもよく、またはレーザーディスクにサブコード（subcode）として格納されてもよい。レーザーディスクをカラオケまたは他の娯楽型の装置と共に働かせて、ユーザーがカラオケの歌の歌詞を歌う時に、カラオケ装置が、作られるべきハーモニーの調子の指示を音楽効果発生装置１００に提供するようにしてもよい。一旦ハーモニーの調子が決定されると、デジタルシグナルプロセッサ１８０は、メモリバッファ１２２に格納された入力の音声信号を、性変更制御装置１５６の位置によって決定された速度で再サンプリングする再サンプリングのサブルーチン１９２を実行する。再サンプリングされたデータは、各性変更制御装置と関係づけられている２つのメモリバッファ１２８内に格納される。より低い速度でサンプリングすることによって、ハーモニーの音色はより女性らしく聞こえる。そうではなくて、もし、サンプリング速度が上げられれば、ハーモニーの調子はより男性的に聞こえる。図４Ａは、スペクトル包絡を圧縮し入力の音声信号をより男性的に聞こえるようにするために、格納された入力の音声データがデジタルシグナルプロセッサによっていかに再サンプリングされるかを示している。アナログの入力の音声信号１０５は、Ａ／Ｄコンバータ１１８によって、複数の等しい時間間隔０、１、２、３・・・・、１１でサンプリングされる。各標本は、対応する値ａ、ｂ、ｃ、・・・、１を有している。標本は、メモリバッファ１２２内の環状配列（circul ar array）の要素として順次格納される。環状配列は、新しい標本データで満たされるべき次の使用可能なメモリーの位置を常に示す書き込みポインター（ｗｐ）を備えている。さらに、デジタルシグナルプロセッサは、メモリバッファ内において入力の音声信号の新しいサイクルが始まる所を指し示す最後の周期マーカー（ｐｍ）１２２ｂを計算する。最後の周期マーカー１２２ｂと前の周期マーカー１２２ａとの間の標本の数は入力の音声信号の１サイクルを定めることは理解されよう。入力の音声信号のスペクトルの内容を圧縮するために、格納された信号は、それが元々サンプリングされた速度よりもわずかに高い速度で再サンプリングされ、２つのメモリーバッファ１２８（図３に示す）の一方に格納される。再サンプリングの速度は、性変更制御装置１５６の設定によって決定される。図４Λに示された例においては、入力の音声信号は２５パーセント遅くされている。これは、メモリバッファ１２２内に格納されているデータを、元々のサンプリング周期の０．７５倍に等しい時間周期で再サンプリングすることで達成される。例えば、標本ａ’、ｂ’、ｃ’、ｄ’、・・・は、時間０、０．７５、１．５、２．２５、等で取り込まれ、そして、第２のメモリバッファ１２８内に格納される。第１のメモリバッファ１２２内に格納された標本間の時間でのデータの値を計算するために、補間法が使用される。本発明の好ましい本実施例においては、デジタルシグナルプロセッサは、メモリバッファ１２２から時間１で得られた標本の値を読み込み、それを０．７５倍し、そして、それに時間０で得られた標本の値の０．２５倍を加える。本発明のこの好ましい実施例においては、線形の補間法を使用するが、デジタルシグナルプロセッサ内に十分な計算能力があれば、スプライン関数を使用したもの等、他のより精密な補間法が使用され得る。一旦データが再サンプリングされ、第２のメモリバッファ１２８内に格納されると、デジタルシグナルプロセッサは、再サンプリングされた入力の音声信号の新しいサイクルが始まる位置をメモリバッファ１２８内において指し示すために周期マーカー１２８ｂを計算する。周期マーカー１２８ｂは、周期マーカー１２２ｂにサンプリング速度における百分率（パーセント）変化を掛けることによって計算される。従って、新しい周期マーカー１２８ｂは、周期マーカー１２２ｂに１．３３（１／０．７５）を掛け、その結果を第２のメモリバッファ１２８内のその前の周期マーカー１２８ａに加えることによって計算される。図４Ａに示すように、２つのメモリバッファ１２２と１２８とを比較することによってわかるように、入力の音声信号のサンプリング速度を増加させた効果は、入力の音声信号の完全な１サイクルを格納するのに要求される標本の総数を増加させたことである。例えば、メモリバッファの２つの周期マーカー１２２ａと１２２ｂとの間の標本の数は１２である。サンプリング速度を３３パーセント増加させることによって、入力の音声信号の１サイクル全体を格納するのに要求される標本の数、すなわち、周期マーカー１２８ａと１２８ｂとの間の標本の数は、１６に増加する。図４Ｂは、入力の音声信号が、その入力の音声信号がＡ／Ｄコンバータ１１８によって元々サンプリングされメモリバッファ１２２に格納された速度よりも遅い速度でデジタルシグナルプロセッサによって、どのようにして再サンプリングされるかを示している。再び、アナログの入力の音声信号１０５が、複数の等しい時間間隔０、１、２、３・・・・、１１でサンプリングされる。各標本は、対応する値ａ、ｂ、ｃ、・・・、１を有しており、それは第１のメモリバッファ１２２に格納される。周期マーカー１２２ｂが、入力の音声信号の新しいサイクルが始まる所をマークするメモリの位置を指し示すために計算される。図４Ｂにおいては、サンプリング周期は、２５パーセント増加したものとして示されている。従って、入力の音声信号は、元々のサンプリング間隔の０、１．２５、２．５、３．７５倍等の時間で再サンプリングされる。各標本は新しい値ａ’、ｂ’、ｃ’、・・・、ｉ’を持っている。もし、サンプリング間隔が、前に格納された標本の１つと正確に整合しなければ、再サンプリングされたデータのための値を決定するために補間法が使用される。例えば、時間３．７５での標本ｄ’の値を計算するために、デジタルシグナルプロセッサは、時間４において得られたデータ値の０．７５倍と時間３において得られたデータ値の０．２５倍との合計を計算する。再び、一旦データが再サンプリングされ、第２のメモリバッファ１２８に格納されると、デジタルシグナルプロセッサは、上述したのと同じ方法で、再サンプリングされたデータのための最後の周期マーカー１２８ｂを再計算する。図４Ｂからわかるように、元々の入力の音声信号の周期マーカー１２２ａと１２２ｂとの間の標本の数は１２である。サンプリング周期が２５パーセント増加されると、わずか９．６標本のみが周期マーカー１２８ａと１２８ｂとの間に存在する。従って、入力の音声信号の完全な１サイクルを格納するのに要求される標本の総数は、２０パーセント減少する。本発明の好ましい本実施例においては、ユーザーは、サンプリング速度を＋／ −３３％増減できる。さらに多いまたはより少ない再サンプリングシフト（変更）は与えられ得る。しかしながら、音声への応用においては、最も現実味のあるように聞こえる音色の変更は、再サンプリング速度が−１８％と＋１８％との間に設定された時に得られることが確かめられている。一旦入力の音声信号が、性変更制御装置によって指し示された速度で再サンプリングされ、データバッファ１２８に格納されると、ＤＳＰ１８０は再サンプリングされたデータの周期を再計算する。例えば、ユーザーはＡ調子を２．２７ミリ秒の周期（４８ＫＨｚで１０９標本）を持つ４４０Ｈｚで歌い、性変更制御装置の１つを＋１０％に設定するかもしれない。この新しい速度で再サンプリングされた時に、再サンプリングされた音声信号の周期は２．０４３ミリ秒（４８ＫＨｚで９８標本）になる。この新しい周期は、ウインドウ発生ルーチン１９６によって使用され、そして、ハーモニーの調子を造るためにデジタルシグナルプロセッサによって実行されるピッチ変更ルーチン２００（図３に表されている）に使用される。図７を参照すれば、ピッチ変更ルーチンは、メモリバッファに格納された、再サンプリングされた入力の音声信号４００の一部分を、その部分の最初と最後においてサンプル（標本）の振幅を減少させ、そしてその部分の中央の標本の値を維持するために、ウインドウ関数４０２によって調整することによって動作する。ウインドウ関数４０２は、滑らかに変化する、ベル型の関数であり、それは、本発明の好ましい実施例においては、ハニングウインドウ（Hanning window）である。ウインドウ関数４０２と再サンプリングされた音声信号４００との点と点との（point-to-point）掛け算の結果が、信号セグメント（分節：segment）４０６である。再サンプリングされた音声信号４００は、一連のピーク４０１ａ、４０１ｂ、４０１ｃ等を含んでいることがわかる。信号セグメント４０６は、再サンプリングされたデータの完全な１サイクル（すなわち、１つのピーク）を含んでいるが、初めと終わりの振幅は相対的に小さい。図７Ｂを参照すれば、ハーモニーの調子４０８は、一連の信号セグメント４０６ａ、４０６ｂ、４０６ｃおよび４０６ｄをつなぎ合わせることによって造られる。ハーモニーの調子４０８を再サンプリングされた音声信号４００（図７Ａに示されている）と比べれば、このハーモニーの調子は、再サンプリングされたデータに較べてその半分の数のピーク４０８ａ、４０８ｂ、４０８ｃを持っていることがわかる。従って、ハーモニーの調子４０８は、再サンプリングされた調子よりも１オクターブ低く聞こえる。造られるべきハーモニーの調子のピッチは、信号セグメント、それは再サンプリングされた音声信号をウインドウ関数によって調整することによって得られるが、その信号セグメントが加え合わせられる速度に依存することは理解されよう。’６７１特許やレントの論文に記述されているように、調子のピッチを、元々のピッチの１オクターブ下よりも高いいかなる値に変えるためには、（部分的に）重なり合う信号セグメントが加え合わせられる必要がある。信号セグメントの最初と最後において、標本の振幅を減少させるのは、（部分的に）重なり合う信号セグメントを加え合わせた結果、ハーモニーの調子において大きい変動が生じるのを防止するためであることは理解されよう。図８Ａおよび８Ｂは、ハーモニーの調子を造る際に使用されるハニングウインドウを、デジタルシグナルプロセッサがどのようにして計算するのを示している。上述したウインドウ発生ルーチン１９６は、４つのハニングウインドウの数学的表現を４つのメモリーバッファ１３４ａ、１３４ｂ、１３４ｃおよび１３４ｄ（図５）に格納する。それぞれのメモリーバッファ１３４ａ、１３４ｂ、１３４ｃおよび１３４ｄは、ハーモニー発生装置２２０、２３０、２４０、および２５０（図５）のうちの１つに関連づけられている。ＲＯＭ１４０内に、標準ハニングウインドウを２５６のメモリー位置に格納するメモリーバッファ１４１が存在する。バッファ内に格納されたデータａ、ｂ、ｃ、ｄ等の値は、累乗余弦式（ra ised cosine formula）（１−ｃｏｓ（２πｘ／２５６））（ここで、ｘはバッファ内に格納された各標本を表す。）によって計算される。ハーモニーの調子を造るために使用されるメモリバッファ１３４のうちの１つの内部にウィンドウ関数を造るために、ウインドウの長さが最初に決定され、その後、メモリバッファ１４１に格納されているハニングウインドウの値を補間することによって、ウインドウは新しいデータポイントａ’、ｂ’、ｃ’、等によって満たされる。図８Ｂは、ウインドウ発生ルーチン１９６（図３）によって実行されるステップのフローチャートである。ステップ４２０で始まり、どの再サンプリングされた入力の音声信号がハーモニーの調子を造るのに使用されるべきかが決定される。例えば、ユーザーが性制御装置を＋１０％と−１０％に設定と仮定する。音楽効果１００を使用する際には、ユーザーは、ハーモニーの調子を造るためにどの再サンプリングされた入力の音声信号が使用されるかを選択する。ユーザーは、＋１０％の速度で再サンプリングされた入力の音声信号が、第１のハーモニーの調子を造るために使用されることを指定し、そして、−１０％の速度で再サンプリングされた入力の音声信号を他のハーモニーの調子を造るために使用されること等を指定することができる。一旦ＤＳＰが、ハーモニーの調子を造るについて、どの再サンプリングされた入力の音声信号が使用されるべきかを決定すると、ウインドウ関数の長さは、ステップ４２２において、関連する再サンプリングされた入力信号（標本で表現されている）の周期の２倍に等しく最初に設定される。次に、作られるべきハーモニーの調子のピッチが、ステップ４２４で、再サンプリングされた入力信号のピッチと比較される。もし、ハーモニーの調子のピッチが再サンプリングされた入力の調子のピッチよりも大きければ、ＤＳＰはステップ４２６に進む。ステップ４２６においては、ＤＳＰは、ハーモニーの調子がある正の閾値を超える半音（semitone）の数（ｘ）を決定する。本発明の好ましい本実施例においては、正の閾値は零半音に設定されている。ステップ４２８において、ハーモニーの調子を造るために使用されるハニングウインドウを格納するメモリバッファの長さが、式２^-X/12 （ここでｘは、ハーモニーの調子が正の閾値を超える半音の数である。）の結果によってステップ４２２で計算される長さを掛けることによって減少させられる。例えば、もしハーモニーの調子が閾値を５半音超えていれば、メモリーバッファの長さは、係数０．７５によって減少させられる。もし、造られるべきハーモニーの調子のピッチが、再サンプリングされた入力の調子のピッチよりも低ければ、ウインドウの長さは拡張され得る。ステップ４３０において、ＤＳＰは、ハーモニーの調子が負の閾値よりも下である半音の数（ｘ）を決定する。好ましい本実施例においては、負の閾値は入力の調子のピッチより２４半音下である。もし、ハーモニーの調子が閾値よりも下であれば、ウインドウ関数を格納しているメモリバッファの長さは、式２^+X/12 （ここでｘは、閾値より下の半音の数である。）の結果に等しい量だけ増加させられる。例えば、もし造られるべきハーモニーの調子が入力の調子のピッチよりも２９半音下であれば、ｘ＝５であり、ウインドウ関数を格納するメモリーバッファの長さは、係数１．３３によって増加させられる。ステップ４３４においては、ウインドウ関数の長さがウインドウ関数を格納するために使用可能なメモリの量よりも大きい量にまで増加させられたかどうかが決定される。もし、そうなら、ウインドウ関数の長さは、ウインドウ関数を格納するために使用可能なメモリの最大量に設定される。もし、造られるべきハーモニーの調子が負の閾値よりも下でなければ、ウインドウ関数の長さはステップ４２２で計算されたものと同じままである。ウインドウ関数を格納するメモリバッファの長さが計算された後、メモリバッファ１３４は、ウインドウデータの値によって満たされる。これは、ステップ４３８において、バッファ１４１（これは現在２５６である）の長さの、ステップ４２８または３４２によって決定されたバッファの長さに対する比を決定することによって達成される。この比は、ステップ４４０において、ウインドウデータを補間するために使用される。例えば、もし新しいバッファが２８４標本の長さを持っていれば、バッファ１３４は、図４Ａ、４Ｂに示されそして上述したようにして入力の音声信号が再サンプリングされたのと同じ方法で、点０、．９、１．８、２．７においてデータを補間することによって完了させられる。ユーザーは、また、作られる各ハーモニーの調子のための音量比（Volume rat io）を指定することができる。この音量比は、メモリバッファ１３４に格納された標本の振幅に影響を及ぼす。もしユーザーがハーモニーの調子のために最大音量を望むならば、その比は１に設定される。もしユーザーが半分の音量を望むならば、その比は０．５に設定される。音量比はステップ４４０で決定され、メモリバッファ１３４の各値には、ステップ４４２において音量比が掛けられる。図３に転ずれば、ピッチ変更ルーチン２００の出力は加算ブロック２１０に供給され、そこでこの出力はメモリバッファ１２２に格納されたドライ音声信号に加えられる。ドライ音声信号とハーモニー信号との組み合わせは、入力の調子とハーモニーの調子との組み合わせである多音声のアナログ信号を作るＤ−Ａコンバータ２１５に供給される。’６７１特許に記載されているように、もしピッチ認識ルーチンがユーザーが歯擦音（sibilant sound）を歌ったことを検出したら、出力のハーモニーの調子は作られない。歯擦音は”ス（ｓ）”、”チ（ｃｈ） ”、”シュ（ｓｈ）”等の音である。ハーモニーの調子が現実的に聞こえるために、こららの信号のピッチは変えない。もしピッチ認識ルーチンがユーザが歯擦音を歌ったことを検出したら、マイクロプロセッサは作られるべき全てのハーモニーを入力の音声信号のピッチと同じとなるように設定する。従って、ハーモニーの調子は、全て入力の音声信号と同じピッチを持つようになるが、再サンプリングとピッチ変更ルーチン２００の操作とが組み合わせられた操作にために音色変化が起こりその音色変化のために、それらは入力信号とはわずかに異なって聞こえる。従来技術のピッチ変更技術を使用して得られるであろうよりも、より自然に聞こえるハーモニーを作るために、本発明は、再サンプリングの結果として、既にピッチと音色が変えられている再サンプリングされた入力の音声信号の一部分を複製（replicate）する。今、図５に目を向ければ、デジタルシグナルプロセッサ１８０によって実行されるピッチ変更ルーチン２００は、一連のハーモニー発生装置２２０、２３０、２４０および２５０を使用することによって達成される。各ハーモニー発生装置は、メモリバッファ１２２内に格納されたドライ音声信号と混合される１つのハーモニーの調子を作る。造られるべきハーモニーの調子は、リード（lead）１６２上のデジタルシグナルプロセッサに供給され、そしてルックアップテーブル２６０に格納される。デジタルシグナルプロセッサ内のルックアップテーブルは各ハーモニーの調子のための基本周波数を決定するために使用される。デジタルシグナルプロセッサ内の各ハーモニー発生装置は、ルックアップテーブル２６０に格納されるハーモニーの調子の１つを作る。上述したように、ハーモニー発生装置は、再サンプリングされた入力の音声信号の１つを、ハーモニー発生装置の関連づけられたメモリバッファ１３４ａ、１３４ｂ、１３４ｃ、または１３４ｄに格納されたハニングウインドウによって、造られるべきハーモニーの調子の基本周波数に等しい速度で評価する。ドライ音響信号およびハーモニー発生装置２２０、２３０、２４０および２５０のそれぞれの出力信号は、信号を左と右のチャンネルに分ける加算ブロック（ summation block）２１０に供給される。例えば、ハーモニー発生装置２２０の出力は、ミキサー２２４に供給される。このミキサーによって、ユーザーは作られたハーモニーを、左または右のオーディオチャンネルに向けることができ、または右と左のオーディオチャンネルの混合に向けることができる。同様に、ハーモニー発生装置２３０、２４０および２５０の出力は対応するミキサー２３４、２４４および２５４に供給される。ミキサーの各々は、左チャンネルのために全てのハーモニー信号を組み合わせる加算ブロックに供給する。同様に、ミキサー２２４、２３４、２４４および２５４の各々は、右チャンネルのために全てのハーモニー信号を組み合わせる加算ブロック２７２に供給する。デジタルシグナルプロセッサは、また、メモリバッファ１２２からドライ音響信号を読み込み、そのドライ音響を左および／または右のオーディオチャンネルのある組み合わせに向けるためにユーザーによって操作可能なミキサー２８４にそれを与える。デジタルシグナルプロセッサ１８０は、４つのハーモニー発生装置を含んでいるように示されているが、当業者にとって、使用可能なメモリやデジタルシグナルプロセッサの処理速度に応じて、これよりも多いまたは少ないハーモニー発生装置が備えられるであろうことは理解されよう。今、図６に目を向ければ、ハーモニー発生装置のそれぞれによって遂行される機能の詳細が示されている。ハーモニー発生装置の各々は、複数のウインドウ利用（windowed）された音響発生装置３００、３１０、３２０および３３０を含んでいる。各ウインドウ利用（windowed）音響発生装置は、上述のように再サンプリングされた入力の音声信号をハニングウインドウによって調整（scale）するように働く。ウインドウ利用（windowed）音響発生装置内のタイマー３４０には作られるべきハーモニーの調子の基本周波数に等しい値が供給される。基本周波数は、各ハーモニーの調子とそれに対応する基本周波数とを相互に関連づけるルックアップテーブル２６０（図５に示されている）から決定される。タイマー３４０がゼロまでカウントダウンされると、調整処理を始めるためにウインドウ利用（windowed）音響発生装置３００、３１０、３２０または３３０の１つを捜しているウインドウ利用（windowed）音響発生装置割当ブロック３５０に信号が送られる。例えば、もし、ウインドウ利用（windowed）音響発生装置３００が使用されていなければ、バッファポインタ３０２には、まず、ハーモニー信号を造るのに使用されるべき再サンプリングされた入力の音響信号の完全な１サイクルが始まるメモリバッファ１２８内の位置をマークする周期マーカーの値がロードされる。次に、ウインドウポインター３０４に、ハーモニー発生装置の関連づけられたメモリバッファ１３４ａ、１３４ｂ、１３４ｃ、または１３４ｄ（図５）の最初へのポインターがロードされる。最後に、カウンター３０６に、選択されたウインドウ関数を格納するのに使用される標本の数がロードされる。ウインドウ関数における標本の数は、デジタルシグナルプロセッサによってハーモニー発生装置に供給され、全てのウインドウ利用（windowed）音響発生装置による使用のためにメモリ位置３７０に格納される。バッファポインター３０２、ウインドウポインター３０４、およびカウンター３０６が初期化された後、ウインドウ利用（windowed）音響発生装置は、関連づけられたメモリバッファ１２８に格納された再サンプリングされた入力の音声信号と関連づけられたメモリバッファに格納されたハニングウインドウの点と点との掛け算を始める。掛け算の結果は、全てのウインドウ利用（windowed）音響発生装置３００、３１０、３２０および３３０からの出力を加え合わせる加算ブロック３７２に与えられる。掛け算が完了した後、ポインター３０２および３０４は進められ、カウンター３０６はデクリメントされる。カウンター３０６がゼロに達し、全ての掛け算が実行されたときに、ウインドウ利用（windowed）音響発生装置は、再び使用されるために利用可能なウインドウ利用（windowed）音響発生装置割当ブロック３５０に信号を送る。ウインドウ利用（windowed）音響発生装置３１０、３２０、３３０は、ウインドウ利用（windowed）音響発生装置３００と同じように働く。タイマー３４０、メモリ位置２６２（図５）に格納された周期マーカー、メモリ位置３７０に格納されたウインドウ関数のポイントの数、およびメモリ位置１３４に格納されたハニングウインドウは、ユーザーがマイクロフォンに異なる調子を歌ったときに、すべて動的に（dynamically）更新される。上述したように、入力の音声信号のピッチより低いピッチを持つハーモニーの調子のために、ハニングウインドウは、ハーモニー信号を造るために使用される入力信号の周期の２倍以上の長さを有するように計算される。従って、入力の音声信号よりも１オクターブ低いハーモニー信号を造るためには、１つのウインドウ利用（windowed）音響発生装置のみが必要である。しかしながら、入力の音声の調子のピッチよりも大きいピッチを持つハーモニーの調子を造るためには、ハニングウインドウの長さは短くされる。従って、再サンプリングされた入力の音声信号のピッチよりも上の出力信号を作るためには、２つのウインドウ利用（wi ndowed）音響発生装置のみが要求される。上述の音楽効果発生装置は、音色の変更の固定された量を、ピッチが変えられた調子に与える。しかしながら、デジタル的に処理された調子の現実性をさらに増大させるために、音色の変更量を動的に変えることは可能である。上記に示したように、本発明の音楽効果発生装置は、予め記録されたメロディーおよび／またはハーモニーのトラック（track）を有するカラオケ装置と共に使用され得る。または、メロディーまたはハーモニーの調子はキーボードからまたはコンピュータから受け取ることも可能である。典型的には、予め記録されたメロディーまたはハーモニーの調子は、ＭＩＤＩチャンネルによって効果発生装置に送られる。もし、たった１つのハーモニーの音声が作られるのであれば、効果発生装置は、ＭＩＤＩポートから所望のハーモニーの調子を読み込み、調子に与えられるべき音色の変更量を捜し、上述した方法で再サンプリングされた入力の調子の一部を複製することによってハーモニーの調子を造ることができる。しかしながら、もし、２以上のハーモニー音声が作られるべきであるならば、各音声のための調子がそれら自身のＭＩＤＩチャンネル上で送られることが通常要求される。たいていの場合、ハーモニーの調子を供給するＭＩＤＩ制御装置は、各音声のために別々のチャンネルが使用され得るほどに十分な空きチャンネルを持っていない。単一のＭＩＤＩチャンネルが、作られるべき各メロディーまたはハーモニーの調子を定めるのに使用され得るであろう。しかしながら、効果発生装置に、個々のメロディーまたはハーモニーの調子にどれだけの音色の変更が与えられるべきかについて情報を与える実際的な方法はない。概念的には、ハーモニーまたはメロディーの調子を記述するＭＩＤＩファイルを、各調子に先行しどれだけの音色の変更を与えるべきかを定めるＭＩＤＩメセージによってコード化することは可能である。しかしながら、そのようなファイルは造ることが難しく、そして、もしメロディー／ハーモニーの調子が、ユーザーが歌っているときにキーボードによってコード化されるなら、リアルタイムで造れないであろう。従って、単一のＭＩＤＩチャンネル上のメロディーまたはハーモニーの調子を受け取って、種々の音声を含む複数の調子に異なる量の音色の変更を割り当てることができる効果発生装置の必要性がある。本発明の第１の代替的な実施例が図９Ａに示されている。この実施例においては、与えられた歌に伴う全てのメロディーまたはハーモニーの調子は、単一のＭＩＤＩチャンネル上でコード化されている。効果発生装置は、調子を読み込み、リアルタイムで音色の変更量を調子に動的に割り当てるようにプログラムされている。本発明のこの実施例を遂行するのに要求されるハードウェアは、図３に示され上述したものと同じである。しかしながら、デジタルシグナルプロセッサ１８０はわずかに異なってプログラムされている。効果発生装置５００は、ユーザーが歌っているときに、ＭＩＤＩカラオケ装置、キーボードまたはコンピュータ装置から単一のＭＩＤＩチャンネル上で一連のメロディーまたはハーモニーの調子を受け取る。メロディーまたはハーモニーの調子はデジタルシグナルプロセッサによって読み込まれ、自動的に処理ブロック５１５において、ある量の音色の変更が割り当てられる。好ましくは、自動音色割り当てブロック５１５は、作られるべきメロディーまたはハーモニーの調子のピッチと１以上のピッチの閾値とを比較するようにデジタルシグナルプロセッサをプログラムすることによって実行される。閾値に対してメロディーやハーモニーの調子のピッチがどこにあるかに応じて、予め定められたまたは予めプログラムされた規則に従って、調子の音色が設定される。例えば、もし２つの閾値がある場合には、両方の閾値よりも高いピッチを持つ調子は−１０％の速度で再サンプリングされ、その一方で、閾値の間のハーモニーの調子は−２％の速度で再サンプリングされ、そして、両方の閾値よりも低い下のハーモニーの調子は＋５％の速度で再サンプリングされる等が行われてもよい。もちろん、１以上のピッチの閾値の上または下の調子にとって音色の変更量は同じであってよい。また、音楽効果発生装置は、調子に音色の変化が与えられないようにプロフラムされてもよい。１以上のピッチの閾値が、各歌のために、その歌に伴うＭＩＤＩファイルの最初においてＭＩＤＩメッセージとして１以上の閾値の調子を含めることによって、予め定められていてもよく、またはプログラムされていてもよい。メロディーまたはハーモニーの調子のピッチをピッチの閾値と比較する代替的なものとして、自動音色割り当てブロック５１５が、ハーモニーの調子のピッチを、別のＭＩＤＩファイルに格納されＭＩＤＩチャンネル５１０上で効果発生装置に伝えられる、ある所望のメロディーの調子のピッチと比較するようにデジタルシグナルプロセッサをプログラムすることによって実行されてもよい。所望のメロディーの調子を読み込むことによって、効果発生装置は、（歌い手がキー上で歌う（singing on key）のと近いと仮定すれば）ハーモニーの調子を作るために要求されるピッチ変更の期待量を決定するために予測することができる。効果発生装置は、その後、ピッチ変更の期待量に応じて各ハーモニーの調子のために音色の変更量を修正してもよい。さらに他の代替的なものとして、自動音色割り当てブロック５１５が、ハーモニーの調子のピッチを、そのハーモニーの調子のピッチがメロディーラインよりも上か下かを決定するために、入力の音声信号の調子のピッチと比較するようにデジタルシグナルプロセッサをプログラムすることによって実行されてもよい。ハーモニーの調子の音色は、ハーモニーの調子のピッチと入力の音声の調子のピッチとの間のピッチの差の関数として修正されることができる。作られたハーモニーの調子は、入力の音声の調子とは異なる音色を持つので、それらは、入力の調子のピッチが変更されたバージュンのようには聞こえず、それによって、合成音に現実性を与えている。本発明の効果発生装置の第２の代替的な実施例は、図９Ｂに示されている。ここでは、ハーモニーの調子の音色は、ハーモニーの音声を入力の音声とは区別するように修正されているのではなく、歌い手がより高いまたは低い調子で歌うときに、歌い手の音色がいかに変化するかを真似るように修正されている。音楽効果発生装置５２０は、歌い手から入力の音声信号を受け取り、そしてそのピッチを決定するためにその信号を解析する。効果発生装置は、入力の音声信号がそのピッチに変更されるべきピッチを指し示すＭＩＤＩチャンネル５３０上で一連の望ましいメロディーまたはハーモニーの調子を受け取る。効果発生装置内のデジタルシグナルプロセッサは、ブロック５４０に表されているように、音色変更の量を、作られるべき調子に動的に割り当てる。好ましくは、デジタルシグナルプロセッサは、ピッチが変えられた出力の調子にどれだけの音色の変更が与えられるべきかを選択するために、所望の調子のピッチを入力の音声信号のピッチと比べる。例えば、音色変更の量は、入力の音声信号と所望のハーモニーまたはメロディーの調子との間のピッチの違いに線形的に比例して変化してもよい。または、ステップ関数が用いられることもでき、そうすれば、音色は、所望の調子のピッチが入力の音声信号のピッチよりも所定の量以上異なるまで変化しない。一旦音色の変更量が決定されると、上述のように、デジタル化された入力の音声信号は再サンプリングされ、そして、出力の調子が、再サンプリングされた入力の調子の一部分を所望の出力の調子の基本周波数に等しい速度で複製することによって造られる。歌い手の声道で起こっている物理的な変化を真似る現実的な音色変更を達成するために、入力の音声の調子よりも高いピッチを持つ調子に対しては、再サンプリング速度は元々のサンプリング速度よりも遅くすべきである。逆に、入力の音声の調子よりも低いピッチを持つ調子に対しては、再サンプリング速度は元々のサンプリング速度よりも速くすべきである。要求されるピッチ変更の量に基づいて調子の音色を変化させる方法の代替として、入力の音声信号のラウドネス（lo udness）の変化に基づいて音色を変化させることも可能である。デジタルシグナルプロセッサは、デジタル化された入力の音声信号の振幅を解析し、そしてその振幅の関数として音色の変更量を選択する。さらに、音色は、入力の音声信号が歌われている長さに応じて変更されることも可能であろう。一旦効果発生装置が入力の音声信号のピッチを決定したら、デジタルシグナルプロセッサは、ピッチがある再定義された限度内に留まっている時間の長さを常に把握する内部タイマーをスタートさせる。音色の変更量はタイマーによって記録された時間の長さの関数として選択される。調子に与えられるべき音色の変更量を制御するために多くの異なる基準が使用され得るであろうことは、当業者によって理解されよう。図９Ｂに示された効果発生装置を用いると、歌われた調子のピッチが変化するときに歌い手の音声において調子の音色が自然に変化する方法を調子が真似ているから、合成出力信号はさらに現実的に聞こえる。本発明は音声のハーモニー発生装置について記述されてきたが、本発明は他の用途も持っている。１つの例は音色の偽装装置（disguiser）であり、そこでは、ユーザーはマイクロフォンに話し、そして異なる音色および／またはピッチを持つ出力信号が作られるであろう。もし出力信号が入力信号の１オクターブ下の周波数を持っていれば、データ再サンプリングにおいて使用されるピッチの変更量は固定され、ただ１つのウインドウ利用（windowed）音響発生装置しか必要としない装置が作られ得るだろう。そのような装置は、法律の施行のために証人の音声を偽装するために、または留守番電話の一部としてユーザーの音声を隠すために有用であろう。また、本発明は、自分の音声がより低く聞こえてほしいラジオアナウンサーによって使用されることもできるだろう。さらに、本発明は楽器から受け取った入力の調子を用いて使用されることができる。ピッチ変更と組み合わせられた音色変更の結果によって、一楽器を他の楽器のように聞こえるようにできる。さらに、本発明の好ましい実施例は、まず、再サンプリングピッチ変更を採用し、その後、レント法によるピッチ変更を行う。この逆のプロセスもまた使用され得、それによってレント法を使用して造られた出力信号がメモリバッファに格納され、さらにピッチを変更するために新しい速度で再サンプリングされることは理解されよう。レントおよび再サンプリングによるピッチ変更という方法の各々は上述したように働く。反対の順序でステップを実行する際には、２つの留意点がある。第１には、レント法によって働くピッチ変更装置の出力は、出力信号全体の基本周波数をもはや直接的には制御しない。従って、再サンプリングの結果として生じるピッチ変化を補償する必要がある。例えば、もし音色変更制御装置が、歌い手をより女性的に聞こさせるように設定されていれば、再サンプリングピッチ変更装置は、ピッチを、まあ、１２％だけより高く調節するかもしれない。もし音色が変更された出力信号を４４０Ｈｚの周波数で作ることが望まれるのなら、レント法によって働くピッチ変更装置は、４４０／１．１２＝３９２．８６Ｈｚの基本周波数で信号を出力するように設定されなければならないだろう。一般的には、その関係は、ＴＳＦ＝ＬＦ＊ＰＳＲである。ここで、ＴＳＦ＝音色が変更された出力信号の基本ピッチの周波数、ＬＦ＝レント法によって働くピッチ変更装置の出力信号の基本ピッチの周波数、そしてＰＳＲ＝再サンプリングピッチ変更装置のピッチ変更比（Pitch Shif t Ratio）である。これは、（入力サンプリング速度）／（再サンプリングされたサンプリング速度）の比である。第２の点は、図６に示されたハーモニータイマー３４０のクロック源が異なるであろうということである。レント法ピッチ変更装置がプロセスの最後のステップのときは、タイマーは、装置のサンプリング速度で、例えば、ＣＤ品質の音響を提供する装置においては４４．１ＫＨｚで、デクリメントされる。これはレント法ピッチ変更装置がその速度で連続する一連のピッチが変更された音響を提供できることを保証する。レント法ピッチ変更装置がその出力を、直接出力に渡すよりもむしろ、再サンプリングピッチ変更装置に渡す際には、タイマー３４０は再サンプリング速度に同期させられる。これによって２つのプロセスが同期して働くことを保証する。もし、図４Ａのように、再サンプリングがより高い速度で起こるのならば、レント法は、再サンプリングピッチ変更装置に連続してデータが供給され続けるために、より高い速度で複製されたピッチ周期を作らなければならない。同様に、もし、図４Ｂのように、再サンプリングがより低い速度で起こるのならば、レント法は、再サンプリングピッチ変更装置に連続してデータが供給され続けるために、より低い速度で複製されたピッチ周期をただ作る必要がある。本発明の好ましい実施例を示し記述してきたが、本発明の精神および範囲から離れることなく、その中において、種々の変更が可能であることは理解されよう。従って、本発明の範囲は、次の請求の範囲からのみ決定されるべきである。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，ＤＫ，ＥＳ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ)，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＨＵ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＫ，ＬＲ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ (72)発明者ジュビエン、クリストファーマイケルカナダ国、ブイ８ティー１アール４、ブリティッシュコロンビア、ビクトリア、ベイストリート 841 (72)発明者ローデン、ブライアンジョンカナダ国、ブイ８エックス１エヌ２、ブリティッシュコロンビア、ビクトリア、グラスゴー 3240、スウィート 305

Claims

【特許請求の範囲】１．入力信号から音色が変更された出力信号を造る方法であって、第１の速度でサンプリングされた入力信号のデジタル表現を受け取るステップと、前記入力信号のデジタル表現を、前記第１の速度とは異なる第２の速度で再サンプリングするステップと、再サンプリングされた入力信号のセグメントを周期的に抽出し、そして、抽出されたセグメントを前記出力信号の基本周波数に等しい速度で複製することによって前記音色が変更された出力信号のデジタル表現を造るステップと、を備える方法。２．入力信号から音色、ピッチが変更された出力信号を造る方法であって、第１の速度でサンプリングされた入力信号のデジタル表現を受け取るステップと、入力信号のセグメントを周期的に抽出し、そして、抽出されたセグメントをピッチが変更された出力信号の基本周波数に等しい速度で複製することによってピッチが変更された出力信号のデジタル表現を造るステップと、前記ピッチが変更された入力信号のデジタル表現を、前記第１の速度とは異なる第２の速度で再サンプリングすることによって音色が変更された出力信号のデジタル表現を造るステップと、を備える方法。３．前記音色が変更された出力信号の前記デジタル表現を前記音色が変更された出力信号のアナログ表現に変換するために、前記音色が変更された出力信号のデジタル表現をＤ−Ａコンバータに与えるステップをさらに備える請求項１または２の方法。４．前記入力信号がある基本周波数を有し、前記音色が変更された出力信号が前記入力信号の基本周波数と同じ基本周波数を有する請求項１の方法。５．前記入力信号がある基本周波数を有し、前記音色が変更された出力信号が前記入力信号の基本周波数と異なる基本周波数を有する請求項１の方法。６．前記入力信号のデジタル表現を受け取る前記ステップが、前記入力信号のアナログ表現を受け取るステップと、前記入力信号の前記アナログ表現を前記入力信号のデジタル表現に変換するために、前記入力信号の前記アナログ表現をＡ−Ｄコンバータに与えるステップと、を備える請求項１または２記載の方法。７．前記入力信号が楽器によって作られた調子である請求項１または２の方法。８．前記入力信号が、音声の調子である請求項１または２の方法。９．入力の音声信号から音色が変更された出力の音声信号を発生する方法であって、第１の速度でサンプリングされた入力の音声信号のデジタル表現を受け取り、そして、前記入力の音声信号の前記デジタル表現を、前記第１のサンプリング速度とは異なる第２の速度で再サンプリングして、再サンプリングされた入力の音声信号を造るステップと、前記再サンプリングされた入力の音声信号のセグメントをウインドウ関数を用いて周期的に抽出し、そして、抽出されたセグメントを前記出力の音声信号の基本周波数に等しい速度で複製することによって前記音色が変更された出力の音声信号のデジタル表現を造るステップと、を備える方法。１０．入力の音声信号から音色、ピッチが変更された出力の音声信号を発生する方法であって、第１の速度でサンプリングされた入力の音声信号のデジタル表現を受け取り、そして、前記入力の音声信号のセグメントをウインドウ関数を用いて周期的に抽出し、そして、抽出されたセグメントを前記出力の音声信号の基本周波数に等しい速度で複製することによってピッチが変更された出力の音声信号のデジタル表現を造るステップと、前記ピッチが変更された出力の音声信号のデジタル表現を前記第１のサンプリング速度とは異なる第２のサンプリング速度で再サンプリングすることによって、前記音色が変更された出力の音声信号のデジタル表現を造るステップと、を備える方法。１１．前記入力の音声信号のデジタル表現を受け取る前記ステップが、前記入力の音声信号のアナログ表現を受け取るステップと、前記入力の音声信号の前記アナログ表現を前記入力の音声信号のデジタル表現に変換するために、前記入力の音声信号の前記アナログ表現をＡ−Ｄコンバータに与えるステップと、を備える請求項９または１０記載の方法。１２．前記音色が変更された出力の音声信号のデジタル表現を前記音色が変更された出力の音声信号のアナログ表現に変換するために、前記音色が変更された出力の音声信号の前記デジタル表現をＤ−Ａコンバータに与えるステップをさらに備える請求項９または１０の方法。１３．前記入力の音声信号がある基本周波数を有し、前記音色が変更された出力の音声信号が前記入力の音声信号の基本周波数と同じ基本周波数を有する請求項９または１０の方法。１４．前記入力の音声信号がある基本周波数を有し、前記音色が変更された出力の音声信号が前記入力の音声信号の基本周波数と異なる基本周波数を有する請求項９または１０の方法。１５．前記入力の音声信号と前記音色が変更された出力の音声信号が基本周波数を有し、前記再サンプリングされた入力の音声信号のセグメントを抽出する前記ステップが、前記入力の音声信号の基本周波数と前記音色が変更された出力の音声信号の基本周波数との間の差の関数である持続時間を持つウインドウ関数を発生するステップと、前記ウインドウ関数と前記再サンプリングされた入力の音声信号のデジタル表現とを掛け合わせるステップと、をさらに備える請求項９の方法。１６．前記入力の音声信号と前記ピッチが変更された出力の音声信号が基本周波数を有し、前記入力の音声信号のセグメントを抽出する前記ステップが、前記入力の音声信号の基本周波数と前記ピッチが変更された出力の音声信号の基本周波数との間の差の関数である持続時間を持つウインドウ関数を発生するステップと、前記ウインドウ関数と前記ピッチが変更された出力の音声信号のデジタル表現とを掛け合わせるステップと、をさらに備える請求項１０の方法。１７．前記入力の音声信号の前記デジタル表現が再サンプリング前にデジタルメモリに格納され、前記入力の音声信号の前記デジタル表現が、ある数のサイクルを備え、各サイクルがある数のメモリ位置を占め、前記入力の音声信号の前記デジタル表現の再サンプリングのステップが、前記再サンプリングされた入力の音声信号を、もし前記第２のサンプリング速度が前記第１のサンプリング速度よりも速い場合には、前記入力の音声信号の前記デジタル表現によって占められるよりも、１サイクル当りより多くの数のメモリ位置に格納するステップと、前記再サンプリングされた入力の音声信号を、もし前記第２のサンプリング速度が前記第１のサンプリング速度よりも遅い場合には、前記入力の音声信号の前記デジタル表現によって占められるよりも、１サイクル当りより少ない数のメモリ位置に格納するステップと、をさらに備える請求項９の方法。１８．前記ピッチが変更された出力の音声信号のデジタル表現が再サンプリング前にデジタルメモリに格納され、前記ピッチが変更された出力信号のデジタル表現が、ある数のサイクルを備え、各サイクルがある数のメモリ位置を占め、前記ピッチが変更された出力の音声信号のデジタル表現の再サンプリングのステップが、前記再サンプリングされたピッチが変えられた出力の音声信号を、もし前記第２のサンプリング速度が前記第１のサンプリング速度よりも速い場合には、前記ピッチが変更された出力の音声信号のデジタル表現によって占められるよりも、１サイクル当りより多くの数のメモリ位置に格納するステップと、前記再サンプリングされたピッチが変えられた出力の音声信号を、もし前記第２のサンプリング速度が前記第１のサンプリング速度よりも遅い場合には、前記ピッチが変更された出力の音声信号のデジタル表現によって占められるよりも、１サイクル当りより少ない数のメモリ位置に格納するステップと、をさらに備える請求項１０の方法。１９．前記入力の音声信号の再サンプリングのステップが、前記入力の音声信号の前記デジタル表現を補間することによって実行される請求項９の方法。２０．前記入力の音声信号のデジタル表現の補間のステップが、線形補間を使用して実行される請求項１９の方法。２１．前記ピッチが変えられた出力の音声信号を再サンプリングするステップが、前記ピッチが変えられた出力の音声信号の前記デジタル表現を補間することによって実行される請求項１０の方法。２２．前記ピッチが変えられた出力の音声信号のデジタル表現の補間のステップが、線形補間を使用して実行される請求項２１の方法。２３．入力信号から音色が変更された出力信号を作る装置であって、デジタルメモリーと、第１の速度でサンプリングされた前記入力信号のデジタル表現を受け取り、前記入力信号の前記デジタル表現を前記デジタルメモリに格納するデジタルシグナルプロセッサと、前記デジタルメモリに格納された前記入力信号の前記デジタル表現を前記第１の速度とは異なる第２の速度で再サンプリングし、前記再サンプリングされた入力信号を前記デジタルメモリに格納する手段と、前記再サンプリングされた入力信号のセグメントを周期的に抽出し、そして、前記抽出されたセグメントを前記音色が変更された出力信号の基本周波数に等しい速度で複製することによって、前記音色が変更された出力信号のデジタル表現を造るピッチ変更装置と、を備える装置。２４．前記入力信号を対応する電気入力信号に変換するマイクロフォンと、前記電気入力信号を前記第１の速度でサンプリングし、前記電気入力信号を前記入力信号の前記デジタル表現に変換するＡ−Ｄコンバータと、をさらに備える請求項２３の装置。２５．前記音色が変更された出力信号の前記デジタル表現を前記音色が変更された出力信号のアナログ表現に変換するＤ−Ａ変換装置をさらに備える請求項２３の装置。２６．前記入力信号が再サンプリングされる前記第２の速度を変える制御装置をさらに備える請求項２３の装置。２７．前記ピッチ変更装置が、前記再サンプリングされた入力信号をウインドウ関数を用いて調整することによって、前記再サンプリングされた入力信号のセグメントを抽出する請求項２３の装置。２８．前記ピッチ変更装置が、前記再サンプリングされた入力信号を前記ウインドウ関数を用いて、前記入力信号の基本周波数と調和して関連する速度で調整する請求項２７の装置。２９．前記入力信号がある基本周波数を有し、そして前記音色が変更された出力信号がある基本周波数を有し、前記ピッチ変更装置が、前記入力信号の前記基本周波数と前記音色が変更された出力信号の基本周波数との間の差に基づいて前記ウインドウ関数の持続時間を調節する手段をさらに備える請求項２７の装置。３０．前記ウインドウ関数の持続時間を調整する手段が、もし前記音色が変更された出力信号の基本周波数が前記入力信号の基本周波数よりも大きいければ前記ウインドウの前記持続時間を減少させ、もし前記音色が変更された出力信号の基本周波数が前記入力信号の基本周波数よりも小さければ前記ウインドウ関数の前記持続時間を増加させる請求項２９の装置。３１．入力信号から音色が変更されたおよび／またはピッチが変更された出力信号を造る装置であって、第１の速度でサンプリングされた前記入力信号のデジタル表現を受け取る手段と、前記音色が変更された出力信号の第１の所望の基本周波数を定める第１の参照用調子を受け取る手段と、前記参照用調子の解析を行い、前記解析の関数として再サンプリング速度を選択するコンパレーターと、前記入力信号の前記デジタル表現を前記選択された再サンプリング速度で再サンプリングするデジタルシグナルプロセッサと、前記再サンプリングされた入力信号のセグメントを周期的に抽出し、そして前記セグメントを前記参照用調子の基本周波数と等しい速度で複製するピッチ変更装置と、を備える装置。３２．前記コンパレーターが、前記参照用調子の前記基本周波数を１以上の閾値と比較することによって前記参照用調子を解析する請求項３１の装置。３３．前記入力信号の基本周波数を決定する手段をさらに備え、前記コンパレーターが、前記参照用調子の前記基本周波数を前記入力信号の前記基本周波数と比較することによって前記参照用調子を解析し、そして、前記参照用調子の前記基本周波数と前記入力信号の前記基本周波数との間の差の関数として前記再サンプリング速度を選択する請求項３１の装置。３４．第２の基本周波数を定める第２の参照用調子を受け取る手段をさらに備え、前記コンパレーターが、前記第１の参照用調子の前記基本周波数を前記第２の参照用調子の前記基本周波数と比較することによって前記参照用調子を解析し、そして、前記参照用調子の前記基本周波数と前記第２の参照用調子の前記基本周波数との間の差の関数として前記再サンプリング速度を選択する請求項３１の装置。３５．入力信号から音色が変更されたおよび／またはピッチが変更された出力信号を造る装置であって、第１の速度でサンプリングされた前記入力信号のデジタル表現を受け取る手段と、前記音色が変更された出力信号の所望の基本周波数を定める参照用調子を受け取る手段と、前記入力信号が受け取られていた時間の長さを計算する手段と、前記入力信号が受け取られていた時間の前記長さを解析し、そして、前記時間の長さの関数として再サンプリング速度を選択するコンパレーターと、前記選択された再サンプリング速度で前記入力信号の前記デジタル表現を再サンプリングするデジタルシグナルプロセッサと、前記再サンプリングされた入力信号のセグメントを抽出し、そして、前記参照用調子の基本周波数と実質的に等しい速度で前記セグメントを複製することによって、前記音色が変更された出力信号を造るピッチ変更装置と、を備える装置。３６．入力信号から音色が変更されたおよび／またはピッチが変更された出力信号を造る装置であって、第１の速度でサンプリングされた前記入力信号のデジタル表現を受け取る手段と、前記音色が変更された出力信号の所望の基本周波数を定める参照用調子を受け取る手段と、前記入力信号の前記デジタル表現の振幅を解析し、そして、前記振幅の関数として再サンプリング速度を選択するコンパレーターと、前記選択された再サンプリング速度で前記入力信号のデジタル表現を再サンプリングするデジタルシグナルプロセッサと、前記再サンプリングされた入力信号のセグメントを周期的に抽出し、そして、前記参照用調子の前記基本周波数と実質的に等しい速度で前記セグメントを複製することによって、前記音色が変更された出力信号を造るピッチ変更装置と、を備える装置。