JP6371283B2 - 選択的に適用可能な（複数の）ボーカルエフェクトスケジュールに基づいて、その後で再演奏するために、ボーカル演奏の連続的リアルタイムピッチ補正およびドライボーカル取込を用いるソーシャル音楽システムおよび方法 - Google Patents

Description

（複数の）本発明は、概して、ボーカル演奏の取込みおよび／もしくは処理に関し、より詳細には、取込まれたボーカルに対して、選択的にボーカルエフェクトスケジュールを適用するのに適した技術に関する。

携帯電話および他の可搬コンピューティングデバイスのインストールベースは、圧倒的な数および計算能力で、日々進化している。世界中の人々のライフスタイルに非常に遍在（ｈｙｐｅｒ−ｕｂｉｑｕｉｔｏｕｓ）し、かつしっかりと定着しているため、それらは、略全ての文化的および経済的障壁を超越する。コンピュータ処理的には、今日の携帯電話は、１０年に満たない前から、デスクトップコンピュータに匹敵する速度および記憶容量を提供しており、リアルタイム音合成および他の音楽アプリケーション用に携帯電話を驚くほど適したものにしている。結果として部分的には、Ａｐｐｌｅ Ｉｎｃ．から入手可能なｉＰｈｏｎｅ（登録商標）ハンドヘルドデジタルデバイスなどの幾つかの現代の携帯電話は、非常に良好に音声および動画再生をサポートする。

従来の音響楽器と同様に、携帯電話は、個人的な音声発生装置とすることができる。しかしながら、大部分の従来の楽器と比較すると、携帯電話は、音響帯域幅および出力において幾分の制限を受ける。それでもなお、これらの欠点にもかかわらず、携帯電話は、偏在性、数の多い強み、超可搬性の利点を有し、それによって、ほぼ何処でも、何時でも、ジャムセッション（即興ジャズ演奏）、リハーサル、および演奏のためにアーティストをまとめることが（少なくとも理論的には）可能となる。モバイル音楽の分野は、研究のうちの幾つかの開発中分野において探求されてきた。Ｎｅｗ Ｉｎｔｅｒｆａｃｅｓ ｆｏｒ Ｍｕｓｉｃａｌ Ｅｘｘｐｒｅｓｓｉｏｎ，Ｐｉｔｔｓｂｕｒｇｈ（２００９年６月）で２００９年に提案された、Ｇ．ＷａｎｇによるＤｅｓｉｇｎｉｎｇ Ｓｍｕｌｅ’ｓ ｉＰｈｏｎｅ Ｏｃａｒｉｎａを参照されたい。さらに、ｉＰｈｏｎｅ（登録商標）、ｉＰａｄ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）および他のｉＯＳ（登録商標）デバイス用の、Ｓｍｕｌｅ，Ｉｎｃ．から入手可能なＯｃａｒｉｎａ（商標）、Ｌｅａｆ Ｔｒｏｍｂｏｎｅ：Ｗｏｒｌｄ Ｓｔａｇｅ（商標）およびＩ Ａｍ Ｔ−Ｐａｉｎ（商標）アプリケーションは、先進のデジタル音響技術が魅力的なユーザの体験を提供するように、送達されることがあることを示した。ｉＰｈｏｎｅ、ｉＰａｄ、ｉＰｏｄ Ｔｏｕｃｈは、Ａｐｐｌｅ，Ｉｎｃ．の商標である。ｉＯＳは、ライセンスの下で、Ａｐｐｌｅによって利用されるＣｉｓｃｏ Ｔｅｃｈｎｏｌｏｇｙ，Ｉｎｃ．の商標である。

プロセッサ、メモリおよび、他の限定されたコンピュータ処理リソースによって課される現実世界の制約内および／もしくはワイヤレスネットワークに典型的な通信帯域幅および伝送レイテンシーの制約内で動作可能なｉＰｈｏｎｅ（登録商標）ハンドヘルドおよび他のプラットフォームなどの最新ハンドヘルドデバイスに対して展開可能な市販アプリケーションへと、デジタル音声の研究者が技術革新を移行しようとするため、重大な実際上の問題が存在する。改良技術、機能性能およびユーザの経験が望まれる。

モバイルデバイスプラットフォームおよびアプリケーション実行環境によって課される多くの実際的制限にもかかわらず、ボーカル音楽演奏は取り込まれ、幾つかの場合もしくは実施形態においては、魅力的なユーザ体験を生み出すように、バッキングトラック（伴奏）とミキシングして演奏するためのユーザ選択可能なボーカルエフェクトスケジュールに従って、ピッチ補正されおよび／もしくは処理されてもよいことがわかった。幾つかの場合においては、個々のユーザのボーカル演奏は、バッキングトラックの演奏に対応して、歌詞のカラオケスタイル表示とともにモバイルデバイスに取り込まれる。このような演奏は、ピッチ補正設定に従って、モバイルデバイス（または、より一般的には携帯電話、パーソナルデジタルアシスタント、ラップトップコンピュータ、ノートブックコンピュータ、パッド型コンピュータもしくはネットブックなどの可搬コンピューティングデバイス）でリアルタイムにピッチ補正することができる。ボーカルエフェクトスケジュールは、このような演奏に選択的に適用されることもある。このように、不完全なピッチを有するアマチュアユーザ／演奏者でさえも、“スターの座”に挑戦したり、および／もしくは、ゲームプレイ、ソーシャルネットワークもしくは全世界スケールでの音楽的コラボレーションを容易にするボーカルアチーブメントアプリケーションアーキテクチャに参加したり、および／もしくは、幾つかの場合もしくは実施形態においては、アプリケーション内取引を生み出して収入を得たりする。

幾つかの場合もしくは実施形態においては、このような取引は、取込まれたボーカルに選択的に適用されることがあるアーティスト、曲、および／もしくは演奏特有のボーカルエフェクトスケジュールのコンピュータ可読エンコーディングの購入もしくはライセンスを含んでもよい。幾つかの場合もしくは実施形態においては、ボーカルエフェクトスケジュールは、音楽様式に特有である。幾つかの場合もしくは実施形態においては、取引は、歌詞、タイミングおよび／もしくはピッチ補正設定もしくはプラグイン形式ソフトウェアとしてのコンピュータ可読エンコーディングの購入もしくはライセンスを含んでもよい。幾つかの場合もしくは実施形態においては、取引は、ボーカル演奏の全てもしくは一部に対する“改造（ｄｏｏｖｅｒｓ）”もしくは再録の購入を含んでもよい。幾つかの場合もしくは実施形態においては、アプリケーション内購入型取引に加えて（もしくは、それに代わって）、ボーカルエフェクトスケジュール、歌詞、タイミング、ピッチ補正設定および／もしくは再録のコンピュータ可読エンコーディングに対するアクセスは、ボーカルアチーブメントに従って（例えば、ピッチ、タイミング、またはターゲット（ｔａｒｇｅｔ：目標）スコアとの他の対応もしくは他のボーカル成績に基づいて、）あるいは、ゲームプレイ論理のうちの成功トラバーサルに基づいて獲得されてもよい。

ボーカルエフェクトスケジュール取引とともに、グループの形成、グループへの参加、演奏の共有、オープンコールの開始など、アプリケーションもしくはソーシャルネットワーク基盤によって仲介されるソーシャル相互作用は、“改造”もしくは再録権利を含む取引に適用可能な通貨もしくはクレジットを生み出す。幾つかの場合においては、ユーザの広告コンテンツの閲覧は、このような取引に適用可能な通貨もしくはクレジットを生み出すことがある。

幾つかの場合もしくは実施形態においては、ピッチ補正設定は、ボーカル演奏またはその一部に対する特定のキー（ｋｅｙ：高さ）もしくはスケール（ｓｃａｌｅ：音階）を符号化する。幾つかの場合もしくは実施形態においては、ピッチ補正設定は、歌詞およびバッキングトラックとともに供給されるか、もしくは関連付けるためのスコア符号化（ｓｃｏｒｅ−ｃｏｄｅｄ）されたメロディおよび／もしくはハーモニー（ｈａｒｍｏｎｙ：和音）シーケンスを含む。ハーモニーノート（ｎｏｔｅｓ）もしくはコード（ｃｈｏｒｄｓ）は、所望の場合、明瞭なターゲットとして、もしくはスコア符号化されたメロディに呼応して、もしくは、ボーカリストによって演奏された実際のピッチにも呼応して符号化されてもよい。幾つかの場合もしくは実施形態においては、歌詞およびバッキングトラックとともに供給されるか、それに関連付けるためのボーカルエフェクトスケジュールおよび／もしくはピッチ補正設定は、協調的なボーカル演奏の一部のみ（例えば、リードボーカル、バックアップシンガーボーカル、コーラスもしくはリフレイン（繰り返し）、デュエットもしくは三部ハーモニーの一部などに対して）に関連することがある。

このように、（典型的には、アマチュアボーカリストの）ユーザ演奏は、音色もしくは演奏品質において顕著に改善することができ、ユーザは、即座に、かつ励みになるような反応を提供され、幾つかの場合もしくは実施形態においては、ユーザは、好みのアーティスト、象徴的な演奏もしくは音楽様式の登場人物（ｐｅｒｓｏｎａ）もしくはスタイルをとるか、模倣することができる。典型的には、その反応は、ユーザ／ボーカリストが正確なノート（音符）を“うつ”ときに、ピッチ補正されたボーカル自体と（ボーカル取込み中の）視覚的な促進の双方を含むことがある。一般的には、“正確な”ノートとは、キーと調和し、かつ演奏内の特定の時点に従って予測されるスコア符号化されたメロディもしくはハーモニーに対応するノートである。即ち、オペラントスコアのないアカペラモードにおいて、アドリブのないスコアを容易にするため、もしくはピッチ補正設定が不可能なとき、所定のボーカル演奏内で聞こえるピッチは、特定のキーもしくはスケール（例えば、Ｃメジャー（ハ長調）、Ｃマイナー（ハ短調）、Ｅフラットメジャー（変ホ長調）など）に最も近いノートだけに対して任意で補正されてもよい。各場合において、“正確な”ノートに聞こえるボーカルは、（例えば、ゲームプレイシーケンスにおける）ユーザボーカリストポイントおよび／もしくは（例えば、アプリケーション内取引フレームワークにおける）クレジットを獲得してもよい。一般的には、さらなるボーカルスコアならびに、歌詞、アーティスト、曲、演奏、もしくは音楽様式特有のボーカルエフェクトスケジュール、または予め取込まれたボーカル演奏のユーザ選択可能部分に対するボーカル取込み“再実行”の購入もしくはライセンスに対して（部分的にはハンドヘルドデバイスで実装される取引処理論理を利用して）このようなポイントもしくはクレジットは適用されてもよい。

ピッチ補正されたボーカルならびに、アーティスト、曲、演奏もしくは音楽様式特有のボーカルエフェクトの魅力的かつ変形可能な特性に基づいて、ユーザ／ボーカリストは、ボーカル演奏の共有に関連する、他の場合には自然な羞恥もしくは不安を克服することがある。その代わりに、単なるアマチュアでも、友人や家族と共有するか、または仮想“グリークラブ（男声合唱団）”もしくは“オープンコール”の一部としてボーカル演奏を合作および寄与することを奨励される。幾つかの実装においては、これらの相互作用は、ソーシャルネットワークおよび／もしくは電子メールの仲介による演奏の共有およびグループ演奏に参加するための招待を介して容易になる。前述の可搬コンピューティングデバイスなどのクライアントで取込まれ、アップロードされたボーカルを利用して、コンテンツサーバ（もしくはサービス）は、複数の寄与ボーカリストからアップロードされたボーカル演奏の操作およびミキシングによって、当該仮想グリークラブもしくはオープンコールを仲介することができる。特定のシステムの目的および実装に依存して、アップロードは、（ｉ）ボーカルエフェクトスケジュールおよび／もしくはピッチ補正の適用（再適用）に適したユーザから取込まれたボーカル演奏のドライボーカルバージョン、（ｉｉ）（ハーモニーがあるか、またはハーモニーのない）ピッチ補正されたボーカル演奏および／もしくは（ｉｉｉ）制御トラックまたはユーザキー、ピッチ補正および／もしくはボーカルエフェクトスケジュール選択などの他の指示を含んでもよい。アップロード内にドライボーカルを含むことによって、選択可能なボーカルエフェクトスケジュールでの（コンテンツサーバもしくはサービスでの）後処理のために、ならびに、適切なスコアもしくは演奏テンプレートスロッティングもしくは位置への其々の寄与ボーカルのミキシング、クロスフェードおよび／もしくはピッチシフトのために、顕著な柔軟性が与えられる。

仮想グリークラブもしくはオープンコールは、種々の方法のうちの任意の方法で仲介することができる。例えば、幾つかの場合もしくは実施形態においては、可搬コンピューティングデバイスでバッキングトラックに対して取込まれる第一のユーザのボーカル演奏（演奏するユーザボーカリストのためにスコア符号化されたメロディおよび／もしくはハーモニーキューに従ってピッチ補正される）は、コンテンツサーバもしくはサービスを介して、他の潜在的なボーカル演奏者に対して提供される。典型的には、取込まれたボーカル演奏は、ピッチ補正および／もしくはボーカルエフェクトスケジュール設定もしくは選択と関連付けることができるドライボーカルとして、もしくはエンコーディング形式で提供される。ボーカルエフェクトスケジュールは、提供されたボーカル演奏（およびその一部）に対して（コンテンツサーバもしくはサービス、または任意で可搬コンピューティングデバイスで）選択的に適用されてもよく、その結果は、第二のユーザボーカルが取込まれうる第二世代バッキングトラックを形成するために、バッキングインストルメンタル（ｉｎｓｔｒｕｍｅｎｔａｌ：器楽）／ボーカルとミキシングされる。

幾つかの場合においては、代々のボーカル寄与者は、地理的に離れており、（少なくとも以前は）互いに知らないことがあるが、合作経験自体を持つボーカルの親密性は、この物理的距離を最小化する傾向にある。換言すると、オープンコールは、開始ユーザボーカリストによって選択されるか、さもなければ開始ユーザボーカリストに関連する潜在的な寄与者の集団へと公示されてもよい。代々のボーカル演奏が（例えば、其々の可搬コンピューティングデバイスで）取込まれて、仮想グリークラブの一部としてもしくはオープンコールに応じて一体化されると、取込まれる其々のボーカルに対するバッキングトラックは、他の“メンバー”もしくはオープンコール応答者の予め取込まれたボーカルを含むように進化してもよい。幾つかの場合においては、取込まれたボーカル演奏のドライボーカルバージョンを格納することもしくは維持することは、変形可能（もしくはその後で選択可能な）ボーカルエフェクトスケジュールの適用を容易にすることがある。

特定のシステムの目的および実装に依存して、ボーカルエフェクト（ＥＦＸ）スケジュールは、ユーザのボーカル演奏の一つ以上の部分に対して適用するための一つ以上のスペクトルイコライゼーション（ｅｑｕａｌｉｚａｔｉｏｎ：等化）、音声圧縮、ピッチ補正、ステレオディレイ（ｄｅｌａｙ：遅延）およびリバーブ（ｒｅｖｅｒｂｅｒａｔｉｏｎ：残響）エフェクト用の設定および／もしくはパラメータを（コンピュータ可読媒体エンコーディング内に）含んでもよい。幾つかの場合もしくは実施形態においては、ボーカルエフェクトスケジュールは、アーティスト、曲もしくは演奏に特徴的であってもよいし、選択されたアーティスト、曲もしくは演奏の特徴を派生的音声エンコーディングもしくは演奏に持たせるために、ユーザから取込まれたボーカル演奏の音声エンコーディングに適用されてもよい。

本開示において、ボーカルエフェクトスケジュールという用語は、少なくとも幾つかの場合もしくは実施形態においては、取込まれたボーカル演奏（典型的には、そのうちのドライボーカルバージョン）の幾つかもしくはそのすべてに適用されるべき、ボーカルＥＦＸの列挙型（ｅｎｕｍｅｒａｔｅｄ）およびオペラント（ｏｐｅｒａｎｔ）セットを包含することを意味することを理解されたい。したがって、異なるボーカルエフェクトスケジュールが得られるか取引され、“Ｋａｔｙ Ｐｅｒｒｙエフェクト”もしくは“Ｔ−Ｐａｉｎエフェクト”を提供するために、取込まれたドライボーカルに対して適用されてもよい。幾つかの場合においては、グループの形成、グループへの参加、演奏の共有、オープンコールの開始などのアプリケーションもしくはソーシャルネットワークインフラストラクチャによって仲介されるソーシャル相互作用は、当該取引に適用可能な通貨もしくはクレジットを生み出す。幾つかの場合においては、ユーザによる広告コンテンツの閲覧は、このような取引に適用可能な通貨もしくはクレジットを生み出すことがある。

幾つかの場合においては、異なるボーカルエフェクトスケジュールは、特定のアーティストもしくは曲のスタジオもしくは“ライブ”演奏の特徴を、演奏の派生的音声エンコーディング演奏に与えるために、ユーザから取込まれたドライボーカルに対して適用されてもよい。少なくとも幾つかの場合もしくは実施形態においては、ボーカルエフェクトスケジュールという用語は、（例えば、曲のコーラス前およびコーラス部に対する別々のボーカルＥＦＸセットおよび／もしくはデュエットもしくは他の複数ボーカリスト演奏の其々の部分に対する別々のボーカルエフェクトセットとともに）ボーカルスコア（得点）の一部との時間的対応もしくはテンプレートとの対応が変化するボーカルＥＦＸの列挙型セットをさらに含んでもよい。同様に、単一のボーカルエフェクトスケジュール（または、この点に対して、別々のボーカルエフェクトスケジュールの一対）の其々の部分は、第一のユーザによって演奏されたデュエットの第一部分のボーカル演奏取込み、ならびに、第二のユーザによって演奏されたデュエットの第二部分の別のボーカル演奏取込みに対する適切な其々のＥＦＸを提供するために、其々のボーカル演奏取込みに呼応して使用されてもよい。

幾つかの場合もしくは実施形態においては、魅力的な可視アニメーションおよび／もしくはリスナーのコメントおよびランキングのための機能は、オープンコール管理もしくはボーカル演奏一体化論理とともに、バッキングインストルメンタルおよび／もしくはボーカルとミキシングされる（例えば、類似して構成される別のモバイルデバイスで取込まれた）ボーカル演奏の演奏に関連付けられて提供される。合成されたハーモニーおよび／もしくはさらなるボーカル（例えば、さらに他の位置で別のボーカリストから取込まれるか、または任意で他のボーカルとハーモナイズするためにピッチシフトされたボーカル）は、ミキシングに含まれてもよい。取込まれたボーカル演奏（もしくは組み合わせられた演奏に対する個々の寄与演奏）のジオコード化および／もしくはリスナーの反応は、地球上の特定の地理的位置から発し、ユーザが操作可能な演奏もしくは賛同を示唆するようなアニメーションもしくは表示効果を容易にすることがある。このように、記述された機能の実装は、それ以外ありふれたモバイルデバイスを、地球規模の連結性、合作および社会の独特な感覚を促進するソーシャル器具へと変換することができる。

本発明の幾つかの実施形態においては、方法は、ボーカル演奏取込み用の可搬コンピューティングデバイスの利用を含み、可搬コンピューティングデバイスは、タッチスクリーン、マイクロフォンインターフェイスおよび通信インターフェイスを有する。方法は、タッチスクリーン上のユーザ選択に応じて、対応するバッキングトラックと、歌詞と、時間的に同期されたボーカルスコアを、通信インターフェイスを介して検索することを含み、ボーカルスコアは、バッキングトラックに対するボーカル演奏の少なくとも一部のための一連のターゲットノートをエンコードする。可搬コンピューティングデバイスで、バッキングトラックは、演奏され、歌詞の対応する部分は、時間的に対応してディスプレイ上に同時に表示される。バッキングトラックとの時間的対応において、ユーザのボーカル演奏がマイクロフォンインターフェイスを介して取込まれ、ユーザから取込まれたボーカル演奏のドライボーカルバージョンは、可搬コンピューティングデバイスで格納される。ボーカルスコアに従って、可搬コンピューティングデバイスは、ユーザから取込まれたボーカル演奏の少なくともいくらかの部分の連続的リアルタイムピッチシフトを実施し、結果として生じるピッチシフトされたユーザのボーカル演奏をバッキングトラックの演奏とミキシングする。方法は、少なくとも一つのボーカルエフェクトスケジュールをユーザから取り込まれたボーカル演奏へと適用することをさらに含む。ボーカルエフェクトスケジュールは、ユーザのボーカル演奏の一つ以上の部分に適用するためのスペクトルイコライゼーション、音声圧縮、ステレオディレイ、リバーブエフェクトのうちの一つ以上に対する設定および／もしくはパラメータのコンピュータ可読エンコーディングを含む。

幾つかの場合においては、ボーカルエフェクトスケジュールは、バッキングトラックもしくは歌詞と時間的に対応するユーザのボーカル演奏の其々の部分に適用するための異なるエフェクトを符号化する。幾つかの場合においては、ボーカルエフェクトスケジュールは、特定の音楽様式に特徴的である。幾つかの場合においては、ボーカルエフェクトスケジュールは、特定のアーティスト、曲もしくは演奏に特徴的である。

幾つかの実施形態においては、方法は、ボーカルエフェクトスケジュールの少なくとも一部の購入もしくはライセンスを、可搬コンピューティングデバイスとの間で取引することをさらに含む。幾つかの実施形態においては、方法は、取引の促進のために、ボーカルエフェクト（ＥＦＸ）スケジュールのコンピュータ可読エンコーディングを通信インターフェイスを介して検索すること、または、既存の格納されたＥＦＸスケジュールのインスタンスをロック解除することを含む。幾つかの実施形態においては、方法は、ボーカルスコアによって、ユーザから取込まれたボーカル演奏の少なくとも一部の対応をコンピュータ処理で評価することと、メリット（ｍｅｒｉｔ）の閾値図に基づいて、ボーカルエフェクトスケジュールの少なくとも一部に対するライセンスもしくはアクセスをユーザに与えることと、をさらに含む。

幾つかの場合においては、ボーカルエフェクトスケジュールは、その後、取込まれたユーザのボーカル演奏のドライボーカルバージョンに適用される。幾つかの場合においては、ドライボーカルに対するその後の適用は、可搬デバイスで行われ、方法は、ピッチシフトおよびボーカルエフェクトを適用した上での、ユーザから取り込まれたボーカル演奏の可搬デバイスでの再演奏をさらに含む。幾つかの実施形態においては、方法は、遠隔サービスもしくはサーバでのボーカルエフェクトスケジュールのその後の適用のために、ユーザから取り込まれたボーカル演奏のドライボーカルバージョンの音声信号エンコーディングを、遠隔サービスもしくはサーバへと通信インターフェイスを介して、伝送することを含む。

幾つかの実施形態においては、方法は、伝送されたドライボーカルの音声信号エンコーディングとの関連付けにおいて、もしくは関連付けのために、遠隔サービスもしくはサーバで組み合わせるべき複数のボーカル演奏のうちの一つをユーザから取り込まれたボーカル演奏が構成するオープンコール指示を伝送することをさらに含む。幾つかの場合においては、オープンコール指示は、ユーザのボーカル演奏を演奏するにあたりミキシングされるべき一つ以上のさらなるボーカル演奏を、一人以上の他のボーカリストに請求するように、遠隔サービスもしくはサーバに指示する。幾つかの場合においては、請求は、（ｉ）ユーザによって特定された他の潜在的ボーカリストの列挙型セット、（ｉｉ）遠隔サービスもしくはサーバによって定義されるか認識されるアフィニティ（ａｆｆｉｎｉｔｙ）グループのメンバー、（ｉｉｉ）ユーザのソーシャルネットワーク関係の仲間に向けられる。幾つかの場合においては、オープンコール指示は、少なくとも一つのさらなるボーカリスト位置に対して、応答するさらなるボーカリストに提供するために、第二のボーカルスコアおよび第二の歌詞を特定する。幾つかの場合においては、オープンコール指示は、少なくとも一つのさらなるボーカリスト位置に対して、応答するさらなるボーカリストのボーカル演奏への適用のための第二のボーカルエフェクトスケジュールをさらに特定する。

幾つかの実施形態においては、方法は、ボーカルエフェクトスケジュールに従って処理されたユーザから取込まれたボーカル演奏のバージョンを、遠隔サービスもしくはサーバから受信することと、ユーザから取り込まれたボーカル演奏を、ボーカルエフェクトを適用した上で、可搬デバイスで再演奏することと、をさらに含む。

幾つかの場合においては、ボーカルエフェクトスケジュールは、演奏が予定されたボーカルエフェクトを含むように、連続的リアルタイムピッチシフトを含むレンダリングパイプライン（ｒｅｎｄｅｒｉｎｇ ｐｉｐｅｌｉｎｅ）内の可搬コンピューティングデバイスで適用される。

幾つかの実施形態においては、方法は、予め取込まれたボーカル演奏のユーザ選択された部分のボーカル再取込みを開始するための権利を可搬コンピューティングデバイスから取引することを含む。幾つかの実施形態においては、方法は、メリットの閾値図に基づいて、ユーザの取り込まれたボーカル演奏の少なくとも一部のボーカルスコアとの対応をコンピュータ処理で評価することと、予め取込まれたボーカル演奏のユーザ選択された部分のボーカル再取込みを開始するための権利をユーザに与えることと、を含む。

幾つかの場合においては、ピッチシフトは、ユーザから取込まれたボーカル演奏に対するピッチの連続的時間ドメイン（領域）計算に基づく。幾つかの場合においては、連続的時間ドメインピッチ計算は、ユーザから取込まれたボーカル演奏に対応してサンプリングされた信号の現在のブロックに対して、ラグドメインピリオドグラムを計算することを含み、ラグドメインピリオドグラム計算は、サンプリングされた信号の解析ウインドウに対する、ラグの範囲に対する平均振幅差関数（ＡＭＤＦ）もしくは自己相関関数の評価を含む。

幾つかの実施形態においては、方法は、ユーザ選択に応じて、データ通信インターフェイスを介してバッキングトラックを検索することも含む。幾つかの場合においては、バッキングトラックは、可搬コンピューティングデバイスに対してローカルな記憶装置内に存在し、検索することで、ローカルに格納されたバッキングトラックから確認可能な識別子を利用して、対応するバッキングトラックおよび歌詞と時間的に同期可能なボーカルスコアを識別する。幾つかの場合においては、バッキングトラックは、インストルメンタルおよびバッキングボーカルのいずれかもしくはその双方を含み、複数バージョンで演奏され、歌詞に対応して演奏されるバッキングトラックのバージョンは、モノラルスクラッチバージョンであり、ユーザのボーカル演奏のピッチ補正されたボーカルバージョンとミキシングされるバッキングトラックのバージョンは、スクラッチバージョンよりも高品質もしくは高い忠実度を有するポリフォニックバージョンである。

幾つかの実施形態においては、可搬コンピューティングデバイスは、携帯電話、パーソナルデジタルアシスタント、メディアプレイヤーもしくはゲームデバイス、ラップトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータもしくはネットブックの群から選択される。幾つかの実施形態においては、ディスプレイは、タッチスクリーンを含む。幾つかの実施形態においては、ディスプレイは、可搬コンピューティングデバイスにワイヤレス接続される。

幾つかの実施形態においては、方法は、伝送されたドライボーカルの音声信号エンコーディングをジオコード化することを含む。幾つかの実施形態においては、方法は、遠隔デバイスで取込まれた第二のボーカル演奏を含む音声信号エンコーディングを、通信インターフェイスを介して、遠隔サービスもしくはサーバから受信することと、第二のボーカル演奏を含む演奏に対応して、第二のボーカル演奏の地理的起源を表示することとをさらに含む。幾つかの場合においては、地理的起源の表示は、地球上の特定の位置から発する演奏を示唆するディスプレイアニメーションによって行われる。

（複数の）本発明に従う幾つかの実施形態においては、方法は、（ｉ）ボーカル演奏取込み用に、タッチスクリーン、マイクロフォンインターフェイスおよび通信インターフェイスを有する可搬コンピューティングデバイスを使用することと、（ｉｉ）タッチスクリーン上のユーザ選択に応じて、通信インターフェイスを介してバッキングトラックと歌詞に対応して時間的に同期するボーカルスコアを検索することであって、ボーカルスコアは、バッキングトラックに対するボーカル演奏の少なくとも一部に対する一連のターゲットノートをエンコードする、ことと、（ｉｉｉ）可搬コンピューティングデバイスで、バッキングトラックを演奏し、かつ、それと時間的に対応して、ディスプレイ上に歌詞の対応する部分を同時に表示することと、（ｉｖ）バッキングトラックと時間的に対応して、ユーザのボーカル演奏をマイクロフォンインターフェイスを介して取込むことと、（ｖ）ユーザから取込まれたボーカル演奏に適用するべき少なくとも一つのボーカルエフェクトスケジュールの選択とともに、ユーザから取込まれたボーカル演奏のドライボーカルバージョンの音声信号エンコーディングを、通信インターフェイスを介して、遠隔サービスもしくはサーバへと伝送することと、を含む。

幾つかの実施形態においては、方法は、遠隔サービスもしくはサーバで、選択されたボーカルエフェクトスケジュールを適用することを含む。幾つかの実施形態においては、方法は、ボーカルスコアに従って、可搬コンピューティングデバイスで、ユーザから取込まれたボーカル演奏の少なくともいくらかの部分の連続的リアルタイムピッチシフトを実施することと、結果として生じるピッチシフトされたユーザのボーカル演奏をバッキングトラックの演奏と、ミキシングすることとをさらに含む。

幾つかの場合においては、選択されたボーカルエフェクトスケジュールは、ユーザのボーカル演奏の一つ以上の部分に適用するための、スペクトルイコライゼーション、音声圧縮、ピッチ補正、ステレオディレイおよびリバーブエフェクトのうちの一つ以上に対する設定および／もしくはパラメータのコンピュータ可読エンコーディングを含む。幾つかの場合においては、ボーカルエフェクトスケジュールは、音楽様式に特有である。幾つかの場合においては、ボーカルエフェクトスケジュールは、特定のアーティスト、曲もしくは演奏に特徴的である。

幾つかの実施形態においては、方法は、ボーカルエフェクトスケジュールの少なくとも一部の購入もしくはライセンスを可搬コンピューティングデバイスから取引することを含む。幾つかの実施形態においては、方法は、ボーカルスコアと、ユーザから取込まれたボーカル演奏の少なくとも一部との対応を、コンピュータ処理で評価することと、メリットの閾値図に基づいてボーカルエフェクトスケジュールの少なくとも一部に対するライセンスもしくはアクセスをユーザに与えることとを含む。幾つかの実施形態においては、方法は、ボーカル演奏の選択された部分を再取込みするための権利を可搬コンピューティングデバイスから取引することを含む。幾つかの実施形態においては、方法は、ボーカルスコアと、ユーザから取込まれたボーカル演奏の少なくとも一部との対応をコンピュータ処理で評価することと、メリットの閾値図に基づいて、ボーカル演奏の選択された部分を再取込みするための権利をユーザに与えることと、を含む。

（複数の）本発明に従う幾つかの実施形態においては、可搬コンピューティングデバイスは、マイクロフォンインターフェイス、音声トランスデューサ（変換器）インターフェイス、データ通信インターフェイス、ユーザインターフェイス符号、ピッチ補正符号およびレンダリング（ｒｅｎｄｅｒｉｎｇ：演奏）パイプラインを含む。ユーザインターフェイス符号は、バッキングトラック用に選択可能なユーザインターフェイスジェスチャーを取込み、かつ、それに対応して少なくともボーカルスコアの検索を開始するように、可搬コンピューティングデバイス上で実行可能であって、ボーカルスコアは、バッキングトラックに対してボーカル演奏の少なくとも一部に対する一連のノートターゲットをエンコードする。ユーザインターフェイス符号は、（ｉ）バッキングトラックの演奏、（ｉｉ）ディスプレイ上の歌詞の同時表示、（ｉｉｉ）マイクロフォンインターフェイスを利用するユーザのボーカル演奏の取込み、（ｉｖ）取込まれたボーカル演奏のドライボーカルバージョンのコンピュータ可読記憶装置への格納、を開始するためのユーザインターフェイスジェスチャーを取込むようにさらに実行可能である。ピッチ補正符号は、前記演奏と同時に、ボーカルスコアに従って取込まれたボーカル演奏を連続的にリアルタイムでピッチ補正するように、可搬コンピューティングデバイス上で実行可能である。レンダリングパイプラインは、ユーザのボーカル演奏が取込まれるバッキングトラックの演奏に、ユーザのピッチ補正されたボーカル演奏をミキシングするように実行可能である。レンダリングパイプラインは、ユーザから取込まれたボーカル演奏に対してボーカルエフェクトスケジュールを適用するようにさらに実行可能であり、ボーカルエフェクトスケジュールは、ユーザによって選択可能であって、かつ、ユーザのボーカル演奏の一つ以上の部分へ適用するための、スペクトルイコライゼーション、音声圧縮、ステレオディレイ、およびリバーブエフェクトのうちの一つ以上に対する設定および／もしくはパラメータのコンピュータ可読エンコーディングを含む。

幾つかの実施形態においては、可搬コンピューティングデバイスは、ディスプレイを含む。幾つかの実施形態においては、データ通信インターフェイスは、ディスプレイに対するワイヤレスインターフェイスを提供する。

幾つかの実施形態においては、ユーザインターフェイス符号は、ボーカルエフェクトスケジュールのユーザ選択を示すユーザインターフェイスジェスチャーを取込むように、かつ、それに応じて、遠隔サービスもしくはサーバにおいて、その後の選択されたボーカルエフェクトスケジュールの適用のために、ユーザから取込まれたボーカル演奏のドライボーカルバージョンの音声信号エンコーディングを、データ通信インターフェイスを介して、遠隔サービスもしくはサーバへと伝送するように、さらに実行可能である。幾つかの場合においては、伝送は、ドライボーカルの音声信号エンコーディングに関連して、または、ドライボーカルの音声信号エンコーディングに関連付けるために、遠隔サービスもしくはサーバで組み合わせられるべき複数のボーカル演奏のうちの一つを、ユーザから取込まれたボーカル演奏が構成するとする、オープンコール指示を含む。

幾つかの実施形態においては、可搬コンピューティングデバイスは、メリットのうちの閾値図に基づいて、ボーカルエフェクトスケジュールの少なくとも一部に対するライセンスもしくはアクセスをユーザに与えるために、ボーカルスコアと、ユーザから取込まれたボーカル演奏のうちの少なくとも一部との対応を評価するように、可搬コンピューティングデバイス上で実行可能な符号を含む。幾つかの実施形態においては、可搬コンピューティングデバイスは、メリットの閾値図に基づいて、ボーカル演奏のうちの選択された部分を再取込みするための権利をユーザに与えるために、ボーカルスコアと、ユーザから取込まれた演奏のうちの少なくとも一部との対応を評価するように、可搬コンピューティングデバイス上で実行可能な符号を含む。

幾つかの実施形態においては、可搬コンピューティングデバイスは、ローカル記憶装置をさらに含み、開始される検索は、遠隔サーバから入手可能なインスタンスに対応するローカル記憶装置内のボーカルスコア情報のインスタンスがもしあれば確認することと、ローカル記憶装置内のインスタンスが利用不能もしくは古い場合に、遠隔サーバから検索することと、をさらに含む。

（複数の）本発明に従う幾つかの実施形態においては、一つ以上の非一時的媒体にエンコードされたコンピュータプログラム製品は、上述された方法のうちの一つの複数ステップを可搬コンピューティングデバイスに実行させるために、可搬コンピューティングデバイスのプロセッサ上で実行可能な命令を含む。

（複数の）本発明に従うこれらのおよび他の実施形態は、以下に続く説明と添付された請求項を参照することで理解されるであろう。

本発明は、添付の図面を参照して、限定する目的ではなく例示する目的で示され、類似の参照番号は、概して、類似する構成要素もしくは特徴物を示している。
本発明の幾つかの実施形態に従う、例示的な携帯電話型可搬コンピューティングデバイスおよびコンテンツサーバ間の情報フローを示す。 本発明の幾つかの実施形態に従う、ボーカルエフェクトスケジュールのローカルおよび／もしくは遠隔アプリケーション用に取込まれたボーカル演奏のドライボーカルバージョンの格納および／もしくはアップロードとともに行われる、スコア符号化されたピッチもしくはハーモニーキューに基づいた、取込まれたボーカル演奏に対するリアルタイムの連続的ピッチ補正およびハーモニー生成を示すフロー図である。 本発明の幾つかの実施形態に従う、遠隔コンテンツサーバにおいてボーカルエフェクトスケジュールを適用するために、ドライボーカルの伝送およびリアルタイムの連続的ピッチ補正を容易にするための、例示的な携帯電話型可搬コンピューティングデバイスで実行可能なハードウェアおよびソフトウェアコンポーネントの機能的ブロック図である。 本発明の幾つかの実施形態に従う、ソフトウェア実装の実行用のプラットフォームとして機能しうるモバイルデバイスの特徴物を示す。 本発明の幾つかの実施形態に従う例示的なデバイスの連携を示すネットワーク図である。 本発明の其々の例示的実施形態に従うボーカルエフェクトスケジュールの適用のための信号処理アーキテクチャの相補的（幾つかの場合においては協同的）配置を、フロー図形式で示す。特に、（例えば、可搬コンピューティングデバイスによってホストされる）ボーカル取込みプラットフォームのクライアントアプリケーションとの相互作用を含む信号処理アーキテクチャのコンテンツサーバ中心配置を示す。 本発明の其々の例示的実施形態に従うボーカルエフェクトスケジュールの適用のための信号処理アーキテクチャの相補的（幾つかの場合においては協同的）配置を、フロー図形式で示す。特に、コンテンツサーバとの相互作用を含む信号処理アーキテクチャのクライアントアプリケーション中心配置（例えば、可搬コンピューティングデバイスによってホストされる）を同様に示す。

当業者は、図面内の構成要素もしくは形体が簡略的および明瞭に示されており、必ずしも同じ縮尺で描かれていないことを理解するであろう。例えば、示された構成要素もしくは特徴物のうちのいくつかの寸法もしくは突起は、本発明の実施形態の理解を助けるために、他の構成要素もしくは特徴物に対して誇張されることがある。

技術は、ハンドヘルドもしくは他の可搬コンピューティングデバイス上のボーカル演奏の取込み、ピッチ補正、ハーモナイゼーション、ボーカルエフェクト（ＥＦＸ）処理、エンコーディングおよび演奏を容易にするために開発された。これらの技術に基づいて、当該ボーカル演奏を含むミキシングは、デスクトップ、ワークステーション、ゲームステーションおよび電話の相手方とともに、ハンドヘルドもしくは可搬コンピューティングデバイスを含む対象上の演奏用に準備することができる。上述の技術の実現は、当該ハンドヘルドもしくは可搬コンピューティングデバイスに与えられ、通常制限される性能に適切であって、かつ、可搬コンピューティングデバイスもしくは他の対象上で演奏するために、ワイヤレスおよび／もしくは有線帯域幅によって制限されるネットワークを介してピッチ補正されたボーカル演奏（またはその先駆けあるいは派生物）の通信および効率的エンコーディングを容易にするような信号処理技術およびシステム機能の割り当てを利用する。

ユーザのボーカル演奏のピッチ検出および補正は、ハンドヘルドもしくは可搬コンピューティングデバイスにおけるバッキングトラックの演奏に対して、連続的かつリアルタイムに実施される。このように、ピッチ補正されたボーカルは、ユーザのボーカル演奏が取込まれるバッキングトラックのインストルメンタルおよび／もしくはボーカルと（リアルタイムで）重ねるために、演奏とミックスされてもよい。幾つかの実装においては、ピッチ検出は、取込まれたボーカル信号のピッチとスコア符号化されたターゲットピッチとの間の差を識別するために、ゼロクロシング（ｚｅｒｏ−ｃｒｏｓｓｉｎｇ）および／もしくはピークピッキング技術とともに、平均振幅差関数（ＡＭＤＦ）もしくは自動補正に基づく技術を使用する時間ドメインピッチ補正技術を基にする。検出された差に基づいて、ピッチ同期重畳加算（ＰＳＯＬＡ）および／もしくは線形予測符号（ＬＰＣ）技術に基づくピッチ補正によって、スコア符号化されたメロディターゲットおよびハーモニーを符号化するピッチ補正設定に従って、ノートを“補正”するために、取込まれたボーカルをリアルタイムでピッチシフトすることが可能となる。ピッチ検出用のＦＦＴピークピッキングおよびピッチシフト用の位相ボコーディングなどの周波数ドメイン技術は、幾つかの実装で使用されてもよく、特に、オフライン処理が利用されるか、または、コンピュータファシリティ（機能実装）が典型的な現世代のモバイルデバイスを実質的に超えるときに使用されることがある。（例えば、ピッチ補正のため、混成複数ボーカリスト、仮想グリークラブミキシングのハーモニーおよび／もしくは準備のための）ピッチ検出およびシフトは、後処理モードで実施されてもよい。

一般的に、“正確な”ノートは、特定のキーもしくはスケールと一致するノートであるか、幾つかの実施形態においては、演奏中の特定の時点に従うことを予測されたスコア符号化されたメロディ（もしくはハーモニー）に対応するノートである。しかしながら、（もしくはボーカル取込み中に、既存のスコアのピッチ補正設定をユーザが動的に変化させることを可能とする）オペラントスコアのないアカペラモードは、即興（ａｄ−ｌｉｂｂｉｎｇ：アドリブ）を容易にするために幾つかの実装においては提供されてもよい。例えば、携帯電話（もしくは他の可搬コンピューティングデバイス）で取込まれるユーザインターフェイスジェスチャーは、特定の歌詞に対して、ユーザが（ｉ）スコア符号化されたノートターゲットの利用をオフ状態（およびオン状態）にし、（ｉｉ）オペラントピッチ補正設定として、メロディとハーモニーノートセットの間で動的に切り替え、および／もしくは（ｉｉｉ）特定のキーもしくはスケール（例えば、Ｃメジャー、Ｃマイナー、Ｅフラットメジャーなど）のうちで最も近いノートのみに、聞こえたピッチを補正させる設定へと（ボーカル取込み内でジェスチャーによって選択された時点で）選択的に戻ることを可能とすることがある。要するに、ユーザインターフェイスジェスチャー取込みおよび動的な可変ピッチ補正設定は、進歩的ユーザ用のフリースタイルモードを提供することができる。

幾つかの場合においては、ピッチ補正設定は、特定の音楽的演奏もしくは特定のアーティストによって普及したピッチ補正エフェクトなどの、所望のエフェクトに従って取込まれたボーカル演奏を歪ませるために選択されてもよい。幾つかの実施形態においては、ピッチ補正は、Ａｎｔａｒｅｓ Ａｕｄｉｏ Ｔｅｃｈｎｏｌｏｇｉｅｓによって普及し、入手可能なＡｕｔｏ−Ｔｕｎｅ（登録商標）技術のプラグイン実装などで、取込まれたボーカル信号由来のサンプルの可変ウインドウに適用されるように、自動補正計算をコンピュータ処理で簡略化する技術に基づくものであってもよい。

特定のシステムの目的および実装に依存して、ユーザ選択可能なボーカルエフェクト（ＥＦＸ）スケジュールは、ユーザのボーカル演奏の其々一つ以上の部分に対して適用するためのスペクトルイコライゼーション、音声圧縮、ピッチ補正、ステレオディレイおよびリバーブエフェクトのうちの一つ以上に対する設定および／もしくはパラメータを（コンピュータ可読媒体エンコーディング内に）含んでもよい。幾つかの場合もしくは実施形態において、ボーカルエフェクトスケジュールは、アーティスト、曲もしくは演奏に特徴的であって、選択されたアーティスト、曲もしくは演奏の特徴を派生的音声エンコーディングもしくは演奏が持つようになるように、ユーザから取込まれたボーカル演奏の音声エンコーディングに対して適用されてもよい。

このように、あるボーカルエフェクトスケジュールは、例えば、“Ｐ．Ｙ．Ｔ．（Ｐｒｅｔｔｙ Ｙｏｕｎｇ Ｔｈｉｎｇ）”を演奏するアーティスト、Ｍｉｃｈａｅｌ Ｊａｃｋｓｏｎによるリードボーカルのスタジオ録音に特徴的であり、一方、別のボーカルエフェクトスケジュールは、アーティスト、Ｔ−Ｐａｉｎによる同一曲のカバーバージョンの特徴を示すことがある。このような場合には、第一のボーカルエフェクトスケジュール（Ｍｉｃｈａｅｌ Ｊａｃｋｓｏｎによるオリジナル演奏に対応する）は、バスロールオフ（ｂａｓｓ ｒｏｌｌ−ｏｆｆ：写し作成）、適度な圧縮およびデジタルプレートリバーブ（エコー）を含むＥＦＸ（スタジオエンジニアによってしばしば利用される専門用語で利用される）をコンピュータ可読形式でエンコードしてもよい。より具体的には、第一のボーカルエフェクトスケジュールは、１２０Ｈｚにおける１２ｄＢ／オクターブハイパスフィルタ、４：１比およびー１０ｄＢの閾値を有するチューブコンプレッサ、ウォームプレート設定、３０ｍｓプレディレイおよび１５％ウェット／ドライミキシングを有するデジタルリバーブレータのパラメータもしくは設定をエンコードしてもよい。対照的に、第二のボーカルエフェクトスケジュール（Ｔ−Ｐａｉｎによるカバーバージョンに対応する）は、ハイパスイコライゼーション、ポップ圧縮、ファストピッチ補正、ある単語におけるボーカル重複、“軽快性（ａｉｒｉｎｅｓｓ）”のためのライトリバーブを含むＥＦＸ（スタジオエンジニアによってしばしば利用される専門用語で利用される）をコンピュータ可読形式でエンコードしてもよい。より具体的には、第二のボーカルエフェクトスケジュールは、２００Ｈｚで２４ｄＢ／オクターブハイパスフィルタ、４：１比およびー１５ｄＢの閾値でのデジタル圧縮、０ｍｓアタックでのピッチ補正、ステレオコーラス、０．３Ｈｚレートでの、１００％の強度および１００％のミキシング（特定のスコア符号化された時点での“ｐｒｅｔｔｙ ｙｏｕｎｇ ｔｈｉｎｇ”などの重複する単語を模倣するため）、３００Ｈｚでのハイパスフィルタ処理、２．５秒の期間および１０％ウェット／ドライミキシングで、コンサートホール用インパルス応答ベースのリバーブのためのパラメータもしくは設定をエンコードしてもよい。

同様に、幾つかの場合もしくは実施形態においては、ボーカルエフェクトスケジュールは、特定の音楽様式に特徴的であってもよい。例えば、あるボーカルエフェクトスケジュールは、ダンス様式（例えば、２５０Ｈｚでの２４ｄＢ／オクターブハイパスフィルタ、６：１比およびー１５ｄＢ閾値でのデジタルコンプレッサ、左チャネル［２００ｍｓディレイ、１５％ウェット／ドライミキシング、４０％フィードバック係数］および右チャネル［２６０ｍｓディレイ、１５％ウェット／ドライミキシング、４０％フィードバック係数］のステレオディレイ、およびブライトプレート設定および１５％ウェット／ドライミキシングのデジタルリバーブレ―タのパラメータもしくは設定のエンコーディング）に特徴的であり、別のボーカルエフェクトスケジュールは、バラード様式（例えば、１２０Ｈｚでの１２ｄＢ／オクターブハイパスフィルタ、４：１比およびー８ｄＢ閾値でのデジタルコンプレッサ、大コンサートホール設定で、３０ｍｓプレディレイおよび２０％ウェット／ドライミキシングのデジタルリバーブレ―タ）に特徴的であってもよい。音楽様式に特有のボーカルエフェクトスケジュールの具体的なパラメータ化は、一般的に、本明細書の記述に基づいた特有の実装であるが、当業者は、これらおよび他の音楽様式に対するボーカルエフェクトスケジュールの適切な変形および他のパラメータ化を理解するであろう。ダンスおよびバラード様式は、単に例示的なものにすぎない。

本開示においては、ボーカルエフェクトスケジュールという用語は、少なくとも幾つかの場合もしくは実施形態においては、取込まれたボーカル演奏（典型的には、そのうちのドライボーカルバージョン）のうちの幾らかもしくは全てに適用されるべき、ボーカルＥＦＸの列挙型およびオペラントセットを包含することを意味するように理解される。このように、異なるボーカルエフェクトスケジュールは“Ｋａｔｙ Ｐｅｒｒｙエフェクト”もしくは“Ｔ−Ｐａｉｎエフェクト”を提供するために、取込まれたドライボーカルに対して実行され、適用されてもよい。同様に、異なるボーカルエフェクトスケジュールは、音楽様式特有のエフェクトを有する派生的音声エンコーディングもしくは演奏を与えるために、取込まれたドライボーカルに対して実行され、適用されてもよい。幾つかの場合においては、異なるボーカルエフェクトスケジュールは、スタジオもしくは“ライブ”演奏の特徴を派生的音声エンコーディングもしくは演奏に与えるために、ユーザの取込まれたドライボーカルに対して実行され、かつ代替的に適用されてもよい。アーティスト、曲もしくは演奏特有のボーカルＥＦＸスケジュールは、音楽様式特有のボーカルＥＦＸスケジュールとは別に記述されているが、幾つかの場合もしくは実施形態においては、特定のボーカルＥＦＸスケジュールは、アーティスト、曲、演奏および／もしくは音楽様式特有の態様を融合させてもよい。

少なくとも幾つかの場合もしくは実施形態においては、ボーカルエフェクトスケジュールという用語は、ボーカルスコアの一部との時間的対応もしくはテンプレートとの対応が変化するボーカルＥＦＸの列挙型セットを（例えば、曲のコーラス前およびコーラス部に対する別々のボーカルＥＦＸセットおよび／もしくはデュエットもしくは他の複数ボーカリスト演奏の其々の部分に対する別々のボーカルエフェクトセットとともに）さらに含んでもよい。このように、“Ｂｅｌｉｅｖｅ”のＣｈｅｒによる象徴的な演奏用のボーカルエフェクトスケジュールにおいて、演奏のコーラス前区間に対応する或るスコアで整列された部分は、スペクトルイコライゼーション、中程度の圧縮、強いピッチ補正およびライトステレオディレイを含むＥＦＸ（スタジオエンジニアによってしばしば利用される専門用語で利用される）を含むコンピュータ可読形式でエンコードしてもよく、演奏のうちのコーラス区間に対応する部分は、バスロールオフ、ポップ圧縮、長いハイパスフィルタ処理化されたステレオディレイ、リッチ／ウォームリバーブを含むＥＦＸをエンコードしてもよい。より技術的な用語では、ボーカルエフェクトスケジュール内のコーラス前区間ＥＦＸは、４００Ｈｚでの２４ｄＢ／オクターブハイパスフィルタおよび２．２ｋＨｚでの１２ｄＢ／オクターブローパスフィルタ、３：１比およびー１０ｄＢ閾値でのデジタルソフトニーコンプレッサ、０ｍｓアタックでのピッチ補正、左チャネルでの四分音符同期ディレイ、右チャネルでの八分音符だけのオフセット（双方とも１５％ウェット／ドライミキシングおよび３３％フィードバック）に対するパラメータもしくは設定をエンコードしてもよい。対照的に、ボーカルエフェクトスケジュール内のコーラス区間ＥＦＸは、１２０Ｈｚでの１２ｄＢ／オクターブハイパスフィルタ、４：１比およびー１５ｄＢ閾値でのチューブコンプレッサ、左チャネルでの二分音符同期ディレイ、右チャネルでの２０ｍｓのオフセット（双方とも２５％ウェット／ドライミキシングおよび４５％のフィードバック）、２００Ｈｚでのハイパスフィルタ処理、４．５秒の期間および１８％ウェット／ドライミキシングを伴うコンサートホールのインパルス応答ベースのリバーブ特性に対するパラメータもしくは設定をエンコードしてもよい。

同様に、単一のボーカルエフェクトスケジュール（または、この点に関しては、別々のボーカルエフェクトスケジュールの一対）の其々の部分は、第一のユーザによって実施されたデュエットの第一部分のボーカル演奏取込み、ならびに第二のユーザによって実施されたデュエットの第二部分の別のボーカル演奏取込みに対する適切な其々のＥＦＸを提供するために、其々のボーカル演奏取込みに呼応して利用されてもよい。

ピッチ補正されたボーカルならびに、選択可能なボーカルエフェクト（ＥＦＸ）の魅力的かつ変形可能な特性に基づいて、ユーザ／ボーカリストは、ボーカル演奏の共有に関連する、他の場合には自然な、羞恥もしくは不安を克服することができる。その代わりに、単なるアマチュアでも、友人や家族と共有するか、またはアフィニティグループの一部としてボーカル演奏を合作およびそれに寄与することを奨励される。幾つかの実装においては、これらの相互作用は、ソーシャルネットワークおよび／もしくは電子メールの仲介による演奏の共有およびグループ演奏もしくは仮想グリークラブに参加するための招待を介して容易になる。前述の可搬コンピューティングデバイスなどのクライアントで取込まれ、アップロードされたボーカルを利用して、コンテンツサーバ（もしくはサービス）は、複数の寄与ボーカリストからアップロードされたボーカル演奏の操作およびミキシングによって、当該アフィニティグループを仲介することができる。特定のシステムの目的および実装に依存して、アップロードは、ピッチ補正されたボーカル演奏、ドライ（即ち、非補正）ボーカルおよび／もしくはユーザキーの制御トラックおよび／もしくはピッチ補正選択などを含んでもよい。

しばしば、同一の基礎的音源材料の第一および第二のエンコーディング（しばしば、異なる品質もしくは忠実度を有する）が、利用されてもよい。例えば、バッキングトラックの第一および第二のエンコーディングの利用（例えば、一方は、ボーカルが取込まれるハンドヘルドもしくは可搬コンピューティングデバイスでのエンコーディングであって、他方はコンテンツサーバでのエンコーディング）は、データ伝送帯域幅の制約もしくはそれらが使用される特定のデバイス／プラットフォームにおけるニーズに対して其々のエンコーディングを適応することを可能にできる。幾つかの実施形態においては、ボーカル取込みに対する音声背景としてハンドヘルドもしくは他の可搬コンピューティングデバイスで演奏されたバッキングトラックの第一エンコーディングは、演奏用のミキシングされた演奏を準備するために、コンテンツサーバで使用される同一のバッキングトラックの第二エンコーディングよりも、品質もしくは忠実度に欠けることがある。このように、高品質にミキシングされた音声コンテンツは、ボーカル演奏の取込みおよびピッチ補正用に使用されるハンドヘルドデバイスに対するデータ帯域幅の要求の制限の中で、提供されてもよい。

前述に関わらず、可搬コンピューティングデバイスで使用されるバッキングトラックエンコーディングは、幾つかの場合においては、コンテンツサーバと同等もしくはより良好な品質／忠実度を有することがある。例えば、携帯電話に存在する音楽ライブラリから、もしくはコンテンツサーバから前もってダウンロードされた音楽ライブラリに基づいて、バッキングトラックの適切なエンコーディングが携帯電話（もしくは他の可搬コンピューティングデバイス）に既に存在する実施形態もしくは状況においては、ダウンロードデータ帯域幅要求は、極めて低くなることがある。歌詞、タイミング情報および適用可能なピッチ補正設定は、種々の確認可能な識別子のうちの任意の識別子を利用して（例えば、所望の場合には、音声メタデータ、トラックタイトル、関連付けられたサムネイルもしくは音声に適用されたフィンガープリント技術を利用して）既存のバッキングトラックとの関連に対応して検索されてもよい。

[カラオケスタイルボーカル演奏取込み]
本発明の実施形態においては、携帯電話にホストされ、ピッチ補正された、カラオケスタイルのボーカル取込みが有用な説明を提供するが、必ずしもそれに限定されることはない。例えば、図１に示されるような幾つかの実施形態においては、Ａｐｐｌｅ Ｉｎｃ．から入手可能なｉＰｈｏｎｅ（商標）ハンドヘルド（より一般的にはハンドヘルド１０１）は、ボーカル取込み、ならびに取込まれたボーカルの連続的リアルタイム、スコア符号化されたピッチ補正およびハーモナイゼーションを提供するために、コンテンツサーバと連携して実行するソフトウェアをホストする。カラオケスタイルアプリケーション（２００９年９月に元々リリースされたｉＰｈｏｎｅ用“Ｉ ａｍ Ｔ−Ｐａｉｎ”アプリケーションもしくは最新の“Ｇｌｅｅ”アプリケーション、双方ともＳｍｕｌｅ，Ｉｎｃ．から入手可能）では典型的なように、インストルメンタルおよび／もしくはボーカルのバッキングトラックは、歌唱するユーザ／ボーカリストに対して演奏することができる。この場合には、歌詞は、ユーザによるカラオケスタイルボーカル演奏を容易にするために、演奏に対応して、表示されてもよい（１０２）。幾つかの場合もしくは状況においては、バッキングオーディオは、ローカルストア（ハンドヘルド上に存在するｉＴｕｎｅｓ（商標）ライブラリのコンテンツなど）から、演奏されてもよい。

ユーザボーカル１０３は、ユーザ自身のボーカル演奏の音質を改善するために、ハンドヘルド１０１で取込まれ、連続的にリアルタイムで（再度ハンドヘルドで）ピッチ補正され、演奏される（１０４参照、バッキングトラックとミキシングされる）。ピッチ補正は、典型的には、スコア符号化されたノートセットもしくはキュー（例えば、ピッチおよびハーモニーキュー１０５）に基づくものであり、現在のキーもしくはスケールにおけるターゲットノートの演奏同期シーケンスを有する連続的ピッチ補正アルゴリズムを提供する。演奏と同期化されたターゲットメロディに加えて、スコア符号化されたハーモニーノートシーケンス（もしくはセット）は、ユーザ自身の取込まれたボーカルのハーモニーバージョンに対するピッチシフト用のさらなるターゲットに対するピッチシフトアルゴリズムを提供する（典型的には、リードメロディノートトラックに関連するオフセットとして符号化され、選択された部分のみに対して典型的にスコア化される）。幾つかの場合においては、ピッチ補正設定は、特定のバッキングトラックに関連するボーカルを演奏したアーティストなどの特定のアーティストに特徴的であってもよい。

示された実施形態においては、バッキングオーディオ（ここでは、一つ以上のインストルメンタルおよび／もしくはボーカルトラック）、歌詞およびタイミング情報、ピッチ／ハーモニーキューは、コンテンツサーバもしくはホストされるサービスプラットフォーム（ここでは、コンテンツサーバ１１０）のうちの一つ以上から全て供給される（か、またはオンデマンドでアップデートされる）。“Ｈｏｔ Ｎ Ｃｏｌｄ”など所定の歌および演奏に対して、背景トラックの幾つかのバージョンは、例えばコンテンツサーバに格納されてもよい。例えば、幾つかの実装もしくは配置においては、バージョンは、以下を含んでもよい。
・非圧縮ステレオｗａｖフォーマットバッキングトラック
・非圧縮モノラルｗａｖフォーマットバッキングトラック
・圧縮モノラルｍ４ａフォーマットバッキングトラック

さらには、歌詞、メロディおよびハーモニートラックノートセットおよび関連するタイミングおよび制御情報は、（複数の）バッキングトラックとともに提供するために、適切なコンテナもしくはオブジェクト（例えば、Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ（ＭＩＤＩ）もしくはＪａｖａ Ｓｃｒｉｐｔ Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ（ｊｓｏｎ）タイプフォーマット）にスコア符号化されるものとしてカプセル化されてもよい。このような情報を利用して、ハンドヘルド１０１は、ユーザによるカラオケスタイルボーカル演奏を容易にするために、（複数の）バッキングトラックの演奏と対応して、歌詞と、ターゲットノート、ハーモニー、そのとき検出されたボーカルピッチに関連する可視的キューさえも表示してもよい。

このように、野心的ボーカリストが、アーティストＫａｔｙ Ｐｅｒｒｙによって元々普及された“Ｈｏｔ Ｎ Ｃｏｌｄ”をハンドヘルドデバイスで選択する場合、ＨｏｔＮＣｏｌｄ．ｊｓｏｎおよびＨｏｔＮＣｏｌｄ．ｍ４ａは、（既に入手可能ではない場合、以前のダウンロードに基づいてキャッシュされていない場合）コンテンツサーバからダウンロードされ、続いて、バックグラウンド音楽、同期化された歌詞を提供するために使用され、幾つかの状況もしくは実施形態においては、連続的リアルタイムピッチ補正用にスコア符号化されたノートトラックが、ユーザが歌唱している間シフトする。任意で、少なくともある実施形態もしくは様式に対して、ハーモニーノートトラックは、取込まれたボーカルに対するハーモニーシフトのためにスコア符号化されてもよい。典型的には、取込まれ、ピッチ補正された（ことによると、ハーモナイズされた）ボーカル演奏は、一つ以上のｗａｖファイルとしてハンドヘルドデバイスにローカルに保存され、（例えば、ｌｏｓｓｌｅｓｓ Ａｐｐｌｅ Ｌｏｓｓｌｅｓｓ Ｅｎｃｏｄｅｒ，ＡＬＥもしくはｌｏｓｓｙ Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ，ＡＡＣもしくはｖｏｒｂｉｓ コーデックを利用して）その後圧縮され、ＭＰＥＧ−４オーディオ、ｍ４ａもしくはｏｇｇコンテナファイルとしてコンテンツサーバ１１０にアップロード（１０６）するためにエンコードされる。ＭＰＥＧ−４は、インターネット、モバイルネットワーク、先進的放送アプリケーション用のデジタルマルチメディアコンテンツの符号化された表現および伝送用の国際標準である。ＯＧＧは、損失のある（ｌｏｓｓｙ：不可逆的）音声圧縮用のｖｏｒｂｉｓ音声フォーマット仕様およびコーデックに関連付けられてしばしば使用されるオープン標準コンテナフォーマットである。他の適切なｃｏｄｅｃ、圧縮技術、符号化フォーマットおよびコンテナは、所望の場合に利用されてもよい。

実装に依存して、ドライボーカルおよび／もしくはピッチ補正されたボーカルのエンコーディングは、コンテンツサーバ１１０へとアップロードされてもよい（１０６）。一般的には、既にピッチ補正されたか、コンテンツサーバ１１０でピッチ補正されるかに関わらず、（例えば、ｗａｖ、ｍ４ａ、ｏｇｇ／ｖｏｒｂｉｓ コンテンツその他としてエンコードされた）このようなボーカルは、その後、例えば、特定の対象（例えば、ハンドヘルド１２０）もしくはネットワークの容量もしくは制限に従って選択される品質もしくは符号化特性のファイルもしくはストリームを作成するために、例えば、バッキング音声および他の取込まれた（ことによると、ピッチシフトされた）ボーカル演奏とミキシングすることができる（１１１）。例えば、ピッチ補正されたボーカルは、異なる品質のストリームを作成するために、ステレオおよびモノラルｗａｖファイルの双方とミキシングすることができる。幾つかの場合においては、高品質ステレオバージョンは、ウェブ再生用に、ならびにハンドヘルドデバイス自体などのデバイスへとストリーミングするためのより低品質のモノラルバージョン用に作成することができる。

本明細書の別の部分で記述されるように、複数のボーカリストの演奏は、オープンコールに応じて一体化されてもよい。幾つかの実施形態においては、一組のボーカル（例えば、図１に示されるように、ハンドヘルド１０１で取込まれたメインボーカル）は、（例えば、リードボーカルとして）重要性を与えられてもよい。一般的には、ユーザが選択可能なボーカルエフェクトスケジュールは、ボーカル演奏のうちで取込まれアップロードされた各エンコーディングンに対して、適用されてもよい（１１２）。例えば、最初に取込まれたドライボーカルは、“Ｈｏｔ Ｎ Ｃｏｌｄ”のＫａｔｙ Ｐｅｒｒｙのスタジオ演奏に特徴的なボーカルエフェクトスケジュールに従って、コンテンツサーバ１００で処理されてもよい（例えば、１１２）。幾つかの場合もしくは実施形態においては、処理は、前述されたピッチキュー１０５に従う（サーバ１００での）ピッチ補正を含んでもよい。幾つかの実施形態においては、結果として生じるミキシング（例えば、取込まれ、ＥＦＸを適用され、圧縮されたモノラルｍ４ａフォーマットバッキングトラックおよび一つ以上のさらなるボーカルとミキシングされ、ピッチ補正されたメインボーカル、ここで、これら１つ以上のさらなるボーカル自体は、メインボーカル上もしくは下の其々のハーモニー位置へとピッチシフトされ、ＥＦＸを適用されている）は、演奏（１２１）のため、および／もしくはさらなるボーカル演奏の取込み用の第二世代のバッキングトラックとしての利用のために、遠隔デバイス（例えば、ハンドヘルド１２０）で別のユーザへと提供されてもよい。

[スコア符号化されたピッチシフトおよびボーカルエフェクトスケジュール]
図２は、本発明の幾つかの実施形態に従う、取込まれたボーカル演奏用の連続的リアルタイムスコア符号化されたピッチ補正および／もしくはハーモニー生成を示すフロー図である。示された構成と同様に前述されたように、ユーザ／ボーカリストは、バッキングトラックカラオケスタイルに従って、歌唱する。マイクロフォン入力２０１から取込まれたボーカル（２５１）は、メインボーカルピッチキューに対して、もしくは、幾つかの場合においては、一つ以上のアコースティックトランスデューサ（音響変換器）２０２で演奏されたバッキングトラックとミキシング（２５３）するためのリアルタイムの対応するハーモニーキューのいずれかに対して、連続的にピッチ補正される（２５２）。幾つかの場合もしくは実施形態においては、“メイン”メロディに対してピッチ補正された取込まれたボーカルの演奏は、スコア符号化されたオフセットに従って、取込まれたボーカルから合成されたハーモニー（ＨＡＲＭＯＮＹ１、ＨＡＲＭＯＮＹ２）と任意でミキシングされてもよい（２５４）。

当業者にとって明らかなように、（例えば、ヘッドフォンもしくはイヤフォンの利用によって）（複数の）トランスデューサ２０２からマイクロフォン２０１へのフィードバックループを制限することが一般的には望ましい。実際には、本明細書での例示的な記述の大部分は、携帯電話環境ではよくある特徴および性能に基づくが、特に、Ａｐｐｌｅ ｉＰｈｏｎｅハンドヘルドに関連して、内蔵マイクロフォン性能のない可搬コンピューティングデバイスでさえも、ヘッドフォン／マイクロフォンジャックが提供される場合、連続的、リアルタイムピッチ補正およびハーモナイゼーションを伴うボーカル取込み用のプラットフォームとして機能してもよい。Ａｐｐｌｅ ｉＰｏｄ ＴｏｕｃｈハンドヘルドおよびＡｐｐｌｅ ｉＰａｄタブレットは、このような二つの例である。

（メインもしくはハーモニーピッチに対する）ピッチ補正および任意で加えられるハーモニーの双方は、スコア２０７に対応して選択され、スコア２０７は、図示された構成において、歌詞２０８およびバッキングトラック２０９の音声エンコーディングとともに、ボーカル取込みおよびピッチ補正が実施されるデバイスに対して（例えば、コンテンツサーバ１１０から、ｉＰｈｏｎｅハンドヘルド１０１もしくは他の可搬コンピューティングデバイスに対して（図１参照））ワイヤレス通信される（２６１）。幾つかの設計および実装において直面するある問題点は、ユーザが歌曲のうちの期待されるメロディを歌唱することを選択する場合だけ、ハーモニーが良好に聞こえる傾向を有することがあるという点である。ユーザが歌曲のうちの自身のバージョンを装飾するか歌唱することを望む場合、ハーモニーは最適ではなく聞こえることがある。この問題点を処理するために、相対的ハーモニーは、特定のコンテンツに対して（例えば、特定の歌曲に対して、および、選択されたその一部に対して）、前もってスコア化されて、符号化される。ハーモニーに対する実行時間に選択されるターゲットピッチは、スコアおよびユーザが歌唱している歌曲の双方に基づく。この手法は、結果として、魅力的なユーザ経験を生じる。

本明細書で記述される技術のうちの幾つかの実施形態においては、我々は、ユーザ／ボーカリストによって出される音に（現在のスケールもしくはキーにおいて）最も近いノートを我々のスコアから決定する。この最も近いノートが、典型的には、スコア符号化されたボーカルメロディに対応するメインピッチであるかもしれないが、必ずしもそうである必要はない。実際には、幾つかの場合においては、ユーザ／ボーカリストは、ハーモニーを歌唱することを意図し、聞こえるノートは、略、ハーモニートラックにより近いことがある。各場合において、ピッチコレクタ２５２および／もしくはハーモニージェネレータ２５５は、取込まれたボーカルの適切なピッチシフトされたバージョンを作成することによって、（ユーザ／ボーカリストがハーモニーを意図的に歌うときでさえも）所望のスコア符号化されたコードの他の部分を合成してもよい。ユーザから取込まれたボーカル演奏のドライボーカルバージョン、および演奏されたバッキングトラックとミキシング（２５３）するために組み合わせられる（２５４）か、統合され、結果として生じるピッチシフトされたバージョンのうちの一つ以上のバージョンは、コンテンツサーバ１１０もしくは遠隔デバイス（例えば、ハンドヘルド１２０）に対して、ワイヤレスで通信されてもよい（２６２）。

ボーカルエフェクトのコンテンツサーバ１１０側アプリケーションが記述されてきたが、ユーザが選択可能なボーカルエフェクト（ＥＦＸ）スケジュールは可搬コンピューティングデバイス（例えば、１０１、１２０）において実装される信号処理フロー２５０に同様に適用されてもよいことを理解されたい。前述したように、選択されたボーカルエフェクト（ＥＦＸ）スケジュールは、（この場合は、ワイヤレス伝送２６１に含まれ、エンコードされうるが）ユーザから取込まれたボーカル演奏の一つ以上の各部分に対して適用するためのスペクトルイコライゼーション、音声圧縮、ピッチ補正、ステレオディレイ、リバーブエフェクトのうちの一つ以上に対する設定および／もしくはパラメータを含む。この示された構成においては、任意の信号処理フローは、アコースティックトランスデューサ２０２を利用する演奏用の前述されたバッキングトラックとミキシングされ（２５３）、ローカル記憶装置に格納されたドライボーカルの音声信号エンコーディング用に提供される。典型的には、可搬コンピューティングデバイスにおいてユーザ選択されたボーカルエフェクト（ＥＦＸ）スケジュールの適用は、後処理のアプリケーションであるが、選択されたＥＦＸの特性および計算の複雑性に依存して、リアルタイムの連続的な手順（スコア符号化されたピッチ補正を含む）が、幾つかの実施形態において提供されてもよい。

当業者は、種々のスコア符号化フレームワークのうちの任意のフレームワークが使用されてもよいことを理解するが、本明細書で記述された例示的な実装は、広く利用される規格化されたｍｕｓｉｃａｌ ｉｎｓｔｒｕｍｅｎｔ ｄｉｇｉｔａｌ ｉｎｔｅｒｆａｃｅ（ＭＩＤＩ）データフォーマットに対する拡張に基づく。当該フレームワークに基づいて、スコアは、幾つかの実装もしくは配置においては、以下を含むＭＩＤＩファイル、データ構造もしくはコンテナにおいて表現されるトラックの組として符号化されてもよい。
・制御トラック：キー変化、ゲイン変化、ピッチ補正制御、ハーモニー制御など。
・一つ以上の歌詞トラック：ディスプレイカスタマイズでの歌詞イベント。
・ピッチトラック：（従来通り符号化された）メインメロディ
・一つ以上のハーモニートラック：ハーモニー音声１、２・・・制御トラックイベントに依存して、所定のハーモニートラックにおいて特定されるノートは、絶対的にスコア化されたピッチとして、もしくはユーザの現在のピッチに呼応して解釈され、（現在の設定に依存して）補正されるかもしくは補正されなくてもよい。
・コードトラック：所望のハーモニーは、ハーモニートラック内に設定されるが、ユーザのピッチがスコア化されたピッチと異なる場合、相対的オフセットが、現在のコードのノートセット近くで維持されてもよい。

前述に基づいて、顕著にスコア符号化された特殊例は、ピッチコレクタ２５２および／もしくはハーモニージェネレータ２５５の実行時の動作を確立するために定義することができ、それによって、従来の静的ハーモニーで達成可能なボーカルを超えるピッチ補正されたボーカルおよびユーザ経験が（広範囲のボーカル技術レベルに対して）提供される。

トラックの特徴を具体的に制御するために、幾つかの実施形態においては、以下のテキストマーカがサポートされることがある。
・Ｋｅｙ：＜ｓｔｒｉｎｇ＞：聞こえるノートが補正されるキー（例えば、Ｇシャープメジャー（嬰ト長調）、ｇ＃Ｍ、Ｅマイナー（ホ短調）、Ｅｍ、Ｂフラットメジャー（変ロ長調）、ＭｂＭなど）を注釈する。デフォルトはＣである。
・ＰｉｔｃｈＣｏｒｒｅｃｔｉｏｎ：｛ＯＮ，ＯＦＦ｝：ユーザ／ボーカリストのピッチを補正するか否かを符号化する。デフォルトはＯＮである。ボーカル演奏内の時間的同期点でＯＮおよびＯＦＦされることがある。
・ＳｗａｐＨａｒｍｏｎｙ：｛ＯＮ，ＯＦＦ｝：ユーザ／ボーカリストによって出される音のピッチがハーモニーの最も近くに対応する場合、メロディではなく、ハーモニーに対してピッチ補正しても大丈夫か否かを符号化する。デフォルトはＯＮである。
・Ｒｅｌａｔｉｖｅ：｛ＯＮ，ＯＦＦ｝：ＯＮのとき、ハーモニートラックはユーザの現在のピッチ（他のピッチ補正設定に従って補正される）からの相対的オフセットとして解釈される。ハーモニートラックからのオフセットは、そのスコア化されたピッチトラックに関連するオフセットである。ＯＦＦのとき、ハーモニートラックは、ハーモニーシフトに対する絶対的ピッチターゲットとして解釈される。
・Ｒｅｌａｔｉｖｅ：｛ＯＦＦ，＜＋／−Ｎ＞．．．＜＋／−Ｎ＞｝：ＯＦＦでない限り、ハーモニーオフセット（望まれるだけ多く）は、任意のオペラントキーもしくはノートセットに従ってスコア化されたピッチトラックに関連する。
・ＲｅａｌＴｉｍｅＨａｒｍｏｎｙＭｉｘ：｛ｖａｌｕｅ｝：ボーカル演奏内の時間的同期点で、演奏されたハーモニー／メインボーカルミキシングにおけるメイン音声とハーモニーのミキシング比において符号が変化する。１．０は全てハーモニー音声である。０．０は全てメイン音声である。
・ＲｅｃｏｒｄｅｄＨａｒｍｏｎｙＭｉｘ：｛ｖａｌｕｅ｝：アップロードされたハーモニー／メインボーカルミキシングにおけるメイン音声とハーモニーのミキシング比において、ボーカル演奏内の時間的同期点で、符号が変化する。１．０は全てハーモニー音声である。０．０は全てメイン音声である。

幾つかの実施形態においては、コードトラックイベントは、ルート（基音）および品質（例えば、Ｃ ｍｉｎ７もしくはＡｂ ｍａｊ）を記録し、ノートセットを定義することを可能とする以下のテキストマーカを含む。所望のハーモニーは（複数の）ハーモニートラック内に設定されるが、ユーザのピッチがスコア化されたピッチとは異なる場合には、相対的オフセットは現在のコードに存在するノートの近くに維持されてもよい。スコアのコードトラックに関連して使用されるように、コードという用語は、利用可能なピッチのセットを意味するものと理解される。なぜなら、コードドラックイベントは、通常の意味で標準的コードをエンコードする必要がないからである。これらのおよび他のスコア符号化されたピッチ補正設定は、本明細書で記述された発明の技術の促進のために使用されてもよい。

[ピッチ検出、補正およびシフト用のコンピュータ処理技術]
本記述の利益を得る当業者によって理解されるように、ピッチ検出および補正技術は、取込まれたボーカル信号のピッチシフトされた変形としてのハーモニー生成用、ならびに、ターゲットピッチもしくはノートに対する取込まれたボーカル信号の補正用の双方のために使用されてもよい。図２および図３は、演奏用にピッチ補正されかつ、任意でハーモナイズされたボーカルを（ローカルにおよび／もしくは遠隔対象デバイスで）作成するために、例えば、モバイルデバイス１０１として示されるｉＰｈｏｎｅ（商標）ハンドヘルドに適したある実装に従う、基本的な信号処理フロー（２５０、３５０）を示す。

本明細書の記述に基づいて、当業者は、図３に示された信号処理フロー３５０を提供するために実行可能なソフトウェアの機能ブロック（例えば、（複数の）デコーダ３５２、デジタルアナログ（Ｄ／Ａ）コンバータ３５１、取込み器２５３およびエンコーダ３５５）に対する信号処理技術（サンプリング、フィルタ処理、デシメーション（分割）など）およびデータ表現の適切な割り当てを理解するであろう。同様に、信号処理フロー２５０および例示的にスコア符号化されたノート（ハーモニーノートを含む）に関連して、当業者は、ハンドヘルドもしくは他の可搬コンピューティングデバイス上で実行可能なソフトウェアとして少なくとも部分的に実装され、図２において機能ブロックおよび信号処理構成（例えば、（複数の）デコーダ２５８、取込み２５１、デジタルアナログ（Ｄ／Ａ）コンバータ２５６、ミキサ２５３、２５４およびエンコーダ２５７）に対する信号処理技術およびデータ表現の適切な割り当てを理解するであろう。

前述の信号処理構成の種々の適切な実装のうちの任意の実装に基づいて、我々は、本明細書で記述される種々の実施形態において使用されることがあるピッチ検出および補正／シフト技術を説明する。当該技術は、図２および図３に示されるピッチ補正、ハーモニー生成を促進する場合に含み、ピッチ補正／ハーモナイゼーションブロック（２５２、２５５および３５４）と組み合わせられる。

当業者によって理解されるように、ピッチ検出およびピッチ補正は、音楽および音声符号化技術において恵まれた技術的な履歴を有する。実際には、広範囲の特徴採取、時間ドメインおよび周波数ドメイン技術が本技術分野で使用され、本発明に従う幾つかの実施形態において使用されてもよい。本記述は、本記述に従う種々の設計もしくは実装に適切でありうる広範囲の信号処理技術を余すところなく記載することを求めない。むしろ、我々は、ＣＰＵに限定されたコンピュータプラットフォームと競合する実装（モバイルデバイスアプリケーションなど）で動作可能であることが示される或る技術を要約する。

したがって、上記に鑑みて、かつ限定することなく、ある例示的実施形態は以下のように動作する。
１） サンプリングされたユーザボーカルを含む音声データのバッファを得る。
２） （典型的にはスコア符号化されたメロディノートターゲットに対して、メイン音声として、サンプリングされたボーカルのピッチ検出および補正で使用するための）２２ｋ、ならびに（サンプリングされたボーカルのハーモニー変形のピッチ検出およびシフト用の）１１ｋに、ローパスフィルタ処理かつデシメーションによって、４４．１ｋＨｚサンプルレートからダウンサンプリングする。
３） ピッチディテクタを呼び出し（ＰｉｔｃｈＤｅｔｅｃｔｏｒ：：ＣａｌｃｕｌａｔｅＰｉｔｃｈ（））、サンプリングされた音声信号が十分な振幅でを持つか否か、ならびに、サンプリングされた音声が続行するのに音量が大きすぎないか（過度のゼロクロシング）をまず確認する。サンプリングされた音声が受け入れ可能である場合、ＣａｌｃｕｌａｔｅＰｉｔｃｈ（）法が平均振幅差関数（ＡＭＤＦ）を計算し、ピッチ期間の評価に対応するピークを採取するための論理を実行する。さらなる処理はその評価を改良する。例えば、幾つかの実施形態においては、ピークおよび隣接するサンプルの放物線補間（ｐａｒａｂｏｌｉｃ ｉｎｔｅｒｐｏｌａｔｉｏｎ）が使用されてもよい。幾つかの実施形態および所定の適切な計算帯域幅において、さらなるＡＭＤＦは、より良好な周波数分解能を得るために、ピークサンプル周囲のより高いサンプリングレートで実行されてもよい。
４） （より高品質および高い重複精度のために）２２ｋＨｚサンプリングレートでピッチ同期重畳加算（ＰＳＯＬＡ）技術を利用することによって、スコア符号化されたターゲットピッチにメイン音声をシフトする。ＰＳＯＬＡ実装（Ｓｍｏｌａ：：ＰｉｔｃｈＳｈｉｆｔＶｏｉｃｅ（））は、所望の補正を識別するために必要な情報（検出されたピッチ、ピッチターゲットなど）を含むデータ構造およびクラス変数でよばれる。一般的に、ターゲットピッチは、（メロディノートトラックと対応して周波数を変化する）スコア符号化されたターゲットに基づいて、かつ、現在のスケール／モード設定に従って選択される。スケール／モード設定は、特定のボーカル演奏中にアップデートされてもよいが、通常は、スコア符号化された情報に基づいてそれほど頻繁ではなくアップデートされるか、または、ユーザ選択に基づいて、アカペラもしくはフリースタイルモードにおいてアップデートされてもよい。
ＰＳＯＬＡ技術は、接合部（ｓｐｌｉｃｅ）の非周期的影響を低減しつつピッチシフトされた変形を作成するために、波形の再サンプリングを容易にし、本技術分野ではよく知られている。ＰＳＯＬＡ技術は、重複断片中でクロスフェードする場合により滑らかな結果を得るように、（例えば、ゼロクロシングに正方向に動くとき、理想的には略同一の傾きで）周期的振動内の類似点で二つの周期的波形を接合することが可能だという観察に基づいている。例えば、我々が以下のような準周期的シーケンスを有し、
ａ ｂ ｃ ｄ ｅ ｄ ｃ ｂ ａ ｂ ｃ ｄ．１ ｅ．２ ｄ．２ ｃ．１
ｂ．１ ａ ｂ．１ ｃ．２
０ １ ２ ３ ４ ５ ６ ７ ８ ９ １０ １１ １２ １３ １４
１５ １６ １７ １８
サンプル｛ａ，ｂ，ｃ・・・｝およびインデックス０，１，２，・・・（．１という記号は、周期性からの逸脱を表現する）のいずれかの場所で前後にジャンプすることを望まれる場合、我々は、単にジャンプや直線的変化ではなく、インデックス２と１０で正方向のｃ−ｄ遷移を選択する。：
（１＊ｃ＋０＊ｃ），（ｄ＊７／８＋（ｄ．１）／８），（ｅ＊６／８＋（ｅ．２）＊２／８）・・・
我々がインデックス１０／１８で（０＊ｃ＋１＊ｃ．１）に到達するまで、期間の（８インデックス）前にジャンプし、編集時点で非周期性をはっきりしないものにする。我々は８サンプル（我々が検出可能な期間に最も近い期間）にそれを行ったため、それは、ピッチ同期である。クロスフェードは、線形／三角形重畳加算であるが、所望の場合には、（より一般的に）コンプリメンタリ（相補）コサイン、１−コサインもしくは他の関数を利用してもよいことに留意されたい。
５） ＰＳＯＬＡおよび線形予測符号（ＬＰＣ）技術の双方を利用する方法を利用してハーモニー音声を生成する。ハーモニーノートは、現在の設定に基づいて選択され、現在の設定は、スコア符号化されたハーモニーターゲットに従ってしばしば変化するか、または、ユーザによってフリースタイルで変化させることができる。これらは上述されたようなターゲットピッチであるが、ハーモニー用の概して大きいピッチシフトを仮定すると、異なる技術が利用されてもよい。メイン音声（ここでは２２ｋ、もしくは任意で４４ｋ）は、上述されたようなＰＳＯＬＡ技術を利用して、ターゲットに対してピッチ補正される。其々のハーモニーに対するピッチシフトは、ＰＳＯＬＡ技術を利用して同様に実施される。その後、線形予測符号（ＬＰＣ）は、各ハーモニーに対する残余信号を生成するために各々に適用される。ＬＰＣは、ピッチシフトされた残余部に適用するためのスペクトルテンプレートを得るために、１１ｋ（もしくは任意で２２ｋ）でピッチ補正されていないメイン音声に適用される。これによって（上方シフトに対しては、シマリス（ｃｈｉｐｍｕｎｋ）もしくは噛み砕く音（ｍｕｎｃｈｋｉｎｉｆｉｃａｔｉｏｎ）のように聞こえ、または、下方シフトに対してはＤａｒｔｈ Ｖａｄｅｒのように聞こえさせる）、ヘッドサイズモジュレーション（ｈｅａｄ−ｓｉｚｅ ｍｏｄｕｌａｔｉｏｎ）問題を回避できる傾向にある。
６） 最後に、残余部は、ミキシングされて、ピッチ補正されていないメイン音声信号用に得られたＬＰＣ係数によって定義されるフィルタを利用して、其々ピッチシフトされたハーモニーを再合成するために使用される。ピッチシフトされたハーモニーのミキシング結果は、その後、ピッチ補正されたメイン音声とミキシングされる。
７） 結果として生じたミキシングは、４４．１ｋＨｚへとアップサンプリングされ、バッキングトラック（フリースタイルモードを除く）もしくは、再生用オーディオサブシステムに受け渡すためにバッファされた、より良い忠実度を有するバッキングトラックの変形とミキシングされる。

当業者によって理解されるように、ＡＭＤＦ計算は、信号の周期性を測定するのに適した時間ドメインコンピュータ処理技術の一つにすぎない。より一般的には、ラグドメインピリオドグラムという用語は、時間ドメイン関数もしくは一連の信号の離散的時間サンプルｘ（ｎ）を入力としてとる関数を記述し、元の関数ｘの周期性を測定するために一連のディレイを有する（即ち、ラグドメインにおける）自身と、その関数もしくは信号を比較する。これは、興味あるラグにおいて行われる、したがって、本明細書で記述される技術と関連して、ピッチ検出用の適切なラグドメインピリオドグラム計算の例は、現在のブロックに対して、取込まれたボーカル入力信号ｘ（ｎ）自体の遅れ（ｌａｇｇｅｄ）バージョンからの減算（差関数）を含むか、当該減算の絶対値を取る（ＡＭＤＦ）か、もしくはそのディレイバージョンによる信号の乗算および値の加算（自己相関）を含む。

ＡＭＤＦは、入力信号の周波数成分に対応する期間での谷（ｖａｌｌｅｙ）を示し、自己相関はピークを示す。信号が非周期的（例えば、ノイズ）である場合、ピリオドグラムは、ゼロ遅れ位置を除いては明確なピークもしくは谷を示さない。数学的に、以下の式が成立する。

本明細書で記述された実装に対して、ＡＭＤＦベースのラグドメインピリオドグラム計算は、現世代モバイルデバイスの計算性能を利用しても効率的に実施することができる。にもかかわらず、本明細書の記述に基づいて、当業者は、所定の対象デバイスもしくはプラットフォーム上で、コンピュータ処理で現在扱うことができるか、将来的に扱うことが可能になりうる、種々のピッチ検出技術のうちの任意の技術に基づく実装を理解するであろう。

[“オープンコール”に対する応答におけるボーカル演奏の一体化]
ボーカル演奏がハンドヘルドデバイスで取込まれると、取込まれたボーカル演奏音声（典型的にはドライボーカルだが、任意でピッチ補正されている）は、オーディオコーデック（例えば、Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ（ＡＡＣ）もしくはｏｇｇ／ｖｏｒｂｉｓ コーデック）を利用して圧縮されて、コンテンツサーバにアップロードされる。図１、図２および図３は、各々当該アップロードを示す。一般的には、コンテンツサーバ（例えば、コンテンツサーバ１１０、３１０）は、その後、選択されたボーカルエフェクト（ＥＦＸ）スケジュールおよび適用可能なスコア符号化されたピッチ補正セットに従って、アップロードされたドライボーカルを処理する（１１２、３１２）。コンテンツサーバは、その後、この取込まれ、ピッチ補正され、ＥＦＸ適用されたボーカル演奏エンコーディングを他のコンテンツとリミックスする（１１１，２１１）。例えば、コンテンツサーバは、ミキシングされた演奏の高い忠実度のマスターオーディオを作成するために、高品質もしくは高い忠実度のインストルメンタル（および／もしくは背景ボーカル）トラックと、当該ボーカルをミキシングしてもよい。他の取込まれたボーカル演奏が、図１に示され、本明細書で記述されるようにミキシングされてもよい。

一般的に、結果として生じるマスター（ｍａｓｔｅｒ：原盤）は、続いて、取込んだハンドヘルドデバイス（および／もしくは他の遠隔デバイス）へストリームバックするのに適し、かつ、ウェブを介してストリーミング／再生するのに適した圧縮された音声ファイルを作成するために、種々のビットレートで、および／もしくは重要性を与えられ、選択されたボーカルと、適切なコーデック（例えば、ＡＡＣコーデック）を利用してエンコードされてもよい。一般的には、通常展開されるワイヤレスネットワークの性能に関連して、必要とされるとき必要な場でミキシングするとき、ボーカル演奏を表現するために必要とされる程度に、アップロードされたデータを制限することが、音声データ帯域幅の見地から望ましい。幾つかの場合においては、再生するため、もしくは第二（もしくは第Ｎ番目の）世代バッキングトラックとして利用するためにストリームされるデータは、演奏対象での第一世代バッキングトラックとミキシングするためにボーカルトラックと別々にエンコードしてもよい。一般的には、ハンドヘルドデバイスとコンテンツサーバとの間のボーカルおよび／もしくはバッキングトラック音声交換は、利用可能なデータ通信チャネルの品質および性能に適応されてもよい。

本発明の幾つかの実施形態においては、オープンコール処理を容易にする、或るソーシャルネットワーク構成に関連して、さらなるもしくは代替的なミキシングが望まれることがある。例えば、幾つかの実施形態においては、最初の、もしくは以前の寄与者から取込まれ、ピッチ補正され、ＥＦＸ適用されたボーカルの一体化は、（例えば、別のハンドヘルドデバイスでの）別のユーザ／ボーカリストからのその後のボーカル取込みで利用されるバッキングトラックの基礎を形成してもよい。したがって、バッキングトラックを提供し利用する場は、本明細書で示され記述されており、取込まれ、ピッチ補正され、ＥＦＸ適用された（および、ことによると、典型的ではないがハーモナイズされた）ボーカルは、その後のボーカル取込みを動機づけ、誘導もしくは構成するために使用される“バッキングトラック”を作成するために自体がミキシングされてもよい。

一般的には、さらなるボーカリストは、特定の部分（例えば、テノール、デュエット内のＢパートなど）を歌唱するため、または、単にサインするために招待されることがあり、それによって、コンテンツサーバ１１０は、取込まれたボーカルをピッチシフトして、オープンコールもしくは仮想グリークラブ内の一つ以上の位置へと配置してもよい。典型的に、オープンコールを開始したユーザボーカリストは、その後に一体化されるボーカル演奏が割り当てられるか配置されるスロットもしくは位置（時間的にもしくは演奏テンプレート／ブループリントによって、適用可能なピッチキューおよび／もしくは適用されたＥＦＸによって特徴づけられる）を選択する。ミキシングされたボーカルは、このようなバッキングトラックに含まれてもよいが、図示され記述されたシステムは、別々に取込みを行って、ボーカルエフェクトスケジュールを適用し、個々のボーカル演奏をピッチ補正するため、コンテンツサーバ（例えば、コンテンツサーバ１１０）は、仮想グリークラブの目的に貢献するようにミキシングを操作する（１１２）ため、もしくは、オープンコールを開始するユーザボーカリストの感覚を適応させるような位置にあることを理解されたい。

例えば、本発明の幾つかの実施形態においては、３人の異なる寄与ボーカリストの別のミキシングが種々の方法で提示されることがある。第一の寄与者に（もしくは第一の寄与者用に）提供されるミキシングは、（例えば、メインメロディに対する適切なピッチ補正がなされ、ならびにアーティスト、曲、演奏もしくは音楽様式に特有の適用されたボーカルエフェクト（ＥＦＸ）スケジュールを有するリードボーカルとして）第一の寄与者のボーカルが他の二人のそれよりも目立つことを特色としてもよい。一般的に、コンテンツサーバ１１０は、種々のその中に取込まれたボーカルに適用されたピッチ補正およびＥＦＸを操作することによって、あるボーカル演奏を他よりもさらに顕著にするためにミキシングを変化させてもよい。

[ワールドステージ]
本明細書の記述の大部分は、ユーザ自身のボーカル演奏を取込んでミキシングすることに関連して、ボーカル演奏取込み、ピッチ補正およびバッキングトラックの第一および第二エンコーディング其々の利用に焦点を当てているが、遠隔で取込まれる他者の演奏の演奏用の機能実装が、幾つかの状況もしくは実施形態で提供されてもよいことを理解されたい。そのような状況もしくは実施形態において、ボーカル演奏取込みが他のデバイスで起こり、取込まれた（そして、典型的にはピッチ補正された）ボーカル演奏の対応するエンコーディングが現在のデバイスで受信された後に、取込まれた演奏は別のデバイスで起こり、地球上の特定の位置から発生するボーカル演奏を示唆する可視ディスプレイアニメーションと関連して演奏される。図１は、ハンドヘルド１２０における当該可視ディスプレイアニメーションのスナップショットを例示するものであり、（スナップショットで示されるように）ハンドヘルド１２０が、上記に詳細に記述された取込みおよびピッチ補正モードではなく、再生（もしくはリスナー）モードで動作することを除いて、ハンドヘルドデバイス例１０１および３０１（図３参照）を参照して記述されて示されるような、プログラムされた携帯電話（もしくは他の可搬コンピューティングデバイス）の別の例として理解される。

ユーザがハンドヘルドアプリケーションを実行し、この再生（もしくはリスナー）モードにアクセスすると、ワールドステージが現れる。より具体的には、ネットワーク接続がコンテンツサーバ１１０に対して行われ、ハンドヘルドの現在のネットワーク接続状態および再生選好（例えば、ランダムグローバル、お気に入り、私の演奏など）を報告する。これらのパラメータに基づいて、コンテンツサーバ１１０は、演奏（例えば、最初にハンドヘルドデバイス例１０１もしくは３０１で取込まれたような、ピッチ補正され、ＥＦＸ適用されたボーカル演奏）を選択して、それに関連するメタデータを送信する。幾つかの実装においては、（ハーモニーもしくはバックアップボーカルとして含まれるさらなるボーカル演奏用のジオコードを含む）ジオコード化された（ＧＰＳを利用する）ボーカル演奏取込みの位置、ならびに、特定の演奏を好むか、タグ付けするか、コメントを残した他のリスナーの属性などのさらなる情報とともに、メタデータは、（パイプのサイズに依存して高品質もしくは低品質の）実際の音声ストリームをハンドヘルド１２０が検索することを可能とするユニフォームリソースロケータ（ＵＲＬ）を含む。幾つかの実施形態においては、リスナーフィードバックは自体がジオコード化されている。再生中、ユーザは、演奏にタグ付けし、その後のリスナーのためおよび／もしくは元のボーカル演奏者のために自身の反応もしくはコメントを残してもよい。演奏がタグ付けされると、演奏者とリスナーの間に関係が確立されることがある。幾つかの場合においては、リスナーは、同一の演奏者によるさらなる演奏に対するフィルタ処理を可能とされてもよいし、サーバはユーザの選好の評価に基づいて、ユーザに対する“ランダムな”新規演奏をより知的に提供することもできる。

スナップショットに具体的に示されてはいないが、ジオコード化されたリスナーの反応の指示は、対応するリスナー反応が伝送された其々の地理的位置をジオコード化されたメタデータと一致させて示唆する位置で、地球（例えば、星もしくは“賛成（ｔｈｕｍｂｓ ｕｐ）”などとして）上に表示されるか、任意に表示されてもよいことを理解されたい。幾つかの実施形態においては、可視ディスプレイアニメーションは、対話式（ｉｎｔｅｒａｃｔｉｖｅ：インタラクティブ）であって、ハンドヘルド１２０のタッチスクリーンディスプレイで取込まれたユーザインターフェイスジェスチャーに対応して、容易に視点操作を受けることをさらに理解されたい。例えば、幾つかの実施形態においては、可視ディスプレイアニメーション内の地球上に表示された画像上での指もしくはスタイラスの移動によって、指もしくはスタイラスの移動方向にほぼ直交する軸周囲に、地球を回転させることができる。地球上の特定の位置から発生するボーカル演奏を示唆する可視ディスプレイアニメーションとリスナー反応の指示の双方は、このように対話式で表示され、其々のジオタグと一致する位置で地球ユーザインターフェイス表示を回転させる。

[例示的なモバイルデバイス]
図４は、本発明の幾つかの実施形態に従う、ソフトウェア実装の実行用プラットフォームとして機能しうるモバイルデバイスの特徴を示す。より詳細には、図４は、ｉＰｈｏｎｅ（商標）モバイルデジタルデバイスの市販バージョンとほぼ一致するモバイルデバイス４００のブロック図である。本発明の実施形態は、ｉＰｈｏｎｅ展開もしくはアプリケーション（もしくはｉＰｈｏｎｅ型デバイス）におそらくは限定されないが、そのセンサ、マルチメディア機能実装、アプリケーションプログラマインターフェイス、ワイヤレスアプリケーションデリバリ（受け渡し）モデルの補足とともに、ｉＰｈｏｎｅデバイスは、ある実装を配置するための高度に有能なプラットフォームを提供する。本明細書の記述に基づいて、当業者は、本明細書で記述された本発明の技術の所定の（現在もしくはその後の）実装もしくは利用に適する広範囲のさらなるモバイルデバイスプラットフォームを理解するであろう。

簡潔に要約すると、モバイルデバイス４００は、ユーザと接触するハプティック（ｈａｐｔｉｃ：触覚型）および／もしくは触覚的（ｔａｃｔｉｌｅ）に感受性の高いディスプレイ４０２を含む。タッチ高感度ディスプレイ４０２は、各接触点の圧力、角度および／もしくは位置に関連するデータ処理を含む、複数の同時接触点を処理するマルチタッチ特性をサポートすることができる。このような処理は、ジェスチャー、複数の指、コードとの所作相互作用および他の相互作用を容易にする。無論、他の接触高感度ディスプレイ技術（例えば、スタイラスもしくは他のポインティングデバイスを利用して接触が行われるディスプレイ）も利用することができる。

典型的には、モバイルデバイス４００は、接触高感度ディスプレイ４０２上にグラフィカルユーザインターフェイスを表示し、情報を伝送するために、種々のシステムオブジェクトに対するアクセスをユーザに提供する。幾つかの実装においては、グラフィカルユーザインターフェイスは、一つ以上のディスプレイオブジェクト４０４、４０６を含むことができる。示された実施例においては、ディスプレイオブジェクト４０４、４０６は、システムオブジェクトのグラフィック表現である。システムオブジェクトの例は、デバイス機能、アプリケーション、ウインドウ、ファイル、アラート、イベントもしくは他の識別可能なシステムオブジェクトを含む。本発明の幾つかの実施形態においては、実行されると、アプリケーションは本明細書で記述されたデジタル音響機能のうちの少なくとも幾つかを提供する。

典型的には、モバイルデバイス４００は、例えば、ユーザがモバイルデバイス４００および関連付けられたネットワーク利用可能機能とともに移動することを可能にするためのモバイルラジオおよびワイヤレスインターネットワーク機能の双方を含むネットワーク接続をサポートする。幾つかの場合においては、モバイルデバイス４００は、付近で（例えば、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈなどを介して）他のデバイスと相互作用できる。例えば、モバイルデバイス４００は、一つ以上のデバイスに対するピアもしくはベースステーションと相互作用するように構成することができる。このように、モバイルデバイス４００は、他のワイヤレスデバイスに対するネットワークアクセスを認可もしくは拒否してもよい。

モバイルデバイス４００は、種々の入力／出力（Ｉ／Ｏ）デバイス、センサおよびトランスデューサを含む。例えば、スピーカ４６０およびマイクロフォン４６２は、典型的には、本明細書の他の部分で記述されたように、ボーカル演奏の取込み、バッキングトラックの演奏、ミキシングされピッチ補正されたボーカル演奏の演奏などの音声を容易にするために含まれる。本発明の幾つかの実施形態においては、スピーカ４６０およびマイクロフォン６６２は、本明細書で記述された技術に適したトランスデューサを提供してもよい。外部スピーカポート４６４は、スピーカフォン機能などのハンズフリー音声機能を容易にするために含むことができる。音声ジャック４６６は、ヘッドフォンおよび／もしくはマイクロフォンの利用のために含むこともできる。幾つかの実施形態においては、外部スピーカおよび／もしくはマイクロフォンは、本明細書で記述された技術用のトランスデューサとして利用されてもよい。

他のセンサも利用されるか提供することができる。近接センサ４６８は、モバイルデバイス４００のユーザ位置の検出を容易にするために含むことができる。幾つかの実装においては、周囲光センサ４７０は、接触高感度ディスプレイ４０２の明るさ調節を容易にするために使用することができる。加速度計４７２は、矢印４７４の方向によって示されるように、モバイルデバイス４００の動きを検出するために使用することができる。したがって、ディスプレイオブジェクトおよび／もしくはメディアは、検出された方向例えば、縦置き（ｐｏｒｔｒａｉｔ）もしくは横置き（ｌａｎｄｓｃａｐｅ）に従って表示することができる。幾つかの実装においては、モバイルデバイス４００は、本明細書で記述されたジオコード化を容易にするために、グローバルポジショニングシステム（ＧＰＳ）もしくは他の位置決めシステム（例えば、Ｗｉ−Ｆｉアクセスポイント、テレビ信号、携帯電話グリッド、ユニフォームリソースロケータ（ＵＲＬ）を利用するシステム）によって提供されるような位置判定性能をサポートするための回路およびセンサを含んでもよい。モバイルデバイス４００は、カメラレンズおよびセンサ４８０も含むことができる。幾つかの実装においては、カメラレンズおよびセンサ４８０は、モバイルデバイス４００の背面に配置することができる。カメラは、取込まれてピッチ補正されたボーカルと関連付けるための静止画像および／もしくは動画を取込むことができる。

モバイルデバイス４００は、８０２．１１ｂ／ｇ通信デバイスおよび／もしくはＢｌｕｅｔｏｏｔｈ（商標）通信デバイス４８８などの一つ以上のワイヤレス通信サブシステムも含むことができる。他の８０２．ｘ通信プロトコル（例えば、ＷｉＭａｘ，Ｗｉ−Ｆｉ，３Ｇ）、符号分割多重接続（ＣＤＭＡ）、モバイル通信用グローバルシステム（ＧＳＭ）、強化データＧＳＭ環境（ＥＤＧＥ）などを含む他の通信プロトコルもサポートすることができる。ポートデバイス４９０、例えば、ユニバーサルシリアルバス（ＵＳＢ）ポートもしくはドッキングポート、もしくは幾つかの他の有線ポート接続は、他の通信デバイス４００、ネットワークアクセスデバイス、パーソナルコンピュータ、プリンタ、もしくはデータを送受信可能な他の処理デバイスなどの、他のコンピューティングデバイスに対する有線接続を確立するために含まれ、使用することができる。ポートデバイス４９０は、例えば、ＴＣＰ／ＩＰ、ＨＴＴＰ、ＵＤＰおよび任意の他の既知のプロトコルなどの一つ以上のプロトコルを利用するホストデバイスとモバイルデバイス４００が同期することを可能としてもよい。

図５は、本明細書の機能的記述に従う、ユーザインターフェイス符号、ピッチ補正符号、音声レンダリングパイプラインおよび再生符号でプログラムされるモバイルデバイス４００などの可搬コンピューティングデバイスの其々の例（５０１および５２０）を示す。デバイス例５０１は、ボーカル取込みおよび連続的ピッチ補正モードで動作するが、デバイス例５２０はリスナーモードで動作する。ワイヤレスデータ伝送を介する通信およびサーバ５１２もしくはサービスプラットフォームを有する介在ネットワーク５０４の双方は、コンテンツサーバ１１０、２１０を参照して本明細書で説明された記憶装置および／もしくは機能をホストする。取込まれ、ピッチ補正されたボーカル演奏は、ラップトップコンピュータ５１１から（任意で）ストリームされて、ラップトップコンピュータ５１１で演奏されてもよい。

[他の実施形態]
（複数の）発明が種々の実施形態を参照して記述されてきたが、これらの実施形態は単に例示的なものにすぎず、（複数の）本発明の範囲はそれらに限定されることはないことを理解されたい。多くの変形、改変、追加および改良が可能である。例えば、カラオケスタイルインターフェイスに従って取込まれたピッチ補正ボーカル演奏が記述されてきたが、他の変形も理解されるであろう。さらに、ある例示的な信号処理術が、ある例示的なアプリケーションに関連して記述されてきたが、当業者は、他の適切な信号処理技術および効果に適応させるために、記述された技術を改変することが簡単であることを認めるであろう。

本発明に従う実施形態は、本明細書で記述された方法を実施するために、（ｉＰｈｏｎｅハンドヘルド、モバイルもしくは可搬コンピューティングデバイスまたはコンテンツサーバプラットフォームなどの）コンピュータシステムで続いて実行されうる、命令シーケンスおよびソフトウェアの他の機能構成としてマシン可読媒体内にエンコードされるコンピュータプログラム製品の形をとる、ならびに／または、コンピュータ製品として提供されてもよい。一般的には、マシン可読媒体は、情報の伝送に付随する有形記憶装置とともに、マシン（例えば、コンピュータ、携帯電話もしくは可搬コンピューティングデバイスのコンピュータ処理機能実装など）によって可読の形式（例えば、アプリケーション、ソースもしくはオブジェクト符号、機能的記述情報など）で情報をエンコードする実体的態様を含むことができる。マシン可読媒体は、磁気記憶媒体（例えば、ディスクおよび／もしくはテープ記憶装置）、光記憶媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）、光磁気記憶媒体、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、消去可能プログラマブルメモリ（例えば、ＥＰＲＯＭおよびＥＥＰＲＯＭ）、フラッシュメモリ、もしくは電子命令、動作シーケンス、機能記述情報エンコーディングなどを格納するのに適した他のタイプの媒体を含みうるが、そのいずれにも限定されることはない。

一般的には、単一の例として本明細書で記述されたコンポーネント、動作もしくは構造に対して、複数の例が提供されることがある。種々のコンポーネント、動作およびデータ格納の間の境界は、多少は任意であって、特定の例示的構成に関連して特定の動作が示される。機能の他の割り当てが構想され、（複数の）本発明の範囲内にある可能性がある。一般的には、例示的な構成において別々のコンポーネントとして提示された構造および機能は、組み合わせられた構造もしくはコンポーネントとして実現されてもよい。同様に、単一のコンポーネントとして提示された構造および機能は、別々のコンポーネントとして実現されてもよい。これらおよび他の変形、改変、追加および改良は（複数の）本発明の範囲内にある可能性がある。

Claims (48)

1. タッチスクリーン、マイクロフォンインターフェイスおよび通信インターフェイスを有するボーカル演奏取込み用の可搬コンピューティングデバイスを利用することと、
   前記タッチスクリーン上のユーザ選択に応じて、対応するバッキングトラックおよび歌詞と時間的に同期されたボーカルスコアを、前記通信インターフェイスを介して検索することであって、前記ボーカルスコアは、前記バッキングトラックに対して、ボーカル演奏の少なくとも一部に対する一連のターゲットノートをエンコードする、ことと、
   前記可搬コンピューティングデバイスで、前記バッキングトラックを演奏し、それと時間的に対応して、ディスプレイ上に前記歌詞の対応する部分を同時に表示することと、
   前記マイクロフォンインターフェイスを介して、前記バッキングトラックと時間的に対応して、前記ユーザのボーカル演奏を取込むことと、
   前記ユーザから取込まれたボーカル演奏のドライボーカルバージョンを前記可搬コンピューティングデバイス上で格納し、前記ボーカルスコアに従って、前記可搬コンピューティングデバイスは、前記ユーザから取込まれたボーカル演奏の少なくとも幾つかの部分の連続的リアルタイムピッチシフトを実施し、ならびに、結果として生じるピッチシフトされた前記ユーザのボーカル演奏を前記バッキングトラックの前記演奏とミキシングする、ことと、
   前記ユーザから取込まれたボーカル演奏と少なくとも一つのボーカルエフェクトスケジュールを適用することであって、前記ボーカルエフェクトスケジュールは、前記ユーザのボーカル演奏の其々一つ以上の部分に適用するための、スペクトルイコライゼーション、音声圧縮、ステレオディレイおよびリバーブエフェクトの一つ以上に対する複数の設定および／もしくはパラメータのコンピュータ可読エンコーディングを含む、ことと、
   を含む、
   ことを特徴とする方法。
2. 前記ボーカルエフェクトスケジュールは、前記バッキングトラックもしくは歌詞と時間的に対応して、前記ユーザのボーカル演奏の其々の部分へ適用するための異なる複数のエフェクトを符号化する、
   ことを特徴とする請求項１に記載の方法。
3. 前記ボーカルエフェクトスケジュールは、特定の音楽様式に特徴的である、
   ことを特徴とする請求項１もしくは２のいずれか一項に記載の方法。
4. 前記ボーカルエフェクトスケジュールは、特定のアーティスト、曲もしくは演奏に特徴的である、
   ことを特徴とする請求項１もしくは２のいずれか一項に記載の方法。
5. 前記ボーカルエフェクトスケジュールの少なくとも一部の購入もしくはライセンスを前記可搬コンピューティングデバイスから取引することをさらに含む、
   ことを特徴とする請求項１から４のいずれか一項に記載の方法。
6. 前記取引の促進において、前記ボーカルエフェクトスケジュールのコンピュータ可読エンコーディングを、前記通信インターフェイスを介して検索するか、または、前記ボーカルエフェクトスケジュールのコンピュータ可読エンコーディングの既存の格納されたインスタンスをロック解除することをさらに含む、
   ことを特徴とする請求項５に記載の方法。
7. 前記ボーカルスコアと、前記ユーザから取込まれたボーカル演奏の少なくとも一部との対応をコンピュータ処理で評価することと、メリットの閾値図に基づいて、前記ボーカルエフェクトスケジュールの少なくとも一部に対するライセンスもしくはアクセスを前記ユーザに与えることと、をさらに含む、
   ことを特徴とする請求項１から６のいずれか一項に記載の方法。
8. 前記ボーカルエフェクトスケジュールは、前記ユーザから取込まれたボーカル演奏の前記ドライボーカルバージョンに対して、その後適用される、
   ことを特徴とする請求項１から７のいずれか一項に記載の方法。
9. 前記ドライボーカルに対するその後の適用は、前記可搬デバイスで行われ、前記方法は、 ピッチシフトおよびボーカルエフェクトが適用された、前記ユーザから取込まれたボーカル演奏を、前記可搬デバイスで再演奏することをさらに含む、
   ことを特徴とする請求項８に記載の方法。
10. 遠隔サービスもしくはサーバにおける前記ボーカルエフェクトスケジュールの前記その後の適用のために、前記ユーザから取込まれたボーカル演奏の前記ドライボーカルバージョンの音声信号エンコーディングを、前記通信インターフェイスを介して、前記遠隔サービスもしくはサーバへ伝送することをさらに含む、
    ことを特徴とする請求項８に記載の方法。
11. 前記遠隔サービスもしくはサーバで組み合わせるべき複数のボーカル演奏のうちの一つを前記ユーザの取込まれたボーカル演奏が構成するオープンコールの指示を、前記伝送された前記ドライボーカルの音声信号エンコーディングに関連付けて、もしくは関連付けるために伝送することをさらに含む、
    ことを特徴とする請求項１０に記載の方法。
12. 前記オープンコールの指示は、前記ユーザのボーカル演奏と演奏するためにミキシングされるべき、さらなる一つ以上のボーカル演奏の、一人以上の他のボーカリストへの請求を行うように前記遠隔サービスもしくはサーバに指示する、
    ことを特徴とする請求項１１に記載の方法。
13. 前記請求は、
    前記ユーザによって特定される他の潜在的ボーカリストの列挙型セットと、
    前記遠隔サービスもしくはサーバによって定義されるか認識されるアフィニティグループのメンバーと、
    前記ユーザのソーシャルネットワーク関係のセットと、
    のうちの一つ以上に対して行われる、
    ことを特徴とする請求項１２に記載の方法。
14. 前記オープンコールの指示は、応答するさらなるボーカリストに対する提供のために、一つのさらなるボーカリストの位置、第二のボーカルスコアおよび第二の歌詞のうちの少なくとも一つを特定する、
    ことを特徴とする請求項１１に記載の方法。
15. 前記オープンコール指示は、さらなるボーカリスト位置、前記応答するさらなるボーカリストの前記ボーカル演奏に適用するための第二のボーカルエフェクトスケジュールの少なくとも一つをさらに特定する、
    ことを特徴とする請求項１４に記載の方法。
16. 前記ボーカルエフェクトスケジュールに従って処理された、前記ユーザから取込まれたボーカル演奏のバージョンを前記遠隔サービスもしくはサーバから受信することと、
    適用されるボーカルエフェクトとともに、前記ユーザから取込まれたボーカル演奏を前記可搬デバイスで再演奏することと、
    をさらに含む、
    ことを特徴とする請求項１０に記載の方法。
17. 前記ボーカルエフェクトスケジュールは、前記演奏が前記ボーカルエフェクトスケジュールを含むように、前記連続的リアルタイムピッチシフトを含む、レンダリングパイプライン内で、前記可搬コンピューティングデバイスで適用される、
    ことを特徴とする請求項１から１６のいずれか一項に記載の方法。
18. 前記ユーザから取込まれたボーカル演奏のユーザ選択された部分のボーカル再取込みを開始するための権利を前記可搬コンピューティングデバイスから取引することをさらに含む、
    ことを特徴とする請求項１から１７のいずれか一項に記載の方法。
19. 前記ボーカルスコアと、前記ユーザから取込まれたボーカル演奏の少なくとも一部との対応をコンピュータ処理で評価することと、
    メリットの閾値図に基づいて、前記ユーザから取込まれたボーカル演奏のユーザ選択された部分のボーカル再取り込みを開始するための権利を前記ユーザに与えることと、
    をさらに含む、
    ことを特徴とする請求項１から１８のいずれか一項に記載の方法。
20. 前記ピッチシフトは、前記ユーザから取込まれたボーカル演奏に対するピッチの連続的時間ドメイン計算に基づく、
    ことを特徴とする請求項１から１９のいずれか一項に記載の方法。
21. 前記連続的時間ドメインピッチ計算は、前記ユーザの取込まれたボーカル演奏に対応してサンプリングされた信号の現在のブロックに対して計算することを含み、ラグドメインピリオドグラム計算は、前記サンプリングされた信号の解析ウインドウに対する、ある範囲のラグに対する平均振幅差関数（ＡＭＤＦ）もしくは自己相関関数の評価を含む、
    ことを特徴とする請求項２０に記載の方法。
22. 前記ユーザ選択に応じて、前記通信インターフェイスを介して、前記バッキングトラックを検索することもさらに含む、
    ことを特徴とする請求項１から２１のいずれか一項に記載の方法。
23. 前記バッキングトラックは、前記可搬コンピューティングデバイスに対してローカルな記憶装置内に存在し、
    前記検索することは、前記ローカルに格納されたバッキングトラックから確認可能な識別子を利用して、前記対応するバッキングトラックおよび歌詞と時間的に同期可能な前記ボーカルスコアを識別する、
    ことを特徴とする請求項１から２２のいずれか一項に記載の方法。
24. 前記バッキングトラックは、インストルメンタルおよびバッキングボーカルのうちの何れかまたはその双方を含み、複数バージョンで演奏され、
    前記歌詞に対応して演奏される前記バッキングトラックのバージョンは、モノラルスクラッチバージョンであり、前記ユーザのボーカル演奏の前記連続的リアルタイムピッチシフトによりピッチシフトされた前記ユーザのボーカル演奏とミキシングされる前記バッキングトラックのバージョンは、前記スクラッチバージョンよりも品質もしくは忠実度の高いポリフォニックバージョンである、
    ことを特徴とする請求項１から２３のいずれか一項に記載の方法。
25. 前記可搬コンピューティングデバイスは、
    携帯電話と、
    パーソナルデジタルアシスタントと、
    メディアプレイヤーもしくはゲームデバイスと、
    ラップトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータもしくはネットブックの群から選択される、
    ことを特徴とする請求項１から２４のいずれか一項に記載の方法。
26. 前記ディスプレイは、前記タッチスクリーンを含む、
    ことを特徴とする請求項１から２５のいずれか一項に記載の方法。
27. 前記ディスプレイは、前記可搬コンピューティングデバイスにワイヤレスで結合される、
    ことを特徴とする請求項１から２６のいずれか一項に記載の方法。
28. 前記ドライボーカルの前記伝送された音声信号エンコーディングをジオコード化することをさらに含む、
    ことを特徴とする請求項１１に記載の方法。
29. 遠隔デバイスで取込まれた第二のボーカル演奏を含む音声信号エンコーディングを、前記通信インターフェイスを介して、前記遠隔サービスもしくはサーバから受信することと、
    前記第二のボーカル演奏を含む演奏に対応して、前記第二のボーカル演奏に対する地理的起源を表示することと、
    をさらに含む、
    ことを特徴とする請求項２８に記載の方法。
30. 前記地理的起源を表示することは、地球上の特定の位置から発する演奏を示唆するディスプレイアニメーションによって行われる、
    ことを特徴とする請求項２９に記載の方法。
31. タッチスクリーン、マイクロフォンインターフェイスおよび通信インターフェイスを有する可搬コンピューティングデバイスをボーカル演奏取込み用に利用することと、
    前記タッチスクリーン上のユーザ選択に応じて、前記通信インターフェイスを介して、対応するバッキングトラックおよび歌詞と時間的に同期したボーカルスコアを検索することであって、前記ボーカルスコアは、前記バッキングトラックに対して、ボーカル演奏の少なくとも一部に対する一連のターゲットノートをエンコードする、ことと、
    前記可搬コンピューティングデバイスで、前記バッキングトラックを演奏すること、ならびにそれと時間的に対応して、ディスプレイ上に前記歌詞の対応する部分を同時に表示することと、
    前記マイクロフォンインターフェイスを介して前記バッキングトラックと時間的に対応して、前記ユーザのボーカル演奏を取込むことと、
    前記通信インターフェイスを介して、前記ユーザから取込まれたボーカル演奏に適用されるべき少なくとも一つのボーカルエフェクトスケジュールの選択とともに、前記ユーザから取込まれたボーカル演奏のドライボーカルバージョンの音声信号エンコーディングを、遠隔サービスもしくはサーバに伝送することと、
    を含む、
    ことを特徴とする方法。
32. 前記選択されたボーカルエフェクトスケジュールを前記遠隔サービスもしくはサーバで適用することをさらに含む、
    ことを特徴とする請求項３１に記載の方法。
33. 前記可搬コンピューティングデバイスで前記ボーカルスコアに従って、
    前記ユーザから取込まれたボーカル演奏の少なくとも幾らかの部分の連続的、リアルタイムピッチシフトを実施することと、前記バッキングトラックの前記演奏へ、結果として生じるピッチシフトされた前記ユーザのボーカル演奏をミキシングすることと、
    をさらに含む、
    ことを特徴とする請求項３１もしくは３２のいずれか一項に記載の方法。
34. 前記選択されたボーカルエフェクトスケジュールは、前記ユーザのボーカル演奏の其々一つ以上の部分へと適用するための、スペクトルイコライゼーション、音声圧縮、ピッチ補正、ステレオディレイ、およびリバーブエフェクトのうちの一つ以上に対する設定および／もしくはパラメータのコンピュータ可読エンコーディングを含む、
    ことを特徴とする請求項３１から３３のうちのいずれか一項に記載の方法。
35. 前記ボーカルエフェクトスケジュールは、特定のアーティスト、曲もしくは演奏に特徴的である、
    ことを特徴とする請求項３１から３４のいずれか一項に記載の方法。
36. 前記ボーカルエフェクトスケジュールは、特定の音楽様式に特徴的である、
    ことを特徴とする請求項３１から３５のいずれか一項に記載の方法。
37. 前記ボーカルエフェクトスケジュールの少なくとも一部の購入もしくはライセンスを、前記可搬コンピューティングデバイスから取引することをさらに含む、
    ことを特徴とする請求項３１から３６のいずれか一項に記載の方法。
38. 前記ボーカルスコアと、前記ユーザから取込まれたボーカル演奏の少なくとも一部との対応をコンピュータ処理で評価することと、メリットの閾値図に基づいて、前記ボーカルエフェクトスケジュールの少なくとも一部に対するライセンスもしくはアクセスを前記ユーザに与えることと、
    をさらに含む、
    ことを特徴とする請求項３１から３７のいずれか一項に記載の方法。
39. 前記ボーカル演奏の選択された部分を再取込みするための権利を前記可搬コンピューティングデバイスから取引することをさらに含む、
    ことを特徴とする請求項３１から３８のいずれか一項に記載の方法。
40. 前記ボーカルスコアと、前記ユーザから取込まれたボーカル演奏の少なくとも一部との対応をコンピュータ処理で評価することと、メリットの閾値図に基づいて、前記ボーカル演奏の選択された部分を再取り込みするための権利を前記ユーザに与えることと、
    をさらに含む、
    ことを特徴とする請求項３１から３８のいずれか一項に記載の方法。
41. マイクロフォンインターフェイスと、音声トランスデューサインターフェイスと、データ通信インターフェイスと、
    バッキングトラックに対して選択的なユーザインターフェイスジェスチャーを取込み、それに対応して少なくともボーカルスコアの検索を開始するように、可搬コンピューティングデバイス上で実行可能なユーザインターフェイス符号であって、前記ボーカルスコアは、前記バッキングトラックに対するボーカル演奏の少なくとも一部に対する一連のノートターゲットをエンコードする、ユーザインターフェイス符号と、
    前記ユーザインターフェイス符号は、（ｉ）前記バッキングトラックの演奏と、（ｉｉ）ディスプレイ上の歌詞の同時表示と、（ｉｉｉ）前記マイクロフォンインターフェイスを利用する前記ユーザのボーカル演奏の取込みと、（ｉｖ）前記取込まれたボーカル演奏のドライボーカルバージョンのコンピュータ可読記憶装置への格納と、を開始するためのユーザインターフェイスジェスチャーを取込むようにさらに実行可能であり、
    前記ボーカルスコアに従って、前記取込まれたボーカル演奏の連続的リアルタイムピッチ補正を、前記演奏と同時に前記可搬コンピューティングデバイス上で実行可能なピッチ補正符号と、
    前記ユーザのボーカル演奏が取込まれる前記バッキングトラックの前記演奏へ、前記ユーザのピッチシフトされたボーカル演奏をミキシングするように実行可能なレンダリングパイプラインであって、前記レンダリングパイプラインは、前記ユーザから取込まれたボーカル演奏にボーカルエフェクトスケジュールを適用するようにさらに実行可能であって、前記ボーカルエフェクトスケジュールは、前記ユーザによって選択可能であり、かつ、前記ユーザのボーカル演奏の一つ以上の其々の部分へ適用するためのスペクトルイコライゼーション、音声圧縮、ステレオディレイおよびリバーブエフェクトのうちの一つ以上に対する設定および／もしくはパラメータのコンピュータ可読エンコーディングを含む、レンダリングパイプラインと、
    を含む、
    ことを特徴とする可搬コンピューティングデバイス。
42. 前記ディスプレイをさらに含む、
    ことを特徴とする請求項４１に記載の可搬コンピューティングデバイス。
43. 前記データ通信インターフェイスは、前記ディスプレイに対するワイヤレスインターフェイスを提供する、
    ことを特徴とする請求項４１か４２のいずれか一項に記載の可搬コンピューティングデバイス。
44. 前記ユーザインターフェイス符号は、ボーカルエフェクトスケジュールのユーザ選択を示すユーザインターフェイスジェスチャーを取込み、それに応じて、遠隔サービスもしくはサーバにおいて前記選択されたボーカルエフェクトスケジュールのその後の適用のために、前記ユーザから取込まれたボーカル演奏の前記ドライボーカルバージョンの音声信号エンコーディングを、前記データ通信インターフェイスを介して前記遠隔サービスもしくはサーバへと伝送するようにさらに実行可能である、
    ことを特徴とする請求項４１から４３のいずれか一項に記載の可搬コンピューティングデバイス。
45. 前記伝送は、前記ドライボーカルの前記音声信号エンコーディングに関連して、もしくは関連付けるために、前記遠隔サービスもしくはサーバで組み合わせられるべき複数のボーカル演奏のうちの一つを前記ユーザから取込まれたボーカル演奏が構成するオープンコールの指示を含む、
    ことを特徴とする請求項４４に記載の可搬コンピューティングデバイス。
46. メリットの閾値図に基づいて、前記ボーカルエフェクトスケジュールの少なくとも一部に対するライセンスもしくはアクセスを前記ユーザに与えるために、前記ボーカルスコアと、前記ユーザの取込まれたボーカル演奏の少なくとも一部との対応を評価するように、前記可搬コンピューティングデバイス上で実行可能な符号をさらに含む、
    ことを特徴とする請求項４１から４５のいずれか一項に記載の可搬コンピューティングデバイス。
47. メリットの閾値図に基づいて、前記ボーカル演奏の選択された部分を再取込みするための権利を前記ユーザに与えるために、前記ボーカルスコアと、前記ユーザの取込まれたボーカル演奏の少なくとも一部との対応を評価するように、前記可搬コンピューティングデバイス上で実行可能な符号をさらに含む、
    ことを特徴とする請求項４１から４５のいずれか一項に記載の可搬コンピューティングデバイス。
48. ローカル記憶装置をさらに含み、
    前記開始された検索は、前記ローカル記憶装置内に、遠隔サーバから入手可能なインスタンスに対応する前記ボーカルスコア情報のインスタンスが、もしあれば、確認することと、
    ローカル記憶装置内のインスタンスが利用不可能もしくは古い場合に、前記遠隔サーバから検索することと、を含む、
    ことを特徴とする請求項４１から４７のいずれか一項に記載の可搬コンピューティングデバイス。