JP6814146B2 - オーディオをキャプチャーし、解釈するシステムと方法 - Google Patents

Description

関連出願の参照
本出願は、２０１５年６月１６日に出願した米国仮出願番号６２／１９３，３２３、２０１４年９月２５日に出願した米国仮出願番号６２／０５５，０３７、２０１４年９月２５日に出願した米国仮出願番号６２／０５５，０２４の各々を、参照して取り込む。

本発明は、オーディオをキャプチャーし、解釈することに関し、および、オーディオを用いてコンピューターシステムを制御することに関連する。具体的には、本出願で開示するものは、打楽器をキャプチャーし、および同期するシステムのために、ハードウェアおよびソフトウェアコンポーネントに関する。

背景技術
打楽器のような、多くの伝統的音響楽器は、電子システムによってエミュレートされたり、合成されたりできない。電子ドラムをつくろうとする試みの一方で、電子ドラムは、現状、音響ドラムキットの音を再生できず、音響性能の微妙な点は、ドラムに相当する既存の電子機器を使うことで失われる。

現代の電子ドラムキットは典型的に、トリガーで電子ドラムパッドを打つことで、特定の音を再生するように、２進数のトリガーを用いて起動される。しかしながら、音響ドラムキットは、連続体としてのメインドラムパッドを用いることで、離散的な一連のトリガーよりむしろ、非常に広い範囲の音を再生し、および、異なる材料または異なる技術でドラムをたたくことで、物理物体の音響を異なる方法で活かして異なる音を再生する。例えば、ドラマーは、ドラムのリムや、ドラムの横、電子デバイスがトリガーを有さない他の場所を叩くことで、独自の音をつくる。いくつかの電子ドラムパッドは、より強く叩くと、より弱く叩くとの間を区別することができる一方、それらは、どのトリガーを活かす、およびどんな力かにまだ制限がある。

伝統的に、音響ドラムは、ドラムから生じる音以外に、環境音を検出する傾向がある標準的な音響マイクロフォンによりキャプチャーされた。環境音は、処理中に分離困難な不要な音を含むかもしれない。さらに、マイクロフォンは、キャプチャーされた演奏から特定の音を再生するために使用できる信号を生成できるが、それは、演奏を修正または再生を洗練するために使用できない。なぜなら、その信号はコンピューターシステムが解釈することが難しく又は不可能だからである。さらに、その信号は、コンピュータを、容易に制御することはできず、キャプチャーされた増幅バージョン以外のカスタマイズされた音の再生の原因となる。

さらに、既存の電子ドラムキットは、ミュージシャンが使い慣れていたものと異なる見た目や感じ方がする機器の新しいセットに、彼ら自身を慣れ親しませることを要求する。ドラマーは、典型的には、彼らのキットが快適であり、長年使用した機器に関する特別な技術を行使することに熟達している。

音響効果やオリジナル楽器のアナログ性質を失わずに、打楽器をエミュレートし、合成することができるシステムにニーズがある。打楽器からキャプチャーした信号を解釈し、コンピューターシステムの出力を制御するために、それらを用いることができるシステムにさらにニーズがある。打楽器奏者が、現在使用している且つ伝来のマイクロフォンの制限なしで、快適な機器に適用可能なシステムにさらにニーズがある。

概要
本開示は、オーディオ信号をキャプチャーし解釈するシステムおよび方法に向けられ、システムおよび方法による解釈に基づいて選択される音を出力することにも向けられている。さらに、本開示は、システムを動かす方法はもちろんのこと、そのシステムと一体で使用される装置である。

デバイスは、システムの一部として提供され、そのシステムは、音楽楽器のような物体によって生成される振動をキャプチャーする。デバイスは、前記物体に前記デバイスを固定するための、留め金のような、固定エレメントを備える。下記記載のように、前記物体は、ドラムであるが、デバイスは、他の機器にも提供可能である。デバイスは、前記ドラムのリムのような表面に接触して配置される第１センサーを有する。これは、前記第１センサーを、前記固定エレメント内に配置することでなされる。デバイスは、前記ドラムに関連して固定位置で、配置され、ドラムに接することなく配置される第２センサーをさらに有する。第２センサーは、前記ドラムの頭部の上に吊るされ、固定エレメントに接触し、または、デバイスに関係するハウジングに接触してもよい。

このデバイスでは、第１センサーは、前記ドラムのリムにおける振動を直接的に検出するセンサーであり、例えば、ピエゾ電子センサーエレメントであり、第２センサーは、触れることなくドラムヘッドにおける振動を検出し、ドラムヘッド上に配置されるマグネットとペアとなるコイルセンサー、ハイスピードカメラ、またはレーザーベースのセンサーである。第２センサーは、センサーをドラムヘッドに動かすためのアジャスターに設置される。

デバイスは、センサーを守るために、および、ドラマーがそのデバイスを固定するドラムを演奏する間に、付加的な表面としてふるまうために、第２センサー上に装着されるテーパー型、または、湾曲型の打面を有する。

固定エレメントとしてのクランプは、異なる種類のドラムをグリップする形状部を別に有する低いアームを有し、デバイスそれ自身は、異なるセンサーから信号をミキシングするためのボード回路と、ポテンショメータ上に備え付けられる。

デバイスは、システム内で使用されえ、２つのセンサーから信号、または、２つのセンサーから一つの混合う信号を、オーディオインタフェースに出力し、および、結果として得られた信号は、データ処理デバイス内の電気信号から音を出力する方法によって使用される。

ある実施形態では、システムは、ハウジングを要求せず、物体によって生成される振動をキャプチャーするシステムであって、システムは、物体の表面に接触する第１センサーと、前記物体および前記第１センサーから離れた間隔で置かれ、かつ前記物体に対応して配置されるが接触はしない、第２センサーと、前記第１センサーおよび第２センサーでキャプチャーされる信号に基づいてオーディオイベントを識別するプロセッサと、を備える。その指摘は、センサー出力を解釈するように設計されている方法によってなされる。

したがって、方法は、データ処理デバイスが、オーディオデータのストリームを受信し、オーディオデータの中で、オーディオイベントの開始を認識し、前記オーディオデータの中で、オーディオイベントのオンセット位置に基づいて、前記オーディオデータから離散分析窓を選択することで規定される。

分析窓のコンテンツを用いて、方法は、前記分析窓の内容を評価することで前記オーディオイベントのｎ次元表現、またはオーディオイベントの他の識別を生成し、かつ、前記分析結果を記録し、複数の前記ｎ次元に沿うオーディオイベントの期待表現と、前記オーディオの前記ｎ次元とを比較することで、前記オーディオデータ内のオーディオイベントを識別する。

オーディオイベントが識別されると、方法は、オーディオイベントの分類に応じて音を出力する。

オーディオイベントを表すために使用されるｎ次元表現は、オーディオ調またはオーディオ質要素のような、オーディオイベントの異なるオーラル品質を、各々表す。

前記オーディオデータは、時間ドメインオーディオ信号であり、分析窓は、前記オーディオデータを、周波数ビンに分けるために、Ｃｏｎｓｔａｎｔ−Ｑ変換を用いて、前記周波数ドメインに変換することを含む。一度ｎ次元表現が生成されると、前記ｎ次元は、前記ｎ次元の少なくとも２つにおける期待シグナルパラメータによって規定される複数のオーディオゾーンと、地理的に比較される。

地理的表現は、サンプルオーディオイベントに関係づけられる地理ゾーンに対するオーディオイベントをマップするのに使用される。そして、一度対応するゾーンが選択されると、対応するサンプルオーディオが出力される。

いくつかの実施形態では、ｎ次元表現は、一つのゾーンに適合せず、地理的解釈が、複数のゾーンを横断する音を重みづけするために使用される。いくつかの実施形態では、これは、異なる寸法を横断して別々になされ、異なるゾーンに関係づけられるサンプルオーディオは、混合出力を成し遂げるために、混ざられる。いくつかの実施形態では、各寸法は、どのように選択ゾーンに関係づけられるべきであるかを決定する信用レベルを提供する。

いくつかの実施形態では、トレーニング方法が、システムに提供され、その方法は、モデルを実装するためのオーディオイベントを選択し、オーディオイベントを生成する。典型的には、ユーザは、複数のオーディオイベントをトレーニングするためにこれを行う。いつくかの実施形態では、ユーザは、ドラム演奏中にバスドラムのキックのようなオーディオ信号を無視する方法をトレーニングする。ある実施形態では、ユーザは、オーディオイベントが、無視され、それからオーディオイベントを実行することをシステムに指示する。

図１は、音楽楽器からオーディオをキャプチャーし、合成するシステムの実装を示す図である。

図２は、打楽器からオーディオをキャプチャーする装置の左側面図である。 図３は、打楽器からオーディオをキャプチャーする装置の右側面図である。

図４は、図１のデバイスの打楽器の左透視図である。

図５は、図１のデバイスの部分的に断面した左透視図である。

図６は、図１のデバイスの底面側透視図である。

図７は、センサーをデバイスから延長しているデバイスの左側透視図である。

図８は、楽器からオーディオをキャプチャーし合成する装置の第２実施形態の左側面透視図である。

図９は、ドラムに装着された図１のデバイスの透視図である。

図１０は、図１のデバイスのオンボード混合回路を説明する回路図である。

図１１は、電気信号から音を生成する方法を実行するための信号の流れを示す図である。

図１２は、図１１の概要における頭子音を検出するフローチャートである。

図１３は、図１１の概要におけるスペクトラル分析の方法を検出するフローチャートである。

図１４は、図１１の概要におけるオーディオ信号を分類するフローチャートである。

図１５は、図１１の概要を利用したシステムにおけるオーディオ信号の分類を説明する図である。 図１６は、図１１の概要を利用したシステムにおけるオーディオ信号の分類を説明する図である。 図１７は、図１１の概要を利用したシステムにおけるオーディオ信号の分類を説明する図である。

図１８は、記述した方法およびシステムを実行するグラフィカルユーザインターフェースを図解する図である。 図１９は、記述した方法およびシステムを実行するグラフィカルユーザインターフェースを図解する図である。

図２０は、図１のデバイスを説明する概略図である。

本発明の原則に従う本実施形態の記載は、全記述の部分として考慮される図面に関連して読まれることを意図している。傾向、方向づけへの参照は、記述の利便性を単に意図しており、本発明の範囲を限定することを意図していない。関連用語、「より低い」、「より高い」、「水平」、「垂直」、「より上」、「より下」、「上」、「下」、「底」、もちろん、派生語（「水平に」、「下方に」、「上方に」）は、議論されるうえでの図面で示される、記載される方向付けとして解釈されるべきである。これらの関連用語は、記載に便利なだけであり、明確にそれが示されない限り、特定の方向付けにより、解釈され、または、動作する機器であることを要求していない。「添付」、「添える」、「接触する」、「接続する」、「内部連携する」、および類似のものは、それら構成が安定しているまたは、取り外し可能固定しているものまたは関係はもちろんのこと、はさまる構成物を介して、他のものに直接的または間接的にくっついていることを、明確にそれが示されない限り、参照している。さらに、本発明の特徴や便益は、例示される実施形態を参照することで、説明される。したがって、表現される発明は、可能性のある非限定の特徴の組み合わせが、単独で存在し、または、特徴の他の組合せで存在する。請求の範囲で規定される発明の範囲は、ここに添付される。

この開示は、ベストモードまたは現在塾考した発明を実施するモードを記述している。この記述は、限定する感覚で理解されるべきではなく、当業者に本発明の利点や構成をアドバイスするために、関連する図面を参照することで、単なる例示目的で本発明の例を提供している。図面の様々な見方において、参照符号は、同様または同じパーツを指定する。

ハードウェアシステムは、音楽楽器からオーディオをキャプチャーし、それらのオーディオを解釈し、コンピュータのオーディオ出力を制御するように、コンピュータを制御するために生成した信号を使用するソフトウェア方法と結合している。そのようなシステムは、キャプチャーされたオーディオをエミュレートしたり、合成し、また、それは、音楽楽器による生成されたものにマップされる音サンプルを出力する。マップされる音サンプルは、音楽楽器の実際の音に関連しない、しかし、それとインタラクトするミュージシャンのやりかたや、音響楽器に構造的に関連する音にむしろ関連する新しい音かもしれない。

記載されるハードウェア要素は、音楽楽器からオーディオをキャプチャーするために使用される複数のセンサーを備えるデバイスを含むが、ここでは、デバイスと、マイクロフォンの両方として参照する。キャプチャーしたオーディオは、様々なソフトウェア方法を用いるコンピュータシステムで処理される電気信号に変換される。同時に、ここで記載されるソフトウェア方法は、音楽楽器のための音を識別し、エミュレートし、または、合成するために書かれるもの以外に、ハードウェア要素から抽出される信号を解釈するために利用される。それは、さらに、ここで記載される実施形態が、打楽器、特に、ドラムに関連する一方で、類似のハードウェアおよびソフトウェアは、他の音楽楽器および音響物体からの音をキャプチャーし、エミュレートするために使用される。

図１は、ドラムからのオーディオをキャプチャーし、合成するシステムの実装を示す図である。示されるように、システムは、ドラムから音をキャプチャーし、合成する様様なデバイス１００を備える。同一のデバイス１００は、スネアドラム１１０、トーン（Ｔｏｒｎ）ドラム１２０、キックドラム１３０を含む、様々なドラムタイプから音をキャプチャーすることができる。

キャプチャーされる音は、アナログ信号として、プレアンプまたはアナログデジタル変換器１４０のオーディオインタフェースに送信され、それは、オーディオ信号を処理し、さらに音を処理し、出力への音サンプルを選択し、それから、ＰＡシステム１４５や、ヘッドフォンモニタ１４７のようなオーディオ出力に転送するためのオーディオ信号を生成する。ある実施形態では、オーディオインタフェースは、処理済みデジタル信号（ｒｅｓｕｌｔｉｎｇ ｄｉｇｉｔａｌ ｓｉｇｎａｌ）を、さらに処理し、且つ、音サンプルを選択し、または音合成処理を適用し、出力信号を生成するために、外部コンピュータ１５０に送信する。ある実施形態では、コンピュータ１５０は、オーディオアンプまたはリアルタイムで音信号を出力するスピーカに接続され、または、それは、オーディオ出力の分析または記録結果を保存するように構成されている。ある実施形態では、コンピュータ１５０またはオーディオインタフェース１４０は、ユーザーデザインされた出力プロファイルを許容するインタフェースを介して、システムにより制御される光源システム、または、ハードウェアシンセサイザーのような他のハードウェアデバイスに接続される。例えば、制御メッセージは、そのシステムの外側にルート付け可能な一般ＭＩＤＩメッセージとして出力される。

このシステムは、リアルタイムパフォーマンスのために使用され、その場合、音は、各ドラム１１０、１２０、１３０からキャプチャーされ、処理のためにオーディオインタフェース１４０に送信され、オンボードプロセッサにより処理され、または、さらなる分析および分類のためにコンピュータ１５０に送られ、エミュレートまたは合成音の中間再生ためにアンプに送信される。中間再生は、ドラムキットの音響再生に可能な限り近づける音に設計されるサンプルである一方で、それは、異なるドラムキット、異なるタイプのドラム、伝統的な打楽器演奏に関係しない著しく異なるサンプルのような、異なる音プロファイルを、ドラムキットに与えるように設計される代替サンプルまたは合成音の再生でもある。さらに、その信号は、ハードウェアシンセサイザー、光源、または他のデバイス以外の機能のために制御信号として解釈され、使用される。

図２および図３は、打楽器からオーディオをキャプチャーする装置１００の左側および右側側面図であり、図４は、デバイス１００の打楽器の左透視図であり、図５は、デバイス１００の部分的に断面した左透視図であり、図６は、デバイス１００の底面側透視図であり、図７は、センサーをデバイスから延長しているデバイスの左側透視図であり、図８は、楽器からオーディオをキャプチャーし合成する装置１００の第２実施形態の左側面透視図であり、図９は、ドラム１１０に装着されたデバイス１００の透視図である。

デバイス１００は、音楽楽器にデバイスを固定する固定エレメント２００と、ドラム１１０のリム（ｒｉｍ）２２０で固定され、リムまたはシェル（ｓｈｅｌｌ）、またはドラムの固い要素からの振動を変換するための第１センサー２１０と、ドラムに関連し固定位置にある固定エレメントにより吊るされる第２センサー２３０とを有する。第２センサー２３０は、ドラムヘッド２２５、または他のソフトメンブレン要素からの振動を変換する。ドラム以外の音楽楽器の場合、第２センサーは、別なやり方で、音楽楽器に関する固定位置に吊るされることが了解される。これら全ての要素は、互いに関して記載される要素をアレンジし、ドラム１１０に関する特定位置にセンサー２１０、２３０は、保持されるように設計される。

固定要素２００は、クランプ機構であってもよく、第１センサー２１０は、ドラム１１０のリム２２０に固定するように、固定要素２００のグリップ２５０内に装着される。第１センサー２１０は、圧電性素子のような、リム２２０の振動から信号を抽出するタイプであってもよい。固定素子２００は、ドラムリム２２０に固定され、それから、第１センサー２１０は、ドラムのリムおよびシェル上の振動を検出およびキャプチャーする。

あるいは、第１センサーは、グリップ２５０の中というより、むしろ、デバイスのハウジング２４０内に格納される圧電性素子であってもよく、固定素子の上位クランプに調整されるドラムリムまたはグリップ２５０上に配置されてもよい。小さな（約２０ｍｍ）セラミック圧力ディスク素子または同サイズのポリビニリデンフルオライド（ＰＶＤＦ）圧力素子が使用される。それから、この変換器、または、センサー２１０は、ドラムのリムおよびシェルから振動を拾う。圧電センサーが記載されている一方、他のタイプのセンサーも考えらえる。

第２センサー２３０は、ハウジング２４０、または、固定エレメント２００、固定エレメントの延長からつるされ、および、ドラム１１０、具体的にはドラムヘッド２２５の振動を検出するため、および、環境音を排除するために選択される。例えば、第２センサー２３０は、ドラムヘッド２２５の振動を検出するための、電磁気コイルピックアップのようなコイルセンサーであってもよい。電磁気コイルピックアップは、鉄コアを覆う胴巻きスレッドで作られ、適切なコイルは、電話の受け手から直接電話の会話を録音するために使用される小さな電話ピックアップでもよい。

他のタイプのセンサーも第２センサー２３０として考慮される、例えば、高速カメラ、レーザーベースセンサーである。高速度カメラを、コイルやレーザーの位置に使用する場合、カメラは、ドラムヘッドノメンブレンの位置を狙い、それは、メンブレンの動きの動画を送信する。映像信号は、近似ベースでメンブレン上の円状のマーカーが直径が大きくなるか小さくなるようにカメラで見えるかなどのように、映像フィードにおける変化を分析することで検出する。直径の変動が、メンブレン振動を測定するものとしてふるまう。

第２センサー２３０は、電磁気コイルセンサーである場合、ドラムヘッドの表面に固定されるレアアース磁石のような小さなマグネット２３５とペアにされる。磁石は、糊または転写接着剤で表面に固定され、廃棄可能常置き、または一回使用ステッカーの形態で提供される。

図７に示されるように、第２センサー２３０は、デバイスのハウジング２４０から延ばされる。第２センサー２３０は、センサーを位置づけるドラムヘッドに水平または垂直なセンサーを動かすために、調整器具（ａｄｊｕｓｔｍｅｎｔ）２７５を提供し、または、調整器具は、ドラムヘッドに対する角度において、センサーをより低くするように提供される。一度、第２センサー２３０が配置されると、キャムロック（ｃａｍ ｌｏｃｋ）２７７は、センサーの位置を確保するように使用される。第２センサー２３０が電磁気コイルセンサーである場合、その調整器具は、ドラムヘッドの表面に固定される磁石２３５上に直接センサーを配置し、且つ、変換器の感度を制御するコイルと磁石との間の距離を制御するように、使用される。

ハウジング２４０は、２つのセンサー２１０、２３０各々の利得を調整するためのポテンショメータはもちろんのこと、様々な音楽楽器１１０、１２０、１３０を適合するための固定エレメント２００を調整するつまみねじ２６０をさらに含む。２つのポテンショメータは、２つのセンサーは、示され、記述される一方で、付加的なセンサーまたはセンサータイプが、存在するデータおよび精度を提供するかもしれない。

固定エレメント２００は、クランプであり、様々なスタンダードドラムヘッドのような、様々な楽器に適用するように設計されているフックを含む。そういうものとして、クランプの高い位置は、第１センサー２１０を含むグリップ２５０があり、一方で、クランプの低い位置は、バスドラムのような一つのタイプのドラムをグリップする第１セグメント２８０と、スネアドラムのような第２のドラムタイプをグリップする第２セグメント２９０のフックになる。

図９の別の実施形態で示されるように、デバイスは、ストレイインパクト（ｓｔｒａｙ ｉｍｐａｃｔ）からデバイスの内部構成要素をともに守るストライクバー３００をさらに含み、独自の音、または効果を生成するために、ドラマーが使用する独自の打ち面（ｓｔｒｉｋｉｎｇ ｓｕｒｆａｃｅ）としてふるまう。ある実施形態では、ストライクバーは、照明シーケンス（ｌｉｇｈｔｉｎｇ ｓｅｑｕｅｎｃｅｓ）のようなビジュアル効果を生じるように使用されるかもしれない。ストライクバーは、ドラムヘッドから第２のセンサーの反対側によりかかるように、第２センサー２２０上に装着される。ストライクバー３００は、様々な幅の音が異なる点でバーを叩くことでなされるように、音質または階調シフト（ｔｏｎａｌ ｓｈｉｆｔ）を示すその長さに沿って異なる点でバーを叩くように、テーパー、および／または、カーブ状である。ストライクバー３００は、固定エレメントのそばのハウジング２４０に固定され、ストライクバーの位置が、様々な音を許すように吊られるように、第２センサー上を片持ち梁のように作られる。

出力は、メスＸＬＲ出力ジャックのような、標準出力ポート３１０を介してプレアンプに送られる。

ある実施形態では、デバイス１００は、第１センサー２１０からの信号と、第２センサー２３０からの信号を混ぜるために、ハウジング２４０内のオンボードミキシングハードウェアと一体化してもよく、ＸＬＲインタフェース３１０を通る出力は、モノオーディオチャネルとして提供されてもよい。

図１０は、図１のデバイス内に実装されるオンボード回路の一例である。オンボード回路は、アクティブプレアンプ、出力ケーブルから供給される４８ボルトのファントム電源を介して、または、壁コンセントから供給される電池または電力のどちらかの外部電源によって、給電されるミキシング回路とからなる。これらの回路は、各変換器からの信号を活動的に調整し、出力信号を混合する。これは、圧電信号状況のためのチャージアンプ構成、磁気コイル用のインバーティングプリアンプ、信号を混合する２つのバッファーオペアンプ回路を用いて、オペレーショナルアンプ回路で動かされる。各信号は、ユーザーが混合前に独自に利得を制御できる可変ポテンショメータ２７０を有する。

混合前に、デバイス１００は、ＸＬＲポート３１０を介してバランスラインに沿ってモノ信号を出力し、それは、デジタルオーディオストリームでソフトウェアシステムに供給するため、プレアンプユニット、およびアナログデジタル変換器１４０に順に接続する。

ある実施形態では、第１センサー２１０および第２センサー２３０は、固定エレメント２００なしで提供される。その場合、第１センサーは、ドラム１１０の表面上に直接はいちされ、第２センサーはドラムヘッド２２５上に吊るされる。ある実施形態では、システムは、ドラムキットの複数のドラム１１０、１２０、１３０を分析するために提供され、各ドラムは、第２センサーが、ドラムキットの全ドラムから振動をキャプチャーするように提供される一方で、第１センサー２１０を提供する。

下に記載されるソフトウェア方法は、図２〜１０に関して議論されたデバイス１００の出力を活用するが、別な方法として、センサーまたはセンサーセットでキャプチャーされる振動をいかなる物体に適用してもよい。音響音楽楽器は、これらのタイプの物体で理想的な例であり、本方法は、ドラムを分析することに関して記載される。

最初に、音響出力が、キャプチャーされ、オーディオ出力１４０のようなアナログデジタル変換器を通して、デジタルドメインに変換され、そして、コンピュータまたはオーディオインタフェース１４０内のプロセッサで受信される。次の記述の多くの観点は、以下を含むが限定されず、オンセット（ｏｎｓｅｔ：音の開始地点）検出、データ削減、モデル設計および選択、分類、グラフィカルユーザインターフェースの設計の方法、および、ユーザーからの制御バリューの抽出方法であり、本発明のスピリットから離れることなくなされる多数の修正を含み、そして、適当な他の価値によって置き換えられる。

図１１は、電気信号からの音を生成する方法を実行するシグナルフローのための概略を示す。方法を動かすコンピュータシステム１５０は、最初に、プレアンプ１４０からのオーディオデータを備えるデータストリームを受信する（１０００）。それから、その方法は、オーディオデータのなかのオーディオイベントのオンセットを識別する。オンセットは、例えば、ドラムヘッドにドラムスティックの衝撃であり、結果生じるオーディオイベントは、ドラムヘッドの反響音になる。オンセットの決定は、図１２に関して下記に詳細に記載される。

オンセットがオーディオデータで識別されると、離散分析窓（ｄｉｓｃｒｅｔｅ ａｎａｌｙｓｉｓ ｗｉｎｄｏｗ）がオーディオイベントのオンセットの位置に基づいてオーディオデータから抽出される。分析窓は、十分にオーディオイベントを識別するため、オーディオイベントのオンセットの後に、十分の時間をキャプチャーするように選択される。

離散分析窓が抽出された後、信号の抽出セグメントのスペクトラムが分析され、キャプチャーされたオーディオイベントのｎ次元表現を生成するために使用される。これらの次元は、キャプチャーされた楽器に識別されるオーディオイベントのオーラル要素をキャプチャーするために選択され、その次元は、プレラベルしたデータに関して教育されたニューラルネットワークを用いて選択される。例えば、ドラムや他の楽器の場合、これらの次元は、オーディオイベントの音質をキャプチャーするように選択される。これは、図１３に関して詳細に議論される。

オーディオイベントは、それから、少なくともｎ次元のいくつかに渡るオーディオイベントの期待表現に対して、オーディオイベントのｎ次元表現を比較することで分類される（１３００）。これは、新しくキャプチャーしたオーディオイベントと、先に同じ機器で演奏したと識別される演奏とを比較するために、ユーザー訓練モデルを用いて実行される。これは、先に収集したデータから学んだ十分に訓練されたモデルを用いて実行される。そのようなモデルは、ユーザーまたはキャプチャーした特定機器によっては訓練されず、ドラムに関するイベントの一般的な知識を有し、その知識に基づいて分類を実行する。ある実施形態では、十分に訓練されるモデルは、特定のドラムキットにマップするように設計されるモデルとしてのソフトウェアを提供する。したがって、そのようなモデルは、共通して使用される標準的ドラムキットの多数のために、事前訓練される。

ある実施形態では、分類は、それから、データべースに格納されたり、ユーザーによって生成されるような、オーディオイベントの期待表現に関するオーディオイベントを決定するために、幾何学解釈エンジンを通過する（１４００）。このプロセスは、図１４に関していかに詳細に記述され、そのプロセスの実装は、図１５〜１７で図解される。

最後に、オーディオサンプルまたはオーディオ合成プロセスは、ユーザープログラム音出力マッピングはもちろんのこと、分類（１３００）および幾何学的解釈（１４００）に基づいて再生されるように選択され、音として出力される（１５００）。この音は、新しいオーディオファイルとしてセーブされ、または、ライブパフォーマンスの場合には、即座にアンプまたはスピーカーに出力される。オーディオサンプルは、データベースに保存され、または、それは、幾何学的解釈（１４００）に基づき結合された複数の格納済みサンプルに基づいて生成される。ある実施形態では、再生のために選択されるオーディオサンプルは、分類または幾何学的解釈から導かれるアルゴリズムに基づいて全体的に生成される。プロセスが、オーディオ出力に関して説明される一方で、出力は、光源のような非オーディオイベントを作動させるための制御信号出力でにある。

図１２は、図１１の概要内におけるオンセット検出１１００の方法のためのフローチャートである。最初に、コンピュータシステム１５０は、プレアンプ１４０からオーディオデータを受け取り（１０００）、イベントのオンセットの特質を決定するために、最初のスペクトラム分析を適用する。これは、そのイベントの発生が、ドラムヘッド２２５をドラムスティックで叩くことのような、シングルインパクトであるか、または、インパクトの素早い連続（ロール）のような連続イベントか、または、インパクトまたはブラシでインパクトの連続のようなもっと微妙なオーディオイベントかを決定する。

オーディオは、デジタルストリームでシステムに入ってくるので、スペクトラム解析中にサンプルセットを取得して、スペクトラルブリード（Ｓｐｅｃｔｒａｌ Ｂｌｅｅｄ）を減らすために、ハン窓関数または他の窓化関数を適用することで、取得したサンプルセットは窓化される。ストリームは、アナリシスウインドウ（Ａｎａｌｙｓｉｓ Ｗｉｎｄｏｗ）をオーバーラップすることができるように、バッファにセーブされる。実施形態に示されるように、コンピュータシステム１５０は、オーディオのブロックを、周波数スペクトラム表現に変換するために、最初に、評価される分析される窓（Ｗｉｎｄｏｗ）に、高速フーリエ変換（ＦＦＴ）を適用する。

それから、マルチバンドプーリング変換が、周波数表現を圧縮するために適用される。例えば、メル周波数変換、または、一定Ｑ変換がここで適用される（１１２０）。オンセット関数は、それから、オンセットを表現するためにどちらのピークを選択する（１１４０）または、ロールまたは他の連続イベントが生じているかを決定する（１１５０）ために、様々なスペクトラム要素に重みを付け、および、合計するために適用される。

オンセット関数（１１３０）は、信号の平均スペクトル包絡線により分けることで、信号の平均スペクトラル最初に信号を要約し、すなわち、信号中の反響を削減する。これは、共振ドラムを使用するとき、オンセット失敗を減らすように動作する。統合表現（Ｐｏｏｌｅｄ Ｐｒｅｓｅｎｔａｔｉｏｎ）の各々のバンドは、高周波に有利なように重みづけされ、および、オンセット関数は、ウィンドウをデシベルに変換し、ウィンドウ間の差異を生成するために、先のウィンドウを引き、半波整流アルゴリズムを適用し、それからウィンドウを合計する。ここで記載されるオンセット関数では、オンセットは、関数の中の高いピークで表現される。シングルオンセット関数（１１３０）が詳細に記載される一方で、他の関数が、イベントのオンセットも識別するために使用される。

オンセット関数は、それから平均適合性閾値ウィンドウ（ｍｅａｎ ａｄａｐｔｉｖｅ ｔｈｒｅｓｈｏｌｄ ｗｉｎｄｏｗ）を用いて、ノイズを最小化し、最小オンセット距離（例えば、２および３ミリ秒の間）およびオンセット関数のコンテキスト内のオンセットのための最小閾値を制御する一方で、関数内のピークを探すピークピッキングアルゴリズムに投入される。ある実施形態では、アルゴリズムは、参照のために提供されるサンプルタイム値とともに、オンセットが生じたか否かを判断する次の３つの基準をテストする。
ａ． 現状のフレーム値は、与えられた時間のウィンドウ（約３ミリ秒）内のすべての先のフレームより、大きい？
ｂ． 現状のフレーム値は、与えられた時間のウインドウ（約３〜１６ミリ秒）内の先の平均値＋与えられた閾値より大きい？
ｃ． 与えられた時間（〜３ミリ秒）以内に生じる先のオンセットが生じている？

記載されるアルゴリズムは、ドラムの使用のために調律さていると記載される一方で、それは、対応するオンセット関数を使用して他の楽器と動作するように適用されてもよい。

オンセットファンクションの出力（１１３０）および／またはオリジナルオーディオフレームは、それからまた、オンセット関数の長時間続くまたは次々と起こるピークにより示される長時間イベントを検出するためのアルゴリズムに投入される。このアルゴリズムは、ヘッドの上のスティックの早い弾みを生成するために、ドラムに対してスティックを押すことでスムースサウンドが生成されるドラム上のロールのような、特定の音楽ジェスチャーや技術、および、ジャズ音楽の現在にあるように、ドラムヘッド上をブラシをこすりつけることで生成する連続のジェスチャーの存在を、検出するように使用される。

連続ジェスチャーの場合のある実施形態は、オンセット検出ステップ（１１００）をバイパスすし、音質またはスペクトラム分析段階（１２００）にすすむ。これは、連続音および検出可能なオンセットによりの先行されない音質変化の分析および処理を許可する。

あるシナリオでは、後述されるニューラルネットワークは、連続イベントの分類および空間的投影（Ｓｐａｒｔｉａｌ ｐｒｏｊｅｃｔｉｏｎ）はもちろんのこと、オンセット検出のタスクを包含するように訓練される。あるいは、オンセット検出モジュールは、連続音のパターンを認識し、および、オンセットモ検出モジュールが連続イベントが終わることを検出するまで、連続分析を実行するために、分析ステージをトリガーするように利用される。

一度、オンセットが分析窓の長さ以内に検出されれば、サンプル精度のオンセット検出アルゴリズムが、オンセットの始まりの位置を特定するために、適用される。検出されるオンセットを含むオーディオの長さは、低周波および高周波要素を取り除くために、バンドパスフィルターされ、１０ｋＨｚ周辺の周波数を強調する。フレームは、それから半波長修正され、そして、移動（ｒｕｎｎｉｎｇ）最大ベクトルを生成するように処理される。これは時間の向きにおけるウィンドウ内の各サンプルを調査し、現状の最大値をベクトルとしてセーブすることで計算される。オンセットの開始は、ある閾値を超える移動最大値のこのベクトルの最初の値のインデックスを見つけることで決定される。移動最大のベクトルは、範囲内にその値が、オンセットのオリジナルの大きさにもかからわず、標準閾値の仕様を許可する範囲０〜１にある値のように、標準化される。このサンプル開始値は、イベントまたはオンセットの開始を含むオーディオフレームを除き、および、分析フレームまたは分析ウィンドウとして参照し、与えられた数のサンプルのためのオンセットを、引くくように使用される。

方法は、分析フレームを生成するために、所定のイベントのためのオーディオ情報の固定値を要求する。固定値は、使用され、オーディオ、フレームの長さは、待ち時間、イベント、システムの実行と精度の間の逆相関に結果としてなる。

図１３は、図１１の概念内におけるスペクトラル分析１２００の方法のフローチャートである。このスペクトラル分析１２００は、ドラムのようなパーカッション楽器の概念における音質分析である。オンセットが検出され、分析窓が抽出された後で（１２１０）、高速フーリエ変換（ＦＦＴ）が分析窓内のサンプルに適用され、そのＦＦＴにより生成されるデータシリーズに対して一定Ｑ周波数変換が次に生じる。フローチャートが一定Ｑ周波数変換により生じるＦＦＴの適用を図解する一方で、様々なシーケンス（ｓｅｑｕｅｎｃｅｓ）がその分析に適用される。例えば：
ａ． 窓化されたデータが、時間振幅表現（ｔｉｍｅ−ａｍｐｌｉｔｉｄｅ ｅｘｐｒｅｓｓｉｏｎ）に残留して、そのままの状態で留まる。
ｂ． 一定Ｑ変換の使用を通して、対数領域周波数表現（ｌｏｇ−ｓｐａｃｅｄ ｆｒｅｑｕｅｎｃｙ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）に投じられる。
ｃ． （ｂ）のように処理されてから、離散的コサイン変換を適用することで「周波数」ドメインに投じられる。これは、信号内にある周波数構造を保存するデータ圧縮ステップとして振る舞う。
ｄ． メル空間（メル周波数ケプストラム係数変換と同様に）周波数表現または、線形空間周波数表現（離散的フーリエ変換と同様に）のような代わりの周波数表現を用いて、（ｂ） または （ｃ）のように処理される。
ｅ． （ｂ） 、（ｃ）または（ｄ）のように処理されてから、それは、全ての値のルートをとって、またはデシベル計算を適用して、ダイナミックに圧縮される。

変換のこれらの組み合わせのいくつかは、例えば、対数空間周波数ビンのための周波数に対する大きさ／相を生成するために使用される。

さらに、上記した変換は、結果を、ニューラルネットワークシステムに対して普通にある一連の行列変換および非線形性にフィードすることが次に生じる（１２３０）。重みおよびバイアス（スーパーバイズド／セミスーパーイズド／または十分にスーパーバイズドされてない、機械学習では普通にある計算を通して、先に集められたデータで訓練した後続の非線形返還）をかけた行列計算として一連の関数からなるニューラルネットワーク（浅い、または、深い）が、上述の計算の出力に適用される。変換としてのこのネットワークは、訓練された重み付けカーネルが、インプットを横断して畳み込んで計算される畳み込みニューラルネットワークでもよい。

そのようなネットワークは、様々な目的に仕える：所与のクラスにおける算入のために確率としてのニューラルネットワークの出力に関するソフトマックス（ｓｏｆｔ−ｍａｘ）演算の結果を読み取ることで、次の確率に基づく離散分類となる十分に訓練されたモデルである。それは、耳の音質の認識に関連する方法で、データポイントが順番付けされる新しいデータ空間に新しいデータを投じるようにもつかえる。この空間では、類似音は、互いに近い出力を生じ、そして、非類似音は、互いに離れている出力を生じる。ネットワークはまた、上記したつの方法の何れかとともに、ドラムを叩くことで生成される様々な音質を認識するように先行訓練されるモデルを表す、しかし、モデル又はデータ空間の構造が転送され、または、そのシステムで使用されるべきドラムの音質構造に一致するように変換されるシステムのユーザーランキャリブレーションの間のキャリブレーションを次に引き受けることを表す。

ある実施形態では、ニューラルネットワークは、ドラムの音の品質に構造および関連性を保存する低い空間スペースに、音声データを埋め込むことを引き起こすように、構築されおよび学習されている。そのような実施形態を実行する方法は、様々な方法で、叩かれた様々な異なるドラムの記録を、ラベリングすることで、ラベル化されたデータの大きなデータセットをを生成することである。木質細片スティックでドラムヘッドのセンターににあるドラムをうつことは。”中央ヘッド”および”木質細片スティック”と分かれてラベルされている場合、生成されるオーディオを含むオーディオのフレームのように、マルチラベルアプローチは、ここで動作する。

同様に、スティックのチップでドラム上のリムを打つときに生成する別なデータポイントは、”リム”および”木質細片スティック”ラベルを有する。与えられたいかなるデータも、そのデータポイントが、音響ドラムを叩くことに関して関連するものを、記述する複数のラベルを有する。このデータとともに、ネットワークは、このスペースに投入されるラベル化されていないデータの特性を予測するモデルを想像するために、学習される。一つのアプローチは、同一の構造を有するシャムニューラルネットワークと、２つの任意なインプットを与えられる反映重み付け（ｍｉｒｒｏｒｅｄ ｗｅｉｇｈｔｓ）があるＤＲＬＩＭアーキテクチャーを使うためにあるだろう。これらのインプットは、類似のラベルをセットするなら、そのときコスト関数は、両方のシャムニューラルネットワークを介して、同じになるように出力を助長するために、適用され、バックプロパゲートされる。比類似のインプットが与えられた場合、同じことがなされるが、コスト関数は２つのネットワークの出力が異なることを確実にするように、ネットワークを更新する。このように、変換は、データポイントを、データセット内のタグに基づいて幾何学的に順番付けされる空間に投入されることを獲得する。

分析または空間的投入ステップの出力は、相対的に低い寸法データを生成し、および、長さ１０２４サンプル（２３ｍｓ）のオーディオのフレームは、任意に小さい数の寸法に減らされる。それから、このデータは、オーディオイベントを分類するために使用される（１３００）

図１４は、図１１の概念内のオーディオシグナルの分類１４００のためのフローチャートである。スペクトラム解析１３００の結果は、ｎ次元ベクトルまたは分析されるオーディオイベントの様々な特徴を表す行列（１４１０）を生成するために使用される。例えば、上記（ｃ）処理は、「周波数」ドメインを活用して、２０次元有するデータポイントを生成する。一方、ニューラルネットワークに関して記述されるプロセスは、ユーザーに徐々に見える化される（Ｖｉｓｕａｌｉｚｅｄ）２または３次元にこのオーディオをダウンして投影する。その処理は、簡単に見える化した表現の外のオーディオイベントに適切な音質を表すために、そのオーディオフレームにより低い次元で埋め込むことを表す高次元出力を生成する。これらのデータポイントは、ドラム打ち込みの特定タイプを表すものとして分類され、連続データ空間内の幾何学的および空間的意味（ｓｐａｔｉａｌ ｓｉｇｎｉｆｉｃａｎｃｅ）を有すると解釈される。

生成されたベクトルは、モデルのデータポイントの密度を用いて、最も近い近傍モデル（１４２０）に基づくオーディオイベントを分類するように使用され、次に、モデルのデータポイントの密度は、オーディオイベントの特定タイプとしてオーディオイベントを分類するように使用される（１４３０）。代わりに、ベクトルは、ユーザーがマップしたベクトルの幾何学的解釈に基づくオーディオイベントをマップするように使用され、幾何学的解釈は、オーディオ出力のための制御値を生成するために使用される（１４５０）。
近傍解釈が他のケース（すなわち、叩くのが、ドラムヘッドかドラムリムか）で解釈することを用いる一方で、これらの方法は、制御値で最も近傍モデルの使用に重み付けするために、または、あるケース（すなわち、ドラムヘッドのインパクトの位置を決定すること）における幾何学的解釈を使用するために組み合わされる。

再生中、ドラムの各一撃は、キャプチャーされ、分析され、記述された分類モデルを用いて分類される。最近傍モデルを用いる場合（１４２０）、ラベルされていないデータポイントが、いくつかの範囲にわたるユークリッド距離のように、距離単位を用いてモデルのどのデータポイントとも比較される。モデルにおいて最も近い点が一度見つかると、新しいデータポイントは、最も近いデータポイントのそれと同じラベルでラベルがふられる。

ニューラルネットワーク分類クラスの場合、分類モデルの出力は、異なるモデルに関係づけられる同じ寸法で、エナジー密度ベクテルの形である。そのようなものとして、複数のラベルが異なるエナジー密度に適用され、異なるエナジー密度は、データポイントがそのラベルに関係づけられる信頼値として解釈される。したがって、上述の例では、「ドラムセンター」を表す寸法、および、「スチックのチップ」を表す寸法では、高い値が、データポイントを、ドラムスティックのチップを用いてドラムのセンターを打つことを表すことを、示す。

図１５であらわされるように、特定クラスターのラベルは、データポイントが、そのクラスターのための密度要求を満足する限り、新しいデータポイントが適用される。与えられた寸法では、ランプ１５００は、ポテンシャルデータポイント感に描かれ、オーディオデータポイント１５１０がクラスターＡのための密度要求を満たす場合、それは、クラスターＡに関係するラベルに割り当てられる。類似して、データポイント１５２０がクラスターＢの密度要求を満たす場合、それは、クラスターＢに関係するラベルに割り当てられる。

それから分類は、与えられたサンプルの再生として、割り当てイベントをトリガーする。

既に記載された分類方法を合わせて用いる場合も含み、幾何学的解釈を用いるとき（１４４０）、モデル内の新しいデータの幾何学的解釈は、一定の制御値およびブレンド設定を適用するために、派生する。このような連続的な制御値およびブレンド設定は、ユーザが選択することができる。これは、ユークリッド距離などの距離メトリックを使用して、モデル内のデータポイントと他のクラスまたはゾーンとの関係を抽出するために、使用されるデータモデル内のデータポイントを取り、相対距離をチェックする。

これらの関係を抽出して、空間内の点を空間の他の領域に対して変換するには、それらの領域間の距離のパーセンテージとしていくつかの方法がある。例えば、最近傍クラス分類器モデルと関連して使用される場合、所与のデータポイントは一方向に分類されるが、データ空間におけるそれらのクラスに対する相対距離に基づいてモデル内の他のクラスに関連する。モデルは、距離の尺度を与えられたデータ空間またはゾーンと考えることができます。モデル内の所与のクラスに属する各点は、この空間の所与の領域またはゾーンを占有する。この空間における高密度の領域は、そのクラスを最も代表する空間の領域（すなわち、ドラムの音）として解釈することができる。これをクラスの中心と呼ぶことができる。

図１６に示すように、幾何学的解釈は、新しいデータ点のラベル付きクラスの中心までの相対距離を計算することを含むが、モデル内の他の関連するクラスの中心までも含む。この場合の幾何学的解釈は、新しい点からその親クラスの中心までの距離を求め、次いで、新しい点１６００からモデル内の他のクラスのいずれかの中心までの距離を求める（Ｂ）ことを含む。これは、正規化され、オーディオサンプルの再生音量などの任意の連続的なコンピュータパラメータの制御値として使用されることができる。マルチラベル分類器の場合、各次元の値は同様の方法で解釈され、クラス間の相対距離を回復するために特定の次元にわたって平均化される。別ウィンドウ（タブ）の大きな表示で見る図１７に示すように、新しいクラスまたはデータ点のクラスタをモデルに導入することができ、そのような場合、各ゾーンへの相対距離を評価して、幾何学的解釈を使用して新しいデータ点１７００を適切に評価することができる。したがって、このような計算は、新しいクラスタＣを考慮して更新する必要があります。これについては、「サウンドマッピング」の見出しで詳しく説明する。

較正と訓練

上記のモデルの較正または訓練は、２とおりの方法で機能できる。分類および幾何学的解釈に直接使用できる得る所与のドラムのデータモデルを作成するために使用されることができ、または、較正ステップとして使用されることができ、ここで、事前訓練されたモデルまたはニューラルネットワークは、伝達学習アーキテクチャにおけるように、当該システムにおいて使用される現在のドラムの音響によりよく適合するように変形されることができる。

したがって、当該ステップにおいて作成される分類モデルは、当該モデルを決定するために（各クラスのメンバーの平均密度測定に基づいて除かれた統計外れ値に）ユーザが提供するすべての標識されたデータポイントを使用する最も近い隣り合うモデルであり得る。あるいは、生成されたデータは、未知のデータポイントの分類を提供するより効率的な手法を提供できるガウス混合モデル等の統計モデルを作成するために使用されることができる。本ステップにおいて、ユーザは１つずつ演奏されるドラムが作り出す様々な音におけるシステムを、１つずつ指示するであろう。

訓練または較正の間、ソフトウェアは、ユーザが提供すべきドラム演奏に固有の独特な音を作り出す、様々なリージョンおよびドラムストロークコンボのリストを提案する。これには、ドラムヘッドの中心でのドラムスティック打撃、ドラムヘッドのエッジでの打撃、ドラムスティックの先端部および肩部でのドラムのリムでの打撃、別個の、クロススティック等の一般的なドラムストローク（スティックの本体がリムを打つために振り下ろされように、スティックの先端はドラムヘッドに置かれる）、および、リムショット（スティックが、ドラムのヘッドとリムの両方を同時に打つ）がある。

当該規定のリストのほかに、ユーザは訓練に使われるカスタムストローク、リージョン、または音を提供してもよい。ワークフローは、以下のとおりの手順であってもよい：ユーザはグラフィカルユーザインターフェースにおける”Ｔ”ボタンを押すことにより、ソフトウェアを訓練モードに切り替えてもよく、当該ユーザインターフェースは、ドラム上のこのリージョンのリスト、および演奏可能なストロークスを表すスクリーン上の様々なリージョンを提供してもよい。これらは、それぞれのリージョンに１つあるボタンまたはパッドのように見える。訓練モードにおいては、これらのパッドを選択できる。所与のリージョンを訓練するために、ユーザは、そのリージョンに対応するパッドを、コンピュータマウスでそれをクリックし、当該パッドに対応する方法でドラムを打つことにより選択するであろう（たとえば、ドラムヘッドの中心を較正するために、ユーザは”１中心”と標識されたパッドを選択し、そして様々な速度でそのヘッドの中心においてドラムを繰り返し打ってもよい）。ドラムの各打撃は、そのリージョンに関連づけられるシステムへのデータポイントを保存する。十分な数のリージョンが訓練されると、ユーザは”Ｔ”ボタンをもう一度押すことにより訓練モードから切り離されることができる。

最も近い隣り合う分類モデルを作成するためにシステムが訓練を受けている場合、ユーザは任意の数のパッドを訓練してもよい。しかしながら、満足のいくモデルを作成するために、ユーザはパッドあたり十分なデータポイントを提供することが重要である。さらに、事前に訓練されたネットワークを微調整するためにシステムが較正プロセスを受けている場合、たとえば、ユーザは、固定数のリージョンに対してデータを提供することが必要であるだろう。これらの２つの方法は、併用して使用されてもよい。

較正ステップの間、ユーザは、開始検出モジュールにおけるイベントを誤って誘引する周囲ノイズを認識するために、”ボイド”パッドを訓練してもよい。標準的なドラムセットの設定において、たとえば、キックドラムは、典型的にはスネアドラムを振動させ、これらの振動は、誤った開始を誘引することがある。音響コンテンツに基づいて、これらの誤った誘引イベントを認識するためにボイドパッドを訓練することにより、これらは、これらをほぼ消音にすることができる。

したがって、”ボイド”パッドの訓練において、ユーザは、使用されるモデルによって、および使用されるモデルにおいて認識されるように、中心のヒットのような第一のオーディオイベントを最初に選択してもよく、かつドラムでのオーディオイベントを実行してもよい。そして、ユーザは、使用されるモデルによって、および使用されるモデルにおいて認識されるように、リムショット等の第二のオーディオイベントを選択してもよく、かつドラムでのオーディオイベントを実行してもよい。そして、ユーザは、使用されるモデルによって、および使用されるモデルにおいて無視されるように、キックドラムインパクト等の第三のオーディオイベントを選択してもよく、かつドラムでのオーディオイベントを実行してもよい。

サウンドマッピング

訓練後、ＧＵＩの使用により、ユーザは、サンプル、シンセサイザ、エフェクト、またはＭＩＤＩ等任意の汎用コントロールを”マップ”し、分類モデルのリージョンに、ノート開始イベントを関連付けることができる。さらにコントロールパラメータを、リージョン間の距離に関連して、または、速度（ｖｅｌｏｃｉｔｙ）や速さ（ｓｐｅｅｄ）等のドラムパフォーマンスのその他のパラメータに関連してマップできる。コントロールパラメータの例には、ＭＩＤＩプロトコールの連続コントロールメッセージがあってもよく、たとえば、Ａとして 分類されたポイントＰを有する、クラスＡからクラスＢの全距離幅が、一般的な連続コントロール値として使用できる幅上の値を識別するだろう。ユーザが音響楽器を演奏すると、イベントが検出され、当該イベントは分析および分類され、その後、その関連する音またはコントロール出力を誘引する。データ間隔から音出力への翻訳の別の例は、当該データ間隔における異なるリージョンに関連する２つの音の間で、混合または変形するオプションである。各新規データポイントが、当該データ間隔において２つのクラスの間を徐々に移動するように、当該楽器が演奏されると（たとえば、ドラムの中心を打つことにより開始し、そしてエッジを外側に向かって徐々に移動しながらドラムを打つと、ドラムの中心に関連するクラスの非常に近くで開始し、ドラムのエッジに関連するクラスに徐々に近づくように移動するデータポイントが生成されるであろう）、これらの２つのリージョンに関連するデジタル音を、滑らかかつ徐々に混合し、楽器が演奏されるのに対応してスピーカを通してオーディオとして出力できる。

新規データポイントをモデルのデータ間隔のクラス中心に関連づける連続コントロール値の抽出により、上記図１５から１７で議論されたモデルに組み込むことができる。かかる実施態様において、ユーザは、図１６にクラスＡおよびクラスＢとして示されるように、２つのクラスを、コントロール範囲の開始点および終了点として識別するコントロール値を要求してもよい。新しいデータポイント１６００が与えられると、データポイントＰ（１６００）とクラスタＡの中心とデータポイントＰ（１６００）との間の距離が計算され、クラスタＢの中心が計算される。次に、０と１との間の値は、ｄｉｓｔ ＝ Ａ（Ｐ、Ｐ）／（ｄｉｓｔ（Ａ、Ｐ）＋ ｄｉｓｔ（Ｂ、Ｐ））として計算され、ｄｉｓｔはｎ次元ユークリッド距離尺度である。この値を使用して、システム内の連続パラメータを制御したり、外部パラメータを制御するために送出することができます。これの一例は、リバーブのようなデジタルエフェクトユニット内のパラメータのような可変パラメータを制御することである。ノブが連続的にねじられる効果を達成するように、ドラムが打撃されると、これらの値の動きにさらにローパスフィルタリングを適用することができる。

この値はファジィ分類を作成するためにも使用できる。新しいデータポイントは別のクラスに近いクラスになりますが、これらの相対距離は再生中に２つのオーディオサンプルの相対的なボリュームを制御するために保持される。これは、ある領域から別の領域へと進行中にドラムを繰り返し打つという連続的な音色の動きに直接関係するデジタル出力における連続的な聴覚の動きの効果を有する。同様に、他の連続制御パラメータをデータの他の特徴から抽出することができる。例えば、ヒットの力またはヒットの結果の体積からドラムヒットの速度を抽出し、連続するヒット間の距離からドラムロールの速度を抽出することができる。

グラフィカルユーザーインターフェイス（ＧＵＩ）：

図１８〜１９に示されるように、グラフィカルユーザインターフェースは、ドラムの異なる音域の表現、個々のチャンネルの音量を制御するミキサ、サンプルブラウザ、エフェクトコントローラ作成パネル、リバーブおよびディレイを含むデジタルオーディオエフェクトを備えたエフェクトパネル、およびサンプルエディタ／ドラムシンセパラメータウィンドウ、オンセット検出パラメータインタフェース、パッドサウンド間のブレンドオプションを選択するためのパネルが含まれる。

ドラムの異なる音域の表示は、複数のパッドを示し、各パッドは、アコースティックドラムの領域、アコースティックドラムを演奏するために使用されるストローク、またはドラムスティックでドラムを打つ特定の方法のいずれかに対応する。パッドには、センター、エッジ、リムショットセンター、リムショットエッジ、クロススティック、リムチップ、リムショルダー、ハードウェアマイクの上に置かれたストライクバーのカスタマイズやパッド用のパッドが含まれる。

パッドはドラムのパイスライスとして配置され、中心はスライスの先端にあり、リムパッドはエッジにある。

パッドはトレーニングモードと演奏モードの両方でマウスクリックで選択できます。トレーニングモードでは、トレーニングするパッドを選択します。再生モードでは、パッドを選択すると、パッドに適用されたサンプルとエフェクトを表示するコンテキストパネルが表示されます。サンプルライブラリー、エフェクトラック、シンセラックのいずれかにドラッグ＆ドロップすることで、サンプル、エフェクト、シンセを任意の場所に割り当てることができます。

ユーザがドラムに当たると、対応するパッドが点灯し、システムがストライクを認識して正しくラベル付けしていることをユーザに示す。 ２つのパッドの間にブレンドが設定されている場合、パッドが関連付けられている領域の近くでドラムが叩かれると、両方のパッドが点灯し、そのブレンド計算の各パッドの相対値に応じて光強度が変化します。

エフェクトコントローラの作成パネルでは、ドラムを音源とするさまざまな方法（すなわち、幾何学的解釈エンジンで計算された中心から端までの距離、ストライクの強さ、連続打撃のスピード）を使用できるエフェクトコントローラを作成できます。ソフトウェア内の任意の変数設定を制御するために適用することができます。これにより、ユーザーは、特定の場所でドラムを叩いたり、変化する音量でドラムを叩いたり、ドラムをすばやくまたはゆっくりと叩いたりすることで、リバーブ減衰のようなエフェクトをコントロールすることができます。これらのドラム要素は、ドラムの各ストライク時に更新される連続的な制御値に変換される。

発症検出パラメータインタフェースにより、ユーザはオンセット機能をリアルタイムで見ることができ、閾値パラメータおよび適応ウインドウパラメータ（Ｗ３）を対話的に調整することができる。ドラムのストライクは、画面上にプロットされた関数にピークとして現れる。この関数は時間が経過すると左にスクロールします。イベントとして識別されるピークには青い線が表示されます。しきい値は、水平線を上下に動かすことによって設定されます。水平線の下にあるピークは無視され、閾値線を超えるピークはオンセットとしてマークされます。適応型しきい値ウィンドウは、右側に拡張できる長方形のボックスです。矩形の角を右に動かすと、適応閾値時間ウィンドウが増加する。

図２０は、図１の装置を示す概略図である。図示のように、装置１００はハウジング２４０を有し、ハウジングは第１のセンサ２１０、第２のセンサ２３０、及び出力部３１０を含むことができる。第１のセンサ２１０は、典型的には、装置１００および第２のセンサ２３０は、典型的には、捕捉される物体と接触していないが、むしろ物体に対してある位置に固定されている。第１のセンサ２１０および第２のセンサ２３０によって捕捉された振動は、オンボード回路によって合成され、３１０で出力されてもよく、または直接出力されてから装置の外部に混合されてもよい。

センサはハウジング２４０内に示されているが、センサは表面に直接塗布することもできるし、別個のスタンドを使用してドラムヘッドまたは他の機器の上に懸架することもできる。例えば、第１のセンサ２１０は、ステッカーを用いてドラムのリムに貼り付けられてもよい。センサは、有線または無線の別のインタフェースを介してプロセッサにデータを送信し、そこでデータが解釈される。

本明細書に記載される主題の実施形態および動作は、本明細書およびそれらの構造的均等物に開示される構造を含むデジタル電子回路、またはコンピュータソフトウェア、ファームウェア、またはハードウェアにおいて、またはそれら。本明細書に記載された主題の実施形態は、データ処理装置によって実行されるか、またはデータ処理装置の動作を制御するためのコンピュータ記憶媒体上に符号化された１つまたは複数のコンピュータプログラム、すなわちコンピュータプログラム命令の１つまたは複数のモジュールとして実装することができる。これに代えてまたは加えて、プログラム命令は、人工的に生成された伝搬信号、例えばデータ処理装置による実行のための適切な受信装置への送信のために情報を符号化するために生成された機械生成電気信号、 。コンピュータ記憶媒体は、コンピュータ可読記憶装置、コンピュータ可読記憶基板、ランダムまたはシリアルアクセスメモリアレイまたはデバイス、またはそれらのうちの１つまたは複数の組み合わせであり得るか、またはそれらに含まれ得る。さらに、コンピュータ記憶媒体は伝播信号ではないが、コンピュータ記憶媒体は、人工的に生成された伝播信号でコード化されたコンピュータプログラム命令のソースまたは宛先とすることができる。コンピュータ記憶媒体は、１つまたは複数の別個の物理的構成要素または媒体（例えば、複数のＣＤ、ディスク、または他の記憶装置）であってもよいし、含まれていてもよい。

本明細書で説明する動作は、１つまたは複数のコンピュータ可読記憶装置に格納されたデータまたは他のソースから受信したデータに対してデータ処理装置によって実行される動作として実装することができる。

「データ処理装置」という用語および同様の用語は、例えば、プログラム可能なプロセッサ、コンピュータ、チップ上のシステム、または複数のもの、またはそれらの組合せを含む、データを処理するためのあらゆる種類の装置、デバイスおよび機械を包含する。前述した。この装置は、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）などの専用論理回路を含むことができる。装置は、ハードウェアに加えて、問題のコンピュータプログラムの実行環境を生成するコード、例えば、プロセッサファームウェアを構成するコード、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、またはそれらの１つ以上の組み合わせを含むことができる。装置および実行環境は、ウェブサービス、分散コンピューティングおよびグリッドコンピューティングインフラストラクチャなど、様々な異なるコンピューティングモデルインフラストラクチャを実現することができる。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる）は、コンパイルされた言語または解釈された言語、宣言的または手続き的な言語を含む任意の形式のプログラミング言語で記述することができ、スタンドアロンプログラムとして、またはコンピューティング環境での使用に適したモジュール、コンポーネント、サブルーチン、オブジェクト、またはその他のユニットとして、コンピュータプログラムは、ファイルシステム内のファイルに対応することができるが、これに対応する必要はない。プログラムは、他のプログラムまたはデータ（例えば、マークアップ言語文書に格納された１つまたは複数のスクリプト）を保持するファイルの一部、問題のプログラム専用の単一のファイル、または複数のコーディネートされたファイル（たとえば、１つまたは複数のモジュール、サブプログラム、またはコードの一部を格納するファイル）。コンピュータプログラムは、１つのコンピュータ上で、または１つのサイトに位置するか、または複数のサイトに分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように配置することができる。

本明細書で説明するプロセスおよび論理フローは、１つまたは複数のコンピュータプログラムを実行する１つまたは複数のプログラマブルプロセッサによって実行され、入力データを操作して出力を生成することによってアクションを実行することができる。プロセスおよびロジックフローはまた、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）などの専用ロジック回路によっても実行することができ、装置は専用ロジック回路として実装することもできる。

コンピュータプログラムの実行に適したプロセッサは、一例として、汎用マイクロプロセッサおよび専用マイクロプロセッサ、および任意の種類のデジタルコンピュータの任意の１つまたは複数のプロセッサを含む。一般に、プロセッサは、読み出し専用メモリまたはランダムアクセスメモリ、またはその両方から命令およびデータを受信する。コンピュータの必須要素は、命令に従って動作を実行するためのプロセッサと、命令およびデータを記憶するための１つまたは複数のメモリデバイスとである。一般に、コンピュータは、データ、例えば磁気、光磁気ディスク、または光ディスクを格納するための１つまたは複数の大容量記憶装置からのデータを受信するか、またはその両方にデータを転送または動作するように動作可能に結合される。しかしながら、コンピュータはそのような装置を有する必要はない。さらに、コンピュータは、別のデバイス、例えば、携帯電話、携帯情報端末（ＰＤＡ）、モバイルオーディオまたはビデオプレーヤ、ゲームコンソール、全地球測位システム（ＧＰＳ）受信機、またはポータブルストレージデバイス（例えば、ユニバーサル・シリアル・バス（ＵＳＢ）フラッシュ・ドライブ）を使用することができる。コンピュータプログラム命令およびデータを格納するのに適したデバイスは、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイスなどの半導体メモリデバイスを含む、すべての形態の不揮発性メモリ、媒体およびメモリデバイスを含む。磁気ディスク、例えば内部ハードディスクまたはリムーバブルディスク；光磁気ディスク；およびＣＤ ＲＯＭおよびＤＶＤ−ＲＯＭディスクが含まれる。プロセッサおよびメモリは、専用論理回路によって補完または組み込むことができる。

ユーザとの対話を提供するために、本明細書に記載された主題の実施形態は、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタなどのディスプレイデバイスを有するコンピュータ上で、ユーザおよびキーボードと、ユーザがコンピュータに入力を提供することができるポインティングデバイス、例えば、マウスまたはトラックボールとを含む。他の種類の装置を使用して、ユーザとのやりとりを提供することもできる。例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック、例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックであり得る。ユーザからの入力は、音響、音声、または触覚入力を含む任意の形態で受信することができる。さらに、コンピュータは、ユーザによって使用されるデバイスとの間でドキュメントを送受信し、ドキュメントを受信することによってユーザと対話することができる。例えば、ウェブブラウザから受信した要求に応答して、ユーザのクライアントデバイス上のウェブブラウザにウェブページを送信することによって実行される。

本明細書に記載される主題の実施形態は、例えばデータサーバとしてのバックエンド構成要素を含むコンピューティングシステム、またはアプリケーションサーバなどのミドルウェア構成要素を含むコンピューティングシステム、またはフロントエンド構成要素例えば、グラフィカルユーザインタフェースを有するクライアントコンピュータ、またはユーザが本明細書に記載された主題の実装と対話することができるウェブブラウザ、または１つまたは複数のそのようなバックエンド、ミドルウェア、またはフロントエンドコンポーネント。システムのコンポーネントは、任意の形式または媒体のデジタルデータ通信、例えば、通信ネットワークによって相互接続することができる。通信ネットワークの例には、ローカルエリアネットワーク（ＬＡＮ）およびワイドエリアネットワーク（「ＷＡＮ」）、ネットワーク間（例えばインターネット）、およびピアツーピアネットワーク（例えば、ピアツーピアネットワーク）。

コンピューティングシステムは、クライアントおよびサーバを含むことができる。クライアントとサーバは、一般に互いに遠隔であり、典型的には通信ネットワークを介して相互作用する。クライアントとサーバとの関係は、それぞれのコンピュータ上で実行され、互いにクライアント − サーバ関係を有するコンピュータプログラムによってもたらされる。いくつかの実施形態では、サーバは、（例えば、クライアント装置と対話するユーザにデータを表示し、ユーザ入力を受け取る目的で）データ（例えば、ＨＴＭＬページ）をクライアント装置に送信する。クライアント装置で生成されたデータ（例えば、ユーザ対話の結果）は、サーバーのクライアント装置から受信することができる。

本明細書は、多数の具体的な実施形態を含むが、これらは任意の発明または請求されてもよいものの範囲を限定すると解釈されるべきではなく、特定の発明の特定の実施形態に特有な特徴の記載として解釈されるべきである。別々の実施態様の内容における本明細書記載のある特徴は、単一の実施態様における組み合わせにおいて実施もできる。逆に、単一の実施態様の内容に記載される様々な特徴は、複数の実施形態で別々に、または任意の好ましい部分的組み合わせにおいて実施もできる。さらに、特徴は、ある組み合わせおよびにおいて効果を有するとして、およびたとえ当初請求されたとして上に記載されていてもよいが、請求の組み合わせからの一または複数の特徴は、当該組み合わせから試作されるいくつかの事例においても可能であり、かつ、当該請求の組み合わせは、部分的組み合わせ、または部分的組み合わせのバリエーションに方向付けられていてもよい。

同様に、操作は特定の順序で図面に記載されるが、これは、かかる操作が示された特定の順序において、または連続的な順序において実行されることを要求するものとして、あるいは全ての説明された操作は、望ましい結果に到達するために実行されると理解されるべきではない。ある環境において、複数タスクおよび並行処理は、有利になってもよい。さらに、上記実施態様における様々なシステム部分の分離は、全ての実施態様におけるかかる分離を要求するものとして理解されるべきではなく、記載のプログラム部分およびシステムは、単一のソフトウェア製品が一般的に共に統合された、または複数のソフトウェア製品にパッケージ化された可能性がある。

本発明は、複数の記載の実施態様に関して、ある長さで、およびある特殊性をもって記載されているが、任意のかかる特徴または実施態様、あるいは任意の特定の実施態様に限定すべきと解釈されるものではないが、先行技術の観点からかかる請求項の可能な限り広い解釈が提供され、それにより、当該発明の意図した範囲を効果的に包含するように、添付の請求項を参照するものと解される。さらに、本発明は、現在予見されていない本質的な変更がそれに対応するものであるにもかかわらず、実現可能な記述が利用可能であった発明者が予見する実施の形態に関して本発明を説明するものである。

Claims (8)

1. 物体によって生成される振動をキャプチャーするデバイスであって、
   前記デバイスは、
   前記物体の表面に接触する第１センサーと、
   前記物体および前記第１センサーから間隔を置かれ、かつ前記物体に相対して位置される第２センサーと、
   前記物体に前記デバイスを固定するための固定エレメントと、備え、
   前記第１センサーは前記固定エレメントにより前記物体に接触して配置され、前記第２センサーは、前記固定エレメントにより前記物体に相対して位置される、デバイス。
2. 前記第１センサーは、前記固定エレメントにおいて前記物体の振動をキャプチャーする、請求項１に記載のデバイス。
3. 前記第１センサーは、圧電センサーエレメントである、請求項１に記載のデバイス。
4. 前記第２センサーは、コイルセンサーである、請求項１に記載のデバイス。
5. 前記コイルセンサーは、音楽楽器の表面に配置される磁石に相対して固定される、請求項４に記載のデバイス。
6. 前記物体は、ドラムであり、前記第１センサーは、前記ドラムのリムに接触し、前記第２センサーは、前記ドラムのヘッドの上に吊るされる、請求項１に記載のデバイス。
7. 前記固定エレメントは、クランプであり、当該クランプは前記ドラムのリムの上面にインターフェースする第１締め付け面と、前記ドラムのリムの底面にインターフェースする第２締め付け面とを有し、前記上面は、前記第１センサーを含み、前記底面は、ドラムリムの第１タイプを掴む第１部分、および、ドラムリムの第２タイプを掴む第２部分を有する、請求項６に記載のデバイス。
8. 前記第２センサーからの信号と、前記第１センサーからの信号をミキシングするミキシング回路、および、ミックス信号を転送する出力をさらに備える、請求項１に記載のデバイス。

Images