JPWO2019023256A5 - - Google Patents
Download PDFInfo
- Publication number
- JPWO2019023256A5 JPWO2019023256A5 JP2020504152A JP2020504152A JPWO2019023256A5 JP WO2019023256 A5 JPWO2019023256 A5 JP WO2019023256A5 JP 2020504152 A JP2020504152 A JP 2020504152A JP 2020504152 A JP2020504152 A JP 2020504152A JP WO2019023256 A5 JPWO2019023256 A5 JP WO2019023256A5
- Authority
- JP
- Japan
- Prior art keywords
- audio content
- piece
- entrainment
- cues
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033764 rhythmic process Effects 0.000 claims description 22
- 230000001020 rhythmical Effects 0.000 claims description 14
- 238000009527 percussion Methods 0.000 claims description 11
- 230000000051 modifying Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 5
- 238000009207 exercise therapy Methods 0.000 claims description 5
- 230000003252 repetitive Effects 0.000 claims description 5
- 239000006185 dispersion Substances 0.000 claims description 2
- 230000005236 sound signal Effects 0.000 claims description 2
- 230000001360 synchronised Effects 0.000 claims description 2
- 239000011324 bead Substances 0.000 claims 1
- 239000000284 extract Substances 0.000 claims 1
- 230000004048 modification Effects 0.000 claims 1
- 238000006011 modification reaction Methods 0.000 claims 1
- 230000003416 augmentation Effects 0.000 description 7
- 239000002131 composite material Substances 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000717 retained Effects 0.000 description 1
- 231100000486 side effect Toxicity 0.000 description 1
- 230000001340 slower Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
Description
一部の実施形態では、反復運動療法を提供する方法は、オーディオコンテンツのリポジトリを提供することと、患者に届けるオーディオコンテンツを選択することと、選択したオーディオコンテンツの分析を行うことであって、該分析が該オーディオコンテンツの高レベル特性及び低レベル特性を特定し、該分析が該オーディオコンテンツのテンポを算出する、分析を行うことと、該オーディオコンテンツのエントレインメント分析を行うことであって、該エントレインメント分析が、平均テンポ、テンポ分散、テンポ知覚度、拍子記号、リズムパターン分散、オーディオコンテンツ全体を通した複数のセクションにおけるリズム部分の検出、及びオーディオコンテンツにおける最初のビートと最後のビートの位置、のうちの少なくとも１つを含む要素に対して適合性スコアを割り当てる、分析を行うことと、該オーディオコンテンツに対してエントレインメントの補助的なキューを生成することであって、該補助的なキューが該オーディオコンテンツに加えられる音を含み、該加えられる音が、該オーディオコンテンツの４分音符で再生される単一の打楽器音、該オーディオコンテンツ及びその細分のビートで再生される打楽器音、該オーディオコンテンツに同期したドラムパターン、ならびに該オーディオコンテンツのビートをカウントするボイスのうちの少なくとも１つを含む、生成することと、を含む。 In some embodiments, a method of providing repetitive exercise therapy comprises providing a repository of audio content, selecting audio content for delivery to a patient, and performing an analysis of the selected audio content, comprising: performing an analysis, wherein the analysis identifies high-level characteristics and low-level characteristics of the audio content, the analysis calculating a tempo of the audio content; and performing an entrainment analysis of the audio content, The entrainment analysis includes: average tempo, tempo variance, tempo perceptibility, time signature, rhythm pattern variance, detection of rhythmic parts in multiple sections throughout audio content, and first and last beats in audio content. performing an analysis that assigns a relevance score to an element that includes at least one of: a position; and generating auxiliary cues of entrainment for the audio content, wherein the auxiliary cues include sounds to be added to the audio content, the added sounds being single percussion sounds played on quarter notes of the audio content, percussion sounds played on beats of the audio content and its subdivisions. , a drum pattern synchronized to the audio content, and a voice counting beats of the audio content.
以下にエントレインメント適合性を求めるための方程式を示しており、この方程式において分析から得られる値の範囲は０～１である。０．９～１は優良であり、０．７～０．９は使用可能であり、０．５～０．７は前もって増強することが必要であり、０．５未満は使用不可である。この方程式またはこの方程式の変化形を用いて異なる楽曲を分類する。拍子記号及び平均テンポ数は、バイナリーの０または１と表し、これらの数字はそれが定義された境界内にあるかどうかに応じて付けられる。ｙ１、ｙ２、ｙ３、．．．．、ｙＸで表される数は合計すると１に等しくなり、他のコンテクスト上の情報に応じて変更可能である。他の変数は０～１の範囲で表され、最も良い場合には１に等しく、最も悪い場合には０に等しくなる。この方程式は下記の通りに表される。
（拍子記号）×（平均テンポ）×（ｙ１×ビート強度＋ｙ２×ビート時刻信頼度＋ｙ３×リズム安定度＋ｙ４×テンポ知覚度＋ｙ５×リズム遍在度＋ｙ６×有効演奏時間）
Below is an equation for determining entrainment suitability, in which the range of values obtained from the analysis is 0-1. 0.9-1 is excellent, 0.7-0.9 is usable, 0.5-0.7 needs pre-enhancement, less than 0.5 is unusable. Classify different songs using this equation or variations of this equation. Time signatures and average tempo numbers are represented as binary 0's or 1's, and these numbers are labeled depending on whether they fall within defined boundaries. y1, y2, y3, . . . . , yX add up to one and can be changed depending on other contextual information. Other variables range from 0 to 1, equal to 1 at best and 0 at worst. This equation is expressed as follows.
(time signature) x (average tempo) x (y1 x beat intensity + y2 x beat time reliability + y3 x rhythm stability + y4 x tempo perception + y5 x rhythm ubiquity + y6 x effective playing time)
エントレインメント適合性方程式の態様を、エントレインメント適合性を図示した図４でさらに定義している。
平均テンポ
曲の平均テンポは、１分当たりのビート数（ＢＰＭ）という単位で測定される。平均テンポは重要なＥＳ因子であるのに加えて、ＲＡＳセッションに使用する音楽の選択に有益となる選択基準でもある。本システムは任意に曲をタイムストレッチできるが、元来のテンポからストレッチすればするほどその影響が顕著になり、最良の結果はその曲の元来のテンポの２０％以内で得られている。したがって、ＲＡＳセッションで使用する音楽を選択する場合、元来のテンポはセッションでの歩調範囲の２０％以内であることが理想的である。
平均テンポ６０～１３０（通常のエントレインメント範囲）を持つ曲はスコアが１．０である。スコアは、範囲外となる２０ＢＰＭまで対数的に減少し、４０と１５０にはスコアが０．０と割り当てられている。
増強ストラテジー：楽曲を定数ファクタによりタイムシフトして、平均ＢＰＭをエントレインメント範囲内にするか、またはユーザーの目標とするエントレインメントの歩調に合わせることができる。
ビート強度
図５に示すように、検出ビート時刻でのＲＭＳＥ（曲の中央値）を０．０～１．０の範囲に直線的に調整した。ビート音の大きさを顕著に知覚するほどＲＡＳ刺激に相応しくなり、ビートが打楽器パートで演奏されていることを示すことが多い。１が最も強く、０が最も弱いことを示す。
マイケル・ジャクソンの「ビリー・ジーン」は最も強いビート強度の例であり、打楽器スペクトログラムのエネルギーから明らかである（信号の打楽器要素を、多重周波数区間を上下方向に広げたエネルギーを持つ時点として示す）。
増強ストラテジー：ビート強度増強ストラテジーについてはセクション３で詳細に議論する。これらにはビート時刻で音楽キューを加えることが含まれる。
ビート時刻信頼度
ビート時刻信頼度スコアは、各一連のＯＤＦ検出から得られるビート間の一致レベルに基づいて、音楽分析のビートトラッキング段階から返されるものである。様々な方法によって同様の顕著なリズムパルスが検出されるため、スコアが高い場合には適合性が良好であることを示し、この場合、曲がはっきりとしたリズム特性及びタイミング特性を持つことを示す傾向にある。
ビート時刻信頼度スコアは以下のようにＥＳスコア値と対応しており、０．０～１．５は信頼度が低いとみなされ、スコア０が割り当てられる。１．５～３．５は信頼度が良好であることを示し、スコア０．５が割り当てられる。３．５～５．３は信頼度が高いことを示し、スコア１．０が割り当てられる。
増強ストラテジー：（再）分析の副次的効果、ならびにＯＤＦの重み付け及び前処理工程などのビートトラッキング改善の結果として、信頼度スコアを上げることができる。
拍子記号
曲の平均拍子記号（要約特性）のことである。実際にバイナリーのタスクとしては、２拍子または４拍子（例えば、２／４、４／４、６／８）が適している。曲が許容される拍子記号を持つ場合にはスコアが１となり、それ以外の場合は０になる。
増強ストラテジー：適用されず。拍子記号は楽曲に不可欠なものであり、不明確であればその曲を使用すべきではない。
テンポ知覚一致
観測したユーザーエントレインメントデータによって算出される推定テンポの一致レベルのことである。テンポ検出に共通する問題点としてその固有の主観性が挙げられ、良く知られている課題は「オクターブエラー」であり、これは聴き手によっては別の聴き手の１／２倍速または倍速でビートを検出する場合があることである。システムで算出したテンポは、人の聴き手で知覚されるテンポと一致すべきである。
値は０か１になる可能性があり、テンポが一致する場合には１であり、１／２倍拍及び／または２倍拍の場合には０である。これは、ユーザー観測データに主に基づくものであるという理由から、曲の再分析で使用されかつ要素として含められる可能性が高い。
増強ストラテジー：この検出の精度は、ユーザー観測データを用いた場合に向上すると考えられる。
リズム遍在度
顕著なリズム要素を持つ曲演奏時間の割合を示すものである。リズム部分は実質的にＲＡＳ刺激となるため、リズム部分があるとエントレインメントに有利である。曲から外れたリズム部分は流れを乱し、ビート時刻の検出をより困難にする（ビート時刻の信頼度スコアが低くなる）。曲の遍在度を測定する１つの方法は、打楽器スペクトログラムにおいて打楽器要素の部分を検出することである（図６～図８を参照）。
スコアの範囲は０．０（０％のリズム遍在度）～１．０（１００％のリズム遍在度）である。
増強ストラテジー：正確なビート時刻がわかっているが低いビート強度を有するセクションにキューを加え、これにより全体的なリズム部分遍在度を高めることができる。
例：
前述したように、「アップタウン・ファンク」は初めから終わりまで一定の打楽器パートを含み、したがってリズム遍在度スコアは１．０と高くなっている。特に興味深いことは、打楽器スペクトログラムに大きな広帯域スパイクがあることである。スパイクの大きさが小さいイントロセクション（０．００～０．１６）であっても、はっきりとわかる打楽器パートがある。
図９に示すように、リズム遍在度が低い曲の例はビョークの「ミューチュアル・コア」である。この曲は、リズム部分を含む２つのセクションに別れているが、リズム部分は３０６秒の曲演奏時間のうちの６０秒（２０％）のみであり、リズム遍在度スコアが０．２と低くなっている。
有効演奏時間
使用できる演奏時間は、適切ではなくアドレス指定できないセクションを取り除いた後に、少なくとも６０秒の長さを持つべきである。これは、エッジケースの短い曲（長さがわずか０．５３秒であるトム・ウェイツの「レット・ミー・ダウン・アップ・オン・イット」）を使用しないように、また構造変更が加えられた場合にも十分な長さがあるようにしなければならないことを示している。
使用する曲の長さが最小しきい値である６０秒以上である場合にはスコアは１．０となり、それ以外ではスコアは０．０となる。
増強ストラテジー：適用されず。オーディオ信号が使用に際して十分長くない場合には別の曲を用いるべきである。
リズム安定度
リズム安定度は、曲全体のリズム面／拍節面の分散量を示す複合スコア（０．０～１．０）であり、テンポドリフト、テンポ変調、拍子記号の変化、及びリズムパターン分散を考慮に入れるものである。
リズム安定度の値は０～１の間であり、１が最も良く、０が最も悪い値となる。リズム安定度が高い場合には変動が少なく、ＲＡＳセッションに使用するのに適合性の高いコンテンツであることを示す。以下の方程式はｘ１、ｘ２、ｘ３、．．．ｘＺを合計１となる重み付けとして含み、それぞれが０～１の範囲の数であるリズム安定度因子のＡ１、Ａ２、Ａ３，．．．ＡＺとかけ合わせられている。
リズム安定度＝ｘ１×Ａ１＋ｘ２×Ａ２＋ｘ２×Ａ３＋ｘ３×Ａ３＋．．．．＋ｘＺ×ＡＺ
増強ストラテジー：テンポドリフトをオーディオ量子化により減じることができる。曲の中で問題のあるセクションをスキップし、適合性のあるセクションのみを使用することができる。
リズム安定度因子
１．テンポドリフト－Ａ１
ビート時刻の差の中央値から許容できる知覚可能な変動範囲内のビート時刻の差の割合を１．０から減算して得た数として得られ、１００％分散のスコアは０（１．０－１．０）であり、０％分散のスコアは１．０（１．０－０．０）である。
テンポの変動は人が演奏する場合、特にクリックトラックまたはコンピュータシーケンサによる伴奏（例えば、ドラムマシン、デジタル・オーディオ・ワークステーションなど）を用いて録音しなかった場合には、通常範囲となる。変動が大きい場合には、テンポ安定度スコアが小さくなる。モービーの「サウザンド」はテンポ分散の大きい極端な例であり、そのテンポは曲全体の中で絶えず変動し、そのピークは１，０００ＢＰＭに及ぶ。
以下は徐々にテンポの変化が生じ得る曲の例であり、図８～図９に示している。
●リタルダンド：次第に遅く
●アッチェレランド：次第に速く
●ルバート：演奏家はテンポを加減して表現を付けて演奏する（テンポは音楽のフレージングに応じて変化し得る）
２．テンポ変調－Ａ２
曲のテンポが元来のテンポから５％超も急に速くなるかまたは遅くなり、新しいテンポが保持される場合のことである。５％～２５％の範囲で変動するテンポはタイムシフトによりアドレス指定できるとみなされる。０％～５％の変化にはスコアが１と割り当てられる。５％～２５％の変化ではスコアが直線的に下がり、２５％以上の変化にはスコアが０と割り当てられる。
テンポ変調の１つのタイプは「拍節変調」であり、現在のビートかまたはビート細分をグループ化したものを別のパルス値として別コンテクストに当てはめることによって、テンポ及び／または拍節を変えるものである。この例はアーケイド・ファイアの「ヒア・カムズ・ザ・ナイト・タイム」で聴くことができ、そこでは４：３６にテンポが９５ＢＰＭ以下から１４５ＢＰＭ以下に突然変化し、９５ＢＰＭでグループ化されている３／１６音符群が新規に１４５ＢＰＭで４分音符となっている（テンポが１．５倍に増加する）。
拍節パルスとは無関係のテンポ変調の例を図１０に示し、ポール・マッカートニー＆ウィングスの「バンド・オン・ザ・ラン」のテンポグラムを示している。テンポが２：１４に８１ＢＰＭから１２７ＢＰＭに突然変化し、５７％上昇している。線はローカルテンポの値を表す。この場合、テンポが変わる前の所定の時間領域または変わった後において、セッションで曲の一部を使用できるように構造変更をすることができる（以下セクション３の「構造変更」を参照）。
３．拍子記号変化－Ａ３
拍子記号変化は、曲の途中で１つの拍子記号から別の拍子記号に任意の長さでシフトする場合のことである。曲が４／４拍子で始まるとして、３／４拍子のように奇数のビートを含む単一の小節が入ると、音楽のフェーズに合わせてバイナリー動作の左／右同時性が逆転することがある（楽曲のフレージングが小節構造に合わせて調整されていると仮定）。この種の曲のシフトはバイナリーが不適正になり、スコアは０になる。拍子記号の変化がない場合にはスコアは１になる。
ビートルズの「ハピネス・イズ・ア・ウォーム・ガン」は問題となる拍子記号変化を含む例であり、曲が４／４拍子で始まるが、後に９／８拍子及び１０／８拍子の交互の小節にシフトする。
４．リズムパターン分散－Ａ４
リズムパターン分散は曲の中の隣接したパターンの類似性を測ったものであり、トレンド除去変動解析（Detrended Fluctuation Analysis：ＤＦＡ：）またはオンセット間間隔の自己相関などの技法を用いて得ることができる。リズムパターンの同質性が高い曲は、リズム安定度が高くなっている。
完全に同質（１００％）の曲の値は１となり、同質性を全く持たない（０％）曲の値は０となる。実際に０は現実的ではなく、任意の同質性は３０％を超えることが多いことに留意されたい。
Aspects of the entrainment suitability equation are further defined in FIG. 4, which illustrates entrainment suitability.
Average Tempo The average tempo of a song is measured in units of beats per minute (BPM). In addition to being an important ES factor, average tempo is also a useful selection criterion for selecting music for RAS sessions. Although the system can arbitrarily timestretch a song, the effect is more pronounced the further it is stretched from the original tempo, with best results being obtained within 20% of the original tempo of the song. Therefore, when choosing music for use in a RAS session, ideally the original tempo should be within 20% of the tempo range of the session.
A song with an average tempo of 60-130 (normal entrainment range) has a score of 1.0. Scores decrease logarithmically to 20 BPM, which is out of range, with 40 and 150 assigned a score of 0.0.
Augmentation Strategy: Songs can be time-shifted by a constant factor to bring the average BPM within the entrainment range or keep pace with the user's target entrainment.
Beat Intensity As shown in FIG. 5, the RMSE (median value of the song) at the detected beat time was linearly adjusted in the range of 0.0 to 1.0. The more prominent the loudness of the beat is perceived, the more appropriate it is for RAS stimulation and often indicates that the beat is being played in a percussive part. 1 indicates the strongest and 0 the weakest.
Michael Jackson's "Billie Jean" is an example of the strongest beat intensity, evident from the energies of the percussion spectrogram (the percussion component of the signal is shown as points with energies spread vertically across the multi-frequency interval). .
Enhancement strategies: Beat intensity enhancement strategies are discussed in detail in Section 3. These include adding music cues at beat times.
Beat Time Confidence A beat time confidence score is returned from the beat tracking stage of music analysis based on the level of agreement between beats from each series of ODF detections. Similar prominent rhythmic pulses are detected by different methods, so a high score indicates a good match, in which case the song has distinct rhythmic and timing characteristics. There is a tendency.
Beat time confidence scores correspond to ES score values as follows, where 0.0-1.5 is considered low confidence and a score of 0 is assigned. 1.5-3.5 indicates good confidence and is assigned a score of 0.5. 3.5-5.3 indicates high confidence and is assigned a score of 1.0.
Augmentation strategy: As a side effect of (re)analysis and beat tracking improvements such as ODF weighting and preprocessing steps, the confidence score can be increased.
time signature The average time signature (summary characteristic) of a song. For binary tasks in practice, 2 or 4 time signatures (eg 2/4, 4/4, 6/8) are suitable. The score is 1 if the song has an acceptable time signature, 0 otherwise.
Augmentation Strategy: Not applicable. Time signatures are an integral part of a piece of music and should not be used if unclear.
Tempo Perceived Concordance Refers to the estimated tempo concordance level calculated from observed user entrainment data. A common problem with tempo detection is its inherent subjectivity, a well-known problem being "octave error", which is defined by one listener's beats at half or double the speed of another. is to be detected. The system-calculated tempo should match the tempo perceived by a human listener.
The value can be 0 or 1, 1 if the tempos match and 0 if the tempo is half and/or double. Since it is primarily based on user observation data, it is likely to be used and included as a factor in song reanalysis.
Augmentation Strategy: The accuracy of this detection is believed to improve when using user-observed data.
Rhythm omnipresence Indicates the percentage of song performance time that has prominent rhythmic elements. The presence of the rhythmic part is advantageous for entrainment, since the rhythmic part is essentially the RAS stimulus. Out-of-tune rhythmic sections disrupt the flow and make beat time detection more difficult (lower beat time confidence score). One way to measure the ubiquity of a song is to detect parts of the percussion element in the percussion spectrogram (see Figures 6-8).
The scores range from 0.0 (0% rhythmic ubiquity) to 1.0 (100% rhythmic ubiquity).
Augmentation Strategy: Add cues to sections with known exact beat times but low beat intensity, which can increase the overall omnipresence of rhythmic parts.
example:
As mentioned above, "Uptown Funk" contains constant percussion parts throughout and thus has a high rhythm ubiquity score of 1.0. Of particular interest is the large broadband spike in the percussion spectrogram. Even in the intro section with small spikes (0.00-0.16), there are distinct percussion parts.
As shown in FIG. 9, an example of a song with low rhythm ubiquity is Björk's "Mutual Core." This song is divided into two sections including a rhythm part, but the rhythm part is only 60 seconds (20%) of the 306 seconds of song performance time, and the rhythm ubiquity score is low at 0.2. It's becoming
Effective Play Time The available play time should have a length of at least 60 seconds after removing inappropriate and unaddressable sections. It was also restructured to avoid using edge-case short songs (Tom Waits'"Let Me Down Up On It", which is only 0.53 seconds long). It indicates that the length must be sufficient even in the case.
If the length of the song used is greater than or equal to the minimum threshold of 60 seconds, the score is 1.0, otherwise the score is 0.0.
Augmentation Strategy: Not applicable. Another song should be used if the audio signal is not long enough for use.
Rhythm Stability Rhythm Stability is a composite score (0.0 to 1.0) that indicates the amount of variance in the rhythmic/metrical plane of the entire piece, including tempo drift, tempo modulation, time signature change, and rhythm pattern. It takes dispersion into account.
Rhythm stability values range from 0 to 1, with 1 being the best and 0 being the worst. If the rhythm stability is high, it indicates that there is little fluctuation and that the content is highly suitable for use in a RAS session. The following equations are x1, x2, x3, . . . xZ as weightings that sum to 1, and rhythm stability factors A1, A2, A3, . . . It is crossed with AZ.
Rhythm stability=x1*A1+x2*A2+x2*A3+x3*A3+ . . . . +xZxAZ
Augmentation Strategy: Tempo drift can be reduced by audio quantization. You can skip problematic sections of a song and use only compatible sections.
Rhythm stability factor 1. Tempo Drift-A1
Obtained as the number obtained by subtracting from 1.0 the percentage of beat time differences within the acceptable perceptible range of variation from the median beat time difference, a score of 100% variance is 0 (1. 0-1.0) and a score of 0% variance is 1.0 (1.0-0.0).
Variations in tempo are in the normal range when played by a human, especially when not recorded with a click track or computer sequencer accompaniment (eg, drum machines, digital audio workstations, etc.). If the variation is large, the tempo stability score will be small. Moby's "Thousands" is an extreme example of high tempo variance, whose tempo fluctuates constantly throughout the song, peaking at 1,000 BPM.
The following are examples of songs that can have gradual tempo changes, and are shown in FIGS.
● Ritardando: Gradually slower ● Accelerando: Gradually faster ● Rubato: The performer adjusts the tempo to add expression (the tempo can change according to the phrasing of the music).
2. Tempo modulation - A2
This is the case when the tempo of a song suddenly speeds up or slows down by more than 5% from the original tempo and the new tempo is retained. Tempos that vary between 5% and 25% are considered addressable by time shifting. A score of 1 is assigned to changes between 0% and 5%. A change of 5% to 25% decreases the score linearly, and a change of 25% or more is assigned a score of 0.
One type of tempo modulation is "metric modulation", which alters tempo and/or metric by recontextualizing the current beat or grouping of beat subdivisions as different pulse values. be. An example of this can be heard on Arcade Fire's "Here Comes the Night Time", where at 4:36 the tempo suddenly changes from below 95 BPM to below 145 BPM and is grouped by 95 BPM. /16 notes are new quarter notes at 145 BPM (the tempo is increased by a factor of 1.5).
An example of tempo modulation independent of the metric pulse is shown in FIG. 10, which shows the tempogram of "Band on the Run" by Paul McCartney & Wings. The tempo suddenly changes from 81 BPM to 127 BPM at 2:14, a 57% increase. The line represents the local tempo value. In this case, a structural change can be made to allow a portion of the song to be used in the session either before or after the tempo change (see Section 3 below, "Structural Change").
3. Time signature change - A3
A time signature change is the shift of any length from one time signature to another in the middle of a song. Given that a song begins in 4/4 time, a single bar with an odd number of beats, such as 3/4 time, can reverse the left/right synchronicity of the binary movement to match the phase of the music. (assuming the phrasing of the piece is aligned with the bar structure). This kind of song shift will result in a bad binary and a score of 0. The score is 1 if there is no time signature change.
The Beatles'"Happiness Is a Warm Gun" is an example involving a problematic time signature change, where the song begins in 4/4 time, but later alternates bars in 9/8 and 10/8 time. shift to
4. Rhythm Pattern Variance-A4
Rhythmic pattern variance is a measure of the similarity of adjacent patterns in a song and can be obtained using techniques such as Detrended Fluctuation Analysis (DFA:) or autocorrelation of inter-onset intervals. can. Songs with high rhythm pattern homogeneity have high rhythm stability.
A song with perfect homogeneity (100%) has a value of 1, and a song with no homogeneity (0%) has a value of 0. Note that in practice 0 is not realistic and arbitrary homogeneity is often greater than 30%.
Claims (20)
プロセッサを使用して、１以上のオーディオコンテンツへアクセスすることと、
前記プロセッサを使用して、患者に届ける１つのオーディオコンテンツを選択することと、
前記プロセッサにより、前記１つのオーディオコンテンツの分析を行うことであって、
前記分析が前記１つのオーディオコンテンツのオーディオ特性を特定すること、及び、
前記１つのオーディオコンテンツのリズム特性及び構造特性を抽出することを含む、前記１つのオーディオコンテンツの分析を行うことと、
前記プロセッサにより、前記１つのオーディオコンテンツのエントレインメント適合性分析を行うことと、
前記エントレインメント適合性分析に基づいて前記プロセッサにより、前記１つのオーディオコンテンツに対してエントレインメントの補助的なキューを生成することであって、前記補助的なキューが前記１つのオーディオコンテンツに加えるための音を含む、前記補助的なキューを生成することと、
前記プロセッサにより、前記１つのオーディオコンテンツと同期させて、前記補助的なキューの出力のために前記補助的なキューを前記１つのオーディオコンテンツに適用することと、
前記プロセッサにより、前記１つのオーディオコンテンツと適用された補助的キューとを再生している間にセンサを使用して取得した前記患者の生体データに基づいて、前記１つのオーディオコンテンツと適用された補助的キューとの、前記患者のエントレインメント上の効果を評価することであって、
前記１つのオーディオコンテンツと適用された補助的キューとが前記患者のエントレインメント上に効果的であると決定された場合には前記１つのオーディオコンテンツを再生し続ける、前記評価することと、
前記１つのオーディオコンテンツと適用された補助的キューとが前記患者のエントレインメント上に効果的でないと決定された場合には、前記エントレインメント適合性分析を行うこと、前記エントレインメントの補助的なキューを生成すること、及び、前記効果を評価することを繰り返すことと、を含む方法。 1. A method of providing repetitive exercise therapy, said method being implemented on a computer system comprising a processor configured to perform said method by computer executable code,
accessing one or more pieces of audio content using a processor ;
selecting a piece of audio content to deliver to the patient using the processor ;
performing , by the processor, analysis of the piece of audio content, comprising:
the analysis identifies audio characteristics of the piece of audio content ; and
performing an analysis of the piece of audio content, including extracting rhythmic and structural characteristics of the piece of audio content;
performing , by the processor, an entrainment suitability analysis of the piece of audio content;
generating, by the processor, entrainment auxiliary cues for the piece of audio content based on the entrainment suitability analysis, the auxiliary cues adding to the piece of audio content. generating the ancillary cues, including sounds for
applying, by the processor, the ancillary cues to the piece of audio content synchronously with the piece of audio content for output of the ancillary cue;
The processor determines the piece of audio content and the applied ancillary cues based on biometric data of the patient obtained using a sensor while playing the piece of audio content and the applied ancillary cues. assessing the entrainment effect of the patient with targeted cues, comprising :
continuing to play the piece of audio content if the piece of audio content and the applied ancillary cues are determined to be effective on entrainment of the patient ;
performing the entrainment suitability analysis if the piece of audio content and the applied ancillary cues are determined to be ineffective on entrainment of the patient; and repeating evaluating said effect .
前記ビートトラッキングアルゴリズムは、前記範囲に基づいて前記分析を行う、請求項１に記載の方法。 further comprising providing a range to the beat tracking algorithm;
2. The method of claim 1 , wherein said beat tracking algorithm performs said analysis based on said range .
プロセッサを使用して、１以上のオーディオコンテンツへアクセスすることと、
前記プロセッサを使用して、患者に届ける１つのオーディオコンテンツを選択することと、
前記プロセッサにより、前記１つのオーディオコンテンツの分析を行うことであって、
前記分析が前記１つのオーディオコンテンツのオーディオ特性を特定すること、及び、前記１つのオーディオコンテンツのテンポを決定することを含む、前記１つのオーディオコンテンツの分析を行うことと、
反復運動療法の間、再生するための前記１つのオーディオコンテンツを前記患者に提供することと、
前記プロセッサにより、前記１つのオーディオコンテンツを前記患者に対して再生している間にセンサを使用して取得した前記患者の生体データに基づいて、前記１つのオーディオコンテンツの、前記患者のエントレインメント上の効果を評価することと、
前記１つのオーディオコンテンツが前記患者に効果的でない場合に、
前記プロセッサにより、前記１つのオーディオコンテンツのエントレインメント適合性分析を行うことであって、前記エントレインメント分析が複数のオーディオ特性に対して適合性スコアを割り当てることを含む、前記エントレインメント適合性分析を行うことと、
前記エントレインメント適合性分析に基づいて前記プロセッサにより、前記１つのオーディオコンテンツに対してエントレインメントの補助的なキューを生成することであって、前記補助的なキューが前記１つのオーディオコンテンツに加えるための音を含む、前記エントレインメントの補助的なキューを生成することと、
前記プロセッサにより、前記１つのオーディオコンテンツの再生に同期させて、前記補助的なキューの出力のために前記補助的なキューを前記１つのオーディオコンテンツに適用することと、
前記プロセッサにより、前記１つのオーディオコンテンツと適用された補助的キューとを再生している間にセンサを使用して取得した前記患者の生体データに基づいて、前記１つのオーディオコンテンツと適用された補助的キューとの、前記患者のエントレインメント上の効果を評価することと、を含む方法。 A method of providing repetitive exercise therapy comprising:
accessing one or more pieces of audio content using a processor ;
selecting a piece of audio content to deliver to the patient using the processor ;
performing , by the processor, analysis of the piece of audio content, comprising:
performing an analysis of the piece of audio content, wherein the analysis includes identifying audio characteristics of the piece of audio content and determining a tempo of the piece of audio content;
providing the patient with the piece of audio content for playback during repetitive exercise therapy;
The processor renders the piece of audio content on entrainment of the patient based on biometric data of the patient obtained using sensors while playing the piece of audio content to the patient. evaluating the effect of
if the piece of audio content is not effective for the patient;
performing , by the processor, an entrainment suitability analysis of the piece of audio content, the entrainment suitability analysis comprising assigning suitability scores to a plurality of audio characteristics ; to do and
generating, by the processor, entrainment auxiliary cues for the piece of audio content based on the entrainment suitability analysis, the auxiliary cues adding to the piece of audio content. generating auxiliary cues for the entrainment , including sounds for
applying , by the processor, the ancillary cues to the piece of audio content for output of the ancillary cues synchronously with playback of the piece of audio content;
The processor determines the piece of audio content and the applied ancillary cues based on biometric data of the patient obtained using a sensor while playing the piece of audio content and the applied ancillary cues. and evaluating an effect on entrainment of the patient with targeted cues .
プロセッサを使用して、１以上のオーディオコンテンツへアクセスすることと、
前記プロセッサを使用して、患者に届ける１つのオーディオコンテンツを選択することと、
前記プロセッサにより、前記１つのオーディオコンテンツの分析を行うことであって、
前記分析が、前記１つのオーディオコンテンツのテンポを含む、前記１つのオーディオコンテンツのオーディオ特性を特定することを含む、前記１つのオーディオコンテンツの分析を行うことと、
前記プロセッサにより、前記１つのオーディオコンテンツのエントレインメント適合性分析を行うことであって、前記エントレインメント適合性分析が、
平均テンポ、
ビート強度、
テンポ分散、
知覚されるテンポ、
拍子記号、
リズムパターン分散、
曲演奏時間、
リズム遍在度、及び、
前記１つのオーディオコンテンツにおける最初のビートの位置と最後のビートの位置、のうちの少なくとも１つを含む、１以上のオーディオ特性に対してスコアを割り当てることを含む、前記エントレインメント適合性分析を行うことと、
前記エントレインメント適合性分析に基づいて前記プロセッサにより、エントレインメントの補助的なキューを生成することであって、前記補助的なキューが前記１つのオーディオコンテンツに加えられる音を含み、前記音が、
前記１つのオーディオコンテンツのビートで再生される単一の打楽器音、
前記１つのオーディオコンテンツ及びその細分化された音で再生される打楽器音、
前記１つのオーディオコンテンツに同期したドラムパターン、ならびに
前記１つのオーディオコンテンツのボイスカウントビート、のうちの少なくとも１つを含む、生成することと、を含む方法。 A method of providing repetitive exercise therapy comprising:
accessing one or more pieces of audio content using a processor ;
selecting a piece of audio content to deliver to the patient using the processor ;
performing , by the processor, analysis of the piece of audio content, comprising:
performing an analysis of the piece of audio content, wherein the analysis includes identifying audio characteristics of the piece of audio content , including a tempo of the piece of audio content;
performing , by the processor, an entrainment suitability analysis of the piece of audio content, the entrainment suitability analysis comprising:
average tempo,
beat strength,
tempo distribution,
perceived tempo,
time signature,
Rhythm pattern dispersion,
song playing time,
Rhythm ubiquity , and
performing the entrainment suitability analysis, comprising assigning scores to one or more audio characteristics including at least one of a first beat position and a last beat position in the piece of audio content; to do and
generating entrainment auxiliary cues by the processor based on the entrainment suitability analysis, the auxiliary cues including sounds to be added to the piece of audio content, the sounds ,
a single percussion sound played on the beat of said piece of audio content;
percussion instrument sounds reproduced with the one audio content and its segmented sounds;
generating at least one of: a drum pattern synchronized to the piece of audio content; and a voice count beat of the piece of audio content.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023019003A JP2023062034A (en) | 2017-07-24 | 2023-02-10 | Enhancing music for repetitive motion activities |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762536264P | 2017-07-24 | 2017-07-24 | |
| US62/536,264 | 2017-07-24 | ||
| PCT/US2018/043525 WO2019023256A1 (en) | 2017-07-24 | 2018-07-24 | Enhancing music for repetitive motion activities |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023019003A Division JP2023062034A (en) | 2017-07-24 | 2023-02-10 | Enhancing music for repetitive motion activities |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020529235A JP2020529235A (en) | 2020-10-08 |
| JPWO2019023256A5 true JPWO2019023256A5 (en) | 2022-10-12 |
Family
ID=65014353
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020504152A Pending JP2020529235A (en) | 2017-07-24 | 2018-07-24 | Music improvements for repetitive movements |
| JP2023019003A Pending JP2023062034A (en) | 2017-07-24 | 2023-02-10 | Enhancing music for repetitive motion activities |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023019003A Pending JP2023062034A (en) | 2017-07-24 | 2023-02-10 | Enhancing music for repetitive motion activities |
Country Status (7)
| Country | Link |
|---|---|
| US (3) | US10556087B2 (en) |
| EP (1) | EP3659050A4 (en) |
| JP (2) | JP2020529235A (en) |
| KR (2) | KR102592316B1 (en) |
| CN (2) | CN115120835B (en) |
| CA (1) | CA3070120A1 (en) |
| WO (1) | WO2019023256A1 (en) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10540991B2 (en) * | 2015-08-20 | 2020-01-21 | Ebay Inc. | Determining a response of a crowd to a request using an audio having concurrent responses of two or more respondents |
| US11176915B2 (en) * | 2017-08-29 | 2021-11-16 | Alphatheta Corporation | Song analysis device and song analysis program |
| US11749240B2 (en) * | 2018-05-24 | 2023-09-05 | Roland Corporation | Beat timing generation device and method thereof |
| US11205414B2 (en) | 2019-02-15 | 2021-12-21 | Brainfm, Inc. | Noninvasive neural stimulation through audio |
| WO2021051118A1 (en) * | 2019-09-12 | 2021-03-18 | MedRhythms, Inc. | Systems and methods for neurologic rehabilitation |
| CN114402389A (en) * | 2019-09-27 | 2022-04-26 | 雅马哈株式会社 | Sound analysis method, sound analysis device, and program |
| US11714594B2 (en) | 2019-10-07 | 2023-08-01 | Spotify Ab | Cuepoint determination system |
| CN111429942B (en) * | 2020-03-19 | 2023-07-14 | 北京火山引擎科技有限公司 | Audio data processing method and device, electronic equipment and storage medium |
| CN111508457A (en) * | 2020-04-14 | 2020-08-07 | 上海影卓信息科技有限公司 | Music beat detection method and system |
| CA3186120A1 (en) * | 2020-07-21 | 2022-01-27 | MedRhythms, Inc. | Systems and methods for augmented neurologic rehabilitation |
| US20240038258A1 (en) | 2020-08-18 | 2024-02-01 | Dolby Laboratories Licensing Corporation | Audio content identification |
| CN112107773A (en) * | 2020-09-08 | 2020-12-22 | 杭州趣安科技有限公司 | Audio processing method and system |
| CN112754502A (en) * | 2021-01-12 | 2021-05-07 | 曲阜师范大学 | Automatic music switching method based on electroencephalogram signals |
| WO2022266202A1 (en) * | 2021-06-15 | 2022-12-22 | Miir Audio Technologies, Inc | Systems and methods for identifying segments of music having characteristics suitable for inducing autonomic physiological responses |
| US11847379B1 (en) | 2022-09-23 | 2023-12-19 | Blackbird Neuroscience Inc. | Audio processing method and system for environmental enrichment therapy |
| US11922911B1 (en) * | 2022-12-02 | 2024-03-05 | Staffpad Limited | Method and system for performing musical score |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6656137B1 (en) * | 1995-11-29 | 2003-12-02 | Omega Assembly Trust | Vestibular and RAS enhancing device |
| EP1538970B1 (en) * | 2002-08-09 | 2020-06-17 | Intercure Ltd. | Generalized metronome for modification of biorhythmic activity |
| EP1838270B1 (en) * | 2004-08-25 | 2009-07-22 | Motorika Limited | Motor training with brain plasticity |
| JP4686681B2 (en) * | 2004-10-05 | 2011-05-25 | 国立大学法人東京工業大学 | Walking assistance system |
| US20100168503A1 (en) * | 2005-03-08 | 2010-07-01 | Sunnen Gerard V | Vibrational delta and theta brain wave induction apparatus and method for the stimulation of sleep |
| US7402743B2 (en) * | 2005-06-30 | 2008-07-22 | Body Harp Interactive Corporation | Free-space human interface for interactive music, full-body musical instrument, and immersive media controller |
| JP2007144107A (en) * | 2005-10-25 | 2007-06-14 | Vr Sports:Kk | Exercise assisting system |
| US20070254271A1 (en) * | 2006-04-28 | 2007-11-01 | Volodimir Burlik | Method, apparatus and software for play list selection in digital music players |
| US9457166B1 (en) * | 2007-11-28 | 2016-10-04 | Vincent J. Lasorso, Jr. | Physical therapy whole sound frequencies device and method of recording content used therein |
| US8801591B1 (en) * | 2007-11-28 | 2014-08-12 | Vincent J. Lasorso, Jr. | Physical therapy whole sound frequencies device and method of using the same |
| US20100075806A1 (en) * | 2008-03-24 | 2010-03-25 | Michael Montgomery | Biorhythm feedback system and method |
| US20090260506A1 (en) * | 2008-04-17 | 2009-10-22 | Utah State University | Method for controlling the tempo of a periodic conscious human physiological activity |
| US8845494B2 (en) * | 2008-10-01 | 2014-09-30 | University Of Maryland, Baltimore | Step trainer for enhanced performance using rhythmic cues |
| US8388512B2 (en) * | 2009-03-12 | 2013-03-05 | Vera M. Brandes | Systems and methods for music therapy |
| US20120006183A1 (en) * | 2010-07-06 | 2012-01-12 | University Of Miami | Automatic analysis and manipulation of digital musical content for synchronization with motion |
| US20130131555A1 (en) * | 2011-11-17 | 2013-05-23 | William R. Hook | Gait analysis using angular rate reversal |
| US20130338429A1 (en) * | 2012-06-13 | 2013-12-19 | LifeMusic, Inc. | Producing Audio Output for Music Therapy |
| US10421002B2 (en) * | 2013-03-11 | 2019-09-24 | Kelly Ann Smith | Equipment, system and method for improving exercise efficiency in a cardio-fitness machine |
| US9460700B2 (en) * | 2013-03-11 | 2016-10-04 | Kelly Ann Smith | Equipment, system and method for improving exercise efficiency in a cardio-fitness machine |
| US20140357960A1 (en) * | 2013-06-01 | 2014-12-04 | James William Phillips | Methods and Systems for Synchronizing Repetitive Activity with Biological Factors |
| GB201310861D0 (en) * | 2013-06-18 | 2013-07-31 | Nokia Corp | Audio signal analysis |
| JP2015061579A (en) * | 2013-07-01 | 2015-04-02 | 株式会社東芝 | Motion information processing apparatus |
| EP2870984A1 (en) * | 2013-11-08 | 2015-05-13 | Beats Medical Limited | A system and method for selecting an audio file using motion sensor data |
| US10321842B2 (en) * | 2014-04-22 | 2019-06-18 | Interaxon Inc. | System and method for associating music with brain-state data |
| EP4268713A3 (en) | 2015-08-18 | 2024-01-10 | University of Miami | Method and system for adjusting audio signals based on motion deviation |
-
2018
- 2018-07-24 US US16/044,240 patent/US10556087B2/en active Active
- 2018-07-24 KR KR1020207003824A patent/KR102592316B1/en active IP Right Grant
- 2018-07-24 CA CA3070120A patent/CA3070120A1/en active Pending
- 2018-07-24 JP JP2020504152A patent/JP2020529235A/en active Pending
- 2018-07-24 CN CN202210685805.9A patent/CN115120835B/en active Active
- 2018-07-24 EP EP18838114.9A patent/EP3659050A4/en active Pending
- 2018-07-24 WO PCT/US2018/043525 patent/WO2019023256A1/en unknown
- 2018-07-24 KR KR1020237035534A patent/KR20230150407A/en not_active Application Discontinuation
- 2018-07-24 CN CN201880050030.XA patent/CN110958899B/en active Active
-
2020
- 2020-01-15 US US16/743,946 patent/US11517707B2/en active Active
-
2022
- 2022-12-06 US US18/062,206 patent/US12064564B2/en active Active
-
2023
- 2023-02-10 JP JP2023019003A patent/JP2023062034A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2023062034A (en) | Enhancing music for repetitive motion activities | |
| Stupacher et al. | Audio features underlying perceived groove and sensorimotor synchronization in music | |
| JPWO2019023256A5 (en) | ||
| Goto et al. | A real-time beat tracking system for audio signals | |
| Desain et al. | Does expressive timing in music performance scale proportionally with tempo? | |
| Pachet et al. | Reflexive loopers for solo musical improvisation | |
| Hove et al. | Sensorimotor synchronization with chords containing tone-onset asynchronies | |
| Thompson et al. | Drum transcription via classification of bar-level rhythmic patterns | |
| Dixon | An empirical comparison of tempo trackers | |
| US20050217461A1 (en) | Method for music analysis | |
| Friberg et al. | Preferred swing ratio in jazz as a function of tempo | |
| Jankowsky | Rhythmic elasticity and metric transformation in Tunisian Sṭambēlī | |
| Carnovalini et al. | A real-time tempo and meter tracking system for rhythmic improvisation | |
| Singh | How to make a hit song: Invest in a good studio | |
| US20090235809A1 (en) | System and Method for Evolving Music Tracks | |
| Freire et al. | Strumming on an acoustic nylon guitar: Microtiming, beat control and rhythmic expression in three different accompaniment patterns | |
| Abeßer et al. | Automatic genre and artist classification by analyzing improvised solo parts from musical recordings | |
| Tutzer | Drum rhythm retrieval based on rhythm and sound similarity | |
| Sethares | Automated Rhythm Analysis | |
| Murray-Rust et al. | VirtuaLatin-towards a musical multi-agent system | |
| Caulfield | Cooperation Between Top-Down and Low-Level Markov Chains for Generating Rock Drumming | |
| Lyubenov | Music Analysis of the Electronic Dance Music MUS-17 | |
| Shay | Stimulation Effects of Some Acoustical Musical Attributes on Beat-Synchronized Walking | |
| Zhu et al. | Music feature analysis for synchronization with dance animation | |
| Kaler | Jamming the Blues: The Grateful Dead's Development of Models for Rock Improvisation |