JP7158583B2 - 楽音信号のパワーの平坦化方法及び装置、並びに、楽曲のビートタイミング検出方法及び装置 - Google Patents

楽音信号のパワーの平坦化方法及び装置、並びに、楽曲のビートタイミング検出方法及び装置 Download PDF

Info

Publication number
JP7158583B2
JP7158583B2 JP2021528794A JP2021528794A JP7158583B2 JP 7158583 B2 JP7158583 B2 JP 7158583B2 JP 2021528794 A JP2021528794 A JP 2021528794A JP 2021528794 A JP2021528794 A JP 2021528794A JP 7158583 B2 JP7158583 B2 JP 7158583B2
Authority
JP
Japan
Prior art keywords
value
current value
beat
values
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021528794A
Other languages
English (en)
Other versions
JPWO2020261497A1 (ja
Inventor
智 日下部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Roland Corp
Original Assignee
Roland Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Roland Corp filed Critical Roland Corp
Publication of JPWO2020261497A1 publication Critical patent/JPWO2020261497A1/ja
Application granted granted Critical
Publication of JP7158583B2 publication Critical patent/JP7158583B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G3/00—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument
    • G10G3/04—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument using electrical means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/265—Acoustic effect simulation, i.e. volume, spatial, resonance or reverberation effects added to a musical sound, usually by appropriate filtering or delays
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/021—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays
    • G10H2220/081—Beat indicator, e.g. marks or flashing LEDs to indicate tempo or beat positions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/131—Mathematical functions for musical analysis, processing, synthesis or composition
    • G10H2250/215—Transforms, i.e. mathematical transforms into domains appropriate for musical signal processing, coding or compression
    • G10H2250/235—Fourier transform; Discrete Fourier Transform [DFT]; Fast Fourier Transform [FFT]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/131—Mathematical functions for musical analysis, processing, synthesis or composition
    • G10H2250/215—Transforms, i.e. mathematical transforms into domains appropriate for musical signal processing, coding or compression
    • G10H2250/251—Wavelet transform, i.e. transform with both frequency and temporal resolution, e.g. for compression of percussion sounds; Discrete Wavelet Transform [DWT]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/315—Sound category-dependent sound synthesis processes [Gensound] for musical use; Sound category-specific synthesis-controlling parameters or control means therefor
    • G10H2250/365—Gensound applause, e.g. handclapping; Cheering; Booing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Auxiliary Devices For Music (AREA)

Description

本発明は、楽音信号のパワーの平坦化方法及び装置、並びに、楽曲のビートタイミング検出方法及び装置に関する。
従来、エンベロープによって正規化した波形データの差分の列に波形データ列の変動の大きさに反比例する圧縮率を乗算した圧縮差分データ列と、圧縮率に関連する伸長率データと、所定のエンベロープとに基づいて波形データ列を再生する波形記録・再生法及び波形再生装置がある（例えば、特許文献１参照）。また、波形信号のブロックごとの最大値とそのアドレスに基づいて、波形信号を正規化して、波形信号のエンベロープを除去する波形信号処理装置がある（例えば、特許文献２参照）。
特許第２９０００７７号公報 特開昭６２－０７５６００号公報
楽曲信号の解析により楽曲のビートを検出することが試みられている。ビートは、一定の間隔で刻まれる基本的な時間の単位のことである。ビートは、一般に、定期的に現れる楽音信号のピークの時間位置（信号のレベル／パワーの大きなところ）を特定することによって行われる。このため、過去の信号の状況は、現時点より後のビートタイミングの検出（予測）に影響を与える。
楽曲の中には、或る時点を境に音量が急激に小さくなってその状態がしばらく続くとともに、ビートの変化が生じる部分を有するものがある。このような楽曲については、或る時点より過去の楽曲信号について実施していたビートタイミングの検出方法を或る時点より後にそのまま適用できないケースが起こりうる（例えば、音量の低下によりピークを適正に検出できないなど）。特に、ビートタイミングの検出に再帰的処理が用いられていると、音量が小さくなった後のビートタイミングの検出処理において、音量が小さくなる前のフィードバック値が大きな影響を与え、ビートタイミングの検出精度に影響を及ぼす虞があった。
本発明は、パワー（音量）の変化による影響を低減し得る楽音信号の正規化方法、情報処理装置、ビートタイミングの検出方法、およびビートタイミング検出装置を提供することを目的とする。
本発明の一態様は、情報処理装置が、楽音信号の複数の時点におけるパワーを示す第１の値の夫々に対応する第２の値を前記第１の値の現在値と前記第２の値の現在値との比較の結果に基づいて決定することと、前記複数の第１の値の夫々に対応する第２の値を用いて前記複数の第１の値を平坦化することとを含み、前記第２の値は、前記比較の結果において、前記第２の値の現在値が前記第１の値の現在値より大きい状態が連続する場合に所定の軌跡を描いて変化することを特徴とする楽音信号のパワーの平坦化方法である。
本発明の他の態様は、楽音信号の複数の時点におけるパワーを示す複数の第１の値の夫々に対応する第２の値を前記第１の値の現在値と前記第２の値の現在値との比較の結果に基づいて決定する処理と、前記複数の第１の値の夫々に対応する第２の値を用いて前記複数の第１の値を平坦化する処理と、を行う制御部を含み、前記第２の値は、前記比較の結果において、第２の値の現在値が第１の値の現在値より大きい状態が連続する場合に所定の軌跡を描いて変化することを特徴とする情報処理装置である。
本発明の他の態様は、情報処理装置が、楽曲の楽音信号の複数の時点におけるパワーを示す複数の第１の値の夫々に対応する第２の値を前記第１の値の現在値と前記第２の値の現在値との比較の結果に基づいて決定することと、前記複数の第１の値を前記複数の第１の値の夫々に対応する複数の第２の値を用いて平坦化することと、前記平坦化された前記複数の第１の値を用いてビートタイミングを検出することとを含み、前記第２の値は、前記比較の結果において、前記第２の値の現在値が前記第１の値の現在値より大きい状態が連続する場合に所定の軌跡を描いて変化することを特徴とする楽曲のビートタイミング検出方法である。
本発明の他の態様は、楽曲の楽音信号の複数の時点におけるパワーを示す複数の第１の値の夫々に対応する第２の値を前記第１の値の現在値と前記第２の値の現在値との比較の結果に基づいて決定する処理と、前記複数の第１の値を前記複数の第１の値の夫々に対応する複数の第２の値を用いて平坦化する処理と、前記平坦化された前記複数の第１の値を用いてビートタイミングを検出する処理とを行う制御部を含み、前記第２の値は、前記比較の結果において、前記第２の値の現在値が前記第１の値の現在値より大きい状態が連続する場合に所定の軌跡を描いて変化することを特徴とする楽曲のビートタイミング検出装置である。
図１はビートタイミング検出装置として動作可能な情報処理装置（コンピュータ）の構成例を示す。 図２は、制御部（ビートタイミング検出部）の構成例を示す。 図３は、生成部の処理の参考例を示すフローチャートである。 図４Ａは、生成部に入力される１２秒分の楽曲のディジタル信号（楽曲信号ともいう）の例を示し、図４Ｂは、参考例によって図４Ａの楽曲信号から生成されるＳｐｘデータの例を示す。 図５は、実施形態における生成部の処理例を示すフローチャートである。 図６は、パワーデータ（Ｑｘ）を正規化する構成を模式的に示す。 図７は、エンベローパの処理を示す。 図８は、エンベローパの処理例を示すフローチャートである。 図９Ａは、正規化前のＱｘ及びＳｐｘを示し、図９Ｂは、正規化後のＱｘ及びＳｐｘを示す。 図１０は、算出部の処理例を示すフローチャートである。 図１１は、Ｓｐｘデータとフーリエ変換に用いるＢＰＭの正弦波の例を示す図である。 図１２は、ＢＰＭを示す余弦波とビートの発生タイミングとの関係を図示する。 図１３は、検出部によるビート発生タイミングの検出処理の例を示すフローチャートである。 図１４は、ビートタイミング検出方法における、第２の周期データ及び位相データの算出処理の例を示すフローチャートである。 図１５は、式３の回路図である。 図１６は、Ｓｐｘデータと、式３のフーリエ変換に用いるＢＰＭ周波数を有する減衰正弦波の例を示す。 図１７は、ウェーブレット変換値ｗｎを算出する回路を模式的に示す。 図１８Ａ、Ｂ、Ｃは、Ｓｐｘデータと周期的ハン窓列との関係を示す。 図１９は、位相データの算出処理の例を示すフローチャートである。 図２０は、ウェーブレット変換値の説明図である。
以下の実施形態において、以下を含む楽音信号のパワーの平坦化方法、及びこの平坦化方法と同様の特徴を有する情報処理装置について説明する。平坦化方法は、情報処理装置が、楽音信号の複数の時点におけるパワーを示す第１の値の夫々に対応する第２の値を第１の値の現在値と第２の値の現在値との比較の結果に基づいて決定することと、複数の第１の値の夫々に対応する第２の値を用いて複数の第１の値を平坦化することとを含み、第２の値は、比較の結果において、第２の値の現在値が第１の値の現在値より大きい状態が連続する場合に所定の軌跡を描いて変化することを特徴とする。
楽音信号のパワーの平坦化方法において、楽音信号の複数の時点におけるパワーは、例えば、楽音信号の複数のサンプルの夫々のパワーであってもよく、又は、複数のサンプルから抽出された複数のピークのパワーであってもよい。
また、楽音信号のパワーの平坦化方法において、以下の構成が採用されてもよい、すなわち、比較において、第２の値の現在値より大きい第１の値を新たな第２の値の現在値に設定してから第１の期間に新たな第２の値の現在値より大きい第１の値の現在値が出現しない場合に、所定の軌跡は、第１の期間、新たな第２の値の現在値を維持する第１の直線を描き、さらに、第１の期間に連続する第２の期間に新たな第２の値の現在値より大きい第１の値の現在値が出現しない場合に、所定の軌跡は、第２の期間の始点における第２の値の現在値が第２の期間の終点において０となる第２の直線を描くようにする。この場合、情報処理装置は、第１の値の現在値が第２の値の現在値より大きい場合は、その第１の値を対応する第２の値に決定し、第１の値の現在値が第２の値の現在値より小さい場合は、第１の直線及び第２の直線に従って対応する第２の値を決定し、複数の第１の値の平坦化を、複数の第１の値の夫々を対応する第２の値で割ること、又は、複数の第１の値の夫々に対応する第２の値の逆数をかけることによって行う。
また、実施形態では、上記した楽音信号のパワーの平坦化方法によって得られた、平坦化された複数のパワーを用いて、ビートタイミングを検出する、ビートタイミング検出方法、及びビートタイミング検出装置について説明する。
ビートタイミング検出方法において、楽音信号の複数のサンプルのパワーの夫々（強度データ）は、例えば、楽曲のデータから所定数の連続する音のサンプルからなるフレームを取得し、前記フレーム中のサンプルを間引きし、間引きしたサンプルについて高速フーリエ変換を行い、高速フーリエ変換によって得られた周波数バンド幅毎のパワーの総和を示すものであってもよい。但し、複数のサンプルのパワーの夫々は、上記に限定されない。
ビートタイミング検出方法において、複数のサンプルから抽出された複数のピークのパワーの夫々は、前記複数のサンプルの夫々のパワーのうち、自身より大きい値を示すパワーが出現しない状態が所定時間継続した場合のパワーを示すもの（強度データと呼ぶ）であってよい。また、情報処理装置は、複数のピークのパワーを平坦化し、平坦化した複数のピークのパワーを用いて楽曲のビートの周期及び位相を算出し、ビートの周期及び位相に基づいて、楽曲のビートタイミングを検出する、構成を採用してもよい。
ビートタイミング検出方法において、情報処理装置は、所定時間分の平坦化した複数のピークのパワー（複数の強度データ）に対するフーリエ変換を行い、フーリエ変換の値の絶対値が最大値となるときのＢＰＭ（Beats Per Minute）を、楽曲のビートの周期として算出し、ＢＰＭを示す正弦波におけるビート音の発生タイミングの相対位置をビートの位相として算出する、構成を採用してもよい。
ビートタイミング検出方法において、情報処理装置は、複数個のＢＰＭに関して、減衰項を有するフーリエ変換を、平坦化した複数のピークのパワーに対して行い、フーリエ変換の値の絶対値が最大となるときのＢＰＭを、楽曲のビートの周期として算出する、ようにしてもよい。この場合、情報処理装置は、楽曲のビートの周期に対応するＢＰＭの１／ｎ周期ずつずれた窓関数のそれぞれを平坦化した複数のピークのパワーに乗じて得られた複数の値に対し、フーリエ変換を行うことで、複数のウェーブレット変換値を求め、複数のウェーブレット変換の絶対値が最大になるときの位相を、前記楽曲のビートの位相として算出する、ようにしてもよい。
ビートタイミング検出方法において、情報処理装置は、ビートの周期及びビートの位相を示すカウント値を求め、サンプリングレートの１サンプル毎にインクリメントを行うカウンタを用いてカウント値の計時を行い、カウンタの値がカウント値に達したタイミングをビートタイミングとして検出する、ようにしてもよい。
以下、図面を参照して、実施形態に係るビートタイミング検出装置及びビートタイミング検出方法について説明する。実施形態の構成は例示であり、実施形態の構成に限定されない。
〔第１実施形態〕
＜ビートタイミング検出装置の構成＞
図１は、ビートタイミング検出装置として動作可能な情報処理装置の構成例を示す。情報処理装置１は、パーソナルコンピュータ（ＰＣ）、スマートデバイス（スマートフォン、タブレット端末）などの汎用のコンピュータであっても、専用のコンピュータであってもよい。また、情報処理装置は、可搬性を有する移動端末でも固定端末でもよい。
図１において、情報処理装置１は、バス３に接続された、ＣＰＵ１０と、ＲＯＭ（Read Only Memory）１１と、ＲＡＭ（Random Access Memory）１２と、ハードディスクドライブ（ＨＤＤ）１３と、入力装置１４と、表示装置１５と、通信インタフェース（通信Ｉ／Ｆ）１６とを含む。情報処理装置１は、さらに、バス３に接続された、ディジタルアナログ変換器（Ｄ／Ａ）１７と、アナログディジタル変換器（Ａ／Ｄ）２０とを含む。Ｄ／Ａ１７にはアンプ（ＡＭＰ）１８が接続され、ＡＭＰ１８にはスピーカ１９が接続されている。Ａ／Ｄ２０には、マイクロフォン（ＭＩＣ）２１が接続されている。
ＲＯＭ１１は、ＣＰＵ１０によって実行される様々なプログラムやプログラムの実行に際して使用されるデータを記憶している。ＲＡＭ１２は、プログラムの展開領域、ＣＰＵ１０の作業領域、データの記憶領域などとして使用される。ＨＤＤ１３は、プログラムやプログラムの実行に際して使用されるデータ、楽曲データなどを記憶する。楽曲データは、例えばＭＰ３やＷＡＶＥ形式などの所定の音声ファイルのフォーマットを有する音データである。音声ファイルのフォーマット形式は、ＭＰ３やＷＡＶＥ形式以外でもよい。ＲＯＭ１１及びＲＡＭ１２は、主記憶装置の一例であり、ＨＤＤ１３は補助記憶装置の一例である。主記憶装置及び補助記憶装置は、記憶装置又は記憶媒体の一例である。
入力装置１４は、キー、ボタン、タッチパネルなどであり、情報（指示や命令を含む）の入力に使用される。表示装置１５は、情報の表示に使用される。通信Ｉ／Ｆ１６は、ネットワーク２に接続されており、通信に係る処理を司る。ＣＰＵ１０は、例えば入力装置１４から入力された指示に応じて、ネットワーク２から所望の楽曲データ（楽曲信号）をダウンロードし、ＨＤＤ１３に記憶することができる。
ＣＰＵ１０は、プログラムの実行によって、様々な処理を行う。処理は、上記した楽曲ダウンロードに係る処理の他、楽曲の再生に係る処理、楽曲のビート音発生タイミングを生成する処理、ビート音発生タイミングに合わせてビート音（例えば、クラップ音、特にハンドクラップ音など）を出力する処理などを含む。ＣＰＵ１０は、「制御部」の一例である。
例えば、ＣＰＵ１０は、楽曲データを再生する場合、プログラムの実行によって、ＨＤＤ１３からＲＡＭ１２に読み出した楽曲データから楽曲の音を表すディジタルデータ（ディジタル信号）を生成し、Ｄ／Ａ１７に供給する。Ｄ／Ａ１７は、音を表すディジタルデータをディジタルアナログ変換によってアナログ信号に変換し、ＡＭＰ１８に出力する。ＡＭＰ１８によって振幅が調整されたアナログ信号はスピーカ１９から出力される。
ＭＩＣ２１は、例えば、スピーカ１９から出力される楽曲の音を伴奏（カラオケ）とする歌唱音などを集音する。ＭＩＣ２１で集音されたアナログの音声信号は、ＡＭＰ１８で振幅を増幅され、スピーカ１９から出力される。このとき、歌唱音は楽曲音とミキシングされても、それぞれ別個のスピーカから出力されてもよい。
また、ＭＩＣ２１は、楽器を用いた演奏（いわゆる生演奏）による音声や外部機器からの楽曲の再生音声を集音して音を拡大（スピーカ１９から出力）したり、録音したりする場合にも使用される。例えば、ＭＩＣ２１で集音された演奏音の信号は、Ａ／Ｄ２０によってディジタル信号に変換され、ＣＰＵ１０に渡される。ＣＰＵ１０は、演奏音の信号を音声ファイルのフォーマットに従った形式に変換して音声ファイルを生成し、ＨＤＤ１３に記憶する。ＭＩＣ２１で集音される楽曲の音信号について、ビートタイミングの検出（ビート音発生タイミングの生成）処理が行われてもよい。
なお、情報処理装置１がコンパクトディスク（ＣＤ）などのディスク型記録媒体のドライブ装置（図示せず）を含んでもよい。この場合、ドライブ装置を用いてディスク型記録媒体から読み出された楽曲の音を表すディジタル信号がＤ／Ａ１７に供給され、楽曲音が再生されてもよい。この場合、ディスク型記録媒体から読み出された楽曲の音信号について、ビートタイミングの検出処理が行われてもよい。
図１に示した情報処理装置１は、ビートタイミング検出装置として動作可能である。ＣＰＵ１０は、ＲＯＭ１１やＨＤＤ１３に記憶されたプログラムを実行することによって、後述する正規化処理や、楽曲のビートタイミングを検出する（ビート音発生タイミングを生成する）処理を行う制御部として動作する。
図２は、制御部（ビートタイミング検出）部の構成例を示す図である。プログラムの実行によって、ＣＰＵ１０は、図２に示す制御部（ビートタイミング検出部）１００として動作する。制御部１００は、時間スパースデータ（「Ｓｐｘデータ」と表記：複数のサンプルから抽出されたピークのパワー」、「強度データ」に相当）の生成部１０１、バッファ１０２、周期データ及び位相データの算出部１０３、及びビートタイミングの検出部１０４として動作する。バッファ１０２は、例えば、ＲＡＭ１２やＨＤＤ１３の所定の記憶領域に設けられる。
Ｓｐｘデータの生成部１０１は、楽曲の音を表すディジタルデータ（楽曲のデータ）を用いて、Ｓｐｘデータを生成して出力する。バッファ１０２は、少なくとも所定時間分のＳｐｘデータ（複数の強度データに相当）を蓄積する。本実施形態では、所定時間として６秒を例示するが、所定時間は６秒より長くても短くてもよい。算出部１０３は、バッファ１０２に蓄積された所定時間分のＳｐｘデータの集合を用いて、ビートの周期データ及び位相データを算出する。発生タイミングの検出部１０４は、周期データ及び位相データを用いてビートタイミングを検出する。
ビートタイミングは、ビート音発生タイミング（出力指示）として、ビート音の再生処理部１０５に入力される。再生処理部１０５は、発生タイミングに合わせたビート音の再生処理を行う。再生処理部１０５としての動作は、例えばＣＰＵ１０によって行われる。バッファ１０２は、例えば、ＲＡＭ１２やＨＤＤ１３の所定の記憶領域に設けられる。
Ｓｐｘデータの生成部１０１は、楽曲の音を表すディジタルデータを用いて、Ｓｐｘデータを生成して出力する。バッファ１０２は、少なくとも所定時間分のＳｐｘデータ（複数の強度データに相当）を蓄積する。本実施形態では、所定時間として６秒を例示するが、所定時間は６秒より長くても短くてもよい。算出部１０３は、バッファ１０２に蓄積された所定時間分のＳｐｘデータの集合を用いて、ビートの周期データ及び位相データを算出する。発生タイミングの検出部１０４は、周期データ及び位相データを用いてビートタイミングを検出する。
＜＜Ｓｐｘデータの生成＞＞
生成部１０１によるＳｐｘデータの生成について説明する。生成部１０１には、再生に係る楽曲（音声出力のためにＤ／Ａ１７に送られたデータ）の音を表すディジタル信号が「楽曲のデータ」として入力される。音を表すディジタル信号は、ＨＤＤ１３に記憶された楽曲データの再生処理によるものでも、ＭＩＣ２１で収音された音声信号のＡ／Ｄ変換によって得られたものでもよい。
音を表すディジタルデータは、ＲＡＭ１２に記憶され、生成部１０１の処理に使用される。音を表すディジタルデータは、例えばアナログ信号から所定のサンプリングレートに従って採取されたサンプル（標本）データ（通常、アナログ信号の電圧値）の集合である。本実施形態では、一例として、サンプリングレートは４４１００Ｈｚであるとする。但し、サンプリングレートは、所望のＦＦＴ解像度が得られる限りにおいて適宜変更可能である。
（参考例）
図３は、生成部１０１の処理の参考例を示すフローチャートである。生成部１０１には、楽音出力（再生）のためにＤ／Ａ１７へ送られた、楽曲の音を表すディジタルデータ（ディジタル信号）が入力される。生成部１０１は、入力されたディジタルデータから、所定個数のサンプル（「フレーム」と呼ぶ）を取得する（Ｓ０１）。所定個数は、本実施形態では１０２４であるがこれより多くても少なくてもよい。サンプルの取得は、所定間隔で行われる。所定間隔は、例えば５ｍｓであるが、これより多くても少なくてもよい。
Ｓ０２では、生成部１０１は、間引き処理を行う。すなわち、生成部１０１は、１０２４個のサンプルに対する１／４間引きを行って、２５６個のサンプルを得る。間引きは１／４間引き以外でもよい。Ｓ０３では、生成部１０１は、２５６個のサンプルに対して高速フーリエ変換（ＦＦＴ）を施し、ＦＦＴの結果（周波数バンド幅毎のパワー）から、フレーム単位でのパワーの大きさを示すデータ（パワーデータという）を得る（Ｓ０４）。なお、パワーは振幅の２乗で表されることから、「パワー」との概念には振幅も含まれる。
パワーデータの値は、例えば、２５６個のサンプルに対するＦＦＴの実施によって得られるパワーの総和である。但し、今回のフレームの各周波数バンド幅のパワーから前回のフレームにおける、対応するバンド幅のパワーを差し引き、その値が正である（パワーが増加している）場合にはそのパワーの値を総和計算のために残し、そうでない（差し引いた値が負である（パワーが減少している））値は無視してもよい。パワーの増加分が大きいところがビートである可能性が高いからである。
また、他のフレームとの比較対象が同じである限りにおいて、総和の算出に用いる値は、今回のフレームのパワーの総和であっても、今回のフレームのパワーから前回のフレームのパワーを引いた値が正の値のパワーの総和であっても、今回のフレームのパワーから前回のフレームのパワーを差し引いた差分であってもよい。また、ＦＦＴの実施によって得られるパワースペクトルにおいて、所定の周波数より低い周波数についてのみ、上記した差分の算出が行われてもよい。所定の周波数以上の周波数については、ローパスフィルタを用いてカットしてもよい。
パワーデータは、フレーム単位で、ＲＡＭ１２やＨＤＤ１３に記憶される。生成部１０１は、フレーム単位のパワーデータが作成される毎に、パワーの総和（ピーク値）の大きさを比較して大きい方を残し、小さい方は破棄する（Ｓ０５）。生成部１０１は、Ｓ０５で残した総和より大きい総和が所定時間出現していないか否かを判定する（Ｓ０６）。所定時間は例えば１００ｍｓであるが、１００ｍｓより大きくても小さくてもよい。より大きい総和を示すデータが出現していない状態が所定時間続いた場合に、生成部１０１は、そのパワーの総和を示すデータをＳｐｘデータとして抽出し、バッファ１０２に記憶（保存）する（Ｓ０７）。このように、Ｓｐｘデータは、楽音を示すディジタルデータのピーク値を１００ｍｓ間隔で抽出したデータであり、楽曲のビートを司るタイミングを示す情報（タイミング情報）と、そのタイミングにおけるパワーとを示すデータである。Ｓｐｘデータは、バッファ１０２に複数個蓄積される。生成部１０１は、Ｓ０１からＳ０６までの処理を繰り返し行う。
図４Ａは、生成部１０１に入力される１２秒分の楽曲のディジタル信号であり、図４Ｂは、図４Ａに示した楽曲のディジタル信号から参考例の処理により生成されたＳｐｘデータの例を示す。図４Ｂに示すグラフの横軸は時間で、縦軸はパワーである。このグラフにおいて、上端に黒丸のついた縦線が、図４Ａに示した楽曲のディジタル信号から得られた個々のＳｐｘデータを示し、横軸（時間軸）の位置がタイミングを示し、縦線の長さがパワーを示す。Ｓｐｘデータは、定められた間隔（例えば１００ｍｓ以上）で生成され、通常、１秒間に６個程度生成される。
（正規化処理）
上述した参考例では、図４Ｂに示すような複数のＳｐｘデータの値が得られる。しかし、図４Ｂの中央部分のように、或るタイミングを境にＳｐｘデータ（強度データ）の値が急激に小さい値に減少する場合がある。このような場合では、後述するビートの周期及び位相の算出において、適正な値を得られない場合があった。後述するが、例えば、ビートの周期及び位相の算出において再帰的処理（図１５、図１７）を行う場合、変化前の大きなＳｐｘデータの値が、変化直後のＳｐｘデータに係る処理において支配的となり、Ｓｐｘデータの変化に適正に追従できない場合があった。
本実施形態では、上述した問題を解決するため、Ｓｐｘデータの正規化処理（Ｓｐｘデータの大きさを平坦化する処理、或いは差を縮める処理）を行う。図５は、実施形態に係る生成部１０１の処理例を示すフローチャートである。図５の処理は、参考例におけるＳ０４とＳ０５との間に、正規化処理（Ｓ０４Ａ）が設けられている点で、参考例と異なる。
図６は、生成部１０１にて行われる正規化処理に係る構成を模式的に示す。正規化処理は、エンベローパ（enveloper）１０１Ａと、ノーマライザ（normalizer）１０１Ｂとを有する。参考例において説明した、フレーム単位のパワーの大きさ（総和）を示すデータ（パワーデータ）を“Ｑｘ”とする。時間軸上に時系列で並んだＱｘの集合が、「複数の楽音信号」に該当する。エンベローパ１０１Ａ及びノーマライザ１０１Ｂには、複数のＱｘのそれぞれが入力される。Ｑｘは、「第１の値」、「複数のサンプルの夫々のパワー」に相当する。
エンベローパ１０１Ａは、Ｑｘの値を用いて、Ｑｘ対応のダイナミクス値（Dynamics value：Ｄｖ）を求めて算出する。ダイナミクス値Ｄｖは、Ｑｘに対する音の強弱の変化を示す値であり、「正規化用信号（第２の値）」の一例である。ノーマライザ１０１Ｂは、Ｑｘの値をＤｖの値で除する（Ｑｘ／Ｄｖ）ことによって、正規化されたＱｘの値を求める。
図７は、エンベローパ１０１Ａの処理の説明図である。エンベローパ１０１Ａは、楽音信号の値が減衰する状態が所定の時間（監視区間：第１の期間（第１インターバル）Ｉｔｖ１）継続する間は一定の値を保持する（第１の期間におけるＤｖの値の軌跡は、Ｄｖの値が一定の直線（第１の直線）を描く）。そして、所定の時間が経過すると、その時点でのＤｖの大きさに関係なく、一定時間（第１の期間に連続する第２の期間（第２インターバル）Ｉｔｖ２）でＤｖの値が一点（０）に終結（収束）するように、Ｄｖの値を算出する。すなわち、第２の期間におけるＤｖの値の軌跡は、第２の期間の始点におけるＤｖの値が第２の期間の終点において０となる傾きを持つ直線（第２の直線）を描く。第１及び第２の直線からなる軌跡が「所定の軌跡」の一例であるが、「所定の軌跡」の形状は、上記一例に制限されない。
「所定の時間」は、以下のようにして決定する。ビート検出は、周期的に現れる楽音のピークの時間位置を特定することによって行う。したがって、正規化用信号が楽音のピークの周期よりも短い時間で変化する（楽音信号に追従する）と、本来のビートの周期よりも短いピークを検出してしまう可能性が高くなる。このため、「所定の時間」は、ビートの周期よりも長くする必要がある。一方、「所定の時間」を長くしすぎると、音量が大きな状態から音量が小さな状態になったときに、なかなか影響が消えないこととなる。これらを考慮して、「所定の時間」は決定される。
図８は、エンベローパ１０１Ａの処理例を示すフローチャートである。Ｓ００１では、初期設定として、以下のような処理が行われる。
・音の強弱の変化を示す値（ダイナミクス値：Dyna-value：Ｄｖ）の値を０に設定する。
・デュレーションカウンタ（Duration Counter：Ｄｃ）の値を０に設定する。Ｄｃは、図７に示したグラフの時間軸上の位置を示す。
・図７に示したＩｔｖ１及びＩｔｖ２の値を所定値に設定する。
Ｓ００２では、Ｓ０４（図５）で得られたＱｘの値を取得し、Ｄｃの値をインクリメントする。Ｓ００３では、Ｑｘの値とＤｖの値とを比較して、Ｄｖの値がＱｘの値より大きいかを判定する。Ｄｖの値がＱｘの値より大きいと判定される場合には、処理がＳ００４に進み、そうでないと判定される場合には、処理がＳ００７に進む。
Ｓ００７に処理が進んだ場合には、Ｄｖの値をＱｘの値と等しくする（Ｄｖの値を上げる）とともに、Ｄｃの値を０にする（リセットする）。その後、処理がＳ０１０に進む。Ｓ０１０では、現在のＤｖの値を出力し、処理をＳ００２に戻す。
Ｓ００４に処理が進んだ場合には、Ｄｃの値がＩｔｖ１の値より大きいか否かを判定する。Ｄｃの値がＩｔｖ１の値より大きいと判定される場合には、処理がＳ００５に進む。これに対し、Ｄｃの値がＩｔｖ１の値より小さいと判定される場合には、処理がＳ００８に進む。Ｄｃの値がＩｔｖ１の値より大きいことは、Ｄｃの値が監視時間（楽音信号の値が減少に転じてからの所定時間）Ｉｔｖ１に達したことを意味する。
Ｓ００８では、Ｄｖの値をＩｔｖ２の値で割った値を“ステップ（Ｓｔｅｐ）”の値に設定する。ステップの値は、区間２におけるＤｖの傾きを示す。その後、処理がＳ０１０に戻る。
Ｓ００４においてＤｃの値がＩｔｖ１の値より大きいと判定されることは、Ｑｘの時間軸上の位置が、第２区間Ｉｔｖ２内にあることを意味する。Ｓ００５では、ステップの値をＤｖの値から減じる。Ｓ００５の処理では、Ｄｖの現在の値がＩｔｖ２の終点で０となる直線（Ｓ００８で求めた傾き）に従って、Ｄｖの値を減少させる処理が行われる。すなわち、Ｄｖの値を、上記した直線上において、現在のＤｃの値に対応する値にする。
Ｓ００６では、Ｄｖの値がＱｘの値より大きいかを判定する。ＤｖがＱｘより大きいと判定される場合には、処理がＳ０１０に進み、そうでないと判定される場合には、処理がＳ００９に進む。Ｓ００９では、Ｑｘの値をＤｖの値に設定するとともに、Ｄｃの値を０にする（リセットする）。その後、処理がＳ０１０に進む。
図９Ａは、ＱｘとＤｖとの関係を示す。図９Ａにおける、灰色の部分はＱｘの時間的変化（複数のＱｘ）を示し、上端に黒丸がついた棒グラフはＳｐｘを示す。そして、破線は、Ｄｖの変化を示す。図９Ａに示すように、Ｑｘの値は、９．８[sec]あたりを境に急激に低下し、小さい値が続く。図８の処理では、ＱｘがＤｖより大きい場合はＤｖを上昇させる。また、ＱｘがＤｖより小さい場合は、ＤｃがＩｔｖ１を超えるまで、Ｄｃのカウントアップを行う。この間、Ｄｖの値は変化しない（Ｄｖの値を維持する：横軸の９．４～１０．１付近を参照）。ＤｃがＩｔｖ１を超える（時間軸上のＱｘの位置がＩｔｖ２内となる）と、“Ｄｖ／Ｉｔｖ２”の傾きに従ったＤｖの値の減少が行われる。傾き一定のため、ＤｖはＱｘが再びＤｖを上回るまで一直線に減少する（横軸の１０．１～１０．５付近を参照）。
図９Ｂは、ノーマライザ１０１Ｂによって正規化されたＱｘ及びＳｐｘを示す。例えば、図９Ａにおいて、Ｑｘ＝０．０８に対し、Ｄｖ＝０．０８である場合、ノーマライザ１０１Ｂの計算（Ｑｘ／Ｄｖ）によって、正規化されたＱｘの値は１．０となる。一方、Ｑｘ＝０．００５のときにＤｖ＝０．００５であれば、正規化されたＱｘの値は１．０となる。このように、Ｑｘの正規化によって、パワーが急激に減少した場合でも、音の強弱の変化でみた場合は同程度の値となる。
図５のＳ０５～Ｓ０７の処理、すなわち、Ｓｐｘを求める処理は、正規化されたＱｘを用いて行われる。図９Ｂに示すＳｐｘは、Ｓ０４Ａにて得られた正規化されたＱｘを用いたＳ０５～Ｓ０７の処理によって得られる。なお、Ｓｐｘを算出した後、Ｓｐｘについて上述した正規化処理を行ってもよい。
＜＜正規化（平坦化）処理の作用効果＞＞
上述したように、情報処理装置１は、Ｑｘ（楽音信号の複数の時点におけるパワーを示す第１の値に相当）の夫々に対応するＤｖ（第２の値に相当）をＱｘの現在値とＤｖの値の現在値との比較の結果に基づいて決定する。本実施形態では、“Ｑｘ／Ｄｖ（第１の値を対応する第２の値で割る演算）”によって、Ｑｘの正規化を行う。但し、演算は第１の値に対応する第２の値の逆数をかける演算（Ｑｘ＊１／Ｄｖ）でもよい。正規化に用いるＤｖの値は、比較の結果において、Ｄｖの現在値がＱｘの現在値より大きい状態が連続する場合に所定の軌跡を描いて変化する。所定の軌跡は、例えば、図７に示したような第１の期間（Ｉｔｖ１）における第１の直線と第２の期間（Ｉｔｖ２）における第２の直線からなる。このようなＤｖを用いて、複数のＱｘの夫々に対応するＤｖの値を求め、Ｑｘ／Ｄｖの演算を行って、Ｑｘの値を平坦化する。このような、Ｑｘ（Ｑｘを用いて求めるＳｐｘ）の平坦化によって、楽曲の音量の変化がビートの検出精度に影響を与えるのを抑えることができる。特に、後述する、再帰的処理（図１５、図１７）が行われる場合に、フィードバック信号が大きな影響を与えるのを抑えることができる。
＜＜周期データ及び位相データの算出＞＞
次に、ビートの周期及び位相を算出する方法（第１の方法）について説明する。図１０は、算出部１０３の処理例を示すフローチャートである。Ｓ１０において、生成部１０１にて生成された新たなＳｐｘデータがバッファ１０２に到来し、蓄積される。Ｓ１１において、バッファ１０２に蓄積されたＳｐｘデータのうち所定時間分のＳｐｘデータ（複数の強度データに相当）がバッファ１０２から取得される。所定時間は、例えば６秒間であるが、ビートの周期及び位相を得られる限りにおいて６秒より長くても短くてもよい。以降のＳ１２～Ｓ１６の処理は、Ｓ１１で取得した６秒分のＳｐｘデータを用いて行われる処理である。Ｓ１２では、６秒分のＳｐｘデータについて、所定個数（例えば２０個）のＢＰＭ（Beats Per Minute：テンポ（リズムの速さ）を示す）に対応したフーリエ変換を施し、ビートの周期（ＢＰＭの一周期）とビートの位相（ビート音の発生タイミング）とを算出する。
具体的に説明すると、６秒分のＳｐｘデータについて所定個数、例えばＢＰＭ８６～１６８に対応する２０個、のＢＰＭに対応する周波数（ＢＰＭ周波数）f = {86,90,94,…,168}/60 について、Ｅｘｐ（２πｊｆｔ）（ＢＰＭ周波数で振動する正弦波、振動数に関係無く振幅は同じ）に対する積和をとる。すなわちフーリエ変換を行う。フーリエ変換の結果をフーリエ変換データc(i) (i=0,1, 2, 3,…,19)とする。
図１１は、Ｓｐｘデータとフーリエ変換に用いるＢＰＭ周波数を有する正弦波の例を示す図である。図１０の例では、ＢＰＭ７２の正弦波（実線で示す）と、ＢＰＭ８８の正弦波（破線で示す）と、ＢＰＭ１０４の正弦波（一点鎖線で示す）とが例示されている。フーリエ変換データc(i)の値は以下の式１により求められる。なお、ＢＰＭの値及びその個数は適宜変更することができる。
Figure 0007158583000001
ここに、式１におけるt(k)は、Ｓｐｘデータの存在する過去６秒のうちの時間位置であり、単位は秒である。ｋはそのＳｐｘデータのインデックスであり、k=1,...,Mである（ＭはＳｐｘデータの個数）。また、x(t(k))は、その瞬間のＳｐｘデータの値（ピーク値の大きさ）を示す。ｊは虚数単位（ｊ２＝－１）である。ｆ(i)はＢＰＭ周波数であり、例えばＢＰＭ１２０は２．０Ｈｚである。
算出部１０３は、c(i)＝(c0, 1, c2, c3, ... ,c19)のうち、その絶対値が最大値に対応するＢＰＭをＳｐｘデータ（ビート）のＢＰＭに決定する（Ｓ１３）。また、その位相値（Phase)φ= Arg(c(i))[rad] を、６秒間分のＳｐｘデータについてのビートタイミングとする。 ビートタイミングは、周期的に到来するビートの発生タイミングに対する相対的な位置を示す。
位相値φは複素数の偏角であり、ｃ＝ｃｒｅ＋ｊｃｉｍ（ｃｒｅは実部でｃｉｍは虚部）とした場合に、以下の式２により得られる。
Figure 0007158583000002
位相値φの算出によって、ＢＰＭの正弦波に対するビートの発生タイミングの相対位置、すなわち、ＢＰＭの一周期に対してビート発生タイミングがどのくらい遅れているかがわかる。
図１２は、ＢＰＭを示す余弦波（EXP(2πjｆt)の実部）と、ビートの発生タイミングとの関係を図示する。図１２に示す例では、Ｓｐｘデータの個数が４であり、そのＢＰＭが７２である。図１２に示すＳｐｘデータの夫々は、式２を用いて求められるｃ(i)の値（位相）であり、ビートの発生タイミングを示す。Ｓｐｘデータ間がビート発生タイミングの間隔をなす。図１２に示す例では、位相値φの計算によって得られる、ＢＰＭ周波数を有する余弦波からπ／２遅れたタイミングがビートの発生タイミングとなる。算出部１０３は、ＢＰＭの一周期のサンプル数を周期データとする（Ｓ１５）。
例えば、ＢＰＭが１０４であり、サンプリングレートが４４１００Ｈｚの場合では、周期データ（サンプル数）は、４４１００[個]／（１０４／６０）＝２５４４２[個]となる。また、周期データが２５４４２[個]の場合において、位相値φが０．３４[rad]であった場合、位相データ（サンプル数）は、２５４４２[個]×０．３４[rad]／２π[rad]＝１３７７[個]となる。そして、算出部１０３は、周期データ及び位相データを出力する（Ｓ１６）。なお、算出部１０３は、６秒分のＳｐｘデータが蓄積されるごとに、Ｓ１１～Ｓ１６の処理を繰り返し行う。これにより、楽曲のリズムの変更に追従することができる。
＜＜ビートタイミングの検出＞＞
図１３は、検出部１０４によるビートタイミングの検出処理の例を示すフローチャートである。Ｓ２１において、検出部１０４は、新しい周期データ及び位相データが算出部１０３から提供されたかを判定する。新しい周期データ及び位相データが提供された場合には、処理がＳ２２に進み、そうでない場合には、処理がＳ２３に進む。
Ｓ２２では、検出部１０４は、新しい周期データ及び位相データをビート発生タイミングの検出に採用し、古い周期データ及び位相データは破棄する。このとき、Ｓｐｘデータの作成時に、Ｓｐｘデータをなすフレームのサンプルは、１００ｍｓ遅延が与えられた状態となっているため、ここで、演奏又は再生中の楽曲とリズムと、後述するハンドクラップ音とが一致するように時間調整（位相調整）が行われる。その後、処理がＳ２３に進む。
Ｓ２３では、周期データのサンプル数及び位相データのサンプル数を用いたカウンタの設定を行う。例えば、検出部１０４は、サンプリングレートの１サンプル（サンプリングレートに従ったアナログ信号の電圧チェックの間隔）毎にカウントアップ（インクリメント）を行うカウンタを有し、当該カウンタのカウント値を１サンプル毎にインクリメントする。これによってカウント値が零から所定値（位相データのサンプル数（カウント値）及び周期データのサンプル数（カウント値）の和を示す値）以上になるのを待つ（Ｓ２４）。
カウンタのカウント値が所定値以上になると、検出部１０４は、予測に基づく、ビート音の発生タイミング（ビートタイミング）を検出する（Ｓ２５）。検出部１０４は、制御部５３にビートタイミングの発生を通知するとともに、ビート音の出力指示を出力する（Ｓ２５）。制御部５３は、ビートタイミングに基づき、第１実施形態で説明した動作（表示態様の変更）を行う。再生処理部１０５は、出力指示に応じて、ＲＯＭ１１又はＨＤＤ１３に予め記憶していたビート音（例えば、ハンドクラップ音）のディジタルデータをＤ／Ａ１７へ送る。ディジタルデータはＤ／Ａ１７でアナログ信号に変換され、ＡＭＰ１８で振幅増幅された後、スピーカ１９から出力される。これによって、再生又は演奏中の楽曲に重ねてハンドクラップ音が出力される。
以上説明したビートタイミング検出方法によれば、再生又は演奏済みの（過去の）楽曲が生成部１０１に入力され、生成部１０１がＳｐｘデータを生成する。このようなＳｐｘデータがバッファ１０２に蓄積され、算出部１０３が所定時間（６秒）分の複数のＳｐｘデータから、ビートの周期及び位相を算出し、再生または演奏中の楽曲（音声）に合わせたビートタイミングを検出部１０４が検出して出力する。また、再生処理部１０５が再生又は演奏中の楽曲のリズムに合致したハンドクラップ音を出力させることができる。このハンドクラップ音の自動的な出力は、上述したＳｐｘデータの生成や、フーリエ変換データに基づくビートの周期及び位相の算出、並びにカウンタ値のカウントのような、計算量の少ない簡易なアルゴリズムにより行うことができる。これにより、処理の実行主体（ＣＰＵ１０）に対する負荷増大や、メモリリソースの増大を回避することができる。また、処理量が少ないが故に、再生音や演奏音に対する遅延のない（遅延があっても人がそれを認識できない）クラップ音出力が可能となる。
さらに、正規化処理によって、Ｑｘ及びＳｐｘデータの値が正規化されるため、パワーが急激に低下する場合であっても、その影響の少ないＳｐｘの値を用いてビートタイミングを検出することができる。なお、Ｓｐｘの正規化は、Ｑｘに対応するＤｖを記憶しておき、ＱｘからＳｐｘが算出された場合に、対応するＤｖの値でＳｐｘの値を除すること（Ｓｐｘ／Ｄｖ）によって行われてもよい。また、正規化は、Ｓｐｘ以外の、ビートタイミングの検出用データについて行われてもよい。
なお、ビートタイミング検出部１００が行う処理は、複数のＣＰＵ（プロセッサ）によって行うのでも、マルチコア構成のＣＰＵによって行うのでもよい。また、ビートタイミング検出部１００が行う処理は、ＣＰＵ１０以外のプロセッサ（ＤＳＰやＧＰＵなど）、プロセッサ以外の集積回路（ＡＳＩＣやＦＰＧＡなど）、或いはプロセッサと集積回路との組み合わせ（ＭＰＵ、ＳｏＣなど）によって実行されてもよい。
〔第２実施形態〕
次に第２実施形態について説明する。第２実施形態は、ビートの周期及び位相の算出方法として、第１実施形態で説明した第１の方法と異なる方法を用いる。但し、第２の方法法においても、第１実施形態で説明した方法によって正規化されたＳｐｘデータが使用される。第２の方法は、、周期データ及び位相データの算出に関して、第１の方法と以下のように異なる。
図１４は、第２のビートタイミング検出方法における、周期データ及び位相データの算出処理の例を示すフローチャートである。Ｓ５０では、生成部１０１にて生成された新たなＳｐｘデータがバッファ１０２に到来する。
Ｓ５１では、算出部１０３は、所定個数のＢＰＭに対応したフーリエ変換データを得る。第１の方法では、周期データ及び位相データの算出に関して、６秒分のＳｐｘデータについて、所定個数（例えば２０～４０個）のＢＰＭ（Beats Per Minute：テンポ（リズムの速さ）を示す）に対応したフーリエ変換を施していた（図９、Ｓ１２）。
これに対し、第２の方法（Ｓ５１）では、第１の方法で用いたフーリエ変換の代わりに、減衰項Ｕkをもつフーリエ変換を用いる。フーリエ変換の式（式３）を以下に示す。
Figure 0007158583000003
式３において、Ｕは１サンプルあたりの減衰量を示し、１に近い数である。Ｕは過去データを忘却していく割合を示す。区間は過去の無限大までである。図１５は、式３の回路図である。現在の遅延ブロック（Ｚ-１）６１により遅延が与えられた過去の信号ｆｎ-１（ｍ）に対し、乗算器６２で減衰項Ｕｅ-ｊωmが乗じられ、加算器６３で現在の信号ｆ（ｎ）と加算される。このようにして、１サンプル当たりのフーリエ変換値が得られる。
式３のフーリエ変換値は、以下の式４及び式５で表すことができる。
Figure 0007158583000004
Ｓｐｘデータの値が到来することなくＬ（Ｌは正の整数）サンプルが経過する区間（空区間）については、式３（図１５に示した回路）を用いず、以下の式６及び式７を用いて、Ｌサンプル分のフーリエ変換値を得ることができる。式６におけるｑｍ Ｌの値は、式７を用いて簡便に求めることができる。なお、ｆ（ｎ）は、Ｓｐｘデータの値、ＬはＳｐｘデータの到来間隔であり、Ｕは減衰係数、ωm はＢＰＭに対応する一サンプル当たりの角周波数である。
Figure 0007158583000005
図１６は、Ｓｐｘデータと、式３のフーリエ変換に用いるＢＰＭ周波数を有する減衰正弦波の例を示す。図１６の例において、周期が最も長い波がＢＰＭ７２の波であり、次の波がＢＰＭ８８の波であり、周期が最も短い波がＢＰＭ１０４の波である。第２の方法においても、所定個数の複数個のＢＰＭ（例えば２０個）が用意され、各ＢＰＭについて上記した式３を用いたフーリエ変換値が求められる。ＢＰＭの数は、２０より多くても少なくてもよい。
第２の方法では、第１の方法と異なり、所定期間（６秒）のＳｐｘデータを蓄積することを要しない。このため、Ｓｐｘデータを蓄積するためのメモリ（記憶装置５７）の記憶領域を有効に活用することができる。また、第１の方法では、複数個のＢＰＭ×Ｓｐｘデータ数の積和計算を行っていたのに対し、第２の方法では、各ＢＰＭについて式３の演算を行うため、大幅に演算量を減らすことができる。
Ｓ５２では、算出部１０３は、所定個数（例えば２０個）のＢＰＭに対応した所定個数（例えば５個）のウェーブレット変換値を得る。図１７は、ウェーブレット変換値ｗｎを算出する回路を模式的に示す。回路は、図１４に示したフーリエ変換値の算出用の回路に、乗算器６４が追加された構成となっている。乗算器６４は、ＢＰＭ値に相当するサンプル数を周期とする周期的ハン窓列をＳｐｘデータに乗じる。乗算器６４の出力に対し、上述した式３のフーリエ変換が行われ、ウェーブレット変換値ｗｎとして出力される。ハン窓は窓関数の一例であり、ハン窓以外に、三角窓やハミング窓などを適用可能である。
ウェーブレット変換値ｗｎは、各ＢＰＭについて、各ＢＰＭの１／５周期だけずれたタイミングについて求められる。すなわち、ＢＰＭの１／５周期ずつずれた周期的ハン窓列が用意され、各周期的ハン窓列に対応するウェーブレット変換値{ｗｎ}０≦ｎ＜５が求められる。
図１８Ａ、図１８Ｂ及び図１８Ｃは、Ｓｐｘデータと周期的ハン窓列との関係を示す。図１８Ａは、或るＢＰＭに係る、タイミング０の周期的ハン窓列を示す減衰正弦波を太線で示し、タイミング０以外の周期的ハン窓列を示す減衰正弦波を細線で示す。図１８Ｂは、或るＢＰＭに係る、タイミング１（タイミング０より１／５周期分進んでいる）の周期的ハン窓列を示す減衰正弦波を太線で示し、タイミング１以外の周期的ハン窓列を示す減衰正弦波を細線で示す。図１８Ｃは、或るＢＰＭに係る、タイミング２（タイミング１より１／５周期進んでいる）の周期的ハン窓列を示す減衰正弦波を太線で示し、タイミング１以外の周期的ハン窓列を示す減衰正弦波を細線で示す。
Ｓ５３では、算出部１０３は、Ｓ１３と同様に、複数のＢＰＭに対応するフーリエ変換値のうち、その絶対値が最大となるフーリエ変換値に対応するＢＰＭを、Ｓｐｘデータ（ビート）のＢＰＭに決定する。また、算出部１０３は、決定したＢＰＭのビートの一周期のサンプル数をビートの周期データに決定する（Ｓ５４）。
Ｓ５５では、算出部１０３は、ＢＰＭに対応する所定個数のウェーブレット変換値から位相値を算出し、周期データに対するサンプル値に変換する。すなわち、算出部１０３は、ウェーブレット変換値ｗｎの絶対値が最大となるときのｎを求め（図１９のＳ５５１）、ｎに対応する位相値Ａｒｇ（ｗｎ）を求める（図１９のＳ５５２）。算出部１０３は、位相値を周期データに対するサンプル値（位相データ）に変換し（Ｓ５５）、周期データ及び位相データを出力する（Ｓ５６）。
図２０は、ウェーブレット変換値の説明図である。ウェーブレット変換値は、時間偏在するともに、複素数の位相情報を持つ。すなわち、ウェーブレット変換値は、ハン窓のカーブと、ハン窓と実部（余弦）との積に係るカーブと、ハン窓と虚部（正弦）との積に係るカーブとを有する。本実施形態では、１つのＳｐｘデータ（ビート）に関してタイミングが１／５周期（ｎ＝５）ずれた複数のウェーブレット変換値を用いることで、ビートの位相をより精度よく検出することができる。なお、ビートタイミングの検出処理については、第１の方法（図１２）と同じであるので、説明を省略する。
第２実施形態における、周期及び位相を求める第２の方法によれば、第１の方法に比べて、処理に要する記憶容量と演算量とを減らすことができ、また、位相（ビートタイミング）の検出精度が上がる。特に、第２の方法では、遅延ブロックが前回のＳｐｘのフーリエ変換値を保持するため、正規化前の値では、パワーが急激に低下した場合に、遅延ブロック６１により保持されている前回の値が今回の値の計算において支配的となり、急激な低下を反映したものとならない。Ｓｐｘの正規化によって、変化の前後におけるＳｐｘの値に大きな差が生じないようになるため、適正なフーリエ変換値やウェーブレット変換値を得る（これらの値の精度を高める）ことができる。
なお、上記した実施形態では、楽音信号の複数のＱｘ（複数のサンプルの夫々パワー）を正規化処理によって平坦化し、平坦化されたＱｘの値を用いて平坦化された複数のＳｐｘ（複数のピークのパワー）を求めた。これに対し、正規化前のＱｘを用いてＳｐｘを求め、そのＳｐｘに対して正規化処理を行うことで平坦化された複数のＳｐｘを得るようにしてもよい。
１・・・情報処理装置
２・・・ネットワーク
１０・・・ＣＰＵ
１１・・・ＲＯＭ
１２・・・ＲＡＭ
１３・・・ＨＤＤ
１４・・・入力装置
１５・・・表示装置
１６・・・通信インタフェース
１７・・・ディジタルアナログ変換器
１８・・・アンプ
１９・・・スピーカ
２０・・・アナログディジタル変換器
２１・・・マイクロフォン
１００・・・ビートタイミング検出部
１０１・・・生成部
１０２・・・バッファ
１０３・・・算出部
１０４・・・検出部
１０５・・・再生処理部

Claims (15)

  1. 情報処理装置が、
    楽音信号の複数の時点におけるパワーを示す第１の値の夫々に対応する第２の値を前記第１の値の現在値と前記第２の値の現在値との比較の結果に基づいて決定することと、
    前記複数の第１の値の夫々に対応する第２の値を用いて前記複数の第１の値を平坦化することとを含み、
    前記第２の値は、前記比較の結果において、前記第２の値の現在値が前記第１の値の現在値より大きい状態が連続する場合に所定の軌跡を描いて変化する
    ことを特徴とする楽音信号のパワーの平坦化方法。
  2. 前記楽音信号の複数の時点におけるパワーは、前記楽音信号の複数のサンプルの夫々のパワー、又は、前記複数のサンプルから抽出された複数のピークのパワーを示す
    請求項１に記載の楽音信号のパワーの平坦化方法。
  3. 前記比較において、前記第２の値の現在値より大きい第１の値を新たな第２の値の現在値に設定してから第１の期間に前記新たな第２の値の現在値より大きい第１の値の現在値が出現しない場合に、前記所定の軌跡は、前記第１の期間、前記新たな第２の値の現在値を維持する第１の直線を描き、さらに、前記第１の期間に連続する第２の期間に前記新たな第２の値の現在値より大きい第１の値の現在値が出現しない場合に、前記所定の軌跡は、前記第２の期間の始点における第２の値の現在値が前記第２の期間の終点において０となる第２の直線を描き、
    前記情報処理装置は、前記第１の値の現在値が前記第２の値の現在値より大きい場合は、その第１の値の現在値を対応する第２の値に決定し、前記第１の値の現在値が前記第２の値の現在値より小さい場合は、前記第１の直線及び前記第２の直線に従って対応する第２の値を決定し、
    前記複数の第１の値の平坦化を、前記複数の第１の値の夫々を対応する第２の値で割ること、又は、前記複数の第１の値の夫々に対応する第２の値の逆数をかけることによって行う、
    請求項１又は２に記載の楽音信号のパワーの平坦化方法。
  4. 楽音信号の複数の時点におけるパワーを示す複数の第１の値の夫々に対応する第２の値を前記第１の値の現在値と前記第２の値の現在値との比較の結果に基づいて決定する処理と、前記複数の第１の値の夫々に対応する第２の値を用いて前記複数の第１の値を平坦化する処理と、を行う制御部を含み、
    前記第２の値は、前記比較の結果において、前記第２の値の現在値が前記第１の値の現在値より大きい状態が連続する場合に所定の軌跡を描いて変化する
    ことを特徴とする情報処理装置。
  5. 情報処理装置が、
    楽曲の楽音信号の複数の時点におけるパワーを示す複数の第１の値の夫々に対応する第２の値を前記第１の値の現在値と前記第２の値の現在値との比較の結果に基づいて決定することと、
    前記複数の第１の値を前記複数の第１の値の夫々に対応する複数の第２の値を用いて平坦化することと、
    前記平坦化された前記複数の第１の値を用いてビートタイミングを検出することとを含み、
    前記第２の値は、前記比較の結果において、前記第２の値の現在値が前記第１の値の現在値より大きい状態が連続する場合に所定の軌跡を描いて変化する
    ことを特徴とする楽曲のビートタイミング検出方法。
  6. 前記楽音信号の複数の時点におけるパワーは、前記楽音信号の複数のサンプルの夫々のパワー、又は、前記複数のサンプルから抽出された複数のピークのパワーを示す
    請求項５に記載の楽曲のビートタイミング検出方法。
  7. 前記比較において、前記第２の値の現在値より大きい第１の値を新たな第２の値の現在値に設定してから第１の期間に前記新たな第２の値の現在値より大きい第１の値の現在値が出現しない場合に、前記所定の軌跡は、前記第１の期間、前記新たな第２の値の現在値を維持する第１の直線を描き、さらに、前記第１の期間に連続する第２の期間に前記新たな第２の値の現在値より大きい第１の値の現在値が出現しない場合に、前記所定の軌跡は、前記第２の期間の始点における第２の値の現在値が前記第２の期間の終点において０となる第２の直線を描き、
    前記情報処理装置は、前記第１の値の現在値が前記第２の値の現在値より大きい場合は、その第１の値を対応する第２の値に決定し、前記第１の値の現在値が前記第２の値の現在値より小さい場合は、前記第１の直線及び前記第２の直線に従って対応する第２の値を決定し、
    前記複数の第１の値の平坦化を、前記複数の第１の値の夫々を対応する第２の値で割ること、又は、前記複数の第１の値の夫々に対応する第２の値の逆数をかけることによって行う、
    請求項５又は６に記載の楽曲のビートタイミング検出方法。
  8. 前記楽音信号の複数のサンプルの夫々のパワーの夫々は、前記楽曲のデータから所定数の連続する音のサンプルからなるフレームを取得し、前記フレーム中のサンプルを間引きし、間引きしたサンプルについて高速フーリエ変換を行い、高速フーリエ変換によって得られた周波数バンド幅毎のパワーの総和を示す
    請求項６又は７に記載の楽曲のビートタイミング検出方法。
  9. 前記複数のサンプルから抽出された複数のピークのパワーの夫々は、前記複数のサンプルの夫々のパワーのうち、自身より大きい値を示すパワーが出現しない状態が所定時間継続した場合のパワーを示す、
    請求項６から８のいずれか一項に記載の楽曲のビートタイミング検出方法。
  10. 前記情報処理装置は、
    前記複数のピークのパワーを平坦化し、
    平坦化した複数のピークのパワーを用いて前記楽曲のビートの周期及び位相を算出し、
    前記ビートの周期及び位相に基づいて、楽曲のビートタイミングを検出する
    請求項６から９のいずれか一項に記載の楽曲のビートタイミング検出方法。
  11. 前記情報処理装置は、
    所定時間分の前記平坦化した複数のピークのパワーに対するフーリエ変換を行い、前記フーリエ変換の値の絶対値が最大値となるときのＢＰＭ（Beats Per Minute）を、前記楽曲のビートの周期として算出し、
    前記ＢＰＭを示す正弦波における前記ビート音の発生タイミングの相対位置を前記ビートの位相として算出する、
    請求項１０に記載の楽曲のビートタイミング検出方法。
  12. 前記情報処理装置は、複数個のＢＰＭ（Beats Per Minute）に関して、減衰項を有するフーリエ変換を、前記平坦化した複数のピークのパワーに対して行い、前記フーリエ変換の値の絶対値が最大となるときのＢＰＭを、前記楽曲のビートの周期として算出する
    請求項１０に記載の楽曲のビートタイミング検出方法。
  13. 前記情報処理装置は、前記楽曲のビートの周期に対応するＢＰＭの１／ｎ周期ずつずれた窓関数のそれぞれを前記平坦化した複数のピークのパワーに乗じて得られた複数の値に対し、前記フーリエ変換を行うことで、複数のウェーブレット変換値を求め、前記複数のウェーブレット変換の絶対値が最大になるときの位相を、前記楽曲のビートの位相として算出する
    請求項１２に記載の楽曲のビートタイミング検出方法。
  14. 前記情報処理装置は、前記ビートの周期及び前記ビートの位相を示すカウント値を求め、サンプリングレートの１サンプル毎にインクリメントを行うカウンタを用いて前記カウント値の計時を行い、前記カウンタの値が前記カウント値に達したタイミングを前記ビートタイミングとして検出する
    請求項１０から１３のいずれか一項に記載のビートタイミング検出方法。
  15. 楽曲の楽音信号の複数の時点におけるパワーを示す複数の第１の値の夫々に対応する第２の値を前記第１の値の現在値と前記第２の値の現在値との比較の結果に基づいて決定する処理と、前記複数の第１の値を前記複数の第１の値の夫々に対応する複数の第２の値を用いて平坦化する処理と、前記平坦化された前記複数の第１の値を用いてビートタイミングを検出する処理とを行う制御部を含み、
    前記第２の値は、前記比較の結果において、前記第２の値の現在値が前記第１の値の現在値より大きい状態が連続する場合に所定の軌跡を描いて変化する
    ことを特徴とする楽曲のビートタイミング検出装置。
JP2021528794A 2019-06-27 2019-06-27 楽音信号のパワーの平坦化方法及び装置、並びに、楽曲のビートタイミング検出方法及び装置 Active JP7158583B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/025669 WO2020261497A1 (ja) 2019-06-27 2019-06-27 楽音信号のパワーの平坦化方法及び装置、並びに、楽曲のビートタイミング検出方法及び装置

Publications (2)

Publication Number Publication Date
JPWO2020261497A1 JPWO2020261497A1 (ja) 2020-12-30
JP7158583B2 true JP7158583B2 (ja) 2022-10-21

Family

ID=74060503

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021528794A Active JP7158583B2 (ja) 2019-06-27 2019-06-27 楽音信号のパワーの平坦化方法及び装置、並びに、楽曲のビートタイミング検出方法及び装置

Country Status (3)

Country Link
US (1) US20220351707A1 (ja)
JP (1) JP7158583B2 (ja)
WO (1) WO2020261497A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7105880B2 (ja) * 2018-05-24 2022-07-25 ローランド株式会社 ビート音発生タイミング生成装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039511A (ja) 2009-08-14 2011-02-24 Honda Motor Co Ltd 楽譜位置推定装置、楽譜位置推定方法および楽譜位置推定ロボット

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039511A (ja) 2009-08-14 2011-02-24 Honda Motor Co Ltd 楽譜位置推定装置、楽譜位置推定方法および楽譜位置推定ロボット

Also Published As

Publication number Publication date
WO2020261497A1 (ja) 2020-12-30
US20220351707A1 (en) 2022-11-03
JPWO2020261497A1 (ja) 2020-12-30

Similar Documents

Publication Publication Date Title
JP6017687B2 (ja) オーディオ信号分析
JP7105880B2 (ja) ビート音発生タイミング生成装置
JP7025089B2 (ja) 高調波ノイズ源からのノイズを抑制する方法、記憶媒体及び装置
US9646592B2 (en) Audio signal analysis
WO2020105195A1 (ja) 映像制御装置、及び映像制御方法
JP7158583B2 (ja) 楽音信号のパワーの平坦化方法及び装置、並びに、楽曲のビートタイミング検出方法及び装置
AU2024200622A1 (en) Methods and apparatus to fingerprint an audio signal via exponential normalization
JP5614261B2 (ja) 雑音抑制装置、雑音抑制方法、及びプログラム
JP2021536596A (ja) 正規化を介して音響信号をフィンガープリンティングするための方法及び装置
JP2013164584A (ja) 音響処理装置
JP5815435B2 (ja) 音源位置判定装置、音源位置判定方法、プログラム
JP2015200685A (ja) アタック位置検出プログラムおよびアタック位置検出装置
Barry et al. Time and pitch scale modification: A real-time framework and tutorial
JP7457111B2 (ja) ビート音発生タイミング生成装置、ビート音発生タイミング生成方法、及びプログラム
JP2014016552A (ja) 音声信号処理方法、音声信号処理装置およびプログラム
JP5772723B2 (ja) 音響処理装置および分離マスク生成装置
Christian et al. Rindik rod sound separation with spectral subtraction method
JP2019117224A (ja) テンポ検出装置、テンポ検出方法、プログラム
JP7275711B2 (ja) オーディオ信号の処理方法
Thakuria et al. Musical Instrument Tuner
Fan et al. The realization of multifunctional guitar effectors&synthesizer based on ADSP-BF533

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221011

R150 Certificate of patent or registration of utility model

Ref document number: 7158583

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150