JP3982443B2

JP3982443B2 - テンポ解析装置およびテンポ解析方法

Info

Publication number: JP3982443B2
Application number: JP2003094100A
Authority: JP
Inventors: 吾朗白石; 千絵関根; 九美子増田; 邦晴森
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-03-31
Filing date: 2003-03-31
Publication date: 2007-09-26
Anticipated expiration: 2023-03-31
Also published as: US7923621B2; CN1764940A; EP1610299B1; EP1610299A4; US20060185501A1; CN1764940B; WO2004088631A1; KR20060002907A; EP1610299A1; KR101005255B1; JP2004302053A

Description

【０００１】
【発明の属する技術分野】
この発明は、例えば、楽曲などの音声信号からテンポ（楽曲が演奏される速さ）を抽出して利用できるようにする装置、方法に関する。
【０００２】
【従来の技術】
例えば、楽曲の音声データを解析することにより、その楽曲のテンポを自動的に抽出し、この抽出したテンポを、例えば、譜面を起こす際に利用したり、編曲をする際に利用したりするなどのことが行われている。そして、楽曲のテンポを抽出する技術の１つとして、特許文献１（特開２００２−１１６７５４号公報）に記載された技術がある。
【０００３】
この特許文献１に記載された技術は、楽曲の音声データを時系列データとして取り込み、この音声データの自己相関を算出することにより当該音声データのピーク位置を検出して、テンポの候補を取得するようにし、一方で、自己相関パターンのピーク位置とそのレベルから当該楽曲のビート構造を解析し、テンポの候補とビート構造の解析結果とに基づいて、最も適切と思われるテンポを推定するものである。
【０００４】
この特許文献１に記載された技術を利用することにより、音楽に対する先見的な知識を持っていなくても、誰でもが比較的に簡単に、しかも正確に、目的とする楽曲のテンポを抽出し、これを利用することができるようにされる。
【０００５】
【特許文献１】
特開２００２−１１６７５４号公報
【０００６】
【発明が解決しようとする課題】
ところで、最近、例えば車載用オーディオシステム（カーステレオシステム）や家庭用オーディオシステムにおいても、再生する楽曲のテンポを検出し、そのテンポに応じた情報を提供したり、あるいは、検出したテンポに応じて、種々の制御を行うようにすることが考えられている。
【０００７】
しかしながら、上述した特許文献１に記載の技術の場合には、音声データについて自己相関を算出したり、ビート構造を解析したりするなど、演算処理が複雑かつ膨大となり、実際に演算処理を行うＣＰＵ（Central Processing Unit）にかかる負担が大きくなる。
【０００８】
このため、上述した特許文献１に記載の技術は、規模の比較的に小さな車載用オーディオシステムや家庭用オーディオシステムに適用するには不向きな場合がある。また、上述した特許文献１に記載の技術を用いようとする場合には、処理能力の高いＣＰＵを用いたり、メモリー容量を大きくしたりする必要が生じるなど、オーディオシステムのコストアップにつながる可能性がある。
【０００９】
以上のことにかんがみ、この発明は、ＣＰＵに大きな負荷をかけることもなく、また、コストアップも生じさせないようにして、楽曲等の音声のテンポを簡単かつ正確に検出して利用できるようにする装置、方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記課題を解決するため、請求項１に記載の発明のテンポ解析装置は、
入力音声信号を複数の周波数帯域に分割する帯域分離手段と、
前記帯域分離手段により分離された複数の周波数帯域毎に、各周波数帯域の入力音声信号のレベル変化のピークのうち、所定の閾値より大きい複数のピークの位置を検出するピーク検出手段と、
所定の単位時間区間において、前記複数の周波数帯域毎に前記ピーク検出手段により検出される前記ピーク位置の間の時間間隔を検出する間隔検出手段と、
前記間隔検出手段により前記複数の周波数帯域毎に検出される前記時間間隔を１つのリストにまとめ、前記時間間隔のうち、発生頻度の多い前記時間間隔に基づいて、前記入力音声信号により再生される音声のテンポを特定する特定手段と
を備えることを特徴とする。
【００１１】
この請求項１に記載の発明のテンポ解析装置によれば、入力音声が帯域分離手段により、複数の周波数帯域に分割され、ピーク検出手段により、分割された複数の周波数帯域のそてぞれの音声信号のレベルについて、閾値より大きく、かつ、上昇から下降に転じる直前のピーク位置（レベル変化の頂点）が順次に検出される。そして、時間間隔検出手段により、所定の単位時間区間において、前記複数の周波数帯域毎に、一般的には複数個のピーク位置について、少なくとも所定の１つのピーク位置を基準とし、このピーク位置とその他のピーク位置との時間間隔（ピーク間隔）が検出される。
【００１２】
この後、特定手段により、時間間隔検出手段により複数の周波数毎に検出されるピーク位置の時間間隔が１つのリストにまとめられ、この１つのリストにまとめられた時間間隔の内、発生頻度の多い時間間隔に基づいて、処理対象の音声信号により再生される楽曲などの音声のテンポが特定される。これにより、自己相関演算などの複雑な演算処理を行うことなく、簡単かつ正確に楽曲などの音声のテンポを特定することができる。
【００１３】
なお、ピーク位置間の時間間隔を求める場合に基準とするピーク位置は、１つだけでなく、単位時間区間に属するすべてのピーク位置を基準として用いてピーク位置間の時間間隔を検出するようにしてもよい。この場合、例えば、ピーク位置Ａとピーク位置Ｂとがある場合に、ＡＢ間、ＢＡ間は、基準とするピーク位置が異なるだけで、時間間隔は同じであるので、いずれか一方だけを用いるようにすればよい。そして、発生頻度の高い時間間隔を求めるようにすることにより、特定したテンポの正確性を向上させることができる。
【００１４】
【発明の実施の形態】
以下、図を参照しながら、この発明による装置、方法について説明する。以下に説明する実施の形態においては、この発明による装置、方法をカーステレオ装置（カーオーディオシステム）に適用した場合を例にして説明する。
【００１５】
[カーステレオ装置の構成]
図１は、この発明による装置、方法を適用したカーステレオ装置を説明するためのブロック図である。図１に示すように、この実施の形態のカーステレオ装置は、ラジオ放送の受信アンテナＡＮＴ、ＡＭ／ＦＭチューナ部１、ＣＤ（Compact Disc）再生部２、ＭＤ（Mini Disc）再生部３、外部接続端子４、入力セレクタ５、オーディオアンプ部６、左右のスピーカ７Ｌ、７Ｒ、制御部９、ＬＣＤ（Liquid Crystal Display）１０、キー操作部１１を備えたものである。
【００１６】
制御部９は、図１に示すように、ＣＰＵ（Central Processing Unit）９１、ＲＯＭ（Read Only Memory）９２、ＲＡＭ（Random Access Memory）９３、不揮発性メモリー９４がＣＰＵバス９５により接続されて形成されたマイクロコンピュータであり、この実施の形態のカーステレオ装置の各部を制御することができるものである。
【００１７】
ここで、ＲＯＭ９２は、ＣＰＵ９１によって実行されるプログラムや処理に必要になるデータ、表示に用いる画像データや文字フォントデータなどが記憶されたものである。また、ＲＡＭ９３は、主に作業領域として用いられるものである。また、不揮発性メモリー９４は、例えば、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）やフラッシュメモリーであり、当該カーステレオ装置の電源が落とされても保持しておく必要のあるデータ、例えば、各種の設定パラメータなどを記憶保持するものである。
【００１８】
また、制御部９には、図１に示すように、ＬＣＤ１０と、キー操作部１１とが接続されている。ＬＣＤ１０は、比較的に大きな表示画面を有するものであり、この実施の形態のカーステレオ装置の状態や操作ガイダンスなどを表示することができるとともに、例えば、外部入力端子を通じて、ＧＰＳ（Global Positioning System）やＤＶＤ（Digital Versatile Disc）の再生装置が接続された場合には、制御部９の制御によって、地図情報や動画情報等を表示することができるものである。
【００１９】
また、キー操作部１１は、各種の操作キーやファンクションキー、操作ダイヤルなどを備えたものであり、ユーザからの操作入力を受け付けて、これを電気信号に変換し、制御部９に通知することができるものである。これにより、制御部９は、ユーザからの指示に応じて、このカーシステム装置の各部を制御することができるようにしている。
【００２０】
そして、図１に示したように、この実施の形態のカーステレオ装置は、音声信号（音声データ）等の供給端として、ＡＭ／ＦＭチューナ部１、ＣＤ再生部２、ＭＤ再生部３、外部入力端子４を備えたものである。ＡＭ／ＦＭチューナ部１は、制御部９からの選局制御信号に基づいて、ＡＭラジオ放送またはＦＭラジオ放送のうちの目的とする放送チャンネルを受信、選局し、この受信、選局したラジオ放送信号を復調して、復調後の音声信号をセレクタ５に供給する。
【００２１】
ＣＤ再生部２は、スピンドルモータ、光学ヘッド部などを備え、これに装填されたＣＤを回転駆動し、当該ＣＤにレーザー光を照射して、その反射光を受光することにより、当該ＣＤにピット（孔）として記録されている音声データを読み出す。そして、読み出した音声データを電気信号に変換し、復調して再生用の音声信号を形成し、これをセレクタ５に供給する。
【００２２】
ＭＤ再生部３は、ＣＤ再生部２の場合と同様に、スピンドルモータ、光学ヘッド部などを備え、これに装填されたＭＤを回転駆動し、当該ＭＤにレーザー光を照射して、その反射光を受光することにより、当該ＭＤに磁化変化として記録されている音声データを読み出し、これを電気信号に変換する。読み出された音声データは、通常、データ圧縮されているので、これをデータ伸張処理（圧縮解凍処理）して再生用の音声信号を形成し、これをセレクタ５に供給する。
【００２３】
また、外部接続端子４には、上述もしたように、例えばＧＰＳやＤＶＤ再生装置などの外部機器が接続され、それらの機器からの音声信号が、セレクタ５に供給するようにされる。
【００２４】
そして、セレクタ５は、制御部９により切り換え制御がなされ、ＡＭ／ＦＭチューナ１、ＣＤ再生部２、ＭＤ再生部３、外部入力端子４のうちのいずれの部分からの音声信号を出力するかを切り換える。これにより、ＡＭ／ＦＭチューナ１、ＣＤ再生部２、ＭＤ再生部３、外部入力端子４のうちの目的とする部分からの音声信号がオーディオアンプ部６に供給される。
【００２５】
オーディオアンプ部６は、大きく分けると、出力信号処理部６１と解析データ処理部６２とからなっている。出力信号処理部６１は、制御部９からの制御信号に基づいて、出力しようとする音声信号についての音量調整、音質調整等の各種の調整処理を行って、出力用の音声信号を形成し、これをスピーカ７Ｌ、７Ｒに供給する。
【００２６】
これにより、図１において参照符号１から４で示した部分の内の目的とする供給部分からの音声信号に応じた音声をスピーカ７Ｌ、７Ｒから放音することができるようにされる。
【００２７】
一方、解析データ抽出部６２は、これに供給された音声信号を複数の周波数帯域に分割し、各周波数帯域の音声信号のレベルを示す情報を制御部９に供給する。制御部９は、詳しくは後述するが、解析データ抽出部６２からの解析データに基づいて、音声信号のピーク位置を検出し、所定単位時間におけるピーク位置間の時間間隔を算出して、この算出結果に基づいて、出力する音声のテンポを特定する。
【００２８】
そして、この実施の形態の制御部９は、例えば、ＲＯＭ９２、あるいは、不揮発性メモリー９４に記憶されている静止画像データの中から、上述のようにして特定したテンポに応じたものを選択し、それをＬＣＤ１０に表示するようにしている。また、制御部９は、ＬＣＤ１０に表示するようにした静止画像に重ねて、例えば、図形やキャラクタなどの画像を、特定したテンポに応じて動くような態様で表示することも行うようにしている。
【００２９】
このように、この実施の形態のカーステレオ装置においては、オーディオアンプ部６の解析データ抽出部６２と制御部９とによりテンポ解析装置を構成し、これらが協働することによって、再生する楽曲などの音声のテンポを特定して、これを利用することができるようにしている。
【００３０】
つまり、解析データ抽出部６２と制御部９とにより構成されるテンポ解析装置部が、この発明によるテンポ解析装置の一実施の形態が適用されたものであり、ここで用いられる方法が、この発明によるテンポ解析方法の一実施の形態が適用されたものである。
【００３１】
そして、この実施の形態においては、以下に詳述するように、再生しようとする楽曲などの音声のテンポを特定する際には、従来のように自己相関算出等の複雑な演算処理を行うことはなく、簡単な処理で、しかも正確に目的とする音声のテンポを特定するようにしている。
【００３２】
[テンポ解析装置部の構成と処理内容]
次に、この実施の形態のカーステレオ装置に搭載するようにされたテンポ解析装置部について説明する。図２は、この実施の形態のカーステレオ装置に搭載するようにされたテンポ解析装置部を説明するためのブロック図である。上述もしたように、この実施の形態のテンポ解析装置は、カーステレオ装置のオーディオアンプ部６に設けられる解析データ抽出部６２と、制御部９とにより構成される。
【００３３】
図２に示すように、解析データ抽出部６２と制御部９との間には、Ａ／Ｄ変換部１２が設けられる。このＡ／Ｄ変換部１２は、解析データ抽出部６２から出力される音声信号のレベルを示す情報（例えば電圧値）を例えば、０〜１０２３までの１０２４ステップのデジタルデータに変換して制御部９に供給するようにするものである。
【００３４】
このＡ／Ｄ変換部１２は、図２に示したように、解析データ抽出部６２と制御部９との間に設けることも可能であるが、解析データ抽出部６２の機能として設けるようにすることもできるし、また、制御部９の機能として設けるようにすることもできる。
【００３５】
そして、この実施の形態において、解析データ抽出部６２は、これに供給された音声信号を複数の周波数帯域に分離する帯域分離部６２１と、複数の周波数帯域に分離された音声信号のそれぞれのレベルを検出し、これをレベル情報として出力するレベル検出部６２２とからなっている。
【００３６】
この実施の形態において、帯域分離部６２１は、図２にも示したように、中心周波数が、６２Ｈｚ、１５７Ｈｚ、３９６Ｈｚ、１ｋＨｚ、２．５１ｋＨｚ、６．３４ｋＨｚ、１６ｋＨｚの７つの周波数帯域（７バンド）に分離するようにしている。
【００３７】
帯域分離部６２１において、各周波数帯域に分離された音声信号のそれぞれは、図２に示したように、レベル検出部６２２に供給され、そのそれぞれごとにレベルが検出される。レベル検出部６２２において検出された各周波数帯域の音声信号のレベルを示す情報は、Ａ／Ｄ変換部１２を通じて制御部９に供給される。すなわち、帯域分割された各帯域の音声信号のレベル波形（音声レベル波形）がデジタルデータとして制御部９に供給するようにされる。
【００３８】
なお、解析データ抽出部６２は、汎用の集積回路、例えば、ＩＣＡ６３３ＡＢ（ＳＴＭｉｃｒｏｅｌｅｃｔｒｏｎｉｃｓ）等を用いて実現することが可能である。また、解析データ抽出部６２をマイクロコンピュータで構成するようにし、ここで実行されるソフトウエアによって音声信号の帯域分割や信号レベルの検出を行うようにすることもできる。
【００３９】
そして、制御部９は、解析データ抽出部６２からの各周波数帯域の音声信号のレベル（音声レベル波形）を用い、ごく簡単な比較処理を中心とする処理により、処理対象の音声のテンポを特定する。そして、特定したテンポに基づいて、制御部９は、例えばＲＯＭ９２に用意された静止画像データの中からそのテンポに応じた静止画像を形成する画像データを抽出し、それをＬＣＤ１０の表示画面に表示するようにする。
【００４０】
同時に、制御部９は、所定の図形やキャラクタなどをＬＣＤ１０の表示画面に表示するようにするとともに、その図形やキャラクタを、特定したテンポに応じて移動させるようにしたりするなどのことを行うようにしている。
【００４１】
[テンポ特定処理について]
[メインルーチン]
次に、上述したように、制御部９の機能として行われる処理対象の音声信号により再生される音声のテンポを特定する処理について具体的に説明する。図３は、この実施の形態のカーステレオ装置において行われる処理対象の音声信号により再生される音声のテンポを特定する場合の処理について説明するためのフローチャートである。
【００４２】
この実施の形態のカーステレオ装置においては、制御部９は、まず、最終的に特定されたテンポとともに画像データの表示のためのパラメータとなる入力音声信号の音量レベル（総音量）の計算処理を行う（ステップＳ１）。
【００４３】
次に、制御部９は、処理対象の音声についてのテンポの抽出および特定のための処理を行う（ステップＳ２）。このステップＳ１、ステップＳ２の処理によって求められたパラメータ（総音量とテンポ）により、表示する画像データや表示内容が決定される。
【００４４】
そして、この実施の形態のカーステレオ装置においては、上述もしたように処理対象の音声信号を７つの周波数帯域（７バンド）に分割し、所定の時間単位区間（１フレーム）を処理単位として処理を行うようにしている。この実施の形態において、時間単位区間（１フレーム）は、連続する例えば４秒間の区間である。
【００４５】
そして、この実施の形態においては、１フレーム（４秒間）の区間をサンプリング周波数が２０Ｈｚのクロック信号を用いてサンプリングすることにより、１フレームに８０サンプルを得るようにしている。さらに、例えば、１０フレーム、２０フレームなどのように、所定のフレーム数分の情報を累積し、この累積した情報に基づいて、総音量の算出やテンポの決定（特定）を行うようにしている。
【００４６】
[総音量の計算処理について]
次に、図３に示した処理のステップＳ１の処理、および、ステップＳ２の処理の詳細について説明する。まず、ステップＳ１の総音量の計算処理について説明する。図４は、図３に示したステップＳ１において行われる処理を説明するためのフローチャートである。
【００４７】
ここでは、図４にも示すように、処理結果を累積する連続した複数フレームの各フレームにおける７バンドの合計音量のデータバッファをＶｏｌＤａｔａ［Ｆｒａｍｅ］とし、各バンド毎の音量データ（レベルデータ）の格納バッファをｄａｔａ[ｂａｎｄ]とし、総音量の値の格納バッファをＴｏｔａｌＶｏｌとする。
【００４８】
また、[Ｆｒａｍｅ]は、総音量の計算対象となるフレーム数であり、[Ｆｒａｍｅ]番目に相当するフレームは、処理結果を累積する連続した複数フレームの内の最古のフレームである。また、[ｂａｎｄ]は、どのバンド（周波数帯域）かを示すバンド番号でもある。
【００４９】
そして、現在処理の対象となっている最新のフレームの音量バッファをＶｏｌＤａｔａ[１]とし、処理結果を累積する連続した複数フレームの内の最古のフレームの音量バッファをＶｏｌＤａｔａ[Ｆｒａｍｅ]とすると、図４に示すように、制御部９のＣＰＵ９１は、まず、総音量ＴｏｔａｌＶｏｌから、最古のフレームの音量を減算する（ステップＳ１１）。
【００５０】
次に、バッファＶｏｌＤａｔａ[１]〜ＶｏｌＤａｔａ［Ｆｒａｍｅ］に格納データを、１バッファずつシフトする（ステップＳ１２）。例えば、ＶｏｌＤａｔａ［Ｆｒａｍｅ］＝ＶｏｌＤａｔａ[５]である場合を例にすると、
ＶｏｌＤａｔａ[４]のデータをＶｏｌＤａｔａ[５]にシフトし、
ＶｏｌＤａｔａ[３]のデータをＶｏｌＤａｔａ[４]にシフトし、
ＶｏｌＤａｔａ[２]のデータをＶｏｌＤａｔａ[３]にシフトし、
ＶｏｌＤａｔａ[１]のデータをＶｏｌＤａｔａ[２]にシフトすることになる。
【００５１】
そして、解析データ抽出部６２からの最新のフレームの各バンド（周波数帯域）のレベルデータｄａｔａ[１]、ｄａｔａ[２]、ｄａｔａ[３]、ｄａｔａ[４]、ｄａｔａ[５]、ｄａｔａ[６]、ｄａｔａ[７]を合算し、この合算結果を最新のフレームの音量を示すデータとして、バッファＶｏｌＤａｔａ[１]にセットする（ステップＳ１３）。
【００５２】
そして、ステップＳ１３において求めた、最新の処理対象のフレームの音量の値を総音量の値を保持するＴｏｔａｌＶｏｌの値に加算することにより、最新のフレームから過去にさかのぼる方向に総音量を計算する[Ｆｒａｍｅ]分のフレームを対象とした総音量が求められる（ステップＳ１４）。
【００５３】
このようにして、処理対象の音声信号の総音量が算出され、この算出された総音量をパラメータのひとつとして用いることにより、画像データを選択・表示することができるようにされる。
【００５４】
なお、上述した総音量の計算処理は、複数の周波数帯域に分割された音声レベル波形から求めるようにしたが、これ以外に、供給された音声信号に対する音声レベル波形から求めてもよいし、例えば中音域のような特定の周波数帯域成分を取り出すフィルタを用意してその帯域の音声信号に対する音声レベル波形から求めるようにしてもよい。
【００５５】
[テンポ抽出処理（テンポ決定（特定）処理）について]
次に、図３に示したステップＳ２において行われるテンポ抽出処理について具体的に説明する。図５は、図３に示したステップＳ２において行われるテンポ抽出処理を説明するためのフローチャートである。図５に示すように、ステップＳ２１からステップＳ２４までの各処理は、帯域分割された各バンド毎の音声信号を対象として行われる。
【００５６】
すなわち、制御部９のＣＰＵ９１は、各バンド毎に、スレッショルドを設定する処理を行い（ステップＳ２１）、例えばＲＡＭ９３、あるいは、不揮発性メモリー９４に設けられるピーク位置検出用のバッファであるピークバッファの内容のシフト処理を実行する（ステップＳ２２）。そして、ステップＳ２１で設定したスレッショルド以上のレベルのピーク位置（レベル変化の頂点）を抽出する処理を行い（ステップＳ２３）、抽出したピーク位置に基づいて、各ピーク位置間のピーク間隔（ピーク位置間の時間間隔）を求める（ステップＳ２４）。
【００５７】
各バンド（帯域）毎に行なわれるステップＳ２１〜ステップＳ２４までの処理の後、制御部９のＣＰＵ９１は、各バンド毎のピーク間隔を１つのリストにまとめる処理を行い、検出頻度（発生頻度）の最も高いピーク間隔（ピーク周期）を再生している音声のテンポとして特定する(ステップＳ２５)。
【００５８】
次に、図５に示したテンポ抽出処理のステップＳ２１のスレッショルド処理、ステップＳ２３のピーク抽出処理、ステップＳ２５のテンポを特定する処理のそれぞれについてより詳細に説明する。
【００５９】
図６は、図５に示したテンポ抽出処理のステップＳ２１において行われるスレッショルド処理を説明するためのフローチャートである。この実施の形態においては、図３に示したステップＳ１において実行される処理に類似する処理であって、帯域分割された各バンド毎に１フレーム（４秒間）の区間にわたりそれぞれの最大音量レベルを求め、その値をＭａｘＶｏｌ［ｂａｎｄ］として保持しておく。次の１フレーム（４秒間）の区間に対してスレッショルド処理を行う際に、保持されてあるＭａｘＶｏｌ［ｂａｎｄ］を呼び出して、この値に、例えば０．８を掛け算することにより、最大音量ＭａｘＶｏｌ［ｂａｎｄ］の８０パーセントのレベルを求め、この求めたレベルが前の１フレーム（４秒間）の区間に対して求められたスレッショルドＴｈｒｅｓより大きいか否かを判断する（ステップＳ２１１）。
【００６０】
ステップＳ２１１の判断処理において、スレッショルドＴｈｒｅｓが、最大音量ＭａｘＶｏｌ［ｂａｎｄ］の８０パーセントのレベルよりも大きいと判断した場合には、音量が低下していると判断し、スレッショルドＴｈｒｅｓに、当該スレッショルドＴｈｒｅｓの９０パーセントのレベルを設定するようにする（ステップＳ２１２）。
【００６１】
ステップＳ２１１の判断処理において、スレッショルドＴｈｒｅｓが、音量ＭａｘＶｏｌ[ｂａｎｄ]の８０パーセントのレベルよりも小さいと判断したときには、音量が上がっていると判断し、今回の新たな最大音量ＭａｘＶｏｌ[ｂａｎｄ]の８０パーセントのレベルをスレッショルドＴｈｒｅｓに設定するようにする（ステップＳ２１３）。
【００６２】
このように、この実施の形態のカーステレオ装置においては、各バンド毎に音量が低下した場合と上昇した場合との両方において、スレッショルドＴｈｒｅｓを適切に変更することができるようにしている。このスレッショルドＴｈｒｅｓを、音声信号のピーク位置を検出する場合の基準として用いることによって、音声のテンポを正確に特定することができるようにしている。
【００６３】
次に、図５に示したテンポ抽出処理のステップＳ２３において行われるピーク位置の抽出処理について説明する。図７は、図５に示したステップＳ２３において実行されるピーク位置の抽出処理を説明するためのフローチャートである。上述もしたように、この実施の形態においては、サンプリング周波数が２０Ｈｚのクロック信号を用い、音声信号は、１フレームである４秒間に８０回サンプリングされて、そのレベルが検出するようにされる。そして、各サンプルについて、図７に示す処理が行われることになる。
【００６４】
まず、制御部９は、現在のサンプルのレベルが、図６を用いて説明したようにして設定されるスレッショルドＴｈｒｅｓを下回っているか否かを判断する（ステップＳ２３１）。このステップＳ２３１の判断処理において、現在のサンプルのレベルが、スレッショルドＴｈｒｅｓを下回っていないと判断したときには、現在のサンプルのレベルが最大値である可能性があるので、既に最大値の候補として仮登録されているレベルと現在のサンプルのレベルとを比較し、現在のサンプルのレベルの方が高いか否かを判断する（ステップＳ２３２）。
【００６５】
ステップＳ２３２の判断処理において、現在のサンプルのレベルよりも、既に登録されている最大値の候補のレベルの方が高ければ、何もすることなく、この図７に示す処理を抜ける。ステップＳ２３２の判断処理において、現在のサンプルのレベルの方が、仮登録されている最大値の候補のレベルよりも高い場合には、現在のサンプルのレベルと当該サンプルの位置を仮登録し（ステップＳ２３３）、この図７に示す処理を抜ける。なお、仮登録は、例えば、ＲＡＭ９３、あるいは、不揮発性メモリー９４の仮登録エリアにするようにされる。
【００６６】
また、ステップＳ２３１の判断処理において、現在のサンプルのレベルが、スレッショルドＴｈｒｅｓを下回っていると判断したときには、ステップＳ２３３において仮登録したレベルのサンプル位置は、現在の処理対象のフレーム内か否かを判断する（ステップＳ２３４）。
【００６７】
ステップＳ２３４の判断処理において、仮登録したレベルのサンプル位置は、現在の処理対象のフレーム内ではないと判断したときには、処理の対象となっているフレームが次のフレームに移っているので、何もすることなく、この図７に示す処理を抜けるようにする。
【００６８】
ステップＳ２３４の判断処理において、仮登録したレベルのサンプル位置は、現在の処理対象のフレーム内であると判断したときには、ピークの候補として仮登録したレベルとそのサンプリング位置とを、ピークレベルおよびピーク位置として、所定のエリア（最大値位置情報エリア）に追加記録するとともに、ピークの数を１カウントし、この図７に示す処理を抜ける。
【００６９】
このように、この実施の形態のカーステレオ装置においては、自己相関の算出を行うことなく、比較的に簡単な比較処理だけで、ピークレベルを検出し、そのピークレベルの位置（ピーク位置）を抽出することができるようにしている。
【００７０】
そして、この実施の形態のカーステレオ装置においては、図７に示した処理が、図５に示した処理のステップＳ２３において行われることにより得られるピーク位置に基づいて、図５に示したステップＳ２４においては、ピーク間隔（ピーク位置間の時間間隔）が求められる。
【００７１】
図８は、この実施の形態において行われるピーク間隔の検出処理を説明するための図である。図８に示すように、１フレーム内において、スレッショルドＴｈｒｅｓ以上のピーク位置（ピーク点）が４つ存在する場合を例にして、ピーク間隔を求める処理について説明する。
【００７２】
制御部９は、例えば、ＲＡＭ９３あるいは不揮発性メモリー９４に記憶保持されたピーク位置を示す情報に基づいて、図８において、アルファベットＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆが示すように、同じ区間が重複することがないように、ピーク間隔を求める。
【００７３】
つまり、図８に示した例の場合には、４つのピーク位置のそれぞれを基準にして、他のピーク位置との間隔を求めるようにする。しかし、基準となるピーク位置と他のピーク位置とが逆になるだけの区間は、区間の重複となるので、実質的に区間が重複する場合には、その一方だけを生かすように処理する。
【００７４】
したがって、図８に示した例の場合には、４つのピーク位置のそれぞれについて、他の３つのピーク位置との間でピーク間隔が求められるので、１２個のピーク間隔を検出することができるが、重複する区間については、そのうちの１つしか生かさないようにすることによって、図８に示すように、６つのピーク間隔Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆが検出できる。
【００７５】
この処理は、処理対象のフレーム区間の各バンドのレベルデータを対象として行われる。そして、当該処理対象のフレーム区間の各バンドにおける求められたピーク間隔をピーク間隔（周期）リスト（以下、周期リストという。）に展開し、この周期リストに基づいて、再生するようにしている楽曲のテンポが決定（特定）するようにされる。
【００７６】
図９は、図５に示したステップＳ２５において実行される周期リスト作成およびテンポ決定処理を説明するためのフローチャートである。図９に示すフローチャートの処理は、制御部９において実行される処理である。
【００７７】
まず、制御部９は、現在、音量がゼロであるか否かを判断する（ステップＳ２５１）。この判断は、前述した総音量ＴｏｔａｌＶｏｌをチェックすることにより行うこともできるし、また、別途に、入力音声信号についての音量レベルを検出し、これをチェックするようにしてもよい。
【００７８】
なお、音量が完全にゼロにならない場合もあることを想定し、ステップＳ２５１の処理においては、例えば、規定スレッショルド以下の音声レベルの音声信号が規定サンプル以上続いた場合には、音量がゼロになった、すなわち、楽曲の再生が終了したと判断するようにしてもよい。
【００７９】
ステップＳ２５１の判断処理において、音量がゼロでないと判断したときには、制御部９は、図７を用いて前述したようにして求められるすべてのピーク間隔をスコアに重み付けをしながら周期リストに展開する（ステップＳ２５２）。周期リストは、例えば、図１０に示すように、横軸をピーク間隔、縦軸をスコア（検出数）として、処理対象のフレーム区間における各バンドにおいて検出した各ピーク間隔について、その検出回数を累積するようにするものである。
【００８０】
ここで、重み付けは、各バンド毎、ピーク間隔の大小により所定の値を予め設定しておく。例えば、高音域のバンドに対する重み付けを、中音域のバンドに対する重み付けよりも小さい値とするようにしてもよい。あるいは、各バンドに対する重み付けを同一の値とするようにしてもよい。
【００８１】
なお、この例においては、図１０に示したように、各バンド毎の重み付けをＷ１、Ｗ２、Ｗ３、…で示し、ピーク間隔毎の重み付けをＡＡ、ＢＢで示している。そして、図１０にスコアの計算一例を示したように、この例においては、ピーク間隔毎の重み付けと各バンド毎の重み付けとを行うことにより、各ピーク間隔のスコアを得るようにしている。
【００８２】
そして、図９に示した周期リストにおいては、図８を用いて説明したように検出されるピーク間隔の内、同じ間隔であるピーク間隔Ｂ、Ｅの検出回数が最も多く検出されていることがわかる。制御部９は、作成した周期リストから、検出回数、すなわち積み上げられたスコアの最も高いピーク間隔をテンポとして決定（特定）する（ステップＳ２５３）。
【００８３】
次に、制御部９は、周期リストのスコアの最大値が予め決められた規定値を超えているか否かを判断する（ステップＳ２５４）。テンポの決定は、周期リストに基づいて迅速に行わなければならないので、周期リストに必要以上のデータを蓄積することは、処理の遅延、メモリーの無駄使い等につながる可能性があるため望ましくない。
【００８４】
ステップＳ２５４の判断処理において、周期リストのスコアの最大値が予め決められた規定値を超えていない場合には、図９に示す処理を終了する。また、ステップＳ２５４の判断処理において、周期リストのスコアの最大値が予め決められた規定値を超えていると判断した場合には、周期リストのデータについての足切り処理を行い（ステップＳ２５５）、この後、この図９に示す処理を終了する。
【００８５】
ステップＳ２５５において行われる周期リストの足切りは、上述もし、また、図１１にも示すように、累積されていく各ピーク間隔のスコアが、規定値を超えた場合に行われる。具体的には、周期リストの各ピーク間隔のスコアから所定スコア分を減算するようにしたり、あるいは、周期リストに展開したデータのうち、例えば、一番古いフレームの各ピーク間隔のスコアを差し引くようにしたり、あるいは、一番古いフレームから新しいフレーム方向に複数フレーム分のピーク間隔のスコアを差し引くようにすることにより行われる。
【００８６】
また、図９に示したステップＳ２５１の判断処理において、音量がゼロであると判断したときには、楽曲の再生が終わったと判断することができるので、図１０に示したように作成される周期リストをリセットし（ステップＳ２５６）、新たに再生される楽曲のテンポの解析処理に備えるようにして、この図９に示す処理を終了する。
【００８７】
なお、この実施の形態のカーステレオ装置において、制御部９は、各フレームにおいて検出されるそのフレームにおける検出頻度の最も高いピーク間隔を示す情報が、複数フレーム分、例えば１０００フレーム分蓄積するようにされる。例えば、図１２に示すように、各フレームの検出頻度の最も高いピーク間隔を示すデータが保持するようにされる。
【００８８】
このように、処理対象となった過去のフレームについても、ピーク間隔を示す情報を保持しておくことにより、例えば、あるフレームで突然ピーク間隔が大きく変わったような場合であっても、その前後のフレームのピーク間隔を示す情報を参照することによって、ピーク間隔の突然の変動に大きな影響を受けることなく、適正に再生対象の楽曲のテンポを決定することができるようにされる。
【００８９】
そして、この実施の形態のカーステレオ装置において、制御部９は、上述のようにして、再生対象の楽曲のテンポを決定すると、その決定したテンポに応じて、ＲＯＭ９２に保持されている例えば静止画像の画像データを読み出し、この読み出した画像データによる静止画像をＬＣＤ１０に表示するようにしている。
【００９０】
この実施の形態のカーステレオ装置において、ＬＣＤ１０に表示される静止画像は、再生している楽曲のテンポと音量とに基づいて決められる。すなわち、図１３に示すように、横軸をテンポとし、縦軸を音量とする座標平面を想定し、この平面上に９ブロック×９ブロックの領域を設けるようにする。
【００９１】
そして、テンポと音量とにより決まるブロックに対応して、画像を形成する画像データが一意に決まるようにしている。つまり、図１３に示した８１個のブロックのそれぞれに対して、所定の画像を形成する画像データが決まるようにされている。
【００９２】
したがって、例えば、図１３に示したように、テンポＴＰと、音量Ｖがわかれば、これで示される座標（ＴＰ，Ｖ）が属するブロックに割り当てられた画像データがＲＯＭ９２から読み出され、この読み出された画像データによる静止画像が、制御部９の制御によって、ＬＣＤ１０の表示画面に表示するようにされる。
【００９３】
なお、ここでは、例えば、ＲＯＭ９２には、少なくとも図１３に示したように設定される８１ブロックのそれぞれに対応する８１枚の静止画像を形成する画像データが記憶保持される。しかし、実際には、図１３に示したいずれのブロックにも属さない場合も生じる可能性があるので、どのブロックにも属さない場合に用いる静止画像を形成する複数の画像データをも記憶保持し、これを利用することもできるようにされる。したがって、例えばＲＯＭ９２は、この実施の形態の場合、１００枚前後の静止画像の画像データが記憶保持されている。
【００９４】
また、この実施の形態のカーステレオ装置においては、ＬＣＤ１０の表示画面に、テンポと音量とに応じた静止画像を表示するものとして説明したが、所定時間分の動画像を表示したり、所定時間分の動画を繰り返し表示するなど、動画像の表示を行うようにすることももちろん可能である。
【００９５】
さらに、この実施の形態のカーステレオ装置においては、楽曲の再生時において、上述したようにテンポと音量とに応じた画像をＬＣＤ１０の表示画面に表示するだけでなく、例えば、図１４において、オブジェクトＯｂが示すように、予め決められた図形やキャラクタなどの表示オブジェクトをＬＣＤ１０の表示画面に表示させ、これを移動させるようにしている。
【００９６】
この場合、オブジェクトＯｂの移動パターンや移動速度などは、例えば、決定されたテンポに応じて決められ、テンポが速ければ、激しく動かし、テンポが遅ければ、ゆっくりと動かすなどというように制御することになる。もちろん、テンポと音量とにより、移動パターンや移動速度を選択するようにしてもよい。また、表示して移動させるようにする表示オブジェクト自体についても複数個用意しておき、決定したテンポ、あるいは、決定したテンポと音量とによって、用いる表示オブジェクトを選択するようにすることもできる。
【００９７】
このように、この実施の形態のカーステレオ装置においては、自己相関演算などの複雑な演算処理を行うことなく、再生する楽曲などの音声のテンポを簡単に、しかも迅速かつ正確に特定することができるようにされる。したがって、カーステレオ装置の制御部に大きな負荷をかけることなく、再生する音声のテンポを特定することができる。
【００９８】
そして、特定したテンポに応じてＬＣＤ１０に表示する画像を特定し、これを表示してユーザに提供することができるようにされる。また、特定したテンポに応じて、表示オブジェクトをＬＣＤの表示画面に表示させ、これをテンポに応じて移動させるなどのことができるようにされる。つまり、物理的な情報を利用するグラフィックイコライザとは異なり、音楽的な情報である特定したテンポに応じて、画像情報を提供することができるという、新たな態様での情報の提供ができるようにされる。
【００９９】
[他の例について]
なお、上述した実施の形態においては、再生する音声信号を７つの周波数帯域に分割して、各帯域毎に処理するものとして説明したが、これに限るものではない。分割する周波数帯域数は、いくつでもよい。つまり、必ずしも周波数帯域を分割する必要はなく、全周波数帯域を有する音声信号に対して上述した処理を行うようにしてももちろんよい。
【０１００】
また、処理対象の音声信号を複数の周波数帯域に分割するようにした場合であっても、その分割されたすべての周波数帯域の音声信号を処理対象とする必要はなく、分割した周波数帯域の１つ以上の帯域を選択して処理対象とするようにしてもよい。あるいは、バンドパスフィルタにより処理対象とする周波数帯域の音声信号を抽出して上述した処理を行うようにしてもよい。
【０１０１】
また、ピーク位置の検出に際しては、音声波形のレベルについてのスレッショルドを、前フレーム区間の最大音量に基づいて算出するようにしたが、これに限るものではない。音声波形についてのスレッショルドは、所定の値を用いるように予め設定しておくことも可能である。また、選択された音量レベルなどに応じて、予め決められた複数の値の中から所定の値を選択してこれを用いるようにしてもよい。
【０１０２】
また、前述した実施の形態においては、ピーク間隔の検出は、すべてのピーク位置を基準にして、実質的に重複する間隔は除外するようにして行うようにしたが、これに限るものではない。例えば、各フレームの任意の１つ以上のピーク位置を基準にしてピーク間隔を検出するようにし、このようにして求めたピーク期間を用いるようにしてもよい。すなわち、すべてのピーク位置を基準位置として用いて、ピーク間隔を検出する必要は必ずしもない。
【０１０３】
また、上述した実施の形態においては、１フレームは４秒の期間であって、２０Ｈｚのサンプリング周波数のクロック信号を用いるものとして説明したが、これに限るものではない。フレームの時間長、サンプリング周波数は、カーステレオ装置などの機器に搭載されたＣＰＵの性能などに応じて、適宜のものを選択するようにすればよい。
【０１０４】
また、上述した実施の形態においては、特定したテンポと総音量に応じて、ＬＣＤに例えば静止画像を表示するとともに、表示オブジェクトをも表示させて、この表示オブジェクトを移動させるようにしたが、特定したテンポに応じた処理は、これに限るものではない。
【０１０５】
例えば、テンポが速い楽曲が再生されている場合には、低域と高域との音域を強調するようにしたり、また、テンポが遅い楽曲が再生されている場合には、サラウンドモードにしたり、リバーブを強めにかけたりするなどの種々の調整を行うようにしてもよい。
【０１０６】
つまり、特定したテンポに応じて、イコライザの調整、サラウンドモードの切り換え、音量（ボリューム）の調整等の種々の制御を行うことが可能である。
【０１０７】
また、上述した実施の形態においては、この発明をカーステレオ装置に適用した場合を例にして説明したが、これに限るものではない。家庭用ステレオ装置、ＣＤプレーヤ、ＭＤプレーヤ、ＤＶＤプレーヤ、パーソナルコンピュータなどの音声信号を再生して出力するようにする種々のオーディオ装置、オーディオ／ビジュアル装置にこの発明を適用することができる。
【０１０８】
この発明を例えば家庭用ステレオ装置に適用した場合には、特定したテンポに応じて、室内の照明の明るさや室温の調整などを行うようにすることも可能である。
【０１０９】
また、上述の実施の形態においては、音声信号の帯域分割は、既存の集積回路（ＩＣ）を用いて行うものとして説明したが、これに限るものではない。音声信号の帯域分割も例えば、制御部９において実行されるプログラムによって行うようにすることもできる。
【０１１０】
つまり、この発明は、ソフトウエアによっても十分に実現することができる。これを具体的に示せば、第１番目のプログラムとして、
音声信号を処理する装置のコンピュータに、
入力音声信号を複数の周波数帯域に分割する帯域分離ステップと、
前記帯域分離ステップにおいて分離した複数の周波数帯域毎に、各周波数帯域の入力音声信号のレベル変化のピークのうち、所定の閾値より大きい複数のピークの位置を検出するピーク検出ステップと、
所定の単位時間区間において、前記複数の周波数帯域毎に前記ピーク検出ステップにおいて検出する前記ピーク位置の間の時間間隔を検出する間隔検出ステップと、
前記間隔検出ステップにおいて前記複数の周波数帯域毎に検出する前記時間間隔を１つのリストにまとめ、前記時間間隔のうち、発生頻度の多い前記時間間隔に基づいて、前記入力音声信号により再生される音声のテンポを特定する特定ステップと
を実行させるプログラム。を作成し、これを有線、無線、あるいは、記録媒体を介して、オーディオ機器やオーディオ／ビジュアル機器に供給し、実行できるようにすることによって、この発明による装置、方法を実現することもできる。
【０１１１】
また、第２番目のプログラムとして、上述の第１番目のプログラムにおいて、前記特定ステップにおいては、複数の前記単位時間区間において検出される前記ピーク位置間の前記時間間隔の発生頻度を累積し、この累積した発生頻度に基づいて、再生される音声の前記テンポを特定するようにするプログラムを作成することもできる。
【０１１３】
また、第３のプログラムとして、
出力しようとする音声信号に基づいて、出力しようとする音声の音量を算出する音量算出ステップと、
算出した前記音量を基準として、前記ピーク位置を検出する場合に用いる前記閾値を設定する閾値設定ステップと
を設けたプログラムを作成することも可能である。
【０１１４】
また、第４のプログラムとして、
特定された前記テンポに基づいて、メモリーに記憶されている画像データの中から画像表示素子に表示する画像の画像データを抽出する画像抽出ステップと、
抽出した前記画像データに応じた画像を前記画像表示素子に表示する表示ステップと
を設けたプログラムを作成することも可能である。
【０１１５】
また、第５のプログラムとして、
特定された前記テンポに基づいて、画像表示素子に表示する画像の大きさ、移動速度、移動パターンを制御するステップを備えたプログラムを作成することも可能である。
【０１１６】
このように、この発明による装置、方法の実現は、プログラムによっても可能であり、作成したプログラムは、インターネットや電話網などの種々の電気通信回線やデータ放送によってユーザに提供することが可能であり、また、上述したステップを有するプログラムを記録した記録媒体を配布することによってもユーザに提供することができる。
【０１１７】
【発明の効果】
以上説明したように、この発明によれば、自己相関演算などの複雑な演算処理を行うことなく、楽曲などの音声のテンポを簡単かつ正確に検出することができる。また、検出したテンポに応じて情報を提供したり、種々の制御を行ったりするなどのことができるようにされる。
【図面の簡単な説明】
【図１】この発明による装置、方法の一実施の形態が適用されたカーステレオ装置を説明するためのブロック図である。
【図２】図１に示したカーステレオ装置に搭載されたテンポ分析装置の実現例を説明するためのブロック図である。
【図３】制御部で実行されるメイン処理を説明するためのフローチャートである。
【図４】図３のステップＳ１において実効される総音量計算処理を説明するためのフローチャートである。
【図５】図３のステップＳ２において実効されるテンポ抽出処理を説明するためのフローチャートである。
【図６】図５のステップＳ２１において実行されるスレッショルド処理を説明するためのフローチャートである。
【図７】図５のステップＳ２３において実行されるピーク位置抽出処理を説明するためのフローチャートである。
【図８】ピーク位置抽出処理を説明するための図である。
【図９】図５のステップＳ２５において実行されるピーク間隔（周期）リスト作成およびテンポ決定処理を説明するためのフローチャートである。
【図１０】周期リスト（ピーク間隔リスト）を説明するための図である。
【図１１】周期リストの足切り処理を説明するための図である。
【図１２】各フレーム毎の発生頻度が最も高いピーク間隔の保持と利用について説明するための図である。
【図１３】決定されたテンポと音量とにより利用可能な画像データが特定される構造について説明するための図である。
【図１４】決定されたテンポを用いて選択され表示するようにされる画像の表示例を示す図である。
【符号の説明】
ＡＮＴ…受信アンテナ、１…ＡＭ／ＦＭチューナ、２…ＣＤ再生部、３…ＭＤ再生部、４…外部入力端子、５…セレクタ、６…オーディオアンプ部、６１…出力信号処理部、６２…解析データ抽出部、７Ｌ、７Ｒ…スピーカ、９…制御部、９１…ＣＰＵ、９２…ＲＯＭ、９３…ＲＡＭ、９４…不揮発性メモリー、１０ＬＣＤ、１１…キー操作部

Claims

入力音声信号を複数の周波数帯域に分割する帯域分離手段と、
前記帯域分離手段により分離された複数の周波数帯域毎に、各周波数帯域の入力音声信号のレベル変化のピークのうち、所定の閾値より大きい複数のピークの位置を検出するピーク検出手段と、
所定の単位時間区間において、前記複数の周波数帯域毎に前記ピーク検出手段により検出される前記ピーク位置の間の時間間隔を検出する間隔検出手段と、
前記間隔検出手段により前記複数の周波数帯域毎に検出される前記時間間隔を１つのリストにまとめ、前記時間間隔のうち、発生頻度の多い前記時間間隔に基づいて、前記入力音声信号により再生される音声のテンポを特定する特定手段と
を備えることを特徴とするテンポ解析装置。
請求項１に記載のテンポ解析装置であって、
前記特定手段は、複数の前記単位時間区間において検出されるピーク位置間の前記時間間隔の発生頻度を累積し、この累積した発生頻度に基づいて、再生される音声の前記テンポを特定することを特徴とするテンポ解析装置。
請求項１〜２のいずれかに記載のテンポ解析装置であって、
前記入力音声信号の音量を算出する音量算出手段と、
前記音量算出手段により算出された音量を基準として、前記ピーク位置を検出する場合に用いる前記閾値を設定するようにする閾値設定手段と
を備えることを特徴とするテンポ解析装置。
請求項１に記載のテンポ解析装置であって、
前記帯域分離手段により分割された前記複数の周波数帯域毎の音声信号の音量を算出する音量算出手段と、
前記音量算出手段により算出された音量を基準として、前記ピーク位置を検出する場合に用いる前記閾値を設定するようにする閾値設定手段と
を備えることを特徴とするテンポ解析装置。
請求項１〜４のいずれかに記載のテンポ解析装置であって、
画像表示素子と、
前記画像表示素子に表示可能な複数の画像データを記憶する記憶手段と、
前記特定手段により特定される前記テンポに基づいて、前記記憶手段から画像データを選択して読み出し、読み出した前記画像データに応じた画像を前記画像表示素子に表示するようにする表示制御手段と
を備えたことを特徴とするテンポ解析装置。
請求項５に記載のテンポ解析装置であって、
前記表示制御手段は、
前記記憶手段から読み出す前記画像データに応じた画像を前記画像表示素子に表示するとき、前記特定手段により特定される前記テンポに基づいて、前記画像表示素子に表示する前記画像の大きさ、移動速度、移動パターンの少なくとも１つを制御することを特徴とするテンポ解析装置。
請求項３〜４のいずれかに記載のテンポ解析装置であって、
画像表示素子と、
前記画像表示素子に表示可能な複数の画像データを記憶する記憶手段と、
前記特定手段により特定される前記テンポに基づいて、前記記憶手段から画像データを選択して読み出し、読み出した前記画像データに応じた画像を前記画像表示素子に表示するようにする表示制御手段と、
を備え、
前記表示制御手段は、
前記特定手段により特定される前記テンポと前記音量算出手段により算出された音量とに基づいて、前記記憶手段から画像データを選択して読み出すことを特徴とするテンポ解析装置。
帯域分離手段と、ピーク検出手段と、間隔検出手段と、テンポを特定する特定手段とを備えたテンポ解析装置が行うテンポ解析方法であって、
前記帯域分離手段が、入力音声信号を複数の周波数帯域に分割する帯域分離工程と、
前記ピーク検出手段が、前記帯域分離手段により分離された複数の周波数帯域毎に、各周波数帯域の入力音声信号のレベル変化のピークのうち、所定の閾値より大きい複数のピークの位置を検出するピーク検出工程と、
前記間隔検出手段が、所定の単位時間区間において、前記複数の周波数帯域毎に前記ピーク検出工程において前記ピーク検出手段が検出した前記ピーク位置の間の時間間隔を検出する間隔検出工程と、
前記特定手段が、前記間隔検出工程において前記間隔検出手段が前記複数の周波数帯域毎に検出した前記時間間隔を１つのリストにまとめ、前記時間間隔のうち、発生頻度の多い時間間隔に基づいて、前記入力音声信号により再生される音声のテンポを特定する特定工程と
を有することを特徴とするテンポ解析方法。
請求項８に記載のテンポ解析方法であって、
前記特定工程において、前記テンポの特定に際しては、複数の前記単位時間区間において検出される前記ピーク位置間の前記時間間隔の発生頻度を累積し、この累積した発生頻度に基づいて、再生される音声の前記テンポを特定することを特徴とするテンポ解析方法。
請求項８〜９のいずれかに記載のテンポ解析方法であって、
前記テンポ解析装置が備える音量算出手段が、前記入力音声信号の音量を算出する音量算出工程と、
前記テンポ解析装置が備える閾値設定手段が、前記音量算出工程において前記音量算出手段が算出した前記音量を基準として、前記ピーク位置を検出する場合に用いる前記閾値を設定する閾値設定工程と
を有することを特徴とするテンポ解析方法。
請求項８〜９のいずれかに記載のテンポ解析方法であって、
前記テンポ解析装置が備える音量算出手段が、前記帯域分離工程において前記帯域分離手段により分割した前記複数の周波数帯域毎の音声信号の音量を算出する音量算出工程と、
前記テンポ解析装置が備える閾値設定手段が、前記音量算出工程において前記音量算出手段が算出した前記音量を基準として、前記ピーク位置を検出する場合に用いる前記閾値を設定する閾値設定工程と
を有することを特徴とするテンポ解析方法。
請求項８〜１１のいずれかに記載のテンポ解析方法であって、
前記テンポ解析装置が備える表示制御手段が、前記特定工程において前記特定手段が特定した前記テンポに基づいて、記憶手段に記憶されている複数の画像データの中から画像データを選択して読み出し、読み出した前記画像データに応じた画像を画像表示素子に表示する表示制御工程を有することを特徴とするテンポ解析方法。
請求項８に記載のテンポ解析方法であって、
前記テンポ解析装置が備える表示制御手段が、前記特定工程において前記特定手段が特定した前記テンポに基づいて、画像表示素子に表示する画像の大きさ、移動速度、移動パターンの少なくとも１つを制御する表示制御工程を有することを特徴とするテンポ解析方法。
請求項１０〜１１のいずれかに記載のテンポ解析方法であって、
前記テンポ解析装置が備える表示制御手段が、前記特定工程において前記特定手段が特定した前記テンポに基づいて、記憶手段に記憶されている複数の画像データの中から画像データを選択して読み出し、読み出した前記画像データに応じた画像を画像表示素子に表示する表示制御工程を有し、
前記表示制御工程においては、前記テンポ解析装置が備える表示制御手段が、特定された前記テンポと算出された前記音量とに基づいて、前記記憶手段に記憶されている複数の画像データの中から画像データを選択して読み出すことを特徴とするテンポ解析方法。