JP4301270B2 - オーディオ再生装置およびオーディオ再生方法 - Google Patents

Description

本発明は、オーディオデータの再生に合わせてユーザの操作タイミングを検出するオーディオ再生装置に関する。

従来、音楽の再生に基づいてユーザが行った操作を検出してその操作タイミングを評価し、その評価結果に基づいて効果音を発音させたり画面表示を制御したりするゲーム性のある音楽再生装置が知られている（例えば、特許文献１参照）。

このような音楽再生装置では、予め音楽と同期したイベントデータ列を記憶しており、音楽を再生しつつイベントデータを表示する。ユーザがそのイベントデータのタイミングで操作を行うと、その操作タイミングとイベントデータのタイミングとの差を検出することで操作タイミングの評価を行っている。
特開２００１−２３２０５８号公報

しかし、上記従来の音楽再生装置においては、ユーザの操作タイミングに合わせて所定の制御を行うためには、予め音楽と同期したイベントデータ列を作成するオーサリングの工程が必要になるという課題があった。

本発明は上記事情を考慮してなされたもので、その目的は、オーディオデータを再生する装置において、オーディオデータのオーサリングを行うことなく、ユーザの操作に合わせてオーディオデータの再生を制御することが可能なオーディオ再生装置を提供することにある。

本発明は上記の課題を解決するためになされたもので、請求項１に記載の発明は、オーディオデータを記憶する記憶手段と、前記オーディオデータの再生を行う再生手段と、ユーザによる操作を入力し、操作態様を検出する検出手段と、前記オーディオデータから再生時間軸上の所定の音楽的特徴を抽出し、該音楽的特徴を示す時間情報列を生成する特徴抽出手段と、前記操作態様の時間軸上の検出情報と前記時間情報列とを比較する比較手段と、前記オーディオデータの再生中に、前記比較手段の比較結果に基づいて所定の制御を行う制御手段とを具備することを特徴とするオーディオ再生装置である。

また、請求項２に記載の発明は、請求項１に記載の発明において、前記操作態様に応じて楽音を生成する楽音生成手段と、前記オーディオデータから特定の周波数帯域又は楽器音を消去する消去手段とをさらに具備し、前記特徴抽出手段は、前記オーディオデータから前記特定の周波数帯域又は楽器音を抽出し、該特定の周波数帯域又は楽器音に対応する楽音が発音されるべきタイミングを示す時間情報列を生成することを特徴とする。

また、請求項３に記載の発明は、請求項１に記載の発明において、前記特徴抽出手段は、前記時間情報列を構成する時間情報に所定の幅を持たせることを特徴とする。
また、請求項４に記載の発明は、請求項１から請求項３の何れか１項に記載の発明において、前記制御手段は、前記オーディオデータの再生中に、前記比較手段の比較結果に基づいて該オーディオデータの再生状態を変化させることを特徴とする。

また、請求項５に記載の発明は、請求項４に記載の発明において、前記制御手段は、前記オーディオデータの再生中に、前記比較手段の比較結果に基づいて該オーディオデータの再生の一時停止又は音量の制御又は該オーディオデータへの効果の付与を行うことを特徴とする。

また、請求項６に記載の発明は、請求項１から請求項３の何れか１項に記載の発明において、表示手段をさらに具備し、前記制御手段は、前記オーディオデータの再生中に、前記比較手段の比較結果に基づいて前記表示手段への表示を変化させることを特徴とする。

また、請求項７に記載の発明は、請求項１から請求項６の何れか１項に記載の発明において、前記検出手段は、ユーザによる操作を検出する操作ボタンであることを特徴とする。

また、請求項８に記載の発明は、請求項１から請求項６の何れか１項に記載の発明において、前記検出手段は、加速度を検出する加速度センサであることを特徴とする。

また、請求項９に記載の発明は、請求項１から請求項６の何れか１項に記載の発明において、前記検出手段は、磁界を検出する磁気センサであることを特徴とする。

本発明のオーディオ再生装置によれば、特徴抽出手段にてオーディオデータの音楽的特徴を抽出し時間情報列として生成することが可能であるため、予めオーディオデータと同期したイベントデータ列を作成することなく、ユーザの操作に合わせてオーディオデータの再生を制御することができる。

また、オーディオデータの再生中に、検出手段で検出した操作態様に基づいてオーディオデータの再生状態を変化させたり、表示部への表示内容を変化させる等の制御が可能であるため、ユーザは再生されるオーディオデータを聴くだけでなく、検出手段への操作入力を通して該オーディオデータの再生に参加しているという実感を得ることができる。

さらに、検出手段で検出した操作態様に応じて楽音を生成する楽音生成手段を具備し、オーディオデータから特定の周波数帯域又は楽器音を消去して再生することで、前記消去した周波数帯域又は楽器音に対応する楽音を、ユーザの操作に合わせて楽音生成手段で生成し発音させることが可能となり、ユーザは検出手段への操作入力を通して該オーディオデータの演奏に参加することができる。

以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明の第一の実施形態に係るオーディオ再生装置の構成を示す構成図である。

図１において、メモリ１１（記憶手段）は、オーディオデータを記憶するメモリである。ここで、オーディオデータはＭＰＥＧやＡＡＣ等の所定の圧縮方式により圧縮されたものであってもよい。特徴抽出部１２（特徴抽出手段）は、メモリ１１に記憶されたオーディオデータの音楽的特徴（リズムやメロディ等）を抽出し、時間情報列として出力するものである。なお、特徴抽出部１２の詳細な動作については、図２及び図３を参照して後述する。

主制御部１３（比較手段）は、特徴抽出部１２及びインタフェース１８から入力したデータに基づいてユーザの操作タイミングを判定し、判定結果を再生制御部１４へ出力するものである。また、主制御部１３は、操作部１６から入力したユーザの操作指示に基づいて、再生制御部１４の制御を行うものである。

再生制御部１４は、メモリ１１に記憶された音楽データを読み取り、主制御部１３から入力した判定結果に基づいて再生条件を制御し、サウンドシステム１５から再生させるものである。制御部１４１（制御手段）は、主制御部１３から入力した判定結果に基づいて再生制御部１４内の各部へ再生条件の指示を出力するものである。

読み出し制御部１４２は、制御部１４１からの指示に基づいて、メモリ１１に記憶されたオーディオデータを読み取り、フィルター部１４３へと出力するものである。なお、オーディオデータが圧縮されている場合は、読み出し制御部１４２で伸張処理を行う。

フィルター部１４３（消去手段）は、制御部１４１からの指示入力に基づいて、オーディオデータに対して所定の周波数成分をカットする等のフィルター処理を行い、エフェクター部１４４へ出力するものである。エフェクター部１４４は、制御部１４１からの指示入力に基づいて、オーディオデータにエフェクト処理を行うものである。エフェクト処理の種類としては、例えば音量制御、ローパス／ハイパスフィルター、ディストーション、コーラス、リバーブ、エコーなどである。

サウンドシステム１５（再生手段）は、エフェクター部１４４から出力されるオーディオデータの再生を行うものである。操作部１６は、ユーザによる操作指示を入力する押しボタン（操作ボタン）を備え、該押しボタンへの押下を検出して主制御部１３へ検出結果（操作指示）を出力するものである。

センサ１７（検出手段）は、オーディオ再生装置１の筐体の動作を検出する加速度センサである。インタフェース１８は、センサ１７の検出出力を入力し、主制御部１３へと出力するものである。

次に、図１の特徴抽出部１２の詳細な動作について、図２及び図３を参照して説明する。
図２は、特徴抽出部１２の機能構成を示す図である。図２において、フィルター部１２１では、入力したオーディオデータに対して、所定の周波数帯域を抽出するフィルター処理を行う。フィルター処理では、例えば、ベース音やバスドラム音を抽出できるようにカットオフ周波数を調整する。なお、フィルター部１２１においてフィルターをかける周波数帯域又は抽出する楽器音はユーザにより選択可能としてもよい。

包絡線生成部１２２では、フィルター部１２１でフィルター処理後のオーディオデータから波形の頂点を検出し、頂点の山と山、谷と谷をそれぞれ結ぶことで包絡線を生成する。なお、包絡線の生成は必ずしも行う必要は無いが、包絡線の生成を行うことで波形が単純化され、以降の処理を簡素化することができる。

閾値比較部１２３では、包絡線生成部１２２から出力される包絡線の波形データのレベルを予め設定された閾値と比較し、該オーディオデータの再生時間軸上においてその閾値を超えている時間帯を求める。この閾値は、例えばベースギターやバスドラムが弾かれた瞬間に超えるような値に設定する。

閾値比較部１２３は、包絡線の波形データのレベルが閾値を下回っている時間帯をＬｏｗ、上回っている時間帯をＨｉｇｈとして時間情報列を出力する。このように、本実施形態では、フィルター部１２１で抽出した波形データから所定の閾値を超えているか否かを示す時間情報列を生成することで、オーディオデータのリズム検出を行うことができる。

図３（ａ）は、閾値比較部１２３から出力される時間情報列の一例であり、オーディオデータの再生時間軸上における時刻ｔ０〜ｔ１，時刻ｔ２〜ｔ３，時刻ｔ４〜ｔ５，時刻ｔ６〜ｔ７において包絡線の波形データのレベルが閾値を上回っている。

図３（ｂ）は、図３（ａ）に示した時間情報列において、Ｈｉｇｈの時間帯に一定の幅Δｔを持たせたものである。すわなち、時刻ｔ０−Δｔ〜ｔ１＋Δｔ，時刻ｔ２−Δｔ〜ｔ３＋Δｔ，時刻ｔ４−Δｔ〜ｔ５＋Δｔ，時刻ｔ６−Δｔ〜ｔ７＋Δｔの時間帯がＨｉｇｈとなる。

このように、時間情報列に所定の幅を持たせることで、ユーザの操作タイミングが本来操作すべき時刻から多少前後にずれても、主制御部１３における比較において合致と判定することが可能である。

なお、オーディオデータが単音のメロディで構成されている場合には、フィルター処理や包絡線生成処理を行わず、オーディオデータの波形のレベルを所定の閾値と比較することでメロディ検出が可能であり、音が鳴っているタイミングを示す時間情報列を作成することができる。

次に、図１のオーディオ再生装置において、ユーザの操作を検出してオーディオの再生を制御する手順について図４のフローチャートを参照して説明する。
図４において、オーディオの再生処理が開始されると、主制御部１３は再生を行うオーディオデータの指定が操作部１６より入力されたか否かを判定する（ステップＳ１０１）。

再生を行うオーディオデータの指定を操作部１６より入力すると、主制御部１３は該オーディオデータの時間情報列を生成するよう特徴抽出部１２に指示する。特徴抽出部１２は、主制御部１３より指示されたオーディオデータをメモリ１１から読み取り、時間情報列を生成する（ステップＳ１０２）。

なお、時間情報列は一度生成したらオーディオ再生装置１内のメモリに記憶し、次回の再生時にはステップＳ１０１〜Ｓ１０３の手順を省略し、ステップＳ１０４以降の処理では生成済みの時間情報列を使用する。また、ステップＳ１０２における時間情報列の生成は、オーディオデータの再生と同時にリアルタイムで行ってもよい。

特徴抽出部１２で時間情報列の生成が終了すると（ステップＳ１０３：Ｙ）、主制御部１３は該時間情報列を一時的に記憶し、再生制御部１４にオーディオデータの再生を開始するよう指示する（ステップＳ１０４）。

主制御部１３からの再生指示を入力すると、再生制御部１４内の制御部１４１は読み出し制御部１４２に対して、再生するオーディオデータをメモリ１１から読み込むよう指示する。再生の開始時には、オーディオデータに対してフィルター部１４３及びエフェクター部１４４で処理は行わず、サウンドシステム１５から再生させる。

オーディオデータの再生が開始されると、主制御部１３はインタフェース１８を介してセンサ１７の検出出力を入力する。ユーザがオーディオ再生装置を所定の振り方（例えば、上下方向）で振ると、センサ１７では所定の軸方向の加速度が検出され、主制御部１３へと出力される。

本実施形態では、ユーザの操作を検出するセンサとして加速度センサを用いたが、磁気センサを用いてもよい。磁気センサを用いる場合は、ユーザがオーディオ再生装置を所定の振り方で振ると、所定の軸方向の地磁気強度の変化が検出される。

主制御部１３は、センサ１７の検出結果に基づいて、所定の軸方向の加速度が一定値以上であるか否かを示す検出情報を生成する。続いて、主制御部１３は、オーディオデータから生成された時間情報列における現在時間（オーディオ再生がスタートしてからの時間）の情報と、センサ出力から生成された検出情報とを比較し（ステップＳ１０５）、合致しているかの判定を行う（ステップＳ１０６）。主制御部１３は、この判定結果を再生制御部１４内の制御部１４１へ出力する。

ステップＳ１０６における判定で合致していると判定された場合は（ステップＳ１０６：Ｎ）、制御部１４１はオーディオデータに処理を行うことなくサウンドシステム１５より再生させる。

一方、ステップＳ１０６における判定で合致していないと判定された場合は（ステップＳ１０６：Ｙ）、制御部１４１は、フィルター部１４３及びエフェクター部１４４に対して、オーディオデータに所定の処理を行うよう指示する（ステップＳ１０７）。

ステップＳ１０７における処理は、例えば、フィルター部１４３で所定の周波数領域をカットしたり、エフェクター部１４４で所定のエフェクトをかけたり、又は再生音量を小さくする等の処理を行う。なお、それらの処理については、操作タイミングと時間情報列との時間差や合致しなかった回数などに基づいて、処理の種類や強さ、同時に付与する処理の数などを適宜決めればよい。以降、オーディオデータの再生が終了するまでステップＳ１０５〜ステップＳ１０８を繰り返し実行する。

なお、ステップＳ１０７においては、エフェクトをかけるだけでなく、再生を一時停止させてもよい。また、再生音の変更は行わず、ステップＳ１０５における比較の合致状況を表示部（図示せず）に表示するだけでもよいし、比較の合致状況をオーディオ再生装置１内のメモリに記憶するだけでもよい。また、図３に示す時間情報列は１つの閾値によりＨｉｇｈとＬｏｗの２値を示すものであったが、複数の閾値により３値以上を示すものであってもよい。その場合、センサ１７の検出結果においても複数の閾値による３値以上の情報とし、それぞれを対応させればよい。また、センサ１７は、必ずしもオーディオ再生装置の筐体の動作を検出するものである必要はない。センサ１７を筐体とは別に設け、それ自体の動作を検出するものであってもよい。

本実施形態のオーディオ再生装置は、オーディオデータの音楽的特徴を示す時間情報列を特徴抽出部１２で生成する構成であるため、予めオーサリングによりオーディオデータに同期したイベントデータ列を作成する必要が無い。

また、本実施形態においては、オーディオデータから生成された時間情報列のタイミングとユーザの操作タイミングとが合致していない場合、再生の一時停止やエフェクトの付与等でオーディオデータの再生状態が変更されるため、ユーザはオーディオデータの再生に合わせて適切なタイミングでオーディオ再生装置１の操作を行う必要がある。

このため、本実施形態のオーディオ再生装置を用いることにより、ユーザは再生される音楽を聴くだけでなく、オーディオ再生装置の操作を通じて音楽に参加するという実感を得ることができる。

続いて、本発明の第二の実施形態を、図５及び図６を参照して説明する。
図５は、本発明の第二の実施形態に係るオーディオ再生装置の構成を示す構成図である。図５において、図１と同様のものに関しては同じ符号を付与し、詳細の説明を省略する。

再生制御部１４内の音源１４５（楽音生成手段）は、各種楽器の音色を表す音色データを保持しており、ユーザによる押しボタンの押下検出を操作部１６から入力すると、該押しボタンに対応する楽音データを生成するものである。ミキサー部１４６は、エフェクター部１４４から出力されるオーディオデータと、音源１４５から出力される楽音データとをミックスし、サウンドシステム１５へと出力するものである。

第二の実施形態では、特徴抽出部１２でオーディオデータから所定の楽器音のリズム検出を行い、音源１４５は押しボタンの押下タイミングに合わせて該楽器音の楽音データを出力し、サウンドシステム１５から再生させる。一方、再生制御部１４では、フィルター部１４３でオーディオデータから該楽器音をキャンセルし、該楽器音のキャンセル後のオーディオデータをサウンドシステム１５から再生させる。

なお、フィルター部１４３においては、特定の楽器音をキャンセルするのではなく、特定の帯域の周波数成分を除去するものであってもよい。例えば、特徴抽出部１２のフィルター部１２１においてカットオフ周波数ＨｃのＬＰＦ（Low Pass Filter）を用いる場合には、再生制御部１４のフィルター部１４３ではカットオフ周波数ＨｃのＨＰＦ（High Pass Filter）を用いる。

次に、図５のオーディオ再生装置において、ユーザの操作を検出してオーディオの再生を制御する手順について図６のフローチャートを参照して説明する。
図６において、オーディオの再生処理が開始されると、主制御部１３は再生を行うオーディオデータの指定が操作部１６より入力されたかを判定する（ステップＳ２０１）。

主制御部１３が再生を行うオーディオデータの指定を操作部１６より入力すると、主制御部１３は該オーディオデータの時間情報列を生成するよう特徴抽出部１２に指示する。特徴抽出部１２は、主制御部１３より指示されたオーディオデータをメモリ１１から読み取り、時間情報列を生成する（ステップＳ２０２）。第二の実施形態においては、この時間情報列は、音源１４５で生成される楽音データがサウンドシステム１５から発音されるべきタイミングを示すものとなる。

なお、時間情報列は一度生成したらオーディオ再生装置２内のメモリに記憶し、次回の再生時にはステップＳ２０１〜Ｓ２０３の手順を省略し、ステップＳ２０４以降の処理では生成済みの時間情報列を使用する。

特徴抽出部１２で時間情報列の生成が終了すると（ステップＳ２０３：Ｙ）、主制御部１３は該時間情報列を一時的に記憶し、再生制御部１４に所定の楽器音をキャンセルした上でオーディオデータの再生を開始するよう指示する（ステップＳ２０４）。ここで、所定の楽器音とはユーザが押しボタンによる演奏を行う楽器音であり、後述するステップＳ２０６で再生される楽器音である。

主制御部１３からの再生指示を入力すると、再生制御部１４内の制御部１４１は読み出し制御部１４２に対して、メモリ１１から再生するオーディオデータを読み込むよう指示する。フィルター部１４３は、読み出し制御部１４２により読み出されたオーディオデータにフィルター処理を行って楽器音をキャンセルし、エフェクター部１４４へと出力する。

オーディオデータの再生が開始されると、主制御部１３はユーザによる操作部１６への操作を入力する（ステップＳ２０５）。ユーザが操作部１６の押しボタンを押下すると（ステップ２０５：Ｙｅｓ）、操作部１６は該押しボタンへの押下を検出し主制御部１３及び音源１４５へと出力する。

音源１４５は、操作部１６からの出力に基づいて所定の楽器音の楽音データを生成し、ミキサー部１４６へと出力する。ミキサー部１４６は、エフェクター部１４４から入力するオーディオデータと音源１４５から入力する楽音データとをミックスし、サウンドシステム１５から再生させる（ステップＳ２０６）。

一方、主制御部１３は、操作部１６の検出結果に基づいて、操作部１６の押しボタンが押下された時間に基づいて検出情報を生成する。続いて、主制御部１３は、オーディオデータから生成された時間情報列における現在時間（オーディオ再生がスタートしてからの時間）の情報と、操作部１６の検出結果から生成された検出情報とを比較し（ステップＳ２０７）、合致しているかの判定を行う（ステップＳ２０８）。主制御部１３は、この判定結果を再生制御部１４内の制御部１４１へ出力する。

ステップＳ２０８における判定で合致していると判定された場合は（ステップＳ２０８：Ｎ）、制御部１４１はオーディオデータに楽器音キャンセル以外の処理を行うことなくサウンドシステム１５より再生させる。

一方、ステップＳ２０８における判定で合致していないと判定された場合は（ステップＳ２０８：Ｙ）、制御部１４１は、フィルター部１４３及びエフェクター部１４４に対して、オーディオデータに所定の処理を行うよう指示する（ステップＳ２０９）。

ステップＳ２０９における処理は、例えば、フィルター部１４３で所定の周波数領域をカットしたり、エフェクター部１４４で所定のエフェクトをかけたり、又は再生音量を小さくする等の処理を行う。以降、オーディオデータの再生が終了するまでステップＳ２０５〜ステップＳ２１０を繰り返し実行する。

なお、ステップＳ２０９においては、エフェクトをかけるだけでなく、再生を一時停止させてもよい。また、再生音の変更は行わず、ステップＳ２０７における比較の合致状況を表示部（図示せず）に表示するだけでもよいし、比較の合致状況をオーディオ再生装置２内のメモリに記憶するだけでもよい。さらに、ステップＳ２０４で楽器音のキャンセルは行わず、オリジナルのオーディオデータと音源で生成する楽音データとをミックスして再生してもよい。また、必ずしも押しボタンを使用する必要はなく、別にＭＩＤＩ楽器を用意してオーディオ再生装置２に接続し、そのＭＩＤＩ楽器の演奏（操作）に基づく検出情報を主制御部１３に送ってもよい。

このように、本実施形態のオーディオ再生装置により、ユーザは操作部１６の押しボタンを押下することで特定の楽器の演奏を行うことが可能であるため、該楽器のリズムに合わせて押しボタン押下することでオーディオデータの再生に参加することができる。

以上、本発明の実施形態を詳述してきたが、具体的な構成は本実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

本発明は、オーディオデータの再生に合わせてユーザの操作タイミングを検出するオーディオ再生装置に用いて好適である。

本発明の第一の実施形態に係るオーディオ再生装置の構成を示す構成図である。 図１の特徴抽出部１２の詳細な構成を示す図である。 図１の閾値比較部１２３から出力される時間情報列の一例を示す図である。 図１のオーディオ再生装置において、ユーザの操作を検出してオーディオの再生を制御する手順を示すフローチャートである。 本発明の第二の実施形態に係るオーディオ再生装置の構成を示す構成図である。 図５のオーディオ再生装置において、ユーザの操作を検出してオーディオの再生を制御する手順を示すフローチャートである。

符号の説明

１，２…オーディオ再生装置、１１…メモリ（記憶手段）、１２…特徴抽出部（特徴抽出手段）、１３…主制御部、１４…再生制御部、１５…サウンドシステム（再生手段）、１６…操作部、１７…センサ（検出手段）、１２１…フィルター部、１２２…包絡線生成部、１２３…閾値比較部、１４１…制御部（制御手段）、１４２…読み出し制御部、１４３…フィルター部（消去手段）、１４４…エフェクター部、１４５…音源（楽音生成手段）、１４６…ミキサー部

Claims (10)

1. オーディオデータを記憶する記憶手段と、
   前記オーディオデータから再生時間軸上において特定の周波数帯域又は楽器音を音楽的特徴として抽出し、該抽出した特定の周波数帯域又は楽器音に対応する楽音が発音されるべきタイミングを示す時間情報列を生成する特徴抽出手段と、
   前記オーディオデータの再生前に、前記オーディオデータから前記特定の周波数帯域又は楽器音を消去する消去手段と
   ユーザによる操作を入力し、操作態様を検出する検出手段と、
   前記検出手段により検出された操作態様に応じて楽音を生成する楽音生成手段と、
   前記消去手段により前記特定の周波数帯域又は楽器音が消去されたオーディオデータと前記楽音生成手段により生成された楽音の再生を行う再生手段と、
   前記検出手段により検出された操作態様の時間軸上の検出情報と前記特徴抽出手段により生成された時間情報列とを比較する比較手段と、
   前記再生手段による前記オーディオデータと前記楽音の再生中に、前記比較手段の比較結果に基づいて、前記検出情報と前記時間情報列との合致状況をユーザに報知する制御を行う制御手段と、
   を具備することを特徴とするオーディオ再生装置。
2. 前記特徴抽出手段は、前記時間情報列を構成する時間情報のうち、前記音楽的特徴がある場合における時間情報の時間幅を、前記オーディオデータから抽出される時間情報の時間幅よりも長い所定の時間幅とすることを特徴とする請求項１に記載のオーディオ再生装置。
3. 前記制御手段は、前記オーディオデータの再生中に、前記比較手段の比較結果に基づいて該オーディオデータの再生状態を変化させることを特徴とする請求項１または請求項２に記載のオーディオ再生装置。
4. 前記制御手段は、前記オーディオデータの再生中に、前記比較手段の比較結果に基づいて該オーディオデータの再生の一時停止又は音量の制御又は該オーディオデータへの効果の付与を行うことを特徴とする請求項３に記載のオーディオ再生装置。
5. 表示手段をさらに具備し、
   前記制御手段は、前記オーディオデータの再生中に、前記比較手段の比較結果に基づいて前記表示手段への表示を変化させることを特徴とする請求項１から請求項４の何れか１項に記載のオーディオ再生装置。
6. 前記検出手段は、ユーザによる操作を検出する操作ボタンであることを特徴とする請求項１から請求項５の何れか１項に記載のオーディオ再生装置。
7. 前記検出手段は、加速度を検出する加速度センサであることを特徴とする請求項１から請求項５の何れか１項に記載のオーディオ再生装置。
8. 前記検出手段は、磁界を検出する磁気センサであることを特徴とする請求項１から請求項５の何れか１項に記載のオーディオ再生装置。
9. オーディオ再生装置におけるオーディオ再生方法において、
   記憶手段に記憶されたオーディオデータから再生時間軸上において特定の周波数帯域又は楽器音を音楽的特徴として抽出し、該抽出した特定の周波数帯域又は楽器音に対応する楽音が発音されるべきタイミングを示す時間情報列を生成する第１のステップと、
   前記記憶手段に記憶されたオーディオデータの再生前に、前記オーディオデータから前記特定の周波数帯域又は楽器音を消去する第２のステップと、
   ユーザによる操作を入力し、操作態様を検出する第３のステップと、
   前記第３のステップにおいて検出された操作態様に応じて楽音を生成する第４のステップと、
   前記第２のステップにおいて前記特定の周波数帯域又は楽器音が消去されたオーディオデータと前記第４のステップにおいて生成された楽音の再生を行う第５のステップと、
   前記第３のステップにおいて検出された操作態様の時間軸上の検出情報と前記第１のステップにおいて生成された時間情報列とを比較する第６のステップと、
   前記第５のステップにおける前記オーディオデータと前記楽音の再生中に、前記第６のステップにおける比較結果に基づいて、前記検出情報と前記時間情報列との合致状況をユーザに報知する制御を行う第７のステップと
   を有することを特徴とするオーディオ再生方法。
10. 前記第１のステップにおいて、前記時間情報列を構成する時間情報のうち、前記音楽的特徴がある場合における時間情報の時間幅を、前記オーディオデータから抽出される時間情報の時間幅よりも長い所定の時間幅とすることを特徴とする請求項９に記載のオーディオ再生方法。

Images